KR20070031327A - 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및프로그램 - Google Patents

동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및프로그램 Download PDF

Info

Publication number
KR20070031327A
KR20070031327A KR1020067025902A KR20067025902A KR20070031327A KR 20070031327 A KR20070031327 A KR 20070031327A KR 1020067025902 A KR1020067025902 A KR 1020067025902A KR 20067025902 A KR20067025902 A KR 20067025902A KR 20070031327 A KR20070031327 A KR 20070031327A
Authority
KR
South Korea
Prior art keywords
signal
temporal
low
spatial
pass
Prior art date
Application number
KR1020067025902A
Other languages
English (en)
Other versions
KR100897640B1 (ko
Inventor
다까히로 기모또
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Priority to KR1020067025902A priority Critical patent/KR100897640B1/ko
Publication of KR20070031327A publication Critical patent/KR20070031327A/ko
Application granted granted Critical
Publication of KR100897640B1 publication Critical patent/KR100897640B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

시간 공간 분할 필터링에서 임의의 해상도 계층의 동화상 신호(10)를 시간 계층화하여 시간 저역 신호(11)와 시간 고역 신호(12)로 분할한다. 시간 저역 신호(11)와 시간 고역 신호(12)를 이용하여 시간 고역 신호(12)에 대응하는 동화상 신호를 재구성한 동화상 신호(21)를 생성한다. 동화상 신호(21)에 축소 처리를 실시한 축소 화상 신호(14)를 생성한다. 시간 고역 신호(12)에 공간 계층화에 의한 고역 생성 처리를 행하여 시간 고역 공간 고역 신호(13)를 생성한다. 시간 저역 신호(11)와 축소 화상 신호(14)와 시간 고역 공간 고역 신호(13)를 분할 결과로 한다. 시간 저역 신호(11)를 일단 시간 해상도가 낮은 동화상 신호, 축소 화상 신호(14)를 일단 공간 해상도가 낮은 동화상 신호로 간주하고, 시간 공간 분할 필터링을 재귀적으로 행함으로써 다단계로 동화상 신호를 계층화한다.
시간 공간 분할 필터링, 동화상 신호, 시간 저역 신호, 시간 고역 신호, 축소 화상 신호, 동화상 부호화 장치, 동화상 부호화 장치의 제어 프로그램, 신호 부호화 처리부

Description

동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램{MOVING IMAGE ENCODER AND MOVING IMAGE DECODER, AND ITS METHOD AND PROGRAM}
본 발명은 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 컴퓨터 프로그램에 관한 것이다.
서브 밴드 부호화는 화상 신호를 주파수 분할하여 각각의 주파 대역의 신호(서브 밴드 신호)에 대해서 부호화 처리를 행하는 방법이다. 서브 밴드 부호화는, 이산 코사인 변환 등의 블록 베이스 직교 변환과 달리 원리상 블록 왜곡이 발생하지 않는데다가, 저역 성분을 재귀적으로 분할함으로써 용이하게 계층 부호화를 실현할 수 있다고 하는 특징이 있다. 정지 화상에서는, 국제 표준의 부호화 방법인 JPEG2000에 웨이브렛 변환을 이용한 서브 밴드 부호화가 채용되어 있다.
동화상 부호화에 서브 밴드 부호화를 적용하는 경우, 신호의 공간 방향의 상관뿐만 아니라 시간 방향의 상관도 고려할 필요가 있다. 종래부터, 원신호를 서브 밴드 분할한 후, 서브 밴드 영역마다 움직임 보상을 행해서 시간 방향의 상관을 제거하는 서브 밴드 MC(Motion Compensation)의 연구가 행해져 왔다. 그러나, 서브 밴드 MC에는 고역 서브 밴드에서의 예측 효율이 나빠, 부호화 성능이 낮다고 하는 문제가 있었다. 이에 대해서, 원화상에 대해서 공간영역에서 움직임 보상을 수반 하는 시간 필터링을 행해서 시간 방향의 상관을 제거한 후에 각 프레임에 서브 밴드 부호화를 행하는 삼차원 웨이브렛 부호화가 개발되었다.
이하에, 대표적인 삼차원 웨이브렛 부호화 방법의 기술을 설명한다(예를 들면, 비특허 문헌 1).
도 18 내지 도 21은 비 특허 문헌 1에 나타내어지는 삼차원 웨이브렛 부호화를 설명하는 도면이다. 도 18은 삼차원 웨이브렛 부호화에 있어서의 부호화기의 구성을 도시하는 블록도이다. 이하에, 도 18을 이용하여 삼차원 웨이브렛 부호화의 처리의 흐름을 설명한다.
N(N은 2의 멱승)매의 연속하는 프레임으로 이루어지는 입력 화상 신호(2000)에 대해서, 시간 방향 필터링(201)은, 움직임 보상을 수반하는 시간 방향으로의 웨이브렛 변환을 행하여, N/2매의 시간 저역 서브 밴드 신호(2001)와 N/2매의 시간 고역 서브 밴드 신호(2002)와 움직임 정보(2003)를 생성한다. 이 중 시간 저역 서브 밴드 신호(2001)에 대해서, 시간 필터링(201)을 재귀적으로 행한다. 다단의 시간 필터링 처리에 의해 생성된 1매의 시간 저역 서브 밴드 신호(2004)와 N-1매의 시간 고역 서브 밴드 신호(2002)는 각각 공간 방향으로 서브 밴드 분할된다.
공간 서브 밴드 분할부(202)는, 시간 고역 서브 밴드 신호(2002)를 수평 수직 각각 2개로 서브 밴드 분할하고, 1개의 시간 고역 공간 저역 서브 밴드(2005)와 3개의 시간 고역 공간 고역 서브 밴드(2006)를 생성한다. 이 중 시간 고역 공간 저역 서브 밴드(2005)는, 공간 서브 밴드 분할(202)에 의해 재귀적으로 분할된다. 이렇게 해서 규정 횟수만큼 공간 방향으로 서브 밴드 분할을 행한 후, 시간 고역 공간 저역 서브 밴드 신호(2005)와 시간 고역 공간 고역 서브 밴드 신호(2006)는, 양자화부(204)에 의해 양자화된다.
시간 저역 서브 밴드 신호(2004)에 대해서도, 공간 서브 밴드 분할(203)에 의해 다단계로 공간 서브 밴드 분할되어, 시간 저역 공간 저역 서브 밴드 신호(2007)와 시간 저역 공간 고역 서브 밴드 신호(2008)가 양자화부(204)에 의해 양자화된다. 양자화된 각각의 신호는 엔트로피 부호화부(205)에 의해 엔트로피 부호화된다.
또한, 시간 필터링(201)에서 생성된 움직임 정보(2003)는 움직임 정보 부호화부(206)에 의해 부호화된다. 각각 부호화된 신호는 다중화부(207)에 의해 다중화되어 비트 스트림(2010)으로서 출력된다.
도 19는, 삼차원 웨이브렛 부호화에 있어서의 고차의 시간 방향 및 공간 방향의 서브 밴드 분할을 도시하는 개념도이다. 입력 신호(2011)는 3단의 시간 필터링에 의해 3차의 시간 저역 서브 밴드 신호(2015)와 3차의 시간 고역 서브 밴드 신호(2016), 2차의 시간 고역 서브 밴드 신호(2014), 1차의 시간 고역 서브 밴드 신호(2016)로 분할된다.
3차의 시간 저역 서브 밴드 신호(2015)는, 3단계의 공간 서브 밴드 분할에 의해, 3차의 시간 저역 공간 저역 서브 밴드 신호(2017), 3차의 시간 저역 공간 고역 서브 밴드 신호(2018, 2019, 2020), 2차의 시간 저역 공간 고역 서브 밴드 신호(2021, 2022, 2023), 1차의 시간 저역 공간 고역 서브 밴드 신호(2024, 2025, 2026)로 분할된다.
시간 고역 서브 밴드 신호는, 3단계의 공간 서브 밴드 분할에 의해, 3차의 시간 고역 공간 저역 서브 밴드 신호(2027), 3차의 시간 고역 공간 고역 서브 밴드 신호(2028, 2029, 2030), 2차의 시간 고역 공간 고역 서브 밴드 신호(2031, 2032, 2033), 1차의 시간 고역 공간 고역 서브 밴드 신호(2034, 2035, 2036)로 분할된다.
비트 스트림으로부터 입력 화상 신호와 상이한 공간 해상도 혹은 프레임 레이트의 화상 신호를 재구성하는 경우, 복호기는 비트 스트림에 포함되는 복수의 서브 밴드 신호의 부호화 데이터 중의 일부만을 복호한다.
도 19에 따라, 서브 밴드의 부호화 데이터의 추출 처리를 설명한다.
프레임 레이트가 2분의 1인 동화상을 재구성하기 위해서는, 복호기는 시간 저역 서브 밴드(2015)와 시간 고역 서브 밴드(2016, 2014)에 대응하는 부호화 데이터를 복호한다. 해상도가 2분의 1인 동화상을 재구성하기 위해서는, 복호기는 시간 저역 서브 밴드 신호 중 1차의 시간 저역 공간 고역 서브 밴드를 제외한 서브 밴드, 즉 시간 저역 공간 저역 서브 밴드 신호(2017)와 시간 저역 공간 고역 서브 밴드 신호(2018 내지 2023)를 복호한다.
또한, 시간 고역 서브 밴드 신호 중 1차의 시간 고역 공간 고역 서브 밴드를 제외한 서브 밴드, 즉 시간 고역 공간 저역 서브 밴드 신호(2027)와 시간 고역 공간 고역 서브 밴드 신호(2028 내지 2033)를 복호한다.
도 20은, 삼차원 웨이브렛 부호화에 의해 생성한 비트 스트림으로부터 축소 화상에 상당하는 부호화 데이터를 추출하는 부호화 데이터 추출 장치와 동화상 복 호 장치의 구성을 도시하는 블록도이다.
부호화 데이터 추출 장치는, 비트 스트림(2010)보다 저차의 공간 고역 서브 밴드 신호(2038)를 파기하고, 적절한 서브 밴드의 부호화 데이터로 이루어지는 비트 스트림(2037)을 생성하여 동화상 복호 장치(209)에 보낸다. 동화상 복호 장치(209)는 비트 스트림(2037)에 포함되는 서브 밴드 신호를 합성하고, 복호 화상 신호(2047)를 출력한다.
도 21은, 동화상 복호 장치(209)의 구성을 도시하는 블록도이다. 도 21을 이용하여 삼차원 웨이브렛 부호화에 있어서의 복호 처리의 흐름을 설명한다.
역다중화부(210)는 비트 스트림(2037)으로부터 서브 밴드의 부호화 데이터를 잘라내고, 엔트로피 복호부(211) 및 역양자화부(212)를 통해, 시간 고역 공간 고역 서브 밴드 신호(2039), 시간 고역 공간 저역 서브 밴드 신호(2040), 시간 고역 공간 고역 서브 밴드 신호(2041), 시간 고역 공간 저역 서브 밴드 신호(2042)를 생성한다.
공간 서브 밴드 합성(213)은, 시간 고역 공간 고역 서브 밴드 신호(2039) 및 시간 고역 공간 저역 서브 밴드 신호(2040)를 재귀적으로 서브 밴드 합성하여, 시간 고역 서브 밴드 신호(2043)를 생성한다.
공간 서브 밴드 합성(214)은, 시간 저역 공간 고역 서브 밴드 신호(2041) 및 시간 저역 공간 저역 서브 밴드 신호(2042)를 재귀적으로 서브 밴드 합성하여, 시간 저역 서브 밴드 신호(2044)를 생성한다. 여기서 공간 서브 밴드 합성 처리의 횟수는, 부호화기에서 행해진 공간 서브 밴드 분할 처리의 횟수보다도 적고, 그 수 는 부호화 데이터 추출 장치(208)에 의해 파기된 공간 고역 서브 밴드 신호에 의해서 결정된다.
또한, 움직임 정보 복호부(215)는 역다중화부(210)가 출력한 움직임 정보의 부호를 복호하여, 움직임 정보(2045)를 생성한다. 벡터 축소부(216)는 움직임 정보(2045)를 부호화 시의 입력 신호와 복호기가 출력하는 복호 화상 신호의 해상도비에 따라서 벡터의 길이를 축소한다. 이 비율은, 추출기(208)에 의해 파기된 공간 고역 서브 밴드 신호의 수에 의해 결정된다. 예를 들면 최저차의 공간 고역 서브 밴드 신호가 파기된 경우에는, 벡터 길이는 1/2로 축소된다.
그 후, 시간 방향 역필터링(217)은, 벡터 축소부(216)가 출력한 움직임 정보(2046)에 따라, 시간 고역 서브 밴드 신호(2043)와 시간 저역 서브 밴드 신호(2044)에 대해서 부호화 시의 시간 필터링의 역변환을 행하여, 복호 신호(2047)를 생성한다.
비 특허 문헌 1:J. R. Ohm, "Three-dimensional subband coding with motion compensation", IEEE Trans, Image Processing, vol.3, pp.559-571, Sept. 1999
<발명의 개시>
<발명이 해결하고자 하는 과제>
종래 기술인 삼차원 웨이브렛 부호화에서는, 공간 스케일러빌리티를 적용해서 얻어지는 축소 해상도 화상의 화질이, 미리 축소한 화상을 입력으로 하여 부호화하였을 때의 화질에 비해 뒤떨어진다고 하는 문제가 있었다. 그 이유는 3가지이다.
제1 이유는, 움직임 보상의 미스 매치이다. 도 18에 나타내는 동화상 부호화 장치의 시간 방향 필터링(201)과, 도 21에 나타내는 동화상 복호 장치의 시간 방향 역필터링에는, 움직임 정보에 기초하여 한 블록 단위의 움직임 보상 예측 처리가 포함된다. 움직임 정보의 정밀도가 소수인 경우, 예측 처리로 얻어지는 화소값은 인접 화소로부터의 내삽 처리로 얻어진다. 복호기에 있어서 축소 화상을 생성할 때, 움직임 보상 예측 시의 내삽 처리는 공간 저역 서브 밴드 신호에 대해서 축소한 벡터에 기초해서 행해진다. 이 때의 내삽 필터는, 부호화 시에 있어서 시간 필터링(201)이 행하는 내삽 처리 및 공간 서브 밴드 분할(203)에 있어서의 저역 통과 필터에 무관계하게 정해져 있다. 부호화 시의 입력 신호에 내삽 처리를 한 후에 서브 샘플한 결과와, 서브 샘플된 공간 저역 서브 밴드 신호에 내삽 처리를 한 결과는 일반적으로 일치하지 않는다. 부호화 장치와 복호 장치에서의 움직임 보상에 있어서의 예측 처리의 불일치는, 복호 신호에 있어서의 왜곡을 발생시킨다. 이 왜곡은, 시간 방향 필터링을 다단으로 할수록 축적된다.
도 22와 도 23은 움직임 보상의 내삽 처리와 서브 샘플 처리가 가환이 아닌 것을 설명하기 위해서 일차원의 화소 배열과 각 화소에 곱하는 필터 계수를 도시한 개념도의 구체예이다. 이하의 설명에 있어서 서브 샘플 처리에 하르웨이브렛을 이용하고, 내삽 처리에 6탭의 필터를 이용하기로 한다.
도 22와 도 23에 있어서 횡축 상의 표시인 p0 내지 p11 및 p0' 내지 p5'가 화소를 나타내고, 각 좌표로부터 연장되는 종축 상의 표시가 곱해진 필터값을 나타낸다. 도 22의 위의 도면에서는 화소 p4로부터 1/2만큼 어긋난 위치의 화소값 q4 와, 화소 p5로부터 1/2만큼 어긋난 위치의 화소값 q5의 산출에 이용하는 필터값에 대해서 각각 나타내고 있다. 내삽 필터를 B0 내지 B6으로 하면，
q4=B0*p2+B1*p3+B2*p4+B3*p5+B4*p6+B5*p7
q5=B0*p3+B1*p4+B2*p5+B3*p6+B4*p7+B5*p8
로 된다. q4와 q5로부터 서브 샘플 처리에 의해 얻어지는 축소 해상도에서의 내삽 값은 도 2의 아래의 도면과 같이,
(q4+q5)/2=B0/2*p2+(B0+B1)/2*p3+(B1+B2)/2*p4+(B2+B3)/2*p5+(B3+B4/2*p6+(B4+B5)/2*p7+B5/2*p8
로 된다.
도 23의 위의 도면에서는 p0 내지 p11에 서브 샘플 처리를 행해서 얻어진 화소 p0' 내지 p5'에 대해서, 화소 p2'로부터 1/4만큼 어긋난 위치의 화소값 q2'의 산출에 이용하는 필터값에 대해서 나타내고 있다. 내삽 필터를 C0 내지 C6으로 하면，
q2'=C0*p0'+C1*p1'+C2*p2'+C3*p3'+C4*p4'+C5*p5'
로 된다. 여기서
p2'=(p4+p5)/2
등과 같이 서브 샘플 처리가 행해져 있었던 것으로 한다.
도 23의 아래의 도면과 같이 p2'를 p0 내지 p11을 이용하여 나타내면,
q2'=C0/2*p0+C0/2*p1+C1/2*p2+C1/2*p3+C2/2*p4+C2/2*p5+C3/2*p6+C3/2*p7+C4/2*p8+C4/2*p9+C5/2*p10+C5/2*p11
로 된다. 일반적으로 내삽 필터는 서브 샘플 처리와 독립적으로 정해져 있으므로, (q4+q5)/2와 q2'는 일치하지 않는다.
제2 이유는, 움직임 정보의 오버 헤드이다. 도 21에 있어서의 동화상 복호 장치에 있어서, 움직임 정보는 부호화 시에 생성한 것과 동일할 필요가 있다. 축소 해상도 상에서도 동일한 움직임 정보를 할당하기 위해서, 움직임 보상 처리의 단위로 되는 부호화 블록의 크기와 움직임 정보의 정밀도가 필요 이상으로 예민해진다. 도 20에 있어서 부호화 데이터 추출 장치로부터 동화상 복호 장치에의 전송 레이트가 한정되어 있는 경우, 움직임 정보에 요하는 부호량이 대부분을 차지하여, 계수 정보에 최저한의 부호량을 할당할 수 없게 되는 경우가 있다.
도 24는 움직임 정보의 오버 헤드를 설명하는 개념도이다. 도 24에 있어서, 프레임 B0과 C0에 대해서 움직임 추정을 행해서 얻어진 움직임 정보군을 MV0, 프레임 B0, C0을 각각 서브 샘플한 프레임 B1, C1에 대해서 움직임 추정을 행해서 얻어진 움직임 정보군을 MV1이라고 부른다. 움직임 추정에서는 움직임 정보를 할당하는 블록의 최소 사이즈와, 움직임 정보의 정밀도가 정해져 있다. 움직임 정보군 MV0을 프레임 B1, C1에 적합하도록 1/2로 축소한 경우, 블록의 최소 사이즈가 1/2로 되어 움직임 정보의 정밀도가 2배로 된다. 움직임 정보군 MV1에 비해서 축소한 움직임 정보군 MV0은 움직임 정보의 수가 많고, 또한 개개의 움직임 정보를 나타내는 데에 필요한 부호량도 많다.
제3 이유로서, 스케일러빌리티의 문제이다. 삼차원 웨이브렛 부호화에서는, 부호화기에 있어서 이용한 파라미터나 처리 모듈이, 스케일러빌리티의 적용에 의해 얻어지는 모든 상이한 해상도나 프레임 레이트에서의 비트 스트림에서 동일하다. 고능률로 부호화하고자 하면 이들 파라미터에 의해 결정되는 지연이나 처리 모듈에 의해 결정되는 연산량은 커진다. 그렇게 생성한 부호화 데이터의 일부를 스케일러빌리티의 적용에 의해, 예를 들면 모바일 단말기에 배신하고자 한 경우, 지연이나 연산량이 큰 제약으로 된다. 반대로 저레이트에서의 어플리케이션을 고려하여 파라미터나 처리 모듈을 결정하면, 고레이트에서의 부호화 성능이 크게 저하되게 된다.
따라서, 본 발명은 상기 과제를 감안해서 발명된 것으로서, 그 목적은, 계층화되어 있는 부호화 데이터에 있어서, 모든 계층에서의 복호 신호가 단일 계층에서 부호화한 경우의 복호 화상과 동등한 화질을 갖는 동화상 부호화 장치 및 동화상 복호 장치와 그 방법과 그 제어 프로그램을 제공하는 것에 있다.
<과제를 해결하기 위한 수단>
상기 과제를 해결하는 제1 발명은, 동화상 부호화 장치로서, 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분을 이용하여, 상기 시간 고역 성분에 대응하는 동화상 신호를 생성하고, 이 생성 결과에 축소 처리를 실시한 동화상의 축소 화상 신호를 출력하는 시간 공간 분할 필터링부를 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제2 발명은, 동화상 부호화 장치로서, 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상의 축소 화상 신호를 생성하는 시간 공간 분할 필터링부를 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제3 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치로서, 상기 시간 공간 분할 필터링부가, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 상기 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제4 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치로서, 상기 시간 공간 분할 필터링부가, 상기 동화상 신호를 시간 계층화하여 시간 저역 성분과 시간 고역 성분을 얻고, 상기 시간 고역 성분을 공간 계층화하여 공간 고역 성분을 얻고, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제5 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치로서, 상기 시간 공간 분할 필터링부가, 상기 동화상 신호를 시 간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상 신호의 축소 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제6의 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링부와 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치로서, 상기 시간 공간 분할 필터링부가, 동화상 신호를 시간 방향으로 필터링하여, 시간 저역 신호와 시간 고역 신호와 상기 화상 신호 사이의 움직임을 나타내는 움직임 정보를 생성하는 시간 방향 필터링부와, 상기 시간 고역 신호와 상기 시간 저역 신호를 이용하여, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소한 축소 화상 신호를 생성하는 축소 화상 생성부와, 상기 시간 고역 신호에 대해서 공간 고역 성분에 해당하는 시간 고역 공간 고역 신호를 생성하는 고역 신호 생성부를 갖고, 상기 시간 저역 신호 혹은 상기 축소 화상 신호에 대해서 상기 시간 공간 분할 필터링부가 실행됨으로써 동화상 신호를 계층화한 후, 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 신호 부호화 처리부가 부호화하는 것을 특징으로 한다.
상기 과제를 해결하는 제7 발명은, 상기 제6 발명에 있어서, 상기 축소 화상 생성부는, 움직임 정보에 기초하여 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와, 상기 예측 화상과 시간 고역 신호로부 터 상기 시간 고역 신호에 대응하는 동화상 신호를 생성하는 시간 고역 신호 역변환부와, 상기 시간 고역 신호 역변환부가 생성한 동화상 신호에 대해서 공간 필터링을 실시하여 공간 저역 성분인 축소 복호 화상 신호를 생성하는 저역 신호 생성부를 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제8 발명은, 상기 제7 발명에 있어서, 상기 시간 고역 신호는 상기 시간 저역 신호와 비교해서 가중치 부여 처리를 행하거나, 또는, 상기 시간 고역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하여, 상기 시간 고역 신호 역변환부에 출력하는 가중치 부여부를 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제9 발명은, 상기 제6 발명에 있어서, 상기 축소 화상 생성부는, 시간 저역 신호와 시간 고역 신호에 대해서 공간 필터링을 실시하여 시간 저역 공간 저역 신호와 시간 고역 공간 저역 신호를 각각 생성하는 저역 신호 생성부와, 상기 저역 신호 생성부에서의 상기 공간 필터링의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환부와, 상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와, 상기 예측 화상과 상기 시간 고역 공간 저역 신호를 이용하여, 축소 화상 신호를 생성하는 시간 고역 신호 역변환부를 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제10 발명은, 상기 제9 발명에 있어서, 상기 시간 고역 공간 저역 신호에 대해서 가중치 부여 처리를 행하거나, 상기 시간 고역 공간 저역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하여, 상기 시간 고역 신호 역변환부에 출력하는 가중치 부여부를 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제11 발명은, 상기 제6 내지 제10 발명에 있어서, 상기 고역 신호 생성부는, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 한다.
상기 과제를 해결하는 제12 발명은, 상기 제6 내지 제11 발명에 있어서, 상기 저역 신호 생성부는, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 한다.
상기 과제를 해결하는 제13 발명은, 상기 제6 내지 제10 발명에 있어서, 상기 저역 신호 생성부가 제1 서브 샘플 필터에 의해 축소 화상 신호를 생성하고, 상기 고역 신호 생성부가 상기 제1 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에 의해 고역 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제14 발명은, 상기 제6 내지 제13 발명에 있어서, 상기 시간 방향 필터링부는, 동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정부와, 상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 제1 움직임 보상부와, 상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호를 이용하여 시간 고역 신호를 생성하는 시간 고역 신호 생성부와, 상기 움직임 정보를 이용하여 상기 시간 고역 신호에 대해서 움직임 보상을 행하여 상기 예측 신호에 대응하는 움직임 보상 시간 고역 신호를 생성하는 제2 움직임 보상부와, 상기 움직임 보상 시간 고역 신호와 상기 참조 신호로부터 시간 저역 신호를 생성하는 시간 저역 신호 생성부를 갖는 것 을 특징으로 한다.
상기 과제를 해결하는 제15 발명은, 상기 제6 내지 제13 발명에 있어서, 상기 시간 방향 필터링부는, 동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정부와, 상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 움직임 보상부와, 상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호의 차분 신호를 생성하는 차분 신호 생성부를 갖고, 상기 참조 신호를 무변환으로 시간 저역 신호로서 출력하고, 상기 차분 신호를 시간 고역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제16 발명은, 동화상 신호에 대해서 시간 방향 및 공간 방향으로 주파수 분할을 행하여, 상기 동화상 신호를 축소한 축소 화상 신호와 시공간 고역 신호와 움직임 정보를 생성하는 시간 공간 주파수 분할부와, 상기 축소 화상 신호를 부호화하는 축소 화상 신호 부호화부와, 상기 시공간 고역 신호를 부호화할 때 공간 고역 신호 부호화부와, 상기 움직임 정보를 부호화하는 움직임 정보 부호화부와, 상기 축소 화상 신호 부호화부 및 상기 시공간 고역 신호 부호화부가 출력하는 부호화 데이터와 상기 움직임 정보 부호화부가 출력하는 움직임 정보 부호화 데이터를 다중화해서 출력으로 되는 비트 스트림을 생성하는 다중화부로 이루어지는 동화상 부호화 장치로서, 상기 시간 공간 주파수 분할부가, 동화상 신호를, 시간 저역 신호와, 시간 고역 신호의 공간 방향 고역에 해당하는 시간 고역 공간 고역 신호와, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소해서 시간 고역 축소 화상 신호로 분할하는 시간 공간 분할 필터링부와, 상기 시간 저역 신호 를 공간 방향으로 주파수 분할하여 시간 저역 공간 저역 신호와 시간 저역 공간 고역 신호를 생성하는 공간 분할 필터링부로 이루어지고, 상기 시간 공간 분할 필터링부가 상기 시간 저역 신호를 입력으로 하여 재귀적으로 처리를 행한 후에, 상기 시간 저역 공간 저역 신호와 상기 축소 복호 화상 신호를 상기 시간 고역 축소 화상 신호로 하고, 상기 시간 고역 공간 고역 신호와 상기 시간 저역 공간 고역 신호를 시공간 고역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제17 발명은, 계층 부호화된 동화상 신호의 부호화 데이터를 복호하고, 계층화된 신호를 생성하는 신호 복호 처리부와 상기 계층화된 신호를 합성하는 시간 공간 합성 필터링부를 구비하는 동화상 복호 장치로서, 상기 시간 공간 합성 필터링부가, 임의의 해상도 계층에서의 복호 결과인 복호 화상 신호에 기초하여, 시간 계층화에 의한 시간 고역 성분 중의 공간 계층화에 의한 공간 저역 성분을 생성한 후, 공간 방향 주파수 합성과 시간 방향 주파수 합성을 행하여, 한층 더 고해상도의 해상도 계층의 복호 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제18 발명은, 부호화 데이터를 복호하여 계층화된 신호를 생성하는 신호 복호 처리부와 계층화된 화상 신호를 합성하는 시간 공간 합성 필터링부를 구비하는 동화상 복호 장치로서, 상기 시간 공간 합성 필터링부는, 시간 저역 신호와, 임의의 해상도 계층에서의 합성 결과인 축소 복호 화상 신호로부터, 상기 시간 저역 신호와 쌍을 이루는 시간 고역 신호의 공간 저역 성분인 시간 고역 공간 저역 신호를 생성하는 시간 고역 공간 저역 신호 재구성부와, 상기 시간 고역 신호의 공간 고역 성분인 시간 고역 공간 고역 신호와, 상기 시간 고역 공간 저역 신호를 합성하여 시간 고역 신호를 생성하는 공간 합성 필터링부와, 상기 시간 고역 신호와, 상기 시간 저역 신호와, 움직임 정보로부터 복호 화상 신호를 생성하는 시간 방향 역필터링부를 갖고, 상기 신호 복호 처리부가 상기 부호화 데이터로부터 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 복호하는 것을 특징으로 한다.
상기 과제를 해결하는 제19 발명은, 상기 제18 발명에 있어서, 상기 시간 고역 공간 저역 신호 재구성부는, 상기 움직임 정보에 기초하여 상기 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와, 상기 예측 화상의 공간 저역 성분인 공간 저역 예측 신호를 생성하는 저역 신호 생성부와, 상기 공간 저역 예측 신호와 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성부를 갖고, 상기 시간 고역 신호 생성부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제20 발명은, 상기 제19 발명에 있어서, 상기 시간 고역 신호 생성부의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하는 역가중치 부여부를 갖고, 상기 역가중치 부여부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제21 발명은, 상기 제18 발명에 있어서, 상기 시간 고역 공간 저역 신호 재구성부는, 시간 저역 신호에서의 공간 저역 성분을 생성하여 시간 저역 공간 저역 신호로서 출력하는 저역 신호 생성부와, 상기 저역 신호 생성 부의 입출력 화상의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환부와, 상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와, 상기 예측 화상과 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성부를 갖고, 상기 시간 고역 신호 생성부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제22 발명은, 상기 제21 발명에 있어서, 상기 시간 고역 신호 생성부의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하는 역가중치 부여부를 갖고, 상기 역가중치 부여부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제23 발명은, 상기 제19 내지 제22 발명에 있어서, 상기 저역 신호 생성부가, 서브 밴드 분할에 의한 저역 통과 처리인 것을 특징으로 한다.
상기 과제를 해결하는 제24 발명은, 상기 제19 내지 제23 발명에 있어서, 상기 공간 합성 필터링부가, 상기 서브 밴드 분할의 역변환으로 되는 서브 밴드 합성인 것을 특징으로 한다.
상기 과제를 해결하는 제25 발명은, 상기 제19 내지 제24 발명에 있어서, 상기 저역 신호 생성부가, 서브 샘플 필터에 의해 축소 화상을 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제26 발명은, 상기 제19 내지 제25 발명에 있어서, 상 기 공간 합성 필터링부가, 상기 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에서 생성된 고역 신호와, 상기 서브 샘플 필터에 의해 생성된 저역 신호의 합성인 것을 특징으로 한다.
상기 과제를 해결하는 제27 발명은, 상기 제18 내지 제26 발명에 있어서, 상기 시간 방향 역필터링부는, 상기 움직임 정보에 기초하여 상기 시간 고역 신호에 움직임 보상을 행하여, 움직임 보상시간 고역 신호를 생성하는 제1 움직임 보상부와, 상기 움직임 보상 시간 고역 신호와 상기 시간 저역 신호로부터 제1 복호 화상 신호를 생성하는 시간 저역 신호 역변환부와, 상기 제1 복호 화상 신호에 대해서 상기 움직임 정보에 기초하여 움직임 보상을 행하여, 예측 신호를 생성하는 제2 움직임 보상부와, 상기 예측 신호와 상기 시간 고역 신호로부터 제2 복호 화상 신호를 생성하는 시간 고역 신호 역변환부를 갖고, 상기 제1 복호 화상 신호와 상기 제2 복호 화상 신호를 통합하여 출력으로 되는 복호 화상 신호로 하는 것을 특징으로 한다.
상기 과제를 해결하는 제28 발명은, 상기 제18 내지 제27 발명에 있어서, 상기 시간 방향 역필터링부가, 상기 시간 저역 신호에 대해서 움직임 보상을 행한 후에, 시간 고역 신호와 가산하여 상기 시간 저역 신호를 합성하여 복호 화상 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제29 발명은, 계층화된 비트 스트림을 역다중화하여, 최저차 부호화 데이터와 잉여 부호화 데이터와 움직임 정보 부호화 데이터를 생성하는 역다중화부와, 최저차 부호화 데이터를 복호하여 축소 화상 신호를 생성하는 축소 화상 신호 복호부와, 잉여 부호화 데이터를 복호하여 시공간 고역 신호를 생성하는 시공간 고역 신호 복호부와, 상기 움직임 정보 부호화 데이터를 복호하여 움직임 정보를 생성하는 움직임 정보 복호부와, 상기 축소 화상 신호와 상기 시공간 고역 신호와 상기 움직임 정보로부터 복호 화상 신호를 생성하는 시간 공간 주파수 합성부로 이루어지는 동화상 복호 장치로서, 상기 시간 공간 주파수 합성부가, 상기 축소 화상 신호 중의 시간 저역 공간 저역 신호와 상기 시공간 고역 신호 중의 시간 저역 공간 고역 신호를 합성하여 시간 저역 신호를 생성하는 공간 합성 필터링부와, 상기 시간 저역 신호에 대응하는 시간 고역 신호를 상기 시간 저역 신호와 상기 축소 화상 신호와 상기 시공간 고역 신호로 재구성한 후, 상기 시간 저역 신호와 합성함으로써 복호 화상 신호를 출력하는 시간 공간 합성 필터링부로 이루어지는 것을 특징으로 한다.
상기 과제를 해결하는 제3O 발명은, 동화상 부호화 방법으로서, 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분을 이용하여, 상기 시간 고역 성분에 대응하는 동화상 신호를 생성하고, 이 생성 결과에 축소 처리를 실시하여 동화상의 축소 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제31 발명은, 동화상 부호화 방법으로서, 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상의 축소 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제32 발명은, 동화상 신호를 계층화하는 시간 공간 분 할 필터링과, 상기 계층화된 신호를 부호화하는 신호 부호화 처리를 구비하는 동화상 부호화 방법으로서, 상기 시간 공간 분할 필터링이, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 상기 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제33 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링과, 상기 계층화된 신호를 부호화하는 신호 부호화 처리를 구비하는 동화상 부호화 방법으로서, 상기 시간 공간 분할 필터링이, 상기 동화상 신호를 시간 계층화하여 시간 저역 성분과 시간 고역 성분을 얻고, 상기 시간 고역 성분을 공간 계층화하여 공간 고역 성분을 얻고, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제34 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링과, 상기 계층화된 신호를 부호화하는 신호 부호화 처리를 구비하는 동화상 부호화 방법으로서, 상기 시간 공간 분할 필터링이, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저 역 성분 및 상기 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상 신호의 축소 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제35 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링과 계층화된 신호를 부호화하는 신호 부호화 처리를 구비하는 동화상 부호화 방법으로서, 상기 시간 공간 분할 필터링이, 동화상 신호를 시간 방향으로 필터링하여, 시간 저역 신호와 시간 고역 신호와 상기 화상 신호 사이의 움직임을 나타내는 움직임 정보를 생성하는 시간 방향 필터링 스텝과, 상기 시간 고역 신호와 상기 시간 저역 신호를 이용하여, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소한 축소 화상 신호를 생성하는 축소 화상 생성 스텝과, 상기 시간 고역 신호에 대해서 공간 고역 성분에 해당하는 시간 고역 공간 고역 신호를 생성하는 고역 신호 생성 스텝을 갖고, 상기 시간 저역 신호 혹은 상기 축소 화상 신호에 대해서 상기 시간 공간 분할 필터링 스텝이 실행됨으로써 동화상 신호를 계층화한 후, 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 신호 부호화 처리 스텝에서 부호화하는 것을 특징으로 한다.
상기 과제를 해결하는 제36 발명은, 상기 제35 발명에 있어서, 상기 축소 화상 생성 스텝은, 움직임 정보에 기초하여 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상 스텝과, 상기 예측 화상과 시간 고역 신호로부터 상기 시간 고역 신호에 대응하는 동화상 신호를 생성하는 시간 고역 신호 역변환 스텝과, 상기 시간 고역 신호 역변환부가 생성한 동화상 신호에 대해서 공간 필터링을 실시하여 공간 저역 성분인 축소 복호 화상 신호를 생성하는 저역 신호 생성 스텝을 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제37 발명은, 상기 제36 발명에 있어서, 상기 시간 고역 신호 역변환 스텝 전에, 상기 시간 고역 신호는 상기 시간 저역 신호와 비교해서 가중치 부여 처리를 행하거나, 또는, 상기 시간 고역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하는 것을 특징으로 한다.
상기 과제를 해결하는 제38 발명은, 상기 제35 발명에 있어서, 상기 축소 화상 생성 스텝은, 시간 저역 신호와 시간 고역 신호에 대해서 공간 필터링을 실시하여 시간 저역 공간 저역 신호와 시간 고역 공간 저역 신호를 각각 생성하는 저역 신호 생성 스텝과, 상기 저역 신호 생성 스텝에서의 상기 공간 필터링의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환 스텝과, 상기 움직임 정보 변환 스텝에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상 스텝과, 상기 예측 화상과 상기 시간 고역 공간 저역 신호를 이용하여, 축소 화상 신호를 생성하는 시간 고역 신호 역변환 스텝을 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제39 발명은, 상기 제38 발명에 있어서, 상기 시간 고역 신호 역변환 스텝 전에, 상기 시간 고역 공간 저역 신호에 대해서 가중치 부여 처리를 행하거나, 상기 시간 고역 공간 저역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하는 것을 특징으로 한다.
상기 과제를 해결하는 제40 발명은, 상기 제35 내지 제39 중 어느 하나의 발 명에 있어서, 상기 고역 신호 생성 스텝은, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 한다.
상기 과제를 해결하는 제41 발명은, 상기 제35 내지 제40 중 어느 하나의 발명에 있어서, 상기 저역 신호 생성 스텝은, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 한다.
상기 과제를 해결하는 제42 발명은, 상기 제35 내지 제39 중 어느 하나의 발명에 있어서, 상기 저역 신호 생성 스텝이 제1 서브 샘플 필터에 의해 축소 화상 신호를 생성하고, 상기 고역 신호 생성 스텝이 상기 제1 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에 의해 고역 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제43 발명은, 상기 제35 내지 제42 중 어느 하나의 발명에 있어서, 상기 시간 방향 필터링 스텝은, 동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정 스텝과, 상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 제1 움직임 보상 스텝과, 상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호를 이용하여 시간 고역 신호를 생성하는 시간 고역 신호 생성 스텝과, 상기 움직임 정보를 이용하여 상기 시간 고역 신호에 대해서 움직임 보상을 행하여 상기 예측 신호에 대응하는 움직임 보상 시간 고역 신호를 생성하는 제2 움직임 보상 스텝과, 상기 움직임 보상 시간 고역 신호와 상기 참조 신호로부터 시간 저역 신호를 생성하는 시간 저역 신호 생성 스텝을 갖는 것을 특징으로 한다.
상기 과제를 해결하는 제44 발명은, 상기 제35 내지 제42 중 어느 하나의 발 명에 있어서, 상기 시간 방향 필터링 스텝은, 동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정 스텝과, 상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 움직임 보상 스텝과, 상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호의 차분 신호를 생성하는 차분 신호 생성 스텝을 갖고, 상기 참조 신호를 무변환으로 시간 저역 신호로서 출력하고, 상기 차분 신호를 시간 고역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제45 발명은, 동화상 신호에 대해서 시간 방향 및 공간 방향으로 주파수 분할을 행하여, 상기 동화상 신호를 축소한 축소 화상 신호와 시공간 고역 신호와 움직임 정보를 생성하는 시간 공간 주파수 분할 스텝과, 상기 축소 화상 신호를 부호화하는 축소 화상 신호 부호화 스텝과, 상기 시공간 고역 신호를 부호화할 때 공간 고역 신호 부호화 스텝과, 상기 움직임 정보를 부호화하는 움직임 정보 부호화 스텝과, 상기 축소 화상 신호 부호화 스텝 및 상기 시공간 고역 신호 부호화 스텝에서 생성된 부호화 데이터와 상기 움직임 정보 부호화 스텝에서 생성된 움직임 정보 부호화 데이터를 다중화해서 출력으로 되는 비트 스트림을 생성하는 다중화 스텝으로 이루어지는 동화상 부호화 방법으로서, 상기 시간 공간 주파수 분할 스텝이, 동화상 신호를, 시간 저역 신호와, 시간 고역 신호의 공간 방향 고역에 해당하는 시간 고역 공간 고역 신호와, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소해서 시간 고역 축소 화상 신호로 분할하는 시간 공간 분할 필터링 스텝과, 상기 시간 저역 신호를 공간 방향으로 주파수 분할하여 시간 저역 공 간 저역 신호와 시간 저역 공간 고역 신호를 생성하는 공간 분할 필터링 스텝으로 이루어지고, 상기 시간 공간 분할 필터링 스텝이 상기 시간 저역 신호를 입력으로 하여 재귀적으로 처리를 행한 후에, 상기 시간 저역 공간 저역 신호와 상기 축소 복호 화상 신호를 상기 시간 고역 축소 화상 신호로 하고, 상기 시간 고역 공간 고역 신호와 상기 시간 저역 공간 고역 신호를 시공간 고역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제46 발명은, 계층 부호화된 동화상 신호의 부호화 데이터를 복호하고, 계층화된 신호를 생성하는 신호 복호 처리 스텝과 상기 계층화된 신호를 합성하는 시간 공간 합성 필터링 스텝을 구비하는 동화상 복호 방법으로서, 상기 시간 공간 합성 필터링 스텝이, 임의의 해상도 계층에서의 복호 결과인 복호 화상 신호에 기초하여, 시간 계층화에 의한 시간 고역 성분 중의 공간 계층화에 의한 공간 저역 성분을 생성한 후, 공간 방향 주파수 합성과 시간 방향 주파수 합성을 행하여, 한층 더 고해상도의 해상도 계층의 복호 화상 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제47 발명은, 부호화 데이터를 복호하여 계층화된 신호를 생성하는 신호 복호 처리 스텝과 계층화된 화상 신호를 합성하는 시간 공간 합성 필터링 스텝을 구비하는 동화상 복호 방법으로서, 상기 시간 공간 합성 필터링 스텝은, 시간 저역 신호와, 임의의 해상도 계층에서의 합성 결과인 축소 복호 화상 신호로부터, 상기 시간 저역 신호와 쌍을 이루는 시간 고역 신호의 공간 저역 성분인 시간 고역 공간 저역 신호를 생성하는 시간 고역 공간 저역 신호 재구성 스 텝과, 상기 시간 고역 신호의 공간 고역 성분인 시간 고역 공간 고역 신호와, 상기 시간 고역 공간 저역 신호를 합성하여 시간 고역 신호를 생성하는 공간 합성 필터링 스텝과, 상기 시간 고역 신호와, 상기 시간 저역 신호와, 움직임 정보로부터 복호 화상 신호를 생성하는 시간 방향 역필터링 스텝을 갖고, 상기 신호 복호 처리 스텝이 상기 부호화 데이터로부터 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 복호하는 것을 특징으로 한다.
상기 과제를 해결하는 제48 발명은, 상기 제47 발명에 있어서, 상기 시간 고역 공간 저역 신호 재구성 스텝은, 상기 움직임 정보에 기초하여 상기 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상 스텝과, 상기 예측 화상의 공간 저역 성분인 공간 저역 예측 신호를 생성하는 저역 신호 생성 스텝과, 상기 공간 저역 예측 신호와 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성 스텝을 갖고, 상기 시간 고역 신호 생성 스텝의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제49의 발명은, 상기 제48 발명에 있어서, 상기 시간 고역 신호 생성 스텝에서 생성된 시간 고역 성분에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하고, 이 가중치 부여된 신호를 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제50 발명은, 상기 제47 발명에 있어서, 상기 시간 고역 공간 저역 신호 재구성 스텝은, 시간 저역 신호에서의 공간 저역 성분을 생성하 여 시간 저역 공간 저역 신호로서 출력하는 저역 신호 생성 스텝과, 상기 저역 신호 생성부의 입출력 화상의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환 스텝과, 상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상 스텝과, 상기 예측 화상과 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성 스텝을 갖고, 상기 시간 고역 신호 생성 스텝의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제51의 발명은, 상기 제5O의 발명에 있어서, 상기 시간 고역 신호 생성 스텝의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하고, 이것을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제52 발명은, 상기 제47 내지 제51 중 어느 하나의 발명에 있어서, 상기 저역 신호 생성 스텝이, 서브 밴드 분할에 의한 저역 통과 처리인 것을 특징으로 한다.
상기 과제를 해결하는 제53 발명은, 상기 제47 내지 제52 중 어느 하나의 발명에 있어서, 상기 공간 합성 필터링 스텝이, 상기 서브 밴드 분할의 역변환으로 되는 서브 밴드 합성인 것을 특징으로 한다.
상기 과제를 해결하는 제54 발명은, 상기 제47 내지 제53 중 어느 한 항의 발명에 있어서, 상기 저역 신호 생성 스텝이, 서브 샘플 필터에 의해 축소 화상을 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제55 발명은, 상기 제54 발명에 있어서, 상기 공간 합성 필터링 스텝이, 상기 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에서 생성된 고역 신호와, 상기 서브 샘플 필터에 의해 생성된 저역 신호의 합성인 것을 특징으로 한다.
상기 과제를 해결하는 제56 발명은, 상기 제47 내지 제55 중 어느 하나의 발명에 있어서, 상기 시간 방향 역필터링 스텝은, 상기 움직임 정보에 기초하여 상기 시간 고역 신호에 움직임 보상을 행하여, 움직임 보상 시간 고역 신호를 생성하는 제1 움직임 보상 스텝과, 상기 움직임 보상 시간 고역 신호와 상기 시간 저역 신호로부터 제1 복호 화상 신호를 생성하는 시간 저역 신호 역변환 스텝과, 상기 제1 복호 화상 신호에 대해서 상기 움직임 정보에 기초하여 움직임 보상을 행하여, 예측 신호를 생성하는 제2 움직임 보상 스텝과, 상기 예측 신호와 상기 시간 고역 신호로부터 제2 복호 화상 신호를 생성하는 시간 고역 신호 역변환 스텝을 갖고, 상기 제1 복호 화상 신호와 상기 제2 복호 화상 신호를 통합해서 출력으로 되는 복호 화상 신호로 하는 것을 특징으로 한다.
상기 과제를 해결하는 제57 발명은, 상기 제47 내지 제56 중 어느 하나의 발명에 있어서, 상기 시간 방향 역필터링 스텝이, 상기 시간 저역 신호에 대해서 움직임 보상을 행한 후에, 시간 고역 신호와 가산하여 상기 시간 저역 신호를 합성하여 복호 화상 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제58 발명은, 계층화된 비트 스트림을 역다중화하여, 최저차 부호화 데이터와 잉여 부호화 데이터와 움직임 정보 부호화 데이터를 생성 하는 역다중화 스텝과, 최저차 부호화 데이터를 복호하여 축소 화상 신호를 생성하는 축소 화상 신호 복호 스텝과, 잉여 부호화 데이터를 복호하여 시공간 고역 신호를 생성하는 시공간 고역 신호 복호 스텝과, 상기 움직임 정보 부호화 데이터를 복호하여 움직임 정보를 생성하는 움직임 정보 복호 스텝과, 상기 축소 화상 신호와 상기 시공간 고역 신호와 상기 움직임 정보로부터 복호 화상 신호를 생성하는 시간 공간 주파수 합성 스텝으로 이루어지는 동화상 복호 방법으로서, 상기 시간 공간 주파수 합성 스텝이, 상기 축소 화상 신호 중의 시간 저역 공간 저역 신호와 상기 시공간 고역 신호 중의 시간 저역 공간 고역 신호를 합성하여 시간 저역 신호를 생성하는 공간 합성 필터링 스텝과, 상기 시간 저역 신호에 대응하는 시간 고역 신호를 상기 시간 저역 신호와 상기 축소 화상 신호와 상기 시공간 고역 신호로 재구성한 후, 상기 시간 저역 신호와 합성함으로써 복호 화상 신호를 출력하는 시간 공간 합성 필터링 스텝으로 이루어지는 것을 특징으로 한다.
상기 과제를 해결하는 제59 발명은, 동화상 부호화 장치의 제어 프로그램으로서, 상기 제어 프로그램은 동화상 부호화 장치를, 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분을 이용하여, 상기 시간 고역 성분에 대응하는 동화상 신호를 생성하고, 이 생성 결과로 축소 처리를 실시한 동화상의 축소 화상 신호를 출력하는 시간 공간 분할 필터링부로서 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제60 발명은, 동화상 부호화 장치의 제어 프로그램으로서, 상기 제어 프로그램은 동화상 부호화 장치를, 동화상 신호를 시간 계층화하 여 얻어지는 시간 저역 성분과 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상의 축소 화상 신호를 생성하는 시간 공간 분할 필터링부로서 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제61 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치의 제어 프로그램으로서, 상기 제어 프로그램은 상기 시간 공간 분할 필터링부를, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 상기 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과로 축소 처리를 실시한 축소 화상 신호를 생성하도록 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제62 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치의 제어 프로그램으로서, 상기 제어 프로그램은 상기 시간 공간 분할 필터링부를, 상기 동화상 신호를 시간 계층화하여 시간 저역 성분과 시간 고역 성분을 얻고, 상기 시간 고역 성분을 공간 계층화하여 공간 고역 성분을 얻고, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하도록 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제63 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치의 제어 프로그램으로서, 상기 제어 프로그램은 상기 시간 공간 분할 필터링부를, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상 신호의 축소 화상 신호를 생성하는데 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제64 발명은, 동화상 신호를 계층화하는 시간 공간 분할 필터링부와 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치의 제어 프로그램으로서, 상기 제어 프로그램은 상기 시간 공간 분할 필터링부를, 동화상 신호를 시간 방향으로 필터링하여, 시간 저역 신호와 시간 고역 신호와 상기 화상 신호 사이의 움직임을 나타내는 움직임 정보를 생성하는 시간 방향 필터링부와, 상기 시간 고역 신호와 상기 시간 저역 신호를 이용하여, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소한 축소 화상 신호를 생성하는 축소 화상 생성부와, 상기 시간 고역 신호에 대해서 공간 고역 성분에 해당하는 시간 고역 공간 고역 신호를 생성하는 고역 신호 생성부로서 기능시키고, 상기 시간 저역 신호 혹은 상기 축소 화상 신호에 대해서 상기 시간 공간 분할 필터링부가 실행됨으로써 동화상 신호를 계층화한 후, 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 신호 부호화 처리부가 부호화하는 것을 특징으로 한다.
상기 과제를 해결하는 제65 발명은, 상기 제64 발명에 있어서, 상기 제어 프로그램은 상기 축소 화상 생성부를, 움직임 정보에 기초하여 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와, 상기 예측 화상과 시간 고역 신호로부터 상기 시간 고역 신호에 대응하는 동화상 신호를 생성하는 시간 고역 신호 역변환부와, 상기 시간 고역 신호 역변환부가 생성한 동화상 신호에 대해서 공간 필터링을 실시하여 공간 저역 성분인 축소 복호 화상 신호를 생성하는 저역 신호 생성부로서 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제66 발명은, 상기 제65 발명에 있어서, 상기 제어 프로그램은 동화상 부호화 장치를, 상기 시간 고역 신호는 상기 시간 저역 신호와 비교해서 가중치 부여 처리를 행하거나, 또는, 상기 시간 고역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하여, 상기 시간 고역 신호 역변환부에 출력하는 가중치 부여부로서 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제67 발명은, 상기 제64 발명에 있어서, 상기 제어 프로그램은 상기 축소 화상 생성부를, 시간 저역 신호와 시간 고역 신호에 대해서 공간 필터링을 실시하여 시간 저역 공간 저역 신호와 시간 고역 공간 저역 신호를 각각 생성하는 저역 신호 생성부와, 상기 저역 신호 생성부에서의 상기 공간 필터링의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환부와, 상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와, 상기 예측 화상과 상기 시간 고역 공간 저역 신호를 이용하여, 축소 화상 신호를 생성하는 시간 고역 신호 역변환부로서 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제68 발명은, 상기 제67 발명에 있어서, 상기 제어 프로그램은 동화상 부호화 장치를, 상기 시간 고역 공간 저역 신호에 대해서 가중치 부여 처리를 행하거나, 상기 시간 고역 공간 저역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하여, 상기 시간 고역 신호 역변환부에 출력하는 가중치 부여부로서 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제69 발명은, 상기 제64 내지 제68 중 어느 하나의 발명에 있어서, 상기 고역 신호 생성부는, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 한다.
상기 과제를 해결하는 제70 발명은, 상기 제64 내지 제69 중 어느 하나의 발명에 있어서, 상기 저역 신호 생성부는, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 한다.
상기 과제를 해결하는 제71 발명은, 상기 제64 내지 제68 중 어느 하나의 발명에 있어서, 상기 저역 신호 생성부가 제1 서브 샘플 필터에 의해 축소 화상 신호를 생성하고, 상기 고역 신호 생성부가 상기 제1 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에 의해 고역 신호를 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제72 발명은, 상기 제64 내지 제71 중 어느 하나의 발명에 있어서, 상기 제어 프로그램은 상기 시간 방향 필터링부를, 동화상 신호에 대 해서 움직임 정보를 생성하는 움직임 추정부와, 상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 제1 움직임 보상부와, 상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호를 이용하여 시간 고역 신호를 생성하는 시간 고역 신호 생성부와, 상기 움직임 정보를 이용하여 상기 시간 고역 신호에 대해서 움직임 보상을 행하여 상기 예측 신호에 대응하는 움직임 보상 시간 고역 신호를 생성하는 제2 움직임 보상부와, 상기 움직임 보상 시간 고역 신호와 상기 참조 신호로부터 시간 저역 신호를 생성하는 시간 저역 신호 생성부로서 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제73 발명은, 상기 제64 내지 제71 중 어느 하나의 발명에 있어서, 상기 제어 프로그램은 상기 시간 방향 필터링부를, 동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정부와, 상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 움직임 보상부와, 상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호의 차분 신호를 생성하는 차분 신호 생성부로서 기능시키고, 상기 참조 신호를 무변환으로 시간 저역 신호로서 출력하고, 상기 차분 신호를 시간 고역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제74 발명은, 동화상 신호에 대해서 시간 방향 및 공간 방향으로 주파수 분할을 행하여, 상기 동화상 신호를 축소한 축소 화상 신호와 시공간 고역 신호와 움직임 정보를 생성하는 시간 공간 주파수 분할부와, 상기 축소 화상 신호를 부호화하는 축소 화상 신호 부호화부와, 상기 시공간 고역 신호를 부호화하는 시공간 고역 신호 부호화부와, 상기 움직임 정보를 부호화하는 움직임 정보 부호화부와, 상기 축소 화상 신호 부호화부 및 상기 시공간 고역 신호 부호화부가 출력하는 부호화 데이터와 상기 움직임 정보 부호화부가 출력하는 움직임 정보 부호화 데이터를 다중화해서 출력으로 되는 비트 스트림을 생성하는 다중화부로 이루어지는 동화상 부호화 장치의 제어 프로그램으로서, 상기 제어 프로그램은 상기 시간 공간 주파수 분할부를, 동화상 신호를, 시간 저역 신호와, 시간 고역 신호의 공간 방향 고역에 해당하는 시간 고역 공간 고역 신호와, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소해서 시간 고역 축소 화상 신호로 분할하는 시간 공간 분할 필터링부와, 상기 시간 저역 신호를 공간 방향으로 주파수 분할하여 시간 저역 공간 저역 신호와 시간 저역 공간 고역 신호를 생성하는 공간 분할 필터링부로서 기능시키고, 상기 시간 공간 분할 필터링부가 상기 시간 저역 신호를 입력으로 하여 재귀적으로 처리를 행한 후에, 상기 시간 저역 공간 저역 신호와 상기 축소 복호 화상 신호를 상기 시간 고역 축소 화상 신호로 하고, 상기 시간 고역 공간 고역 신호와 상기 시간 저역 공간 고역 신호를 시공간 고역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제75 발명은, 계층 부호화된 동화상 신호의 부호화 데이터를 복호하고, 계층화된 신호를 생성하는 신호 복호 처리부와 상기 계층화된 신호를 합성하는 시간 공간 합성 필터링부를 구비하는 동화상 복호 장치의 제어 프로그램으로서, 상기 제어 프로그램은 상기 시간 공간 합성 필터링부를, 임의의 해상도 계층에서의 복호 결과인 복호 화상 신호에 기초하여, 시간 계층화에 의한 시간 고역 성분 중의 공간 계층화에 의한 공간 저역 성분을 생성한 후, 공간 방향 주파수 합성과 시간 방향 주파수 합성을 행하여, 한층 더 고해상도의 해상도 계층의 복호 화상 신호를 생성하도록 기능시키는 것을 특징으로 한다.
상기 과제를 해결하는 제76 발명은, 부호화 데이터를 복호하여 계층화된 신호를 생성하는 신호 복호 처리부와 계층화된 화상 신호를 합성하는 시간 공간 합성 필터링부를 구비하는 동화상 복호 장치의 제어 프로그램으로서, 상기 제어 프로그램은 상기 시간 공간 합성 필터링부를, 시간 저역 신호와, 임의의 해상도 계층에 있어서의 합성 결과인 축소 복호 화상 신호로부터, 상기 시간 저역 신호와 쌍을 이루는 시간 고역 신호의 공간 저역 성분인 시간 고역 공간 저역 신호를 생성하는 시간 고역 공간 저역 신호 재구성부와, 상기 시간 고역 신호의 공간 고역 성분인 시간 고역 공간 고역 신호와, 상기 시간 고역 공간 저역 신호를 합성하여 시간 고역 신호를 생성하는 공간 합성 필터링부와, 상기 시간 고역 신호와, 상기 시간 저역 신호와, 움직임 정보로부터 복호 화상 신호를 생성하는 시간 방향 역필터링부로서 기능시키고, 상기 신호 복호 처리부가 상기 부호화 데이터로부터 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 복호하는 것을 특징으로 한다.
상기 과제를 해결하는 제77 발명은, 상기 제76 발명에 있어서, 상기 제어 프로그램은 상기 시간 고역 공간 저역 신호 재구성부를, 상기 움직임 정보에 기초하여 상기 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와, 상기 예측 화상의 공간 저역 성분인 공간 저역 예측 신호를 생성하 는 저역 신호 생성부와, 상기 공간 저역 예측 신호와 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성부로서 기능시키고, 상기 시간 고역 신호 생성부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제78 발명은, 상기 제77 발명에 있어서, 상기 제어 프로그램은 동화상 부호화 장치를, 상기 시간 고역 신호 생성부의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하는 역가중치 부여부로서 기능시켜, 상기 역가중치 부여부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제79 발명은, 상기 제76의 발명에 있어서, 상기 제어 프로그램은 상기 시간 고역 공간 저역 신호 재구성부를, 시간 저역 신호에서의 공간 저역 성분을 생성하여 시간 저역 공간 저역 신호로서 출력하는 저역 신호 생성부와, 상기 저역 신호 생성부의 입출력 화상의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환부와, 상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와, 상기 예측 화상과 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성부로서 기능시키고, 상기 시간 고역 신호 생성부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제80 발명은, 상기 제79 발명에 있어서, 상기 제어 프 로그램은 동화상 부호화 장치를, 상기 시간 고역 신호 생성부의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하는 역가중치 부여부로서 기능시켜, 상기 역가중치 부여부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제81 발명은, 상기 제76 내지 제80 중 어느 하나의 발명에 있어서, 상기 저역 신호 생성부가, 서브 밴드 분할에 의한 저역 통과 처리인 것을 특징으로 한다.
상기 과제를 해결하는 제82 발명은, 상기 제76 내지 제81 중 어느 하나의 발명에 있어서, 상기 공간 합성 필터링부가, 상기 서브 밴드 분할의 역변환으로 되는 서브 밴드 합성인 것을 특징으로 한다.
상기 과제를 해결하는 제83 발명은, 상기 제76 내지 제82 중 어느 하나의 발명에 있어서, 상기 저역 신호 생성부가, 서브 샘플 필터에 의해 축소 화상을 생성하는 것을 특징으로 한다.
상기 과제를 해결하는 제84 발명은, 상기 제83 발명에 있어서, 상기 공간 합성 필터링부가, 상기 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에서 생성된 고역 신호와, 상기 서브 샘플 필터에 의해 생성된 저역 신호의 합성인 것을 특징으로 한다.
상기 과제를 해결하는 제85 발명은, 상기 제76 내지 제84 중 어느 하나의 발명에 있어서, 상기 제어 프로그램은 상기 시간 방향 역필터링부를, 상기 움직임 정보에 기초하여 상기 시간 고역 신호에 움직임 보상을 행하여, 움직임 보상 시간 고 역 신호를 생성하는 제1 움직임 보상부와, 상기 움직임 보상 시간 고역 신호와 상기 시간 저역 신호로부터 제1 복호 화상 신호를 생성하는 시간 저역 신호 역변환부와, 상기 제1 복호 화상 신호에 대해서 상기 움직임 정보에 기초하여 움직임 보상을 행하여, 예측 신호를 생성하는 제2 움직임 보상부와, 상기 예측 신호와 상기 시간 고역 신호로부터 제2 복호 화상 신호를 생성하는 시간 고역 신호 역변환부로서 기능시키고, 상기 제1 복호 화상 신호와 상기 제2 복호 화상 신호를 통합해서 출력으로 되는 복호 화상 신호로 하는 것을 특징으로 한다.
상기 과제를 해결하는 제86 발명은, 상기 제76 내지 제85 중 어느 하나의 발명에 있어서, 상기 시간 방향 역필터링부가, 상기 시간 저역 신호에 대해서 움직임 보상을 행한 후에, 시간 고역 신호와 가산하여 상기 시간 저역 신호를 합성하여 복호 화상 신호로서 출력하는 것을 특징으로 한다.
상기 과제를 해결하는 제87 발명은, 계층화된 비트 스트림을 역다중화하여, 최저차 부호화 데이터와 잉여 부호화 데이터와 움직임 정보 부호화 데이터를 생성하는 역다중화부와, 최저차 부호화 데이터를 복호하여 축소 화상 신호를 생성하는 축소 화상 신호 복호부와, 잉여 부호화 데이터를 복호하여 시공간 고역 신호를 생성하는 시공간 고역 신호 복호부와, 상기 움직임 정보 부호화 데이터를 복호하여 움직임 정보를 생성하는 움직임 정보 복호부와, 상기 축소 화상 신호와 상기 시공간 고역 신호와 상기 움직임 정보로부터 복호 화상 신호를 생성하는 시간 공간 주파수 합성부로 이루어지는 동화상 복호 장치의 제어 프로그램으로서, 상기 제어 프로그램은 상기 시간 공간 주파수 합성부를, 상기 축소 화상 신호 중의 시간 저역 공간 저역 신호와 상기 시공간 고역 신호 중의 시간 저역 공간 고역 신호를 합성하여 시간 저역 신호를 생성하는 공간 합성 필터링부와, 상기 시간 저역 신호에 대응하는 시간 고역 신호를 상기 시간 저역 신호와 상기 축소 화상 신호와 상기 시공간 고역 신호로 재구성한 후, 상기 시간 저역 신호와 합성함으로써 복호 화상 신호를 출력하는 시간 공간 합성 필터링부로서 기능시키는 것을 특징으로 한다.
본원 발명의 특징인 동화상 부호화에서의 시간 공간 분할 필터링의 개요를, 도 25를 이용하여 설명한다.
시간 공간 분할 필터링에 있어서 최초로, 임의의 해상도 계층의 동화상 신호(10)를 시간 계층화하여 시간 저역 신호(11)와 시간 고역 신호(12)로 분할한다.
다음으로, 시간 저역 신호(11)와 시간 고역 신호(12)를 이용하여, 시간 고역 신호(12)에 대응하는 동화상 신호를 재구성한 동화상 신호(21)를 생성한다. 동화상 신호(21)에 축소 처리를 실시한 축소 화상 신호(14)를 생성한다.
또한, 시간 고역 신호(12)에 대해서 공간 계층화에 의한 고역 생성 처리를 행하여, 시간 고역 공간 고역 신호(13)를 생성한다.
그 후, 시간 저역 신호(11)와 축소 화상 신호(14)와 시간 고역 공간 고역 신호(13)를 분할 결과로서 출력한다. 시간 저역 신호(11)를 일단 시간 해상도가 낮은 동화상 신호로 간주하고, 축소 화상 신호(14)를 일단 공간 해상도가 낮은 동화상 신호로 간주하고, 시간 공간 분할 필터링을 재귀적으로 행함으로써 다단계로 동화상 신호를 계층화한다.
다음으로, 본원 발명에 의한 동화상 부호화에 대해서 설명한다.
본원 발명에 의한 동화상 부호화는, 계층 부호화된 동화상 신호의 부호화 데이터를 복호하여, 계층화된 신호를 생성하는 신호 복호 처리와 계층화된 신호를 합성하는 시간 공간 합성 필터링을 구비한다.
시간 공간 합성 필터링의 개요를, 도 26을 이용하여 설명한다.
시간 공간 합성 필터링에 있어서 합성 대상으로 되는 신호는, 복호 화상 신호(15), 시간 저역 신호(16), 시간 고역 공간 고역 신호(18)이다. 여기서, 복호 화상 신호(15)는, 전술한 축소 화상 신호(14)에 대응한다.
우선, 임의의 공간 해상도에서의 저역 성분인 복호 화상 신호(15)와, 시간 해상도에 있어서의 저역 성분인 시간 저역 신호(16)를 이용하여, 시간 저역 신호(16)에 대응하는 시간 고역 신호(12)의 공간 저역 성분인 시간 고역 공간 저역 신호(17)를 재구성한다.
시간 고역 공간 저역 신호(17)와 시간 고역 공간 고역 신호(18)에 대해서 공간 방향의 계층 합성 처리를 행하여, 시간 고역 신호(19)를 얻는다. 그 후, 시간 고역 신호(19)와 시간 저역 신호(16)에 대해서 시간 방향의 계층 합성 처리를 행하여, 한층 더 고해상도 계층의 복호 화상 신호(20)를 생성한다.
복호 화상 신호(20)를 시간 저역 신호(16) 혹은 복호 화상 신호(15)로 간주하고, 시간 공간 합성 필터링을 재귀적으로 행함으로써 다단계의 계층 합성을 실현한다.
다음으로, 본원 발명의 제2 동화상 부호화에 있어서의 제2 시간 공간 분할 필터링에 대해서 설명한다.
전술한 시간 공간 분할 필터링에서는, 시간 저역 성분과 시간 고역 성분을 이용하여, 시간 고역 성분에 대응하는 동화상 신호를 재구성한 후, 이 재구성 결과에 축소 처리를 실시함으로써, 동화상의 축소 화상 신호를 생성하였다. 그러나, 이 방법에 한정되지 않고, 동화상의 축소 화상 신호를 생성하는 것이 가능하다.
따라서, 본원 발명의 특징인 동화상 부호화에 있어서의 제2 시간 공간 분할 필터링의 개요를, 도 43을 이용하여 설명한다.
시간 공간 분할 필터링에 있어서 최초로, 임의의 해상도 계층의 동화상 신호(10)를 시간 계층화하여 시간 저역 신호(11)와 시간 고역 신호(12)로 분할한다. 지금까지는, 전술한 시간 공간 분할 필터링과 마찬가지이다.
다음으로, 시간 저역 신호(11)를 저역 생성 처리함으로써, 시간 저역 공간 저역 신호(22)를 생성한다.
한편, 시간 고역 신호(12)를 저역 생성 처리함으로써, 시간 고역 공간 저역 신호(23)를 생성함과 함께, 시간 고역 신호(12)를 고역 생성 처리함으로써, 시간 고역 공간 고역 신호(13)를 생성한다. 그리고, 시간 저역 공간 저역 신호(22)와 시간 고역 공간 저역 신호(23)를, 시간 계층 합성함으로써, 축소 화상 신호(14)를 생성한다.
그 후, 시간 저역 신호(11)와 축소 화상 신호(14)와 시간 고역 공간 고역 신호(13)를 분할 결과로서 출력한다. 시간 저역 신호(11)를 일단 시간 해상도가 낮은 동화상 신호로 간주하고, 축소 화상 신호(14)를 일단 공간 해상도가 낮은 동화 상 신호로 간주하고, 시간 공간 분할 필터링을 재귀적으로 행함으로써 다단계로 동화상 신호를 계층화한다. 또한, 복호에 대해서는, 도 26에서 설명한 복호 방법과 마찬가지이다.
<발명의 효과>
본 발명에 따르면, 계층 부호화를 행한 경우의 시공간 고역 신호가, 종래 기술인 삼차원 웨이브렛 부호화 방식과 동등하면서, 시간 고역 공간 저역 신호 대신에 축소 화상 신호에 있어서의 시간 방향 필터링의 결과를 부호화하고 있다. 즉, 시공간 고역 신호를 종래 기술과 동일하게 고능률로 부호화한 후에, 시공간 고역 신호와는 독립적으로 축소 화상 신호를 부호화한다. 이에 의해, 종래 기술의 과제였던 움직임 보상의 미스 매치와 움직임 정보의 오버헤드가 해소되어, 축소 화상 신호의 부호화 효율이 크게 향상된다.
또한, 본 발명에 따르면, 계층화되어 있는 부호화 데이터에 있어서, 모든 계층에서의 복호 신호가, 단일 계층에서 부호화한 경우의 복호 화상과 동등한 화질을 실현하는 것이 가능하다.
또한, 본 발명에 따르면, 입력으로 되는 해상도에서의 부호화 데이터와 축소 해상도에서의 부호화 데이터에 있어서, 지연이나 연산량 등 어플리케이션에 있어서 제약으로 되는 파라미터나 처리 모듈을 독립적으로 정하는 것이 가능하다. 즉 부호화 효율을 저하시키지 않고, 상이한 배신 조건을 갖는 복수의 단말기에 동시에 배신할 수 있는 계층 부호화를 실현할 수 있다.
또한, 복호 처리에 있어서 시간 공간 합성 필터링 시에 시간 고역 공간 저역 신호를 재구성하기 직전에 가중치 부여 처리를 행하고, 이 때의 가중치 부여 계수를, 부호화 처리에 있어서 축소 화상 신호를 생성할 때의 가중치 부여와 동일하게 하면, 축소 화상 신호의 부호화 시에 중첩되는 왜곡이 공간 방향 합성 필터링 후에도 증대되면서 전파되지 않아, 결과적으로 복호 화상의 열화를 저감할 수 있다.
또한, 축소 화상 신호의 부호화의 전처리로서, 또한, 복호화의 전처리로서, 노이즈 저감 등의 필터링을 행하도록 하면, 복호한 축소 화상 신호에 있어서의 부호화 왜곡이 보다 큰 해상도의 복호 화상 신호에 있어서 영향을 미치는 것을 저감 할 수 있다.
도 1은 본 발명의 실시예 1의 동화상 부호화 장치의 구성을 도시하는 블록도.
도 2는 시간 공간 주파수 분할부(101)의 구성을 도시하는 블록도.
도 3은 시간 공간 주파수 분할부(101)에 있어서의 시간 방향 및 공간 방향의 서브 밴드 분할을 도시하는 개념도.
도 4는 시간 공간 2분할 필터링부(107)의 구성을 도시하는 블록도.
도 5는 시간 방향 필터링부(109)의 구성을 도시하는 블록도.
도 6은 축소 화상 생성부(110)의 구성을 도시하는 블록도.
도 7은 실시예 2에 있어서의 제2 축소 화상 생성부(110)의 구성을 도시하는 블록도.
도 8은 축소 화상 신호 부호화부(102)의 구성을 도시하는 블록도.
도 9는 시공간 고역 신호 부호화부(103)의 구성을 도시하는 블록도.
도 10은 본 발명의 실시예 1의 동화상 복호 장치의 구성을 도시하는 블록도.
도 11은 축소 화상 신호 복호부(151)의 구성을 도시하는 블록도.
도 12는 시공간 고역 신호 복호부(152)의 구성을 도시하는 블록도.
도 13은 시간 공간 주파수 합성부(154)의 구성을 도시하는 블록도.
도 14는 시간 공간 합성 필터링부(168)의 구성을 도시하는 블록도.
도 15는 도 6에 도시하는 축소 화상 생성부에 대응하는 시간 고역 공간 저역 신호 재구성부(170)의 구성을 도시하는 도면.
도 16은 도 7에 도시하는 제2 축소 화상 생성부(110)에 대응하는 시간 고역 공간 저역 신호 재구성부(170)의 구성도.
도 17은 시간 방향 역필터링의 구성을 도시하는 블록도.
도 18은 종래 기술을 설명하기 위한 도면.
도 19는 종래 기술을 설명하기 위한 도면.
도 20은 종래 기술을 설명하기 위한 도면.
도 21은 종래 기술을 설명하기 위한 도면.
도 22는 움직임 보상의 내삽 처리와 서브 샘플 처리가 가환이 아닌 것을 설명하기 위해서 일차원의 화소 배열과 각 화소에 곱하는 필터 계수를 도시한 개념도.
도 23은 움직임 보상의 내삽 처리와 서브 샘플 처리가 가환이 아닌 것을 설명하기 위해서 일차원의 화소 배열과 각 화소에 곱하는 필터 계수를 도시한 개념 도.
도 24는 움직임 정보의 오버 헤드를 설명하는 개념도.
도 25는 본원 발명의 특징인 동화상 부호화에 있어서의 시간 공간 분할 필터링의 개요를 설명하기 위한 도면.
도 26은 본원 발명의 특징인 시간 공간 합성 필터링의 개요를 설명하기 위한 도면.
도 27은 각각의 신호에 중첩되는 양자화 왜곡이 복호 화상에 어떻게 영향을 주는지를 설명하는 개념도.
도 28은 시간 공간 2분할 필터링의 처리를 도시하는 플로우차트.
도 29는 실시예 3에 있어서의 축소 화상 생성부의 구성을 도시하는 블록도.
도 30은 실시예 3에 있어서의 동화상 복호 장치에 있어서의 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도.
도 31은, 실시예 2에서 설명한 제2 축소 화상 생성부에 가중치 부여부를 추가한 제2 축소 화상 생성부의 구성을 도시하는 블록도.
도 32는, 실시예 2의 동화상 복호 장치에 대응하는 제2 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도.
도 33은 실시예 4에 있어서의 축소 화상 생성부의 구성을 도시하는 블록도.
도 34는 실시예 4에 있어서의 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도.
도 35는 실시예 4에 있어서의 제2 축소 화상 생성부의 구성을 도시하는 블록도.
도 36은 실시예 4에 있어서의 제2 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도.
도 37은 시간 공간 합성 필터링의 처리를 도시하는 플로우차트.
도 38은 실시예 5의 동화상 부호화 장치를 도시하는 블록도.
도 39는 실시예 5에 있어서의 제2 축소 화상 생성부의 구성을 도시하는 블록도.
도 40은 실시예 5에 있어서의 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도.
도 41은 실시예 5에 있어서의 제2 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도.
도 42는 본 발명에 따른 동화상 부호화 장치를 임플리먼트한 정보처리 시스템의 일반적 블록 구성도.
도 43은 본원 발명의 다른 특징인 동화상 부호화에 있어서의 시간 공간 분할 필터링의 개요를 설명하기 위한 도면.
<부호의 설명>
101 : 시간 공간 주파수 분할부
102 : 축소 화상 신호 부호화부
103 : 시공간 고역 신호 부호화부
104 : 움직임 정보 부호화부
105 : 다중화부
150 : 역다중화부
151 : 축소 화상 신호 복호부
152 : 시공간 고역 신호 복호부
153 : 움직임 정보 복호부
154 : 시간 공간 주파수 합성부
<발명을 실시하기 위한 최량의 형태>
본 발명의 특징인 동화상 부호화에서의 시간 공간 2분할 필터링을 실현하는 시간 공간 2분할 필터링부의 구성에 대해서 설명한다.
시간 공간 2분할 필터링부는, 도 4에 도시된 바와 같이, 시간 방향 필터링부(109)와, 축소 화상 생성부(110)와, 고역 신호 생성부(111)로 구성된다. 여기서, 시간 공간 2분할 필터링부(107)에의 입력으로 되는 입력 화상 신호(1000), 축소 화상 신호(1001) 및 시간 저역 신호(1010)를 통합해서 분할 대상 신호(1013)라고 부르기로 한다. 또한, 입력 화상 신호(1000)는 도 25에 있어서의 동화상 신호(10)에 대응하고, 축소 화상 신호(1001)는 도 25에 있어서의 축소 화상 신호(14)에 대응하고, 시간 저역 신호(1010)는 도 25에 있어서의 시간 저역 신호(11)에 대응한다. 또한, 시간 고역 공간 고역 신호(1002)는, 도 25에 있어서의 시간 고역 공간 고역 신호(13)에 대응한다.
이러한 구성에 있어서의 시간 공간 2분할 필터링의 처리를, 도 28의 플로우차트를 이용하여 설명한다.
분할 대상 신호(1013)는, 시간 방향 필터링부(109)에 의한 시간 계층화에 의해, 시간 저역 신호(1010)와 시간 고역 신호(1014)로 분할됨과 동시에, 움직임 보상에 이용한 움직임 정보(1003)를 출력한다(Step 10O). 또한, 축소 화상 생성부(110)에 의해, 시간 저역 신호(1010)와 시간 고역 신호(1014)와 움직임 정보(1003)에 기초하여, 축소 화상 신호(1001)를 생성한다(Step 101).
한편, 고역 신호 생성부(111)에 의해, 시간 고역 신호(1014)에 기초해서 고역 신호 생성 처리를 행하여, 시간 고역 공간 고역 신호(1002)를 생성한다(Step 102).
그리고, 축소 화상 신호(1001), 시간 저역 신호(1010), 시간 고역 공간 고역 신호(1002)를 분할 결과로서 출력한다(Step 103).
다음으로, 본 발명의 특징인 동화상 복호에 있어서의 시간 공간 합성 필터링을 실현하는 시간 공간 합성 필터링부의 구성에 대해서 설명한다.
시간 공간 합성 필터링부는, 도 14에 도시한 바와 같이, 시간 고역 공간 저역 신호 재구성부(170)와, 공간 합성 필터링부(171)와, 시간 방향 역필터링부(172)로 구성된다. 여기서, 도 14의 축소 화상 신호(1073)는 도 26에 있어서의 축소 화상 신호(15)에 대응하고, 시간 저역 신호(1072)는 도 26에 있어서의 시간 저역 신호(16)에 대응하고, 시공간 고역 신호(1074)는 도 26에 있어서의 시간 고역 공간 고역 신호(18)에 대응하고, 시간 고역 공간 저역 신호(1076)는 도 26에 있어서의 시간 고역 공간 저역 신호(17)에 대응하고, 시간 고역 신호(1077)는 도 26에 있어서의 시간 고역 신호(19)에 대응하고, 복호 화상 신호(1075)는 도 26에 있어서의 복호 화상 신호(20)에 대응한다.
이러한 구성에 있어서의 시간 공간 합성 필터링의 처리를, 도 37의 플로우차트를 이용하여 설명한다.
축소 화상 신호(1073), 시간 저역 신호(1072), 시공간 고역 신호(1074)를 합성대상으로 하여(Step 20O), 시간 고역 공간 저역 신호 재구성부(170)에 의해, 시간 저역 신호(1072)와 축소 화상 신호(1073)와 움직임 정보(1056)에 기초하여, 시간 고역 공간 저역 신호(1076)를 재구성한다(Step 201).
계속해서, 공간 합성 필터링부(171)에 의해, 시간 고역 공간 저역 신호(1076)와 시공간 고역 신호(1074)를 합성하여 시간 고역 신호(1077)를 생성한다(Step 202).
그리고, 시간 방향 역필터링부(172)에 의해, 시간 고역 신호(1077)와 시간 저역 신호(1072)에 대해서, 움직임 정보(1056)에 기초하여 도 4에 있어서의 시간 방향 필터링부(109)의 역변환을 행함으로써 복호 화상 신호(1075)를 생성한다(Step 203).
또한, 시간 고역 공간 저역 신호 재구성부(170)는, 도 4의 축소 화상 생성부(110)에 대응하는 형태로 실현된다.
다음으로, 본 발명의 특징인 동화상 부호화에 있어서의 제2 시간 공간 2분할 필터링부의 구성에 대해서 설명한다.
전술한 실시 형태에서는, 축소 화상 생성부(110)에 있어서, 시간 저역 성분과 시간 고역 성분을 이용하여, 시간 고역 성분에 대응하는 동화상 신호를 재구성한 후, 이 재구성 결과에 축소 처리를 실시함으로써, 동화상의 축소 화상 신호를 생성했다. 그러나, 이 방법에 한정되지 않고, 동화상의 축소 화상 신호를 생성하는 것이 가능하다. 따라서, 전술한 실시 형태와는 다른 제2 축소 화상 생성부(110)의 구성을, 도 7을 이용하여 설명한다. 또한, 다른 구성은 전술한 실시 형태와 마찬가지이므로, 상세한 설명은 생략한다.
저역 신호 생성부(123) 및 저역 신호 생성부(124)는, 시간 저역 신호(1010) 및 시간 고역 신호(1014)의 저역 신호로 되는 시간 저역 공간 저역 신호(1023) 및 시간 고역 공간 저역 신호(1024)를 생성한다.
움직임 정보 변환부(125)는, 움직임 정보(1003)를 저역 신호 생성에 의한 해상도의 비에 따라서 축소한 움직임 정보(1025)를 생성한다. 움직임 보상부(126)는 시간 저역 공간 저역 신호(1023)에 대해서 움직임 정보(1025)에 기초하여 움직임 보상 처리를 행하여, 예측 신호(1026)를 생성한다. 시간 고역 신호 역변환부(127)는, 시간 고역 공간 저역 신호(1024)와 예측 신호(1026)에 대해서, 시간 고역 신호 생성부(114)에 있어서의 고역 신호 생성 필터 처리의 역변환을 행하여, 축소 화상 신호(1001)를 생성한다.
여기서, 시간 저역 신호(1010)는 도 43에 있어서의 시간 저역 신호(11)에 대응하고, 시간 고역 신호(1014)는 도 43에 있어서의 시간 고역 신호(12)에 대응하고, 시간 저역 공간 저역 신호(1023)는 도 43에 있어서의 시간 저역 공간 저역 신 호(22)에 대응하고, 시간 고역 공간 저역 신호(1024)는 도 43에 있어서의 시간 고역 공간 저역 신호(23)에 대응한다. 또한, 예측 신호(1026)는, 도 43에 있어서의 시간 계층 합성 시 사용되는 신호이다.
다음으로, 전술한 축소 화상 생성부(110)에 대응하는 부호화 장치의 시간 고역 공간 저역 신호 재구성부(170)에 대해서 설명한다. 또한, 전술한 시간 고역 공간 저역 신호 재구성부(170)와 상이한 부분에 대해서만 설명한다.
도 16에 있어서, 저역 신호 생성부(176)는, 시간 저역 신호(1072)의 공간 저역 성분인 시간 저역 공간 저역 신호(1082)를 생성한다. 움직임 정보 변환부(177)는, 움직임 정보(1056)를 저역 신호 생성에 의한 해상도의 비에 따라서 축소한 움직임 정보(1083)를 생성한다. 움직임 보상부(178)는, 시간 저역 공간 저역 신호(1082)에 대해서, 움직임 정보(1083)에 기초하여 움직임 보상 처리를 행하여, 예측 신호(1084)를 생성한다. 시간 고역 신호 생성부(179)는, 축소 화상 신호(1073)와 예측 신호(1084)에 대해서, 도 5에 있어서의 시간 고역 신호 생성부(114)와 동일한 고역 신호 생성 필터 처리를 행하여, 시간 고역 공간 저역 신호(1076)를 출력한다.
이하, 본 발명의 특징인 시간 공간 2분할 필터링 및 시간 공간 합성 필터링을 이용한 동화상 부호화 장치 및 동화상 복호 장치의 구체적인 실시예를 설명한다.
실시예 1
본 발명의 실시예 1인 동화상 부호화 장치에 있어서의 시간 공간 분할 필터 링 및 그 재귀적인 실행의 수순, 신호 부호화 처리의 실현 방법을, 도 1 내지 도 9를 이용하여 설명한다.
도 1은, 본 발명의 실시예 1의 동화상 부호화 장치의 구성을 도시하는 블록도이다. 도 1에 있어서 동화상 부호화 장치는, 시간 공간 주파수 분할부(101), 축소 화상 신호 부호화부(102), 시공간 고역 신호 부호화부(103), 움직임 정보 부호화부(104), 다중화부(105)로 이루어진다. 도 1을 이용하여 실시예로 되는 부호화 장치의 처리의 흐름을 설명한다.
우선, 시간 공간 주파수 분할부(101)는 입력 화상 신호(1000)를 입력으로 하고, 입력 화상 신호(1000)를 구성하는 각 프레임을 축소한 축소 화상 신호(1001)와, 입력 화상 신호(1000)로부터 축소 화상 신호(1001)의 상관을 제거한 고역 신호에 대해서 다시 시간 방향의 상관을 제거한 시공간 고역 신호(1002)와, 움직임 정보(1003)를 생성한다.
축소 화상 신호(1001)는 재귀적으로 시간 공간 주파수 분할부(101)에 입력 되거나, 혹은 축소 화상 신호 부호화부(102)에 출력된다. 시간 공간 주파수 분할부(101)의 재귀 동작 횟수는, 본 발명 기술에 기초하는 공간 스케일러빌리티의 계층수로부터 결정된다. 예를 들면 공간 스케일러빌리티의 계층수를 3이라고 하면, 시간 공간 주파수 분할부(101)에의 재귀 동작 횟수는 2로 된다. 그 때마다, 축소 화상 신호(1001), 시간 고역 공간 고역 신호(1002), 움직임 정보(1003)가 생성된다.
도 2는, 시간 공간 주파수 분할부(101)의 구성을 도시하는 블록도이다. 도 2를 이용하여 시간 공간 주파수 분할부(101)의 처리의 흐름에 관해서 설명한다.
입력 화상 신호(1000) 혹은 시간 공간 주파수 분할부(101)의 출력인 축소 화상 신호(1001)를 통합해서 처리 대상 신호(1009)라고 부른다. 연속하는 N매(N은 2의 멱승)의 프레임으로 이루어지는 처리 대상 신호(1009)로부터 시간 공간 2분할 필터링부(107)는, N/2매의 프레임에 상당하는 시공간 고역 신호(1002) 및 축소 화상 신호(1001)와, N/2매의 프레임에 상당하는 시간 저역 신호(1010)를 생성한다. 이 중 시간 저역 신호(1010)를 다시 입력인 처리 대상 신호로 간주하여 시간 공간 2분할 필터링이 행해진다. 이 반복 처리는 시간 저역 신호(1010)를 구성하는 프레임수가 1매로 될 때까지 행해진다. 그 후, 시간 저역 신호(1010)는, 공간 분할 필터링부(108)에 의해 공간 방향으로 주파수 분할되어, 시간 저역 공간 저역 신호(1011)와 시간 저역 공간 고역 신호(1012)가 생성된다. 공간 저역 신호(1011)는 축소 화상 신호(1001), 공간 고역 신호(1012)는 시공간 고역 신호(1002)로서 출력된다.
공간 분할 필터링부(108)에서 행해지는 저역 생성 처리에는, 웨이브렛 변환으로 대표되는 서브 밴드 분할 필터 외에, 해상도를 축소하는 임의의 필터가 이용된다. 전자의 경우 고역 생성 처리에는 저역 생성 처리에 대응하는 서브 밴드 분할 필터가 이용된다. 후자의 경우, 축소된 신호를 업 샘플한 것을 입력으로 되는 신호로부터 뺀 차분이 이용된다.
도 3은, 시간 공간 주파수 분할부(101)에 있어서의 시간 방향 및 공간 방향의 서브 밴드 분할을 도시하는 개념도이다.
입력 화상 신호(2011)는, 시간 공간 2분할 필터링부(107)에 의해 1회의 시간 공간 2분할 필터링이 행해지고, 시간 저역 신호(2041), 시공간 고역 신호(2042), 축소 화상 신호(2043)로 분할된다. 시간 저역 신호(2041)는, 시간 공간 2분할 필터링부(107)에 의해 1회의 시간 공간 2분할 필터링이 행해져, 시간 저역 신호(2044), 시공간 고역 신호(2045), 축소 화상 신호(2046)로 분할된다. 시간 저역 신호(2044)는 1회의 시간 공간 2분할 필터링(107)에 의해 시간 저역 신호(2047), 시공간 고역 신호(2048), 축소 화상 신호(2049)로 분할된다. 시간 저역 신호(2047)는 공간 분할 필터링(108)에 의해 공간 저역 신호(2050), 공간 고역 신호(2051)로 분할된다. 시공간 고역 신호(2042, 2045, 2048)와 공간 고역 신호(2051)가 시간 공간 주파수 분할부(101)의 출력인 시공간 고역 신호(1002)이며, 축소 화상 신호(2043, 2046, 2049)와 공간 저역 신호(2050)가 시간 공간 주파수 분할부(101)의 출력인 축소 화상 신호(1001)이다.
도 4는, 시간 공간 2분할 필터링부(107)의 구성을 도시하는 블록도이다. 도 4를 이용하여 시간 공간 2분할 필터링부(107)의 처리의 흐름에 관해서 설명한다.
시간 공간 2분할 필터링부(107)에의 입력으로 되는 입력 화상 신호(1000), 축소 화상 신호(1001) 및 시간 저역 신호(1010)를 통합해서 분할 대상 신호(1013)라고 부르기로 한다. 시간 방향 필터링부(109)는, 분할 대상 신호(1013)를 시간 저역 신호(1010)와 시간 고역 신호(1014)로 분할함과 동시에, 움직임 보상에 이용한 움직임 정보(1003)를 출력한다. 축소 화상 생성부(110)는 시간 저역 신호(1010)와 시간 고역 신호(1014)와 움직임 정보(1003)로부터 축소 화상 신 호(1001)를 생성한다. 고역 신호 생성부(111)는, 시간 고역 신호(1014)를 입력으로 하여 시간 고역 공간 고역 신호(1002)를 생성한다. 고역 신호 생성부(111)에 있어서의 고역 분할은 도 2에서 나타낸 공간 분할 필터링에 있어서의 고역 생성 처리와 동등하다. 또한, 도 4에 나타낸 시간 공간 2분할 필터링부(107)가, 도 25에 나타낸 본원 발명의 특징인 시간 공간 분할 필터링이 실현되는 회로 구성의 일례이다. 도 25에 있어서의 동화상 신호(10), 시간 저역 신호(11), 시간 고역 신호(12), 시간 고역 공간 고역 신호(13), 축소 화상 신호(14)는 각각, 도 4의 분할 대상 신호(1013), 시간 저역 신호(1010), 시간 고역 신호(1014), 시간 고역 공간 고역 신호(1014), 축소 화상 신호(1001)에 대응지어진다.
도 5는 시간 방향 필터링부(109)의 구성을 도시하는 블록도이다. 도 5를 이용하여 시간 방향 필터링의 처리의 흐름에 관해서 설명한다.
분할 대상 신호(1013)는 시간 방향 필터링에 있어서, 시간 저역 신호로 변환되는 분할 대상 신호(1015)와, 시간 고역 신호로 변환되는 분할 대상 신호(1016)로 나누어진다. 움직임 추정부(112)는, 분할 대상 신호(1015)와 분할 대상 신호(1016)의 움직임 보상을 규정하는 움직임 정보(1003)를 생성한다.
움직임 보상부(113)는, 분할 대상 신호(1015)를 참조 신호로 하여 움직임 보상 예측을 행하여, 분할 대상 신호(1016)에 대한 예측 신호(1017)를 생성한다. 시간 고역 신호 생성부(114)는, 분할 대상 신호(1016)와 예측 신호(1017)에 대해서 화소마다 고역 신호 생성 필터 처리를 행하여, 시간 고역 신호(1014)를 생성한다.
움직임 보상부(115)는 움직임 정보(1003)에 기초하여 시간 고역 신호(1014)에 움직임 보상 처리를 행하여, 분할 대상 신호(1015) 상의 개개의 화소에 대응된 움직임 보상 시간 고역 신호(1018)를 생성한다.
시간 저역 신호 생성부(116)는, 분할 대상 신호(1015)와 움직임 보상 시간 고역 신호(1018)에 대해서 화소마다 저역 신호 생성 필터 처리를 행하여, 시간 저역 신호(1010)를 생성한다. 고역 신호 생성 필터 처리 및 저역 신호 생성 필터 처리로서, 하르웨이브렛이나 5-3탭의 웨이브렛 변환이 이용된다. 혹은, 고역 신호 생성 필터 처리로서 차분 생성, 저역 신호 생성 필터 처리로서 분할 대상 신호를 무변환으로 출력하는 종래의 프레임간 예측 부호화 처리가 이용된다.
도 6은, 축소 화상 생성부(110)의 구성을 도시하는 블록도이다. 도 6을 이용하여 축소 화상 생성부(110)의 처리의 흐름을 설명한다.
움직임 보상부(120)는, 도 5에 있어서의 움직임 보상부(113)와 동등한 움직임 보상 처리를 시간 저역 신호(1010)에 대해서 행하여, 예측 신호(1021)를 생성한다.
시간 고역 신호 역변환부(121)는, 시간 고역 신호(1014)와 예측 신호(1021)로부터 동화상 신호(1022)를 생성한다. 시간 고역 신호 역변환부(121)에 있어서의 처리는, 도 5에 있어서의 시간 고역 신호 생성부(114)에 있어서의 고역 신호 생성 필터 처리의 역변환이다. 도 5에서의 분할 대상 신호(1015)와 시간 저역 신호(1010)가 동일하지 않은 경우, 동화상 신호(1022)는 도 5에 있어서의 분할 대상 신호(1016)와 동일하지 않다. 저역 신호 생성부(122)는 동화상 신호(1022)를 다운 샘플하여, 축소 화상 신호(1001)를 생성한다.
이상으로, 도 2에 있어서의 시간 공간 주파수 분할(101)에 대한 설명을 끝내고, 다시, 도 1을 이용하여, 본원 발명으로 되는 부호화 처리의 흐름에 대해서 계속해서 설명한다.
시간 공간 주파수 분할(101)에 의해 생성된 움직임 정보(1003)는 움직임 정보 부호화부(104)에 의해 부호화된다. 도 4 및 5에서 설명한 바와 같이 움직임 정보(1003)는, 상이한 해상도를 갖는 화상 신호, 즉 입력 화상 신호(1000) 혹은 축소 화상 신호(1001)에 대한 움직임 보상을 규정한다.
움직임 정보 부호화부(104)는, 상이한 해상도의 움직임 정보를 부호화할 때, 공간 방향으로 인접하는 블록의 움직임 정보간의 상관성을 이용하거나, 혹은 상이한 해상도에 있어서의 움직임 정보간의 상관을 이용하여, 정보의 용장성을 저감시킨다.
시간 공간 주파수 분할(101)에 의해 생성된 축소 화상 신호(1001) 및 시공간 고역 신호(1002)는 각각, 텍스처 신호 부호화부(102, 103)에 의해 부호화된다.
움직임 정보 부호화부(104)가 생성한 움직임 정보 부호화 데이터(1006) 및 텍스처 신호 부호화부(102, 103)가 생성한 텍스처 신호 부호화 데이터(1004, 1005)는 다중화부(105)에 의해 다중화되어, 부호화 데이터(1007)로서 출력된다.
도 8은, 축소 화상 신호 부호화부(102)의 구성을 도시하는 블록도이다. 도 8을 이용하여 축소 화상 신호 부호화부의 처리의 흐름에 대해서 설명한다. 축소 화상 신호(1001)는, 시간 방향 필터링부(130)에 의해 시간 방향의 용장성을 제거한 텍스처 신호(1030)로 변환된다. 시간 방향 필터링으로서, 도 5에 도시한 바와 같은 움직임 보상을 수반하는 시간 방향으로의 주파수 변환, 혹은 움직임 보상 프레임간 예측 부호화가 이용된다.
텍스처 신호(1030)는 주파수 변환부(131)에 의해 변환되어 주파수 변환 계수(1031)가 생성된다. 주파수 변환부(131)에 있어서의 처리로서, 이산 코사인 변환으로 대표되는 블록 단위로의 변환 처리 혹은 웨이브렛 변환으로 대표되는 서브 밴드 분할 처리를 들 수 있다. 주파수 변환 계수(1031)는, 양자화부(132)에 의해 양자화되어, 양자화 변환 계수(1032)가 생성된다. 양자화부(132)에 있어서의 처리로서, 단일의 양자화 스텝에 기초하는 양자화 외에, 임의의 양자화 스텝에서 양자화한 후에 입력으로 되는 주파수 변환 계수와의 오차를 보다 미세한 양자화 스텝에서 양자화하는 계층 양자화, 혹은 각 주파수 변환 계수를 2치화하여 높은 자릿수의 값으로부터 낮은 자릿수의 값으로 순차적으로 출력하는 비트 플레인 부호화를 들 수 있다. 양자화 변환 계수(1032)는 엔트로피 부호화부(133)에 의해 엔트로피 부호화되어 축소 화상 신호 부호화 데이터(1004)가 생성된다. 엔트로피 부호화로서, 미리 정한 하프맨 테이블에 따라서 부호화하는 가변 길이 부호화(Variable Length Coding, VLC) 외에, 산술 부호화가 이용된다. 또한, 시간 방향 필터링(130)을 생략해도 상관없다. 또한 주파수 변환부(131), 양자화부(132)를 생략해도 상관없다.
도 9는, 시공간 고역 신호 부호화부(103)의 구성을 도시하는 블록도이다. 시공간 고역 신호(1002)는 주파수 변환부(134)에 의해 변환되어 주파수 변환 계 수(1033)가 생성된다. 주파수 변환 계수(1033)는, 양자화부(135)에 의해 양자화되어, 양자화 변환 계수(1034)가 생성된다. 양자화 변환 계수(1034)는 엔트로피 부호화부(136)에 의해 엔트로피 부호화되어 축소 화상 신호 부호화 데이터(1005)가 생성된다. 또한, 주파수 변환부(134), 양자화부(135)를 생략해도 상관없다.
또한, 도 9에 있어서의 주파수 변환부(134), 양자화부(135), 엔트로피 부호화부(136)는, 도 8에 있어서의 주파수 변환부(131), 양자화부(132), 엔트로피 부호화부(133)와 상이한 것을 이용해도 된다. 즉, 축소 화상 부호화부(102), 시공간 고역 신호 부호화부(103) 모두, 주파수 변환에 이산 코사인 변환, 양자화부에 단일의 양자화 스텝에 기초하는 양자화를 행하는 비스케일러블한 부호화 방식을 이용해도 상관없다. 혹은, 축소 화상 신호 부호화부(102)에서는, 주파수 변환에 이산 코사인 변환, 양자화부에 단일의 양자화 스텝에 기초하는 양자화를, 시공간 고역 신호 부호화부(102)에서는, 주파수 변환에 웨이브렛 변환, 양자화부에 비트 플레인 부호화를 행하는 스케일러블 부호화 방식을 이용해도 상관없다.
다음으로, 상술한 바와 같이, 부호화된 동화상의 동화상 복호 장치에 대해서 설명한다.
본 발명의 실시예 1인 동화상 복호 장치에 있어서의 시간 공간 합성 필터링 및 그 재귀적인 실행의 수순, 신호 복호 처리의 실현 방법을, 도 10 내지 도 17을 이용하여 설명한다.
도 10은, 본 발명의 실시예 1의 동화상 복호 장치의 구성을 도시하는 블록도이다. 도 10에 있어서 동화상 복호 장치는, 역다중화부(150), 축소 화상 신호 복 호부(151), 시공간 고역 신호 복호부(152), 움직임 정보 복호부(153), 시간 공간 주파수 합성부(154)로 이루어진다. 도 10을 이용하여 실시예 1의 복호 장치의 처리의 흐름을 설명한다.
우선, 역다중화부(150)는 부호화 데이터(1050)를 저역 신호 부호화 데이터(1051), 고역 신호 부호화 데이터(1052), 움직임 정보 부호화 데이터(1053)로 분할한다.
축소 화상 신호 복호부(151) 및 시공간 고역 신호 복호부(152)는 각각, 저역 신호 부호화 데이터(1051) 및 고역 신호 부호화 데이터(1052)를 복호하여, 축소 화상 신호(1054) 및 시공간 고역 신호(1055)를 얻는다.
움직임 정보 복호부(153)는 움직임 정보 부호화 데이터(1053)를 복호하여, 움직임 정보(1056)를 얻는다.
시간 공간 주파수 합성부(154)는 축소 화상 신호(1054) 및 시공간 고역 신호(1055)에 대해서, 움직임 정보(1056)에 의해 규정되는 움직임 보상을 수반한 시간 방향의 역필터링과 공간 방향의 주파수 합성을 조합하여 행하여 복호 화상 신호(1057)를 생성한다. 혹은, 복호 화상 신호(1057)를 축소 화상 신호로 간주하고, 대응하는 시공간 고역 신호(1055)와 시간 공간 주파수 합성(154)을 재귀적으로 행함으로써, 보다 고해상도의 복호 화상 신호(1057)를 생성한다.
도 11은 축소 화상 신호 복호부(151)의 구성을 도시하는 블록도이다.
축소 화상 신호 부호화 데이터(1051)는, 엔트로피 복호부(160)에 의해 양자화 변환 계수(1060)로 복호된다.
양자화 변환 계수(1060)가 역양자화부(161)에 의해 역양자화되며, 출력인 주파수 변환 계수(1061)를 주파수 역변환부(162)가 주파수 역변환을 행하여, 텍스처 신호(1063)를 생성한다.
시간 방향 역필터링부(163)는, 도 8에 나타내는 시간 방향 필터링부(130)의 역변환을 행하여, 축소 화상 신호(1054)를 생성한다.
엔트로피 복호부(160), 역양자화부(161), 주파수 역변환부(162), 시간 방향 역필터링부(163)는, 도 8에 있어서의 엔트로피 부호화부(133), 양자화부(132), 주파수 변환부(131), 시간 방향 필터링부(130)에 각각 대응하고 있다.
축소 화상 부호화부(102)가 양자화부(132), 주파수 변환부(131), 시간 방향 필터링부(130) 중 어느 하나를 생략하고 있을 경우에는 도 11의 역양자화부(161), 주파수 역변환부(162), 시간 방향 역필터링부(163)도 마찬가지로 생략된다.
도 12는 시공간 고역 신호 복호부(152)의 구성을 도시하는 블록도이다.
시공간 고역 신호 부호화 데이터(1052)는, 엔트로피 복호부(164)에 의해 양자화 변환 계수(1063)로 복호된다. 양자화 변환 계수(1063)가 역양자화부(165)에 의해 역양자화되며, 출력인 주파수 변환 계수(1064)를 주파수 역변환부(166)가 주파수 역변환을 행하여, 시공간 고역 신호(1055)를 생성한다. 엔트로피 복호부(164), 역양자화부(165), 주파수 역변환부(166)는, 도 9에 있어서의 엔트로피 부호화부(136), 양자화부(135), 주파수 변환부(134)에 각각 대응하고 있다.
축소 화상 부호화부(102)가 양자화부(135), 주파수 변환부(134) 중 어느 하나를 생략하고 있는 경우에는 도 12의 역양자화부(165), 주파수 역변환부(166)도 마찬가지로 생략된다.
도 13은 시간 공간 주파수 합성부(154)의 구성을 도시하는 블록도이다. 도 13을 이용하여 시간 공간 주파수 합성의 처리의 흐름에 대해서 설명한다.
공간 합성 필터링부(167)는, 연속하는 N매의 프레임분의 축소 화상 신호(1154)와 시공간 고역 신호(1055) 중, 시간 방향에서 가장 저주파수 영역으로 되는 1프레임분의 신호를 각각 시간 저역 공간 저역 신호(1070) 및 시간 저역 공간 고역 신호(1071)로 간주하고, 공간 합성 필터링을 행한다.
공간 합성 필터링부(167)의 출력인 시간 저역 신호(1072) 및, 시간 저역 신호(1072)와 쌍을 이루는 시간 고역 신호에 대응하는 축소 화상 신호(1073)와 시공간 고역 신호(1174)를, 움직임 정보(1056)에 기초하는 움직임 보상을 수반한 시간 공간 합성 필터링부(168)에 의해 합성하여, 2프레임분의 복호 화상 신호(1075)를 얻는다. 이 복호 화상 신호를 시간 저역 신호(1072)라고 간주하고, 쌍을 이루는 축소 화상 신호(1073) 및 시공간 고역 신호(1074)에 대해서 시간 공간 합성 필터링을 재귀적으로 행한다.
이상의 처리를, 연속하는 N매의 복호 화상 신호(1057)가 얻어질 때까지 반복한다. 또한, 공간 합성 필터링부(167)의 공간 합성 필터링은, 도 2에 있어서의 공간 분할 필터링부(108)의 공간 분할 필터링의 역변환에 상당한다.
도 14는 시간 공간 합성 필터링부(168)의 구성을 도시하는 블록도이다. 도 14를 이용하여 시간 공간 합성 필터링의 처리의 흐름을 설명한다.
시간 고역 공간 저역 신호 재구성부(170)는, 시간 저역 신호(1072)와 축소 화상 신호(1073)와 움직임 정보(1056)로 시간 고역 공간 저역 신호(1076)를 재구성한다.
공간 합성 필터링부(171)는, 시간 고역 공간 저역 신호(1076)와 시공간 고역 신호(1074)를 합성하여 시간 고역 신호(1077)를 생성한다.
시간 방향 역필터링부(172)는, 시간 고역 신호(1077)와 시간 저역 신호(1072)에 대해서 움직임 정보(1056)에 기초하여 도 4에 있어서의 시간 방향 필터링부(109)의 역변환을 행함으로써 복호 화상 신호(1075)를 생성한다.
또한, 도 14에 도시하는 시간 공간 합성 필터링부(168)가, 도 26에 도시한 본원 발명의 특징인 시간 공간 합성 필터링을 실현하는 회로 구성의 일례이다. 도 26에 있어서의 복호 화상 신호(15), 시간 저역 신호(16), 시간 고역 공간 저역 신호(17), 시간 고역 공간 고역 신호(18), 시간 고역 신호(19), 복호 화상 신호(20)는 각각, 도 14의 축소 화상 신호(1073), 시간 저역 신호(1072), 시간 고역 공간 저역 신호(1076), 시공간 고역 신호(1074), 시간 고역 신호(1077), 복호 화상 신호(1075)에 대응지어진다.
시간 고역 공간 저역 신호 재구성부(170)는, 도 4의 축소 화상 생성부(110)에 대응하는 형태로 실현된다.
도 15는, 도 6에 나타내는 축소 화상 생성부에 대응하는 시간 고역 공간 저역 신호 재구성부(170)의 구성을 나타낸다. 도 15에 따라서 시간 광역 공간 저역 신호 재구성부(170)의 처리의 흐름을 설명한다.
움직임 보상부(173)는, 시간 저역 신호(1072)에 대해서 움직임 정보(1056)에 기초해서 움직임 보상 처리를 행하여, 예측 신호(1080)를 생성한다. 저역 신호 생성부(174)는, 예측 신호(1080)의 공간 저역 성분인 공간 저역 예측 신호(1081)를 생성한다. 시간 고역 신호 생성부(175)는 축소 화상 신호(1073)와 공간 저역 예측 신호(1081)에 대해서, 도 4에 있어서의 시간 고역 신호 역변환부(121)와 역의 변환을 행하여, 출력으로 되는 시간 고역 공간 저역 신호(1076)를 생성한다.
도 17은 시간 방향 역필터링부(172)의 구성을 도시하는 블록도이다. 도 17을 이용하여 시간 방향 역필터링부(172)의 처리의 흐름을 설명한다.
움직임 보상부(181)는 움직임 정보(1056)에 기초하여 시간 고역 신호(1077)에 움직임 보상 처리를 행하여, 움직임 보상 시간 고역 신호(1081)를 생성한다.
시간 저역 신호 역변환부(182)는, 시간 저역 신호(1072)와 움직임 보상 시간 고역 신호(1181)에 대해서 화소마다 저역 신호 생성 필터 처리의 역변환을 행하여, 복호 화상 신호(1082)를 생성한다.
움직임 보상부(183)는, 복호 화상 신호(1082)를 참조 신호로 하여 움직임 보상 예측을 행하여, 예측 신호(1083)를 생성한다.
시간 고역 신호 역변환부(184)는, 시간 고역 신호(1077)와 예측 신호(1183)에 대해서 화소마다 고역 신호 생성 필터 처리의 역변환을 행하여, 복호 화상 신호(1084)를 생성한다. 복호 화상 신호(1082, 1084)를 표시 시각순으로 배열한 것이 출력으로 되는 복호 화상 신호(1175)이다.
이상으로 본원 발명의 실시예 1의 동화상 부호화 장치 및 동화상 복호 장치의 설명을 끝낸다.
실시예에 나타낸 동화상 복호 장치는, 동화상 부호화 장치가 생성한 부호화 데이터를 복호하여 입력 화상 신호를 재구성한다. 또한, 도 20에 도시한 바와 같이 부호화 데이터 추출 장치(208)가 부호화 데이터 중 일부의 시공간 고역 신호의 부호화 데이터를 제거한 후에, 동화상 복호 장치(209)가 남은 부호화 데이터를 복호하는 것도 가능하다. 이 경우, 남은 부호화 데이터에 포함되는 축소 화상 신호 부호화 데이터 및 시공간 고역 신호 부호화 데이터에 기초한 공간 해상도와 프레임 레이트를 갖는 화상 신호가 복호된다. 혹은, 남은 부호화 데이터에 시공간 고역 신호 부호화 데이터가 전혀 포함되어 있지 않은 경우, 동화상 복호 장치는, 축소 화상 부호화 데이터를 복호한 결과를 출력한다.
또한, 본원 발명은, 공간 방향으로의 스케일러빌리티를 갖는 계층 부호화에 있어서, 공간 고역 성분에 대해서는 시간 방향 필터링을 행한 후에 공간 방향의 주파수 분할을 행해서 생성하고, 공간 저역 성분에 대해서는 축소 화상에 대해서 시간 방향의 필터링을 행하는 것을 특징으로 한다. 축소 화상 생성은, 원 해상도의 시간 방향 필터링을 고려하여 행해지기 때문에, 종래 기술의 MC 미스 매치와 같은 원리적인 왜곡이 발생하지 않는다. 도 8 및 도 9에서 설명한 바와 같이, 본원 발명은 축소 화상 신호 및 시공간 고역 신호의 부호화 시에 다른 주파수 변환이나 엔트로피 부호화를 이용한 경우에도 적용할 수 있다.
또한, 본원 발명에서는, 도 2 및 도 3에 도시한 바와 같이, N매의 화상 신호가 1회의 시간 방향 필터링에 의해 N/2매의 시간 저역 신호와 N/2매의 시간 고역 신호로 분할되고, 시간 저역 신호에 대해서 재귀적으로 시간 방향 필터링을 행하지 만, 다른 참조 관계에 기초하는 시간 방향 필터링에도 적용 가능하다. 예를 들면, N매의 화상 신호가 1회의 시간 방향 필터링에 의해 N/3매의 시간 저역 신호와 2N/3매의 시간 고역 신호로 분할되는 경우 등이다.
실시예 2
전술한 실시예 1에서는, 축소 화상 생성부(110)에 있어서, 시간 저역 성분과 시간 고역 성분을 이용하여, 시간 고역 성분에 대응하는 동화상 신호를 재구성한 후, 이 재구성 결과에 축소 처리를 실시함으로써, 동화상의 축소 화상 신호를 생성했다. 그러나, 이 방법에 한정되지 않고, 동화상의 축소 화상 신호를 생성하는 것이 가능하다. 따라서, 실시예 2에서는, 실시예 1과는 다른 제2 축소 화상 생성부(110)의 구성을 설명한다. 또한, 다른 구성은 실시예 1과 마찬가지이므로, 상세한 설명은 생략한다.
도 7은, 실시예 2에 있어서의 제2 축소 화상 생성부(110)의 구성을 도시하는 블록도이다. 도 7에 나타내는 축소 화상 생성부(110)의 처리의 흐름을 설명한다.
저역 신호 생성부(123) 및 저역 신호 생성부(124)는, 시간 저역 신호(1010) 및 시간 고역 신호(1014)의 저역 신호로 되는 시간 저역 공간 저역 신호(1023) 및 시간 고역 공간 저역 신호(1024)를 생성한다.
움직임 정보 변환부(125)는, 움직임 정보(1003)를 저역 신호 생성에 의한 해상도의 비에 따라서 축소한 움직임 정보(1025)를 생성한다.
움직임 보상부(126)는 시간 저역 공간 저역 신호(1023)에 대해서 움직임 정 보(1025)에 기초하여 움직임 보상 처리를 행하여, 예측 신호(1026)를 생성한다.
시간 고역 신호 역변환부(127)는, 시간 고역 공간 저역 신호(1024)와 예측 신호(1026)에 대해서, 도 5에 있어서의 시간 고역 신호 생성부(114)에 있어서의 고역 신호 생성 필터 처리의 역변환을 행하여, 축소 화상 신호(1001)를 생성한다.
다음으로, 전술한 축소 화상 생성부(110)에 대응하는 부호화 장치의 시간 고역 공간 저역 신호 재구성부(170)에 대해서 설명한다.
도 16은, 도 7에 나타내는 제2 축소 화상 생성부(110)에 대응하는 시간 고역 공간 저역 신호 재구성부(170)의 구성을 나타낸다.
도 16에 있어서, 저역 신호 생성부(176)는, 시간 저역 신호(1072)의 공간 저역 성분인 시간 저역 공간 저역 신호(1082)를 생성한다.
움직임 정보 변환부(177)는, 움직임 정보(1056)를 저역 신호 생성에 의한 해상도의 비에 따라서 축소한 움직임 정보(1083)를 생성한다.
움직임 보상부(178)는, 시간 저역 공간 저역 신호(1082)에 대해서, 움직임 정보(1083)에 기초하여 움직임 보상 처리를 행하여, 예측 신호(1084)를 생성한다.
시간 고역 신호 생성부(179)는, 축소 화상 신호(1073)와 예측 신호(1084)에 대해서, 도 5에 있어서의 시간 고역 신호 생성부(114)와 동일한 고역 신호 생성 필터 처리를 행하여, 시간 고역 공간 저역 신호(1076)를 출력한다.
실시예 3
본 발명의 실시예 3을 설명한다.
전술한 실시예 1 및 실시예 2에서는, 화상에 따라서는, 축소 화상 신호 생성 시의 가중치 부여에 기초하는 부호화 왜곡이 증대되게 되는 경우가 있다. 이하에 구체예를 들어 설명한다.
본 발명의 특징은, 도 26에 도시한 바와 같이 축소 해상도 상에서의 축소 화상 신호(15)와, 시간 저역 성분(16)으로부터 움직임 보상과 축소 처리에 의해 얻어지는 예측 화상 신호로, 시간 고역 공간 저역 신호(17)를 재구성하는 점에 있다.
축소 화상 신호(15)는, 도 25에 나타내는, 동화상 신호(21)에 축소 처리를 행한 축소 화상 신호(14)를 재구성한 것이며, 시간 저역 성분(16)은 도 25에 있어서의 시간 저역 성분(11)을 재구성한 것이다. 복호 시에는, 이들 신호에 양자화에 의한 왜곡이 발생하는 경우가 있다.
도 27은 각각의 신호에 중첩되는 양자화 왜곡이 복호 화상에 어떻게 영향을 주는지를 설명하는 개념도이다.
축소 화상 신호(3000), 시간 저역 신호(3001), 시공간 고역 신호(3002)에 각각 양자화 스텝 △에 기초하는 왜곡량(3004, 3005, 3006)이 중첩되어, 동화상 복호 장치(300) 내에서 축소 복호 화상(3007), 시간 저역 신호(3008), 시공간 고역 신호(3009)로서 재구성되어 있는 것으로 한다. 여기서 축소 화상 신호(3000)의 생성에 있어서 저역 신호 생성 처리의 직후에 정규화 처리 등을 위해 1/α의 가중치 부여가 행해지고 있는 것으로 한다. 도 27에 있어서, 시간 저역 신호(3008)에 대해서 움직임 보상과 저역 신호 생성의 처리를 행한 후, 1/α의 가중치 부여 처리(301)를 행하여, 축소 해상도 상에서의 예측 화상 신호(3010)가 얻어진다. 시간 고역 공간 저역 신호(3011)를 재구성하기 위해서는, 축소 복호 화상 신호(3007)와 예측 화상 신호(3010) 사이에서 시간 방향 필터링의 역변환을 행한 후, 가중치 부여 처리(301)에 의해 α의 가중치 부여를 행할 필요가 있다. 이 가중치 부여에 의해 시간 고역 공간 저역 신호(3011)에 포함되는 왜곡은 양자화 스텝 △에 α를 곱한 양으로 된다.
따라서, 실시예 3에서는, 전술한 바와 같은 부호화 왜곡을 방지하도록 구성한 동화상 부호화 장치에 대해서, 도면을 이용하여 설명한다.
우선, 실시예 1의 동화상 부호화 장치 및 동화상 복호 장치에 대응하는 구성의 실시예에 대해서 설명한다.
실시예 3의 동화상 부호화 장치는, 도 4에 나타내는 축소 화상 생성부가 상이한 것 이외에는 실시예 1과 동일한 구성을 갖는다. 도 29는 실시예 3에 있어서의 축소 화상 생성부의 구성을 도시하는 블록도이다. 도 29에 나타내는 축소 화상 생성부는 도 6에 나타내는 축소 화상 생성부와 비교해서, 시간 고역 신호(1014)가 가중치 부여부(159)에 의해 가중치 부여된 후, 그 출력(1078)이 시간 고역 신호 역변환부(121)에 입력되는 점이 다르다.
이 가중치 부여부(159)는, 입력으로 되는 신호에 대해서 저역 신호 생성 처리에 포함되는 가중치 부여의 역수를 곱한다. 또한, 가중치 부여부(159)는, 시간 고역 신호(1014)에 따라서 화소마다 혹은 움직임 보상의 단위로 되는 블록마다 가중치 부여를 조절한다. 모든 화소에 대해서 동일하게 가중치 부여를 한 경우, 시간 고역 신호(1014)의 파워가 큰 화소에 대해서 출력으로 되는 축소 화상 신 호(1001)의 열화가 현저해진다. 그 때문에, 시간 고역 신호(1114)의 파워가 큰 화소에 대해서만 가중치 부여를 저감한다. 가중치 부여 저감의 판정 정보는 부호화측과 복호측에서 일치할 필요가 있다. 그를 위한 방법으로서 미리 정한 임계값에 기초하는 것, 임계값을 부가 정보로서 부호화하는 것, 화소마다 혹은 블록마다 판정 정보를 부호화하는 것 등이 생각된다.
계속해서, 전술한 동화상 부호화 장치에서 부호화된 동화상을 복호하는 동화상 복호 장치에 대해서, 도 30을 이용하여 설명한다.
실시예 3의 동화상 복호 장치는, 실시예 1의 시간 고역 공간 저역 신호 재구성부(170)가 상이한 것 이외에는, 실시예 1의 동화상 복호 장치와 동일한 구성을 갖는다. 도 30은 실시예 3에 있어서의 동화상 복호 장치에 있어서의 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도이다. 도 30에 나타내는 시간 고역 공간 저역 신호 재구성부는, 도 15에 나타내는 시간 고역 공간 저역 신호 재구성부와 비교해서 시간 고역 신호 생성부(175)의 출력(1090)이 가중치 부여부(190)에 의해 가중치 부여된 후, 시간 고역 신호(1076)로서 출력되는 점이 다르다. 가중치 부여부(190)에서는 도 29에 있어서의 가중치 부여부(159)에 있어서의 가중치 부여 계수의 역수가 가중치 부여된다.
다음으로, 실시예 2의 동화상 부호화 장치 및 동화상 복호 장치에 대응하는 구성의 실시예에 대해서 설명한다. 도 31은, 실시예 2에서 설명한 제2 축소 화상 생성부에 가중치 부여부를 추가한 제2 축소 화상 생성부의 구성을 도시하는 블록도이다.
도 31에 나타내는 제2 축소 화상 생성부는 도 7에 나타내는 축소 화상 생성부와 비교해서, 도 29와 동일하게 가중치 부여부(159)가 추가되어 있는 점이 다르다. 이 가중치 부여부(159)는, 저역 신호 생성부(124)의 출력인 시간 고역 공간 저역 신호(124)에 대해서 가중치 부여 처리를 행하고, 결과인 시간 고역 공간 저역 신호(1079)를 시간 고역 신호 역변환부(127)에 출력한다. 가중치 부여부(159)에서는 도 29에 있어서의 가중치 부여부(159)와 동등한 가중치 부여 처리가 이루어진다.
또한, 도 32는, 실시예 2의 동화상 복호 장치에 대응하는 제2 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도이다. 도 32에 나타내는 시간 고역 공간 저역 신호 재구성부는 도 16에 나타내는 시간 고역 공간 저역 신호 재구성부와 비교해서, 도 30과 동일하게 가중치 부여부(190)가 추가되어 있는 점이 다르다. 시간 고역 신호 생성부(179)의 출력(1091)은 가중치 부여부(190)에 의해 가중치 부여된 후, 시간 고역 신호(1176)로서 출력된다. 가중치 부여부(190)에서는 도 31에 있어서의 가중치 부여부(159)에 있어서의 가중치 부여 계수의 역수가 가중치 부여된다.
실시예 3에 따르면, 복호 처리에 있어서 시간 공간 합성 필터링 시에 시간 고역 공간 저역 신호를 재구성하기 직전에, 가중치 부여 처리를 행한다. 이 가중치 부여 처리는, 실시예 1 및 2에 있어서, 복호 시에 공간 방향 합성 필터링에 의해 시간 고역 신호를 합성할 때의 가중치 부여에 의해, 축소 화상 신호의 부호화 왜곡이 시간 고역 신호에 강조되어 전파된다고 하는 과제를 해결한다. 이에 따라 복호 화상의 열화를 저감할 수 있다.
실시예 4
본 발명의 실시예 4에 대해서 설명한다.
전술한 제1 및 제2 실시예에서는, 화상에 따라서는, 축소 화상 신호의 부호화 왜곡이 보다 큰 해상도의 복호 화상에 전파되는 경우가 있었다. 예를 들면, 도 1에 도시한 바와 같은 구성을 갖는 동화상 부호화 장치는, 축소 화상 신호 부호화 데이터(1004)와 시공간 고역 신호 부호화 데이터(1005) 사이의 부호량 할당을 최적화함으로써, 복호 화상의 화질을 어느 정도 조정할 수 있다.
그러나, 복호한 축소 화상 신호에 발생하는 블록 왜곡이나 링잉 등의 부호화 왜곡을, 시공간 고역 신호에 의해 완전히 저감할 수는 없다.
따라서, 전술한 과제를 해결하는 실시예 4의 동화상 부호화 장치 및 동화상 복호 장치를 설명한다.
우선, 실시예 1의 동화상 부호화 장치 및 동화상 복호 장치에 대응하는 실시예 4의 동화상 부호화 장치 및 동화상 복호 장치에 대해서 설명한다.
실시예 4의 동화상 부호화 장치는, 도 4에 나타내는 축소 화상 생성부가 상이한 것 이외에는, 실시예 1의 동화상 부호화 장치와 동일한 구성을 갖는다.
도 33은, 실시예 4에 있어서의 축소 화상 생성부의 구성을 도시하는 블록도이다. 도 33에 나타내는 축소 화상 생성부는 도 6에 나타내는 축소 화상 생성부와 비교해서 시간 고역 신호(1014)가 필터(200)에 의해 처리된 후, 그 출력(1078)이 시간 고역 신호 역변환부(121)에 입력되는 점이 다르다. 필터(200)는 입력으로 되 는 신호에 대해서 평활화나 노이즈 제거 등을 행한다.
계속해서, 전술한 동화상 부호화 장치에서 부호화된 동화상을 복호하는 동화상 복호 장치에 대해서 설명한다.
실시예 4의 동화상 복호 장치는, 도 15에 나타내는 시간 고역 공간 저역 신호 재구성부가 상이한 것 이외에는 실시예 1의 동화상 복호 장치와 동일한 구성을 갖는다.
도 34는, 실시예 4에 있어서의 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도이다. 도 34에 나타내는 시간 고역 공간 저역 신호 재구성부는 도 15에 나타내는 시간 고역 공간 저역 신호 재구성부와 비교해서 시간 고역 신호 생성부의 출력(1090)이 필터(201)에 의해 처리된 후, 시간 고역 신호(1076)로서 출력 되는 점이 다르다. 필터(201)에서는 디링잉이나 블록 왜곡 제거 등 축소 복호 화상 신호에 있어서의 왜곡 혹은 노이즈를 저감한다.
다음으로, 실시예 2의 동화상 부호화 장치 및 동화상 복호 장치에 대응하는 실시예 4의 동화상 부호화 장치 및 동화상 복호 장치를 설명한다.
도 35는, 실시예 4에 있어서의 제2 축소 화상 생성부의 구성을 도시하는 블록도이다. 도 35에 나타내는 축소 화상 생성부는 도 7에 나타내는 축소 화상 생성부와 비교해서, 필터(202)가 추가되어 있는 점이 다르다. 필터(202)는, 저역 신호 생성부(124)의 출력인 시간 고역 공간 저역 신호(124)에 대해서 도 33에 있어서의 필터(200)와 마찬가지의 처리를 행하고, 결과인 시간 고역 공간 저역 신호(1079)를 시간 고역 신호 역변환부(127)에 출력한다.
계속해서, 전술한 동화상 부호화 장치에서 부호화된 동화상을 복호하는 동화상 복호 장치에 대해서 설명한다.
실시예 4의 동화상 복호 장치는, 도 16에 나타내는 시간 고역 공간 저역 신호 재구성부가 상이한 것 이외에는 실시예 2의 동화상 복호 장치와 동일한 구성을 갖는다.
도 36은, 실시예 4에 있어서의 제2 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도이다. 도 36에 도시하는 시간 고역 공간 저역 신호 재구성부는, 도 16에 나타내는 시간 고역 공간 저역 신호 재구성부와 비교해서, 필터(203)가 추가되어 있는 점이 다르다. 시간 고역 신호 생성부(179)의 출력(1091)은 필터(203)에 의해 처리된 후, 시간 고역 신호(1076)로서 출력된다. 필터(203)에서는 도 34에 있어서의 필터(201)와 마찬가지의 처리가 행해진다.
실시예 4에 따르면, 축소 화상 신호의 부호화의 전처리로서, 또한 부호화의 전처리로서 노이즈 저감 등의 필터링을 행한다. 이것에 의해, 복호한 축소 화상 신호에 있어서의 부호화 왜곡이 보다 큰 해상도의 복호 화상 신호에 있어서 영향을 미치는 것을 저감할 수 있다.
실시예 5
동화상 신호의 계층 부호화에서는, 화상 신호를 주파수 분할했을 때에 저역 신호에 파워를 집중시키는 것이 고능률로 부호화하는 데에 필요하다. 본원 발명에 있어서의 축소 화상 생성부에 있어서 마찬가지의 주파수 분할을 행하면, 축소 화상 신호의 세밀함이 높아지기 때문에 축소 화상 신호 단체의 부호화가 곤란해지는 경 우가 있었다. 반대로 축소 화상 신호의 세밀함을 적당하게 조절한 저역 신호 생성 필터링에서는 신호 전체의 부호화 효율이 저하된다고 하는 문제가 있었다. 실시예 5에서는, 이 과제를 해결하는 실시예에 대해서 설명한다.
실시예 5의 동화상 부호화 장치에 대해서, 도 38을 이용하여 설명한다. 실시예 5의 동화상 부호화 장치는, 도 4에 나타내는 축소 화상 생성부가 상이한 것 이외에는 실시예 1과 동일한 구성을 갖는다. 도 38은 실시예 5의 축소 화상 생성부의 구성을 도시하는 블록도이다.
도 38에 나타내는 축소 화상 생성부는, 도 6에 나타내는 축소 화상 생성부와 비교해서 시간 저역 신호(1010)가 필터(300)에 의해 처리된 후, 그 출력(1079)이 움직임 보상부(120)에 입력되는 점이 다르다. 필터(300)는 입력으로 되는 신호에 대해서 평활화나 바림 처리 등을 행한다.
도 39는 실시예 5에 있어서의 제2 축소 화상 생성부의 구성을 도시하는 블록도이다. 도 39에 나타내는 축소 화상 생성부는, 도 7에 나타내는 축소 화상 생성부와 비교해서, 도 38과 동일하게 필터(301)가 추가되어 있는 점이 다르다. 시간 저역 신호(1010)가 필터(300)에 의해 처리된 후, 그 출력(1079)이 움직임 보상부(120)에 입력된다. 필터(300)는 도 38에 있어서의 필터(300)와 마찬가지의 처리를 행한다.
다음으로, 전술한 동화상 부호화 장치에 대한 동화상 복호 장치에 대해서 도 40 및 도 41을 이용하여 설명한다.
실시예 5의 동화상 복호 장치는, 도 14에 나타내는 시간 고역 공간 저역 신 호 재구성부가 상이한 것 이외에는, 실시예 1의 발명과 동일한 구성을 갖는다. 도 40은 실시예 5에 있어서의 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도이다. 도 40에 나타내는 시간 고역 공간 저역 신호 재구성부는, 도 15에 나타내는 시간 고역 공간 저역 신호 재구성부와 비교해서 시간 저역 신호(1072)가 필터(400)에 의해 처리된 후, 움직임 보상부(173)에 입력되는 점이 다르다. 필터(400)에서는 도 38에 있어서의 필터(300)와 마찬가지의 처리가 행해진다.
도 41은 실시예 5에 있어서의 제2 시간 고역 공간 저역 신호 재구성부의 구성을 도시하는 블록도이다. 도 41에 나타내는 시간 고역 공간 저역 신호 재구성부는, 도 16에 나타내는 시간 고역 공간 저역 신호 재구성부와 비교해서, 도 40과 동일하게 필터(400)가 추가되어 있는 점이 다르다. 시간 저역 신호(1072)는 필터(400)에 의해 처리된 후, 움직임 보상부(173)에 입력된다. 필터(400)에서는 도 39에 있어서의 필터(300)와 마찬가지의 처리가 행해진다.
이러한 구성에 따르면, 축소 화상 신호를 생성할 때에 시간 저역 신호에 평활화 등의 필터링을 행한다. 이에 따라 시간 공간 고역 신호를 바꾸지 않고, 축소 화상 신호 자체의 부호화를 용이하게 할 수 있다. 복호 시에는 시간 고역 공간 저역 신호 재구성부에 있어서, 시간 저역 신호에도 동등한 필터링이 행해진다. 그 때문에 생성되는 시간 고역 공간 저역 신호의 정밀도가 떨어지는 일은 없다.
실시예 6
본 발명의 실시예 6에 대해서 설명한다.
본 발명에 따른 동화상 부호화 장치 및 동화상 복호 장치는, 이상의 설명에 서도 알 수 있듯이, 하드웨어로 구성하는 것도 가능하지만, 컴퓨터 프로그램에 의해 실현하는 것도 가능하다.
도 42는, 본 발명에 따른 동화상 부호화 장치를 임플리먼트한 정보 처리 시스템의 일반적 블록 구성도이다.
도 42에 나타내는 정보 처리 시스템은, 프로세서(500), 프로그램 메모리(501), 기억 매체(502 및 503)로 이루어진다. 기억 매체(502 및 503)는, 별개의 기억 매체여도 되고, 동일한 기억 매체로 이루어지는 기억 영역이어도 된다. 기억 매체로서는, 하드디스크 등의 자기 기억 매체를 이용할 수 있다.
프로그램 메모리(501)에는, 전술한 실시예 1 내지 실시예 5의 동화상 부호화 장치에 있어서의 시간 공간 주파수 분할부(101), 축소 화상 신호 부호화부(102), 시공간 고역 신호 부호화부(103), 움직임 정보 부호화부(104), 다중화부(105)로서의 처리를, 프로세서(500)에 행하게 하는 프로그램이 저장되어 있고, 이 프로그램에 의해 프로세서(500)는 동작하고, 결과를 기억 매체(502 또는 503)에 저장한다.
또한, 프로그램 메모리(501)에는, 전술한 실시예 1 내지 실시예 5의 동화상 복호 장치에 있어서의 역다중화부(150), 축소 화상 신호 복호부(151), 시공간 고역 신호 복호부(152), 움직임 정보 복호부(153), 시간 공간 주파수 합성부(154)로서의 처리를, 프로세서(500)에 행하게 하는 프로그램이 저장되어 있고, 이 프로그램에 의해 프로세서(500)는 동작하고, 결과를 기억 매체(502 또는 503)에 저장한다.
이상의 설명에서도 알 수 있듯이, 하드웨어의 전부 또는 일부를, 컴퓨터 프 로그램에 의해 실현하는 것도 가능하다.

Claims (87)

  1. 동화상 부호화 장치로서,
    동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분을 이용하여, 상기 시간 고역 성분에 대응하는 동화상 신호를 생성하고, 이 생성 결과에 축소 처리를 실시한 동화상의 축소 화상 신호를 출력하는 시간 공간 분할 필터링부를 갖는 것을 특징으로 하는 동화상 부호화 장치.
  2. 동화상 부호화 장치로서,
    동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상의 축소 화상 신호를 생성하는 시간 공간 분할 필터링부를 갖는 것을 특징으로 하는 동화상 부호화 장치.
  3. 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치로서,
    상기 시간 공간 분할 필터링부가, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 상기 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과로 축소 처리를 실시한 축소 화상 신호를 생성하는 것을 특징으로 하는 동화상 부호화 장치.
  4. 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치로서,
    상기 시간 공간 분할 필터링부가, 상기 동화상 신호를 시간 계층화하여 시간 저역 성분과 시간 고역 성분을 얻고, 상기 시간 고역 성분을 공간 계층화하여 공간 고역 성분을 얻고, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하는 것을 특징으로 하는 동화상 부호화 장치.
  5. 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치로서,
    상기 시간 공간 분할 필터링부가, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상 신호의 축소 화상 신호를 생성하는 것을 특징으로 하는 동화상 부호화 장치.
  6. 동화상 신호를 계층화하는 시간 공간 분할 필터링부와 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치로서,
    상기 시간 공간 분할 필터링부가,
    동화상 신호를 시간 방향으로 필터링하여, 시간 저역 신호와 시간 고역 신호와 상기 화상 신호 사이의 움직임을 나타내는 움직임 정보를 생성하는 시간 방향 필터링부와,
    상기 시간 고역 신호와 상기 시간 저역 신호를 이용하여, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소한 축소 화상 신호를 생성하는 축소 화상 생성부와,
    상기 시간 고역 신호에 대해서 공간 고역 성분에 해당하는 시간 고역 공간 고역 신호를 생성하는 고역 신호 생성부를 갖고,
    상기 시간 저역 신호 혹은 상기 축소 화상 신호에 대해서 상기 시간 공간 분할 필터링부가 실행됨으로써 동화상 신호를 계층화한 후, 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 신호 부호화 처리부가 부호화하는 것을 특징으로 하는 동화상 부호화 장치.
  7. 제6항에 있어서,
    상기 축소 화상 생성부는,
    움직임 정보에 기초하여 시간 저역 신호에 대해서 움직임 보상을 행하여, 예 측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상과 시간 고역 신호로부터 상기 시간 고역 신호에 대응하는 동화상 신호를 생성하는 시간 고역 신호 역변환부와,
    상기 시간 고역 신호 역변환부가 생성한 동화상 신호에 대해서 공간 필터링을 실시하여 공간 저역 성분인 축소 복호 화상 신호를 생성하는 저역 신호 생성부
    를 갖는 것을 특징으로 하는 동화상 부호화 장치.
  8. 제7항에 있어서,
    상기 시간 고역 신호는 상기 시간 저역 신호와 비교해서 가중치 부여 처리를 행하거나, 또는, 상기 시간 고역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하여, 상기 시간 고역 신호 역변환부에 출력하는 가중치 부여부를 갖는 것을 특징으로 하는 동화상 부호화 장치.
  9. 제6항에 있어서,
    상기 축소 화상 생성부는,
    시간 저역 신호와 시간 고역 신호에 대해서 공간 필터링을 실시하여 시간 저역 공간 저역 신호와 시간 고역 공간 저역 신호를 각각 생성하는 저역 신호 생성부와,
    상기 저역 신호 생성부에서의 상기 공간 필터링의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환부와,
    상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상과 상기 시간 고역 공간 저역 신호를 이용하여, 축소 화상 신호를 생성하는 시간 고역 신호 역변환부
    를 갖는 것을 특징으로 하는 동화상 부호화 장치.
  10. 제9항에 있어서,
    상기 시간 고역 공간 저역 신호에 대해서 가중치 부여 처리를 행하거나, 상기 시간 고역 공간 저역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하여, 상기 시간 고역 신호 역변환부에 출력하는 가중치 부여부를 갖는 것을 특징으로 하는 동화상 부호화 장치
  11. 제6항 내지 제10항 중 어느 한 항에 있어서,
    상기 고역 신호 생성부는, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 하는 동화상 부호화 장치.
  12. 제6항 내지 제11항 중 어느 한 항에 있어서,
    상기 저역 신호 생성부는, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 하는 동화상 부호화 장치.
  13. 제6항 내지 제10항 중 어느 한 항에 있어서,
    상기 저역 신호 생성부가 제1 서브 샘플 필터에 의해 축소 화상 신호를 생성하고,
    상기 고역 신호 생성부가 상기 제1 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에 의해 고역 신호를 생성하는 것을 특징으로 하는 동화상 부호화 장치.
  14. 제6항 내지 제13항 중 어느 한 항에 있어서,
    상기 시간 방향 필터링부는,
    동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정부와,
    상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 제1 움직임 보상부와,
    상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호를 이용하여 시간 고역 신호를 생성하는 시간 고역 신호 생성부와,
    상기 움직임 정보를 이용하여 상기 시간 고역 신호에 대해서 움직임 보상을 행하여 상기 예측 신호에 대응하는 움직임 보상 시간 고역 신호를 생성하는 제2 움직임 보상부와,
    상기 움직임 보상 시간 고역 신호와 상기 참조 신호로부터 시간 저역 신호를 생성하는 시간 저역 신호 생성부
    를 갖는 것을 특징으로 하는 동화상 부호화 장치.
  15. 제6항 내지 제13항 중 어느 한 항에 있어서,
    상기 시간 방향 필터링부는,
    동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정부와,
    상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 움직임 보상부와,
    상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호의 차분 신호를 생성하는 차분 신호 생성부를 갖고,
    상기 참조 신호를 무변환으로 시간 저역 신호로서 출력하고, 상기 차분 신호를 시간 고역 신호로서 출력하는 것을 특징으로 하는 동화상 부호화 장치.
  16. 동화상 신호에 대해서 시간 방향 및 공간 방향으로 주파수 분할을 행하여, 상기 동화상 신호를 축소한 축소 화상 신호와 시공간 고역 신호와 움직임 정보를 생성하는 시간 공간 주파수 분할부와, 상기 축소 화상 신호를 부호화하는 축소 화상 신호 부호화부와, 상기 시공간 고역 신호를 부호화하는 시공간 고역 신호 부호화부와, 상기 움직임 정보를 부호화하는 움직임 정보 부호화부와, 상기 축소 화상 신호 부호화부 및 상기 시공간 고역 신호 부호화부가 출력하는 부호화 데이터와 상기 움직임 정보 부호화부가 출력하는 움직임 정보 부호화 데이터를 다중화해서 출력으로 되는 비트 스트림을 생성하는 다중화부로 이루어지는 동화상 부호화 장치로 서,
    상기 시간 공간 주파수 분할부가,
    동화상 신호를, 시간 저역 신호와, 시간 고역 신호의 공간 방향 고역에 해당하는 시간 고역 공간 고역 신호와, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소해서 시간 고역 축소 화상 신호로 분할하는 시간 공간 분할 필터링부와,
    상기 시간 저역 신호를 공간 방향으로 주파수 분할하여 시간 저역 공간 저역 신호와 시간 저역 공간 고역 신호를 생성하는 공간 분할 필터링부로 이루어지고,
    상기 시간 공간 분할 필터링부가 상기 시간 저역 신호를 입력으로 하여 재귀적으로 처리를 행한 후에, 상기 시간 저역 공간 저역 신호와 상기 축소 복호 화상 신호를 상기 시간 고역 축소 화상 신호로 하고, 상기 시간 고역 공간 고역 신호와 상기 시간 저역 공간 고역 신호를 시공간 고역 신호로서 출력하는 것을 특징으로 하는 동화상 부호화 장치.
  17. 계층 부호화된 동화상 신호의 부호화 데이터를 복호하고, 계층화된 신호를 생성하는 신호 복호 처리부와 상기 계층화된 신호를 합성하는 시간 공간 합성 필터링부를 구비하는 동화상 복호 장치로서,
    상기 시간 공간 합성 필터링부가, 임의의 해상도 계층에서의 복호 결과인 복호 화상 신호에 기초하여, 시간 계층화에 의한 시간 고역 성분 중의 공간 계층화에 의한 공간 저역 성분을 생성한 후, 공간 방향 주파수 합성과 시간 방향 주파수 합성을 행하여, 한층 더 고해상도의 해상도 계층의 복호 화상 신호를 생성하는 것을 특징으로 하는 동화상 복호 장치.
  18. 부호화 데이터를 복호하여 계층화된 신호를 생성하는 신호 복호 처리부와 계층화된 화상 신호를 합성하는 시간 공간 합성 필터링부를 구비하는 동화상 복호 장치로서,
    상기 시간 공간 합성 필터링부는,
    시간 저역 신호와, 임의의 해상도 계층에서의 합성 결과인 축소 복호 화상 신호로부터, 상기 시간 저역 신호와 쌍을 이루는 시간 고역 신호의 공간 저역 성분인 시간 고역 공간 저역 신호를 생성하는 시간 고역 공간 저역 신호 재구성부와,
    상기 시간 고역 신호의 공간 고역 성분인 시간 고역 공간 고역 신호와, 상기 시간 고역 공간 저역 신호를 합성하여 시간 고역 신호를 생성하는 공간 합성 필터링부와,
    상기 시간 고역 신호와, 상기 시간 저역 신호와, 움직임 정보로부터 복호는 화상 신호를 생성하는 시간 방향 역필터링부를 갖고,
    상기 신호 복호 처리부가 상기 부호화 데이터로부터 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 복호하는 것을 특징으로 하는 동화상 복호 장치.
  19. 제18항에 있어서,
    상기 시간 고역 공간 저역 신호 재구성부는,
    상기 움직임 정보에 기초하여 상기 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상의 공간 저역 성분인 공간 저역 예측 신호를 생성하는 저역 신호 생성부와,
    상기 공간 저역 예측 신호와 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성부를 갖고,
    상기 시간 고역 신호 생성부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치.
  20. 제19항에 있어서,
    상기 시간 고역 신호 생성부의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하는 역가중치 부여부를 갖고,
    상기 역가중치 부여부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치.
  21. 제18항에 있어서,
    상기 시간 고역 공간 저역 신호 재구성부는,
    시간 저역 신호에서의 공간 저역 성분을 생성하여 시간 저역 공간 저역 신호로서 출력하는 저역 신호 생성부와,
    상기 저역 신호 생성부의 입출력 화상의 해상도 변환비에 따라서 움직임 정 보를 변환하는 움직임 정보 변환부와,
    상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상과 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성부
    를 갖고,
    상기 시간 고역 신호 생성부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치.
  22. 제21항에 있어서,
    상기 시간 고역 신호 생성부의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하는 역가중치 부여부를 갖고,
    상기 역가중치 부여부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치.
  23. 제19항 내지 제22항 중 어느 한 항에 있어서,
    상기 저역 신호 생성부가, 서브 밴드 분할에 의한 저역 통과 처리인 것을 특징으로 하는 동화상 복호 장치.
  24. 제19항 내지 제23항 중 어느 한 항에 있어서,
    상기 공간 합성 필터링부가, 상기 서브 밴드 분할의 역변환으로 되는 서브 밴드 합성인 것을 특징으로 하는 동화상 복호 장치.
  25. 제19항 내지 제24항 중 어느 한 항에 있어서,
    상기 저역 신호 생성부가, 서브 샘플 필터에 의해 축소 화상을 생성하는 것을 특징으로 하는 동화상 복호 장치.
  26. 제19항 내지 제25항 중 어느 한 항에 있어서,
    상기 공간 합성 필터링부가, 상기 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에서 생성된 고역 신호와, 상기 서브 샘플 필터에 의해 생성된 저역 신호의 합성인 것을 특징으로 하는 동화상 복호 장치.
  27. 제18항 내지 제26항 중 어느 한 항에 있어서,
    상기 시간 방향 역필터링부는,
    상기 움직임 정보에 기초하여 상기 시간 고역 신호에 움직임 보상을 행하여, 움직임 보상 시간 고역 신호를 생성하는 제1 움직임 보상부와,
    상기 움직임 보상 시간 고역 신호와 상기 시간 저역 신호로부터 제1 복호 화상 신호를 생성하는 시간 저역 신호 역변환부와,
    상기 제1 복호 화상 신호에 대해서 상기 움직임 정보에 기초하여 움직임 보 상을 행하여, 예측 신호를 생성하는 제2 움직임 보상부와,
    상기 예측 신호와 상기 시간 고역 신호로부터 제2 복호 화상 신호를 생성하는 시간 고역 신호 역변환부를 갖고,
    상기 제1 복호 화상 신호와 상기 제2 복호 화상 신호를 통합해서 출력으로 되는 복호 화상 신호로 하는 것을 특징으로 하는 동화상 복호 장치.
  28. 제18항 내지 제27항 중 어느 한 항에 있어서,
    상기 시간 방향 역필터링부가, 상기 시간 저역 신호에 대해서 움직임 보상을 행한 후에, 시간 고역 신호와 가산하여 상기 시간 저역 신호를 합성하여 복호 화상 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치.
  29. 계층화된 비트 스트림을 역다중화하여, 최저차 부호화 데이터와 잉여 부호화 데이터와 움직임 정보 부호화 데이터를 생성하는 역다중화부와, 최저차 부호화 데이터를 복호하여 축소 화상 신호를 생성하는 축소 화상 신호 복호부와, 잉여 부호화 데이터를 복호하여 시공간 고역 신호를 생성하는 시공간 고역 신호 복호부와, 상기 움직임 정보 부호화 데이터를 복호하여 움직임 정보를 생성하는 움직임 정보 복호부와, 상기 축소 화상 신호와 상기 시공간 고역 신호와 상기 움직임 정보로부터 복호 화상 신호를 생성하는 시간 공간 주파수 합성부로 이루어지는 동화상 복호 장치로서,
    상기 시간 공간 주파수 합성부가,
    상기 축소 화상 신호 중의 시간 저역 공간 저역 신호와 상기 시공간 고역 신호 중의 시간 저역 공간 고역 신호를 합성하여 시간 저역 신호를 생성하는 공간 합성 필터링부와,
    상기 시간 저역 신호에 대응하는 시간 고역 신호를 상기 시간 저역 신호와 상기 축소 화상 신호와 상기 시공간 고역 신호로 재구성한 후, 상기 시간 저역 신호와 합성함으로써 복호 화상 신호를 출력하는 시간 공간 합성 필터링부
    로 이루어지는 것을 특징으로 하는 동화상 복호 장치.
  30. 동화상 부호화 방법으로서,
    동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분을 이용하여, 상기 시간 고역 성분에 대응하는 동화상 신호를 생성하고, 이 생성 결과에 축소 처리를 실시하여 동화상의 축소 화상 신호를 생성하는 것을 특징으로 하는 동화상 부호화 방법.
  31. 동화상 부호화 방법으로서,
    동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상의 축소 화상 신호를 생성하는 것을 특징으로 하는 동화상 부호화 방법.
  32. 동화상 신호를 계층화하는 시간 공간 분할 필터링과, 상기 계층화된 신호를 부호화하는 신호 부호화 처리를 구비하는 동화상 부호화 방법으로서,
    상기 시간 공간 분할 필터링이, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 상기 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하는 것을 특징으로 하는 동화상 부호화 방법.
  33. 동화상 신호를 계층화하는 시간 공간 분할 필터링과, 상기 계층화된 신호를 부호화하는 신호 부호화 처리를 구비하는 동화상 부호화 방법으로서,
    상기 시간 공간 분할 필터링이, 상기 동화상 신호를 시간 계층화하여 시간 저역 성분과 시간 고역 성분을 얻고, 상기 시간 고역 성분을 공간 계층화하여 공간 고역 성분을 얻고, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하는 것을 특징으로 하는 동화상 부호화 방법.
  34. 동화상 신호를 계층화하는 시간 공간 분할 필터링과, 상기 계층화된 신호를 부호화하는 신호 부호화 처리를 구비하는 동화상 부호화 방법으로서,
    상기 시간 공간 분할 필터링이, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상 신호의 축소 화상 신호를 생성하는 것을 특징으로 하는 동화상 부호화 방법.
  35. 동화상 신호를 계층화하는 시간 공간 분할 필터링과 계층화된 신호를 부호화하는 신호 부호화 처리를 구비하는 동화상 부호화 방법으로서,
    상기 시간 공간 분할 필터링이,
    동화상 신호를 시간 방향으로 필터링하여, 시간 저역 신호와 시간 고역 신호와 상기 화상 신호 사이의 움직임을 나타내는 움직임 정보를 생성하는 시간 방향 필터링 스텝과,
    상기 시간 고역 신호와 상기 시간 저역 신호를 이용하여, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소한 축소 화상 신호를 생성하는 축소 화상 생성 스텝과,
    상기 시간 고역 신호에 대해서 공간 고역 성분에 해당하는 시간 고역 공간 고역 신호를 생성하는 고역 신호 생성 스텝을 갖고,
    상기 시간 저역 신호 혹은 상기 축소 화상 신호에 대해서 상기 시간 공간 분할 필터링 스텝이 실행됨으로써 동화상 신호를 계층화한 후, 상기 시간 저역 신호 와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 신호 부호화 처리 스텝에서 부호화하는 것을 특징으로 하는 동화상 부호화 방법.
  36. 제35항에 있어서,
    상기 축소 화상 생성 스텝은,
    움직임 정보에 기초하여 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상 스텝과,
    상기 예측 화상과 시간 고역 신호로부터 상기 시간 고역 신호에 대응하는 동화상 신호를 생성하는 시간 고역 신호 역변환 스텝과,
    상기 시간 고역 신호 역변환부가 생성한 동화상 신호에 대해서 공간 필터링을 실시하여 공간 저역 성분인 축소 복호 화상 신호를 생성하는 저역 신호 생성 스텝을 갖는 것을 특징으로 하는 동화상 부호화 방법.
  37. 제36항에 있어서,
    상기 시간 고역 신호 역변환 스텝 전에, 상기 시간 고역 신호는 상기 시간 저역 신호와 비교해서 가중치 부여 처리를 행하거나, 또는, 상기 시간 고역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하는 것을 특징으로 하는 동화상 부호화 방법.
  38. 제35항에 있어서,
    상기 축소 화상 생성 스텝은,
    시간 저역 신호와 시간 고역 신호에 대해서 공간 필터링을 실시하여 시간 저역 공간 저역 신호와 시간 고역 공간 저역 신호를 각각 생성하는 저역 신호 생성 스텝과,
    상기 저역 신호 생성 스텝에서의 상기 공간 필터링의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환 스텝과,
    상기 움직임 정보 변환 스텝에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상 스텝과,
    상기 예측 화상과 상기 시간 고역 공간 저역 신호를 이용하여, 축소 화상 신호를 생성하는 시간 고역 신호 역변환 스텝
    을 갖는 것을 특징으로 하는 동화상 부호화 방법.
  39. 제38항에 있어서,
    상기 시간 고역 신호 역변환 스텝 전에, 상기 시간 고역 공간 저역 신호에 대해서 가중치 부여 처리를 행하거나, 상기 시간 고역 공간 저역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하는 것을 특징으로 하는 동화상 부호화 방법.
  40. 제35항 내지 제39항 중 어느 한 항에 있어서,
    상기 고역 신호 생성 스텝은, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 하는 동화상 부호화 방법.
  41. 제35항 내지 제40항 중 어느 한 항에 있어서,
    상기 저역 신호 생성 스텝은, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 하는 동화상 부호화 방법.
  42. 제35항 내지 제39항 중 어느 한 항에 있어서,
    상기 저역 신호 생성 스텝이 제1 서브 샘플 필터에 의해 축소 화상 신호를 생성하고,
    상기 고역 신호 생성 스텝이 상기 제1 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에 의해 고역 신호를 생성하는 것을 특징으로 하는 동화상 부호화 방법.
  43. 제35항 내지 제42항 중 어느 한 항에 있어서,
    상기 시간 방향 필터링 스텝은,
    동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정 스텝과,
    상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 제1 움직임 보상 스텝과,
    상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호를 이용하여 시 간 고역 신호를 생성하는 시간 고역 신호 생성 스텝과,
    상기 움직임 정보를 이용하여 상기 시간 고역 신호에 대해서 움직임 보상을 행하여 상기 예측 신호에 대응하는 움직임 보상 시간 고역 신호를 생성하는 제2 움직임 보상 스텝과,
    상기 움직임 보상 시간 고역 신호와 상기 참조 신호로부터 시간 저역 신호를 생성하는 시간 저역 신호 생성 스텝
    을 갖는 것을 특징으로 하는 동화상 부호화 방법.
  44. 제35항 내지 제42항 중 어느 한 항에 있어서,
    상기 시간 방향 필터링 스텝은,
    동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정 스텝과,
    상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 움직임 보상 스텝과,
    상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호의 차분 신호를 생성하는 차분 신호 생성 스텝을 갖고,
    상기 참조 신호를 무변환으로 시간 저역 신호로서 출력하고, 상기 차분 신호를 시간 고역 신호로서 출력하는 것을 특징으로 하는 동화상 부호화 방법.
  45. 동화상 신호에 대해서 시간 방향 및 공간 방향으로 주파수 분할을 행하여, 상기 동화상 신호를 축소한 축소 화상 신호와 시공간 고역 신호와 움직임 정보를 생성하는 시간 공간 주파수 분할 스텝과, 상기 축소 화상 신호를 부호화하는 축소 화상 신호 부호화 스텝과, 상기 시공간 고역 신호를 부호화하는 시공간 고역 신호 부호화 스텝과, 상기 움직임 정보를 부호화하는 움직임 정보 부호화 스텝과, 상기 축소 화상 신호 부호화 스텝 및 상기 시공간 고역 신호 부호화 스텝에서 생성된 부호화 데이터와 상기 움직임 정보 부호화 스텝에서 생성된 움직임 정보 부호화 데이터를 다중화해서 출력으로 되는 비트 스트림을 생성하는 다중화 스텝으로 이루어지는 동화상 부호화 방법으로서,
    상기 시간 공간 주파수 분할 스텝이,
    동화상 신호를, 시간 저역 신호와, 시간 고역 신호의 공간 방향 고역에 해당하는 시간 고역 공간 고역 신호와, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소해서 시간 고역 축소 화상 신호로 분할하는 시간 공간 분할 필터링 스텝과,
    상기 시간 저역 신호를 공간 방향으로 주파수 분할하여 시간 저역 공간 저역 신호와 시간 저역 공간 고역 신호를 생성하는 공간 분할 필터링 스텝으로 이루어지고,
    상기 시간 공간 분할 필터링 스텝이 상기 시간 저역 신호를 입력으로 하여 재귀적으로 처리를 행한 후에, 상기 시간 저역 공간 저역 신호와 상기 축소 복호 화상 신호를 상기 시간 고역 축소 화상 신호로 하고, 상기 시간 고역 공간 고역 신호와 상기 시간 저역 공간 고역 신호를 시공간 고역 신호로서 출력하는 것을 특징으로 하는 동화상 부호화 방법.
  46. 계층 부호화된 동화상 신호의 부호화 데이터를 복호하고, 계층화된 신호를 생성하는 신호 복호 처리 스텝과 상기 계층화된 신호를 합성하는 시간 공간 합성 필터링 스텝을 구비하는 동화상 복호 방법으로서,
    상기 시간 공간 합성 필터링 스텝이, 임의의 해상도 계층에서의 복호 결과인 복호 화상 신호에 기초하여, 시간 계층화에 의한 시간 고역 성분 중의 공간 계층화에 의한 공간 저역 성분을 생성한 후, 공간 방향 주파수 합성과 시간 방향 주파수 합성을 행하여, 한층 더 고해상도의 해상도 계층의 복호 화상 신호를 생성하는 것을 특징으로 하는 동화상 복호 방법.
  47. 부호화 데이터를 복호하여 계층화된 신호를 생성하는 신호 복호 처리 스텝과 계층화된 화상 신호를 합성하는 시간 공간 합성 필터링 스텝을 구비하는 동화상 복호 방법으로서,
    상기 시간 공간 합성 필터링 스텝은,
    시간 저역 신호와, 임의의 해상도 계층에서의 합성 결과인 축소 복호 화상 신호로부터, 상기 시간 저역 신호와 쌍을 이루는 시간 고역 신호의 공간 저역 성분인 시간 고역 공간 저역 신호를 생성하는 시간 고역 공간 저역 신호 재구성 스텝과,
    상기 시간 고역 신호의 공간 고역 성분인 시간 고역 공간 고역 신호와, 상기 시간 고역 공간 저역 신호를 합성하여 시간 고역 신호를 생성하는 공간 합성 필터링 스텝과,
    상기 시간 고역 신호와, 상기 시간 저역 신호와, 움직임 정보로부터 복호 화상 신호를 생성하는 시간 방향 역필터링 스텝을 갖고,
    상기 신호 복호 처리 스텝이 상기 부호화 데이터로부터 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 복호하는 것을 특징으로 하는 동화상 복호 방법.
  48. 제47항에 있어서,
    상기 시간 고역 공간 저역 신호 재구성 스텝은,
    상기 움직임 정보에 기초하여 상기 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상 스텝과,
    상기 예측 화상의 공간 저역 성분인 공간 저역 예측 신호를 생성하는 저역 신호 생성 스텝과,
    상기 공간 저역 예측 신호와 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성 스텝을 갖고,
    상기 시간 고역 신호 생성 스텝의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 방법.
  49. 제48항에 있어서,
    상기 시간 고역 신호 생성 스텝에서 생성된 시간 고역 성분에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하고, 이 가중치 부여된 신호를 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 방법.
  50. 제47항에 있어서,
    상기 시간 고역 공간 저역 신호 재구성 스텝은,
    시간 저역 신호에서의 공간 저역 성분을 생성하여 시간 저역 공간 저역 신호로서 출력하는 저역 신호 생성 스텝과,
    상기 저역 신호 생성부의 입출력 화상의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환 스텝과,
    상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상 스텝과,
    상기 예측 화상과 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성 스텝을 갖고,
    상기 시간 고역 신호 생성 스텝의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 방법.
  51. 제50항에 있어서,
    상기 시간 고역 신호 생성 스텝의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하고, 이것을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 방법.
  52. 제47항 내지 제51항 중 어느 한 항에 있어서,
    상기 저역 신호 생성 스텝이, 서브 밴드 분할에 의한 저역 통과 처리인 것을 특징으로 하는 동화상 복호 방법.
  53. 제47항 내지 제52항 중 어느 한 항에 있어서,
    상기 공간 합성 필터링 스텝이, 상기 서브 밴드 분할의 역변환으로 되는 서브 밴드 합성인 것을 특징으로 하는 동화상 복호 방법.
  54. 제47항 내지 제53항 중 어느 한 항에 있어서,
    상기 저역 신호 생성 스텝이, 서브 샘플 필터에 의해 축소 화상을 생성하는 것을 특징으로 하는 동화상 복호 방법.
  55. 제54항 중 어느 한 항에 있어서,
    상기 공간 합성 필터링 스텝이, 상기 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에서 생성된 고역 신호와, 상기 서브 샘플 필터에 의해 생성된 저역 신호의 합성인 것을 특징으로 하는 동화상 복호 방법.
  56. 제47항 내지 제55항 중 어느 한 항에 있어서,
    상기 시간 방향 역필터링 스텝은,
    상기 움직임 정보에 기초하여 상기 시간 고역 신호에 움직임 보상을 행하여, 움직임 보상 시간 고역 신호를 생성하는 제1 움직임 보상 스텝과,
    상기 움직임 보상 시간 고역 신호와 상기 시간 저역 신호로부터 제1 복호 화상 신호를 생성하는 시간 저역 신호 역변환 스텝과,
    상기 제1 복호 화상 신호에 대해서 상기 움직임 정보에 기초하여 움직임 보상을 행하여, 예측 신호를 생성하는 제2 움직임 보상 스텝과,
    상기 예측 신호와 상기 시간 고역 신호로부터 제2 복호 화상 신호를 생성하는 시간 고역 신호 역변환 스텝을 갖고,
    상기 제1 복호 화상 신호와 상기 제2 복호 화상 신호를 통합해서 출력으로 되는 복호 화상 신호로 하는 것을 특징으로 하는 동화상 복호 방법.
  57. 제47항 내지 제56항 중 어느 한 항에 있어서,
    상기 시간 방향 역필터링 스텝이, 상기 시간 저역 신호에 대해서 움직임 보상을 행한 후에, 시간 고역 신호와 가산하여 상기 시간 저역 신호를 합성하여 복호 화상 신호로서 출력하는 것을 특징으로 하는 동화상 복호 방법.
  58. 계층화된 비트 스트림을 역다중화하여, 최저차 부호화 데이터와 잉여 부호화 데이터와 움직임 정보 부호화 데이터를 생성하는 역다중화 스텝과, 최저차 부호화 데이터를 복호하여 축소 화상 신호를 생성하는 축소 화상 신호 복호 스텝과, 잉여 부호화 데이터를 복호하여 시공간 고역 신호를 생성하는 시공간 고역 신호 복호 스텝과, 상기 움직임 정보 부호화 데이터를 복호하여 움직임 정보를 생성하는 움직임 정보 복호 스텝과, 상기 축소 화상 신호와 상기 시공간 고역 신호와 상기 움직임 정보로부터 복호 화상 신호를 생성하는 시간 공간 주파수 합성 스텝으로 이루어지는 동화상 복호 방법으로서,
    상기 시간 공간 주파수 합성 스텝이,
    상기 축소 화상 신호 중의 시간 저역 공간 저역 신호와 상기 시공간 고역 신호 중의 시간 저역 공간 고역 신호를 합성하여 시간 저역 신호를 생성하는 공간 합성 필터링 스텝과,
    상기 시간 저역 신호에 대응하는 시간 고역 신호를 상기 시간 저역 신호와 상기 축소 화상 신호와 상기 시공간 고역 신호로 재구성한 후, 상기 시간 저역 신호와 합성함으로써 복호 화상 신호를 출력하는 시간 공간 합성 필터링 스텝
    으로 이루어지는 것을 특징으로 하는 동화상 복호 방법.
  59. 동화상 부호화 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 동화상 부호화 장치를, 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분을 이용하여, 상기 시간 고역 성분에 대응하는 동화상 신호를 생성하고, 이 생성 결과에 축소 처리를 실시한 동화상의 축소 화상 신호를 출력하는 시간 공간 분할 필터링부로서 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  60. 동화상 부호화 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 동화상 부호화 장치를, 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상의 축소 화상 신호를 생성하는 시간 공간 분할 필터링부로서 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  61. 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 상기 시간 공간 분할 필터링부를, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 상기 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하도록 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  62. 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호 를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 상기 시간 공간 분할 필터링부를, 상기 동화상 신호를 시간 계층화하여 시간 저역 성분과 시간 고역 성분을 얻고, 상기 시간 고역 성분을 공간 계층화하여 공간 고역 성분을 얻고, 상기 시간 저역 성분 및 상기 시간 고역 성분을 이용하여 시간 고역 성분에 대응하는 상기 동화상 신호를 재구성한 후에, 상기 재구성 결과에 축소 처리를 실시한 축소 화상 신호를 생성하도록 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  63. 동화상 신호를 계층화하는 시간 공간 분할 필터링부와, 상기 계층화된 신호를 부호화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 상기 시간 공간 분할 필터링부를, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 저역 성분과, 상기 동화상 신호를 시간 계층화하여 얻어지는 시간 고역 성분을 공간 계층화하여 얻어지는 공간 고역 성분과, 상기 시간 저역 성분 및 상기 시간 고역 성분에 축소 처리를 실시하고, 이 축소 처리 결과를 이용하여 상기 시간 고역 성분에 대응하는 동화상 신호의 축소 화상 신호를 생성하는데 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  64. 동화상 신호를 계층화하는 시간 공간 분할 필터링부와 계층화된 신호를 부호 화하는 신호 부호화 처리부를 구비하는 동화상 부호화 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 상기 시간 공간 분할 필터링부를,
    동화상 신호를 시간 방향으로 필터링하여, 시간 저역 신호와 시간 고역 신호와 상기 화상 신호 사이의 움직임을 나타내는 움직임 정보를 생성하는 시간 방향 필터링부와,
    상기 시간 고역 신호와 상기 시간 저역 신호를 이용하여, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소한 축소 화상 신호를 생성하는 축소 화상 생성부와,
    상기 시간 고역 신호에 대해서 공간 고역 성분에 해당하는 시간 고역 공간 고역 신호를 생성하는 고역 신호 생성부로서 기능시키고,
    상기 시간 저역 신호 혹은 상기 축소 화상 신호에 대해서 상기 시간 공간 분할 필터링부가 실행됨으로써 동화상 신호를 계층화한 후, 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 신호 부호화 처리부가 부호화하는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  65. 제64항에 있어서,
    상기 제어 프로그램은 상기 축소 화상 생성부를,
    움직임 정보에 기초하여 시간 저역 신호에 대해서 움직임 보상을 행하여, 예 측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상과 시간 고역 신호로부터 상기 시간 고역 신호에 대응하는 동화상 신호를 생성하는 시간 고역 신호 역변환부와,
    상기 시간 고역 신호 역변환부가 생성한 동화상 신호에 대해서 공간 필터링을 실시하여 공간 저역 성분인 축소 복호 화상 신호를 생성하는 저역 신호 생성부
    로서 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  66. 제65항에 있어서,
    상기 제어 프로그램은 동화상 부호화 장치를,
    상기 시간 고역 신호는 상기 시간 저역 신호와 비교해서 가중치 부여 처리를 행하거나, 또는, 상기 시간 고역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하여, 상기 시간 고역 신호 역변환부에 출력하는 가중치 부여부로서 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  67. 제64항에 있어서,
    상기 제어 프로그램은 상기 축소 화상 생성부를,
    시간 저역 신호와 시간 고역 신호에 대해서 공간 필터링을 실시하여 시간 저역 공간 저역 신호와 시간 고역 공간 저역 신호를 각각 생성하는 저역 신호 생성부와,
    상기 저역 신호 생성부에서의 상기 공간 필터링의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환부와,
    상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상과 상기 시간 고역 공간 저역 신호를 이용하여, 축소 화상 신호를 생성하는 시간 고역 신호 역변환부
    로서 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  68. 제67항에 있어서,
    상기 제어 프로그램은 동화상 부호화 장치를,
    상기 시간 고역 공간 저역 신호에 대해서 가중치 부여 처리를 행하거나, 상기 시간 고역 공간 저역 신호가 있는 부분에 대해서 가중치 부여 처리를 행하여, 상기 시간 고역 신호 역변환부에 출력하는 가중치 부여부로서 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  69. 제64항 내지 제68항 중 어느 한 항에 있어서,
    상기 고역 신호 생성부는, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  70. 제64항 내지 제69항 중 어느 한 항에 있어서,
    상기 저역 신호 생성부는, 서브 밴드 분할에 의한 주파수 성분 추출인 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  71. 제64항 내지 제68항 중 어느 한 항에 있어서,
    상기 저역 신호 생성부가 제1 서브 샘플 필터에 의해 축소 화상 신호를 생성하고,
    상기 고역 신호 생성부가 상기 제1 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에 의해 고역 신호를 생성하는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  72. 제64항 내지 제71항 중 어느 한 항에 있어서,
    상기 제어 프로그램은 상기 시간 방향 필터링부를,
    동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정부와,
    상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 제1 움직임 보상부와,
    상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호를 이용하여 시간 고역 신호를 생성하는 시간 고역 신호 생성부와,
    상기 움직임 정보를 이용하여 상기 시간 고역 신호에 대해서 움직임 보상을 행하여 상기 예측 신호에 대응하는 움직임 보상 시간 고역 신호를 생성하는 제2 움직임 보상부와,
    상기 움직임 보상 시간 고역 신호와 상기 참조 신호로부터 시간 저역 신호를 생성하는 시간 저역 신호 생성부
    로서 기능시키는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  73. 제64항 내지 제71항 중 어느 한 항에 있어서,
    상기 제어 프로그램은 상기 시간 방향 필터링부를,
    동화상 신호에 대해서 움직임 정보를 생성하는 움직임 추정부와,
    상기 움직임 정보를 이용하여 상기 동화상 신호에 포함되는 참조 신호에 움직임 보상을 행하여, 예측 신호를 생성하는 움직임 보상부와,
    상기 동화상 신호에 포함되는 비참조 신호와 상기 예측 신호의 차분 신호를 생성하는 차분 신호 생성부로서 기능시키고,
    상기 참조 신호를 무변환으로 시간 저역 신호로서 출력하고, 상기 차분 신호를 시간 고역 신호로서 출력하는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  74. 동화상 신호에 대해서 시간 방향 및 공간 방향으로 주파수 분할을 행하여, 상기 동화상 신호를 축소한 축소 화상 신호와 시공간 고역 신호와 움직임 정보를 생성하는 시간 공간 주파수 분할부와, 상기 축소 화상 신호를 부호화하는 축소 화상 신호 부호화부와, 상기 시공간 고역 신호를 부호화하는 시공간 고역 신호 부호화부와, 상기 움직임 정보를 부호화하는 움직임 정보 부호화부와, 상기 축소 화상 신호 부호화부 및 상기 시공간 고역 신호 부호화부가 출력하는 부호화 데이터와 상기 움직임 정보 부호화부가 출력하는 움직임 정보 부호화 데이터를 다중화해서 출력으로 되는 비트 스트림을 생성하는 다중화부로 이루어지는 동화상 부호화 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 상기 시간 공간 주파수 분할부를,
    동화상 신호를, 시간 저역 신호와, 시간 고역 신호의 공간 방향 고역에 해당하는 시간 고역 공간 고역 신호와, 상기 시간 고역 신호에 대응하는 동화상 신호를 축소해서 시간 고역 축소 화상 신호로 분할하는 시간 공간 분할 필터링부와,
    상기 시간 저역 신호를 공간 방향으로 주파수 분할하여 시간 저역 공간 저역 신호와 시간 저역 공간 고역 신호를 생성하는 공간 분할 필터링부로서 기능시키고,
    상기 시간 공간 분할 필터링부가 상기 시간 저역 신호를 입력으로 하여 재귀적으로 처리를 행한 후에, 상기 시간 저역 공간 저역 신호와 상기 축소 복호 화상 신호를 상기 시간 고역 축소 화상 신호로 하고, 상기 시간 고역 공간 고역 신호와 상기 시간 저역 공간 고역 신호를 시공간 고역 신호로서 출력하는 것을 특징으로 하는 동화상 부호화 장치의 제어 프로그램.
  75. 계층 부호화된 동화상 신호의 부호화 데이터를 복호하고, 계층화된 신호를 생성하는 신호 복호 처리부와 상기 계층화된 신호를 합성하는 시간 공간 합성 필터링부를 구비하는 동화상 복호 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 상기 시간 공간 합성 필터링부를, 임의의 해상도 계층에서의 복호 결과인 복호 화상 신호에 기초하여, 시간 계층화에 의한 시간 고역 성분 중의 공간 계층화에 의한 공간 저역 성분을 생성한 후, 공간 방향 주파수 합성과 시간 방향 주파수 합성을 행하여, 한층 더 고해상도의 해상도 계층의 복호 화상 신호를 생성하도록 기능시키는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  76. 부호화 데이터를 복호하여 계층화된 신호를 생성하는 신호 복호 처리부와 계층화된 화상 신호를 합성하는 시간 공간 합성 필터링부를 구비하는 동화상 복호 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 상기 시간 공간 합성 필터링부를,
    시간 저역 신호와, 임의의 해상도 계층에 있어서의 합성 결과인 축소 복호 화상 신호로부터, 상기 시간 저역 신호와 쌍을 이루는 시간 고역 신호의 공간 저역 성분인 시간 고역 공간 저역 신호를 생성하는 시간 고역 공간 저역 신호 재구성부와,
    상기 시간 고역 신호의 공간 고역 성분인 시간 고역 공간 고역 신호와, 상기 시간 고역 공간 저역 신호를 합성하여 시간 고역 신호를 생성하는 공간 합성 필터링부와,
    상기 시간 고역 신호와, 상기 시간 저역 신호와, 움직임 정보로부터 복호 화상 신호를 생성하는 시간 방향 역필터링부로서 기능시키고,
    상기 신호 복호 처리부가 상기 부호화 데이터로부터 상기 시간 저역 신호와 상기 축소 복호 화상 신호와 상기 시간 고역 공간 고역 신호와 상기 움직임 정보를 복호하는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  77. 제76항에 있어서,
    상기 제어 프로그램은 상기 시간 고역 공간 저역 신호 재구성부를,
    상기 움직임 정보에 기초하여 상기 시간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상의 공간 저역 성분인 공간 저역 예측 신호를 생성하는 저역 신호 생성부와,
    상기 공간 저역 예측 신호와 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성부로서 기능시키고,
    상기 시간 고역 신호 생성부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  78. 제77항에 있어서,
    상기 제어 프로그램은 동화상 부호화 장치를, 상기 시간 고역 신호 생성부의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하는 역가중치 부여부로서 기능시켜, 상기 역가중치 부여부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  79. 제76항에 있어서,
    상기 제어 프로그램은 상기 시간 고역 공간 저역 신호 재구성부를,
    시간 저역 신호에서의 공간 저역 성분을 생성하여 시간 저역 공간 저역 신호로서 출력하는 저역 신호 생성부와,
    상기 저역 신호 생성부의 입출력 화상의 해상도 변환비에 따라서 움직임 정보를 변환하는 움직임 정보 변환부와,
    상기 움직임 정보 변환부에 의해 변환된 움직임 정보에 기초하여 상기 시간 저역 공간 저역 신호에 대해서 움직임 보상을 행하여, 예측 화상을 생성하는 움직임 보상부와,
    상기 예측 화상과 축소 복호 화상 신호로부터 시간 고역 성분을 생성하는 시간 고역 신호 생성부로서 기능시키고,
    상기 시간 고역 신호 생성부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  80. 제79항에 있어서,
    상기 제어 프로그램은 동화상 부호화 장치를, 상기 시간 고역 신호 생성부의 출력에, 부호화 시에 이루어진 가중치 부여를 보상하는 가중치 부여 처리를 행하는 역가중치 부여부로서 기능시켜, 상기 역가중치 부여부의 출력을 시간 고역 공간 저역 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  81. 제77항 내지 제80항 중 어느 한 항에 있어서,
    상기 저역 신호 생성부가, 서브 밴드 분할에 의한 저역 통과 처리인 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  82. 제77항 내지 제81항 중 어느 한 항에 있어서,
    상기 공간 합성 필터링부가, 상기 서브 밴드 분할의 역변환으로 되는 서브 밴드 합성인 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  83. 제77항 내지 제82항 중 어느 한 항에 있어서,
    상기 저역 신호 생성부가, 서브 샘플 필터에 의해 축소 화상을 생성하는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  84. 제83항 중 어느 한 항에 있어서,
    상기 공간 합성 필터링부가, 상기 서브 샘플 필터와 쌍을 이루는 제2 서브 샘플 필터에서 생성된 고역 신호와, 상기 서브 샘플 필터에 의해 생성된 저역 신호의 합성인 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  85. 제76항 내지 제84항 중 어느 한 항에 있어서,
    상기 제어 프로그램은 상기 시간 방향 역필터링부를,
    상기 움직임 정보에 기초하여 상기 시간 고역 신호에 움직임 보상을 행하여, 움직임 보상 시간 고역 신호를 생성하는 제1 움직임 보상부와,
    상기 움직임 보상 시간 고역 신호와 상기 시간 저역 신호로부터 제1 복호 화상 신호를 생성하는 시간 저역 신호 역변환부와,
    상기 제1 복호 화상 신호에 대해서 상기 움직임 정보에 기초하여 움직임 보상을 행하여, 예측 신호를 생성하는 제2 움직임 보상부와,
    상기 예측 신호와 상기 시간 고역 신호로부터 제2 복호 화상 신호를 생성하는 시간 고역 신호 역변환부로서 기능시키고,
    상기 제1 복호 화상 신호와 상기 제2 복호 화상 신호를 통합해서 출력으로 되는 복호 화상 신호로 하는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  86. 제76항 내지 제85항 중 어느 한 항에 있어서,
    상기 시간 방향 역필터링부가, 상기 시간 저역 신호에 대해서 움직임 보상을 행한 후에, 시간 고역 신호와 가산하여 상기 시간 저역 신호를 합성하여 복호 화상 신호로서 출력하는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
  87. 계층화된 비트 스트림을 역다중화하여, 최저차 부호화 데이터와 잉여 부호화 데이터와 움직임 정보 부호화 데이터를 생성하는 역다중화부와, 최저차 부호화 데이터를 복호하여 축소 화상 신호를 생성하는 축소 화상 신호 복호부와, 잉여 부호화 데이터를 복호하여 시공간 고역 신호를 생성하는 시공간 고역 신호 복호부와, 상기 움직임 정보 부호화 데이터를 복호하여 움직임 정보를 생성하는 움직임 정보 복호부와, 상기 축소 화상 신호와 상기 시공간 고역 신호와 상기 움직임 정보로부터 복호 화상 신호를 생성하는 시간 공간 주파수 합성부로 이루어지는 동화상 복호 장치의 제어 프로그램으로서,
    상기 제어 프로그램은 상기 시간 공간 주파수 합성부를,
    상기 축소 화상 신호 중의 시간 저역 공간 저역 신호와 상기 시공간 고역 신호 중의 시간 저역 공간 고역 신호를 합성하여 시간 저역 신호를 생성하는 공간 합성 필터링부와,
    상기 시간 저역 신호에 대응하는 시간 고역 신호를 상기 시간 저역 신호와 상기 축소 화상 신호와 상기 시공간 고역 신호로 재구성한 후, 상기 시간 저역 신호와 합성함으로써 복호 화상 신호를 출력하는 시간 공간 합성 필터링부
    로서 기능시키는 것을 특징으로 하는 동화상 복호 장치의 제어 프로그램.
KR1020067025902A 2004-06-11 2005-06-10 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 KR100897640B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020067025902A KR100897640B1 (ko) 2004-06-11 2005-06-10 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00173296 2004-06-11
KR1020067025902A KR100897640B1 (ko) 2004-06-11 2005-06-10 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20070031327A true KR20070031327A (ko) 2007-03-19
KR100897640B1 KR100897640B1 (ko) 2009-05-14

Family

ID=41348553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067025902A KR100897640B1 (ko) 2004-06-11 2005-06-10 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR100897640B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100923865B1 (ko) * 2007-12-03 2009-10-28 한국전자통신연구원 공간적 축소와 확대를 이용하는 분산형 비디오 코덱 장치및 그 방법
KR100958253B1 (ko) * 2008-10-21 2010-05-17 인하대학교 산학협력단 블록 단위 스케러블 부호화기, 복호화기 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2286740B (en) * 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
WO2002001881A2 (en) * 2000-06-30 2002-01-03 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100923865B1 (ko) * 2007-12-03 2009-10-28 한국전자통신연구원 공간적 축소와 확대를 이용하는 분산형 비디오 코덱 장치및 그 방법
KR100958253B1 (ko) * 2008-10-21 2010-05-17 인하대학교 산학협력단 블록 단위 스케러블 부호화기, 복호화기 및 그 방법

Also Published As

Publication number Publication date
KR100897640B1 (ko) 2009-05-14

Similar Documents

Publication Publication Date Title
JP4844741B2 (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
KR100621581B1 (ko) 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR100781525B1 (ko) 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
KR100664929B1 (ko) 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR100631777B1 (ko) 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100679022B1 (ko) 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
KR100703778B1 (ko) 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
JP2008522536A (ja) Ｄｃｔアップサンプリングを利用した多階層ビデオエンコーディング／デコーディング方法及び装置
JPH09121345A (ja) 画像符号化装置及び画像復号装置
WO2006006764A1 (en) Video decoding method using smoothing filter and video decoder therefor
WO2006006786A1 (en) Method and apparatus for scalable video coding and decoding
JPH09182069A (ja) 画像圧縮方法および画像圧縮装置
US9264736B2 (en) Encoding method, decoding method, encoding device, and decoding device
JP4844455B2 (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
KR20060131796A (ko) 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치
JP2008515328A (ja) 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
JP4835855B2 (ja) 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム
KR100897640B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
JPWO2005006766A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置およびコンピュータプログラム
KR101107318B1 (ko) 스케일러블 비디오 인코딩, 디코딩 방법 및 스케일러블 비디오 인코더, 디코더
JP2006135807A (ja) スケーラブル動画像符号化・復号化方法及びシステム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140421

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170421

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee