KR20120046727A - 부호화 방법, 복호 방법, 부호화 장치 및 복호 장치 - Google Patents

Abstract

본 발명에 따른 부호화 방법은, 입력 신호를 변환하는 변환 단계(S110a)와, 변환 출력 신호를 구성하는 계수치를 스캔하여, 양자화하는 양자화 단계(S120)와, 양자화 계수를 엔트로피 부호화하는 엔트로피 부호화 단계(S130)를 포함하고, 변환 단계(S110a)는, 제1 변환 계수를 이용하여 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하는 제1 변환 단계(S112)와, 제1 변환 출력 신호의 일부인 제1 부분 신호에, 제2 변환 계수를 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성하고, 생성한 제2 변환 출력 신호와, 제1 변환 출력 신호 중 제1 부분 신호 이외의 부분인 제2 부분 신호를 포함하는 변환 출력 신호를 출력하는 제2 변환 단계(S116a)를 포함하며, 스캔, 양자화, 및 엔트로피 부호화 중의 적어도 하나에 있어서, 제2 변환 출력 신호와 제2 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행한다.

Description

부호화 방법, 복호 방법, 부호화 장치 및 복호 장치{ENCODING METHOD, DECODING METHOD, ENCODING DEVICE AND DECODING DEVICE}

본 발명은, 오디오, 정지화상, 및 동화상을 부호화하는 부호화 방법에 관한 것으로, 특히, 시공간 도메인으로부터 주파수 도메인으로 입력 신호를 변환하는 변환 처리를 포함하는 부호화 방법에 관한 것이다.

음성 데이터나 동화상 데이터를 압축하기 위해, 복수의 음성 부호화 규격, 동화상 부호화 규격이 개발되어 왔다. 동화상 부호화 규격의 예로서, H.26x로 칭해지는 ITU-T 규격이나 MPEG-x로 칭해지는 ISO/IEC 규격을 들 수 있다. 최신의 동화상 부호화 규격은, H.264/MPEG-4 AVC로 칭해지는 규격이다.

도 1은, 종래의 부호화 장치(1600)의 구성을 도시한 블록도이다. 도 1에 나타낸 바와 같이, 부호화 장치(1600)는, 변환부(1610)와, 양자화부(1620)와, 엔트로피 부호화부(1630)를 구비하며, 음성 데이터나 동화상 데이터를 저비트 레이트로 부호화한다.

변환부(1610)는, 각종 데이터인 입력 신호, 또는 입력 신호에 어떤 처리를 가한 변환 입력 신호를 시공간 도메인으로부터 주파수 도메인으로 변환함으로써, 상관을 경감한 변환 출력 신호를 생성한다. 생성된 변환 출력 신호는, 양자화부에 출력된다.

양자화부(1620)는, 변환부(1610)로부터 출력된 변환 출력 신호를 양자화함으로써, 총 데이터량이 적은 양자화 계수를 생성한다. 생성된 양자화 계수는, 엔트로피 부호화부에 출력된다.

엔트로피 부호화부(1630)는, 양자화부(1620)로부터 출력된 양자화 계수를, 엔트로피 부호화 알고리즘을 이용하여 부호화함으로써, 나머지 데이터를 압축한 부호화 신호를 생성한다. 생성된 부호화 신호는, 예를 들면, 기록 매체에 기록되거나, 혹은, 네트워크를 통해 복호 장치 등에 송신된다.

이하에서는, 변환부(1610)가 행하는 변환 처리에 대해 상세하게 설명한다.

변환부(1610)에는, 변환 대상 신호(즉, 변환 입력 신호)인 n점의 벡터(n차원 신호)가, 변환 입력(Transform Input) 벡터 xⁿ으로서 입력된다. 변환부는, 변환 입력 벡터 xⁿ에, 소정의 변환 처리(변환 T)를 행하고, 변환 출력 신호로서, 변환 출력(Transform Output) 벡터 yⁿ을 출력한다(식 1 참조).

[수식 1]

변환 T가 선형 변환인 경우, 식 2에 나타낸 바와 같이, 변환 T는, n×n의 정방 행렬인 변환 행렬(Transform Matrix) A와 변환 입력 벡터 xⁿ의 행렬곱으로서 표현할 수 있다. 또한, 식 3은, 변환 출력 벡터 yⁿ을, 변환 행렬 A의 각 요소인 변환 계수 a_ik를 이용하여 요소 y_i마다 산출하기 위한 식이며, 식 1과 식 2로부터 도출된다.

[수식 2]

[수식 3]

변환 행렬 A는, 입력 신호의 상관을 경감하여, 변환 출력 벡터 yⁿ의 요소 중 작은 n을 갖는 요소(이른바 저역측)로 에너지가 집중되도록 설계된다. 변환 행렬 A의 설계에 있어서, KLT(Karhunen Loeve Transform : 카루넨 루베 변환)와 같은 변환 계수 도출 방법, 또는 변환 방법이 알려져 있다.

KLT는, 입력 신호의 통계적 성질에 의거하여, 최적인 변환 계수를 도출하는 방법, 또는, 도출한 최적인 변환 계수를 이용한 변환 방법이다. KLT는, 입력 신호의 상관성을 완전히 없애는 것이 가능하여, 가장 효율적으로 에너지를 저역으로 집중시킬 수 있는 기술로서 알려져 있다.

요컨대, KLT는, 이상적인 변환 처리이며, 우수한 부호화 효율로, KLT에 의해 변환된 부호화 대상 신호를 부호화할 수 있다.

그러나, 상기 종래 기술에 나타낸 KLT에는, 연산량이 크고, 또한, 변환에 이용하는 변환 행렬의 계수인 변환 계수의 데이터량이 많다는 문제가 있다. 구체적으로는, 이하와 같다.

도 2에 나타낸 바와 같이, 버터플라이 구성 등의 고속 알고리즘이 존재하는 DCT(Discrete Cosine Transform : 이산 코사인 변환)에서는, 입력 신호의 차원수(이하, 입력 점수라고도 기재)가 M인 경우의 승산 횟수는, M×Log₂(M)이다. 이에 반해, KLT에서는, 승산 횟수는 M×M이 된다. 예를 들면, DCT의 승산 횟수는, 입력 점수가 4점인 경우 8회, 입력 점수가 8점인 경우 24회이다. 이에 반해, KLT의 승산 횟수는, 예를 들면, 입력 점수가 4점인 경우 16회(DCT비 2배), 8점인 경우 64회(DCT비 2.6배), 16점인 경우는 DCT비 4.0배이다. 변환 사이즈가 커질수록, KLT의 연산량의 증가 경향은 현저해지므로, KLT는, DCT에 비해 연산량이 방대해진다는 과제가 있다.

또, KLT에서는, 입력 신호 벡터 xⁿ을 포함하는 집합 S_A의 통계적 성질에 의거하여, 변환 행렬 A를 도출한다. 변환 행렬 A를 이용한 변환은, 집합 S_A에 포함되는 입력 신호 벡터 xⁿ에 대해, 최적인 무상관화와 저역으로의 에너지 압축을 행할 수 있다. 그러나, 설계 시에 상정한 집합 S_A와 다른 통계적 특성을 갖는 집합 S_B에 포함되는 입력 신호 벡터가 입력된 경우, 변환 행렬 A를 이용한 변환 결과는, 최적으로 되지 않는다. 반대로, 항상 최적을 구하여, 입력의 통계적 성질의 약간의 변화마다 변환 계수를 생성하면, 변환 계수의 데이터량이 방대해진다.

이상과 같이, KLT 등의, 입력 신호의 통계적 성질에 의거하여 계산되는 변환 계수로 구성되는 변환 행렬을 이용하는 변환에는, 연산량이 크고, 또한, 변환 계수의 데이터량이 많다는 과제가 있으므로, 종래의 부호화 시에 KLT를 이용하는 것은 곤란하였다.

그래서, 본 발명은, 상기 과제를 해결하기 위해 이루어진 것이며, 연산량의 증가, 및 변환 계수의 데이터량의 증가를 억제하여, 부호화 효율을 높일 수 있는 부호화 방법 및 부호화 장치를 제공하는 것을 목적으로 한다. 또한, 본 발명은, 본 발명에 따른 부호화 방법 및 부호화 장치에 의해 부호화된 신호를 올바르게 복호할 수 있는 복호 방법 및 복호 장치를 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위해, 본 발명의 한 양태에 따른 부호화 방법은, 입력 신호를 변환함으로써, 변환 출력 신호를 생성하는 변환 단계와, 상기 변환 출력 신호를 구성하는 계수치를 스캔하는 스캔 단계와, 스캔된 계수치를 포함하는 스캔 신호를 양자화함으로써, 양자화 계수를 생성하는 양자화 단계와, 상기 양자화 계수를 엔트로피 부호화함으로써, 부호화 신호를 생성하는 엔트로피 부호화 단계를 포함하고, 상기 변환 단계는, 제1 변환 계수를 이용하여 상기 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하는 제1 변환 단계와, 상기 제1 변환 출력 신호의 일부인 제1 부분 신호에, 제2 변환 계수를 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성하고, 생성한 제2 변환 출력 신호와, 상기 제1 변환 출력 신호 중 상기 제1 부분 신호 이외의 부분인 제2 부분 신호를 포함하는 상기 변환 출력 신호를 출력하는 제2 변환 단계를 포함하며, 상기 스캔 단계, 상기 양자화 단계, 및 상기 엔트로피 부호화 단계 중의 적어도 하나에 있어서, 상기 제2 변환 출력 신호와 상기 제2 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행한다.

본 구성에 의하면, 입력 신호에 대해 1단계째의 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하고, 제1 변환 출력 신호의 일부인 제1 부분 신호에 2단계째의 제2 변환을 행한다. 제2 변환의 대상이 되는 제1 부분 신호는, 제1 변환 출력 신호보다 차원수가 저감하고 있으므로, 연산량의 삭감과 변환 계수의 총수의 삭감이 가능해진다. 또, 제1 변환과 제2 변환의 2회의 변환에 의해, 보다 상관을 적게 하는 변환을 행할 수 있어, 부호화 효율을 높일 수 있다. 또한, 제2 변환 출력 신호와 제2 부분 신호의 각각에 대응하는 신호에 대해, 스캔, 양자화 및 엔트로피 부호화의 적어도 하나에 있어서 다른 처리를 행하므로, 신호마다 적합한 처리를 행할 수 있어, 부호화 효율의 향상이나, 연산량의 저감을 실현할 수 있다.

또, 상기 엔트로피 부호화 단계에서는, 상기 양자화 계수 중, 상기 제2 변환 출력 신호에 대응하는 제1 양자화 계수와, 상기 제2 부분 신호에 대응하는 제2 양자화 계수에 대해, 각각 다른 확률 테이블을 이용하여 엔트로피 부호화해도 된다.

본 구성에 의하면, 신호마다 적합한 처리를 행할 수 있어, 부호화 효율의 향상이나, 연산량의 저감을 실현할 수 있다. 예를 들면, 엔트로피 부호화 시의 내부 상태 변수를 기억하기 위해 메모리가 필요해지지만, 이 메모리 영역을, 제2 변환 출력 신호와 제2 부분 신호로 적절히 배분할 수 있다.

또, 상기 엔트로피 부호화 단계에서는, 상기 양자화 계수 중, 상기 제2 변환 출력 신호에 대응하는 제1 양자화 계수와, 상기 제2 부분 신호에 대응하는 제2 양자화 계수에 대해, 각각 다른 콘텍스트 도출을 행함으로써, 상기 양자화 계수를 엔트로피 부호화해도 된다.

본 구성에 의하면, 신호마다 적합한 처리를 행할 수 있어, 부호화 효율의 향상이나, 연산량의 저감을 실현할 수 있다. 예를 들면, 엔트로피 부호화 시의 내부 상태 변수를 기억하기 위해 메모리가 필요해지지만, 이 메모리 영역을, 제2 변환 출력 신호와 제2 부분 신호로 적절히 배분할 수 있다.

또, 상기 스캔 단계에서는, 상기 제2 변환 출력 신호를 구성하는 계수치를, 상기 제2 변환의 파워순으로 스캔하고, 또한, 상기 제2 부분 신호를 구성하는 계수치를, 지그재그 스캔으로 스캔해도 된다.

본 구성에 의하면, 신호마다 적합한 스캔을 행할 수 있다.

또, 상기 양자화 단계에서는, 상기 스캔 신호 중, 상기 제2 변환 출력 신호에 대응하는 제1 스캔 신호를 제1 정밀도로 양자화하고, 상기 제2 부분 신호에 대응하는 제2 스캔 신호를, 상기 제1 정밀도보다 낮은 제2 정밀도로 양자화해도 된다.

본 구성에 의하면, 에너지가 큰 제2 변환 출력 신호의 양자화 정밀도를 높일 수 있으므로, 화질의 열화를 억제할 수 있다. 또, 에너지가 작은 제2 부분 신호의 양자화 정밀도를 낮게 함으로써, 부호량을 저감할 수 있다.

또, 상기 스캔 단계에서는, 스캔 방식의 전환이 가능하고, 상기 양자화 단계에서는, 양자화 정밀도의 전환이 가능하고, 상기 엔트로피 부호화 단계에서는, 엔트로피 부호화 방식의 전환이 가능하며, 상기 스캔 단계, 상기 양자화 단계, 및 상기 엔트로피 부호화 단계에 있어서의 전환 빈도는, 상기 제2 변환 출력 신호에 대응하는 신호쪽이, 상기 제2 부분 신호에 대응하는 신호보다 높아도 된다.

본 구성에 의하면, 에너지가 큰 제2 변환 출력 신호에 대한 처리의 전환 빈도를, 에너지가 작은 제2 부분 신호에 대한 처리의 전환 빈도보다 높게 함으로써, 제2 변환 출력 신호에, 보다 정밀도가 높은 처리를 행할 수 있다. 요컨대, 제2 변환 출력 신호의 특성 등에 따라 빈번하게 처리를 전환하는 것이 가능하여, 제2 변환 출력 신호에 대해 적절한 처리를 적응적으로 실행할 수 있다.

또, 본 발명의 한 양태에 따른 복호 방법은, 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수를 생성하는 엔트로피 복호 단계와, 상기 복호 양자화 계수를 역양자화함으로써, 복호 스캔 신호를 생성하는 역양자화 단계와, 상기 복호 스캔 신호를 구성하는 계수치를 스캔하는 스캔 단계와, 스캔된 계수치를 포함하는 복호 변환 출력 신호를 역변환함으로써, 복호 신호를 생성하는 역변환 단계를 포함하고, 상기 역변환 단계는, 제2 역변환 계수를 이용하여, 상기 복호 변환 출력 신호의 일부인 제2 복호 변환 출력 신호에 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성하는 제2 역변환 단계와, 상기 제1 복호 부분 신호와, 상기 복호 변환 출력 신호 중 상기 제2 복호 변환 출력 신호 이외의 부분인 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호에, 제1 역변환 계수를 이용하여 제1 역변환을 행함으로써, 상기 복호 신호를 생성하는 제1 역변환 단계를 포함하며, 상기 엔트로피 복호 단계, 상기 역양자화 단계, 및 상기 스캔 단계 중의 적어도 하나에 있어서, 상기 제2 복호 변환 출력 신호와 상기 제2 복호 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행한다.

본 구성에 의하면, 적은 연산량과 적은 변환 계수로 부호화 신호를 올바르게 복호할 수 있다.

또, 상기 엔트로피 복호 단계에서는, 상기 부호화 신호 중, 상기 제2 복호 변환 출력 신호에 대응하는 제1 부호화 신호와, 상기 제2 복호 부분 신호에 대응하는 제2 부호화 신호에 대해, 각각 다른 확률 테이블을 이용하여 상기 부호화 신호를 엔트로피 복호해도 된다.

또, 상기 엔트로피 복호 단계에서는, 상기 부호화 신호 중, 상기 제2 복호 변환 출력 신호에 대응하는 제1 부호화 신호와, 상기 제2 복호 부분 신호에 대응하는 제2 부호화 신호에 대해, 각각 다른 콘텍스트 도출을 행함으로써, 상기 부호화 신호를 엔트로피 복호해도 된다.

또, 상기 스캔 단계에서는, 상기 복호 스캔 신호 중, 상기 제2 복호 변환 출력 신호에 대응하는 제1 복호 스캔 신호를 구성하는 계수치를, 상기 제2 역변환의 파워순으로 스캔하고, 또한, 상기 제2 복호 부분 신호에 대응하는 제2 복호 스캔 신호를 구성하는 계수치를, 지그재그 스캔으로 스캔해도 된다.

또, 상기 역양자화 단계에서는, 상기 복호 양자화 계수 중, 상기 제2 복호 변환 신호에 대응하는 제1 복호 양자화 계수를 제1 정밀도로 역양자화하고, 상기 제2 복호 부분 신호에 대응하는 제2 복호 양자화 계수를, 상기 제1 정밀도보다 낮은 제2 정밀도로 역양자화해도 된다.

또, 상기 엔트로피 복호 단계에서는, 엔트로피 복호 방식의 전환이 가능하고, 상기 역양자화 단계에서는, 역양자화 정밀도의 전환이 가능하고, 상기 스캔 단계에서는, 스캔 방식의 전환이 가능하며, 상기 엔트로피 복호 단계, 상기 역양자화 단계, 및 상기 스캔 단계에 있어서의 전환 빈도는, 상기 제2 복호 변환 출력 신호에 대응하는 신호가, 상기 제2 복호 부분 신호에 대응하는 신호보다 높아도 된다.

이상의 어느 복호 방법에 있어서나, 부호화 방법의 경우와 동일하게, 연산량의 증가 및 변환 계수의 데이터량의 증가를 억제할 수 있다. 또, 상기의 부호화 방법에 의해 부호화된 신호를 올바르게 복호할 수 있다.

또한, 본 발명은, 부호화 방법 및 복호 방법으로서 실현할 수 있을 뿐만 아니라, 당해 부호화 방법 및 복호 방법에 포함되는 처리 단계를 행하는 처리부를 구비하는 부호화 장치 및 복호 장치로서 실현할 수도 있다. 또, 이들 단계를 컴퓨터에 실행시키는 프로그램으로서 실현해도 된다. 또한, 당해 프로그램을 기록한 컴퓨터 판독 가능한 CD-ROM(Compact Disc-Read Only Memory) 등의 기록 매체, 및 당해 프로그램을 나타내는 정보, 데이터 또는 신호로서 실현해도 된다. 그리고, 그들 프로그램, 정보, 데이터 및 신호는, 인터넷 등의 통신 네트워크를 통해 전달해도 된다.

또, 상기의 각 부호화 장치 및 복호 장치를 구성하는 구성 요소의 일부 또는 전부는, 1개의 시스템 LSI(Large Scale Integration : 대규모 집적 회로)로 구성되어 있어도 된다. 시스템 LSI는, 복수의 구성부를 1개의 칩 상에 집적하여 제조된 초다기능 LSI이며, 구체적으로는, 마이크로 프로세서, ROM 및 RAM(Random Access Memory) 등을 포함하여 구성되는 컴퓨터 시스템이다.

본 발명에 의하면, 연산량의 증가, 및 변환 계수의 데이터량의 증가를 억제하여, 부호화 효율을 높일 수 있다.

도 1은, 종래의 부호화 장치의 구성을 도시한 블록도이다.
도 2는, DCT와 KLT의 연산량의 비교를 도시한 도면이다.
도 3은, 본 발명의 실시 형태 1에 따른 부호화 장치의 구성의 일례를 도시한 블록도이다.
도 4는, 본 발명의 실시 형태 1에 따른 변환 처리의 일례를 도시한 흐름도이다.
도 5a는, 본 발명의 실시 형태 1에 따른 변환부의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 5b는, 본 발명의 실시 형태 1에 따른 변환부의 데이터 흐름의 다른 일례를 개념적으로 도시한 도면이다.
도 6은, 본 발명의 실시 형태 1에 따른 변환 처리의 다른 일례를 도시한 흐름도이다.
도 7은, 본 발명의 실시 형태 1에 따른 변환부에 있어서의 변환 계수의 도출의 일례를 개념적으로 도시한 도면이다.
도 8은, 본 발명의 실시 형태 1에 따른 행렬 연산의 일례를 개념적으로 도시한 도면이다.
도 9는, 본 발명의 실시 형태 1의 변형예에 따른 부호화 장치의 구성의 일례를 도시한 블록도이다.
도 10은, 본 발명의 실시 형태 1의 변형예에 따른 부호화 장치의 동작의 일례를 도시한 흐름도이다.
도 11a는, 본 발명의 실시 형태 2에 따른 복호 장치의 구성의 일례를 도시한 블록도이다.
도 11b는, 본 발명의 실시 형태 2에 따른 복호 장치에 있어서의 역변환부의 구성의 일례를 도시한 블록도이다.
도 12는, 본 발명의 실시 형태 2에 따른 복호 장치의 동작의 일례를 도시한 흐름도이다.
도 13a는, 본 발명의 실시 형태 2에 따른 역변환부의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 13b는, 본 발명의 실시 형태 2에 따른 역변환부의 데이터 흐름의 다른 일례를 개념적으로 도시한 도면이다.
도 14는, 본 발명의 실시 형태 2에 따른 역변환 처리의 일례를 도시한 흐름도이다.
도 15는, 본 발명의 실시 형태 2의 변형예에 따른 복호 장치의 구성의 일례를 도시한 블록도이다.
도 16은, 본 발명의 실시 형태 2의 변형예에 따른 복호 장치의 동작의 일례를 도시한 흐름도이다.
도 17은, 본 발명의 실시 형태 3에 따른 부호화 장치의 구성의 일례를 도시한 블록도이다.
도 18은, 본 발명의 실시 형태 3에 따른 부호화 장치의 동작의 일례를 도시한 흐름도이다.
도 19는, 본 발명의 실시 형태 3에 따른 변환부의 구성의 일례를 도시한 블록도이다.
도 20은, 본 발명의 실시 형태 3에 따른 변환부의 구성의 다른 일례를 도시한 블록도이다.
도 21은, 본 발명의 실시 형태 3에 따른 변환부에 있어서의 변환 계수의 도출의 일례를 개념적으로 도시한 도면이다.
도 22는, 본 발명의 실시 형태 3의 변형예에 따른 변환부의 구성의 일례를 도시한 블록도이다.
도 23은, 본 발명의 실시 형태 3의 변형예에 따른 부호화 장치의 구성의 일례를 도시한 블록도이다.
도 24a는, 본 발명의 실시 형태 3의 변형예에 따른 부호화 장치의 구성의 일례를 도시한 블록도이다.
도 24b는, 본 발명의 실시 형태 3의 변형예에 따른 부호화 장치의 구성의 일례를 도시한 블록도이다.
도 25는, 본 발명의 실시 형태 3의 변형예에 따른 부호화 장치에 있어서, 메모리에 저장된 제2 변환 계수와 분할 통합 정보의 대응 관계의 일례를 도시한 도면이다.
도 26a는, 본 발명의 실시 형태 3에 따른 제1 변환 출력 신호와 제1 부분 신호 및 제2 부분 신호의 관계를 개념적으로 도시한 도면이다.
도 26b는, 본 발명의 실시 형태 3에 따른 분할 통합 정보의 일례를 개념적으로 도시한 도면이다.
도 26c는, 본 발명의 실시 형태 3에 따른 분할 통합 정보의 일례를 개념적으로 도시한 도면이다.
도 27은, 본 발명의 실시 형태 4에 따른 복호 장치의 구성의 일례를 도시한 블록도이다.
도 28은, 본 발명의 실시 형태 4에 따른 복호 장치의 동작의 일례를 도시한 흐름도이다.
도 29는, 본 발명의 실시 형태 4에 따른 역변환부의 구성의 일례를 도시한 블록도이다.
도 30은, 본 발명의 실시 형태 4의 변형예에 따른 복호 장치의 구성의 일례를 도시한 블록도이다.
도 31은, 본 발명의 실시 형태 4의 변형예에 따른 복호 장치의 구성의 일례를 도시한 블록도이다.
도 32는, 본 발명의 실시 형태 5에 따른 변환부의 구성의 일례를 도시한 블록도이다.
도 33은, 본 발명의 실시 형태 5에 따른 변환부에 있어서의 변환 계수의 도출을 개념적으로 도시한 도면이다.
도 34는, 본 발명의 실시 형태 5의 변형예에 따른 변환부의 구성의 일례를 도시한 블록도이다.
도 35는, 본 발명의 실시 형태 5의 변형예에 따른 변환부의 구성의 일례를 도시한 블록도이다.
도 36은, 본 발명의 실시 형태 6에 따른 역변환부의 구성의 일례를 도시한 블록도이다.
도 37은, 본 발명의 실시 형태 6의 변형예에 따른 역변환부의 구성의 일례를 도시한 블록도이다.
도 38은, 본 발명의 실시 형태 6의 변형예에 따른 역변환부의 구성의 일례를 도시한 블록도이다.
도 39는, 본 발명의 실시 형태 7에 따른 변환부의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 40은, 본 발명의 실시 형태 7에 따른 분리형의 구성의 제2 변환의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 41은, 본 발명의 실시 형태 7에 따른 다차원의 변환 입력 신호가 YUV 신호인 경우의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 42는, 본 발명의 실시 형태 7에 따른 다차원의 변환 입력 신호가 공간적으로 인접하는 블록 신호인 경우의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 43은, 본 발명의 실시 형태 8에 따른 역변환부의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 44는, 본 발명의 실시 형태 8에 따른 역변환부의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 45는, 본 발명의 실시 형태 8에 따른 다차원의 복호 변환 출력 신호가 YUV 신호인 경우의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 46은, 본 발명의 실시 형태 8에 따른 다차원의 복호 변환 출력 신호가 공간적으로 인접하는 블록 신호인 경우의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 47은, 본 발명의 실시 형태 9에 따른 변환부의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.
도 48a는, 본 발명의 실시 형태 9에 따른 변환 처리의 일례를 도시한 흐름도이다.
도 48b는, 본 발명의 실시 형태 9에 따른 변환 처리의 일례를 도시한 흐름도이다.
도 49는, 본 발명의 실시 형태 9의 변형예에 따른 변환 처리의 일례를 도시한 흐름도이다.
도 50은, 본 발명의 실시 형태 9의 변형예에 따른 변환 처리의 일례를 도시한 흐름도이다.
도 51a는, 본 발명의 실시 형태 10에 따른 역변환 처리의 일례를 도시한 흐름도이다.
도 51b는, 본 발명의 실시 형태 10에 따른 역변환 처리의 일례를 도시한 흐름도이다.
도 52는, 본 발명의 실시 형태 10의 변형예에 따른 역변환 처리의 일례를 도시한 흐름도이다.
도 53은, 본 발명의 실시 형태 10의 변형예에 따른 역변환 처리의 일례를 도시한 흐름도이다.
도 54a는, 본 발명의 실시 형태 11에 따른 부호화 장치의 구성의 일례를 도시한 블록도이다.
도 54b는, 본 발명의 실시 형태 11에 따른 부호화 장치에 있어서의, 신호마다의 처리의 차이의 일례를 도시한 도면이다.
도 55a는, 본 발명의 실시 형태 12에 따른 복호 장치의 구성의 일례를 도시한 블록도이다.
도 55b는, 본 발명의 실시 형태 12에 따른 복호 장치에 있어서의, 신호마다의 처리의 차이의 일례를 도시한 도면이다.
도 56a는, 본 발명의 실시 형태 13에 따른 변환 행렬의 일례를 도시한 도면이다.
도 56b는, 본 발명의 실시 형태 13에 따른 절대 평균치의 일례를 도시한 도면이다.
도 56c는, 본 발명의 실시 형태 13에 따른 헤더 기술치(즉, 차분)의 일례를 도시한 도면이다.
도 56d는, 본 발명의 실시 형태 13에 따른 제2 변환 행렬의 일례를 도시한 도면이다.
도 56e는, 본 발명의 실시 형태 13에 따른 상삼각 요소와 하삼각 요소 사이의 부호의 관계를 도시한 도면이다.
도 56f는, 본 발명의 실시 형태 13에 따른 변환 행렬의 일례를 도시한 도면이다.
도 57a는, 본 발명의 실시 형태 14에 따른 변환 및 양자화의 타이밍 차트의 일례를 도시한 도면이다.
도 57b는, 본 발명의 실시 형태 14에 따른 변환 및 양자화의 타이밍 차트의 일례를 도시한 도면이다.
도 58a는, 본 발명의 실시 형태 15에 따른 역양자화 및 역변환의 타이밍 차트의 일례를 도시한 도면이다.
도 58b는, 본 발명의 실시 형태 15에 따른 역양자화 및 역변환의 타이밍 차트의 일례를 도시한 도면이다.
도 59는, 콘텐츠 전달 서비스를 실현하는 콘텐츠 공급 시스템의 전체 구성도이다.
도 60은, 디지털 방송용 시스템의 전체 구성도이다.
도 61은, 휴대전화의 외관을 도시한 도면이다.
도 62는, 휴대전화의 구성예를 도시한 블록도이다.
도 63은, TV의 구성예를 도시한 블록도이다.
도 64는, 광 디스크인 기록 미디어에 정보의 읽기와 쓰기를 행하는 정보 재생/기록부의 구성예를 도시한 블록도이다.
도 65는, 디스크인 기록 미디어의 구조예를 도시한 도면이다.
도 66은, 각 실시 형태의 동화상 부호화 방법 및 동화상 복호 방법을 실현하는 집적 회로의 구성예를 도시한 블록도이다.

이하, 본 발명의 실시 형태에 대해, 도면을 참조하면서 설명한다.

(실시 형태 1)

본 발명의 실시 형태 1에 따른 부호화 장치는, 입력 신호를 변환함으로써, 변환 출력 신호를 생성하는 변환부와, 변환 출력 신호를 양자화함으로써, 양자화 계수를 생성하는 양자화부와, 양자화 계수를 엔트로피 부호화함으로써, 부호화 신호를 생성하는 엔트로피 부호화부를 구비한다. 그리고, 변환부는, 제1 변환 계수로 구성되는 제1 변환 행렬을 이용하여 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하는 제1 변환부와, 제1 변환 출력 신호의 일부인 제1 부분 신호에, 제2 변환 계수로 구성되는 제2 변환 행렬을 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성하고, 생성한 제2 변환 출력 신호와, 제1 변환 출력 신호 중 제1 부분 신호 이외의 부분인 제2 부분 신호를 포함하는 상기 변환 출력 신호를 출력하는 제2 변환부를 구비한다.

바꿔 말하면, 본 발명의 실시 형태 1에 따른 부호화 장치는, 입력 신호에 대해 2단계의 변환을 행하는 것을 특징으로 한다. 구체적으로는, 본 발명의 실시 형태 1에 따른 부호화 장치는, 입력 신호에 제1 변환을 행하고, 제1 변환 후의 신호의 일부인 제1 부분 신호에 제2 변환을 행하는 것을 특징으로 한다.

또한, 본 명세서에 있어서는, 변환 행렬과 변환 계수는 거의 동일한 의미로서 이용하는 경우가 있다.

또한, 버터플라이 구성이나 시프트와 가산의 연산을 이용하는 구성과 같이, 단순한 행렬 연산이 아니어도 실현할 수 있는 변환이어도, 본 명세서에서는 행렬 표현으로 기술하는 경우가 있다. 이와 같이 행렬 표현으로 기술하는 것은, 버터플라이 구성이나, 시프트와 가산의 연산을 이용하는 구성, 혹은, 리프팅 구조를 이용하는 구성 등, 각종의 연산량을 경감한 변환을 제외하는 것은 아니다.

도 3은, 본 발명의 실시 형태 1에 따른 부호화 장치(100)의 구성의 일례를 도시한 블록도이다. 도 3에 나타낸 바와 같이, 부호화 장치(100)는, 변환부(110)와, 양자화부(120)와, 엔트로피 부호화부(130)를 구비한다.

변환부(110)는, 입력 신호(변환 입력 신호)를 변환함으로써, 변환 출력 신호를 생성한다. 변환부(110)는, 도 3에 나타낸 바와 같이, 제1 변환부(200)와, 분할부(210)와, 제2 변환부(220)와, 통합부(230)를 구비한다.

제1 변환부(200)는, 제1 변환 행렬을 이용하여 변환 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성한다.

분할부(210)는, 제1 변환 출력 신호를 2개의 부분으로 분할한다. 구체적으로는, 분할부(210)는, 제1 변환부(200)에 의해 생성된 제1 변환 출력 신호를, 분할 통합 정보를 이용하여 제1 부분 신호와 제2 부분 신호로 분할한다. 또한, 분할 통합 정보는, 제1 부분 신호가 제1 변환 출력 신호의 어느 부분에 대응하는지를 나타내는 선택 범위 정보의 일례이다.

제2 변환부(220)는, 제2 변환 행렬을 이용하여 제1 부분 신호에 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성한다.

통합부(230)는, 제2 변환 출력 신호와 제2 부분 신호를 통합함으로써, 변환 출력 신호를 생성한다.

상기의 변환부(110)가 구비하는 각 처리부의 상세한 동작에 대해서는, 뒤에서 설명한다.

양자화부(120)는, 변환부(110)에 의해 생성된 변환 출력 신호를 양자화함으로써, 양자화 계수를 생성한다.

엔트로피 부호화부(130)는, 양자화부(120)에 의해 생성된 양자화 계수를 엔트로피 부호화함으로써, 부호화 신호를 생성한다.

또한, 부호화 장치(100)에는, 음성 데이터, 정지화상 데이터, 동화상 데이터 등의 각종 데이터인 입력 신호가 부호화 대상 신호로서 입력된다. 변환부(110)에는, 부호화 대상 신호(Original Signal), 또는, 이 부호화 대상 신호와, 이전에 입력된 부호화 대상 신호에 의거하여 작성된 예측 신호의 차분인 예측 오차 신호가, 변환 입력 신호로서 입력된다. 일반적으로는, 예측 오차 신호가 변환의 대상으로서 입력되는 경우가 많지만, 전송로에 에러가 혼입되는 경우를 상정하여 예측을 행하지 않는 경우, 또는, 에너지가 작은 경우에는, 예측을 행하지 않고 입력 신호가 변환의 대상으로서 입력된다. 이러한 변환 입력(Transform Input) 신호를 식 4에 나타낸 바와 같은 벡터 xⁿ으로 나타낸다.

[수식 4]

이어서, 본 발명의 실시 형태 1에 따른 부호화 장치(100)의 동작의 일례에 대해 설명한다.

도 4는, 본 발명의 실시 형태 1에 따른 부호화 장치(100)의 동작의 일례를 도시한 흐름도이다. 또, 도 5a 및 도 5b는, 본 발명의 실시 형태 1에 따른 부호화 장치(100)에 있어서의 변환부(110)의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.

우선, 변환부(110)는, 변환 입력 신호 xⁿ을 변환함으로써, 변환 출력 신호 yⁿ을 생성한다(단계 S110).

구체적으로는, 우선, 제1 변환부(200)가, 제1 변환 행렬을 이용하여 변환 입력 신호 xⁿ에 제1 변환을 행함으로써, 제1 변환 출력 신호 y₁ ⁿ을 생성한다(단계 S112). 구체적으로는, 제1 변환부(200)는, 변환 입력 신호 xⁿ의 상관을 경감하여, 저주파수 대역에 에너지를 집중시키도록, 변환 입력 신호 xⁿ을 제1 변환 출력 신호 y₁ ⁿ으로 변환한다.

이 때, 제1 변환에 이용하는 제1 변환 계수로서, 예를 들면, 이전에 입력된 변환 입력 신호 xⁿ의 제1 변환 시에, 이미 산출되어 있는 계수를 이용할 수 있다. 요컨대, 제1 변환을 행할 때마다 제1 변환 계수를 산출하지 않아도 되므로, 제1 변환 계수의 산출에 따른 연산량을 저감할 수 있다. 제1 변환 계수를 산출하는 경우의 구체적인 처리에 대해서는, 뒤에서 설명한다.

다음에, 분할부(210)는, 제1 변환 출력 신호 y₁ ⁿ을, 제1 부분 신호 y_1L ^m과 제2 부분 신호 y_1H ^n-m으로 분할한다(단계 S114). 구체적으로는, 분할부(210)는, 분할 통합 정보에 의거하여, 제1 부분 신호 y_1L ^m의 상관 에너지가 제2 부분 신호 y_1H ^n-m의 상관 에너지보다 커지도록, 제1 변환 출력 신호 y₁ ⁿ을 분할한다.

분할 통합 정보란, 분할부(210)에 대해, 저주파수 대역을 제1 부분 신호 y_1L ^m으로서, 고주파수 대역을 제2 부분 신호 y_1H ^n-m으로서 분할하는 제어를 행하게 하는 정보이다. 분할 통합 정보는, 에너지가 큰 성분을 제1 부분 신호 y_1L ^m으로, 에너지가 작은 성분을 제2 부분 신호 y_1H ^n-m으로 입력에 따라, 동적으로 제어하도록 지시하는 정보여도 된다.

이 때, 분할 통합 정보로서, 예를 들면, 이전에 입력된 제1 변환 출력 신호 y₁ ⁿ의 분할 시에 이미 결정된 분할 통합 정보를 이용할 수 있다. 요컨대, 분할을 행할 때마다, 새로운 분할 통합 정보를 결정할 필요는 없다.

분할부(210)에 의해 분할된 제1 부분 신호 y_1L ^m은, 도 5a에 나타낸 바와 같이, 1차원으로 재배열되어, 제2 변환부(220)에 입력된다.

다음에, 제2 변환부(220)는, 제2 변환 행렬을 이용하여 제1 부분 신호 y_1L ^m에 제2 변환을 행함으로써, 제2 변환 출력 신호 y₂ ^m을 생성한다(단계 S116). 구체적으로는, 제2 변환부(220)는, 제1 부분 신호 y_1L ^m의 상관을 경감하여, 보다 저주파수 대역에 에너지를 집중시키도록, 제1 부분 신호 y_1L ^m을 제2 변환 출력 신호 y₂ ^m으로 변환한다.

이 때, 제2 변환 계수로서, 예를 들면, 이전에 입력된 제1 부분 신호 y_1L ^m의 제2 변환 시에 이미 산출된 계수를 이용할 수 있다. 요컨대, 제2 변환을 행할 때마다 제2 변환 계수를 산출하지 않아도 되므로, 제2 변환 계수의 산출에 따른 연산량을 저감할 수 있다. 제2 변환 계수를 산출하는 경우의 구체적인 처리에 대해서는, 뒤에서 설명한다.

다음에, 통합부(230)는, 제2 변환 출력 신호 y₂ ^m과 제2 부분 신호 y_1H ^n-m을 통합함으로써, 변환 출력 신호 yⁿ을 생성한다(단계 S118). 구체적으로는, 통합부(230)는, 제2 변환 출력 신호 y₂ ^m을 1차원으로 재배열되기 전의 차원으로 재배열하고, 분할 통합 정보에 의거하여, 재배열한 후의 제2 변환 출력 신호 y₂ ^m과 제2 부분 신호 y_1H ^n-m을 통합한다.

다음에, 양자화부(120)는, 이상과 같이 하여 생성된 변환 출력 신호 yⁿ을 양자화함으로써, 양자화 계수를 생성한다(단계 S120). 마지막으로, 엔트로피 부호화부(130)는, 양자화 계수를 엔트로피 부호화함으로써, 부호화 신호를 생성한다(단계 S130).

또한, 도 5b에 나타낸 바와 같이, 분할부(210)는, 제1 부분 신호 y_1L ^m을 1차원으로 재배열하지 않고, 그대로 제2 변환부(220)에 출력해도 된다. 이 경우, 제2 변환부(220)는, 2차원의 제1 부분 신호 y_1L ^m에 제2 변환을 행함으로써, 2차원의 제2 변환 출력 신호 y₂ ^m을 생성한다. 여기에서는, 제2 변환부(220)는, 예를 들면, 비분리형의 제2 변환을 행한다. 그리고, 통합부(230)에서는, 제2 변환 출력 신호 y₂ ^m의 재배열을 행하지 않고, 제2 변환 출력 신호 y₂ ^m과 제2 부분 신호 y_1H ^n-m을 통합한다.

또, 도 5a 및 도 5b에서는, 제2 변환의 대상은, 제1 변환 출력 신호의 임의의 영역(비구형 영역)이도록 도시하였지만, 이것에 한정되는 것이 아니라 구형 영역이어도 상관없다. 구체적으로는, 도 5a 및 도 5b에 나타낸 예에서는, 제2 변환부(220)는, 제1 변환 출력 신호의 저주파 성분의 계수치를 포함하는, 행렬 표현한 경우에 있어서의 비구형 영역에 포함되는 신호를, 제1 부분 신호로 하여 제2 변환을 행한다. 이에 반해, 제2 변환부(220)는, 제1 변환 출력 신호의 저주파 성분의 계수치를 포함하는, 행렬 표현한 경우에 있어서의 구형 영역에 포함되는 계수치를 포함하는 신호를, 제1 부분 신호로 하여 제2 변환을 행해도 된다.

다음에, 제1 변환 계수, 제2 변환 계수 및 분할 통합 정보를 결정하는 경우의 동작 및 구성에 대해 설명한다.

도 6은, 본 발명의 실시 형태 1에 따른 변환부(110)에 있어서의 변환 처리의 일례를 도시한 흐름도이다. 또, 도 7은, 본 발명의 실시 형태 1에 따른 변환부(110)에 있어서의 변환 계수의 도출의 일례를 도시한 개념도이다.

도 7에 나타낸 바와 같이, 변환부(110)는, 제1 변환 계수 도출부(202)와, 제2 변환 계수 도출부(222)를 더 구비한다. 또한, 도 7에는, 분할부(210) 및 통합부(230)는 도시하고 있지 않다.

우선, 도 6에 나타낸 바와 같이, 제1 변환 계수 도출부(202)는, 변환 입력 신호 xⁿ에 의거하여 제1 변환 계수를 결정한다(단계 S111). 다음에, 제1 변환부(200)는, 제1 변환 계수 도출부(202)에 의해 결정된 제1 변환 계수로 구성되는 제1 변환 행렬을 이용하여, 변환 입력 신호 xⁿ에 제1 변환을 행한다(단계 S112).

다음에, 분할 통합 정보가 결정된다(단계 S113). 분할 통합 정보는, 미리 결정된 분할을 행하도록 분할부(210)를 제어하는 것이면, 부호화 장치(100)의 메모리 등으로부터 독출한다. 또, 분할 통합 정보가, 제1 변환 출력 신호 y₁ ⁿ에 따른 분할을 행하도록 분할부(210)를 제어하는 것이면, 제1 변환 출력 신호 y₁ ⁿ에 의거하여 에너지 상태의 분포를 감안해서 분할 통합 정보를 도출한다.

이와 같이 하여 결정된 분할 통합 정보에 의거하여, 분할부(210)는, 제1 변환 출력 신호 y₁ ⁿ을 분할한다(단계 S114).

다음에, 제2 변환 계수 도출부(222)는, 제1 부분 신호 y_1L ^m에 의거하여 제2 변환 계수를 결정한다(단계 S115). 다음에, 제2 변환부(220)는, 결정된 제2 변환 계수로 구성되는 제2 변환 행렬을 이용하여, 제1 부분 신호 y₁ ⁿ에 제2 변환을 행한다(단계 S116).

마지막으로, 통합부(230)는, 제2 변환 출력 신호 y₂ ^m과 분할된 제2 부분 신호 y_1H ^n-m을 통합하여, 변환 출력 신호 yⁿ으로서 출력한다(단계 S118).

도 7을 이용하여, 제1 변환부(200)에 있어서의 제1 변환과 제2 변환부(220)에 있어서의 제2 변환에 대해 상세하게 설명한다.

많은 샘플을 포함하는 어떤 집합 S_A에는, 제1 변환부(200)에 입력되는 변환 입력 신호 xⁿ이 포함되어 있다. 제1 변환 계수 도출부(202)는, 예를 들면, KLT를 이용하여, 이 집합 S_A에 포함되는 많은 샘플에 평균적으로 최적화된 제1 변환 계수를 구한다.

이와 같이 많은 샘플을 포함하는 집합 S_A에 의거하여, 제1 변환 계수를 구함으로써, 개개의 변환 입력 신호 xⁿ의 통계적 성질에 그다지 영향을 받지 않으며, 다소 다른 성질이어도 동일한 제1 변환 계수로 구성되는 제1 변환 행렬을 이용하여 제1 변환을 행할 수 있다. 따라서, 제1 변환 계수의 갱신 빈도를 억제할 수 있으며, 요컨대, 도 4에 나타낸 처리와 같이, 제1 변환 계수의 결정을 행하지 않는 경우를 많게 할 수 있으므로, 연산량을 삭감할 수 있다.

또, 제1 변환 계수의 갱신을 하는 경우여도, 갱신 전과 후의 변환 계수의 개개의 값의 변화량은 작으므로, 차분 정보량을 적게 할 수 있다. 따라서, 제1 변환 계수를 복호 장치에 송신하는 경우에, 부호량의 증가를 억제할 수 있다.

한편, 제2 변환부(220)에는, 제1 변환 출력 신호 y₁ ⁿ을 구성하는 계수치 중, 상관 에너지가 큰 부분인 제1 부분 신호 y_1L ^m이 입력된다. 제2 변환 계수 도출부(222)는, 제1 변환 계수 도출부(202)와 동일하게, 예를 들면 KLT를 이용하여, 제1 부분 신호 y_1L ^m을 포함하며, 집합 S_A와 비교하여 샘플수가 적은 집합 S_C에 포함되는 샘플에 평균적으로 최적화된 제2 변환 계수를 구한다.

이와 같이, 집합 S_C를 집합 S_A보다 작은 집합으로 함으로써, 입력되는 제1 변환 출력 신호 y₁ ⁿ의 통계적 성질의 변화에 예민하게 추종할 수 있으며, 상관의 경감과 에너지 압축이 한층 더 가능해진다. 또한, 작은 집합 S_C로 함으로써 변환 계수의 갱신 빈도는 높아지지만, 제1 부분 신호 y_1L ^m은, 제1 변환 출력 신호 y₁ ⁿ의 일부이며, 변환 입력 신호 xⁿ보다 차원수가 적으므로, 제2 변환 행렬의 요소수는 적어지고, 고효율인 변환과, 연산량 및 데이터량의 삭감을 양립시킬 수 있다.

또한, 제2 변환부(220)에는, 제1 변환 출력 신호 y₁ ⁿ을 구성하는 계수치 중 상관 에너지가 큰 부분인 제1 부분 신호 y_1L ^m이 입력되는 것으로 하였지만, 이것은, 제1 변환 출력 신호 y₁ ⁿ의 자기 상관이 높은 위치를 선택하고 있다고 할 수 있다. 이에 반해, 유사한 방법으로서, 제1 변환 출력 신호 y₁ ⁿ의 상호 상관이 높은 위치를 제1 부분 신호 y_1L ^m으로서 선택해도 된다.

또한, 제1 부분 신호 y_1L ^m과 제2 변환 출력 신호 y₂ ^m의 각각에 대해, 차원의 재배열을 분할부(210)와 통합부(230)가 행하는 것으로 하였지만, 각각의 재배열을 제2 변환부(220)가 행하는 구성이어도 된다. 또, 부호화의 대상이 음성 데이터 등의 1차원 신호인 경우, 혹은, 1차원 신호 처리라고 간주할 수 있는 분리형의 각 차원의 처리에 있어서, 변환부(110)에 입력되는 변환 입력 신호 xⁿ은 1차원이므로, 이들 재배열의 처리는 불필요해진다.

이상과 같이, 본 발명의 실시 형태 1에 따른 부호화 장치(100)는, 입력 신호에 제1 변환을 행하고, 제1 변환 후의 신호의 일부인 제1 부분 신호에 제2 변환을 행하는 것을 특징으로 한다. 이에 의해, 본 발명의 실시 형태 1에 따른 부호화 장치(100)에 의하면, 입력 신호의 통계적 성질에 의거하여 계산되는 변환 계수를 이용하는 변환에 있어서, 변환의 연산량의 삭감, 및 변환 행렬의 요소수(데이터량)의 삭감을 실현할 수 있다.

또한, 상기의 실시 형태 1에 따른 부호화 장치(100)에서는, 제1 변환 출력 신호 y₁ ⁿ을 제1 부분 신호 y_1L ^m과 제2 부분 신호 y_1H ^n-m으로 분할하고, 제2 변환 후에 통합하지만, 명시적으로 분할하지 않아도 되고, 실질적으로 분할하면 된다. 즉, 제1 변환 출력 신호 y₁ ⁿ 중, 제2 변환을 실행하는 대상이 되는 부분을 결정하면 된다. 예를 들면, 제2 변환 시에, 제2 변환의 대상이 되지 않는 요소에 대한 행의 대각 요소를 1, 비대각 요소를 0으로 함으로써, 실질적으로 제1 부분 신호 y_1L ^m에만, 제2 변환을 행할 수 있다. 도 8에 행렬 연산의 구체예를 나타낸다.

도 8(a)와 같이, 4점의 벡터 X_n 중 3점(X₁, X₂, X₃)에 대해 3×3 크기의 행렬 A³을 승산하여 얻어지는 결과와, 도 8(b)와 같이, A³을 4×4로 확장하고, 확장 시, 대각 요소는 1, 비대각 요소는 0을 설정한 확장 후의 행렬 A⁴와 4점의 X의 승산 결과의 3점 부분은 일치한다.

도 9는, 본 발명의 실시 형태 1의 변형예에 따른 부호화 장치(100a)의 구성의 일례를 도시한 블록도이다.

부호화 장치(100a)는, 변환부(110a)와, 양자화부(120)와, 엔트로피 부호화부(130)를 구비한다. 또한, 도 3에 나타낸 부호화 장치(100)와 동일한 동작을 행하는 처리부에는, 동일한 부호를 붙이고 있으며, 이하에서는 설명을 생략한다.

변환부(110a)는, 제1 변환부(200)와, 제2 변환부(220a)를 구비한다. 요컨대, 변환부(110a)는, 도 3에 나타낸 변환부(110)와 비교하여, 분할부(210)와, 통합부(230)를 구비하고 있지 않은 점과, 또한, 제2 변환부(220) 대신에 제2 변환부(220a)를 구비하는 점이 다르다.

제2 변환부(220a)는, 제1 변환 출력 신호 y₁ ⁿ의 일부인 제1 부분 신호 y_1L ^m을 포함하는 집합의 통계 특성에 의거하여 결정된 제2 변환 계수로 구성되는 제2 변환 행렬을 이용하여, 제1 부분 신호 y_1L ^m에 제2 변환을 행함으로써, 제2 변환 출력 신호 y₂ ^m을 생성한다. 구체적으로는, 제2 변환부(220a)는, 제1 변환 출력 신호 y₁ ⁿ을 구성하는 계수치 중, 제2 변환의 대상이 되는 계수치를 결정하고, 결정한 계수치로 구성되는 신호를 제1 부분 신호 y_1L ^m으로 하여, 제2 변환을 행한다. 보다 구체적으로는, 제2 변환부(220a)는, 제1 변환 출력 신호 y₁ ⁿ을 구성하는 복수의 계수치 중, 소정의 역치보다 값이 큰 계수치를 포함하는 신호를, 제1 부분 신호 y_1L ^m으로 하여, 제2 변환을 행한다.

그리고, 제2 변환부(220a)는, 생성한 제2 변환 출력 신호 y₂ ^m과, 제1 변환 출력 신호 y₁ ⁿ 중 제1 부분 신호 y_1L ^m 이외의 부분인 제2 부분 신호 y_1H ^n-m을 포함하는 변환 출력 신호 yⁿ을 출력한다.

도 10은, 도 9에 나타낸 부호화 장치(100a)의 동작의 일례를 도시한 흐름도이다.

우선, 변환부(110a)가, 입력된 변환 입력 신호 xⁿ을 변환함으로써, 변환 출력 신호 yⁿ을 생성한다(단계 S110a). 구체적으로는, 우선, 입력된 변환 입력 신호 xⁿ에 대해, 제1 변환부(200)는 제1 변환을 행함으로써, 제1 변환 출력 신호 y₁ ⁿ을 생성한다(단계 S112).

다음에, 제2 변환부(220a)가, 제1 부분 신호 y_1L ^m에 제2 변환을 행한다(단계 S116a). 예를 들면, 제2 변환부(220a)는, 제1 변환 출력 신호 y₁ ⁿ 중, 제2 변환을 행하는 대상이 되는 부분을, 제1 부분 신호 y_1L ^m으로서 결정하고, 결정한 제1 부분 신호 y_1L ^m에 대해 제2 변환 행렬을 이용하여 제2 변환을 행한다.

다음에, 양자화부(120)는, 제2 변환 출력 신호 y₂ ^m을 포함하는 변환 출력 신호 yⁿ을 양자화함으로써, 양자화 계수 Cⁿ을 생성한다(단계 S120). 마지막으로, 엔트로피 부호화부(130)는, 양자화 계수 Cⁿ을 엔트로피 부호화함으로써, 부호화 신호를 생성한다(단계 S130).

이상과 같이, 실시 형태 1의 변형예에 따른 부호화 장치(100a)도, 부분적으로 2단계의 변환을 행함으로써, 부호화 처리에 있어서의 연산량의 증가, 및 변환 계수의 데이터량의 증가를 억제할 수 있다.

(실시 형태 2)

본 발명의 실시 형태 2에 따른 복호 장치는, 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수를 생성하는 엔트로피 복호부와, 복호 양자화 계수를 역양자화함으로써, 복호 변환 출력 신호를 생성하는 역양자화부와, 복호 변환 출력 신호를 역변환함으로써, 복호 신호를 생성하는 역변환부를 구비한다. 그리고, 역변환부는, 제2 역변환 계수로 구성되는 제2 역변환 행렬을 이용하여, 복호 변환 출력 신호의 일부인 제2 복호 변환 출력 신호에 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성하는 제2 역변환부와, 제1 복호 부분 신호와, 복호 변환 출력 신호 중 제2 복호 변환 출력 신호 이외의 부분인 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호에, 제1 역변환 계수로 구성되는 제1 역변환 행렬을 이용하여 제1 역변환을 행함으로써, 복호 신호를 생성하는 제1 역변환부를 구비한다.

바꿔 말하면, 본 발명의 실시 형태 2에 따른 복호 장치는, 부호화 신호에 대해 2단계의 역변환을 행하는 것을 특징으로 한다. 구체적으로는, 본 발명의 실시 형태 2에 따른 복호 장치는, 부호화 신호에 엔트로피 복호 및 역양자화를 행함으로써 생성되는 복호 변환 출력 신호의 일부인 제2 복호 변환 출력 신호에 제2 역변환을 행하고, 제2 역변환 후의 신호와, 복호 변환 출력 신호의 나머지 부분인 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호에 제1 역변환을 행하는 것을 특징으로 한다.

도 11a는, 본 발명의 실시 형태 2에 따른 복호 장치(300)의 구성의 일례를 도시한 블록도이다. 복호 장치(300)에는, 음성 데이터나 동화상 데이터를 저비트 레이트로 부호화한 부호화 신호가 입력되고, 복호 장치(300)는, 부호화 신호로부터 음성 데이터나 동화상 데이터를 복호함으로써, 복호 신호를 생성한다.

복호 장치(300)는, 부호화 신호에 대해 엔트로피 복호를 하고, 역양자화를 하며, 역변환을 한다는 부호화의 처리와 거의 반대의 처리를 행한다. 도 11a에 나타낸 바와 같이, 복호 장치(300)는, 엔트로피 복호부(310)와, 역양자화부(320)와, 역변환부(330)를 구비한다.

엔트로피 복호부(310)는, 입력된 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수를 생성한다. 복호 양자화 계수는, 실시 형태 1에 따른 양자화부(120)가 생성하는 양자화 계수에 상당한다.

역양자화부(320)는, 엔트로피 복호부(310)에 의해 생성된 복호 양자화 계수를 역양자화함으로써, 복호 변환 출력 신호를 생성한다. 복호 변환 출력 신호는, 실시 형태 1에 따른 변환부(110)가 생성하는 변환 출력 신호에 상당한다.

역변환부(330)는, 역양자화부(320)에 의해 생성된 복호 변환 출력 신호를 역변환함으로써, 복호 신호를 생성한다. 복호 신호는, 실시 형태 1에 따른 변환부(110)에 입력되는 변환 입력 신호에 상당한다.

이하에서는, 본 발명의 실시 형태 2에 따른 역변환부(330)에 대해, 상세하게 설명한다. 도 11b는, 본 발명의 실시 형태 2에 따른 복호 장치(300)에 있어서의 역변환부(330)의 구성의 일례를 도시한 블록도이다. 도 11b에 나타낸 바와 같이, 역변환부(330)는, 분할부(400)와, 제2 역변환부(410)와, 통합부(420)와, 제1 역변환부(430)를 구비한다.

분할부(400)는, 복호 변환 출력 신호를 2개의 부분으로 분할한다. 구체적으로는, 분할부(400)는, 역양자화부(320)에 의해 생성된 복호 변환 출력 신호를, 분할 통합 정보를 이용하여 제2 복호 변환 출력 신호와 제2 복호 부분 신호로 분할한다.

제2 복호 변환 출력 신호는, 실시 형태 1에 따른 제2 변환부(220)에 의해 생성된 제2 변환 출력 신호에 상당한다. 즉, 제2 복호 변환 출력 신호는, 부호화 시에, 제2 변환이 실행된 부분에 상당하며, 제2 역변환의 대상이 되는 부분이다. 또, 제2 복호 부분 신호는, 실시 형태 1에 따른 분할부(210)에 의해 분할된 제2 부분 신호에 상당한다.

제2 역변환부(410)는, 제2 복호 변환 출력 신호에 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성한다. 제1 복호 부분 신호는, 실시 형태 1에 따른 분할부(210)에 의해 분할된 제1 부분 신호에 상당한다.

통합부(420)는, 제2 역변환부(410)에 의해 생성된 제1 복호 부분 신호와, 제2 복호 부분 신호를 통합함으로써, 제1 복호 변환 출력 신호를 생성한다. 제1 복호 변환 출력 신호는, 실시 형태 1에 따른 제1 변환부(200)에 의해 생성된 제1 변환 출력 신호에 상당한다.

제1 역변환부(430)는, 제1 역변환 행렬을 이용하여 제1 복호 변환 출력 신호에 제1 역변환을 행함으로써, 복호 신호를 생성한다. 제1 복호 변환 출력 신호는, 제2 복호 변환 출력 신호와 제2 복호 부분 신호를 포함하는 신호이다.

또한, 복호 장치(300)에는 음성 데이터, 정지화상 데이터, 동화상 데이터 등의 각종 데이터인 신호를 부호화함으로써 생성된 부호화 신호가 입력된다. 역변환부(330)에는, 이 부호화 신호를 엔트로피 복호하고, 또한, 역양자화함으로써 생성된 신호가, 복호 변환 출력 신호 y＾ⁿ으로서 입력된다. 여기에서, 기호 「＾(해트)」는, 각각 직전의 문자 위에 붙여지는 기호를 나타내며, 본 명세서에서는, 이하, 기호 「＾(해트)」를 동일한 의미로 사용한다.

이어서, 본 발명의 실시 형태 2에 따른 복호 장치(300)의 동작의 일례에 대해 설명한다.

도 12는, 본 발명의 실시 형태 2에 따른 복호 장치(300)의 동작의 일례를 도시한 흐름도이다. 또, 도 13a 및 도 13b는, 본 발명의 실시 형태 2에 따른 복호 장치(300)에 있어서의 역변환부(330)의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.

우선, 엔트로피 복호부(310)는, 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수를 생성한다(단계 S210). 다음에, 역양자화부(320)는, 복호 양자화 계수를 역양자화함으로써, 복호 변환 출력 신호 y＾ⁿ을 생성한다(단계 S220).

다음에, 역변환부(330)는, 복호 변환 출력 신호 y＾ⁿ을 역변환함으로써, 복호 신호 x＾ⁿ을 생성한다(단계 S230).

구체적으로는, 우선, 분할부(400)가, 분할 통합 정보에 의거하여, 복호 변환 출력 신호 y＾ⁿ을, 2개의 영역으로 분할한다(단계 S232). 요컨대, 분할부(400)는, 복호 변환 출력 신호 y＾ⁿ을 제2 복호 변환 출력 신호 y＾₂ ^m과 제2 복호 부분 신호 y＾_1H ^n-m으로 분할한다. 제2 복호 변환 출력 신호 y＾₂ ^m은, 복호 변환 출력 신호 y＾ⁿ을 구성하는 복수의 계수치 중, 제2 역변환의 대상이 되는 부분이다. 제2 복호 부분 신호 y＾_1H ^n-m은, 제2 복호 변환 출력 신호 y＾₂ ^m은, 복호 변환 출력 신호 y＾ⁿ을 구성하는 복수의 계수치 중, 제2 역변환의 대상이 되지 않는 부분이다.

이 때, 분할 통합 정보로서, 예를 들면, 이전에 입력된 복호 변환 출력 신호 y＾ⁿ의 분할 시에 이용한 분할 통합 정보를 이용할 수 있다. 요컨대, 분할을 행할 때마다, 새로운 분할 통합 정보를 결정할 필요는 없다.

분할부(400)에 의해 분할된 제2 복호 변환 출력 신호 y＾₂ ^m은, 도 13a에 나타낸 바와 같이, 1차원으로 재배열되어, 제2 역변환부(410)에 입력된다.

다음에, 제2 역변환부(410)는, 제2 역변환 행렬을 이용하여 제2 복호 변환 출력 신호 y＾₂ ^m에 제2 역변환을 행함으로써, 제1 복호 부분 신호 y＾_1L ^m을 생성한다(단계 S234).

이 때, 제2 역변환 계수로서, 예를 들면, 이전에 입력된 제2 복호 변환 출력 신호 y＾₂ ^m의 제2 역변환 시에 이미 결정된 계수를 이용할 수 있다. 요컨대, 제2 역변환을 행할 때마다, 새로운 제2 역변환 계수를 결정할 필요는 없다.

다음에, 통합부(420)는, 제2 복호 부분 신호 y＾_1H ^n-m과, 제1 복호 부분 신호 y＾_1L ^m을 통합함으로써, 제1 복호 변환 출력 신호 y＾₁ ⁿ을 생성한다(단계 S236). 구체적으로는, 통합부(420)는, 제1 복호 부분 신호 y＾_1L ^m을 1차원으로 재배열되기 전의 차원으로 재배열하고, 분할 통합 정보에 의거하여, 재배열한 후의 제1 복호 부분 신호 y＾_1L ^m과 제2 복호 부분 신호 y＾_1H ^n-m을 통합한다.

다음에, 제1 역변환부(430)는, 제1 역변환 행렬을 이용하여, 제1 복호 변환 출력 신호 y＾₁ ⁿ에 제1 역변환을 행함으로써, 복호 신호 x＾ⁿ을 생성한다(단계 S238).

이 때, 제1 역변환 계수로서, 예를 들면, 이전에 입력된 제1 복호 변환 출력 신호 y＾₁ ⁿ의 제1 역변환 시에 이미 결정된 계수를 이용할 수 있다. 요컨대, 제1 역변환을 행할 때마다, 새로운 제1 역변환 계수를 결정할 필요는 없다.

또한, 도 13b에 나타낸 바와 같이, 분할부(400)는, 제2 복호 변환 출력 신호 y＾₂ ^m을 1차원으로 재배열하지 않고, 그대로 제2 역변환부(410)에 출력해도 된다. 이 경우, 제2 역변환부(410)는, 2차원의 제2 복호 변환 출력 신호 y＾₂ ^m에 제2 역변환을 행함으로써, 2차원의 제1 복호 부분 신호 y＾_1L ^m을 생성한다. 그리고, 통합부(420)에서는, 제1 복호 부분 신호 y＾_1L ^m의 재배열을 행하지 않고, 제1 복호 부분 신호 y＾_1L ^m과 제2 복호 부분 신호 y＾_1H ^n-m을 통합한다.

또, 도 13a 및 도 13b에서는, 제2 역변환의 대상은, 복호 변환 출력 신호의 임의의 영역(비구형 영역)이도록 도시하였지만, 이것에 한정되는 것은 아니며 구형 영역이어도 상관없다. 구체적으로는, 도 13a 및 도 13b에 나타낸 예에서는, 제2 역변환부(410)는, 복호 변환 출력 신호의 저주파 성분의 계수치를 포함하는, 행렬 표현한 경우에 있어서의 비구형 영역에 포함되는 신호를, 제2 복호 변환 출력 신호로 하여 제2 역변환을 행한다. 이에 반해, 제2 역변환부(410)는, 복호 변환 출력 신호의 저주파 성분의 계수치를 포함하는, 행렬 표현한 경우에 있어서의 구형 영역에 포함되는 계수치를 포함하는 신호를, 제2 복호 변환 출력 신호로 하여 제2 역변환을 행해도 된다.

다음에, 분할 통합 정보, 제1 역변환 계수 및 제2 역변환 계수를 결정하는 경우의 동작에 대해 설명한다.

도 14는, 본 발명의 실시 형태 2에 따른 역변환부(330)에 있어서의 역변환 처리의 일례를 도시한 흐름도이다.

이들을 이용하여, 역변환 처리에 대해 설명한다.

우선, 도 14에 나타낸 바와 같이, 분할부(400)는, 분할 통합 정보를 취득한다(단계 S231). 그리고, 분할부(400)는, 상기에서 설명한 복호 변환 출력 신호 y＾ⁿ을, 저주파수 대역을 포함하는 제2 복호 변환 출력 신호 y＾₂ ^m과, 고주파수 대역을 포함하는 제2 복호 부분 신호 y＾_1H ^n-m으로 분할한다(단계 S232). 구체적으로는, 분할부(400)는, 분할 통합 정보에 의거하여, 제2 복호 변환 출력 신호 y＾₂ ^m의 상관 에너지가, 제2 복호 부분 신호 y＾_1H ^n-m의 상관 에너지보다 커지도록, 복호 변환 출력 신호 y＾ⁿ의 분할을 행한다.

또한, 분할 통합 정보는, 실시 형태 1에서 설명한 것과 동일하며, 분할 통합 정보의 취득이란, 미리 정해진 메모리 등에 보존된 것을 독출해도 되고, 복호 변환 출력 신호 y＾₂ ^m에 따라 동적으로 결정해도 된다.

다음에, 제2 역변환부(410)는, 제2 역변환에 이용하는 제2 역변환 계수를 취득한다(단계 S233). 제2 역변환 계수로 구성되는 제2 역변환 행렬은, 실시 형태 1에서 설명한 제2 변환의 변환 계수의 역행렬 또는 그것과 근사한 행렬이다. 이 제2 역변환 계수는, 실시 형태 1과 동일하게 예를 들면 KLT를 이용하여, 제2 복호 변환 출력 신호 y＾₂ ^m을 포함하는 집합 S_D에 의거하여 구해도 되고, 부호화 장치에서의 제2 변환에 이용된 제2 변환 계수로부터 구해도 된다.

다음에, 제2 역변환부(410)는, 결정된 제2 역변환 계수로 구성되는 제2 역변환 행렬을 이용하여, 제2 복호 변환 출력 신호 y＾₂ ^m에 제2 역변환을 행함으로써, 제1 복호 부분 신호 y＾_1L ^m을 생성한다(단계 S234). 그리고, 통합부(420)는, 제1 복호 부분 신호 y＾_1L ^m과, 제2 복호 부분 신호 y＾_1H ^n-m을 통합함으로써, 제1 복호 변환 출력 신호 y＾₁ ⁿ을 생성한다(단계 S236).

다음에, 제1 역변환부(430)는, 제1 역변환에 이용하는 제1 역변환 계수를 취득한다(단계 S237). 제1 역변환 계수로 구성되는 제1 역변환 행렬은, 실시 형태 1에서 설명한 제1 변환의 변환 계수의 역행렬 또는 그것과 근사한 행렬이다. 이 제1 역변환 계수는, 실시 형태 1과 동일하게 예를 들면 KLT를 이용하여, 제1 복호 변환 출력 신호 y＾₁ ⁿ을 포함하는 집합 S_E에 의거하여 구해도 되고, 부호화 장치에서의 제1 변환에 이용된 제1 변환 계수로부터 구해도 된다. 이러한 역변환 계수의 산출은 이하의 실시 형태에서도 동일하게 행해도 된다.

제1 역변환부(430)는, 결정된 제1 역변환 계수로 구성되는 제1 역변환 행렬을 이용하여, 제1 복호 변환 출력 신호 y＾₁ ⁿ에 제1 역변환을 행함으로써, 복호 신호 x＾ⁿ을 생성한다(단계 S238).

또한, 집합 S_D와 집합 S_E는, 실시 형태 1의 집합 S_C와 집합 S_A의 관계에 있으며, 집합 S_D 쪽이 집합 S_E보다 포함하는 샘플수가 적은 작은 집합이다. 이상과 같이 하여, 본 발명의 실시 형태 2에 따른 역변환부(330)를 구비한 복호 장치(300)는, 실시 형태 1과 동일하게, 고효율인 변환과, 연산량 및 데이터량의 삭감을 양립시킬 수 있다.

또한, 제2 복호 변환 출력 신호 y＾₂ ^m과 제1 복호 부분 신호 y＾_1L ^m의 각각에 대해, 차원의 재배열을 분할부(400)와 통합부(420)가 행하는 것으로 하였지만, 각각의 재배열을 제2 역변환부(410)가 행하는 구성이어도 된다. 요컨대, 분리형의 변환을 이용해도 되고, 도 8(b)에서 나타낸 바와 같은 대각 요소는 1이고 비대각 요소는 0인 행을 포함하는 변환 행렬 A⁴를 이용해도 된다. 또, 복호의 대상이, 음성 데이터 등의 1차원 신호인 경우, 혹은, 다차원 신호를 분리형으로 구성하는 경우의 각 차원의 신호는 1차원 신호로 간주할 수 있으므로, 역변환부(330)에 입력되는 복호 변환 출력 신호 y＾ⁿ은 1차원이며, 전술한 차원의 재배열(분할부(400)에 있어서의 1차원 신호로의 재배열, 및 통합부(420)에 있어서의 원래의 차원으로의 재배열)의 처리는 불필요해진다.

이상과 같이, 본 발명의 실시 형태 2에 따른 복호 장치(300)는, 부호화 신호에 엔트로피 복호 및 역양자화를 행함으로써 생성되는 복호 변환 출력 신호의 일부인 제2 복호 변환 출력 신호에 제2 역변환을 행하고, 제2 역변환 후의 신호와, 복호 변환 출력 신호의 나머지 부분인 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호에 제1 역변환을 행하는 것을 특징으로 한다. 이에 의해, 본 발명의 실시 형태 2에 따른 복호 장치(300)에 의하면, 입력 신호의 통계적 성질에 의거하여 계산되는 역변환 계수를 이용하는 역변환에 있어서, 변환의 연산량의 삭감, 및 역변환 행렬의 요소수의 삭감을 실현할 수 있다. 또, 실시 형태 1에 나타낸 부호화 장치(100)와 같이, 입력 신호의 통계적 성질에 의거하여 계산되는 변환 계수를 이용하는 변환을 포함하는 2단계의 변환을 행함으로써 생성된 부호화 신호를 올바르게 복호할 수 있다.

또한, 상기의 실시 형태 2에 따른 복호 장치(300)에서는, 복호 변환 출력 신호 y＾ⁿ을 제2 복호 변환 출력 신호 y＾₂ ^m과 제2 복호 부분 신호 y＾_1H ^n-m으로 분할하고, 제2 역변환 후에 통합하지만, 명시적으로 분할하지 않아도 된다. 즉, 복호 변환 출력 신호 y＾ⁿ 중, 제2 역변환을 실행하는 대상이 되는 부분을 결정하면 된다. 예를 들면, 제2 역변환 시에, 도 8(b)에서 나타낸 바와 같은 대각 요소는 1이고 비대각 요소는 0인 행을 포함하는 변환 행렬 A⁴를 이용함으로써, 분할과 통합을 실질적으로 제2 역변환 시에 행할 수 있다.

도 15는, 본 발명의 실시 형태 2의 변형예에 따른 복호 장치(300a)의 구성의 일례를 도시한 블록도이다.

복호 장치(300a)는, 엔트로피 복호부(310)와, 역양자화부(320)와, 역변환부(330a)를 구비한다. 또한, 도 11a에 나타낸 복호 장치(300)와 동일한 동작을 행하는 처리부에는, 동일한 부호를 붙이고 있으며, 이하에서는 설명을 생략한다.

역변환부(330a)는, 제2 역변환부(410a)와, 제1 역변환부(430)를 구비한다. 요컨대, 역변환부(330a)는, 도 11b에 나타낸 역변환부(330)와 비교하여, 분할부(400)와, 통합부(420)를 구비하고 있지 않은 점과, 또한, 제2 역변환부(410) 대신에 제2 역변환부(410a)를 구비하는 점이 다르다.

제2 역변환부(410a)는, 제2 역변환 행렬을 이용하여, 복호 변환 출력 신호 y＾ⁿ의 일부인 제2 복호 변환 출력 신호 y＾₂ ^m에 제2 역변환을 행함으로써, 제1 복호 부분 신호 y＾_1L ^m을 생성한다. 예를 들면, 제2 역변환부(410a)는, 복호 변환 출력 신호 y＾ⁿ을 구성하는 계수치 중, 제2 역변환의 대상이 되는 계수치를 결정하고, 결정한 계수치로 구성되는 신호를 제2 복호 변환 출력 신호 y＾₂ ^m으로 하여 제2 역변환을 행한다. 보다 구체적으로는, 제2 역변환부(410a)는, 복호 변환 출력 신호 y＾ⁿ을 구성하는 복수의 계수치 중, 소정의 역치보다 값이 큰 계수치를 포함하는 신호를, 제2 복호 변환 출력 신호 y＾₂ ^m으로 하여 제2 변환을 행한다.

예를 들면, 제2 역변환부(410a)는, 복호 변환 출력 신호 y＾ⁿ 중 제2 역변환의 대상이 되지 않는 부분인 제2 복호 부분 신호 y＾_1H ^n-m에 곱해지는 제2 역변환 계수의 대각 요소를 1로 비대각 요소를 0으로 함으로써, 실질적으로 제2 복호 변환 출력 신호 y＾₂ ^m에만 제2 역변환을 행할 수 있다.

도 16은, 도 15에 나타낸 복호 장치(300a)의 동작의 일례를 도시한 흐름도이다.

우선, 엔트로피 복호부(310)는, 입력된 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수 C＾ⁿ을 생성한다(단계 S210). 다음에, 역양자화부(320)는, 복호 양자화 계수 C＾ⁿ을 역양자화함으로써, 복호 변환 출력 신호 y＾ⁿ을 생성한다(단계 S220b).

다음에, 역변환부(330a)가, 복호 변환 출력 신호 y＾ⁿ을 역변환함으로써, 복호 신호를 생성한다(단계 S230a). 구체적으로는, 우선, 제2 역변환부(410a)는, 복호 변환 출력 신호 y＾ⁿ 중, 제2 역변환의 대상이 되는 부분인 제2 복호 변환 출력 신호 y＾₂ ^m을 역변환함으로써, 제1 복호 부분 신호 y＾_1L ^m을 생성한다(S234a). 그리고, 제2 역변환부(410a)는, 생성한 제1 복호 부분 신호 y＾_1L ^m과, 복호 변환 출력 신호 y＾ⁿ 중 제2 역변환의 대상이 되지 않은 부분인 제2 복호 부분 신호 y＾_1H ^n-m을 포함하는 제1 복호 변환 출력 신호 y＾₁ ⁿ을 출력한다.

마지막으로, 제1 역변환부(430)는, 제1 역변환 행렬을 이용하여 제1 복호 변환 출력 신호 y＾₁ ⁿ에 제1 역변환을 행함으로써, 복호 신호 x＾ⁿ을 생성한다(S238).

이상과 같이, 실시 형태 2의 변형예에 따른 복호 장치(300a)에 의해서도, 연산량의 증가 및 역변환 계수의 데이터량의 증가를 억제하기 위해, 2단계의 변환이 행해진 부호화 신호를 복호할 수 있다.

(실시 형태 3)

본 발명의 실시 형태 3에 따른 부호화 장치 및 부호화 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등 부호화 대상이 되는 신호를, 복수 종류의 변환의 조합에 의해 변환을 행하는 변환부 및 변환 방법을 구비한다. 본 발명의 실시 형태 3에 따른 부호화 장치 및 부호화 방법은, 변환 입력 신호로서, 부호화 대상 신호(입력 신호)와 예측 신호의 차분인 예측 오차 신호에 대해, 2단계의 변환을 행하는 것을 특징으로 한다.

도 17은, 본 발명의 실시 형태 3에 따른 부호화 장치(500)의 구성의 일례를 도시한 블록도이다. 도 17에 나타낸 바와 같이, 본 발명의 실시 형태 3에 따른 부호화 장치(500)는, 감산기(505)와, 변환부(510)와, 양자화부(120)와, 엔트로피 부호화부(130)와, 역양자화부(540)와, 역변환부(550)와, 가산기(560)와, 메모리(570)와, 예측부(580)와, 제어부(590)를 구비한다. 또한, 도 3에 나타낸 실시 형태 1에 따른 부호화 장치(100)와 동일한 구성에 대해서는, 동일한 부호를 붙이며, 이하에서는 설명을 생략한다.

감산기(505)는, 부호화 대상인 입력 신호와, 이전의 부호화 대상 신호로부터 생성된 예측 신호의 차분(예측 오차)을 산출한다. 산출된 예측 오차를 나타내는 신호가, 변환 입력 신호로서, 변환부(510)에 입력된다.

변환부(510)는, 실시 형태 1에서 설명한 변환부(110)와 동일하게, 변환 입력 신호에 대해 2단계의 변환을 행한다. 즉, 변환부(510)는, 변환 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하고, 생성한 제1 변환 출력 신호의 일부인 제1 부분 신호에 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성한다. 그리고, 변환부(510)는, 생성한 제2 변환 출력 신호와, 제1 변환 출력 신호 중 제1 부분 신호 이외의 부분인 제2 부분 신호를 포함하는 변환 출력 신호를 양자화부(120)에 출력한다. 변환부(510)의 상세한 것에 대해서는, 뒤에서 설명한다. 여기에서는, 변환부(510)에는, 변환 입력 신호로서, 예측 오차 화상을 나타내는 신호가 입력된다.

역양자화부(540)는, 양자화부(120)에 의해 생성된 양자화 계수를 역양자화함으로써, 복호 변환 출력 신호를 생성한다. 복호 변환 출력 신호는, 변환부(510)에 의해 생성된 변환 출력 신호에 상당한다.

역변환부(550)는, 역양자화부(540)에 의해 생성된 복호 변환 출력 신호를 역변환함으로써, 복호 변환 입력 신호를 생성한다. 복호 변환 입력 신호는, 감산기(505)에 의해 생성된 변환 입력 신호에 상당한다.

가산기(560)는, 역변환부(550)에 의해 생성된 복호 변환 입력 신호와, 이전의 부호화 대상 신호로부터 생성된 예측 신호를 가산함으로써, 복호 신호를 생성한다.

메모리(570)는, 생성된 복호 신호를 저장하기 위한 기억부의 일례이다.

예측부(580)는, 복호 신호를 이용하여, 부호화 대상 신호의 예측을 행함으로써, 예측 신호를 생성한다. 구체적으로는, 예측부(580)는, 소정의 부호화 파라미터에 의거하여, 부호화 대상인 입력 화상에 포함되는 부호화 대상 블록의 예측 화소(예측 신호)를 생성한다. 감산기(505)에서는, 부호화 대상 블록의 화소와 예측 화소의 차분인 예측 오차 화상이 생성된다.

제어부(590)는, 국소 정보에 의거하여, 변환부(510)의 동작을 제어하기 위한 제어 신호를 출력한다. 국소 정보는, 예를 들면, 변환 계수 및 분할 통합 정보에 대응지어진 인덱스, 혹은, 예측 모드 등을 나타내는 정보이다. 제어부(590)는, 이들 국소 정보에 의거하여, 변환 계수 및 분할 통합 정보를 결정하고, 결정한 계수 및 정보를 나타내는 제어 정보를 변환부(510)에 출력한다.

본 발명의 실시 형태 3에 따른 부호화 장치(500)에서는, 제어부(590)로부터의 제어에 의거하여, 제2 변환 시에, 제1 부분 신호로서, 제1 변환 출력 신호 중 제2 변환의 대상이 되는 범위와, 제2 변환 계수의 적어도 한쪽을, 시간적 또는 공간적으로 적응적으로 결정한다. 예를 들면, 소정의 부호화 파라미터에 의거하여, 제1 부분 신호로서, 제1 변환 출력 신호 중 제2 변환의 대상이 되는 범위와, 제2 변환 계수의 적어도 한쪽을 결정한다.

또한, 메모리(570)는, 부호화 대상 신호와 그 이전의 대상 신호로부터 생성된 예측 신호의 비교를 가능하게 하는 지연부로서 동작한다. 양자화부(120)의 양자화 처리에 의해 정보량이 압축되므로(정보의 손실이 발생한다), 부호화 신호에 부호화된 정보를 취출하기 위해, 역양자화부(540)는, 양자화 계수를 역양자화함으로써, 복호 변환 출력 신호를 생성하고, 역변환부(550)는, 복호 변환 출력 신호를 역변환함으로써, 복호 변환 입력 신호를 생성한다.

또한, 역변환부(550)의 역변환 처리는, 변환부(510)의 변환 처리와 역변환의 관계가 성립될 필요가 있다. 단, 연산에 필요한 비트 길이를 억제하기 위한 승산의 간이화나 라운딩 처리의 삽입에 의해, 변환 처리 및 역변환 처리는 엄밀하게 행렬로 표현되지 않는 경우도 있으며, 또, 변환부(510)의 변환 처리와 역변환부(550)의 역변환 처리는, 엄밀한 역변환의 관계를 만족하지 않도록 설계하는 경우도 있다.

또한, 음성 또는 오디오의 데이터를 부호화하는 경우에는 입력 신호는 1차원이며, 정지화상 또는 동화상의 데이터를 부호화하는 경우에는 입력 신호는 2차원이 된다.

다음에, 도 18을 이용하여, 본 발명의 실시 형태 3에 따른 부호화 장치(500)가 실행하는 부호화 처리를 설명한다. 도 18은, 본 발명의 실시 형태 3에 따른 부호화 장치(500)의 동작의 일례를 도시한 흐름도이다.

우선, 부호화 장치(500)에 부호화 대상 신호(입력 신호)가 입력되면, 예측부(580)는, 메모리(570)에 저장된 부호화 완료 신호(복호 신호)를 이용하여 예측 신호를 생성한다. 그리고, 감산기(505)는, 입력 신호와 예측 신호의 오차인 예측 오차 신호를 생성한다(단계 S305). 또한, 예측 오차 신호가 아니라, 입력 신호를 직접 변환하는 경우에는, 단계 S305의 예측 오차 신호를 생성하는 단계는 생략된다.

감산기(505)에 의해 생성된 예측 오차 신호 또는 입력 신호는, 변환부(510)에 입력된다. 변환에 입력되는 점의 벡터, 즉, 예측 오차 신호를, 변환 입력(Transform Input) 신호 xⁿ으로 한다(식 4 참조). 또한, 많은 압축 부호화에 있어서 예측이 행해지므로, 변환 입력 신호 xⁿ은, 예측 오차(Prediction Error)인 경우가 많지만, 전송로에 에러가 혼입되는 경우를 상정하여 예측을 행하지 않는 경우, 혹은, 충분히 에너지가 작은 경우에는 예측을 행하지 않고, 부호화 대상 신호(Original Signal), 즉, 입력 신호를 직접 변환에 입력하는 경우도 있다.

변환부(510)는, 변환 입력 신호 xⁿ을, 어떤 변환 T로 변환함으로써, 변환 출력(Transform Output) 신호 yⁿ을 생성한다(식 5 참조)(단계 S110). 또, 변환 출력 신호(변환 출력 벡터) yⁿ은, 간단히 계수(Coefficient)라고 불리는 경우도 있다.

[수식 5]

다음에, 양자화부(120)는, 변환 출력 신호 yⁿ을 양자화함으로써, 양자화 계수(Quantized Coefficient) Cⁿ을 생성한다(단계 S120). 양자화부(120)가 행하는 양자화 처리는, 라운딩 오프셋 a를 가산 후에 똑같이 양자화 단계 s로 제산하는 처리이며, 식 6과 같이 표현된다. a 및 s는, 부호화 장치(500)에 있어서 고능률 부호화를 위해 제어된다.

[수식 6]

다음에, 엔트로피 부호화부(130)는, 양자화 계수 Cⁿ을 엔트로피 부호화함으로써, 부호화 신호를 생성한다(단계 S130). 생성된 부호화 신호는, 복호 장치에 이송된다.

다음에, 역양자화부(540)는, 식 7과 같이, 양자화 계수 Cⁿ에 역양자화를 행함으로써, 복호 변환 출력(Decoded Transform Output) 신호 y＾ⁿ을 생성한다(단계 S340).

[수식 7]

또한, 데이터량을 대폭으로 삭감하는 대신에 원래의 데이터로 완전히 복원할 수는 없는 로시 부호화에서는, 양자화 처리에 의해 정보량이 소실되므로, 복호 변환 출력 신호 y＾ⁿ과 변환 출력 신호 yⁿ은 일치하지 않는다. 요컨대, 복호 변환 출력 신호 y＾ⁿ에는, 양자화에 의한 왜곡이 혼입되어 있으므로, 변환 전에 예측을 하고 있는 경우에는, 복호 변환 출력 신호 y＾ⁿ은, 양자화 예측 오차(Quantized Prediction Error)라고 불리는 경우도 있다. 또한, 로시 부호화의 경우에서도 충분한 데이터량으로 부호화하는 경우에는, 정보는 그다지 소실되지 않으며, y＾ⁿ과 yⁿ은 거의 일치한다.

다음에, 역변환부(550)는, 식 8과 같이, 복호 변환 출력 신호 y＾ⁿ에 역변환 T^-1을 행함으로써, 복호 변환 입력 벡터 x＾ⁿ을 생성한다(단계 S350).

[수식 8]

다음에, 가산기(560)가, 상기 예측 신호와 복호 변환 입력 신호를 가산함으로써, 복호 신호를 생성한다. 그리고, 가산기(560)는, 생성한 복호 신호를 메모리(570)에 저장하고, 다음의 타이밍에서 참조할 수 있도록 한다(단계 S360).

또한, 변환 T 및 역변환 T^-1은 각각 식 9 및 식 10에 나타낸 바와 같은 n×n 크기의 변환 행렬 A 및 B의 행렬곱으로 표현된다.

[수식 9]

[수식 10]

일반적인 변환(이른바 직교 변환)에서는, 변환 행렬 B는, A의 역행렬이며 전치 행렬(B=A^T)이다. 단, 이것에 한정되는 것은 아니며, 부호화 장치(500) 내의 역변환 T^-1의 연산량을 억제하기 위해, B는 A의 엄밀한 역행렬이나 엄밀한 전치 행렬이 되지 않는 경우도 있다. 또, 쌍직교(Biorthogonal) 변환이라고 불리는, 엄밀하게는 직교를 하고 있지 않은 변환 A 및 그 역변환 B여도 된다.

식 9에 있어서의, 변환 입력 xⁿ에 대한 변환 행렬 A^n×n의 행렬곱은, 식 11로 표현된다. 변환 행렬의 승산 횟수 및 변환 행렬의 요소수는 n＾2이다.

[수식 11]

다음에, 본 발명의 실시 형태 3에 따른 변환부(510)의 구성 및 동작에 대해 설명한다. 도 19는, 본 발명의 실시 형태 3에 따른 변환부(510)의 상세한 구성의 일례를 도시한 블록도이다.

도 19에 나타낸 바와 같이, 변환부(510)는, 제1 변환부(200)와, 제1 메모리(601)와, 제1 변환 계수 도출부(202)와, 분할부(210)와, 제2 메모리(611)와, 분할 통합 정보 산출부(612)와, 제2 변환부(220)와, 제3 메모리(621)와, 제2 변환 계수 도출부(222)와, 통합부(230)를 갖는다. 또한, 도 3에 나타낸 변환부(110)와 동일한 구성에 대해서는, 동일한 부호를 붙이고 있다.

변환부(510)에 입력된 변환 입력 신호 xⁿ은, 제1 메모리(601)와 제1 변환부(200)에 입력된다.

제1 메모리(601)는, 복수개의 변환 입력 신호 xⁿ에 관한 정보를 기억하기 위한 메모리이다.

제1 변환 계수 도출부(202)는, 제1 메모리(601)의 정보로부터 제1 변환 T₁에 이용하는 제1 변환 행렬 A₁ ⁿ을 구성하는 제1 변환 계수를 생성하고, 생성한 제1 변환 계수를 제1 변환부(200)에 출력한다.

제1 변환부(200)는, 입력된 변환 입력 신호 xⁿ에 대해, 제1 변환 계수 도출부(202)에 의해 산출된 제1 변환 계수로 구성되는 제1 변환 행렬 A₁ ⁿ을 이용하여 제1 변환 T₁을 행함으로써, 제1 변환 출력 신호 y₁ ⁿ을 생성한다. 제1 변환 출력 신호 y₁ ⁿ은, 제2 메모리(611) 및 분할부(210)에 입력된다.

제2 메모리(611)에는, 복수개의 제1 변환 출력 신호 y₁ ⁿ에 관한 정보를 기억하기 위한 메모리이다.

분할 통합 정보 산출부(612)는, 제2 메모리(611)의 정보로부터 분할 통합 정보를 생성하고, 생성한 분할 통합 정보를 분할부(210) 및 통합부(230)에 출력한다. 분할 통합 정보는, 제1 변환 출력 신호 y₁ ⁿ 중 저역의 성분을 제1 부분 신호 y_1L ^m으로, 고역의 성분을 제2 부분 신호 y_1H ^n-m으로 분할하는 분할의 제어 정보이다. 그 밖에, 에너지가 큰 성분을 제1 부분 신호 y_1L ^m으로, 에너지가 작은 성분을 제2 부분 신호 y_1H ^n-m으로 분할하는 정보여도 된다.

분할부(210)는, 제1 변환 출력 신호 y₁ ⁿ을, 분할 통합 정보에 의거하여, m점의 제1 부분 신호 y_1L ^m과, n-m점의 제2 부분 신호 y_1H ^n-m으로 분할한다(여기에서, m은 n보다 작은 자연수이다). 요컨대, 분할부(210)는, n개의 계수치로 구성되는 제1 변환 출력 신호 y₁ ⁿ을, m개의 계수치로 구성되는 제1 부분 신호 y_1L ^m과, n-m개의 계수치로 구성되는 제2 부분 신호 y_1H ^n-m으로 분할한다. 제1 부분 신호 y_1L ^m은, 제3 메모리(621) 및 제2 변환부(220)에 입력된다. 또, 제2 부분 신호 y_1H ^n-m은, 통합부(230)에 입력된다.

제3 메모리(621)는, 복수개의 제1 부분 신호 y_1L ^m에 관한 정보를 기억하기 위한 메모리이다.

제2 변환 계수 도출부(222)는, 제3 메모리(621)의 정보로부터 제2 변환 T₂에 이용하는 제2 변환 행렬 A₂ ^m을 구성하는 제2 변환 계수를 생성하고, 생성한 제2 변환 계수를 제2 변환부(220)에 출력한다.

제2 변환부(220)는, 제2 변환 계수 도출부(222)에 의해 산출된 제2 변환 계수로 구성되는 제2 변환 행렬 A₂ ^m을 이용하여, 제1 부분 신호 y_1L ^m에 제2 변환 T₂를 행함으로써, 제2 변환 출력 신호 y₂ ^m을 생성한다.

통합부(230)는, 제2 변환 출력 신호 y₂ ^m과 제2 부분 신호 y_1H ^n-m을, 분할 통합 정보에 따라 통합함으로써 변환 출력 신호 yⁿ을 생성한다. 또한, 통합이란, 분할의 반대 처리이다.

제2 변환 계수 도출부(222)에 의해 결정되는 제2 변환 계수는, 제1 부분 신호 y_1L ^m에 최적으로 설계된 변환 계수이다. 이 때문에, 제2 변환 행렬 A₂ ^m을 이용한 제2 변환 T₂는, 제1 변환 출력 신호 y₁ ⁿ에 남겨진 리던던시를 삭감할 수 있는 변환이며, 부호화 신호의 압축에 기여하는 효과를 초래한다.

또, 분할부(210)가 제1 변환 출력 신호 y₁ ⁿ을 분할함으로써, 제2 변환부(220)로의 입력 신호(요컨대, 제1 부분 신호)의 점수(계수치의 개수)를 줄일 수 있다. 점수가 감소함으로써, 제2 변환부(220)의 연산량의 삭감 효과, 및 제2 변환부(220)의 변환 계수의 총수(요컨대, 데이터량)의 삭감 효과를 얻을 수 있다.

여기에서, 제1 변환 계수 도출부(202)에 의한 제1 변환 계수의 생성, 및 제2 변환 계수 도출부(222)에 의한 제2 변환 계수의 생성에 대해 서술한다. 이들 변환 계수의 생성에는, 예를 들면, 상술한 KLT를 이용한다.

KLT(카루넨 루베 변환)는, 입력 신호를 포함하는 어떤 집합의 통계적인 성질에 의거하여, 입력 신호를 완전히 무상관화할 수 있는 주파수 영역으로의 변환을 설계하는 수법이다. 구체적으로는, 입력 신호의 분산 공분산 행렬(Variance-covariance matrix)의 비대각 요소가 0이 되는 변환을 구하는 것이며, 이것은, 분산 공분산 행렬의 고유치 문제를 해결하는 것과 다름없다. 도출한 고유 벡터가 기저 함수가 되고, 고유치가 변환 계수의 각 성분의 축의 크기(요컨대, 에너지)가 된다. 고유치의 값(분산, 혹은, 에너지)이 큰 축으로부터 작은 축으로 변환 계수를 배열한다. 이 순서로 배열함으로써, 예를 들면, 변환 입력 신호가 n점의 벡터라고 하면, 변환 출력 신호의 n점의 벡터 중, i번째 요소(1≤i＜n)와 j번째(i＜j≤n) 요소의 에너지를 비교하면, i번째 요소의 에너지는, j번째 요소의 에너지보다 커진다(커지도록 변환 계수를 설계할 수 있다).

본 발명에 있어서, 저주파수 대역, 및 고주파수 대역과 같은 표현을 사용할 때, 그들은, 각각, 상대적으로 작은 번호를 갖는 요소, 상대적으로 큰 번호를 갖는 요소에 대응하고 있으며, 엄밀하게 구분이 어디에 있는지를 규정하는 것은 아니다. 본 발명은, 변환 및 역변환 등에 따른 리소스(연산량이나 사용 메모리량)의 삭감을 주된 목적으로 하고 있지만, 리소스와 변환 성능에는 넓은 의미로 트레이드 오프의 관계가 있으며, 본 발명이 사용되는 방법이나 장치가 목적에 따라 설정되는 것이다.

그러나, 종래 기술의 과제에서 언급한 바와 같이, 변환 계수를 도출하였을 때에 참조한 집합과는 다른 통계적 성질을 갖는 집합이 입력되면, 도출한 변환 계수를 이용한 변환은 최적이 아니게 된다. 이에 반해, 입력 신호의 성질에 따라, 입력 신호가 입력될 때마다 변환 계수를 도출하면, 변환 계수의 데이터량이 방대해진다.

이 과제에 대해, 본 실시 형태에서는, 복수의 변환을 이용한다. 즉, 제1 변환에 있어서, 보다 큰 집합 S_A의 통계적 성질에 따라 최적으로 도출된 변환 계수로 구성되는 변환 행렬을 이용하여 변환하고, 제2 변환에 있어서, 보다 작은 집합 S_B의(제1 변환 출력 신호의) 통계적 성질에 따라, 최적으로 도출된 변환 계수로 구성되는 변환 행렬을 이용하여 변환한다.

또한, 본 발명의 실시 형태 3에 따른 부호화 장치(500)는, 제2 변환 계수를 도출할 때에, 입력 신호의 특징을 해석하는 국소 집합 판정부를 구비하고 있어도 된다. 요컨대, 본 발명의 실시 형태 3에 따른 부호화 장치(500)는, 변환부(510) 대신에, 도 20에 나타낸 변환부(510a)를 구비하고 있어도 된다. 변환부(510a)는, 도 20에 나타낸 바와 같이, 국소 집합 판정부(623)를 구비한다.

국소 집합 판정부(623)는, 변환 입력 신호 xⁿ의 특징을 해석하여, 해석 결과에 의거하여 제2 변환 계수 도출부(222)의 제어를 행한다. 또한, 도 20에는 도시하고 있지 않지만, 국소 집합 판정부(623)는, 도 19에 나타낸 분할 통합 정보 산출부(612)의 제어를 행해도 된다. 국소 집합 판정부(623)의 구체적인 처리에 대해서는, 도 21을 이용하여, 이하에 설명한다.

도 21은, 본 발명의 실시 형태 3에 따른 변환부(510a)에 있어서의 변환 계수의 도출의 일례를 개념적으로 도시한 도면이다.

변환 입력 신호 xⁿ은, 큰 집합 S_A에 속하고, 또한, 보다 작은 집합 S_B(1)과 S_B(2) 중 어느 하나에 속하는 경우를 상정한다. 또한, 도 21에서는, 집합 S_B는 집합 S_A에 포함되도록 도시하고 있지만, 변환 입력 신호 xⁿ이 집합 S_B에 속하고, 집합 S_A에 속하지 않는, 집합 S_B가 집합 S_A에 포함되지 않는 경우에서도 동일한 도출 방법이 적용 가능하다.

제1 변환부(200)가 이용하는 제1 변환 계수는, 제1 변환 계수 도출부(202)에 의해 생성된다. 제1 변환 계수 도출부(202)는, 보다 많은 샘플을 포함하는 집합 S_A에 의거하여, 제1 변환 계수를 최적화한다.

집합 S_A는 보다 많은 샘플을 포함하므로, 제1 변환 계수는, 평균적으로 최적화되며, 개개의 변환 입력의 차이의 영향을 그다지 받지 않도록 할 수 있다. 이에 의해, 제1 변환 계수의 갱신 빈도를 억제할 수 있다. 또, 제1 변환 계수의 갱신을 행하는 경우에서도, 변환 계수의 개개의 값의 변화량은 작아지므로, 차분 정보량을 적게 할 수 있다. 따라서, 제1 변환 계수를 복호 장치에 송신하는 경우의 부호량을 삭감할 수 있다.

제2 변환 계수는, 변환 입력이 집합 S_B(1)과 S_B(2)의 각각에 최적화하여 도출한다. 제2 변환부(220)에서는, 제2 변환의 대상이 되는 제1 부분 신호의 점수가, 분할에 의해 변환 입력 신호의 점수보다 감소되고 있으므로, 연산량과 변환 계수의 데이터량을 삭감할 수 있다. 요컨대, 제2 변환의 대상이 되는 제2 변환부(220)로의 입력 신호는, 집합 S_B(1), S_B(2)에 포함되는 변환 입력 신호 xⁿ 그 자체가 아니라, 제1 변환 출력 신호 y₁ ⁿ의 일부인 제1 부분 신호 y_1L ^m이다.

국소 집합 판정부(623)는, 변환 입력 신호 xⁿ의 특징을 해석함으로써, 소집합의 통계적인 변동을 검출한다. 변동을 검출하면, 소집합에 속하는 복수개의 샘플을 결정하여, 제2 변환 계수 도출부(222)에 통지한다. 혹은, 국소 집합 판정부(623)는, 변환 입력 신호 xⁿ이, 미리 정한 소집합의 어디에 속하는지를 판정해도 된다.

제2 변환부(220)로의 입력 신호(즉, 제1 부분 신호 y_1L ^m)는, 예측 신호의 생성 방법에 의존하는 경우가 있다. 이 때문에, 국소 집합 판정부(623)는, 예측 신호의 생성 방법(예측 신호 모드), 예를 들면, H.264의 면내 예측의 방향에 따라, 제1 변환 출력 신호 y₁ ⁿ을 구성하는 복수의 계수치 중, 제1 부분 신호 y_1L ^m으로서 제2 변환의 대상이 되는 범위를 판정해도 된다. 혹은, 국소 집합 판정부(623)는, 미리 N개의 소집합을 정하고, 어디에 속하는 것이 가장 정보량을 경감할 수 있는지를 평가한 지표를 기초로, 제1 부분 신호 y_1L ^m으로서 제2 변환의 대상이 되는 범위를 판정해도 된다.

제2 변환 계수 도출부(222)는, 국소 집합 판정부(623)에 의해 검출된 통계적인 변화의 지시에 의거하여, 소집합에 속하는 복수개의 샘플의 제1 변환 출력 신호 y₁ ⁿ에 대해, 정보량이 최소가 되도록 설계된 제2 변환 계수를 도출한다. 혹은, 제2 변환 계수 도출부(222)는, 미리 산출해 둔 변환 계수를 메모리로부터 호출한다.

이 때, 분할 통합 정보 산출부(612)는, 변환 계수와 동일하게 분할 통합 정보의 결정을 행한다. 혹은, 분할 통합 정보 산출부(612)는, 미리 산출해 둔 분할 통합 정보를 메모리로부터 호출해도 된다.

보다 작은 집합 S_B(1), S_B(2)(의 제1 변환 출력 신호)의 각각에 최적으로 설계된 제2 변환 계수는, 통계적 성질의 변화에 추수할 수 있으며, 무상관화와 에너지 압축의 효과의 상승(上乘) 효과를 부여한다. 또한, 제2 변환은, 분할부(210)에 의해 입력 신호의 차원수를 경감하고 있기 때문에, 변환 행렬의 요소수 및 변환의 연산량을 경감할 수 있으므로 효율적이다.

보다 작은 집합인 집합 S_B는, 국소적인 변화가 생긴 변환 입력 신호 xⁿ이 포함되는 집합이며, 예를 들면, 집합 S_A를 시간축 또는 공간 영역에서 국소적으로 분할한 집합이다. 혹은, 집합 S_B는, 집합 S_A에 속하는 변환 입력 신호 xⁿ과는 다른 통계적 성질을 갖는 변환 입력 신호가 단시간만 입력된 경우에, 그 다른 성질을 갖는 집합이다. 이와 같이, 집합 S_A에 포함되지 않는 집합 S_B에 속하는 변환 입력 신호 xⁿ이 단시간만 입력된 경우여도, 제1 변환 계수를 큰 집합 S_A에 의거하여 결정하고, 제2 변환 계수를 작은 집합 S_B에 의거하여 결정함으로써, 변화에 대응하면서도 연산량이 경감된 효율적인 변환이 가능하다.

구체적으로는, 국소 집합 판정부(623)가, 소정의 부호화 파라미터에 의거하여, 변환 계수 및 분할 통합 정보의 적어도 하나를 결정한다. 부호화 파라미터는, 미리 정해진 복수의 예측 방법 중 하나의 예측 방법을 나타낸다. 예를 들면, 국소 집합 판정부(623)는, 부호화 파라미터의 일례인 면내 예측 혹은 면간 예측의 예측 모드에 따라, 변환 계수 및 분할 통합 정보를 전환해도 된다. 혹은, 복수의 변환 계수와 분할 통합 정보의 세트 중에서, 어느 것을 선택할지를 명시적으로 부호화 스트림으로 다중화해도 된다.

또, 면내 예측 혹은 면간 예측 모드로부터 변환 계수 및 분할 통합 정보를 전환할 때, 복수의 예측 모드를 1개의 변환 계수와 분할 통합 정보와 대응시켜도 된다. 분할 통합 정보는, 비교적 변화가 적은 정보이므로, 변환 계수보다 전환의 종류를 적게 하여, 분할 통합 정보에 관련된 메모리 사용량을 경감해도 된다.

또한, 도 19에서는, 제1 변환 계수, 분할 통합 정보, 제2 변환 계수를 도출하기 위한 메모리, 및 도출부를 구비한 구성을 예시하고 있었지만, 완전한 최적해가 아니어도, 이들 중 어느 하나 또는 모두는 경험이나 준 최적인 방법에 의거하여, 사전에 도출해 두어도 된다. 도 22는, 본 발명의 실시 형태 3에 따른 변환부의 다른 일례를 도시한 블록도이다.

도 22에 나타낸 변환부(510b)는, 도 19에 나타낸 변환부(510)와 비교하여, 제1 메모리(601), 제2 메모리(611), 제3 메모리(621), 제1 변환 계수 도출부(202), 제2 변환 계수 도출부(222) 및 분할 통합 정보 산출부(612)를 구비하고 있지 않은 점이 다르다. 요컨대, 변환부(510b)는, 미리 사전에 도출되어 있었던 제1 변환 계수, 제2 변환 계수 및 분할 통합 정보를 외부로부터 취득하고, 취득한 계수 및 정보에 의거하여, 변환 및 분할을 행한다.

또한, 제2 변환에 있어서, 고역측의 신호에 대한 변환 계수의 승산 계수를 적게 하거나(요컨대, 변환 계수의 유효 정밀도를 떨어뜨린다), 혹은, 제로로 함으로써, 고역 신호에 대한 연산량을 삭감하는 구성도 있을 수 있다. 이 경우, 분할부와 통합부는 명시적으로 블록도에 나타나지 않지만(도 9 참조), 나타나지 않는 구성이어도 본 발명의 구성에 해당한다고 할 수 있다.

도 23은, 도 20에 나타낸 변환부(510a)를 구비하는 부호화 장치(500a)의 구성을 도시한 블록도이다. 도 23에 나타낸 부호화 장치(500a)는, 도 17에 나타낸 부호화 장치(500)와 비교하여, 변환부(510) 대신에 변환부(510a)를 구비하는 점과, 제어부(590)를 구비하지 않는 점이 다르다.

본 발명의 실시 형태 3의 변형예에 따른 변환부(510a)의 변환 처리의 흐름은, 실시 형태 1과 동일하다. 구체적으로는, 도 6에 나타낸 바와 같이, 우선, 제1 변환 계수 도출부(202)가, 제1 변환 계수를 결정한다(단계 S111). 다음에, 제1 변환부(200)는, 결정된 제1 변환 계수로 구성되는 제1 변환 행렬을 이용하여 변환 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성한다(단계 S112).

다음에, 분할 통합 정보 산출부(612)(도시 생략) 또는 국소 집합 판정부(623)가, 분할 통합 정보를 결정한다(단계 S113). 그리고, 분할부(210)는, 제1 변환 출력 신호를 제1 부분 신호와 제2 부분 신호로 분할한다(단계 S110). 이 때, 분할부(210)는, 제1 부분 신호의 상관 에너지가 제2 부분 신호의 상관 에너지보다 커지도록 분할한다.

다음에, 국소 집합 판정부(623)는, 제1 부분 신호의 국소적인 집합의 통계적 성질을 해석하고, 제2 변환 계수 도출부(222)는, 해석 결과에 의거하여 제2 변환 계수를 결정한다(단계 S115). 다음에, 제2 변환부(220)는, 제1 부분 신호에 대해 결정된 제2 변환 계수로 구성되는 제2 변환 행렬을 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성한다(단계 S116).

마지막으로, 통합부(230)는, 제2 부분 신호와 제2 변환 출력 신호를 통합함으로써, 변환 출력 신호를 생성한다(단계 S118). 또한, 단계 S111, 단계 S113, 단계 S115는 다른 방법에 의해 결정되며, 본 실시 형태의 일부로서 동작하지 않아도 된다.

이상에 나타낸 바와 같이, 본 발명의 실시 형태 3에 따른 부호화 장치 및 부호화 방법에 의하면, 변환 입력 신호에 따라, 적응적으로 변환 계수 및 분할 통합 정보를 변경하므로, 변환 처리의 연산량과 변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다.

이하에서는, 본 발명의 실시 형태 3의 변형예에 따른 부호화 장치에 대해, 도 24a 및 도 24b를 이용하여 설명한다.

본 발명의 실시 형태 3의 변형예에서는, 도 24a에 나타낸 부호화 장치(500c)와 같이, 미리 정한 변환 계수(미리 도출된 변환 계수)로 구성되는 소정의 변환 행렬을 이용하여 제2 변환을 행할 수도 있다. 도 24a는, 본 발명의 실시 형태 3의 변형예에 따른 부호화 장치(500c)의 구성의 일례를 도시한 블록도이다.

도 24a에 나타낸 바와 같이, 부호화 장치(500c)는, 도 23에 나타낸 부호화 장치(500a)와 비교하여, 변환부(510a) 대신에 변환부(510c)를 구비하는 점과, 새롭게, 메모리(624)를 구비하는 점이 다르다.

변환부(510c)는, 변환부(510a)와 비교하여, 제2 변환 계수 도출부(222) 및 국소 집합 판정부(623) 대신에, 제2 변환 계수 도출부(222c) 및 국소 집합 판정부(623c)를 구비하는 점이 다르다. 제2 변환 계수 도출부(222c)는, 국소 집합 판정부(623c)로부터 출력되는 도출 제어 신호에 의거하여, 제2 변환 계수를 생성한다. 생성한 제2 변환 계수는, 메모리(624)에 저장된다.

메모리(624)는, 적어도 하나의 제2 변환 계수를 기억하기 위한 기억부의 일례이다. 메모리(624)는, 기억하고 있는 적어도 하나의 제2 변환 계수 중에서, 국소 집합 판정부(623c)로부터 출력되는 선택 신호에 의거하여 선택된 제2 변환 계수를 제2 변환부(220)와 엔트로피 부호화부(130)에 출력한다.

예를 들면, 메모리(624)는, 인덱스와 제2 변환 계수를 대응시켜 기억하고 있다. 선택 신호는, 인덱스를 나타내는 신호이며, 메모리(624)는, 선택 신호가 나타내는 인덱스에 대응지어진 제2 변환 계수를 출력한다.

구체적으로는, 메모리(624)는, 서로 다른 계수치의 조(組)를 갖는 복수의 변환 행렬을, 제2 변환 계수의 후보로서 기억하고 있다. 복수의 변환 행렬에는, 부호화 파라미터의 일례인 인덱스 정보가 1대 1로 대응지어져 있다. 그리고, 제2 변환 시에, 선택 신호가 나타내는 인덱스 정보에 의해 지정되는 변환 행렬이, 제2 변환 계수로서 결정된다.

도 25는, 본 발명의 실시 형태 3의 변형예에 따른 부호화 장치에 있어서, 메모리에 저장된 제2 변환 계수와 분할 통합 정보의 대응 관계의 일례를 도시한 도면이다. 상술한 바와 같이, 메모리(624)에는, 인덱스와 제2 변환 계수가 대응지어져 기억된다. 또, 도 25에 나타낸 바와 같이, 메모리(624)에는, 또한 선택 범위 정보(여기에서는, 분할 통합 정보)와 인덱스가 대응지어져 기억되어 있어도 된다.

구체적으로는, 우선, 국소 집합 판정부(623c)는, 입력 신호의 특성에 의거하여, 혹은, 압축된 정보량의 추정치의 대소에 의거하여, 미리 정한 변환 계수, 및 분할 통합 정보 중 어느 것을 이용할지를 선택하기 위한 선택 신호를 출력한다. 출력된 선택 신호에 의거하여, 메모리(624)는, 미리 정한 변환 계수를 제2 변환부(220)에 출력한다. 또, 메모리(624)가 분할 통합 정보도 유지하고 있는 경우는, 분할 통합 정보를 분할부(210) 및 통합부(230)에 출력한다(도 24a에는 도시하고 있지 않다).

선택 신호는, 필요에 따라 정보량의 압축이 적용되며(예를 들면, 주변 인접 블록의 인덱스로부터 예측한 예측 인덱스와의 차분 신호를 출력한다), 엔트로피 부호화부(130)에 있어서, 부호화 신호로 다중화된다.

또, 국소 집합 판정부(623c)는, 새로운 제2 변환 계수를 도출하도록 제2 변환 계수 도출부(222c)에 지시하는 도출 제어 신호를 출력하는 경우도 있다. 이 때, 새롭게 도출된 제2 변환 계수는, 메모리(624)에 저장된다. 또, 국소 집합 판정부(623c)는, 분할 통합 정보 산출부(도시 생략)에, 도출 제어 신호를 출력함으로써, 새로운 분할 통합 정보를 산출시켜도 된다. 또한, 분할 통합 정보의 산출은, 제2 변환 계수 도출부(222c)가 행해도 된다.

새로운 제2 변환 계수와 분할 통합 정보는, 필요에 따라, 정보량이 압축되며, 엔트로피 부호화부(130)에 있어서, 부호화 신호로 다중화된다. 바꿔 말하면, 도 24a에 나타낸 실시 형태 3의 변형예에 따른 부호화 장치(500c)는, 제2 변환 계수 및 분할 통합 정보를 복호 장치에 출력한다. 또한, 제2 변환 계수 그 자체를 출력하는 것이 아니라, 인덱스를 나타내는 선택 신호를 송신함으로써, 복호 장치측에서, 복호 장치가 기억하고 있는 제2 변환 계수를 선택시킬 수도 있다.

또한, 전술한 바와 같이 변환 입력 신호는, 입력 신호와 예측 신호의 차분이므로, 예측 신호의 특성에 의존한다. 예측 신호가 잘 예측되어 있는 경우와, 잘 예측되어 있지 않은 경우에서는, 변환 입력 신호의 특성은 다른 경우도 생각할 수 있으므로, 국소 집합 판정부(623c)는, 변환 입력 신호의 대소에 따라 제2 변환 계수와 분할 통합 정보를 전환해도 된다.

또, 도 24b에 나타낸 부호화 장치(500d)와 같이, 예측 방법의 종별을 나타내는 정보(예측 모드 신호)에 의거하여, 제2 변환 계수의 도출을 제어할 수도 있다. 도 24b는, 본 발명의 실시 형태 3의 변형예에 따른 부호화 장치(500d)의 구성의 일례를 도시한 블록도이다.

도 24b에 나타낸 바와 같이, 부호화 장치(500d)는, 도 24a에 나타낸 부호화 장치(500c)와 비교하여, 변환부(510c) 대신에 변환부(510d)를 구비하는 점과, 새롭게 예측 제어부(585)를 구비하는 점이 다르다. 또, 변환부(510d)는, 변환부(510c)와 비교하여, 국소 집합 판정부(623c) 대신에, 국소 집합 판정부(623d)를 구비하는 점이 다르다.

예측 제어부(585)는, 예측 모드 신호를 결정하여, 예측부(580)에 출력함과 더불어, 국소 집합 판정부(623d)에 출력한다. 예측 모드 신호는, 필요에 따라, 근방 블록의 정보로부터의 추정치와의 차분을 취하는 등으로 하여 정보량을 압축하고, 엔트로피 부호화부(130)에 있어서, 부호화 신호로 다중화된다.

국소 집합 판정부(623d)는, 예측 모드 신호에 의거하여, 미리 정한 변환 계수와 분할 통합 정보를 선택하기 위한 선택 신호를 출력한다. 선택 신호에 의거하여, 메모리(624)는, 미리 정한 제2 변환 계수를 제2 변환부(220)에, 분할 통합 정보를 분할부(210) 및 통합부(230)에 출력한다.

또, 국소 집합 판정부(623d)는, 새로운 제2 변환 계수를 도출하도록 제2 변환 계수 도출부(222c)에 지시하는 도출 제어 신호를 출력하는 경우도 있다. 이 때, 새롭게 도출된 제2 변환 계수는, 메모리(624)에 저장된다. 또, 국소 집합 판정부(623d)는, 분할 통합 정보 산출부(도시 생략)에, 도출 제어 신호를 출력함으로써, 새로운 분할 통합 정보를 산출시켜도 된다. 또한, 분할 통합 정보의 산출은, 제2 변환 계수 도출부(222c)가 행해도 된다.

새로운 제2 변환 계수와 분할 통합 정보는, 필요에 따라, 정보량이 압축되며, 엔트로피 부호화부(130)에 있어서, 부호화 신호로 다중화된다.

또한, 국소 집합 판정부(623d)는, 변환 입력 신호의 대소에 따라, 제2 변환 계수와 분할 통합 정보를 전환해도 된다. 또한, 예측의 방법은 복수 종류가 있으며, 그 하나가 예측 모드 신호로 지시된다. 예측은, 프레임간 예측(인터 예측)이어도 프레임 내 예측(인트라 예측)이어도 된다. 프레임 내 예측은, 부호화 완료(복호 완료)의 주변 인접 화소를 소정의 방향에서 외삽(外揷)하여 예측하는 방법이어도 된다.

또, 분할 통합 정보는, 예측 신호를 생성한 예측 방법의 각도(프레임 내 예측의 경우는 소정의 외삽 각도)를 기초로, 그 각도를 위해 최적화된 분할 통합을 행할 수 있도록 결정되어도 된다. 분할 통합 정보에 대해, 도 26a~도 26c를 이용하여 개념을 설명한다.

도 26a는, 4×4 블록의 제1 변환 출력 신호를 나타내며, 왼쪽 상측이 저역의 예를 나타내고 있다. 일반적으로는, 에너지가 집중되기 쉬운 저역측을 제1 부분 신호, 그 이외의 고역 부분을 제2 부분 신호로 하고, 제1 부분 신호에 제2 변환을 행함으로써, 또한 압축을 행한다. 또한, 여기에서는 설명을 위해, 제1 변환 출력 신호의 N×N개의 요소가 어느 쪽의 부분에 속하는지를 Gij={0, 1},(i는 수직 아래쪽 방향, j는 수평 오른쪽 방향, ij 모두 1기점, 제1 부분 신호에 속하면 0, 제2 부분 신호에 속하면 1)로 정의한다.

도 26b는, 복수개의 분할 통합 정보 중에서 인트라 예측의 예측 방향에 의거하여, 분할 통합 정보를 선택하는 예를 도시한 개념도이다. 오른쪽 상측 방향을 각도의 기점으로 하여, 0으로부터 π[rad]의 범위를 몇 개로 분할한 각도 단위로 분할 통합 정보를 설계한다. 도 26b는, 4개의 분할 통합 정보를 정의한 예이다.

구체적으로는, 설계 각도가 수평인 S₀은, 좌측(수평 방향에서 DC)에 파워가 집중되는 것을 상정하고, G0j를 우선적으로 0(요컨대, 제1 부분 신호)으로 한다. 설계 각도가 수직인 S₁은, 상측(수직 방향에서 DC)에 파워가 집중되는 것을 상정하고, Gj0를 우선적으로 0(요컨대, 제1 부분 신호)으로 한다. 설계 각도가 비스듬한 S₁과 S₃은, 예를 들면 Gij(i＜=1, j＜=1)를 우선적으로 0으로 한다.

도 26c는, 4×4의 블록 중 4요소를 제1 부분 신호로서 선택하는 경우에 있어서, 8종류의 각도, 즉, 8종류의 분할 통합 정보를 준비하는 경우의 예이다. 이 예에 나타낸 바와 같이, 각도와 제1 부분 신호를 구성하는 계수치의 위치에는 관계성을 정의할 수 있으며, 임의의 각도로, 제1 부분 신호를 구성하는 계수치의 위치를 결정할 수 있다.

이와 같이, 제2 변환 시에, 부호화 파라미터가 소정 방향으로의 외삽을 나타내는 예측 방법을 나타내는 경우, 제1 변환 출력 신호를 구성하는 복수의 계수치 중, 당해 소정 방향의 계수치를 포함하는 범위를, 제2 변환의 대상으로서 결정한다. 소정 방향의 계수치를 포함하는 범위란, 구체적으로는, 소정 방향의 시점측의 계수치, 즉, 외삽 방향의 시점측의 계수치를 포함하는 범위이다.

예를 들면, 부호화 파라미터가 대략 수평 방향(우측 방향)으로의 외삽을 나타내는 예측 방법을 나타내는 경우, 제1 변환 출력 신호를 구성하는 복수의 계수치 중, 가로 방향의 계수치(구체적으로는, 좌측의 계수치)를 포함하는 범위를, 제2 변환의 대상으로서 결정한다. 또, 부호화 파라미터가 대략 수직 방향(하측 방향)으로의 외삽을 나타내는 예측 방법을 나타내는 경우, 제1 변환 출력 신호를 구성하는 복수의 계수치 중, 세로 방향의 계수치(구체적으로는, 상측의 계수치)를 포함하는 범위를, 제2 변환의 대상으로서 결정한다.

바꿔 말하면, 제2 변환의 대상으로서 m개의 계수치(요소)를 결정하는 경우, 제1 변환 출력 신호를 구성하는 n개의 계수치 중에서, 외삽 방향의 시점측에 보다 가까운 m개의 계수치를 결정한다. 보다 구체적으로는, 왼쪽 상측의 계수치와, 외삽 방향의 시점측에 가까운 계수치를 포함한다.

예를 들면, 도 26b의 S₀과 같이 오른쪽 방향으로의 외삽 방향이 선택된 경우, 당해 외삽 방향의 시점은 좌측이므로, 좌측에 가까운 m개의 계수치가, 제1 부분 신호로서 선택된다. 동일하게, 도 26b의 S₁과 같이 오른쪽 하측 방향으로의 외삽 방향이 선택된 경우, 당해 외삽 방향의 시점은 왼쪽 상측이므로, 왼쪽 상측에 가까운 m개의 계수치가, 제1 부분 신호로서 선택된다. 또한, 도 26b의 S₂와 같이 아래쪽 방향으로의 외삽 방향이 선택된 경우, 당해 외삽 방향의 시점은 상측이므로, 상측에 가까운 m개의 계수치가, 제1 부분 신호로서 선택된다.

또한, 도 26b의 S₃, 또는, 도 26c의 S₀, S₁, S₇과 같이, 외삽 방향의 시점측이 왼쪽 하측이나 오른쪽 상측 등인 경우는, 제2 변환의 대상으로서 m개의 계수치(요소)를 결정하는 경우, 왼쪽 상측의 계수치와, 외삽 방향의 시점측에 가까운 계수치와, 외삽 방향을 따른 계수치를 포함하도록, m개의 계수치를 결정한다. 예를 들면, 도 26c의 S₇은, S₆으로부터 왼쪽으로 22.5도 어긋나 있으므로, S₇의 제2 부분 신호는, S₆과 같이, 왼쪽 상측의 계수치((1,1))와, 상측의 계수치((1,2) 및 (1,3))를 포함함과 더불어, 외삽 방향(왼쪽 하측 방향)을 따른 계수치((2, 1))를 포함하고 있다.

(실시 형태 4)

본 발명의 실시 형태 4에 따른 복호 장치 및 복호 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등의 신호가 부호화된 부호화 신호(예를 들면, 실시 형태 1 또는 3에서 생성된 부호화 신호)를, 복수 종류의 변환의 조합에 의해 역변환을 행하는 역변환부 및 역변환 방법을 구비한다. 본 발명의 실시 형태 4에 따른 복호 장치 및 복호 방법은, 부호화 대상 신호(입력 신호)와 예측 신호의 차분인 예측 오차 신호가 부호화된 신호에 대해, 2단계의 역변환을 행하는 것을 특징으로 한다.

도 27은, 본 발명의 실시 형태 4에 따른 복호 장치(700)의 구성의 일례를 도시한 블록도이다. 도 27에 나타낸 바와 같이, 본 발명의 실시 형태 4에 따른 복호 장치(700)는, 엔트로피 복호부(310)와, 역양자화부(320)와, 역변환부(730)와, 제어부(740)와, 가산기(750)와, 메모리(760)와, 예측부(770)를 구비한다. 또한, 도 11a에 나타낸 실시 형태 2에 따른 복호 장치(300)와 동일한 구성에 대해서는, 동일한 부호를 붙이고, 이하에서는 설명을 생략한다.

역변환부(730)는, 실시 형태 2에서 설명한 역변환부(330)와 동일하게, 역양자화부(320)에 의해 생성된 복호 변환 출력 신호를 역변환함으로써, 복호 변환 입력 신호를 생성한다. 구체적으로는, 역변환부(730)는, 복호 변환 출력 신호에 대해 2단계의 역변환을 행한다. 또한, 제어부(740)로부터의 제어 신호에 의거하여, 역변환에 이용하는 역변환 계수 및 분할의 위치(제2 역변환의 대상이 되는 부분)가 결정된다. 역변환부(730)의 상세한 것에 대해서는, 뒤에서 설명한다.

제어부(740)는, 국소 정보에 의거하여, 역변환부(730)의 동작을 제어하기 위한 제어 신호를 출력한다. 국소 정보는, 부호화 파라미터의 일례이며, 예를 들면, 역변환 계수 및 분할 통합 정보에 대응지어진 인덱스, 혹은, 부호화 시에 이용한 예측 모드 등을 나타내는 정보이다. 제어부(740)는, 이들 국소 정보에 의거하여, 역변환 계수 및 분할 통합 정보를 결정하고, 결정한 계수 및 정보를 나타내는 제어 정보를 역변환부(730)에 출력한다.

가산기(750)는, 역변환부(730)에 의해 생성된 복호 변환 입력 신호와, 이전의 부호화 신호로부터 생성된 복호 신호에 의거한 예측에 의해 생성된 예측 신호를 가산함으로써, 복호 신호를 생성한다.

메모리(760)는, 생성된 복호 신호를 저장하기 위한 기억부의 일례이다.

예측부(770)는, 이전의 부호화 신호로부터 생성된 복호 신호에 의거한 예측을 행함으로써, 예측 신호를 생성한다. 즉, 예측부(770)는, 메모리(760)에 저장된 복호 완료의 복호 신호를 기초로 예측 신호를 생성한다. 예를 들면, 예측부(770)는, 부호화 파라미터에 의거하여, 예측 오차 화상에 포함되는 복호 대상 블록의 예측 화소(예측 신호)를 생성한다. 그리고, 예측부(770)에 의해 생성된 예측 화소와, 복호 대상 블록의 화소가, 가산기(750)에 의해 가산되어, 입력 화상(복호 신호)이 복원된다.

또한, 역변환부(730)는, 제2 역변환 계수 및 분할 통합 정보를 부호화 장치로부터 취득해도 된다. 또한, 부호화 장치로부터 취득하는 것은 제2 변환 계수이며, 제2 변환 계수로부터 제2 역변환 계수를 구해도 된다. 분할 통합 정보는, 제2 복호 변환 출력 신호가, 복호 변환 출력 신호의 어느 부분에 대응하는지를 나타내는 선택 범위 정보의 일례이다.

본 발명의 실시 형태 4에 따른 복호 장치(700)에서는, 제어부(740)로부터의 제어에 의거하여, 제2 역변환 시에, 제2 복호 변환 출력 신호로서, 복호 변환 출력 신호 중 제2 역변환의 대상이 되는 범위와, 제2 역변환 계수의 적어도 한쪽을, 시간적 또는 공간적으로 적응적으로 결정한다. 예를 들면, 소정의 부호화 파라미터에 의거하여, 제2 복호 변환 출력 신호로서, 복호 변환 출력 신호 중 제2 역변환의 대상이 되는 범위와, 제2 역변환 계수의 적어도 한쪽을 결정한다.

다음에, 도 28을 이용하여, 본 발명의 실시 형태 4에 따른 복호 장치(700)가 행하는 복호 처리를 설명한다. 도 28은, 본 발명의 실시 형태 4에 따른 복호 장치(700)의 동작의 일례를 도시한 흐름도이다.

우선, 예측부(770)는, 메모리(760)에 저장된 복호 완료의 복호 신호를 기초로 예측 신호를 생성한다(단계 S405). 또한, 입력 신호를 직접 변환하는 부호화 방법으로 생성된 부호화 신호를 복호하는 경우에는, 본 단계 S405는 생략된다.

다음에, 엔트로피 복호부(310)는, 입력된 부호화 신호를 엔트로피 복호함으로써, 양자화 계수를 생성한다(단계 S210). 역양자화부(320)는, 양자화 계수를 역양자화함으로써, 복호 변환 출력 신호 y＾ⁿ을 생성한다(단계 S220).

다음에, 역변환부(730)는, 복호 변환 출력 신호 y＾ⁿ을 역변환함으로써, 복호 변환 입력 신호 x＾ⁿ을 생성한다(단계 S230). 구체적으로는, 역변환부(730)는, 도 12 또는 도 14에 나타낸 바와 같이, 2단계의 역변환을 행함으로써, 복호 변환 입력 신호 x＾ⁿ을 생성한다. 또한, 여기에서, 역변환부(730)에 있어서의 역변환이란, 복호 장치에 있어서의 변환이라는 의미이며, 부호화 장치의 변환의 역변환에 한정되는 것은 아니다.

다음에, 가산기(750)는, 복호 변환 입력 신호 x＾ⁿ과 예측 신호를 가산함으로써, 복호 신호를 생성한다. 복호 신호는, 복호 장치(700) 전체의 출력 신호로서 출력된다. 또, 복호 신호는, 메모리(760)에 저장되고(단계 S440), 후속의 부호화 신호의 복호 시에 참조된다. 요컨대, 메모리(760)는, 지연부로서 동작한다.

또한, 음성 또는 오디오의 데이터를 복호하는 경우에서는, 출력 신호는 1차원이며, 정지화상 및 동화상 복호 장치에서는 출력 신호는 2차원이 된다. 또, 예측을 행하지 않고 복호 신호를 직접 출력 신호로 하는 복호 장치(혹은 동작 모드)는, 예측부(770) 및 메모리(760)를 제외하고 예시할 수 있다.

다음에, 도 29를 이용하여, 본 발명의 실시 형태 4에 따른 역변환부(730)의 구성에 대해 설명한다. 도 29는, 본 발명의 실시 형태 4에 따른 역변환부(730)의 구성의 일례를 도시한 블록도이다.

역변환부(730)는, 분할부(400)와, 제2 역변환부(410)와, 통합부(420)와, 제1 역변환부(430)를 구비한다. 역변환부(730)에는, 복호 변환 출력 신호 y＾ⁿ이 입력된다. 또한, 복호 변환 출력 신호 y＾ⁿ은, 도 17에 나타낸 변환부(510)가 생성한 변환 출력 신호 yⁿ에 상당한다.

분할부(400)는, 분할 통합 정보에 따라, 복호 변환 출력 신호 y＾ⁿ을 제2 복호 변환 출력 신호와, 제2 복호 부분 신호로 분할한다.

제2 역변환부(410)는, 제2 역변환 행렬을 이용하여, 제2 복호 변환 출력 신호를 역변환함으로써, 제1 복호 부분 신호를 생성한다.

통합부(420)는, 제2 복호 부분 신호와 제1 복호 부분 신호를, 분할 통합 정보에 따라 통합함으로써, 제1 복호 변환 출력 신호를 생성한다.

제1 역변환부(430)는, 제1 역변환 행렬을 이용하여, 제1 복호 변환 출력 신호를 역변환함으로써, 복호 변환 입력 신호를 생성한다. 또한, 복호 변환 입력 신호는, 도 17에 나타낸 변환부(510)에 입력되는 변환 입력 신호에 상당한다.

분할 통합 정보는, 상술한 실시 형태에 기재한 것과 동등하며, 분할부(400)로의 입력(복호 변환 출력 신호)의 차원수는 n, 제2 역변환부(410)로의 입력(제2 복호 변환 출력 신호)의 차원수는 m이다(m＜n의 자연수). 또한, 제2 역변환부(410)로의 입력 시의 차원수는 n으로 해 두고, 제2 역변환부(410)는, 도 8(b)에서 나타낸 바와 같은 대각 요소는 1이고 비대각 요소는 0인 행을 포함하는 변환 행렬 A⁴를 이용해도 된다. 제2 변환부는 분리형이어도 된다.

제2 역변환에 이용하는 제2 역변환 행렬은, 실시 형태 1 또는 3에 기재한 제2 변환의 변환 행렬의 역행렬 또는 역행렬의 근사의 관계에 있다. 제1 역변환에 이용하는 제1 역변환 행렬은, 실시 형태 1 또는 3에 기재한 제1 변환 행렬의 역행렬 또는 역행렬의 근사의 관계에 있다. 역변환의 연산에 필요한 연산 정밀도를 낮게 억제하기 위해, 제1 역변환 계수와, 제2 역변환 계수의 유효 정밀도를 낮게 하는 경우도 있다. 이 경우, 역변환부의 연산 정밀도가 부호화 및 복호 전체에 부여하는 왜곡에 있어서 지배적으로 되므로, 실시 형태 2 또는 본 실시 형태에 기재하는 제1 역변환 계수를 기초로, 실시 형태 1 또는 3에 기재한 제1 변환 계수를 도출하고, 동일하게 제2 역변환 계수를 기초로 제2 변환 계수를 도출하는 것이 바람직하다.

또한, 제2 역변환 계수, 제1 역변환 계수, 및 분할 통합 정보는, 부호화 신호로 다중화되고, 부호화 장치로부터 복호 장치에 통지된다. 또한, 다른 전송 채널을 이용하여, 부호화 신호로 다중화되지 않고 통지되거나, 또는, 전송?축적 포맷에 의해 통지되어도 된다. 혹은, 어떤 규격이나 규격의 프로파일?레벨의 규정치로서 통지되거나, 또는, 복호 장치와 부호화 장치의 양자에서 얻어지는 정보에 의거하여 통지되는 등이어도 된다.

본 발명의 실시 형태 4의 역변환 처리의 동작은, 실시 형태 2와 동일하다. 구체적으로는, 도 14에 나타낸 바와 같이, 우선, 분할부(400)는, 분할 통합 정보를 취득한다(단계 S231). 그리고, 분할부(400)는, 취득한 분할 통합 정보에 따라, 복호 변환 출력 신호를 제2 복호 변환 출력 신호와 제2 복호 부분 신호로 분할한다(단계 S232).

다음에, 제2 역변환부(410)는, 제2 역변환 계수를 취득한다(단계 S233). 그리고, 제2 역변환부(410)는, 제2 복호 변환 출력 신호에 대해 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성한다(단계 S234).

다음에, 통합부(420)는, 분할 통합 정보에 따라, 제1 복호 부분 신호와 제2 복호 부분 신호를 통합함으로써, 제1 복호 변환 출력 신호를 생성한다(단계 S236).

다음에, 제1 역변환부(430)는, 제1 역변환 계수를 취득한다(단계 S237). 그리고, 제1 역변환부(430)는, 제1 복호 변환 출력 신호에 대해 제1 역변환을 행함으로써, 복호 변환 입력 신호를 생성한다(단계 S238).

또한, 분할 통합 정보를 취득하는 단계 S231, 역변환 계수를 취득하는 단계 S232 및 단계 S234는, 전술한 바와 같이 통지의 베리에이션이 다수 있으므로, 반드시 본 흐름의 타이밍으로 실시된다고는 할 수 없으며, 또, 본 실시 형태의 일부로서 필수의 동작은 아니다.

이상과 같이, 본 발명의 실시 형태 4에 따른 복호 장치 및 복호 방법에 의해, 변환 처리의 연산량과 역변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 또, 실시 형태 3에 나타낸 부호화 장치(500)와 같이, 입력 신호의 통계적 성질에 의거하여 계산되는 변환 계수를 이용하는 변환을 포함하는 2단계의 변환을 행함으로써 생성된 부호화 신호를 올바르게 복호할 수 있다.

또한, 도 30에 나타낸 복호 장치(700a)와 같이, 미리 정한 역변환 계수 및 분할 통합 정보를, 부호화 신호로부터 복호한 선택 신호에 의거하여 선택하고, 선택한 역변환 계수 및 분할 통합 정보를 이용하여 역변환할 수도 있다. 도 30은, 본 발명의 실시 형태 4에 따른 복호 장치(700a)의 구성의 일례를 도시한 블록도이다.

도 30에 나타낸 바와 같이, 복호 장치(700a)는, 도 27에 나타낸 복호 장치(700)와 비교하여, 새롭게, 메모리(781 및 782)를 구비하는 점이 다르다.

메모리(781)에는, 제2 역변환 계수가 인덱스와 대응지어져 기억되어 있다. 또, 메모리(782)에는, 분할 및 통합에 이용하는 분할 통합 정보가 인덱스와 대응지어져 기억되어 있다.

구체적으로는, 메모리(781)는, 서로 다른 계수치의 조를 갖는 복수의 변환 행렬을, 제2 역변환 행렬의 후보로서 기억하고 있다. 복수의 변환 행렬에는, 부호화 파라미터의 일례인 인덱스 정보가 1대 1로 대응지어져 있다. 그리고, 제2 역변환 시에, 선택 신호가 나타내는 인덱스 정보에 의해 지정되는 변환 행렬의 계수가, 제2 역변환 계수로서 결정된다.

메모리(781 및 782)는 각각, 엔트로피 복호부(310)로부터 출력되는 선택 신호에 의거하여, 역변환부(730)에 역변환 계수 및 분할 통합 정보를 선택하여 출력한다. 구체적으로는, 선택 신호는, 예를 들면, 인덱스를 나타내는 신호이며, 선택 신호가 나타내는 인덱스에 대응지어진 역변환 계수 및 분할 통합 정보가 출력된다.

구체적으로는, 엔트로피 복호부(310)는, 부호화 신호를 엔트로피 복호함으로써, 압축 완료 선택 신호를 취출하고, 압축 완료 선택 신호로부터 선택 신호를 복호한다. 그리고, 엔트로피 복호부(310)는, 복호한 선택 신호를, 메모리(781)와 메모리(782)에 출력한다. 메모리(781 및 782)의 각각으로부터, 제2 역변환 계수와, 분할 통합 정보가 역변환부(730)에 출력된다.

이 선택적인 메커니즘은, 시간 공간적으로 적응되며, 선택 신호에 의거하여, 블록 단위, 매크로 블록 단위, 매크로 블록을 복수개 합친 단위, 또는, 슬라이스 단위로 행해져도 된다. 또, 면내 예측 모드와 선택 신호를 조합하여, 적응적으로 행해도 된다. 또한, 복호 양자화 계수의 비제로 계수의 총수, 저역 영역의 비제로 계수의 총수, 비제로 계수의 레벨의 총합, 역양자화부(320)가 출력하는 복호 변환 출력 신호 y＾의 총합, 저역 영역의 총합 등에 따라, 제2 역변환 계수, 및 분할 통합 정보를 전환해도 된다.

또, 도 31에 나타낸 복호 장치(700b)와 같이, 미리 정한 역변환 계수 및 분할 통합 정보를, 부호화 신호로부터 복호한 예측 신호에 의거하여 선택하고, 선택한 역변환 계수 및 분할 통합 정보를 이용하여 역변환할 수도 있다. 도 31은, 본 발명의 실시 형태 4에 따른 복호 장치(700b)의 구성의 일례를 도시한 블록도이다.

도 31에 나타낸 바와 같이, 복호 장치(700b)는, 도 30에 나타낸 복호 장치(700a)와 비교하여, 새롭게 선택 신호 결정부(790)를 구비하는 점이 다르다.

선택 신호 결정부(790)는, 엔트로피 복호부(310)로부터 출력되는 예측 모드 신호를 취득하고, 취득한 예측 모드 신호에 의거하여, 선택 신호를 생성한다. 선택 신호는, 예를 들면, 인덱스를 나타내는 신호이며, 메모리(781 및 782)로부터는, 선택 신호가 나타내는 인덱스에 대응지어진 역변환 계수 및 분할 통합 정보가 역변환부(730)에 출력된다.

구체적으로는, 엔트로피 복호부(310)는, 부호화 신호를 엔트로피 복호함으로써, 압축 완료 예측 모드 신호를 취출하고, 근방 블록의 정보로부터의 추정치와 조합하여 예측 모드 신호를 복호한다. 예측 모드 신호는, 예측부(770)에 출력되고, 예측부(770)는 예측 신호를 생성한다.

또, 예측 모드 신호는, 선택 신호 결정부(790)에 이송되고, 선택 신호 결정부(790)는, 예측 모드 신호에 대응하는, 역변환 계수, 및 분할 통합 정보를 선택하기 위한 선택 신호를 출력한다. 선택 신호는, 메모리(781)와, 메모리(782)에 출력되고, 각각의 메모리로부터, 제2 역변환 계수와 분할 통합 정보가 역변환부(730)에 출력된다.

이 선택적인 메커니즘은, 시간 공간적으로 적응되며, 선택 신호에 의거하여, 블록 단위, 매크로 블록 단위, 매크로 블록을 복수개 합친 단위, 또는, 슬라이스 단위로 행해져도 된다. 또, 도 31에서 서술하는 예측 모드 신호에 대응하는 선택 신호와, 도 30에서 설명한 부호화 신호로부터 복호한 선택 신호를 조합해도 된다.

또한, 복호 양자화 계수의 비제로 계수의 개수, 저역 영역의 비제로 계수의 개수, 비제로 계수의 레벨의 총합, 역양자화부(320)가 출력하는 복호 변환 출력 y＾의 총합, 저역 영역의 총합 등에 따라, 제2 역변환 계수, 및 분할 통합 정보를 전환해도 된다. 또한, 복호 양자화 계수의 총합의 패리티(짝수 또는 홀수의 상태)에 의거하여, 제2 역변환 계수, 및 분할 통합 정보를 전환해도 된다. 또한, 복호 양자화 계수의 총합이 1일 때, 제2 역변환은 행하지 않는 것으로 해도 된다.

또한, 본 발명의 실시 형태 4에서는, 실시 형태 3에서 나타낸 바와 같이, 제2 역변환 시에, 부호화 파라미터가 소정 방향으로의 외삽을 나타내는 예측 방법을 나타내는 경우, 복호 변환 출력 신호를 구성하는 복수의 계수치 중, 당해 소정 방향의 계수치를 포함하는 범위를, 제2 역변환의 대상으로서 결정한다. 소정 방향의 계수치를 포함하는 범위란, 구체적으로는, 소정 방향의 시점측의 계수치를 포함하는 범위이다.

예를 들면, 부호화 파라미터가 대략 수평 방향으로의 외삽을 나타내는 예측 방법을 나타내는 경우, 복호 변환 출력 신호를 구성하는 복수의 계수치 중, 가로 방향의 계수치(구체적으로는, 좌측의 계수치)를 포함하는 범위를, 제2 역변환의 대상으로서 결정한다. 또, 부호화 파라미터가 대략 수직 방향으로의 외삽을 나타내는 예측 방법을 나타내는 경우, 복호 변환 출력 신호를 구성하는 복수의 계수치 중, 세로 방향의 계수치(구체적으로는, 상측의 계수치)를 포함하는 범위를, 제2 역변환의 대상으로서 결정한다.

(실시 형태 5)

본 발명의 실시 형태 5에 따른 부호화 장치 및 부호화 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등 부호화 대상이 되는 신호를, 복수 종류의 변환의 조합에 의해 변환을 행하는 변환부 및 변환 방법을 구비한다. 본 발명의 실시 형태 5에 따른 부호화 장치 및 부호화 방법에서는, 미리 정해진 고정의 변환 계수로 구성되는 고정의 변환 행렬을 이용하여 제1 변환을 행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 5에 있어서의 변환부 및 변환 방법을, 도 32를 이용하여 설명한다. 도 32는, 본 발명의 실시 형태 5에 따른 변환부(810)의 구성의 일례를 도시한 블록도이다. 또한, 본 발명의 실시 형태 5에 따른 부호화 장치는, 실시 형태 1 또는 3과 비교하여, 변환부의 구성만이 다르므로, 이하에서는, 변환부의 구성 및 동작에 대해 설명한다.

도 32에 나타낸 바와 같이, 변환부(810)는, 제1 변환부(200)와, 분할부(210)와, 제2 변환부(220)와, 통합부(230)와, 제2 메모리(611)와, 분할 통합 정보 산출부(612)와, 제3 메모리(621)와, 제2 변환 계수 도출부(222)를 구비한다. 변환부(810)는, 도 19에 나타낸 변환부(510)와 비교하여, 제1 변환부(200) 대신에 제1 변환부(900)를 구비하는 점과, 제1 메모리(601)와, 제1 변환 계수 도출부(202)를 구비하지 않는 점이 다르다.

변환 입력 신호는, 제1 변환부(900)에 입력된다. 제1 변환부(900)는, 미리 정해진 변환 계수 및/또는 기저 함수로 구성되는 변환 행렬을 이용하여 변환 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성한다. 제1 변환부(900)는, 변환 계수를 임의로 취할 수 있는 자유도를 방기하고, 규정의 변환을 행하도록 한정한다. 이에 의해, 처리의 복잡도를 경감하고, 연산량을 삭감할 수 있다. 또한, 여기에서는, 이러한 변환을 고정 변환이라고 부르는 것으로 한다.

또한, 도 32에서는, 분할 통합 정보, 제2 변환 계수를 도출하기 위한 메모리 및 도출부를 구비한 구성을 나타내었지만, 실시 형태 3에서 설명한 경우와 동일하게 완전한 최적해가 아니어도, 이들 중 어느 하나 또는 모두를, 경험이나 준 최적인 방법에 의거하여, 사전에 도출해 두어도 된다.

본 발명의 실시 형태 5에 따른 변환부(810)에서는, 복수의 변환을 이용하여, 제1 변환으로서, 고정 변환을 이용하여 변환하고, 제2 변환으로서, 보다 작은 집합 S_B의(제1 변환 출력 신호의) 통계적 성질에 따라 최적으로 도출된 변환 계수로 구성되는 변환 행렬을 이용한 변환을 행한다. 이하에서는, 도 33을 이용하여, 본 발명의 실시 형태 5에 따른 변환 방법의 개념을 설명한다. 또한, 도 7 및 도 21과 거의 동일하며, 상이한 점만 설명한다.

제1 변환 계수는, 집합 S_A를 매우 크게 취했을 때에, 집합 S_A의 통계적인 성질에 의거하여 최적이 되도록 미리 설계한다. 집합 S_A를 매우 크게 취하여 설계함으로써, 제1 변환부(900)의 변환 계수를 갱신할 필요를 없앨 수 있으며, 고정 변환으로 할 수 있다. 따라서, 입력 신호에 대해 다른 변환 계수를 취하는 자유도가 없으므로, 변환부(810)는, 실시 형태 3에 기재된 제1 메모리(601) 및 제1 변환 계수 도출부(202)를 구비할 필요가 없어진다.

또한, 기존 규격의 변환을 제1 변환으로서 이용해도 된다. 예를 들면, MPEG-1/2/4 비디오 부호화 규격 탑재의 이산 코사인 변환이나, H.264/AVC 규격 채용의 정수 정밀도 DCT 등을 이용해도 된다. 이들 변환은 버터플라이 구성을 취할 수 있으며, n차원의 입력에 대한 승산 횟수를 n×Log2(n)까지 경감할 수 있다(실시 형태 3의 제1 변환의 경우는 n×n).

또한, 기존 규격의 변환은, 변환 입력 신호를 포함하는 매우 큰 집합 S_A에 대해 엄밀하게는 최적화되어 있지 않을 가능성이 있다. 부호화 장치로의 입력 신호가 촬상 소자 등의 특성의 영향을 받아 특수한 상관을 갖는 경우, 혹은, 변환 입력 신호가 예측 오차인 경우 등은, 예측 신호가 특수한 상관을 갖고 있으므로, 변환 입력 신호가 특수한 상관을 갖고 있는 것이 원인으로서 생각된다.

이러한 상관은, 각 실시 형태의 제2 변환 계수의 설계 시에 반영시킴으로써, 제2 변환에 있어서 무상관화와 에너지 압축을 행함으로써 보상할 수 있다. 구체적으로는, 제1 변환 출력 신호의 집합 S_C 중, 집합 S_B(1)을 제1 변환부(900)로 변환한 집합을 집합 S_C(1)로 하고, 집합 S_B(2)를 제1 변환부(900)로 변환한 집합을 집합 S_C(2)로 한다. 이 경우에, 집합 S_C(1), 및 집합 S_C(2)에 대해 각각 독립적으로, 제2 변환 계수 도출부(222)에 있어서, 제2 변환 계수를 도출한다.

단, 제2 변환부(220)는, 분할부(210)에 의해 신호의 일부만이 입력되는 구성이므로, 실시 형태 3과 비교하면, 무상관화와 에너지 압축의 성능은, 약간 저하한다. 그러나, 본 발명의 실시 형태 5에 따른 부호화 장치에 의하면, 제1 변환 계수를 산출할 필요가 없어지므로, 연산량의 저하를 실현할 수 있다. 또, 제1 변환 계수를 도출하기 위한 메모리 및 도출부를 구비할 필요가 없어지므로, 회로의 소형화를 실현할 수 있다.

또한, 본 발명의 실시 형태 5의 변환 처리의 흐름은, 실시 형태 1 또는 3의 흐름과 거의 동일하다. 제1 변환이 고정 변환이므로, 도 6의 단계 S111이 생략되고, 단계 S112~단계 S118의 처리가 실행된다. 이 때, 제1 변환은 기존의 변환이며, 제1 변환 입력 신호에 대해 최적인 설계가 되어 있지 않으므로, 제2 변환의 변환 계수의 최적화(단계 S115)에서 반영시킨다. 또한, 단계 S113, 단계 S115는 다른 방법에 의해 결정되며, 본 실시 형태의 일부로서 동작하지 않아도 된다.

이상과 같이, 본 발명의 실시 형태 5에 따른 부호화 장치 및 부호화 방법에 의해, 변환 처리의 연산량과 변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 또한, 고정 변환을 이용함으로써, 연산량을 삭감할 수 있다.

또한, 고정 변환으로서, H.264/AVC 규격 채용의 정수 정밀도 DCT 등의, 승산을 이용하지 않고 시프트와 가산 연산으로 구성되는 변수는, 변환 행렬의 기저의 크기(놈)가 일정하지 않은 경우가 있다. 따라서, 제1 변환으로서 고정 변환을 이용한 경우에는, 놈의 보정을 행하는 것이 바람직하다.

도 34는, 본 발명의 실시 형태 5의 변형예에 따른 변환부(810a)의 구성의 일례를 도시한 블록도이다. 변환부(810a)는, 변환부(810)와 비교하여, 놈 보정부(940)를 더 구비한다.

놈 보정부(940)는, 제1 변환부(900)에 의해 생성된 제1 변환 출력 신호에 놈 보정을 행한다. 그리고, 놈 보정 후의 신호가, 분할부(210)에 출력된다. 놈 보정부(940)는, 제1 변환 행렬에 의거하여 결정되는 보정 파라미터를 이용하여, 제1 변환 출력 신호를 정규화함으로써, 제1 변환 출력 신호를 보정한다. 보정 파라미터는, 예를 들면, 제1 변환 행렬의 놈이다.

놈 보정부(940)는, 제1 변환에 이용한 제1 변환 행렬 A₁ ⁿ으로부터 산출한 놈을 이용하여, 입력되는 제1 변환 출력 신호 y₁ ⁿ을 보정한다. 놈은, 이하의 식 12에 의해 산출된다.

[수식 12]

여기에서, a(i, k)는, 제1 변환 행렬 A₁ ⁿ에 포함되는 요소이다.

또한, 제1 변환 행렬 A₁ ⁿ이 적응적으로 변화하는 경우, 놈도 변화하므로, 놈 보정부(940)는 놈을 산출하고, 산출한 놈을 이용하여 제1 변환 출력 신호 y₁ ⁿ을 보정한다. 제1 변환 행렬 A₁ ⁿ이 고정의 행렬인 경우, 놈 보정부(940)는, 내부 메모리 등에 놈을 유지해 두면 된다.

놈 보정부(940)는, 식 13에 따라, 제1 변환 출력 신호 y₁ ⁿ을 보정한다. 요컨대, 놈 보정부(940)는, 제1 변환 출력 신호 y₁ ⁿ에 놈의 역수를 곱함으로써, 보정 후의 제1 변환 출력 신호 y'₁ ⁿ을 생성한다. 바꿔 말하면, 놈 보정부(940)는, 제1 변환 출력 신호 y₁ ⁿ을 놈으로 제산함으로써, 보정 후의 제1 변환 출력 신호 y'₁ ⁿ을 생성한다.

[수식 13]

또한, 놈을 이용한 승산 및 제산은, 제1 변환 출력 신호 y₁ ⁿ에 포함되는 요소마다 행해진다. 즉, 놈 보정부(940)는, 제1 변환 출력 신호 y₁ ⁿ의 요소 y₁(i)에 놈 N(i)의 역수를 곱함으로써, 보정 후의 제1 변환 출력 신호 y'₁ ⁿ의 요소 y'₁(i)를 생성한다.

또한, 상기의 놈 보정은, 분할부(210)에 의한 분할 후의 제1 부분 신호와 제2 부분 신호에 각기 다르게 행해도 된다.

도 35는, 본 발명의 실시 형태 5의 변형예에 따른 변환부(810b)의 구성의 일례를 도시한 블록도이다. 변환부(810b)는, 변환부(810)와 비교하여, 놈 보정부(941 및 942)를 더 구비한다.

놈 보정부(941)는, 제1 부분 신호 y_1L ^m에 놈 보정을 행한다. 그리고, 놈 보정 후의 제1 부분 신호 y'_1L ^m이 제2 변환부(220)에 출력된다. 구체적으로는, 놈 보정부(941)는, 제1 변환에 이용한 제1 변환 행렬 A₁ ⁿ으로부터 산출한 놈 N을 이용하여, 입력되는 제1 부분 신호 y_1L ^m을 보정한다(식 13 참조, y'₁(i)는 y'_1L(i)로, y₁(i)는 y_1L(i)로 대체한다). 또, 놈 N은, 상기의 식 12에 의해 산출된다.

놈 보정부(942)는, 제2 부분 신호 y_1H ^n-m에 놈 보정을 행한다. 그리고, 놈 보정 후의 제2 부분 신호 y'_1H ^n-m이 통합부(230)에 출력된다. 구체적으로는, 놈 보정부(942)는, 제1 변환에 이용한 제1 변환 행렬 A₁ ⁿ으로부터 산출한 놈 N을 이용하여, 입력되는 제2 부분 신호 y_1H ^n-m을 보정한다(식 13 참조, y'₁(i)는 y'_1H(i)로, y₁(i)는 y_1H(i)로 대체한다). 또, 놈 N은, 상기의 식 12에 의해 산출된다.

또한, 제1 부분 신호 y_1L ^m에 놈 보정을 행하는 것이 아니라, 제2 변환 행렬 A₂ ^m에 놈 보정을 행해도 동일한 효과가 얻어진다. 이하에서는, 제2 변환 행렬 A₂ ^m에 놈 보정을 행하는 경우에 대해 설명한다.

놈 보정부(941)는, 제1 변환 행렬 A₁ ⁿ으로부터 산출한 놈을 이용하여, 제2 변환 행렬 A₂ ^m을 구성하는 제2 변환 계수를 보정함으로써, 수정 계수를 도출한다. 또한, 놈은, 식 12에 의해 산출된다.

구체적으로는, 놈 보정부(941)는, 식 14에 따라, 제2 변환 행렬 A₂ ^m을 구성하는 제2 변환 계수를 보정한다. 요컨대, 놈 보정부(941)는, 제2 변환 행렬 A₂ ^m에 놈의 역수를 곱함으로써, 보정 후의 제2 변환 행렬 A'₂ ^m을 생성한다. 바꿔 말하면, 놈 보정부(941)는, 제2 변환 계수를 놈으로 제산함으로써, 수정 계수인 보정 후의 제2 변환 계수를 생성한다.

[수식 14]

또한, 놈을 이용한 승산 및 제산은, 제2 변환 행렬 A₂ ^m의 제2 변환 계수인 요소마다 행해진다. 즉, 놈 보정부(941)는, 제2 변환 계수 a₂(i, j)에 놈 N(i)의 역수를 곱함으로써, 보정 후의 제2 변환 계수 a'₂(i, j)를 생성한다.

그리고, 제2 변환부(220)는, 보정 후의 제2 변환 행렬 A'₂ ^m을 이용하여 제1 부분 신호 y_1L ^m을 변환함으로써, 제2 변환 출력 신호 y₂ ^m을 생성한다.

이상과 같이, 제1 변환 후의 신호에 대해 놈 보정을 행함으로써, 변환 행렬의 기저를 일정하게 할 수 있으며, 변환의 정밀도를 높일 수 있다.

또, 놈 보정을 행함과 더불어, H.264에서는 양자화부에서 행하고 있었던 양자화 매트릭스(Qmatrix)의 웨이트스케일의 가중을, 상기의 놈 보정부(940)(또는 놈 보정부(941 및 942))가 행해도 된다. 또한, 양자화 매트릭스의 웨이트스케일은, 보정 파라미터의 일례이다.

놈 보정부(940)는, 양자화부(120)에서 이용되는 양자화 매트릭스를 이용하여 제1 부분 신호를 가중함으로써, 제1 변환 출력 신호 y₁ ⁿ을 보정한다. 구체적으로는, 놈 보정부(940)는, 식 15 및 식 16에 따라, 제1 변환 출력 신호 y₁ ⁿ을 보정한다. 요컨대, 놈 보정부(940)는, 제1 변환 출력 신호 y₁ ⁿ에 양자화 매트릭스의 역수 mf를 곱함으로써, 보정 후의 제1 변환 출력 신호 y'₁ ⁿ을 생성한다. 바꿔 말하면, 놈 보정부(940)는, 제1 변환 출력 신호 y₁ ⁿ을 양자화 매트릭스로 제산함으로써, 보정 후의 제1 변환 출력 신호 y'₁ ⁿ을 생성한다.

[수식 15]

[수식 16]

또한, f(i)는, 양자화 매트릭스로부터 도출되는 웨이트스케일(weightScale)의 각 요소의 값이다.

또한, 제2 변환 후에, 포스트스케일 보정을 행하는 것이 더 바람직하다.

양자화 매트릭스로부터 산출되는 보정 계수 mf_2를 통합부(230)로부터 출력되는 신호 y'ⁿ에 곱함으로써, 변환 출력 신호 yⁿ을 생성한다. 구체적으로는, 식 17 및 식 18에 따라, 통합 후의 신호 y'ⁿ을 보정함으로써, 변환 출력 신호 yⁿ을 생성한다.

[수식 17]

[수식 18]

또한, S(i)는, 식 19로 나타내어지는 행렬의 요소이다.

[수식 19]

도 35에 나타낸 변환부(810b)에 있어서도, 상기와 동일하게 하여, 양자화 매트릭스의 웨이트스케일의 가중을 행할 수 있다. 또한, 상기의 포스트스케일 보정은, 제2 변환부(220)에 의해 생성된 제2 변환 출력 신호에 행하면 된다.

또, 도 35의 예에 있어서, 양자화 매트릭스의 웨이트스케일의 가중에 있어서도, 제1 부분 신호 y_1L ^m이 아니라, 제2 변환 행렬 A₂ ^m을 보정해도 된다.

이 때, 놈 보정부(941)는, 양자화 매트릭스를 이용하여 제2 변환 행렬 A₂ ^m을 보정한다. 구체적으로는, 놈 보정부(941)는, 식 20에 따라, 제2 변환 행렬 A₂ ^m을 보정한다. 식 20에 나타낸 바와 같이, 놈 보정부(941)는, 제2 변환 계수 a₂(i, j)마다, 양자화 매트릭스의 요소의 역수 mf(i)와, 양자화 매트릭스로부터 산출되는 보정 계수 mf_2(j)를 곱한다.

[수식 20]

이상과 같이, 제1 부분 신호 y_1L ^m이 아니라, 제2 변환 행렬 A₂ ^m을 보정하는 것에 의해서도, 동일하게, 부호화 효율을 높이는 효과를 얻을 수 있다.

또한, 놈 보정과 양자화 매트릭스의 가중을 조합해도 된다. 즉, 놈 보정부(941)는, 제1 부분 신호 y_1L ^m 또는 제2 변환 행렬 A₂ ^m에, 놈 보정과 양자화 매트릭스의 보정의 양쪽을 행해도 된다.

예를 들면, 제1 부분 신호 y_1L ^m을 보정하는 경우, 놈 보정부(941)는, 식 21에 따라, 제1 부분 신호 y_1L ^m을 보정한다. 구체적으로는, 놈 보정부(941)는, 제1 부분 신호 y_1L ^m의 요소 y_1L(i)마다, 제1 변환 행렬 A₁ ⁿ으로부터 산출된 놈 N(i)의 역수와, 양자화 매트릭스의 요소의 역수 mf(i)를 곱함으로써, 보정 후의 제1 부분 신호 y'_1L ^m을 생성한다.

[수식 21]

또, 제2 변환 행렬 A₂ ^m을 보정하는 경우, 놈 보정부(941)는, 식 22에 따라, 제2 변환 행렬 A₂ ^m을 보정한다. 구체적으로는, 놈 보정부(941)는, 제2 변환 계수 a₂(i, j)마다, 제1 변환 행렬 A₁ ⁿ으로부터 산출된 놈 N(i)의 역수와, 양자화 매트릭스의 요소의 역수 mf(i)와, 양자화 매트릭스로부터 산출되는 보정 계수 mf_2(j)를 곱함으로써, 보정 후의 제2 변환 행렬 A'₂ ^m을 생성한다.

[수식 22]

이상과 같은 구성이어도, 보다 적합한 제2 변환을 제1 부분 신호에 적용할 수 있다.

또한, 제2 변환에 있어서의 유효 데이터 길이가 소정의 값 이하에 들어가도록, 제2 변환부(220)에 입력하는 제1 부분 신호를 구성하는 계수치를 시프트 다운함으로써, 제1 변환 출력 신호를 보정해도 된다. 이에 의해, 제2 변환부(220)의 내부 처리의 필요 정밀도를 낮춰, 회로 자원을 절약할 수 있다.

또, 제1 변환 전의 제1 부분 신호 또는 제2 변환 후의 제1 부분 신호(제2 변환 출력 신호)를 구성하는 계수치의 비트 길이가, 제2 부분 신호를 구성하는 계수치의 비트 길이와 같아지도록, 제1 부분 신호 또는 제2 변환 출력 신호를 구성하는 계수치를 시프트 다운해도 된다.

(실시 형태 6)

본 발명의 실시 형태 6에 따른 복호 장치 및 복호 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등의 신호가 부호화된 부호화 신호(예를 들면, 실시 형태 5에서 생성된 부호화 신호)를, 복수 종류의 변환의 조합에 의해 역변환을 행하는 역변환부 및 역변환 방법을 구비한다. 본 발명의 실시 형태 6에 따른 복호 장치 및 복호 방법에서는, 미리 정해진 고정의 역변환 계수로 구성되는 역변환 행렬을 이용하여 제1 역변환을 행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 6에 따른 역변환부 및 역변환 방법을, 도 36을 이용하여 설명한다. 도 36은, 본 발명의 실시 형태 6에 따른 역변환부(1030)의 구성의 일례를 도시한 블록도이다. 또한, 본 발명의 실시 형태 6에 따른 복호 장치는, 실시 형태 2 또는 4와 비교하여, 역변환부의 구성만이 다르므로, 이하에서는, 역변환부의 구성 및 동작에 대해 설명한다.

도 36에 나타낸 바와 같이, 역변환부(1030)는, 분할부(400)와, 제2 역변환부(410)와, 통합부(420)와, 제1 역변환부(1130)를 구비한다. 역변환부(1030)는, 도 29에 나타낸 역변환부(730)와 비교하여, 제1 역변환부(430) 대신에 제1 역변환부(1130)를 구비하는 점이 다르다.

제1 역변환부(1130)는, 제1 복호 변환 출력 신호에 대해, 미리 정해진 고정의 역변환 처리를 행함으로써, 복호 변환 입력 신호를 생성한다. 제1 역변환부(1130)는, 미리 정해진 고정의 역변환을 행하므로, 외부(예를 들면, 부호화 장치)로부터 제1 (역)변환 계수를 취득할 필요는 없다.

또한, 제1 역변환부(1130)는, 예를 들면, MPEG-1/2/4 비디오 부호화 규격 탑재의 이산 코사인 변환이나, H.264/AVC 규격 채용의 정수 정밀도 DCT를 제1 역변환으로서 이용하여, 연산량을 경감해도 된다.

본 발명의 실시 형태 6의 역변환 처리의 흐름은, 실시 형태 2 또는 4의 흐름과 거의 동일하다. 제1 역변환이 고정의 역변환이므로, 도 14의 단계 S237이 생략되고, 단계 S231~S236, S238의 처리가 실행된다. 또한, 분할 통합 정보를 취득하는 단계 S231, 제2 역변환 계수를 취득하는 단계 S233은, 전술한 바와 같이 통지의 베리에이션이 다수 있으므로, 반드시 본 흐름의 타이밍으로 실시된다고는 할 수 없으며, 또, 본 실시 형태의 일부로서 필수의 동작은 아니다.

이상과 같이, 본 발명의 실시 형태 6에 따른 복호 장치 및 복호 방법에 의해, 변환 처리의 연산량과 역변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 또한, 고정 변환을 이용함으로써, 연산량을 삭감할 수 있다.

또한, 고정의 역변환으로서, H.264/AVC 규격 채용의 정수 정밀도 DCT 등, 승산을 이용하지 않고 시프트와 가산 연산으로 구성시키는 변환은, 역변환 행렬의 기저의 크기(놈)가 일정하지 않은 경우가 있다. 따라서, 제1 역변환으로서 놈의 일정하지 않은 역변환을 이용한 경우에는, 놈의 보정을 행하는 것이 바람직하다.

H.264에서는, 역양자화부에 있어서 놈 보정 처리를 행하고 있지만, 본 발명의 실시 형태 6에 따른 복호 장치에서는, 예를 들면, 도 37에 나타낸 바와 같이, 제1 역변환부(1130)로의 입력 신호에 대해 행한다. 요컨대, 제2 역변환을 행한 후에, 제1 복호 변환 출력 신호를 보정한다.

도 37은, 본 발명의 실시 형태 6의 변형예에 따른 역변환부(1030a)의 구성의 일례를 도시한 블록도이다. 역변환부(1030a)는, 역변환부(1030)와 비교하여, 놈 보정부(1140)를 더 구비한다.

놈 보정부(1140)는, 통합부(420)에 의해 통합된 제1 복호 부분 신호와 제2 복호 부분 신호를 포함하는 신호에, 놈 보정을 행함으로써, 제1 복호 변환 출력 신호를 생성한다. 놈 보정부(1140)는, 제1 역변환 행렬에 의거하여 결정되는 보정 파라미터를 이용하여, 제1 복호 부분 신호를 정규화함으로써, 제1 복호 변환 출력 신호를 보정한다. 보정 파라미터는, 예를 들면, 제1 역변환 행렬의 놈이다.

놈 보정부(1140)는, 제1 역변환 행렬 A^-1 ₁ ⁿ으로부터 산출한 놈을 이용하여, 통합 후의 신호 y＾'₁ ⁿ을 보정한다. 놈은, 실시 형태 5와 동일하게, 식 12에 따라 산출된다.

또한, 부호화 신호에 제1 역변환 계수 행렬 A^-1 ₁ ⁿ이 포함되어 있는 경우 등, 제1 역변환 행렬 A^-1 ₁ ⁿ이 적응적으로 변화하는 경우, 놈도 변화하므로, 놈 보정부(1140)는 놈을 산출하고, 산출한 놈을 이용하여 통합 후의 신호 y＾'₁ ⁿ을 보정한다. 제1 역변환 계수가 고정의 계수인 경우, 놈 보정부(1140)는, 내부 메모리 등에 놈을 유지해 두면 된다.

놈 보정부(1140)는, 실시 형태 5의 변형예에 따른 놈 보정부(940)와 반대의 처리를 행한다. 구체적으로는, 놈 보정부(1140)는, 식 23에 나타낸 바와 같이, 통합 후의 신호 y＾'₁ ⁿ에 놈을 곱함으로써, 제1 복호 변환 출력 신호 y＾₁ ⁿ을 생성한다.

[수식 23]

또한, 식 23에 나타낸 승산은, 통합 후의 신호 y＾'₁ ⁿ에 포함되는 요소마다 행해진다. 즉, 놈 보정부(1140)는, 통합 후의 신호 y＾'₁ ⁿ의 요소 y＾'₁(i)에, 놈 N(i)를 곱함으로써, 제1 복호 변환 출력 신호 y＾₁ ⁿ의 요소 y＾₁(i)를 생성한다.

또한, 상기의 놈 보정은, 통합부(420)에 의한 통합 전의 2개의 입력 신호인 제2 복호 부분 신호, 및 제1 복호 부분 신호에 각기 다르게 행해도 된다.

도 38은, 본 발명의 실시 형태 6의 변형예에 따른 역변환부(1030b)의 구성의 일례를 도시한 블록도이다. 역변환부(1030b)는, 역변환부(1030)와 비교하여, 놈 보정부(1141 및 1142)를 더 구비한다.

놈 보정부(1141)는, 제1 복호 부분 신호 y＾'_1L ^m에 놈 보정을 행한다. 구체적으로는, 놈 보정부(1141)는, 제1 역변환에 이용하는 제1 역변환 행렬 A^-1 ₁ ⁿ으로부터 산출한 놈 N을 이용하여, 입력되는 제1 복호 부분 신호 y＾'_1L ^m을 보정한다(식 23 참조, y＾₁(i)는 y＾_1L(i)로, y＾'₁(i)는 y＾'_1L(i)로 대체한다). 또한, 놈 N은, 상기의 식 12에 의해 산출된다.

놈 보정부(1142)는, 제2 복호 부분 신호 y＾'_1H ^n-m에 놈 보정을 행한다. 구체적으로는, 놈 보정부(1142)는, 제1 역변환에 이용하는 제1 역변환 행렬 A^-1 ₁ ⁿ으로부터 산출한 놈 N을 이용하여, 입력되는 제2 복호 부분 신호 y＾'_1H ^n-m을 보정한다(식 23 참조, y＾₁(i)는 y＾_1H(i)로, y＾'₁(i)는 y＾'_1H(i)로 대체한다).

통합부(420)는, 놈 보정이 행해진 제1 복호 부분 신호와 제2 복호 부분 신호를 통합함으로써, 제1 복호 변환 출력 신호를 생성한다. 또한, 놈 N은, 상기의 식 12에 의해 산출된다.

또한, 제2 역변환 후의 제2 복호 변환 출력 신호 y＾'_1L ^m에 놈 보정을 행하는 것이 아니라, 제2 역변환 행렬 A^-1 ₂ ^m에 놈 보정을 행해도 동일한 효과가 얻어진다.

놈 보정부(1141)는, 제1 역변환 행렬 A^-1 ₁ ⁿ으로부터 산출한 놈을 이용하여, 제2 변환 계수를 보정한다. 또한, 놈은, 식 12에 의해 산출된다. 구체적으로는, 놈 보정부(1141)는, 식 24에 따라 제2 역변환 계수를 보정한다. 요컨대, 놈 보정부(1141)는, 제2 역변환 계수에 놈을 곱함으로써, 보정 후의 제2 역변환 계수를 생성한다.

[수식 24]

제2 역변환부(410)는, 보정 후의 제2 역변환 행렬 A^-1' ₂ ^m을 이용하여, 제2 복호 변환 출력 신호 y＾₂ ^m을 역변환함으로써, 제1 복호 부분 신호 y＾_1L ^m을 생성한다.

이상과 같이, 제1 역변환 전의 신호에 대해 놈 보정을 행함으로써, 역변환 행렬의 기저를 일정하게 할 수 있으며, 변환의 정밀도를 높일 수 있다.

또한, 도 37에 나타낸 구성과 도 38에 나타낸 구성을 비교하면, 도 37의 구성은, 놈 보정부가 단일하므로, 실장을 단순화할 수 있다는 효과가 있다. 한편, 도 38의 구성은, 2개의 신호의 유효성이 다른 경우에, 각각의 유효 정밀도에 따른 최소한의 유효 정밀도를 구비하는 놈 보정부를 실현할 수 있는 효과가 있다.

또, 놈 보정과 동일하게, H.264에서는 역양자화부에서 행하고 있었던, 양자화 매트릭스(Qmatrix)의 웨이트스케일의 가중 처리를, 도 37 또는 도 38에서 나타낸 놈 보정부에서 행해도 된다. 요컨대, 양자화 매트릭스의 웨이트스케일을 이용하여 제1 복호 부분 신호를 가중함으로써, 제1 복호 변환 출력 신호를 보정해도 된다.

놈 보정부(1140)는, 실시 형태 5의 변형예에 따른 놈 보정부(940)가 행하는 처리와 반대의 처리를 행한다. 구체적으로는, 놈 보정부(1140)는, 통합 후의 신호 y＾'₁ ⁿ에 양자화 파라미터를 곱함으로써, 제1 복호 변환 출력 신호 y₁ ⁿ을 생성한다. 또한, 이것은, 식 25에 나타낸 바와 같이, 보정 계수 mf로 통합 후의 신호 y＾'₁ ⁿ을 제산하는 것과 등가이다.

[수식 25]

또한, 보정 계수 mf는, 식 16에 의해 나타내어진다.

또, 도 38에 나타낸 바와 같이, 제1 복호 부분 신호에 양자화 매트릭스의 스케일링을 행하는 경우는, 제2 역변환 전에 포스트스케일 역보정을 행하는 것이 바람직하다.

구체적으로는, 양자화 매트릭스로부터 산출되는 보정 계수 mf_2의 역수를 제2 복호 변환 출력 신호 y＾₂ ^m에 곱함으로써, 역보정 후의 제2 복호 변환 출력 신호 y＾'₂ ^m을 생성한다. 또한, 이것은, 식 26에 나타낸 바와 같이, 보정 계수 mf_2로 제2 복호 변환 출력 신호 y＾₂ ^m을 제산하는 것과 등가이다.

[수식 26]

또한, 보정 계수 mf_2(j)는, 식 18 및 식 19에 의해 나타내어진다.

또, 도 38의 예에 있어서, 양자화 매트릭스의 웨이트스케일의 가중에 있어서도, 역변환 후의 제2 복호 변환 출력 신호 y＾'_1L ^m이 아니라, 제2 역변환 행렬 A^-1 ₂ ^m을 보정해도 된다.

이 때, 놈 보정부(1141)는, 양자화 매트릭스를 이용하여 제2 역변환 행렬 A^-1 ₂ ^m을 보정한다. 구체적으로는, 놈 보정부(1141)는, 식 27에 따라, 제2 역변환 행렬 A^-1 ₂ ^m을 보정한다. 식 27에 나타낸 바와 같이, 놈 보정부(1141)는, 제2 역변환 계수 a^-1 ₂(i, j)마다, 양자화 매트릭스의 요소의 역수 mf(i)와, 양자화 매트릭스로부터 산출되는 보정 계수 mf_2(j)로 제산한다.

[수식 27]

이상과 같이, 역변환 후의 제2 복호 변환 출력 신호 y＾'_1L ^m이 아니라, 제2 역변환 행렬 A^-1 ₂ ^m을 보정하는 것에 의해서도, 동일하게, 부호화 효율을 높이는 효과를 얻을 수 있다.

또한, 놈 보정과 양자화 파라미터의 가중을 조합해도 된다. 즉, 놈 보정부(1141)는, 역변환 후의 제2 복호 변환 출력 신호 y＾'_1L ^m 또는 제2 역변환 행렬 A^-1 ₂ ^m에, 놈 보정과 양자화 매트릭스의 가중의 양쪽을 행해도 된다.

예를 들면, 역변환 후의 제2 복호 변환 출력 신호 y＾'_1L ^m을 보정하는 경우, 놈 보정부(1141)는, 식 28에 따라, 역변환 후의 제2 복호 변환 출력 신호 y＾'_1L ^m을 보정한다. 구체적으로는, 놈 보정부(1141)는, 역변환 후의 제2 복호 변환 출력 신호 y＾'_1L ^m의 요소 y＾'_1L(i)마다, 제1 역변환 행렬 A^-1 ₁ ⁿ으로부터 산출된 놈 N(i)를 곱하고, 양자화 매트릭스의 요소의 역수 mf(i)를 제산함으로써, 제1 복호 부분 신호 y＾_1L ^m을 생성한다.

[수식 28]

또, 제2 역변환 행렬 A^-1 ₂ ^m을 보정하는 경우, 놈 보정부(1141)는, 식 29에 따라, 제2 역변환 행렬 A^-1 ₂ ^m을 보정한다. 구체적으로는, 놈 보정부(1141)는, 제2 변환 계수 a^-1 ₂(i, j)마다, 제1 역변환 행렬 A^-1 ₁ ⁿ으로부터 산출된 놈 N(i)를 곱하고, 양자화 매트릭스의 요소의 역수 mf(i)와, 양자화 매트릭스로부터 산출되는 보정 계수 mf_2(j)로 제산함으로써, 보정 후의 제2 역변환 행렬 A^-1' ₂ ^m을 생성한다.

[수식 29]

이상과 같은 구성이어도, 보다 적합한 제2 역변환을 제2 복호 변환 출력 신호에 적용할 수 있다.

또한, 변환 입력 신호의 데이터량이 많은 경우에는, 놈의 보정 처리와 웨이트스케일의 가중 처리를 생략하여, 연산량을 삭감하고, 변환 입력 신호의 데이터량이 적은 경우만, 이들 처리를 행해도 된다. 또한, 놈의 보정 처리와 웨이트스케일의 가중은, 보정 대상의 신호가 비제로인 경우에만 한정하여, 연산량을 삭감해도 된다.

또한, 변환 입력 신호의 데이터량이 많은 경우란, 구체적으로는, 변환 블록의 사이즈가 4×4화소, 8×8화소, 16×16화소, 32×32화소 등과 같이 복수 종류 정의될 때, 32×32는 4×4나 8×8보다 데이터량이 많다고 생각한다. 혹은, 변환 행렬의 비제로 계수가 많은 경우를 가리킨다고 생각해도 된다.

또한, 변환 입력 신호의 데이터량이 많은 경우에는, 놈의 보정 처리와 웨이트스케일의 가중 처리에 대해, 승산이 아니라, 시프트와 가산만으로 이루어지도록 근사하여, 승산 횟수를 삭감해도 된다.

또한, 수치를 정확하게 표현하는데 필요한 메모리의 데이터 사이즈(여기에서는 필요 비트 길이로 한다)는, 일반적으로 행렬 연산에 의해 증가한다. 제2 복호 부분 신호는, 제2 역변환이 행해지지 않는 한편, 제1 복호 부분 신호는 제2 역변환부(410)에 있어서 승산이 행해지고 있으므로, 필요 비트 길이가 상이할 가능성이 있다. 따라서, 제2 역변환부(410)에 있어서 필요 비트 길이가 M비트 증가하는 경우, 제2 복호 부분 신호는, M비트분 시프트 업해 두어도 된다.

예를 들면, 도 36의 구성에 있어서는, 제1 역변환부(1130)에 입력하기 전의 시점에서 비트 길이를 일치시키는 보정을 행함으로써, 제1 역변환부(1130)를 전환할 필요가 없어져, 제1 역변환부(1130)의 구성을 간략화할 수 있다. 또, 도 37에 나타낸 구성에 있어서, 놈 보정부(1140)에 입력하기 전의 시점에서 필요 비트 길이를 일치시키는 보정을 행함으로써, 놈 보정부(1140)의 처리를, 제2 복호 부분 신호와, 제1 복호 부분 신호로 전환할 필요가 없어져, 놈 보정부(1140)의 구성을 간략화할 수 있다.

또, 도 38에 나타낸 구성의 경우, 제2 복호 부분 신호가 입력되는 놈 보정부(1142)는, 입력 신호의 필요 비트 길이가 낮은 채이므로, 내부의 신호 처리에 필요한 필요 비트 길이를 낮게 억제하여, 회로 자원을 절약할 수 있다. 혹은, 입력 신호의 필요 비트 길이가 낮은 분만큼, 놈 보정부(1142)에 있어서 승산하는, 놈 보정량, 및 웨이트스케일의 가중량의 유효 정밀도를 올려도 되며, 이 경우, 놈 보정과 웨이트스케일의 가중의 연산 정밀도를 향상시킬 수 있다.

혹은, 제2 역변환부(410)에 입력하는 제2 복호 변환 출력 신호를 미리 N비트 시프트 다운해 두고, 제2 역변환부(410)의 내부 처리의 필요 정밀도를 낮춰, 회로 자원을 절약해도 된다. 또한, 제2 역변환부(410)의 변환에 의해 증가하는 비트 길이가 M비트일 때, N은 M보다 작게 설정해도 된다. 이 경우, 제2 역변환으로의 입력 시에 N비트의 시프트 다운을 행할 때, 제2 역변환의 출력에 대해 M-N비트의 시프트 다운을 행한다.

이와 같이, 제2 역변환에 있어서의 유효 데이터 길이가 소정의 값 이하에 들어가도록, 제2 역변환부(410)에 입력하는 제2 복호 변환 출력 신호를 구성하는 계수치를 시프트 다운함으로써, 제2 복호 변환 출력 신호를 보정해도 된다. 이에 의해, 제2 역변환부(410)의 내부 처리의 필요 정밀도를 낮춰, 회로 자원을 절약할 수 있다.

또, 제1 복호 부분 신호 또는 제2 복호 변환 출력 신호를 구성하는 계수치의 비트 길이가, 제2 복호 부분 신호를 구성하는 계수치의 비트 길이와 같아지도록, 제1 복호 부분 신호 또는 제2 복호 변환 출력 신호를 구성하는 계수치를 시프트 다운해도 된다.

또한, 본 실시 형태에서 서술한 비트 조작의 비트 길이는, 시퀀스 단위, GOP 단위, 프레임 단위, 블록 단위로 제어해도 된다. 제2 복호 변환 출력 신호의 블록의 유효 비트 길이(어떤 순간에 실제로 메모리를 소비하고 있는 사이즈)에 의거하여, 블록 단위로 비트 길이를 제어함으로써, 연산 정밀도를 높일 수 있다. 예를 들면, 제2 복호 변환 출력의 블록의 유효 비트 길이가 길 때는, 제2 역변환부(410)로의 입력 전의 시프트 다운량을 크게 하고, 그렇지 않을 때는, 제2 역변환부(410)로의 입력 전의 시프트 다운량을 작게 해도 된다.

또, 제1 변환 및 제1 역변환은, 이산 코사인 변환과, 이산 사인 변환을 전환하는 구성이어도 된다. 전환 플래그 정보는 부호화 장치에 있어서 부호화 신호로 다중화되고, 복호 장치에 있어서 복호되며, 부호화 장치로부터 복호 장치에 통지된다. 이산 코사인 변환과, 이산 사인 변환은, 위상이 상호 pi/2로 어긋난 변환이므로, 제2 변환과 제2 역변환 계수는, 상호 pi/2만큼 어긋난 관계를 갖게 하여, 역변환 계수의 정보량을 삭감해도 된다.

(실시 형태 7)

본 발명의 실시 형태 7에 따른 부호화 장치 및 부호화 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등 부호화 대상이 되는 신호를, 복수 종류의 변환의 조합에 의해 변환을 행하는 변환부 및 변환 방법을 구비한다. 본 발명의 실시 형태 7에 따른 부호화 장치 및 부호화 방법에서는, 다차원의 신호에 대해 분리형 및 비분리형의 변환을 행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 7에 따른 부호화 장치에서는, 변환 입력 신호, 제1 변환 출력 신호, 제2 부분 신호, 및 변환 출력 신호는, P(P는 2 이상의 정수)차원 신호이다. 제2 변환부(220)는, P차원 신호를 입출력하는 경우와, 1차원 신호를 입출력하는 경우의 어느 쪽이어도 된다. 제2 변환부(220)가 1차원 신호를 입출력하는 경우, 제2 변환부(220)는, 실시 형태 1, 3 및 5와 동일하다.

분할부(210)는, P차원의 변환 입력 신호를 분할 통합 정보에 따라 제1 부분 신호와 제2 부분 신호로 분할한 후, 또한, 제1 부분 신호를 1차원으로 재배열한다. 재배열의 순서 정보는, 분할 통합 정보에 추가적으로 저장된다.

통합부(230)는, 제2 변환 출력 신호와 제2 부분 신호를 분할 통합 정보에 따라 통합함으로써, 변환 출력 신호를 생성한다. 이 때, 통합부(230)는, 1차원 신호인 제2 변환 출력 신호를, 분할 통합 정보에 저장된 재배열 정보에 의거하여 P차원 신호로 재배열한 후, P차원의 제2 변환 출력 신호와 P차원의 제2 부분 신호를 통합한다. 또한, 제2 변환부(220)가 P차원 신호를 입출력하는 경우, 1차원 신호로의 재배열을 행하지 않아도 된다.

또한 이 경우, 제2 변환부(220)는, 분리형(수평 축 방향과 수직 축 방향의 2단계 변환)의 변환을 행해도 된다. 즉, 제2 변환부(220)는, 수평 방향으로 행 단위로 변환을 행하고, 수직 방향으로 열 단위로 변환을 행한다. 또한, 수평과 수직의 순서는 반대여도 된다.

또, 요소수가 1개인 행 또는 열 단위의 변환은, 실질 처리를 하고 있지 않은 것과 동등하므로 처리를 스킵해도 되고, 혹은, 후단의 놈 보정의 처리를 여기에서 행해도 된다. 또, 행 변환의 변환 계수와 열 변환의 변환 계수는, 같아도 달라도 된다. 행 변환의 변환 계수는, 모든 행에서 동일한 변환 계수를 이용하여 변환 계수의 데이터량을 삭감해도 되고, 행 단위로 다른 변환 계수를 이용하여, 행 단위의 통계적인 성질의 차이에 적응시켜 변환 성능을 올려도 된다. 열 변환에 대해서도 행 변환과 동일하며, 모든 열에서 동일한 변환 계수를 이용해도 되고, 혹은, 다른 변환 계수를 이용해도 된다.

이들의 차이는, P차원 신호를 변환의 입력 시점에서 1차원으로 재배열하는 비분리형인지, 변환 내부에서 1차원 단위로 처리를 행하는 분리형의 구성을 취하는 것인지이다.

또한, 제2 변환 계수의 일부에 제로를 설정함으로써, 그 계수의 승산 처리를 삭감해도 된다. 제로로 설정하는 계수는, 상기와 같이 에너지가 낮은 요소로 한다. 특히, 제2 변환 행렬의 크기가 제1 변환 행렬의 크기와 동일한 경우는, 분할부(210)에 있어서, 제2 변환부(220)에 입력하는 신호(제1 부분 신호)와 입력하지 않는 신호(제2 부분 신호)를 구분할 필요는 없어진다. 따라서, 통합부(230)도 필요하지 않게 된다.

요컨대, 분할부(210)와 통합부(230)를 이용하지 않는 경우는, 도 8(b)에서 나타낸 바와 같이, 제2 변환의 대상이 아닌 요소에 대응하는 변환 행렬의 행에 대해, 대각 요소는 1이고 비대각 요소는 0인 변환 행렬을 이용함으로써, 당해 제2 변환의 대상이 아닌 요소에 가해지는 승산 처리를 삭감하는 것을 특징으로 해도 된다. 제2 변환의 대상 외로 하는 것은, 제1 변환 출력 중 에너지가 작은 요소에 대응하는 행으로 해도 된다. 혹은, 제1 변환 출력의 상호 상관이 작은 요소에 대응하는 변환 행렬의 요소를 제로로 설정해도 된다.

제2 변환부(220)의 전후의 동작에 대해, 4×4×2의 3차원 블록 신호(입력 점수 n=32)가 입력된 경우에 대해, 도 39를 이용하여 설명한다.

P차원(예에서는 P=3)의 제1 변환 출력 신호는, 분할부(210)에 있어서 분할 통합 정보에 따라, 제1 부분 신호와 제2 부분 신호로 분할된다. 제2 변환부(220)는, 제1 부분 신호에, 제2 변환 행렬을 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성한다. 통합부(230)는, 제2 변환 출력 신호와, 제2 부분 신호를 통합함으로써, 변환 출력 신호로서 출력된다.

우선, 제1 변환부(200)가 행하는 제1 변환에 대해 설명한다. 제1 변환부(200)는, P차원의 입력 신호(예를 들면, 복수의 2차원의 변환 입력 신호)의 각각에 제1 변환을 행함으로써, 복수의 제1 변환 출력 신호를 생성한다.

P차원의 신호인 변환 입력 신호에 대해, 도 39에 나타낸 바와 같이 P-1차원의 제1 변환을 복수회 적용하여, 제1 변환 출력 신호를 생성해도 된다. 예를 들면, 도 39에서 나타낸 예에서는, 제1 변환부(200)는, 4×4×2의 3차원의 변환 입력 신호에 대해, 4×4의 2차원의 제1 변환을 2회 행한다.

또한, 도 39에서는, 설명을 알기 쉽게 하기 위해, 2개의 제1 변환부(200)를 나타내고 있지만, 1개의 제1 변환부(200)가 2회의 2차원의 제1 변환을 행하면 된다. 또, 실제로 변환부가 2개의 제1 변환부(200)를 구비하고, 2개의 제1 변환부(200)가 각각 1회씩 2차원의 제1 변환을 행해도 된다.

혹은, 제1 변환부(200)는, P차원의 변환 입력 신호에 대해, P차원의 제1 변환을 1회 행해도 된다. P차원의 제1 변환은 분리형이어도 되고, 혹은, 비분리형이어도 된다.

다음에, 제2 변환부(220)가 행하는 제2 변환에 대해 설명한다. 제2 변환부(220)는, 복수의 제1 변환 출력 신호의 일부인 복수의 제1 부분 신호를 포함하는 일괄 신호에, 일괄적으로 제2 변환을 행한다.

도 40은, 분리형의 구성의 제2 변환의 데이터 흐름을 개념적으로 도시한 도면이다. 2개의 2차원 블록을 포함하는 신호가 입력된 경우, 우선, 제2 변환부(220)는, 2차원 신호의 수평 방향으로 변환을 행한다(S501). 다음에, 제2 변환부(220)는, 수직 방향으로 변환을 행한다(S502). 마지막으로, 제2 변환부(220)는, 블록에 걸쳐지는 방향으로 변환을 행한다(S503). 또한, 이 순서는 일례이며, 수평, 수직, 블록에 걸쳐지는 방향의 처리 순서는, 이것에 한정되는 것은 아니다. 또, 분리형의 구성의 제2 역변환도, 도 40과 동일하게, 수평 방향, 수직 방향, 블록에 걸쳐지는 방향 등의 순서로 역변환을 행한다. 역변환의 순서도, 이것에 한정되는 것은 아니다.

이와 같이, 본 발명의 실시 형태 7에 따른 제2 변환부(220)는, P차원의 각각에 대해 1차원의 변환을 P회 행하는 분리형의 제2 변환을, P차원의 제1 부분 신호에 행한다. 즉, 도 40에 나타낸 예에서는, 3차원의 각각에 대해 1차원의 변환을 3회 행하는 분리형의 제2 변환을, 3차원의 제1 부분 신호에 행한다.

본 발명의 실시 형태 7의 변환 처리의 흐름은, 실시 형태 1, 3, 5와 거의 동일하므로, 여기에서는, 도 6을 이용하여 설명한다.

또한, 본 발명의 실시 형태 7에 따른 부호화 장치에 입력되는 입력 신호는, 예를 들면, 입력 화상 또는 예측 오차 화상을 구성하는 복수의 블록 각각에 대응하는 화상 신호이다. 구체적으로는, 복수의 블록은, 도 41에 나타낸 바와 같이, 입력 화상 또는 예측 오차 화상의 휘도 블록 또는 색차 블록을 포함한다. 혹은, 복수의 블록은, 도 42에 나타낸 바와 같이, 입력 화상 또는 예측 오차 화상 내에 있어서 서로 공간적으로 인접하는 블록을 포함해도 된다.

우선, 제1 변환 계수 도출부(202)는, 제1 변환 계수를 결정한다(단계 S111). 다음에, 제1 변환부(200)는, P차원의 변환 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성한다(단계 S112). 이 때, 제1 변환은, 입력 신호의 차원보다 낮은 차원으로 복수회 행해져도 된다.

다음에, 분할 통합 정보 산출부(612)는, 분할 통합 정보를 결정한다(단계 S113). 다음에, 분할부(210)는, 분할 통합 정보에 의거하여, 제1 변환 출력 신호를 제1 부분 신호와 제2 부분 신호로 분할한다(단계 S114). 이 때, 분할부(210)는, 제1 부분 신호의 상관 에너지가 제2 부분 신호의 상관 에너지보다 커지도록 분할한다.

다음에, 제2 변환 계수 도출부(222)는, 제1 부분 신호의 국소적인 집합의 통계적 성질에 의거하여, 제2 변환 계수를 결정한다(단계 S115). 그리고, 제2 변환부(220)는, 제1 부분 신호에 대해 제2 변환 행렬을 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성한다(단계 S116).

마지막으로, 통합부(230)는, 제2 변환 출력 신호와 제2 부분 신호를 통합함으로써, 변환 출력 신호를 생성한다(단계 S118).

또한, 제1 변환이 고정 변환인 경우에는, 단계 S111은 생략된다. 또한, 단계 S111, 단계 S113, 단계 S115는 다른 방법에 의해 결정되며, 본 실시 형태의 일부로서 동작하지 않아도 된다. 또, 제2 변환이 분리형인 경우는, 단계 S114에 있어서, 분할부(210)가, 제1 부분 신호를 P차원으로부터 1차원으로 재배열하고, 단계 S118에 있어서, 통합부(230)가, 제2 변환 출력 신호를 1차원으로부터 P차원으로 재배열한 후, 통합한다.

또한, 상술한 바와 같이, 본 실시 형태에서는, 다차원의 변환 입력 신호는, 휘도 신호(Y 신호) 및 색차 신호(U 신호, V 신호)여도 된다. 도 41은, 다차원의 변환 입력 신호가 YUV 신호인 경우의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.

휘도 신호(Y 신호)와 2개의 색차 신호(U 신호와 V 신호)는, 제1 변환부(200)에 있어서, 동시에 3차원의 제1 변환이 행해지거나, 혹은, 개별적으로 2차원의 제1 변환이 행해진다.

제2 변환부(220)는, Y 신호의 제1 변환 출력 신호와, U 신호의 제1 변환 출력 신호와, V 신호의 제1 변환 출력 신호 중, 에너지가 큰 저역측 영역인 제1 부분 신호에 대해, 제2 변환을 행하여, 제2 변환 출력 신호를 생성한다. 이 때, 제2 변환부(220)는, 예를 들면, 도 40에 나타낸 바와 같은 순서로, 복수의 제2 변환 출력 신호에 일괄적으로 제2 변환을 행한다.

그리고, 제2 변환 출력 신호와, 제2 변환이 적용되지 않은 영역인 제2 부분 신호는 통합됨으로써, 변환 출력 신호가 생성된다. Y 신호의 변환 출력 신호, U 신호의 변환 출력 신호, 및 V 신호의 변환 출력 신호는, 각각 개별적으로 스캔되어, 양자화된다. 또한, 실시 형태 11에서 서술하는 바와 같이, 제2 변환 출력 신호에 대해서는, 제2 부분 신호와는 독립된 스캔, 양자화를 행해도 된다.

또, 본 실시 형태에서는, 다차원의 변환 입력 신호는, 공간적으로 인접하는 블록의 화상 신호여도 된다. 도 42는, 다차원의 변환 입력 신호가 공간적으로 인접하는 블록 신호인 경우의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.

공간적으로 인접하는 복수개의 소블록(도 42에 나타낸 예에서는, 4개)은, 제1 변환부(200)에 의해, 개별적으로 제1 변환이 행해진다. 다음에, 제2 변환부(220)는, 각각의 제1 변환 출력 신호 중, 에너지가 큰 요소를 포함하는 저역측 영역인 제1 부분 신호에 대해, 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성한다. 이 때, 제2 변환부(220)는, 예를 들면, 도 40에 나타낸 바와 같은 순서로, 복수의 제2 변환 출력 신호에 일괄적으로 제2 변환을 행한다.

그리고, 제2 변환 출력 신호와, 제2 변환이 적용되지 않은 영역인 제2 부분 신호는 통합됨으로써, 변환 출력 신호가 생성된다. 소블록의 변환 출력 신호는, 각각 개별적으로 스캔되어, 양자화된다. 또한, 실시 형태 11에서 서술하는 바와 같이, 제2 변환 출력 신호에 대해서는, 제2 부분 신호와는 독립된 스캔, 양자화를 행해도 된다.

이상과 같이, 본 발명의 실시 형태 7에 따른 부호화 장치 및 부호화 방법에 의해, 변환 처리의 연산량과 변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 특히, P차원(P는 2 이상의 정수)의 입력 신호에 대해 효과적이다.

또한, 본 발명의 실시 형태 7에 있어서, 제2 변환부(220)는, 비분리형의 제2 변환을 행해도 된다. 즉, 제2 변환부(220)는, P차원의 신호를 1차원의 신호로 재배열하고, 재배열한 후의 신호에 변환을 행하는 비분리형의 제2 변환을, P차원의 제1 부분 신호에 행해도 된다. 구체적으로는, 실시 형태 1 등에서 설명한 경우와 동일하므로, 여기에서는 설명을 생략한다.

(실시 형태 8)

본 발명의 실시 형태 8에 따른 복호 장치 및 복호 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등의 신호가 부호화된 부호화 신호(예를 들면, 실시 형태 7에서 생성된 부호화 신호)를, 복수 종류의 변환의 조합에 의해 역변환을 행하는 역변환부 및 역변환 방법을 구비한다. 본 발명의 실시 형태 8에 따른 복호 장치 및 복호 방법은, 다차원의 신호에 대해 분리형 및 비분리형의 역변환을 행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 8에 따른 복호 장치에서는, 복호 변환 출력 신호, 복호 변환 입력 신호, 복호 신호, 예측 신호가 P차원 신호(P는 2 이상의 정수)이다. 요컨대, 복호 변환 출력 신호, 제2 복호 부분 신호, 제1 복호 변환 출력 신호, 복호 변환 입력 신호는, P차원 신호이다. 제2 역변환부(410)는, P차원 신호를 입출력하는 경우와 1차원 신호를 입출력하는 경우의 어느 쪽이어도 된다. 제2 역변환부(410)가 1차원 신호를 입출력하는 경우, 제2 역변환부(410)는, 실시 형태 2, 4 및 6과 동일하다.

분할부(400)는, P차원 신호를 분할 통합 정보에 따라, 제2 복호 변환 출력 신호와 제2 복호 부분 신호로 분할한 후, 또한, 제2 복호 변환 출력 신호를 1차원으로 재배열한다. 재배열의 순서 정보는, 분할 통합 정보에 추가적으로 저장되어 있다.

통합부(420)는, 제1 복호 부분 신호와 제2 복호 부분 신호를 분할 통합 정보에 따라 통합함으로써, 제1 복호 변환 출력 신호를 생성한다. 이 때, 통합부(420)는, 1차원 신호인 제1 복호 부분 신호를, 분할 통합 정보에 저장된 재배열 정보에 의거하여 P차원 신호로 재배열한 후, P차원의 제1 복호 부분 신호와 P차원의 제2 복호 부분 신호를 통합한다. 또한, 제2 역변환부(410)가 P차원 신호를 입출력하는 경우, 1차원 신호로의 재배열을 행하지 않아도 된다. 이 경우의 데이터 흐름의 개념도는, 도 13b가 된다.

또한, 이 경우, 제2 역변환부(410)는, 분리형(수평 축 방향과 수직 축 방향의 2단계 변환)의 변환을 행해도 된다. 이 경우의 데이터 흐름의 개념도는, 도 43이 된다. 즉, 제2 역변환부(410)는, 수평 방향으로 행 단위로 역변환을 행하고, 수직 방향으로 열 단위로 역변환을 행한다. 또한, 수평과 수직의 순서는 반대여도 된다.

또, 요소수가 1개인 행 또는 열 단위의 변환은 실질 처리를 하고 있지 않은 것과 동등하므로 처리를 스킵해도 되고, 혹은, 후단의 놈 보정의 처리를 여기에서 행해도 된다. 또, 행 변환의 역변환 계수와 열 변환의 역변환 계수는, 같아도 달라도 된다. 행 변환의 역변환 계수는, 모든 행에서 동일한 역변환 계수를 이용함으로써, 역변환 계수의 데이터량을 삭감해도 되고, 행 단위로 다른 역변환 계수를 이용하여, 행 단위의 통계적인 성질의 차이에 적응시켜 변환 성능을 올려도 된다. 열 변환에 대해서도 행 변환과 동일하며, 모든 열에서 동일한 역변환 계수를 이용해도 되고, 혹은, 다른 역변환 계수를 이용해도 된다.

이들의 차이는, P차원 신호를 역변환의 입력 시점에서 1차원으로 재배열하는 비분리형인지, 역변환의 내부에서 1차원 단위로 처리를 행하는 분리형의 구성을 취하는 것인지이다.

또한, 제2 역변환 계수의 일부에 제로를 설정함으로써, 그 계수의 승산 처리를 삭감해도 된다. 제로로 설정하는 계수는, 상기와 같이 에너지가 낮은 요소로 한다. 특히, 제2 역변환 행렬의 크기가 제1 역변환 행렬의 크기와 동일한 경우는, 분할부(400)에 있어서, 제2 역변환부(410)에 입력하는 신호(제2 복호 변환 출력 신호)와 입력하지 않는 신호(제2 복호 부분 신호)를 구분할 필요는 없어진다. 따라서, 통합부(420)도 필요하지 않게 된다.

요컨대, 분할부(400)와 통합부(420)를 이용하지 않는 경우는, 제2 역변환 계수에 복수개의 비제로 계수를 설정함으로써, 당해 계수에 가해지는 승산 처리를 삭감하는 것을 특징으로 해도 된다. 또, 이 때, 제로 계수를 설정하는 것은, 에너지가 작은 위치로 해도 되고, 상호 상관이 작은 계수만으로 해도 된다. 또한, 비대각 요소를 모두 0으로 하는 기저에서는, 대각 요소는 1로 한다.

도 44는, 본 발명의 실시 형태 8에 따른 역변환부의 데이터 흐름을 개념적으로 도시한 도면이다.

P차원(도 44의 예에서는, 4×4×2의 3차원 신호, 입력 점수 n=32)의 복호 변환 출력 신호는, 분할부(400)에 있어서, 분할 통합 정보에 따라, 제2 복호 변환 출력 신호(입력 점수 m=6)와, 제2 복호 부분 신호로 분할된다. 제2 역변환부(410)는, 제2 복호 변환 출력 신호에 대해, 제2 역변환 계수로 구성되는 제2 역변환 행렬을 이용하여 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성한다. 즉, 제2 역변환부(410)는, 복수의 부호화 신호의 일부에 대응하는 제2 복호 변환 출력 신호(도 44의 예에서는, 2개의 2차원의 제2 복호 변환 출력 신호)를 포함하는 일괄 신호에, 일괄적으로 제2 역변환을 행함으로써, 복수의 제1 복호 부분 신호를 생성한다.

통합부(420)는, 제1 복호 부분 신호와 제2 복호 부분 신호를 통합함으로써, 제1 복호 변환 출력 신호를 생성한다. 그리고, 제1 역변환부(430)는, 제1 복호 변환 출력 신호에 대해, 제1 역변환 계수로 구성되는 제1 역변환 행렬을 이용하여 제1 역변환함으로써, 복호 변환 입력 신호를 생성한다. 즉, 제1 역변환부(430)는, 복수의 제1 부분 신호의 각각과, 대응하는 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호의 각각에, 제1 역변환을 행함으로써, 복호 변환 입력 신호를 생성한다.

또한, 제2 역변환부(410)는, 2개의 2차원 블록을 포함하는 신호가 입력된 경우, 도 40과 동일하게, 수평 방향, 수직 방향, 블록에 걸쳐지는 방향 등의 순서로 역변환을 행한다. 역변환의 순서는, 이것에 한정되는 것은 아니다.

또, 제1 역변환부(430)에서는, 도 44에 나타낸 바와 같이 P-1차원의 제1 역변환을 복수회 적용함으로써, 복호 변환 입력 신호를 생성해도 된다. 예를 들면, 도 44에서 나타낸 예에서는, 제1 역변환부(430)는, 4×4×2의 3차원의 제1 복호 변환 출력 신호에 대해, 4×4의 2차원의 제1 역변환을 2회 행한다.

또한, 도 44에서는, 설명을 알기 쉽게 하기 위해, 2개의 제1 역변환부(430)를 나타내고 있지만, 1개의 제1 역변환부(430)가 2회의 2차원의 제1 변환을 행하면 된다. 또, 실제로 변환부가 2개의 제1 역변환부(430)를 구비하고, 2개의 제1 역변환부(430)가 각각 1회씩 2차원의 제1 변환을 행해도 된다.

혹은, 제1 역변환부(430)는, P차원의 변환 입력 신호에 대해, P차원의 제1 변환을 1회 행해도 된다. P차원의 제1 변환은 분리형이어도 되고, 혹은, 비분리형이어도 된다.

이와 같이, 본 발명의 실시 형태 8에 따른 제2 역변환부(410)는, P차원의 각각에 대해 1차원의 변환을 P회 행하는 분리형의 제2 역변환을, P차원의 제2 복호 변환 출력 신호에 행한다. 즉, 도 44에 나타낸 예에서는, 3차원의 각각에 대해 1차원의 변환을 3회 행하는 분리형의 제2 역변환을, 3차원의 제2 복호 변환 출력 신호에 행한다(도 40 참조).

본 발명의 실시 형태 8의 역변환 처리의 흐름은, 실시 형태 2, 4, 6과 거의 동일하므로, 여기에서는, 도 14를 이용하여 설명한다.

또한, 본 발명의 실시 형태 8에 따른 복호 장치에 입력되는 부호화 신호는, 예를 들면, 입력 화상 또는 예측 오차 화상을 구성하는 복수의 블록의 각각에 대응하는 화상 신호가 부호화된 신호이다. 구체적으로는, 복수의 블록은, 도 45에 나타낸 바와 같이, 입력 화상 또는 예측 오차 화상의 휘도 블록 또는 색차 블록을 포함한다. 혹은, 복수의 블록은, 도 46에 나타낸 바와 같이, 입력 화상 또는 예측 오차 화상 내에 있어서 서로 공간적으로 인접하는 블록을 포함해도 된다.

우선, 분할부(400)는, 분할 통합 정보를 취득한다(단계 S231). 다음에, 분할부(400)는, 분할 통합 정보에 따라, 복호 변환 출력 신호를 제2 복호 변환 출력 신호와 제2 복호 부분 신호로 분할한다(단계 S232).

다음에, 제2 역변환부(410)는, 제2 역변환 계수를 취득한다(단계 S233). 그리고, 제2 역변환부(410)는, 제2 복호 변환 출력 신호에 대해 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성한다(단계 S234).

다음에, 통합부(420)는, 분할 통합 정보에 따라, 제1 복호 부분 신호와 제2 복호 부분 신호를 통합함으로써, 제1 복호 변환 출력 신호를 생성한다(단계 S236).

다음에, 제1 역변환부(430)는, 제1 역변환 계수를 취득한다(단계 S237). 그리고, 제1 역변환부(430)는, 제1 복호 변환 출력 신호에 대해 제1 역변환을 행함으로써, 복호 변환 입력 신호를 생성한다(단계 S238).

또한, 분할 통합 정보를 취득하는 단계 S231, 역변환 계수를 취득하는 단계 S233, S237 등은, 전술한 바와 같이 통지의 베리에이션이 다수 있으므로, 반드시 본 흐름의 타이밍으로 실시된다고는 할 수 없으며, 또, 본 실시 형태의 일부로서 필수의 동작은 아니다. 또, 제2 역변환이 분리형인 경우는, 단계 S232에 있어서, 분할부(400)가, 제2 복호 변환 출력 신호를 P차원으로부터 1차원으로 재배열하고, 단계 S236에 있어서, 제1 복호 부분 신호를 1차원으로부터 P차원으로 재배열한 후, 통합한다.

또한, 상술한 바와 같이 본 실시 형태에서는, 다차원의 복호 변환 출력 신호는, 휘도 신호(Y 신호) 및 색차 신호(U 신호, V 신호)여도 된다. 도 45는, 다차원의 복호 변환 출력 신호가 YUV 신호인 경우의 역변환의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.

Y 신호의 복호 양자화 계수, U 신호의 복호 양자화 계수, V 신호의 복호 양자화 계수는, 역양자화부(320)에 있어서 역양자화되어, 복호 변환 출력 신호가 생성된다. 역양자화는, YUV 신호 각각에 대해 행해도 되고, 실시 형태 11에서 서술하는 바와 같이, 제2 역변환부(410)에 입력되는 부분에 대해서는, 합쳐서 역양자화되어도 된다.

제2 역변환부(410)는, 복호 변환 출력 신호 중 에너지가 큰 저역측 영역인 제2 복호 변환 출력 신호에, 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성한다. 제1 복호 부분 신호는, 제2 역변환이 행해지지 않은 부분인 제2 복호 부분 신호와 통합됨으로써, 제1 복호 변환 출력이 생성된다.

제1 역변환부(430)는, 제1 복호 변환 출력 신호에 대해 제1 역변환을 행함으로써, Y 신호, U 신호, V 신호의 복호 변환 입력 신호를 생성한다. 제1 역변환부(430)는, YUV 신호를 합친 3차원의 변환을 일괄적으로 행해도 되고, 혹은, YUV 신호를 개별적으로 2차원의 변환을 행해도 된다. 또한, 실시 형태 11에서 서술하는 바와 같이, 제2 역변환이 적용되는 부분(제1 복호 부분 신호)에 대해서는, 적용되지 않는 부분(제2 복호 부분 신호)과는 독립된 역스캔, 역양자화를 행해도 된다.

또, 본 실시 형태에서는, 다차원의 복호 변환 출력 신호는, 공간적으로 인접하는 블록의 화상 신호여도 된다. 도 46은, 다차원의 복호 변환 출력 신호가 공간적으로 인접하는 블록 신호인 경우의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.

공간적으로 인접하는 복수개의 소블록(도 46에 나타낸 예에서는, 4개)에 대응하는 복호 양자화 계수는, 역양자화부(320)에 있어서 역양자화되어, 복호 변환 출력 신호가 생성된다. 역양자화는, 4개의 소블록에 대응하는 데이터에 대해 개별적으로 행해진다. 혹은, 제2 역변환부(410)에 입력되는 부분에 대응하는 데이터를 우선 역양자화하고, 4개의 소블록에 대응하는 데이터 중, 제2 역변환부(410)에 입력되지 않는 부분을 개별적으로 역양자화해도 된다.

제2 역변환부(410)는, 4개의 소블록에 대응하는 복호 변환 출력 신호 중, 에너지가 큰 요소를 포함하는 저역측 영역인 제2 복호 변환 출력 신호에 대해, 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성한다. 그리고, 제2 역변환의 출력인 제1 복호 부분 신호와, 제2 역변환이 적용되지 않은 영역인 제2 복호 부분 신호는 통합됨으로써, 제1 복호 변환 출력 신호가 생성된다.

제1 역변환부(430)는, 제1 복호 변환 출력 신호의 각각의 소블록 단위로, 제1 역변환을 행함으로써, 복호 변환 입력 신호를 생성한다. 또한, 실시 형태 11에서 서술하는 바와 같이, 제2 역변환이 적용되는 부분(제1 복호 부분 신호)에 대해서는, 제2 역변환이 적용되지 않는 영역(제2 복호 부분 신호)과는, 독립된 역스캔, 역양자화를 행해도 된다. 또, 제2 역변환이 적용되는 영역의 양자화 계수의 상태에 따라, 제2 역변환이 적용되지 않는 영역에 대한 역스캔, 역양자화, 엔트로피 복호의 내부 상태 변수를 전환해도 된다.

또, 제1 역변환 행렬의 놈을 보정하는 처리는, 도 37 및 도 38에 나타낸 바와 같이, 제1 역변환의 전에 행한다. 구체적으로는, 제2 역변환이 행해지는 부분에 대해서는, 제2 역변환의 후에 행하고, 제2 역변환이 행해지지 않는 부분에 대해서는, 제1 역변환 전의 어느 시점에서 행해도 된다.

이상과 같이, 본 발명의 실시 형태 8에 따른 복호 장치 및 복호 방법에 의해, 변환 처리의 연산량과 역변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 특히, P차원(P는 2 이상의 정수)의 입력 신호에 대해 효과적이다.

또한, 본 발명의 실시 형태 8에 있어서, 제2 역변환부(410)는, 비분리형의 제2 역변환을 행해도 된다. 즉, 제2 역변환부(410)는, P차원의 신호를 1차원의 신호로 재배열하고, 재배열한 후의 신호에 변환을 행하는 비분리형의 제2 변환을, P차원의 제2 복호 변환 출력 신호에 행해도 된다. 구체적으로는, 실시 형태 1 등에서 설명한 경우와 동일하므로, 여기에서는 설명을 생략한다.

(실시 형태 9)

본 발명의 실시 형태 9에 따른 부호화 장치 및 부호화 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등 부호화 대상이 되는 신호를, 복수 종류의 변환의 조합에 의해 변환을 행하는 변환부 및 변환 방법을 구비한다. 본 발명의 실시 형태 9에 따른 부호화 장치는, 분리형의 변환을 제1 변환 및 제2 변환의 적어도 한쪽에서 실행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 9에 따른 부호화 장치 및 부호화 방법에서는, 입력 신호가 P차원 신호(P는 2 이상의 정수)이다. 그 때문에, 변환 출력 신호, 복호 변환 출력 신호, 복호 변환 입력 신호, 복호 신호, 예측 신호도 P차원이 된다.

본 발명의 실시 형태 9에 있어서의 제1 변환부(200)는, 연산 처리의 일부 또는 전부에 있어서, 고정의 변환 처리를 이용한다. 구체적으로는, 예를 들면, MPEG-1/2/4 비디오 부호화 규격 탑재의 이산 코사인 변환이나, H.264/AVC 규격 채용의 정수 정밀도 DCT를 이용한다. 혹은, 실시 형태 1, 3, 5, 7에서 설명한 변환을 분리형 변환의 일부로서 이용해도 된다.

4×4의 2차원 신호가 변환 입력 신호로서 입력된 경우에 대해, 도 47을 이용하여 설명한다. 도 47은, 본 발명의 실시 형태 9에 따른 변환부의 데이터 흐름의 일례를 개념적으로 도시한 도면이다.

제1 변환부(200)는, P차원 신호(도 47에 나타낸 예에서는, P=2)의 변환 입력 신호에, 분리형 변환인 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성한다. 분리형 변환인 제1 변환부(200)는, 행 방향의 변환을 행하는 제1 좌표축 변환을 행하고, 다음에, 열 방향의 변환을 행하는 제2 좌표축 변환을 행한다. 또한, 행 방향과 열 방향의 처리는 교체되는 구성도 있을 수 있다.

n×n의 2차원 신호의 입력은, 차원수가 n×n이며, 변환의 연산량이 방대해지므로, 분리형의 구성을 취하는 것이 바람직하다. 분리형에서는, 행 또는 열의 1개의 변환 단위에 있어서, 차원수는 n이며, 분리형이 아닌 변환의 차원수 n×n과 비교하여 낮기 때문에, 연산량을 경감할 수 있다. 분할부(210), 제2 변환부(220), 통합부(230)의 동작은, 실시 형태 1, 3, 5, 7과 동일하므로 설명을 생략한다.

도 48a를 이용하여, 본 발명의 실시 형태 9에 따른 변환부(110)가 행하는 변환 방법을 설명한다. 도 48a는, 본 발명의 실시 형태 9에 따른 변환부(110)의 동작의 일례를 도시한 흐름도이다.

우선, 제1 변환부(200)는, 변환 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성한다(단계 S112). 단계 S112는, 다음 2개의 단계를 포함하고 있다.

구체적으로는, 우선, 제1 변환부(200)는, 변환 입력 신호를 제1 좌표축 방향으로 변환함으로써, 제1 좌표축 변환 신호를 생성한다(단계 S112a). 그리고, 제1 변환부(200)는, 제1 좌표축 변환 신호를 제2 좌표축 방향으로 변환함으로써, 제2 좌표축 변환 신호를 생성한다(단계 S112b). 이와 같이 하여 생성된 제2 좌표축 변환 신호가, 실시 형태 1, 3, 5, 7에 있어서의 제1 변환 출력 신호에 상당한다.

다음에, 분할 통합 정보 산출부(612)는, 분할 통합 정보를 결정한다(단계 S113). 그리고, 분할부(210)는, 분할 통합 정보에 의거하여, 제1 변환 출력 신호인 제2 좌표축 변환 신호를 제1 부분 신호와 제2 부분 신호로 분할한다(단계 S114). 이 때, 분할부(210)는, 제1 부분 신호의 상관 에너지가 제2 부분 신호의 상관 에너지보다 커지도록 분할한다. 또한, 분할부(210)는, P차원(P는 2 이상의 정수)의 제1 부분 신호를 1차원으로 재배열한다.

다음에, 제2 변환 계수 도출부(222)는, 제1 부분 신호의 국소적인 집합의 통계적 성질에 의거하여, 제2 변환 계수를 결정한다(단계 S115). 그리고, 제2 변환부(220)는, 제1 부분 신호에 대해 제2 변환 행렬을 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성한다(단계 S116).

마지막으로, 통합부(230)는, 1차원 신호의 제2 변환 출력 신호를 P차원으로 재배열하고, 제2 부분 신호와, 1차원으로부터 P차원으로 재배열한 제2 변환 출력 신호를 통합함으로써, 변환 출력 신호를 생성한다(단계 S118).

또한, 도 48b에 나타낸 바와 같이, 분할 통합 정보의 결정(단계 S113)과, 제2 변환 계수의 결정(단계 S115)은 다른 방법에 의해 결정되며, 본 실시 형태의 일부로서 동작하지 않아도 된다.

또, 전술한 제1 좌표축 변환 및 제2 좌표축 변환(단계 S112a, 단계 S112b)은, 실시 형태 1, 3, 5, 7에 기재된 제1 변환이어도 된다. 전술한 제1 좌표축 변환 및 제2 좌표축 변환(단계 S112a, 단계 S112b)은, 예를 들면, MPEG-1/2/4 비디오 부호화 규격 탑재의 이산 코사인 변환이나, H.264/AVC 규격 채용의 정수 정밀도 DCT의 변환이어도 된다.

또, 본 실시 형태에서 제1 변환에 대해 서술한 것과 동일하게, 제2 변환도 분리형의 구성이어도 된다. 제1 변환과 제2 변환이 분리형인 경우, 예를 들면, 입력이 2차원 신호라고 하면, 분리된 각 차원에 있어서 1차원의 신호 처리가 되어, 본 실시 형태 1 내지 8에서 서술한 2단계의 변환 처리가 적용 가능하다.

도 49는, 본 발명의 실시 형태 9의 변형예에 따른 변환부(110)의 동작의 일례를 도시한 흐름도이다. 도 48a 및 도 48b와 동일한 동작을 하는 단계에는 동일한 부호를 붙이고, 설명을 생략한다.

분할부(210)는, 제1 변환 출력 신호를 제1 부분 신호와 제2 부분 신호로 분할한다(단계 S114). 이 때, 분할부(210)는, P차원의 제1 부분 신호를 1차원으로 재배열하지 않는다.

그리고, 제2 변환부(220)는, 제2 변환의 제1 좌표축 변환으로서 행 방향의 변환 처리를 행함으로써, 제1 좌표축 변환 신호를 생성한다(S116a). 이어서, 제2 변환부(220)는, 제1 좌표축 변환 신호에 대해, 제2 변환의 제2 좌표축 변환으로서 열 방향의 변환 처리를 행함으로써, 제2 좌표축 변환 신호를 생성한다(S116b). 이와 같이 하여, 생성된 제2 좌표축 변환 신호가, 제2 변환 출력 신호에 상당한다. 또한, 행과 열의 변환 순서는, 교체되어도 된다.

또한, 제1 방향의 변환 처리와 제2 방향의 변환 처리를 이어서 행해도 된다. 도 50은, 본 발명의 실시 형태 9의 변형예에 따른 변환부(110)의 동작의 일례를 도시한 흐름도이다.

도 49는, 처리의 순서를 교체하여, 제1 변환부(200)가, 행 방향의 제1 변환의 제1 좌표축 변환을 행한 후(S112a), 분할부(210)가, 행 방향으로 분할을 행한다(S114a). 그리고, 제2 변환부(220)는, 행 방향의 제2 변환의 제1 좌표축 변환을 행한 후(S116a), 통합부(230)가, 행 방향의 통합 처리를 행한다(S118a).

이어서, 제1 변환부(200)가, 열 방향의 제1 변환의 제2 좌표축 변환을 행한 후(S112b), 분할부(210)가, 열 방향의 분할을 행한다(S114b). 그리고, 제2 변환부(220)는, 열 방향의 제2 변환의 제2 좌표축 변환을 행한 후(S116b), 통합부(230)가, 열 방향의 통합 처리를 행한다(S118b).

또한, 행과 열의 처리 순서는 교체되어도 된다. 또, 분할 처리와 통합 처리는, 변환 계수가 제로 계수를 포함하는 경우는, 명시적인 단계로서 나타나지 않아도 된다.

이상과 같이, 본 발명의 실시 형태 9에 따른 부호화 장치 및 부호화 방법에 의해, 변환 처리의 연산량과 변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 특히, P차원(P는 2 이상의 정수)의 입력 신호에 대해 효과적이다.

(실시 형태 10)

본 발명의 실시 형태 10에 따른 복호 장치 및 복호 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등의 신호가 부호화된 부호화 신호(실시 형태 9에서 생성된 부호화 신호)를, 복수 종류의 변환의 조합에 의해 역변환을 행하는 역변환부 및 역변환 방법을 구비한다. 본 발명의 실시 형태 10에 따른 복호 장치 및 복호 방법은, 분리형의 역변환을 제1 역변환 및 제2 역변환의 적어도 한쪽에서 실행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 10에 따른 복호 장치 및 복호 방법에서는, 복호 변환 출력 신호, 복호 변환 입력 신호, 복호 신호, 예측 신호가 P차원 신호(P는 2 이상의 정수)이다.

제1 역변환부(430)는, 연산 처리의 일부 또는 전부에 있어서, 고정의 변환 처리를 이용한다. 구체적으로는, 예를 들면, MPEG-1/2/4 비디오 부호화 규격 탑재의 이산 코사인 변환이나, H.264/AVC 규격 채용의 정수 정밀도 DCT를 이용한다. 혹은, 상술한 실시 형태 2, 4, 6, 8의 역변환을 분리형 변환의 일부로서 이용해도 된다.

분할부(400)는, P차원(예를 들면, P=2)의 복호 변환 출력 신호가 입력되고, 분할 통합 정보에 따라, 복호 변환 출력 신호를, 제2 복호 변환 출력 신호와 제2 복호 부분 신호로 분할한다. 제2 역변환부(410)는, 제2 역변환 행렬을 이용하여, 제2 복호 변환 출력 신호에 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성한다.

통합부(420)는, 제2 복호 부분 신호와 제1 복호 부분 신호를, 분할 통합 정보에 따라 통합함으로써, 제1 복호 변환 출력 신호를 생성한다.

제1 역변환부(430)는, 제1 복호 변환 출력 신호에, 분리형 변환인 제1 역변환을 행함으로써, 복호 변환 입력 신호를 생성한다. 제1 역변환부(430)에서는, 행 방향의 변환을 행하는 제1 분리 변환(즉, 제1 좌표축 역변환)을 행하고, 다음에, 열 방향의 변환을 행하는 제2 분리 변환(즉, 제2 좌표축 역변환)을 행한다. 행 방향과 열 방향의 처리는, 교체되는 구성도 있을 수 있다.

n×n의 2차원 신호의 입력은, 차원수가 n×n이며, 변환의 연산량이 방대해지므로, 분리형의 구성을 취하는 것이 바람직하다. 분리형에서는, 행 또는 열의 1개의 변환 단위에 있어서, 차원수는 n이며, 분리형이 아닌 변환의 차원수 n×n과 비교하여 낮기 때문에, 연산량을 경감할 수 있다. 분할부(400), 제2 역변환부(410), 통합부(420)의 동작은, 상술한 실시 형태 2, 4, 6, 8과 동일하므로 설명을 생략한다.

도 51a를 이용하여, 본 발명의 실시 형태 10에 따른 역변환부(330)가 행하는 역변환 방법을 설명한다. 도 51a는, 본 발명의 실시 형태 10에 따른 역변환부(330)의 동작의 일례를 도시한 흐름도이다.

우선, 분할부(400)는, 분할 통합 정보를 취득한다(단계 S231). 그리고, 분할부(400)는, 분할 통합 정보에 따라, P차원 신호(P는 2 이상의 정수)인 복호 변환 출력 신호를 1차원으로 재배열하고, 제2 복호 변환 출력 신호와 제2 복호 부분 신호로 분할한다(단계 S232).

다음에, 제2 역변환부(410)는, 제2 역변환 계수를 취득한다(단계 S233). 그리고, 제2 역변환부(410)는, 제2 복호 변환 출력 신호에 대해 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성한다(단계 S234).

다음에, 통합부(420)는, 분할 통합 정보에 따라, 1차원 신호인 제1 복호 부분 신호를 P차원 신호로 재배열하고, 재배열한 신호와 제2 복호 부분 신호를 통합함으로써, 제1 복호 변환 출력 신호를 생성한다(단계 S236).

다음에, 제1 역변환부(430)는, 제1 역변환 계수를 취득한다(단계 S237). 그리고, 제1 역변환부(430)는, 제1 복호 변환 출력 신호에 대해 제1 역변환을 행함으로써, 복호 변환 입력 신호를 생성한다(단계 S238). 여기에서, 단계 S238은, 다음 2개의 단계를 포함하고 있다.

즉, 구체적으로는, 제1 역변환부(430)는, 제1 복호 변환 출력 신호를 제1 좌표축 방향으로 역변환함으로써, 제1 좌표축 역변환 신호를 생성한다(단계 S238a). 다음에, 제1 역변환부(430)는, 제1 좌표축 역변환 신호를 제2 좌표축 방향으로 역변환함으로써, 제2 좌표축 역변환 신호를 생성한다(단계 S238b). 이와 같이 하여 생성된 제2 좌표축 역변환 신호가, 상술한 실시 형태 2, 4, 6, 8에 있어서의, 복호 변환 입력 신호에 상당한다.

또한, 도 51b에 나타낸 바와 같이, 분할 통합 정보의 취득(단계 S231)과, 역변환 계수의 취득(단계 S233 및 단계 S237)은, 전술한 바와 같이 통지의 베리에이션이 다수 있으므로, 반드시 본 흐름의 타이밍으로 실시된다고는 할 수 없다.

또, 전술한 제1 좌표축 역변환 및 제2 좌표축 역변환(단계 S238a, 단계 S238b)은, 상술한 실시 형태 2, 4, 6, 8에 기재된 제1 역변환이어도 된다. 또, 전술한 제1 좌표축 역변환 및 제2 좌표축 역변환(단계 S238a, 단계 S238b)은, 예를 들면, MPEG-1/2/4 비디오 부호화 규격 탑재의 이산 코사인 변환이나, H.264/AVC 규격 채용의 정수 정밀도 DCT의 변환이어도 된다.

또, 본 실시 형태에서 제1 역변환에 대해 서술한 것과 동일하게, 제2 역변환도 분리형의 구성이어도 된다. 제1 역변환과 제2 역변환이 분리형인 경우, 예를 들면, 입력이 2차원 신호라고 하면, 분리된 각 차원에 있어서 1차원의 신호 처리가 되어, 본 실시 형태 1 내지 8에서 서술한 2단계의 변환 처리가 적용 가능하다.

도 52는, 본 발명의 실시 형태 10의 변형예에 따른 역변환부(330)의 동작의 일례를 도시한 흐름도이다. 도 51a 및 도 51b와 동일한 동작을 하는 단계에는 동일한 부호를 붙이고, 설명을 생략한다.

분할부(400)는, 복호 변환 출력 신호를 제1 부분 신호와 제2 부분 신호로 분할한다(단계 S232). 이 때, 분할부(400)는, P차원의 제1 부분 신호를 1차원으로 재배열하지 않는다.

제2 역변환부(410)는, 제2 역변환의 제1 좌표축 변환으로서, 행 방향의 역변환 처리를 행함으로써, 제1 좌표축 역변환 신호를 생성한다(S234a). 이어서, 제2 역변환부(410)는, 제2 역변환의 제2 좌표축 변환으로서, 열 방향의 역변환 처리를 행함으로써, 제2 좌표축 역변환 신호를 생성한다(S234b). 이와 같이 하여, 생성된 제2 좌표축 변환 신호가, 제1 복호 부분 신호에 상당한다. 또한, 행과 열의 변환 순서는 교체되어도 된다.

또한, 제1 방향의 역변환 처리와 제2 방향의 역변환 처리를 이어서 행해도 된다. 도 53은, 본 발명의 실시 형태 10의 변형예에 따른 역변환부(330)의 동작의 일례를 도시한 흐름도이다.

우선, 분할부(400)가, 행 방향의 분할을 행하고(S232a), 제2 역변환부(410)가, 행 방향의 제2 역변환의 제1 좌표축 변환을 행한다(S234a). 그리고, 통합부(420)가, 행 방향의 통합 처리를 행하고(S236a), 제1 역변환부(430)가, 행 방향의 제1 역변환의 제1 좌표축 변환을 행한다(S238a).

이어서, 분할부(400)가, 열 방향의 분할을 행하고(S232b), 제2 역변환부(410)가, 열 방향의 제2 역변환의 제2 좌표축 변환을 행한다(S234b). 그리고, 통합부(420)가, 열 방향의 통합 처리를 행하고(S236b), 제1 역변환부(430)가, 열 방향의 제1 역변환의 제2 좌표축 변환을 행한다(S238b).

또한, 행과 열의 처리 순서는 교체되어도 된다. 분할 처리와 통합 처리는, 역변환 계수가 제로 계수를 포함하는 경우는, 명시적인 단계로서 나타나지 않아도 된다.

이상과 같이, 본 발명의 실시 형태 10에 따른 복호 장치 및 복호 방법에 의해, 변환 처리의 연산량과 역변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 특히, P차원(P는 2 이상의 정수)의 입력 신호에 대해 효과적이다.

(실시 형태 11)

본 발명의 실시 형태 11에 따른 부호화 장치 및 부호화 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등 부호화 대상이 되는 신호를, 복수 종류의 변환의 조합에 의해 변환을 행하는 변환부 및 변환 방법을 구비한다. 본 발명의 실시 형태 11에 따른 부호화 장치 및 부호화 방법은, 제2 변환이 적용된 부분과, 제2 변환이 적용되지 않은 부분에 대해 다른 처리를 행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 11에 따른 부호화 장치에 대해, 도 54a를 이용하여 설명한다. 도 54a는, 본 발명의 실시 형태 11에 따른 부호화 장치(1200)의 구성의 일례를 도시한 블록도이다.

도 54a에 나타낸 바와 같이, 부호화 장치(1200)는, 도 17에 나타낸 실시 형태 3에 따른 부호화 장치(500)와 비교하여, 변환부(510), 양자화부(120), 엔트로피 부호화부(130), 역양자화부(540) 및 역변환부(550) 대신에, 변환부(1210), 양자화부(1220), 엔트로피 부호화부(1230), 역양자화부(1240) 및 역변환부(1250)를 구비하는 점이 다르다. 이하에서는, 실시 형태 3에 따른 부호화 장치(500)와 동일한 구성에 대해서는 설명을 생략하고, 다른 점을 중심으로 설명한다.

본 실시 형태에서는, 변환부(1210)의 출력은, 제2 변환의 적용 유무에 따라, 2개로 분리되어 출력된다. 요컨대, 변환부(1210)는, 변환 입력 신호에 제1 변환 및 제2 변환을 행함으로써, 변환 출력 신호를 생성하고, 생성한 변환 출력 신호 중, 제2 변환이 적용된 부분과, 제2 변환이 적용되지 않은 부분을 각각 2개의 신호로서 출력한다. 바꿔 말하면, 변환부(1210)는, 전술한 제2 변환 출력 신호를 변환 출력 신호 L로서 출력하고, 전술한 제2 부분 신호를, 변환 출력 신호 H로서 출력한다.

제2 변환 출력 신호는, 통계적인 성질이 제2 부분 신호와는 다르므로, 후속의 처리도 각기 달리 행함으로써, 한층 더 성능을 향상시킬 수 있다. 구체적으로는, 양자화부(1220)는, 변환 출력 신호 L과 변환 출력 신호 H를 스캔하여, 양자화함으로써, 각각, 양자화 계수 L과 양자화 계수 H를 생성한다. 바꿔 말하면, 양자화부(1220)는, 변환 출력 신호를 구성하는 계수치를 스캔하여, 스캔된 계수치를 포함하는 스캔 신호를 양자화함으로써, 양자화 계수를 생성한다.

그 때에 있어서, 양자화부(1220)는, 양자화 계수 L의 양자화에 의한 손실을 낮게 억제하도록 제어하고, 주관 화질에 주는 영향이 큰 저역 신호에 할당하는 데이터량을 우대해도 된다. 즉, 양자화부(1220)는, 스캔 신호 중, 제2 변환 출력 신호에 대응하는 제1 스캔 신호를 제1 정밀도로 양자화하고, 제2 부분 신호에 대응하는 제2 스캔 신호를, 제1 정밀도보다 낮은 제2 정밀도로 양자화한다. 또한, 양자화부(1220)에서는, 양자화 정밀도의 전환이 가능하다.

또, 양자화부(1220)는, 변환 출력 신호 L에 포함되는 계수치에 대한 스캔의 동작과, 변환 출력 신호 H에 포함되는 계수치에 대한 스캔의 동작을 전환해도 된다. 또한, 양자화부(1220)에서는, 스캔 방식이 전환 가능하다.

예를 들면, 양자화부(1220)는, 제2 변환이 비분리형의 구성인 경우, 1차원으로 재배열한 열인 제2 변환 출력 신호의 순으로 스캔하고, 제2 변환을 적용하지 않는 제2 부분 신호에 대해서는, 지그재그 스캔 등의 수평 방향과 수직 방향으로 거의 동시에 이동하여, 블록의 끝에서 되돌아오는 스캔을 행한다. 요컨대, 양자화부(1220)는, 제2 변환 출력 신호를 구성하는 계수치를, 제2 변환의 파워순으로 스캔하고, 또한, 제2 부분 신호를 구성하는 계수치를, 지그재그 스캔으로 스캔한다.

또한, 변환의 입출력이 다차원 신호인 경우, 제2 부분 신호에 대해서는, 다차원의 지그재그 스캔을 행해도 되고, 혹은, 2차원의 지그재그 스캔을 순차적으로 행해도 된다. 예를 들면, YUV 신호를 입력으로 하는 예에서는, Y 신호의 제2 부분 신호를 지그재그 스캔하고, U 신호의 제2 부분 신호를 지그재그 스캔하고, V 신호의 제2 부분 신호를 지그재그 스캔해도 된다. YUV의 처리 순서는 이것에 한정되는 것은 아니다.

엔트로피 부호화부(1230)는, 양자화 계수 L을 엔트로피 부호화함으로써, 부호화 신호 L을 생성하고, 양자화 계수 H를 엔트로피 부호화함으로써, 부호화 신호 H를 생성한다. 그리고, 엔트로피 부호화부(1230)는, 부호화 신호 L과 부호화 신호 H를 다중화하여 출력한다.

또, 양자화 계수 L과 양자화 계수 H는, 통계적인 성질이 다르므로, 엔트로피 부호화부(1230)는, 내부 상태 변수(발생 확률, 콘텍스트 등)를 독립적으로 관리한다. 또한, 엔트로피 부호화부(1230)에서는, 엔트로피 부호화 방식의 전환이 가능하다. 또, 2치화, 콘텍스트 도출 방법을 전환해도 된다. 엔트로피 부호화의 내부 상태 변수는, 상태를 기억하기 위해 메모리를 소비하므로, 삭감이 요망되는 경우가 있다. 따라서, 예를 들면, 변환 출력 신호 L에 대한 그들은 조밀하게 설치하고, 변환 출력 신호 H에 대한 그들은 성글게 설치하는 구성이어도 된다. 조밀하게 혹은 성글게 라는 것은, 변환 출력 신호의 개수에 대한 독립적인 내부 상태 변수의 개수의 비의 대소 관계를 나타내는 것이다.

요컨대, 엔트로피 부호화부(1230)는, 양자화 계수 중, 제2 변환 출력 신호에 대응하는 제1 양자화 계수와, 제2 부분 신호에 대응하는 제2 양자화 계수에 대해, 각각 다른 확률 테이블을 이용하여 엔트로피 부호화한다. 혹은, 엔트로피 부호화부(1230)는, 양자화 계수 중 제1 양자화 계수와 제2 양자화 계수에 대해, 각각 다른 콘텍스트 도출을 행함으로써, 양자화 계수를 엔트로피 부호화해도 된다.

역양자화부(1240)는, 양자화 계수 L을 역양자화함으로써, 복호 변환 출력 신호 L을 생성하고, 양자화 계수 H를 역양자화함으로써 복호 변환 출력 신호 H를 생성한다. 역양자화부(1240)는, 양자화부(1220)가 행하는 처리와 반대의 처리를 행한다.

역변환부(1250)는, 복호 변환 출력 신호 L과 복호 변환 출력 신호 H를 역변환함으로써, 복호 신호를 생성한다. 역변환부(1250)는, 변환부(1210)가 행하는 처리와 반대의 처리를 행한다.

또한, 변환 출력 신호 L에 대한 처리(스캔, 양자화, 엔트로피 부호화)는, 변환 출력 신호 H에 대한 처리(스캔, 양자화, 엔트로피 부호화)보다 처리순은, 빠르게 해 두어도 된다. 이 처리 우선 순위로 한 경우, 변환 출력 신호 L에 대한 그들 처리의 결과에 따라, 변환 출력 신호 H에 대한 그들 처리의 동작을 전환해도 된다. 예를 들면, 변환 출력 신호 L의 비제로 계수의 양에 따라, 양자화 계수 H에 대한 엔트로피 부호화의 내부 상태 변수를 전환해도 된다.

도 54b는, 본 발명의 실시 형태 11에 따른 부호화 장치(1200)에 있어서의, 신호마다의 처리의 차이의 일례를 도시한 도면이다. 도 54b에 나타낸 바와 같이, 본 발명의 실시 형태 11에 따른 부호화 장치(1200)에서는, 스캔, 양자화, 엔트로피 부호화의 적어도 하나에 있어서, 제2 변환 출력 신호와 제2 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행한다.

본 발명의 실시 형태 11의 부호화 처리 흐름은, 상술한 실시 형태의 부호화 처리 흐름과 거의 동일하므로, 이하에서는, 도 18을 이용하여 설명한다.

우선, 예측 오차 신호를 입력 신호로서 이용하는 경우에는, 예측부(580)는, 예측 오차 신호를 생성한다(단계 S305). 다음에, 변환부(1210)는, 예측 오차 신호 혹은 입력 신호를 변환함으로써, 제2 변환이 적용된 변환 출력 신호 L과 제2 변환이 적용되어 있지 않은 변환 출력 신호 H를 생성한다(단계 S110).

다음에, 양자화부(1220)는, 변환 출력 신호 L을 양자화함으로써, 양자화 계수 L을 생성하고, 변환 출력 신호 H를 양자화함으로써, 양자화 계수 H를 생성한다(단계 S120). 이어서, 엔트로피 부호화부(1230)는, 양자화 계수 L을 엔트로피 부호화하고, 또한, 양자화 계수 H를 엔트로피 부호화함으로써, 부호화 신호를 생성한다(단계 S130). 또한, 양자화 계수 L의 엔트로피 부호화와 양자화 계수 H의 엔트로피 부호화는, 내부 상태 변수가 독립적이다.

다음에, 역양자화부(1240)는, 양자화 계수 L을 역양자화함으로써, 복호 변환 출력 신호 L을 생성하고, 양자화 계수 H를 역양자화함으로써, 복호 변환 출력 신호 H를 생성한다(단계 S340). 다음에, 역변환부(1250)는, 복호 변환 출력 신호 L과 복호 변환 출력 신호 H를 역변환함으로써, 복호 신호를 생성한다(단계 S350). 마지막으로, 생성한 복호 신호를 메모리(570)에 저장한다(단계 S360).

또한, 실시 형태 3에서 서술한 입력 신호의 국소적인 통계적 성질의 변동에 따라 제2 변환 계수를 제어하는 구성에서는, 그들의 변동에 따라, 스캔, 양자화, 엔트로피 부호화의 내부 상태 변수를 전환해도 된다. 단, 전환의 종류의 증가에 따라, 내부 메모리량이 증가한다는 디메리트가 있으므로, 변환 출력 신호 L에 대한, 스캔, 양자화, 엔트로피 부호화의 내부 상태 변수, 엔트로피 부호화의 콘텍스트 도출 방법은 전환하지만, 변환 출력 신호 H에 대한 그들은 연동시키지 않는, 요컨대, 동일한 메모리를 사용하여, 메모리 사용량을 억제해도 된다. 또, 스캔, 양자화, 엔트로피 부호화의 내부 상태 변수, 콘텍스트 도출 방법은, 동시에 연동과 비연동을 전환하는 것이 아니라, 개별적으로, 연동과 비연동을 전환해도 된다.

또한, 스캔은, 미리 정한 고정의 패턴이나, 양자화 계수의 발생 빈도에 의거하여 갱신되는 동적인 패턴이어도 된다. 스캔 방식, 양자화 정밀도, 엔트로피 부호화 방식의 전환 빈도는, 제2 변환 출력 신호에 대응하는 신호가, 제2 부분 신호에 대응하는 신호보다 높아도 된다.

이상과 같이, 본 발명의 실시 형태 11에 따른 부호화 장치 및 부호화 방법에 의해, 변환 처리의 연산량과 변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다.

(실시 형태 12)

본 발명의 실시 형태 12에 따른 복호 장치 및 복호 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등의 신호가 부호화된 부호화 신호(실시 형태 11에서 생성된 부호화 신호)를, 복수 종류의 변환의 조합에 의해 역변환을 행하는 역변환부 및 역변환 방법을 구비한다. 본 발명의 실시 형태 12에 따른 복호 장치 및 복호 방법은, 제2 변환이 적용된 부분과, 제2 변환이 적용되지 않은 부분에 다른 처리를 행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 12에 따른 복호 장치에 대해, 도 55a를 이용하여 설명한다. 도 55a는, 본 발명의 실시 형태 12에 따른 복호 장치(1300)의 구성의 일례를 도시한 블록도이다.

도 55a에 나타낸 바와 같이, 복호 장치(1300)는, 도 27에 나타낸 실시 형태 4에 따른 복호 장치(700)와 비교하여, 엔트로피 복호부(310), 역양자화부(320) 및 역변환부(730) 대신에, 엔트로피 복호부(1310), 역양자화부(1320) 및 역변환부(1330)를 구비하는 점이 다르다. 이하에서는, 실시 형태 4에 따른 복호 장치(700)와 동일한 구성에 대해서는 설명을 생략하고, 다른 점을 중심으로 설명한다.

엔트로피 복호부(1310)는, 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수 L과 복호 양자화 계수 H를 생성한다. 엔트로피 복호에 있어서, 복호 양자화 계수 L과 복호 양자화 계수 H에 대한 내부 상태 변수(확률 상태 변수, 콘텍스트)는 독립적이다.

또, 2치화, 콘텍스트 도출 방법을 전환해도 된다. 또한, 엔트로피 복호부(1310)에서는, 엔트로피 복호 방식의 전환이 가능하다. 엔트로피 복호의 내부 상태 변수는, 상태를 기억하기 위해 메모리를 소비하므로, 삭감이 요망되는 경우가 있다. 복호 양자화 계수 L에 대한 그들은 조밀하게 설치하고, 복호 양자화 계수 H에 대한 그들은 성글게 설치하는 구성이어도 된다. 조밀하게 혹은 성글게 라는 것은, 복호 양자화 계수의 개수에 대한 독립적인 내부 상태 변수의 개수의 비의 대소 관계를 나타내는 것이다.

요컨대, 엔트로피 복호부(1310)는, 부호화 신호 중, 제2 복호 변환 출력 신호에 대응하는 제1 부호화 신호와, 제2 복호 부분 신호에 대응하는 제2 부호화 신호에 대해, 각각 다른 확률 테이블을 이용하여 엔트로피 복호한다. 혹은, 엔트로피 복호부(1310)는, 부호화 신호 중 제1 부호화 신호와 제2 부호화 신호에 대해, 각각 다른 콘텍스트 도출을 행함으로써, 부호화 신호를 엔트로피 복호해도 된다.

역양자화부(1320)는, 복호 양자화 계수 L을 역양자화하고, 역스캔함으로써, 복호 변환 출력 신호 L을 생성한다. 또한, 역양자화부(1320)는, 복호 양자화 계수 H를 역양자화하고, 역스캔함으로써, 복호 변환 출력 신호 H를 생성한다. 즉, 역양자화부(1320)는, 복호 양자화 계수를 역양자화함으로써, 복호 스캔 신호를 생성하고, 복호 스캔 신호를 구성하는 계수치를 구성하는 계수치를 스캔한다. 이에 의해, 스캔된 계수치를 포함하는 복호 변환 출력 신호를 생성한다.

또한, 역양자화부(1320)는, 복호 양자화 계수 중, 제2 복호 변환 출력 신호에 대응하는 제1 복호 양자화 계수를 제1 정밀도로 역양자화하고, 제2 복호 부분 신호에 대응하는 제2 복호 양자화 계수를, 제1 정밀도보다 낮은 제2 정밀도로 역양자화해도 된다. 또한, 양자화부(1220)에서는, 양자화 정밀도의 전환이 가능하다.

역변환부(1330)는, 복호 변환 출력 신호 L과 복호 변환 출력 신호 H를 역변환함으로써, 복호 변환 입력 신호를 생성한다. 또한, 복호 변환 출력 신호 L과 복호 변환 출력 신호 H는 각각, 제2 복호 변환 출력 신호, 제2 복호 부분 신호에 상당한다.

또한, 역양자화부(1320)에 있어서, 복호 양자화 계수 L에 대한 역스캔과, 복호 양자화 계수 H에 대한 역스캔의 동작을 전환해도 된다. 또한, 역양자화부(1320)에서는, 스캔 방식의 전환이 가능하다. 제2 역변환이 비분리형의 구성인 경우, 1차원으로 재배열한 열인 제1 복호 부분 신호의 순으로 역스캔하고, 제2 역변환을 적용하지 않는 제2 복호 부분 신호에 대해서는, 지그재그 스캔 등의 수평 방향과 수직 방향으로 거의 동시에 이동하여 블록의 끝에서 되돌아오는 역스캔을 행한다.

요컨대, 역양자화부(1320)는, 복호 스캔 신호 중, 제2 복호 변환 출력 신호에 대응하는 제1 복호 스캔 신호를 구성하는 계수치를, 제2 역변환의 파워순으로 스캔하고, 또한, 제2 복호 부분 신호에 대응하는 제2 복호 스캔 신호를 구성하는 계수치를, 지그재그 스캔으로 스캔한다.

또한, 변환의 입출력이 다차원 신호인 경우, 제2 복호 부분 신호에 대해서는, 다차원의 지그재그 스캔을 행해도 되고, 혹은, 2차원의 지그재그 스캔을 순차적으로 행해도 된다. 예를 들면, YUV 신호를 입력으로 하는 구성에서는, Y 신호의 제2 복호 부분 신호를 역지그재그 스캔하고, U 신호의 제2 복호 부분 신호를 역지그재그 스캔하고, V 신호의 제2 복호 부분 신호를 역지그재그 스캔해도 된다. YUV의 처리 순서는, 이것에 한정되는 것은 아니다.

또한, 복호 양자화 계수 L에 대한 처리는, 복호 양자화 계수 H에 대한 처리보다 처리순은 빠르게 해 두어도 된다. 이 처리 우선 순위로 한 경우, 복호 양자화 계수 L에 대한 그들 처리의 결과에 따라, 복호 양자화 계수 H에 대한 그들 처리의 동작을 전환해도 된다.

도 55b는, 본 발명의 실시 형태 12에 따른 복호 장치(1300)에 있어서의, 신호마다의 각 처리의 차이의 일례를 도시한 도면이다. 도 55b에 나타낸 바와 같이, 본 발명의 실시 형태 12에 따른 복호 장치(1300)에서는, 엔트로피 복호, 역양자화 및 스캔의 적어도 하나에 있어서, 제2 복호 변환 출력 신호와 제2 복호 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행한다.

본 발명의 실시 형태 12의 복호 처리 흐름은, 상술한 실시 형태의 복호 처리 흐름과 거의 동일하므로, 도 28을 이용하여 설명한다.

우선, 예측부(770)는, 메모리(760)에 저장된 부호화 완료 신호를 기초로, 예측 신호를 생성한다(단계 S405). 또한, 입력 신호를 직접 변환하는 부호화 방법으로 생성된 부호화 신호를 복호하는 경우에는, 본 단계 S405는 생략된다.

다음에, 엔트로피 복호부(1310)는, 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수 L과 복호 양자화 계수 H를 생성한다(단계 S210). 여기에서, 엔트로피 복호에 있어서, 복호 양자화 계수 L과 복호 양자화 계수 H에 대한 내부 상태 변수(확률 상태 변수, 콘텍스트)는 독립적이다.

다음에, 역양자화부(1320)는, 복호 양자화 계수 L을 역양자화함으로써, 복호 변환 출력 신호 L을 생성하고, 복호 양자화 계수 H를 역양자화함으로써, 복호 변환 출력 신호 H를 생성한다(단계 S220). 그리고, 역변환부(1330)는, 복호 변환 출력 신호 L과 복호 변환 출력 신호 H를 역변환함으로써, 복호 변환 입력 신호를 생성한다(단계 S230).

다음에, 가산기(750)는, 전술한 예측 신호와 복호 변환 입력 신호를 가산함으로써, 복호 신호를 생성한다. 그리고, 복호 신호를 메모리(760)에 저장하고, 다음의 타이밍에서 참조할 수 있도록 한다(단계 S440).

또한, 실시 형태 3에서 서술한 입력 신호의 국소적인 통계적 성질의 변동에 따라 제2 역변환 계수를 제어하는 구성에서는, 그들 변동에 따라, 엔트로피 복호의 콘텍스트 도출 방법, 엔트로피 복호의 내부 상태 변수, 역양자화, 역스캔을 전환해도 된다. 단, 전환의 종류의 증가에 따라, 내부 메모리량이 증가한다는 디메리트가 있으므로, 복호 양자화 계수 L을 출력하는 엔트로피 복호의 내부 상태 변수, 복호 양자화 계수 L에 대한 역양자화, 그것에 대한 역스캔은 전환하지만, 복호 양자화 계수 H에 관련된 그들 처리는 연동시키지 않는, 요컨대, 동일한 메모리를 사용하여, 메모리 사용량을 억제해도 된다. 엔트로피 복호의 콘텍스트 도출 방법, 엔트로피 복호의 내부 상태 변수, 역양자화, 역스캔은, 동시에 연동과 비연동을 전환하는 것이 아니라, 개별적으로, 연동과 비연동을 전환해도 된다.

또한, 역스캔은 미리 정한 고정의 패턴이나, 양자화 계수의 발생 빈도에 의거하여 갱신되는 동적인 패턴이어도 된다. 스캔 방식, 역양자화 정밀도, 엔트로피 복호 방식의 전환 빈도는, 제2 복호 변환 출력 신호에 대응하는 신호가, 제2 복호 부분 신호에 대응하는 신호보다 높아도 된다.

이상과 같이, 본 발명의 실시 형태 12에 따른 복호 장치 및 복호 방법에 의해, 변환 처리의 연산량과 역변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다.

(실시 형태 13)

본 발명의 실시 형태 13에 따른 부호화 장치, 부호화 방법, 복호 장치 및 복호 방법은, 제2 변환 계수 및 제2 역변환 계수의 특징을 이용하여, 부호화 효율이 높아지도록, 변환 계수를 부호화 및 복호하는 것을 특징으로 한다. 제2 변환 행렬, 및 제2 역변환 행렬은, 이하에 나타내는 바와 같은, 특징적인 행렬이므로, 변환 성능의 향상, 또는, 변환 계수의 데이터량 삭감이 가능하다.

본 실시 형태에서는, 일례로서, 4개의 요소로 이루어지는 제1 부분 신호 y_1L ^m이 제2 변환부(220)에 입력되고, 제2 변환부(220)는, 4×4행렬의 제2 변환 행렬 A₂ ^m을 이용하여 제1 부분 신호 y_1L ^m을 변환함으로써, 제1 부분 변환 출력 신호 y₂ ^m을 출력하는 경우를 상정한다.

도 56a에 나타낸 바와 같이, 제2 변환 행렬 A₂ ^m을 구성하는 제2 변환 계수는, a(i, j)(혹은, aij)로 나타내어진다. 또한, i=1, 2, 3, 4, 및 j=1, 2, 3, 4이다. 이 때, 도 56a에 나타낸 바와 같이, i=j가 되는 요소(aii)가 대각 요소이며, i≠j가 되는 요소가 비대각 요소이다. 또한, 비대각 요소는, i＜j가 되는 요소인 상삼각 요소와, i＞j가 되는 요소인 하삼각 요소로 분류된다.

이하에서는, 우선, 제2 변환 행렬 A₂ ^m의 대각 요소의 특징에 대해 설명한다.

가령, 제1 변환이 완전한 무상관화를 달성할 수 있는 변환인 경우, 제2 변환은, 제1 변환 출력 신호를 그 이상 무상관화할 수 없으므로, 대각 요소를 모두 1(즉, 8비트 정밀도의 계수인 경우 255)로 설정하고, 비대각 요소의 모두를 0으로 설정할 수 있다.

그러나, 상술한 바와 같이, 제1 변환 계수 도출부(202)는, 집합 S_A에 포함되는 복수의 변환 입력 신호 xⁿ에 평균적으로 최적화된 제1 변환 행렬 A₁ ⁿ을 도출하므로, 개개의 변환 입력 신호 xⁿ에는 최적화되어 있지 않다. 이 때문에, 제1 변환부(200)는, 완전한 무상관화를 달성할 수는 없으며, 제1 변환 출력 신호 y₁ ⁿ, 및 그 일부인 제1 부분 신호 y_1L ^m은, 완전히 무상관화되어 있지 않다. 따라서, 제2 변환 계수 도출부(222)가 도출하는 제2 변환 계수로 구성되는 제2 변환 행렬 A₂ ^m의 대각 요소는 반드시 1이 되지는 않으며, 비대각 요소는 반드시 0이 되지는 않는다.

그러나, 제1 부분 신호 y_1L ^m은, 제1 변환에 의해 어느 정도는 무상관화되어 있으므로, 제2 변환 행렬 A₂ ^m의 대각 요소는 1에 가까운 값으로, 비대각 요소는 0에 가까운 값으로 설정해도 된다. 따라서, 제2 변환 계수를 부호화할 때에는, 대각 요소 a(i, i)와 1의 차분은, 0에 가까운 값이 되기 때문에, 부호화해야 할 정보량을 삭감할 수 있으므로, 보다 부호화 효율을 높일 수 있다.

또, 대각 요소는, 고역 성분이 될수록 특수한 상관의 영향을 받기 쉬우므로, 1로부터 벗어나도록 설정해도 된다. 요컨대, 오른쪽 하측의 대각 요소일수록, 1로부터 벗어나도록 설정해도 된다. 예를 들면, 왼쪽 상측에서 오른쪽 하측에 걸쳐, 1차 함수 또는 등차 급수적으로 값이 작아지도록, 제2 변환 행렬의 대각 요소를 결정해도 된다. 역행렬에 대해서도 동일하다.

도 56b는, 제2 변환 행렬 및 제2 역변환 행렬의 일례를 도시한 도면이다. 도 56b에 나타낸 바와 같이, 대각 요소의 값의 크기는, 비대각 요소의 값의 크기의 4배 이상으로 설정해도 된다. 다양한 노이즈 신호 등의 외란이 들어가는 경우 등에서는, 대각 요소의 값의 크기는, 비대각 요소의 값의 크기의 2배 이상으로 설정해도 된다. 바꿔 말하면, 제2 변환부(220)는, 행렬 표현한 경우에 있어서, 모든 대각 요소의 값이, 비대각 요소의 값의 2배 이상의 값인 변환 계수를, 제2 변환 계수로서 이용하여 제2 변환을 행해도 된다. 동일하게, 제2 역변환부(410)는, 행렬 표현한 경우에 있어서, 모든 대각 요소의 값이, 비대각 요소의 값의 2배 이상의 값인 역변환 계수를, 제2 역변환 계수로서 이용하여 제2 역변환을 행해도 된다.

이어서, 비대각 요소의 계수에 관해, 변환 계수가 a(i, j)로 나타내어지는 경우, a(j, i)로 나타내어지는 폴딩(folding) 요소는, 거의 절대치를 동등하게 설정해도 된다. 도 56b는, 비대각 요소의 변환 계수가, 폴딩 요소와 거의 동등한 절대치를 갖게 한 예이다. a₁₂=48과 a₂₁=-58의 페어, a₁₃=64와 a₃₁=-57의 페어 등이 전형예이다. 또한, 거의 동등이란 절대치로 2할 이내의 오차의 의미이다.

도 56c는, 소정의 요소와 폴딩 요소의 절대치의 평균치를 도시한 도면이다. 도 56b 및 도 56c에 나타낸 바와 같이, 각 요소와, 대응하는 평균치가 대략 동일해지도록, 변환 계수를 결정한다.

또한, 도 56d는, 도 56b에 나타낸 비대각 요소와 도 56c에 나타낸 절대 평균치의 차분을 도시한 도면이다. 본 실시 형태에서는, 도 56d에 나타낸 차분이 작아지도록, 제2 변환 계수치를 결정할 수 있다.

또, 제2 변환 계수에는, 특징적인 관계로서, 대상 요소의 부호(a(i, j))와 폴딩 요소 a(j, i)의 부호는 서로 다른 경우가 많다는 관계가 있다. 예를 들면, 도 56b에 나타낸 바와 같이, a₁₂=48과 a₂₁=-58의 페어, a₁₃=64와 a₃₁=-57의 페어 등이 전형예이다.

또, 도 56e에 나타낸 바와 같은 관계를 만족하도록, 변환 계수를 결정할 수도 있다. 또한, 도 56e는, 상삼각 요소와 하삼각 요소 사이의 부호의 관계를 도시한 도면이다. 구체적으로는, 상삼각 요소의 부호는 양인 경우가 많으며, 하삼각 요소의 부호는 음인 경우가 많다는 관계이다.

또한, 변환 계수에 제로를 설정함으로써, 승산 처리 횟수의 삭감과, 변환 계수를 유지하는 메모리량의 삭감을 실현할 수 있지만, 본 실시 형태에서 서술한 특징을 갖는 변환 계수를 기준으로 하여, 절대치가 작은 변환 계수를 제로로 설정해도 된다. 바꿔 말하면, 제2 변환부(220)는, 행렬 표현한 경우에 있어서의 적어도 하나의 비대각 요소의 값이 0인 변환 계수를, 제2 변환 계수로서 이용하여 제2 변환을 행해도 된다. 동일하게, 제2 역변환부(410)는, 행렬 표현한 경우에 있어서의 적어도 하나의 비대각 요소의 값이 0인 역변환 계수를, 제2 역변환 계수로서 이용하여 제2 역변환을 행해도 된다.

예를 들면, 도 56b에서는, a₁₄=10, a₂₄=10, a₃₄=2, a₄₁=-3, a₄₂=-25, a₄₃=-28을 제로로 설정해도 된다. 비대각 요소의 적어도 하나가 0으로 설정된 제2 변환 계수의 예를, 도 56f에 나타낸다.

이상과 같이, 본 발명의 실시 형태 3에 따른 부호화 장치, 부호화 방법, 복호 장치 및 복호 방법에 의하면, 특징적인 성질을 갖도록 변환 계수를 결정하므로, 당해 특징적인 성질을 이용하여 변환 계수를 부호화 또는 복호할 수 있어, 부호화 효율을 높일 수 있다.

(실시 형태 14)

본 발명의 실시 형태 14에 따른 부호화 장치 및 부호화 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등 부호화 대상이 되는 신호를, 복수 종류의 변환의 조합에 의해 변환을 행하는 변환부 및 변환 방법을 구비한다. 본 발명의 실시 형태 14에 따른 부호화 장치 및 부호화 방법은, 제2 변환 처리와 양자화 처리를 병렬적으로 행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 14에서는, 변환부(110)와 양자화부(120)는, 일부의 처리를 병행하여 행함으로써, 처리 시간을 단축한다. 도 57a는, 본 발명의 실시 형태 14에 따른 변환 및 양자화의 타이밍 차트의 일례를 도시한 도면이다.

도 57a에 나타낸 예에서는, 변환 입력 신호의 차원수 n은 8, 제2 변환으로의 입력(제1 부분 신호)의 차원수 m은 3이다. 제1 변환 처리 T₁ 후에, 제2 변환 처리(1401)(T₂(1)~T₂(3))를 행한다. 이 예에서는, 제1 부분 신호에 포함되는 요소수는, 3요소이므로, 3단위 시간 걸리는 것으로 한다. 또한, 1단위 시간은, 예를 들면, 1개의 요소의 제2 변환 처리에 따른 시간이다.

그리고, 도 57a에 나타낸 바와 같이, 1단위 시간 늦게 병행하여, 제2 변환 출력 신호에 대해, 양자화 처리(1402)(Q₂(1)~Q₂(3))를 행한다. 이 후, 제2 부분 신호에 대해 양자화 처리(1403)(Q₁(1)~Q₁(5))를 행한다.

이상과 같이, 본 발명의 실시 형태 14에 따른 부호화 장치 및 부호화 방법에서는, 제1 부분 신호의 k+1(k는 자연수)번째 요소의 제2 변환과, 제2 변환 출력 신호의 k번째 요소의 양자화를 병렬적으로 행한다. 예를 들면, 도 57a에 나타낸 바와 같이, 제1 부분 신호의 2번째 요소의 제2 변환(T₂(2))과, 제2 변환 출력 신호의 1번째의 양자화(Q₂(1))가, 동일한 시간에 병렬적으로 행해진다. 이에 의해, 변환부에 있어서의 처리 시간을 단축할 수 있다.

또한, 도 57a에 나타낸 예에서는, 제2 변환 처리(1401)와 이것에 대한 양자화 처리(1402)를 1단위 시간의 지연만으로 병렬화할 수 있으며, 제2 변환의 도입에 의한 지연은 작다. 제2 변환의 1요소에 대한 처리는, m회의 곱합 연산이 필요하며, 연산량이 많다. 따라서, 이 제2 변환 처리의 처리 시간을 연장시켜, 연산 회로의 병렬도를 떨어뜨림으로써, 회로 규모를 억제할 수 있다.

구체적으로는, 도 57b에 나타낸 바와 같이, 제2 변환 처리(1401)와 이것에 대한 양자화 처리(1402)를 1단위 시간의 지연으로 병렬화한다. 단, 제2 변환 처리(1401)의 처리 시간이 연장되어 있으므로, 이것에 대한 양자화 처리(1402)에는 빈 시간이 발생하고 있다. 이 빈 시간을 이용하여, 제2 부분 신호에 대한 양자화 처리(1403)를 병행하여 행한다.

예를 들면, 도 57b에 나타낸 바와 같이, 제1 부분 신호의 1번째 요소에 대한 제2 변환 처리(T₂(1)) 중에, 제2 부분 신호의 1번째 요소와 2번째 요소에 대한 양자화 처리((Q₂(1), Q₂(2))를 행한다. 이에 의해, 회로 규모를 억제하면서, 처리 시간의 단축을 실현할 수 있다.

이상과 같이, 본 발명의 실시 형태 14에 따른 부호화 장치 및 부호화 방법에 의해, 변환 처리의 연산량과 변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 특히, 처리 시간의 증가량을 경감할 수 있다.

(실시 형태 15)

본 발명의 실시 형태 15에 따른 복호 장치 및 복호 방법은, 음성 데이터, 정지화상 데이터, 동화상 데이터 등의 신호가 부호화된 부호화 신호(실시 형태 14에서 생성된 부호화 신호)를, 복수 종류의 변환의 조합에 의해 역변환을 행하는 역변환부 및 역변환 방법을 구비한다. 본 발명의 실시 형태 15에 따른 복호 장치 및 복호 방법은, 제2 역변환 처리와 역양자화 처리를 병렬적으로 행하는 것을 특징으로 한다. 상술한 실시 형태와 동일한 구성에 대해서는 동일한 부호를 붙이고, 설명을 생략하는 경우가 있다.

본 발명의 실시 형태 15에서는, 역양자화부(320)와 역변환부(330)는, 일부의 처리를 병행하여 행함으로써, 처리 시간을 단축한다. 도 58a는, 본 발명의 실시 형태 14에 따른 변환 및 양자화의 타이밍 차트의 일례를 도시한 도면이다.

도 58a에 나타낸 예에서는, 복호 양자화 계수의 차원수 n은 8, 제2 역변환으로의 입력(제2 복호 변환 출력 신호)의 차원수 m은 3이다. 제2 복호 양자화 계수의 역양자화 처리(1501)(Q₂(1)~Q₂(3)) 후에, 제2 변환 출력 신호의 제2 역변환 처리(1502)(T₂(1)~T₂(3)), 및 제2 복호 부분 신호의 역양자화 처리(1503)(Q₁(1)~Q₁(5))를 행한다.

이상과 같이, 본 발명의 실시 형태 15에 따른 복호 장치 및 복호 방법에서는, 제2 복호 변환 출력 신호의 k(k는 자연수)번째 요소의 제2 역변환과, 제2 복호 양자화 계수의 k번째 요소의 역양자화를 병렬적으로 행한다. 예를 들면, 도 58a에 나타낸 바와 같이, 제2 복호 변환 출력 신호의 1번째 요소의 제2 역변환(T₂(1))과, 제2 복호 양자화 계수의 1번째의 역양자화(Q₁(1))가, 동일한 시간에 병렬적으로 행해진다. 이와 같이, 제2 역변환 처리(1502)와 역양자화 처리(1503)를 병행하여 실행하므로, 역양자화 및 역변환의 전체의 처리 시간을 짧게 억제할 수 있다.

또한, 병렬의 구성은, 상기의 예에 한정되지는 않는다. 예를 들면, 제2 복호 변환 출력 신호의 k(k는 자연수)번째 요소의 제2 역변환과, 제1 복호 양자화 계수의 k+1번째 요소의 역양자화를 병렬적으로 행할 수도 있다.

또, 역변환 처리의 병렬도를 낮추어, 소요 시간을 연장시키는 것도 가능하다. 도 58b에 나타낸 바와 같이, 제2 역변환 처리(1502)와 역양자화 처리(1503)를 병행하여 실행한다. 구체적으로는, 제2 역변환 처리(1502)의 빈 시간에, 제2 복호 양자화 계수에 대한 역양자화 처리(1503)를 병행하여 행한다.

예를 들면, 도 58b에 나타낸 바와 같이, 제2 복호 변환 출력 신호의 1번째 요소에 대한 제2 변환 처리(T₂(1)) 중에, 제2 복호 양자화 계수의 1번째 요소와 2번째 요소에 대한 양자화 처리((Q₂(1), Q₂(2))를 행한다. 이에 의해, 회로 규모를 억제하면서, 처리 시간의 단축을 실현할 수 있다.

이상과 같이, 본 발명의 실시 형태 15에 따른 복호 장치 및 복호 방법에 의해, 변환 처리의 연산량과 역변환 계수의 데이터량을 억제하면서, 입력 신호의 통계적 성질의 변화에 적응할 수 있다. 특히, 처리 시간의 증가량을 경감할 수 있다.

(실시 형태 16)

상기 각 실시 형태에서 나타낸 동화상 부호화 방법 또는 동화상 복호 방법의 구성을 실현하기 위한 프로그램을 기억 미디어에 기록함으로써, 상기 각 실시 형태에서 나타낸 처리를 독립된 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다. 기억 미디어는, 자기 디스크, 광 디스크, 광자기 디스크, IC 카드, 반도체 메모리 등, 프로그램을 기록할 수 있는 것이면 된다.

또한 여기에서, 상기 각 실시 형태에서 나타낸 동화상 부호화 방법이나 동화상 복호 방법의 응용예와 그것을 이용한 시스템을 설명한다.

도 59는, 콘텐츠 전달 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 도시한 도면이다. 통신 서비스의 제공 영역을 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107~ex110)이 설치되어 있다.

이 콘텐츠 공급 시스템(ex100)은, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex107~ex110)을 통해, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 게임기(ex115) 등의 각 기기가 접속된다.

그러나, 콘텐츠 공급 시스템(ex100)은 도 59와 같은 구성에 한정되지 않으며, 어느 한 요소를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107~ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다. 또, 각 기기가 근거리 무선 등을 통해 직접 상호 접속되어 있어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이며, 카메라(ex116)는 디지털 카메라 등의 정지화상 촬영, 동화상 촬영이 가능한 기기이다. 또, 휴대전화(ex114)는, GSM(Global System for Mobile Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 LTE(Long Term Evolution) 방식, HSPA(High Speed Packet Access)의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이며, 어느 것이어도 상관없다.

콘텐츠 공급 시스템(ex100)에서는, 카메라(ex113) 등이 기지국(ex109), 전화망(ex104)을 통해 스트리밍 서버(ex103)에 접속됨으로써, 라이브 전달 등이 가능해진다. 라이브 전달에서는, 유저가 카메라(ex113)를 이용하여 촬영하는 콘텐츠(예를 들면, 음악 라이브의 영상 등)에 대해 상기 각 실시 형태에서 설명한 바와 같이 부호화 처리를 행하여, 스트리밍 서버(ex103)에 송신한다. 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해 송신된 콘텐츠 데이터를 스트림 전달한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114), 게임기(ex115) 등이 있다. 전달된 데이터를 수신한 각 기기에서는, 수신한 데이터를 복호 처리하여 재생한다.

또한, 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 스트리밍 서버(ex103)로 행해도 되고, 서로 분담하여 행해도 된다. 동일하게 전달된 데이터의 복호 처리는 클라이언트로 행해도, 스트리밍 서버(ex103)로 행해도 되고, 서로 분담하여 행해도 된다. 또, 카메라(ex113)에 한정되지 않으며, 카메라(ex116)로 촬영한 정지화상 및/또는 동화상 데이터를, 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신해도 된다. 이 경우의 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 스트리밍 서버(ex103) 중 어느 것으로 행해도 되고, 서로 분담하여 행해도 된다.

또, 이들 부호화?복호 처리는, 일반적으로 컴퓨터(ex111)나 각 기기가 갖는 LSI(ex500)에서 처리한다. LSI(ex500)는, 원 칩이어도 복수 칩으로 이루어지는 구성이어도 된다. 또한, 동화상 부호화?복호용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 어떤 기록 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 장착하고, 그 소프트웨어를 이용하여 부호화?복호 처리를 행해도 된다. 또한, 휴대전화(ex114)에 카메라가 달린 경우에는, 그 카메라로 취득한 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대전화(ex114)가 갖는 LSI(ex500)로 부호화 처리된 데이터이다.

또, 스트리밍 서버(ex103)는 복수의 서버나 복수의 컴퓨터로서, 데이터를 분산하여 처리하거나 기록하거나 전달하는 것이어도 된다.

이상과 같이 하여, 콘텐츠 공급 시스템(ex100)에서는, 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있다. 이와 같이 콘텐츠 공급 시스템(ex100)에서는, 유저가 송신한 정보를 실시간으로 클라이언트가 수신하여 복호하고, 재생할 수 있으며, 특별한 권리나 설비를 갖지 않는 유저라도 개인 방송을 실현할 수 있다.

이 콘텐츠 공급 시스템을 구성하는 각 기기의 부호화, 복호에는 상기 각 실시 형태에서 나타낸 화상 부호화 방법 혹은 화상 복호 방법을 이용하도록 하면 된다.

그 일례로서 휴대전화(ex114)에 대해 설명한다.

도 60은, 상기 실시 형태에서 설명한 화상 부호화 방법과 화상 복호 방법을 이용한 휴대전화(ex114)를 도시한 도면이다. 휴대전화(ex114)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex601), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex603), 카메라부(ex603)로 촬영한 영상, 안테나(ex601)로 수신한 영상 등이 복호된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex602), 조작 키(ex604)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex608), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex605), 촬영한 동화상 혹은 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 혹은 정지화상의 데이터 등, 부호화된 데이터 또는 복호된 데이터를 보존하기 위한 기록 미디어(ex607), 휴대전화(ex114)에 기록 미디어(ex607)를 장착 가능하게 하기 위한 슬롯부(ex606)를 갖고 있다. 기록 미디어(ex607)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 개서나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 저장한 것이다.

또한, 휴대전화(ex114)에 대해 도 61을 이용하여 설명한다. 휴대전화(ex114)는 표시부(ex602) 및 조작 키(ex604)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주제어부(ex711)에 대해, 전원 회로부(ex710), 조작 입력 제어부(ex704), 화상 부호화부(ex712), 카메라 인터페이스부(ex703), LCD(Liquid Crystal Display) 제어부(ex702), 화상 복호부(ex709), 다중 분리부(ex708), 기록 재생부(ex707), 변복조 회로부(ex706) 및 음성 처리부(ex705)가 동기 버스(ex713)를 통해 서로 접속되어 있다.

전원 회로부(ex710)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대해 전력을 공급함으로써 카메라가 달린 디지털 휴대전화(ex114)를 동작 가능한 상태로 기동한다.

휴대전화(ex114)는, CPU, ROM 및 RAM 등으로 이루어지는 주제어부(ex711)의 제어에 의거하여, 음성 통화 모드 시에 음성 입력부(ex605)에서 집음한 음성 신호를 음성 처리부(ex705)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex706)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex701)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex601)를 통해 송신한다. 또 휴대전화(ex114)는, 음성 통화 모드 시에 안테나(ex601)로 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex706)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex705)에 의해 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex608)를 통해 출력한다.

또한, 데이터 통신 모드 시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex604)의 조작에 의해 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex704)를 통해 주제어부(ex711)에 송출된다. 주제어부(ex711)는, 텍스트 데이터를 변복조 회로부(ex706)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex701)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex601)를 통해 기지국(ex110)에 송신한다.

데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 카메라부(ex603)로 촬상된 화상 데이터를 카메라 인터페이스부(ex703)를 통해 화상 부호화부(ex712)에 공급한다. 또, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex603)로 촬상한 화상 데이터를 카메라 인터페이스부(ex703) 및 LCD 제어부(ex702)를 통해 표시부(ex602)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex712)는, 본원 발명에서 설명한 화상 부호화 장치를 구비한 구성이며, 카메라부(ex603)로부터 공급된 화상 데이터를 상기 실시 형태에서 나타낸 화상 부호화 장치에 이용한 부호화 방법에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex708)에 송출한다. 또, 이 때 동시에 휴대전화(ex114)는, 카메라부(ex603)로 촬상 중에 음성 입력부(ex605)에서 집음한 음성을 음성 처리부(ex705)를 통해 디지털의 음성 데이터로서 다중 분리부(ex708)에 송출한다.

다중 분리부(ex708)는, 화상 부호화부(ex712)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex705)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex706)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex701)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex601)를 통해 송신한다.

데이터 통신 모드 시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex601)를 통해 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex706)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex708)에 송출한다.

또, 안테나(ex601)를 통해 수신된 다중화 데이터를 복호하기 위해서는, 다중 분리부(ex708)는, 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex713)를 통해 당해 부호화 화상 데이터를 화상 복호부(ex709)에 공급함과 더불어 당해 음성 데이터를 음성 처리부(ex705)에 공급한다.

다음에, 화상 복호부(ex709)는, 본원 발명에서 설명한 화상 복호 장치를 구비한 구성이며, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나타낸 부호화 방법에 대응한 복호 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(ex702)를 통해 표시부(ex602)에 공급하며, 이에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex705)는, 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex608)에 공급하고, 이에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함하는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있으며, 도 62에 나타낸 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 화상 부호화 장치 또는 화상 복호 장치 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex201)에서는 음성 데이터, 영상 데이터 또는 그들 데이터가 다중화된 비트 스트림이 전파를 통해 통신 또는 방송 위성(ex202)에 전송된다. 이것을 받은 방송 위성(ex202)은, 방송용의 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex204)로 수신하여, TV(수신기)(ex300) 또는 셋톱박스(STB)(ex217) 등의 장치에 의해 비트 스트림을 복호하며 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex215, 216)에 기록한 화상 데이터와, 음성 데이터가 다중화된 비트 스트림을 판독하여, 복호하는 리더/레코더(ex218)에도 상기 실시 형태에서 나타낸 화상 복호 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex219)에 표시된다. 또, 케이블 TV용의 케이블(ex203) 또는 위성/지상파 방송의 안테나(ex204)에 접속된 셋톱박스(ex217) 내에 화상 복호 장치를 실장하고, 이것을 TV의 모니터(ex219)로 재생하는 구성도 생각할 수 있다. 이 때 셋톱박스가 아니라, TV 내에 화상 복호 장치를 장착해도 된다. 또, 안테나(ex205)를 갖는 차(ex210)에서 위성(ex202)으로부터 또는 기지국 등으로부터 신호를 수신하여, 차(ex210)가 갖는 카 내비게이션(ex211) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또, DVD, BD 등의 기록 미디어(ex215)에 기록한 음성 데이터, 영상 데이터 또는 그들 데이터가 다중화된 부호화 비트 스트림을 판독하여 복호하거나, 또는 기록 미디어(ex215)에 음성 데이터, 영상 데이터 또는 그들 데이터를 부호화하여, 다중화 데이터로서 기록하는 리더/레코더(ex218)에도 상기 각 실시 형태에서 나타낸 동화상 복호 장치 또는 동화상 부호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex219)에 표시되고, 부호화 비트 스트림이 기록된 기록 미디어(ex215)에 의해 다른 장치나 시스템에서 영상 신호를 재생할 수 있다. 또, 케이블 TV용의 케이블(ex203) 또는 위성/지상파 방송의 안테나(ex204)에 접속된 셋톱박스(ex217) 내에 동화상 복호 장치를 실장하고, 이것을 TV의 모니터(ex219)로 표시해도 된다. 이 때 셋톱박스가 아니라, TV 내에 동화상 복호 장치를 장착해도 된다.

도 63은, 상기 각 실시 형태에서 설명한 동화상 복호 방법 및 동화상 부호화 방법을 이용한 TV(수신기)(ex300)를 도시한 도면이다. TV(ex300)는, 상기 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통해 영상 정보의 비트 스트림을 취득, 또는 출력하는 튜너(ex301)와, 수신한 부호화 데이터를 복조하거나, 또는 외부에 송신하는 부호화 데이터로 변조하는 변조/복조부(ex302)와, 복조한 영상 데이터, 음성 데이터를 분리하거나, 또는 부호화된 영상 데이터, 음성 데이터를 다중화하는 다중/분리부(ex303)를 구비한다. 또, TV(ex300)는, 음성 데이터, 영상 데이터 각각을 복호하거나, 또는 각각의 정보를 부호화하는 음성 신호 처리부(ex304), 영상 신호 처리부(ex305)를 갖는 신호 처리부(ex306)와, 복호한 음성 신호를 출력하는 스피커(ex307), 복호한 영상 신호를 표시하는 디스플레이 등의 표시부(ex308)를 갖는 출력부(ex309)를 갖는다. 또한, TV(ex300)는, 유저 조작의 입력을 접수하는 조작 입력부(ex312) 등을 갖는 인터페이스부(ex317)를 갖는다. 또한, TV(ex300)는, 각 부를 통괄적으로 제어하는 제어부(ex310), 각 부에 전력을 공급하는 전원 회로부(ex311)를 갖는다. 인터페이스부(ex317)는, 조작 입력부(ex312) 이외에, 리더/레코더(ex218) 등의 외부 기기와 접속되는 브리지(ex313), SD 카드 등의 기록 미디어(ex216)를 장착 가능하게 하기 위한 슬롯부(ex314), 하드 디스크 등의 외부 기록 미디어와 접속하기 위한 드라이버(ex315), 전화망과 접속하는 모뎀(ex316) 등을 갖고 있어도 된다. 또한 기록 미디어(ex216)는, 저장하는 불휘발성/휘발성의 반도체 메모리 소자에 의해 전기적으로 정보의 기록을 가능하게 한 것이다. TV(ex300)의 각 부는 동기 버스를 통해 서로 접속되어 있다.

우선, TV(ex300)가 안테나(ex204) 등에 의해 외부로부터 취득한 데이터를 복호하여, 재생하는 구성에 대해 설명한다. TV(ex300)는, 리모트 컨트롤러(ex220) 등으로부터의 유저 조작을 받아, CPU 등을 갖는 제어부(ex310)의 제어에 의거하여, 변조/복조부(ex302)에서 복조한 영상 데이터, 음성 데이터를 다중/분리부(ex303)에서 분리한다. 또한 TV(ex300)는, 분리한 음성 데이터를 음성 신호 처리부(ex304)에서 복호하고, 분리한 영상 데이터를 영상 신호 처리부(ex305)에서 상기 각 실시 형태에서 설명한 복호 방법을 이용하여 복호한다. 복호한 음성 신호, 영상 신호는, 각각 출력부(ex309)로부터 외부를 향해 출력된다. 출력할 때에는, 음성 신호와 영상 신호가 동기하여 재생되도록, 버퍼(ex318, ex319) 등에 일단 이들의 신호를 축적하면 된다. 또, TV(ex300)는, 방송 등으로부터가 아니라, 자기/광 디스크, SD 카드 등의 기록 미디어(ex215, ex216)로부터 부호화된 부호화 비트 스트림을 독출해도 된다. 다음에, TV(ex300)가 음성 신호나 영상 신호를 부호화하여, 외부에 송신 또는 기록 미디어 등에 기록하는 구성에 대해 설명한다. TV(ex300)는, 리모트 컨트롤러(ex220) 등으로부터의 유저 조작을 받아, 제어부(ex310)의 제어에 의거하여, 음성 신호 처리부(ex304)에서 음성 신호를 부호화하고, 영상 신호 처리부(ex305)에서 영상 신호를 상기 각 실시 형태에서 설명한 부호화 방법을 이용하여 부호화한다. 부호화한 음성 신호, 영상 신호는 다중/분리부(ex303)에서 다중화되어 외부에 출력된다. 다중화할 때에는, 음성 신호와 영상 신호가 동기하도록, 버퍼(ex320, ex321) 등에 일단 이들의 신호를 축적하면 된다. 또한, 버퍼(ex318~ex321)는 도시하고 있는 바와 같이 복수 구비하고 있어도 되며, 1개 이상의 버퍼를 공유하는 구성이어도 된다. 또한, 도시하고 있는 것 이외에, 예를 들면 변조/복조부(ex302)나 다중/분리부(ex303)의 사이 등에서도 시스템의 오버플로, 언더플로를 피하는 완충재로서 버퍼에 데이터를 축적하는 것으로 해도 된다.

또, TV(ex300)는, 방송 등이나 기록 미디어 등으로부터 음성 데이터, 영상 데이터를 취득하는 것 이외에, 마이크나 카메라의 AV 입력을 접수하는 구성을 구비하며, 그들로부터 취득한 데이터에 대해 부호화 처리를 행해도 된다. 또한, 여기에서는 TV(ex300)는 상기의 부호화 처리, 다중화, 및 외부 출력이 가능한 구성으로서 설명하였지만, 이들 처리를 행할 수는 없으며, 상기 수신, 복호 처리, 외부 출력만이 가능한 구성이어도 된다.

또, 리더/레코더(ex218)로 기록 미디어로부터 부호화 비트 스트림을 독출하거나, 또는 기록하는 경우에는, 상기 복호 처리 또는 부호화 처리는 TV(ex300), 리더/레코더(ex218) 중 어느 것으로 행해도 되고, TV(ex300)와 리더/레코더(ex218)가 서로 분담하여 행해도 된다.

일례로서, 광 디스크로부터 데이터를 읽어 들이거나 또는 기록하는 경우의 정보 재생/기록부(ex400)의 구성을 도 64에 나타낸다. 정보 재생/기록부(ex400)는, 이하에 설명하는 요소(ex401~ex407)를 구비한다. 광 헤드(ex401)는, 광 디스크인 기록 미디어(ex215)의 기록면에 레이저 스폿을 조사하여 정보를 기록하고, 기록 미디어(ex215)의 기록면으로부터의 반사광을 검출하여 정보를 읽어 들인다. 변조 기록부(ex402)는, 광 헤드(ex401)에 내장된 반도체 레이저를 전기적으로 구동하여 기록 데이터에 따라 레이저광의 변조를 행한다. 재생 복조부(ex403)는, 광 헤드(ex401)에 내장된 포토디텍터에 의해 기록면으로부터의 반사광을 전기적으로 검출한 재생 신호를 증폭하고, 기록 미디어(ex215)에 기록된 신호 성분을 분리하고 복조하여, 필요한 정보를 재생한다. 버퍼(ex404)는, 기록 미디어(ex215)에 기록하기 위한 정보 및 기록 미디어(ex215)로부터 재생한 정보를 일시적으로 유지한다. 디스크 모터(ex405)는 기록 미디어(ex215)를 회전시킨다. 서보 제어부(ex406)는, 디스크 모터(ex405)의 회전 구동을 제어하면서 광 헤드(ex401)를 소정의 정보 트랙으로 이동시켜, 레이저 스폿의 추종 처리를 행한다. 시스템 제어부(ex407)는, 정보 재생/기록부(ex400) 전체의 제어를 행한다. 상기의 독출이나 기록의 처리는 시스템 제어부(ex407)가, 버퍼(ex404)에 유지된 각종 정보를 이용하여, 또 필요에 따라 새로운 정보의 생성?추가를 행함과 더불어, 변조 기록부(ex402), 재생 복조부(ex403), 서보 제어부(ex406)를 협조 동작시키면서, 광 헤드(ex401)를 통해, 정보의 기록 재생을 행함으로써 실현된다. 시스템 제어부(ex407)는 예를 들면 마이크로프로세서로 구성되며, 독출 기록의 프로그램을 실행함으로써 그들 처리를 실행한다.

이상에서는, 광 헤드(ex401)는 레이저 스폿을 조사하는 것으로서 설명하였지만, 근접장 광을 이용하여 보다 고밀도인 기록을 행하는 구성이어도 된다.

도 65에 광 디스크인 기록 미디어(ex215)의 모식도를 도시한다. 기록 미디어(ex215)의 기록면에는 안내홈(그루브)이 스파이럴형상으로 형성되고, 정보 트랙(ex230)에는, 미리 그루브의 형상의 변화에 따라 디스크 상의 절대 위치를 나타내는 번지 정보가 기록되어 있다. 이 번지 정보는 데이터를 기록하는 단위인 기록 블록(ex231)의 위치를 특정하기 위한 정보를 포함하며, 기록이나 재생을 행하는 장치에 있어서 정보 트랙(ex230)을 재생하여 번지 정보를 판독함으로써 기록 블록을 특정할 수 있다. 또, 기록 미디어(ex215)는, 데이터 기록 영역(ex233), 내주 영역(ex232), 외주 영역(ex234)을 포함하고 있다. 유저 데이터를 기록하기 위해 이용하는 영역이 데이터 기록 영역(ex233)이며, 데이터 기록 영역(ex233)보다 내주 또는 외주에 배치되어 있는 내주 영역(ex232)과 외주 영역(ex234)은, 유저 데이터의 기록 이외의 특정 용도로 이용된다. 정보 재생/기록부(ex400)는, 이러한 기록 미디어(ex215)의 데이터 기록 영역(ex233)에 대해, 부호화된 음성 데이터, 영상 데이터 또는 그들 데이터를 다중화한 부호화 데이터의 읽고 쓰기를 행한다.

이상에서는, 1층의 DVD, BD 등의 광 디스크를 예로 들어 설명하였지만, 이들에 한정된 것은 아니며, 다층 구조로서 표면 이외에도 기록 가능한 광 디스크여도 된다. 또, 디스크의 같은 장소에 여러 가지 다른 파장의 색의 광을 이용하여 정보를 기록하거나, 여러 가지 각도로부터 다른 정보의 층을 기록하는 등, 다차원적인 기록/재생을 행하는 구조의 광 디스크여도 된다.

또, 디지털 방송용 시스템(ex200)에 있어서, 안테나(ex205)를 갖는 차(ex210)에서 위성(ex202) 등으로부터 데이터를 수신하여, 차(ex210)가 갖는 카 내비게이션(ex211) 등의 표시 장치에 동화상을 재생하는 것도 가능하다. 또한, 카 내비게이션(ex211)의 구성은 예를 들면 도 63에 나타낸 구성 중, GPS 수신부를 더한 구성을 생각할 수 있으며, 동일한 것을 컴퓨터(ex111)나 휴대전화(ex114) 등에서도 생각할 수 있다. 또, 상기 휴대전화(ex114) 등의 단말은, TV(ex300)와 동일하게, 부호화기?복호기를 양쪽 갖는 송수신형 단말 외에, 부호화기만의 송신 단말, 복호기만의 수신 단말과 같은 3종류의 실장 형식을 생각할 수 있다.

이와 같이, 상기 각 실시 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호 방법을 상술한 모든 기기?시스템에 이용하는 것은 가능하며, 그렇게 함으로써, 상기 각 실시 형태에서 설명한 효과를 얻을 수 있다.

또, 본 발명은 이러한 상기 실시 형태에 한정되는 것은 아니며, 본 발명의 범위를 일탈하지 않고 여러 가지의 변형 또는 수정이 가능하다.

(실시 형태 17)

상기 각 실시 형태에서 나타낸 동화상 부호화 방법 및 장치, 동화상 복호 방법 및 장치는, 전형적으로는 집적 회로인 LSI로 실현된다. 일례로서, 도 66에 1칩화된 LSI(ex500)의 구성을 도시한다. LSI(ex500)는, 이하에 설명하는 요소(ex501~ex509)를 구비하며, 각 요소는 버스(ex510)를 통해 접속되어 있다. 전원 회로부(ex505)는 전원이 온 상태인 경우에 각 부에 대해 전력을 공급함으로써 동작 가능한 상태로 기동한다.

예를 들면 부호화 처리를 행하는 경우에는, LSI(ex500)는, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504) 등을 갖는 제어부(ex501)의 제어에 의거하여, AV I/O(ex509)에 의해 마이크(ex117)나 카메라(ex113) 등으로부터 AV 신호를 입력한다. 입력된 AV 신호는, 일단 SDRAM 등의 외부의 메모리(ex511)에 축적된다. 제어부(ex501)의 제어에 의거하여, 축적한 데이터는 처리량이나 처리 속도에 따라 적절히 복수회로 나누는 등으로 되어 신호 처리부(ex507)에 이송되고, 신호 처리부(ex507)에서 음성 신호의 부호화 및/또는 영상 신호의 부호화가 행해진다. 여기에서 영상 신호의 부호화 처리는 상기 각 실시 형태에서 설명한 부호화 처리이다. 신호 처리부(ex507)에서는 또한, 경우에 따라 부호화된 음성 데이터와 부호화된 영상 데이터를 다중화하는 등의 처리를 행하여, 스트림 I/O(ex506)로부터 외부에 출력한다. 이 출력된 비트 스트림은, 기지국(ex107)을 향해 송신되거나, 또는 기록 미디어(ex215)에 기록되거나 한다. 또한, 다중화할 때에는 동기하도록, 일단 버퍼(ex508)에 데이터를 축적하면 된다.

또, 예를 들면 복호 처리를 행하는 경우에는, LSI(ex500)는, 제어부(ex501)의 제어에 의거하여, 스트림 I/O(ex506)에 의해 기지국(ex107)을 통해, 또는 기록 미디어(ex215)로부터 독출하여 얻은 부호화 데이터를 일단 메모리(ex511) 등에 축적한다. 제어부(ex501)의 제어에 의거하여, 축적한 데이터는 처리량이나 처리 속도에 따라 적절히 복수회로 나누는 등으로 되어 신호 처리부(ex507)에 이송되고, 신호 처리부(ex507)에서 음성 데이터의 복호 및/또는 영상 데이터의 복호가 행해진다. 여기에서 영상 신호의 복호 처리는 상기 각 실시 형태에서 설명한 복호 처리이다. 또한, 경우에 따라 복호된 음성 신호와 복호된 영상 신호를 동기하여 재생할 수 있도록 각각의 신호를 일단 버퍼(ex508) 등에 축적하면 된다. 복호된 출력 신호는 메모리(ex511) 등을 적절히 통하면서, 휴대전화(ex114), 게임기(ex115), TV(ex300) 등의 각 출력부로부터 출력된다.

또한, 상기에서는, 메모리(ex511)가 LSI(ex500)의 외부인 구성으로서 설명하였만, LSI(ex500)의 내부에 포함되는 구성이어도 된다. 버퍼(ex508)도 1개에 한정된 것은 아니며, 복수의 버퍼를 구비하고 있어도 된다. 또, LSI(ex500)는 1칩화되어도 되고, 복수칩화되어도 된다.

또한, 여기에서는, LSI로 하였지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라고 호칭되는 경우도 있다.

또, 집적 회로화의 수법은 LSI에 한정되는 것은 아니며, 전용 회로 또는 범용 프로세서로 실현해도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블?프로세서를 이용해도 된다.

또한, 반도체 기술의 진보 또는 파생되는 다른 기술에 의해 LSI로 치환되는 집적 회로화의 기술이 등장하면, 당연히, 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.

이상, 본 발명에 따른 부호화 방법, 부호화 장치, 복호 방법 및 복호 장치에 대해, 실시 형태에 의거하여 설명하였지만, 본 발명은, 이들 실시 형태에 한정되는 것은 아니다. 본 발명의 취지를 일탈하지 않는 한, 당업자가 생각해낸 각종 변형을 당해 실시 형태에 실시한 것이나, 다른 실시 형태에 있어서의 구성 요소를 조합하여 구축되는 형태도, 본 발명의 범위 내에 포함된다.

[산업상의 이용 가능성]

본 발명은, 부호화 처리에 있어서의 연산량의 증가, 및 변환 계수의 데이터량의 증가를 억제할 수 있다는 효과를 발휘하며, 오디오, 정지화상, 및 동화상을 부호화하는 부호화 장치, 및 당해 부호화 장치에 의해 부호화된 데이터를 복호하는 복호 장치에 이용할 수 있다. 예를 들면, 본 발명은, 오디오 기기, 휴대전화, 디지털 카메라, BD 레코더, 디지털 TV 등의 각종 AV 기기에 이용할 수 있다.

100, 100a, 500, 500a, 500c, 500d, 1200, 1600 : 부호화 장치
110, 110a, 510, 510a, 510b, 510c, 510d, 810, 810a, 810b, 1210, 1610 : 변환부
120, 1220, 1620 : 양자화부
130, 1230, 1630 : 엔트로피 부호화부
200, 900 : 제1 변환부
202 : 제1 변환 계수 도출부
210, 400 : 분할부
220, 220a : 제2 변환부
222, 222c : 제2 변환 계수 도출부
230, 420 : 통합부
300, 300a, 700, 700a, 700b, 1300 : 복호 장치
310, 1310 : 엔트로피 복호부
320, 540, 1240, 1320 : 역양자화부
330, 330a, 550, 730, 1030, 1030a, 1030b, 1250, 1330 : 역변환부
410, 410a : 제2 역변환부
430, 1130 : 제1 역변환부
505 : 감산기
560, 750 : 가산기
570, 624, 760, 781, 782 : 메모리
580, 770 : 예측부
585 : 예측 제어부
590, 740 : 제어부
601 : 제1 메모리
611 : 제2 메모리
612 : 분할 통합 정보 산출부
621 : 제3 메모리
623, 623c, 623d : 국소 집합 판정부
790 : 선택 신호 결정부
940, 941, 942, 1140, 1141, 1142 : 놈 보정부
1401 : 제2 변환 처리
1402, 1403 : 양자화 처리
1501, 1503 : 역양자화 처리
1502 : 제2 역변환 처리
ex100 : 콘텐츠 공급 시스템
ex101 : 인터넷
ex102 : 인터넷 서비스 프로바이더
ex103 : 스트리밍 서버
ex104 : 전화망
ex106, ex107, ex108, ex109, ex110 : 기지국
ex111 : 컴퓨터
ex112 : PDA
ex113, ex116 : 카메라
ex114 : 카메라가 달린 디지털 휴대전화(휴대전화)
ex115 : 게임기
ex117 : 마이크
ex200 : 디지털 방송용 시스템
ex201 : 방송국
ex202 : 방송 위성(위성)
ex203 : 케이블
ex204, ex205, ex601 : 안테나
ex210 : 차
ex211 : 카 내비게이션(카 내비)
ex212 : 재생 장치
ex213, ex219 : 모니터
ex214, ex215, ex216, ex607 : 기록 미디어
ex217 : 셋톱박스(STB)
ex218 : 리더/레코더
ex220 : 리모트 컨트롤러
ex230 : 정보 트랙
ex231 : 기록 블록
ex232 : 내주 영역
ex233 : 데이터 기록 영역
ex234 : 외주 영역
ex300 : TV
ex301 : 튜너
ex302 : 변조/복조부
ex303 : 다중/분리부
ex304 : 음성 신호 처리부
ex305 : 영상 신호 처리부
ex306, ex507 : 신호 처리부
ex307 : 스피커
ex308, ex602 : 표시부
ex309 : 출력부
ex310, ex501 : 제어부
ex311, ex505, ex710 : 전원 회로부
ex312 : 조작 입력부
ex313 : 브리지
ex314, ex606 : 슬롯부
ex315 : 드라이버
ex316 : 모뎀
ex317 : 인터페이스부
ex318, ex319, ex320, ex321, ex404, ex508 : 정보 재생/기록부
ex401 : 광 헤드
ex402 : 변조 기록부
ex403 : 재생 복조부
ex405 : 디스크 모터
ex406 : 서보 제어부
ex407 : 시스템 제어부
ex500 : LSI
ex502 : CPU
ex503 : 메모리 컨트롤러
ex504 : 스트림 컨트롤러
ex506 : 스트림 I/O
ex509 : AV I/O
ex510 : 버스
ex511 : 메모리
ex603 : 카메라부
ex604 : 조작 키
ex605 : 음성 입력부
ex608 : 음성 출력부
ex701 : 송수신 회로부
ex702 : LCD 제어부
ex703 : 카메라 인터페이스부(카메라 I/F부)
ex704 : 조작 입력 제어부
ex705 : 음성 처리부
ex706 : 변복조 회로부
ex707 : 기록 재생부
ex708 : 다중 분리부
ex709 : 화상 복호부
ex711 : 주제어부
ex712 : 화상 부호화부
ex713 : 동기 버스

Claims (18)

1. 입력 신호를 변환함으로써, 변환 출력 신호를 생성하는 변환 단계와,
   상기 변환 출력 신호를 구성하는 계수치를 스캔하는 스캔 단계와,
   스캔된 계수치를 포함하는 스캔 신호를 양자화함으로써, 양자화 계수를 생성하는 양자화 단계와,
   상기 양자화 계수를 엔트로피 부호화함으로써, 부호화 신호를 생성하는 엔트로피 부호화 단계를 포함하고,
   상기 변환 단계는,
   제1 변환 계수를 이용하여 상기 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하는 제1 변환 단계와,
   상기 제1 변환 출력 신호의 일부인 제1 부분 신호에, 제2 변환 계수를 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성하고, 생성한 제2 변환 출력 신호와, 상기 제1 변환 출력 신호 중 상기 제1 부분 신호 이외의 부분인 제2 부분 신호를 포함하는 상기 변환 출력 신호를 출력하는 제2 변환 단계를 포함하며,
   상기 스캔 단계, 상기 양자화 단계, 및 상기 엔트로피 부호화 단계 중의 적어도 하나에 있어서, 상기 제2 변환 출력 신호와 상기 제2 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행하는, 부호화 방법.
2. 청구항 1에 있어서,
   상기 엔트로피 부호화 단계에서는, 상기 양자화 계수 중, 상기 제2 변환 출력 신호에 대응하는 제1 양자화 계수와, 상기 제2 부분 신호에 대응하는 제2 양자화 계수에 대해, 각각 다른 확률 테이블을 이용하여 엔트로피 부호화하는, 부호화 방법.
3. 청구항 1에 있어서,
   상기 엔트로피 부호화 단계에서는, 상기 양자화 계수 중, 상기 제2 변환 출력 신호에 대응하는 제1 양자화 계수와, 상기 제2 부분 신호에 대응하는 제2 양자화 계수에 대해, 각각 다른 콘텍스트 도출을 행함으로써, 상기 양자화 계수를 엔트로피 부호화하는, 부호화 방법.
4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
   상기 스캔 단계에서는, 상기 제2 변환 출력 신호를 구성하는 계수치를, 상기 제2 변환의 파워순으로 스캔하고, 또한, 상기 제2 부분 신호를 구성하는 계수치를, 지그재그 스캔으로 스캔하는, 부호화 방법.
5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
   상기 양자화 단계에서는, 상기 스캔 신호 중, 상기 제2 변환 출력 신호에 대응하는 제1 스캔 신호를 제1 정밀도로 양자화하고, 상기 제2 부분 신호에 대응하는 제2 스캔 신호를, 상기 제1 정밀도보다 낮은 제2 정밀도로 양자화하는, 부호화 방법.
6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
   상기 스캔 단계에서는, 스캔 방식의 전환이 가능하고,
   상기 양자화 단계에서는, 양자화 정밀도의 전환이 가능하고,
   상기 엔트로피 부호화 단계에서는, 엔트로피 부호화 방식의 전환이 가능하며,
   상기 스캔 단계, 상기 양자화 단계, 및 상기 엔트로피 부호화 단계에 있어서의 전환 빈도는, 상기 제2 변환 출력 신호에 대응하는 신호쪽이, 상기 제2 부분 신호에 대응하는 신호보다 높은, 부호화 방법.
7. 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수를 생성하는 엔트로피 복호 단계와,
   상기 복호 양자화 계수를 역양자화함으로써, 복호 스캔 신호를 생성하는 역양자화 단계와,
   상기 복호 스캔 신호를 구성하는 계수치를 스캔하는 스캔 단계와,
   스캔된 계수치를 포함하는 복호 변환 출력 신호를 역변환함으로써, 복호 신호를 생성하는 역변환 단계를 포함하고,
   상기 역변환 단계는,
   제2 역변환 계수를 이용하여, 상기 복호 변환 출력 신호의 일부인 제2 복호 변환 출력 신호에 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성하는 제2 역변환 단계와,
   상기 제1 복호 부분 신호와, 상기 복호 변환 출력 신호 중 상기 제2 복호 변환 출력 신호 이외의 부분인 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호에, 제1 역변환 계수를 이용하여 제1 역변환을 행함으로써, 상기 복호 신호를 생성하는 제1 역변환 단계를 포함하며,
   상기 엔트로피 복호 단계, 상기 역양자화 단계, 및 상기 스캔 단계 중의 적어도 하나에 있어서, 상기 제2 복호 변환 출력 신호와 상기 제2 복호 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행하는, 복호 방법.
8. 청구항 7에 있어서,
   상기 엔트로피 복호 단계에서는, 상기 부호화 신호 중, 상기 제2 복호 변환 출력 신호에 대응하는 제1 부호화 신호와, 상기 제2 복호 부분 신호에 대응하는 제2 부호화 신호에 대해, 각각 다른 확률 테이블을 이용하여 상기 부호화 신호를 엔트로피 복호하는, 복호 방법.
9. 청구항 7에 있어서,
   상기 엔트로피 복호 단계에서는, 상기 부호화 신호 중, 상기 제2 복호 변환 출력 신호에 대응하는 제1 부호화 신호와, 상기 제2 복호 부분 신호에 대응하는 제2 부호화 신호에 대해, 각각 다른 콘텍스트 도출을 행함으로써, 상기 부호화 신호를 엔트로피 복호하는, 복호 방법.
10. 청구항 7 내지 청구항 9 중 어느 한 항에 있어서,
    상기 스캔 단계에서는, 상기 복호 스캔 신호 중, 상기 제2 복호 변환 출력 신호에 대응하는 제1 복호 스캔 신호를 구성하는 계수치를, 상기 제2 역변환의 파워순으로 스캔하고, 또한, 상기 제2 복호 부분 신호에 대응하는 제2 복호 스캔 신호를 구성하는 계수치를, 지그재그 스캔으로 스캔하는, 복호 방법.
11. 청구항 7 내지 청구항 10 중 어느 한 항에 있어서,
    상기 역양자화 단계에서는, 상기 복호 양자화 계수 중, 상기 제2 복호 변환 신호에 대응하는 제1 복호 양자화 계수를 제1 정밀도로 역양자화하고, 상기 제2 복호 부분 신호에 대응하는 제2 복호 양자화 계수를, 상기 제1 정밀도보다 낮은 제2 정밀도로 역양자화하는, 복호 방법.
12. 청구항 7 내지 청구항 11 중 어느 한 항에 있어서,
    상기 엔트로피 복호 단계에서는, 엔트로피 복호 방식의 전환이 가능하고,
    상기 역양자화 단계에서는, 역양자화 정밀도의 전환이 가능하고,
    상기 스캔 단계에서는, 스캔 방식의 전환이 가능하며,
    상기 엔트로피 복호 단계, 상기 역양자화 단계, 및 상기 스캔 단계에 있어서의 전환 빈도는, 상기 제2 복호 변환 출력 신호에 대응하는 신호가, 상기 제2 복호 부분 신호에 대응하는 신호보다 높은, 복호 방법.
13. 입력 신호를 변환함으로써, 변환 출력 신호를 생성하는 변환부와,
    상기 변환 출력 신호를 구성하는 계수치를 스캔하고, 스캔된 계수치를 포함하는 스캔 신호를 양자화함으로써, 양자화 계수를 생성하는 양자화부와,
    상기 양자화 계수를 엔트로피 부호화함으로써, 부호화 신호를 생성하는 엔트로피 부호화부를 구비하고,
    상기 변환부는,
    제1 변환 계수를 이용하여 상기 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하는 제1 변환부와,
    상기 제1 변환 출력 신호의 일부인 제1 부분 신호에, 제2 변환 계수를 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성하고, 생성한 제2 변환 출력 신호와, 상기 제1 변환 출력 신호 중 상기 제1 부분 신호 이외의 부분인 제2 부분 신호를 포함하는 상기 변환 출력 신호를 출력하는 제2 변환부를 구비하며,
    상기 스캔, 상기 양자화, 및 상기 엔트로피 부호화 중의 적어도 하나에 있어서, 상기 제2 변환 출력 신호와 상기 제2 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행하는, 부호화 장치.
14. 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수를 생성하는 엔트로피 복호부와,
    상기 복호 양자화 계수를 역양자화함으로써, 복호 스캔 신호를 생성하고, 상기 복호 스캔 신호를 구성하는 계수치를 스캔하는 역양자화부와,
    스캔된 계수치를 포함하는 복호 변환 출력 신호를 역변환함으로써, 복호 신호를 생성하는 역변환부를 구비하고,
    상기 역변환부는,
    제2 역변환 계수를 이용하여, 상기 복호 변환 출력 신호의 일부인 제2 복호 변환 출력 신호에 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성하는 제2 역변환부와,
    상기 제1 복호 부분 신호와, 상기 복호 변환 출력 신호 중 상기 제2 복호 변환 출력 신호 이외의 부분인 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호에, 제1 역변환 계수를 이용하여 제1 역변환을 행함으로써, 상기 복호 신호를 생성하는 제1 역변환부를 구비하며,
    상기 엔트로피 복호, 상기 역양자화, 및 상기 스캔 중의 적어도 하나에 있어서, 상기 제2 복호 변환 출력 신호와 상기 제2 복호 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행하는, 복호 장치.
15. 입력 신호를 변환함으로써, 변환 출력 신호를 생성하는 변환부와,
    상기 변환 출력 신호를 구성하는 계수치를 스캔하고, 스캔된 계수치를 포함하는 스캔 신호를 양자화함으로써, 양자화 계수를 생성하는 양자화부와,
    상기 양자화 계수를 엔트로피 부호화함으로써, 부호화 신호를 생성하는 엔트로피 부호화부를 구비하고,
    상기 변환부는,
    제1 변환 계수를 이용하여 상기 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하는 제1 변환부와,
    상기 제1 변환 출력 신호의 일부인 제1 부분 신호에, 제2 변환 계수를 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성하고, 생성한 제2 변환 출력 신호와, 상기 제1 변환 출력 신호 중 상기 제1 부분 신호 이외의 부분인 제2 부분 신호를 포함하는 상기 변환 출력 신호를 출력하는 제2 변환부를 구비하며,
    상기 스캔, 상기 양자화, 및 상기 엔트로피 부호화 중의 적어도 하나에 있어서, 상기 제2 변환 출력 신호와 상기 제2 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행하는, 집적 회로.
16. 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수를 생성하는 엔트로피 복호부와,
    상기 복호 양자화 계수를 역양자화함으로써, 복호 스캔 신호를 생성하고, 상기 복호 스캔 신호를 구성하는 계수치를 스캔하는 역양자화부와,
    스캔된 계수치를 포함하는 복호 변환 출력 신호를 역변환함으로써, 복호 신호를 생성하는 역변환부를 구비하고,
    상기 역변환부는,
    제2 역변환 계수를 이용하여, 상기 복호 변환 출력 신호의 일부인 제2 복호 변환 출력 신호에 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성하는 제2 역변환부와,
    상기 제1 복호 부분 신호와, 상기 복호 변환 출력 신호 중 상기 제2 복호 변환 출력 신호 이외의 부분인 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호에, 제1 역변환 계수를 이용하여 제1 역변환을 행함으로써, 상기 복호 신호를 생성하는 제1 역변환부를 구비하며,
    상기 엔트로피 복호, 상기 역양자화, 및 상기 스캔 중의 적어도 하나에 있어서, 상기 제2 복호 변환 출력 신호와 상기 제2 복호 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행하는, 집적 회로.
17. 입력 신호를 변환함으로써, 변환 출력 신호를 생성하는 변환 단계와,
    상기 변환 출력 신호를 구성하는 계수치를 스캔하는 스캔 단계와,
    스캔된 계수치를 포함하는 스캔 신호를 양자화함으로써, 양자화 계수를 생성하는 양자화 단계와,
    상기 양자화 계수를 엔트로피 부호화함으로써, 부호화 신호를 생성하는 엔트로피 부호화 단계를 포함하고,
    상기 변환 단계는,
    제1 변환 계수를 이용하여 상기 입력 신호에 제1 변환을 행함으로써, 제1 변환 출력 신호를 생성하는 제1 변환 단계와,
    상기 제1 변환 출력 신호의 일부인 제1 부분 신호에, 제2 변환 계수를 이용하여 제2 변환을 행함으로써, 제2 변환 출력 신호를 생성하고, 생성한 제2 변환 출력 신호와, 상기 제1 변환 출력 신호 중 상기 제1 부분 신호 이외의 부분인 제2 부분 신호를 포함하는 상기 변환 출력 신호를 출력하는 제2 변환 단계를 포함하며,
    상기 스캔 단계, 상기 양자화 단계, 및 상기 엔트로피 부호화 단계 중의 적어도 하나에 있어서, 상기 제2 변환 출력 신호와 상기 제2 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행하는 부호화 방법을 컴퓨터에 실행시키기 위한 프로그램.
18. 부호화 신호를 엔트로피 복호함으로써, 복호 양자화 계수를 생성하는 엔트로피 복호 단계와,
    상기 복호 양자화 계수를 역양자화함으로써, 복호 스캔 신호를 생성하는 역양자화 단계와,
    상기 복호 스캔 신호를 구성하는 계수치를 스캔하는 스캔 단계와,
    스캔된 계수치를 포함하는 복호 변환 출력 신호를 역변환함으로써, 복호 신호를 생성하는 역변환 단계를 포함하고,
    상기 역변환 단계는,
    제2 역변환 계수를 이용하여, 상기 복호 변환 출력 신호의 일부인 제2 복호 변환 출력 신호에 제2 역변환을 행함으로써, 제1 복호 부분 신호를 생성하는 제2 역변환 단계와,
    상기 제1 복호 부분 신호와, 상기 복호 변환 출력 신호 중 상기 제2 복호 변환 출력 신호 이외의 부분인 제2 복호 부분 신호를 포함하는 제1 복호 변환 출력 신호에, 제1 역변환 계수를 이용하여 제1 역변환을 행함으로써, 상기 복호 신호를 생성하는 제1 역변환 단계를 포함하며,
    상기 엔트로피 복호 단계, 상기 역양자화 단계, 및 상기 스캔 단계 중의 적어도 하나에 있어서, 상기 제2 복호 변환 출력 신호와 상기 제2 복호 부분 신호의 각각에 대응하는 신호에 대해 다른 처리를 행하는 복호 방법을 컴퓨터에 실행시키기 위한 프로그램.

Images