KR100527690B1

KR100527690B1 - 신호 부호화 방법 및 장치, 및 복호 방법 및 장치

Info

Publication number: KR100527690B1
Application number: KR10-2002-7016705A
Authority: KR
Inventors: 미노루 엣또; 미쯔루 코바야시; 순이치 세끼구치
Original assignee: 가부시키가이샤 엔티티 도코모
Priority date: 2001-04-09
Filing date: 2002-04-08
Publication date: 2005-11-15
Also published as: KR20030014695A; US7242814B2; CN1257614C; JP3887178B2; JP2002314428A; EP1379000A4; EP1379000B1; CN1461527A; US8098940B2; US20070189624A1; US20030103679A1; WO2002084886A1; EP1379000A1

Abstract

변환 기저를 이용하여 더욱 효율적인 부호화 및 복호를 행할 수 있는 방법 및 장치를 제공한다. 부호화 대상 신호를 변환 규칙에 따라 변환하여 부호화하는 부호화 방법에 있어서, 그 부호화 대상 신호와 상관이 있는 신호를 참조 신호로서 취득하고, 변환 규칙의 기초로 되는 변환 기저를 그 취득된 참조 신호의 특성에 기초하여 도출한다. 그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 부호화 대상 신호를 변환하여 부호화한다. 이에 의해, 참조 신호의 특성으로부터 유도되는 변환 기저에 기초한 변환 규칙에 따라 부호화 대상 신호가 변환된다. 참조 신호에는 부호화 대상 신호와 상관이 있으므로 그 특성으로부터 유도되는 변환 기저는 부호화 대상 신호의 성질에 정합한 것으로 된다.

Description

신호 부호화 방법 및 장치, 및 복호 방법 및 장치{SIGNAL ENCODING METHOD AND APPARATUS AND DECODING METHOD AND APPARATUS}

본 발명은 화상 신호등의 신호 계열을 부호화 및 복호를 하는 방법 및 장치에 관한 것으로, 자세하게는 DCT(Discrete Cosine Transform) 등의 변환 기저를 이용하여 신호 계열의 부호화 및 복호를 하는 방법 및 장치에 관한 것이다.

종래, 예를 들면 “MPEG : A Video Compression Standard for Multimedia Applications”(Le Gall, D. ： Trans. ACM, 1991, April)에, MPEG-1 부호화 방식에 기초한 화상 부호화 장치 및 화상 복호 장치가 개시되어 있다. 이 화상 부호화 장치는 도 1에 나타내듯이 구성되고, 또, 그 화상 복호 장치는 도 2에 나타내듯이 구성된다.

도 1에 나타내는 화상 부호화 장치에서는, 움직임 보상 프레임간 예측에 의해 시간 방향으로 존재하는 용장도(redundancy)를 삭감하고, DCT(Discrete Cosine Transform ： 이산 여현 변환)에 의해 한층 더 공간 방향으로 남아있는 용장도를 삭감함으로써 화상 신호의 정보 압축을 한다. 움직임 보상 프레임간 예측의 구조를 도 3에, 그 움직임 벡터 검출에 자주 이용되는 블록 정합 처리의 개요를 도 4에, DCT의 개념을 도 5에, DCT 계수의 부호화의 원리를 도 6a에 각각 나타낸다. 이하, 이러한 도를 참조하면서 도 1 및 도 2가 각각 나타내는 화상 부호화 장치 및 화상 복호 장치의 동작을 설명한다.

입력 화상 신호(1)는 프레임 화상의 시간 계열이고, 이하, 프레임 화상 단위의 신호를 나타내는 것으로 한다. 또, 부호화의 대상으로 되는 프레임 화상을 도 3에 나타내는 현재 프레임으로 부른다. 현재 프레임은 예를 들면 16화소×16라인으로 고정된 정방형 영역(마크로 블록(macro block)으로 부름)으로 분할되고, 그 단위로 이하의 처리가 행해진다.

현재 프레임의 마크로 블록 데이터(현재 마크로 블록)는 우선 움직임 검출부(2)에 보내지고, 여기서 움직임 벡터(5)의 검출이 이루어진다. 움직임 벡터(5)는 프레임 메모리(3)에 저장되어 있는 과거의 부호화가 끝난 프레임 화상(4)(이하, 국소 복호 화상이라 부름)의 소정의 탐색 영역을 참조하여, 현재 마크로 블록과 유사한 패턴을 찾아내고, 이 패턴과 현재 마크로 블록의 사이의 공간적 이동량에 기초하여 생성된다.

상기 국소 복호 화상은 과거의 프레임에만 한정되는 것은 아니고, 미래의 프레임을 먼저 부호화해 두고 프레임 메모리에 저장하여 사용할 수도 있다. 미래의 프레임을 사용하면 부호화 순서의 교체가 생겨 처리 지연이 증가하지만, 과거와 미래의 사이에 생긴 화상 내용의 변동을 예측하기 쉬워지고, 시간 용장도를 한층 더 효과적으로 삭감할 수 있는 장점이 있다. 일반적으로 MPEG-1에서는, 이 과거, 미래의 양 프레임을 이용한 양방향(兩方向) 예측(B 프레임 예측)과, 이전 프레임만을 사용하는 전방향(前方向) 예측(P 프레임 예측)과, 프레임간 예측을 하지 않고 프레임 내에서만 부호화를 하는 I 프레임의 3개의 부호화 형태를 선택적으로 사용할 수 있다. 도 3에서는 P 프레임 예측에만 한정하고 국소 복호 화상을 이전 프레임으로 하고 있다.

움직임 벡터(5)는 2 차원의 평행 이동량으로 표현된다. 움직임 벡터(5)의 검출 방법으로서는 일반적으로 도 4에 나타내는 블록 정합의 수법이 이용된다. 현재 마크로 블록의 공간 위치를 중심으로 하여 움직임 탐색 범위를 마련하고 이전 프레임의 움직임 탐색 범위 내의 화상 데이터로부터, 차분 제곱 합 혹은 차분 절대치 합을 최소로 하는 블록을 움직임 예측 데이터로서 구하고 현재 마크로 블록과 움직임 예측 데이터의 위치 변이량을 움직임 벡터(5)로 한다. 현재 프레임 내의 전체 마크로 블록에 대해서 움직임 예측 데이터를 구하고, 그것을 프레임 화상으로서 나타낸 것이 도 3에 있어서의 움직임 예측 프레임에 해당한다. 움직임 보상 프레임간 예측에서는, 도 3과 같이 움직임 예측 프레임과 현재 프레임과의 사이의 차분을 취하고, 그 잔차(殘差) 신호(이하, 예측 잔차 신호(8)라 부름)를 DCT 부호화의 대상으로 한다.

구체적으로 각 마크로 블록마다의 움직임 예측 데이터(이하, 예측 화상(6))를 취출하는 처리는 움직임 보상부(7)가 행한다. 즉, 이 움직임 보상부(7)는 움직임 벡터(5)를 이용하여 프레임 메모리(3) 내의 국소 복호 화상(4)으로부터 예측 화상(6)을 생성한다.

예측 잔차 신호(8)는 DCT부(9)에 의해 DCT 계수 데이터로 변환된다. DCT는 도 5에 나타내듯이, 공간 화소 벡터를 고정의 주파수 성분을 나타내는 정규 직교 기저의 조(組)로 변환한다. 공간 화소 벡터로서 통상 8×8 화소의 블록(이하, DCT 블록)이 채용된다. DCT 그것은 분리형 변환 처리이기 때문에, 실제상은 DCT 블록의 수평, 수직의 8 차원 행 벡터, 열 벡터마다 변환이 이루어진다. DCT는 공간 영역에 존재하는 화소간 상관을 이용하여 DCT 블록내의 전력 집중도를 국소화 시킨다. 전력 집중도가 높을 수록 변환 효율이 좋고, 자연 화상 신호에 대해서는 최적 변환인 KL 변환에 비해 손색이 없는 성능이 얻어진다. 특히, 자연 화상에서는 DC 성분을 주축으로서 저역(低域)에 전력이 집중하고 고역(高域)에는 전력이 거의 없다. 이 때문에, 도 6b에 나타내듯이 그 양자화 계수를 DCT 블록내에서 저역으로부터 고역을 향해 주사하고, 제로 런(zero run)을 많이 포함하도록 함으로써 엔트로피(entropy) 부호화의 효과도 포함하여 전체의 부호화 효율을 높이고 있다.

DCT 계수(10)의 양자화는 양자화부(11)에서 행해지고 양자화 계수(12)는 가변장(可變長) 부호화부(13)로 스캔(scan)하고, 런 길이(run length) 부호화되어 압축 스트림(stream)(14)에 다중되어 전송된다. 또, 움직임 검출부(2)로 검출된 움직임 벡터(5)는 화상 복호 장치에 있어서 화상 부호화 장치와 같은 예측 화상을 생성하기 위해서 필요로 되기 때문에, 각 마크로 블록마다 압축 스트림(14)에 다중되어 전송된다.

또, 양자화 계수(12)는 역양자화부(inverse quantization part)(15), IDCT부(Inverse Discrete Cosine Transform Part)(16)를 거쳐 국소 복호되고, 그 결과가 예측 화상(6)과 가산되어 화상 복호 장치 측과 동일한 복호 화상(17)이 생성된다. 복호 화상(17)은 다음 프레임의 예측에 이용하기 위해 상기 국소 복호 화상으로서 프레임 메모리(3)에 저장된다.

다음에, 도 2에 나타내는 화상 복호 장치의 동작을 설명한다.

이 화상 복호 장치에서는 압축 스트림(stream)(14)을 수신한 후, 가변장 복호부(18)에서 각 프레임의 선두를 나타내는 동기 워드를 검출하고, 이후 마크로 블록 단위로 움직임 벡터(5), 양자화 DCT 계수(12)가 복원된다. 움직임 벡터(5)는 움직임 보상부(7)에 보내지고, 움직임 보상부(7)는 화상 부호화 장치의 동작과 마찬가지로 프레임 메모리(19)(프레임 메모리(3)와 동일하게 사용)로부터 움직임 벡터(5) 만큼의 움직인 화상 부분을 예측 화상(6)으로서 취출한다. 양자화 DCT 계수(12)는 역양자화부(15), IDCT부(16)를 거쳐서 복호된 후, 예측 화상(6)과 가산되어 최종적인 복호 화상(17)으로 된다. 복호 화상(17)은 소정의 표시 타이밍(timing)으로 표시 장치에 출력되어 화상이 재생된다.

전술한 것 같은 종래의 예와 같이, 먼저 복호가 끝난 신호(이하, 적당히 참조 화상 또는 예측 화상이라 함)를 참조하고, 그 상관을 이용하는 부호화 알고리즘이 MPEG 동화상 부호화를 비롯하여 널리 일반적으로 이용되고 있다. 종래의 예에서 설명한 이유에 의해, 많은 경우 변환 기저로서 DCT가 이용되고 있다. 이 DCT는 사전 확률 분포가 알려져 있지 않은 신호 파형의 부호화에 유효하다. 그러나, 일반적으로 음성, 화상 등의 미디어 신호는 비정상으로, 시공간적으로 국소적인 신호의 편향을 가지고 있다. 따라서, 전술한 종래의 예와 같이 고정된 변환 기저로서는 신호를 표현하기 위한 기저의 수(계수의 수)가 효과적으로 삭감될 수 없어 압축에 한계가 있었다.

도 1은 DCT의 기술을 이용하여 부호화를 하는 종래의 화상 부호화 장치의 일례를 나타내는 블럭도이다.

도 2는 DCT의 기술을 이용하여 복호를 하는 화상 복호 장치의 일례를 나타내는 블럭도이다.

도 3은 움직임 보상 프레임간 예측의 구조를 설명하기 위한 도이다.

도 4는 움직임 벡터 검출에 이용되는 블록 정합 처리의 개요를 설명하기 위한 도이다.

도 5는 DCT의 개념을 설명하기 위한 도이다.

도 6a, 6b는 DCT 계수의 부호화의 원리를 설명하는 도이다.

도 7은 본 발명의 실시의 형태에 있어서의 부호화의 원리를 설명하는 도이다.

도 8은 본 발명의 제 1의 실시의 형태와 관련되는 화상 부호화 장치를 나타내는 도이다.

도 9는 본 발명의 제 1의 실시의 형태와 관련되는 화상 복호 장치를 나타내는 도이다.

도 10은 예측 화상의 직교 변환 적용 영역에 있어서의 휘도 분포의 일례를 나타내는 도이다.

도 11은 본 발명의 제 2의 실시의 형태와 관련되는 화상 부호화 장치를 나타내는 도이다.

도 12는 본 발명의 제 2의 실시의 형태와 관련되는 화상 복호 장치를 나타내는 도이다.

도 13a는 DCT 변환 기저의 처리식을 나타내는 도이다.

도 13b 및 13c는 DCT 변환 기저의 일례를 나타내는 도이다.

도 14a 및 14b는 변환 기저의 일례를 나타내는 도이다(그의 1).

도 15a 및 15b는 변환 기저의 일례를 나타내는 도이다(그의 2).

도 16a 및 16b는 변환 기저의 일례를 나타내는 도이다(그의 3).

도 17a 및 17b는 변환 기저의 일례를 나타내는 도이다(그의 4).

도 18a 및 18b는 변환 기저의 일례를 나타내는 도이다(그의 5).

도 19a 및 19b는 변환 기저의 일례를 나타내는 도이다(그의 6).

도 20은 본 발명의 제 2의 실시의 형태와 관련되는 화상 부호화 장치의 변형예를 나타내는 도이다.

도 21은 본 발명의 제 2의 실시의 형태와 관련되는 화상 복호 장치의 변형예를 나타내는 도이다.

도 22는 본 발명의 제 3의 실시의 형태와 관련되는 화상 부호화 장치를 나타내는 도이다.

도 23은 본 발명의 제 3의 실시의 형태와 관련되는 화상 복호 장치를 나타내는 도이다.

도 24는 본 발명의 제 4의 실시의 형태와 관련되는 화상 부호화 장치를 나타내는 도이다.

도 25는 본 발명의 제 4의 실시의 형태와 관련되는 화상 복호 장치를 나타내는 도이다.

도 26은 본 발명의 제 5의 실시의 형태와 관련되는 화상 부호화 장치를 나타내는 도이다.

도 27은 본 발명의 제 5의 실시의 형태와 관련되는 화상 복호 장치를 나타내는 도이다.

도 28은 본 발명의 제 6의 실시의 형태와 관련되는 화상 부호화 장치를 나타내는 도이다.

도 29는 본 발명의 제 6의 실시의 형태와 관련되는 화상 복호 장치를 나타내는 도이다.

그래서, 본 발명의 과제는 변환 기저를 이용하여 더욱 효율적인 부호화 및 복호를 행할 수 있는 방법 및 장치를 제공하는 것이다.

상기 과제를 해결하기 위해, 본 발명은 청구항 1에 기재되듯이, 부호화 대상 신호를 변환 규칙에 따라 변환하여 부호화하는 부호화 방법에 있어서, 그 부호화 대상 신호와 상관이 있는 신호를 참조 신호로서 취득하는 제 1의 처리 스텝과, 변환 규칙의 기초로 되는 변환 기저를 그 취득된 참조 신호의 특성에 기초하여 도출하는 제 2의 처리 스텝과, 그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 부호화 대상 신호를 변환하여 부호화하는 제 3의 처리 스텝을 가지도록 구성된다.

이러한 신호 부호화 방법에서는 참조 신호의 특성에 기초하여 도출되는 변환 기저에 기초한 변환 규칙에 따라 부호화 대상 신호가 변환된다. 이 참조 신호는 부호화 대상 신호와 상관이 있으므로 그 도출되는 변환 기저는 부호화 대상 신호의 성질에 정합한 것으로 하는 것이 가능하게 된다.

상기 부호화 대상 신호는 화상에 관한 정보를 나타내는 화상 신호 이외, 음성 신호 등의 미디어 신호나 다른 임의 신호로 할 수 있다.

부호화 대상 신호로서 화상 신호를 이용하는 경우, 입력 원화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 잔차 신호를 그 부호화 대상 신호로 할 수 있다. 또, 부호화 대상 신호로서 화상 신호를 이용하는 경우, 입력 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 화상 신호를 참조 신호로 할 수 있다.

부호화 측으로부터 변환 기저에 관한 정보를 복호 측에 보내지 않아도, 복호 측에 있어서 부호화에 이용된 변환 기저를 재현할 수 있다고 하는 관점으로부터 본 발명은 청구항 2에 기재되듯이, 상기 신호 부호화 방법에 있어서, 상기 참조 신호는 해당 신호 부호화 방법에서 부호화 된 신호를 복호할 때에 얻어지는 신호와 동일이라고 간주할 수 있는 신호로 되도록 구성할 수 있다.

청구항 11에 기재되듯이, 그 변환 기저는 미리 정한 복수의 변환 기저로부터 상기 참조 신호의 특성에 기초하여 선택할 수 있다.

사용해야할 변환 기저를 미리 정한 복수의 변환 기저로부터 선택하는 경우, 복호 측이 같은 복수의 변환 기저를 구비함으로써 복호 측에서의 처리가 용이하게 된다. 이 경우, 청구항 15에 기재되듯이, 그 선택된 변환 기저를 특정하는 정보를 상기 부호화 대상 신호의 부호화와 함께 부호화하도록 구성할 수 있다. 이 부호화 된 변환 기저를 특정하는 정보를 복호 측에 보냄으로써, 그 변환 기저를 특정하는 정보에 기초하여 복수의 변환 기저로부터 부호화 측에서 사용한 변환 기저를 복호 측에서 특정할 수 있다.

복호 측에서 부호화 측에서 사용한 변환 기저를 용이하게 취득할 수 있다고 하는 관점으로부터, 본 발명은 청구항 17에 기재되듯이, 상기와 같이 도출된 변환 기저를 상기 부호화 대상 신호와 함께 부호화 할 수 있다. 이 변환 기저 그것이 부호화되어 복호 측에 보내어짐으로써, 복호 측에서는 부호화 측에서 사용한 변환 기저를 용이하게 취득할 수 있다.

미리 정한 복수의 변환 기저만으로는 적정한 변환을 할 수 없는 경우에 유효하게 된다고 하는 관점으로부터, 본 발명은 청구항 18에 기재되듯이, 상기 참조 신호의 특성에 기초하여 변환 기저를 생성하고, 미리 정해진 복수의 변환 기저 및 상기 생성된 변환 기저 중에서 상기 참조 신호의 특성에 기초하여 사용해야할 변환 기저를 선택하도록 구성할 수 있다.

적정한 변환 기저가 복수의 변환 기저에 포함되어 있지 않다고 하는 상황을 극히 저감한다고 하는 관점으로부터, 본 발명은 청구항 19에 기재되듯이, 상기 생성된 변환 기저가 사용해야할 변환 기저로서 선택된 경우에, 그 생성된 변환 기저를 상기 복수의 변환 기저에 추가하도록 구성할 수 있다.

상기 복수의 변환 기저에 포함되는 소용없는 변환 기저의 수의 증가를 억제한다고 하는 관점으로부터, 본 발명은 청구항 20에 기재되듯이, 상기 참조 신호의 특성과 상기 복수의 변환 기저의 각각과의 관계로부터 결정되는 하나의 변환 기저를 그 복수의 변환 기저로부터 삭제하도록 구성할 수 있다.

보다 적정한 변환 기저를 사용할 수 있도록 된다고 하는 관점으로부터, 본 발명은 청구항 23에 기재되듯이, 상기 참조 신호의 특성에 기초하여 상기 복수의 변환 기저로부터 하나의 변환 기저를 선택하고, 그 선택된 하나의 변환 기저와 상기 생성된 변환 기저를 이용하여 부호화 대상 신호를 부호화하고, 그 부호화 결과에 기초하여 그 하나의 변환 기저와 상기 생성된 변환 기저의 어느 쪽을 선택하도록 구성할 수 있다.

소위 「정합 추적(Matching Pursuits)」와 같은 패턴 매칭(pattern matching)의 수법에 의해 부호화 대상 신호를 변환할 수 있도록 하기 위해, 본 발명은 청구항 29에 기재되듯이, 부호화 대상 신호의 부분 신호 파형을 특정하고, 그 부분 신호 파형을 변환 기저로 되는 파형 벡터와의 유사한 정도를 나타내는 유사도 정보로 변환하고, 그 파형 벡터를 특정하는 정보, 상기 유사도 정보 및 상기 부분 신호 파형의 부호화 대상 신호내 위치를 부호화하는 신호 부호화 방법으로서, 상기 제 2의 처리 스텝에서는 상기 부호화 대상 신호의 상기 부분 신호 파형에 대응한 참조 신호의 부분 신호의 특성에 기초하여 상기 변환 기저로 되는 파형 벡터를 생성하도록 구성할 수 있다.

상기 과제를 해결하기 위해, 본 발명은 청구항 33에 기재되듯이, 부호화 대상 신호를 변환 규칙에 따라 변환하여 부호화하는 부호화 장치에 있어서, 그 부호화 대상 신호와 상관이 있는 신호를 참조 신호로서 취득하는 제 1의 처리 수단과, 변환 규칙의 기초로 되는 변환 기저를 그 취득된 참조 신호의 특성에 기초하여 도출하는 제 2의 처리 수단과, 그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 부호화 대상 신호를 변환하여 부호화하는 제 3의 처리 수단을 가지도록 구성된다.

또한, 상기 과제를 해결하기 위해, 본 발명은 청구항 62에 기재되듯이, 부호화 신호를 복호하고, 그 복호에 의해 얻어진 신호를 변환 규칙에 따라 변환하여 신호의 재생을 하는 신호 복호 방법에 있어서, 상기 부호화 신호를 복호하여 얻어진 신호에 기초하여 변환 규칙의 기초로 되는 변환 기저를 도출하는 제 1의 처리 스텝과, 그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 복호에 의해 얻어진 신호를 변환하여 신호의 재생을 하는 제 2의 처리 스텝을 가지도록 구성된다.

복호 측에서 변환 기저를 생성한다고 하는 관점으로부터, 본 발명은 청구항 63에 기재되듯이, 상기 신호 복호 방법에 있어서, 상기 제 1의 처리 스텝에서는 상기 부호화 신호를 복호하여 얻어진 신호와 상관이 있는 신호를 참조 신호로서 취득하고, 상기 변환 기저를 그 취득된 참조 신호의 특성에 기초하여 생성하도록 구성할 수 있다.

복호 측에서의 변환 기저를 얻기 위한 처리가 용이하게 된다고 하는 관점으로부터, 본 발명은 청구항 72에 기재되듯이, 상기 신호 복호 방법에 있어서, 상기 제 1의 처리 스텝에서는 부호화 신호에 기초하여 미리 정한 복수의 변환 기저로부터 상기 제 2의 처리 스텝에서 사용되어야 할 변환 기저를 선택하도록 구성할 수 있다.

복호 측에서의 처리가 더욱 용이하게 된다고 하는 관점으로부터, 본 발명은 청구항 78에 기재되듯이, 상기 신호 복호 방법에 있어서, 상기 제 1의 처리 스텝에서는 부호화 신호를 복호하여 얻어지는 변환 기저를 상기 제 2의 처리 스텝에 사용해야할 변환 기저로서 취득하도록 구성할 수 있다.

또, 본 발명은 청구항 79에 기재되듯이, 상기 신호 복호 방법에 있어서, 상기 제 1의 처리 스텝에서는 부호화 신호를 복호하여 얻어지는 신호에 상기 복수의 변환 기저에 포함되지 않는 제 1의 변환 기저가 포함되어 있는 경우, 그 제 1의 변환 기저를 제 2의 처리 스텝에서 사용해야할 변환 기저로서 취득함과 함께, 상기 복수의 변환 기저에 그 제 2의 변환 기저를 추가하도록 구성할 수 있다.

이러한 신호 복호 방법에 있어서, 복수의 변환 기저에 포함되는 소용없는 변환 기저의 수의 증가를 막는다고 하는 관점으로부터 본 발명은 청구항 80에 기재되듯이, 상기 신호 복호 방법에 있어서, 상기 부호화 신호를 복호하여 얻어지는 신호에 상기 복수의 변환 기저 중의 제 2의 변환 기저를 특정하는 정보가 포함되어 있는 경우, 상기 제 2의 변환 기저를 상기 복수의 변환 기저로부터 삭제하도록 구성할 수 있다.

상기 제 2의 변환 기저를 완전하게 상기 제 1의 변환 기저로 갱신한다고 하는 관점으로부터, 본 발명은 청구항 81에 기재되듯이, 상기 신호 복호 방법에 있어서, 상기 제 1의 변환 기저는 상기 복수의 변환 기저에 있어서 상기 제 2의 변환 기저를 특정하고 있던 정보로 특정되도록 구성할 수 있다.

소위, 「정합 추적(Matching Pursuits)」등의 패턴 매칭의 수법을 이용하여 부호화 된 신호를 적절하게 복호할 수 있다고 하는 관점으로부터, 본 발명은 청구항 83에 기재되듯이, 상기 신호 복호 방법에 있어서, 부호화 신호를 복호하여 얻어지는 신호에, 부호화 대상 신호의 부호화 시에 소정의 참조 신호의 부분 신호의 특성에 기초하여 생성된 변환 기저로 되는 파형 벡터를 이용한 것을 나타내는 정보, 그 파형 벡터와 부호화 대상 신호의 부분 신호 파형과의 유사 정도를 나타내는 유사도 정보 및 그 부분 신호 파형의 부호화 대상 신호내 위치가 포함되어 있는 경우, 상기 제 1의 처리 스텝에서는 상기 부호화 신호로부터 얻어지는 상기 신호의 부호화 시에 이용된 소정의 참조 신호에 대응한 참조 신호의 부분 신호의 특성에 기초하여 변환 기저로 되는 파형 벡터를 생성하고, 상기 제 2의 처리 스텝에서는 그 생성된 파형 벡터에 기초한 변환 규칙에 따라 상기 유사도 정보를 변환하여 상기 부호화 대상 신호내 위치에 있어서의 부분 신호 파형을 재생하도록 구성할 수 있다.

또한, 상기 과제를 해결하기 위해, 본 발명은 청구항 85에 기재되듯이, 부호화 신호를 복호하고, 그 복호에 의해 얻어진 신호를 변환 규칙에 따라 변환하여 신호의 재생을 하는 신호 복호 장치에 있어서, 상기 부호화 신호를 복호하여 얻어진 신호에 기초하여 변환 규칙의 기초로 되는 변환 기저를 도출하는 제 1의 처리 수단과, 그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 복호에 의해 얻어진 신호를 변환하여 신호의 재생을 하는 제 2의 처리 수단을 가지도록 구성된다.

이하, 본 발명의 실시의 형태를 도면에 기초하여 설명한다.

변환 기저를 화상의 패턴에 따라 변형하고, 화상의 국소적인 신호 분포에 적응한 기저를 사용할 수 있도록 하면, 부호화해야 할 계수를 효율적으로 삭감할 수 있어 부호화 효율의 개선을 기대할 수 있다. 기저의 변형에 사용할 수 있는 정보로서는 부가 정보로서 복호 측에 전송할 필요가 없고, 한편 부호화 대상 신호의 패턴을 반영하는 정보로 되는 참조 화상을 생각할 수 있다(도 7).

도 7에 나타내듯이, 통상 움직임 보상 프레임간 예측에 의한 예측 잔차 신호에는, 움직임 모델이 적합하지 않는 물체 경계등에 있어서, 원래의 화상 혹은 참조 화상의 파형 패턴이 잔류한다. 특히, 에지(edge) 부분(도 7에서는 차의 윤곽 등)에 전력 집중하는 것이 많이, DCT의 고정의 기저로서는 이러한 패턴을 표현하기 위해서 많은 기저 계수가 필요하게 된다. 따라서, 도 7에 나타낸 것처럼, 참조 화상의 패턴으로부터 DCT의 고정 변환 기저를 변형시켜 새로운 변환 기저를 생성한다. 즉, 참조 패턴이 강한 스텝 에지(step edge)를 가지는 경우에 DC성분 대신에 스텝 에지를 가장 잘 나타내는 기저가 주축으로서 설정되도록 변환 기저의 생성을 한다. 이 새롭게 생성된 변환 기저를 DCT의 고정 변환 기저 대신에 이용함으로써 주축이 DCT와 같이 DC 성분이 아니고, 신호의 국소적인 주파수 분포에 따라 설정되어 전력 집중도가 증가하게 된다.

이와 같이, 본 발명과 관련되는 실시의 형태에서는, 부호화 대상 신호(예측 잔차 신호)의 패턴을 잘 반영하는 참조 신호의 상관을 이용하여 개개의 부호화 대상 신호의 전력 집중도를 높이는 방향으로 기저의 변형을 하는 수단을 갖추도록 화상 부호화 장치 및 화상 복호 장치를 구성한다. 이에 의해, 보다 적은 기저 계수로 신호를 표현할 수 있기 때문에 한층 더 압축율을 높일 수 있다.

다음에, 본 발명의 제 1의 실시의 형태에 대해서 설명한다.

본 실시의 형태와 관련되는 화상 부호화 장치는, 예를 들면 도 8에 나타내듯이 구성되고, 또, 화상 복호 장치는 예를 들면 도 9에 나타내듯이 구성된다. 본 실시의 형태에서는 움직임 보상 프레임간 예측에 의해 시간 방향으로 존재하는 용장도를 삭감하고, 움직임 보상 예측의 결과 얻어진 이 마크로 블록의 예측 화상의 파형 패턴을 주성분에 해당하는 기저로 잘 파악될 수 있도록 DCT 기저를 변형시키고, 이 변형 기저를 이용한 변환 부호화에 의한 정보 압축을 한다. 예측 화상의 패턴에 따라 일일이 상세하게 기저 변형 연산을 하기 때문에, 연산양의 부하는 걸리지만 화상 복호 장치와 공유할 수 있는 예측 화상의 데이터를 이용하여 그 연산을 하기 때문에, 화상 부호화 장치는 화상 복호 장치에 변환 기저의 변형에 관한 부가 정보를 전송할 필요가 없다.

도 8에 나타내는 화상 부호화 장치에 있어서, 움직임 보상 프레임간 예측의 순서는 종래의 예로 언급한 방법과 동일하고, 그 순서의 개요는 도 3에, 움직임 벡터 검출에 이용되는 블록 정합 처리의 개요는 도 4에 있는 대로이다. 또, 변형된 기저로 직교 변환을 한 후 그 계수의 양자화, 엔트로피 부호화를 하는 순서(도 6a, 6b 참조)도 종래의 예와 마찬가지로 행한다. 이하, 이러한 도를 참조하면서, 화상 부호화 장치 및 화상 복호 장치의 동작을 설명한다.

도 8에 있어서, 입력 화상 신호(101)는 프레임 화상의 시간 계열이고, 이하, 프레임 화상 단위의 신호를 나타내는 것으로 한다(부호화 대상이 되는 프레임 화상은, 도 3에 있어서의 현재 프레임에 해당). 현재 프레임은 마크로 블록 단위로 이하의 순서로 부호화된다. 현재 마크로 블록은 우선 움직임 검출부(102)에 보내지고, 여기서 움직임 벡터(105)의 검출이 이루어진다. 움직임 보상부(107)는 움직임 벡터(105)를 이용하여 프레임 메모리(103) 내의 국소 복호 화상(117)을 참조하여 각 마크로 블록의 예측 화상(106)을 취출한다.

현재 마크로 블록과 예측 화상(106)과의 차분으로서 예측 잔차 신호(108)가 얻어지고, 이것이 적응 변환부(109)에 의해 직교 변환 계수 데이터(110)로 변환된다. 적응 변환부(109)에서 이용되는 변환 기저(119)는 변환 기저 연산부(118)에 있어서 사용되는 예측 화상(106)의 패턴에 따라 생성된다. 생성된 변환 기저(119)는 적응 변환부(109)에 보내지고 직교 변환에 사용된다. 변환 기저 연산부(118)의 처리는 후술한다.

적응 변환부(109)에 의해 얻어진 직교 변환 계수 데이터(110)는 양자화부(111)를 거쳐 가변장 부호화부(113)로 스캔되고, RUN 길이 부호화되어 압축 스트림(114)에 다중되어 전송된다. 움직임 벡터(105)도 마크로 블록마다 압축 스트림(114)에 다중되어 전송된다. 또, 양자화 계수(112)는 역양자화부(115), 역적응 변환부(116)를 거쳐 국소 복호되고, 그 결과가 예측 화상(106)과 가산되어 복호 장치 측과 동일한 복호 화상(117)이 생성된다. 복호 화상(117)은 다음 프레임의 예측에 이용하기 위해 프레임 메모리(103)에 국소 복호 화상으로서 저장된다.

상기 변환 기저 연산부(118)는 다음과 같은 처리를 한다.

변환 기저 연산부(118)는 입력되는 예측 화상(106)을 직교 변환 적용 영역(N×N 화소 블록, N=4, 8 등)으로 분할하고, 그 단위로 변환 기저(119)를 구하여 적응 변환부(109)에 대해서 출력한다. 우선, 도 10에 나타내듯이 예측 화상(106)의 각 직교 변환 적용 영역에 대해, 수평·수직 방향의 평균 휘도 분포 x_H, x_V가 구해진다. 이에 의해 각 영역의 수평·수직 방향의 주성분이 반영된 파형 패턴이 얻어진다. 도 10에서는 N=4의 예를 나타내고 있고, 이 블록의 수평 방향으로는 날카로운 에지가 존재하고, 수직 방향은 평탄한 화상 패턴이다고 말할 수 있다. 기저 변형은 변환 계수가 주축(변환 행렬의 제 1의 행 벡터, DCT의 경우는 직류 성분) 주변에 집중하도록, 각 평균 휘도 분포 벡터 x_H, x_V가 주축의 기저에 정합하도록 DCT의 기저를 변형한다. 구체적으로는, 수평·수직의 DCT 변환 기저에 대해 주축의 기저를 가중치 부여의 정규화 평균 휘도 분포 벡터로 치환하고, 상관 행렬 CH, CV를 구하고, 그 고유 벡터φ_H,0∼φ_H,N-1,φ_V,0∼φ_V,N-1을 새로운 변환 기저(119)로 한다. 변환 기저(119)는 정규 직교 기저로 된다.

이에 의해, 예측 화상(106)의 수평·수직의 각 평균 휘도 분포의 패턴이 직교 변환의 주축에 반영되고, 도 7에 나타낸 것 같은 예측 화상과 부호화 대상 화상(예측 잔차 신호)과의 사이에 패턴의 유사성이 있는 경우, 부호화 대상 화상의 직교 변환 계수의 집중도를 높일 수 있다. 그 외의 실현 방법으로서 미리 평균 휘도 분포 벡터로서 나타날 수 있는 파형 패턴의 템플릿(template)을 몇 개 준비해 두고, 평균 휘도 분포 벡터와의 내적이 최대가 되는 패턴을 선택하도록 해도 좋다.

또, 역적응 변환부(116)에서는 변환 기저(119)의 전치 행렬을 이용하여 변환 계수를 역변환하여 화상 공간상의 신호로 되돌린다.

도 9에 나타내는 화상 복호 장치에서는, 압축 스트림(114)을 수신한 후, 가변장 복호부(120)에서 각 프레임의 선두를 나타내는 동기 워드를 검출하고, 이후 마크로 블록 단위로 움직임 벡터(105), 양자화 직교 변환 계수(121)가 복원된다. 움직임 벡터(105)는 움직임 보상부(107)에 보내지고 움직임 보상부(107)는 화상 부호화 장치의 동작과 마찬가지로, 프레임 메모리(122)(프레임 메모리(103)와 동일하게 사용)로부터 움직임 벡터(105) 만큼의 움직인 화상 부분을 예측 화상(106)으로서 취출한다. 양자화 직교 변환 계수(121)는 역양자화부(115), 역적응 변환부(116)를 거쳐서 복호된 후, 예측 화상(106)과 가산되어 최종적인 복호 화상(117)이 된다. 변환 기저 연산부(118)는 위에서 언급한 순서로 부호화 측과 같은 변환 기저(119)를 산출하고 출력한다. 역적응 변환부(116)는 그 전치 행렬을 이용하여 변환 계수를 역변환하여 화상 공간상의 신호로 되돌린다. 복호 화상(117)은 소정의 표시 타이밍으로 표시 장치에 출력되어 화상이 재생된다.

다음에, 본 발명의 제 2의 실시의 형태에 대해서 설명한다.

본 실시의 형태와 관련되는 화상 부호화 장치는 예를 들면 도 11에 나타내듯이 구성되고, 또, 화상 복호 장치는 예를 들면 도 12에 나타내듯이 구성된다. 본 실시의 형태에서는 움직임 보상 프레임간 예측에 의해 시간 방향으로 존재하는 용장도를 삭감하고, 움직임 보상 예측의 결과 얻어진 이 마크로 블록의 예측 화상의 파형 패턴을 주성분에 해당하는 기저로 잘 파악할 수 있도록 DCT 기저를 변형시키고, 이 변형 기저를 이용한 변환 부호화에 의한 정보 압축을 한다. 미리 화상의 국소적인 성질을 고려한 변환 기저를 여러 종류 준비해 두고, 예측 화상의 패턴에 따라 그것들을 바꾸어 사용한다. 화상 부호화 장치 측과 화상 복호 장치 측에 동일한 기저 세트를 마련해 두고, 기저의 전환 정보로서 ID 정보만을 송수신한다. 화상 복호 장치 측에서는 ID 정보에 기초하여 기저를 선택하는 것만으로 화상 복호 장치 측에서의 기저 연산을 필요로 하지 않는다.

도 11에 나타내는 화상 부호화 장치에 있어서, 움직임 보상 프레임간 예측의 순서는 종래의 예에 언급한 방법과 동일이고, 그 순서의 개요는 도 3에, 움직임 벡터 검출에 이용되는 블록 정합 처리의 개요는 도 4에 있는 대로이다. 또, 변형된 기저로 직교 변환을 한 후, 그 계수의 양자화, 엔트로피 부호화를 하는 순서(도 6a, 6b)도 종래의 예와 같이 한다. 이하, 이러한 도를 참조하면서 화상 부호화 장치 및 화상 복호 장치의 동작을 설명한다.

도 11에 있어서, 입력 화상 신호(201)는 프레임 화상의 시간 계열이고, 이하, 프레임 화상 단위의 신호를 나타내는 것이라고 한다(부호화 대상이 되는 프레임 화상은, 도 3에 있어서의 현재 프레임에 해당). 현재 프레임은 마크로 블록 단위로 이하의 순서로 부호화된다. 현재 마크로 블록은 우선 움직임 검출부(202)에 보내지고, 여기서 움직임 벡터(205)의 검출이 이루어진다. 움직임 보상부(207)는 움직임 벡터(205)를 이용하여 프레임 메모리(203) 내의 국소 복호 화상(217)을 참조하여 각 마크로 블록의 예측 화상(206)을 취출한다.

현재 마크로 블록과 예측 화상(206)과의 차분으로서 예측 잔차 신호(208)가 얻어지고, 이것이 적응 변환부(209)에 의해 직교 변환 계수 데이터(210)로 변환된다. 적응 변환부(209)에서 이용되는 변환 기저(219)는 변환 기저 연산부(218)에 있어서 사용되는 예측 화상(206)의 패턴에 따라 선택된다. 선택된 변환 기저(219)는 적응 변환부(209)에 보내지고 직교 변환에 사용된다. 또, 직교 변환 처리 단위마다 변환 기저(219)의 ID 정보(250)가 압축 스트림(214)에 다중되어 화상 복호 장치 측에 전송된다. 변환 기저 연산부(218)의 처리는 후술한다.

적응 변환부(209)에 의해 얻어진 직교 변환 계수 데이터(210)는 양자화부(211)를 거쳐 가변장 부호화부(213)로 스캔하고, RUN 길이 부호화되어 압축 스트림(214)에 다중되어 전송된다. 움직임 벡터(205)도 마크로 블록마다 압축 스트림(214)에 다중 되어 전송된다. 또, 양자화 계수(212)는 역양자화부(215), 역적응 변환부(216)를 거쳐 국소 복호되고, 그 결과가 예측 화상(206)과 가산되어 복호 장치 측과 동일한 복호 화상(217)이 생성된다. 복호 화상(217)은 다음 프레임의 예측에 이용하기 위해 프레임 메모리(203)에 국소 복호 화상으로서 저장된다.

상기 변환 기저 연산부(218)는 다음과 같은 처리를 한다.

변환 기저 연산부(218)는 입력되는 예측 화상(206)을 직교 변환 적용 영역(N×N 화소 블록, N=4, 8 등)으로 분할하고, 그 단위로 변형 기저(219)를 구하고 적응 변환부(209)에 대해서 출력한다. 우선, 도 10에 나타내듯이 예측 화상(206)의 각 직교 변환 적용 영역에 대해 수평·수직 방향의 평균 휘도 분포 x_H, x_V가 구해진다. 이에 의해 각 영역의 수평·수직 방향의 주성분이 반영된 파형 패턴이 얻어진다(도 10 참조). 변환 기저 연산부(218)에는 전형적인 평균 휘도 분포 벡터 x_H, x_V 의 패턴을 주축에 반영시킨 K 종류의 정규 직교 기저A₁(i=0,1,…, K-1)이 준비되고, x_H, x_V에 대응하여 몇 개의 기저 A_i가 선택된다. A_i로서 준비되는 기저(N=4)의 예를 도 13b 내지 도 19b에 나타낸다.

또, 도 13b 내지 도 19b에서는 변환 기저 연산부(218)에 구비된 정규 직교 기저(순변환 메트릭스(transform matrix))와 함께, 후술하는 화상 복호 장치의 역적응 변환부(216)에 사용되는 그 변환 기저의 전치 행렬에 대응한 역변환 메트릭스(inverse transform matrix)가 나타나 있다.

도 13b 및 13c에 나타난 기본으로 되는 DCT(Discrete Cosine transform) 기저는 주축 기저가 직류 성분으로 되어있다. 이 DCT 기저가 되는 순변환 메트릭스와 역변환 메트릭스에 의해, 도 13a에 나타낸 다음 식으로 나타나는 DCT 변환 및 그 역변환을 한다.

순변환

역변환

(수식 1)

상기와 같은 DCT 기저에 대해, 도 14a 및 14b에 나타내는 패턴 및 도 15a 및 15b에 나타내는 패턴은 완만하게 휘도가 변화하는 패턴이 된다. 또, 도 16a 및 16b에 나타내는 패턴 및 도 17a 및 17b에 나타내는 패턴은 N×N 화소 블록 내에서 산이나 산골짜기의 모양의 화소값의 기복이 있는 패턴이다. 또, 도 18a 및 18b에 나타내는 패턴 및 도 19a 및 19b에 나타내는 패턴에서는 급격한 에지가 있는 패턴이 주축에 반영되어 있다. 상기 변환 기저 연산부(218)에 있어서의 기저 선택의 규범으로서는, 평균 휘도 분포 벡터 x_H, x_V와 주축 기저 벡터의 내적이 최대로 되는 A_i를 선택하는 등이 있다.

예측 화상과 부호화 대상 화상(예측 잔차 신호)과의 사이에 패턴의 유사성이 있는 경우, 상기의 순서에 의해 예측 화상의 패턴에 대한 전력 집중도가 높은 기저를 선택적으로 이용함으로써, 부호화 대상 화상의 직교 변환 계수의 집중도를 높일 수 있다. 또한, ID정보(250) 자체는 화상의 성질에 의해 선택 빈도에 편향이 생기기 때문에, 가변장 부호화부(213)에 있어서 적절한 허프만 코딩 할당이나 산술 부호 등의 엔트로피 부호화를 이용함으로써 ID 정보의 전송 비트를 삭감하는 것이 가능하다.

도 12에 나타내는 화상 복호 장치는 다음과 같이 동작한다.

이 화상 복호 장치에서는 압축 스트림(214)이 수신되면, 가변장 복호부(220)에서 각 프레임의 선두를 나타내는 동기 워드가 검출되고, 이후 마크로 블록 단위로 개개의 직교 변환 단위에 사용한 변환 기저 ID 정보(250), 움직임 벡터(205), 양자화 직교 변환 계수(221)가 복원된다. 움직임 벡터(205)는 움직임 보상부(207)에 보내지고 움직임 보상부(207)는 화상 부호화 장치의 동작과 마찬가지로 프레임 메모리(222)(프레임 메모리(203)와 동일하게 사용)로부터 움직임 벡터(205) 만큼의 움직인 화상 부분을 예측 화상(206)으로서 취출한다. 양자화 직교 변환 계수(221)는 역양자화부(215), 역적응 변환부(216)를 거쳐서 복호 된 후, 예측 화상(206)과 가산되어 최종적인 복호 화상(217)으로 된다.

변환 기저 축적부(251)에는 화상 부호화 장치 측과 같은 기저 세트 A_i(도 13 내지 도 19 참조)가 저장되어 있고, 변환 기저 ID 정보(250)에 기초하여 변환 기저(219)가 선택되고, 그 선택된 변환 기저(219)가 역적응 변환부(216)에 보내진다. 역적응 변환부(216)는 선택된 변환 기저 A_i의 전치 행렬을 이용하여 변환 계수를 역변환하여 화상 공간상의 신호로 되돌린다. 복호 화상(217)은 소정의 표시 타이밍으로 표시 장치에 출력되어 화상이 재생된다.

상기 제 2의 실시의 형태의 변형예로서 변환 기저 A_i(i=0, 1,…, K-1)의 어느 것을 사용했는지를 식별하는 ID 정보(250) 그것을 전송하지 않고, 변환 기저의 기준으로 되는 DCT 기저를 사용하는지, 변환 기저 A_i중의 어느 쪽을 사용하는지의 선택을 나타내는 플래그 정보만을 전송하도록 구성해도 좋다. 이 경우, 화상 부호화 장치는 예를 들면 도 20에 나타내듯이 구성되고, 또 화상 복호 장치는 예를 들면 도 21에 나타내듯이 구성된다.

도 20에 나타내는 화상 부호화 장치에서는, 기저 연산부(218A)는 도 13 내지 도 19에 나타내는 것 같은 전형적인 화상 패턴을 반영한 K 종류의 정규 직교 기저 A_i(i=0, 1,…, K-1)를 구비한다. 그리고, 이 기저 연산부(218A)는 입력되는 예측 화상(206)을 직교 변환 적용 영역(N×N 화소 블록, N=4, 8 등)으로 분할하고, 각 직교 변환 적용 영역마다 변환 기저 A_i중에서 가장 적합한 적응 변환 기저를 선택한다. 기저 A_i의 선택의 방법은 예를 들어 위에서 설명한 바와 같이, 예측 화상(206)의 각 직교 변환 적용 영역에 대해 수평·수직 방향의 평균 휘도 분포 벡터 x_H, x_V를 구하고, 이러한 평균 휘도 분포 벡터와 주축 기저 벡터와의 내적이 최대로 되는 A_i를 선택하는 등의 방법이 있다.

그 다음에, DCT 기저와 예측 화상(206)에 적응하여 얻어진 상기 적응 변환 기저 중 부호화 효율이 좋은 쪽을 선택해 변환 기저(219)로서 출력한다. 부호화 효율의 비교로서는, 두 변환 기저 중 부호화 왜곡과 부호량의 선형 합으로 나타나는 레이트(rate) 왜곡 비용을 최소로 하는 쪽을 선택하는 등의 규범이 생각된다. 변환 기저 연산부(218A)는 DCT 기저를 선택했는지 변환 기저 연산부(218A)에서 결정된 기저를 선택했는지를 나타내는 플래그 정보(250A)를 압축 스트림에 다중하여 복호 장치에 전송한다.

이렇게 해서 얻어진 변환 기저(219)는 적응 변환부(209A)에 보내지고 변환 부호화에 이용된다.

도 21에 나타내는 화상 복호 장치에서는 압축 스트림으로부터 상기 플래그 정보(250A)가 취출되고 변환 기저 연산부(218B)에 입력된다. 변환 기저 연산부(218B)는 DCT 이외의 기저가 사용된 것을 인식한 경우는, 화상 부호화 장치와 완전히 같은 판단 기준으로 변환 기저 A_i를 특정하고, DCT 기저가 사용된 것을 인식한 경우는 DCT 기저를 변환 기저(219)로서 출력한다.

화상 복호 장치는 화상 부호화 장치와 완전히 같은 예측 화상(206)을 사용할 수 있다. 변환 기저 A_i의 특정에 대해서는 상기 화상 부호화 장치의 설명에서 언급한 것과 같은 판단 기준을 사용한다고 하면, 예측 화상(206)의 각 직교 변환 적용 영역에 대해 수평·수직 방향의 평균 휘도 분포 벡터 x_H, x_V를 구하고, 이러한 평균 휘도 분포 벡터와 주축 기저 벡터와의 내적이 최대로 되는 변환 기저 A_i를 선택하면 좋다. 이렇게 해서 얻어진 변환 기저(219)가 역적응 변환부(216)에서 사용되고, 변환 계수가 역변환 되어 화상 공간상의 신호로 되돌려진다.

일반적으로 화상 신호는 비정상인 신호이기 때문에, 기저 세트 A_i의 종류가 풍부하게 되는 만큼 적응 직교 변환의 효율을 향상시킬 수 있다. 상술한 것 같은 화상 부호화 장치 및 화상 복호 장치에 의하면, 화상의 패턴에 적응한 기저 세트 A_i의 종류를 풍부하게 해도, 그 특정에 필요한 부가 정보를 늘리는 일 없이 효율적인 부호화를 할 수 있다.

또, 상술한 제 2의 실시의 형태의 다른 변형예로서 변환 기저의 기준으로 되는 DCT 기저를 사용할 것인지, 변환 기저 A_i를 사용할 것인지를 나타내는 플래그 정보를 보내는 것이 아니라, 그것들을 참조 화상의 영역의 활성도(예를 들면, 휘도 분산값이나 휘도 최대치와 최소치의 차분 절대치)에 따라 수신측에서 자동 판별시키는 형태도 생각된다. 활성도가 높으면 부호화 측에서는 변환 기저 ID 정보를 송신하고, 그것이 낮으면 변환 기저 ID 정보를 보내지 않고 디폴트(default)의 DCT 기저를 사용하는 것으로 한다. 수신측에서는 참조 화상 영역의 활성도가 소정의 값보다 높으면 변환 기저가 지정되는 것으로 하여 그 변환 기저 ID정보를 수취하여 복호한다.

다음에, 본 발명의 제 3의 실시의 형태를 설명한다.

본 실시의 형태와 관련되는 화상 부호화 장치는 예를 들면 도 22에 나타내듯이 구성되고, 또, 화상 복호 장치는 예를 들면 도 23에 나타내듯이 구성된다. 본 실시의 형태에서는 화상 부호화 장치 측에서 구한 변환 기저 그것을 부호화 데이터로서 화상 복호 장치 측에 전송하고, 화상 복호 장치 측에서는 기저 연산을 하지 않아도 되도록 구성한 것이다.

도 22에 나타내는 화상 부호화 장치에 있어서, 입력 화상 신호(301)는 프레임 화상의 시간 계열이고, 이하, 프레임 화상 단위의 신호를 나타내는 것으로 한다(부호화 대상이 되는 프레임 화상은, 도 3에 있어서의 현재 프레임에 해당). 현재 프레임은 마크로 블록 단위로 이하의 순서로 부호화된다. 현재 마크로 블록은 우선 움직임 검출부(302)에 보내지고, 여기서 움직임 벡터(305)의 검출이 이루어진다. 움직임 보상부(307)는 움직임 벡터(305)를 이용하여 프레임 메모리(303) 내의 국소 복호 화상(317)을 참조하여 각 마크로 블록의 예측 화상(306)을 취출한다.

현재 마크로 블록과 예측 화상(306)의 차분으로서 예측 잔차 신호(308)가 얻어지고, 이것이 적응 변환부(309)에 의해 직교 변환 계수 데이터(310)로 변환된다. 적응 변환부(309)에서 이용되는 변환 기저(319)는 변환 기저 연산부(318)에 있어서 사용되는 예측 화상(306)의 패턴에 따라 생성된다. 또, 동일한 변환 기저를 복호 측에서 이용하기 위해 변환 기저(319)의 각 기저 벡터는 부호화되어 압축 스트림(314)에 다중된다. 또, 변환 기저(319)는 적응 변환부(309)에 보내지고 직교 변환에 사용된다. 변환 기저 연산부(318)의 처리는 전술한 제 1의 실시의 형태에 있어서의 변환 기저 연산부(118)와 완전히 동일하다.

적응 변환부(309)에 의해 얻어진 직교 변환 계수 데이터(310)는 양자화부(311)를 거쳐 가변장 부호화부(313)로 스캔하고, RUN 길이 부호화되어 압축 스트림(314)에 다중되어 전송된다. 움직임 벡터(305)도 마크로 블록마다 압축 스트림(314)에 다중되어 전송된다. 또, 양자화 계수(312)는 역양자화부(315), 역적응 변환부(316)를 거쳐 국소 복호되고, 그 결과가 예측 화상(306)과 가산되어 화상 복호 장치 측과 동일한 복호 화상(317)이 생성된다. 복호 화상(317)은 다음 프레임의 예측에 이용하기 위해 프레임 메모리(303)에 국소 복호 화상으로서 저장된다.

도 23에 나타내는 화상 복호 장치에서는, 압축 스트림(314)이 수신되면, 가변장 복호부(320)에서 각 프레임의 선두를 나타내는 동기 워드를 검출하고, 이후 마크로 블록 단위로 개개의 직교 변환 단위에 사용한 변환 기저(319), 움직임 벡터(305), 양자화 직교 변환 계수(321)가 복원된다. 움직임 벡터(305)는 움직임 보상부(307)에 보내지고, 움직임 보상부(307)는 부호화 장치의 동작과 마찬가지로 프레임 메모리(322)(프레임 메모리(303)과 동일하게 사용된다)로부터 움직임 벡터(305) 만큼의 움직인 화상 부분을 예측 화상(306)으로서 취출한다. 양자화 직교 변환 계수(321)는 역양자화부(315), 역적응 변환부(316)를 거쳐서 복호된 후, 예측 화상(306)과 가산되어 최종적인 복호 화상(317)이 된다. 역적응 변환부(316)는 변환 기저(319)의 전치 행렬을 이용하여 변환 계수를 역변환하여 화상 공간상의 신호로 되돌린다. 복호 화상(317)은 소정의 표시 타이밍으로 표시 장치에 출력되어 화상이 재생된다.

또, 본 발명의 제 4의 실시의 형태에 대해서 설명한다.

본 실시의 형태와 관련되는 화상 부호화 장치는 예를 들면 도 24에 나타내듯이 구성되고, 또, 화상 복호 장치는 예를 들면 도 25에 나타내듯이 구성된다.

본 실시의 형태에서는, 전술한 제 2의 실시의 형태와 마찬가지로, 기저 세트 A_i(i=0,1,…, K-1)를 이용하여 변환 기저를 적응적으로 선택함으로써 변환 부호화를 하는데 더하여 그 변환 기저 A_i를 동적으로 갱신하는 구조를 구비한다. 이에 의해 고정의 기저 세트로 충분히 대응할 수 없는 화상 패턴이 나타났을 때에 한층 더 부호화 효율을 개선할 수 있다.

도 24에 나타내는 화상 부호화 장치에 있어서, 입력 화상 신호(401)는 프레임 화상의 시간 계열이고, 이하, 프레임 화상 단위의 신호를 나타내는 것으로 한다(부호화 대상이 되는 프레임 화상은, 도 3에 있어서의 현재 프레임에 해당). 현재 프레임은 마크로 블록 단위로 이하의 순서로 부호화된다. 현재 마크로 블록은 우선 움직임 검출부(402)에 보내지고, 여기서 움직임 벡터(405)의 검출이 이루어진다. 움직임 보상부(407)는 움직임 벡터(405)를 이용하여 프레임 메모리(403) 내의 국소 복호 화상(417)을 참조하여 각 마크로 블록의 예측 화상(406)을 취출한다.

현재 마크로 블록과 예측 화상(406)의 차분으로서 예측 잔차 신호(408)가 얻어지고, 이것이 적응 변환부(409)에 의해 직교 변환 계수 데이터(410)로 변환된다. 적응 변환부(409)에서 이용되는 변환 기저(419)는 변환 기저 연산부(418)에 있어서 사용되는 예측 화상(406)의 패턴에 따라 선택된다. 선택된 변환 기저(419)는 적응 변환부(409)에 보내지고 직교 변환에 사용된다. 또, 직교 변환 처리 단위마다 변환 기저(419)의 ID 정보(450)가 압축 스트림(414)에 다중되어 화상 복호 장치 측에 전송된다.

또한, 변환 기저 연산부(418)에 있어서 그 시점에서의 기저 세트 A_i에 포함되지 않는 다른 변환 기저가 생성된 경우, 그 변환 기저 그것도 ID 정보(450)와 함께 가변장 부호화부(413)를 거쳐 압축 스트림(414)에 다중되어 전송된다. 이 때, 전송되는 ID 정보(450)라는 것은 동시에 전송되는 변환 기저로 치환되는 기저의 ID 정보를 의미한다. 변환 기저 연산부(418)의 처리는 후술한다.

적응 변환부(409)에 의해 얻어진 직교 변환 계수 데이터(410)는 양자화부(411)를 거쳐 가변장 부호화부(413)로 스캔하고, RUN 길이 부호화되어 압축 스트림(414)에 다중되어 전송된다. 움직임 벡터(405)도 마크로 블록마다 압축 스트림(414)에 다중되어 전송된다. 또, 양자화 계수(412)는 역양자화부(415), 역적응 변환부(416)를 거쳐 국소 복호되고, 그 결과가 예측 화상(406)과 가산되어 복호 장치 측과 동일한 복호 화상(417)이 생성된다. 복호 화상(417)은 다음 프레임의 예측에 이용하기 위해 프레임 메모리(403)에 국소 복호 화상으로서 저장된다.

변환 기저 연산부(418)는 다음과 같은 처리를 한다.

변환 기저 연산부(418)는 입력되는 예측 화상(406)을 직교 변환 적용 영역(N×N 화소 블록, N=4, 8 등)으로 분할하고, 그 단위로 변형 기저(419)를 구하여 적응 변환부(409)에 대해서 출력한다. 우선, 예측 화상(406)의 각 직교 변환 적용 영역에 대해 수평·수직 방향의 평균 휘도 분포 x_H, x_V를 구한다. 이에 의해 각 영역의 수평·수직 방향의 주성분이 반영된 파형 패턴이 얻어진다(도 10 참조). 변환 기저 연산부(418)에는 전형적인 평균 휘도 분포 벡터 x_H, x_V의 패턴을 주축에 반영시킨 K 종류의 정규 직교 기저 A_i(i=0,1,…, K-1)가 준비되고, x_H, x_V에 대응하여 몇 개의 기저 A_i가 선택된다. A_i로서 준비되는 기저(N=4)의 예는, 도 13 내지 도 19에 나타내는 것 같은 것이 있다. 개개의 예의 설명은 실시예 2에서 자세하게 설명했기 때문에 생략한다.

또, 제 1의 실시의 형태에서 언급한 것 같은 x_H, x_V에 기초한 기저 연산이 실시되고, 그 결과 얻어진 기저를 A'로 한다. 변환 기저 연산부(418)에서는 A_i(i=0,1,…, K-1) 및 A' 중에서 평균 휘도 분포 벡터 x_H, x_V와 주축 기저 벡터의 내적이 최대로 되는 기저를 선택한다. A'가 선택되는 경우 가장 내적 값(유사도 정보) 이 작았던 기저가 A'로 치환된다. 다만, A'가 선택되는 경우는 기저 그것을 전송하기 위해 부호량의 오버헤드(over head)가 생기기 때문에, 그것을 배려하기 위해서 A_i내에서만 선택한 기저와 A'의 양쪽 모두로 변환 부호화를 하고, 레이트 왜곡의 밸런스가 좋은 쪽을 선택하거나 미리 A_i내에서만 선택을 하기 쉽도록 내적 값(유사도 정보)에 오프셋(offset)을 거는 등의 조작을 한다.

예측 화상과 부호화 대상 화상(예측 잔차 신호)의 사이에 패턴의 유사성이 있는 경우, 상기의 순서에 의해 예측 화상의 패턴에 대한 전력 집중도의 높은 기저를 선택적으로 이용함으로써, 부호화 대상 화상의 직교 변환 계수의 집중도를 높일 수 있다. ID 정보(450) 자체는 화상의 성질에 의해 선택 빈도에 편향이 생기기 때문에, 가변장 부호화부(413)에 있어서 적절한 허프만(Huffman) 코딩 할당이나, 산술 부호 등의 엔트로피 부호화를 이용함으로써 ID 정보의 전송 비트를 삭감하는 것이 가능하다. 또, A'로 치환된 기저는 ID 정보(450)에 의해 화상 복호 장치 측에서 일의로 결정되므로 A'로 치환되는 기저와의 사이에 차이가 있는 기저 벡터만을 전송하는 등의 궁리에 의해 기저 전송의 오버헤드를 줄이는 것도 할 수 있다.

도 25에 나타내는 화상 복호 장치는 다음과 같이 동작한다.

이 화상 복호 장치에서는 압축 스트림(414)이 수신되면, 가변장 복호부(420)에서 각 프레임의 선두를 나타내는 동기 워드를 검출하고, 이후, 마크로 블록 단위로 개개의 직교 변환 단위에 사용한 변환 기저 ID 정보(450), 기저를 갱신하는 경우의 변환 기저(419), 움직임 벡터(405), 양자화 직교 변환 계수(421)가 복원된다. 움직임 벡터(405)는 움직임 보상부(407)에 보내지고, 움직임 보상부(407)는 부호화 장치의 동작과 마찬가지로 프레임 메모리(422)(프레임 메모리(403)와 동일하게 사용)로부터 움직임 벡터(405) 만큼의 움직인 화상 부분을 예측 화상(406)으로서 취출한다. 양자화 직교 변환 계수(421)는 역양자화부(415), 역적응 변환부(416)를 거쳐서 복호된 후 예측 화상(406)과 가산되어 최종적인 복호 화상(417)으로 된다.

변환 기저 축적부(418)에서는 변환 기저 ID 정보(450)에 기초하여 화상 부호화 장치 측과 같은 기저 세트 A_i중에서 대응하는 기저(419)가 선택되고, 그 선택된 기저(419)가 역적응 변환부(416)에 보내진다. 다만, 변환 기저(419)가 부호화 데이터로서 보내져 온 경우는, 기저 세트 A_i내의 ID 정보(450)로 나타나는 기저와 치환되고, 그것이 그대로 역적응 변환부(416)에 보내진다. 또, 역적응 변환부(416)는 선택된 기저의 전치 행렬을 이용하여 변환 계수를 역변환하여 화상 공간상의 신호로 되돌린다. 복호 화상(417)은 소정의 표시 타이밍으로 표시 장치에 출력되어 화상이 재생된다.

다음에, 본 발명의 제 5의 실시의 형태에 대해서 설명한다.

본 실시의 형태와 관련되는 화상 부호화 장치는 예를 들면 도 26에 나타내듯이 구성되고, 또, 화상 복호 장치는 예를 들면 도 27에 나타내듯이 구성된다. 본 실시의 형태에서는 움직임 보상 프레임간 예측에 의한 예측 화상과 부호화 대상 화상(현재 마크로 블록)과의 상관이 높은 것을 이용하고, 예측 화상에 대해서 최적인 직교 변환 기저를 구하고, 그것을 직접 부호화 대상 신호에 적용한다. 즉, 예측 잔차 신호가 아니고 프레임내 신호를 직접 직교 변환한다. 이에 의해, 현재 마크로 블록의 신호에 대한 변환 계수는 주축 부근에 집중적으로 분포하기 때문에 프레임 내 신호이어도 효율적으로 계수의 부호화를 할 수 있다. 또, 예측 화상은 화상 부호화 장치와 화상 복호 장치로 공통의 신호이므로, 쌍방에서 같은 순서로 직교 변환 기저를 생성할 수 있기 때문에 기저의 데이터를 전송할 필요가 없다.

도 26에 나타내는 화상 부호화 장치에 있어서 입력 화상 신호(501)는 프레임 화상의 시간 계열이고, 이하, 프레임 화상 단위의 신호를 나타내는 것으로 한다(부호화 대상이 되는 프레임 화상은, 도 3에 있어서의 현재 프레임에 해당). 현재 프레임은 마크로 블록 단위로 이하의 순서로 부호화된다. 현재 마크로 블록은 우선 움직임 검출부(502)에 보내지고, 여기서 움직임 벡터(505)의 검출이 이루어진다. 움직임 보상부(507)는 움직임 벡터(505)를 이용하여 프레임 메모리(503) 내의 국소 복호 화상(517)을 참조하여 각 마크로 블록의 예측 화상(506)을 취출한다.

여기서, 지금까지의 각 실시의 형태와 달리 현재 마크로 블록으로부터 예측 화상(506)을 공제하는 처리는 실시하지 않고, 예측 화상(506)은 변환 기저 연산부(518)에 보내지고, 현재 마크로 블록의 변환 부호화에 이용되는 변환 기저(519)의 생성에 이용된다.

변환 기저 연산부(518)에서는 예측 화상(506)을 소스로 하는 KL 변환 기저의 생성 처리를 한다. KL 변환은 정상 확률 과정에 따르는 신호에 대해 전력 집중도의 관점에서 최적인 정규 직교 변환을 준다. 따라서, 화상 신호와 같이 비정상인 신호에 대해서는 개개의 변환 단위에 대해서 각각 KL 변환 기저를 구하고, 화상 복호 장치에서 동일한 기저가 사용될 수 있도록 전송할 필요가 있다. 본 실시의 형태에서는 예측 화상에 대해서 KL 변환을 구함으로써, 화상 복호 장치 측에 변환 기저를 전송하지 않아도 되는 구성으로 하고 있다. 일반적으로, 예측 화상(506)은 움직임 보상 프레임간 예측 알고리즘에 기초하여 현재 마크로 블록과 유사한 패턴으로서 추출된다. 즉, 예측 화상(506)의 신호 분포는 현재 마크로 블록과 지극히 닮아 있을 확률이 높다. 이 관점으로부터 예측 화상의 KL 변환에 의해 현재 마크로 블록의 변환 계수도 DCT를 이용하는 것보다도 전력 집중도를 높일 수 있는, 즉 적은 기저 계수로 신호를 표현할 수 있는 것으로 생각된다.

현재 마크로 블록은 적응 변환부(509)에 있어서 예측 화상(506)의 KL 변환 기저를 이용하여 직교 변환 계수 데이터(510)로 변환된다. 직교 변환 계수 데이터(510)는 양자화부(511)를 거쳐 가변장 부호화부(513)로 스캔하고, RUN 길이 부호화되어 압축 스트림(514)에 다중되어 전송된다. 움직임 벡터(505)도 마크로 블록마다 압축 스트림(514)에 다중되어 전송된다. 또, 양자화 계수(512)는 역양자화부(515), 역적응 변환부(516)를 거쳐 국소 복호되어 복호 장치 측과 동일한 복호 화상(517)이 생성된다. 복호 화상(517)은 다음 프레임의 예측에 이용하기 위해 프레임 메모리(503)에 저장된다.

도 27에 나타내는 화상 복호 장치는 다음과 같이 동작한다.

이 화상 복호 장치에서는 압축 스트림(514)이 수신되면 가변장 복호부(520)에서 각 프레임의 선두를 나타내는 동기 워드를 검출하고, 이후 마크로 블록 단위로 움직임 벡터(505), 양자화 직교 변환 계수(521)가 복원된다. 움직임 벡터(505)는 움직임 보상부(507)에 보내지고, 움직임 보상부(507)는 부호화 장치의 동작과 마찬기지로 프레임 메모리(522)(프레임 메모리(503)와 동일하게 사용)로부터 움직임 벡터(505) 만큼의 움직인 화상 부분을 예측 화상(506)으로서 취출한다.

양자화 직교 변환 계수(521)는 역양자화부(515), 역적응 변환부(516)를 거쳐서 복호되어 복호 화상(517)으로 된다. 변환 기저 연산부(518)에서는 부호화 장치 측과 마찬가지로 예측 화상(506)을 소스로 하는 KL 변환 기저를 구하고 변환 기저(519)로서 출력한다. 역적응 변환부(516)는 변환 기저(519)에 기초하여 변환 계수를 역변환 하여 화상 공간상의 신호로 되돌린다. 복호 화상(517)은 소정의 표시 타이밍으로 표시 장치에 출력되어 화상이 재생된다.

또, 본 발명의 제 6의 실시의 형태를 설명한다.

본 실시의 형태와 관련되는 화상 부호화 장치는 예를 들면 도 28에 나타내듯이 구성되고, 또, 화상 복호 장치는 예를 들면 도 29에 나타내듯이 구성된다. 본 실시의 형태는 「정합 추적(Matching Pursuits)」(패턴 매칭)로 불리는 기술을 응용한 압축 부호화 방식에 의한 화상 부호화·복호를 행하고, 전술의 각 실시의 형태에서 언급한 것 같은 예측 화상의 신호 패턴을 반영시킨 적응 기저를 도입하는 장치에 관한 것이다. 「정합 추적(Matching Pursuits)」에 기초하면 부호화 대상의 화상 신호 f는 미리 준비되는 과완비(過完備)(over-complete)인 기저 세트 g_k를 이용하여 다음의 수식 2와 같이 표현할 수 있다.

(수식 2)

여기서, n은 기저 탐색 스텝 수, R_nf는 제 n 탐색 스텝째에 있어서 기저 탐색 대상으로 되는 신호(이하, 제 n단의 부분 신호 파형으로 부름), g_kn는 R_nf와의 내적을 최대로 하는 기저이다. R_mf는 제 m 탐색 스텝째에서 탐색 대상으로 되는 잔차 성분이다. 즉, 스텝 n을 늘릴수록 신호 f의 표현 정밀도가 향상한다. 제 n＋1 탐색 스텝째 기저 탐색 대상 신호는,

　　(수식 3)

이 된다. 이는 신호 f의 표현에 사용하는 기저의 수가 증가할수록 신호를 잘 표현할 수 있는 것을 의미한다. R_nf는 화상 내의 임의 위치를 중심으로 하는 소정의 창(window) 범위내에서 정의되는 신호 파형이다. 부호화되는 정보는 각 탐색 스텝에 대해서 g를 나타내는 인덱스(index)(g_k는 부호화 측, 복호 측에서 공통으로 하고 있고, 그 인덱스 정보만을 교환함으로써 기저를 특정할 수 있다), 내적 값(유사도 정보)

(기저 계수에 해당함)

　　(수식 4)

부분 신호 파형 R_nf의 화면 내 위치 정보 p=(x_k, y_k)이다.

이 화상 신호 표현 및 부호화 방법에 의하면 부호화하는 기저의 수를 늘릴수록, 즉 탐색 스텝 수를 늘릴수록 부호량이 증가하여 왜곡이 작아진다.

도 28에 나타내는 화상 부호화 장치에 있어서, 입력 화상 신호는 프레임 화상의 시간 계열이고, 이하, 프레임 화상 단위의 신호를 나타내는 것으로 한다(부호화 대상이 되는 프레임 화상은, 도 3에 있어서의 현재 프레임에 해당). 현재 프레임은 이하의 순서로 부호화된다. 우선, 현재 프레임은 움직임 검출부(602)에 보내지고, 상기의 본 실시예에 있어서의 마크로 블록의 단위로 움직임 벡터(605)의 검출이 이루어진다. 움직임 보상부(607)는 움직임 벡터(605)를 이용하여 프레임 메모리(603) 내의 국소 복호 화상(604)을 참조하여 현재 프레임의 예측 화상(606)을 취출한다. 예측 화상(606)과 현재 프레임(입력 화상 신호(601))의 차분으로서 예측 잔차 신호(608)가 얻어진다.

이어서, 기저 탐색부(609)에 있어서 예측 잔차 신호(608)에 대해서 상술의 「정합 추적(Matching Pursuits)」의 알고리즘에 기초하여 기저 파라미터(이하, 원자(atom)라 함)(610)가 생성된다. 기저 세트 g_k는 기저 코드북(code book)(619)에 저장된다. 「정합 추적(Matching Pursuits)」알고리즘의 성질상 초기의 탐색 스텝에서 부분 신호 파형을 가능한 한 정확하게 표현할 수 있는 기저를 찾아낼 수 있으면, 보다 적은 원자, 즉 적은 부호량으로 부분 신호 파형을 표현할 수 있다. 또, 처음으로부터 과완비의 기저 g_k를 사용하기 때문에, g_k에 포함되는 벡터에 대해서 1차 독립의 조건을 만족하는 파형 패턴이면 임의 노옴 1(norm 1)의 벡터를 새로운 기저로서 사용할 수 있다.

따라서, 본 실시예에서는 예측 화상(606)에 포함되는 화상 신호의 파형 패턴을 새로운 기저로서 이용할 수 있도록 구성했다. 위에서 설명한 바와 같이, 물체의 윤곽 영역에 움직임 보상 예측이 어긋나는 것 같은 경우에, 예측 잔차 신호에 예측 화상과 닮은 에지 패턴이 나타나는 것이 생각되는 등, 예측 화상 신호의 패턴은 예측 잔차 신호와 상관이 높은 것이 있다. 그래서, 예측 화상 자체로부터 기저를 생성해 둠으로써 사용할 수 있는 기저의 후보가 증가하여 예측 잔차 신호를 효율적으로 표현할 수 있다.

구체적으로는, 기저 연산부(618)에 있어서, 예측 화상(606)을 입력으로서 이하와 같이 새로운 기저 후보 h_j(652)를 생성한다.

h _j = P _j ／│P _j │

　　(수식 5)

여기서, P_j는 부분 예측 화상으로부터 생성되는 파형 벡터,｜P_j｜는 P_j의 노옴(norm)이다. 다만, 여기서 부분 예측 화상이라는 것은 예측 화상(606) 내에서, 기저 탐색 대상의 부분 신호 파형과 동일 공간 위치에 있는 부분 신호 파형을 의미한다. 부분 예측 화상의 화면내 위치는 부호화되는 원자의 위치 정보와 같기 때문에 화상 복호 장치 측에서는 부분 예측 화상의 위치를 특정하기 위한 부가 정보를 필요로 하지 않는다. P_j로서는 예를 들면 이하와 같은 것이 생각된다.

1) 부분 예측 화상으로부터 DC 성분을 공제한 파형 패턴

2) 부분 예측 화상으로부터 에지 성분을 추출한 파형 패턴(수평 방향, 또는 수직 방향으로 소벨(Sobel) 연산을 실시하는 등에 의해 추출)

3) 부분 예측 화상 자신과, 그곳으로부터 1/4 화소만 수평으로 이동시킨 패턴과의 차분 파형 패턴

4) 부분 예측 화상 자신과, 그곳으로부터 1/4 화소만 수직으로 이동시킨 패턴과의 차분 파형 패턴

5) 부분 예측 화상 자신과, 그곳으로부터 1/2 화소만 수평으로 이동시킨 패턴과의 차분 파형 패턴

6) 부분 예측 화상 자신과, 그곳으로부터 1/2 화소만 수직으로 이동시킨 패턴과의 차분 파형 패턴

7) 부분 예측 화상에 평활화(smoothing)를 한 파형 패턴

이러한 부분 예측 화상을 베이스(base)로 하는 P_j를 사용하여, (수식 5)의 식에 의해 새로운 기저 세트 h_j를 생성한다. h_j는 예측 화상(606)에 포함되는 신호만을 이용하여 생성되기 때문에 기저 벡터 그것을 전송할 필요는 없고, g_k의 대신에 h_j의 인덱스를 전송하는 것만으로도 좋다. 즉, 전송하는 부호량을 증가시키는 일이 없이 기저의 후보를 증가시키는 것이 가능하게 된다.

다만, g_k를 사용할 것이지 h_j를 사용할 것인지를 식별하기 위한 플래그 정보(650)가 부호화되는 일이 있다.

또, 도에는 나타내고 있지 않지만, 어떤 부분 신호 파형에 대해서 정해지는 h_j를 다른 임의 부분 신호 파형에 대해서 공통적으로 사용하고 싶은 경우에는, 그 기저를 g_k내에서 그다지 사용되고 있지 않은 기저와 치환하도록 구성하는 것도 할 수 있다. 이상의 순서에 의해 기저 탐색부(609)에 있어서 플래그 정보(650)에 더하여, g_k또는 h_j의 인덱스, 부분 신호 파형과 기저의 내적 값, 부분 신호 파형의 위치로부터 이루어지는 원자 파라미터(610)가 기저 부호화부(611)에 출력된다. 기저 부호화부(611)는 이러한 원자 파라미터의 양자화 등의 처리를 행하고, 그 부호화 데이터를 가변장 부호화부(613)에 건네줌과 동시에, 기저 복호부(616)에 입력한다. 기저 복호부(616)는 플래그 정보(650)와 스위치(651)에 의해 절체된 g_k 또는 h_j중에서 부호화 된 기저 패턴을 이용하여 화상 신호를 복원한다. 그 다음에 예측 화상(606)과 가산되어 국소 복호 화상(617)이 생성되고, 다음의 프레임의 움직임 보상 예측에 이용되기 때문에 프레임 메모리(603)에 저장된다.

다음으로 도 29에 나타내는 화상 복호 장치는 다음과 같이 동작한다.

이 화상 복호 장치에서는 압축 스트림(614)이 수신되면, 가변장 복호부(620)에서 각 프레임의 선두를 나타내는 동기 워드를 검출하고, 이후 마크로 블록 단위로 움직임 벡터(605), 원자 파라미터(621)가 복원된다. 움직임 벡터(605)는 움직임 보상부(607)에 보내지고, 움직임 보상부(607)는 부호화 장치의 동작과 마찬가지로 프레임 메모리(622)(프레임 메모리(603)와 동일하게 사용)로부터 움직임 벡터(605) 만큼의 움직인 화상 부분을 예측 화상(606)으로서 취출한다.

원자 파라미터(621)는 기저 복호부(616)에서 복호된다. 이 때 플래그 정보(650)에 기초하여 처음부터 준비되어 있는 기저 코드북(code book) g_k(619)를 사용할 것이지 예측 화상(606)으로부터 생성한 기저 h_j를 사용할 것인지를 스위치(651)로 절체하여 복호에 사용하는 기저를 결정한다. hj를 사용하는 경우는 기저 연산부(618)에 있어서 부호화 측과 같은 룰로 예측 화상(606)으로부터 h_j를 생성한다.

기저 복호부(616)의 출력은 예측 화상(606)과 가산되어 복호 화상(617)으로 되고, 이것은 이후의 프레임의 움직임 보상에 이용되기 때문에 프레임 메모리(622)에 저장된다. 복호 화상(617)은 소정의 표시 타이밍으로 표시 장치에 출력되어 화상이 재생된다.

이상 설명한 것처럼, 청구항과 관련된 본 발명에 의하면, 청구항 1 내지 107 기재의 본 발명에 의하면, 부호화 대상 신호의 성질에 정합한 변환 기저를 이용하여 변환 및 부호화를 할 수 있음과 함께, 그 부호화 신호를 복호한 후에 같은 변환 기저를 이용하여 변환할 수 있도록 된다. 그 결과, 변환 기저를 이용하여 신호의 부호화 및 복호할 때에, 더욱 효율적인 부호화 및 복호를 할 수 있도록 된다.

Claims

부호화 대상 신호를 변환 규칙에 따라 변환하여 부호화하는 부호화 방법에 있어서,

그 부호화 대상 신호와 상관이 있는 신호를 참조 신호로서 취득하는 제 1의 처리 스텝과,

변환 규칙의 기초로 되는 변환 기저를 그 취득된 참조 신호의 특성에 기초하여 도출하는 제 2의 처리 스텝과,

그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 부호화 대상 신호를 변환하여 부호화하는 제 3의 처리 스텝을 가지는 신호 부호화 방법.
제 1항에 있어서,

상기 참조 신호는 해당 신호 부호화 방법에서 부호화 된 신호를 복호할 때에 얻어지는 신호와 동일이라고 간주할 수 있는 신호로 이루어지는 신호 부호화 방법.
제 1항에 있어서,

상기 부호화 대상 신호는 화상에 관한 정보를 나타내는 화상 신호로 이루어지는 신호 부호화 방법.
제 3항에 있어서,

상기 부호화 대상 신호로 되는 화상 신호는 입력 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 잔차(殘差) 신호로 이루어지는 신호 부호화 방법.
제 3항에 있어서,

상기 참조 신호는 입력 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 화상 신호로 이루어지는 신호 부호화 방법.
삭제
제 6항에 있어서,

상기 제 2의 처리 스텝에서는 상기 참조 신호의 신호값 분포 특성에 기초하여 미리 정해진 기준의 변환 기저를 변형함으로써 새로운 변환 기저를 생성하는 신호 부호화 방법.
제 3항에 있어서,

상기 제 2의 처리 스텝에서는 그 화상 신호와 상관이 있는 참조 신호의 휘도 분포 특성에 기초하여 DCT 변환 기저를 변형함으로써 새로운 변환 기저를 생성하는 신호 부호화 방법.
제 8항에 있어서,

상기 제 2의 처리 스텝에서는 상기 참조 신호의 휘도 분포 특성과 DCT 변환 기저와의 관계를 구하고,

그 관계에 기초하여 DCT 변환 기저를 변형하여 새로운 변환 기저를 생성하는 신호 부호화 방법.
제 9항에 있어서,

상기 제 2의 처리 스텝에서는, 참조 신호의 휘도 분포 특성으로서 나타날 수 있는 복수의 파형 패턴을 미리 정하고,

상기 참조 신호의 휘도 분포 특성과의 유사 관계에 따라 파형 패턴을 상기 복수의 파형 패턴으로부터 선택하고,

그 선택된 파형 패턴과 DCT 변환 기저와의 관계에 기초하여 DCT 변환 기저를 변형하여 새로운 변환 기저를 생성하는 신호 부호화 방법.
제 1항에 있어서,

상기 제 2의 처리 스텝에서는 미리 정한 복수의 변환 기저로부터 상기 참조 신호의 특성에 기초하여 제 3의 처리 스텝에서 사용해야할 변환 기저를 선택하는 신호 부호화 방법.
제 11항에 있어서,

상기 제 2의 처리 스텝에서는 미리 정한 복수의 변환 기저의 각각과 상기 참조 신호의 신호값 분포 특성과의 관계를 구하고,

상기 참조 신호의 신호값 분포 특성과의 관계가 소정의 기준을 만족하는 변환 기저를 선택하는 신호 부호화 방법.
제 3항에 있어서,

상기 제 2의 처리 스텝에서는 미리 정한 복수의 변환 기저의 각각에 대해, 그 특징을 나타내는 기저 벡터와 그 화상 신호와 상관이 있는 참조 신호의 휘도 분포 특성과의 유사 관계를 구하고,

그 참조 신호의 휘도 분포 특성과의 유사 관계가 소정의 기준을 만족하는 상기 기저 벡터를 가지는 변환 기저를 제 3의 처리 스텝에서 사용해야할 변환 기저로서 상기 복수의 변환 기저로부터 선택하는 신호 부호화 방법.
제 13항에 있어서,

상기 복수의 변환 기저는 DCT 기저를 포함하고,

상기 제 2의 처리 스텝에서는 DCT 기저 이외의 복수의 변환 기저로부터 상기 유사 관계에 기초하여 선택된 변환 기저와 DCT 기저 중 부호화 효율이 좋은 쪽을 선택하는 신호 부호화 방법.
제 11항에 있어서,

상기 제 2의 처리 스텝에서 선택된 변환 기저를 특정하는 정보를 상기 부호화 대상 신호의 부호화와 함께 부호화하는 신호 부호화 방법.
제 14항에 있어서,

DCT 기저가 선택되었는지 아닌지를 나타내는 플래그 정보를 상기 부호화 대상 신호와 함께 부호화하는 신호 부호화 방법.
제 1항에 있어서,

상기 제 2의 처리 스텝에서 도출된 변환 기저를 상기 부호화 대상 신호와 함께 부호화하는 신호 부호화 방법.
제 1항에 있어서,

상기 제 2의 처리 스텝에서는 상기 참조 신호의 특성에 기초하여 변환 기저를 생성하고,

미리 정해진 복수의 변환 기저 및 상기 생성된 변환 기저 중에서 상기 참조 신호의 특성에 기초하여 제 3의 처리 스텝에서 사용해야할 변환 기저를 선택하는 신호 부호화 방법.
제 18항에 있어서,

상기 생성된 변환 기저가 제 3의 처리 스텝에서 사용해야할 변환 기저로서 선택된 경우에, 그 생성된 변환 기저를 상기 복수의 변환 기저에 추가하는 신호 부호화 방법.
제 19항에 있어서,

상기 참조 신호의 특성과 상기 복수의 변환 기저의 각각과의 관계로부터 결정되는 하나의 변환 기저를 그 복수의 변환 기저로부터 삭제하는 신호 부호화 방법.
제 3항에 있어서,

상기 제 2의 처리 스텝에서는 상기 화상 신호와 상관이 있는 참조 신호의 휘도 분포 특성에 기초하여 DCT 변환 기저를 변형함으로써 새로운 변환 기저를 생성하고,

미리 정해진 복수의 변환 기저 및 그 생성된 변환 기저의 각각에 대해, 그 특징을 나타내는 기저 벡터와 그 참조 신호의 휘도 분포 특성과의 유사 관계를 구하고,

그 참조 신호의 휘도 분포 특성과의 유사 관계가 제 1의 기준을 만족하는 상기 기저 벡터를 가지는 변환 기저를 제 3의 처리 스텝에서 사용해야할 변환 기저로서 상기 복수의 변환 기저 및 상기 생성된 변환 기저 중에서 선택하는 신호 부호화 방법.
제 21항에 있어서,

상기 생성된 변환 기저가 제 3의 처리 스텝에서 사용해야할 변환 기저로서 선택된 경우에, 그 생성된 변환 기저를 상기 복수의 변환 기저에 추가하고,

상기 참조 신호의 휘도 분포 특성과의 유사 관계가 제 2의 기준을 만족하는 상기 기저 벡터를 가지는 변환 기저를 상기 복수의 변환 기저로부터 삭제하는 신호 부호화 방법.
제 18항에 있어서,

상기 참조 신호의 특성에 기초하여 상기 복수의 변환 기저로부터 하나의 변환 기저를 선택하고,

그 선택된 하나의 변환 기저와 상기 생성된 변환 기저를 이용하여 부호화 대상 신호를 부호화하고, 그 부호화 결과에 기초하여 그 하나의 변환 기저와 상기 생성된 변환 기저의 어느 쪽을 선택하는 신호 부호화 방법.
제 18항에 있어서,

상기 복수의 변환 기저와 상기 생성된 변환 기저로부터 제 3의 처리 스텝에서 사용해야할 변환 기저를 선택할 때에 상기 복수의 변환 기저에 속하는 변환 기저를 우선적으로 선택하는 신호 부호화 방법.
제 18항에 있어서,

상기 생성된 변환 기저가 선택된 경우에, 그 변환 기저를 상기 부호화 대상 신호와 함께 부호화하는 신호 부호화 방법.
제 19항에 있어서,

상기 생성된 변환 기저 및 상기 복수의 변환 기저로부터 삭제된 변환 기저를 특정하는 정보를 상기 부호화 대상 신호와 함께 부호화하는 신호 부호화 방법.
제 3항에 있어서,

상기 참조 신호는 입력되는 원화상(原畵像) 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 화상 신호로 이루어지고,

상기 부호화 대상 신호로 되는 화상 신호는 상기 입력되는 원화상 신호로 이루어지는 신호 부호화 방법.
제 27항에 있어서,

상기 제 2의 처리 스텝에서는 참조 신호로 되는 예측 화상을 소스로 하는 KL(Karhunen-Loeve) 변환 기저를 제 3의 처리 스텝에서 사용해야할 변환 기저로서 생성하는 신호 부호화 방법.
제 1항에 있어서,

부호화 대상 신호의 부분 신호 파형을 특정하고, 그 부분 신호 파형을 변환 기저로 되는 파형 벡터와의 유사한 정도를 나타내는 유사도 정보로 변환하고, 그 파형 벡터를 특정하는 정보, 상기 유사도 정보 및 상기 부분 신호 파형의 부호화 대상 신호내 위치를 부호화하는 신호 부호화 방법으로서,

상기 제 2의 처리 스텝에서는 상기 부호화 대상 신호의 상기 부분 신호 파형에 대응한 참조 신호의 부분 신호의 특성에 기초하여 상기 변환 기저로 되는 파형 벡터를 생성하는 신호 부호화 방법.
제 29항에 있어서,

미리 정해진 파형 벡터군에 포함되는 각 파형 벡터 및 상기 생성된 파형 벡터의 각각과 상기 부분 신호 파형과의 유사 관계에 기초하여 변환 기저로서 이용되는 하나의 파형 벡터를 선택하는 신호 부호화 방법.
제 29항에 있어서,

상기 유사도 정보는 상기 부분 신호 파형과 파형 벡터와의 내적 값에 기초한 정보로 이루어지는 신호 부호화 방법.
제 29항에 있어서,

상기 부호화해야 할 파형 벡터를 특정하는 정보는 상기 파형 벡터군에 포함되는 파형 벡터와 상기 생성된 파형 벡터의 어느 쪽이 선택되었는지를 나타내는 플래그 정보를 포함하는 신호 부호화 방법.
부호화 대상 신호를 변환 규칙에 따라 변환하여 부호화하는 부호화 장치에 있어서,

그 부호화 대상 신호와 상관이 있는 신호를 참조 신호로서 취득하는 제 1의 처리 수단과,

변환 규칙의 기초로 되는 변환 기저를 그 취득된 참조 신호의 특성에 기초하여 도출하는 제 2의 처리 수단과,

그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 부호화 대상 신호를 변환하여 부호화하는 제 3의 처리 수단을 가지는 신호 부호화 장치.
제 33항에 있어서,

상기 참조 신호는 해당 신호 부호화 장치에서 부호화 된 신호를 복호하는 신호 복호 장치에서 얻어지는 신호와 동일이라고 간주할 수 있는 신호로 이루어지는 신호 부호화 장치.
제 33항에 있어서,

상기 부호화 대상 신호는 화상에 관한 정보를 나타내는 화상 신호로 이루어지는 신호 부호화 장치.
제 35항에 있어서,

상기 부호화 대상 신호로 되는 화상 신호는 입력 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 잔차 신호로 이루어지는 신호 부호화 장치.
제 35항에 있어서,

상기 참조 신호는 입력 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 화상 신호로 이루어지는 신호 부호화 장치.
제 33항에 있어서,

상기 제 2의 처리 수단은 상기 참조 신호의 특성에 기초하여 변환 기저를 생성하는 기저 생성 수단을 가지는 신호 부호화 장치.
제 38항에 있어서,

상기 변환 기저 생성 수단은 상기 참조 신호의 신호값 분포 특성에 기초하여 미리 정해진 기준의 변환 기저를 변형함으로써 새로운 변환 기저를 생성하도록 한 신호 부호화 장치.
제 35항에 있어서,

상기 제 2의 처리 수단은 그 화상 신호와 상관이 있는 참조 신호의 휘도 분포 특성에 기초하여 DCT 변환 기저를 변형함으로써 새로운 변환 기저를 생성하는 수단을 가지는 신호 부호화 장치.
제 33항에 있어서,

상기 제 2의 처리 수단은 미리 정한 복수의 변환 기저로부터 상기 참조 신호의 특성에 기초하여 제 3의 처리 수단으로 사용해야할 변환 기저를 선택하는 기저 선택 수단을 가지는 신호 부호화 장치.
제 41항에 있어서,

상기 기저 선택 수단은 미리 정한 복수의 변환 기저의 각각과 상기 참조 신호의 신호값 분포 특성과의 관계를 구하고,

상기 참조 신호의 신호값 분포 특성과의 관계가 소정의 기준을 만족하는 변환 기저를 선택하도록 한 신호 부호화 장치.
제 35항에 있어서,

상기 제 2의 처리 수단은 미리 정한 복수의 변환 기저의 각각에 대해, 그 특징을 나타내는 기저 벡터와 그 화상 신호와 상관이 있는 참조 신호의 휘도 분포 특성과의 유사 관계를 구하고,

그 참조 신호의 휘도 분포 특성과의 유사 관계가 소정의 기준을 만족하는 상기 기저 벡터를 가지는 변환 기저를 제 3의 처리 수단으로 사용해야할 변환 기저로서 상기 복수의 변환 기저로부터 선택하는 기저 선택 수단을 가지는 신호 부호화 장치.
제 43항에 있어서,

상기 복수의 변환 기저는 DCT 기저를 포함하고,

상기 기저 선택 수단은 DCT 기저 이외의 복수의 변환 기저로부터 상기 유사 관계에 기초하여 선택된 변환 기저와 DCT 기저 중 부호화 효율이 좋은 쪽을 선택하도록 한 신호 부호화 장치.
제 41항에 있어서,

상기 제 2의 처리 수단에서 선택된 변환 기저를 특정하는 정보를 상기 부호화 대상 신호의 부호화와 함께 부호화하도록 한 신호 부호화 장치.
제 44항에 있어서,

DCT 기저가 선택되었는지 아닌지를 나타내는 플래그 정보를 상기 부호화 대상 신호와 함께 부호화하도록 한 신호 부호화 장치.
제 33항에 있어서,

상기 제 2의 처리 수단으로 도출된 변환 기저를 상기 부호화 대상 신호와 함께 부호화하도록 한 신호 부호화 장치.
제 33항에 있어서,

상기 제 2의 처리 수단은 상기 참조 신호의 특성에 기초하여 변환 기저를 생성하는 기저 생성 수단과,

미리 정해진 복수의 변환 기저 및 상기 생성된 변환 기저 중에서 상기 참조 신호의 특성에 기초하여 제 3의 처리 수단으로 사용해야할 변환 기저를 선택하는 기저 선택 수단을 가지는 신호 부호화 장치.
제 48항에 있어서,

상기 생성된 변환 기저가 제 3의 처리 수단으로 사용해야할 변환 기저로서 선택된 경우에, 그 생성된 변환 기저를 상기 복수의 변환 기저에 추가하도록 한 신호 부호화 장치.
제 49항에 있어서,

상기 참조 신호의 특성과 상기 복수의 변환 기저의 각각과의 관계로부터 결정되는 하나의 변환 기저를 그 복수의 변환 기저로부터 삭제하도록 한 신호 부호화 장치.
제 35항에 있어서,

상기 제 2의 처리 수단은 상기 화상 신호와 상관이 있는 참조 신호의 휘도 분포 특성에 기초하여 DCT 변환 기저를 변형함으로써 새로운 변환 기저를 생성하는 기저 생성 수단과,

미리 정해진 복수의 변환 기저 및 그 생성된 변환 기저의 각각에 대해, 그 특징을 나타내는 기저 벡터와 그 참조 신호의 휘도 분포 특성과의 유사 관계를 구하고,

그 참조 신호의 휘도 분포 특성과의 유사 관계가 제 1의 기준을 만족하는 상기 기저 벡터를 가지는 변환 기저를 제 3의 처리 수단으로 사용해야할 변환 기저로서 상기 복수의 변환 기저 및 상기 생성된 변환 기저 중에서 선택하는 기저 선택 수단을 가지는 신호 부호화 장치.
제 48항에 있어서,

상기 기저 선택 수단은 상기 참조 신호의 특성에 기초하여 상기 복수의 변환 기저로부터 하나의 변환 기저를 선택하는 제 1의 수단과,

그 선택된 하나의 변환 기저와 상기 생성된 변환 기저를 이용하여 부호화 대상 신호를 부호화하고, 그 부호화 결과에 기초하여 그 하나의 변환 기저와 상기 생성된 변환 기저의 어느 쪽을 선택하는 제 2의 수단을 가지는 신호 부호화 장치.
제 48항에 있어서,

상기 기저 선택 수단은 상기 복수의 변환 기저와 상기 생성된 변환 기저로부터 제 3의 처리 수단으로 사용해야할 변환 기저를 선택할 때에 상기 복수의 변환 기저에 속하는 변환 기저를 우선적으로 선택하도록 한 신호 부호화 장치.
제 48항에 있어서,

상기 생성된 변환 기저가 선택된 경우에, 그 변환 기저를 상기 부호화 대상 신호와 함께 부호화하도록 한 신호 부호화 장치.
제 49항에 있어서,

상기 생성된 변환 기저 및 상기 복수의 변환 기저로부터 삭제된 변환 기저를 특정하는 정보를 상기 부호화 대상 신호와 함께 부호화하는 신호 부호화 방법.
제 35항에 있어서,

상기 참조 신호는 입력되는 원화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 화상 신호로 이루어지고,

상기 부호화 대상 신호로 되는 화상 신호는 상기 입력되는 원화상 신호로 이루어지는 신호 부호화 장치.
제 56항에 있어서,

상기 제 2의 처리 수단은 참조 신호로 되는 예상 화상을 소스로 하는 KL 변환 기저를 제 3의 처리 수단에서 사용해야할 변환 기저로서 생성하도록 한 신호 부호화 장치.
제 33항에 있어서,

부호화 대상 신호의 부분 신호 파형을 특정하고, 그 부분 신호 파형을 변환 기저로 되는 파형 벡터와의 유사한 정도를 나타내는 유사도 정보로 변환하고, 그 파형 벡터를 특정하는 정보, 상기 유사도 정보 및 상기 부분 신호 파형의 파형 대상 신호내 위치를 부호화하는 신호 부호화 장치로서,

상기 제 2의 처리 수단은 상기 부호화 대상 신호의 상기 부분 신호 파형에 대응한 참조 신호의 부분 신호의 특성에 기초하여 상기 변환 기저로 되는 파형 벡터를 생성하는 기저 생성 수단을 가지는 신호 부호화 장치.
제 58항에 있어서,

미리 정해진 파형 벡터군에 포함되는 각 파형 벡터 및 상기 생성된 파형 벡터의 각각과 상기 부분 신호 파형과의 유사 관계에 기초하여 변환 기저로서 이용되는 하나의 파형 벡터를 선택하도록 한 신호 부호화 장치.
제 58항에 있어서,

상기 유사도 정보는 상기 부분 신호 파형과 파형 벡터와의 내적 값에 기초한 정보로 이루어지는 신호 부호화 장치.
제 58항에 있어서,

상기 부호화해야 할 파형 벡터를 특정하는 정보는 상기 파형 벡터군에 포함되는 파형 벡터와 상기 생성된 파형 벡터의 어느 쪽이 선택되었는지를 나타내는 플래그 정보를 포함하는 신호 부호화 장치.
부호화 신호를 복호하고, 그 복호에 의해 얻어진 신호를 변환 규칙에 따라 변환하여 신호의 재생을 하는 신호 복호 방법에 있어서,

상기 부호화 신호를 복호하여 얻어진 신호에 기초하여 변환 규칙의 기초로 되는 변환 기저를 도출하는 제 1의 처리 스텝과,

그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 복호에 의해 얻어진 신호를 변환하여 신호의 재생을 하는 제 2의 처리 스텝을 가지는 신호 복호 방법.
제 62항에 있어서,

상기 제 1의 처리 스텝에서는 상기 부호화 신호를 복호하여 얻어진 신호와 상관이 있는 신호를 참조 신호로서 취득하고,

상기 변환 기저를 그 취득된 참조 신호의 특성에 기초하여 생성하는 신호 복호 방법.
제 63항에 있어서,

상기 참조 신호는 상기 부호화 신호가 부호화되기 전의 부호화 대상 신호와 상관이 있는 신호와 동일이라고 간주할 수 있는 신호로 이루어지는 신호 복호 방법.
제 62항에 있어서,

상기 부호화 신호는 화상에 관한 정보를 부호화 한 부호화 화상 신호로 이루어지는 신호 복호 방법.
제 65항에 있어서,

상기 부호화 신호로 되는 부호화 화상 신호는 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어진 예측 잔차 신호를 부호화 한 부호화 예측 잔차 신호로 이루어지는 신호 복호 방법.
제 65항에 있어서,

상기 참조 신호는 부호화 화상 신호를 복호하여 얻어진 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 화상 신호로 이루어지는 신호 복호 방법.
제 63항에 있어서,

상기 제 1의 처리 스텝에서는 상기 참조 신호의 신호값 분포 특성에 기초하여 미리 정해진 기준의 변환 기저를 변형함으로써 새로운 변환 기저를 생성하는 신호 복호 방법.
제 68항에 있어서,

상기 부호화 신호는 화상에 관한 부호화 화상 신호로 이루어지고,

상기 제 1의 처리 스텝에서는 상기 참조 신호의 신호값 분포 특성으로 이루어지는 휘도 분포 특성에 기초하여 DCT 변환 기저를 변형함으로써 새로운 변환 기저를 생성하는 신호 복호 방법.
제 69항에 있어서,

상기 제 1의 처리 스텝에서는 상기 참조 신호의 휘도 분포 특성과 DCT 변환 기저와의 관계를 구하고,

　그 관계에 기초하여 DCT 변환 규정을 변형하여 새로운 변환 기저를 생성하는 신호 복호 방법.
제 70항에 있어서,

상기 제 1의 처리 스텝에서는 참조 신호의 휘도 분포 특성으로서 나타날 수 있는 복수의 파형 패턴을 미리 정하고,

상기 참조 신호의 휘도 분포 특성과의 유사 관계에 따라 파형 패턴을 상기 복수의 파형 패턴으로부터 선택하고,

그 선택된 파형 패턴과 DCT 변환 기저와의 관계에 기초하여 DCT 변환 기저를 변형하여 새로운 변환 기저를 생성하는 신호 복호 방법.
제 62항에 있어서,

상기 제 1의 처리 스텝에서는 부호화 신호에 기초하여 미리 정한 복수의 변환 기저로부터 상기 제 2의 처리 스텝에서 사용되어야 할 변환 기저를 선택하는 신호 복호 방법.
제 72항에 있어서,

부호화 신호를 복호하여 얻어지는 변환 기저를 특정하는 정보에서 특정되는 해당 변환 기저를 상기 복수의 변환 기저로부터 선택하는 신호 복호 방법.
제 72항에 있어서,

상기 제 1의 처리 스텝에서는 상기 복수의 변환 기저의 각각과 상기 참조 신호의 신호값 분포 특성과의 관계를 구하고,

상기 참조 신호의 신호 분포 특성과의 관계가 소정의 기준을 만족하는 변환 기저를 선택하는 신호 복호 방법.
제 74항에 있어서,

상기 부호화 신호가 화상에 관한 부호화 화상 신호이고,

상기 제 1의 처리 스텝에서는 상기 복수의 변환 기저의 각각에 대해, 그 특징을 나타내는 기저 벡터와, 상기 참조 신호의 신호값 분포 특성으로 이루어지는 휘도 분포 특성과의 유사 관계를 구하고,

그 참조 신호의 휘도 분포 특성과의 유사 관계가 소정의 기준을 만족하는 상기 기저 벡터를 가지는 변환 기저를 상기 복수의 변환 기저로부터 선택하는 신호 복호 방법.
제 75항에 있어서,

상기 복수의 변환 기저는 DCT 기저를 포함하고,

상기 제 1의 처리 스텝에서는 부호화 화상 신호를 복호하여 얻어지는 DCT 기저 및 그 이외의 복수의 변환 기저의 어느 쪽을 나타내는 플래그 정보에 기초하여 제 2의 처리 스텝에서 사용해야할 변환 기저를 선택하는 신호 복호 방법.
제 76항에 있어서,

상기 플래그 정보가 DCT 기저 이외의 복수의 변환 기저를 나타내는 경우, 상기 참조 신호의 휘도 분포 특성과의 유사 관계에 기초하여 상기 DCT 기저 이외의 복수의 변환 기저로부터 하나의 변환 기저를 선택하는 신호 복호 방법.
제 62항에 있어서,

상기 제 1의 처리 스텝에서는 부호화 신호를 복호하여 얻어지는 변환 기저를 상기 제 2의 처리 스텝에 사용해야할 변환 기저로서 취득하는 신호 복호 방법.
제 72항에 있어서,

상기 제 1의 처리 스텝에서는 부호화 신호를 복호하여 얻어지는 신호에 상기 복수의 변환 기저에 포함되지 않는 제 1의 변환 기저가 포함되어 있는 경우, 그 제 1의 변환 기저를 제 2의 처리 스텝에서 사용해야할 변환 기저로서 취득함과 함께, 상기 복수의 변환 기저에 그 제 2의 변환 기저를 추가하는 신호 복호 방법.
제 79항에 있어서,

상기 부호화 신호를 복호하여 얻어지는 신호에 상기 복수의 변환 기저 중의 제 2의 변환 기저를 특정하는 정보가 포함되어 있는 경우, 상기 제 2의 변환 기저를 상기 복수의 변환 기저로부터 삭제하는 신호 복호 방법.
제 80항에 있어서,

상기 제 1의 변환 기저는 상기 복수의 변환 기저에 있어서 상기 제 2의 변환 기저를 특정하고 있던 정보로 특정되도록 하는 신호 복호 방법.
제 62항에 있어서,

상기 부호화 신호는 원화상을 부호화하여 얻어지는 부호화 원화상 신호로 이루어짐과 함께,

상기 참조 신호는 그 부호화 원화상 신호로부터 움직임 보상 예측의 수법에서 얻어지는 예측 화상 신호로 이루어지고,

상기 제 1의 처리 스텝에서는 참조 신호로 되는 예측 화상 신호를 소스로 하는 KL 변환 기저를 제 2의 처리 스텝에서 사용해야할 변환 기저로서 생성하는 신호 복호 방법.
제 62항에 있어서,

부호화 신호를 복호하여 얻어지는 신호에, 부호화 대상 신호의 부호화 시에 소정의 참조 신호의 부분 신호의 특성에 기초하여 생성된 변환 기저로 되는 파형 벡터를 이용한 것을 나타내는 정보, 그 파형 벡터와 부호화 대상 신호의 부분 신호 파형과의 유사 정도를 나타내는 유사도 정보 및 그 부분 신호 파형의 부호화 대상 신호내 위치가 포함되어 있는 경우,

상기 제 1의 처리 스텝에서는 상기 부호화 신호로부터 얻어지는 상기 신호의 부호화 시에 이용된 소정의 참조 신호에 대응한 참조 신호의 부분 신호의 특성에 기초하여 변환 기저로 되는 파형 벡터를 생성하고,

상기 제 2의 처리 스텝에서는 그 생성된 파형 벡터에 기초한 변환 규칙에 따라 상기 유사도 정보를 변환하여 상기 부호화 대상 신호내 위치에 있어서의 부분 신호 파형을 재생하는 신호 복호 방법.
제 83항에 있어서,

상기 부호화 신호를 복호하여 얻어지는 신호에, 부호화 대상 신호의 부호화 시에 소정의 참조 신호의 부분 신호의 특성에 기초하여 생성된 변환 기저로 되는 파형 벡터 및 미리 정해진 파형 벡터군의 어느 쪽을 이용한 것을 나타내는 플래그 정보와 함께, 그 플래그 정보가 파형 벡터군을 이용한 것을 나타내는 경우에, 그 파형 벡터군 중의 사용된 파형 벡터를 특정하는 정보를 포함하고,

상기 제 1의 처리 스텝에서는 상기 플래그 정보가 상기 파형 벡터군을 이용한 것을 나타내는 경우, 그 사용된 파형 벡터를 특정하는 정보에서 특정되는 파형 벡터를 상기 복수의 파형 벡터군으로부터 선택하고,

상기 제 2의 처리 스텝에서는 그 선택된 파형 벡터에 기초한 변환 규칙에 따라 상기 유사도 정보를 변환하여 상기 부호화 대상 신호내 위치에 있어서의 부분 신호 파형을 재생하는 신호 복호 방법.
부호화 신호를 복호하고, 그 복호에 의해 얻어진 신호를 변환 규칙에 따라 변환하여 신호의 재생을 하는 신호 복호 장치에 있어서,

상기 부호화 신호를 복호하여 얻어진 신호에 기초하여 변환 규칙의 기초로 되는 변환 기저를 도출하는 제 1의 처리 수단과,

그 도출된 변환 기저에 기초한 변환 규칙에 따라 상기 복호에 의해 얻어진 신호를 변환하여 신호의 재생을 하는 제 2의 처리 수단을 가지는 신호 복호 장치.
제 85항에 있어서,

상기 제 1의 처리 수단은 상기 부호화 신호를 복호하여 얻어진 신호와 상관이 있는 신호를 참조 신호로서 취득하는 수단과,

상기 변환 기저를 그 취득된 참조 신호의 특성에 기초하여 생성하는 기저 생성 수단을 가지는 신호 복호 장치.
제 86항에 있어서,

상기 참조 신호는 상기 부호화 신호가 부호화되기 전의 부호화 대상 신호와 상관이 있는 신호와 동일이라고 간주할 수 있는 신호로 이루어지는 신호 복호 장치.
제 85항에 있어서,

상기 부호화 신호는 화상에 관한 정보를 부호화 한 부호화 화상 신호로 이루어지는 신호 복호 장치.
제 88항에 있어서,

상기 부호화 신호로 되는 부호화 화상 신호는 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어진 예측 잔차 신호를 부호화 한 부호화 예측 잔차 신호로 이루어지는 신호 복호 장치.
제 88항에 있어서,

상기 참조 신호는 부호화 화상 신호를 복호하여 얻어진 화상 신호로부터 움직임 보상 예측의 수법에 의해 얻어지는 예측 화상 신호로 이루어지는 신호 복호 장치.
제 85항에 있어서,

상기 기저 생성 수단은 상기 참조 신호의 신호값 분포 특성에 기초하여 미리 정해진 기준의 변환 기저를 변형함으로써 새로운 변환 기저를 생성하도록 한 신호 복호 장치.
제 91항에 있어서,

상기 부호화 신호는 화상에 관한 부호화 화상 신호로 이루어지고,

상기 기저 생성 수단은 상기 참조 신호의 신호값 분포 특성으로 이루어지는 휘도 분포 특성에 기초하여 DCT 변환 기저를 변형함으로써 새로운 변환 기저를 생성하도록 한 신호 복호 장치.
제 92항에 있어서,

상기 기저 생성 수단은 상기 참조 신호의 휘도 분포 특성과 DCT 변환 기저와의 관계를 구하는 수단을 가지고,

그 관계에 기초하여 DCT 변환 규정을 변형하여 새로운 변환 기저를 생성하도록 한 신호 복호 장치.
제 93항에 있어서,

상기 기저 생성 수단은 참조 신호의 휘도 분포 특성으로서 나타날 수 있는 복수의 파형 패턴을 미리 정하고 있고,

상기 참조 신호의 휘도 분포 특성과의 유사 관계에 따라 파형 패턴을 상기 복수의 파형 패턴으로부터 선택하는 수단을 가지고,

그 선택된 파형 패턴과 DCT 변환 기저와의 관계에 기초하여 DCT 변환 기저를 변형하여 새로운 변환 기저를 생성하도록 한 신호 복호 장치.
제 85항에 있어서,

상기 제 1의 처리 수단은 부호화 신호에 기초하여 미리 정한 복수의 변환 기저로부터 상기 제 2의 처리 수단에서 사용되어야 할 변환 기저를 선택하는 기저 선택 수단을 가지는 신호 복호 장치.
제 95항에 있어서,

상기 기저 선택 수단은 부호화 신호를 복호하여 얻어지는 변환 기저를 특정하는 정보에서 특정되는 해당 변환 기저를 상기 복수의 변환 기저로부터 선택하도록 한 신호 복호 장치.
제 95항에 있어서,

상기 기저 선택 수단은 상기 복수의 변환 기저의 각각과 상기 참조 신호의 신호값 분포 특성과의 관계를 구하는 수단을 가지고,

상기 참조 신호의 신호 분포 특성과의 관계가 소정의 기준을 만족하는 변환 기저를 선택하도록 한 신호 복호 장치.
제 97항에 있어서,

상기 부호화 신호가 화상에 관한 부호화 화상 신호이고,

상기 기저 선택 수단은 상기 복수의 변환 기저의 각각에 대해, 그 특징을 나타내는 기저 벡터와, 상기 참조 신호의 신호값 분포 특성으로 이루어지는 휘도 분포 특성과의 유사 관계를 구하는 수단을 가지고,

그 참조 신호의 휘도 분포 특성과의 유사 관계가 소정의 기준을 만족하는 상기 기저 벡터를 가지는 변환 기저를 상기 복수의 변환 기저로부터 선택하도록 한 신호 복호 장치.
제 98항에 있어서,

상기 복수의 변환 기저는 DCT 기저를 포함하고,

상기 기저 선택 수단은 부호화 화상 신호를 복호하여 얻어지는 DCT 기저 및 그 이외의 복수의 변환 기저의 어느 쪽을 나타내는 플래그 정보에 기초하여 제 2의 처리 수단에서 사용해야할 변환 기저를 선택하도록 한 신호 복호 장치.
제 99항에 있어서,

상기 플래그 정보가 DCT 기저 이외의 복수의 변환 기저를 나타내는 경우,

상기 기저 선택 수단은 상기 참조 신호의 휘도 분포 특성과의 유사 관계에 기초하여 상기 DCT 기저 이외의 복수의 변환 기저로부터 하나의 변환 기저를 선택하도록 한 신호 복호 장치.
제 85항에 있어서,

상기 제 1의 처리 수단은 부호화 신호를 복호하여 얻어지는 변환 기저를 상기 제 2의 처리 스텝에 사용해야할 변환 기저로서 취득하는 기저 취득 수단을 가지는 신호 복호 장치.
제 95항에 있어서,

상기 제 1의 처리 수단은 부호화 신호를 복호하여 얻어지는 신호에 상기 복수의 변환 기저에 포함되지 않는 제 1의 변환 기저가 포함되어 있는 경우, 그 제 1의 변환 기저를 제 2의 처리 스텝에서 사용해야할 변환 기저로서 취득하는 수단과,

상기 복수의 변환 기저에 그 제 2의 변환 기저를 추가하는 수단을 가지는 신호 복호 장치.
제 102항에 있어서,

상기 부호화 신호를 복호하여 얻어지는 신호에 상기 복수의 변환 기저 중의 제 2의 변환 기저를 특정하는 정보가 포함되어 있는 경우, 상기 제 2의 변환 기저를 상기 복수의 변환 기저로부터 삭제하는 수단을 가지는 신호 복호 장치.
제 103항에 있어서,

상기 제 1의 변환 기저는 상기 복수의 변환 기저에 있어서 상기 제 2의 변환 기저를 특정하고 있던 정보로 특정되도록 한 신호 복호 장치.
제 85항에 있어서,

상기 부호화 신호는 원화상을 부호화하여 얻어지는 부호화 원화상 신호로 이루어짐과 함께,

상기 참조 신호는 그 부호화 원화상 신호로부터 움직임 보상 예측의 수법에서 얻어지는 예측 화상 신호로 이루어지고,

상기 제 1의 처리 수단은 참조 신호로 되는 예측 화상 신호를 소스로 하는 KL 변환 기저를 제 2의 처리 스텝에서 사용해야할 변환 기저로서 생성하는 기저 생성 수단을 가지는 신호 복호 장치.
제 85항에 있어서,

부호화 신호를 복호하여 얻어지는 신호에, 부호화 대상 신호의 부호화 시에 소정의 참조 신호의 부분 신호의 특성에 기초하여 생성된 변환 기저로 되는 파형 벡터를 이용한 것을 나타내는 정보, 그 파형 벡터와 부호화 대상 신호의 부분 신호 파형과의 유사 정도를 나타내는 유사도 정보 및 그 부분 신호 파형의 부호화 대상 신호내 위치가 포함되어 있는 경우,

상기 제 1의 처리 수단은 상기 부호화 신호로부터 얻어지는 상기 신호의 부호화 시에 이용된 소정의 참조 신호에 대응한 참조 신호의 부분 신호의 특성에 기초하여 변환 기저로 되는 파형 벡터를 생성하는 파형 벡터 생성 수단을 가지고,

상기 제 2의 처리 수단은 그 생성된 파형 벡터에 기초한 변환 규칙에 따라 상기 유사도 정보를 변환하여 상기 부호화 대상 신호내 위치에 있어서의 부분 신호 파형을 재생하도록 한 신호 복호 장치.
제 106항에 있어서,

상기 부호화 신호를 복호하여 얻어지는 신호에, 부호화 대상 신호의 부호화 시에 소정의 참조 신호의 부분 신호의 특성에 기초하여 생성된 변환 기저로 되는 파형 벡터 및 미리 정해진 파형 벡터군의 어느 쪽을 이용한 것을 나타내는 플래그 정보와 함께, 그 플래그 정보가 파형 벡터군을 이용한 것을 나타내는 경우에, 그 파형 벡터군 중의 사용된 파형 벡터를 특정하는 정보를 포함하고,

상기 제 1의 처리 수단은 상기 플래그 정보가 상기 파형 벡터군을 이용한 것을 나타내는 경우, 그 사용된 파형 벡터를 특정하는 정보에서 특정되는 파형 벡터를 상기 복수의 파형 벡터군으로부터 선택하는 파형 벡터 선택 수단을 가지고,

상기 제 2의 처리 수단은 그 선택된 파형 벡터에 기초한 변환 규칙에 따라 상기 유사도 정보를 변환하여 상기 부호화 대상 신호내 위치에 있어서의 부분 신호 파형을 재생하도록 한 신호 복호 장치.