KR100328416B1 - 디지털화상부호화,복호화방법및그것을사용한디지털화상부호화,복호화장치 - Google Patents

Abstract

본 발명은, 아핀(affine)변환과 같이 그 파라미터가 정수가 아닌 많은 자리수를 가진 경우에, 정확한 변환을 보다 적은데이터전송량으로 실현할 수 있는 디지털화상데이터부호화, 복호화장치를 제공하는 것이며, 입력화상을 부호화해서 데이터압축하는 화상압축수단과, 그 화상압축수단에 의해 압축된 화상을 복호해서 얻은 화상을 좌표변환해서, 좌표변환함으로써 발생하는 좌표데이터를 출력하는 좌표변환수단과, 이 좌표변환수단의 좌표데이터로부터 변환파라미터를 생성하는 변환파라미터생성수단과, 이 변환파라미터생성수단에 의해서 생성된 변환파라미터를 사용해서, 입력화상으로부터 예측화상을생성하는 예측화상생성수단과 압축화상과 좌표데이터를 전송하는 전송수단을 구비한 화상예측부호화장치이다.

Description

디지털화상부호화, 복호화방법 및 그것을 사용한 디지털화상부호화, 복호화장치{DIGITAL IMAGE ENCODING AND DECODING METHOD AND DIGITAL IMAGE ENCODING AND DECODING DEVICE USING THE SAME}

디지털화상을 효율좋게 축적 혹은 전송하려면, 압축보호화 할 필요가 있다.

디지털화상을 압축부호화하기 위한 방법으로서, 종래 JPEG나 MPEG에 대표되는 이산코사인변환(DCT)외에, 서브밴드나 워어브레트, 프랙탈 등의 파형부호화방법이 있다. 또, 화상간의 용장(冗長)인 신호를 제거하려면 움직임보상을 사용한 화상간 예측을 행하고, 차분신호를 파형부호화 한다.

여기서는, 움직임보상 DCT에 의거한 MPEG방식에 대해서 설명한다. 입력화상을 복수의 16×16의 마크로블록으로 분할해서 처리한다. 1개의 마크로블록을 다시 8×8의 블록으로 분할하고, 8×8의 DCT를 실시한 다음에 양자화한다. 이것은 프래임내부호화라고 호칭된다. 한편, 블록매칭을 위시한 움직임검출방법으로, 시간에 인접하는 별도의 프레임의 중에서 대상마크로블록에 오차가 가장 작은 예측마크로블록을 검출하고, 검출된 움직임에 의거해서, 과거의 화상으로부터 움직임보상을 하고, 최적한 예측블록을 취득한다. 오차가 가장 작은 예측마크로블록을 표시한 신호가 움직임벡터이다. 다음에 대상이 되는 블록과 대응하는 예측블록의 차분을 구하여, DCT를 실시하고, 변환계수를 양자화하고, 움직임정보와 함께 전송 혹은 축적한다. 이것은 프레임간 부호화라고 호칭한다.

수신쪽에서는, 양자화된 변환계수를 원래의 차분신호로 복원한 후, 움직임벡터에 의거해서 예측블록을 취득하고, 차분신호와 가산하여, 화상을 재생한다.

예측화상의 생성은 블록단위로 행하여지고 있으나, 팬이나 줌과 같이 화상전체가 움직이는 경우가 있고, 이 경우 화상전체를 움직임보상한다. 움직임보상, 혹은 예측화상의 생성은 단순한 평행이동에서부터 확대·축소·회전 등의 변형에 따른 것이 있다.

수식 ①내지 수식 ④는 이동·변형을 나타내는 식을 표시한다. (x,y)는 화소의 좌표이고, (u,v)는 변환된 좌표이며, (x,y)에 있어서의 움직임벡터이다. 그 외의 변수는 이동이나 변형을 표시한 변환파라미터이다.

(u, v) = (x+e, y+f)… ①

(u, v) = (ax+e, dy+f)… ②

(u, v) = (ax+by+e, cx+dy+f)… ③

(u, v) = (gx2+pxy+ry2+ax+by+e, hx2+qxy+sy2+cx+dy+f)… ④

수식 ③의 변환은 아핀(affine)변환이라 불리우는 것으로서, 이후 이것을 예로해서 설명한다. 아핀변환의 파라미터(a, b, c, d, e, f)는 다음과 같이 구할 수 있다.

먼저, 화상을 복수의 블록(2×2, 4×4, 8×8등)으로 분할해서, 블록매칭의 방법으로 각 블록의 움직임벡터를 구한다. 구하게된 움직임벡터 중에서 신뢰성이 높은 것을 적어도 3개를 선택하고, 수식 ③의 연립방정식 6개를 풀므로서 아핀파라미터를 얻는다. 일반적으로는 오차를 적게 하기 위해서는, 보다 많은 점을 선택하여, 최소자승법에 의해 아핀파라미터를 구한다. 이와 같이 해서 구해진 아핀파라미터를 예측화상생성에 사용된다. 수신쪽에도 동일예측화상생성을 할 수 있도록 아핀파라미터를 전송할 필요가 있다.

그러나, 종래의 프레임간 부호화는 대상화상과 참조화상이 동일한 크기를 가진 것을 전제로 하고 있으며, 상이한 크기의 화상에 대해서 충분히 대응되어 있지 않다. 인접하는 2개의 화상의 크기의 변화는, 그 화상속에 있는 물체의 움직임에 의한 것이 많다. 예를 들면, 양손을 내리고 서 있는 인물(도 7(a))이 양손을 들므로써 인물을 둘러싸는 직4각형의 크기가 변화한다(도 7(b)). 부호화효율을 생각하면, 움직임벡터의 부호량이 적게 되도록, 대상화면과 참조화면을 동일한 좌표공간으로 변환할 필요가 있다. 또, 화상크기의 변화에 의해 분할되는 화상의 마크로블록의 배치가 변화한다. 예를 들면 도 7(a)에서 도 7(b)로 변화할 때에, 마크로블록(701)은 마크로블록(703)과 (704)의 2개로 구분되어 압축부호화되기 때문에, 도 7(b)의 재생화상에 있어서, 인물의 얼굴에 양자화에 의한 수직의 찌그러짐이 출현하여, 시각상의 화질이 저하한다.

또, 아핀변환을 높은 정밀도로 행하는 것이 필요하기 때문에, 아핀파라미터(a, b, c, d, e, f등)는 일반적으로 소수점이하의 실수이기 때문에, 고정밀도로 전송하려고 하면, 긴 비트수에 의해 전송할 필요가 있다. 종래에서는, 아핀파라미터를 단순히 양자화해서 고정길이 혹은 가변길이부호로 전송하기 때문에, 아핀파라미터의 정밀도를 저하시켜, 높은 정밀도의 아핀변환을 얻을 수 없어, 소망의 예측화상생성을 할 수 없었다.

수식 ①내지 수식 ④에서 알 수 있는 바와 같이, 변환파라미터의 개수는 2개내지 10개, 또는 그 이상의 것이 있다. 변환파라미터를 전송할려면, 그 최대의 개수에 맞추어서 부호화하면 적은 파라미터를 전송할 때에 용장한 부호를 전송하게된다고 하는 문제가 있다.

(발명의 개시)

본 발명의 제 1의 목적은, 아핀변환과 같이 그 파라미터가 정수아닌 많은 자리수를 가진 경우에, 정확한 변환에 의해 적은 데이터전송량으로 실현할 수 있는 디지털화상데이터부호화, 복호화장치를 제공하는 것이다.

그 목적을 달성하기 위하여, 입력화상을 부호화해서 데이터압축하는 화상압축수단과, 그 화상압축수단에 의해 압축한 화상을 복호해서 얻은 화상을 좌표변환해서, 좌표변환을 함으로써 발생하는 좌표데이터를 출력하는 좌표변환수단과, 이 좌표변환수단의 좌표데이터로부터 변환파라미터를 생성하는 변환파라미터생성수단과, 이 변환파라미터생성수단에 의해서 생성된 변환파라미터를 사용해서, 입력화상으로부터 예측화상을 생성하는 예측화상생성수단과, 상기 압축화상과 좌표데이터를 전송하는 전송수단을 구비하고, 화상예측부호화장치를 구성한 것이다.

또, 압축화상데이터와 좌표데이터를 입력하고, 가변길이 복호하는 가변장복호수단과, 상기 가변장복호수단에 의해 복호된 좌표데이터로부터, 변환파라미터를 생성하는 변환파라미터생성수단과, 상기 변환파라미터생성수단에 의해 생성된 변환파라미터를 사용해서 예측화상데이터를 생성하는 예측화상생성수단과, 상기 예측화상생성수단으로부터의 예측화상과 상기 가변길이가 복호된 압축화상데이터를 가산함으로써 복호화상을 생성하는 가산수단을 가진 디지털화상복호화장치이다.

특히, 변환파라미터생성수단이, N개(N은 자연수)의 화소의 좌표점과, 상기 N개의 좌표점을 소정의 선형다항식(線形多項式)에 의해서 변환된 N개의 변환완료좌표점으로부터 변환파라미터를 생성하는 디지털부호화, 복호화장치이다. 또, 변환파라미터생성수단이, 크기가 다른 제 1내지 제 N의 대상화상을 입력하고, 상기 제 1내지 제 N의 대상화상에 대해, 공통공간좌표를 설정하고, 상기 제 1내지 제 N의 대상화상에 대해서, 소정의 방법으로 압축부호화하여 제 1내지 제 N의 압축화상을 생성하고, 상기 제 1내지 제 N의 압축화상을 복호화하고, 상기 공통공간좌표로 변환하고, 제 1내지 제 N의 신장화상을 생성해서 격납하는 동시에, 상기 제 1내지 제 N의 신장화상을 상기 공통공간좌표로 변환함에 따라서 생성되는 변환파라미터를 출력하는 디지털화상부호화, 복호화장치이다.

본 발명의 제 2의 목적은, 특히 좌표데이터로서 상이한 크기의 화상을 예측부호화할 때에, 대상화상과 참조화상을 동일 좌표공간에 변환된 좌표데이터를 전송함으로써 움직임검출의 정밀도를 향상시키는 동시에 움직임벡터의 부호량을 적게하여 화질의 향상을 도모한 디지털화상부호화, 복호화장치이다.

이 목적을 달성하기 위하여, 본 발명의 화상예측부호화장치는, 크기가 다른 제 1내지 제 N의 대상화상을 입력하고, 제 1내지 제 N의 대상화상에 대해, 공통공간좌표를 설정하고, 제 1의 대상화상에 대해서, 소정의 방법으로 압축부호화하여 제 1의 압축화상을 생성한 후, 제 1의 압축화상을 복호화하고, 공통공간좌표로 변환하고, 제 1의 신장화상을 생성해서 격납하는 동시에, 제 1의 대상화상을 공통공간좌표로 변환함에 따라서 생성되는 제 1 오프셋신호(좌표데이터)를 부호화하고, 제 1의 압축화상과 함께 전송하고,

제 n(n=2, 3, …N)의 대상화상에 대해서, 공통공간좌표로 변환하고, 제 (n-1)의 신장화상을 참조해서 예측화상을 생성하고, 제 n의 대상화상과 예측화상으로부터 차분화상을 생성해서 압축부호화하고, 제 n의 압축화상을 생성한 후, 제 n의 압축화상을 복호화하고, 공통공간좌표로 변환하고, 제 n의 신장화상을 생성해서 격납하는 동시에, 제 n의 대상화상을 공통공간좌표로 변환함에 따라서 생성되는 제 n의 오프셋신호(좌표데이터)를 부호화하고, 제 n의 압축화상과 함께 전송하는 것으로 한 것이다.

본 발명의 화상예측복호화장치는, 입력단자와, 데이터해석기와, 복호화기와, 가산기와, 좌표변환기와, 움직임보상기와, 프레임메모리를 구비하고, 입력단자에, 크기가 다른 제 1내지 제 N의 대상화상을 부호화하고, 제 n(n=1, 2, 3, …, N)의대상화상을 공통공간좌표로 변환함에 따라서 생성되는 제 n의 오프셋신호를 포함시킨 제 1내지 제 N의 압축화상데이터를 입력하고, 데이터해석기에 의해, 제 1의 압축화상데이터를 분석하고, 제 1의 압축화상신호와 제 1의 오프셋신호를 출력하고, 복호화기에 제 1의 압축화상신호를 입력하고, 제 1의 재생화상으로 복원한 후에, 좌표변환기에 의해, 제 1의 오프셋신호를 기초로, 제 1의 재생화상을 좌표변환하고, 프레임메모리에 격납하고, 제 n(n=2, 3, …, N)의 압축화상데이터에 대해서, 데이터해석기에 의해, 제 n의 압축화상데이터를 분석하고, 제 n의 압축화상신호와 제 n의 오프셋신호와 제 n의 움직임 신호를 출력하고, 복호화기에 제 n의 압축화상신호를 입력하고, 제 n의 신장차분화상으로 복원하고, 움직임보상기에 제 n의 오프셋신호와 제 n의 움직임 신호를 입력하고, 제 n의 오프셋신호와 제 n의 움직임 신호를 기초로, 프레임메모리에 격납된 제 (n-1)의 재생화상으로부터 제 n의 예측화상을 취득하고, 가산기에 의해 제 n의 신장차분화상과 제 n의 예측화상을 가산해서 제 n 의 재생화상으로 복원하여 출력하는 동시에, 좌표변환기에 의해, 제 n의 오프셋신호를 기초로, 제 n의 재생화상을 좌표변환하여 프레임메모리에 격납하는 것으로 한 것이다.

본 발명의 제 3의 목적은, 좌표데이터로서 전송하는 데이터에 아핀변환을 행하는 경우의 아핀파라미터를 포함하는 변환파라미터를 고정밀도로 전송하고, 고정밀도의 예측화상생성을 가능하게 하는 디지털화상부호화, 복호화장치를 제공하는 것이다.

본 발명에 의하면, 가변장복호화부와, 차분화상신장부와, 가산부와, 변환파라미터생성부와, 예측화상생성부와 프레임메모리로 구성하는 디지털화상복호화장치로서, 가변장복호화부에 데이터를 입력하고, 데이터로부터, 차분화상데이터를 분리하여 차분화상신장부에 전송하는 동시에, 좌표데이터를 분리하여 변환파라미터생성부에 입력하고, 차분화상신장부에 의해, 차분화상데이터를 신장하여, 가산부에 전송하고, 변환파라미터생성부에 의해, 좌표데이터로부터 변환파라미터를 생성하여, 예측화상생성부에 전송하고, 예측화상생성부에 의해, 변환파라미터와 프레임메모리로부터 입력되는 화상으로부터 예측화상을 생성하여, 가산부에 전송하고, 가산부에 의해, 신장된 차분화상에 예측화상을 가산하여, 화상을 생성하고, 출력하는 동시에 프레임메모리에 격납한다.

상기 좌표데이터는, N개의 화소의 좌표점과, N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점이며, 또는 N개의 화소의 좌표점과, N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점의 차분치이며, 또는, 소정의 N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점이며, 또는, 소정의 N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점과 예측치와의 차분치이다. 이 예측치는, 소정의 N개의 좌표점이며, 또는 앞프레임의 N개의 변환완료좌표점이다.

또, 본 발명에 의하면, 변환파라미터추정부와, 예측화상생성부와, 제 1가산부와, 차분화상압축부와, 차분화상신장부와, 제 2가산부와, 프레임메모리와, 전송부로 구성하는 디지털화상부호화장치로서, 디지털화상을 입력하고, 변환파라미터추정부에 의해, 프레임메모리에 격납되어 있는 화상과 디지털화상으로부터 변환파라미터를 추정하고, 예측화상생성부에, 추정된 변환파라미터와 프레임메모리에 격납된 화상을 입력하여, 추정된 변환파라미터에 의거해서 예측화상을 생성하고, 제 1가산부에 의해, 디지털화상과 예측화상과의 차분을 구하고, 차분화상압축부에 의해 압축차분데이터로 압축하여, 전송부에 전송하는 동시에, 차분화상신장부에 의해, 압축차분데이터를 신장차분데이터로 신장하고, 제 2가산부에 의해, 예측화상과 가산하여, 프레임메모리에 격납하는 디지털화상부호화장치에 있어서, 변환파라미터추정부로부터, 좌표데이터를 전송부에 전송하고, 압축차분데이터와 함께 전송한다.

상기의 좌표데이터는, N개의 화소의 좌표점과, N개의 좌표점을 변환파라미터에 의해서 변환된 N개의 변환완료좌표점이며,또는, N개의 화소의 좌표점과, N개의 변환완료좌표점과 N개의 화소의 좌표점과의 차분이며, 또는, 소정의 N개의 화소의 좌표점을 변환파라미터에 의해서 변환된 N개의 변환완료좌표점이며, N개의 변환완료좌표점과 소정의 N개의 화소의 좌표점과의 차분이며, 또는, N개의 변환완료좌표점과 과거의 프레임의 N개의 변환완료좌표점과의 차분이다.

또, 본 발명에 의하면, 가변장복호화부와, 차분화상신장부와, 가산부와, 변환파라미터생성부와, 예측화상생성부와 프레임메모리로 구성하는 디지털화상복호화장치로서, 가변장복호화부에 데이터를 입력하고, 데이터로부터, 차분화상데이터를 분리하여 차분화상신장부에 전송하는 동시에, 좌표데이터의 개수의 개수와 좌표데이터를 변환파라미터생성부에 입력하고, 차분화상신장부에 의해, 차분화상데이터를 신장하여, 가산부에 전송하고, 변환파라미터생성부에 의해, 변환파라미터의 개수에 의거해서 변환파라미터생성방법을 절환하고, 좌표데이터로부터 변환파라미터를 생성하여, 예측화상생성부에 전송하고, 예측화상생성부에 의해, 변환파라미터와 프레임메모리로부터 입력되는 화상으로부터, 예측화상을 생성하여, 가산부에 전송하고, 가산부에 의해, 신장된 차분화상에 상기 예측화상을 가산하여, 화상을 생성하고, 출력하는 동시에 프레임메모리에 격납하는 것을 특징으로 하는 디지털화상복호화장치.

상기의 좌표데이터가 N개의 화소의 좌표점과, N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점이며, 또는, 좌표데이터가 N개의 화소의 좌표점과, N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점과 N개의 화소의 좌표점과의 차분이며, 또는, 좌표데이터가 N개의 화소의 좌표점과 과거의 프레임의 N개의 화상의 좌표점과의 차분과, N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점과 과거의 프레임의 N개의 변환완료좌표점과의 차분이며, 또는, 소정의 N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점이며, 또는, 소정의 N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점과 소정의 N개의 좌표점과의 차분이며, 또는, 소정의 N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점과 과거의 프레임의 N개의 변환완료좌표점과의 차분이다.

또, 변환파라미터를 그대로 전송할 때에, 변환파라미터를 화상사이즈로 정배(定倍)한 다음에 양자화하여 부호화하고, 또는 변환파라미터의 최대치의 지수부분을 구하며, 지수부에서 변환파라미터를 정규화하고, 지수부와 정규화된 변환파라미터를 전송한다.

본 발명은, 디지털화상데이터를 축적 혹은 전송하기 위한 부호화·복호화방법 및 장치에 관한 것으로서, 특히 화상예측에 있어서의 움직임 정보를 부호화·복호화하고, 예측화상을 고정밀도로 생성하는 방법 및 장치에 관한 것이다.

도 1은 본 발명의 실시예 1에 의한 화상예측부호화장치를 표시한 블록도

도 2는 본 발명의 실시예 1, 2에 있어서의 화상의 좌표변환을 표시한 제 1모식도

도 3은 본 발명의 실시예 1의 화상예측부호화장치에 의한 부호화화상데이터계열을 표시한 모식도

도 4는 본 발명의 실시예 1, 2에 있어서의 화상의 좌표변환을 표시한 제 2모식도

도 5는 본 발명의 실시예 2에 의한 화상예측복호화장치를 표시한 블록도

도 6은 본 발명의 실시예 1, 2에 있어서 분할된 화상을 표시한 모식도

도 7은 종래의 방법으로 분할된 화상을 표시한 모식도

도 8은 본 발명의 실시예 3의 디지털화상복호화장치의 블록도

도 9는 본 발명의 실시예 3의 디지털화상부호화장치의 블록도

도 10은 본 발명의 실시예 4의 디지털화상복호화장치의 블록도

도 11은 본 발명의 실시예 5의 디지털화상복호화장치의 블록도

도 12는 본 발명의 실시예 5의 디지털화상부호화장치의 블록도

도면의 주요 부분에 대한 부호의 설명

101 : 입력단자102 : 제 1가산기

103 : 부호화기106 : 출력단자

107 : 복호화기110 : 제 2가산기

111 : 제 1좌표변환기112 : 제 2좌표변환기

113 : 움직임검출기114 : 움직임보상기

115 : 프레임메모리201 : 대상화상

203 : 좌표계304 : 좌표변환에 의한 파라미터

305 : 좌표변환에 의한 파라미터501 : 입력단자

502 : 데이터해석기503 : 복호화기

506 : 가산기507 : 출력단자

508 : 좌표변환기509 : 움직임검출기

510 : 프레임메모리801 : 입력단자

802 : 가변장복호화부803 : 차분화상신장부

804 : 가산부805 : 출력단자

806 : 변환파라미터생성부807 : 프레임메모리

808 : 예측화상생성부901 : 입력단자

903 : 변환파라미터추정부904 : 제 1가산기

905 : 차분화상압축부906 : 전송부

907 : 출력단자908 : 예측화상생성부

909 : 프레임메모리910 : 차분화상신장부

911 : 제 2가산부1001 : 입력단자

1002 : 가변장복호화부1003 : 차분화상신장부

1004 : 가산부1005 : 출력단자

1006 : 변환파라미터생성부1007 : 프레임메모리

1008 : 예측화상생성부1009 : 스위치

1010 : 스위치1101 : 입력단자

1102 : 가변장복호화부1103 : 차분화상신장부

1104 : 제 1가산부1105 : 출력단자

1106 : 변환파라미터신장부1107 : 프레임메모리

1201 : 입력단자1203 : 변환파라미터추정부

1204 : 가산부1205 : 차분화상압축부

1206 : 전송부1207 : 제 2가산부

1208 : 예측화상생성부1209 : 프레임메모리

1210 : 차분화상신장부

(발명을 실시하는 최량의 형태)

이하, 본 발명의 실시예에 대해서, 도 1∼도 12를 사용해서 설명한다.

(실시예 1)

도 1은 본 발명의 실시예 1에 의한 화상예측부호화장치의 블록도를 표시하고, 도 1에 있어서 (101)은 입력단자, (102)는 제 1가산기, (103)은 부호화기,(106)은 출력단자, (107)은 복호화기, (110)은 제 2가산기, (111)은 제 1좌표변환기, (112)는 제 2좌표변환기, (113)은 움직임검출기, (114)는 움직임보상기, (115)는 프레임메모리이다.

이상과 같이 구성된 화상예측부호화장치에 대해서, 이하, 그 동작을 설명한다. 입력단자(101)에 크기가 다른 제 1내지 제 N의 대상화상을 입력한다. N은 영상의 길이에 따라서 결정된다. 먼저, 입력단자(101)에 제 1의 대상화상을 입력하고, 제 1가산기(102)를 경유하여, 부호화기 (103)에 의해 압출부호화한다. 이 경우, 제 1가산기(102)에 있어서의 감산은 행하지 않는다. 또, 본 실시예에서는, 대상화상을 복수인접하는 블록(8×8화소)으로 분할하고, 이산코사인변환기 DCT(104)에 의해 공간영역의 신호를 주파수영역의 신호로 변환해서 변환블록을 생성한다. 변환블록은 양자화기 Q(105)에 의해서 양자화되고, 제 1의 압축화상을 생성하여, 출력단자(106)에 출력하고, 고정길이 혹은 가변길이의 부호로 변환해서 전송한다(도시생략). 동시에, 제 1의 압축화상을 복호화기(107)에 의해 신장화상으로 복원한다. 본 실시예에서는, 역양자화기 IQ(108)에 의해서 역양자화되고, 역이산코사인변환기(IDCT)(109)에 의해 공간신호로 변환된다. 이와 같이 얻게된 재생화상을 제 1좌표변환기(111)에 의해 좌표변환하고, 제 1의 재생화상을 해서 프레임메모리(115)에 격납한다.

다음에, 제 1좌표변환기(111)의 조작을 설명한다. 도 2(a)를 제 1의 대상화상으로 한다. 화상(201)의 화소(a1)는, 좌표계(203)에 있어서 (0,0)의 좌표를 가진다. 도 2(c)에서 새로운 좌표계(205)가 설정되어 있다. 이 좌표계는 표시화면의 좌표계라도 되고, 또는 대상화상의 중심점을 원점으로 하는 좌표계라도 된다. 어느 경우, 좌표계(205)는 부호화를 시작하기 전에 미리 설정되는 것이다. 대상화상(201)을 좌표계(205)에 작도(mapping)한 것은 도 2(c)에 표시되어 있다. 이 좌표변환에 의해 대상화상(201)의 화소(a1)의 좌표가 (x_a, y_a)로 된다. 또한 회전을 포함한 좌표변환을 행하는 일도 있다. x_a, y_a의 값을 고정길이, 8bit로 부호화해서 제 1의 압축화상과 함께 전송한다.

다음에, 제 n(n=2, 3, …, N)의 대상화상을 입력단자(101)에 입력한다. 제 n의 대상화상을 라인(126)을 경유하여 제 2의 좌표변환기(112)에 입력하고, 좌표계(205)로 변환한다. 도 2(b)의 화상(202)을 제 n의 대상화상으로 한다. 이것을 좌표계(205)로 작도하고, 화소(b1)의 좌표를 (x_b, y_b)로 변환한다(도 2(c)). 좌표변환된 대상화상(202)을 움직임검출기(113)에 입력하고, 복수의 블록으로 분할해서 프레임메모리(115)에 격납된 제 (n-1)의 재생화상을 참조하여, 블록매칭 등의 방법으로 움직임을 검출하고, 움직임벡터를 생성한다. 생성된 움직임벡터를 라인(128)에 출력하여 부호화하고 전송하는(도시생략) 동시에 움직임보상기(114)에 전송되어, 프레임메모리(115)에 격납된 제 (n-1)의 재생화상을 액세스하여 예측블록을 생성한다. 움직임검출·움직임보상에 대해서의 실시예는 예를 들면 USP 5,193,004에 개시되어 있다.

제 1가산기(102)에, 제 n의 대상화상의 블록과 그 예측블록을 입력해서 차분블록을 생성한다. 차분블록을 부호화기(103)에 의해 압축하고, 제 n의 압축화상을 생성하여 출력단자(106)에 출력하는 동시에, 복호화기(107)에 의해 신장차분블록으로 복원한다. 제 2의 가산기(110)에 의해, 신장차분블록에 라인(125)을 경유해서 전송되는 예측블록을 가산하고, 화상을 재생한다. 이와 같이 재생된 화상을 제 1의 좌표변환기(111)에 입력하여, 도 2(c)의 화상(202)과 동일하게 좌표변환하고, 제 n의 재생화상으로서 프레임메모리(115)에 격납하는 동시에, 화소(b1)의 좌표(x_b, y_b)를 부호화하여 제 n의 압축화상과 함께 전송한다.

도 3은, 본 발명의 실시예의 화상예측부호화장치에 의한 부호화화상데이터계열을 표시한 모식도이다. 부호화화상데이터이 선두에 화상동기신호(303), 계속해서, 좌표변환에 의한 파라미터 x_a(304), y_a(305), 화상의 사이즈(306), (307),양자화에 사용되는 스텝치(308)가 있다. 그 후에, 움직임벡터나 화상의 압축데이터가 계속된다. 즉, 좌표데이터로서 파라미터 x_a(304), y_a(305), 화상의 사이즈(306), (307)가 전송되게 된다.

도 4는 본 발명의 실시예에 있어서의 화상의 좌표변환의 다른 형태를 표시한다. 이 경우, 대상화상을 복수의 영역으로 분할되고, 각각의 영역에 대해서 좌표변환을 행한다. 예를 들면, 화상(201)을 3개의 영역 R1, R2, R3으로 분할하고, 각각의 영역을 압축·신장한 다음에, 제 1의 좌표변환기(111)에 의해 재생된 R1, R2, R3의 영역을 각각 좌표변환하고, 프레임메모리(115)에 격납한다. 좌표변환에 사용되는 파라미터(x_a1, y_a1), (x_a2, y_a2), (x_a3, y_a3)을 동시부호화해서 전송한다.

다음에, 화상(202)을 입력하고, 영역 R4, R5, R6으로 분할되어, 각각의 영역을 제 2의 좌표변환기(112)에 의해 좌표변환한다. 각 좌표변환된 영역에 대해서,프레임메모리(115)에 격납된 영역을 참조하여 움직임검출·움직임보상을 행하여, 예측신호를 생성하고, 제 1의 가산기(102)에 의해 차분신호를 생성하고, 압축·신장한 다음에, 제 2의 가산기에 의해 예측신호를 가산한다. 이와 같이 재생된 각 영역을 각각 좌표변환해서 프레임메모리(115)에 격납한다. 좌표변환에 사용되는 파라미터(x_b1, y_b1), (x_b2, y_b2), (x_b3, y_b3)을 동시 부호화해서 전송한다.

다른 크기의 화상을 공통의 공간좌표로 변환함으로써, 움직임검출의 정밀도를 향상시키는 동시에 움직임벡터의 부호량을 적게해서 화질을 향상시킬 수 있다. 도 6(a)와 도 6(b)의 화상을 점(605)에 좌표를 맞춤으로써, 블록(601)과 블록(603), 블록(602)과 블록(604)이 일치하고 있음으로, 움직임검출은 정확히 구해진다. 또 이 예에서는, 블록(603)과 블록(604)의 움직이 백터가 0에 가까운 값으로 되기 때문에 움직임벡터의 부호량을 삭감할 수 있다. 일반적인 화상에 대해서, 인접하는 2개의 화상에 대해서도 동일하게 말할 수 있다. 또, 도 7(b)와 달라서, 도 6(b)의 블록(603)의 얼굴은 하나의 블록에 수용되기 때문에, 얼굴에 양자화에 의한 수직의 변형은 출현하지 않는다.

(실시예 2)

도 5는 본 발명의 실시예 2에 의한 화상예측복호화장치의 블록도를 표시하고, 도 5에 있어서 (501)은 입력단자, (502)는 데이터해석기, (503)은 복호화기, (506)은 가산기, (507)은 출력단자, (508)은 좌표변환기, (509)는 움직임검출기, (510)은 프레임메모리이다.

이상과 같이 구성된 화상예측부호화장치에 대해서, 이하, 그 동작을 설명한다. 입력단자(501)에, 크기가 다른 제 1내지 제 N의 대상화상을 부호화하고, 제 n(n=1, 2, 3, …, N)의 대상화상을 공통공간좌표로 변환함에 따라서 생성된 제 n의 변환파라미터를 포함한 제 1내지 제 N의 압축화상데이터를 입력한다. 도 3의 모식도는 압축화상데이터의 일예를 표시한다. 데이터해석기(502)에 의해 입력된 압축화상데이터를 해석한다.

먼저 제 1의 압축화상데이터를 데이터해석기(502)에 의해 해석하고, 제 1의 압축화상을 복호화기(503)에 출력한다. 또, 공통공간좌표로 변환함에 따라서 생성되는 제 1의 변환파라미터(도 2(c)의 x_a, y_a)를 라인(520)을 경유해서 좌표변환기(508)에 보낸다. 복호화기(503)에서는, 제 1의 압축화상을 신장화상으로 복원하고, 출력단자(507)에 출력한다. 동시에 신장화상을 좌표변환기(508)에 입력한다. 본 실시예에서는, 역양자화하고, IDCT를 실시해서 공간영역의 신호로 복원한다. 좌표변환기(508)에서는 제 1의 변환파라미터를 기초로, 신장화상을 공통공간좌표계에 작도하고, 제 1의 재생화상으로서 출력하여, 프레임메모리(510)에 격납한다. 좌표변환에 대해서 실시예 1에 설명한 것과 동일하다.

다음에 제 n(n=2, 3, …, N)의 압축화상데이터를 데이터해석기(502)에 의해 해석하고, 제 n의 압축차분화상을 복호화기(503)에 출력한다. 또, 제 n의 움직임데이터를 라인(521)을 경유하여 움직임보상기(509)에 전송하고, 공통공간좌표로 변환함에 따라서 생성되는 제 n의 변환파라미터(도 2(c)의 x_b, y_b에 상당)를 라인(520)을 경유해서 좌표변환기(508) 및 움직임보상기(509)에 전송한다. 복호화기(503)에서는, 제 n의 압축차분화상을 제 n의 신장차분화상으로 복원하고, 가산기(506)에 출력한다. 본 실시예에서는, 대상블록의 차분신호를 역양자화하고, IDCT하고, 신장차분블록으로서 출력한다. 한편, 움직임보상기(509)에서는, 제 n변환파라미터와 해당블록의 움직임벡터를 사용해서, 프레임메모리(510)로부터 예측블록을 취득한다. 본 실시예에서는, 대상블록의 좌표를 변환파라미터를 사용해서 변환하고, 즉 대상블록의 좌표에 제 n의 변환파라미터(예를 들면 도 2(c)의 x_b, y_b)를 가산하고, 그 합에 움직임벡터를 가산함으로써, 프레임메모리(510)의 번지를 결정한다. 이와 같이 해서 얻게된 예측블록을 가산기(506)에 전송하여, 신장차분블록과 가산하고, 화상을 재생한다. 재생된 화상을 출력단자(507)에 출력하는 동시에, 좌표변환기(508)에 의해 제 n의 변환파라미터를 사용해서 좌표변환해서 프레임메모리(510)에 격납한다.

또한, 좌표변환기(508)의 대신에, 움직임보상기(509) 또는 그 전후에 있어서, 대상블록의 좌표에 제 n번째의 화상과 제 n-1번째의 화상의 변환파라미터의 차분(x_b-x_a, y_b-y_a)를 가산하고, 그것에 움직임벡터를 가산하는 기능을 가진 다른 장치를 부가해서, 프레임메모리(510)의 번지를 결정해도 마찬가지의 효과를 가지는 것은 말할 것도 없다.

다음에 입력단자(501)에 별도의 압축화상데이터를 입력하는 경우를 생각한다. 즉, 크기가 다른 제 1내지 제 N의 대상화상을 복수의 대상영역으로 분할하여 부호화해서, 각각의 대상영역을 공통공간좌표로 변환함에 따라서 생성되는 변환파라미터를 포함한 제 1내지 제 N의 압축화상데이터를 입력한다.

먼저 상기 제 1의 압축화상데이터를 데이터해석기(502)에 의해 분석하고, 제 m(m=1, 2, …, M)의 압축영역을 복호화기(503)에 출력한다. 도 4(a)에서는 M=3. 또, 공통공간좌표로 변환함에 따라서 생성되는 제 m의 변환파라미터(도 4(a)의 x_am, y_am, m=1, 2, 3)를 라인(520)을 경유해서 좌표변환기(508)에 전송한다. 복호화기(503)에서는, 제 m의 압축영역을 제 m의 신장영역으로 복원하고, 출력단자(507)에 출력한다. 동시에 제 m의 신장영역을 좌표변환기(508)에 입력한다. 그래서 제 m의 변환파라미터를 기초로, 제 m의 신장영역을 공통공간좌표계에 작도하고, 제 m의 재생영역으로서 출력하여, 프레임메모리(510)에 격납한다. 방법은 상기한 것과 동일하다.

다음에 제 n(n=2, 3, …, N)의 압축화상데이터를 데이터해석기(502)에 의해 해석하고, 그 속에 있는 제 K(K=1, 2, …, K)의 압축차분영역을 복호화기(503)에 출력한다. 도 4(b)에서는 K=3. 또, 대응하는 움직임 데이터를 라인(521)을 경유하여 움직임검출기(509)에 전송하고, 공통공간좌표로 변환함에 따라서 생성되는 제 K의 변환파라미터(도 4(b)의 x_bK, y_bK,K=1, 2, 3)를 라인(520)을 경유해서 좌표변환기(508) 및 움직임보상기(509)에 전송한다. 복호화기(503)에서는, 제 K의 압축차분영역을 제 K의 신장차분영역으로 복원하고, 가산기(506)에 출력한다. 본 실시예에서는, 대상블록의 차분신호를 역양자화하고, IDCT하여, 신장차분블록으로서 출력한다. 한편, 움직임보상기(509)에서는, 제 K의 변환파라미터와 해당블록의 움직임벡터를 사용해서, 프레임메모리(510)로부터 예측블록을 취득한다. 본 실시예에서는, 대상블록의 좌표를 제 K의 변환파라미터를 사용해서 변환하고, 즉대상블록의 좌표에 제 K변환파라미터(예를 들면 도 4(b)의 x_bK, y_bK, K=1, 2, 3)를 가산하고, 그 합에 움직임벡터를 가산함으로써, 프레임메모리(510)의 번지를 결정한다. 이와 같이 해서 얻게된 예측블록을 가산기(506)에 전송하고, 신장차분블록과 가산하여, 화상을 재생한다. 재생된 화상을 출력단자(507)에 출력하는 동시에, 좌표변환기(508)에 의해 좌표변환해서 프레임메모리(510)에 격납한다.

(실시예 3)

도 8은 본 발명에 의한 실시예 3의 복호화장치의 블록도를 표시한다. 입력단자(801), 가변장복호화부(802), 차분화상신장부(803), 가산기(804), 출력단자(805), 변환파라미터생성부(806), 프레임메모리(807)와 예측화상생성부(808)로 구성된다.

압축부호화된 화상데이터를 입력단자(801)에 입력한다. 가변장복호화부(802)에서는, 입력데이터를 해석하고, 차분화상데이터나 좌표데이터를 분리하고, 각각 라인(8002)과 (8003)을 경유해서 차분화상신장부(803)와 변환파라미터생성부(806)에 전송한다. 차분화상데이터는, DCT되어, 양자화된 변환계수와 양자화폭이 포함된다. 차분화상신장부(803)에서는, 변환계수를 양자화폭을 이용해서 역양자한 후에 역 DCT를 하고, 차분화상으로 신장한다.

한편, 좌표데이터에는, 변환파라미터를 생성하기 위한 데이터가 포함되고, 변환파라미터생성부(806)에 의해, 변환파라미터가 생성한다. 예를 들면, 수식 ③에 표시한 아핀변환의 경우, (a, b, c, d, e, f)가 생성된다. 상세한 것은 이하에 설명한다.

변환파라미터생성부(806)에 의해 생성된 변환파라미터와, 프레임메모리에 격납되는 화상을 예측화상생성부(808)에 입력한다. 수식 ③에 표시한 아핀변환의 경우, 변환파라미터생성부(806)로부터 전송되는 (a, b, c, d, e, f)를 사용해서, 수식 ③에 따라서, (x,y)에 있는 화소의 예측치는 프레임메모리에 격납되는 화상의 (u,v)에 있는 화소로 된다. 수식 ①, 수식 ②, 수식 ④의 경우에 대해서도 동일하다.

이와 같이해서 생성된 예측화상을 가산부(804)에 전송하고, 차분화상에 가산하여, 화상을 재생한다. 재생된 화상은 출력단자(805)에 출력하는 동시에 프레임메모리(807)에 격납한다.

그런데, 상기한 좌표데이터는 복수의 형태를 취하는 것이 가능하며, 이하에 설명한다.

좌표데이터가 N개의 화소의 좌표점과, 그 N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점으로 이루어진 경우를 생각한다. 여기서, N은 변환파라미터를 구하기 위하여 필요한 점의 개수이다. 아핀파라미터의 경우, 6개의 파라미터가 있음으로, 6개의 변수를 풀기에는 6개의 식을 필요로 한다. 1개의 좌표점에는 (x,y)의 성분이 있기 때문에, N=3이면, 6개의 아핀변환파라미터를 풀 수 있다. 수식 ①의 경우, N=1, 수식 ②의 경우 N=2, 수식 ④의 경우 N=5이다. N개의 변환완료좌표점은 움직임벡터이며, 수식 ①에서부터 수식 ④의 좌변의 (u,v)에 상당한다.

아핀변환의 경우, 3개의 좌표점(x0, y0), (x1, y1), (x2,y2)와 변환완료좌표점 (u0, v0), (u1, v1), (u2, v2)가 라인(8003)을 경유하여 변환파라미터생성부(806)에 입력한다. 변환파라미터생성부(806)에서는, 하기에 연립방정식을 풀므로서, 아핀파라미터가 얻어진다.

수식 ⑤

(u0, v0) = (ax0 + by0 + e, cx0 + dy0 + f)

(u1, v1) = (ax1 + by1 + e, cx1+ dy1 + f)

(u2, v2) = (ax2 + by2 + e, cx2 + dy2 + f)

또한, 보다 많은 좌표데이터를 사용해서 변환파라미터를 구하는 것도 가능하다. 다른 경우도 마찬가지로 변환파라미터를 풀 수 있다. N개의 (x,y)를 잘 선택함으로써 대단히 높은 정밀도의 변환파라미터를 구할 수 있다. 직각으로 배치되는 N개의 (x,y)가 바람직하다.

또한, 변환완료좌표점(u0, v0), (u1, v1), (u2, v2)에 대해, 대응하는 좌표점(x0, y0), (x1, y1), (x2, y2)를 구할 때에는, 수식 ⑤의 대신에 수식 ⑥의 연립방정식을 구해도 된다.

수식 ⑥

(x0, y0) = (Au0 + Bv0 + E, Cu0 + Dv0 + F)

(x1, y1) = (Au1 + Bv1 + E, Cu1 + Dv1 + F)

(x2, y2) = (Au2 + Bv2 + E, Cu2 + Dv2 + F)

다음에, 좌표데이터가, N개의 화소의 좌표점과, N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점의 차분치인 경우를 고려한다. 차분을 취하기 위한 예측치가 N개의 화소의 좌표점의 경우, 변환파라미터생성부(806)에 의해, N개의 화소의 좌표점과 N개의 변환완료좌표점의 차분치를 가산하고, N개의 화소의 좌표점과 가산한 N개의 변환완료좌표점으로부터 변환파라미터를 생성한다. 또한, 차분을 취하기 위한 예측치가 앞의 프레임의 N개의 화소의 변환완료좌표점의 경우, 변환파라미터생성부(806)에 의해, 앞의 프레임의 N개의 변환완료좌표점과 N개의 변환완료좌표점의 차분치를 가산하고, N개의 화소의 좌표점과 가산한 N개의 변환완료좌표점으로부터 변환파라미터를 생성한다. 가산한 N개의 변환완료좌표점을 다음 프레임의 예측치로서, 격납해둔다.

다음에, 좌표데이터가, 소정의 N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점인 경우를 고려한다. 소정의 N개의 좌표점은 미리 정해진 좌표점이며, 전송할 필요가 없다. 변환파라미터생성부(806)에 의해, 소정의 N개의 화소의 좌표점과 N개의 변환완료좌표점으로부터 변환파라미터를 생성한다.

다음에, 좌표점이, 소정의 N개의 좌표점을 소정의 선형다항식에 의해서 변환된 N개의 변환완료좌표점의 차분치인 경우를 고려한다. 차분을 취하기 위한 예측치가 N개의 화소의 좌표점의 경우, 변환파라미터생성부(806)에 의해, N개의 화소의 좌표점과, N개의 변환완료좌표점의 차분치를 가산하고, N개의 화소의 좌표점과 가산한 N개의 변환완료좌표점으로부터 변환파라미터를 생성한다. 또한, 차분을 취하기 위한 예측치가 앞의 프레임의 N개의 화소의 변환완료좌표점의 경우, 변환파라미터생성부(806)에 의해, 앞의 프레임의 N개의 변환완료좌표점과 N개의 변환완료좌표점의 차분치를 가산하고, N개의 화소의 좌표점과 가산한 N개의 변환완료좌표점으로부터 변환파라미터를 생성한다. 가산된 N개의 변환완료좌표점을 다음의 프레임의 예측치로서, 격납해둔다.

도 9는 본 발명의 실시예 3의 부호화장치의 블록도이다. 입력단자(901)와, 변환파라미터추정부(903)와, 예측화상생성부(908)와, 제 1가산부(904)와, 차분화상압축부(905)와, 차분화상신장부(910)와, 제 2가산부(911)와, 프레임메모리(909)와,전송부(906)로 구성된다. 입력단자(901)에 디지털화상을 입력한다. 변환파라미터추정부(903)에 의해, 프레임메모리에 격납되어 있는 화상과 디지털화상으로부터 변환파라미터를 추정한다. 아핀파라미터의 추정방법에 대해서 상기한 바와같다.

또한, 프레임에 격납되어 있는 화상의 대신에, 그 원화상을 사용해도 된다. 변환파라미터추정부(903)에서 추정된 변환파라미터는 라인(9002)을 경유해서 예측화상생성부(908)에 전송한다. 또, 변환파라미터를 사용해서 변환된 좌표데이터를 라인(9009)을 경유하여 전송부(906)에 전송한다. 좌표데이터에 대해서 복수의 형태를 가지는 것이 가능하며, 상기한바와 같다. 예측화상생성부(908)에서는, 추정된 변환파라미터와 프레임메모리(909)에 격납된 화상을 입력하고, 추정된 변환파라미터에 의거해서 상기한 바와 같이 예측화상을 생성한다. 다음에, 제 1가산기(904)에 의해, 디지털화상과 예측화상과의 차분을 구하고, 차분화상압축부(905)에 의해 압축차분데이터로 압축하고, 전송부(906)에 전송한다. 차분화상압축부(905)에서는, 차분화상을 DCT하고 양자화한다. 동시에, 차분화상신장부(910)에 의해, 압축차분데이터를 신장차분데이터로 신장한다. 차분화상신장부(910)에서는, 역양자화와 역DCT가 실시된다. 신장차분데이터를 제 2가산부에 의해, 예측화상과 가산하여 프레임메모리에 격납한다. 전송부(906)에서는, 압축차분데이터, 양자화폭, 좌표데이터를 부호화하고, 다중화한 후에 전송·축적한다.

(실시예 4)

도 10은 본 발명에 의한 실시예 4의 디지털화상복호화장치이다. 입력단자(1001)와, 가변장복호화부(1002)와, 차분화상신장부(1003)와, 가산부(1004)와, 변환파라미터생성부(1006)와, 예측화상생성부(1008)와 프레임메모리(1007)로 구성한다. 기본적인 동작은 도 8과 동일하다. 다른 부분에 대해서만 설명한다. 변환파라미터생성부(1006)는 복수의 종류의 변환파라미터를 생성할 수 있는 구성으로 되어 있다. 파라미터생성부(1006a)는 수식 ②에 표시한 파라미터(a, e, d, f), 파라미터생성부(1006b)는 수식 ③에 표시한 파라미터(a, b, e, c, d, f), 파라미터생성부(1006c)는 수식 ④에 표시한 파라미터(g, p, r, a, b, e, h, q, s, c, d, f)를 생성하는 수단으로 구성한다. 수식 ②는 2개의 좌표점, 수식 ③은 6개의 좌표점, 수식 ④는 12개의 좌표점이 있으면 파라미터를 생성할 수 있다. 이 좌표점의 개수는 라인(10010)을 경유하여, 스위치(1009)와 (1010)을 제어한다. 좌표점의 개수가 2일 때 스위치(1009)와 (1010)을 각각 단자(1011a)와 (1012a)에 접속하고, 좌표데이터를 라인(10003)을 경유하여 파라미터생성부(1006a)에 전송하고, 연립방정식을 풀므로서 수식 ②의 파라미터를 생성하여 단자(1012a)로부터 출력한다. 좌표점의 개수가 3, 6일때는 각각 파라미터생성부(1006b)와(1006c)에 접속한다. 이와 같이해서, 좌표점의 개수정보로부터, 전송하는 좌표데이터의 종류를 알게 되어, 절환해서 변환파라미터를 생성하는 것이 가능하다. 라인(10003)을 경유하는 좌표데이터의 형태는 상기한 바와 같다. 또한, 수식 ②에서부터 수식 ④의 우변의 (x,y)가 이미 알고 있는 경우, 전송할 필요가 없기 때문에, 라인(10010)을 경유하는 좌표점의 개수는, 수식 ②에 대해 1, 수식 ③에 대해, 3, 수식 ④에 대해 6으로 대응시켜도 가능하다. 또, 변환파라미터생성부는 3개로 한정되는 것이 아니고, 그 이상이 있어도 된다.

(실시예 5)

도 11과 도 12는 본 발명에 의한 실시예 5의 디지털화상복호화장치와 부호화장치의 블록도를 표시한다. 기본적으로는 도 8과 도 9와 동일하다. 다른 부분은, 변환파라미터생성부(806)의 대신에, 변환파라미터신장부(1106)가 되고, 또, 변환파라미터추정부(903)와 (1203)의 동작이 다소 상이하다. 이에 대해서 설명한다. 도 12의 변환파라미터추정부(1203)에서는 변환파라미터를 추정한 후에, 그것을 화상사이즈에 의해 정배하고, 양자화한 다음에 라인(12009)경유해서 전송부(1206)에 전송한다. 변환파라미터는 실수치이며, 정배한 다음에 더 정수화할 필요가 있다. 아핀파라미터의 경우, (a, b, c, d)는 고정밀도로 표현할 필요가 있다. a와 c는 수직좌표의 파라미터에 의해, 화상의 수직의 화소수 V를 곱셈하고, 또 b와 d수평좌표의 파라미터에 의해, 화상의 수평의 화소수 H를 곱셈한다.또, 수식 ④와 같이 제곱의 항이 있는 경우, 정배하는 화상사이즈를 동일한 제곱(H2, V2, HV)으로 해도 가능하다. 도 11의 변환파라미터신장부(1106)에서는, 정배된 파라미터를 나눗셈하여, 파라미터를 재생한다.

또, 도 12의 변환파라미터추정부(1203)에서는 변환파라미터를 추정한 후에, 변환파라미터의 최대치를 구한다. 바람직하게는, 절대치의 최대치가 좋다. 그 최대치의 지수부(바람직하게는, 2의 누승(累乘)의 지수부)로, 변환파라미터를 정규화한다. 즉 각 변환파라미터에 지수부의 값을 곱셈한다. 이와 같이 정규화된 변환파라미터와 지수부를 전송부(1206)에 전송하여, 고정길이부호로 변환해서 전송한다. 도 11의 변환파라미터신장부(1106)에서는, 정규화된 변환파라미터를 지수부에서 나눗셈하여 변환파라미터를 신장한다. 아핀파라미터(a, b, c, d)의 경우, (a, b, c, d)의 중에서 최대치를 구한다. 평행이동의 파라미터(e, f)를 포함해도 되나, 보통치의 크기가 자리수가 다르기 때문에, 포함할 수 없다. 수식 ④의 파라미터에 대해서도 마찬가지이고, 제곱의 항과 곱셈(1乘)의 항의 파라미터를 나누고 정규화하는 것이 바람직하나, 이에 한정되는 것이 아니다.

상기한 모든 실시예에서는, 차분화상이 제로아닌 경우에 대해서 설명하였으나, 차분화상이 완전제로의 경우도 동일하다. 이 경우, 예측화상이 그대로 출력되게 된다. 또, 화상전체의 변환에 대해서 설명하였으나, 2차원 혹은 3차원의 화상을 복수의 소영역으로 분할하고, 각 소영역에 아핀변환을 위시한 변환을 실시하는 경우도 동일하게 적용가능하다.

이상과 같이 본 발명에 의하면, 크기가 다른 화상을 동일한 좌표계로 변환한 다음에 움직임검출하여 예측화상을 생성함으로써 움직임검출의 정밀도를 향상시키는 동시에 움직임벡터의 부호량을 삭감하는 효과를 얻을 수 있다. 또, 복호화쪽에서 좌표데이터로부터 변환파라미터를 구함으로써, 정밀도 높은 변환파라미터가 얻어지고, 고정밀도의 예측화상생성이 가능하게 된다. 또, 변환파라미터를 정규화하거나, 화상사이즈를 정배함으로써, 화상에 따른 정밀도에 의해 파라미터를 전송할 수 있다. 또, 좌표데이터의 개수에 의해서 변환파라미터의 생성을 절환함으로써, 변환파라미터의 생성이 최적한 처리가 가능하게 되는 동시에, 좌표데이터를 효율좋게 전송할 수 있다.

Claims (4)

1. 미리설정된 공통공간좌표에서 화상위치가 지정된 제 1좌표상의 부호화대상화상과 화상크기 또는 화상위치가 상이하고 또한 상기 공통공간좌표에서 화상위치가 지정된 참조화상을 참조하여 부호화된 압축화상데이터를 복호화하는 예측복호화방법에 있어서,

   (a) 상기 압축화상데이터로부터, 상기 공통공간화상의 원점과 상기 제 1좌표의 원점인 복호화대상화상의 좌상위치와의 위치관계를 표시하는 오프셋신호와, 상기 복호화대상화상의 압축화상신호를 추출하고,

   (b) 상기 오프셋신호를 참조하여 상기 참조화상으로부터 예측화상을 취득하고,

   (c) 상기 제 1좌표상에서 상기 압축화상신호를 역양자화 및 역직교변환에 의해 복호화하여 신장차분화상을 생성하고,

   (d) 상기 오프셋신호를 참조하여, 상기 제 1좌표상의 상기 신장차분화상과, 상기 예측화상과를 가산하여, 상기 공통공간좌표의 재생화상을 복원하는 것을 특징으로 하는 예측복호화방법.
2. 제 1 항에 있어서,

   상기 압축화상데이터로부터 움직임벡터데이터를 추출하고, 추출된 상기 움직임벡터데이터를 복호화하여 움직임벡터를 생성하고, 상기 움직임벡터에 의거하여 상기 참조화상으로부터 상기 예측화상을 취득하는 것을 특징으로 하는 예측복호화 방법.
3. 제 2 항에 있어서,

   상기 부호화대상화상은 프레임마다 상이한 화상위치가 지정된 것을 특징으로 하는 예측복호화방법.
4. 미리설정된 공통공간좌표에서 화상위치가 지정된 제 1좌표상의 대상화상과 화상크기 또는 화상위치가 상이하고 또한 상기 공통공간좌표에서 화상위치가 지정된 참조화상을 참조하여 상기 대상화상을 부호화하는 예측부호화방법에 있어서,

   (a) 상기 참조화상으로부터 예측화상을 지정하는 움직임벡터를 상기 공통공간좌표에 의거하여 생성하고,

   (b) 상기 참조화상으로부터 상기 움직임벡터에 대응하는 예측화상을 취득하고,

   (c) 상기 대상화상과 상기 예측화상으로부터 차분화상을 생성하고,

   (d) 상기 제 1좌표상에서 상기 차분화상을 직교변환 및 양자화에 의해 부호화하여 압축화상신호를 생성하고,

   (e) 상기 제 1좌표상에서 상기 압축화상신호를 역양자화 및 역직교변환에 의해 복호화하여 신장차분화상을 생성하고,

   (f) 상기 신장차분화상과 상기 취득한 예측화상과를 가산하여 제 1좌표의 재생화상을 복원하여 참조화상으로서 보존하고,

   (g) 상기 공통공간좌표의 원점과 상기 제 1좌표의 원점인 상기 대상화상의 좌상위치와의 위치관계를 표시하는 오프셋신호와 상기 생성된 움직임벡터를 부호화하고, 상기 압축화상신호와 함께 전송하는 것을 특징으로 하는 예측부호화장치.