KR100396928B1

KR100396928B1 - 동화상부호화방법및동화상부호화장치

Info

Publication number: KR100396928B1
Application number: KR1019950028879A
Authority: KR
Inventors: 스즈키데루히로; 다하라가쯔미; 탁이엔동
Original assignee: 소니 가부시끼 가이샤
Priority date: 1994-08-31
Filing date: 1995-08-31
Publication date: 2003-11-13
Also published as: US5642165A; EP0700213B1; DE69527176T2; KR960009752A; EP0700213A2; DE69527176D1; JPH0879766A; EP0700213A3; JP3911035B2

Abstract

〈목 적〉 본 발명은 동화상 부호화 방법 및 동화상 부호화 장치에 있어서, 동화상의 성질이나 부호화시의 조건에 의해 적응적으로 필터를 전환하고 부호화의 효율을 향상한다.

〈구 성〉 동화상을 부호화할때에 복수회 부호화 처리를 행하여 부호화시의 부호화 파라미터를 최적화하고, 동화상 신호의 성질을 측정하고, 최종회의 부호화 처리에 대해서만, 부호화 파라미터나 측정한 동화상 신호의 성질을 이용해 필터 특성을 최적화하여 필터 처리를 행하고, 실제로 부호화 신호(비트 스트림)를 생성하고 출력하도록 한다.

Description

동화상 부호화 방법 및 동화상 부호화 장치{Video signal encoder}

〈산업상의 이용분야〉

본 발명은 동화상 부호화 방법 및 동화상 부호화 장치에 관하며, 예컨대 동화상 신호를 광 디스크나 자기 테이프 등의 기록 매체에 기록하여 재생해서 표시하거나 텔레비전 회의 시스템, 텔레비전 전화 시스템, 방송용 기기 등과 같이 동화상 신호를 전송로를 거쳐 송신측으로부터 수신측으로 전송하고 수신측에 있어서 이것을 수신하고 표시하는 경우에 사용하는데 적합하다.

〈종래의 기술〉

예컨대, 텔레비전 회의 시스템, 텔레비전 전화 시스템 등과 같이 동화상 신호를 원격지에 전송하는 시스템에 있어선, 전송로를 효율있게 이용하기 위해서, 영상 신호의 라인 상관이나 프레임간 상관을 이용해서, 화상 신호를 압축 부호화하게 되어 있다. 제 16 도에 동화상 신호를 부호화해서 전송하고 이것을 복호화하는 동화상 부호화/복호화 장치의 구성을 도시한다. 부호화 장치(1)는 입력된 영상 신호 VD 를 부호화하고 전송로로서의 기록 매체(3)에 전송한다. 그리고 복호화 장치(2)는 기록 매체(3)에 기록된 신호를 재생하고 이것을 복호해서 출력한다.

부호화 장치(1)에선 입력 영상 신호 VD 가 전처리 회로(11)에 입력되고 여기에서 휘도 신호와 색신호(이 경우, 색차 신호)로 분리되고, 각각 아날로그 디지털(A/D) 변환기(12, 13)에 의해 아날로그 디지털 변환된다. A/D 변환기(12, 13)에 의해 아날로그 디지털 변환되어서 디지털 신호로 된 영상 신호는, 프리 필터(19)에 입력되어 필터 처리된 후에 프레임 메모리(14)에 공급되어 기억된다. 프레임 메모리(14)는 휘도 신호를 휘도 신호 프레임 메모리(15)에, 또 색차 신호를 색차 신호 프레임 메모리(16)에, 각각 기억시킨다.

프리 필터(prefilter)(19)는 부호화 효율을 향상시키고, 화질을 개선하는 처리를 행한다. 이것은 예컨대 잡음 제거의 필터이며 또, 예컨대 대역을 제한하기 위한 필터이다.

이 프리 필터(19)에는 2 차원 로우 패스 필터를 쓸 수 있다. 제 23 도 (B)에 이 프리 필터(19)의 입력이 되는 3 ×3 화소 블록을 도시한다. 이 경우, 어느 대상이 되는 화소 e 에 대해서 그 주위의 3 ×3 화소 블록을 써서 화소 e 에 관한 필터의 출력값을 얻는다. 제 23 도 (A)에 3 ×3 화소 블록의 화소 a 에서 화소 i 의 각각에 대해서 부여해야 할 필터 계수를 도시한다. 실제로는 프리 필터(19)에선 다음식

[수학식 1]

의 연산이 행해지며 이 연산의 출력을 화소 e 에 대한 필터의 출력값으로 한다. 제 22 도에 이 같은 연산을 행하는 2 차원 로우 패스 필터의 구성을 도시한다. 제 22 도에 있어서 DL1 과 DL2 는 각각 1 라인 지연이며 D1∼D6 은 각각 1 화소 지연이고, AD1∼AD4 는 각각 가산기, BF1∼BF4 는 각각 입력값에 1/2 을 곱하는 승산기이다. 실제상 출력 OUT(2)에서 필터 처리후의 출력값이 출력되고, 출력 OUT(1)에서 필터 처리되지 않는 원화소 값이 소정의 지연후 출력된다. 이 필터에선 입력 화상 신호에 의하지 않으며 또, 부호화기의 상태에 의하지 않고 항상 고른 필터 처리가 행해진다.

포맷 변환 회로(17)는 프레임 메모리(14)에 기억된 화상 신호를, 부호화기(인코더)(18)의 입력 포맷으로 변환한다. 소정의 포맷으로 변환된 데이터는, 포맷 변환 회로(17)에서 인코더(18)에 공급되며 여기에서 인코드(부호화)된다. 이 부호화 알고리즘은 임의인데 그 1 예에 대해선 상세히 제 18 도를 참조해서 후술한다. 인코더(18)에 의해 인코드된 신호는 비트 스트림으로서 전송로에 출력되며, 예컨대 기록 매체(3)에 기록된다.

기록 매체(3)로부터 재생된 데이터는 복호화 장치(2)의 디코더(31)에 공급되어 디코드된다. 디코더(31)의 디코드(복호화) 알고리즘은 임의로 좋으나, 부호화 알고리즘과 쌍으로 되어 있어야 한다. 또, 그 1 예에 대해선 상세히 제 21 도를 참조해서 후술한다. 디코더(31)에 의해 디코드된 데이터는 포맷 변환 회로(32)에 입력되며 출력 포맷으로 변환된다.

그리고, 프레임 포맷의 휘도 신호는 프레임 메모리(33)의 휘도 신호 프레임 메모리(34)에 공급되어 기억되고 색차 산호는 색차 신호 프레임 메모리(35)에 공급되어서 기억된다. 휘도 신호 프레임 메모리(34)와 색차 신호 프레임 메모리(35)로부터 판독된 휘도 신호와 색차 신호는 포스트 필터(postfilter)(39)에 공급되어 필터 처리된 후에, 디지털 아날로그(D/A) 변환기(36, 37)에 의해 각각 디지털 아날로그 변환되고 후처리 회로(38)에 공급되어 합성된다. 그리고 출력 영상 신호로서 도시 생략한 예컨대 CRT 등의 디스플레이에 출력되어 표시된다.

포스트 필터(39)는 화질을 개선하기 위한 필터 처리를 행한다. 화상을 부호화하는 것에 의해서 발생한 열화를 완화하기 위해서 쓰인다. 예컨대 블록 왜곡이나 급격한 에지 근처에서 발생한 잡음, 또는 양자화 잡음을 제거하기 위한 필터이다. 포스트 필터에는 여러 가지 종류가 있으나, 예컨대 제 22 도에 도시되듯이 프리 필터(19)에 쓰인 것과 마찬가지의 2 차원 로우 패스 필터를 쓸 수 있다.

다음에 동화상의 고능률 부호화에 대해서 설명한다. 종래 비디오 신호등의 동화상 데이터는 정보량이 매우 많기 때문에, 이것을 장시간 기록 재생하려면 데이터 전송 속도가 매우 높은 기록 매체가 필요했었다. 따라서 자기 테이프나 광 디스크는 대형인 것이 필요로 되었다. 또, 동화상 데이터를 전송로를 통해 통신하는 경우나 방송에 쓰는 경우에도 데이터량이 과다하므로, 그대로는 기존의 전송로를 써서 통신할 수 없다는 문제가 있었다.

그래서 보다 소형의 기록 매체에 비디오 신호를 장시간 기록하려는 경우, 또, 통신이나 방송에 쓰이는 경우엔 비디오 신호를 고능률 부호화해서 기록하는 동시에 그 판독 신호를 능률있게 복호화하는 수단이 불가결이다. 이 같은 요구에 응하도록 비디오 신호의 상관을 이용한 고능률 부호화 방식이 제안되고 있으며 그 하나로 MPEG(Moving Picture Experts Group) 방식이 있다. 이것은 ISO - IEC/JTC1/SC2/WG11 에서 논의되어 표준안으로서 제안되고 있으며, 움직임 보상 예측 부호화와 이산 코사인 변환(DCT(Discrete Cosine Transform)) 부호화를 조합한 하이브리드 방식이다.

움직임 보상 예측 부호화는 화상 신호의 시간축 방향의 상관을 이용한 방법이며 이미 복호 재생되어 알고 있는 신호에서 현재 입력된 화상을 예측하고, 그때의 예측 오차만을 전송함으로써, 부호화에 필요한 정보량을 압축하는 방법이다. 또, DCT 부호화는 화상 신호가 갖는 프레임내 2 차원 상관성을 이용하고, 어느 특정의 주파수 성분에 신호 전력을 집중시키고, 이 집중 분포된 계수만을 부호화함으로써 정보량의 압축을 가능하게 한다. 예컨대, 그림이 평탄하고 화상 신호의 자기 상관성이 높은 부분에선 DCT 계수는 저주파수 성분으로 집중 분포한다. 따라서, 이 경우는 저역으로 집중 분포된 계수만을 부호화함으로써 정보량의 압축이 가능하게 된다. 여기에선 이하, 부호화기로서 MPEG2 방식의 경우의 예를 상술하는데 부호화 방식은 MPEG2 방식에 그치지 않으며, 임의의 부호화 방식에 대해서 마찬가지로 적용하는 것이 가능하다.

다음에 MPEG2 방식에 대해서 상세히 설명한다. 라인 상관을 이용하면 화상 신호를 예컨대 DCT 처리 등으로 압축할 수 있다. 또, 프레임간 상관을 이용하면 화상 신호를 더욱 압축해서 부호화하는 것이 가능하게 된다. 예컨대, 제 13 도에 도시하듯이 시각 t1, t2, t3 에 있어서 프레임 화상 PC1, PC2, PC3 이 각각 발생하고 있을 때 프레임 화상 PC1 및 PC2 의 화상 신호의 차를 연산하고 PC12 를 생성하고또 프레임 화상 PC2 및 PC3 의 차를 연산하고 PC23 를 생성한다. 통상 시간적으로 인접하는 프레임의 화상은 그렇게 큰 변화를 갖고 있지 않기 때문에 양자의 차를 연산하면 차분 신호는 작은 값의 것이 된다. 그래서 이 차분 신호를 부호화 하면 부호량을 압축할 수 있다.

그러나, 차분 신호만을 전송해선 원 화상을 복원할 수 없다. 그래서 각 프레임의 화상을 I 픽처, P 픽처 또는 B 픽처인 3 종류의 픽처중의 어느 한 픽처로하고 화상 신호를 압축 부호화한다. 즉, 예컨대 제 14 도에 도시하듯이 프레임 F1∼F17 까지의 17 프레임의 화상 신호를 그룹 오프 픽처(GOP)로서 처리의 1 단위로 한다. 그래서 그 선두의 프레임 F1 의 화상 신호는 I 픽처로 하여 부호화하고, 2 번째 프레임 F2 는 B 픽처로 하고, 또 3 번째의 프레임 F3 은 P 픽처로서 각각 처리한다. 이하 4 번째 이후의 프레임 F4∼F17 은 B 픽처 또는 P 픽처로서 교환 처리한다.

I 픽처의 화상 신호는 그 1 프레임분의 화상 신호를 그대로 전송한다. 이것에 대해서 P 픽처의 화상 신호는 기본적으로 제 14 도 (A)에 도시하듯이 그것보다 시간적으로 선행하는 I 픽처 또는 P 픽처의 화상 신호에서의 차분을 전송한다. 또한, B 픽처의 화상 신호는 기본적으로 제 14 도 (B)에 도시하듯이 시간적으로 선행하는 프레임 또는 후행하는 프레임의 양쪽의 평균값에서의 차분을 구하고 그 차분을 부호화한다.

제 15 도는 이 같이 해서 동화상 신호를 부호화하는 방법의 원리를 도시한다. 최초의 프레임 F1 은 I 픽처로서 처리되기 때문에, 그대로 전송 데이터 F1X로서 전송로에 전송된다(화상내 부호화). 이것에 대해서 제 2 의 프레임 F2 은 B 픽처로서 처리되기 때문에, 시간적으로 선행하는 프레임 F1 과 시간적으로 후행하는 프레임 F3 의 평균값과의 차분이 연산되고, 그 차분이 전송 데이터 F2X 로서 전송된다.

다만, 이 B 픽처로서의 처리는 더욱 상세히 설명하면 4 종류 존재한다. 제 1 의 처리는 원 프레임 F2 의 데이터를 마찬가지로 전송 데이터 F2X 로서 전송하는 것이며(SP1)(인트라 부호화), I 픽처에서의 경우와 마찬가지의 처리로 된다. 제 2 의 처리는 시간적으로 후의 프레임 F3 에서의 차분을 연산하고 그 차분(SP2)을 전송하는 것이다(후방 예측 부호화). 제 3 의 처리는 시간적으로 선행하는 프레임 F1 과의 차분(SP3)을 전송하는 것이다(전방 예측 부호화). 또한, 제 4 의 처리는 시간적으로 선행하는 프레임 F1 과 후행하는 프레임 F3 의 평균값과의 차분(SP4)을 생성하고, 이것을 전송 데이터 F2X로서 전송하는 것이다(양방향 예측 부호화).

이 4 개의 방법 중, 전송 데이터가 가장 적어지는 방법이 매크로 블록 단위로 적응적으로 채용된다. 또한, 차분 데이터를 전송할 때, 차분을 연산하는 대상이 되는 프레임의 화상(예측 화상)과 시간의 움직임 벡터 X1(프레임 F1 과 F2 간의 움직임 벡터)(전방 예측의 경우), 또는 X2(프레임 F3 과 F2 간의 움직임 벡터)(후방 예측의 경우), 또는 X1 과 X2 의 양쪽(양방향 예측의 경우)이 차분 데이터와 더불어 전송된다.

또, P 픽처의 프레임 F3 은 시간적으로 선행하는 프레임 F1 을 예측 화상으로서 이 프레임과의 차분 신호(SP3)와 움직임 벡터 X3 가 연산되고, 이것이 전송데이터 F3X 로서 전송된다(전방 예측 부호화). 또는 원프레임 F3 의 데이터가 그대로전송 데이터 F3X 로서 전송된다(SP1)(인트라 부호화). 어느 방법에 의해 전송되느냐는 B 픽처에 있어서의 경우와 마찬가지로 전송 데이터가 보다 적어지는 쪽이 매크로 블록 단위로 적응적으로 선택된다.

다음에 제 18 도를 참조로 해서 인코더(18)의 구성에 대해서 설명한다. 부호화되어야 할 화상 데이터 BD 는 매크로 블록 단위로 움직임 벡터 검출 회로(MV-Det)(50)에 입력된다. 움직임 벡터 검출 회로(50)는 미리 설정되어 있는 소정의 시퀀스에 따라서 각 프레임의 화상 데이터를 I 픽처, P 픽처, 또는 B 픽처로서 처리한다. 시퀀스로 입력되는 각 프레임의 화상을 I, P 또는 B 중의 어느 픽처로서 처리하느냐는 미리 정해져 있다(예컨대, 제 14 도에 도시하듯이 프레임 F1∼F17에 의해 구성되는 그룹 오프 픽처가 1, B, P, B, P, .... B, P 로서 처리된다).

I 픽처로서 처리되는 프레임(예컨대 프레임 F1)의 화상 데이터는 움직임 벡터 검출 회로(50)에서 프레임 메모리(51)의 전방 원화상부(51a)에 전송해서 기억되고, B 픽처로서 처리되는 프레임(예컨대 프레임 F2)의 화상 데이터는 원화상부(51b)에 전송해서 기억되고, P 픽처로서 처리되는 프레임(예컨대 프레임 F3)의 화상 데이터는 후방 원화상부(51c)에 전송해서 기억된다.

또, 다음의 타이밍에 있어서 또한 B 픽처(프레임 F4) 또는 P 픽처(프레임 F5)로서 처리해야 할 프레임의 화상이 입력되었을 때, 그때까지 후방 원화상부(51c)에 기억되었던 최초의 P 픽처(프레임 F3)의 화상 데이터가 전방 원화상부(51a)에 전송되고, 다음의 B 픽처(프레임 F4)의 화상 데이터가 원화상부(51b)에 기억(중복기재)되고, 다음의 P 픽처(프레임 F5)의 화상 데이터가 후방원화상부(51c)에 기억(중복기재)된다. 이 같은 동작이 순차 반복된다.

프레임 메모리(51)에 기억된 각 픽처의 신호는 그곳에서 판독되고 예측 모드 전환 회로(Mode-SW)(52)에 있어서 프레임 예측 모드 처리 또는 필드 예측 모드 처리가 행해진다. 또한, 예측 판정 회로(54)의 제어하에 연산부(53)에 있어서 화상내 예측, 전방 예측, 후방 예측, 또는 양방향 예측의 연산이 행해진다. 이것들의 처리 중, 어느 처리를 행하느냐는 예측 오차 신호(처리의 대상으로 되어 있는 참조 화상과 이것에 대한 예측 화상과의 차분)에 대응해서 결정된다. 이 때문에 움직임 벡터 검출 회로(50)는 이 판정에 쓰이는 예측 오차 신호의 절대값 합(제곱합이어도 좋다)을 생성한다.

여기에서 예측 모드 전환 회로(52)에 있어서의 프레임 예측 모드와 필드 예측 모드에 대해서 설명한다. 프레임 예측 모드가 설정된 경우, 예측 모드 전환 회로(52)는 움직임 벡터 검출 회로(50)에서 공급되는 4개의 휘도 블록 Y[1]∼Y[4] 을 그대로 후단의 연산부(53)에 출력한다. 즉, 이 경우, 제 19 도 (A)에 도시하듯이 각 휘도 블록에 기수 필드의 라인의 데이터와 우수 필드의 라인의 데이터가 혼재한 상태로 되어 있다. 이 프레임 예측 모드에 있어선, 4개의 휘도 블록(매크로 블록)을 단위로 하여 예측이 행해지며, 4개의 휘도 블록에 대해서 1 개의 움직임 벡터가 대응된다.

이것에 대해서 예측 모드 전환 회로(52)는 필드 예측 모드에 있어선 제 19 도 (A)에 도시하는 구성으로 움직임 백터 검출 회로(50)에서 입력되는 신호를 제 19 도 (B)에 도시하듯이 4 개의 휘도 블록 중 휘도 블록 Y[1] 과 Y[2]를, 예컨대기수 필드의 라인의 도트에 의해서만 구성시키고, 다른 2 개의 휘도 블록 Y[3] 과 Y[4]를 우수 필드의 라인의 데이터에 의해 구성시키고, 연산부(53)에 출력한다. 이 경우, 2 개의 휘도 블록 Y[1] 과 Y[2]에 대해서, 1 개의 움직임 벡터가 대응되며, 다른 2 개의 휘도 블록 Y[3]과 Y[4]에 대해서 다른 1 개의 움직임 벡터가 대응된다.

움직임 벡터 검출 회로(50)는 프레임 예측 모드에서의 예측 오차의 절대값 합과 필드 예측 모드에서의 예측 오차의 절대값 합을 예측 모드 전환 회로(52)에 출력한다. 예측 모드 전환 회로(52)는 프레임 예측 모드와 필드 예측 모드에서의 예측 오차의 절대값 합을 비교하고 그 값이 작은 예측 모드에 대응하는 처리를 실시하고 데이터를 연산부(53)에 출력한다. 다만 이 처리는 실제로는 움직임 벡터 검출 회로(50)에서 행해진다. 그리고 움직임 렉터 검출 회로(50)는 결정된 모드에 대응하는 구성의 신호를 예측 모드 전환 회로(52)에 출력하고, 예측 모드 전환 회로(52)는 그 신호를 그대로 후단의 연산부(53)에 출력한다.

또한, 색차 신호는 프레임 예측 모드의 경우, 제 19도 (A)에 도시하듯이 기수 필드의 라인의 데이터와 우수 필드의 라인의 데이터가 혼재하는 상태로 연산부(53)에 공급된다. 또, 필드 예측 모드의 경우, 제 19 도 (B)에 도시하듯이 각 색차 블록 Cb, Cr 의 상반분(4 라인)이 휘도 블록 Y[1], Y[2]에 대응하는 기수 필드의 색차 신호로 되며, 하반분(4 라인)이 휘도 블록 Y[3], Y[4] 에 대응하는 우수 필드의 색차 신호로 된다.

또, 움직임 벡터 검출 회로(50)는 다음 같이해서, 예측 판정 회로(54)에 있어서 화상내 예측, 전방 예측, 후방 예측 또는 양방향 예측 중의 어느 예측을 행하느냐를 결정하기 위한 예측 오차의 절대값 합을 생성한다. 즉, 화상내 예측의 예측 오차의 절대값 합으로서 참조 화상의 매크로 블록의 신호 Aij 의 합 ∑ Aij 의 절대값 |∑Aij| 과 매크로 블록의 신호 Aij 의 절대값 |Aij| 의 합 ∑|Aij| 의 차를 구한다. 또, 전방 예측의 예측 오차의 절대값 합으로서 참조 화상의 매크로 블록의 신호 Aij 와 예측 화상의 매크로 블록의 신호 Bij 의 차 Aij-Bij 의 절대값 |Aij-Bij| 의 합 ∑|Aij-Bij|을 구한다.

또, 후방 예측과 양방향 예측의 예측 오차의 절대값합도 전방 예측에 있어서의 경우와 마찬가지로(그 예측 화상을 전방 예측에 있어서의 경우와 다른 예측 화상으로 변경하고) 구한다. 이것들의 절대값합은 예측 판정 회로(54)에 공급된다. 예측 판정 회로(54)는 전방 예측, 후방 예측 및 양방향 예측의 예측 오차의 절대값 합중 가장 작은 것을 인터 예측의 예측 오차의 절대값합으로서 선택한다. 또한, 이 인터 예측의 예측 오차의 절대값합과 화상내 예측의 예측 오차의 절대값 합을 비교하고 그 작은 쪽을 선택하고, 이 선택한 절대값 합에 대응하는 모드를 예측 모드(P-mode)로서 선택한다. 즉, 화상내 예측의 예측 오차의 절대값 합쪽이 작으면 전방 예측, 후방 예측 또는 양방향 예측 모드 중, 대응하는 절대값 합이 가장 작았던 모드가 설정된다.

이같이 움직임 벡터 검출 회로(50)는 참조 화상의 매크로 블록의 신호를 프레임 또는 필드 예측 모드 중, 예측 모드 전환 회로(52)에 의해서 선택된 모드에 대응하는 구성으로 예측 모드 전환 회로(52)를 거쳐서 연산부(53)에 공급하는 동시에, 4개의 예측 모드 중, 예측 판정 회로(54)에 의해 선택된 예측 모드(P-mode)에 대응하는 예측 화상과 참조 화상간의 움직임 벡터를 검출하고, 가변 길이 부호화 회로(VLC)(58)와 움직임 보상 회로(M-comp)(64)에 출력한다. 상술과 같이, 이 움직임 벡터로선 대응하는 예측 오차의 절대값 합이 최소로 되는 것이 선택된다.

예측 판정 회로(54)는 움직임 벡터 검출 회로(50)가 전방 원화상부(51a)에서 I 픽처의 화상 데이터를 판독하고 있을 때, 예측 모드로서 프레임(화상)내 예측 모드(움직임 보상을 행하지 않는 모드)를 설정하고 연산부(53)의 스위치(53d)를 접점 a 측으로 전환한다. 이것으로 I 픽처의 화상 데이터가 DCT 모드 전환 회로(DCT CTL)(55)에 입력된다 이 DCT 모드 전환 회로(55)는 제 20 도 (A)또는 (B)에 도시하듯이 4 개의 휘도 블록의 데이터를 기수 필드의 라인과 우수 필드의 라인이 혼재하는 상태(프레임 DCT 모드), 또는 분리된 상태(필드 DCT 모드)중의 어느 상태로 하고 DCT회로(56)에 출력한다.

즉, DCT 모드 전환 회로(55)는 기수 필드와 우수 필드의 데이터를 혼재해서 DCT 처리한 경우의 부호화 효율과 분리한 상태에서 DCT 처리한 경우의 부호화 효율을 비교하고 부호화 효율이 양호한 모드를 선택한다. 예컨대, 입력된 신호를 제 20 도 (A)에 도시하듯이 기수 필드와 우수 필드의 라인이 혼재하는 구성으로 하고 상하에 인접하는 기수 필드의 라인의 신호와 우수 필드의 라인의 신호의 차를 연산하고 다시 그 절대값의 합(또는 제곱합)을 구한다.

또, 입력된 신호를 제 20 도 (B)에 도시하듯이 기수 필드와 우수 필드의 라인이 분리된 구성으로 하고 상하에 인접하는 기수 필드의 라인끼리의 신호의 차와우수 필드의 라인끼리의 신호의 차를 연산하고 각각의 절대값의 합(또는 제곱합)을 구한다. 또한, 양자(절대값 합)를 비교하고 작은값에 대응하는 DCT 모드를 설정한다. 즉, 전자쪽이 작으면 프레임 DCT 모드를 설정하고 후자쪽이 작으면 필드 DCT 모드를 설정한다. 그리고 선택한 DCT 모드에 대응하는 구성의 데이터를 DCT 회로(56)에 출력하는 동시에 선택한 DCT 모드를 나타내는 DCT 플래그(DCT- FLG)를 가변길이 부호화 회로(58)와 움직임 보상 회로(64)에 출력한다.

예측 모드 전환 회로(52)에서의 예측 모드(제 19 도)와 이 DCT 모드 전환 회로(55)에서의 DCT 모드(제 20 도)를 비교해서 분명하듯이 휘도 블록에 관해선 양자의 각 모드에서의 데이터 구조는 실질적으로 동일하다. 예측 모드 전환 회로(52)에서 프레임 예측 모드(기수 라인과 우수 라인이 혼재하는 모드)가 선택된 경우, DCT 모드 전환 회로(55)에서도 프레임 DCT 모드(기수 라인과 우수 라인이 혼재하는 모드)가 선택되는 가능성이 높고 또, 예측 모드 전환 회로(52)에서 필드 예측 모드(기수 필드와 우수 필드의 데이터가 분리된 모드)가 선택된 경우, DCT 모드 전환회로(55)에서도 필드 DCT 모드(기수 필드와 우수 필드의 데이터가 분리된 모드)가 선택될 가능성이 높다.

그러나 반드시 늘 그 같이 되는 것은 아니며, 예측 모드 전환 회로(52)에선 예측 오차의 절대값 합이 작아지게 모드가 결정되고 DCT 모드 전환 회로(55)에선 부호화 효율이 양호하게 되도록 모드가 결정된다. DCT 모드 전환 회로(55)에서 출력된 I 픽처의 화상 데이터는 DCT 회로(56)에 입력되어서 DCT 처리되고 DCT 계수로 변환된다. 이 DCT 계수는 양자화 회로(Q)(57)에 입력되고 송신 버퍼(Buffer)(59)의데이터 축적량(양자화 제어 신호(B-full))에 대응한 양자화 스케일(QS)로 양자화된 후, 가변 길이 부호화 회로(58)에 입력된다.

가변 길이 부호화 회로(58)는 양자화 회로(57)에서 공급되는 양자화 스케일(QS)에 대응해서 양자화 회로(57)에서 공급되는 화상 데이터(이 경우, I 픽처의 데이터)를 예컨대 허프만 부호 등의 가변 길이 부호로 변환하고 송신 버퍼(59)에 출력한다. 가변 길이 부호화 회로(58)에는 또, 양자화 회로(57)에서 양자화 스케일(QS), 예측 판정 회로(54)에서 예측 모드(화상내 예측, 전방 예측, 혼방 예측 또는 양방향 예측 중의 어느 하나가 설정되었는지를 나타내는 모드(P-mode)), 움직임 벡터 검출 회로(50)에서 움직임 벡터(MV), 예측 모드 전환 회로(52)에서 예측 플래그(프레임 예측 모드 또는 필드 예측 모드 중의 어느 하나가 설정되었는지를 나타내는 플래그(P-FLG)) 및 DCT 모드 전환 회로(55)가 출력하는 DCT 플래그(프레임 DCT 모드 또는 필드 DCT 모드 중의 어느 하나가 설정되었는지를 나타내는 플래그(DCT-FLG))가 입력되어 있으며 이것들도 가변 길이 부호화된다.

송신 버퍼(59)는 입력된 데이터를 일시 측적하고 축적량에 대응하는 데이터를 양자화 회로(57)에 출력한다. 송신 버퍼(59)는 그 데이터 잔량이 허용 상한값까지 증량하면 양자화 제어 신호(B-full)에 의해 양자화 회로(57)의 양자화 스케일(QS)을 크게함으로써, 양자화 데이터의 데이터량을 저하시킨다. 또, 이것과 역으로 데이터 잔량이 허용 하한값까지 감소되면 송신 버퍼(59)는 양자화 제어 신호(B-full)에 의해서 양자화 회로(57)의 양자화 스케일(QS)을 작게함으로써 양자화데이터의 데이터량을 증대시킨다. 이같이 해서 송신 버퍼(59)의 오버플로 또는 언더플로가 방지된다. 그리고 송신 버퍼(59)에 축적된 데이터는 소정의 타이밍으로 판독되어서 전송로에 출력되며 예컨대 기록매체(3)에 기록된다.

한편, 양자화 회로(57)에서 출력된 I 픽처의 데이터는 역양자화 회로(IQ)(60)에 입력되고 양자화 회로(57)에서 공급되는 양자화 스케일(QS)에 대응해서 역양자화된다. 역양자화 회로(60)의 출력은 역 DCT(IDCT) 회로(61)에 입력되고 역 DCT 처리된 후, 블록 재배치 회로(Block change)(65)에 의해 각 DCT 모드(프레임/필드)에 대해서 블록의 재배치가 행해진다. 블록 재배치 회로(65)의 출력은 연산기(62)를 거쳐서 프레임 메모리(63)의 전방 예측 화상부(F-P)(63a)에 공급되어 기억된다.

움직임 벡터 검출 회로(50)는 시퀀서에 입력되는 각 프레임의 화상 데이터를 예컨대 1, B, P, B, P, B... 의 픽처로서 각각 처리하는 경우, 최초에 입력된 프레임의 화상 데이터를 I 픽처로서 처리한 후, 다음에 입력된 프레임의 화상을 B 픽처로서 처리하기 전에 부가로 그 다음에 입력된 프레임의 화상 데이터를 P 픽처로서 처리한다. B 픽처는 후방 예측을 동반하기 때문에 후방 예측 화상으로서의 P 픽처가 앞서 준비되어 있지 않으면 복호할 수 없기 때문이다.

그래서, 움직임 벡터 검출 회로(50)는 I 픽처의 처리 다음에 후방 원화상부(51c)에 기억되어 있는 P 픽처의 화상 데이터의 처리를 개시한다. 그리고, 상술한 경우와 마찬가지로 매크로 블록 단위에서의 프레임간 차분(예측 오차)의 절대값 합이 움직임 벡터 검출 회로(50)에서 예측 모드 전환 회로(52)와 예측 판정회로(54)에 공급된다. 예측 모드 전환 회로(52)와 예측 판정 회로(54)는 이 P 픽처의 매크로 블록의 예측 오차의 절대값 합에 대응해서 프레임/필드 예측 모드 또는 화상내 예측, 전방 예측, 후방 예측 또는 양방향 예측의 예측 모드를 설정한다.

연산부(53)는 프레임내 예측 모드가 설정되었을 때 스위치(53d)를 상술과 같이 접점 a 측에 전환한다. 따라서 이 데이터는 I 픽처의 데이터와 마찬가지로 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변 길이 부호화 회로(58), 송신 버퍼(59)를 거쳐서 전송로에 전송된다. 또, 이 데이터는 역양자화 회로(60), 역 DCT 회로(61), 블록 재배치 회로(65), 연산기(62)를 거쳐서 프레임 메모리(63)의 후방 예측 화상부(B-P)(63b)에 공급되어 기억된다.

전방 예측 모드시, 스위치(53d)가 접점 b 로 전환되는 동시에 프레임 메모리(63)의 전방 예측 화상부(63a)에 기억되고 있는 화상(이 경우 I 픽처의 화상) 데이터가 판독되며, 움직임 보상 회로(64)에 의해서 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응해서 움직임 보상된다. 즉, 움직임 보상 회로(64)는 예측판정 회로(54)에서 전방 예측 모드의 설정이 지령되었을 때, 전방 예측 화상부(63a)의 판독 어드레스를 움직임 벡터 검출 회로(50)가 지금 출력하고 있는 매크로 블록의 위치에 대응하는 위치에서 움직임 벡터에 대응하는 분만큼 어긋나게 해서 데이터를 판독하고 예측 화상 데이터를 생성한다.

움직임 보상 회로(64)에서 출력된 예측 화상 데이터는 연산기(53a)에 공급된다. 연산기(53a)는 예측 모드 전환 회로(52)에서 공급된 참조 화상의 매크로 블록의 데이터로후터 움직임 보상 회로(64)에서 공급된 이 매크로 블록에 대응하는 예측 화상 데이터를 감산하고 그 차분(예측 오차)을 출력한다. 이 차분 데이터는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변 길이 부호화 회로(58), 송신 버퍼(59)를 거쳐서 전송로에 전송된다. 또, 이 차분 데이터는 역양자화 회로(60), 역 DCT 회로(61)에 의해 국소적으로 복호되고 블록 재배치 회로(65)를 거쳐서 연산기(62)에 입력된다.

이 연산기(62)에는 또 연산기(53a)에 공급되어 있는 예측 화상 데이터와 동일의 데이터가 공급되어 있다. 연산기(62)는 역 DCT 회로(61)가 출력하는 차분 데이터에 움직임 보상 회로(64)가 출력하는 예측 화상 데이터를 가산한다. 이것으로 원(복호한) P 픽처의 화상 데이터가 얻어진다. 이 P 픽처의 화상 데이터는 프레임메모리(63)의 후방 예측 화상부(63b)에 공급되어 기억된다.

움직임 벡터 검출 회로(50)는 이같이 I 픽처와 P 픽처의 데이터가 전방 예측 화상부(63a)와 후방 예측 화상부(63b)에 각각 기억된 후, 다음에 B 픽처의 처리를 실행한다. 예측 모드 전환 회로(52)와 예측 판정 회로(54)는 매크로 블록 단위에서의 프레임간 차분의 절대값 합의 크기에 대응해서 프레임/필드 모드를 설정하고 또, 예측 모드를 프레임내 예측 모드, 전방 예측 모드, 후방 예측 모드 또는 양방향 예측 모드 중의 어느 하나에 설정한다. 상술 같이 프레임내 예측 모드 또는 전방 예측 모드시, 스위치(53d)는 접점 a 또는 b 로 전환된다. 이때 P 픽처에 있어서의 경우와 마찬가지의 처리가 행해지며 데이터가 전송된다.

이것에 대해서 후방 예측 모드 또는 양방향 예측 모드가 설정된 때, 스위치 (53d)는 접점 c 또는 d 로 각각 전환된다. 스위치(53d)가 접점 c 로 전환되어 있는후방 예측 모드시, 후방 예측 화상부(63b)에 기억되어 있는 화상(이 경우, P 픽처의 화상) 데이터가 판독되고 움직임 보상 회로(64)에 의해 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응해서 움직임 보상된다. 즉, 움직임 보상 회로(64)는 예측 판정 회로(54)에서 후방 예측 모드의 설정이 지령되었을 때, 후방 예측 화상부(63b)의 판독 어드레스를 움직임 벡터 검출 회로(50)가 지금 출력하고 있는 매크로 블록의 위치에 대응하는 위치에서 움직임 벡터에 대응하는 분만큼 어긋나게 해서 데이터를 판독하고 예측 화상 데이터를 생성한다.

움직임 보상 회로(64)에서 출력된 예측 화상 데이터는 연산기(53b)에 공급된다. 연산기(53b)는 예측 모드 전환 회로(52)에서 공급된 참조 화상의 매크로 블록의 데이터에서 움직임 보상 회로(64)에서 공급된 예측 화상 데이터를 감산하고 그 차분을 출력한다. 이 차분 데이터는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변 길이 부호화 회로(58), 송신 버퍼(59)를 거쳐서 전송로에 전송된다.

스위치(53d)가 접점 d 로 전환되어 있는 양방향 예측 모드시, 전방 예측 화상부(63a)에 기억되고 있는 화상(이 경우, I 픽처의 화상) 데이터와 후방 예측 화상부(63b)에 기억되고 있는 화상(이 경우, P 픽처의 화상) 데이터가 판독되며, 움직임 보상 회로(64)에 의해 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응해서 움직임 보상된다. 즉, 움직임 보상 회로(64)는 예측 판정 회로(54)에서 양방향 예측 모드의 설정이 지령되었을 때, 전방 예측 화상부(63a)와 후방 예측 화상부(63b)의 판독 어드레스를 움직임 벡터 검출 회로(50)가 지금 출력하고 있는 매크로 블록의 위치에 대응하는 위치에서 움직임 벡터(이 경우의 움직임 벡터는 전방 예측 화상용과 후방 예측 화상용의 2개로 된다)에 대응하는 분만큼 어긋나게 해서 데이터를 판독하고 예측 화상 데이터를 생성한다.

움직임 보상 회로(64)에서 출력된 예측 화상 데이터는 연산기(53c)에 공급된다. 연산기(53c)는 움직임 벡터 검출 회로(50)에서 공급된 참조 화상의 매크로 블록의 데이터에서 움직임 보상 회로(64)에서 공급된 예측 화상 데이터의 평균값을 감산하고 그 차분을 출력한다. 이 차분 데이터는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변 길이 부호화 회로(58), 송신 버퍼(59)를 거쳐서 전송로에 전송된다. B 픽처의 화상은 다른 화상의 예측 화상으로 되는 일이 없기 때문에 프레임 메모리(63)에는 기억되지 않는다.

또한, 프레임 메모리(63)에 있어서 전방 예측 화상부(63a)와 후방 예측 화상부(63b)는 필요에 따라서 뱅크 전환이 행해지며 소정의 참조 화상에 대해서 한쪽 또는 다른쪽에 기억되어 있는 것을 전방 예측 화상 또는 후방 예측 화상으로서 전환해서 출력할 수 있다. 이상의 설명에선 휘도 블록을 중심으로서 설명했는데 색차 블록에 대해서도 마찬가지로 제 19 도 및 제 20 도에 도시하는 매크로 블록을 단위로서 처리되어 전송된다. 또한, 색차 블록을 처리하는 경우의 움직임 벡터는 대응하는 휘도 블록의 움직임 벡터를 수직 방향과 수평 방향으로 각각 1/2 로 한 것이 쓰인다.

다음에 제 21 도에, 제 16 도의 디코더(31)의 구성을 도시한다. 전송로(기록매체 3)를 거쳐서 전송되어 부호화된 화상 데이터는 도시 생략의 수신 회로에서 수신되거나 재생 장치에서 재생되고 수신 버퍼(Buffer)(81)에 일시 기억된 후, 복호 회로(90)의 가변 길이 복호화 회로(IVLC)(82)에 공급된다. 가변 길이 복호화 회로(82)는 수신 버퍼(81)에서 공급된 데이터를 가변 길이 복호화하고 움직임 벡터(MV), 예측 모드(P-mode) 및 예측 플래그(P-FLG)를 움직임 보상 회로(M-comp)(87)에 공급한다. 또, DCT 플래그(DCT-FLG)를 역 블록 재배치 회로(Block Change)(88)에, 양자화 스케일(QS)을 역양자화 회로(IQ)(83)에 각각 출력하는 동시에, 복호된 화상 데이터를 역양자화 회로(83)에 출력한다.

역양자화 회로(83)는 가변 길이 복호화 회로(82)에서 공급된 화상 데이터를 마찬가지로 가변 길이 복호화 회로(82)에서 공급된 양자화 스케일(QS)에 따라서 역양자화하고 역 DCT 회로(IDCT)(84)에 출력한다. 역양자화 회로(83)에서 출력된 데이터(DCT 계수)는 역 DCT 회로(84)에서 역 DCT 처리되고 블록 재배치 회로(88)를 통해서 연산기(85)에 공급된다. 역 DCT 회로(84)에서 공급된 화상 데이터가 I 픽처의 데이터인 경우, 그 데이터는 연산기(85)에서 출력되고 연산기(85)에 후에 입력되는 화상 데이터(P 또는 B 픽처의 데이터)의 예측 화상 데이터 생성을 위해서 프레임 메모리(86)의 전방 예측 화상부(F-P)(86a)에 공급되어 기억된다. 또, 이 데이터는 포맷 변환 회로(32)(제 16 도)에 출력된다.

역 DCT 회로(84)에서 공급된 화상 데이터가 그 1 프레임전의 화상 데이터를 예측 화상 데이터로 하는 P 픽처의 데이터이며 전방 예측 모드의 데이터인 경우, 프레임 메모리(86)의 전방 예측 화상부(86a)에 기억되어 있는, 1 프레임 전의 화상 데이터(I 픽처의 데이터)가 판독되고 움직임 보상 회로(87)에서 가변 길이 복호화회로(82)에서 출력된 움직임 벡터에 대응하는 움직임 보상이 실시된다. 그리고 연산기(85)에 있어서 역 DCT 회로(84)에서 공급된 화상 데이터(차분의 데이터)와 가산되어 출력된다. 이 가산된 데이터, 즉 복호된 P 픽처의 데이터는 연산기(85)에 후에 입력되는 화상 데이터(B 픽처 또는 P 픽처의 데이터)의 예측 화상 데이터 생성을 위해서 프레임 메모리(86)의 후방 예측 화상부(B-P)(86b)에 공급되어 기억된다.

P 픽처의 데이터에도 화상내 예측 모드의 데이터는 I 픽처의 데이터와 마찬가지로 연산기(85)에서 특히 처리는 행하지 않고 그대로 후방 예측 화상부(86b)에 기억된다. 이 P 픽처는 다음의 B 픽처의 다음에 표시되어야 할 화상이므로 이 시점에선 아직 포맷 변환 회로(32)로 출력되지 않는다(상술과 같이 B 픽처의 후에 입력된 P 픽처가 B 픽처 보다 앞서 처리되어 전송되고 있다).

역 DCT 회로(84)에서 공급된 화상 데이터가 B 픽처의 데이터인 경우, 가변 길이 복호화 회로(82)에서 공급된 예측 모드에 대응해서 프레임 메모리(86)의 전방 예측 화상부(86a)에 기억되고 있는 I 픽처의 화상 데이터(전방 예측 모드의 경우), 후방 예측 화상부(86b)에 기억되고 있는 P 픽처의 화상 데이터(후방 예측 모드의 경우), 또는 그 양쪽의 화상 데이터(양방향 예측 모드의 경우)가 판독되며 움직임 보상 회로(87)에 있어서 가변 길이 복호화 회로(82)에서 출력된 움직임 벡터에 대응하는 움직임 보상이 실시되어서 예측 화상이 생성된다. 다만, 움직임 보상을 필요로 하지 않는 경우(화상내 예측 모드의 경우), 예측 화상을 생성되지 않는다.

이 같이 해서 움직임 보상 회로(87)에서 움직임 보상이 실시된 데이터는 연산기(85)에 있어서 역 DCT 회로(84)의 출력과 가산된다. 이 가산 출력은 포맷 변환 회로(32)에 출력된다. 다만, 이 가산 출력은 B 픽처의 데이터이며 다른 화상의 예측 화상 생성을 위해서 이용되는 일이 없으므로 프레임 메모리(86)에는 기억되지 않는다. B 픽처의 화상이 출력된 후, 후방 예측 화상부(86b)에 기억되고 있는 P 픽처의 화상 데이터가 판독되며 움직임 보상 회로(87)를 거쳐서 연산기(85)에 공급된다. 다만, 이때, 움직임 보상을 행해지지 않는다.

또한, 이 디코더(31)에는, 제 18 도의 인코더(18)에 있어서의 예측 모드 전환 회로(52)와 DCT 모드 전환 회로(55)에 대응하는 회로가 도시되어 있지 않으나 이것들의 회로에 대응하는 처리, 즉 기수 필드와 우수 필드의 라인의 신호가 분리된 구성을 원래의 혼재하는 구성으로 필요에 따라서 되돌리는 처리는 움직임 보상 회로(87)가 실행한다. 또, 이상의 설명에선, 휘도 신호의 처리에 대해서 말했는데 색차 신호의 처리도 마찬가지로 행해진다. 다만, 이 경우, 움직임 벡터는 휘도 신호용인 것을 수직 방향 및 수평 방향으로 1/2로 한 것이 쓰인다.

〈발명이 해결하려는 과제〉

그런데, 제 16 도에 상술한 바와 같은 동화상의 부호화 장치(1)에 있어서, 프리 필터(19)는 입력 화상 신호에 포함되는 잡음을 제거하고 또, 부호화 장치(1)에 있어서의 부호화 효과를 높이기 위해서 또, 소정량까지 정보량을 삭감하기 위해서 쓰인다. 프리 필터(9)에는 여러 가지 종류, 특성의 필터가 존재하지만, 어느 필터가 최적이냐는 입력 화상 신호의 성질이나 부호화시의 동화상 부호 장치의 상태 및 기록매체, 전송로에 의존한다.

예컨대, 부호화 비트 레이트가 낮은 경우엔, 복호된 화상의 열화가 현저하며 이것을 보충하기 위해서 부호화 효율을 개선하기 위한 필터를 강하게 할 필요가 있다. 한편, 부호화 비트 레이트가 높은 경우, 복호화된 화상은 그대로 고화질을 유지하고 있으며, 저비트 레이트의 경우와 동일한 필터를 사용하면 그것에 의해 화질을 열화시킬 수 있다. 이 같이 종래의 동화상의 필터 처리나 동화상 부호화 방법에 의하면 프리 필터가 반드시 최적한 필터를 사용할 수 없다는 문제가 있었다.

본 발명은 이상의 점을 고려해서 이뤄진 것이며 동화상의 성질이나 부호화시의 조건에 의해 적응적으로 필터를 전환하고, 부호화의 효율을 향상시킬 수 있고 동화상 부호화 방법을 실현하려는 것이다.

〈과제를 해결하기 위한 수단〉

이 같은 과제를 해결하기 위해서 본 발명에선 동화상 신호를 소정의 예측 화상 신호를 이용해 부호화하고 부호화된 신호에 소정의 연산을 실시하고 그 연산에 의해 얻어진 신호를 양자화하고 양자화한 신호를 가변 길이 부호화하는 동화상 부호화 방법에 있어서, 동일 동화상 신호를 복수회 부호화하고, 그 부호화 때의 정보에 의해서 동화상 신호의 성질을 측정하고 그 측정한 동화상 신호의 성질에 따라서 동화상 신호에 대해서 필터 처리하게 했다.

또, 본 발명에 있어선 동화상 신호를 소정의 예측 화상 신호를 이용해 부호화하고 부호화된 신호에 소정의 연산을 실시하고 그 연산으로 얻어진 신호를 양자화하고 양자화한 신호를 가변 길이 부호화하는 동화상 부호화 방법에 있어서, 동일 동화상 신호를 복수회 부호화하고 그 부호화시의 정보에 의해서 동화상 신호의 성질을 측정하고 동화상 신호의 최종회의 부호화시에, 측정한 동화상 신호의 성질에 따라서 동화상 신호에 대해서 필터 처리하고 동화상 신호를 부호화하게 했다.

또, 본 발명에 있어선 동화상 신호를 소정의 예측 화상 신호를 이용해 부호화하고 부호화된 신호에 소정의 연산을 실시하고 그 연산으로 얻어진 신호를 양자화하고 양자화한 신호를 가변 길이 부호화하는 동화상 부호화 방법에 있어서, 동일 동화상 신호를 복수회 부호화하고 그 부호화시의 정보에 의해서 동화상 신호의 성질을 측정하고 동화상 신호의 최종회의 부호화시에, 측정한 동화상 신호의 성질에 따라서 동화상 신호에 대해서 필터 처리하고 동화상 신호의 성질 및 필터 처리에서 사용하는 필터 특성에 따라서 최종회의 부호화시의 부호화 비트 레이트를 결정하고 가변 레이트로 동화상 신호를 부호화하게 했다.

또, 본 발명에 있어서 동화상 신호를 소정의 예측 화상 신호를 이용해 부호화하고 부호화된 신호에 소정의 연산을 실시하고 그 연산에 의해서 얻어진 신호를 양자화하고 양자화한 신호를 가변 길이 부호화하는 동화상 부호화 장치(1)에 있어서, 동일 동화상 신호를 복수회 부호화하고 그 부호화시의 정보에 의해서 동화상 신호의 성질을 측정하는 측정 수단(20)과 그 측정한 동화상 신호의 성질에 따라서 동화상 신호에 대해서 필터 처리하는 필터 수단(19, 21)을 두도록 했다.

또, 본 발명에 있어서 동화상 신호를 소정의 예측 화상 신호를 이용해 부호화하고 부호화된 신호에 소정의 연산을 실시하고 그 연산에 의해서 얻어진 신호를 양자화하고 양자화한 신호를 가변 길이 부호화하는 동화상 부호화 장치(1)에 있어서, 동일 동화상 신호를 복수회 부호화하고 그 부호화시의 정보에 의해서 동화상신호의 성질을 측정하는 측정 수단(20)과 동화상 신호의 최종회 부호화시에, 측정한 동화상 신호의 성질에 따라 동화상 신호에 대해서 필터 처리하는 필터 수단(19, 21)과 동화상 신호의 성질 및 필터 처리에 사용하는 필터 특성에 따라, 최종회 부호화시의 부호화 비트 레이트를 결정하는 부호화 비트 레이트 결정 수단(22)을 두도록 했다.

〈작용〉

동화상을 부호화할때에 복수회 부호화 처리를 행하여 부호화시의 부호화 파라미터를 최적화하고, 동화상 신호의 성질을 측정하고, 최종회의 부호화 처리에 대해서만, 부호화 파라미터나 측정한 동화상 신호의 성질을 이용해 필터 특성을 최적화하여 필터 처리를 행하고, 실제로 부호화 신호(비트 스트림)를 생성하고 출력하게 한다. 또, 가변 레이트로 부호화를 행할 때에도 부호화 비트 레이트에 따라서 최적한 필터 처리를 행하게 한다.

〈실시예〉

이하, 도면에 대해서 본 발명의 1 실시예를 상세히 기술한다.

(1) 제 1 실시예

제 1 도에 본 발명의 제 1 실시예의 동화상 부호화 장치 및 복호화 장치를 도시한다. 이 실시예는 부호화 비트 레이트가 고정의 경우이다(고정 레이트 부호화). 우선, 부호화 장치(1)에 있어선 입력 영상 신호 VD 가 전처리 회로(11)에 입력되고 여기에서 휘도 신호와 색신호(이 예의 경우, 색차 신호)가 분리되고 각각 아날로그 디지털(A/D) 변환기(12, 13)로 아날로그 디지털 변환된다.

A/D 변환기(12, 13)에 의해 아날로그 디지털 변환되어서 디지털 신호로 된 영상 신호는 프리 필터(19)에 입력되어서 필터 처리된 후에, 프레임 메모리(14)에 공급되어 기억된다. 프레임 메모리(14)는 휘도 신호를 휘도 신호 프레임 메모리(15)에, 또 색차 신호를 색차 신호 프레임 메모리(16)에 각각 기억시킨다. 여기에서 입력 화상 신호가 휘도 신호 및 색신호로 분리된 디지털 화상 신호인 경우, 전처리 회로(11) 및 A/D 변환기(12, 13)는 필요없다. 프리 필터(19)는 부호화 효율을 향상시키기 위한 처리를 행한다. 프리 필터(19)에 대해선 후에 상세히 기술한다.

포맷 변환 회로(17)는 프레임 메모리(14)에 기억된 프레임 포맷의 신호를 블록 포맷의 신호로 변환한다. 즉, 제 17 도에 도시하듯이 프레임 메모리(14)에 기억된 영상 신호는 1 라인당 H 도트의 라인이 V 라인 모아진 프레임 포맷의 데이터로 되어 있다. 포맷 변환 회로(17)는 이 1 프레임의 신호를 16 라인을 단위로 하고 M 개의 슬라이스로 구분한다.

그리고 각 슬라이스는 M개의 매크로 블록으로 분할된다. 각 매크로 블록은 16 ×16 개의 화소(도트)에 대응하는 휘도 신호에 의해 구성되고, 이 휘도 신호는 또한 8 ×8 도트를 단위로 하는 블록 Y[1]∼Y[4]로 구분된다. 그리고 이 16 ×16도트의 휘도 신호엔 8 ×8 도트의 Cb 신호와 8 ×8 도트의 Cr 신호가 대응된다. 이같이 블록 포맷으로 변환된 데이터는 포맷 변환 회로(17)에서 인코더(18)에 공급되며 여기에서 인코드(부호화)된다. 인코드의 상세에 대해선 제 2 도를 참조하여 후술한다. 인코더(18)에 의해 인코드된 신호는 비트 스트림으로서 전송로에 출력되고 예컨대, 기록매체(3)에 기록된다.

이 실시예에 있어서의 부호화 장치(1)는 화상 신호를 부호화할 때 복수회, 부호화 장치(1)에 화상을 입력하고, 최후의 1 회만 비트 스트림을 출력한다. 그 이전은 부호화 장치는 입력 화상 신호의 성질을 측정하는 측정 장치의 역할을 다하게 된다. 이 실시예에선 그 1 예로서 2 회에 걸쳐서 부호화를 행하는 경우(2 패스 코딩)를 나타낸다. 3 회 이상의 경우도 전적으로 같다.

부호화 장치(1)의 외부에서 부호화 모드 신호가 입력된다. 이 신호는, 1 회째의 부호화인지, 2 회째의 부호화 인지를 나타내는 플래그 신호이다. 이 부호화 모드 신호는 예컨대, 부호화 장치(1)에 부속의 스위치에 의해 입력된다. 또, 변형으로서 이 부호화 모드 신호는 퍼스컴 등의 외부 장치에서 입력되어도 좋다. 부호화 모드 신호의 1 예에 대해서 설명한다. 부호화를 2회 행하는 경우, 부호화 모드신호는 1비트의 신호로 충분하다. 예컨대, 부호화 모드 신호가 「0」 인 경우, 1회째의 부호화인 것을 나타내며, 또 「1」인 경우, 2 회째의 부호화인 것을 나타낸다. 부호화 모드 신호는 2 비트 이상의 신호여도 좋으나 이 경우도 1 비트의 경우와 같다.

우선, 1 회째의 부호화에 대해서 설명한다. 인코더는, 부호화 모드 신호가 1 회째의 부호화인 것을 나타내는 경우, 양자화 스케일(QS)을 고정으로 하고 부호화 한다. 이때, 발생 비트량을 측정한다. 이 발생 비트량의 측정은 예컨대 프레임마다 행해진다. 또,예컨대 GOP 마다 행해도 좋다. 이때 측정된 발생 비트량은 기억 장치(20)에 전송되고 기록된다.

양자화 스케일(QS)이 고정인 경우의 발생 비트량은 부호화(압축)의 난이도를 나타내는 파라미터로 된다. 즉, 같은 양자화 스케일(QS)에서 발생 비트량이 적은 화상은 부호화(압축)가 용이한 화상이며, 발생 비트량이 많은 화상은 부호화(압축)가 어려운 화상이다. 따라서, 이 실시예에선 양자화 스케일(QS)를 고정으로 하고 부호화한 때의 발생 비트량을 난이도(difficulty)라 부르기로 한다. 이때, 부호화된 비트 스트림은 출력되지 않는다. 또, 이때, 프리 필터(19)는 처리를 행하지 않고 입력 신호를 그대로 출력한다. 또, 이 변형으로서 항상 일정의 필터 계수를 써서 처리를 행해도 좋다.

1 회째의 부호화가 종료된 후, 계수 결정 회로(21)는 프리 필터(19)에서 사용하는 필터의 계수를 결정한다. 계수 결정 회로(21)는 부호화 비트 레이트 및 난이도로 필터의 특성을 결정한다. 필터 계수는 미리 외부에서 설계된다. 이 실시예에선 미리 N 개의 필터 계수가 설계되어 있는 경우에 대해서 설명한다.

계수 결정 회로(21)는 미리 설계된 N 개의 필터 계수로 최적한 필터 계수를 선택하고 필터 계수 신호를 출력한다. 필터 계수 신호는 각 프레임마다 설정된다. 난이도의 측정이 GOP 마다 행해진 경우, 필터 계수 신호는 GOP 마다 설정된다. 즉, 이 경우의 그 GOP 중의 각 프레임에선 필터 계수 신호는 동일 값으로 된다. 필터 계수 신호는 기억 장치(20)에 기록된다. 다음에 기술하는 2 회째의 부호화시에 판독되며 프리 필터(19)에 출력된다.

다음에 필터 계수 결정 방법을 설명한다. 계수 결정 회로(21)는 각 프레임의 난이도 및 그 프레임에 할당된 비트량 alloc-bit 로 필터 계수를 결정한다. 각 프레임에 할당되는 비트량에 대해서 설명한다. 고정 레이트 부호화의 경우, 부호화 비트 레이트 bit-rate 는 1 초 마다의 비트량을 나타낸다. 프레임 레이트 frame-rate 는 1 초 마다의 프레임 수를 나타낸다. 따라서 각 프레임에 할당되는 비트량 alloc-bit 는 다음식

[수학식 2]

으로 부여된다. 부호화 비트 레이트 bit-rate 및 프레임 레이트 frame-rate 는 부호화 비트 스트림의 시퀀스 헤더 sequence-header 에 기록된다.

난이도 값이 같은 경우에서도, 할당 비트량 alloc-bit 가 상이한 경우, 부호화의 난이도가 변화해야 한다. 난이도가 높고 비트량 alloc-bit 가 충분히 클 때는 약한 필터로 충분하지만, 비트량 alloc-bit 가 작은 경우, 강한 필터를 걸어야 한다. 이때, 그 역치는 난이도에 의해서 변화한다. 제 3도에 난이도, 비트량 alloc-bit 및 선택되는 필터 계수의 예를 도시한다. 필터 계수는 필터 F1 에서 FN까지의 N개 있다. 이 때 F1 이 가장 약하고 FN 이 가장 강한 필터이다. 필터 계수 F1 에서 FN 의 주파수 특성의 예를 제 4 도에 도시한다. 여기에서 약한 필터란 주파수 통과역이 가장 넓은 필터이며 강한 필터란 주파수 통과역이 가장 좁은 필터이다.

여기에서, 계수 결정 회로(21)는 1 회째의 부호화 후에 처리를 행하고 있지만, 그 변형으로서 1 회째의 부호화를 행하면서 동시에 처리를 행하고 필터 계수 신호를 기억 장치(20)에 기록해도 좋다. 또, 계수 결정 회로(21)는 퍼스컴 등의 외부장치에 의해서 실현해도 좋다. 필터 계수 신호는 N 개의 필터 계수중의 어느것을쓰느냐를 나타내는 플래그이다.

다음에 2 회째의 부호화에 대해서 설명한다. 인코더는 부호화 모드 신호가 2 회째의 부호화인 것을 나타내는 경우, 부호화 비트 레이트가 일정하도록 양자화 스케일(QS)을 제어하면서 부호화를 행한다. 이때, 프리 필터(19)는 기억 장치(20)에 기억되어 있는 각 프레임의 필터 계수 신호를 판독하고 그 발생 비트량에 대응해서 필터 계수를 변화시키고 필터 처리를 행한다. 따라서 각 프레임에 대해서는 최적 필터 처리가 행해지게 된다.

다음에 프리 필터(19)에 대해서 제 5 도를 이용하여 설명한다. 프리 필터(19)는 예컨대, 필터용 DSP 를 사용하여 실현할 수 있다. 프리 필터(19)의 구성은 필터 계수의 제어 방법의 다름에서 예컨대 다음의 두 가지가 있다. 우선, 제 1 의 프리 필터 구성에 대해서 제 5 도 (A)를 이용하여 설명한다. 제 1 의 프리 필터 구성에선 각 프레임마다 필터 계수가 필터용의 DSP 에 기록된다. 이 경우, 필터 계수는 외부에서 입력된다.

또, 이 변형으로서 미리 기억 장치(20)에 필터 계수를 기록해두고 기억 장치(20)에서 필터 계수 신호 FC 와 더불어 기록해도 좋다. 필터용 DSP 는 필터 계수 신호 FC 를 받아들면 그 필터 계수 신호 FC 가 나타내는 필터 계수를 판독한다. 제 2 의 필터구성을 제 5 도 (B)에 도시한다. 제 2 의 프리 필터 구성에선 부호화 장치 전체의 초기화시에 필터 계수를 외부에서 판독하고 메모리(RAM)에 기억한다. 이 경우 상술같이 N 개의 필터 계수가 존재하는 경우, N 개의 필터 계수 모두를 RMA 에 기억한다. 필터 계수 신호 FC 가 입력되면 소정의 필터 계수를 RAM 에서 판독한다.

다음에 인코더(18)를 제 2 도를 이용하여 설명한다. 인코더의 상세는 제 18 도에 대해서 상술한 종래의 것과 마찬가지인데 이하의 내용이 상이하다. 제 1 도 이 실시예에 있어서의 인코더는 비트 카운터(Bit-cnt)(70)를 갖는다. 가변 길이 부호화 회로(58)에서 출력되는 비트 스트림은 비트 카운터(70)에 입력된다. 비트 카운터(70)에선 프레임마다 난이도가 측정된다. 측정된 난이도는 제 1 도에 있어서의 기억 장치(20)에 입력된다.

두 번째로, 이 실시예에 있어서의 인코더는 외부로부터 부호화 모드(E-mode)가 양자화 회로(57) 및 송신 버퍼(59)에 입력된다. 부호화 모드가 「0」 인 경우, 부호화는 1 회째의 부호화인 것을 나타내며, 이 경우 양자화 회로(57)는 양자화 스케일(QS)을 고정값으로 한다. 또, 송신 버퍼(59)는 비트 스트림을 출력하지 않는다. 부호화 모드가 「1」 인 경우, 부호화는 2 회째의 부호화인 것을 나타내며, 양자화 회로(57)는 부호화 비트 레이트에 따라서 통상대로 양자화 스케일(QS)의 제어를 행한다. 또, 송신 버퍼(59)는 비트 스트림을 제 1 도에 있어서의 기록매체 또는 전송로에 출력한다.

기록 매체(3)로부터 재생된 데이터는 복호화 장치(2)의 디코더(31)에 공급되어서 디코드된다. 디코더(31)에 의해서 디코드된 데이터는 포맷 변환 회로(32)에 입력되고 블록 포맷에서 프레임 포맷으로 변환된다. 그리고 프레임 포맷의 휘도 신호는 프레임 메모리(33)의 휘도 신호 프레임 메모리(34)에 공급되어 기억되고 색차 신호는 프레임 메모리(35)에 공급되어 기억된다.

휘도 신호 프레임 메모리(34)와 색차 신호 프레임 메모리(35)에서 판독된 휘도 신호와 색차 신호는 포스트 필터에 의해서 처리된 후 디지털 아날로그(D/A)변환기(36, 37)에 의해서 각각 디지털 아날로그 변환되고, 후처리 회로(33)에 공급되어서 합성된다. 그리고 도시 생략, 예컨대, CRT 등의 디스크 플레이에 출력되어 표시된다.

이상의 구성에 의하면, 동화상을 부호화할 때 복수회 부호화 처리를 행하여 부호화시의 부호화 피라미터를 최적화하고, 동화상 신호의 성질을 측정하고, 최종회의 부호화 처리에 대해서만, 부호화 파라미터나 측정한 동화상 신호의 성질을 이용해 필터 특성을 최적화하여 필터 처리를 행하고, 실제로 부호화 신호(비트 스트림)를 형성하여 출력하게 한 것에 의해서, 동화상의 성질이나 부호화시의 조건에 의해 적응적으로 필터를 전환하고 부호화의 효율을 향상할 수 있다. 또, 가변 레이트로 부호화를 행할 때에도, 부호화 비트 레이트에 따라서 최적한 필터 처리를 행하게 된다.

(2) 제 2 실시예

제 6 도에 본 발명의 제 2 실시예의 동화상 부호화 장치 및 복호화 장치의 구성을 도시한다. 이 제 2 실시예는 부호화 비트 레이트가 가변인 경우이다(가변 레이트 부호화). 이 실시예에선 이하에 설명하는 사항을 제외하고, 상술한 제 1 실시예와 같다. 즉, 제 2 실시예에 있어서의 부호화 장치에선 부호화 레이트 결정 회로(22)를 갖는다. 부호화 레이트 결정 회로(22)는 1 회째의 부호화 후, 각 프레임 또는 GOP에 할당하는 비트량을 결정한다.

또, 제 1 실시예에 있어선 각 프레임에 할당되는 비트량 alloc-bit 는 (2)식에 나타내듯이 늘 일정하였지만, 이 실시예에선 적응적으로 변화한다. 각 프레임에 할당되는 비트량 alloc-bit 는 난이도 및 시퀀스 중의 전체 프레임 수로 계산된다. 난이도가 GOP 마다 계측되고 있는 경우는 비트량 alloc-bit 는 GOP 마다 설정되며 또, 난이도가 프레임마다 측정되고 있는 경우엔 비트량 alloc-bit 는 프레임 단위로 설정된다.

여기에선 GOP 마다 난이도가 측정된 경우에 대해서 설명하는데, 프레임 단위로 측정된 경우도 전적으로 같다. 제 7 도에 1회째의 부호화에 의해서 측정된 난이도의 시간 변화를 나타낸다. 1개의 시퀀스 중에서도 난이도는, 예컨대, 제 7도와 같이 변동한다. 예컨대, 움직임이 빠른 장면에선 프레임간 상관이 낮아지기 때문에 난이도는 높아지고(발생 비트량은 많아지며) 또, 역으로 움직임이 느린 장면에선 난이도는 낮아진다(발생 비트량은 적어진다).

1 시퀀스에 걸쳐서 난이도의 빈도 분포를 구한 것이 제 8 도이다. 곡선(1)이 빈도분포를 나타낸다. 이 분포는 화상 시퀀스에 의한 것이 아니다. 여기에서 난이도가 d 인 확률을 h(d), 난이도가 d 인 GOP 에 할당되는 비트 레이트를 R(d), 평균 부호화 비트 레이트를 AVR로 하면, 다음식

[수학식 3]

이다. 이때 다음식

[수학식 4]

로 되게 비트 레이트 R(d)를 결정한다. R(d)는 임의의 곡선일 수 있는데 난이도에 비례해서 배분한 경우, 제 8 도의 곡선(2)과 같게 된다.

여기에서 i 번째의 GOP 의 난이도를 d-i 로 하고, 시퀀스 중의 전체 GOP 의 난이도의 합을 d-all 로 한다. 즉, 다음식

[수학식 5]

이다. 이 때 이 i 번째의 GOP 에 할당되는 비트량 alloc-bit 는 다음식

[수학식 6]

로 부여된다. 이와 같이 해서 할당된 비트 레이트의 시간 변화는 제 9 도에 도시하듯이 된다. 여기에선 선형으로 비트를 할당했는데 비선형인 할당을 행해도 좋다. 계수 결정 회로(21)는 이 경우 상술같이 해서 결정된 비트량 alloc-bit, 난이도로 필터 계수 신호를 결정하고 기억 장치(20)에 기억한다.

이상의 구성에 의하면, 동화상을 부호화할 때 복수회 부호화 처리를 행하여 부호화시의 부호화 파라미터를 최적화하고, 동화상 신호의 성질을 측정하고, 최종회의 부호화 처리에 대해서만 부호화 파라미터나 측정한 동화상신호의 성질을 이용해 필터 특성을 최적화하여 필터 처리를 행하고, 실제로 부호화 신호(비트 스트림)를 생성하여 출력하게 했다. 또, 가변 레이트로 부호화를 행하는 때에도, 부호화비트 레이트에 따라서 최적한 필터 처리를 행하게 했다. 이것으로 제 1 실시예와 마찬가지로 동화상의 성질이나 부호화시의 조건으로 적응적으로 필터를 전환하고 부호화의 효율을 할당할 수 있다.

(3) 제 3 실시예

제 10 도에 본 발명의 제 3 실시예의 동화상 부호화 장치 및 복호화 장치의 구성을 도시한다. 이 실시예는 제 2 실시예와 같은데 부호화 레이트 결정 회로(22)가 상이하다. 부호화 레이트 결정 회로(22)는 난이도 및 필터 계수 신호로 부호화 비트 레이트를 결정한다. 화상 신호에 필터 처리를 행하면 부호화 효율이 향상되고 동일 화상이어도 난이도는 감소한다. 이 감소의 정도는 사용한 필터와 화상 신호에 의존한다. 미리 설계한 N 개의 필터 계수 F1∼FN 가 난이도를, 예컨대 제 11 도와 같이 감소하는 것으로 한다.

상술 같이 필터 계수 F1 가 가장 약한 필터이며, 필터 계수 FN 이 가장 강한 필터이다. 제 11 도에 도시하는 관계는 미리 동일 화상에 대해서 필터 계수를 변화시키고 난이도를 계측할 수 있다. 제 12 도에 필터 처리를 행함으로써 난이도의 빈도분포가 어떻게 변화하는가를 도시한다. 일반적으로 분포는 난이도가 낮은 방향으로 변화한다. 어느 필터를 사용할 때 난이도가 어느 만큼 감소하느냐는 제 11 도에서 구할 수 있다.

어느 필터 FX 를 사용했을 때의 난이도의 감소도를 f(FX)로 한다. f(FX)는 필터 없음의 경우, 1 이며 0 에서 1 의 값을 취한다. 난이도가 d 인 화상이 필터를 사용함으로써 d' 로 되었다고 하면,

다음식

[수학식 7]

로 나타내어진다.

여기에서 난이도가 d' 인 확률을 h'(d'), 난이도가 d' 인 GOP 에 할당되는 비트 레이트를 R'(d'), 평균부호화 비트 레이트를 AVR로 하면, 다음식

[수학식 8]

이다. 이 때, 다음식

[수학식 9]

로 되게 비트 레이트를 결정한다. R'(d')는 임의의 곡선일 수 있는데, 여기에선 필터 후의 난이도에 비례해서 배분한 경우에 대해서 설명한다.

여기에서 1 번째의 GOP 의 난이도를 d-i 로 하고, i 번째의 GOP 에 사용하는 필터를 F-i, 시퀀스 중의 전 GOP 의 필터후의 난이도의 합을 d-all 로 한다. 즉, 다음식

[수학식 10]

이다. 이 때 이 i 번째의 GOP 에 할당되는 비트량 alloc-bit 은 다음식

[수학식 11]

로 부여된다.

이 같이 해서 할당된 비트 레이트는 필터 후의 화상에 대해서는 항상 최적한 레이트로 된다. 또, 이것에 의해서 부호화가 용이한 장면에 사용되는 비트를 감소시키고, 부호화가 어렵고 열화가 눈에 띄는 장면에 비트를 많이 할당하는 것이 가능하게 된다.

이상의 구성에 의하면, 동화상을 부호화할 때에 복수회 부호화 처리를 행하여 부호화시의 부호화 파라미터를 최적화하고, 동화상 신호의 성질을 측정하고, 최종회 부호화 처리에 대해서만, 부호화 파라미터나 측정한 동화상 신호의 성질을 이용해 필터 특성을 최적화하여 필터 처리를 행하고, 실제로 부호화 신호(비트 스트림)을 생성하고 출력하게 한다. 또, 가변 레이트로 부호화를 행할 때에도 부호화 비트 레이트에 따라서 최적한 필터 처리를 행하게 한다. 이것으로 제 2 실시예와 마찬가지로 동화상의 성질이나 부호화의 조건으로 적응적으로 필터를 전환, 부호화의 효율을 높힐 수 있다.

〈발명의 효과〉

상술한 바와 같이 본 발명에 의하면, 동화상을 부호화하는 때에 복수회 부호화 처리를 행하고 부호화시의 부호화 파라미터를 최적화하고, 동화상 신호의 성질을 측정하고, 최종회의 부호화 처리에 대해서만, 부호화 파라미터나 측정한 동화상 신호의 성질을 사용해 필터 특성을 최적화하여 필터 처리를 행하고, 실제로 부호화신호(비트 스트림)를 생성하고 출력하게 함으로써, 동화상의 성질이나 부호화시의 조건에 의해 적응적으로 필터를 전환하고, 부호화의 효율을 향상할 수 있는 동화상 부호화 방법을 실현할 수 있다.

또, 가변 레이트로 부호화를 행할 때에도, 부호화 비트 레이트에 따라서 최적한 필터 처리를 행할 수 있으며, 이같이 해서 동화상의 성질이나 부호화시의 조건에 의해 적응적으로 필터를 전환하고 부호화의 효율을 향상할 수 있는 동화상 부호화 방법을 실현할 수 있다.

제 1 도는 본 발명에 의한 제 1 실시예의 동화상 부호화/복호화 장치의 구성을 도시하는 블록도.

제 2 도는 인코더의 구성을 도시하는 블록도.

제 3 도는 필터 계수의 결정 방법의 설명에 제공하는 특성 곡선도.

제 4 도는 필터 계수의 주파수 특성의 설명에 제공하는 특성 곡선도.

제 5 도는 가변 계수 필터 회로의 구성을 도시하는 블록도.

제 6 도는 본 발명에 의한 제 2 실시예의 동화상 부호화/복호화 장치의 구성을 도시하는 블록도.

제 7 도는 발생 비트량의 시간 분포의 설명에 제공하는 특성 곡선도.

제 8 도는 발생 비트량의 빈도 분포와 할당된 비트 레이트의 설명에 제공하는 특성 곡선도.

제 9 도는 부호화 비트 레이트의 설명에 제공하는 특성 곡선도.

제 10 도는 본 발명에 의한 제 3 실시예의 동화상 부호화/복호화 장치의 구성을 도시하는 블록도.

제 11 도는 필터 특성과 발생 비트량의 감소의 설명에 제공하는 특성 곡선도.

제 12 도는 필터 처리후의 발생 비트량의 빈도 분포의 설명에 제공하는 특성 곡선도.

제 13도는 프레임 상관을 이용한 동화상 신호의 고능률 부호와의 원리의 설명에 제공하는 약선도.

제 14도는 동화상 신호를 압축하는 경우의 픽처 타입의 설명에 제공하는 약선도.

제 15도는 동화상 부호화 방법의 원리의 설명에 제공하는 약선도.

제 16도는 종래의 동화상 부호화/복호화 장치의 구성을 도시하는 블록도.

제 17도는 포맷 변환 회로의 동작의 설명으로서 화상 데이터의 구조를 도시하는 약선도.

제 18 도는 제 16 도의 동화상 부호화/복호화 장치에 있어서의 인코더의 구성을 도시하는 블록도.

제 19 도는 인코더의 예측 모드 전환 회로의 동작의 설명에 제공하는 약선도.

제 20도는 인코더의 DCT모드 전환 회로의 동작의 설명에 제공하는 약선도.

제 21 도는 제 16 도의 동화상 부호화/복호화 장치에 있어서의 디코더의 구성을 도시하는 블록도.

제 22 도는 제 16 도의 동화상 부호화/복호화 장치에 있어서의 프리 필터/포스트 필터로서 2 차원 로우 패스 필터의 구성을 도시하는 접속도.

제 23 도는 제 22 도의 2 차원 로우 패스 필터의 계수의 설명에 제공하는 약선도.

* 도면의 주요 부분에 대한 부호의 설명 *

1 : 부호화 장치 2 : 복호화 장치

3 : 기록 매체(전송로) 11 : 전처리 회로

12, 13 : 아날로그 디지털(A/D) 변환기

14, 33 : 프레임 메모리 15, 34 : 휘도 신호 프레임 메모리

16, 35 : 색차 신호 프레임 메모리 17, 32 : 포맷 변환 회로

18 : 인코더 19 : 프리 필터

20 : 기억 장치 21 : 계수 결정 회로

22 : 부호화 레이트 결정 회로 31 : 디코더

36, 37 : 디지털 아날로그(A/D) 변환기

38 : 후처리 회로 50 : 움직임 벡터 검출 회로(MV-Det)

51 : 프레임 메모리 51a : 전방 원화상부

51b : 원화상부 51c : 후방 원화상부

52 : 예측 모드 전환 회로(Mode-SW) 53 : 연산부

54 : 예측 판정 회로 55 : DCT모드 전환 회로(DCT CTL)

56 : DCT 회로 57 : 양자화 회로(Q)

58 : 가변 길이 부호화 회로(VLC) 59 : 송신 버퍼(Buffer)

60, 83 : 역양자화 회로(IQ) 61, 84 : 프레임 메모리

53a, 86a : 전방 예측 화상(F-P) 63b, 86b : 후방 예측 화상(B-P)

64, 87 : 움직임 보상 회로(M-comp) 65, 88 : DCT 블록 재배열 회로

70 : 비트 카운터 81 : 수신 버퍼(Buffer)

82 : 가변 길이 복호화 회로(IVLC)

Claims

동화상 신호를 선택적으로 프리 필터링하고(19), 상기 선택적으로 프리 필터링된 신호로부터 소정의 예측 화상 신호를 발생하고(50-53), 상기 발생된 예측 화상 신호에 소정의 연산을 실행하고(56), 상기 소정의 연산으로부터 얻어진 신호를 양자화하고(57), 상기 양자화된 신호의 동일 부분을 복수회 가변 길이 부호화(58)함으로써, 동화상 신호를 부호화하는 동화상 부호화 방법에 있어서:

상기 신호 부분의 부호화 처리 중 최종회를 제외한 모든 부호화 처리 동안, 상기 신호 부분 정보 내용의 부호화시의 난이도(Difficulty)와 관련하는 상기 부호화된 신호 부분의 성질을 측정하고(70), 상기 측정된 성질에 관련된 필터 파라미터를 결정하며;

상기 신호 부분의 최종회의 부호화 처리 동안, 상기 신호 부분의 이전 부호화 처리 동안에 결정된 필터 파라미터에 따라 동화상 신호의 상기 부분을 프리 필터링하는(19) 것을 특징으로 하는, 동화상 부호화 방법.
제 1 항에 있어서, 상기 신호 부분의 부호화 처리 중 최초회를 제외한 모든 부호화 처리 동안, 상기 최초회의 부호화 처리후 상기 신호 부분에 할당될 비트수를 결정하는(22), 동화상 부호화 방법.
제 1 항 또는 제 2 항에 있어서, 상기 측정된 성질은 상기 신호 부분을 부호화함으로써 발생된 비트수인, 동화상 부호화 방법.
제 3 항에 있어서, 상기 발생된 비트수는 상기 양자화(57)에 대한 양자화 스케일을 고정하여 얻어진, 동화상 부호화 방법.
제 1 항 또는 제 2 항에 있어서, 상기 신호 부분은 프레임인, 동화상 부호화 방법.
제 1 항 또는 제 2 항에 있어서, 상기 신호 부분은 화상 그룹인, 동화상 부호화 방법.
동화상 신호를 부호화하는 동화상 부호화 장치로서, 상기 동화상 신호를 선택적으로 프리 필터링하는 필터 수단(19)과, 상기 선택적으로 프리 필터링된 신호로부터 소정의 예측 화상 신호를 발생하는 수단(50-53)과, 상기 발생된 예측 화상 신호에 소정의 연산을 실행하는 수단(56)과, 상기 소정의 연산으로부터 얻어진 신호를 양자화하는 양자화기(57)와, 상기 양자화된 신호의 동일 부분을 복수회 가변 길이 부호화하는 수단(58)을 포함하는, 상기 동화상 부호화 장치에 있어서:

상기 신호 부분의 부호화 처리 중 최종회를 제외한 모든 부호화 처리 동안, 측정 수단(70)이 상기 신호 부분 정보 내용의 부호화시의 난이도와 관련하는 상기 부호화된 신호 부분의 성질을 측정하도록 동작하고, 결정 수단이 상기 측정된 성질에 관련된 필터 파라미터를 결정하도록 동작하며;

상기 신호 부분의 최종회의 부호화 처리 동안, 상기 필터 수단(19)이 상기 신호 부분의 이전 부호화 처리 동안에 결정된 필터 파라미터에 따라 동화상 신호의 상기 부분을 프리 필터링하도록 동작하는 것을 특징으로 하는, 동화상 부호화 장치.
제 7 항에 있어서, 상기 신호 부분의 부호화 처리 중 최초회를 제외한 모든 부호화 처리 동안, 상기 최초회의 부호화 처리후 상기 신호 부분에 할당될 비트수를 결정하는 수단(22)을 포함하는, 동화상 부호화 장치.
제 7 항 또는 제 8 항에 있어서, 상기 측정 수단(70)이 측정한 상기 성질은 상기 신호 부분을 부호화함으로써 발생된 비트수인, 동화상 부호화 장치.
제 9 항에 있어서, 상기 측정 수단(70)은 상기 양자화기(57)에 대한 양자화 스케일을 고정하여 상기 발생된 비트수를 측정하도록 동작하는, 동화상 부호화 장치.
제 7 항 또는 제 8 항에 있어서, 상기 신호 부분은 프레임인, 동화상 부호화 장치.
제 7 항 또는 제 8 항에 있어서, 상기 신호 부분은 화상 그룹인, 동화상 부호화 장치.