KR100311294B1 - 화상신호부호화방법및화상신호부호화장치및화상신호복호화방법및화상신호복호화장치 - Google Patents

Abstract

동화상 신호를 부호화하고 또는 부호화된 동화상 신호를 복호화하는 동화상 부호화 장치 및 동화상 복호화 장치이다. 이 동화상 부호화 장치는 해상도가 높은 화상 신호를 상이한 아스펙트 비가 되게 소정의 해상도로 공간 필터링을 이용하여 솎음을 행하고 해상도가 낮은 화상 신호를 생성하고 해상도가 낮은 화상 신호를 부호화한 신호를 복호화하여 얻어지는 신호를 원래의 아스펙트 비로 되게 소정의 해상도로 공간 필터링을 이용하여 해상도가 높은 화상 신호의 예측 화상 신호를 생성하고 생성된 예측 화상 신호를 이용하여 해상도가 높은 화상 신호를 부호화한다.

이 동화상 복호화 장치는 해상도가 낮은 화상 신호의 부호화 신호를 복호화 하여 얻어지는 복호화 신호를 원래의 아스펙트 비가 되게 소정의 해상도로 공간 필터링을 이용하여 해상도가 높은 화상 신호의 예측 화상 신호를 생성하고 생성된 예측 화상 신호를 이용하여 해상도가 높은 화상 신호의 부호화 신호를 예측 복호화 해서 해상도가 높은 화상 신호를 생성한다.

Description

[발명의 명칭]

화상 신호 부호화 방법 및 화상 신호 부호화 장치 및 화상 신호 복호화 방법 및 화상 신호 복호화 장치

[도면의 간단한 설명]

제 1 도는 본 발명에 관한 화상 신호 부호화 장치의 일실시예의 구성을 도시하는 블록도.

제 2 도는 제 1 도의 다운 샘플링 회로(301)의 구성예를 도시하는 블록도.

제 3 도는 제 1 도의 업 샘플링 회로(302)의 구성예를 도시하는 블록도.

제 4 도는 본 발명에 관한 화상 신호 복호화 장치의 일실시예의 구성을 도시하는 블록도.

제 5 도는 제 1 도의 다운 샘플링 회로(301)에서의 제 1의 처리예를 설명하는 도면.

제 6 도는 제 5 도의 실시예에서의 가로 방향의 다운 샘플링을 설명하는 도면.

제 7 도는 제 5 도의 실시예에서의 세로 방향의 샘플링을 설명하는 도면.

제 8 도는 제 6 도의 다운 샘플링에 대응하는 업 샘플링의 처리를 설명하는 도면.

제 9 도는 제 7 도의 다운 샘플링에 대응하는 업 샘플링의 처리를 설명하는 도면.

제 10 도는 제 1 도의 다운 샘플링 회로(301)에서의 제 2의 처리예를 설명하는 도면.

제 11 도는 제 10 도의 실시예의 세로 방향의 다운 샘플링을 설명하는 도면.

제 12 도는 제 11 도의 다운 샘플링에 대응하는 업 샘플링의 처리를 설명하는 도면.

제 13 도의 제 1 도의 다운 샘플링 회로(301)에서의 제 3의 처리예를 설명하는 도면.

제 14 도는 제 13 도의 실시예의 세로 방향의 다운 샘플링을 설명하는 도면.

제 15 도는 제 14 도의 다운 샘플링에 대응하는 업 샘플링을 설명하는 도면.

제 16 도는 제 1 도의 다운 샘플링 회로(301)에서의 제 4의 처리예를 설명하는 도면.

제 17 도는 제 16 도의 실시예의 세로 방향의 다운 샘플링을 설명하는 도면.

제 18 도는 제 17 도의 다운 샘플링에 대응하는 업 샘플링을 설명하는 도면.

제 19 도는 제 16 도의 실시예의 세로 방향의 다운 샘플링의 다른 처리예를 설명하는 도면.

제 20 도는 제 19 도의 다운 샘플링에 대응하는 업 샘플링을 설명하는 도면.

제 21 도는 본 발명에 관한 화상 신호 부호화 방법에 의해 부호화한 데이타를 기록한 디스크를 제조하는 방법을 설명하는 도면.

제 22a 도 및 제 22b 도는 고능률 부호화의 원리를 설명하는 도면.

제 23a 도 및 제 23b 도는 화상을 부호화하는 픽쳐타입을 설명하는 도면.

제 24a 도 및 제 24b 도는 연속하는 동화상 신호를 부호화하는 원리를 설명하는 도면.

제 25 도는 종래의 동화상 부호화 장치와 복호화 장치의 구성을 도시하는 블록도.

제 26 도는 화상 데이타의 구조를 설명하는 도면.

제 27 도는 제 25 도의 엔코더(15)의 구성예를 도시하는 블록도.

제 28a 도 및 제 28b 도는 제 27 도의 예측 모드 전환 회로(52)의 동작을 설명하는 도면.

제 29a 도 및 제 29 b 도는 제 27 도의 DCT 모드 전환 회로(55)의 동작을 설명하는 도면.

제 30 도는 제 25 도의 디코더(31)의 구성예를 도시하는 블록도.

제 31 도는 종래의 다운 샘플링 회로의 구성예를 도시하는 블록도.

제 32 도는 종래의 업 샘플링 회로의 구성예를 도시하는 블록도.

제 33 도는 제 32 도의 보간 회로(95)의 동작을 설명하는 도면.

[발명의 상세한 설명]

[기술분야]

본 발명은 동화상 신호를 예컨대 광자기 디스크나 자기 테이프 등의 기록 매체에 기록하고 이것을 재생해서 디스플레이 등에 표시하거나 텔레비젼 회의 시스템, 텔레비젼 전화 시스템, 방송용 기기 등 동화상 신호를 전송로를 거쳐서 송신측에서 수신측으로 전송하고 수신측에 있어서 이것을 수신하고 표시하는 경우 등에 이용하는 양호한 화상 신호 부호화 방법 및 화상 신호 부호화 장치 및 화상 신호 복호화 방법 및 화상 신호 복호화 장치에 관한 것이다.

[배경기술]

처음에 계층 부호화를 행하지 않은 부호화 방법 및 복호화 수법에 대해서 설명하고 다음에 계층 부호화를 행한 경우의 부호화 순서에 관해서 설명한다.

예컨대, 텔레비젼 처리 시스템, 텔레비젼 전화 시스템 같이 동화상 신호를 원격지에 전송하는 시스템에 있어서는 전송로를 효율적으로 이용하기 위해서 영상 신호의 라인 상관이나 프레임 상관을 이용해서 화상 신호를 압축 부호화하게 되어 있다.

상기 라인 상관을 이용하는 경우엔 화상 신호를, 예컨대, DCT(이산 코사인 변환) 처리하는 등으로 압축할 수 있다.

또, 프레임간 상관을 이용하면 화상 신호를 다시 압축하고 부호화하는 것이 가능하다. 예컨대, 제 22A도에 도시하듯이 시각 t = t₁, t₂, t₃에 있어서 프레임 화상 PC1, PC2, PC3이 각각 발생하고 있을 때 프레임 화상 PC1, PC2, PC3이 각각 발생하고 있을 때 프레임 화상 PC1과 PC2의 화상 신호의 차이를 연산하고 제 22b 도에 도시하듯이 화상 PC12를 생성한다. 또, 제 22a 도의 프레임 화상 PC2와 PC3의 차를 연산하고 제 22b 도의 화상 PC23을 생성한다. 통상, 시간적으로 인접하는 프레임의 화상은 그렇게 큰 변화를 갖고 있지 않기 때문에 양자의 차를 연산하면, 그 차분 신호는 작은 값인 것으로 된다. 즉, 제 22b 도에 도시하는 화상 PC12에 있어서는, 제 22a 도의 프레임 화상 PC1과 PC2의 화상 신호의 차로서 제 22b 도의 화상 PC12의 도면 중 사선으로 도시하는 부분의 신호가 얻어진다. 또, 제 22b 도에 도시하는 화상 PC23에 있어서는 제 22a 도의 프레임 화상 PC2와 PC3의 화상 신호의 차로써 제 22b 도의 화상 PC23의 도면중 사선으로 도시하는 부분의 신호가 얻어진다. 그래서, 이 차분 신호를 부호화하면 부호량을 압축할 수 있다.

그러나, 상기 차분 신호만을 전송하면 원 화상을 복원할 수 없다. 그래서, 각 프레임의 화상을 I 픽쳐(인트라 부호화 화상: Intra-coded picture), P 픽쳐(전방 예측 부호화 화상 : Perdictive-coded picture) 또는 B 픽쳐(양방향 예측 부호화 화상 : Bidirectionally-coded picture)인 3 종류의 픽쳐 중 어느 하나의 픽쳐로 하고 화상 신호를 압축 부호화하게 하고 있다.

즉, 예컨대 제 23A 및 제 23b 도에 도시하듯이 프레임 F1 내지 F17까지의 17프레임의 화상 신호를 그룹 오브 픽쳐로서 처리의 1 단위로 한다. 그리고, 그 선두의 프레임 F1의 화상 신호는 I 픽쳐로서 부호화하고 제 2 번째의 프레임 F2은 B 픽쳐로서 또, 제 3 번째의 프레임 F3은 P 픽쳐로서 각각 처리한다. 이하, 제 4 번째 이후의 프레임 F4 내지 F17은 B 픽쳐 또는 P 픽쳐로서 교대로 처리한다.

I 픽쳐의 화상 신호로선 그 1 프레임분의 화상 신호를 그대로 전송한다. 이것에 대해서 P 픽쳐의 화상 신호로선 기본적으로는 제 23a 도에 도시하듯이 그것보다 시간적으로 선행하는 I 픽쳐 또는 P 픽쳐의 화상 신호로부터의 차분을 부호화하고 전송한다. 또한, B 픽쳐의 화상 신호로선 기본적으로는 제 23b 도에 도시하듯 이 시간적으로 선행하는 프레임 또는 후행하는 프레임의 양쪽의 평균치로부터의 차분을 부호화해서 전송한다.

제 24a 도 및 제 24b 도는 이와 같이 해서 동화상 신호를 부호화하는 방법의 원리를 도시하고 있다. 또한, 제 24a 도에는 동화 영상 신호의 프레임의 데이타를 제 24b 도에는 전송되는 프레임 데이타를 모식적으로 도시하고 있다. 이 제 24a 도 및 제 24b 도에 도시하듯이 최초의 프레임 F1로 I 픽쳐 즉 비보간 프레임으로서 처리되기 때문에 그대로 전송 데이타 FIX(전송 비보간 프례임 데이타)로서 전송로에 전송된다(인트라 부호화). 이것에 대해서 제 2의 프레임 F2은 B 픽쳐 즉 보간 프레임으로서 처리되기 때문에 시간적으로 선행하는 상기 프레임 F1과 시간적으로 후행하는 프레임 F3(프레임간 부호화의 비보간 프레임)의 평균치와의 차분이 연산되며 그 차분이 전송 데이타(전송 보간 프레임 데이타) F2X로서 전송된다.

다만, 이 B 픽쳐로서의 처리는 더 자세히 설명하면 매크로블록 단위로 전환이 가능한 4 종류의 모드가 존재한다. 그 제 1의 처리는 원 프레임 F2의 데이타를 도면중 파선의 화살표 SP1로 도시하듯이 그대로 전송 데이타 F2X로서 전송하는 것이며(인트라 부호화 모드), I 픽쳐에서의 경우와 마찬가지의 처리로 된다. 제 2의 처리는 시간적으로 후의 프레임 F3으로부터의 차분을 연산하고 도면중 파선 화살표 SP2로 도시하듯이 이 차분을 전송하는 것이다(전방 예측 모드). 또한 제 4의 처리는 도면중 파선 화살표 SP4로 도시하듯이 시간적으로 선행하는 프레임 F1과 후행하는 프레임 F3의 평균치와의 차분을 생성하고 이것을 전송 데이타 F2X로서 전송하는 것이다(양방향 예측 모드).

이 4 개의 방법중, 전송 데이타가 가장 적어지는 방법이 매크로 블록 단위로 채용된다.

또한, 차분 데이타를 전송할 때는 차분을 연산하는 대상이 되는 프레임의 화상(예측 화상)과의 사이의 움직임 벡터 x1(전방 예측의 경우의 프레임 F1과 F2간의 움직임 벡터), 또는 움직임 벡터 x2(후방 예측의 경우의 프레임 F3과 F2간의 움직임 벡터) 또는 움직임 벡터 x1과 x2의 양쪽(양방향 예측의 경우)이 차분 데이타와 더불어 전송된다.

또, P 픽쳐의 프레임 F3(프레임간 부호화의 비보간 프레임)은 시간적으로 선행하는 프레임 F1을 예측 화상으로 하고, 이 프레임 F1과의 차분 신호(파선 화살표 SP3으로 도시한다)와 움직임 벡터 x3 가 연산되고 이것이 전송 데이타 F3X로서 전송된다(전방 예측 모드). 또는 원 프레임 F3의 데이타가 그대로 전송 데이타 F3X로서 전송(파선 화살표 SPI로 도시한다)된다 (인트라 부호화 모드). 이 P 픽쳐에 있어서 어느 방법에 의해 전송되느냐는 B 픽쳐에서의 경우와 마찬가지며 전송 데이터가 한층 적어지는 쪽이 매크로블록 단위로 선택된다.

또한, B 픽쳐의 프레임 F4과 P 픽쳐의 프레임 F5도 상술한 바와 같이 처리되며 전송 데이타 F4X, F5X, 움직임 벡터 x4, x5, x6 등이 얻어진다.

제 25 도는 상술한 원리에 기초해서 동화상 신호를 부호화해서 전송로로서의 기록 매체(3)에 전송해서 기록하게 되어있다. 그리고, 복호화 장치(2)는 기록 매체(3)에 기록된 신호를 재생하고 이것을 부호해서 출력하게 되어 있다.

우선, 부호화 장치(1)에 있어서는 입력 단자(10)를 거쳐서 입력된 영상 신호 VD가 전처리 회로(11)에 입력되고 그곳에서 휘도 신호와 색 신호(이 예의 경우, 색차 신호)가 분리되며 각각 A/D 변환기(12),(13)에서 A/D 변환된다. A/D 변환기 (12),(13)에 의해서 A/D 변환되어 디지탈 신호로 된 영상 신호는 프레임 메모리(14)에 공급되어 기억된다. 이 프레임 메모리(14)에서는 휘도 신호를 휘도 신호 프레임 메모리(15)에 또, 색차 신호를 색차 신호 프레임 메모리(16)에 각각 기억시킨다.

포맷 변환 회로(17)는 프레임 메모리(14)에 기억된 프례임 포맷의 신호를 블록 포맷의 신호로 변환한다. 즉, 제 26 도의 (A)에 도시하듯이 프레임 메모리(14)에 기억된 영상 신호는 1 라인당 H 도트의 라인이 V 라인 모아진 프레임 포맷의 데이타로 되어 있다. 포맷 변환 회로(17)는 이 1 프레임의 신호를 16 라인을 단위로서 N 개의 슬라이스로 구분한다. 그리고 각 슬라이스는 제 26 도의 (B)에 도시하듯이 M 개의 매크로 블록으로 분할된다. 각 매크로 블록은 제 26 도의 (C)에 도시 하듯이 16 x 16 개의 화소(도트)에 대응하는 휘도 신호에 의해서 구성된다. 이 휘도 신호는 제 26 도의 (C)에 도시하듯이 다시 8 x 8 도트를 단위로 하는 블록 Y[1] 내지 Y[4]에 구분된다. 그리고 이 16 x 16 도트의 휘도 신호에는 8 x 8 도트의 Cr 신호와 8 x 8 도트의 Cr 신호가 대응된다.

이와 같이 블록 포맷으로 변화된 데이타는 포맷 변환 회로(17)로부터 엔코더(18)에 공급되며 여기에서 엔코드(부호화)가 행해진다. 그 상세한 설명에 대해선 제 27 도를 참조해서 후술한다.

엔코더(18)에 의해 엔코드된 신호는 비트 스트림으로서 전송로에 출력되며 예컨대 기록매체(3)에 기록된다.

기록 매체(3)로부터 재생된 데이타는 복호화 장치(2)의 디코더(31)에 공급되어 디코드된다. 디코더(31)의 상세한 설명에 대해선 제 30 도를 참조해서 후술한다.

디코더(31)에 의해 디코드된 데이타는 포맷 변환 회로(32)에 입력되며 블록 포맷으로부터 프레임 포맷으로 변환된다. 그리고, 프레임 포맷의 휘도 신호는 프레임 메모리(33)의 휘도 신호 프레임 메모리(34)에 공급되어 기억되며 색차 신호는 색차 신호 프레임 메모리(35)에 공급되어 기억된다. 휘도 신호 프레임 메모리(34)와 색차 신호 프레임 메모리(35)에서 판독된 휘도 신호와 색차 신호는 D/A 변환기(36)와 (37)에 의해 각각 D/A 변환되며 후처리 회로(38)에 공급되어 합성된다. 이 출력 영상 신호는 출력단자(30)로부터 도시 생략한, 예컨대, CRT 등의 디스플레이에 출력되어 표시된다.

다음에 제 27 도를 참조해서 엔코더(18)의 구성예에 대해서 설명한다.

입력단자(49)를 거쳐서 공급된 부호 처리되어야 할 화상 데이타는 매크로블록 단위로 움직임 벡터 검출 회로(50)에 입력된다. 움직임 벡터 검출 회로(50)는 미리 설정되어 있는 소정의 시퀸스에 따라서 각 프레임의 화상 데이타를 I 픽쳐, P 픽쳐 또는 B 픽쳐로서 처리한다. 시퀀셜에 입력되는 각 프레임의 화상을 I, P, B 중의 한 픽쳐로서 처리하느냐는 미리 정해져 있다. 예컨대 제 23A 및 제 23b 도에 도시하듯이 프레임(F1) 내지 (F17)에 의해 구성되는 그룹 오브 픽쳐가 I, B, P, B, P,... B, P로서 처리된다.

I 픽쳐로서 처리되는 프레임(예컨대, 프레임 Fl)의 화상 데이타라는 움직임 벡터 검출 회로(50)부터 프레임 메모리(51)의 전방 원화상부(51a)에 전송, 기억되며 B 픽쳐로서 처리되는 프레임(예컨대 프레임 F2)의 화상 데이타는 원화상부(참조 원화상부)(51b)에 전송, 기억되며 P 픽쳐로서 처리되는 프레임 (예컨대 프레임 F3)의 화상 데이타는 후방 원화상부(51c)에 전송되어 기억된다.

또, 다음의 타이밍에 있어서 또한 B 픽쳐(예컨대 상기 프레임 F4) 또는 P 픽쳐(상기 프레임 F5)로서 처리해야 할 프레임의 화상이 입력되었을 때, 그때까지 후방 원화상부 (51c)에 기억되어 있던 최초의 P 픽쳐(프레임 F3)의 화상 데이타가 전방 원화상부(51a)에 전송되며 다음의 B 픽쳐 (프레임 F4)의 화상 데이타가 원화상부(51b)에 기억(중복기재) 되며 다음의 P 픽쳐(프레임 F5)의 화상 데이타가 후방 원화상부 (51c)에 기억(중복기재)된다. 이 같은 동작이 순차 반복된다.

프레임 메모리(51)에 기억된 각 픽쳐의 신호는 그곳에서 판독되며 예측 모드 전환 회로(52)에 있어서 프레임 예측 모드 처리 또는 필드 예측 모드 처리가 행해진다. 또한 예측 판정 회로(54)의 제어하에 연산부(53)에 있어서 인트라 부호화 모드, 전방 예측 모드, 후방 예측 모드 또는 양방향 예측 모드에 의한 연산이 행해진다. 이것들의 처리 중, 어느 처리를 행하느냐는 예측 오차 신호(처리의 대상으로 되어 있는 참조화상과 이것에 대한 예측 화상과의 차분)에 대응해서 매크로 블록 단위로 결정된다. 이 때문에 움직임 벡터 검출 회로(50)는 이 판정에 쓰이는 예측 오차 신호의 절대치합(제곱합이어도 좋다) 및 그 예측 오차 신호에 대응하는 인트라 부호화 모드의 평가치를 매크로블록 단위로 생성한다.

여기에서 예측 모드 전환 회로(52)에서의 프레임 예측 모드와 필드 예측 모드에 대해서 설명한다.

프레임 예측 모드가 설정된 경우에서는 예측 모드 전환 회로(52)는 움직임벡터 검출 회로(50)에서 공급되는 4 개의 휘도 블록 Y[1] 내지 Y[4]를 그대로 후단의 연산부(53)에 출력한다. 즉, 이 경우에 있어서는 제 28a 도에 도시하듯이 각휘도 블록에 홀수 필드의 라인의 데이타와 짝수 필드의 라인의 데이타가 혼재한 상태로 되어 있다. 또한, 제 28a 도 및 제28b 도의 각 매크로블록 중 실선은 홀수 필드(제 1 필드의 라인)의 라인의 데이타를, 파선은 짝수 필드(제 2 필드의 라인)의 라인의 데이타를 도시하며 제 28a 도 및 제 28b 도 중 a 및 b는 움직임 보상의 단위를 도시하고 있다. 이 프레임 예측 모드에서 4 개의 휘도 블록(매크로블록)을 단위로서 예측이 행해지며 4 개의 휘도 블록에 대해서 1 개의 움직임 벡터가 대응된다.

이것에 대해서 예측 모드 전환 회로(52)는 필드 예측 모드가 설정된 경우, 제 28a 도에 도시하는 구성으로 움직임 백터 검출 회로(50)에서 입력되는 신호를 제 28b 도에 도시하듯이 4 개의 휘도 블록 중, 휘도 블록 Y[1]와 Y[2]를 예컨대 홀수 필드의 라인의 도트에 의해서만 구성시키고 다른 2 개의 휘도 블록 Y[3]과 Y[4]를 짝수 필드의 라인의 데이타에 의해 구성시키고 연산부(53)에 출력한다. 이 경우에 있어서는 2 개의 휘도 블록 Y[3]와 Y[4]에 대해서 1 개의 움직임 벡터가 대응되며 다른 2 개의 휘도 블록 Y[3]과 Y[4]에 대해서 다른 1 개의 움직임 벡터가 대응된다.

또한, 색차 신호는 프레임 예측 모드의 경우, 제 28a 도에 도시하듯이 홀수 필드의 라인의 데이타와 짝수 필드의 라인의 데이타가 혼재하는 상태에서 연산부(53)에 공급된다.

또, 필드 예측 모드의 경우, 제 28b 도에 도시하듯이 각 색차 블록 Cb, Cr의 상반분(4 라인)이 휘도 블록 Y[1] Y[2]에 대응하는 홀수 필드의 색차 신호로 되며 하반분(4 라인)이 휘도 블록 Y[3], Y[4]에 대응하는 짝수 필드의 색차 신호로 된다.

또, 움직임 벡터 검출 회로(50)는 다음 같이 해서 예측 판정 회로(54)에 있어서 각 매크로블록에 대해서 인트라 부호화 모드, 전방 예측 모드, 후방 예측 모드 또는 필드 예측 모드 중 어느 하나로 처리하느냐를 결정하기 위한 인트라 부호화 모드의 평가치 및 각 예측 오차의 절대치 합을 매크로블록 단위로 생성한다.

즉, 인트라 부호화 모드의 평가치로서 이로부터 부호화되는 참조화상의 매크로블록의 신호 A_ij와 그 평균치와의 차의 절대치 합 ∑│A_ij-(A_ij의 평균치) │을 구한다. 또, 전방 예측의 예측 오차의 절대치합으로서 프레임 예측 모드 및 필드 예측 모드 각각에 있어서의 참조 화상의 매크로블록의 신호 A_ij와 예측 화상의 매크로 블록의 신호 B_ij의 차 (A_ij- B_ij)의 절대치 │A_ij- B_ij│의 합 ∑│A_ij- B_ij│을 구한다. 또, 후방예측과 양방향 예측의 예측 오차의 절대치합도 전방 예측에서의 경우와 마찬가지로(그 예측 화상을 전방 예측에서의 경우와 상이한 예측 화상으로 변경하고) 프레임 예측 모드 및 필드 예측 모드의 경우의 각각에 대해서 구한다.

이것들의 절대치합은 예측 판정 회로(54)에 공급된다.

예측 판정 회로(54)는 프레임 예측 모드, 필드 예측 모드 각각에서의 전방 예측, 후방 예측 및 양방향 예측의 예측 오차의 절대치합 중, 가장 작은 것을 인터(inter) 예측의 예측 오차의 절대합으로서 선택한다. 또한, 이 인터 예측의 예측 오차의 절대치합과 인트라 부호화 모드의 평가치를 비교하고 그 작은 쪽을 선택하고 이 선택한 값에 대응하는 모드를 예측 모드 및 프레임/필드 예측 모드로서 선택한다. 즉, 인트라 부호화 모드의 평가치 쪽이 작으면 인트라 부호화 모드가 설정된다. 인터 예측의 예측 오차의 절대치합 쪽이 작으면 전방 예측 모드, 후방 예측모드 또는 양쪽 예측 모드중, 대응하는 절대치합이 가장 작았던 모드가 예측 모드 및 프레임/필드 예측 모드로서 설정된다.

상술한 바와 같이 예측 모드 전환 회로(52)는 참조 화상의 매크로 블록의 신호를 프레임 예측 모드 또는 필드 예측 모드중 예측 판정 회로(54)에 의해 선택된 모드에 대응하는 제 28a 도 및 제 28b 도에서 도시한 것 같은 구성으로 연산부(53)에 공급한다. 또, 움직임 벡터 검출 회로(50)는 예측 판정 회로(54)에 의해 선택된 예측 모드에 대응하는 예측 화상과 참조 화상과의 사이의 움직임 벡터를 출력하고 후술하는 가변장 부호화 회로(58)와 움직임 보상 회로(64)에 공급한다. 또한 이 움직임 벡터로선 대응하는 예측 오차의 절대치 합이 최소로 되는 것이 선택된다.

예측 판정 회로(54)는 움직임 벡터 검출 회로(50)가 전방 원화상부(51a)에서 I 픽쳐의 화상 데이타를 판독하고 있을 때, 예측 모드로서 인트라부호화 모드(움직임 보상을 행하지 않는 모드)를 설정하고 연산부(53)의 스위치(53d)를 접점 a축으로 전환한다. 이것으로 I 픽쳐의 화상 데이타가 DCT 모드전환회로(55)에 입력된다.

예측 판정 회로(54)는 움직임 벡터 검출 회로(50)가 전방원화상부(51a)에서 I 픽쳐의 화상 데이타를 판독하고 있을 때, 예측 모드로서 인트라 부호화 모드(움직임 보상을 행하지 않는 모드)를 설정하고 연산부(53)의 스위치(53d)를 접점 a 측으로 전환한다. 이것으로 I 픽쳐의 화상 데이타가 DCT 모드 전환 회로(55)에 입력된다.

이 DCT 모드 전환 회로(55)는 제 29a 도 또는 제 29 b도에 도시하듯이 4 개의 휘도 블록의 데이타를 홀수 필드의 라인과 짝수 필드의 라인이 혼재하는 상태(프레임 DCT 모드) 또는 홀수 필드의 라인과 짝수 필드의 라인이 분리된 상태(필드 DCT 모드)중의 어느 상태로 하고 DCT 회로(56)에 출력한다.

즉, DCT 모드 전환 회로(55)는 홀수 필드와 짝수 필드의 데이타를 혼재해서 DCT 처리한 경우에서의 부호화 효율과 분리한 상태에서 DCT 처리한 경우의 부호화 효율을 비교해서 부호화 효율의 양호한 모드를 선택한다.

예컨대, 입력된 신호를 제 29a 도에 도시하듯이 홀수 필드와 짝수 필드의 라인이 혼재하는 구성으로 하고 상하로 인접하는 홀수 필드의 라인의 신호와 짝수 필드의 라인의 신호의 차를 연산하고 다시 그 절대치의 합(또는 제곱합)을 구한다. 또, 입력된 신호를 제 29b 도에 도시하듯이 홀수 필드와 짝수 필드의 라인이 분리된 구성으로 하고 상하로 인접하는 홀수 필드의 라인끼리의 신호의 차와 짝수 필드의 라인끼리의 신호의 차를 연산하고 각각의 절대치의 합(또는 제곱합)을 구한다. 또한, 양자(절대치 합)를 비교하고 작은 값에 대응하는 DCT 모드를 설정한다. 즉, 전자 쪽이 작으면 프레임 DCT 모드를 설정하고 후자 쪽이 작으면 필드 DCT 모드를 설정한다.

그리고 선택한 DCT 모드에 대응하는 구성의 데이타를 DCT 회로(56)에 출력하는 동시에, 선택한 DCT 모드를 나타내는 DCT 플래그를 가변장 부호화 회로(58)에 출력한다.

예측 모드 전환 회로(52)에서의 프레임/필드 예측 모드(제 28a 도 및 제 28 b도 참조)와 이 DCT 모드 전환 회로(55)에서의 DCT 모드(제 29a 도 및 제 29b 도 참조)를 비교해서 분명하듯이, 휘도 블록에 관해서 양자의 각 모드에서의 데이타 구조는 실질적으로 동일하다.

예측 모드 전환 회로(52)에서 프레임 예측 모드(홀수 라인과 짝수 라인이 혼재하는 모드)가 선택된 경우, DCT 모드 전환 회로(55)에 있어서도 프레임 DCT 모드(홀수 라인과 짝수 라인이 혼재하는 모드)가 선택되는 가능성이 높고 또 예측 모드 전환 회로(52)에서 필드 예측 모드(홀수 필드와 짝수 필드의 데이타가 분리된 모드)가 선택된 경우, DCT 모드 전환 회로(55)에 있어서 필드 DCT 모드(홀수 필드와 짝수 필드의 데이타가 분리된 모드)가 선택될 가능성이 높다.

그러나, 반드시 항상 그와 같이 이뤄지는 것은 아니며, 예측 모드 전환 회로(52)에 있어서는, 예측 오차의 절대치합이 작아지게 모드가 결정되며 DCT 모드 전환 회로(55)에서는 부호화 효율이 양호해지게 모드가 결정된다.

DCT 모드 전환 회로(55)에서 출력된 I 픽쳐의 화상 데이타는 DCT 회로(56)에 입력되며 DCT(이산 코사인 변환) 처리되며 DCT 계수로 변환된다. 이 DCT 계수는 양자화 회로(57)에 입력되며 송신 버퍼(59)의 데이타 축적량(비퍼 축적량)에 대응한 양자화 스텝에서 양자화 된 후, 가변장 부호화 회로(58)에 입력된다.

가변장 부호화 회로(58)는 양자화 회로(57)에서 공급되는 양자화 스텝(스케일)에 대응해서 양자화 회로(57)에서 공급되는 화상 데이타(지금의 경우, I 픽쳐의 데이타)를 예컨대 허프만(Huffman) 부호등의 가변장 부호로 변환하고 송신 버퍼(59)에 출력한다.

가변장 부호화 회로(58)에는 또, 양자화 회로 (57)에서 양자화 스텝(스케일), 예측 판정 회로(54)에서 예측 모드(인트라 부호화 모드, 전방 예측 모드, 후방 예측 모드 또는 양방향 예측 모드중의 어느 하나가 설정되었는가를 나타내는 모드), 움직임 벡터 검출 회로(50)에서 움직임 벡터, 예측 판정 회로(54)에서 예측 플래그(프레임 예측 모드 또는 필드 예측 모드중의 어느 하나가 설정되었는가를 나타내는 플래그) 및 DCT 모드 전환 회로(55)가 출력하는 DCT 플래그(프레임 DCT 모드 또는 필드 DCT 모드중의 어느 하나가 설정되었는가를 나타내는 플래그)가 입력되고 있으며 이것들도 가변장 부호화된다.

송신 버퍼(59)는 입력된 데이타를 일시 축적하고 축적량에 대응하는 데이타를 양자화 회로(57)에 출력한다.

송신 버퍼(59)는 그 데이타 잔량이 허용 상한치까지 증량하면, 양자화 제어 신호에 의해서 양자화 회로(57)의 양자화 스케일을 크게 함으로써 양자화 데이타의 데이타량을 저하시킨다. 또, 이것과는 역으로 데이타 잔량이 허용 하한치까지 감소하면 송신 버퍼(59)는 양자화 제어 신호에 의해서 양자화 회로(57)의 양자화 스케일을 작게 함으로서 양자화 데이타의 데이타량을 증대시킨다. 이와 같이 해서 송신 비퍼(5a)의 오버플로우 또는 언더플로우가 방지된다.

그리고, 송신 버퍼(59)에 축적된 데이타는 소정의 타이밍으로 판독되어 출력 단자(69)를 거쳐서 전송로에 출력되며 예컨대 기록 매체(3)에 기록된다.

한편, 양자화 회로(57)에서 출력된 I 픽쳐의 데이타는 역 양자화 회로(60)에 입력되며 양자화 회로(57)에서 공급되는 양자화 스텝에 대응해서 역양자화된다. 역양자화 회로(60)의 출력은 IDCT(역 DCT) 회로(61)에 입력되며 역 DCT 처리된 후, 연산기(62)를 거쳐서 프레임 메모리(63)의 전방 예측 화상부(63a)에 공급되어 기억된다.

그런데, 움직임 벡터 검출 회로(50)는 시퀀셜에 입력되는 각 프레임의 화상 데이타를 예컨대, 상술한 바와 같이 I, B, P, B, P, B...의 픽쳐로서 각각 처리하는 경우, 최초에 입력된 프레임의 화상을 B 픽쳐로서 처리하기 전에 또한 그 다음에 입력된 프레임의 화상 데이타를 P 픽쳐로서 처리한다. B 픽쳐는 후방 예측 및 양방향 예측을 동반하는 가능성이 있기 때문에 후방 예측 화상으로서의 P 픽쳐가 먼저 준비되어 있지 않으민 복호할 수 없기 때문이다.

그래서, 움직임 벡터 검출 회로(50)는 I 픽쳐의 처리 다음에 후방 원화상부(51c)에 기억되어 있는 P 픽쳐의 화상 데이타의 처리를 개시한다. 그리고, 상술한 경우와 마찬가지로 매크로블록 단위에서의 인트라 부호화 모드의 평가치 및 프레임간 차분(예측 오차)의 절대치 합이 움직임 벡터 검출 회로(50)부터 예측 판정 회로(54)에 공급된다. 예측 판정 회로(54)는 이 P 픽쳐의 매크로 블록의 인트라 부호화 모드의 평가치 및 예측 오차의 절대치 합에 대응해서 프레임 예측 모드, 필드 예측 모드중의 어느 하나의 예측 모드 및 인트라 부호화 모드, 전방 예측 모드중의 어느 하나의 예측 모드인가를 매크로블록 단위로 설정한다.

연산부(53)는 인트라 부호화 모드가 설정되었을 때 스위치(53d)를 상술한 바와 같이 접점 a 측으로 전환한다. 따라서, 이 데이타는 I 픽쳐의 데이타와 마찬가지로 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변장 부호화 회로(58) 및 송신 버퍼(59)를 거쳐서 전송로에 전송된다. 또, 이 데이타는 역양자화 회로(60),IDCT 회로(61), 연산기(62)를 거쳐서 프레임 메모리(63)의 후방 예측 화상부(63b)에 공급되어 기억된다.

한편, 전방 예측 모드시, 스위치(53d)가 접점 b로 전환되는 동시에 프레임 메모리(63)의 전방 예측 화상부(63a)에 기억되어 있는 화상(지금의 경우, I 픽쳐의 화상) 데이타가 판독되며 움직임 보상 회로(64)에 의해 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응해서 움직임 보상된다. 즉, 움직임 보상 회로(64)는 예측 판정 회로(54)에서 전방 예측 모드의 설정이 지령되었을 때, 전방 예측 화상부(63a)의 판독 어드레스를 움직임 벡터 검출 회로(50)가 지금 출력하고 있는 매크로블록의 위치에 대응하는 위치로부터 움직임 벡터에 대응하는 분만큼 어긋나게 해서 데이타를 판독하고 예측 화상 데이타를 생성한다.

움직임 보상 회로(64)에서 출력된 예측 화상 데이타는 연산기(53a)에 공급된다. 연산기(53a)는 예측 모드 전환 회로(52)에서 공급된다. 연산기(53a)는 예측 모드 전환 회로 (52)에서 공급된 참조화상이 매크로블록의 데이타로부터 움직임 보상 회로(64)에서 공급된 이 매크로블록에 대응하는 예측 화상 데이타를 감산하고 그 차분(예측 오차)을 출력한다. 이 차분 데이타는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로 (57), 가변장 부호화 회로(58), 송신 버퍼(59)를 거쳐서 전송로에 전송된다. 또, 이 차분 데이타는 역 양자화 회로(60), IDCT 회로(61)에 의해 국소적으로 복호되어 연산기(62)에 입력된다.

이 연산기(62)에는 연산기(53a)에 공급되어 있는 예측 화상 데이타와 동일 데이타가 공급되어 있다. 연산기(62)는 IDCT 회로(61)가 출력하는 차분 데이타에 움직임 보상 회로(64)가 출력하는 예측 화상 데이타를 가산한다. 이것으로 원(복호한) P 픽쳐의 화상 데이타가 얻어진다. 이 P 픽쳐의 화상 데이타는 프레임 메모리(63)의 후방 예측 화상부(63b)에 공급되며 기억된다. 또한, 실제로는 연산기(62)에 공급되는 IDCT 회로의 출력하는 차분 데이타의 데이타 구조와 예측 화상 데이타의 데이타 구조와는 같을 필요가 있기 때문에 프레임/필드 예측 모드와 프레임/필드 DCT 모드가 상이한 경우에 대비해서 데이타의 재배치를 행하는 회로가 필요한데 편의상 생략한다.

움직임 벡터 검출 회로(50)는 이와 같이 I 픽쳐와 P 픽쳐의 데이타가 전방 예측 화상부(63a)와 후방 예측 화상부(63b)에 각각 기억된 후, 다음에 B 픽쳐의 처리를 실행한다. 예측 판정 회로(54)는 매크로블록 단위에서의 인트라 부호화 모드의 평가치 및 프레임간 차분의 절대치합의 크기에 대응해서 프레임/ 필드 예측 모드를 설정하고 또, 예측 모드를 인트라 부호화 모드, 전방 예측 모드, 후방 예측 모드 또는 양방향 예측 모드중의 어느 하나에 설정한다.

상술한 바와 같이 인트라 부호화 모드 또는 전방 예측 모드인 때, 스위치(53d)는 접점 a 또는 접점 b로 전환된다. 이때, P 픽쳐에서의 경우라 마찬가지의 처리가 행해지며 데이타가 전송된다.

이것에 대해서 후방 예측 모드 또는 양방향 예측 모드가 설정된 때, 스위치(53d)는 접점 c는 접점 d로 각각 전환된다.

스위치(53d)가 접점 c로 전환되어 있는 후방 예측 모드인 때, 후방 예측 화상부(63b)에 기억되어 있는 화상 (지금의 경우, P 픽쳐의 화상) 데이타가 판독되며 움직임 보상 회로(64)에 의해 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응해서 움직임 보상된다. 즉, 움직임 보상 회로(64)는 예측 판정 회로(54)에서 후방 예측 모드의 설정이 지령되었을 때, 후방 예측 화상부(63b)의 판독 어드레 움직임 벡터 검출 회로(50)가 지금 출력하고 있는 매크로 블록의 위치에 대응하는 위치로부터 움직임 벡터에 대응하는 분만큼 어긋나게 해서 데이타를 판독하고 예측 화상 데이타를 생성한다.

움직임 보상 회로(64)에서 출력된 예측 화상 데이타는 연산기(53b)에 공급된다. 연산기(53b)는 예측 모드 전환 회로(52)에서 공급된 참조 화상의 매크로블록의 데이타로부터 움직임 보상 회로(64)에서 공급된 예측 화상 데이타를 감산해서 이 차분을 출력한다. 이 차분 데이타는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변장 부호 회로(58), 송신 버퍼(59)를 거쳐서 전송로에 전송된다.

스위치(53d)가 접점 d로 전환되어 있는 양방향 예측 모드인 때, 전방 예측 화상부(63a)에 기억되어 있는 화상(지금의 경우,I 픽쳐의 화상) 데이타와 후방 예측 화상부(63b)에 기억되어 있는 화상(지금의 경우, P 픽쳐의 화상) 데이타가 판독되며 움직임 보상 회로(64)에 의해 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응해서 움직임 보상된다. 즉, 움직임 보상 회로(64)는 예측 판정 회로(54)에서 양방향 예측 모드의 설정이 지령된 때, 전방 예측 화상부(63a)와 후방 예측 화상부(63b)의 판독 어드레스를 움직임 벡터 검출 회로(50)가 지금 출력하고 있는 매크로블록의 위치에 대응하는 위치로부터 움직임 벡터(이 경우의 움직임 벡터는 프레임 예측 모드의 경우, 전방 예측 화상용과 후방 예측 화상용인 2 개, 필드 예측 모드의 경우는 전방 예측 화상용에 2 개, 후방 예측 화상용의 2 개인 합계 4 개로 된다)에 대응하는 분만큼 어긋나게 해서 데이타를 판독하여 예측 화상 데이타를 생성한다.

움직임 보상 회로(64)에서 출력된 예측 화상 데이타는 연산기(53c)에 공급된다. 연산기(53c)는 움직임 벡터 검출 회로(50)에서 공급된 참조화상의 매크로블록의 데이타로부터 움직임 보상 회로(64)에서 공급된 예측 화상 데이타의 평균치를 감산하고, 그 차분을 출력한다. 이 차분 데이타는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변장 부호화 회로(58), 송신 버퍼(59)를 거쳐서 전송로에 전송된다.

B 픽쳐의 화상은 다른 화상의 예측 화상으로 되는 일이 없기 때문에 프레임 메모리(63)에는 기억되지 않는다.

또한, 프레임 메모리(63)에 있어서, 전방 예측 화상부 (63a)와 후방 예측 화상부(63b)는 필요에 따라서 뱅크 전환이 행해지며, 소정의 참조화상에 대해서 한쪽 또는 다른 쪽에 기억되고 있는 것을 전방 예측 화상 또는 후방 예측 화상으로서 전환해서 출력할 수 있다.

이상에 있어서는, 휘도 블록을 중심으로 해서 설명했지만, 색차 블록에 대해서도 마찬가지로 제 28a 도, 제 28b 도 및 제 29a 도, 제 29b 도에 도시하는 매크로블록을 단위로 하여 처리되어 전송된다. 또한, 색차 블록을 처리하는 경우의 움직임 벡터는 대응하는 휘도 블록의 움직임 벡터를 수직방향과 수평 방향에 각각 1/2로 한 것이 이용되고 있다.

다음에, 제 30 도는 제 25 도의 디코더(31)의 일례의 구성을 도시하는 블록도이다. 전송로(기록매체 3)를 거쳐서 전송된 부호화된 화상 데이타는 도시하지 않는 수신 회로에서 수신되거나 재생 장치에서 재생되고 입력단자(80)를 거쳐서 수신 버퍼(81)에 일시 기억된 후, 복호 회로(90)의 가변장 복호화 회로(82)에 공급된다. 가변장 복호화 회로(82)는 수신 버퍼(81)에서 공급된 데이타를 가변장 복호화하고 움직임 벡터, 예측 모드, 예측 플래그 및 DCT 플래그를 움직임 보상 회로(87)에 또, 양자화 스텝을 역 양자화 회로(83)에 각각 출력하는 동시에 부호화된 화상 데이타를 역 양자화 회로(83)에 출력한다.

역 양자화 회로(83)는 가변장 복호화 회로(82)에서 공급된 화상 데이타를 마찬가지로 가변장 복호화 회로 (82)에서 공급된 양자화 스텝을 따라서 역 양자화 하고 IDCT 회로(84)에 출력한다. 역 양자화 회로(83)에서 출력된 데이타 (DCT 계수)는 IDCT 회로(84)에서 역 DCT 처리되어 연산기(85)에 공급된다.

IDCT 회로(84)에서 공급된 화상 데이타가 I 픽쳐의 데이타인 경우, 그 데이타는 연산기(85)에서 출력되며 연산기(85)에 후에 입력되는 화상 데이타(P 또는 B 픽쳐의 데이타)의 예측 화상 데이타 생성을 위해서 프레임 메모리(86)의 전방 예측 화상부(86a)에 공급되어 기억된다. 또, 이 데이타는 포맷 변환 회로(32)(제 25도)에 출력된다.

IDCT 회로(84)에서 공급된 화상 데이타가 그 1 프레임 전의 화상 데이타를 예측 화상 데이타로 하는 P 픽쳐의 데이타이고 전방 예측 모드에서 부호화된 매크로 블록의 데이타인 경우, 프레임 메모리(86)의 전방 예측 화상부(86a)에 기억되어 있는 1 프레임 전의 화상 데이터(I 픽쳐의 데이타)가 판독되며 움직임 보상 회로(87)에서 가변장 복호화 회로(82)에서 출력된 움직임 벡터에 대응하는 움직임 보상이 실시된다. 그리고 연산기(85)에 있어서 IDCT 회로(84)에서 공급된 화상 데이타(차분의 데이타)와 가산되어 출력된다. 이 가산된 데이타, 즉, 복호화된 P 픽쳐의 데이타는 연산기(85)에 후에 입력되는 화상 데이타(B 픽쳐 또는 P 픽쳐의 데이타)의 예측 화상 데이타 생성을 위해서 프레임 메모리(86)의 후방 예측 화상부(86b)에 공급되어 기억된다.

P 픽쳐의 데이타라도 인트라 부호화 모드로 부호화된 매크로 블록의 데이타는 I 픽쳐의 데이타와 마찬가지로, 연산기(85)에서 특히 처리는 행하지 않고 그대로 후방예측 화상부(86b)에 기억된다.

이 P 픽쳐는 다음의 B 픽쳐의 다음에 표시되어야 할 화상이기 때문에 이 시점에서는 아직 포맷 변환 회로(32)로 출력되지 않는다(상술 같이 B 픽쳐의 후에 입력된 P 픽쳐가 B 픽쳐보다 먼저 처리되어 전송되어 있다).

IDCT 회로(84)에서 공급된 화상 데이타가 B 픽쳐의 데이타인 경우, 가변장 복호화 회로(82)에서 공급된 예측 모드에 대응해서 프레임 메모리(86)의 전방 예측 화상부(86a)에 기억되어 있는 I 픽쳐의 화상 데이타(전방 예측 모드인 경우), 후방 예측 화상부(86b)에 기억되어 있는 P 픽쳐의 화상 데이타 (후방 예측 모드인 경우) 또는 그 양쪽의 화상 데이타(양방향 예측 모드의 경우)가 판독되며 움직임 보상 회로(87)에 있어서 가변장 복호화 회로(82)에서 출력된 움직임 벡터에 대응하는 움직임 보상이 실시되어 예측 화상이 생성된다. 다만, 움직임 보상을 필요로 하지 않는 경우(인트라 부호화 모드의 경우), 예측 화상은 생성되지 않는다.

이 같이 해서, 움직임 보상 회로(87)에서 움직임 보상이 실시된 데이타는 연산기(85)에 있어서 IDCT 회로(84)의 출력과 가산된다. 이 가산 출력은 출력 단자(91)를 거쳐서 포맷 변환 회로(32)에 출력된다.

다만, 이 가산 출력은 B 픽쳐의 데이타이며 다른 화상의 예측 화상 생성 때문에 이동되는 일이 없기 때문에 프레임 메모리 (86)에는 기억되지 않는다.

B 픽쳐의 화상이 출력된 후, 후방 예측 화상부(86b)에 기억되어 있는 P 픽쳐의 화상 데이타가 판독되며 움직임 보상 회로(87) 및 연산기(85)를 거쳐서 재생 화상으로서 출력된다. 다만 이때 움직임 보상 및 가산은 행하지 않는다.

또한, 이 디코더(31)에는 제 27 도의 엔코더(18)에 있어서의 예측 모드 전환 회로(52)와 DCT 모드 전환 회로(55)에 대응하는 회로가 도시되어 있지 않으나 이들 회로에 대응하는 처리, 즉, 홀수 필드와 짝수 필드의 라인의 신호가 분리된 구성을 원래의 혼재하는 구성에 필요에 따라서 되돌리는 처리는 움직임 보상 회로(87)가 실행한다.

또, 이상에 있어서는, 휘도 신호의 처리에 대해서 설명했지만 색차 신호의 처리도 마찬가지로 행해진다. 다만, 이 경우, 움직임 벡터는 휘도 신호용의 것을 수직방향 및 수평방향에 1/2로 한 것이 이용된다.

이상, 계층 부호화를 이행하지 않는 부호화와 복호화의 예에 대해서 설명했지만, 계층 부호화함으로서 보다 고해상도의 화상과 저해상도의 화상을 전송하는 것이 알려져 있다. 이 경우, 예컨대 고해상도의 입력 화상이 제 31 도에 도시하는 회로에 의해서 다운 샘플링된다. 즉, 고해상도의 입력 화상의 신호가 로우 패스 필터(91)에 입력되며 불필요한 고역성분이 제거된다. 로우 패스 필터(91)에 의해서 소정의 주파수 대역에 제한된 신호는 솎음 회로(92)에 입력되며 2 개에 1 개의 비율로 화소가 솎아내어진다. 이것으로 1/4의 해상도의 화상 신호와 더불어 전송된다.

1/4의 화상도의 회상 신호는 상술 같이 해서 엔코드되어 전송된다. 한편, 고해상도의 화상 신호도 엔코드되어 1/4의 해상도의 화상 신호와 더불어 전송된다.

이 고해상도의 화상 신호는 부호화하는데 1/4의 해상도의 화상 신호를 부호화한 신호를 복원해서 얻어지는 신호로부터 고해상도의 화상 신호의 예측 화상 신호가 생성된다. 이 예측 화상 신호를 생성하는데 예컨대, 제 32 도에 도시하는 보간 회로(95)가 이용된다.

이 보간 회로(95)에는 1/4의 해상도의 영상 신호를 부호화한 신호를 복호화 하여 얻어지는 신호가 입력된다. 보간 회로(95)는 이 신호를 제 33 도에 도시하듯이 보간한다(업 샘플링한다).

즉, 휘도 데이타의 존재하지 않는 자신의 휘도 데이타를 그 상하의 라인에 위치하는 휘도 데이타의 값을 각각 1/2로 한 후, 가산(평균한다)하는 것에 의해서 생성한다. 제 31 도에 도시한 다운 샘플링 회로에 의해 다운 샘플링된 때, 대역 제한이 있기 때문에 이 업 샘플링에 의해 공간 주파수가 넓어지는 것은 아니지만 해상도는 2 배로 할 수 있다.

이 같이 해서 생성된 예측 화상 신호를 바탕으로 해서 고해상도의 화상 신호가 부호화되어 전송된다.

디코더측에 있어서는,1/4의 해상도의 화상 신호를 상술한 경우와 마찬가지로 해서 복호한다(디코드한다). 또,1/4의 해상도의 화상 신호를 복호할 때 해상도의 화상 신호의 예측 화상 신호를 생성한다. 그리고, 이 예측 화상 신호를 이용하여 고해상도의 화상 신호를 디코드한다(복호한다). 디코더측에 있어서 예측 화상 신호를 생성하는 경우에 있어서도 제 32 도에 도시한 것과 같은 보간 회로가 이용된다.

이상과 같이, 종래의 화상 신호 부호화 방법 및 복호학 방법에 있어서는, 계층 부호화 및 복호화를 행하는 경우, 고해상도의 화상 신호를 2:1의 비율로 다운 샘플링하고 저해상도의 화상 신호를 생성하게 하고 있다. 그 결과, 예컨대 하이비젼으로 대표되는 고품위 텔레비젼 신호를 고해상도의 화상 신호로 할 때, 이것을 2:1의 비율로 다운 샘플링한 저해상도의 화상 신호를 부호화하고 전송한 경우, 그 아스펙트비는 16:9 그대로이므로 4:3의 아스펙트비를 갖는 NTSC 방식의 텔레비젼 수상기에 있어서 1/4의 해상도의 화상 신호를 모니터할 수 없는 과제가 있었다.

[발명의 개시]

본 발명은 이 같은 상황을 감안해서 이뤄진 것이며 16:9의 아스펙트비를 갖는 고해상도의 화상 신호를 다운 샘플링해서 얻어진 저해상도의 화상 신호를 종래의, 예컨대, NTSC 방식의 수상기에서 모니터 할 수 있게 하는 것이다.

본 발명에 관한 화상 신호 부호화 방법은 화상 신호를 해상도가 낮은 화상 신호와 해상도가 높은 화상 신호로 분해하고 해상도가 낮은 화상 신호를 부호화한 신호를 복호화하여 얻어지는 신호로부터 해상도가 높은 화상 신호의 예측 화상 신호를 생성하고 생성된 예측 화상 신호를 이용하여 해상도가 높은 화상 신호를 부호화하는 화상 신호 부호화 방법에 있어서 해상도가 높은 화상 신호를 상이한 아스펙트비가 되게 소정의 해상도로 공간 필터링을 이용하여 솎음을 행하고 해상도가 낮은 화상 신호를 생성하고 해상도가 낮은 화상 신호를 부호화한 신호를 복호화하여 얻어지는 신호를 원래의 아스펙트비가 되게 소정의 해상도로 공간 필터링을 이용하여 해상도가 높은 화상 신호의 예측 화상 신호를 생성하고 생성된 예측 화상 신호를 이용하여 해상도가 높은 화상 신호를 부호화하는 것을 특징으로 한다.

해상도가 높은 화상 신호는 세로에 1/2 배하고 가로에 3/8 배 함으로서, 스퀴즈 방식의 해상도가 낮은 화상 신호로 할 수 있다. 이때, 해상도가 낮은 화상 신호를 부호화한 신호를 복호화하여 얻어지는 신호를 세로에 2 배, 가로에 8/3 배하고 고해상도의 예측 화상 신호를 생성할 수 있다. 이 방법은 예컨대, 가로 방향의 화소수가 1920 개, 세로 방향의 화소수가 960 개인 고해상도의 화상 신호, 또는 가로 방향의 화소수가 1920 개, 세로 방향의 화소수가 1152 개인 고해상도의 화상신호에 적용할 수 있다.

또, 고해상도의 화상 신호를 세로에 7/15배하고 가로에 3/8배 할 수 있다.

이 방법은 가로 방향의 화소수가 1920 개, 세로 방향의 화소수가 1024 개인 고해상도의 화상 신호에 적용할 수 있다.

본 발명에 관한 화상 신호 부호화 방법은 화상 신호를 해상도가 낮은 화상신호와 해상도가 높은 화상 신호로 분해하고 해상도가 낮은 화상 신호를 부호화한 신호를 복호화하여 얻어지는 신호로부터 해상도가 높은 화상 신호의 예측 화상 신호를 생성하고 생성된 예측 화상 신호를 이용하여 해상도가 높은 화상 신호를 세로에 3/8 배, 또한 가로에 3/8 배의 해상도로 공간 필터링을 이용하여 솎음을 행하고 레터박스 방식의 해상도가 낮은 화상 신호를 생성하고 해상도가 낮은 화상 신호를 부호화한 신호를 복호화하여 얻어지는 신호를 세로에 8/3 배, 또한 가로에 8/3 배의 해상도로 공간 필터링을 이용하여 해상도가 높은 화상 신호의 예측 화상 신호를 생성하고 생성된 예측 화상 신호를 이용하여 해상도가 높은 화상 신호를 부호화하는 것을 특징으로 한다.

이 방법은 가로 방향의 화소수가 1920 개, 세로 방향의 화소수가 960 개인 고해상도의 화상 신호 또는 가로 방향의 화소수가 1920 개, 세로 방향의 화소수가 1152 개인 화상 신호에 적용할 수 있다.

또, 해상도가 높은 화상 신호를 세로에 7/20 배, 또한 가로에 3/8 배해서 솎음을 행하고 레터박스 방식의 해상도가 낮은 화상 신호를 생성하고 해상도가 낮은 화상 신호를 부호화한 신호를 복호화하여 얻어지는 신호를 세로에 20/7 배, 가로에 8/3 배의 해상도로 공간 필터링을 이용하여 해상도가 높은 화상 신호의 예측 화상신호를 생성하게 할 수 있다. 이 방법은 가로 방향의 화소수가 1920 개, 세로 방향의 화소수가 1024 개인 고해상도의 화상 신호에 적용할 수 있다.

혹은 또, 해상도가 높은 화상 신호를 세로에 1/3 배하고 가로에 3/8 배로 하는 것도 가능하다.

이들 화상 신호 부호화 방법에 대응하는 화상 신호 복호화 방법을 실현할 수 있다. 또, 이들 방법을 적용해서 부호화 장치와 복호화 장치를 실현할 수 있다.

본 발명에 관한 화상 신호 부호화 방법에 있어서는 해상도가 높은 화상 신호로부터 상이한 아스펙트비가 되게 해상도가 낮은 화상 신호가 생성된다. 따라서, 예컨대 16:9의 아스펙트비를 갖는 고해상도의 화상 신호에서 4:3의 아스펙트비를 갖는 저해상도의 화상 신호를 생성할 수 있다. 그 결과, 예컨대 하이비젼의 화상 신호를 저해상도의 화상 신호로 변환해서 전송하고 NTSC 방식의 수상기에서 모니터하는 것이 가능해진다.

[발명을 실시하기 위한 최량의 형태]

제 1 도는 본 발명의 화상 신호 부호화 장치(엔코더)의 일실시예의 구성을 도시하는 블록도이다. 이 실시예에 있어서는 계층 부호화가 행해지게 되어 있다. 도면중, 100 번대의 부호를 병기해서 도시하는 블록이 저해상도의 화상 신호의 처리를 행하는 블록이며 200 번대의 부호를 병기해서 도시하는 블록이 고해상도의 화상 신호를 처리하는 블록이다. 각 계층의 처리를 행하는 각 블록은 기본적으로 제 27 도에 도시한 엔코더와 마찬가지의 구성으로 되어 있으며 제 1 도에 있어서 100 번대와 200 번대의 부호의 아래 2 자리는 제 27 도에 있어서의 대응하는 기능의 블록의 2 자리의 부호와 일치시키고 있다.

또한, 제 1 도에 있어서는, 간단하게 하기 위해, 제 27 도에서의 예측 모드 전환 회로(52) 및 DCT 모드 전환 회로(55)의 도시를 생략하고 있는데 제 1 도의 실시예에 있어서도 대응하는 회로가 삽입되어 있다. 또, 제 27 도에서의 예측 판정 회로 (54)는 간단하게 하기 위해 제 1 도에는 도시되어 있지 않으나 제 1 도에서의 연산부(153)는 이 예측 판정 회로(54)도 포함하는 것으로 한다.

입력 화상으로서 고해상도 화상(201)이 준비된다. 이것은 계층 부호화를 위해서 다운 샘플링 회로(301)를 거쳐서 1/4 해상도 화상(101)으로 변환된다. 다운 샘플링 회로(301)는 제 2 도에 도시하듯이 대역제한을 위한 로우 패스 필터(901)와 데이타를 솎아내는 솎음 회로(902)에 의해 구성된다. 이 다운 샘플링 회로(301)의 동작의 상세한 설명에 대해선 후술한다.

1/4 해상도 화상(101)의 처리는 기본적으로 제 27 도에 도시한 경우와 마찬가지임으로 간단하게 설명한다. 1/4 해상도 화상(101)은 움직임 벡터 검출 회로(150)에 입력된다. 입력된 화상은 미리 설정된 화상 시퀀스(I 픽쳐, P 픽쳐, B 픽쳐등의 처리하는 차례)에 따라서 프레임 메모리(151)에서 필요한 화상을 매크로블록 단위로 판독되며 참조 원 화상과 전방 원 화상 또는 후방 원 화상과의 사이, 또 그 양쪽과 사이에서 움직임 벡터가 검출된다.

연산부(153)는 움직임 벡터 검출 회로(150)에서 계산된 블록 단위에서의 프레임간 차분의 절대치 합을 바탕으로 참조 블록의 예측 모드를 결정한다. 또, 연산부(153)에서 결정된 예측 모드가 가변장 부호화 회로(VLC) (158)에 공급된다.

연산부(153)는 이 예측 모드를 바탕으로 블록 단위로 인트라 부호화 모드, 전방 예측 모드, 후방 예측 모드 또는 양방향 예측 모드의 전환을 행하고 인트라 부호화 모드의 경우는 입력 화상 그 자체를 전방, 후방 또는 양방향 예측 모드의 경우는 각각의 예측 화상으로부터의 프레임간 부호화 데이타(차분 데이타)를 발생하고 해당 차분 데이타를 연산부(153)를 거쳐서 DCT 회로(156)에 공급한다.

DCT 회로(156)는 화상 신호의 2 차원 상관을 이용해서 입력 화상 데이타 또는 차분 데이타를 블록 단위로 디스크리트 코사인 변환하고 그 결과 얻어지는 변환 데이타를 양자화 회로(Q)(157)에 출력하게 되어 있다.

양자화 회로(157)는 매크로 블록 및 슬라이스마다 정해지는 양자화 스텝 사이즈로 DCT 변환 데이타를 양자화하고 그 결과 출력단에 얻어지는 양자화 데이타를 가변장 부호화 (VLC) 회로(158) 및 역양자화 회로(IQ)(160)에 공급한다.

양자화에 쓰이는 양자화 스케일은 송신 버퍼 메모리(159)의 버퍼 잔량을 피드백함으로써 송신 버퍼 메모리(159)가 파탄하지 않는 값에 결정된다. 이 양자화 스케일도 양자화 회로(157)부터 가변장 부호화 회로(158) 및 역양자화 회로(160)에 양자화 데이타와 더불어 공급된다.

여기에서 VLC 회로(158)는 양자화 데이타를 양자화 스케일, 매크로블록 타입(예측 모드), 움직임 벡터와 더불어 가변장 부호화 처리하고 전송 데이타로서 송신 버퍼 메모리(159)에 공급한다.

최종적으로 1/4 해상도 화상의 비트 스트림(109)은 (예측 모드＞ ＜움직임 벡터＞ ＜DCT 계수＞의 차례로 전송된다.

역양자화 회로(160)는 양자화 회로(157)에서 송출되는 양자화 데이타를 대표치로 역양자화함으로써 역양자화 데이타로 변환하고 역양자화 데이타를 디스크리트 코사인 역변환(IDCT) 회로(161)에 공급하게 되어 있다. IDCT 회로(161)는 역양자화 회로(160)에서 복호화된 역양자화 데이타를 DCT 회로(156)와는 역인 변환 처리로 복호 화상 데이타로 변환하고 연산기(162)를 거쳐서 프레임 메모리(163)에 출력하게 되어 있다.

움직임 보상 회로(MC)(164)는 매크로블록 타입, 움직임 벡터, 프레임/필드 예측 플래그, 프레임/필드 DCT 플래그를 바탕으로 프레임 메모리(163)에 기억되어 있는 데이타에 움직임 보상을 행하고 예측 화상 신호를 생성한다. 연산기(162)는 이 예측 화상 신호와 IDCT 회로(161)의 출력 데이타(차분 데이타)를 가산하고 국소적인 복호를 행한다. 복호 화상은 전방 예측 화상 또는 후방 예측 화상으로서 프레임 메모리(163)에 기록된다.

프레임 메모리(163)에서는 필요에 따라서 뱅크 전환이 행해진다. 이것으로 부호화하는 화상에 따라서 단일 프레임이 후방 예측 화상으로서 출력되거나 전방 예측 화상으로서 출력되거나 한다. 전방, 후방 또는 양방향 예측의 경우는 예측 화상으로부터의 차분이 IDCT 회로(161)의 출력으로서 보내지기 때문에 이 차분을 연산기(162)에서 움직임 보상 회로(164)에서 출력되는 예측 화상에 대해 보태어 넣음으로써 국소적인 복호를 행하고 있다. 이 예측 화상은 디코더로 복호되는 화상과 전혀 동일한 화상이며 다음의 처리 화상은 이 예측 화상을 바탕으로 전방, 후방또는 양방향 예측올 행한다.

이제까지의 설명이 1/4 해상도 화상의 부호화 순서인데 상기한 연산기(162)의 출력은 고해상도 화상 신호의 공간적(Spatial) 예측 화상 신호로서 고해상도 화상의 부호화기측의 업 샘플링 회로(302)에 공급되며 예측에 이용된다.

다음에 고해상도 화상(201)의 부호화 순서를 설명한다. 이 부호화 순서는 예측 화상 신호의 생성 순서를 제외하고 1/4 해상도 화상의 부호화 순서와 전혀 마찬가지다.

고해상도 화상(201)은 움직임 벡터 검출 회로(250)를 거쳐서 연산부(253)에 공급된다. 이 연산부(253)에서는 인트라 부호화와 더불어 프레임 메모리(263)부터의 움직임 보상에 의한 전방, 후방 또는 양방향 예측 또는 1/4 해상도 화상으로부터의 예측을 행한다. 1/4 해상도 화상의 부호화에 있어서 연산기(162)로부터 출력된 화상 데이타는 업 샘플링 회로(302)에 의해서 고해상도 화상과 마찬가지의 해상도로 보간 처리된다. 일반적인 업 샘플링 회로(302)는 예컨대 제 3 도에 도시하듯 이 보간 회로(903)에 의해서 구성된다. 그 동작의 상세한 설명은 후술한다.

업 샘플링 회로(302)에 의해서 생성된 보간 화상은 가중치 부여 회로(303)에 입력된다. 이 가중치 부여 회로(303)에서는 업 샘플링 회로(302)의 출력에 가중치(1-W)가 승산된다. 이것을 제 1의 예측 화상 신호로 한다.

한편, 움직임 보상 회로(264)부터는 전방, 후방 또는 양방향 움직임 보상에 대응해서 시간적(Temporal) 예측 화상이 출력된다. 이 예측 화상에 대해서 가중치 부여 회로(306)에 의해서 가중치W가 승산된다. 이것은 제 2의 예측 화상 신호로 한다.

상기 제 1 및 제 2의 예측 화상 신호가 가산기(304) 또는 (305)에서 가산되고 제 3의 예측 화상 신호가 생성된다. 이 제 3의 예측 화상 신호를 이용해서 연산부(253)에서 예측이 행해진다.

가중치 W는 이 제 3의 예측 화상 신호의 예측 효율이 가장 좋게 되게 가중치 판단 회로(307)에서 결정된다. 동시에, 이 가중치 W는 가변장 부호화 회로(VLC) (258)에 공급되며 부호화 전송된다.

연산부(253)는 상기와 같이 종래의 움직임 보상에 덧붙여서 1/4 해상도 화상을 공간적 예측 화상으로서 사용함으로써 더욱 높은 예측 효율을 얻을 수 있다. 여기에서 예측 모드를 결정한다.

결정한 예측 모드는 가변장 부호화 회로(258)에 공급되며 부호화 전송된다. 또, 이 예측 데이타는 DCT 회로(256)에 공급된다. 기타의 처리는 1/4 해상도 화상의 부호화와 마찬가지이다.

최종적으로, 고해상도 화상의 비트 스트림(209)은 ＜예측 모드＞ ＜움직임 벡터＞ ＜가중치 W＞ ＜DCT 계수＞의 차례로 전송된다.

다음에, 이 같이 계층 부호화되고, 전송된 데이타의 복호화 순서에 관해서 설명한다.

제 4 도에 계층 부호화 데이타의 디코더의 블록 다이어그램을 도시한다. 동 도면에서 400 번대의 부호는 1/4 해상도의 화상 신호를 디코드하는 블록을 나타내며, 500 번대의 부호는 고해상도의 화상 신호를 디코드하는 블록을 나타내고 있다. 각 블록의 기본적 동작을 제 30 도의 도시한 경우와 마찬가지며 각 블록의 아래 2자리의 부호는 제 30 도의 대응하는 블록의 2 자리의 번호와 일치시키고 있다.

1/4 해상도의 비트 스트림(401)(제 1 도의 송신 버퍼 (159)의 출력(109)에 대응한다)은 종래와 마찬가지로 복호화된다. 전송 미디어(예컨대, 제 25 도의 기록 매체 3)를 거쳐서 1/4 해상도 비트 스트림(401)이 입력된다. 이 비트 스트림은 수신 버퍼(481)를 거쳐서 가변장 복호화(IVLC) 회로(482)에 입력된다. 가변장 복호화 회로(482)는 비트 스트림에서 양자화 데이타, 움직임 벡터, 매크로블록 타입, 양자화 스케일, 프레임/필드 예측 플래그, 프레임/필드 DCT 플래그를 복호한다. 이 양자화 데이타와 양자화 스케일은 다음의 역양자화 회로(IQ)(483)에 입력된다.

역양자화 회로(483),IDCT 회로(484), 연산기(485), 프레임 메모리(486), 움직임 보상 회로(487)의 동작은 제 30 도의 디코더의 설명에서 말한 경우와 마찬가지다. 이들 회로의 처리 출력으로서 1/4 해상도 화상(408)이 얻어진다. 동시에, 복호화한 화상은 다음 화상의 예측을 위해서 프레임 메모리(486)에 축적된다.

한편, 이 프레임 메모리(486)에 축적되는 화상은 고해상도 화상의 복호화에 쓰이는 공간적(Spatial) 예측 화상 신호로서 고해상도 복호화 장치의 업 샘플링 회로(602)에 입력된다. 이 업 샘플링 회로(602)는 제 1 도의 업 샘플링 회로 (302)와 마찬가지로 제 3 도에 도시하듯이 보간 회로(903)에 의해 구성된다. 업 샘플링회로(302)에 의해 업 샘플링된 데이타는 가중치 부여 회로(603)에 공급되며 (1-W)의 가중치가 걸어진다. 이것을 고해상도 복호화 장치에 대한 제 1의 예측 화상으로 한다.

고해상도 복호 장치에서는 1/4 해상도 화상 신호와 전혀 마찬가지의 처리를 거쳐서 복호화가 행해진다. 즉, 전송 미디어를 거쳐서 고해상도 비트 스트림(501)이 입력된다. 이 비트 스트럼은 수신 버퍼(581)를 거쳐서 가변장 복호화(IVLC) 회로(583)에 입력되어 복호화된다.

가변장 복호화된 데이타는 역양자화 회로(IQ)(583), IDCT 회로(584), 연산기(585), 프레임 메모리(586), 움직임 보상 회로(587)에 의해서 처리된다. 움직임 보상 회로(587)부터의 출력은 가중치 부여 회로(604)에 입력되며 가중치 부여 계수 W가 승산되고 제 2의 예측 화상 신호가 형성된다.

이 제 2의 예측 화상 신호와 상기한 1/4 해상도 화상부터의 제 1의 예측 화상 신호는 가산기(605)에서 가산되고 고해상도 복호화 장치에 대한 제 3의 예측 화상 신호로 된다. 이 제 3의 예측 화상 신호가 연산기(585)에 있어서 IDCT 회로(584)의 출력하는 차분 데이타와 가산되며 원래의 고해상도의 화상이 복호화된다. 이 고해상도 화상(503)은 동시에 다음 화상의 예측을 위하여 프레임 메모리(586)에 축적된다.

여기에서 이용되는 가중치 W는 제 1 도의 가중치 부여 회로(306)에서 이용된 가중치 W이며, 비트 스트림(209)(501)의 디코드를 거쳐서 IVLC 회로(582)로부터 얻어진 것이다.

이상과 같이 해서 고해상도 화상의 디코드가 행해진다.

제 5 도는 고해상도 화상과 저해상도 화상의 해상도의 관계의 일례를 도시한 것이다. 즉, 이 예에 있어서는 제 1 도의 고해상도 화상(201)은 가로 H 화소, 세로 V 화소의 해상도를 가지며 이것이 다운 샘플링 회로(301)에 의해서 가로 H x3/8 화소, 세로 V x 1/2 화소의 해상도 화상(161)으로 변환된다. 이 저해상도 화상은 소위 스퀴즈 방식(화상이 세로로 길게 된다)의 포맷의 화상이다.

이 같은 다운 샘플링은 제 2 도에 도시하는 구성의 다운 샘플링 회로에 의해서 실현된다. 즉, 입력 신호는 로우 패스 필터(901)에 의해 실현된다. 즉, 입력신호는 로우 패스 필터(901)에 의해 대역 제한된 후, 솎음 회로(902)에 입력되며 가로 3/8, 세로 1/2로 솎음된다.

제 6 도는 다운 샘플링 회로(301) (솎음 회로(902)의 가로 방향의 솎음의 원리를 도시한다. 간이적으로 솎음을 행하기 위한 일례로서 제 6 도에 도시되는 계수(1,1/3,2/3)는 출력 화소 위치에 대응하는 인접 입력 화소의 거리의 비의 역수를 이용하여 나타내어진다. 인접 화소의 화소값에 이 계수를 곱해서 보태어 넣은 값이 출력 화소의 값으로 된다. 다만, 입력 화소의 위치와 출력 화소의 위치가 동등한 때엔 입력 화소의 값이 그대로 출력 화소의 값이 된다.

즉, 8 개의 입력 화소 a 내지 h 중, 입력 화소 a는 그대로 출력 화소 A로서 출력된다. 입력 화소 c에 1/3을 승산한 값과 입력 화소 d에 2/3를 승산한 값이 가산되어 출력 화소 B 가 생성된다. 또, 입력 화소 f에 1/3을 승산하고 승산 화소 g에 2/3를 승산하고 양쪽을 가산하고 출력 화소 C 가 생성된다. 이 같이 해서 8 개의 입력 화소로부터 3 개의 출력 화소가 보간된다.

제 7 도는 다운 샘플링 회로(301)(솎음 회로(902))의 세로 방향의 솎음의 원리를 나타낸다. 화상의 인터레이스 구조를 고려하고 세로 방향으로 1/2로 솎음을 행한다. 간단하고 쉽게 솎음을 행하기 위한 일례로서 제 7 도에 도시되는 계수(1, 1/2)는 출력 화소 위치에 대응하는 인접 입력 화소의 거리의 비의 역수를 이용하여 나타내어진다. 인접 화소의 인접값에 이 계수를 곱하고 보태어 넣은 값이 출력 화소의 값이 된다. 다만, 입력 화소의 위치와 출력 화소의 위치가 동등한 때는 입력 화소의 값이 그대로 출력 화소의 값으로 된다.

즉, 제 1 필드(F1)에 있어서는 1 라인마다 라인이 솎음된다. 그리고, 제 2 필드(F2)에 있어서는 상하로 인접하는 라인의 입력 화소 a와 b, c와 d, e와 f 등이 1/2의 계수가 승산되어 가산되고 출력 화소 A, B, C 등이 구성된다.

이 같이 해서 제 5 도에 도시하는 가로 3/8 배, 세로 1/2 배의 저해상도 화상이 얻어진다.

제 1 도의 다운 샘플링 회로(301)가 이상과 같이 동작할 때, 제 1 도와 제 4 도의 업 샘플링 회로(302)와 (602)를 구성하는 제 3 도의 보간 회로(903)는 데이타를 가로 8/3 배, 세로 2 배로 보간한다.

제 8 도는 가로 방향의 8/3 배의 보간의 원리를 도시한다. 간단하고 쉽게 보간을 행하기 위한 일례로서 제 8 도에 도시되는 계수(1, 7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8)는 출력 화소 위치에 대응하는 인접 입력 화소의 거리의 역수를 이용하여 나타내어진다. 인접 화소의 화소값에 이 계수를 곱해서 보태어 넣은 값이 출력 화소의 값이 된다. 다만, 입력 화소의 위치와 출력 화소의 위치가 동등한 때는 입력 화소의 값이 그대로 출력 화소의 값이 된다.

즉, 입력 화소 a는 그대로 출력 화소 A로 된다. 입력 화소 a에 계수 5/8를 승산한 값과 입력 화소 b에 3/8을 승산한 값이 가산되어 출력 화소 B로 된다. 이하, 마찬가지로 출력 화소가 보간된다.

제 9 도는 세로 방향의 2 배의 보간의 원리를 도시한다. 화상의 인터레이스 구조를 고려해서 세로 방향으로 2 배의 보간을 행한다. 간단하고 쉽게 보간을 행하기 위한 일례로로서 제 9 도에 도시되는 계수(1, 3/4, 1/2, 1/4)는 출력 화소 위치에 대응하는 인접 입력 화소의 거리의 역수를 이용하여 나타내어진다. 인접 화소의 화소값에 이 계수를 곱해서 보태어 넣은 값이 출력 화소의 값으로 된다. 다만, 입력 화소의 위치와 출력 화소의 위치가 동등한 때엔 입력 화소의 값이 그대로 출력 화소의 값으로 된다.

즉, 제 1의 필드(F1)에 있어서는 입력 화소 a, b, c 등은 그대로 출력 화소 A, C, E 등으로 되며 그간의 예컨대 출력 화소 D는 입력 화소 b와 c에 1/2을 승산한 값을 가산해서 생성된다. 제 2의 필드(F2)에 있어서는, 예컨대 입력 화소 b에 3/4을 승산한 값과 입력 화소 c에 1/4을 승산한 값을 가산해서 출력 화소 D 가 생성된다.

이 제 5 도에 도시하는 실시예에 있어서, 가로 1920 화소, 세로 960 화소의 고해상도 화상을 가로 720 화소, 세로 480 화소의 저해상도 화상으로 하고, 또 가로 1920 화소, 세로 1152 화소의 고해상도 화상을 가로 720 화소, 세로 576 화소의 저해상도 화상으로 할 수 있다.

이것에 의해서 예컨대, 16:9의 아스펙트비의 하이비젼 방식의 화상을 저해상도로 하고 4:3의 아스펙트비의 NTSC 방식의 수상기로 모니터할 수 있다.

제 10 도는 고해상도 화상과 저해상도 화상의 해상도의 관계의 다른 예를 도시한 것이다. 이 예의 고해상도 화상은 가로 H 화소, 세로 V 화소인 해상도를 가지며 저해상도 화상은 가로 H x 3/8 화소, 세로 V x 7/15 화소의 해상도를 갖는다.

이 저해상도 화상도 스퀴즈 방식의 화상이다. 이 실시예의 경우, 솎음의 비율을 가로 3/8, 세로 7/15로 할 필요가 있다. 가로 3/8 배의 다운 샘플링은 제 6 도에 도시한 원리로 실현된다.

제 11 도는 세로 방향으로 7/15로 솎음을 행하는 원리를 도시하고 있다. 이 경우에서도 입력 화소 x, y에 대한 거리 a, b의 비의 역수로 다음식으로 나타내듯 이 가중치 부여함으로서 출력 화소 Z를 얻을 수 있다.

Z = x(b/(a + b) + y(a/(a + b)

이것으로 15 개의 입력 화소로부터 7 개의 출력 화소가 보간된다.

또, 이 실시예의 경우, 업 샘플링에 있어서 솎음의 비율을 가로 8/3, 세로 15/7로 할 필요가 있다. 가로 방향의 8/3 배의 보간은 제 8 도에 도시한 원리로 실현된다.

세로 방향으로 15/7 배하는 업 샘플링은 제 l2 도에 도시하는 원리에 기초해서 실현할 수 있다. 즉, 이 경우에 있어서도 입력 화소 x, y에 대응하는 거리 a, b의 비의 역수로 다음식으로 나타내듯이 가중치 부여함으로서 출력 화소 Z을 얻을수 있다.

Z = x(b/(a + b) + y(a/(a + b)

이 원리에 기초해서 7 개의 입력 화소로 15 개의 출력 화소를 생성하면 된다.

제 10 도의 실시예는 가로 1920 화소, 세로 1024 화소의 고해상도 화상을 가로 720 화소, 세로 483 화소의 저해상도 화상으로 하는 경우에 적용할 수 있다. 세로 1024 화소에 대해서 세로 방향에 7/15 배의 다운 샘플링을 행하면 얻어지는 화소는 세로 483 화소보다 작아지는데 이 경우는 화면의 상하단 부분에 무(無)화상의 수 라인을 부가하는 등의 처리를 행한다.

제 13 도는 또한 다른 실시예를 도시하고 있다. 이 실시예에 있어서는 가로 H 화소, 세로 V 화소의 고해상도의 화상이 가로 H x 3/8 화소, 세로 V x 3/8 화소의 해상도를 갖는 저해상도 화상으로 변환되어 있다. 이 저해상도 화상은 레터박스방식(화소는 왜곡하지 않으나 상하에 무화상 데이타를 삽입해서 표시할 필요가 있다)의 포맷의 화상으로 되어 있다.

즉, 이 실시예에 있어서는 고해상도의 화상이 가로방향과 세로방향에 있어서 같은 비율로 다운 샘플링되기 때문에 저해상도의 화상은 고해상도의 화상과 동일한 아스펙트비를 갖는 것으로 된다. 예컨대, NTSC 방식의 수상기에 있어서는 이 저해상도 화상을 레터박스 방식의 화상으로서 처리한다. 즉, 전송된 화상의 상하에 필요한 수의 라인(무화상)을 부가해서 표시한다.

가로방향의 3/8의 다운 샘플링은 제 6 도에 도시한 원리에 따라서 실현할 수 있다. 또, 세로 방향의 3/8의 다운 샘플링은 예컨대, 제 14 도에 도시하는 원리에 따라서 실현할 수 있다.

즉, 이 실시예에 있어서는 제 1의 필드(Fl)에서 입력 화소 a 가 출력화소 A 로서 그대로 출력되고 입력화소 c에 1/3을 승산한 값과 입력 화소 d에 2/3를 승산한 값을 가산해서 출력화소 B를 생성한다. 또, 입력화소 f에 1/3을 승산한 값과 입력 화소 g에 2/3를 승산한 값을 가산해서 출력화소 C를 생성하고 있다.

한편, 제 2의 필드(F2)에 있어서는 입력 화소 d에 1/6을 승산하고 입력 화소 D에 5/6를 승산하고 양자를 가산해서 출력화소 A가 생성되어 있다. 또, 입력화소 d에 1/2이 승산되고 입력 화소 e에 1/2이 승산되고 양자를 가산해서 출력화소 B가 생성된다. 이상과 같이 해서 8 개의 라인의 데이타로부터 3 개의 라인의 데이타가 생성된다.

가로방향의 8/3 배의 업 샘플링은 상술한 바와 같이 제 8 도에 도시하는 원리에 따라서 실현할 수 있다.

세로 방향의 8/3 배의 업 샘플링은 제 15 도에 도시하는 원리에 따라서 실현할 수 있다. 즉, 제 1의 필드(F1)에 있어서는 입력화소 a가 그대로 출력화소 A로 된다. 출력화소 B는 입력화소 a에 5/8을 승산한 값과 입력화소 b에 3/8을 승산한 값을 가산하여 생성된다. 출력 화소 C는 입력 화소 a에 2/8을 승산한 값과 입력화소 b에 6/8을 승산한 값을 가산하여 생성된다. 이하, 마찬가지로 해서 도시되어 있는 계수를 인접하는 입력화소에 승산한 값을 가산해서 출력화소의 데이타가 생성된다.

제 2의 필드(F2)에 있어서도 마찬가지로 해서 입력 화소에 소정의 계수를 승산하고 출력화소가 생성된다. 이와 같이 해서 3 개의 라인의 데이타로 8 개의 라인의 데이타가 생성된다.

이 제 13 도에 도시하는 실시예는 예컨대 가로 1920 화소, 세로 960 화소의 고해상도 화상을 가로 720 화소, 세로 360 화소의 저해상도 화상으로 다운 샘플링 하는 경우에 적용 할 수 있다.

제 16 도는 또한 다른 실시예를 도시하고 있다. 이 실시예에 있어서는 가로 H 화소, 세로 V 화소의 고해상도 화상이 가로 H x 3/8 화소, 세로 V x 7/20 화소의 저해상도 화상으로 변환된다. 이 저해상도 화상은 레터박스 방식의 포맷화상으로 된다.

가로방향에 3/8 배하는 다운 샘플링은, 예컨대, 제 17 도에 도시하는 원리에 따라서 실현할 수 있다.

세로 방향에 7/20 배 화소 다운 샘플링은, 예컨대, 제 17 도에 도시하는 원리를 따라서 실현할 수 있다. 이 경우에 있어서도 입력 화소 x와 y에 대한 거리 a와 b에 대응해서 다음식을 연산함으로써 출력화소 z를 얻을 수 있다.

z = x (b/(a+b)) + y(a/(a+b))

이 연산에 의해 제 1의 필드(Fl) 및 제 2의 필드(F2)에 있어서 각각 20 개의 라인으로부터 7 개의 라인의 데이타를 생성하면 된다.

가로방향의 8/3 배의 업 샘플링은 제 8 도에 도시하는 원리를 따라서 실현할 수 있다.

세로방향의 20/7 배의 업 샘플링은 예컨대 제 18 도에 도시하는 원리에 따라서 실현할 수 있다. 이 경우에 있어서도 제 1의 필드(Fl)와 제 2의 필드(F2)에 있어서 입력화소 x와 y에 대한 거리 a와 b에 대응해서 다음식에 의한 연산을 행하고 출력화소 z를 얻을 수 있다.

z = x(b/(a+b)) + y(a/(a+b))

이와 같이 해서 각 필드에 있어서 7 개의 라인의 데이타로부터 20 개의 라인의 데이타를 생성한다.

이 제 16 도에 도시하는 실시예는 가로 1920 화소, 세로 1024 화소의 고해상도 화상을 가로 720 화소, 세로 358 화소의 저해상도 화상으로 변환하는 경우에 적용하는 것이 가능하다. 세로 1024 화소에 대해서 세로의 7/20 배의 다운 샘플링을 행하면 얻어지는 화소는 세로 358 화소보다 많아지는데 이 경우는 화면의 위 또는 아래끝의 라인을 삭제하는 등의 처리를 행한다.

제 16 도에 도시하는 세로의 7/20 배의 다운 샘플링을 행하려면 가중 때문의 계수의 수가 많아지며 연산 처리 때문의 회로 구성이 복잡해진다. 그래서, 예컨대, 이 7/20 배의 다운 샘플링을 대신해서 1/3 배의 다운 샘플링으로 할 수 있다. 이 경우의 가로방향의 다운 샘플링은 3/8 배이며 제 16 도에서의 경우와 마찬가지다.

제 19 도는 1/3 배의 다운 샘플링의 원리를 도시하고 있다. 동 도면에 도시하듯이 제 1의 필드(Fl)와 제 2의 필드(F2)에서 각각 3 개의 라인으로부터 1 개의 라인을 솎음(추출)함으로서 1/3 배의 세로방향의 다운 샘플링이 가능하다.

이 경우, 세로방향의 업 샘플링을 3 배로 할 필요가 있는데 예컨대 제 20 도에 도시하는 원리에 따라서 실현할 수 있다. 즉, 이 경우에 있어서도 입력화소에 대해서 소정의 계수를 승산해서 가중치 부여함으로서 각 필드(F1),(F2)에 있어서 1 개의 라인의 데이타로부터 3 개의 라인의 데이타를 생성하게 한다.

이와 같이, 7/20배의 다운 샘플링 및 20/7배의 업 샘플링은 1/3배의 다운 샘플링 및 3 배의 업 샘플링으로 근사함으로써 구성을 간략학하고 저비용의 장치를 실현하는 것이 가능해진다.

이 실시예는 가로 1920 화소, 세로 1024 화소의 고해상도 화상을 가로 720 화소, 세로 341 화소의 저해상도 화상으로 변환하는 경우에 적용하는 것이 가능하다. 세로 1024 화소에 대해서 세로방향의 다운 샘플링을 행하면 얻어지는 화소는 세로 341 화소보다 많아지는데 이 경우는 화면의 상단 또는 하단의 라인을 삭제하는 등의 처리를 행한다.

이상과 같이 해서, 고해상도의 화상과 저해상도의 화상을 각각 부호화해서 전송하고 이것을 복호할 수 있다. 이 전송 미디어로서 예컨대, 광 디스크를 사용하는 경우엔 광 디스크에 이 고해상도의 화상과 저해상도의 화상이 기록되게 된다.

제 21 도는 이 같은 디스크를 제조하는 방법을 도시하고 있다. 즉, 예컨대, 유리 등으로 되는 원반이 준비되며 그 위에 예컨대 포토레지스트 등으로 되는 기록재료가 도포된다. 이것으로 기록용 원반이 제작된다. 한편, 상술한 바와 같이 해서 고해상도의 화상 데이타와 저해상도의 화상 데이타를 포함하는 비트 스트림을 소정의 포맷을 따라서 예컨대 자기 테이프 등에 일단 기록하고 소프트를 제작한다.

이 소프트를 필요에 따라 편집하고 광 디스크에 기록해야 한 포맷의 신호를 생성한다. 그리고 이 기록신호에 대응해서 레이저빔을 변조하고 이 레이저빔을 원반상의 포토 레지스트상에 조사한다. 이것으로 운반상의 포토레지스트가 기록 신호에 대응해서 노광된다.

그 후, 이 원반을 현상하고 원반상에 피트를 출현시킨다. 이와 같이 해서 준비된 원반에, 예컨대, 전기 주조 등의 처리를 실시하고 유리 원반상의 피트를 전사한 금속원반을 제작한다. 이 금속원반으로부터 다시 금속 스탬퍼를 제작하고 이것을 성형용 금형으로 한다.

이 성형용 금형에, 예컨대, 인젝션 등에 의해 PMMA(아크릴) 또는 PC(폴리카보네이트)등의 재료를 주입하고 고화시킨다. 또는 금속 스탬퍼상에 2P(자외선 경화수지) 등을 도포한 후, 자외선을 조사해서 경화시킨다. 이것으로 금속 스탬퍼상의 피트를 수지로 되는 레플리카상에 전사할 수 있다.

이와 같이 해서 생성된 레플리카상에, 반사막이 증착 또는 스패터링 등에 의해 형성된다. 또는 스핀코트에 의해 형성된다.

그 후, 이 디스크에 대해서 내외경의 가공이 실시되며 2 개의 디스크를 맞붙이는 등의 필요한 처치가 실시된다. 또한, 레이블을 맞붙이거나 허브가 부착되어 카트리지에 삽입된다. 이와 같이 해서 광 디스크가 완성된다.

[산업상의 이용가능성]

이상과 같이 본 발명의 화상부호화 방법 및 화상 신호 부호화 장치 및 화상신호 복호화 방법 및 화상 신호 복호화 장치에 의하면 고해상도의 화상 신호를 상이한 아스펙트비가 되게 해서 부호화하고 전송하고 이것을 복호화하게 했으므로 예컨대 하이비젼 방식의 고해상도의 화상 신호를 예컨대 NTSC 방식의 저해상도의 수상기에 의해 모니터하는 것이 가능해진다. 물론, 하이비젼 방식의 수상기에 의해선 고해상도의 화상을 그대로 보는 것이 가능해진다.

또한 다시, 저해상도의 수상기이지만 그 아스펙트 비가 예컨대, 16:9의 비로 설정되어 있는 NTSC 방식의 수상기에 있어서는 4:3의 아스팩트 비의 스퀴즈 방식의 화상을 원래의 16:9의 아스펙트 비의 화상으로 되돌리는 기능을 갖고 있으면 정상적인 비의 화상을 관찰하는 것이 가능해진다.

또한 다시, 레터박스의 화상으로서 저해상도의 화상을 전송한 경우에 있어서 4:3의 아스펙트 비를 갖는 NTSC 방식의 수상기에 있어서도 정확한 세로와 가로의 비의 화상으로서 관찰할 수 있다. 또, 16:9의 아스펙트 비를 갖는 NTSC 방식의 수상기에 있어서는 화면의 상하에 실질적으로 무화상의 라인을 삽입하지 않고 화면의 전체에 걸쳐서 화상을 크게 표시시킬 수 있다.

Claims (44)

1. (2회 정정) 화상 신호 부호화 방법에 있어서, 고해상도의 입력 화상 신호의 아스펙트 비와는 상이한 아스펙트 비를 갖는 저해상도의 화상 신호를 발생하도록, 세로 방향 및 가로 방향으로 배열된 화소들로 형성된 고해상도의 입력 화상 신호를 상기 세로 방향의 제1 비율 및 상기 제1 비율과는 상이한 상기 가로 방향의 제2 비율로 다운 샘플링하는 단계와, 제1 부호화 화상 신호를 제공하기 위해 상기 저해상도의 화상 신호를 예측 부호화하는 단계와, 상기 제1 부호화 화상 신호를 복호화하는 단계와, 상기 복호화된 제1 부호화 화상 신호의 아스펙트 비와는 다른 아스펙트 비를 갖는 고해상도의 업 샘플링된 화상 신호를 발생하도록, 상기 복호화된 제1 부호화 화상 신호를 다운 샘플링 비율의 역으로 업 샘플링하는 단계와, 가중치 부여 업 샘플링된 화상 신호를 발생하도록, 가중치 부여 계수에 따라, 상기 업 샘플링된 화상 신호에 가중치 부여하는 단계와, 제2 부호화 화상 신호를 제공하도록, 발생된 가중치 부여 업 샘플링된 화상신호를 이용하여 상기 고해상도의 입력 화상 신호를 예측 부호화하는 단계를 포함하는 화상 신호 부호화 방법.
2. (삭제)
3. (삭제)
4. (삭제)
5. (삭제)
6. (삭제)
7. (삭제)
8. (삭제)
9. (삭제)
10. (삭제)
11. (삭제)
12. (삭제)
13. (2회 정정) 화상 신호 부호화 장치에 있어서, 고해상도의 입력 화상 신호의 아스펙트 비와는 상이한 아스펙트 비를 갖는 저해상도의 화상 신호를 발생하도록, 세로 방향 및 가로 방향으로 배열된 화소들로 형성된 고해상도의 입력 화상 신호를 상기 세로 방향의 제1 비율 및 상기 제1 비율과는 상이한 상기 가로 방향의 제2 비율로 다운 샘플링하는 수단과, 제1 부호화 화상 신호를 제공하기 위해 상기 저해상도의 화상 신호를 예측 부호화하는 제1 부호화 수단과, 상기 제1 부호화 화상 신호를 복호화하는 복호화 수단과, 상기 복호화된 제1 부호화 화상 신호의 아스펙트 비와는 다른 아스펙트 비를 갖는 고해상도의 업 샘플링된 화상 신호를 발생하도록, 상기 복호화된 제1 부호화 화상 신호를 다운 샘플링 비율의 역으로 업 샘플링하는 수단과, 가중치 부여 업 샘플링된 화상 신호를 발생하도록, 가중치 부여 계수에 따라, 상기 업 샘플링된 화상 신호에 가중치 부여하는 수단과, 제2 부호화 화상 신호를 제공하도록, 발생된 가중치 부여 업 샘플링된 화상 신호를 이용하여 상기 고해상도의 입력 화상 신호를 예측 부호화하는 제2 부호화 수단을 포함하는 화상 신호 부호화 장치.
14. (삭제)
15. (삭제)
16. (삭제 )
17. (삭제 )
18. (삭제 )
19. (삭제)
20. (삭제 )
21. (삭제)
22. (삭제)
23. (삭제)
24. (삭제)
25. (2회 정정) 화상 신호 복호화 방법에 있어서, 저해상도의 제1 부호화 화상 신호 및 고해상도의 제2 부호화 화상 신호를 수신하는 단계와, 제1 복호화된 화상 신호를 발생하도록 상기 제1 부호화 화상 신호를 예측 복호화하는 단계와, 상기 저해상도의 제1 화상 신호의 아스펙트 비와는 상이한 아스펙트 비를 갖고 해상도의 업 샘플링된 화상 신호를 발생하도록, 제1 복호화된 화상 신호를 세로 방향의 제1 비율 및 상기 제1 비율과는 상이한 가로 방향의 제2 비율로 업 샘플링하는 단계와, 가중치 부여 업 샘플링된 화상 신호를 발생하도록, 가중치 부여 계수에 따라, 상기 업 샘 플링된 화상 신호에 가중치 부여하는 단계와, 제2 복호화 화상 신호를 제공하도록, 발생된 가중치 부여 업 샘플링된 화상 신호를 이용하여 상기 부호화 화상 신호를 예측 복호화하는 단계를 포함하는 화상 신호 복호화 방법.
26. (삭제)
27. (삭제)
28. (삭제 )
29. (삭제 )
30. (삭제)
31. (삭제)
32. (삭제)
33. (삭제 )
34. (삭제)
35. (2회 정정) 화상 신호 복호화 장치에 있어서, 저해상도의 제1 부호화 화상 신호 및 고해상도의 제2 부호화 화상 신호를 수신하는 수단과, 제1 복호화된 화상 신호를 발생하도록 상기 제1 부호화 화상 신호를 예측 복호화하는 제1 복호화 수단과, 상기 저해상도의 제1 화상 신호의 아스펙트 비와는 상이한 아스펙트 비를 갖고 해상도의 업 샘플링된 화상 신호를 발생하도록, 제1 복호화된 화상 신호를 세로 방향의 제1 비율 및 상기 제1 비율과는 상이한 가로 방향의 제2 비율로 업 샘플링하는 수단과,

    가중치 부여 업 샘플링된 화상 신호를 발생하도록, 가중치 부여 계수에 따라, 상기 업 샘플링된 화상 신호에 가중치 부여하는 수단과, 제2 복호화 화상 신호를 제공하도록, 발생된 가중치 부여 업 샘플링된 화상신호를 이용하여 상기 부호화 화상 신호를 예측 복호화하는 제2 복호화 수단을 포함하는 화상 신호 복호화 장치.
36. (삭 제 )
37. (삭제 )
38. (삭 제 )
39. (삭제)
40. (삭제 )
41. (삭제)
42. (삭제 )
43. (삭제)
44. (삭제 )