KR100263627B1

KR100263627B1 - 화상 부호화 장치와 화상 복호화장치 및 부호화.복호화 시스템

Info

Publication number: KR100263627B1
Application number: KR1019960072357A
Authority: KR
Inventors: 고따로 아사이; 다까히로 후꾸하라; 도꾸미찌 무라까미
Original assignee: 다니구찌 이찌로오; 미쓰비시덴키 가부시키가이샤; 기타오카 다카시
Priority date: 1995-12-27
Filing date: 1996-12-26
Publication date: 2000-08-01
Also published as: CA2191271C; EP0782342A2; JP3681835B2; AU7403496A; EP0782342B1; JPH09238366A; KR970057951A; CA2191271A1; DE69624669T2; DE69624669D1; EP0782342A3; US6018366A; AU693726B2

Abstract

부호화·복호화에 의한 화상 압축에서의 화상 열화가 색성분에 현저하게 나타나 블럭 전체에 파급되는 것을 방지하기 위한 압축 효율을 떨어뜨리지 않는 포맷 변환을 동적으로 전환하는 부호화기·복호화기를 얻는다.

디지탈화 입력 화상을 포맷 변환하고, 양자화하여 부호화하는 화상 부호화 장치에 있어서, 포맷 변환시에 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 화상데이타로 변환하는 복수 포맷 변환부와, 설정기준에서 상기 입력화상데이타 또는 양자화 화상데이타 또는 다른 화상데이타의 상태 변화를 검출하여 상기 복수의 공간 해상도의 화상데이타중 어느 것을 출력할지를 선택하여 출력하는 화상상태 판정부를 설치하여, 선택된 공간 해상도의 화상데이타를 양자화부로 입력하도록 하였다. 또한, 대응한 구성의 화상 복호화 장치를 구비하였다.

Description

화상부호화 장치와 화상복호화 장치 및 화상부호화·복호화 시스템

본 발명은 화상의 고능률 부호화 또는 복호화를 행하여 화상의 효율적 전송 또는 축적을 행하는 시스템에 제공할 수 있는 화상 부호화기 및 화상 복호화기에 관한 것이다.

종래의 대표적인 고능률 부호화 방식으로서, ISO/IEC JTC1/SC29/WG11에서 검토된 국제표준방식인 MPEG2가 있다. 예를 들면, 「텔레비젼 학회지, 화상정보 공학과 방송기술」의 1995년 4월호에서는 MPEG을 특집 테마로서 해설하고 있다. 동잡지 p. 29-60에 걸쳐 「3-2 비디오 압축」으로서 MPEG2의 부호화 방식이 소개되어 있다. 이하, 동해설을 기초로 하여 종래의 고능률 부호화 방식에 대해서 설명하기로 한다.

도25는 상기 해설에 개시된 화상 포맷의 설명도이고, 휘도신호와 색차성분의 샘플 밀도비의 포맷을 나타낸 것이다. MPEG2에는 4 : 2 : 0 또는 4 : 2 : 2 또는 4 : 4 : 4의 3개의 포맷이 있지만, 이들의 포맷이 동적으로 변경되는 것이 아니라, 어느 한 포맷으로 고정된 상태에서 부호화내지 복호를 행한다.

또한, 4 : 4 : 4 포맷은 1995년 11월 현재, MPEG2중에서 포맷으로서의 정의는 되어 있지만, 프로파일이라고 불리는 클래스 중에서는 어느 곳에도 속하지 않고, 실질적으로 사용되지 않는 포맷으로 되어 있다. 4 : 2 : 0 및 4 : 2 : 2 포맷에서는 휘도성분의 샘플 밀도에 대해서 색차 성분의 샘플 밀도가 낮다. 이것은 인간의 해상도 식별 능력이 휘도에 대해서 보다 높은 것을 이용하여 정보의 압축 효과를 얻도록 하기 위함이다.

도26은 상기 해설에 개시된 MPEG 부호기의 기본 구성도이다. 도면에서, 1은 A/D 변환기, 28은 포맷 번환기, 29는 화면 재배열부, 16은 인터(프레임내)/인트라(프레임간) 전환 셀렉터, 4는 DCT(이산 코사인 변환)부, 5는 양자화부, 6은 가변길이 부호화부, 7은 송신버퍼, 8은 레이트 제어부이다. 또한, 11은 역양자학부, 12는 역DCT부, 17은 가산기, 18은 프레임 메모리, 19는 이동 보상부이고, 이들의 부가 루프는 예측 부호화 수단을 구성하고 있다.

도27은 동해설에 개시된 MPEG 복호기의 기본 구성도이다. 동도면에서, 9는 수신버퍼, 10은 가변길이 복호화부, 11은 역양자화부, 12는 역DCT부, 30은 포맷변환부, 14는 D/A 변환부이다. 또한, 18은 프레임 메모리, 24는 이동 보상 예측부, 17은 가산기이고, 이들은 예측 부호화 수단을 구성하고 있다. 또한, 104는 DCT에 의한 변환계수, 105는 변환계수의 양자화 인덱스, 107은 부호화 비트스트림, 108은 정보 발생량을 나타내는 신호, 109는 가변길이 복호된 변환계수의 양자화 인덱스, 110은 역양자화된 변환계수, 116은 입력 화상데이타, 117은 예측 오차 화상데이타, 118은 역DCT에 의해 화소공간 영역으로 되돌아간 화상데이타, 119는 예측 화상데이타, 120은 복호된 화상데이타, 125는 이동 보상 예측데이타, 126은 이동벡터 정보이다.

도26에 의해 부호기의 동작을 설명하기로 한다.

입력화상신호는 A/D변환(1)에서 디지탈화된다. 입력 화면은 이동 보상 예측 + DCT 부호화에 의해 부호화된다. 입력된 화상데이타(116)와, 참조 화면으로부터 이동 예측에 의해 생성되는 이동 보상 예측 화상데이타(125)와의 차분을 취하고, 예측 오차 신호(117)이 얻어진다. 이 예측 오차신호를 8화소 × 8라인의 블럭 단위로 DCT(4)에 의해 공간 주파수 영역의 변환계수(104)로 변환하고, 양자화부(5)에 의해 양자화를 행한다.

이동 보상 예측을 행하지 않는 인트라 부호화시에는 입력 화상데이타(116)이 그대로 DCT 부호화된다. 이 전환이 셀렉터(16)에 의해 행해진다. 나중에 이동 보상 예측의 참조화면으로서 사용되기 때문에, 양자화된 정보(105)를 역양자화부(11)에서 역양자화하고, 역DCT부(12)에서 역DCT화하여 이동 보상 예측신호(119)와 가산기(17)에서 가산하고, 즉 국부 복호에 의해 화상을 복호하고 프레임 메모리(18)에 저장한다.

양자화후의 8 × 8 DCT계수는 저주파수 성분부터 차례로 스캔되어 1차원 정보로 된 후, 이동벡터등의 다른 부호화 정보와 함께 가변길이 부호화부(6)에서 가변길이 부호화된다. 가변으로 되는 부호 발생량을 일정하게 유지한 경우는, 출력 버퍼(7)을 감시함으로써 발생 부호량(108)을 파악하고, 피드백에 의해 레이트 제어부에서 양자화 제어를 행하는 수법이 일반적이다. 버퍼(7)의 출력은 부호화 비트스트림(107)이다.

도27에 의해 복호기의 동작을 설명하기로 한다.

복호 처리는 기본적으로 부호화기의 역의 동작이 된다. 우선 부호화된 비트스트림(107)은 버퍼(9)에 저장된다. 버퍼(9)내의 데이타는 판독되어 가변길이 복호화부(10)에서 복호가 행해진다. 이 과정에서 DCT계수의 정보(109), 이동 벡터의 정보(126) 등이 복호·분리된다. 복호된 8 × 8의 양자화 DCT계수(109)는 역양자화부(11)에서 DCT계수(110)으로 복원되고, 역DCT부(12)에 의해 화소공간 데이타(118)로 변환된다. 인트라 부호화시에는 이 단계에서 복호 화상이 얻어진다.

이동 보상 예측이 행해지고 있는 때는 참조화면으로부터의 이동 보상 예측에 의해 생성되는 이동 보상 예측 화상데이타(119)와의 가산에 의해 화상이 복호된다. 복호 화상은 필요에 따라 그 후의 복호 처리에서 참조 화면으로서 이용되기 때문에 프레임 메모리(18)에 저장된다.

상기 예는 종래 방식의 대표적인 것이다. 이 예에서, 입력 화상의 부호화는 블럭 단위의 DCT를 기본으로 하고 있고, 휘도·색차성분의 샘플 밀도비는 4 : 2 : 0이나 4 : 2 : 2등 정적으로 고정되어 있다. 이로 부터, 다음과 같은 과제가 생긴다. 전제로서, 압축에 의한 화상 품질의 열화는 블럭 단위로 관찰된다. 이것은 양자화에 의해 특정의 변환계수에 생긴 잡음이 역DCT에 의해 블럭 전체에 파급되는 것이 원인이다. 게다가, 이 열화는 색차 성분에 현저히 나타나는 것처럼 관찰된다. 이것은 색차 성분의 샘플 밀도가 일반적으로 휘도 성분의 샘플 밀도보다 낮은 것이 원인이다. 색차 성분의 샘플 밀도를 높이면, 색잡음이 특히 눈에 띄는 현상은 완화되지만, 부호화해야할 샘플 수가 많게 되어, 압축 효율을 높인 결과 불리하게 되는 딜레마가 있다.

본 발명은 상기와 같은 과제를 해소하기 위하여 이루어진 것으로, 압축율을 높인 때에 현저하게 되는 색잡음을 저감시키고, 압축 효율을 저하시키지 않으며, 보다 고품질의 부호화 화상이 얻어지도록 한 화상 부호화기 및 화상 복호화기를 얻는 것을 목적으로 한다.

본 발명에 따른 화상 부호화 장치는, 디지탈화 입력 화상을 포맷 변환하고, 포맷 변화된 화상데이타를 양자화하는 양자화부와, 양자화된 양자화 화상데이타를 부호화하는 부호화부를 구비하여 부호화 비트스트림을 출력하는 화상 부호화 장치에 있어서, 포맷 변화시에 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 화상데이타로 변환하는 복수의 포맷 변환부, 및 설정기준에서 상기 입력화상데이타 또는 양자화 화상데이타 또는 다른 화상데이타의 상태 변화를 검출하여, 상기 복수의 공간 해상도의 화상데이타 중 어느 것을 출력할지를 선택하여 출력하는 화상 상태 판정부를 구비하며, 이 선택된 공간 해상도의 화상데이타를 양자화부로 입력하는 것을 특징으로 한다.

또한, 기본 구성에 부가하여, 양자화된 양자화 화상데이타를 역양자화하고, 이동의 예측 차분을 가산하여 기억하며, 이 기억된 참조 화상데이타로부터 이동의 예측 차분을 원래의 포맷 변환후의 출력으로 귀환 감산하는 귀환 부호화 수단을 구비하되, 참조 화상을 기억하는 프레임 메모리와, 양자화 화상 데이타를 역양자화하여 기억용의 소정의 참조 화상데이타를 얻기 위해 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 재생 화상데이타로 변환하는 제2의 복수 포맷 변환부와, 소정의 참조 화상데이타를 판독하여 이동보상후에 귀환 감산용 신호로 하기 위해 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 예측 오차분으로 변화하는 제3의 복수 포맷 변환부를 추가적으로 구비하며, 또한, 화상 상태 판정부는 이들 제2의 복수 포맷 변환부 출력과 제3의 복수 포맷 변환부 출력을 복수 포맷 변환부 출력과 동일하게 전환하도록 한 귀환 부호화 수단으로 하였다.

본 발명에 따른 화상 복호화 장치는, 입력의 부호화 비트스트림을 복호화하는 복호화부와, 상기 복호된 복호화 데이타를 역양자화 및 역변화하는 역양자화부와 역변환부를 구비하고, 역양자화 및 역변화된 화상데이타를 소정의 포맷 변환을 하여 디지탈 화상데이타로 재생하는 구성에 있어서, 역변환된 화상데이타를 입력의 부호화 비트스트림의 상태 변화를 판정하여 상기 소정의 포맷 변환을 위한 입력으로 하기 위해 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 어느 것인가로 디지탈 화상데이타로 재생하는 복수 포맷 변환부를 구비하였다.

또한, 기본 구성에 부가하여, 역변환 화상데이타를 소정의 포맷 변환 후에 참조 화상데이타로서 기억하고 이동의 예측 오차분을 원래의 포맷 변환후의 출력에 가산하는 귀환 예측 수단을 구비하며, 참조 화상데이타를 얻기 위해 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 어느 것인가로 재생화상데이타로 변환하는 제2의 복수 포맷 변환부와, 귀환 예측 수단 출력을 왼래의 포맷 변환후의 출력에 가산하기 위해 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 예측 오차분으로 변환하는 제3의 복수 포맷 변환부를 추가적으로 구비하였다.

또한, 화상 상태 판정부는 입력 화상데이타 또는 양자화 화상데이타 중의 색차신호의 상태를 설정 기준과 비교하여 복수 포맷 변환부 출력으로부터 대응하는 공간해상도의 출력을 선택하도록 하였다.

또한, 화상상태 판정부는 입력 화상데이타 또는 양자화 화상데이타 중의 휘도신호의 상태를 설정기준과 비교하여 복수 포맷 변환부 출력으로부터 대응하는 공간 해상도의 출력을 선택하도록 하였다.

또한, 화상상태 판정부는 이동 보상 예측부로부터의 이동 벡터의 값을 설정 기준과 비교하여 복수 포맷 변환부 출력으로부터 대응하는 공간 해상도의 출력을 선택하도록 하였다.

또한, 화상상태 판정부는 소정의 공간 해상도의 화상데이타와 이동 보상후의 예측 신호와의 차인 예측 오차값을 설정 기준과 비교하여 복수 포맷 변환부 출력으로부터 대응하는 공간 해상도의 출력을 선택하도록 하였다.

또한, 화상상태 판정부는 부호화 비트스트림에 근거하여 발생한 부호화량으로부터 양자화 스텝 사이즈를 설정기준과 비교하여 복수 포맷 변환부 출력으로부터 대응하는 공간 해상도의 출력을 선택하도록 하였다.

또한, 화상상태 판정부는 입력 화상데이타 또는 양자화 화상데이타 중의 색차신호 또는 휘도신호의 상태와, 이동 보상 예측부로부터의 이동 벡터의 값과, 예측 오차값과, 양자화 스텝 사이즈와의 어느 것인가 복수의 값을 가산하고 설정기준과 비교하여 복수 포맷 변환부 출력으로부터 대응하는 공간 해상도의 출력을 선택하도록 하였다.

또한, 기본구성에 부가하여, 송신측의 화상부호화 장치중의 색차신호, 휘도신호 또는 이동의 변화의 검출에 대응하는 화상상태 판정부를 설치하고, 송신측과 동일한 설정기준에서 입력의 부호화 비트스트림의 상태 변화를 검출하여 복수의 공간 해상도의 어느 것인가를 선택하여 복호화 화상을 얻도록 하였다.

본 발명에 따른 화상부호화·복호화 시스템은, 디지탈화 입력 화상을 설정기준에서 소정의 화상상태를 판정하여 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 화상데이타로 변화하는 부호화 복수 포맷 변환부와, 이 포맷 변환 출력된 공간 해상도의 화상데이타를 양자화하는 양자화부와, 이 양자화된 양자화 화상데이타를 부호화하여 부호화 비트스트림을 출력하는 부호화부로 이루어진 화상 부호화 장치와, 입력의 부호화 비트스트림을 복호화하는 복호화부와, 이 복호된 복호화 데이타를 역양자화하는 역양자화부와, 이 역양자화된 역양자화 화상데이타를 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도를 가지고, 소정의 신호에서 상기 공간 해상도의 어느 것인가로 디지탈 화상데이타로 재생하는 복호 복수 포맷 변환부로 이루어지는 화상 복호화 장치로 구성하였다.

본 발명에 따른 화상 부호화 장치는, 디지탈화 입력 화상을 포맷 변환하고, 이 포맷 변환된 화상데이타를 양자화하는 양자화부와, 이 양자화된 양자화 화상 데이타를 부호화하는 부호화부를 구비하며, 이 부호화된 부호화 비트스트림을 출력하는 구성에 있어서, 포맷 변환시에 설정된 휘도신호와 색차신호에 의한 공간 해상도의 화상데이타로 변환하고, 상기 양자화부에 입력하는 복수의 포맷 변환부를 구비하였다.

본 발명에 따른 화상 복호화 장치는, 입력의 부호화 비트스트림을 복호화하는 복호화부와, 이 복호화된 복호화 데이타를 역양자화 및 역변화하는 역양자화부와 역변환부를 구비하며, 이 역양자화 및 역변화된 화상데이타를 소정의 포맷 변환을 하여 디지탈 화상데이타로 재생하는 구성에 있어서, 이 역변환된 화상데이타를 상기 소정의 포맷 변환을 위한 입력으로 하기 위해 설정된 휘도신호와 색차신호에 의한 공간 해상도의 디지탈 화상데이타로 변환하는 복수 포맷 변환부를 구비하였다.

도1은 본 발명의 제1실시예에서의 기본적인 화상 부호화 장치의 구성 블럭도.

도2는 8 × 8 블럭의 휘도성분과 색차성분의 샘플의 포맷을 나타낸 도면.

도3은 도1에서의 국소적 포맷 변환부의 구성예를 나타낸 도면.

도4는 도1에서의 국소적 포맷 변환부의 구성예를 나타낸 도면.

도5는 도1에서의 국소적 포맷 변환부의 구성예를 나타낸 도면.

도6은 도1에서의 국소적 포맷 변환부의 구성예를 나타낸 도면.

도7은 본 발명의 제1실시예에서의 기본적인 화상부호화 장치의 다른 구성 블럭도.

도8은 본 발명의 제2실시예에서의 예측 부호화 수단을 구비한 화상부호화 장치의 구성 블럭도.

도9는 본 발명의 제3실시예에서의 기본적인 화상복호화 장치의 구성 블럭도.

도10은 본 발명의 제4실시예에서의 예측 복호화 수단을 구비한 화상복호화 장치의 구성 블럭도.

도11은 본 발명의 제5실시예에서의 기본적인 화상부호화 장치의 구성 블럭도.

도12는 도11에서의 색차성분에 의한 포맷 판정부의 구성예를 도시한 도면.

도13은 본 발명의 제5실시예에서의 예측 부호화 수단을 구비한 화상부호화 장치의 구성 블럭도.

도14는 본 발명의 제6실시예에서의 예측 부호화 수단을 구비한 화상부호화 장치의 구성 블럭도.

도15는 도14에서의 이동에 의한 포맷 판정부의 구성예를 도시한 도면.

도16은 본 발명의 제7실시예에서의 예측 복호화 수단을 구비한 화상 복호화 장치의 구성 블럭도.

도17은 본 발명의 제8실시예에서의 기본적인 화상부호화 장치의 구성 블럭도.

도18은 본 발명의 제8실시예에서의 예측 부호화 수단을 구비한 화상부호화 장치의 구성 블럭도.

도19는 본 발명의 제9실시예에서의 예측 복호화 수단을 구비한 화상복호화 장치의 구성 블럭도.

도20은 본 발명의 제10실시예에서의 예측 부호화 수단을 구비한 화상부호화 장치의 구성 블럭도.

도21은 본 발명의 제11실시예에서의 예측 복호화 수단을 구비한 화상복호화 장치의 구성 블럭도.

도22는 본 발명의 제12실시예에서의 기본적인 화상부호화 장치의 구성 블럭도.

도23은 본 발명의 제12실시예에서의 예측 부호화 수단을 구비한 화상부호화 장치의 구성 블럭도.

도24는 본 발명의 제13실시예에서의 예측 복호화 수단을 구비한 화상복호화 장치의 구성 블럭도.

도25는 비디오 압축의 화상부호화 방식에서의 화상 포맷의 설명도.

도26은 종래의 화상 부호화기의 구성 블럭도.

도27은 종래의 화상 복호화기의 구성 블럭도.

* 도면의 주요부분에 대한 부호의 설명

1 : A/D 변환기 2 : 국소적 포맷 변환부

3, 3a : (화상 상태) 판정부 4 : DCT부

5 : 양자화부 6 : 가변길이 부호화부

7 : 송신 버퍼 8 : 레이트 제어부

9 : 수신 버퍼 10 : 가변길이 복호화부

11 : 역양자화부 12 : 역 DCT부

13 : 국소적 포맷 변환부 14 : D/A 변환부

15 : 감산기 16 : 셀렉터

17 : 가산기 18 : 프레임 메모리

19 : 이동 보상 벡터 추정 및 이동 보상 예측부

20 : 제2의 국소적 포맷 변환부 21 : 셀렉터

22 : 제2의 국소적 포맷 변환부 23 : 셀렉터

24 : 이동 보상 예측부 25 : 색차 성분에 의한 포맷 판정부

26 : 이동에 의한 포맷 판정부 27 : 휘도 성분에 의한 포맷 판정부

30 : 포맷 판정부 31 : 휘도·색차신호 분리기

32 : 색차신호 다운 샘플링기 33 : 색차신호 업 샘플링기

34 : 휘도·색차신호 다중기 35 : 색차 평균값 검출기

36 : 색차 분산값 검출기 37 : 포맷 판정부

38 : 이동 벡터 절대값 산출기 39 : 포맷 판정기

S4 : 예측 오차에 의한 포맷 판정부

41 : 양자화 스텝 사이즈에 의한 포맷 판정부

101 : 디지탈화된 화상데이타

102 : 국소적으로 포맷 변화된 화상데이타

103 : 동적으로 포맷이 전환되어 있는 화상데이타

104 : DCT 변환 계수 105 : DCT 변환 계수의 양자화 인덱스

106 : 포맷의 전환 정보 107 : 부호화 비트스트림

108 : 정보 발생량을 나타내는 신호

109 : 가변길이 복호된 변환 계수의 양자화 인덱스

110 : 역양자화된 변환 계수

111 : 역 DCT에 의해 얻어진 화소 공간 영역의 데이타

112 : 국소적으로 포맷 변환된 화소 공간 영역의 데이타

113 : 포맷의 전환 정보 114 : 복호 화상데이타

115 : 재상 화상 신호

116 : 동적으로 포맷이 전환되어 있는 화상데이타

117 : 예측 오차 데이타

118 : 역 DCT에 의해 얻어진 화소공간 영역의 차분 화상데이타

119 : 이동 보상 예측 데이타 120 : 복호 화상데이타

121 : 국소적으로 포맷 변화된 복호 화상데이타

122 : 포맷이 통일된 복호 화상데이타

123 : 이동 보상 예측을 위하여 프레임 메모리로부터 판독된 화상데이타

124 : 국소적으로 포맷 변환된 화상데이타

125 : 예측 신호 126 : 이동 벡터 정보

127 : 포맷의 전환 정보

128 : 국소적으로 포맷 변화된 복호 화상데이타

130 : 국소적 포맷의 전환 신호 131 : 다중화된 휘도·색차신호 입력

132 : 분리된 휘도신호 133 : 분리된 색차신호

134 : 포맷 변환된 색차신호 135 : 다중화된 휘도·색차신호 출력

136 : 분리된 색차신호 137 : 색차 평균값

138 : 색차 분산값 139 : 이동 벡터 절대값

140 : 양자화 스텝 사이즈

[제1실시예]

본 발명의 장치의 구체적인 응용예로서는, 위성이나 지상파, 유선 통신망을 통해 행하는 디지탈 방송 시스템, 디지탈 비디오 디스크 등이 있다.

이하, 본 발명에 의한 화상의 고능률 부호화기 및 복호화기의 실시예를 도면을 참조하여 설명하기로 한다. 도1은 이동 보상을 포함하는 예측 부호화 루프가 없는 경우의 기본적인 화상 부호화 장치의 구성도이다. 도면에서, 신규한 요소로서, 2는 국소적 포맷 변환부(복수 포맷 변환부), 3은 (화상 상태) 판정부이다. 그 외의 A/D변환부(1), DCT부(4), 양자화부(5), 가변길이 부호화부(6), 버퍼(7), 레이트 제어부(8)은 종래와 동등한 요소이다. 또한, 101은 디지탈화된 화상데이타, 102는 국소적으로 포맷 변화된 화상데이타, 103은 동적으로 포맷이 전환된 화상데이타, 104는 DCT에 의한 변환 계수, 105는 변환 계수의 양자화 인덱스(양자화 화상데이타), 106은 어느 포맷을 사용하였는가를 나타내는 신호, 107은 부호화 비트스트림, 108은 정보발생량을 나타내는 신호이다.

다음에 동작에 대해서 설명하기로 한다.

본 실시예에서는 DCT 부호화 방식을 사용한다. 입력 화상신호는 A/D변환(1)에서 디지탈화된 후, 포맷 변환된다. 이제, 화상데이타(101)의 포맷은 도25c에 나타낸 4 : 4 : 4 포맷인 것으로 한다. 즉, 휘도성분과 색차성분의 샘플 밀도는 같다. 이 화상데이타를 국소적 포맷 변환(복수 포맷 변환)(2)에 의해 다른 포맷 변환, 예를들어 도25a에 나타낸 4 : 2 : 0 포맷의 화상데이타로 변환한다. 4 : 2 : 0 포맷은 4 : 4 : 4 포맷에 비해 색차 성분의 샘플 밀도가 낮기 때문에, 부호화해야할 총 샘플수는 작게 되어, 압축 효율이 높아진다. 반면, 색잡음이 화면상의 넓은 범위에 파급될 가능성이 있다. 이들 4 : 4 : 4 포맷의 화상데이타와 4 : 2 : 0 포맷의 화상데이타를 동적으로 예를 들어 블럭 단위 또는 복수의 블럭을 단위로 하여 셀렉터(3)에서 전환하면서 부호화를 행한다. 휘도성분(Y)의 8화소 × 8라인 블럭 4개와 위치적으로 같은 청색, 적색의 색차 성분(Cb, Cr)의 블럭으로 구성되는 매크로블럭의 구성을 도2에 나타낸다. 매크로블럭은 전환을 행하는 단위의 예이다.

상기 국소적 포맷 변환부(2)에서의 실제의 구성예를 나타낸 것이 도3내지 도6이다. 도3에서는, 다중화된 휘도·색차신호인 입력 화상데이타(101)을 휘도 색차신호 분리기(31)에서 휘도신호(132)와 색차신호(133)으로 분리한다. 색차신호(133)은 또한 색차신호 다운 샘플링기(32)에서 다운 샘플링되던가, 또는 색차신호 업샘플링기에서 업샘플링된다. 상기 처리에 의해 포맷 변환된 색차신호(134)는 상기 휘도신호(132)와 함께 휘도·색차신호 다중기(34)에서 다중화되어, 다중화 신호인 복수 포맷 변환부 출력신호(102)가 송출된다. 따라서, 상기 실시예의 경우는, 국소적 포맷 변환(2)에서 4 : 4 : 4 포맷이 4 : 2 : 0 포맷으로 변환되기 때문에, 도3의 동작은 색차신호 다운 샘플링기(32)가 선택되고, 다운 샘플링된 신호가 출력되게 된다.

휘도·색차신호 분리기(31)과 휘도·색차신호 다중기(34)의 구성은 잘 알려져 있기 때문에 여기에서의 기술은 생략한다. 색차신호 다운 샘플링기(32)의 상세동작을 설명하기로 한다.

휘도·색차신호 분리기(31)에서 분리된 색차신호(133)은 화소 레벨로 분리된다. 2c의 4 : 4 : 4 포맷으로부터 도2a의 4 : 2 : 0 포맷으로 다운 샘플링되는 경우, Cb, Cr 신호는 함께 16 × 16으로부터 8 × 8 화소로 된다. 각 화소의 색차신호의 생성은 예를 들어 서로 인접하는 좌우의 화소의 신호도 고려하여 다운 샘플링한다면, 도3의 M으로 나타내어진 평균값 산출부는 2개의 화소값을 입력으로 하여 다운 샘플링되어 반감된 8 × 8 화소의 새로운 화소의 값을 출력한다. 예를들어, 2화소를 1화소로 다운 샘플링하는 예에서, 첫번째 화소에는 계수 w1을, 2번째 화소에는 각각 w2의 계수를 곱하여 평균값 산출부에서 평균값을 구하는 것으로 하면, 상기 2개의 화소가 p1, p2이면,

평균값 = (p1 × w1 + p2 × w2) / (w1 + w2)

으로 산출할 수 있다.

다음에, 각 평균값 산출부로부터 출력된 평균값은 색차신호 다중부에서 다중화되어 32의 출력으로 된다.

상기에서, 필터 계수 w를 가변으로 하는 것도 가능하고, 또한 1/2의 다운 샘플링에 한정되지 않고 1/3, 1/4 등의 임의의 다운 샘플링을 행할 수 있다.

또한 도3의 업 샘플링 구성은 2/1의 2배의 업 샘플링을 행하는 구성예이다. 즉, 원래의 1화소를 확대하여 2화소로 한다.

우선, 휘도·색차신호 분리기(31)에서 분리된 화소는 모두 반복용이기 때문에, 2계통의 출력을 한다(동일 화소를 2번 반복하여 사용하면 좋기 때문에, 다른 구성도 많이 고려된다). 다음에, 색차신호 분리기에서 분리된 색차신호는 검은 점의 부분으로부터 출력하여 평균값 산출부에서 평균값이 산출된다. 점선 표시용과 같이, 확대된 새 화소에 대해 원래의 복수의 화소부터 화소값을 제공하는 구성으로 한다면, 평균화된 색차신호값이 얻어진다. 이 경우에는, 다운 샘플링기(32)의 구성예에 나타낸 필터 계수를 곱하지 않지만, 이를 사용할 수 있는 것은 말할 필요도 없다. 각 평균값 산출부 M으로부터 출력된 평균의 화소 신호는 소정의 블럭마다 휘도·색차신호 다중기(34)에서 다중화되어 국소적 포맷 변환(2)의 출력으로 된다.

또한, 이들 복수의 색차신호에 대해서 업 샘플링 또는 다운 샘플링되어 서로 다른 공간 해상도를 갖는 화상데이타(102)에 대해서 그것을 선택할지 또는 원래의 공간 해상도의 화상데이타(101)을 선택할지를 판단하여 선택하는 판정부(3)은 여기서는 구성과 동작은 기술하지 않기로 한다. 판단부(3)의 입력은 이후의 실시예에서 각종의 경우가 있고, 거기서 동작을 설명하기로 한다.

또한, 상기 실시예에서는, 국소적 포맷 변환부(2)의 입출력은 함께 휘도신호와 색차신호가 다중화되어 있는 것으로 하였지만, 처음부터 양자의 신호가 분리되어 회로내를 흐르고 있는 경우에는 도3의 휘도·색차신호 분리기(31) 및 색차신호 다중기(34)가 불필요하다. 이 경우에는, 도4에 나타낸 바와 같이 구성할 수 있다. 게다가, 회로의 성격상, 휘도·색차신호 분리기(31)만 필요한 경우, 또는 색차신호 다중기(34)만이 필요한 경우도 생각될 수 있다. 도5, 도6이 상기 예에 상당한 것이다. 이 국소적 포맷 변환부(2)의 구성은 이하의 본 발명의 각 실시예에서도 모두 마찬가지이다.

어떤 포맷을 선택한 경우도, 8화소 × 8라인의 블럭 단위로 DCT(4)에 의해 화상데이타를 공간 주파수 영역의 변환 계수(104)로 변환하고, 양자화부(5)에서 변환 계수의 양자화를 행한다. 양자화 후의 8 × 8 DCT계수(105)는 저주파수 성분부터 차례로 스캔되어 1차원 정보로 된 후, 가변길이 부호화부(6)에서 가변길이 부호화된다. 포맷의 전환을 행하는 각각의 단위에서 어느 포맷을 선택할 것인지를 나타내는 정보(106)을 부호화 정보의 일부로서 다중화한다. 부호화 데이타는 버퍼(7)에 일시 저장된 후, 부호화 비트스트림(107)로서 출력된다.

가변으로 되는 신호 발생량을 일정하게 보유하는 경우는, 출력 버퍼(7)을 감시하는 것으로 발생 부호량(108)을 파악하여 피드백에 의해 양자화 제어를 행한다.

또한, 본 실시예에서는 DCT 부호화를 사용하였지만, 서브대역 부호화 등, 다른 부호화 방식이라도 본 발명을 적용할 수 있는 것은 말할 필요도 없다. 또한, 본 실시예에서는, 국소적 포맷 변화을 행한 데이타와 행하지 않은 데이타를(화상상태) 판정부에 의해 전환하는 구성을 나타내었지만, 국소적 포맷 변환 자체가 처리내용을 전환하도록 하는 구성을 가져도 본질적으로 다름이 없는 것은 물론이다.

적어도 내부적으로는 색차신호에 대해서도 고정밀도 처리를 하고, 또한 처리 능력 또는 비트 레이트에도 여유가 있는 것으로 하면, 입력 화상(101)에 대해서 항상 업 샘플링된 국소적 포맷 변환후의 화상신호(102)(이 경우는 선택후의 화상신호(103)에도 같다)를 출력한다.

실제는, 화상 상태 판정부(3)의 출력선택 비트로서 적어도 1비트가 필요하지만, 상기 고정 출력의 경우에는 선택 비트가 불필요하게 된다. 그리고 항상 고정밀도의 색차신호가 얻어진다.

이 경우의 구성을 도7에 도시한다. 도7에 나타낸 화상 부호화 장치에 의하면, 국소적 포맷 변환(2)로부터 포맷 변환 신호(130)이 출력된다. 이 포맷 변환 신호는 DCT(4)에 입력하여 당해 포맷의 부호화를 행한다. 또한, 본 구성은 이하의 다른 실시예에서도 모두 마찬가지로 생각할 수 있으며, 부호화·복호화기에서 셀렉터를 이용하여 포맷 신호를 전환하는 외에 상기 구성으로 할 수 있다.

[제2실시예]

도8은 이동 보상을 포함하는 예측 부호화 수단을 구비한 화상 부호화 장치의 구성도이다. 동도면에서, 신규한 요소로서 20의 제2의 국소적 포맷 변환부, 21의 판정부(3)의 출력부의 셀렉터, 22의 제2의 국소적 포맷 변환부, 23의 판정부(3)의 출력부의 셀렉터가 있다. 그 외의 감산기(15), 인터(프레임내)/인트라(프레임간) 전환 셀렉터(16), 가산기(17), 프레임(화상) 메모리(18), 이동 보상 벡터 추정 및 이동 보상을 행하는 이동 보상 예측부(19)는 종래와 동등한 요소이다.

또한, 116은 적응적으로 포맷이 전환되는 화상데이타, 117은 예측 오차 화상 데이타, 118은 역DCT에 의해 화소공간 영역으로 되돌아간 화상데이타, 119는 예측 화상데이타, 120은 복호된 화상데이타, 121은 국소적으로 포맷 변환된 복호화상데이타, 122는 포맷이 통일된 복호화상데이타, 123은 이동 보상 예측부(19)로부터 판독된 이동 보상후의 화상데이타, 124는 국소적으로 포맷 변환된 화상데이타, 125는 이동 보상 예측 데이타, 126은 이동 벡터 정보, 127은 국소적으로 어느 포맷이 사용되었는지를 나타내는 신호이다. 상기 이외는 이미 설명한 번호의 것과 동등하다.

다음에 동작에 대해서 설명하기로 한다.

본 실시예에서는 이동 보상 예측과 DCT 부호화 방식을 사용한다. 입력 화상 신호는 A/D 변환(1)에서 디지탈화된 후, 포맷 변화된다. 이제, 화상데이타(101)의 포맷은 도25c에 나타낸 4 : 4 : 4 포맷인 것으로 한다. 즉, 휘도성분과 색차성분의 샘플 밀도는 같다. 이 화상데이타(101)을 국소적 포맷 변화(2)에 의해 다른 포맷, 예를들어 도25a에 나타낸 4 : 2 : 0 포맷의 화상데이타(102)로 변환한다. 4 : 2 : 0 포맷은 4 : 4 : 4 포맷에 비해 색차성분의 샘플 밀도가 낮기 때문에, 부호화해야할 총 샘플수는 작게 되고, 압축 효율은 높아진다. 반면, 색잡음이 화면상의 넓은 범위에 파급될 가능성이 있다. 이들 4 : 4 : 4 포맷의 화상데이타와 4 : 2 : 0 포맷의 화상 데이타를 동적으로 예를들어 블럭 단위 또는 복수의 블럭을 단위로 하여 판정부(3)에서 전환하면서 부호화를 행하는 것이 기본이다.

판정부(3)에서의 선택후의 입력화상데이타(116)과, 참조화면으로부터 이동 예측에 의해 생성되는 이동 보상 예측 화상데이타(125)와의 차분을 취하고, 예측오차 신호(117)을 얻기 위해서는 입력화상데이타(116)의 포맷과 이동보상, 예측화상데이타(125)의 포맷이 같게 되어야만 한다. 이를 위해, 프레임 메모리(18)로부더 판독된 이동 보상 예측 화상데이타에 대해서도 제3의 국소적 포맷 변환(22)와 셀렉터(23)을 사용하여 포맷을 일치시킨다. 예를 들어, 프레임 메모리(18)에 저장된 참조 화상의 포맷이 효율을 중요시하여 4 : 2 : 0의 포맷이면, 제3의 국소적 포맷 변화(22)는 샘플 밀도를 높이는 방향의 변환으로 된다.

포맷이 일치하여 예측 오차 신호(117)이 얻어진 후, 8화소 × 8라인의 블럭단위로 DCT(4)에 의해 화상데이타(103)을 공간 주파수 영역의 변환계수(104)로 변환하고, 양자화부(5)에서 변환계수의 양자화를 행한다. 나중에, 이동 보상 예측의 참조화면으로서 사용하기 위해 양자화된 정보(105)를 역양자화부(11)에서 역양자화하고, 역DCT하여 화상데이타(118)을 얻어서 예측 화상데이타(이동 보상 예측 신호)(119)와 가산기(17)에서 가산한다. 즉, 국부 복호에 의해 화상을 복호하고, 프레임 메모리(18)에 저장한다. 이 때, 프레임 메모리(18)에 저장하는 포맷을 통일하기 위해서, 필요에 따라서 제2의 국소적 포맷 변환(20)과 셀렉터(21)에 의해 국소적 포맷 변환을 행한다. 양자화 후의 8 × 8 DCT계수(105)는 저주파수 성분부터 차례로 스캔되어 1차원 정보로 된 후, 가변길이 부호화부(6)에서 가변길이 부호화된다. 또한, 포맷의 전환을 행하는 각각의 단위에서 어느 포맷을 선택하였는지를 나타내는 정보(127)을 부호화 정보의 일부로서 다중화한다.

가변으로 되는 부호발생량을 일정하게 보유하는 경우는, 출력버퍼(7)을 감시함으로써 발생 부호량(108)을 파악하고, 레이트 제어부(8)에 의한 피드백에 의해 양자화 제어를 행한다.

또한, 본 실시예에서는, DCT 부호화를 사용하였지만, 서브대역 부호화 등, 다른 부호화 방식이라도 본 발명을 적용할 수 있는 것은 말할 것도 없다. 또한, 본 실시예에서는, 국소적 포맷 변환을 행한 데이타와 행하지 않은 데이타를 판정부(3)에 의해 전환하는 구성을 나타내었지만, 국소적 포맷변환 자체가 처리내용을 전환하도록 하는 구성을 취해도 본질적으로 다름이 없는 것은 물론이다.

[제3실시예]

도9는 예측 복호화 루프가 없는 경우의 기본적인 화상 복호화 장치의 구성도이다. 동도면에서, 신규한 요소로서 13은 국소적 포맷 변환(복수 포맷 변환)부이다. 또한, 도면의 복호화 장치에서의 판정부(3a)는 화상 상태 판정은 하지 않고, 입력은 선택 정보(113)으로 출력선택을 한다. 그 외의 버퍼(9), 가변길이 복호화부(10), 역양자화부(11), 역DCT부(12), D/A 변환부(14)는 종래와 마찬가지 의 요소이다.

또한, 109는 가변길이 복호된 양자화 인덱스 정보, 110은 역양자화된 변환계수, 111은 역DCT에 의해 화소공간 영역으로 되돌아간 화상데이타, 112는 국소적 포맷 변환된 화상데이타, 113은 어느 포맷이 선택되었는지를 나타내는 정보로서, 부호화 장치측의 선택 정보(106)에 대응하고 있고, 114는 포맷이 통일된 화상데이타, 115는 재생된 화상신호이다. 상기 이외는 이미 설명한 번호의 것과 동등하다.

다음에 동작에 대해서 설명하기로 한다.

본 실시예의 복호화 장치는, 제1실시예에서 기술한 화상 부호화 장치에 호응하는 복호화 장치이다. 우선, 부호화된 비트스트림(107)은 버퍼(9)에 저장된다. 버퍼(9)내의 데이타는 판독되고, 가변길이 복호화부(10)에서 가변길이 복호가 행해진다. 이 과정에서, DCT계수의 정보(109), 블럭 또는 복수의 블럭으로 형성되는 개개의 단위에서 어떤 포맷이 선택되었는지를 나타내는 정보(113) 등이 복호·분리된다. 복호된 8 × 8의 양자화 DCT계수(109)는 역양자화부(11)에서 DCT계수(110)으로 복원되고, 역DCT부(12)에 의해 화소공간데이타(111)로 변환된다.

복호 화상으로서 출력하기전에, 국소적 포맷 변환측인가 원래의 화상 신호의 포맷측인가를 나타내는 예를들어 1비트의 정보(113)에 따라서 화면의 포맷을 균일하게 하기 위한 국소적 포맷 변환(13)을 판정부(3a)에서 동적으로 전환하면서 행하여, 복호 화상(114)를 얻는다. 마지막으로 D/A변환(14)에 의해 재생화상신호를 얻는다.

[제4실시예]

도10은 이동 보상을 포함하는 예측 복호화 수단을 구비한 화상 복호화 장치의 구성도이다. 도면에서, 신규한 요소는 앞에서의 실시예에 나타낸 제2의 국소적 포맷 변환부(20)과, 제3의 국소적 포맷 변환부(22)와, 셀렉터(21,23)이다. 또한, 24는 이동 보상 예측부이다. 또한, 128은 국소적으로 포맷 변환된 복호 화상데이타이다. 상기 이외는 이미 설명된 번호의 것과 동등하다.

다음에, 동작에 대해서 설명하기로 한다.

이 실시예의 복호화 장치는, 제2실시예에서 기술한 화상 부호화 장치에 호응하는 복호화 장치이다. 우선, 입력인 부호화된 비트스트림(107)은 버퍼(9)에 저장된다. 버퍼(9)내의 데이타는 판독되고, 가변길이 복호화기(10)에서 가변길이 복호가 행해진다. 이 과정에서, DCT계수의 정보(109), 이동 벡터의 정보(126), 블럭 또는 복수의 블럭으로 형성되는 개개의 단위에서 어떤 포맷이 선택되었는지를 나타내는 정보(127) 등이 복호·분리된다. 복호된 8 × 8의 양자화 DCT계수(109)는 양자화부(11)에서 DCT계수(101)로 복원되고, 역DCT부(12)에 의해 화소 공간 데이타(118)로 변환된다.

이동 보상 예측이 행해지고 있는 때에는, 상기의 화소 공간 데이타(118)과, 참조화면으로부터의 이동 보상 예측에 의해 생성되는 이동 보상 예측 화상데이타(117)과의 가산기(17)에 의한 가산으로 화상이 복호되고, 복호 화상(120)은 필요에 따라서 그 후의 복호처리에서 참조화면으로서 사용하기 위해서 프레임 메모리(18)에 저장되는 것이 기본이다.

복호된 차분 화소 공간 데이타(118)과, 참조화면으로부터 이동 예측에 의해 생성되는 이동 보상 예측 화상데이타(117)과의 가산을 행하기 위해서는, 복호 차분 화소 공간 데이타(118)의 포맷과 이동 보상 예측 화상데이타(117)의 포맷이 같아야만 한다. 이를 위해, 프레임 메모리(18)로부터 판독된 이동 보상 예측 화상데이타에 대하여 필요에 따라서 제3의 국소적 포맷 변환부(22)와, 셀렉터(23)에 의해 국소적 포맷 변환을 행하여 포맷을 일치시킨다. 이 국소적 포맷 변환이 필요한지 어떤지(셀렉터에서 어느 쪽을 선택한다)는, 앞서 분리한 포맷 선택 정보(127)에 의해 알 수 있다.

복호 화상으로서 출력하기전에, 선택된 포맷을 나타내는 정보(127)에 따라서 화면의 포맷을 균일하게 하기 위한 국소적 포맷 변환부(13)을 판정부(3a)에서 동적으로 전환하면서 행하여 복호 화상(114)를 얻는다.

복호 화상(114)를 프레임 메모리(18)에 저장할 때에도 포맷을 통일하기 위해서 필요에 따라 제2의 국소적 포맷 변환부(20)과 셀렉터(21)에 의해 국소적 포맷 변환을 행한다.

[제5실시예]

도11은 국소적 포맷(복수 포맷) 변환에서 어느 포맷 변환을 선택할지를 전환하는 구체적인 기준의 예를 나타낸 기본적 부호화 장치의 구성도이다. 도면에서, 신규한 요소는 25의 색차 성분에 의한 포맷 판정부가 있고, 도1의 판정부(3)의 입력 신호를 특정한 것이다. 상기 이외는 이미 설명된 번호의 것과 등등하다.

다음에 동작에 대해서 설명하기로 한다.

본 실시예에서 설명하는 것은, 국소적 포맷 변환을 행할지 여부, 및 어떤 포맷을 선택할지를 결정하는 기준을 제공하는 구조이다. 이제, 포맷을 선택하는 범위는 블럭 또는 복수의 블럭을 모은 어떤 단위로 한다. 본 실시예에서는, 색차성분에 의한 포맷 판정부(25)가 동일 단위로 포함되는 화상데이타의 색차 성분에 근거하여 포맷을 선택한다. 예를 들어, 색잡음이 현저히 검출될 수 있는 것은 짙은 색의 부분, 색의 값이 크게 변화하고 있는 부분 등, 색의 활동이 높은 부분이다. 또한, 얼굴이나 입술을 포함하는 인간의 살색의 주변도 색잡음이 현저히 검출될 수 있는 부분이다. 이것을 이용하면, 색잡음이 쉽게 눈에 띄는 곳에서 색차 성분의 샘플 밀도가 높은 포맷을 선택할 수 있다.

구체적인 구성예로서, 도12에 포맷 판정부(25)를 나타낸다. 도면에 도시한 바와 같이, 화상 입력 신호(101)이 휘도·색차신호가 다중화되어 있던 경우에는, 휘도·색차신호 분리기(31)에서 각 신호로 분리되어 색차신호(136)이 출력된다. 한편, 입력 신호(101)이 원래 색차신호로 분리되어 있던 경우에는, 직접 색차신호(136)으로 되고, 색차 평균값 검출기(35) 및 색차 분산값 산출기(36)에 입력된다. 색차 평균값 검출기(35)에서는, 블럭 또는 복수의 블럭을 모은 어떤 단위마다의 화상영역에 대한 색차의 평균값(137)을 산출한다. 상기 색차 평균값(137) 및 색차신호(136)을 이용하여, 색차 분산값 산출기(36)에서는 색차 분산값(138)을 산출한다. 포맷 결정부(37)은 색차 분산값(138)을 예정된 임계값과의 대소를 비교하는 것으로, 국소적 포맷변환할지 여부, 또한 어느 포맷으로 변환할지의 포맷 전환 정보(106)이 얻어진다. 또한, 국소적 포맷 변환하는 경우는, 도11에 도시한 바와 같이 신호(103)은 신호(102)를 선택한다.

여기에서, 예를 들어 임계값을 2개(Th1, Th2) 준비하여 국소적 포맷 변환하는 경우를 생각하면, 색차 성분의 분산값 Dev를 고려하여 이것과 임계값 Th1, Th2의 대소 관계를 고려한다. 원신호(101)이 4 : 4 : 4, 또는 역으로 4 : 2 : 0인 경우에는, 하기와 같이 된다.

1) 원신호(101) = 4 : 4 : 4인 경우

1-1) (Dev 〈 Th1)이면, (단, Th1 〈 Th2)

이것은 색의 변화가 평탄하다고 생각된다. 따라서,

{4 : 4 :4 ⇒ 4 : 2 : 0으로 다운 샘플링}

1-2) (Dev ≥ Th1 ＆ Dev2 〈 Th2)이면,

이것은 상기로부터 변화하지만, 변화의 비율은 크지 않다고 생각된다. 따라서, {4 : 4 : 4 ⇒ 4 : 2 : 2로 다운 샘플링}

1-3) 기타,

{변화 없슴}

2) 원신호(101) = 4 : 2 : 0인 경우

2-1) (Dev 〉 Th1)이면, (단, Th1 〉 Th2)

{4 : 2 : 0 ⇒ 4 : 4 : 4로 업 샘플링}

2-2) (Dev ≥ Th1 ＆ Dev2 〉 Th2)이면,

{4 : 2 : 0 ⇒ 4 : 2 : 2로 업 샘플링}

2-3) 기타,

{변화 없슴}

또한, 상기 설명한 바와 같이, 판정기준으로서는 예를 들어 화소값(상기 예에서는 색차값)의 분산값을 사용하고 있지만, 이것은 분산값이 큰 것은 화소값의 진폭이 큰 것을 의미하고, 역으로 분산값이 작을 때에는 화소값은 평탄하고, 전체가 평균값에 가까운 것을 의미하는 것을 이용하고 있다.

본 실시예에서는, 제1실시예의 화상 부호화 장치의 포맷 전환 기준의 선택에 대해서 설명하였지만, 이것은 휘도성분과 색차성분의 샘플 밀도비를 전환하기 위한 판단기준을 주는 구조의 구체예이기 때문에, 예측 부호화 수단을 부가한 형식의 제2실시예에서 나타낸 화상 부호화 장치에 있어서도 적용할 수 있는 것은 말할것도 없다. 이 경우의 구성예를 도13에 나타낸다. 이 도13에서는, 포맷 판정부(25)와 그의 셀렉터부(3b)는 다른 요소로서 표시하고 있지만, 도11과 마찬가지로 3b는 그의 셀렉터 부분을 표시하고 있어 포맷 판정부(25)내에 있다.

본 발명을 제2실시예의 화상 부호화 장치에 적용하는 경우에는, 포맷의 선택을 행하는 단위에서의 색차 성분의 프레임간에서의 활동을 기준으로 사용하는 것도 가능하다.

또한, 본 실시예에서는 색차 성분에 의한 포맷 판정부(25)로의 입력으로서 입력 화상 신호(101)의 색차 성분을 이용한 예를 설명하였지만, 이후의 실시예의 다른 기준 입력과 같이 양자화부(5)의 출력인 양자화 인덱스(105)를 이용하여도 좋다.

[제6실시예]

도14는 국소적 포맷 변환에서, 어느 포맷 변환을 선택할지를 전환하는 다른 구체적인 기준을 사용한 예측 부호화 수단이 부착된 부호화 장치의 구성도이다. 동 도면에서, 신규한 요소는 26의 이동에 의한 포맷 판정부이고, 도1의 판정부(3)의 입력신호를 특정한 것이다. 또한, 판정부분과 셀렉터 부분(3b)을 다른 블럭으로 표시한 것은 도13과 마찬가지이다. 상기 이외는 이미 설명된 번호의 것과 동등하다.

다음에 동작에 대해서 설명하기로 한다.

본 실시예에서 설명하는 것은, 국소적 포맷 변환의 선택 기준을 얻는 다른 구조이다. 이제, 포맷을 선택하는 범위는 블럭 또는 복수의 블럭을 모은 어떤 단위로 한다. 이 본 실시예에서는, 동 단위에서의 이동 보상 예측을 위한 이동 벡터(126)에 근거하여 포맷을 선택한다. 예를 들어, 색잡음이 현저히 검출될 수 있는 것은 프레임간에서 이동이 있고, 정보량이 크게 발생하는 곳에서 압축을 해야만 하는 부분이다. 이것을 이용하면, 이동 벡터의 값에 근거하여 색잡음이 쉽게 눈에 띄는 곳을 판단하여 색차 성분의 샘플 밀도가 높은 포맷을 선택할 수 있다. 또한, 이동 벡터는 원래 부호화 정보의 일부로서 복호측에 제공해야 할 정보이기 때문에, 다시 포맷 선택 정보를 복호측에 제공할 필요는 없다는 잇점도 있다.

또한, 제5실시예와 마찬가지로 포맷 변환의 유무, 또한 어느 포맷으로 변환할지는 휘도 성분의 값의 임계값과의 대소 판정에 의해 행한다.

상기 이동에 의한 포맷 판정부(26)의 구성예를 구체적으로 도시한 것이 도15이다. 도면중, 이동 벡터(126)을 입력한 이동 벡터 절대값 산출기(38)에서는, 이동 벡터의 절대값, 즉, 수평 성분과 수직 성분의 각각의 절대값 합을 산출한다. 포맷 결정부(39)에서는, 얻어진 이동 벡터의 절대값(139)의 값을 예를 들어 예정된 임계값과 비교하는 것으로 이동의 격렬함을 판정하여 국소적 포맷 변환을 이용할지 여부를 결정하고, 포맷 전환 겅보(106)을 출력한다.

또한, 상기 설명에서는 이동 벡터의 절대값을 사용하였지만, 이동 벡터의 수평·수직 성분의 제곱합으로도 유효하다는 것에는 틀림없다.

[제7실시예]

도16은 제6실시예의 부호화 장치에 대응하는 수신측의 예측 복호화 수단을 구비한 화상 복호화 장치의 구성도이다. 도면중의 번호의 각 요소는 이미 설명된 번호의 것과 동등하다. 단, 3b는 이동에 의한 포맷 판정부(26)의 셀렉터 부분이다.

다음에 동작에 대해서 설명하기로 한다.

우선, 입력의 부호화된 비트스트림(107)은 버퍼(9)에 저장된다. 버퍼(9)내의 데이타는 판독되고, 가변길이 복호화부(10)에서 가변길이 복호가 행해진다. 이 과정에서 DCT계수의 정보(109), 이동 벡터의 정보(126) 등이 복호· 분리된다. 복호된 8 × 8의 양자화 DCT계수(109)는 역양자화부(11)에서 DCT계수(110)으로 복원되고, 역DCT부(12)에 의해 화소 공간 데이타(118)로 변환된다. 이동 보상 예측이 행해지고 있는 때는, 참조화면으로부터의 이동보상예측에 의해 생성되는 이동 보상 예측 화상데이타(117)과의 가산에 의해 화상이 복호되고, 복호 화상(120)은 필요에 따라 그 후의 복호 처리에서 참조화면으로서 이용하기 위해서 프레임 메모리에 저장되는 것이 기본이다.

복호된 차분 화소 공간 데이타(118)과, 참조화면으로부터 이동 예측에 의해 생성되는 이동 보상 예측 화상데이타(117)과의 가산을 행할 때에 필요한 포맷의 일치를 위해, 프레임 메모리(18)로부터 판독된 이동 보상 예측 화상데이타에 대해서 제3의 국소적 포맷 변환(22)와 셀렉터(23)을 이용한다. 이 국소적 포맷 변환의 셀렉터에 의한 선택에는 먼저 분리한 이동 벡터 정보(126)를 입력으로 하는 이동에 의한 포맷 판정부(26)에서 얻어지는 포맷 정보(106)이 사용된다.

실제는, 이동 벡터 정보는 이동 보상을 행하는 경우는, 반드시 전송되는 것이며, 따라서 부호화 장치측으로부터 대응하는 선택 정보(127)은 전송은 필요없고, 전송 비트를 줄일 수 있다.

복호 화상으로서 출력하기전에, 선택된 포맷을 나타내는 정보(106)에 따라서, 화면의 포맷을 균일하게 하기 위한 국소적 포맷 변환부(13) 출력을 이동에 의한 포맷 판정부(26)의 셀렉터 부분(3b)에 의해 동적으로 전환하면서 행하고, 복호 화상(114)를 얻는다. 복호 화상을 프레임 메모리(18)에 저장할 때에도, 포맷을 통일하기 위해서 제2의 국소적 포맷 변환부(20)과 셀렉터(21)에 의해 국소적 포맷 변환을 행한다.

[제8실시예]

도17은 국소적 포맷 변환에서, 어느 포맷 변환을 선택할지를 전환하는 기준으로서 또다른 구체예를 기재한 기본적인 화상 부호화 장치의 구성도이다. 도면에서, 신규한 요소는 27의 휘도성분에 의한 포맷 판정부이고, 도1의 판정부(3)의 입력 신호를 특정한 것이다. 또한, 판정 부분과 셀렉터 부분을 다른 블럭으로 표시한 것은 도13과 마찬가지이다. 또한, 그의 구체 구성예는 도12의 색차신호의 경우와 마찬가지이다. 상기 이외의 요소는 이미 설명된 번호의 것과 동등하다.

다음에 동작에 대해서 설명하기로 한다.

포맷 선택의 범위도, 다른 실시예와 마찬가지로 블럭 또는 복수 블럭을 단위로 한다. 본 실시예에서는, 동 단위로 포함되는 화상데이타의 휘도성분에 근거하여 국소적 포맷 변환 출력을 이용할지 여부를 휘도 성분에 의한 포맷 판정부(27)에서 선택한다. 예를 들어, 색잡음이 현저히 검출될 수 있는 것은 휘도가 높은, 즉 밝은 부분이다. 어두운 부분에서는, 색에 대한 감도가 저하하기 때문에 색잡음은 눈에 띄기 어렵다. 이것을 이용하면, 예를 들어 도12와 같은 구성 회로에 의해, 색잡음이 쉽게 눈에 띄는 곳에서 색차성분의 샘플 밀도가 높은 포맷을 선택할 수 있다. 또한, 휘도성분의 샘플 밀도를 일정하게 하여 색차성분의 샘플 밀도를 가변으로 해두면, 휘도 성분은 포맷 선택의 정보에 의하지 않고 복호측에서 복호 가능하기 때문에, 복호측에서도 휘도성분을 기초로 동일 알고리즘으로 포맷선택을 행할 수 있다. 이 때문에, 다시 포맷 선택 정보를 복호측에 제공할 필요는 없게 된다. 또한, 제5실시예에서 기술한 바와 같이, 포맷 변화의 유무, 또한 어느 포맷으로 변환할지는 휘도 성분값의 임계값과의 대소 판정에 의해 행한다.

본 실시예에서는, 제1실시예 상당의 기본적인 구성의 부호화 장치에서의 포맷 전환 기준을 제공하는 다른 경우를 설명하였지만, 기본적으로 휘도성분과 색차성분의 샘플 밀도비를 전환하기 위한 판단 기준을 제공하는 구체예이기 때문에, 예측 부호화 수단을 부가한 형식인 제2실시예의 화상 부호화 장치에 있어서도 적용할 수 있는 것은 말할 것도 없다. 이 경우의 구성예를 도18에 나타낸다. 포맷 판정 부분(27)과 그의 셀렉터 부분(3b)와의 분리 표시도 도17과 마찬가지이다. 또한, 예측 귀환 루프가 있는 도18의 경우에는, 포맷의 선택을 행하는 단위에서의 휘도성분의 프레임간에서의 활동을 국부적 포맷 변환의 출력을 선택할지 여부의 선택기준에 사용하는 것도 가능하다.

상기 휘도성분에 의한 포맷 판정부(27)의 구성으로서는, 양자화된 휘도값(105)의 대소 판정을 행하는 부분을 포맷 판정부(27)중에 가지게 하여 그 결과에 근거해 셀렉터 부분(3b)에서 출력을 선택하고, 판정을 행한 결과의 포맷 전환 정보(선택 정보)(106)을 출력하는 구성으로 하면 된다.

게다가, 본 실시예에서는, 휘도성분에 의한 포맷판정부(27)로의 입력을 양자화부(5)의 출력인 양자화 인덱스인 휘도값(105)를 사용하였지만, 앞서의 실시예의 색차성분에 의하면 그것과 마찬가지로 입력화상신호(101)의 휘소 신호분을 사용하여도 좋다.

[제9실시예]

도19는 제8실시예의 예측 부호화 수단이 부착된 화상 부호화 장치에 대응하는 수신측의 예측 부호화 수단이 부착된 화상 복호화 장치의 구성도이다. 도면중의 번호는 이미 설명된 번호의 것과 동등하다.

다음에 동작에 대해서 설명하기로 한다.

우선 버퍼(9)내에 저장된 부호화 비트스트림(107)은 판독되어 가변길이 복호가 행해진다. 이 과정에서 DCT계수의 정보(109), 이동 벡터의 정보(126) 등이 복호·분리된다. 복호된 8 × 8의 양자화 DCT계수(109)는 역양자화되어 DCT 계수(110)으로 복원되고, 역DCT화에 의해 화소 공간 데이타(118)로 변환된다. 이것에, 이동 보상 예측이 행해지고 있을 때는 이동 보상 예측 화상데이타(117)과 가산되어 화상이 복호되고, 복호화상(120)은 필요에 따라서 프레임 메모리(18)에 저장되는 것이 기본이다.

복호된 차분 화소공간데이타(118)과, 참조화면으로부터 이동 예측에 의해 생성되는 이동 보상 예측 화상데이타(117)과의 가산을 행할 때에 필요한 포맷의 일치를 위해, 앞서의 실시예에서 기술한 바와 같이, 프레임 메모리(18)로부터 판독된 이동 보상 예측 화상데이타에 대해서 제3의 국소적 포맷 변환부(22)와 셀렉터(23)을 사용한다. 이 국소적 포맷 변환의 셀렉터에 의한 선택에는 휘도성분의 양자화값(109)를 사용한다. 예를 들어, 색잡음이 현저히 검출될 수 있는 것은 휘도가 높은, 즉 밝은 부분이다. 어두운 부분에서는 색에 대한 감도가 저하하기 때문에 색잡음은 눈에 띄기 어렵다. 부호화측과 동일한 알고리즘에 의해 포맷을 선택하는 것으로 하면, 포맷 선택 정보는 불필요하다.

복호화상으로서 출력하기전에, 선택된 포맷을 나타내는 정보(106)에 따라서, 화면의 포맷을 균일하게 하기 위한 국소적 포맷 변환부(13) 출력을 포맷 판정부(27)의 셀렉터 부분(3b)에 의해 동적으로 전환하면서 행하여 복호화상(114)를 얻는다. 복호화상을 프레임 메모리(18)에 저장할 때에도 포맷을 통일하기 위해 제2의 국소적 포맷 변환부(20)와 셀렉터(21)에 의해 국소적 포맷 변환을 행한다.

[제10실시예]

도20은 국소적 포맷 변환에서, 어느 포맷 변환을 선택할지를 전환하는 다른 구체적인 기준을 사용한 화상 부호화 장치의 구성도이다.

도면에서, 신규한 요소는 40의 예측 오차에 의한 포맷 판정부이고, 도1의 판정부(3)의 입력신호를 특정한 것이다. 또한, 판정부분(40)과 셀렉터 부분(3b)를 다른 블럭으로 표시한 것은 도13과 마찬가지이다. 상기 이외의 요소는 이미 설명된번호의 것과 동등하다.

다음에 동작에 대해서 설명하기로 한다. 또한, 국소적 포맷 변환의 출력을 선택할지 여부의 전환의 기준을 제공하는 부분 이외의 동작은 중복을 피하여 설명을 생략하기로 한다. 본 실시예의 구성에서는, 포맷 선택 정보(106)을 복호측에 제공할 필요가 없다.

도20에서, 포맷 변화의 선택 단위에서의 이동 보상 예측후의 예측 오차 데이타(117)에 근거하여 포맷을 선택한다. 예를 들어, 색잡음이 현저히 검출될 수 있는 것은 예측 오차의 에너지가 클 때에 빈번히 일어난다. 도20의 구성에서, 예측 오차값에 의한 포맷 판정을 설정 임계값과 비교하여 그의 임계값보다 큰 것으로 예측 오차의 에너지가 큰 것이 판명된다. 따라서, 이 때에 한해 색차성분의 샘플수를 증가시키고, 그 이외의 경우에는 감소시키는 것이 효율적이다. 또한, 상기의 설명에서는, 포맷 판정부(40)은 예측 오차 데이타(117)을 입력하여 포맷의 판정을 행하는 구성으로 하였지만, 양자화부(5)의 출력인 양자화 인덱스(105)를 입력하여 포맷의 판정을 행하는 구성으로 하여도 좋다. 또한, 제5실시예에서 기술한 바와 같이, 상기 예측 오차값과 임계값과의 대소 판정에 의해 포맷 변환을 행할지, 또한 어떤 포맷으로 변화할지를 결정하는 구성으로 한다.

[제11실시예]

도21은 제10실시예의 부호화 장치에 호응하는 수신측의 화상복호화장치의 구성도이다. 도면중의 번호는 이미 설명된 번호의 것과 동등하다.

또한, 전환의 기준에 관한 부분 이외의 동작은 중복을 피하여 설명을 생략한다. 버퍼(9)내의 부호화 비트스트림(107)이 판독되어 가변길이 복호가 행해진다. 이 과정에서 DCT계수의 정보(109), 이동 벡터의 정보(126)이 복호·분리된다.

복호된 차분 화상 공간 데이타(118)과, 이동 보상 예측 화상데이타(117)과의가산을 행할 때에 필요한 포맷의 일치를 위해 이미 기술한 바와 같이 프레임 메모리(18)로부터 판독된 이동 보상 예측 화상데이타에 대해서 제3의 국소적 포맷 변화부(22)와 셀렉터(23)을 사용한다. 이 국소적 포맷 변화의 셀렉터에 의한 선택에서는, 앞서 분리한 이동 벡터 정보(126)을 입력으로 하는 예측 오차값에 의한 포맷 판정부(40)으로부터의 출력 정보를 사용한다.

[제12실시예]

도22는 국소적 포맷 번환에서 어느 포맷 변환을 선택할지를 전환하는 다른 구체적인 기준을 사용한 화상 부호화 장치의 구성도이다.

도면에서, 신규한 요소는 41의 양자화 스텝 사이즈에 의한 포맷 판정부로, 도1의 판정부(3)의 입력신호를 특정한 것이다. 또한 판정 부분(41)과 셀렉터 부분(3b)를 다른 블럭으로 표시한 것은 도13과 마찬가지이다. 상기 이외는 이미 설명된 번호의 것과 동등하다.

다음에 동작에 대해서 설명하기로 한다.

본 실시예의 구성에 의해서도 포맷 선택 정보를 복호측에 제공할 필요가 없다. 또한, 전환의 기준에 관한 부분 이외의 동작 설명은 생략하기로 한다. 본 실시예에서는, 부호화 계수 또는 부호화 화상을 양자화하는 양자화 스텝 사이즈(140)에 근거하여 포맷을 선택한다. 이것은 레이트 제어부(8)의 출력인 양자화 스텝 사이즈(140)이 클때에 화상의 열화가 현저하게 되는 것을 이용하여 양자화 스텝 사이즈(140)이 클때에 색차 성분의 샘플 밀도가 높은 포맷으로 설정하고, 역으로 양자화 스텝 사이즈(140)이 작을 때에는 당해 색차성분의 샘플 밀도를 낮게 설정하는 것이 효과적이다. 즉, 도22의 구성에서 양자화 스템 사이즈에 의한 포맷 판정(41)은 설정 임계값과 비교하여 셀렉터 부분(3b)의 선택을 한다. 여기에서, 포맷 변환의 유무, 또한 어떤 포맷으로 변환할지는 제5실시예와 마찬가지로 하여 상기 양자화 스텝 사이즈와 임계값과의 대소 판정에 의해 행한다.

양자화 스텝 사이즈(140)은 포맷 선택의 정보에 의하지 않고 복호측에서 복호 가능하기 때문에, 복호측에서도 휘도 성분을 기초로 동일 알고리즘으로 포맷 선택을 행할 수 있다. 이 때문에, 다시 포맷 선택 정보를 복호측에 제공할 필요는 없게 된다.

본 실시예에서는, 예측 부호화 수단이 없는 기본적 화상 부호화 장치에서 설명하였지만 양자화 스텝 사이즈에 의한 포맷 판정은 휘도성분과 색차성분의 샘플 밀도비를 전환하기 위한 판단 기준을 주기 위한 것이기 때문에, 예측 부호화 수단을 구비한 화상 부호화 장치에서도 적용할 수 있는 것은 말할 것도 없다. 이 때의 구성예를 도23에 나타낸다.

[제13실시예]

도24는 제12실시예의 예측 부호화 수단이 부착된 화상 부호화 장치에 호응하는 수신측의 예측 복호화 수단이 부착된 화상 복호화 장치의 구성도이다. 도면중의 번호는 이미 설명된 번호의 것과 동등하다.

다음에 동작에 대해서 설명하기로 한다.

동 도면중에서, 복호된 차분 화소공간데이타(118)과, 이동 예측에 의해 생성되는 이동 보상 예측 화상데이타(117)고의 가산을 행할 때에 필요한 포맷의 일치를 위해 이미 기술한 바와 같이 프레임 메모리(18)로부터 판독된 이동 보상 예측 화상 데이타에 대해서 제3의 국소적 포맷 변환부(22)와 셀렉터(23)을 사용한다. 이 국소적 포맷 변화의 셀렉터에 의한 선택에는 가변길이 복호화의 과정에서 얻어지는 분리된 신호의 양자화값 스텝 사이즈(140)을 이용한다.

복호 화상으로서 출력하기전에, 선택된 포맷을 나타내는 정보(106)에 따라 화면의 포맷을 균일하게 하기 위한 국소적 포팻 변환(13)을 포맷 판정부(41)의 셀렉터 부분(3b)에 의해 동적으로 전환하면서 행하여 복호화상(114)를 얻는다. 복호 화상을 프레임 메모리(18)에 저장할 때에도, 제2의 국소적 포맷 변환부(20)과 셀렉터(21)에 의해 국소적 포맷 변환을 행한다.

또한, 상기 각 실시예에서는 국소적 포맷 변환에서 복수 포맷 변화의 출력을 선택할지 여부를 판정부에서 행하기 위한 신호로서 단일의 성분, 예를 들어 색차 성분 등을 이용한 경우를 설명하였다. 그러나, 물론 판정 입력으로서 단일 성분이 아니라 복수의 성분을 입력으로 하여 가중 가산한 신호를 사용하거나, 각 성분의 선택후의 결과의 논리 연산 결과에서 최종적인 선택 출력 정보(106)을 제공하도록 하여도 좋다.

또한, 상기 설명한 화상 부호화 장치와, 화상 복호화 장치는 쌍으로 하여 전송로를 통해 또는 기록매체 등을 통해 화상부호화·복호화 시스템을 구성한다.

이상과 같이 본 발명에 의하면, 부호화 장치에서 복수 포맷 변환부와 각종의 화상상태 판정부를 구비하고 소정의 화상데이타의 상태 변화를 검출하여 포맷을 선택하도록 하였기 때문에, 색차성분의 샘플수를 대폭으로 증가시키지 않고 색잡음을 저감하는 효과가 있다.

또한, 복호화 장치에 있어서도, 복수 포맷 변환부를 구비하고 복호화 과정에서 얻어지는 값에 의해 포맷을 선택하도록 하였기 때문에, 색잡음이 저감된 복호 화상이 얻어지는 효과가 있다.

또한, 부호화 장치에서, 색차신호, 휘도신호, 이동 벡터의 값, 화상데이타와 이동 보상후 예측 신호와의 예측 오차값, 양자화 스텝 사이즈를 설정값과 비교하여 포맷 변환을 전환하도록 하였기 때문에, 색잡음이 쉽게 눈에 띄는 부분에서 색차성분의 샘플 밀도를 높이고, 경우에 따라서는 복호측에 선택 정보를 보내지 않아도 좋고, 색잡음을 저감하여 경우에 따라서는 부호화 효율이 높아지는 효과가 있다.

또한, 복호화 장치에 있어서도, 부호화측과 대응한 구성으로 하였기 때문에, 색잡음의 저감이 이루어지고, 경우에 따라서는 높은 부호화 효율에 의해 더욱 저감이 얻어지는 효과가 있다.

Claims

(2회 정정) 화상 부호화 장치에 있어서, 포맷변환시, 입력 화상데이타를 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 화상데이타로 변환하는 복수 포맷 변환부와, 상기 복수 포맷 변환부에 의해 변환된 상기 화상데이타를 양자화하는 양자화 수단과, 설정 기준과, 상기 입력 화상데이타 또는 상기 양자화된 화상데이타 상태, 이동 보상 예측부로부터의 벡터값, 입력 화상데이타와 이동 보상 후의 예측 신호의 차인 예측 오차값, 또는 양자화에 사용된 양자화 스텝 사이즈 중 어느 하나의 비교에 의해, 상기 복수 포맷 변환의 공간 해상도의 화상데이타 중 어느 것을 출력할지를 선택하여 부호화하는 화상 상태 판정부를 포함하는 것을 특징으로 하는 화상 부호화 장치.
(정정) 화상 복호화 장치에 있어서, 입력된 부호화 화상데이타를 복호하는 복호화 수단과, 상기 복호화 수단에 의해 복호된 화상데이타를 역양자화하는 역양자화 수단과, 상기 역양자화된 화상데이타를 입력된 부호화 화상데이타의 상태 변화를 판정하여 소정의 포맷 변환을 위한 입력으로 하기 위해 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도 중 어느 것인가로 디지탈 화상데이타로 재생하는 복수 포맷 변환부를 포함하는 것을 특징으로 하는 화상 복호화 장치.
(2회 정정) 화상 부호화 장치와 화상 복호화 장치를 구비한 화상 부호화·복호화 시스템에 있어서, 상기 화상 부호화 장치는 포맷변환시, 입력 화상데이타를 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도의 화상데이타로 변환하는 복수 포맷 변환부와, 상기 복수 포맷 변환부에 의해 변환된 상기 화상데이타를 양자화하는 양자화 수단과, 설정기준과, 상기 입력 화상 데이타 또는 상기 양자화된 화상 데이타 상태, 이동 보상 예측부로부터의 벡터값, 입력 화상데이타와 이동 보상 후의 예측신호의 차인 예측 오차값, 또는 양자화에 사용된 양자화 스텝 사이즈 중 어느 하나의 비교에 의해, 상기 복수 포맷 변환의 공간 해상도의 화상데이타 중 어느 것을 출력할지를 선택하여 부호화하는 화상 상태 판정부를 포함하고, 상기 화상 복호화 장치는 입력된 부호화 화상데이타를 복호하는 복호화 수단과, 상기 복호화 수단에 의해 복호된 화상데이타를 역양자화하는 역양자화 수단과, 상기 역양자화된 화상데이타를 입력된 부호화 화상데이타의 상태 변화를 판정하여 소정의 포맷 변환을 위한 입력으로 하기 위해 복수의 소정의 휘도신호와 색차신호에 의한 공간 해상도 중 어느 것인가로 디지탈 화상데이타로 재생하는 복수 포맷 변환부를 포함하는 것을 특징으로 하는 화상 부호화·복호화 시스템.