KR100341079B1

KR100341079B1 - 화상 처리 방법 및 화상 처리 장치, 및 데이터 기록 매체

Info

Publication number: KR100341079B1
Application number: KR1019997006218A
Authority: KR
Inventors: 가도노신야
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 1997-01-10
Filing date: 1998-01-09
Publication date: 2002-06-20
Also published as: CN1243635A; TW395131B; EP0971545A1; WO1998031151A1; EP0971545A4; US6690724B1; KR20000070003A

Abstract

본 발명에 관한 계층 화상 부호화 장치(101)는, 도 1에 도시하는 바와 같이 화상 입력 신호인 고 해상도 화상 신호 HSg를 서브 샘플하여 저 해상도 화상 신호 LSg를 생성하는 서브 샘플기(2)와, 해당 저 해상도 화상 신호 LSg를, 복수의 화소로 이루어지는 블록마다 순차적으로 부호화하는 저 해상도 부호화부(101L)와, 상기 고 해상도 화상 신호를, 복수의 화소로 이루어지는 블록마다 순차적으로 부호화하는 고 해상도 부호화부(101H)를 구비하고, 상기 고 해상도 화상 신호 HSg의 부호화 처리시에, 부호화 처리의 대상으로 되는 대상 고 해상도 블록의 공간 위치와 동일한 공간 위치에 위치하는 참조 저 해상도 블록에 대응하는 저 해상도 화상 신호 LSg를 참조하도록 하였다.

이러한 구성의 계층 화상 부호화 장치(101)에서는, 물체의 형상 정보를 갖는 화상 신호를, 부호화 효율의 저하를 초래하는 일없이 계층 부호화할 수 있다.

Description

화상 처리 방법 및 화상 처리 장치, 및 데이터 기록 매체{IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE, AND DATA RECORDING MEDIUM}

화상 처리를 표시 화면 상에 표시되어 있는 개개의 물체(오브젝트) 단위로 실행하는 것을 가능하게 하기 위해서는, 화상 신호로서, 통상의 휘도 신호 및 색차 신호 이외에 물체의 형상을 나타내는 형상 신호가 필요하다. 또, 이하의 설명에서는, 이들 휘도 신호, 색차 신호에 덧붙여 형상 신호를 포함한, 즉 물체의 형상 정보를 갖는 화상 신호를 간단히 화상 신호라고 한다.

이러한 화상 신호는, 물체 단위로 취급할 수 있다고 하는 관점에서, 화상 정보나 음성 정보 등을 동시에 관련지어 나타내는 멀티미디어에 적합하며, 이 화상신호의 부호화 처리에 관한 기술은, 현재 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission Joint Technical Commission)의 작업 그룹인 MPEG(Moving Picture Experts Group)4에 의해 표준화 활동이 이루어지고 있다.

이하, 종래의 화상 신호의 계층 부호화 처리에 대하여 설명한다.

도 22는 해상도가 서로 다른 화상 신호에 대응하는 표시 화면(이하, 프레임이라고도 함)을 나타낸다. 도면중, LF는 저(低) 해상도 화상 신호에 대응하는 표시 화면(도 22a), HF는 고(高) 해상도 화상 신호에 대응하는 표시 화면(도 22b)이다. 또한, Lob는 저 해상도 화상 신호에 의해 상기 프레임 LF 상에 표시되는 1개 물체의 화상, Hob는 고 해상도 화상 신호에 의해 상기 프레임 HF 상에 표시되는 1개 물체의 화상이며, 돗트 표시 영역이 각 물체 내부의 영역이다.

종래의 화상 부호화 처리(현재의 MPEG4의 최신 평가 모델 방식)에서는, 1 프레임상에, 개개의 물체에 대응하는, 해당 물체를 포함하는 직사각형 영역을 설정하고, 이 직사각형 영역을 다시 블록(MPEG4의 평가 모델로서는 16×16 화소의 정방형 블록) MB로 분할한다. 그리고, 개개의 물체에 대한 화상 신호의 부호화 처리는, 상기 직사각형 영역을 구성하는 블록 단위로 실행한다.

따라서, MPEG4에 대응한 계층 부호화 처리에서는, 도 22c에 도시하는 바와 같이, 저 해상도 프레임 LF 상에서 물체 Lob에 대응한 저 해상도 직사각형 영역 LR을 설정함과 동시에, 도 22d에 도시하는 바와 같이 고 해상도 프레임 HF 상에서 물체 Hob에 대응한 고 해상도 직사각형 영역 HR을 설정할 필요가 있다.

이러한 계층 부호화 처리에서는, 직사각형 영역의 설정시에, 저 해상도 화상 신호에 대한 직사각형 영역 LR의 설정과, 고 해상도 화상 신호에 대한 직사각형 영역 HR의 설정을 독립적으로 실행하게 되고, 그 결과로서, 부호화 처리는 간단하지만, 물체에 대한 각 블록의 공간 위치(즉, 프레임 상에서의 각 블록의 위치)는 저 해상도 직사각형 영역의 블록과 고 해상도 직사각형 영역의 블록 사이에서 일치하지 않고, 또한 저 해상도 직사각형 영역과 고 해상도 직사각형 영역 사이에서의 블록의 대응도 취해지지 않는 경우가 있다.

이하 상술하면, 도 23은 종래의 계층 화상 부호화 장치를 설명하기 위한 블록도이다.

이 종래의 화상 부호화 장치(200a)는, 화상 입력 신호를 수신하여, 이 화상 입력 신호를 고 해상도 화상 신호 HSg로서 계층 부호화 처리를 실행하는 구성으로 되어 있다. 즉, 이 계층 화상 부호화 장치(200a)는, 해당 고 해상도 화상 신호 HSg를 서브 샘플하여 저 해상도 화상 신호 LSg를 생성하는 서브 샘플기(2)와, 해당 저 해상도 화상 신호 LSg에 대하여 부호화 처리를 실시해서 저 해상도 부호화 신호 LEg를 생성하는 저 해상도 부호화부(201L)를 갖고 있다. 또한, 이 계층 화상 부호화 장치(200a)는, 상기 저 해상도 부호화 신호 LEg를 복호화하는 복호화기(9a)와, 해당 복호화기(9a)의 출력 Ldg를 업 샘플하는 업 샘플기(10a)와, 해당 업 샘플기(10a)의 출력 LAg에 근거하여, 상기 고 해상도 화상 신호 HSg에 대해 부호화 처리를 실시해서 고 해상도 부호화 신호 HEg를 출력하는 고 해상도 부호화부(201H)를 갖고 있다.

상기 저 해상도 부호화부(201L)는, 상기 저 해상도 화상 신호 LSg에 근거하여, 저 해상도 프레임 LF 상에서의 개개의 물체에 대응하는 저 해상도 직사각형 영역 LR의 위치나 크기 등의 정보를 검출해서 해당 정보를 직사각형 신호 LRg로서 출력하는 영역 검출기(3)와, 해당 직사각형 신호 LRg에 근거하여, 상기 저 해상도 화상 신호 LSg로부터 상기 직사각형 영역 LR에 대응하는 화상 신호 LOg를 추출하는 영역 추출기(5)를 갖고 있다. 또한, 상기 부호화부(201L)는, 상기 직사각형 영역 LR에 대응하는 화상 신호(영역 대응 화상 신호) LOg를, 해당 직사각형 영역을 구분하는 16×16 화소로 이루어지는 블록 MB에 대응하도록 분할하여, 각 블록에 대응하는 화상 신호(블록화 화상 신호) LBg를 출력하는 블록화기(6)와, 해당 블록화 화상 신호 LBg를 부호화하여 저 해상도 부호화 신호 LEg를 출력하는 부호화기(7)를 갖고 있다.

또한, 상기 고 해상도 부호화부(201H)는, 상기 고 해상도 화상 신호 HSg에 근거하여, 고 해상도 프레임 HF 상에서의 개개의 물체에 대응하는 고 해상도 직사각형 영역 HR의 위치나 크기 등의 정보를 검출하여, 해당 정보를 직사각형 신호 HRg로서 출력하는 영역 검출기(12)와, 해당 직사각형 신호 HRg에 근거하여, 상기 고 해상도 화상 신호 HSg로부터 상기 직사각형 영역 HR에 대응하는 화상 신호 HOg를 추출하는 영역 추출기(14)를 갖고 있다. 또한, 상기 부호화부(201H)는, 상기 직사각형 영역 HR에 대응하는 화상 신호(영역 대응 화상 신호) HOg를, 해당 직사각형 영역을 구분하는 16×16 화소로 이루어지는 블록 MB에 대응하도록 분할해서, 각 블록에 대응하는 화상 신호(블록화 화상 신호) HBg를 출력하는 블록화기(15)와, 해당 블록화 화상 신호 HBg를 부호화하여 고 해상도 부호화 신호 HEg를 출력하는 부호화기(16)를 갖고 있다.

다음에 동작에 대하여 설명한다.

본 화상 부호화 장치(200a)에 화상 입력 신호로서 고 해상도 화상 신호 HSg가 입력되면, 서브 샘플기(2)에서는 상기 고 해상도 화상 신호 HSg가 그 서브 샘플에 의해 저 해상도 화상 신호 LSg로 변환된다.

상기 저 해상도 부호화부(201L)의 영역 검출기(3)에서는, 상기 저 해상도 화상 신호 LSg에 근거하여, 도 22c에 도시하는 바와 같이 저 해상도 프레임 LF 상에서, 처리 대상으로 되는 물체 Lob를 포함하는 직사각형 영역 LR의 범위를 검출하고, 해당 직사각형 영역 LR의 위치 및 크기 등의 정보를 직사각형 신호 LRg로서 출력한다. 그렇게 하면, 상기 부호화부(201L)의 영역 추출기(5)에서는 이 직사각형 신호 LRg에 근거하여, 상기 저 해상도 화상 신호 LSg로부터 상기 직사각형 영역 LR에 대응하는 물체 대응 화상 신호 LOg가 추출된다. 또한, 상기 부호화부(201L)의 블록화기(6)에서는, 도 22c에 도시하는 바와 같이, 상기 물체 대응 화상 신호 LOg가 상기 저 해상도 직사각형 영역 LR을 구분하는 복수의 블록 MB의 각각에 대응하도록 분할되어, 각 블록 MB에 대응하는 블록화 화상 신호 LBg로서 부호화기(7)에 출력된다. 그리고, 해당 부호화기(7)에 의해 상기 블록화 화상 신호 LBg의 부호화 처리가 실행되어, 상기 부호화부(201L)로부터 저 해상도 부호화 신호 LEg가 출력된다.

이 저 해상도 부호화 신호 LEg는, 복호화기(9a)에서 복호화 처리에 의해 저해상도 복호화 신호 Ldg로 변환되고, 이 복호화 신호 Ldg는 업 샘플기(10a)에서 보간 처리에 의해 고 해상도 화상 신호와 동일한 공간 해상도의 보간 복호화 신호 LAg로 변환되어 고 해상도 부호화부(201H)의 부호화기(16)에 출력된다.

이 때, 상기 고 해상도 부호화부(201H)에서는, 상기 저 해상도 부호화부(201L)와 거의 마찬가지의 처리가 이루어진다.

즉, 이 부호화부(201H)의 영역 검출기(12)에서는, 상기 고 해상도 화상 신호 HSg에 근거하여, 도 22d에 도시하는 바와 같이 고 해상도 프레임 HF 상에서 처리 대상으로 되는 물체 Hob를 포함하는 직사각형 영역 HR의 범위를 검출하고, 해당 직사각형 영역 HR의 위치 및 크기 등의 정보를 직사각형 신호 HRg로서 출력한다. 그렇게 하면, 상기 부호화부(201H)의 영역 추출기(14)에서는 이 직사각형 신호 HRg에 근거하여, 상기 고 해상도 화상 신호 HSg로부터 상기 직사각형 영역 HR에 대응하는 물체 대응 화상 신호 HOg가 추출된다. 또한, 상기 부호화부(201H)의 블록화기(15)에서는, 도 22d에 도시하는 바와 같이 상기 물체 대응 화상 신호 HOg가, 상기 고 해상도 직사각형 영역 HR을 구분하는 복수의 블록 MB의 각각에 대응하도록 분할되어, 각 블록 MB에 대응하는 블록화 화상 신호 HBg로서 부호화기(16)에 출력된다. 그리고, 해당 부호화기(16)에서는, 상기 블록화 화상 신호 HBg의 부호화 처리가 상기 보간 복호화 신호 LAg에 근거하여 실행되어 상기 부호화부(201H)로부터 고 해상도 부호화 신호 HEg가 출력된다.

상기한 바와 같은 계층 화상 부호화 장치(200a)에 의해 부호화된 저 해상도 부호화 신호 LEg에 대해서는, 이것과 직사각형 신호 LRg에 근거하여, 저 해상도 화상 신호 LSg에 상당하는 복호화 신호를 생성하는 복호화 처리를 실행할 수 있고, 또한 상기 부호화 장치(200a)에 의해 부호화된 고 해상도 부호화 신호 HEg에 대해서는, 상기 저 해상도 부호화 신호 LEg, 직사각형 신호 LRg, 고 해상도 부호화 신호 HEg 및 직사각형 신호 HRg에 근거하여, 고 해상도 화상 신호 HSg에 상당하는 복호화 신호를 생성하는 복호화 처리를 실행할 수 있다. 또한, 고 해상도 화상 신호 HSg의 부호화 처리에서는, 저 해상도 화상 신호 LSg를 참조하여 해당 양 화상 신호 LSg 및 HSg 사이에서의 화소값의 상관을 이용함으로써, 고 해상도 화상 신호 HSg를, 이것을 독립적으로 부호화하는 경우에 비해서 보다 적은 비트수로 부호화할 수 있다.

도 24는 종래의 계층 화상 복호화 장치를 설명하기 위한 블록도이다.

이 계층 화상 복호화 장치(200b)는, 도 23에 나타내는 종래의 화상 부호화 장치(200a)에 의해 부호화된 저 해상도 부호화 신호 LEg 및 고 해상도 부호화 신호 HEg를 입력 신호로 하여 계층 복호화 처리를 실행하는 것이다.

즉, 이 계층 화상 복호화 장치(200b)는, 상기 저 해상도 부호화 신호 LEg에 대하여 복호화 처리를 실시하여 저 해상도 재생 신호 LCg를 생성하는 저 해상도 복호화부(202L)와, 해당 복호화부(202L)에서의 복호화 처리 도중의 신호 LDg를 업 샘플에 의해 보간하는 업 샘플기(10b)와, 해당 업 샘플기(10b)의 출력 ADg에 근거하여 상기 고 해상도 부호화 신호 HEg에 대하여 복호화 처리를 실시해서 고 해상도 재생 신호 HCg를 생성하는 고 해상도 복호화부(202H)를 갖고 있다.

상기 저 해상도 복호화부(202L)는, 상기 저 해상도 부호화 신호 LEg에 대한 복호화 처리를 실행하여, 각 블록에 대응하는 저 해상도 복호화 신호 LDg를 생성하는 복호화기(9)와, 해당 저 해상도 복호화 신호 LDg를 통합하여, 상기 직사각형 영역 LR에 대응하는 복호화 통합 신호 LIg를 생성하는 역 블록화기(20)와, 해당 직사각형 영역 LR에 대응하는 복호화 통합 신호 LIg를, 상기 부호화 장치(200a)로부터의 직사각형 신호 LRg가 나타내는 저 해상도 프레임 LF 상의 위치에 해당 직사각형 영역 LR이 배치되도록, 1 프레임을 형성하는 그 밖의 화상 신호와 합성하는 영역 합성기(21)를 갖고 있다.

또한, 상기 고 해상도 복호화부(202H)는, 상기 업 샘플기(10b)의 출력 ADg에 근거하여 고 해상도 부호화 신호 HEg에 대한 복호화 처리를 실행해서, 각 블록에 대응하는 고 해상도 복호화 신호 HDg를 생성하는 복호화기(30)와, 해당 고 해상도 복호화 신호 HDg를 통합하여, 상기 직사각형 영역 HR에 대응하는 복호화 통합 신호 HIg를 생성하는 역 블록화기(31)와, 해당 직사각형 영역 HR에 대응하는 복호화 통합 신호 HIg를, 상기 부호화 장치(200a)로부터의 직사각형 신호 HRg가 나타내는 프레임 HF 상의 위치에 해당 직사각형 영역 HR이 배치되도록, 1 프레임을 형성하는 그 밖의 화상 신호와 합성하는 영역 합성기(32)를 갖고 있다.

다음에 동작에 대하여 설명한다.

본 화상 복호화 장치(200b)에 상기 저 해상도 부호화 신호 LEg 및 고 해상도 부호화 신호 HEg가 입력되면, 해당 저 해상도 부호화 신호 LEg는 상기 저 해상도 복호화부(202L)의 복호화기(9)에 의해 복호화 처리가 실시되어 저 해상도 복호화 신호 LDg가 생성된다. 이 저 해상도 복호화 신호 LDg는, 상기 업 샘플기(10b)에서 업 샘플 처리에 의해 보간되어, 상기 고 해상도에 대응하는 공간 해상도를 갖는 보간 복호화 신호 ADg로 변환된다. 또한, 상기 저 해상도 복호화 신호 LDg는, 다시 역 블록화기(20)에 의해 통합되어, 상기 직사각형 영역 LR에 대응하는 복호화 통합 신호 LIg가 생성된다. 그리고, 이 복호화 통합 신호 LIg는, 영역 합성기(21)에 의해 상기 부호화 장치(200a)로부터의 직사각형 신호 LRg에 근거하여, 1 프레임을 형성하는 그 밖의 화상 신호와 합성되어 저 해상도 재생 신호 LCg로서 출력된다. 또, 이 합성 처리에 의해, 상기 직사각형 신호 LRg가 나타내는 프레임 LF 상의 위치에 복호화 통합 신호 LIg에 의한 직사각형 영역 LR의 화상이 배치된다.

한편, 상기 고 해상도 부호화 신호 HEg는 상기 고 해상도 복호화부(202H)의 복호화기(30)에 의해, 업 샘플기(10b)의 출력 ADg에 근거하여 복호화 처리가 실시되어 고 해상도 복호화 신호 HDg가 생성된다. 이 고 해상도 복호화 신호 HDg는, 다시 역 블록화기(31)에 의해 통합되어, 상기 직사각형 영역 HR 내의 화상에 대응하는 복호화 통합 신호 HIg가 생성된다. 그리고, 이 복호화 통합 신호 HIg는, 영역 합성기(32)에 의해 상기 부호화 장치(200a)로부터의 직사각형 신호 HRg에 근거하여, 1 프레임에 대응하는 그 밖의 화상 신호와 합성되어 고 해상도 재생 신호 HCg로서 출력된다. 또, 이 합성 처리에 의해, 상기 직사각형 신호 HRg가 나타내는 프레임 HF 상의 위치에 복호화 통합 신호 HIg에 의한 직사각형 영역 HR의 화상이 배치된다.

이러한 구성의 계층 화상 복호화 장치(200b)에서는, 저 해상도 부호화 신호 LEg에 복호화 처리 및 역 블록화 처리를 순차적으로 실시한 후, 직사각형 영역 LR이 프레임 LF 내의 소정 위치에 배치되도록, 해당 직사각형 영역 LR에 대응하는 저 해상도 복호화 신호 LIg에 영역 합성 처리를 실시하기 때문에, 프레임 FL 내의 개개의 물체에 대응하는 직사각형 영역 LR을 대상으로 한 부호화 처리에 의해 얻어지는 저 해상도 부호화 신호 LEg를 복호화할 수 있다.

또한, 고 해상도 부호화 신호 HEg를 저 해상도 복호화 신호 LDg를 참조해 복호화하여 고 해상도 복호화 신호 HDg를 생성하고, 그 후 이 복호화 신호 HDg에 역 블록화 처리를 실시하여, 다시 직사각형 영역 HR이 프레임 HF 내의 소정 위치에 배치되도록, 해당 직사각형 영역 HR에 대응하는 고 해상도 복호화 신호 HIg에 영역 합성 처리를 실시하기 때문에, 프레임 HF 내의 개개의 물체에 대응하는 직사각형 영역 HR을 대상으로 한 계층 부호화 처리에 의해 얻어지는 고 해상도 부호화 신호 HEg를 정확하게 복호화할 수 있다.

그런데, 종래의 계층 화상 부호화 장치(200a)에서는, 저 해상도 프레임 LF 내에서의 직사각형 영역 LR의 범위를 검출하는 처리와, 고 해상도 프레임 HF 내에서의 직사각형 영역 HR의 범위를 검출하는 처리가 독립적으로 실행되고 있어, 이 때문에 도 22c, 도 22d에 도시하는 바와 같이 저 해상도 직사각형 영역 LR을 구분하는 각 블록 MB의, 저 해상도 화상 Lob에 대한 공간 위치와, 고 해상도 직사각형 영역 HR을 구분하는 각 블록 MB의, 고 해상도 화상 Hob에 대한 공간 위치가 일치하지 않는다. 이 경우, 상기 고 해상도 직사각형 영역 HR에 대응하는 고 해상도 화상 신호 HOg를 블록마다 부호화할 때, 피 부호화 고 해상도 블록에 대한 저 해상도 블록의 대응시키기가 곤란하게 되어, 고 해상도 화상 신호와 저 해상도 화상 신호의 차분값의 연산 처리가 복잡하게 된다. 이 결과, 피 부호화 고 해상도 블록에 대한 부호화 처리시에, 이 피 부호화 고 해상도 블록과의 사이에서 공간 위치가 완전히 일치하는 저 해상도 블록을 참조하는 경우보다도, 계층 부호화 처리에 있어서의 예측 효율이 열화하게 되어, 부호화 효율의 저하로도 이어진다고 하는 문제가 있었다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위해서 이루어진 것으로, 프레임내의 개개의 물체에 대응하는 직사각형 영역을 대상으로 하는 계층 부호화 처리를 실행할 때, 저 해상도 화상 신호를 참조하는 고 해상도 화상 신호의 부호화 처리를 부호화 효율의 저하를 초래하는 일없이 실행할 수 있는 계층 부호화 처리, 및 이것에 대응하는 계층 복호화 처리를 실현할 수 있는 화상 처리 방법 및 화상 처리 장치, 및 상기 계층 부호화 처리 및 계층 복호화 처리를 소프트웨어에 의해 실현할 수 있는 프로그램을 저장한 데이터 기록 매체를 얻는 것을 목적으로 한다.

발명의 개시

본 발명(청구의 범위 제 1 항)에 관한 화상 처리 방법은, 화상을 구성하는 물체를 단위로 하여, 물체의 형상 정보를 갖는 화상 입력 신호에 대한 계층 부호화 처리를 행하는 화상 처리 방법에 있어서, 상기 화상 입력 신호에 근거하여, 소정의 물체에 대응하는 공간 해상도가 서로 다른 복수의 화상 공간을 형성하는 계층 화상 신호로서, 적어도 저 해상도 화상 신호 및 고 해상도 화상 신호를 생성하고, 상기 소정의 물체에 대응하는 고 해상도 화상 신호로부터, 고 해상도 화상 공간에 있어서의 부호화 처리의 범위로 되는 상기 물체를 포함하는 영역에 대응하는 고 해상도의 영역 대응 화상 신호를 추출하고, 해당 영역 대응 화상 신호를 소정수의 화소로 이루어지는 고 해상도 블록에 대응하도록 구분함과 동시에, 상기 소정의 물체에 대응하는 저 해상도 화상 신호로부터, 저 해상도 화상 공간에 있어서의 부호화 처리의 범위로 되는 상기 물체를 포함하는 영역에 대응하는 저 해상도의 영역 대응 화상 신호를 추출하고, 해당 영역 대응 화상 신호를, 소정수의 화소로 이루어지는 저 해상도 블록에 대응하도록 구분하고, 처리 대상으로 되는 대상 고 해상도 블록을 형성하는 고 해상도의 블록화 화상 신호에 대한 부호화 처리를, 해당 대상 고 해상도 블록에 대응하는 참조 저 해상도 블록을 형성하는 저 해상도의 블록화 화상 신호를 참조하여 순차 실행하여, 이 부호화 처리시에는, 상기 참조 저 해상도 블록을, 그 저 해상도 화상 공간에 있어서의 공간 위치가, 상기 대상 고 해상도 블록의 고 해상도 화상 공간에 있어서의 공간 위치에 일정 규칙에 의해 대응지어진 것으로 하는 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 화상 신호의 부호화 처리시에는, 저 해상도 화상 공간에서, 부호화 처리의 대상으로 되는 대상 고 해상도 블록의 공간 위치와 상관이 있는 공간 위치에 위치하는 저 해상도 블록의 화상 신호가 참조되게 되어, 물체의 형상 정보를 갖는 화상 신호에 대한 계층 부호화 처리를 부호화 효율의 열화를 초래하는 일없이 실행할 수 있다.

본 발명(청구의 범위 제 2 항)은, 청구의 범위 제 1 항에 기재된 화상 처리 방법에 있어서, 상기 고 해상도 화상 공간을 구성하는 개개의 화소를, 상기 저 해상도 화상 공간의 해상도 변환에 의해 얻어지는, 공간 해상도가 상기 고 해상도 화상 공간과 동등한 해상도 변환 화상 공간에서의 개개의 화소와 일대일로 대응시킨 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 블록에 있어서의 복수의 화소가 모두, 저 해상도 블록을 해상도 변환한 해상도 변환 블록에 있어서의 소정의 화소에 대응하게 되어, 이에 따라 계층 부호화 처리에 있어서의 부호화 효율을 보다 높일 수 있다.

본 발명(청구의 범위 제 3 항)은, 청구의 범위 제 1 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록을 구성하는 화소의 수와 상기 대상 고 해상도 블록을 구성하는 화소의 수를 일치시킨 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 화상 신호와 저 해상도 화상 신호의 사이에서 블록화기 및 부호화기를 공용하는 것이 가능하게 되어, 회로 구성의 소형화를 도모할 수 있다.

본 발명(청구의 범위 제 4 항)은, 청구의 범위 제 1 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록의 저 해상도 화상 공간에 있어서의 위치와, 대상 고 해상도 블록의 고 해상도 화상 공간에 있어서의 위치를 상대적으로 일치시킨 것이다.

이러한 구성의 화상 처리 방법에서는, 대상 고 해상도 블록의 공간 위치와 참조 저 해상도 블록의 공간 위치가 일치하기 때문에, 고 해상도 블록을 구성하는 각 화소의 화소값과 저 해상도 블록을 구성하는 각 화소의 화소값의 차분이 불필요하게 커지는 일이 없어, 계층 부호화 처리를 높은 부호화 효율로 실행할 수 있다.

본 발명(청구의 범위 제 5 항)은, 청구의 범위 제 1 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록에 대한, 부호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 부호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 신호의 부호화 방식을 전환하는 것이다.

이러한 구성의 화상 처리 방법에서는, 저 해상도 블록에 대한 부호화 모드에 일치하는 고 해상도 블록에 대한 부호화 모드에 짧은 부호를 할당하는 것에 의해, 고 해상도 화상 신호의 부호화 모드를 나타내는 모드 신호의 부호화 처리에 있어서의 부호화 비트수를 삭감할 수 있다.

본 발명(청구의 범위 제 6 항)은, 청구의 범위 제 5 항에 기재된 화상 처리 방법에 있어서, 상기 부호화 모드를, 화상 공간상에 표시되는 물체의 형상의 경계가 상기 대상 고 해상도 블록내에 포함되는지 여부를 나타내는 부호화 모드로 한 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 블록과 물체의 위치 관계와, 저 해상도 블록과 물체의 위치 관계가 일치하는 경우에, 고 해상도 화상 신호의 부호화 모드를 나타내는 모드 신호에 짧은 부호를 할당하는 것에 의해 해당 부호화 모드 신호의 부호화에 필요한 부호화 비트수를 삭감할 수 있다.

본 발명(청구의 범위 제 7 항)은, 청구의 범위 제 1 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록에 대한, 부호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 부호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 신호의 부호화를 행하여, 이 때, 상기 부호화 모드를, 참조 저 해상도 블록에 대응하는 화상 신호를 화소마다 순차 부호화하는 부호화 처리가 수평 주사 방향과 수직 주사 방향중 어느 한쪽의 주사 방향에 따라 행하여지고 있는가를 나타내는 부호화 모드로 하는 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 화상 신호가 이것을 구성하는 화소값의 상관이 큰 주사 방향을 따라서 부호화되게 되어, 이 때문에 저 해상도 화상 신호와 고 해상도 화상 신호 사이에서, 화소값의 상관이 큰 주사 방향이 일치하는 경우에, 고 해상도 화상 신호의 부호화 모드를 나타내는 모드 신호에 짧은 부호를 할당하는 것에 의해 해당 부호화 모드 신호의 부호화에 필요한 부호화 비트수를 삭감할 수 있다.

본 발명(청구의 범위 제 8 항)은, 청구의 범위 제 1 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록에 대응하는, 상기 저 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보를 참조하여, 상기 대상 고 해상도 블록에 대응하는, 상기 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보의 부호화를 행하는 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 화상 신호와 저 해상도 화상 신호 사이에는 화소값에 관한 큰 상관이 있기 때문에, 고 해상도 블록과 이것에 대응하는 저 해상도 블록 사이에서 움직임 벡터가 일치하는 경우, 고 해상도 화상 신호의 움직임 벡터(부호화 모드)를 나타내는 모드 신호에 짧은 부호를 할당함으로써, 움직임 벡터의 부호화에 필요한 부호화 비트수를 삭감할 수 있다.

본 발명(청구의 범위 제 9 항)은, 청구의 범위 제 1 항에 기재된 화상 처리 방법에 있어서, 부호화 처리가 이미 실시된 처리 완료 고 해상도 블록의, 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보, 및 상기 참조 저 해상도 블록에 대응하는, 상기 저 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보를 참조하여, 상기 대상 고 해상도 블록에 대응하는, 상기 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보의 부호화를 행하는 것이다.

이러한 구성의 화상 처리 방법에서는, 대상 고 해상도 블록에 대응하는 처리 완료 고 해상도 블록의 움직임 벡터와, 대상 고 해상도 블록에 대응하는 저 해상도 블록의 움직임 벡터로부터 예측 벡터를 생성하고, 해당 예측 벡터에 근거하여 대상 고 해상도 블록의 움직임 벡터를 부호화하기 때문에, 화상 신호가 화면 사이에서 화소값에 관한 상관이 있고, 또한 고 해상도 화상 신호와 저 해상도 화상 신호 사이에는 화소값에 관한 큰 상관이 있기 때문에, 대상 고 해상도 블록의 움직임 벡터와 예측 움직임 벡터의 오차가 작아져서, 고 해상도 화상 신호의 움직임 벡터의 부호화에 필요한 부호화 비트수를 삭감할 수 있다.

본 발명(청구의 범위 제 10 항)에 관한 화상 처리 방법은, 화상을 구성하는 물체를 단위로 하여, 물체의 형상 정보를 갖는 화상 입력 신호에 계층 부호화 처리를 실시해서 얻어지는, 소정의 물체에 대응하는 적어도 2개의 블록화된 계층 부호화 신호를 복호화하는 화상 처리 방법에 있어서, 상기 계층 부호화 신호중의, 소정의 물체에 대응하는 저 해상도 부호화 신호를 복호화하고, 저 해상도 화상 공간에 있어서의 소정수의 화소로 이루어지는 저 해상도 블록에 대응한 저 해상도 복호화 신호를 생성하며, 해당 저 해상도 복호화 신호를 통합하여, 상기 저 해상도 화상 공간에 있어서의 상기 물체를 포함하는 영역에 대응하는 저 해상도의 영역 대응 화상 신호를 생성하고, 상기 계층 부호화 신호중의, 소정의 물체에 대응하는 고 해상도 부호화 신호를, 참조 저 해상도 복호화 신호를 참조해서 복호화하며, 고 해상도 화상 공간에 있어서의 소정수의 화소로 이루어지는 고 해상도 블록에 대응한 고 해상도 복호화 신호를 생성하고, 해당 고 해상도 복호화 신호를 통합해서 상기 고 해상도 화상 공간에 있어서의 상기 물체를 포함하는 영역에 대응하는 고 해상도의 영역 대응 화상 신호를 생성하며, 상기 고 해상도 부호화 신호의 복호화 처리시에는, 참조 저 해상도 블록을, 그 저 해상도 화상 공간에 있어서의 공간 위치가, 상기 복호화 처리의 대상으로 되는 대상 고 해상도 블록의, 고 해상도 화상 공간에 있어서의 공간 위치에 일정 규칙에 따라 대응지어진 것으로 한 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 화상 신호의 복호화 처리시에는, 저 해상도 화상 공간에서, 복호화 처리의 대상으로 되는 대상 고 해상도 블록의 공간 위치와 상관이 있는 공간 위치에 위치하는 저 해상도 블록의 복호화 신호가 참조되게 되어, 부호화 효율의 열화를 억제한, 물체의 형상 정보를 갖는 화상 신호의 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.

본 발명(청구의 범위 제 11 항)은, 청구의 범위 제 10 항에 기재된 화상 처리 방법에 있어서, 상기 고 해상도 화상 공간을 구성하는 개개의 화소를, 상기 저 해상도 화상 공간의 해상도 변환에 의해 얻어지는, 공간 해상도가 상기 고 해상도 화상 공간과 동등한 해상도 변환 화상 공간에서의 개개의 화소와 일대일로 대응시킨 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 블록에 있어서의 복수의 화소가 모두, 저 해상도 블록의 해상도 변환에 의해 얻어지는 해상도 변환 블록에 있어서의 소정의 화소에 대응하게 되어, 이에 따라 부호화 효율이 높은 계층 부호화 처리에 대한 계층 복호화 처리를 얻을 수 있다.

본 발명(청구의 범위 제 12 항)은, 청구의 범위 제 10 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록을 구성하는 화소의 수와 상기 대상 고 해상도 블록을 구성하는 화소의 수를 일치시킨 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 부호화 신호와 저 해상도 부호화 신호 사이에서 복호화기 및 역 블록화기를 공용하는 것이 가능하게 되어, 회로 구성의 소형화를 도모할 수 있다.

본 발명(청구의 범위 제 13 항)은, 청구의 범위 제 10 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록의 저 해상도 화상 공간에서의 위치와, 대상 고 해상도 블록의 고 해상도 화상 공간에 있어서의 위치를 상대적으로 일치시킨 것이다.

이러한 구성의 화상 처리 방법에서는, 대상 고 해상도 블록의 공간 위치와 참조 저 해상도 블록의 공간 위치가 일치하기 때문에, 고 해상도 블록을 구성하는 각 화소의 화소값과 저 해상도 블록을 구성하는 각 화소의 화소값의 차분이 불필요하게 커지는 일이 없는, 부호화 효율이 우수한 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.

본 발명(청구의 범위 제 14 항)은, 청구의 범위 제 10 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 부호화 신호의 복호화 방식을 전환하는 것이다.

이러한 구성의 화상 처리 방법에서는, 저 해상도 블록에 대한 부호화 모드에 일치하는 고 해상도 블록의 부호화 모드를 나타내는 모드 신호에 짧은 부호를 할당함으로써 고 해상도 화상 신호의 부호화 모드를 나타내는 모드 신호의 부호화에 이용하는 부호화 비트수를 삭감한 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.

본 발명(청구의 범위 제 15 항)에 관한 화상 처리 방법은, 청구의 범위 제 10 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 부호화 신호의 복호화를 행하고, 이 때, 상기 부호화 모드를, 화상 공간 상에 표시되는 물체의 형상의 경계가 상기 대상 고 해상도 블록내에 포함되는지 여부를 나타내는 부호화 모드로 하는 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 블록과 물체의 위치 관계와, 저 해상도 블록과 물체의 위치 관계가 일치하는 경우에, 고 해상도 화상 신호의 부호화 모드를 나타내는 모드 신호에 짧은 부호를 할당함으로써, 부호화 비트수를 삭감한 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.

본 발명(청구의 범위 제 16 항)에 관한 화상 처리 방법은, 청구의 범위 제 10 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 부호화 신호의 복호화를 행하고, 상기 부호화 모드를, 참조 저 해상도 블록에 대응하는 저 해상도 부호화 신호를 화소마다 순차 복호화하는 복호화 처리가, 수평 주사 방향과 수직 주사 방향중 어느 한쪽의 주사 방향을 따라 행하여지고 있는가를 나타내는 부호화 모드로 하는 것이다.

이러한 구성의 화상 처리 방법에서는, 저 해상도 화상 신호와 고 해상도 화상 신호 사이에서, 화소값의 상관이 큰 주사 방향이 일치하는 경우에, 고 해상도 화상 신호의 부호화 모드를 나타내는 모드 신호에 짧은 부호를 할당하여 부호화함으로써, 부호화 비트수를 삭감한 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.

본 발명(청구의 범위 제 17 항)은, 청구의 범위 제 10 항에 기재된 화상 처리 방법에 있어서, 상기 참조 저 해상도 블록에 대응하는, 상기 저 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보에 따라서, 상기 대상 고 해상도 블록에 대응하는, 상기 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보의 복호화를 행하는 것이다.

이러한 구성의 화상 처리 방법에서는, 고 해상도 블록과 이것에 대응하는 저 해상도 블록 사이에서, 움직임 벡터가 일치하는 경우에, 고 해상도 화상 신호의 움직임 벡터(부호화 모드)를 나타내는 모드 신호에 짧은 부호를 할당함으로써, 부호화 비트수를 삭감한 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.

본 발명(청구의 범위 제 18 항)은, 청구의 범위 제 10 항에 기재된 화상 처리 방법에 있어서, 복호화 처리가 이미 실시된 처리 완료 고 해상도 블록의, 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보, 및 상기 참조 저 해상도 블록에 대응하는, 상기 저 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보에 따라서, 상기 대상 고 해상도 블록에 대응하는, 상기 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보의 복호화를 행하는 것이다.

이러한 구성의 화상 처리 방법에서는, 대상 고 해상도 블록의 움직임 벡터와 예측 움직임 벡터의 오차가 작은, 부호화 비트수를 삭감한 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.

본 발명(청구의 범위 제 19 항)에 관한 화상 처리 장치는, 화상을 구성하는 물체를 단위로 하여, 물체의 형상 정보를 갖는 화상 입력 신호에 계층 부호화 처리를 실시하는 계층 화상 부호화 장치에 있어서, 상기 화상 입력 신호를 서브 샘플하여 저 해상도 화상 신호를 생성하는 서브 샘플 수단과, 상기 저 해상도 화상 신호로부터, 저 해상도 화상 공간에 있어서의 부호화 처리의 범위로 되는 상기 물체를 포함하는 영역에 대응하는 저 해상도의 영역 대응 화상 신호를 생성하는 제 1 영역 추출 수단과, 해당 저 해상도의 영역 대응 화상 신호를, 소정수의 화소로 이루어지는 저 해상도 블록에 대응하도록 블록화하고 저 해상도의 블록 해당 화상 신호를 출력하는 제 1 블록화 수단과, 부호화 처리의 대상으로 되는 저 해상도 블록을 형성하는 저 해상도의 블록화 화상 신호에 대한 부호화 처리를 순차 실행하는 제 1 부호화 수단과, 상기 화상 입력 신호로서의 고 해상도 화상 신호로 부터, 고 해상도 화상 공간에 있어서의 부호화 처리의 범위로 되는 상기 물체를 포함하는 영역에 대응하는 고 해상도의 영역 대응 화상 신호를, 소정수의 화소로 이루어지는 고 해상도 블록에 대응하도록 블록화하여 고 해상도의 블록화 화상 신호를 추출하는 제 2 블록화 수단과, 부호화 처리의 대상으로 되는 고 해상도 블록을 형성하는 고 해상도의 블록화 화상 신호에 대한 부호화 처리를, 해당 고 해상도 블록에 대응하는 참조 저 해상도 블록을 형성하는 저 해상도의 블록화 화상 신호를 참조하여 순차 실행하는 제 2 부호화 수단을 구비하고, 상기 부호화 처리시에 참조되는 참조 저 해상도 블록을, 그 저 해상도 화상 공간에 있어서의 공간 위치가, 상기 대상과 해상도 블록의, 고 해상도 화상 공간에 있어서의 공간 위치가, 상기 대상 고 해상도 블록의, 고 해상도 화상 공간에 있어서의 공간 위치에 일정 규칙에 따라 대응지어진 것으로 하는 것이다.

이러한 구성의 화상 처리 장치에서는, 고 해상도 화상 신호의 부호화 처리시에는, 저 해상도 화상 공간에서, 부호화 처리의 대상으로 되는 대상 고 해상도 블록의 공간 위치와 상관이 있는 공간 위치에 위치하는 저 해상도 블록의 화상 신호가 참조되게 되어, 물체의 형상 정보를 갖는 화상 신호에 대한 계층 부호화 처리를 부호화 효율의 열화를 초래하는 일없이 실행할 수 있다.

본 발명(청구의 범위 제 20 항)에 관한 화상 처리 장치는, 화상을 구성하는 물체를 단위로 하여, 물체의 형상 정보를 갖는 화상 입력 신호에 계층 부호화 처리를 실시하여 얻어지는, 소정의 물체에 대응하는 적어도 2개의 블록화된 계층 부호화 신호를, 복호화하는 계층 화상 복호화 장치에 있어서, 상기 계층 부호화 신호중의, 소정의 물체에 대응하는 저 해상도 부호화 신호를 복호화하고, 저 해상도 화상 공간에 있어서의 소정수의 화소로 이루어지는 저 해상도 블록에 대응한 저 해상도 복호화 신호를 생성하는 제 1 복호화 수단과, 해당 저 해상도 블록에 대응한 저 해상도 복호화 신호를 통합하여, 상기 저 해상도 화상 공간에 있어서의 상기 물체를 포함하는 영역에 대응하는 저 해상도의 영역 대응 화상 신호를 생성하는 제 1 역 블록화 수단과 상기 계층 부호화 신호중의, 소정의 물체에 대응하는 고 해상도 부호화 신호를, 참조 저 해상도 복호화 신호를 참조해서 복호화하고, 고 해상도 화상 공간에 있어서의 소정수의 화소로 이루어지는 고 해상도 블록에 대응한 고 해상도 복호화 신호를 생성하는 제 2 복호화 수단과, 해당 고 해상도 블록에 대응하는 고 해상도 복호화 신호를 통합하여, 상기 고 해상도 화상 공간에 있어서의 상기 물체를 포함하는 영역에 대응하는 고 해상도의 영역 대응 화상 신호를 생성하는 제 2 역 블록화 수단을 구비하고, 상기 고 해상도 부호화 신호의 복호화 처리시에 참조되는 참조 저 해상도 블록을, 그 저 해상도 화상 공간에 있어서의 공간 위치가, 상기 복호화 처리의 대상으로 되는 대상 고 해상도 블록의, 고 해상도 화상 공간에 있어서의 공간 위치에 일정 규칙에 따라 대응지어진 것으로 하는 것이다.

이러한 구성의 화상 처리 장치에서는, 고 해상도 화상 신호의 복호화 처리시에는, 저 해상도 화상 공간에서, 복호화 처리의 대상으로 되는 대상 고 해상도 블록의 공간 위치와 상관이 있는 공간 위치에 위치하는 저 해상도 블록의 화상 복호화 신호가 참조되게 되어, 부호화 효율의 열화를 억제한, 물체의 형상 정보를 갖는 화상 신호의 계층 부호화 처리에 대응한 계층 복호화 처리를 실현할 수 있다.

본 발명(청구의 범위 제 21 항)에 관한 데이터 기록 매체는, 컴퓨터에 계층 화상 부호화 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램을, 청구항 1에 기재된 화상 처리 방법에 의한 계층 화상 부호화 처리를 컴퓨터가 실행하도록 구성한 것이다.

이러한 구성의 데이터 기록 매체에서는, 고 해상도 화상 신호의 부호화 처리시에는, 저 해상도 화상 공간에서, 부호화 처리의 대상으로 되는 대상 고 해상도 블록의 공간 위치와 상관이 있는 공간 위치에 위치하는 저 해상도 블록의 화상 신호가 참조되게 되어, 물체의 형상 정보를 갖는 화상 신호에 대한, 부호화 효율의 열화를 초래하는 일이 없는 계층 부호화 처리를 컴퓨터에 의해 실현할 수 있다.

본 발명(청구의 범위 제 22 항)에 관한 데이터 기록 매체는, 컴퓨터에 계층 화상 복호화 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램을, 청구항 10에 기재된 화상 처리 방법에 의한 계층 화상 복호화 처리를 컴퓨터가 실행하도록 구성한 것이다.

이러한 구성의 데이터 기록 매체에서는, 고 해상도 화상 신호의 복호화 처리시에는, 저 해상도 화상 공간에서, 복호화 처리의 대상으로 되는 대상 고 해상도 블록의 공간 위치와 상관이 있는 공간 위치에 위치하는 저 해상도 블록의 화상 복호화 신호가 참조되게 되어, 부호화 효율의 열화를 억제한, 물체의 형상 정보를 갖는 화상 신호의 계층 부호화 처리에 대응한 계층 복호화 처리를 컴퓨터에 의해 실현할 수 있다.

본 발명은, 화상 처리 방법 및 화상 처리 장치, 및 데이터 기록 매체에 관한 것으로, 특히 화상 신호의 기록 혹은 전송을, 보다 적은 비트수로 갖고 화질을 손상시키는 일없이 실행하기 위한 계층 부호화 처리 및 계층 복호화 처리, 및 이들 계층 부호화 처리 혹은 계층 복호화 처리를 실현하기 위한 프로그램을 저장한 기록 매체에 관한 것이다.

도 1은 본 발명의 실시예 1에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 2a∼도 2d는 상기 실시예 1의 계층 화상 부호화 장치의 동작을 설명하기 위한 도면,

도 3은 본 발명의 실시예 2에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 4a∼도 4f는 본 발명의 실시예 2에 의한 계층 화상 부호화 장치의 동작을 설명하기 위한 도면,

도 5는 본 발명의 실시예 3에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 6a∼도 6d는 본 발명의 실시예 3에 의한 계층 화상 부호화 장치의 동작을 설명하기 위한 도면,

도 7은 본 발명의 실시예 4에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 8은 본 발명의 실시예 5에 의한 화상 처리 장치로서 계층 화상 복호화 장치를 설명하기 위한 블록도,

도 9a 및 도 9b는 본 발명의 실시예 6에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 10a 및 도 10b는 본 발명의 실시예 7에 의한 화상 처리 장치로서 계층 화상 복호화 장치를 설명하기 위한 블록도,

도 11a 및 도 11b는 본 발명의 실시예 8에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 12a∼도 12d는 상기 실시예 8의 계층 화상 부호화 장치의 동작을 설명하기 위한 도면,

도 13a 및 도 13b는 본 발명의 실시예 9에 의한 화상 처리 장치로서 계층 화상 복호화 장치를 설명하기 위한 블록도,

도 14a 및 도 14b는 본 발명의 실시예 10에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 15a 및 도 15b는 본 발명의 실시예 11에 의한 화상 처리 장치로서 계층 화상 복호화 장치를 설명하기 위한 블록도,

도 16a∼도 16c는 본 발명의 실시예 12에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 17a∼도 17c는 본 발명의 실시예 13에 의한 화상 처리 장치로서 계층 화상 복호화 장치를 설명하기 위한 블록도,

도 18a∼도 18c는 본 발명의 실시예 14에 의한 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 19a∼도 19d는 상기 실시예 14의 계층 화상 부호화 장치의 동작을 설명하기 위한 도면,

도 20a∼도 20c는 본 발명의 실시예 15에 의한 화상 처리 장치로서 계층 화상 복호화 장치를 설명하기 위한 블록도,

도 21a∼도 21c는 상기 각 실시예의 화상 처리 장치에 의한 계층 부호화 처리 혹은 계층 복호화 처리를 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장한 데이터 기록 매체를 도시한 도면,

도 22는 종래의 계층 화상 부호화 처리를 설명하기 위한 도면,

도 23은 종래의 화상 처리 장치로서 계층 화상 부호화 장치를 설명하기 위한 블록도,

도 24는 종래의 화상 처리 장치로서 계층 화상 복호화 장치를 설명하기 위한 블록도.

발명을 실시하기 위한 최선의 형태

이하, 본 발명의 실시예에 대하여 도 1 내지 도 21을 이용하여 설명한다.

(실시예 1)

도 1은 본 발명의 실시예 1에 의한 화상 처리 장치(계층 화상 부호화 장치)를 설명하기 위한 블록도이다. 또한, 도 2a∼도 2d는 상기 실시예 1의 계층 화상 부호화 장치에 의한 부호화 처리를 설명하기 위한 모식도이다. 도면중, LF는 저 해상도 화상 신호에 대응하는 표시 화면(도 2a 참조), HF는 고 해상도 화상 신호에 대응하는 표시 화면(도 2b 참조)이다. 또한, Lob는 저 해상도 화상 신호에 의해 상기 프레임(표시 화면) LF 상에 표시되는 1개의 물체의 화상, Hob는 고 해상도 화상 신호에 의해 상기 프레임(표시 화면) HF 상에 표시되는 1개의 물체의 화상이며, 각 화상 Lob 및 Hob의 돗트 표시 영역이 각 물체 내부의 영역이다.

본 실시예 1의 계층 화상 부호화 장치(101)는, 화상 입력 신호를 수신하여, 이 화상 입력 신호를 고 해상도 화상 신호 HSg로서 계층 부호화 처리를 실행하는 구성으로 되어 있다.

즉, 이 계층 화상 부호화 장치(101)는, 종래의 계층 화상 부호화 장치(200a)와 마찬가지로, 상기 고 해상도 화상 신호 HSg를 서브 샘플하는 서브 샘플기(2)와, 해당 서브 샘플기(2)의 출력인 저 해상도 화상 신호 LSg를 부호화하는 저 해상도 부호화부(101L)와, 그 출력인 저 해상도 부호화 신호 LEg를 복호화하는 복호화기(9a)와, 해당 복호화기(9a)의 출력 Ldg를 업 샘플하는 업 샘플기(10a)와, 해당 업 샘플기(10a)의 출력 LAg에 근거하여 상기 고 해상도 화상 신호 HSg를 부호화하는 고 해상도 부호화부(101H)를 갖고 있다.

또한, 상기 각 부호화부(101L, 101H)는 각각, 종래의 계층 화상 부호화 장치(200a)와 마찬가지로, 영역 검출기(30a, 12), 영역 추출기(5, 14), 블록화기(6, 15), 부호화기(7, 16a)를 갖고 있다.

그리고, 본 실시예 1에서는, 상기 영역 검출기(30a)만 종래의 계층 화상 부호화 장치(200a)에 있어서의 것과 구성이 다르다. 즉, 해당 영역 검출기(30a)는,고 해상도 프레임 HF(도 2b 참조)상에 있어서의 개개의 물체 Hob에 대응하는 직사각형 영역 HR의 범위를 나타내는 직사각형 신호 HRg를 참조하여, 저 해상도 프레임 LF(도 2a 참조)상에 있어서의 개개의 물체 Lob에 대응하는 직사각형 영역 LR의 범위를 검출하는 구성으로 되어 있다. 구체적으로는, 상기 영역 검출기(30a)에서는, 고 해상도 직사각형 신호 HRg로부터 고 해상도 직사각형 영역 HR의 공간 위치 HRp가 검출되고, 저 해상도 화상 신호 LSg의 업 샘플에 의해 얻어지는 보간 직사각형 영역 AR의 공간 위치 ARp가 상기 고 해상도 직사각형 영역 HR의 공간 위치 HRp와 일치하도록 저 해상도 직사각형 영역 LR의 공간 위치 LRp가 결정된다.

또, 이러한 구성의 영역 검출기(30a)에서는, 저 해상도 직사각형 영역 LR의 공간 위치 LRp의 검출은, 보간 직사각형 영역 AR의 공간 위치 ARp가 상기 고 해상도 직사각형 영역 HR의 공간 위치 HRp와 일치하도록 이루어지면 되고, 반드시 저 해상도 직사각형 영역 LR의 공간 위치 LRp와 고 해상도 직사각형 영역 HR의 공간 위치 HRp가 일치하도록 상기 영역의 위치 검출이 행해질 필요는 없다. 또한, 상기 부호화기(16a)는, 종래의 계층 화상 부호화 장치(200a)에서의 부호화기(16)와 완전히 동일 구성으로 되어 있다.

다음에 동작에 대하여 설명한다.

본 화상 부호화 장치(101a)에 화상 입력 신호로서 고 해상도 화상 신호 HSg가 입력되면, 서브 샘플기(2)에서는 상기 고 해상도 화상 신호 HSg가 그 서브 샘플에 의해 저 해상도 화상 신호 LSg로 변환된다. 그리고, 각 부호화부(101H, 101L)에 의해, 각각 고 해상도 화상 신호 HSg 및 저 해상도 화상 신호 LSg의 부호화 처리가 실행된다.

여기서는, 상기 고 해상도 부호화부(101H)에서는, 종래의 계층 화상 부호화 장치(200a)에서의 고 해상도 부호화부(201H)와 완전히 동일한 화상 신호의 처리가 실행된다. 또한, 상기 저 해상도 부호화부(101L)에서는, 영역 검출기(30a)에 의한 프레임 LF 상에서의 저 해상도 직사각형 영역 LR의 위치 검출 처리 이외에는, 종래의 계층 화상 부호화 장치(200a)에서의 저 해상도 부호화부(201L)와 완전히 마찬가지의 처리가 실행된다.

그래서, 이하, 상기 저 해상도 부호화부(101L)에 의한 부호화 처리에 대하여, 상기 영역 검출기(30a)의 동작을 주로 설명한다.

본 실시예 1에서는, 고 해상도 부호화부(101H)의 영역 검출기(12)에 의해 고 해상도 화상 신호 HSg에 근거하여 대응하는 물체 Hob의 직사각형 영역 HR을 검출하고(도 2b 참조), 상기 영역 검출기(30a)에 의해 저 해상도 화상 신호 LSg의 직사각형 영역 LR의 공간 위치 LRp를 상기 고 해상도 직사각형 영역 HR의 공간 위치 HRp에 근거하여 검출한다(도 2a 참조).

즉, 상기 영역 검출기(30a)에서는, 고 해상도 직사각형 영역 HR의 기준 위치 HRp가 고 해상도 프레임 HF의 기준 위치 HFp로부터 수평 방향으로 거리(HΔx)만큼, 수직 방향으로 거리(HΔy)만큼 떨어져 있는 경우, 저 해상도 직사각형 영역 LR을 그 기준 위치 LRp와 저 해상도 프레임 LF의 기준 위치 LFp와의 수평 방향의 거리가 (LΔx), 수직 방향의 거리가 (LΔy)로 되도록, 저 해상도 프레임 LF 상에 배치한다. 이 때, 상기 거리(HΔx)/거리(LΔx) 및 거리(HΔy)/거리(LΔy)는, 고 해상도화상의 공간 해상도와 저 해상도 화상의 공간 해상도의 비율(여기서는 2/1로 함)과 일치하도록 하고 있다.

이렇게 하여 저 해상도 프레임 LF 상에서 직사각형 영역 LR의 위치를 설정함으로써, 저 해상도 프레임 LF 상에서의 저 해상도 직사각형 영역 LR의 공간 위치(기준 위치)를 고 해상도 프레임 HF 상에서의 고 해상도 직사각형 영역 HR의 공간 위치(기준 위치)에 일치시킬 수 있다.

그리고, 상기한 바와 같이 저 해상도 프레임 LF 상에 설정된 저 해상도 직사각형 영역 LR에 대응하는 화상 신호 LOg가 블록화기(6)에 의해, 상기 직사각형 영역 LR을 구분하는 각 블록 LMB에 대응하도록 분할된다. 또한 블록화된 화상 신호 LBg가 부호화기(7)에서 부호화되어 저 해상도 부호화 신호 LEg로서 출력된다. 여기서, 상기 블록 LMB는 16×16 화소로 이루어지는 화상 공간이다.

또한, 이 저 해상도 부호화 신호 LEg는, 복호화기(9a)에 의해 저 해상도 복호화 신호 Ldg로 변환되고, 다시 이 신호 Ldg는 업 샘플기(10a)에 의해 보간되어, 공간 해상도가 고 해상도 화상 신호 HSg와 동등한 보간 화상 신호 LAg로 변환된다. 이 경우, 상기 저 해상도 부호화 신호 LEg의 업 샘플에 의해 얻어지는 보간 화상 신호 LAg에 대응하는 보간 직사각형 영역 AR을 구분하는 블록 AMB는 32×32 화소로 이루어지는 화상 공간으로 된다.

도 2c는, 상기 보간 화상 신호 LAg에 대응하는, 고 해상도 프레임 HF와 동일한 공간 해상도를 갖는 보간 프레임 AF, 및 해당 보간 프레임 AF에 있어서의, 보간 화상 신호 LAg에 대응하는 보간 화상 Aob를 나타내고 있으며, 상기 보간 프레임 AF에 대한, 해당 보간 화상에 대응하는 보간 직사각형 영역 AR의 상대적인 위치는 고 해상도 프레임 HF에 대한 고 해상도 직사각형 영역 HR의 상대적인 위치와 일치하고 있다.

한편, 고 해상도 화상 신호 HSg가 영역 추출기(14)에 입력되면, 해당 영역 추출기(14)에서는, 상기 영역 검출기(12)로부터의 직사각형 신호 HRg에 근거하여 고 해상도 직사각형 영역 HR에 대응하는 화상 신호 HOg가 추출되고, 다시, 블록화기(15)에서 해당 화상 신호 HOg가 해당 직사각형 영역 HR을 구분하는 각 블록 HMB1에 대응하도록 분할되어, 각 블록 HMB1에 대응하는 화상 신호 HBg가 출력된다. 그리고, 부호화기(16a)에서, 해당 블록화 화상 신호 HBg는 상기 보간 화상 신호 LAg를 참조하여 부호화 처리에 의해 고 해상도 부호화 신호 HEg로 변환된다. 여기서 상기 블록 HMB1은 32×32 화소로 이루어지는 화상 공간이다.

이 때, 상기 보간 직사각형 영역 AR의, 프레임 AF 상에서의 상대적인 위치는, 고 해상도 직사각형 영역 HR의, 프레임 HF 상에서의 상대적인 위치와 일치하기 때문에, 상기 부호화기(16a)에서는, 각 직사각형 영역의 블록 단위로 용이하게 블록화 화상 신호의 차분값을 계산할 수 있어, 고 해상도 화상을 구성하는 화소의 화상값과 보간 화상을 구성하는 화소의 화소값과의 차분값을 간단히 부호화할 수 있다.

또, 도 2d는, 상기 차분값(오차) D에 대응하는 차분 화상 D를 고 해상도 프레임 HF 상에 나타내고 있다.

이와 같이 본 실시예 1에서는, 고 해상도 직사각형 영역 HR을 구성하는 블록 HMB1의 공간 위치와, 저 해상도 직사각형 영역 LR을 해상도 변환하여 얻어지는 보간 직사각형 영역 AR을 구성하는 블록 AMB의 공간 위치가 일치하기 때문에, 고 해상도 프레임 HF 내의 소정의 물체에 대응하는 직사각형 영역 HR을 대상으로 하는 계층 부호화 처리를 실행할 때, 고 해상도 화상 신호 HSg의 부호화 처리를 저 해상도 화상 신호 LSg를 참조하여, 부호화 효율의 저하를 초래하는 일없이 실행할 수 있다.

(실시예 2)

도 3은 본 발명의 실시예 2에 의한 화상 처리 장치(계층 화상 부호화 장치)를 설명하기 위한 블록도이다.

상기 실시예 1에서는, 계층 화상 부호화 장치로서, 저 해상도 화상 신호를 해상도 변환한 보간 화상 신호와 고 해상도 화상 신호와의 차분값을 오차로 하여 부호화하는 구성의 것을 나타내었지만, 화상 신호가 2값의 화상 신호, 즉 2값 형상 신호인 경우에는, 블록의 차분값을 직접 부호화하는 것보다 유효한 방법이 있다.

그래서, 본 실시예 2의 계층 화상 부호화 장치(102)는, 저 해상도 화상 신호를 해상도 변환하여 얻어지는 보간 화상 신호와 고 해상도 화상 신호와의 차분값을 부호화하는 실시예 1의 부호화기(16a) 대신에, 저 해상도 화상 신호로부터 얻어지는 화상의 경계와 고 해상도 화상 신호로부터 얻어지는 화상의 경계와의 어긋남의 크기를 부호화하는 부호화기(16b)를 구비한 것으로, 그 밖의 구성은 실시예 1의 계층 화상 부호화 장치(101)와 동일하다. 즉, 본 실시예 2의 계층 화상 부호화장치(102)를 구성하는 저 해상도 부호화부(102L)는 상기 실시예 1의 것과 동일 구성이며, 또한 이 계층 화상 부호화 장치(102)를 구성하는 고 해상도 부호화부(102H)는, 부호화기(16b)의 구성만이 상기 실시예 1의 것과 다르다.

다음에 작용 효과에 대하여 설명한다.

도 4는, 상기 실시예 2의 계층 화상 부호화 장치에 의한 부호화 처리를 설명하기 위한 모식도로서, 도 4a는 저 해상도 화상 신호에 대응하는 프레임 LF, 도 4b는 고 해상도 화상 신호에 대응하는 프레임 HF, 도 4c는 해상도 변환 화상 신호(보간 화상 신호)에 대응하는 프레임 AF를 나타내고 있다. 또한, 도 4d는 프레임 HF 상에 설정된 직사각형 영역 HR 내의 물체 Hob의 경계 HB, 도 4e는 프레임 AF 상에 설정된 직사각형 영역 AR 내의 물체 Aob의 경계 AB를 나타내고 있다. 도 4f는, 상기 프레임 HF 상에서 고 해상도 화상 신호에 대응하는 물체 Hog의 경계 HB와 보간 화상 신호에 대응하는 물체 Aob의 경계 AB를 중첩시켜 나타내고 있다.

여기서 물체의 경계란, 화상 신호를 구성하는 2값의 형상 신호의 값이 공간적으로 변화하는 화소의 위치이다.

본 실시예 2에서는, 상기 실시예 1과 마찬가지로, 고 해상도 부호화부(102H)의 영역 검출기(12)에 의해 고 해상도 화상 신호 HSg에 근거하여 대응하는 물체의 직사각형 영역 HR이 검출되고(도 4b 참조), 저 해상도 부호화부(102L)의 영역 검출기(30a)에 의해, 이 직사각형 영역 HR과 공간 위치가 일치하도록 저 해상도 화상 신호 LSg의 직사각형 영역 LR의 공간 위치 LRp가 검출된다(도 4a 참조).

이렇게 하여 저 해상도 프레임 LF 상에서 직사각형 영역 LR의 위치 LRp를 설정함으로써, 저 해상도 프레임 LF 상에서의 저 해상도 직사각형 영역 LR의 위치 LRp를, 고 해상도 프레임 HF 상에서의 고 해상도 직사각형 영역 HR의 위치 HRp에 일치시킬 수 있다.

그리고, 상기한 바와 같이 저 해상도 프레임상에 설정된 저 해상도 직사각형 영역에 대응하는 화상 신호 LOg가 블록화기(6)에서 블록화되고, 다시 해당 블록화된 화상 신호 LBg가 부호화기(7)에서 부호화되어, 저 해상도 부호화 신호 LEg로서 출력된다. 이 저 해상도 부호화 신호 LEg는, 복호화기(9a)에 의한 복호화 처리 및 업 샘플기(10a)에 의한 보간 처리가 실시되고, 고 해상도 화상 신호와 동등한 공간 해상도를 갖는 보간 화상 신호 LAg로 변환된다(도 4c 참조).

한편, 영역 추출기(14)에서는, 고 해상도 화상 신호 HSg로부터 고 해상도 직사각형 영역 HR에 대응하는 화상 신호 HOg가 추출되고, 이 화상 신호 HOg는 블록화기(15)에서 블록화된다.

그리고, 부호화기(16b)에서는, 해당 블록화된 화상 신호 HBg로부터 얻어지는 물체 Hob의 경계 위치 HB와, 상기 보간 화상 신호 LAg로부터 얻어지는 물체 Aob의 경계 위치 AB에 근거하여, 양자의 어긋난 양 ΔB가 부호화되어 고 해상도 부호화 신호 HEg로서 출력된다.

이와 같이 본 실시예 2에서는, 저 해상도 화상 신호로부터 얻어지는 보간 화상의 경계와, 고 해상도 화상 신호로부터 얻어지는 화상의 경계와의 어긋남의 크기를 부호화하는 부호화기(16b)를 구비하였기 때문에, 화상 신호가 2값 화상 신호인 경우에 계층 부호화 처리를 부호화 효율적으로 실행하는 것이 가능해진다.

또, 상기 실시예 2에서는, 고 해상도 화상 Hob의 경계 HB와 보간 화상 Aob의 경계 AB의 어긋남을 부호화하는 계층 부호화 처리를 나타내었지만, 2값 화상 신호에 대한 계층 부호화 처리는, 저 해상도 화상 신호로부터 얻어지는 보간 화상 신호에 따라서, 고 해상도 화상 신호의 부호화 처리에 이용하는 부호화 테이블을 화소마다 전환하도록 하여도 무방하다.

(실시예 3)

도 5는 본 발명의 실시예 3에 의한 화상 처리 장치(계층 화상 부호화 장치)를 설명하기 위한 블록도이다.

상기 실시예 1에서는, 저 해상도 직사각형 영역을 해상도 변환하여 얻어지는 보간 직사각형 영역에 있어서의 각 블록의 위치와, 고 해상도 직사각형 영역에 있어서의 각 블록의 위치가 완전히 일치하는 예를 나타내었지만, 고 해상도 직사각형 영역의 복수의 블록을 통합한 통합 블록이 보간 직사각형 영역의 1개의 블록과 일치하는 경우에도, 상기 실시예 1과 마찬가지로 부호화 효율의 저하를 피하면서 계층 부호화 처리를 실행할 수 있다.

그래서, 본 실시예 3의 계층 화상 부호화 장치(103)는, 블록화한 보간 화상 신호와 블록화한 고 해상도 화상 신호를 비교하여 차분값을 구하는 구성의 부호화기(16a) 대신에, 블록화한 고 해상도 화상 신호를 통합한 통합 신호를 블록화한 보간 화상 신호와 비교하여, 해당 통합 신호와 보간 화상 신호와의 차분값을 구하고, 이 차분값을 부호화하는 부호화기(16c)를 구비한 구성으로 하고 있다. 또한, 본 실시예 3에서는, 고 해상도 직사각형 영역 HR을 구성하는 고 해상도 블록 HMB2(도 6b 참조)는, 저 해상도 직사각형 영역 LR을 구성하는 저 해상도 블록 LMB(도 6a 참조)와 마찬가지로 16×16 화소로 이루어지는 화상 공간으로 하며, 보간 직사각형 영역 AR을 구성하는 보간 블록 AMB(도 6c 참조)는 32×32 화소로 이루어지는 화상 공간으로 하고 있다. 따라서, 본 실시예 3에서 블록화기(15)는, 고 해상도 화상 신호의 블록화 처리를 16×16 화소로 이루어지는 블록 HMB2를 단위로 하여 실행하는 구성으로 되어 있다. 그리고, 본 실시예 3의 계층 화상 부호화 장치(103)에 있어서의 그 밖의 구성은, 상기 실시예 1의 계층 화상 부호화 장치(101)와 동일한 것으로 하고 있다. 즉, 본 실시예 3의 계층 화상 부호화 장치(103)를 구성하는 저 해상도 부호화부(103L)는, 상기 실시예 1의 것과 동일 구성이며, 또한 이 계층 화상 부호화 장치(103)를 구성하는 고 해상도 부호화부(103H)는 부호화기(16c) 및 블록화기(15)의 구성만이 상기 실시예 1의 것과 다르다.

다음에 작용 효과에 대하여 설명한다.

도 6은 상기 실시예 3의 계층 화상 부호화 장치에 의한 부호화 처리를 설명하기 위한 모식도로서, 도 6a는 저 해상도 화상 신호에 대응하는 표시 화면(프레임) LF를, 도 6b는 고 해상도 화상 신호에 대응하는 표시 화면(프레임) HF를 나타낸다. 또한, 도 6c는 저 해상도 화상 신호를 해상도 변환한 보간 화상 신호에 대응하는 표시 화면(프레임) AF를 나타낸다.

본 실시예 3에서는, 영역 검출기(12)에 의해 고 해상도 화상 신호 HSg에 근거하여, 이 신호에 대응하는 물체 Hob의 직사각형 영역 HR을 검출하고(도 6b참조), 영역 검출기(30a)에 의해, 상기 직사각형 영역 HR의 공간 위치 HRp와 보간 직사각형 영역 AR의 공간 위치 ARp가 일치하도록 저 해상도 화상 신호 LSg의 직사각형 영역 LR의 공간 위치 LRp를 검출한다(도 6a 참조).

이렇게 하여 저 해상도 프레임 LF 상에서 직사각형 영역 LR의 공간 위치 LRp를 설정함으로써, 저 해상도 프레임 LF 상에서의 저 해상도 직사각형 영역 LR의 공간 위치 LRp를 고 해상도 프레임 HF 상에서의 고 해상도 직사각형 영역 HR의 공간 위치 HRp에 실질적으로 일치시킬 수 있다.

그리고, 상기한 바와 같이 저 해상도 프레임 LF 상에 설정된 저 해상도 직사각형 영역에 대응하는 화상 신호 LOg가 블록화기(6)에서 블록화되고, 또한 해당 블록화된 화상 신호 LBg가 부호화기(7)에서 부호화되어, 저 해상도 부호화 신호 LEg로서 출력된다. 이 저 해상도 부호화 신호 LEg는, 복호화기(9a)에 의한 복호화 처리 및 업 샘플기(10a)에 의한 보간 처리가 실시되어, 고 해상도 화상 신호와 동등한 공간 해상도를 갖는 보간 화상 신호 LAg로 변환된다(도 6c).

한편, 영역 추출기(14)에서는, 고 해상도 화상 신호 HSg로부터 직사각형 영역 HR에 대응하는 화상 신호 HOg가 추출되고, 이 화상 신호 HOg는 블록화기(15)에 의해 16×16 화소로 이루어지는 블록 HMB2에 대응하도록 블록화된다.

이 때, 상기 보간 화상 Aob의 직사각형 영역 AR을 구성하는 1개의 블록 AMB와, 고 해상도 화상 Hob의 직사각형 영역 HR을 구성하는 4개의 블록 HMB2를 통합한 영역이 일치하기 때문에, 상기 부호화기(16c)에서는, 1개의 블록 AMB에 대응하는 보간 화상 신호를 참조하여, 해당 블록에 일치하는, 고 해상도 직사각형 영역의 4개의 블록 HMB2에 대응하는 화상 신호 HBg를 부호화한다. 즉, 해당 4개의 블록 HMB2에 대응하는 화상 신호 HBg와 상기 1개의 블록 AMB에 대응하는 보간 화상 신호 LAg와의 차분값을 부호화하여, 고 해상도 부호화 신호 HEg로서 출력한다.

이와 같이 본 실시예 3에서는, 4개의 고 해상도 블록 HMB2를 통합한 통합 영역에 대응하는 고 해상도 화상 신호 HBg와, 해당 통합 영역과 일치하는 1개의 보간 블록 AMB에 대응하는 보간 화상 신호 LAg와의 차분 신호를 부호화하기 때문에, 고 해상도 블록과 보간 블록이 일대일로 대응하지 않는 경우에도, 고 해상도 블록에 있어서의 화소와 보간 블록에 있어서의 화소의 대응을 취할 수 있어, 저 해상도 화상 신호를 참조하여 고 해상도 화상 신호를 부호화할 수 있다.

또한, 상기한 바와 같이 고 해상도 블록과 보간 블록의 대응을 취할 수 있기 때문에, 블록 단위의 정보(부호화 모드 정보 등)의 예측 부호화를 용이하게 실현할 수 있고, 또한 양 블록 사이에서의 공간 위치의 대응을 취할 수 있기 때문에, 부호화 효율도 향상된다.

또한, 본 실시예 3에서는, 저 해상도 직사각형 영역을 분할하는 블록의 사이즈와 고 해상도 직사각형 영역을 분할하는 블록이 동일한 사이즈이기 때문에, 저 해상도 부호화부에 있어서의 부호화기(7)와 고 해상도 부호화부에 있어서의 부호화기(16c)의 구성이 거의 동일하게 되어, 시분할 처리 등에 의해 부호화부의 하드웨어 자원의 공용화를 용이하게 실현할 수 있다.

(실시예 4)

도 7은 본 발명의 실시예 4에 의한 화상 처리 장치(계층 화상 부호화 장치)를 설명하기 위한 블록도이다.

본 실시예 4의 계층 화상 부호화 장치(104)는, 실시예 1에 있어서의 저 해상도 화상 신호에 대응하는 영역 검출기(30a)를 생략하고, 실시예 1의 영역 추출기(5) 대신에, 실시예 1에 있어서의 영역 검출기(12)의 출력 HRg에 근거하여 저 해상도 프레임 LF 상에서 고 해상도 직사각형 영역 HR의 공간 위치에 대응하는 공간 위치에 있는 저 해상도 직사각형 영역 LR을 추출하는 영역 추출기(31d)를 구비한 것이다.

즉, 본 실시예 4의 계층 화상 부호화 장치(104)의 저 해상도 부호화부(104L)는, 상기 영역 추출기(31d)와, 그 출력을 블록화하는 블록화기(6)로 블록된 화상 신호를 부호화하는 부호화기(7)로 구성되어 있다. 또한, 상기 계층 화상 부호화 장치(104)의 고 해상도 부호화부(104H)는, 실시예 1의 고 해상도 부호화부(101H)와 완전히 마찬가지이며, 영역 검출기(12), 영역 추출기(14), 블록화기(15) 및 부호화기(16a)로 구성되어 있다.

다음에 작용 효과에 대하여 설명한다.

서브 샘플기(2)의 공간 해상도 변환 방법의 동작 원리로부터, 저 해상도 화상 신호를 해상도 변환하여 얻어지는 보간 화상 신호에 대응하는 물체의 형상이, 항상, 고 해상도 화상 신호에 대응하는 물체의 형상의 크기보다 커지지 않는다는 것을 알고 있는 경우에는, 직사각형 신호 HRg가 나타내는 고 해상도 직사각형 영역HR에 대응하는 공간 위치 HRp(도 2b 참조)를, 이것에 대응하는 저 해상도 직사각형 영역 LR의 공간 위치 LRp(도 2a 참조)로 함으로써, 저 해상도 화상 신호의 물체 Lob를 저 해상도 직사각형 영역 LR에 완전히 포함시킬 수 있다.

이것은, 실시예 1에 있어서의, 저 해상도 화상 신호 LSg로부터 물체를 포함하는 직사각형 영역 LR에 대응하는 직사각형 신호 LRg를 추출하는 것이 불필요하다는 것을 의미하기 때문에, 상기 서브 샘플기(2)가 상기 조건을 만족하는 것이면, 실시예 1의 화상 부호화 장치와 동일한 효과를 보다 간단한 구성으로 실현할 수 있다.

즉, 본 실시예 4의 계층 화상 부호화 장치(104)에서는, 화상 입력 신호인 고 해상도 화상 신호 HSg는 고 해상도 부호화부(104H)에 의해 상기 실시예 1과 완전히 마찬가지의 처리가 실시된다.

또한, 상기 고 해상도 화상 신호 HSg의 서브 샘플에 의해 얻어지는 저 해상도 화상 신호 LSg는, 상기 실시예 1과 거의 마찬가지의 처리에 의해 저 해상도 부호화부(104L)에서 부호화된다. 이 때, 영역 추출기(31d)에서는, 저 해상도 화상 신호 LSg를 수신하여, 고 해상도 부호화부(104H)의 영역 검출기(12)의 출력 HRg에 근거하여 저 해상도 프레임상에서의 직사각형 영역의 위치를 결정해서 해당 직사각형 영역에 대응하는 화상 신호 LOg를 블록화기(6)에 출력한다. 해당 화상 신호 LOg는 블록화기(6)에서 블록화되고, 블록화된 화상 신호 LBg가 부호화기(7)에서 부호화되어, 저 해상도 부호화부(104L)로부터 각 블록에 대응한 저 해상도 부호화 신호 LEg가 출력된다.

이 저 해상도 부호화 신호 LEg는 복호화기(9a)에서 복호화되고, 해당 복호화기(9a)의 출력 Ldg는 업 샘플기(10a)에서, 고 해상도 화상 신호와 동일한 공간 해상도를 갖는 보간 화상 신호 LAg로 변환되어 고 해상도 부호화부(104H)의 부호화기(16a)에 출력된다.

이와 같이 본 실시예 4에서는, 저 해상도 부호화부(104L)의 영역 추출기(31d)에서는, 고 해상도 부호화부(104H)의 영역 검출기(12)의 출력인 직사각형 신호 HRg에 근거하여 저 해상도 프레임상에서의 직사각형 영역 LR의 위치를 결정하기 때문에, 저 해상도 부호화부(104L)에서는 영역 추출을 위한 회로 구성이 불필요하게 되어, 실시예 1의 화상 부호화 장치와 동일한 효과를 보다 간단한 구성으로 실현할 수 있다.

(실시예 5)

도 8은 본 발명의 실시예 5에 의한 화상 처리 장치(계층 화상 복호화 장치)를 설명하기 위한 블록도이다.

본 실시예 5의 계층 화상 복호화 장치(105)는, 도 7에 나타내는 실시예 4의 계층 화상 부호화 장치(104)에 의해 부호화된 저 해상도 부호화 신호 LEg 및 고 해상도 부호화 신호 HEg를 입력 신호로 하여 계층 복호화 처리를 실행하는 구성으로 되어 있다. 즉, 이 계층 화상 복호화 장치(105)는, 종래의 계층 화상 복호화 장치(200b)와 마찬가지로, 상기 저 해상도 부호화 신호 LEg에 대하여 복호화 처리를 실시하여 저 해상도 재생 신호 LCg를 생성하는 저 해상도 복호화부(105L)와, 해당 복호화부(105L)에서의 복호화 신호 LDg를 업 샘플에 의해 보간하는 업 샘플기(10b)와, 해당 업 샘플기(10b)의 출력 LDg에 근거하여 상기 고 해상도 부호화 신호 HEg를 복호화해서 고 해상도 재생 신호 HCg를 생성하는 고 해상도 복호화부(105H)를 갖고 있다.

여기서, 상기 각 복호화부(105L, 105H)는 각각, 종래의 계층 화상 복호화 장치(200b)와 마찬가지로 복호화기(9, 30), 역 블록화기(20, 31), 영역 합성기(34, 32)를 갖고 있다.

그리고 본 실시예 5에서는, 상기 영역 합성기(34)는, 상기 실시예 4의 계층 화상 부호화 장치(104)로부터의 고 해상도 직사각형 신호 HRg를 참조하여, 저 해상도 프레임상의, 해당 직사각형 신호 HRg가 나타내는 위치에 저 해상도 직사각형 영역이 배치되도록, 해당 직사각형 영역에 대응하는 화상 신호 LIg를 프레임에 대응하는 그 밖의 화상 신호에 합성하는 구성으로 되어 있으며, 이 점만이 도 24에 나타내는 종래의 계층 화상 복호화 장치(200b)와 다르다.

다음에 동작에 대하여 설명한다.

본 계층 화상 복호화 장치(105)에, 상기 실시예 4의 계층 화상 부호화 장치(104)의 출력인 저 해상도 부호화 신호 LEg 및 고 해상도 부호화 신호 HEg가 입력되면, 저 해상도 부호화 신호 LEg는 저 해상도 복호화부(105L)에서 복호화기(9)에 의해 복호화되고, 복호화기(9)의 출력 LDg가 역 블록화기(20)에 의해 통합되어, 다시 역 블록화기(20)의 출력 LIg가 고 해상도 직사각형 신호 HRg에 근거하여 저 해상도 프레임에 대응하는 화상 신호와 합성된다.

이 때, 상기 복호화기(9)의 출력 LDg는 업 샘플기(10b)에서 보간되어 고 해상도 복호화부(105H)에 출력된다.

또한, 상기 고 해상도 부호화 신호 HEg는 고 해상도 부호화부(105H)에서, 상기 종래의 계층 화상 복호화 장치(200b)와 완전히 마찬가지로 하여 상기 업 샘플기(10b)로부터의 보간 화상 신호 ADg 및 고 해상도 직사각형 신호 HRg에 근거하여 복호화된다.

이와 같이 본 실시예 5에서는, 실시예 4의 계층 화상 부호화 장치(104)로부터의 부호화 신호 LEg 및 HEg, 직사각형 신호 HRg를 수신하고, 영역 합성기(34)에서는, 실시예 4의 영역 추출기(30d)와 마찬가지의 동작에 의해 저 해상도 직사각형 영역을 저 해상도 프레임상의, 고 해상도 직사각형 신호 HRg가 나타내는 공간 위치에 합성할 수 있다.

따라서, 저 해상도 프레임상에 설정된 저 해상도 공간 영역내에, 역 블록화기(20)에 의해 통합된 화상 복호화 신호에 대응하는 화상을 배치함으로써, 상기 실시예 4의 계층 화상 부호화 장치에 의해 부호화한 부호화 신호 LEg 및 HEg를 정확하게 복호화할 수 있다.

(실시예 6)

도 9a 및 도 9b는 본 발명의 실시예 6에 의한 화상 처리 장치(계층 화상 부호화 장치)를 설명하기 위한 블록도이다.

본 실시예 6의 계층 화상 부호화 장치(106)는, 도 1에 나타내는 실시예 1의계층 화상 부호화 장치(101)와 마찬가지로, 서브 샘플기(2)와, 저 해상도 부호화부(106L)과, 복호화기(9a)와, 업 샘플기(10a)와, 고 해상도 부호화부(106H)를 갖고 있다. 여기서, 상기 실시예 1과 동일 부호를 부여한 것은 실시예 1과 완전히 동일 구성으로 되어 있다.

그리고, 본 실시예 6에서는, 저 해상도 화상 신호 LSg를 부호화하는 저 해상도 부호화부(106L)는, 실시예 1의 저 해상도 부호화부(101L)에 있어서의 부호화기(7) 대신에, 블록화된 저 해상도 화상 신호 LBg에 대응하는 저 해상도 부호화 신호 LEg와 더불어 해당 각 블록화 화상 신호 LBg의 부호화 모드를 나타내는 부호화 모드 신호 Mg를 생성하여 출력하는 부호화기(7f)를 갖고 있고, 그 밖의 구성은 실시예 1과 완전히 동일하다.

또한, 본 실시예 6에서는, 고 해상도 화상 신호 HSg를 부호화하는 고 해상도 부호화부(106H)는, 상기 실시예 1의 고 해상도 부호화부(101H)에 있어서의 부호화기(16a) 대신에, 업 샘플기(10a)의 출력 LAg 뿐만 아니라 상기 부호화 모드 신호 Mg에도 근거하여, 블록화된 고 해상도 화상 신호 HBg의 부호화 처리를 실행하는 부호화기(16f)를 갖고 있고, 그 밖의 구성은 실시예 1과 완전히 동일하게 되어 있다.

이 부호화기(16f)는, 상기 블록화된 고 해상도 화상 신호 HBg를 수신하여, 그 부호화 모드를 판정해 고 해상도 블록의 부호화 모드 신호 MD를 출력하는 모드 판정기(50)와, 해당 부호화 모드 신호 MD를, 블록화된 저 해상도 화상 신호 LBg의 부호화 모드 신호 Mg에 근거하여 부호화해서, 이 때, 해당 부호화 모드 신호 MD의 부호화 방법을 부호화 모드 신호 Mg에 근거하여 전환하고 모드 부호화 신호 EMg를 출력하는 모드 부호화기(51)와, 고 해상도 블록화 화상 신호 HBg에 대한 부호화 방법이 서로 다른 제 1 및 제 2 부호화기(53, 54)를 갖고 있다(도 9b 참조).

여기서 제 1 부호화기(53)는, 저 해상도 복호화 신호 Ldg를 업 샘플하여 얻어지는 보간 신호 LAg를 참조하여, 고 해상도 블록화 화상 신호 HBg의 부호화 처리를 행하는 구성으로 되고 있으며, 상기 제 2 부호화기(54)는, 상기 보간 신호 LAg를 참조하지 않고서, 고 해상도 블록화 화상 신호 HBg의 부호화 처리를 실행하는 구성으로 되어 있다. 또한, 상기 모드 판정기(50)는, 구체적으로는 상기 고 해상도 블록화 화상 신호 HBg에 근거하여, 해당 블록화 화상 신호 HBg를 저 해상도 화상 신호에 대응하는 보간 신호 LAg를 참조해 부호화할 것인가, 해당 화상 신호 HBg를 해당 보간 신호 LAg를 참조하지 않고서 부호화할 것인가를 판정하는 구성으로 되어 있다.

또한, 상기 부호화기(16f)는, 상기 모드 판정기(50)의 출력(부호화 모드 신호) MD에 따라서, 상기 고 해상도 블록화 화상 신호 HBg를 상기 제 1 및 제 2 부호화기(53, 54) 중 어느 한쪽에 공급하는 전단(前段) 스위치(52)와, 상기 모드 판정기(50)의 출력 MD에 따라서, 상기 제 1 및 제 2 부호화기(53, 54) 중 어느 하나의 출력 HEg1 혹은 HEg2를 선택하는 후단(後段) 스위치(55)와, 해당 후단 스위치(55)의 출력 SHEg와 상기 모드 부호화 신호 EMg를 다중화하는 다중화기(56)를 갖고 있다.

다음에 작용 효과에 대하여 설명한다.

본 계층 화상 부호화 장치(106)에 화상 입력 신호인 고 해상도 화상 신호 HSg가 입력되면, 서브 샘플기(2)에서는, 고 해상도 화상 신호 HSg의 서브 샘플에 의해 저 해상도 화상 신호 LSg가 생성되고, 이 신호 LSg가 상기 저 해상도 부호화부(106L)에 의해 부호화된다. 이 부호화부(106L)의 부호화기(7f)에서는, 저 해상도 블록화 화상 신호 LBg의 부호화 처리시에, 해당 화상 신호 LBg에 대응하는 부호화 모드 신호 Mg를 출력한다.

한편, 고 해상도 부호화부(106H)에서는, 고 해상도 화상 신호 HSg에 대한, 실시예 1과 마찬가지의 영역 검출 처리 및 영역 추출 처리에 의해, 고 해상도 직사각형 영역 HR에 대응하는 화상 신호 HOg가 생성되고, 또한 블록화 처리에 의해, 화상 신호 HOg로부터 고 해상도 블록 HMB1에 대응하는 블록화 화상 신호 HBg가 생성된다. 그리고, 이 블록화 화상 신호 HBg는, 부호화기(16f)에 의해 상기 업 샘플 출력 LAg 및 부호화 모드 신호 Mg에 근거하여 부호화된다.

즉, 본 실시예 6의 계층 화상 부호화 장치(106)에 의한 계층 부호화 처리에서는, 저 해상도 부호화부(106L)의 부호화기(7f)로부터, 부호화 모드 신호 Mg가 고 해상도 부호화부(106H)의 부호화기(16f)에 출력되고, 이 부호화기(16f)에 의해, 저 해상도 블록화 화상 신호 LBg의 부호화 모드 Mg를 참조하여, 블록화된 고 해상도 화상 신호 HBg가 부호화된다고 하는 점에서 상기 실시예 1의 부호화 처리와 다르다.

이하, 상기 부호화기(16f)의 상세한 동작에 대하여 간단히 설명한다.

상기 부호화기(16f)에서는, 모드 판정기(50)에서의 모드 판정에 의해, 블록화된 고 해상도 화상 신호 HBg에 근거하여, 해당 화상 신호 HBg에 대한 부호화 방법이 결정된다. 즉, 해당 화상 신호 HBg를 보간 신호 LAg를 참조하여 부호화할 것인가, 혹은 해당 화상 신호 HBg를 보간 신호 LAg를 참조하지 않고서 부호화할 것인가가 결정된다. 그렇게 하면, 이 모드 판정 결과에 대응하는 부호화 모드 신호 MD가 상기 모드 판정기(50)로부터 출력되어, 상기 각 스위치(52, 55)에서는, 해당 부호화 모드 신호 MD에 따라서 상기 제 1 및 제 2 부호화기(53, 54) 중 어느 하나가 선택된다. 이에 따라, 상기 고 해상도 화상 신호 HBg는 선택된 부호화기(53, 54)에 의해 부호화되어 다중화기(56)에 출력된다.

또한 이 때, 상기 모드 부호화기(51)에서는, 상기 부호화 모드 신호 MD의 부호화 처리가, 저 해상도 블록의 부호화 모드 Mg에 근거하여 실행되고 있고, 상기 다중화기(56)에서는 상기 스위치(55)의 출력 SHEg와 상기 모드 부호화기(51)의 출력 EMg가 다중화되어, 고 해상도 부호화 신호 HEg로서 출력된다.

이와 같이 본 실시예 6에서는, 부호화기(16f)에서 저 해상도 블록의 부호화 모드를 참조하여 고 해상도 블록의 부호화 처리를 실행하기 때문에, 더욱 부호화 효율이 양호한 계층 부호화 처리를 실현할 수 있다.

즉, 상기 고 해상도 블록의 부호화 모드는, 대응하는 저 해상도 블록의 부호화 모드와 상관이 있다. 예를 들어, 저 해상도 블록이 물체의 경계 부분에 위치하는 경우에는, 대응하는 고 해상도 블록도 경계 부분에 위치할 확률이 높고, 마찬가지로 저 해상도 블록이 물체 외부 혹은 물체 내부에 위치하는 경우에는, 대응하는 고 해상도 블록도 물체 외부 혹은 물체 내부에 위치할 확률이 높다.

이와 같이 저 해상도 블록의 부호화 모드와 고 해상도 블록의 부호화 모드는 일치할 확률이 높기 때문에, 고 해상도 부호화부(106H)에 있어서의 부호화기(16f)에 의해, 저 해상도 블록의 부호화 모드 신호 Mg를 참조하여, 이 부호화 모드 신호 Mg와 모드가 동일한 고 해상도 블록의 부호화 모드 신호에 짧은 부호를 할당하는 예측 부호화를 실행함으로써, 저 해상도 블록의 부호화 모드 신호 Mg를 참조하지 않는 경우보다 부호화 비트수를 삭감할 수 있다.

또, 상기 실시예 6에서는, 저 해상도 블록의 부호화 모드에 따라서, 고 해상도 화상 신호의 부호화 방법을 전환함과 동시에, 고 해상도 블록의 부호화 모드의 부호화 방법을 전환하는 구성을 나타내었지만, 저 해상도 블록의 부호화 모드에 따른 고 해상도 화상 신호의 부호화 방법의 전환만을 행하도록 하여도 무방하다.

또한, 본 실시예 6에서는, 계층 화상 부호화 장치(106)로서, 도 1에 나타내는 상기 실시예 1의 계층 화상 부호화 장치(101)에 있어서의 계층 부호화 처리를, 저 해상도 화상 신호 뿐만 아니라 저 해상도 블록의 부호화 모드에도 근거하여 실행하는 구성의 것을 나타내었지만, 이러한 계층 화상 부호화 장치는 상기 실시예 6의 구성에 한정되는 것이 아니라, 예를 들면 도 5에 나타내는 상기 실시예 3에 있어서의 계층 부호화 처리를, 저 해상도 화상 신호와 저 해상도 블록의 부호화 모드에 근거하여 실행하는 구성으로 한 것이어도 무방하다.

이 경우, 16×16 화소로 이루어지는 저 해상도 블록 LMB(도 6a 참조)에 대응하는 부호화 모드를 참조하는, 16×16 화소로 이루어지는 고 해상도 블록 HMB2(도 6b 참조)에 대응하는 부호화 모드의 부호화 처리는, 상기 저 해상도 블록 LMB의 해상도 변환 처리에 의해 얻어지는 32×32 화소로 이루어지는 1개의 보간 블록 AMB(도 6c 참조)에 대응하는, 4개의 고 해상도 블록 HMB2로 이루어지는 통합 영역을 단위로 하여 실행된다. 단, 이 경우에도, 저 해상도 블록 LMB보다 작은 단위에 대응하는 정보(즉, 화소값의 예측 오차 등)에 대해서는, 상기 실시예 3과 마찬가지로, 예를 들면 도 6d에 도시하는 바와 같이 화소 단위로, 고 해상도 프레임 HF에 대응하는 화소값(도 6b)과, 해상도 변환(보간) 프레임 AF에 대응하는 화소값(도 6c)의 오차(차분 화상 D)를 계산하여, 이 오차 신호를 16×16 화소로 이루어지는 작은 블록 단위로 부호화 처리를 실행한다.

(실시예 7)

도 10a 및 도 10b는 본 발명의 실시예 7에 의한 화상 처리 장치(계층 화상 복호화 장치)를 설명하기 위한 블록도이다.

본 실시예 7의 계층 화상 복호화 장치(107)는, 도 24에 나타내는 종래의 계층 화상 복호화 장치(200b)와 마찬가지로, 저 해상도 복호화부(107L)와, 업 샘플기(10b)와, 고 해상도 복호화부(107H)를 갖고 있다. 여기서, 상기 종래의 계층 화상 복호화 장치(200b)에서의 것과 동일 부호를 부여한 것은, 종래의 계층 화상 복호화 장치(200b)의 것과 완전히 동일한 구성으로 되어 있으며, 본 실시예 7에 의한 계층 화상 복호화 장치(107)에서는, 저 해상도의 복호화기(9g)로부터 출력되는 부호화 모드 Mg를 참조하여, 고 해상도 부호화 신호 HEg의 복호화 처리가 실행된다는 점에서, 상기 도 24에 나타내는 종래의 계층 화상 복호화 장치(200b)와 다르다.

즉, 본 실시예 7에서는, 저 해상도 부호화 신호 LEg를 복호화하는 저 해상도 복호화부(107L)는, 종래의 계층 화상 복호화 장치(200b)의 저 해상도 복호화부(202L)에서의 복호화기(9) 대신에, 저 해상도 복호화 신호 LDg와 함께 부호화 모드 신호 Mg를 출력하는 복호화기(9g)를 갖고 있고, 그 밖의 구성은 종래의 계층 화상 복호화 장치(200b)의 구성과 완전히 동일하다.

또한, 본 실시예 7에서는, 고 해상도 부호화 신호 HEg를 복호화하는 고 해상도 복호화부(107H)는, 상기 종래의 계층 화상 복호화 장치(200b)의 고 해상도 부호화부(201H)에서의 복호화기(30) 대신에, 상기 업 샘플기(10b)의 출력 ADg 뿐만 아니라 상기 부호화 모드 신호 Mg에도 근거하여, 입력된 고 해상도 부호화 신호 HEg의 복호화 처리를 실행하는 복호화기(40g)를 갖고 있고, 그 밖의 구성은 종래의 계층 화상 복호화 장치(200b)와 완전히 동일하게 되어 있다.

이 복호화기(40g)는, 상기 고 해상도 부호화 신호 HEg로부터 모드 부호화 신호 EMg를 분리하여 추출하는 분리기(60)와, 해당 분리된 모드 부호화 신호 EMg를 복호화하는 모드 복호화기(61)와, 해당 모드 부호화 신호 EMg와 분리된 고 해상도 부호화 신호 SHEg에 대한 복호화 방법이 상이한 제 1 및 제 2 복호화기(63, 64)를 갖고 있다.

또한, 상기 복호화기(40g)는, 상기 모드 복호화기(61)에 의해 복호화된 부호화 모드 신호 DMg에 근거하여, 상기 고 해상도 부호화 신호 SHEg를 상기 제 1 및 제 2 복호화기(63, 64) 중 어느 한쪽에 공급하는 전단 스위치(62)와, 상기 모드 복호화기(61)에 의해 복호화된 부호화 모드 신호 DMg에 근거하여, 상기 제 1 및 제 2복호화기(63, 64) 중 어느 하나의 출력 HDg1 혹은 HDg2를 선택하여 고 해상도 복호화 신호 HDg로서 출력하는 후단 스위치(65)를 갖고 있다.

여기서, 상기 제 1 복호화기(63)는, 저 해상도 복호화 신호 LDg를 업 샘플하여 얻어지는 보간 신호 ADg를 참조하여 고 해상도 부호화 신호 HEg의 복호화 처리를 실행하는 구성으로 되어 있고, 또한 제 2 복호화기(64)는, 상기 보간 신호 ADg를 참조하지 않고서 고 해상도 부호화 신호 HEg의 복호화 처리를 실행하는 구성으로 되어 있다.

다음에 작용 효과에 대하여 설명한다.

본 계층 화상 복호화 장치(107)에 고 해상도 부호화 신호 HEg 및 저 해상도 부호화 신호 LEg가 입력되면, 저 해상도 부호화부(107L)에서는, 상기 부호화 신호 LEg에 대한 복호화 처리, 역 블록화 처리가 순차적으로 실행되어, 해당 역 블록화 처리에 의해 통합된, 소정의 직사각형 영역에 대응하는 저 해상도 복호화 신호 LIg가 영역 합성기(21)에 의해 프레임에 대응하는 그 밖의 화상 신호와 합성된다.

이 복호화 처리시에는, 복호화기(9g)로부터는 저 해상도 복호화 신호 LDg와 함께 부호화 모드 신호 Mg가 출력되어, 해당 저 해상도 복호화 신호 LDg는 업 샘플기(10b)에 의해 보간되어, 공간 해상도가 고 해상도 복호화 신호 LDg와 동등한 보간 복호화 신호 ADg로 변환된다.

또한, 고 해상도 부호화부(107H)에서는, 상기 고 해상도 부호화 신호 HEg에 대한 복호화기(40g)에 의한 복호화 처리가 상기 부호화 모드 신호 Mg 및 보간 복호화 신호 ADg에 근거하여 실행되고, 또한 복호화기(40g)의 출력 HDg에 역 블록화기(31)에서 역 블록화 처리가 실시된다. 그리고 해당 역 블록화 처리에 의해 통합된, 소정의 직사각형 영역에 대응하는 고 해상도 복호화 신호 HIg가 영역 합성기(32)에 의해, 프레임에 대응하는 그 밖의 화상 신호와 합성된다.

이하, 상기 복호화기(40g)의 상세한 동작에 대하여 설명한다.

상기 복호화기(40g)에서는, 분리기(60)에 의해, 고 해상도 부호화 신호 HEg는, 부호화 모드에 대응하는 부호 부분 EMg와 그 밖의 부호 부분 SHEg로 분리되어, 부호화 모드에 대응하는 부호 부분 EMg가 모드 복호화기(61)에 출력되고, 그 밖의 부호 부분 SHEg가 전단 스위치(62)에 출력된다. 이 때 상기 모드 복호화기(61)에서는, 저 해상도 블록의 부호화 모드 신호 Mg를 참조하여, 고 해상도 블록에 대응하는 모드 부호화 신호가 복호화된다. 즉, 저 해상도 블록의 부호화 모드 신호 Mg에 따라서, 고 해상도 블록에 대응하는 모드 부호화 신호의 복호화 방법이 전환된다. 상기 각 스위치(62, 65)에서는, 고 해상도 블록의, 복호화된 부호화 모드 신호 DMg를 참조하여, 제 1 복호화기(63) 및 제 2 복호화기(64) 중 어느 한쪽이 선택되고, 어느 하나의 복호화기의 출력 HDg1 혹은 HDg2가 복호화기(40g)의 출력 HDg로서 출력된다.

이와 같이 본 실시예 7에서는, 고 해상도 부호화 신호 HEg의 복호화 처리를, 저 해상도 복호화 신호 LDg를 업 샘플에 의해 보간한 보간 복호화 신호 ADg 뿐만 아니라, 저 해상도 블록의 부호화 모드 신호 Mg에도 근거하여 실행하도록 하였기 때문에, 도 9에 나타내는 실시예 6의 계층 화상 부호화 장치(106)에 의해 부호화된 고 해상도 부호화 신호 HEg가, 복호화기(40g)에서 부호화 모드 신호 Mg를 참조하여 복호화되게 되어, 실시예 6에 있어서의 부호화기(16f)에 의한 부호화 처리에 대응한 복호화 처리를 실행할 수 있다. 이 때문에, 실시예 6의 계층 화상 부호화 장치에서 부호화한 저 해상도 부호화 신호 LEg 및 고 해상도 부호화 신호 HEg를 정확하게 복호화할 수 있다.

또, 상기 실시예 7에서는, 저 해상도 블록의 부호화 모드에 따라서, 고 해상도 부호화 신호의 복호화 방법 및 고 해상도 블록의 부호화 모드의 복호화 방법을 전환하도록 하였지만, 상기 고 해상도 부호화 신호의 복호화 방법 및 고 해상도 블록의 부호화 모드의 복호화 방법의 한쪽만을 저 해상도 블록의 부호화 모드에 따라 전환하도록 하여도 무방하다.

(실시예 8)

도 11은, 본 발명의 실시예 8에 의한 화상 처리 장치(계층 화상 부호화 장치)를 설명하기 위한 도면으로서, 도 11a는 그 전체 구성을 나타내는 블록도, 도 11b는 해당 계층 화상 부호화 장치를 구성하는 부호화기의 상세한 구성을 나타내는 블록도이다.

본 실시예 8의 계층 화상 부호화 장치(108)는, 도 9에 나타내는 실시예 6의 계층 화상 부호화 장치(106)에 있어서의 부호화기(16f) 대신에, 물체의 형상에 따라 부호화 방식을 전환하는 부호화기(16h)를 구비한 것으로, 그 밖의 구성은 상기 실시예 6의 계층 화상 부호화 장치(106)와 동일하다.

그리고, 본 실시예 8의 부호화기(16h)는, 블록화된 고 해상도 부호화 신호 HBg를 수신하여, 이 화상 신호에 대응하는 블록내에 물체의 경계가 포함되는지 여부를 판정해서, 판정 결과에 대응한 판정 신호 BD를 출력함과 동시에, 해당 블록내에 물체의 경계가 포함되는 것을 나타내는 판정 신호 BD1을 출력하는 경계 판정기(70)와, 상기 고 해상도 부호화 신호 HBg 및 상기 판정 신호 BD1을 수신하여, 상기 블록내에 물체의 경계가 포함될 때에, 저 해상도 화상 신호 LSg를 참조할 것인지 여부를 나타내는 식별 신호 MD1을 출력하는 모드 판정기(75)를 갖고 있다.

또한, 상기 부호화기(16h)는, 해당 판정 부호 BD 및 식별 신호 MD1을 저 해상도 부호화 신호 LEg의 신호 Mg에 근거하여 부호화해서, 이 때, 상기 판정 신호 BD 및 식별 신호 MD1의 부호화 방법을 부호화 모드 신호 Mg에 근거하여 전환하고 모드 부호화 신호 EMg를 출력하는 모드 부호화기(71)와, 고 해상도 화상 신호 HSg에 대한 임의 형상 부호화 처리 방법이 서로 다른 제 1 및 제 2 임의 형상 부호화기(73a, 73b)와, 고 해상도 화상 신호 HSg에 대하여 고정 형상 부호화 처리를 실시하는 고정 형상 부호화기(74)를 갖고 있다.

여기서, 상기 제 1 임의 형상 부호화기(73a)는, 저 해상도 복호화 신호 Ldg를 업 샘플하여 얻어지는 보간 신호 LAg를 참조하여 고 해상도 화상 신호 HSg의 임의 형상 부호화 처리를 실행하는 구성으로 되어 있고, 상기 제 2 임의 형상 부호화기(73b)는, 저 해상도 복호화 신호를 업 샘플하여 얻어지는 보간 신호 LAg를 참조하지 않고서 고 해상도 화상 신호 HSg의 임의 형상 부호화 처리를 실행하는 구성으로 되어 있다.

또한, 상기 부호화기(16h)는, 상기 경계 판정기(70)의 출력 BD 및 모드 판정기(75)의 출력 MD1에 근거하여, 상기 고 해상도 화상 신호 HSg를, 상기 제 1, 제 2 임의 형상 부호화기(73a, 73b), 및 고정 형상 부호화기(74) 중 어느 하나에 공급하는 전단 스위치(52)와, 상기 경계 판정기(70)의 출력 BD 및 모드 판정기(75)의 출력 MD1에 근거하여, 상기 제 1, 제 2 임의 형상 부호화기(73a, 73b), 및 고정 형상 부호화기(74) 중 어느 하나의 출력을 선택하는 후단 스위치(55)와, 해당 후단 스위치(55)의 출력과 상기 모드 부호화 신호 EMg를 다중화하는 다중화기(56)를 갖고 있다.

다음에 작용 효과에 대하여 설명한다.

물체의 형상 정보를 갖는 화상 신호에 대해서는, 물체의 형상에 따라 부호화 방식을 전환하는 것이 유효하다.

즉, 고 해상도 블록내에 물체 경계가 포함되는 경우에는, 임의 형상 부호화기(73a) 혹은 임의 형상 부호화기(73b)에 의해 물체 형상에 따른 임의 형상 부호화 처리를 실행하고, 해당 고 해상도 블록이 물체 외부에 위치하는 경우 혹은 고 해상도 블록이 물체 내부에 위치하는 경우에는, 블록내의 화상 신호(고정 형상)를 효율적으로 부호화할 수 있는 고정 형상 부호화기(74)로 부호화를 행한다.

또한, 저 해상도 블록내에 물체 경계가 포함되는 경우에는, 대응하는 고 해상도 블록내에도 물체 경계가 포함되고, 저 해상도 블록이 물체 내부 또는 물체 외부에 위치하는 경우에는, 대응하는 고 해상도 블록도 물체 내부 및 물체 외부에 위치할 확률이 높다. 따라서, 고 해상도 블록에 대한 부호화 처리를, 저 해상도 블록에 대한 부호화 모드(즉, 저 해상도 블록과 물체의 경계와의 위치 관계)를 참조하여 실행하는 것이 부호화 효율을 높이는 데 있어서 유효하게 된다.

이하 상술하면, 도 12는, 저 해상도 직사각형 영역 및 고 해상도 직사각형 영역이 물체 내부에 있는지 물체 외부에 있는지를 도시한 도면이다. 도 12a는 도 2a에 나타내는 저 해상도 직사각형 영역 LR을 구성하는 각 블록 LMB가 물체 Lob 내에 있는지 여부를 나타내며, 도 12b는 도 2b에 나타내는 고 해상도 직사각형 영역 HR을 구성하는 각 블록 HMB1이 물체 Hob 내에 있는지 여부를 나타내고 있다. 또한, 도 12c는, 도 2c에 나타내는 보간 직사각형 영역 AR을 구성하는 블록 AMB가 물체 Aob 내에 있는지 여부를 나타내고, 도 12d는, 도 6d에 나타내는 고 해상도 직사각형 영역 HR을 구성하는 각 블록 HMB2가 물체 Hob 내에 있는지 여부를 나타내고 있다. 여기서는, 기호 I를 붙인 블록은 물체 외부에 위치하는 블록이고, 기호 O를 붙인 블록은 물체 외부에 위치하는 블록이며, 기호 IO를 붙인 블록은 물체 경계에 위치하는 블록이다.

도 12로부터 명백한 바와 같이, 저 해상도 화상 신호 LSg를 해상도 변환한 보간 화상 신호 LAg에 대응하는 보간 직사각형 영역 AR(도 12c)을, 고 해상도 화상 신호 HSg에 대응하는 직사각형 영역 HR(도 12b 혹은 도 12d)과 비교하면, 저 해상도 블록 LMB가 물체 내부, 물체 외부, 혹은 물체 경계 중 어느 위치에 위치하는가의 판정 결과와, 고 해상도 블록 HMB1 혹은 HMB2가 물체 내부, 물체 외부, 물체 경계 중 어느 위치에 있을까의 판정 결과 사이에 큰 상관이 있다.

그래서, 경계 판정기(70)에 의해, 물체의 경계가 고 해상도 블록에 포함되는지 여부를 판단하여, 고 해상도 화상의 경계의 유무를 나타내는 부호화 모드 신호 BD를, 저 해상도 화상의 경계의 유무를 나타내는 부호화 모드 신호 Mg를 참조하여 모드 부호화기(71)에 의해 부호화할 때, 저 해상도 블록과 이것에 대응하는 고 해상도 블록 사이에서 물체 경계의 유무가 일치하는 경우에, 상기 고 해상도 블록의 부호화 모드 신호 BD 및 BD1에 짧은 부호 길이의 부호를 할당함으로써, 부호화 비트수를 절약할 수 있다.

이하, 상기 부호화기(16h)의 구체적인 동작에 대하여 간단히 설명한다.

상기 부호화기(16h)에서는, 경계 판정기(70)에 의해, 블록화된 고 해상도 화상 신호 HBg에 근거하여, 해당 화상 신호 HBg에 대해 임의 형상 부호화 처리를 실시할 것인지, 혹은 고정 형상 부호화 처리를 실시할 것인지가 결정된다. 또한, 모드 판정기(75)에서는, 경계 판정기(70)로부터의 판정 결과에 대응하는 판정 신호 BD1, 및 블록화된 고 해상도 화상 신호 HBg에 근거하여, 저 해상도 복호화 신호 Ldg를 보간하여 얻어지는 보간 화상 신호 LAg를 참조하여 고 해상도 화상 신호 HBg에 대한 임의 형상 부호화 처리를 실행할 것인지, 해당 보간 화상 신호 LAg를 참조하지 않고서 고 해상도 화상 신호 HBg에 대한 임의 형상 부호화 처리를 실행할 것인지가 결정된다.

그렇게 하면, 상기 각 스위치(52, 55)에서는, 상기 각 판정기(70, 75)에서의 판정 결과에 따라서, 상기 제 1, 제 2 임의 형상 부호화기(73a, 73b), 및 고정 형상 부호화기(74) 중 어느 하나가 선택된다. 이에 따라, 상기 고 해상도 화상 신호 HBg는, 선택된 부호화기(73a), 부호화기(73b), 혹은 부호화기(74)에 의해 부호화되어 다중화기(56)로 출력된다.

또한 이 때, 상기 모드 부호화기(71)에서는, 상기 경계 판정기(70)의 판정 신호 BD 및 모드 판정기(75)의 판정 신호 MD1의 부호화 처리가, 저 해상도 블록의 부호화 모드 Mg에 근거하여 실행되고 있으며, 상기 다중화기(56)에는 상기 스위치(55)의 출력 SHEg와 상기 모드 부호화기(71)의 출력 EMg가 다중화되어 고 해상도 부호화 신호 HEg로서 출력된다.

이와 같이 본 실시예 8에서는, 부호화기(16h)에서, 저 해상도 블록의 부호화 모드 Mg를 참조하여 고 해상도 블록의 부호화 모드를 부호화하기 때문에, 부호화 모드의 부호화에 필요한 비트수를 삭감할 수 있다.

또한, 고 해상도 블록과 물체와의 위치 관계를 판정하고, 또한 고 해상도 블록에 대한 부호화 처리 방법을 판정하여, 이들 판정 결과에 따라 저 해상도 화상 신호를 참조한 임의 형상 부호화 처리, 저 해상도 화상 신호를 참조하지 않는 임의 형상 부호화 처리 및 고정 형상 부호화 처리 중 어느 하나를 고 해상도 화상 신호에 실시하도록 하였기 때문에, 보다 한층 더 부호화 효율이 높은 계층 부호화 처리를 실행할 수 있다.

또, 상기 실시예 8에서는, 저 해상도 블록의 부호화 모드에 따라서, 고 해상도 화상 신호의 부호화 방법을 전환함과 동시에, 고 해상도 블록의 부호화 모드의 부호화 방법을 전환하는 구성을 나타내었지만, 저 해상도 블록의 부호화 모드에 따른 고 해상도 화상 신호의 부호화 방법의 전환만을 행하도록 하여도 무방하다.

(실시예 9)

도 13은 본 발명의 실시예 9에 의한 화상 처리 장치(계층 화상 복호화 장치)를 설명하기 위한 도면으로서, 도 13a는 그 전체 구성을 나타내는 블록도, 도 13b는 해당 계층 화상 복호화 장치를 구성하는 복호화기의 상세한 구성을 나타내는 블록도이다.

본 실시예 9의 계층 화상 복호화 장치(109)는, 도 11에 나타내는 실시예 8의 계층 화상 부호화 장치(108)에 의해 부호화한 저 해상도 부호화 신호 및 고 해상도 부호화 신호를 복호화하는 것으로, 도 10에 나타내는 실시예 7의 계층 화상 복호화 장치(107)에 있어서의 복호화기(40g) 대신에, 복호화한 부호화 모드 신호에 따라 복호화 방식을 전환하는 복호화기(40i)를 구비하고 있다. 그리고, 이 계층 화상 부호화 장치(109)에 있어서의 그 밖의 구성은 상기 실시예 7의 계층 화상 복호화 장치(107)와 동일하다.

그리고, 본 실시예 9의 복호화기(40i)는, 상기 고 해상도 부호화 신호 HEg로부터 모드 부호화 신호 EMg를 분리하여 추출하는 분리기(60)와, 해당 분리된 모드 부호화 신호 EMg를 저 해상도 화상 신호의 부호화 모드 신호 Mg를 참조하여 복호화하는 모드 복호화기(75a)와, 고 해상도 부호화 신호 HSg에 대한 복호화 방법이 서로 다른 제 1 및 제 2 임의 형상 복호화기(76a, 76b)와, 고정 형상 복호화기(77)를 갖고 있다. 여기서, 상기 제 1 임의 형상 복호화기(76a)는, 저 해상도 복호화 신호를 업 샘플한 보간 신호를 참조하여 고 해상도 부호화 신호의 복호화 처리를 실행하는 구성으로 되어 있고, 상기 제 2 임의 형상 복호화기(76b)는, 저 해상도 복호화 신호를 업 샘플한 보간 신호를 참조하지 않고서 고 해상도 부호화 신호의 복호화 처리를 실행하는 구성으로 되어 있다.

또한, 상기 복호화기(40i)는, 상기 모드 복호화기(75a)에서 복호화된 부호화모드 신호 DMg에 근거하여, 상기 고 해상도 부호화 신호 HEg를 상기 제 1, 제 2 임의 형상 복호화기(76a, 76b) 및 고정 형상 복호화기(77) 중 어느 하나에 공급하는 전단 스위치(62)와, 상기 모드 복호화기(75a)에서 복호화된 부호화 모드 신호 DMg에 근거하여, 상기 제 1, 제 2 임의 형상 복호화기(76a, 76b) 및 고정 형상 복호화기(77) 중 어느 하나의 출력을 선택하여 고 해상도 복호화 신호 HDg로서 출력하는 후단 스위치(65)를 갖고 있다.

다음에 작용 효과에 대하여 설명한다.

본 실시예 9의 계층 화상 복호화 장치(109)에서는, 복호화기(40i) 이외의 동작은, 상기 실시예 7의 계층 화상 복호화 장치(107)와 완전히 동일하기 때문에, 이하에는 복호화기(40i)의 동작에 대해서만 설명한다.

상기 복호화기(40i)의 모드 복호화기(75a)에서는, 저 해상도 화상의 부호화 모드 신호 Mg(즉, 물체의 내부인지 외부인지)를 참조하여 고 해상도 화상의 모드 부호화 신호 EMg를 복호화한다. 상기 전단 스위치(62) 및 후단 스위치(65)에서는, 복호화한 고 해상도 화상의 부호화 모드에 따라 상기 3개의 복호화기 중 어느 하나를 선택하게 된다.

이에 따라, 임의 형상 부호화된 화상 부호화 신호는, 제 1 혹은 제 2 임의 형상 복호화기(76)에 의해 복호화되고, 고정 형상 부호화된 화상 신호는 고정 형상 복호화기(77)에 의해 복호화된다.

이렇게 하여, 상기 실시예 8의 계층 화상 부호화 장치(108)에 의해 물체의 형상에 따라 부호화된 부호화 신호를 정확하게 복호화할 수 있다.

(실시예 10)

도 14는, 본 발명의 실시예 10에 의한 화상 부호화 장치(계층 화상 부호화 장치)를 설명하기 위한 도면으로서, 도 14a는 그 전체 구성을 나타내는 블록도, 도 14b는 해당 계층 화상 부호화 장치를 구성하는 부호화기의 상세한 구성을 나타내는 블록도이다.

본 실시예 10의 계층 화상 부호화 장치(110)는, 도 9에 나타내는 실시예 6의 계층 화상 부호화 장치(106)에 있어서의 부호화기(16f) 대신에, 화소값의 상관이 큰 주사 방향에 따라 부호화 방식을 전환하는 부호화기(16j)를 구비한 것으로, 그 밖의 구성은 상기 실시예 6의 계층 화상 부호화 장치(106)와 동일하다.

상기 부호화기(16j)는, 블록화된 고 해상도 부호화 신호 HBg를 수신하여, 각 블록에 있어서의 화상값의 상관이 큰 주사 방향을 판정하는 주사 방향 판정기(80)와, 해당 판정 결과를 나타내는 신호 SD를, 저 해상도 부호화 신호 LEg에 대한, 화소값의 상관이 큰 주사 방향을 나타내는 모드 신호 Mg에 근거하여 부호화해서 모드 부호화 신호 EMg를 출력하는 모드 부호화기(81)와, 고 해상도 화상 신호 HSg에 대하여 수평 주사 부호화 처리를 실행하는 수평 주사 부호화기(83)와, 상기 고 해상도 화상 신호 HSg에 대하여 수직 방향 부호화 처리를 실행하는 수직 주사 부호화기(84)를 갖고 있다.

또한, 상기 부호화기(16j)는, 상기 주사 방향 판정기(80)의 출력 SD에 근거하여, 상기 고 해상도 화상 신호 HSg를 상기 수평 주사 부호화기(83) 및 수직 주사 부호화기(84) 중 어느 하나에 공급하는 전단 스위치(52)와, 상기 주사 방향판정기(80)의 출력 SD에 근거하여, 상기 수평 주사 부호화기(83) 및 수직 주사 부호화기(84) 중 어느 하나의 출력을 선택하는 후단 스위치(55)와, 해당 후단 스위치(55)의 출력과 상기 모드 부호화 신호 EMg를 다중화하는 다중화기(56)를 갖고 있다.

다음에 작용 효과에 대하여 설명한다.

본 실시예 10의 계층 화상 부호화 장치에서는, 부호화기(16j) 이외의 동작은 실시예 6의 계층 화상 부호화 장치(106)와 완전히 마찬가지로 실행되기 때문에, 부호화기(16j)에 관한 동작에 대해서만 설명한다.

화상 신호를 주사선 방향으로 부호화하는 부호화 방식의 경우에는, 주사 방향에 의해서 부호화 효율이 변화한다. 즉, 화소값의 수평 방향의 상관이 큰 화상 신호에 있어서는 수평 주사 방향을 따라 순차적으로 각 화소의 화소값을 부호화함으로써, 수평 방향의 상관을 효율적으로 이용한 부호화가 가능하고, 또한 화소값의 수직 방향의 상관이 큰 화상 신호에 있어서는 수직 주사 방향을 따라 순차적으로 각 화소의 화소값을 부호화함으로써, 화소값의 수직 방향의 상관을 효율적으로 이용한 부호화가 가능하다.

그래서, 본 실시예 10의 계층 화상 부호화 장치(110)에 있어서의 부호화기(16j)에서는, 주사 방향 판정기(80)에 의해 화소값의 상관이 큰 주사 방향을 판정하여, 그 판정 결과에 근거해 수평 주사 부호화기(83)와 수직 주사 부호화기(84) 중 어느 하나를 스위치(52, 55)에 의해 선택하고, 해당 선택한 부호화기에 의해 고 해상도 화상 신호에 대한 부호화 처리를 실행하도록 하고 있다. 이에 따라, 계층 부호화 처리에 있어서의 부호화 효율을 향상시킬 수 있다.

또한, 고 해상도 화상은, 저 해상도 화상과의 사이에서 화소값에 관한 상관이 큰 것이기 때문에, 저 해상도 화상에 있어서의 화소값의 상관이 큰 주사 방향과, 고 해상도 화상에 있어서의 화소값의 상관이 큰 주사 방향과의 사이에도 상관이 있다.

그래서, 본 실시예 10에서는, 주사 방향 판정기(80)에 의해 판정한, 고 해상도 화상에 있어서의 화소값의 상관이 큰 주사 방향을 나타내는 부호화 모드 신호를, 저 해상도 화상에 있어서의 화소값의 상관이 큰 주사 방향을 나타내는 부호화 모드 신호 Mg를 참조하여 모드 부호화기(81)에서 부호화할 때에, 저 해상도 화상과 고 해상도 화상 사이에서 화소값의 상관이 큰 주사 방향이 일치하는 경우에, 상기 고 해상도 화상 신호에 대응하는 부호화 모드 신호에 짧은 부호 길이의 부호를 할당하도록 하고 있다. 이에 따라, 부호화 모드 신호의 부호화에 필요한 부호화 비트수를 한층더 절약할 수 있다.

(실시예 11)

도 15는 본 발명의 실시예 11에 의한 화상 처리 장치(계층 화상 복호화 장치)를 설명하기 위한 도면으로서, 도 15a는 그 전체 구성을 나타내는 블록도, 도 15b는 해당 계층 화상 복호화 장치를 구성하는 복호화기의 상세한 구성을 나타내는 블록도이다.

본 실시예 11의 계층 화상 복호화 장치(111)는, 도 14에 나타내는 실시예 10의 계층 화상 부호화 장치(110)에 의해 부호화한 저 해상도 부호화 신호 및 고 해상도 부호화 신호를 복호화하는 것으로, 상기 실시예 7에 있어서의 복호화기(40g) 대신에, 복호화한 부호화 모드 신호에 따라 복호화 방식을 전환하는 복호화기(40k)를 구비하고 있다. 그리고, 이 계층 화상 복호화 장치(111)에 있어서의 그 밖의 구성은, 도 10에 나타내는 실시예 7의 계층 화상 복호화 장치(107)와 동일하다.

그리고, 본 실시예 11의 복호화기(40k)는, 상기 고 해상도 부호화 신호 HEg로부터 모드 부호화 신호 EMg를 분리하여 추출하는 분리기(60)와, 해당 분리된 모드 부호화 신호 EMg를 복호화하는 모드 복호화기(85)와, 고 해상도 부호화 신호 HSg에 대하여 수평 주사 복호화 처리를 실행하는 수평 주사 복호화기(86)와, 고 해상도 부호화 신호 HSg에 대하여 수직 주사 복호화 처리를 실행하는 수직 주사 복호화기(87)를 갖고 있다.

또한, 상기 복호화기(40k)는, 상기 모드 복호화기(85)에서 복호화된 부호화 모드 신호 DMg에 근거하여, 상기 고 해상도 부호화 신호 HEg를 상기 수평 주사 복호화기(86) 및 수직 주사 복호화기(87) 중 어느 하나에 공급하는 전단 스위치(62)와, 상기 모드 복호화기(85)에서 복호화된 부호화 모드 신호 DMg에 근거하여, 상기 수평 주사 복호화기(86) 및 수직 주사 복호화기(87) 중 어느 하나의 출력을 선택하여 고 해상도 복호화 신호 HDg로서 출력하는 후단 스위치(65)를 갖고 있다.

다음에 작용 효과에 대하여 설명한다.

본 실시예 11의 계층 화상 복호화 장치(111)에서는, 복호화기(40k) 이외의 동작은 상기 실시예 7의 계층 화상 복호화 장치(107)와 완전히 마찬가지로 실행되기 때문에, 복호화기(40k)의 동작에 대해서만 설명한다.

상기 복호화기(40k)의 모드 복호화기(85)에서는, 저 해상도 화상의 부호화 모드 Mg(즉, 화소값의 상관이 큰 주사 방향)를 참조하여 고 해상도 화상의 모드 부호화 신호 EMg를 복호화한다. 복호화한 고 해상도 화상의 부호화 모드 신호(화소값의 상관이 큰 주사 방향을 나타내는 신호) DMg에 따라 스위치(62) 및 스위치(65)를 전환함으로써, 수평 주사 부호화 처리된 화상 신호는 수평 주사 복호화기(86)에서 복호화되고, 수직 주사 부호화 처리된 화상 신호는 수직 주사 복호화기(87)에서 복호화된다.

이와 같이 본 실시예 11에서는, 물체의 형상에 따라 수평 주사 부호화 처리 혹은 수직 주사 부호화 처리가 실시된 부호화 신호를 정확하게 복호화할 수 있다.

(실시예 12)

도 16은, 본 발명의 실시예 12에 의한 화상 처리 장치(계층 화상 부호화 장치)를 설명하기 위한 도면으로서, 도 16a는 그 전체 구성을 나타내는 블록도, 도 16b는 해당 계층 화상 부호화 장치를 구성하는 부호화기(16m)의 상세한 구성을 나타내는 블록도, 도 16c는 해당 부호화기(16m)를 구성하는 제 2 부호화기(54m)의 구체적인 구성을 나타내는 블록도이다.

본 실시예 12의 계층 화상 부호화 장치(112)는, 상기 실시예 6에 있어서의 부호화기(16f) 대신에, 저 해상도 화상의 움직임 벡터를 참조하여 고 해상도 화상 신호의 부호화를 실행하는 부호화기(16m)를 구비한 것으로, 그 밖의 구성은 도 9에나타내는 실시예 6의 계층 화상 부호화 장치(106)와 동일하다.

이 부호화기(16m)는, 상기 실시예 6의 부호화기(16f)에 있어서의 제 2 부호화기(54)를, 필요에 따라 화면간 예측 부호화를 실행하는 구성으로 한 것으로, 그 밖의 구성은 상기 부호화기(16f)와 동일하다.

즉, 본 실시예에 있어서의 부호화기(16m)를 구성하는 제 2 부호화기(54m)는, 예측 신호 Pc에 근거하여 고 해상도 화상 신호 HBg를 부호화해서 고 해상도 부호화 신호 HEg를 출력하는 부호화기(92)와, 상기 예측 신호 Pc에 근거하여 고 해상도 부호화 신호 HEg를 복호화해서 고 해상도 국소 복호화 신호 Hdg를 출력하는 국소 복호화기(93)와, 해당 고 해상도 국소 복호화 신호 Hdg를 기억하는 메모리(94)를 갖고 있다. 또한, 상기 제 2 부호화기(54m)는, 상기 고 해상도 화상 신호 HBg를 수신하여, 상기 메모리(94)에 기억된 고 해상도 국소 복호화 신호 Hdg와, 저 해상도 화상의 부호화 모드 Mg로서의 움직임 벡터 LMV를 참조하여, 고 해상도 화상에 대응하는 움직임 벡터 HMV를 검출하는 움직임 검출기(90)와, 해당 움직임 벡터 HMV에 근거하여, 상기 메모리(94)로부터 상기 예측 신호 Pc를 추출하는 움직임 보상기(91)와, 상기 고 해상도 화상의 움직임 벡터 HMV를, 저 해상도 화상의 움직임 벡터 LMV에 근거하여 부호화해서 움직임 벡터 부호화 신호 HMVc를 출력하는 움직임 부호화기(95)와, 해당 움직임 벡터 부호화 신호 HMVc와 상기 고 해상도 부호화 신호 HEg를 다중화하여 출력하는 다중화기(56m)를 갖고 있다.

다음에 작용 효과에 대하여 설명한다.

본 실시예 12의 계층 화상 부호화 장치(112)에서는, 부호화기(16m) 이외의동작은 실시예 6의 계층 화상 부호화 장치(106)와 완전히 마찬가지로 실행되기 때문에, 부호화기(16m)에 관한 동작에 대해서만 설명한다.

화상 신호는 시간 방향의 상관, 즉 전후의 프레임 사이에서의 화소값의 상관이 있기 때문에, 움직임 벡터를 이용하여 움직임 보상함으로써 부호화 효율이 향상되는 것이 알려져 있다.

상기 부호화기(16m)의 움직임 검출기(90)에서는, 메모리(94)에 기억된 복호화 완료 화상 신호 Hdg 및 블록화된 고 해상도 화상 신호 HBg에 근거하여 고 해상도 화상의 움직임 벡터 HMV가 검출되고, 움직임 보상기(91)에서는 검출한 고 해상도 화상의 움직임 벡터 HMV에 근거하여 움직임 보상 화상(예측 신호) Pc가 생성된다.

그리고 부호화기(92)에서는, 움직임 보상 화상 Pc를 참조하여 고 해상도 화상의 블록화 화상 신호 HBg에 대한 부호화 처리가 실행된다. 이 처리에 의해 얻어지는 고 해상도 부호화 신호 HEg는 복호화기(93)에 의해 복호화되어, 고 해상도 국소 복호화 신호 Hdg로서 메모리(94)에 기억된다.

또한, 고 해상도 화상과 저 해상도 화상의 사이에서는 화소값의 상관이 크기 때문에, 저 해상도 화상의 움직임 벡터 LMV와 고 해상도 화상의 움직임 벡터 HMV 사이에도 벡터값의 상관이 있다.

그래서, 움직임 부호화기(95)에서는, 저 해상도 화상의 움직임 벡터 LMV에 상당하는 부호화 모드 신호 Mg를 참조하여, 움직임 검출기(90)에 의해 검출한 고 해상도 화상의 움직임 벡터 HMV를 부호화할 때에, 저 해상도 화상과 고 해상도 화상 사이에서 움직임 벡터가 일치하는 경우, 해당 고 해상도 화상의 움직임 벡터 HMV에 짧은 부호 길이의 부호를 할당하도록 하고 있다. 이에 따라, 고 해상도 화상의 움직임 벡터의 부호화에 소요되는 부호화 비트수를 절약할 수 있다.

(실시예 13)

도 17은 본 발명의 실시예 13에 의한 화상 처리 장치(계층 화상 복호화 장치)를 설명하기 위한 도면으로서, 도 17a는 그 전체 구성을 나타내는 블록도, 도 17b는 해당 계층 화상 복호화 장치를 구성하는 복호화기(40n)의 상세한 구성을 나타내는 블록도, 도 17c는 해당 복호화기(40n)를 구성하는 제 2 복호화기(64n)의 구체적인 구성을 나타내는 블록도이다.

본 실시예 13의 계층 화상 복호화 장치(113)는, 도 16에 나타내는 실시예 12의 계층 화상 부호화 장치(112)에 의해 부호화된 부호화 신호를 계층 복호화하는 것이다. 이 계층 화상 복호화 장치(113)는, 도 10에 나타내는 실시예 7에 있어서의 복호화기(40g) 대신에, 저 해상도 화상의 움직임 벡터를 참조하여 고 해상도 부호화 신호의 복호화를 실행하는 복호화기(40n)를 구비한 것으로, 그 밖의 구성은 도 10에 나타내는 실시예 7의 계층 화상 복호화 장치(107)와 동일하다.

또한, 상기 복호화기(40n)를 구성하는 복호화기(64n)는, 상기 실시예 7의 복호화기(107)에 있어서의 제 2 복호화기(64)를, 필요에 따라 화면간 예측 복호화를 실행하는 구성으로 한 것으로, 그 밖의 구성은 상기 실시예 7의 복호화기(40g)와 동일하다.

즉, 본 실시예에 있어서의 복호화기(40n)를 구성하는 제 2 복호화기(64n)는, 예측 신호 Pd에 근거하여 고 해상도 부호화 신호 HEg를 복호화해서 고 해상도 복호화 신호 HDg2를 출력하는 복호화기(93b)와, 해당 고 해상도 복호화 신호 Hdg2를 기억하는 메모리(94b)를 갖고 있다. 또한, 상기 제 2 복호화기(64n)는, 저 해상도 화상의 부호화 모드(움직임 벡터) LMV를 참조하여, 분리된 모드 부호화 신호 EMg에 대한 복호화 처리를 실시해서 고 해상도 화상의 움직임 벡터 HMV를 재생하는 움직임 복호화기(96)와, 해당 재생 움직임 벡터 HMV에 근거하여, 메모리(94b)에 기억된 고 해상도 복호화 신호 HDg2로부터 예측 신호 Pd를 추출하는 움직임 보상기(91b)를 갖고 있다.

다음에 동작에 대하여 설명한다.

본 실시예 13의 계층 화상 복호화 장치(113)에서는, 복호화기(40n) 이외의 동작은, 상기 실시예 7의 계층 화상 복호화 장치(107)와 완전히 마찬가지로 실행되기 때문에, 복호화기(40n)에 관한 동작에 대해서만 설명한다.

상기 복호화기(40n)에서의 분리기(60)에서는, 고 해상도 부호화 신호 HEg로부터 모드 정보(움직임 벡터 정보) EMg에 대응하는 부호 부분이 분리된다.

그리고, 해당 모드 정보 EMg 및 고 해상도 부호화 신호 HEg가 상기 복호화기(40n)를 구성하는 제 2 복호화기(64n)에 공급되면, 해당 복호화기(64n)에서는, 움직임 복호화기(96)에 의해, 저 해상도 화상의 부호화 모드 Mg(즉, 움직임 벡터 LMV)를 참조하여 분리기(60)에서 분리한 모드 정보의 부호로부터 고 해상도 화상의 움직임 벡터 HMV가 복호화되고, 이 움직임 벡터 HMV가 움직임 보상기(91b)에 공급된다.

그렇게 하면, 상기 움직임 보상기(91b)에서는 메모리(94b)에 기억된 복호화 완료 고 해상도 화상 신호 Pd를 참조하여 움직임 보상이 실행되고, 복호화기(93b)에서는, 움직임 보상기(91b)의 출력 Pd를 참조하여 고 해상도 부호화 신호 HEg의 모드 정보 이외의 부호 부분이 복호화되어 고 해상도 복호화 신호 HDg2가 출력된다. 이 복호화 신호 HDg2는 메모리(94b)에 기억되어, 후속의 블록의 복호화 처리시에 참조된다.

이와 같이 본 실시예 13에서는, 실시예 12의 계층 화상 부호화 장치(112)에서 저 해상도 화상의 움직임 벡터 LMV를 참조하여 부호화된 고 해상도 부호화 신호 HEg를 정확하게 복호화할 수 있다.

(실시예 14)

도 18은 본 발명의 실시예 14에 의한 화상 처리 장치(계층 화상 부호화 장치)를 설명하기 위한 도면으로서, 도 18a는 그 전체 구성을 나타내는 블록도, 도 18b는 해당 계층 화상 부호화 장치를 구성하는 부호화기(16p)의 상세한 구성을 나타내는 블록도, 도 18c는 해당 부호화기(16p)를 구성하는 제 2 부호화기(54p)의 구체적인 구성을 나타내는 블록도이다.

본 실시예 14의 계층 화상 부호화 장치(114)는, 도 9에 나타내는 실시예 6에 있어서의 부호화기(16f) 대신에, 저 해상도 화상의 움직임 벡터 및 부호화 완료의 고 해상도 화상의 움직임 벡터로부터 예측한 예측 벡터를 참조하여, 고 해상도 화상 신호의 부호화를 실행하는 부호화기(16p)를 구비한 것으로, 그 밖의 구성은 상기 실시예 6의 계층 화상 부호화 장치(106)와 동일하다.

이 부호화기(16p)는, 상기 실시예 6의 부호화기(16f)에 있어서의 제 2 부호화기(54)를, 필요에 따라 화면간 예측 부호화를 실행하는 구성으로 한 것으로, 그 밖의 구성은 상기 부호화기(16f)와 동일하다.

즉, 본 실시예 14에 있어서의 부호화기(16p)를 구성하는 제 2 부호화기(54p)는, 도 16에 나타내는 실시예 12에 있어서의 부호화기(16m)를 구성하는 제 2 부호화기(54m)의 구성에 부가하여, 저 해상도 화상에 대응하는 움직임 벡터의 부호화 신호와, 부호화 완료의 고 해상도 화상에 대응하는 움직임 벡터의 부호화 신호에 근거하여, 예측 움직임 벡터 PMV를 생성하는 움직임 벡터 예측기(97)를 구비한 것으로, 그 밖의 구성은 상기 실시예 12에 있어서의 부호화기(16m)를 구성하는 제 2 부호화기(54m)와 동일하다.

다음에 작용 효과에 대하여 설명한다.

본 실시예 14에 있어서의 제 2 부호화기(54p)와, 실시예 12의 제 2 부호화기(54m)의 상위점은, 도 16에 나타내는 실시예 12의 부호화기(54m)에서는, 저 해상도 화상의 움직임 벡터를 참조하여 고 해상도 화상의 움직임 벡터를 부호화하는 데 반하여, 도 18에 나타내는 실시예 14의 부호화기(54p)에서는, 저 해상도의 화상의 움직임 벡터와 부호화 완료의 고 해상도 화상의 움직임 벡터로부터 예측 생성한 움직임 벡터를 참조하여 고 해상도 화상의 움직임 벡터를 부호화하는 점이다.

도 19는 움직임 벡터의 참조에 관한 설명도이다. 도 19a는 저 해상도 화상의 움직임 벡터 LMV, 도 19b는 고 해상도 화상의 움직임 벡터 HMV, 도 19c는 저 해상도 화상을 해상도 변환한 보간 움직임 벡터 AMV를 나타낸다.

상술하면, 도 19d에 나타내는 고 해상도 화상에 대한 피 부호화 블록 Bx의 움직임 벡터를, 동일한 공간 위치의 저 해상도 화상의 움직임 벡터 LMV(도 19a 참조)로부터 얻어지는 보간 움직임 벡터 AMV(도 19c 참조)와, 부호화 완료 고 해상도 화상의 움직임 벡터 HMV1∼HMV3(도 19b 참조)으로부터 예측 생성한다. 이에 따라, 단순히 동일한 공간 위치의 저 해상도 화상의 움직임 벡터만을 참조하여, 고 해상도 화상의 움직임 벡터를 부호화하는 경우보다, 움직임 벡터의 부호화 효율을 향상시킬 수 있다.

그래서, 움직임 예측기(97)에서는, 움직임 부호화기(95)에서 부호화한, 고 해상도 화상의 움직임 벡터 HMV(HMV1∼HMV3)의 부호화 신호 HEmv와, 저 해상도 화상의 움직임 벡터의 부호화 신호 Mg(LEmv)를 참조하여 고 해상도 화상의 움직임 벡터의 예측값 PMV를 생성하고, 움직임 부호화기(95)에서는, 예측 생성한 움직임 벡터 PMV를 참조하여, 움직임 검출기(90)에서 검출한 고 해상도 화상의 움직임 벡터 HMV를 부호화한다. 또, 상기 움직임 부호화기(95)에서 부호화된 예측 움직임 벡터 PEmv는, 다중화기(56m)에서, 부호화기(92)의 출력인 고 해상도 부호화 신호와 다중화되어 제 2 부호화기(54p)의 출력 HDg2로서 출력된다.

이와 같이 본 실시예 14에서는, 저 해상도 화상의 움직임 벡터와 고 해상도 화상의 움직임 벡터로부터 예측 생성한 예측 움직임 벡터를 참조하여 고 해상도 화상의 움직임 벡터를 부호화하기 때문에, 상기 실시예 12에 비해서, 고 해상도 화상의 움직임 벡터에 대한 부호화 비트수를 보다 크게 절약할 수 있다.

또, 상기 실시예 12, 실시예 14에서는, 움직임 검출기(90)에 의해, 메모리(94)에 기억된 국소 복호화 신호로부터, 부호화 처리의 대상으로 되어 있는 대상 고 해상도 블록에 대응하는 예측 신호(예측 영역)를 추출할 때에는, 저 해상도 화상의 움직임 벡터에 가능한 한 가까운 값을 갖는 움직임 벡터가 고 해상도 화상의 움직임 벡터로서 선택되도록 하는, 즉 상기 대상 고 해상도 블록으로부터 가능한 한 가까운 예측 영역이 선택되도록 함으로써, 움직임 부호화기(95)의 부호화 비트수를 보다 삭감할 수 있다.

또한, 상기 실시예 12, 실시예 14에서는, 저 해상도 화상의 부호화 모드에 따라서, 고 해상도 화상 신호의 부호화 방법 및 고 해상도 화상 신호의 부호화 모드의 부호화 방법을 전환하도록 하고 있지만, 저 해상도 화상의 부호화 모드에 따라서, 고 해상도 화상 신호의 부호화 방법과 그 부호화 모드의 부호화 방법의 한쪽만을 전환하도록 하여도 무방하다.

(실시예 15)

도 20은, 본 발명의 실시예 15에 의한 화상 처리 장치(계층 화상 복호화 장치)를 설명하기 위한 도면으로서, 도 20a는 그 전체 구성을 나타내는 블록도, 도 20b는 해당 계층 화상 복호화 장치를 구성하는 복호화기(40q)의 상세한 구성을 나타내는 블록도, 도 20c는 해당 복호화기(40q)를 구성하는 제 2 복호화기(64q)의 구체적인 구성을 나타내는 블록도이다.

본 실시예 15의 계층 화상 복호화 장치(115)는, 도 18에 나타내는 실시예 14의 계층 화상 부호화 장치(114)에 의해 부호화된 부호화 신호를 계층 복호화하는 것이다. 이 계층 화상 복호화 장치(115)는, 도 10에 나타내는 실시예 7에 있어서의 복호화기(40g) 대신에, 저 해상도 화상의 움직임 벡터 및 부호화 완료의 고 해상도 화상의 움직임 벡터로부터 예측한 예측 벡터를 참조하여 고 해상도 화상 신호의 복호화를 실행하는 복호화기(40q)를 구비한 것으로, 그 밖의 구성은 상기 실시예 7의 계층 화상 복호화 장치(107)와 동일하다.

이 복호화기(40q)는, 상기 실시예 7의 복호화기(40g)에 있어서의 제 2 부호화기(64)를, 필요에 따라서 화면간 예측 부호화를 실행하는 구성으로 한 것으로, 그 밖의 구성은 상기 복호화기(40g)와 동일하다.

즉, 본 실시예에 있어서의 복호화기(40q)를 구성하는 제 2 복호화기(64q)는, 도 17에 나타내는 실시예 13에 있어서의 제 2 복호화기(64n)의 구성에 부가하여, 저 해상도 화상에 대응하는 움직임 벡터 LMV와, 부호화 완료의 고 해상도 화상에 대응하는 움직임 벡터 HMV에 근거하여 예측 움직임 벡터 PMV를 생성하는 움직임 벡터 예측기(98)를 구비한 것으로, 그 밖의 구성은 상기 실시예 13에 있어서의 제 2 부호화기(64n)와 동일하다.

다음에 작용 효과에 대하여 설명한다.

본 실시예 15의 계층 화상 복호화 장치(115)에서는, 복호화기(40q)에서의 제 2 복호화기(64q) 이외의 동작은, 상기 실시예 13의 계층 화상 복호화 장치(113)와 완전히 마찬가지로 실행되기 때문에, 복호화기(40q)에 있어서의 제 2복호화기(64q)에 관한 동작에 대해서만 설명한다.

상기 제 2 복호화기(64q)에서의 움직임 예측기(98)에서는, 움직임 복호화기(96)에서 복호화한 고 해상도 화상의 움직임 벡터 HMV와, 모드 복호화기(61)로부터 공급되는 저 해상도 화상의 움직임 벡터 LMV(DMg)를 참조하여, 고 해상도 화상 블록의 움직임 벡터의 예측값 PMV가 생성된다. 그렇게 하면, 움직임 복호화기(96)에서는, 상기 예측 생성한 움직임 벡터 PMV를 참조하여, 고 해상도 화상에 대한 움직임 벡터의 부호화 신호 EMg가 복호화된다. 그 밖의 동작은 도 17의 실시예 13의 계층 화상 복호화 장치(113)와 동일하다.

이렇게 하여 본 실시예 15에서는, 부호화 완료의 고 해상도 화상의 움직임 벡터와 저 해상도 화상의 움직임 벡터를 참조하여 부호화된 움직임 벡터 부호화 신호를 정확하게 복호화할 수 있다.

또, 상기 각 실시예에서 나타낸 화상 부호화 처리 및 화상 복호화 처리를 실현하기 위한 부호화 혹은 복호화 프로그램을, 플로피디스크 등의 데이터 기록 매체에 기록하도록 함으로써, 상기 각 실시예에서 나타낸 처리를, 독립적인 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다.

도 21은, 상기 각 실시예의 화상 처리 장치에 의한 계층 화상 부호화 처리, 혹은 계층 화상 복호화 처리를, 이들 화상 처리에 대응한 프로그램을 저장한 플로피디스크를 이용하여 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.

도 21b는, 플로피디스크 FD의 정면에서 본 외관, 단면 구조 및 기록 매체인플로피디스크 본체를 나타내고, 도 21a는 플로피디스크 본체 D의 물리 포맷의 예를 나타내고 있다. 플로피디스크 본체 D는 케이스 F 내에 내장되며, 해당 디스크 본체 D의 표면에는 동심원상으로 외주로부터 내주를 향하여 복수의 트랙 Tr이 형성되고, 각 트랙은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피디스크 본체 D에서는, 상기 플로피디스크 본체 D 상에 할당된 영역에 상기 프로그램으로서의 데이터가 기록되어 있다.

또한, 도 21c는 플로피디스크 FD에 대한 상기 프로그램의 기록 재생을 실행하기 위한 구성을 나타낸다. 상기 프로그램을 플로피디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를 플로피디스크 드라이브 FDD를 거쳐 플로피디스크 FD에 기입한다. 또한, 플로피디스크 FD 내의 프로그램에 의해 상기 복호화 방법을 컴퓨터 시스템 Cs 중에 구축하는 경우에는, 플로피디스크 드라이브 FDD에 의해 프로그램을 플로피디스크 FD로부터 판독하여 컴퓨터 시스템 Cs로 전송한다.

또, 상기 설명에서는, 데이터 기록 매체로서 플로피디스크를 이용한 컴퓨터 시스템에 의한 화상 처리의 설명을 행하였지만, 이 화상 처리는, 광디스크를 이용하더라도 마찬가지로 실행할 수 있다. 또한, 기록 매체는 이것에 한정되는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 상기 화상 처리를 실시할 수 있다.

또, 실시예 6, 실시예 8 및 실시예 10의 부호화기에서는, 모드 판정기(50)(도 9b), 경계 판정기(70)(도 11b) 및 주사 방향 판정기(80)(도 14b)는, 부호화 처리전에, 외부로부터 입력되는 고 해상도 화상 신호에 근거하여 부호화 방식을 판정하는 구성으로 하고 있지만, 이들 판정기는, 복수의 부호화 방식으로 부호화한 결과(부호화 신호)를 비교하여, 부호화 방식, 즉 부호화 모드를 결정하도록 하더라도 좋다.

이상과 같이 본 발명에 관한 화상 처리 방법 및 화상 처리 장치, 및 데이터 기록 매체는, 화상 신호의 압축 처리에 있어서의 부호화 효율의 향상을 도모할 수 있고, 화상 신호의 전송이나 기억을 행하는 시스템에 있어서의 화상 부호화 처리나 화상 복호화 처리를 실현하는 것으로서 대단히 유용하며, 특히 MPEG4 등의 규격에 준거한 동화상의 압축, 신장 처리에 적합하다.

Claims

화상을 구성하는 물체를 단위로 하여, 물체의 형상 정보를 갖는 화상 입력 신호에 대한 계층 부호화 처리를 실행하는 화상 처리 방법에 있어서,

상기 화상 입력 신호에 근거하여, 소정의 물체에 대응하는, 공간 해상도가 서로 다른 복수의 화상 공간을 형성하는 계층 화상 신호로서, 적어도 저 해상도 화상 신호 및 고 해상도 화상 신호를 생성하고,

상기 소정의 물체에 대응하는 고 해상도 화상 신호로부터, 고 해상도 화상 공간에서의 부호화 처리의 범위로 되는 상기 물체를 포함하는 영역에 대응하는 고 해상도의 영역 대응 화상 신호를 추출하고, 해당 영역 대응 화상 신호를, 소정수의 화소로 이루어지는 고 해상도 블록에 대응하도록 구분함과 동시에, 상기 소정의 물체에 대응하는 저 해상도 화상 신호로부터, 저 해상도 화상 공간에서의 부호화 처리의 범위로 되는 상기 물체를 포함하는 영역에 대응하는 저 해상도의 영역 대응 화상 신호를 추출하여, 해당 영역 대응 화상 신호를 소정수의 화소로 이루어지는 저 해상도 블록에 대응하도록 구분하며,

처리 대상으로 되는 대상 고 해상도 블록을 형성하는 고 해상도의 블록화 화상 신호에 대한 부호화 처리를, 해당 대상 고 해상도 블록에 대응하는 참조 저 해상도 블록을 형성하는 저 해상도의 블록화 화상 신호를 참조하여 순차적으로 실행하고, 이 부호화 처리시에는, 상기 참조 저 해상도 블록을, 그 저 해상도 화상 공간에서의 공간 위치가, 상기 대상 고 해상도 블록의, 고 해상도 화상 공간에서의 공간 위치에 일정한 규칙에 의해 대응지어진 것으로 하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 고 해상도 화상 공간을 구성하는 개개의 화소는, 상기 저 해상도 화상 공간의 해상도 변환에 의해 얻어지는, 공간 해상도가 상기 고 해상도 화상 공간과 동등한 해상도 변환 화상 공간에서의 개개의 화소와 일대일로 대응하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 참조 저 해상도 블록을 구성하는 화소의 수와, 상기 대상 고 해상도 블록을 구성하는 화소의 수가 일치하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 참조 저 해상도 블록의 저 해상도 화상 공간에서의 위치와, 대상 고 해상도 블록의 고 해상도 화상 공간에서의 위치가 상대적으로 일치하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 참조 저 해상도 블록에 대한, 부호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 부호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 신호의 부호화 방식을 전환하는 것을 특징으로 하는 화상 처리 방법.
제 5 항에 있어서,

상기 부호화 모드는, 화상 공간상에 표시되는 물체의 형상의 경계가 상기 대상 고 해상도 블록내에 포함되는지 여부를 나타내는 부호화 모드인 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 참조 저 해상도 블록에 대한, 부호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 부호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 신호의 부호화를 실행하되, 이 때, 상기 부호화 모드를, 참조 저 해상도 블록에 대응하는 화상 신호를 화소마다 순차적으로 부호화하는 부호화 처리가, 수평 주사 방향과 수직 주사 방향 중 어느쪽의 주사 방향을 따라서 실행되어 있는가를 나타내는 부호화 모드로 하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

상기 참조 저 해상도의 블록에 대응하는, 상기 저 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보를 참조하여, 상기 대상 고 해상도 블록에 대응하는, 상기 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보의 부호화를 행하는 것을 특징으로 하는 화상 처리 방법.
제 1 항에 있어서,

부호화 처리가 이미 실시된 처리 완료 고 해상도 블록의, 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보, 및 상기 참조 저 해상도 블록에 대응하는, 상기 저 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보를 참조하여, 상기 대상 고 해상도 블록에 대응하는, 상기 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보의 부호화를 행하는 것을 특징으로 하는 화상 처리 방법.
화상을 구성하는 물체를 단위로 하여, 물체의 형상 정보를 갖는 화상 입력 신호에 계층 부호화 처리를 실시하여 얻어지는, 소정의 물체에 대응하는 적어도 2개의 블록화된 계층 부호화 신호를 복호화하는 화상 처리 방법에 있어서,

상기 계층 부호화 신호중의, 소정의 물체에 대응하는 저 해상도 부호화 신호를 복호화하여, 저 해상도 화상 공간에서의 소정수의 화소로 이루어지는 저 해상도 블록에 대응한 저 해상도 복호화 신호를 생성하고,

해당 저 해상도 복호화 신호를 통합하여, 상기 저 해상도 화상 공간에서의 상기 물체를 포함하는 영역에 대응하는 저 해상도의 영역 대응 화상 신호를 생성하며,

상기 계층 부호화 신호중의, 소정의 물체에 대응하는 고 해상도 부호화 신호를, 참조 저 해상도 복호화 신호를 참조하여 복호화해서, 고 해상도 화상 공간에서의 소정수의 화소로 이루어지는 고 해상도 블록에 대응한 고 해상도 복호화 신호를 생성하고,

해당 고 해상도 복호화 신호를 통합하여, 상기 고 해상도 화상 공간에서의 상기 물체를 포함하는 영역에 대응하는 고 해상도의 영역 대응 화상 신호를 생성하며,

상기 고 해상도 부호화 신호의 복호화 처리시에는, 참조 저 해상도 블록을, 그 저 해상도 화상 공간에서의 공간 위치가, 상기 복호화 처리의 대상으로 되는 대상 고 해상도 블록의, 고 해상도 화상 공간에서의 공간 위치에 일정한 규칙에 의해 대응지어진 것으로 하는 것을 특징으로 하는 화상 처리 방법.
제 10 항에 있어서,

상기 고 해상도 화상 공간을 구성하는 개개의 화소는, 상기 저 해상도 화상 공간의 해상도 변환에 의해 얻어지는, 공간 해상도가 상기 고 해상도 화상 공간과 동등한 해상도 변환 화상 공간에서의 개개의 화소와 일대일로 대응하는 것을 특징으로 하는 화상 처리 방법.
제 10 항에 있어서,

상기 참조 저 해상도 블록을 구성하는 화소의 수와, 상기 대상 고 해상도 블록을 구성하는 화소의 수가 일치하는 것을 특징으로 하는 화상 처리 방법.
제 10 항에 있어서,

상기 참조 저 해상도 블록의 저 해상도 화상 공간에서의 위치와, 대상 고 해상도 블록의 고 해상도 화상 공간에서의 위치가 상대적으로 일치하는 것을 특징으로 하는 화상 처리 방법.
제 10 항에 있어서,

상기 참조 저 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 부호화 신호의 복호화 방식을 전환하는 것을 특징으로 하는 화상 처리 방법.
제 10 항에 있어서,

상기 참조 저 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 부호화 신호의 복호화를 실행하되,

이 때, 상기 부호화 모드를, 화상 공간상에 표시되는 물체의 형상의 경계가 상기 대상 고 해상도 블록내에 포함되는지 여부를 나타내는 부호화 모드로 하는 것을 특징으로 하는 화상 처리 방법.
제 10 항에 있어서,

상기 참조 저 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드에 따라서, 상기 대상 고 해상도 블록에 대한, 복호화 처리 방법을 식별하기 위한 부호화 모드를 나타내는 모드 부호화 신호의 복호화를 실행하고,

상기 부호화 모드를, 참조 저 해상도 블록에 대응하는 저 해상도 부호화 신호를 화소마다 순차적으로 복호화하는 복호화 처리가, 수평 주사 방향과 수직 주사 방향 중 어느쪽의 주사 방향을 따라서 실행되어 있는가를 나타내는 부호화 모드로 하는 것을 특징으로 하는 화상 처리 방법.
제 10 항에 있어서,

상기 참조 저 해상도의 블록에 대응하는, 상기 저 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보에 따라서, 상기 대상 고 해상도 블록에 대응하는, 상기 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보의 복호화를 행하는 것을 특징으로 하는 화상 처리 방법.
제 10 항에 있어서,

복호화 처리가 이미 실시된 처리 완료 고 해상도 블록의, 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보, 및 상기 참조 저 해상도 블록에 대응하는, 상기 저 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보에 따라서, 상기 대상 고 해상도 블록에 대응하는, 상기 고 해상도 화상 공간에서의 물체의 움직임을 나타내는 움직임 정보의 복호화를 행하는 것을 특징으로 하는 화상 처리 방법.
화상을 구성하는 물체를 단위로 하여, 물체의 형상 정보를 갖는 화상 입력 신호에 계층 부호화 처리를 실시하는 계층 화상 부호화 장치에 있어서,

상기 화상 입력 신호를 서브 샘플하여 저 해상도 화상 신호를 생성하는 서브 샘플 수단과,

상기 저 해상도 화상 신호로부터, 저 해상도 화상 공간에서의 부호화 처리의 범위로 되는 상기 물체를 포함하는 영역에 대응하는 저 해상도의 영역 대응 화상 신호를 생성하는 제 1 영역 추출 수단과,

해당 저 해상도의 영역 대응 화상 신호를, 소정수의 화소로 이루어지는 저 해상도 블록에 대응하도록 블록화하여 저 해상도의 블록화 화상 신호를 출력하는 제 1 블록화 수단과,

부호화 처리의 대상으로 되는 저 해상도 블록을 형성하는 저 해상도의 블록화 화상 신호에 대한 부호화 처리를 순차적으로 실행하는 제 1 부호화 수단과,

상기 화상 입력 신호로서의 고 해상도 화상 신호로부터, 고 해상도 화상 공간에서의 부호화 처리의 범위로 되는 상기 물체를 포함하는 영역에 대응하는 고 해상도의 영역 대응 화상 신호를 생성하는 제 2 영역 추출 수단과,

해당 고 해상도의 영역 대응 화상 신호를, 소정수의 화소로 이루어지는 고 해상도 블록에 대응하도록 블록화하여 고 해상도의 블록화 화상 신호를 출력하는 제 2 블록화 수단과,

부호화 처리의 대상으로 되는 고 해상도 블록을 형성하는 고 해상도의 블록화 화상 신호에 대한 부호화 처리를, 해당 고 해상도 블록에 대응하는 참조 저 해상도 블록을 형성하는 저 해상도의 블록화 화상 신호를 참조하여 순차적으로 실행하는 제 2 부호화 수단을 포함하고,

상기 부호화 처리시에 참조되는 참조 저 해상도 블록을, 그 저 해상도 화상 공간에서의 공간 위치가, 상기 대상 고 해상도 블록의, 고 해상도 화상 공간에서의 공간 위치에 일정한 규칙에 의해 대응지어진 것으로 하는 것을 특징으로 하는 화상 처리 장치.
화상을 구성하는 물체를 단위로 하여, 물체의 형상 정보를 갖는 화상 입력 신호에 계층 부호화 처리를 실시하여 얻어지는, 소정의 물체에 대응하는 적어도 2개의 블록화된 계층 부호화 신호를, 복호화하는 계층 화상 복호화 장치에 있어서,

상기 계층 부호화 신호중의, 소정의 물체에 대응하는 저 해상도 부호화 신호를 복호화하여, 저 해상도 화상 공간에서의 소정수의 화소로 이루어지는 저 해상도 블록에 대응한 저 해상도 복호화 신호를 생성하는 제 1 복호화 수단과,

해당 저 해상도 블록에 대응한 저 해상도 복호화 신호를 통합하여, 상기 저 해상도 화상 공간에서의 상기 물체를 포함하는 영역에 대응하는 저 해상도의 영역 대응 화상 신호를 생성하는 제 1 역 블록화 수단과,

상기 계층 부호화 신호중의, 소정의 물체에 대응하는 고 해상도 부호화 신호를, 참조 저 해상도 복호화 신호를 참조하여 복호화해서, 고 해상도 화상 공간에서의 소정수의 화소로 이루어지는 고 해상도 블록에 대응한 고 해상도 복호화 신호를 생성하는 제 2 복호화 수단과,

해당 고 해상도 블록에 대응하는 고 해상도 복호화 신호를 통합하여, 상기 고 해상도 화상 공간에서의 상기 물체를 포함하는 영역에 대응하는 고 해상도의 영역 대응 화상 신호를 생성하는 제 2 역 블록화 수단을 포함하고,

상기 고 해상도 부호화 신호의 복호화 처리시에 참조되는 참조 저 해상도 블록을, 그 저 해상도저 해상도저 해상도 공간 위치가, 상기 복호화 처리의 대상으로 되는 대상 고 해상도 블록의, 고 해상도고 해상도간에서의 공간 위치에 일정한 규칙에 의해 대응지어진 것으로 하는 것을 특징으로 하는 화상 처리 장치.
컴퓨터에 계층 화상 부호화 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서,

상기 프로그램은,

청구의 범위 제 1 항에 기재된 화상 처리 방법에 의한 계층 화상 부호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것을 특징으로 하는 데이터 기록 매체.
컴퓨터에 계층 화상 복호화 처리를 실행시키기 위한 프로그램을 저장한 데이터 기록 매체에 있어서,

상기 프로그램은,

청구의 범위 제 10 항에 기재된 화상 처리 방법에 의한 계층 화상 복호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것을 특징으로 하는 데이터 기록 매체.