KR20120030585A - 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램 - Google Patents

Abstract

본 발명은 동화상 데이터의 부호화에 있어서, 움직임 벡터를 이용하지 않고 예측 신호를 결정할 수 있어 효율적인 부호화를 가능하게 한다.
동화상 부호화 장치(100)는 동화상 데이터를 구성하는 프레임 화상을 부호화의 대상이 되는 영역으로서 복수의 영역으로 분할하는 영역 분할부(101)와 각 영역의 화상을 부호화하는 부호화부(104)와 부호화된 화상의 재생 화상을 생성하는 역변환부(105) 및 가산부(106)와 재생 화상을 기억하는 기억부(107)와 부호화 대상의 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 재생 화상으로부터 탐색하고, 탐색된 영역과 상기 위치 관계에 기초하여 예측 신호를 결정하는 예측 생성부(108)와 예측 신호와 부호화 대상 화상과의 차분 신호를 부호화를 위한 신호로서 생성하는 감산부(102)를 구비한다.

Description

동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램{DYNAMIC IMAGE ENCODING DEVICE, DYNAMIC IMAGE ENCODING METHOD, DYNAMIC IMAGE ENCODING PROGRAM, DYNAMIC IMAGE DECODING DEVICE, DYNAMIC IMAGE DECODING METHOD, AND DYNAMIC IMAGE DECODING PROGRAM}

본 발명은 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램에 관한 것이다.

동화상 데이터의 부호화에는 예를 들면 ITU-T(국제전기통신연합 전기통신 표준화 부문) 권고의 국제표준규격인 H.264 동화상 부호화방식이 이용된다. H.264 동화상 부호화방식에 관한 기술은 예를 들면, 하기 비특허문헌 1 등에 개시되어 있다.

상기한 H.264 동화상 부호화방식에서는 움직임 보상을 하여 움직임 벡터를 부호화하는 것으로 동화상 프레임간의 용장(冗長)을 삭감하여, 정보량을 삭감하고 있다. 이 수법에서는 하나의 움직임 벡터에 의해서 움직임 보상할 수 있는 영역을 작게 함으로써 미세한 움직임에도 대응할 수 있고 프레임간 예측의 예측 정밀도가 높아진다. 그 반면, 움직임 벡터의 수가 증가하여 정보량이 방대해지기 때문에, 이것을 억제할 필요가 있다. 종래부터, 움직임 벡터의 수를 줄이면서 예측 정밀도를 올리는 방법으로서, 하기 특허문헌 1에 기재된 수법이 제안되어 있다.

특허문헌 1 : 일본 공개특허공보 제(평)2-62180호

비특허문헌 1 : 카도노 외, 「H.264/AVC 교과서 인프레스 표준 교과서 시리즈」, 인프레스 네트 비지니스 컴퍼니, 2004년

그렇지만, 상기 특허문헌 1에 기재된 수법에서도, 움직임 벡터가 필요한 것에는 변함없어, 움직임 벡터를 부호화하는 것을 부득이하게 되었다. 이러한 상황으로부터, 더욱 압축 효율을 향상시킨 동화상 데이터의 부호화 방법이 요구되었다.

본 발명은 상기 사정을 감안하여 이루어진 것으로, 움직임 벡터를 이용하여 프레임간 예측을 하여 부호화를 하는 경우보다도 더욱 효율적인 부호화를 가능하게 하는 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램을 제공하는 것을 가능하게 한다.

본 발명에 관계되는 동화상 부호화 장치는 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치로, 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단과 부호화 대상 블록을 부호화하는 부호화 수단과 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단을 구비하고, 부호화 수단은 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고, 재생 화상 생성 수단은 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 장치에서는 부호화 대상 블록과 소정의 위치 관계로 인접하는 동시에 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 부호화 대상 블록의 예측 신호인 예측 블록이 생성된다. 이 예측 블록을 이용하여 부호화를 한다. 즉, 본 발명에 관계되는 동화상 부호화 장치에 의하면, 움직임 벡터를 이용하지 않고 예측 신호인 예측 블록을 생성할 수 있어 효율적인 부호화를 가능하게 한다.

본 발명에 관계되는 동화상 부호화 장치는 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치로, 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단과 부호화 대상 블록을 부호화하는 부호화 수단과, 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과, 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과, 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단과, 탐색 수단에 의해 탐색된 화소군과 소정의 위치 관계에 기초하여, 부호화 대상 블록의 예측 신호인 예측 블록을, 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단을 구비하고, 부호화 수단은 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고, 재생 화상 생성 수단은 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다. 이 구성에 의하면, 템플릿과 상관이 높은 화소군을 재생 완료 동화상 데이터로부터 탐색하고, 탐색된 화소군과 상기한 소정의 위치 관계에 기초하여 예측 블록이 결정된다. 따라서, 확실히 예측 블록을 결정할 수 있어, 확실히 본 발명을 실시할 수 있다.

동화상 부호화 장치는 템플릿과 기억 수단에 의해 기억된 재생 완료 동화상 데이터를 비교하고, 상기 비교 결과에 기초하여 부호화 대상 블록의 화상의 공간적 연속성을 추정하는 추정 수단과 추정 수단에 의해 추정된 화상의 공간적 연속성에 기초하여, 부호화 대상 블록을 더욱 분할하여 상기 분할된 부호화 대상 블록을 새로운 부호화 대상 블록으로서 설정하는 동시에 상기 새로운 부호화 대상 블록에 대한 템플릿을 설정하는 설정 수단을 더 구비하는 것이 바람직하다. 이 구성에 의하면, 예측 블록의 사이즈를 재생 화상 데이터의 공간적 연속성을 바탕으로 적절히 선택하는 것이 가능해지기 때문에, 움직임량의 변화가 심한 동화상 데이터의 부호화에 있어서도 부호화 효율이 향상된다. 또한, 템플릿 영역과 예측영역의 형상과 사이즈를 신호의 특징에 따라서 변경함으로써, 예측 신호의 예측 성능이 향상된다.

본 발명에 관계되는 동화상 복호 장치는 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치로, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단과, 복호 수단에 의해 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과, 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과, 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단을 구비하고, 복호 수단은 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고, 재생 화상 생성 수단은 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 장치에서는 상기한 동화상 부호화 장치와 같이 예측 블록을 생성하여, 동화상을 복호할 수 있다. 즉, 본 발명에 관계되는 동화상 복호 장치에 의하면, 상기한 동화상 부호화 장치에 의해 효율적인 부호화가 된 동화상 데이터를 정확하게 복호할 수 있다.

본 발명에 관계되는 동화상 복호 장치는 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치로, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단과 복호 수단에 의해 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단과 탐색 수단에 의해 탐색된 화소군과 소정의 위치 관계에 기초하여, 복호 대상 블록의 예측 신호인 예측 블록을, 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단을 구비하고, 복호 수단은 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고, 재생 화상 생성 수단은 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

동화상 복호 장치는 템플릿과 기억 수단에 의해 기억된 재생 완료 동화상 데이터를 비교하고, 상기 비교 결과에 기초하여 복호 대상 블록의 화상의 공간적 연속성을 추정하는 추정 수단과 추정 수단에 의해 추정된 화상의 공간적 연속성에 기초하여, 복호 대상 블록을 더욱 분할하여 상기 분할된 복호 대상 블록을 새로운 복호 대상 블록으로서 설정하는 동시에 상기 새로운 복호 대상 블록에 대한 템플릿을 설정하는 설정 수단을 더 구비하는 것이 바람직하다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

부호화 수단은 차분 블록을, 화소수를 소정의 방법으로 감소시키는 축소 처리에 의해, 상기 차분 블록보다도 화소수가 적은 축소 차분 블록으로서 생성하여, 상기 축소 차분 블록을 부호화하고, 재생 화상 생성 수단은 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하여, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것이 바람직하다. 이 구성에 의하면, 부호화 대상의 축소 차분 블록을 화소수가 적은 것으로 할 수 있기 때문에, 강한 특징을 가지는 영역에 대하여 예측 성능이 낮은 평탄 영역에 관해서, 화질을 저하시키지 않고 예측 신호의 부호량을 효율이 좋게 저감할 수 있다.

복호 수단은 부호화 데이터를 복호함으로써, 차분 블록보다도 화소수가 적은 복호 축소 차분 블록을 생성하고, 재생 화상 생성 수단은 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것이 바람직하다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

본 발명에 관계되는 동화상 부호화 장치는 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치로, 동화상 데이터를 구성하는 프레임 화상을, 부호화의 대상이 되는 영역으로서 복수의 부호화 대상 블록으로 분할하는 분할 수단과, 부호화 대상 블록을 부호화하는 부호화 수단과 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과, 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과, 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단을 구비하고, 부호화 수단은 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산한 상기 부호화 대상 블록의 차분 신호인 차분 블록을, 화소수를 소정의 방법으로 감소시키는 축소 처리에 의해, 상기 차분 블록보다도 화소수가 적은 축소 차분 블록을 생성하여, 상기 축소 차분 블록을 부호화하고, 재생 화상 생성 수단은 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하여, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 장치에서는 부호화 대상 블록과 소정의 위치 관계로 인접하는 동시에 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 부호화 대상 블록의 예측 신호인 예측 블록이 생성된다. 또, 예측 블록으로부터, 상기한 차분 블록보다도 화소수가 적은 부호화 대상의 축소 차분 블록을 생성한다. 즉, 본 발명에 관계되는 동화상 부호화 장치에 의하면, 부호화 대상의 축소 차분 블록을 화소수가 적은 것으로 할 수 있기 때문에, 강한 특징을 가지는 영역에 대하여 예측 성능이 낮은 평탄 영역에 관해서, 화질을 저하시키지 않고 예측 신호의 부호량을 효율이 좋게 저감할 수 있다.

본 발명에 관계되는 동화상 복호 장치는 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치로, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단과, 복호 수단에 의해 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과, 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과, 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단을 구비하고, 복호 수단은 부호화 데이터를 복호함으로써, 복호 대상 블록의 차분 신호인 차분 블록보다도 화소수가 적은 복호 축소 차분 블록을 생성하고, 재생 화상 생성 수단은 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 한다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

부호화 수단은 부호화 대상 블록 및 예측 블록으로 축소 처리를 적용하여 각각 축소 블록 및 축소 예측 블록으로서, 상기 축소 블록으로부터 상기 축소 예측 블록을 화소 단위로 감산하여 축소 차분 블록을 생성하고, 재생 화상 생성 수단은 부호화 수단에 의해 부호화된 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하고, 상기 복호 축소 차분 블록과 축소 예측 블록을 화소 단위로 가산하여 복호 축소 블록을 생성하고, 상기 복호 축소 블록에 확대 처리를 적용하여 복호 블록을 생성하는 것이 바람직하다. 이 구성에 의하면, 부호화 대상의 축소 차분 블록을 확실히 생성할 수 있기 때문에, 본 발명을 확실히 실시할 수 있다.

부호화 수단은 차분 블록에 대하여 축소 처리를 적용함으로써 축소 차분 블록을 생성하고, 재생 화상 생성 수단은 부호화 수단에 의해 부호화된 축소 차분 블록의 재생 신호인 복호 축소 블록을 생성하고, 상기 복호 축소 블록에 확대 처리를 적용함으로써 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하는 것이 바람직하다. 이 구성에 의하면, 부호화 대상의 축소 차분 블록을 확실히 생성할 수 있기 때문에, 본 발명을 확실히 실시할 수 있다.

재생 화상 생성 수단은 예측 블록으로 축소 처리를 적용하여 축소 예측 블록으로 하여, 복호 축소 차분 블록과 상기 축소 예측 블록을 화소 단위로 가산하여 복호 축소 블록을 생성하고, 상기 복호 축소 블록에 확대 처리를 적용하여 복호 블록을 생성하는 것이 바람직하다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

재생 화상 생성 수단은 복호 축소 차분 블록으로 확대 처리를 적용함으로써 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하는 것이 바람직하다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

예측 신호 결정 수단은 형상이 다른 복수의 템플릿으로부터 1개의 템플릿을 선택하는 것이 바람직하다. 이 구성에 의하면, 효율적으로 예측 블록을 생성할 수 있고, 부호화 처리의 효율을 향상시킬 수 있다.

예측 신호 결정 수단은 기억 수단에 의해 기억된 재생 완료 동화상 데이터의 재생 신호 또는 상기 재생 신호에 관한 정보를 참조하여, 1개의 템플릿을 선택하는 것이 바람직하다. 이 구성에 의하면, 적절히 템플릿을 선택할 수 있다.

*부호화 수단은 예측 신호 결정 수단에 의해 선택된 템플릿을 특정하는 정보를 부호화하는 것이 바람직하다. 이 구성에 의하면, 동화상 복호 장치에서의 템플릿의 선택을 쉽게 하여, 더욱 효율적인 복호를 할 수 있다.

예측 신호 결정 수단은 형상이 다른 복수의 템플릿으로부터 1개의 템플릿을 선택하는 것이 바람직하다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

예측 신호 결정 수단은 기억 수단에 의해 기억된 재생 완료 동화상 데이터의 재생 신호 또는 상기 재생 신호에 관한 정보를 참조하여, 1개의 템플릿을 선택하는 것이 바람직하다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

복호 수단은 선택되는 템플릿을 특정하는 정보를 복호하여, 예측 신호 결정 수단은 복호 수단에 의해 복호된 선택되는 템플릿을 특정하는 정보를 참조하여, 형상이 다른 복수의 템플릿으로부터 1개의 템플릿을 선택하는 것이 바람직하다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

그런데, 본 발명은 상기한 바와 같이 동화상 부호화 장치 및 동화상 복호 장치의 발명으로서 기술할 수 있는 것 외에, 아래와 같이 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 방법 및 동화상 복호 프로그램의 발명으로서도 기술할 수 있다. 이것은 카테고리 등이 다를 뿐이고, 실질적으로 동일한 발명으로, 같은 작용 및 효과를 갖는다.

본 발명에 관계되는 동화상 부호화 방법은 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에서의 동화상 부호화 방법으로, 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 단계와 부호화 대상 블록을 부호화하는 부호화 단계와 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계와 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계와 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 단계에서 기억되는 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 단계를 갖고, 부호화 단계에서, 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고, 재생 화상 생성 단계에서, 부호화 단계에서 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 방법은 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에서의 동화상 부호화 방법으로, 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 단계와 부호화 대상 블록을 부호화하는 부호화 단계와 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계와 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계와 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 단계에서 기억되는 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 기억 단계에서 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 단계와 탐색 단계에서 탐색된 화소군과 소정의 위치 관계에 기초하여, 부호화 대상 블록의 예측 신호인 예측 블록을, 기억 단계에서 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 단계를 갖고, 부호화 단계에서, 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고, 재생 화상 생성 단계에서, 부호화 단계에서 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 방법은 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치에서의 동화상 복호 방법으로, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 단계와 복호 단계에서 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계와 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계와 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 단계에서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 단계를 갖고, 복호 단계에서, 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고, 재생 화상 생성 단계에서, 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 방법은 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치에서의 동화상 복호 방법으로, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 단계와 복호 단계에서 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계와 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계와 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 단계에서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 기억 단계에서 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 단계와 탐색 단계에서 탐색된 화소군과 소정의 위치 관계에 기초하여, 복호 대상 블록의 예측 신호인 예측 블록을, 기억 단계에서 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 단계를 갖고, 복호 단계에서, 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고, 재생 화상 생성 단계에서, 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 방법은 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에서의 동화상 부호화 방법으로, 동화상 데이터를 구성하는 프레임 화상을, 부호화의 대상이 되는 영역으로서 복수의 부호화 대상 블록으로 분할하는 분할 단계와 부호화 대상 블록을 부호화하는 부호화 단계와 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계와 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계와 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 단계에서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 단계를 갖고, 부호화 단계에서, 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산한 상기 부호화 대상 블록의 차분 신호인 차분 블록을, 화소수를 소정의 방법으로 감소시키는 축소 처리에 의해, 상기 차분 블록보다도 화소수가 적은 축소 차분 블록을 생성하여, 상기 축소 차분 블록을 부호화하고, 재생 화상 생성 단계에서, 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하여, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 방법은 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치에서의 동화상 복호 방법으로, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 단계와 복호 단계에서 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계와 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계와 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 단계에서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 단계를 갖고, 복호 단계에서, 부호화 데이터를 복호함으로써, 복호 대상 블록의 차분 신호인 차분 블록보다도 화소수가 적은 복호 축소 차분 블록을 생성하고, 재생 화상 생성 단계에서, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 프로그램은 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치를 제어하는 동화상 부호화 프로그램으로, 동화상 부호화 장치를, 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단과 부호화 대상 블록을 부호화하는 부호화 수단과 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단으로서 기능시키고, 부호화 수단은 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고, 재생 화상 생성 수단은 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 프로그램은 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치를 제어하는 동화상 부호화 프로그램으로, 동화상 부호화 장치를, 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단과 부호화 대상 블록을 부호화하는 부호화 수단과 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단과 탐색 수단에 의해 탐색된 화소군과 소정의 위치 관계에 기초하여, 부호화 대상 블록의 예측 신호인 예측 블록을, 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단으로서 기능시키고, 부호화 수단은 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고, 재생 화상 생성 수단은 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 프로그램은 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치를 제어하는 동화상 복호 프로그램으로, 동화상 복호 장치를, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단과 복호 수단에 의해 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단으로서 기능시키고, 복호 수단은 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고, 재생 화상 생성 수단은 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 프로그램은 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치를 제어하는 동화상 복호 프로그램으로, 동화상 복호 장치를, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단과 복호 수단에 의해 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단과 탐색 수단에 의해 탐색된 화소군과 소정의 위치 관계에 기초하여, 복호 대상 블록의 예측 신호인 예측 블록을, 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단으로서 기능시키고, 복호 수단은 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고, 재생 화상 생성 수단은 복호 차분 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 프로그램은 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치를 제어하는 동화상 부호화 프로그램으로, 동화상 부호화 장치를, 동화상 데이터를 구성하는 프레임 화상을, 부호화의 대상이 되는 영역으로서 복수의 부호화 대상 블록으로 분할하는 분할 수단과 부호화 대상 블록을 부호화하는 부호화 수단과 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단으로서 기능시키고, 부호화 수단은 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산한 상기 부호화 대상 블록의 차분 신호인 차분 블록을, 화소수를 소정의 방법으로 감소시키는 축소 처리에 의해, 상기 차분 블록보다도 화소수가 적은 축소 차분 블록을 생성하여, 상기 축소 차분 블록을 부호화하고, 재생 화상 생성 수단은 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하여, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 프로그램은 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치를 제어하는 동화상 복호 프로그램으로, 동화상 복호 장치를, 복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단과 복호 수단에 의해 복호된 부호화 데이터로부터 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단으로서 기능시키고, 복호 수단은 부호화 데이터를 복호함으로써, 복호 대상 블록의 차분 신호인 차분 블록보다도 화소수가 적은 복호 축소 차분 블록을 생성하고, 재생 화상 생성 수단은 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 장치는 동화상 데이터를 부호화하는 동화상 부호화 장치로, 동화상 데이터를 구성하는 프레임 화상을, 부호화의 대상이 되는 영역으로서 복수의 영역으로 분할하는 분할 수단과 분할 수단에 의해 분할된 각 영역의 화상을 부호화하는 부호화 수단과 부호화 수단에 의해 부호화된 화상의 재생 화상을 생성하는 재생 화상 생성 수단과 재생 화상 생성 수단에 의해 생성된 재생 화상을 기억하는 기억 수단과 부호화 수단에 의한 부호화의 대상이 되는 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 기억 수단에 의해 기억된 재생 화상으로부터 탐색하는 탐색 수단과 탐색 수단에 의해 탐색된 영역과 소정의 위치 관계에 기초하여, 부호화의 대상이 되는 영역의 예측 신호를, 기억 수단에 의해 기억된 재생 화상으로부터 결정하는 예측 신호 결정 수단을 구비하고, 부호화 수단은 예측 신호 결정 수단에 의해 결정된 예측 신호와 부호화의 대상이 되는 영역의 화상과의 차분 신호를 생성하여, 상기 차분 신호를 부호화하는 것을 특징으로 한다.

*본 발명에 관계되는 동화상 부호화 장치에서는 우선, 부호화 대상이 되는 화상의 영역과 소정의 위치 관계로 인접한 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 재생 화상으로부터 탐색한다. 계속해서, 탐색된 영역과 상기 소정의 위치 관계에 기초하여, 부호화의 대상이 되는 영역의 예측 신호를 재생 화상으로부터 결정한다. 이 예측 신호를 이용하여 부호화를 한다. 즉, 본 발명에 관계되는 동화상 부호화 장치에 의하면, 움직임 벡터를 이용하지 않고 예측 신호를 결정할 수 있어 효율적인 부호화를 가능하게 한다.

본 발명에 관계되는 동화상 복호 장치는 복수의 영역으로 분할된 프레임 화상이 부호화된 동화상 데이터를 복호하는 동화상 복호 장치로, 부호화된 각 영역의 데이터를 복호하는 복호 수단과 복호 수단에 의해 복호된 화상으로부터 재생 화상을 생성하는 재생 화상 생성 수단과 재생 화상 생성 수단에 의해 생성된 화상을 기억하는 기억 수단과 복호 수단에 의한 복호의 대상이 되는 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 기억 수단에 의해 기억된 재생 화상으로부터 탐색하는 탐색 수단과 탐색 수단에 의해 탐색된 영역과 소정의 위치 관계에 기초하여, 복호의 대상이 되는 영역의 예측 신호를, 기억 수단에 의해 기억된 재생 화상으로부터 결정하는 예측 신호 결정 수단을 구비하고, 재생 화상 생성 수단은 예측 신호 결정 수단에 의해 결정된 예측 신호와 복호 수단에 의해 복호된 화상과의 합 신호를 생성함으로써 재생 화상으로 하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 장치에서는 상기한 동화상 부호화 장치와 같이 예측 신호를 결정하여, 동화상을 복호할 수 있다. 즉, 본 발명에 관계되는 동화상 복호 장치에 의하면, 상기한 동화상 부호화 장치에 의해 효율적인 부호화가 된 동화상 데이터를 정확하게 복호할 수 있다.

또한, 동화상 부호화 장치는 템플릿 영역의 재생 화상과 기억 수단에 의해 기억된 재생 화상을 비교하고, 상기 비교 결과에 기초하여 부호화의 대상이 되는 영역의 화상의 공간적 연속성을 추정하는 추정 수단과 추정 수단에 의해 추정된 화상의 공간적 연속성에 기초하여, 부호화의 대상이 되는 영역을 더욱 분할하여 상기 분할된 영역을 새로운 부호화 대상의 영역으로서 설정하는 동시에 상기 새로운 부호화 대상의 영역에 대한 템플릿 영역을 설정하는 설정 수단을 더 구비하는 것이 바람직하다. 이 구성에 의하면, 예측 신호의 영역의 사이즈를 재생 화상의 공간적 연속성을 바탕으로 적절히 선택하는 것이 가능해지기 때문에, 움직임량의 변화가 심한 동화상 데이터의 부호화에 있어서도 부호화 효율이 향상된다.

또한, 동화상 복호 장치는 템플릿 영역의 재생 화상과 기억 수단에 의해 기억된 재생 화상을 비교하고, 상기 비교 결과에 기초하여 복호의 대상이 되는 영역의 화상의 공간적 연속성을 추정하는 추정 수단과 추정 수단에 의해 추정된 화상의 공간적 연속성에 기초하여, 복호의 대상이 되는 영역을 더욱 분할하여 상기 분할된 영역을 새로운 복호 대상의 영역으로서 설정하는 동시에 상기 새로운 복호 대상의 영역에 대한 템플릿 영역을 설정하는 설정 수단을 더 구비하는 것이 바람직하다. 이 구성에 의하면, 상기한 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 정확하게 복호할 수 있다.

그런데, 본 발명은 상기한 바와 같이 동화상 부호화 장치 및 동화상 복호 장치의 발명으로서 기술할 수 있는 것 외에, 아래와 같이 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 방법 및 동화상 복호 프로그램의 발명으로서도 기술할 수 있다. 이것은 카테고리 등이 다를 뿐이고, 실질적으로 동일한 발명으로, 같은 작용 및 효과를 갖는다.

본 발명에 관계되는 동화상 부호화 방법은 동화상 데이터를 부호화하는 동화상 부호화 장치에서의 동화상 부호화 방법으로, 동화상 데이터를 구성하는 프레임 화상을, 부호화의 대상이 되는 영역으로서 복수의 영역으로 분할하는 분할 단계와 분할 단계에서 분할된 각 영역의 화상을 부호화하는 부호화 단계와 부호화 단계에서 부호화된 화상의 재생 화상을 생성하는 재생 화상 생성 단계와 재생 화상 생성 단계에서 생성된 재생 화상을 기억하는 기억 단계와 부호화 단계에서 부호화의 대상이 되는 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 기억 단계에서 기억된 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 기억 단계에서 기억된 재생 화상으로부터 탐색하는 탐색 단계와 탐색 단계에서 탐색된 영역과 소정의 위치 관계에 기초하여, 부호화의 대상이 되는 영역의 예측 신호를, 기억 단계에서 기억된 재생 화상으로부터 결정하는 예측 신호 결정 단계를 갖고, 부호화 단계에서, 예측 신호 결정 단계에서 결정된 예측 신호와 부호화의 대상이 되는 영역의 화상과의 차분 신호를 생성하여, 상기 차분 신호를 부호화하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 부호화 프로그램은 동화상 데이터를 부호화하는 동화상 부호화 장치를 제어하는 동화상 부호화 프로그램으로, 동화상 부호화 장치를, 동화상 데이터를 구성하는 프레임 화상을, 부호화의 대상이 되는 영역으로서 복수의 영역으로 분할하는 분할 수단과 분할 수단에 의해 분할된 각 영역의 화상을 부호화하는 부호화 수단과 부호화 수단에 의해 부호화된 화상의 재생 화상을 생성하는 재생 화상 생성 수단과 재생 화상 생성 수단에 의해 생성된 재생 화상을 기억하는 기억 수단과 부호화 수단에 의한 부호화의 대상이 되는 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 기억 수단에 의해 기억된 재생 화상으로부터 탐색하는 탐색 수단과 탐색 수단에 의해 탐색된 영역과 소정의 위치 관계에 기초하여, 부호화의 대상이 되는 영역의 예측 신호를, 기억 수단에 의해 기억된 재생 화상으로부터 결정하는 예측 신호 결정 수단으로서 기능시키고, 부호화 수단은 예측 신호 결정 수단에 의해 결정된 예측 신호와 부호화의 대상이 되는 영역의 화상과의 차분 신호를 생성하는 상기 차분 신호를 부호화하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 방법은 복수의 영역으로 분할된 프레임 화상이 부호화된 동화상 데이터를 복호하는 동화상 복호 장치에서의 동화상 복호 방법으로, 부호화된 각 영역의 데이터를 복호하는 복호 단계와 복호 단계에서 복호된 화상으로부터 재생 화상을 생성하는 재생 화상 생성 단계와 재생 화상 생성 단계에서 생성된 화상을 기억하는 기억 단계와 복호 단계에 의한 복호의 대상이 되는 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 기억 단계에서 기억된 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 기억 단계에서 기억된 재생 화상으로부터 탐색하는 탐색 단계와 탐색 단계에서 탐색된 영역과 소정의 위치 관계에 기초하여, 복호의 대상이 되는 영역의 예측 신호를, 기억 단계에서 기억된 재생 화상으로부터 결정하는 예측 신호 결정 단계를 갖고, 재생 화상 생성 단계에서, 예측 신호 결정 단계에서 결정된 예측 신호와 복호 단계에서 복호된 화상과의 합 신호를 생성함으로써 재생 화상으로 하는 것을 특징으로 한다.

본 발명에 관계되는 동화상 복호 프로그램은 복수의 영역으로 분할된 프레임 화상이 부호화된 동화상 데이터를 복호하는 동화상 복호 장치를 제어하는 동화상 복호 프로그램으로, 동화상 복호 장치를, 부호화된 각 영역의 데이터를 복호하는 복호 수단과 복호 수단에 의해 복호된 화상으로부터 재생 화상을 생성하는 재생 화상 생성 수단과 재생 화상 생성 수단에 의해 생성된 화상을 기억하는 기억 수단과 복호 수단에 의한 복호의 대상이 되는 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 기억 수단에 의해 기억된 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 기억 수단에 의해 기억된 재생 화상으로부터 탐색하는 탐색 수단과 탐색 수단에 의해 탐색된 영역과 소정의 위치 관계에 기초하여, 복호의 대상이 되는 영역의 예측 신호를, 기억 수단에 의해 기억된 재생 화상으로부터 결정하는 예측 신호 결정 수단으로서 기능시키고, 재생 화상 생성 수단은 예측 신호 결정 수단에 의해 결정된 예측 신호와 복호 수단에 의해 복호된 화상과의 합 신호를 생성함으로써 재생 화상으로 하는 것을 특징으로 한다.

본 발명에 의하면, 부호화 대상이 되는 화상의 영역과 소정의 위치 관계로 인접한 템플릿 영역과 상관이 높은 재생 영역을 탐색하여 상기 탐색된 영역과 상기한 위치 관계에 기초하여 예측 신호를 결정하기 때문에, 움직임 벡터를 이용하지 않고 효율적인 부호화를 가능하게 한다.

도 1은 본 발명의 제 1 실시형태에 관계되는 동화상 부호화 장치의 구성을 도시하는 도면.
도 2는 동화상 부호화 장치에서의 예측 생성부의 구성을 도시하는 도면.
도 3은 템플릿 영역과 예측 대상 영역과의 위치 관계를 도시하는 도면.
도 4는 템플릿 매칭에 의한 예측 신호의 결정의 상세한 동작을 설명하기 위한 도면.
도 5는 본 발명의 제 1 실시형태에 관계되는 동화상 부호화 장치에서 실행되는 처리를 도시하는 흐름도.
도 6은 본 발명의 제 1 실시형태에 관계되는 동화상 복호 장치의 구성을 도시하는 도면.
도 7은 본 발명의 제 1 실시형태에 관계되는 동화상 복호 장치에서 실행되는 처리를 도시하는 흐름도.
도 8은 제 2 실시형태에서의 예측 생성부의 구성을 도시하는 도면.
도 9는 제 2 실시형태에 있어서 분할된 예측 대상 영역을 도시하는 도면.
도 10은 본 발명의 제 2 실시형태에 관계되는 동화상 부호화 장치에서 실행되는 처리를 도시하는 흐름도.
도 11은 본 발명의 제 2 실시형태에 관계되는 동화상 복호 장치에서 실행되는 처리를 도시하는 흐름도.
도 12는 부호화 순서를 도시하는 도면.
도 13은 부호화 순서에 따른 템플릿 영역과 예측 대상 영역과의 위치 관계의 예를 도시하는 도면.
도 14는 제 2 실시형태에서, 판단부의 기능을 설명하기 위한 도면.
도 15는 제 2 실시형태에서, 판단부의 기능을 설명하기 위한 도면.
도 16은 본 발명의 실시형태에 관계되는 동화상 부호화 프로그램의 구성을 도시하는 도면.
도 17은 본 발명의 실시형태에 관계되는 동화상 복호 프로그램의 구성을 도시하는 도면.
도 18은 제 1 실시형태에 관계되는 동화상 부호화 장치의 변형예의 구성을 도시하는 도면.
도 19는 제 1 실시형태에 관계되는 동화상 복호 장치의 변형예의 구성을 도시하는 도면.
도 20은 제 1 실시형태에 관계되는 예측 생성부의 변형예의 구성을 도시하는 도면.
도 21은 본 발명의 제 3 실시형태에 관계되는 동화상 부호화 장치의 구성을 도시하는 도면.
도 22는 본 발명의 제 3 실시형태에 관계되는 동화상 복호 장치의 구성을 도시하는 도면.
도 23은 제 3 실시형태에서의 블록의 축소?확대 처리를 도시하는 도면.
도 24는 본 발명의 제 3 실시형태에 관계되는 동화상 부호화 장치에서 실행되는 처리를 도시하는 흐름도.
도 25는 본 발명의 제 3 실시형태에 관계되는 동화상 복호 장치에서 실행되는 처리를 도시하는 흐름도.
도 26은 제 3 실시형태에 관계되는 동화상 부호화 장치의 변형예의 구성을 도시하는 도면.
도 27은 제 3 실시형태에 관계되는 동화상 복호 장치의 변형예의 구성을 도시하는 도면.
도 28은 제 3 실시형태에서의 블록의 축소?확대 처리의 다른 예를 도시하는 도면.
도 29는 제 3 실시형태에서의 블록의 축소?확대 처리의 다른 예를 도시하는 도면.
도 30은 제 3 실시형태에 관계되는 동화상 부호화 장치의 변형예의 구성을 도시하는 도면.
도 31은 제 3 실시형태에 관계되는 동화상 복호 장치의 변형예의 구성을 도시하는 도면.
도 32는 제 3 실시형태에 관계되는 동화상 부호화 장치의 변형예의 구성을 도시하는 도면.
도 33은 제 3 실시형태에 관계되는 동화상 복호 장치의 변형예의 구성을 도시하는 도면.
도 34는 제 3 실시형태에 관계되는 동화상 부호화 장치의 변형예의 구성을 도시하는 도면.
도 35는 제 3 실시형태에 관계되는 동화상 복호 장치의 변형예의 구성을 도시하는 도면.
도 36은 제 3 실시형태에 관계되는 예측 생성부의 변형예의 구성을 도시하는 도면.
도 37은 제 3 실시형태에 있어서의 예측 처리의 예를 도시하는 도면.

이하, 도면과 함께 본 발명에 관계되는 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램의 적합한 실시형태에 관해서 상세하게 설명한다. 또, 도면의 설명에서는 동일 요소에는 동일 부호를 붙이고, 중복되는 설명을 생략한다.

[제 1 실시형태]

도 1에, 제 1 실시형태의 동화상 부호화 장치(100)를 도시한다. 동화상 부호화 장치(100)는 동화상 데이터를 블록 단위로 부호화하는 장치이다. 동화상 부호화 장치(100)는 동화상 데이터를 구성하는 프레임 화상을 입력으로서 상기 프레임 화상을 순차 부호화함으로써, 동화상 데이터를 부호화한다. 동화상 부호화 장치(100)는 CPU(Central Processing Unit), 프레임 메모리, 하드디스크 등을 구비하는 정보처리장치 등의 하드웨어에 의해 실현된다. 동화상 부호화 장치(100)는 상기한 하드웨어적인 구성 요소가 동작함으로써, 이하에 설명하는 기능적인 구성 요소를 실현한다.

도 1에 도시하는 바와 같이, 동화상 부호화 장치(100)는 영역 분할부(101)와 감산부(102)와 변환부(103)와 부호화부(104)와 역변환부(105)와 가산부(106)와 기억부(107)와 예측 생성부(108)를 구비하여 구성되어 있다. 이하, 각부의 기능에 관해서 설명한다.

영역 분할부(101)는 입력된 동화상 데이터를 구성하는 프레임 화상을, 부호화의 대상이 되는 영역으로서 복수의 영역으로 분할하는 분할 수단이다. 즉, 영역 분할부(101)는 입력된 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단이다. 구체적으로는 영역 분할부(101)는 미리 정해진 소정의 크기의 블록(예를 들면 8화소×8화소, 부호화 대상 블록)으로 분할한다. 분할된 원화상은 부호화를 하는 순서로 출력되어 감산부(102)에 입력된다. 출력되는 순서로서는 도 12a에 도시하는 바와 같이 프레임 화상의 좌측 위로부터 우측 아래로의 순서인 래스터 스캔순이어도 좋고, 도 12b에 도시하는 바와 같이 프레임 화상의 좌단으로부터 우단으로의 순서와 우단으로부터 좌단으로의 순서를 한층씩 교대로 위부터 반복하는 지그재그 순으로 하여도 좋다. 또, 출력하는 순서는 미리 영역 분할부(101)에 기억시켜 둔다.

감산부(102)는 상기한 부호화 대상 블록의 원신호와 나중에 설명하는 예측 신호의 사이의 차분 신호를 생성하여 출력하는 부호화 수단의 일 구성 요소이다. 차분 신호는 영역 분할부(101)로부터 출력된 부호화 대상 블록의 원신호로부터, 예측 생성부(108)로부터 출력된 부호화 대상 블록의 예측 신호를 화소 단위로 감산함으로써 생성된다. 출력되는 차분 신호는 부호화의 대상이 되는 신호이고, 부호화를 위해서 변환부(103)에 입력된다.

변환부(103)는 감산부(102)로부터 입력된 차분 신호를 미리 정해진 변환방법에 기초하여 변환하여, 변환 계수 데이터를 출력하는 변환수단이다. 변환에는 예를 들면, 이산 코사인 변환(DCT : Discrete Cosine Transform)으로 대표되는 직교변환을 이용할 수 있다. 변환을 위한 관계식 등은 미리 변환부(103)에 기억시켜 둔다. 이 변환은 가역적인 것이어도 좋고 비가역적인 것이어도 좋다. 이 변환은 이후 행하여지는 부호화를 더욱 효율적으로 행하게 하는 것이다. 출력된 변환 계수 데이터는 부호화부(104) 및 역변환부(105)에 입력된다. 또, 정보량 압축을 위해서, 직교변환 후의 계수에 대하여 양자화를 하여도 좋다.

부호화부(104)는 변환부(103)로부터 입력된 변환 계수 데이터를, 엔트로피 부호화하는 부호화 수단의 일 구성 요소이다. 부호화된 데이터는 동화상 부호화 장치(100)의 출력이 된다. 엔트로피 부호화로서는 하프맨 부호화같은 가변 길이 부호화방식이나, CABAC(Context-based Adaptive Binary Arithmetic Coding)로 대표되는 산술 부호화방식이 이용 가능하다. 어느 쪽이나 변환 계수 데이터의 발생 확률의 편중에 기초하여 변환방법을 변경함으로써, 정보량을 압축할 수 있다.

역변환부(105)는 재생 화상 생성을 위해서 이용되는 차분 신호를 생성하는 재생 화상 생성 수단의 일 구성 요소이다. 차분 신호는 변환부(103)로부터 입력된 변환 계수 데이터를 변환부(103)에서 이루어진 변환처리의 역처리를 함으로써 생성된다. 역변환을 위한 관계식 등은 미리 역변환부(105)에 기억시켜 둔다. 역변환부(105)에서 생성된 차분 신호는 가산부(106)에 입력된다.

가산부(106)는 나중에 설명하는 예측 생성부(108)로부터 출력된 예측 신호(감산부(102)에 입력되는 예측 신호와 같음)와 역변환부(105)에 의해 생성된 차분 신호를 합하여 합 신호로 하여 재생 신호를 생성하는 재생 화상 생성 수단의 일 구성 요소이다. 여기에서, 재생 신호는 재생 화상을 구성하는 것이다. 가산부(106)에 의해 생성되는 재생 신호는 복호 장치에서 생성되는 재생 신호와 같은 것이다. 가산부(106)에 의해 생성된 재생 신호는 기억부(107)에 입력된다.

기억부(107)는 가산부(106)로부터 입력된 재생 신호를 재생 완료 동화상 데이터로서, 프레임 메모리 등의 동화상 부호화 장치(100)에 구비되는 기억장치에 기억하여 축적하는 기억 수단이다. 재생 신호는 동화상 데이터의 부호화가 모두 종료할 때까지, 모두 축적하여 둔다. 이와 같이 재생 완료 동화상 데이터는 차차 축적된다.

예측 생성부(108)는 본 발명의 특징이 되는 부분이고, 기억부(107)에 의해 축적된 재생 화상을 판독하여, 재생 신호를 바탕으로 예측 대상(부호화 대상)의 블록의 예측 신호를 생성한다. 이하, 예측 생성부(108)의 상세한 움직임에 관해서 설명한다. 도 2에 예측 생성부(108)의 기능을 더욱 상세화한 기능 블록을 도시한다. 도 2에 도시하는 바와 같이 예측 생성부(108)는 템플릿 영역 결정부(201)와 매칭부(202)와 보충부(203)를 구비하여 구성된다.

템플릿 영역 결정부(201)는 기억부(107)로부터의 입력에 기초하여, 예측 신호를 생성하기 위해서 이용하는 템플릿 영역 및 그 영역의 신호(템플릿)를 결정하는 탐색 수단의 일 구성 요소이다. 즉, 템플릿 영역 결정부(201)는 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 기억부(17)에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 템플릿을 생성하는 탐색 수단의 일 구성 요소이다. 또한, 템플릿 영역 결정부(201)는 템플릿을 이용하여, 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단의 일 구성 요소이기도 하다. 도 3에 도시하는 바와 같이, 템플릿 영역(301)은 부호화의 대상이 되는 화상의 영역(302)에 대하여 소정의 위치 관계로 인접하는 동시에 기억부(107)에 의해 기억된 재생 화상의 영역, 요컨대 재생 완료 동화상 데이터의 재생 신호로 구성되는 화소영역이다. 구체적으로는 템플릿 영역에는 기억부(107)에 기억된 예측 대상 블록과 동일 프레임의 재생 완료 영역으로, 예측 대상 블록과 공간적으로 인접하는 위치에 존재하는 화소영역을 포함한 소정의 크기의 화소군이 해당된다. 이 때문에, 템플릿 영역의 위치는 블록의 부호화 순서(영역 분할부(101)로부터 출력되어 부호화 처리되는 순서)에 의존한다. 템플릿 영역 결정부(201)에는 템플릿 영역을 결정하기 위한 이하에 설명하는 조건을 미리 기억시켜 둔다.

도 13에, 템플릿 영역과 예측 대상 영역의 위치 관계의 일례를 도시한다. 도 13a와 같이, 부호화 순서를 래스터 스캔 순으로 행하면, 템플릿 영역(1301)은 예측 대상 블록(1302)의 좌측 및 상측에 위치하는 영역이 된다. 도 13a에 도시하는 바와 같이, 예측 대상 블록(1302)의 좌측 및 상측에 위치하는 영역(1303)은 기억부(107)에 재생 화상이 축적되어 있는 영역이다. 또, 부호화 순서가 지그재그 순이면, 부호화의 진행 상황에 따라서, 템플릿 영역의 위치는 변할 수 있다. 도 13b와 같이 화면의 좌측으로부터 우측으로 부호화가 진행 중일 때는 예측 대상 블록(1304)은 예측 대상 블록(1305)의 우측 및 상측에 위치하는 영역이 된다. 도 13c와 같이 화면의 우측에서 좌측으로 부호화가 진행 중일 때는 예측 대상 블록(1304)은 예측 대상 블록(1305)의 좌측 및 상측에 위치하는 영역이 된다.

매칭부(202)는, 템플릿 영역 결정부(201)에 의해 결정된 템플릿 영역의 재생 신호를 이용하여, 기억부(107)에 의해 축적된 재생 화상을 탐색영역으로서 템플릿 매칭을 실시하여, 탐색영역 내에서 템플릿 영역의 재생 신호와의 상관이 가장 높아지는 영역을 탐색(검출)하는 탐색 수단이다. 즉, 매칭부(202)는 템플릿 영역 결정부(201)에 의해 결정된 템플릿과 상관이 높은 화소군을, 기억부(107)에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단이다. 또, 매칭부(202)는 템플릿을 이용하여, 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단의 일 구성 요소이기도 하다. 템플릿 매칭에 관해서는 더욱 상세하게 후술한다.

보충부(203)는 매칭부(202)에 의해 탐색된 영역(고상관영역), 및 예측 대상 블록과 템플릿 영역의 사이의 위치 관계에 기초하여, 예측 대상 블록과 동 사이즈의 예측 신호를 재생 화상으로부터 설정하여 결정하는 예측 신호 결정 수단이다. 즉, 보충부(203)는 매칭부(202)에 의해 탐색된 화소군과 상기 위치 관계에 기초하여, 부호화 대상 블록의 예측 신호인 예측 블록을, 기억부(107)에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단이다. 또한, 보충부(203)는 템플릿을 이용하여, 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단의 일 구성 요소이기도 하다. 탐색된 고상관영역과 예측 신호로 하는 화상의 영역과의 사이의 위치 관계는 템플릿 영역과 예측 대상 블록과의 사이의 위치 관계와 동일하게 된다. 예를 들면, 블록의 부호화 순서가 래스터 스캔순이면, 고상관영역의 우측 및 하측에 인접하는 영역이 예측 신호의 영역이 된다. 결정된 예측 신호는 예측 생성부(108)로부터의 출력으로서 감산부(102)와 가산부(106)에 입력된다.

매칭부(202)와 보충부(203)에서의 템플릿 매칭에 의한 예측 신호 결정의 상세한 동작에 관해서 도 4를 이용하여 설명한다. 매칭부(202)는 템플릿 영역(401)의 화상과 유사한 개소를 탐색 범위(403, 404) 내에서 탐색하는 템플릿 매칭을 한다. 탐색 범위에는 템플릿 영역(401) 및 예측 대상 영역(402)을 포함하는 프레임(예측 대상 프레임)에서의 재생 완료 화소영역(403)과 그 이외의 재생 완료의 프레임의 화상(404)을 포함한다. 우선, 템플릿 영역(401)의 신호와 탐색 범위 내의 임의의 장소에 있는 템플릿 영역(401)과 동 형상의 화소군의 신호와의 상관을 측정한다. 이때의 상관을 나타내는 지표치로서는 차분 신호의 절대치합을 나타내는 SAD(sum of absolute difference)나 차분 신호의 제곱 오차 평균을 나타내는 MSE(mean square error) 등을 이용하는 것이 가능하다. 탐색 범위 내에서 취할 수 있는 모든 화소군에 관해서 상관의 지표치를 취득하여, 지표치가 가장 작은 화소군(단, 템플릿 영역(401)의 화상 자체는 제외함)을 나타내는 정보(어드레스)를 탐색 결과로서 출력한다.

보충부(203)는 템플릿 매칭에 의해 탐색된 고상관영역에 인접한 화소군을 예측 신호로서 설정한다. 템플릿 영역과 상관이 높은 장소에서는 템플릿 영역에 인접하고 있는 영역도 상관이 높아질 가능성이 높기 때문에, 예측 신호로서 이용할 수 있다. 이 때문에, 본 방법에 의한 예측방법이 성립한다.

계속해서, 도 5의 흐름도를 이용하여, 본 실시형태의 동화상 부호화 장치(100)에서의 부호화 처리(동화상 부호화 방법)를 설명한다.

우선, 부호화 대상의 동화상 데이터가 동화상 부호화 장치(100)에 입력되면, 동화상을 구성하는 프레임 화상마다 영역 분할부(101)에 입력된다. 입력된 프레임 화상은 영역 분할부(101)에 의해 소정의 크기의 복수의 블록으로 분할된다(S501, 분할 단계). 이후의 처리는 모두 블록 단위로 행하여진다. 블록은 부호화 대상의 영역의 화상으로서 감산부(102)에 입력된다.

다음에, 아래와 같이 예측 생성부(108)에 의해 부호화 대상의 블록의 예측 신호가 생성된다. 또, 예측 생성부(108)는 동화상 부호화 장치(100)에서 부호화 처리를 통괄하고 있는 컨트롤러(도시하지 않음)로부터 블록의 부호화 순서를 통지하고 있다. 또는 예측 생성부(108)는 블록의 부호화 순서를 미리 기억하고 있다. 우선, 템플릿 영역 결정부(201)에 의해 블록에 인접하는 재생 화상상에 템플릿 영역이 결정된다(S502, 탐색 단계). 다음에, 매칭부(202)에 의해, 부호화 대상의 블록과 동일 및 다른 프레임에서의 재생 화상에 대하여 템플릿 매칭이 행하여지고, 템플릿 영역의 재생 신호와 상관이 높은 영역이 탐색된다(S503, 탐색 단계). 다음에, 보충부(203)에 의해, 템플릿 매칭에 의해 얻어진 고상관영역과 소정의 위치 관계(도 4의 예에서는 우측 및 하측)로 인접하고 있는 부호화 대상 블록과 같은 크기의 영역이, 예측 신호로서 설정된다(S504, 예측 신호 결정 단계). 설정된 예측 신호는 감산부(102)와 가산부(106)에 입력된다.

다음에, 감산부(102)에 의해, 영역 분할부(101)로부터 입력된 원화상으로부터, 예측 생성부(108; 보충부(203))로부터 입력된 예측 신호를, 화소영역에서 뺌으로써 차분 신호가 생성된다(S505, 부호화 단계). 생성된 차분 신호는 변환부(103)에 입력되어, 변환부(103)에 의해 변환된다(S506). 변환된 차분 신호는 부호화부(104)와 역변환부(105)에 입력된다. 부호화부(104)에 입력된 변환 후의 차분 신호는 부호화부(104)에 의해 엔트로피 부호화되어, 압축 부호화 데이터가 생성된다(S507, 부호화 단계).

역변환부(105)에 입력된 변환 후의 차분 신호는 역변환부(105)에 의해 역변환이 행하여지고, 역변환 후의 차분 신호가 생성된다(S508, 재생 화상 생성 단계). 역변환 후의 차분 신호는 가산부(106)에 입력되어, 가산부(106)에 의해, 예측 생성부(108; 보충부(203))로부터 입력된 예측 신호와 더해져 합 신호가 되고, 재생 신호가 생성된다(S509, 재생 화상 생성 단계). 생성된 재생 신호는 기억부(107)에 입력되어, 기억부(107)에 의해, 프레임 메모리 등에서의 부호화 대상이 되는 프레임에 따른 소정의 어드레스에 보존된다(S510,기억 단계).

계속해서, 프레임 화상의 모든 블록에서 상기한 처리(S502 내지 S510)가 종료하였는지의 여부가 판단된다(S51l). 종료한 경우는 이 프레임에서의 처리를 종료하여, 부호화부(104)에 의한 엔트로피 부호화 후의 압축 부호화 데이터를 출력하여, 다음의 프레임의 처리로 천이한다. 또, 미처리의 블록이 남아 있으면, 다음의 블록의 처리로 이행한다. 또, 상기한 판단은 예를 들면, 상기한 어떤 구성 요소에 의해 행하여져도 좋고, 동화상 부호화 장치(100)에서의 부호화 처리를 통괄하는 수단을 설치하여 그것에 행하게 하여도 좋다.

또, 상술한 처리에서는 기억부(107)에 기억되는 재생 신호는 변환부103에 의해 변환되어 역변환부(105)에 의해 역변환된 차분 신호를 기초로 하고 있다. 이것은 부호화부(104)에 의한 부호화가 가역적인 것을 상정하고 있기 때문으로, 상기한 처리로 복호 장치에서 재생되는 재생 화상을 얻을 수 있기 때문이다.

상술한 처리에서는 예측을 템플릿 매칭에 의한 보충만으로 하는 예를 들었지만, 이 이외의 처리가 들어가 있어도 좋다. 예를 들면, 프레임 화상의 상단이나 양단의 부호화시에는 재생 완료의 인접화소가 존재하지 않는 경우가 있어, 본 수법을 이용하기 위해서는 인접화소를 미리 가정하여 둘 필요가 있다. 이러한 부분에서는 종래와 같이 움직임 벡터를 이용한 예측을 하는 것이, 부호화 효율이 좋아지는 경우가 있다. 또, 화면단에 한하지 않고 본 방법에서의 예측보다도 움직임 벡터에 의한 예측의 부호화 효율이 높아지는 경우에서는 움직임 벡터에 의한 예측을 이용하도록 하여도 좋다. 이 경우 예를 들면, 새롭게 블록정보의 헤더에 예측을 본 방식이나 움직임 벡터에 의한 것인지 어떤 수법을 이용하였는지를 나타내는 정보와 움직임 벡터치를 부여하여 둠으로써, 양 방식을 효율적으로 구별하여 이용할 수 있다.

상술한 바와 같이, 본 실시형태의 동화상 부호화 장치(100)에 의하면, 프레임간 예측을 할 때에, 부호화 완료의 재생 화상을 이용하는 것으로 움직임 벡터를 이용하지 않고 프레임간 예측을 할 수 있어, 효율적인 부호화를 가능하게 한다. 즉, 본 실시형태의 동화상 부호화 장치(100)에 의해 부호화된 데이터는 실질적으로는 변환된 차분 신호만이 부호화된 것으로 종래의 부호화 방법과 비교하여 움직임 벡터를 삭제한 것이다. 또한, 이것에 덧붙여, 예측 신호를 결정할 때에, 그 시점에서 재생 완료의 영역만을 이용하기 때문에, 항상 동화상 데이터의 스캔 순으로 부호화할 수 있다.

다음에, 본 실시형태의 동화상 복호 장치를 설명한다. 도 6에, 본 실시형태의 동화상 복호 장치(600)를 도시한다. 동화상 복호 장치(600)는 동화상 부호화 장치(100)에 의해 부호화된 동화상 데이터를 복호하여, 재생 완료 동화상 데이터를 생성하는 장치이다. 동화상 복호 장치(600)는 CPU(Central Processing Unit), 프레임 메모리, 하드디스크 등을 구비하는 정보처리장치 등의 하드웨어에 의해 실현할 수 있다. 동화상 복호 장치(600)는 상기한 하드웨어적인 구성 요소가 동작함으로써, 이하에 설명하는 기능적인 구성 요소를 실현한다.

도 6에 도시하는 바와 같이, 동화상 복호 장치(600)는 복호부(601)와 역변환부(602)와 가산부(603)와 기억부(604)와 예측 생성부(605)를 구비하여 구성되어 있다. 이하, 각부의 기능에 관해서 설명한다.

복호부(601)는 입력된 압축 부호화 데이터를 복호하는 복호 수단이다. 압축 부호화 데이터는 상술한 바와 같이, 본 실시형태에 관계되는 동화상 부호화 장치(100)에 의해 부호화된 것으로, 프레임 화상이 복수의 영역의 신호(부호화 대상 블록)로 분할되어 부호화된 것(복호 대상 블록)이다. 복호부(601)에서의 복호방식은 동화상 부호화 장치(100)에 의한 엔트로피 부호화방식에 대응하는 것으로, 복호하기 위한 정보가 복호부(601)에 의해 미리 기억되어 있다. 또한, 복호부(601)에서의 복호 및 출력은 부호화된 단위(블록 단위)로 행하여지고, 부호화된 순서로 행하여진다. 복호된 데이터는 역변환부(602)에 입력된다.

역변환부(602)는 복호부(601)로부터 입력된 데이터를, 동화상 부호화 장치(100)에 의해 이루어진 변환처리의 역처리를 함으로써, 재생 완료 화상 생성을 위해서 이용되는 차분 신호를 생성하는 재생 화상 생성 수단의 일 구성 요소이다. 역변환부(602)는 동화상 부호화 장치(100)에서의 역변환부(105)에 대응하고 있다. 역변환을 위한 관계식 등은 미리 역변환부(602)에 기억시켜 둔다. 역변환부(602)에서 생성된 차분 신호는 가산부(603)에 입력된다.

가산부(603)는 나중에 설명하는 예측 생성부(605)로부터 출력된 예측 신호와 역변환부(602)에 의해 생성된 차분 신호를 합하여 합 신호로 하여 재생 신호를 생성하는 재생 화상 생성 수단의 일 구성 요소이다. 가산부(603)는 동화상 부호화 장치(100)에서의 가산부(106)에 대응하고 있다. 가산부(106)에 의해 생성된 재생 신호는 기억부(604)에 입력되는 동시에 동화상 복호 장치(600)의 출력이 된다.

기억부(604)는 가산부(603)로부터 입력된 복호 블록(복호된 부호화 대상 블록)인 재생 신호를 재생 완료 동화상 데이터로서, 프레임 메모리 등의 동화상 복호 장치(600)에 구비되는 기억장치에 기억하여 축적하는 기억 수단이다. 기억부(604)는 동화상 부호화 장치(100)에서의 기억부(107)에 대응하고 있다. 복호 블록은 동화상 데이터의 복호가 모두 종료할 때까지 모두 축적하여 둔다. 이와 같이 재생 완료 동화상 데이터는 차차 축적된다.

예측 생성부(605)는 기억부(604)에 의해 축적된 재생 화상을 판독하여, 재생 화상을 기초로 예측 대상(복호 대상)의 블록의 예측 신호를 생성한다. 예측 생성부(605)는 동화상 부호화 장치(100)에서의 예측 생성부(108)에 대응하고 있고, 동일한 기능을 갖고 있기 때문에, 여기에서는 설명을 생략한다.

계속해서, 도 7의 흐름도를 이용하여, 본 실시형태의 동화상 복호 장치(600)에서의 복호처리(동화상 복호 방법)를 설명한다. 동화상 복호 장치(600)에 의해 복호되는 압축 부호화 데이터는 동화상 부호화 장치(100)에 의해 부호화된 것으로 한다.

우선, 복호 대상의 압축 부호화 데이터가 동화상 복호 장치(600)에 입력되면, 복호부(601)에 의해 복호가 행하여진다(S701, 복호 단계). 복호되면, 블록 단위에서의 변환 데이터가 추출된다. 이 변환 데이터는 복호부(601)에 의해 역변환부(602)에 입력된다. 또한, 복호 대상의 블록의 프레임에서의 위치정보가 동화상 복호 장치(600)에서 복호처리를 통괄하고 있는 컨트롤러(도시하지 않음)로부터 예측 생성부(605)에 입력된다. 또, 복호 대상의 블록의 위치는 부호화 순서에 의존한다.

다음에, 아래와 같이 예측 생성부(605)에 의해 복호 대상의 블록의 예측 신호가 생성된다. 우선, 템플릿 영역 결정부(201)에 의해 블록에 인접하는 재생 화상상에 템플릿 영역이 설정된다(S702, 탐색 단계). 다음에, 매칭부(202)에 의해, 부호화 대상의 블록과 동일 및 다른 프레임에서의 재생 화상에 대하여 템플릿 매칭이 행하여지고, 템플릿 영역의 재생 신호와 상관이 높은 영역이 탐색된다(S703, 탐색 단계). 다음에, 보충부(203)에 의해, 템플릿 매칭에 의해 얻어진 고상관영역과 소정의 위치 관계(도 4의 예로서는 우측 및 하측)로 인접하고 있는 부호화 대상 블록과 같은 크기의 영역이, 예측 신호로서 설정된다(S704, 예측 신호 결정 단계). 설정된 예측 신호는 가산부(603)에 입력된다.

다음에, 역변환부(602)에 의해, 복호부(601)로부터 입력된 변환 데이터가 역변환되어, 차분 신호가 생성된다(S705, 재생 화상 생성 단계). 또, S702 내지 S704의 일련의 처리와 S705의 처리는, 이하에 설명하는 S706 이후의 처리 전에 행하여지면 좋기 때문에, 순서가 반대로 되어 있어도 좋다.

다음에, 가산부(603)에 의해, 역변환부(602)로부터 입력된 차분 신호와 예측 생성부(605; 보충부(203))로부터 입력된 예측 신호가 더해져 합 신호가 되고, 재생 신호인 복호 블록이 생성된다(S706, 재생 화상 생성 단계). 생성된 복호 블록은 기억부(604)에 입력되어, 기억부(604)에 의해, 프레임 메모리 등에서의 복호 대상이 되는 프레임에 따른 소정의 어드레스에 보존된다(S707, 기억 단계).

계속해서, 프레임 화상의 모든 블록에서 상기한 처리(S701 내지 S707)가 종료하였는지의 여부가 판단된다(S708). 종료하여, 재생된 프레임 화상이 완성된 경우는 재생된 프레임 화상을, 스크린 등의 표시수단(도시하지 않음)에 출력한다. 또한, 다른 표시용 장치에 출력하여도 좋다. 또, 미처리의 블록이 남아 있으면, 다음의 블록의 처리로 이행한다. 또, 상기한 판단은 예를 들면, 상기한 어떤 구성 요소에 의해 행하여져도 좋고, 동화상 복호 장치(600)에서의 부호화 처리를 통괄하는 수단을 설치하고 그것에 행하게 하여도 좋다.

상술한 바와 같이, 본 실시형태의 동화상 복호 장치(600)에 의하면, 동화상 부호화 장치(100)와 같이 예측 신호를 결정하여, 동화상을 복호할 수 있다. 즉, 본 실시형태의 동화상 복호 장치(600)에 의하면, 상기한 동화상 부호화 장치(100)에 의해 효율적인 부호화가 된 동화상 데이터를 정확하게 복호하여 재생 화상을 생성할 수 있다.

또, 본 실시형태에는 이하와 같은 변형예를 고려할 수 있다. 이하의 변형예는 동화상 부호화 장치 및 동화상 복호 장치에 관해서 설명한 것이지만, 동화상 부호화 처리 및 동화상 복호처리에 관해서도 마찬가지로 실시 가능하다.

(1) 탐색 범위

여기까지는 템플릿 매칭의 대상인 탐색 범위를 부호화 대상 프레임 내의 재생 완료 영역(403)과 재생 완료 프레임의 재생 화상(404)으로 하고 있지만, 프레임 단위로 어느 하나를 선택하여도 좋다. 예를 들면, 재생 완료 영역(403)에 한정하면, 프레임 내의 재생 신호만을 예측 대상으로 하는 인트라 프레임에도 본 발명은 적용할 수 있다. 마찬가지로 재생 화상(404)만을 탐색 대상에 한정함으로써, 프레임간의 예측을 수반하는 인터 프레임의 복호시의 연산량을 저감할 수 있다는 효과가 있다. 또, 재생 완료 영역(403)을 템플릿 매칭의 탐색 대상으로 하는 예측 모드(인트라 템플릿 매칭 예측)와 재생 화상(404)을 템플릿 매칭의 탐색 대상으로 하는 예측 모드(인터 템플릿 매칭 예측)를 준비하여, 블록 단위로 선택한다는 방법도 복호시의 연산량의 삭감으로 연결되기 때문에 효과적이다. 이때, 도 5의 설명에서 도시한 바와 같이, 비특허문헌 1에 기재되어 있는 복수의 예측 모드와 조합하여 이용하는 것도 가능하다. 또, 각 화상 내의 탐색 범위를 미리 설정한 소영역으로 하는 것도 연산량의 저감으로 이어지기 때문에 효과적이다.

(2) 복수 프레임

여기까지는 템플릿 매칭의 대상으로 하는 재생 완료 프레임의 매수에 관해서는 특별히 설명하지 않았지만, 복수장을 대상으로 하는 것은 예측 성능을 높이기 때문에 유효하다. 이때, 부호화 대상 프레임 내의 재생 화상영역을 포함하여도 좋다. 이하, 이들의 템플릿 매칭 대상이 되는 재생 완료 프레임의 재생 화상 및 부호화 대상 프레임의 재생 화상영역을 총칭하여 참조 프레임의 참조 화상이라고 부르기로 한다. 이때, 참조 화상은 정수화소뿐만 아니라, 필터처리에 의해 생성한 실수화소도 포함한 해상도가 높은 화상으로 하여도 좋다. 실수화소의 생성방법은 예를 들면, 비특허문헌 1에 기재되어 있다. 선택하는 참조 프레임번호는 블록 단위 또는 프레임 단위로 부호화하여도 좋고, SAD 등의 지표치에 의해 부가정보없이 선택하는 것도 가능하다. 명시적으로 부호화하는 경우에는 (부호화 대상 블록에서의) 예측 대상 영역의 원신호와 복수의 참조 프레임의 참조 화상으로부터 생성된다(부호화 대상 블록에서의) 예측 대상 영역의 예측 신호를 비교하여, 1장의 참조 프레임을 선택한다.

이 부호화 처리는 도 18에 도시하는 바와 같이 도 1에 도시하는 동화상 부호화 장치(100)에서 예측 생성부(108)와 감산부(102)의 사이에 선택부(109)를 추가함으로써 실시할 수 있다. 선택부(109)는 예측 생성부(108)가 복수의 참조 프레임을 대상으로서 생성한 예측 신호에 관해서, 부호화 대상 블록의 원신호와의 사이의 지표치(SAD나 MSE 등)를 계산하여, 지표치가 최소가 되는 참조 프레임을 선택한다. 선택한 참조 프레임번호는 부호화부(104)에서 엔트로피 부호화된다. 또, 선택부(109)의 처리는 예측 생성부(108)에 포함되어 있어도 같은 결과를 얻을 수 있기 때문에, 이 구성으로도 본 변형예는 실시할 수 있다. 복호처리에서는 도 19에 도시하는 바와 같이, 예측 생성부(606)가 복호부(601)에서 복호된 참조 프레임번호에 대응하는 참조 프레임을 이용하고 예측 신호를 생성한다.

또한, 1장의 참조 프레임을 선택하여 부호화 대상 블록의 예측 신호를 생성하는(1프레임 선택처리) 것은 아니고, 2장의 참조 프레임을 선택하고, 선택한 참조 프레임으로부터 얻어지는 부호화 대상 블록의 예측 신호를 화소 단위로 평균화하여 최종적인 예측 신호를 산출(평균화 처리)하여도 좋다. 이때, 부호화 대상 블록의 예측 신호의 선택후보를, 같은 참조 프레임으로부터 취득하는 것도 고려할 수 있다. 1화소(또는 1/2화소나 1/4화소) 어긋난 위치의 예측 신호를 같은 참조 프레임으로부터 2개 선택하면, 내삽 처리에 의해 탐색하는 움직임 벡터의 정밀도를 높이는 효과도 있다. 또, 평활화 처리는 예측 오차신호의 잡음 성분을 제거하는 효과가 있기 때문에, 일반적으로, 변환 부호화와의 상성(相性)이 좋다.

2장의 참조 프레임을 선택하는 경우 단순한 평균화가 아니라, 화소마다의 가중 평균화 처리로, 예측 대상 영역의 최종적인 예측 신호를 산출하는(가중 평균화 처리) 것도 가능하다. 가중 계수는 블록 내에서 일정치로 하는 방법이나 화소 단위로 변경하는 방법이 있다. 가중 계수의 설정의 방법이나 부호화 방법에 관해서는 특별히 한정되지 않지만, 비특허문헌 1에 기재되는 방법을 적용할 수 있다.

또, 홀수장의 참조 프레임을 선택하여, 화소 단위로 예측 대상 영역의 예측 신호의 중앙치를 선택하는 방법도 있다(중앙치 예측 처리). 또, 4장 이상의 짝수장의 프레임으로부터 화소 단위로 예측 대상 영역의 예측 신호의 중앙의 2치를 선택하여, 평균화 또는 가중 평균화에 의해 예측치를 산출하는 방법도 실시 가능하다. 이러한 중앙치를 이용한 예측방법은 평균적인 예측 오차를 작게 하는 효과가 있다.

이들의 평균화 처리, 가중 평균화 처리, 중앙치 예측 처리는 도 20에 도시하는 바와 같이 도 2에 도시하는 예측 생성부(108)에 신호 생성부(204)를 추가한 예측 생성부(1108)에 의해 실현할 수 있다(도 1의 예측 생성부(108)와 도 6의 예측 생성부(605)에 적용). 신호 생성부(204)에서는 복수 프레임에 의해 생성되는 예측 대상 영역의 예측 신호를 입력으로 하여, 상기에 개시한 처리방법에 의해 최종적인 예측 신호를 생성한다. 신호 생성부(204)의 처리는 재생 화상이나(재생 화상에 관한 데이터임) 재생 화상에 속하는 특징 데이터(움직임 벡터 등)로부터 도출되는 정보를 이용하여 실시할 수 있기 때문에, 복호측에서도 같은 처리를 실시할 수 있다.

1 프레임 선택처리, 평균화 처리, 가중 평균화 처리, 중앙치 예측 처리 등으로부터 복수의 처리 수법을 준비하여, 블록 단위나 프레임 단위로 처리 수법을 선택하는 방법도 고려할 수 있다. 복호치에 의해 구성되는 템플릿을 이용하는 예측 처리에서는 지표치가 최적이 되는 움직임이 예측 오차신호를 최소화한다는 보증은 없다. 이 때문에, 예측 대상 영역의 예측 신호의 특성이 다른 복수의 처리 수법으로, 적절한 수법을 선택하는 방법은 유효하다.

처리 수법의 선택방법으로서는 우선 예측 대상 영역의 예측 오차 절대치합(또는 예측 오차 자승합)을 최소로 하는 방법을 부호화측에서 선택하여(도 18의 선택부(109)), 복호측에 전송하는 방법을 고려할 수 있다. 이 선택 수법은 도 18의 예측 생성부(108)와 도 19의 예측 생성부(606)를 도 20의 예측 생성부(1108)로 바꿈으로써 실현할 수 있다. 또, 여기에서는 도 18의 선택부(109)는 선택한 참조 프레임번호 대신에, 선택한 처리 수법의 정보를 부호화부(104)에 출력한다. 선택부(109)의 처리가 예측 생성부(1108)에 포함되는 구성이어도 같은 결과를 얻을 수 있기 때문에, 이 구성으로도 실시 가능하다.

또한, 각각의 처리 수법에 기초하여 템플릿 영역의 예측 신호를 생성하고, 템플릿 영역의 생성신호와의 사이에서 지표치(SAD나 MSE 등)를 계산하는 것으로 자동적으로 처리 수법을 선택하는 방법도 고려할 수 있다. 예를 들면, 평균화 처리에서는 템플릿 영역의 2개의 예측 신호의 후보를 화소 단위로 평균화하여 예측 신호를 계산하고, 계산한 예측 신호와 템플릿 영역의 재생 신호와의 사이에서 지표치를 계산한다. 이 방법에 의하면 재생 화상이나 재생 화상에 속하는 특징 데이터(움직임 벡터 등)로부터 도출되는 정보를 이용하여 처리 수법을 일의적으로 정할 수 있기 때문에, 처리 수법의 정보를 부호화할 필요가 없다.

또한, 템플릿 영역 내의 신호의 분산치(TaV)와 복수 참조 프레임에 대한 지표치의 분산치(EvV)의 조합에 의해, 4개의 조건을 설정하고, TaV와 EvV가 공에 임계치보다 작은 경우에는 평균화 처리, TaV만이 임계치보다 작은 경우에는 가중 평균화 처리, EvV만이 임계치보다 작은 경우에는 중앙치 예측 처리, TaV와 EvV가 함께 임계치보다 큰 경우에는 1프레임 선택처리로 하는 수법도 고려할 수 있다. 이 경우 템플릿 영역의 재생 신호의 분산에 의해 템플릿의 공간방향의 특징의 강도를 평가하고, 지표치의 분산에 의해 템플릿 영역의 시간방향의 특징의 강도를 평가한다. 이 수법에서는 분산치가 작을 수록, 예측 대상 영역의 예측 신호에서의 복수후보의 차가 작고, 평활화에 의한 예측 오차신호의 잡음을 제거하는 효과가 높다는 가정에 기초하여 처리 수법의 선택을 실시하고 있다. 이러한 자동적인 선택방법은 도 18의 예측 생성부(108)를 도 20의 예측 생성부(1108)로 바꾸는 동시에, 도 18의 선택부(109)에 상기에서 개시한 선택방법을 도입하는 것으로 실현할 수 있다. 이 선택방법에 있어서도, 재생 화상이나 재생 화상에 속하는 특징 데이터(분산치 등)로부터 도출되는 정보를 이용하여 처리 수법을 일의적으로 정할 수 있기 때문에, 처리 수법의 정보를 부호화할 필요가 없다. 이 때문에, 선택부(109)로부터 부호화부(104)에 대한 출력은 생략된다.

이때, 상기에 개시한 분산치를 이용하는 선택방법에서는 선택부(109)에 대한 입력을 부호화 대상 블록의 원신호로부터 템플릿 영역의 재생 신호로 바꾸고, 예측 생성부(1108)로부터 선택부(109)에 대한 입력에 복수 참조 프레임의 지표치를 추가하는 것이 필요하게 된다. 또, 선택부(109)의 처리를 예측 생성부(1108)가 포함하는 구성으로도 같은 결과를 얻을 수 있기 때문에, 이 구성으로도 실시 가능하다. 복호측의 처리는 부호화 처리에 맞추어, 도 6의 예측 생성부(605)를 도 20의 예측 생성부(1108)와 도 18 선택부(109)의 조합으로 바꿈으로써 실현할 수 있다. 또, 자동적인 선택방법은 여기에서 기재한 방법에 한정되지 않고, 재생 화상이나 재생 화상에 속하는 특징 데이터로부터 도출되는 정보만을 이용하는 방법이면 실현할 수 있다.

(3) 예측 생성부의 구성

예측 생성부(108)는 템플릿 영역 결정부(201), 매칭부(202), 보충부(203)에 의해 구성되어 있지만, 본 발명은 이 구성에 한정되지 않고 실현할 수 있다. 예를 들면, 템플릿 영역의 재생 신호를 미리 정한 순서에 의해 부호화 대상 프레임의 재생 신호로부터 직접 입력되는 구성으로 하면, 템플릿 영역 결정부(201)는 불필요하다. 또한, 매칭부(201)에서, 참조 프레임으로부터 템플릿 영역의 예측 신호를 취득할 때에, 예측 대상 영역의 예측 신호를 동시에 취득하도록 구성하면, 보충부가 없어도 예측 신호는 생성할 수 있다.

(4) 부호화 대상 블록의 사이즈

본 실시예에서는 부호화 대상 블록의 사이즈를 8화소×8화소로 하고 있지만, 본 발명은 다른 블록 사이즈로도 실시할 수 있기 때문에, 이 사이즈에 한정되지는 않는다. 또한, 템플릿 영역의 사이즈에 관해서도, 한정되지 않는다. 예를 들면, 8화소×8화소에서는 템플릿 영역과 예측 대상 영역을 합쳐서 12화소 ×12화소로 하는 경우나, 템플릿 영역의 사이즈를 그 반으로 하는 10화소 ×10화소 등 여러가지이다. 또한, 블록 단위나 프레임 단위로, 부호화 대상 블록의 사이즈와 템플릿 영역의 사이즈를 변경하는 것도 유효하다. 비특허문헌 1에 개시되어 있는 바와 같이, 다른 사이즈의 부호화 대상 블록과 템플릿 영역의 세트를 준비하는 것은 화상 내의 다른 모양에 대응할 수 있기 때문에 유효하다. 또한, 인트라 템플릿 매칭 예측과 인터 템플릿 매칭 예측을 고려한 경우 템플릿 영역과 탐색 범위의 용장성이 일반적으로 낮은 인트라 템플릿 매칭 예측의 블록 사이즈를 작게 하면 예측 효율의 향상을 기대할 수 있다.

또, 예측 대상 블록과 부호화 대상 블록과는 다른 블록 사이즈로도 본 발명의 예측은 실시 가능하다.

(5) 템플릿 영역의 재생 신호

여기까지는 템플릿 영역의 재생 신호를 부호화 대상 프레임의 재생 완료 화소로 구성하고 있지만, 그 밖의 참조 프레임상의 재생 완료 화소도 복호측에 기지(旣知)이기 때문에 이용할 수 있다. 예를 들면, 8화소 ×8화소 블록의 예측 대상 영역을 4 화소 ×4 화소 블록으로 분할하고, 4 ×4 블록 단위로 예측 신호를 생성하는 경우를 고려할 수 있다. 템플릿 영역과 예측 대상 영역을 합쳐서 6 화소 ×6 화소 블록으로 하면, 8 ×8 블록의 좌측 위의 4 ×4 블록의 템플릿 영역에 관해서는 부호화 대상 프레임의 재생 완료 화소로 구성할 수 있다. 그렇지만 8 ×8 블록의 우측상의 4 ×4 블록의 템플릿 영역에서는 블록상부의 6 ×2 화소는 부호화 대상 프레임의 재생 완료 화소로 구성할 수 있지만, 블록 좌측부의 2×2화소는 아직 부호화되어 있지 않았기 때문에, 좌측 위의 4 ×4 블록의 예측 신호로 대용한다. 마찬가지로 8 ×8 블록의 좌측 아래의 4 ×4 블록에서는 블록 상부의 2 ×2 화소, 우측 아래의 4 ×4 블록에서는 템플릿 영역의 전체 화소에 관해서는 부호화 대상 프레임의 재생 완료 화소가 부호화되어 있지 않았기 때문에 예측 신호로 대용한다.

또, 여기까지는 템플릿 영역의 재생 신호를, 부호화 대상 블록에 인접하는 블록의 재생 완료 화소를 취득하여 구성하고 있지만, 재생 완료 신호에 노이즈를 제거하는 필터 등을 실시하여 템플릿 영역의 재생 신호를 생성하여도 좋다. 예를 들면, 잡음이 많은 화상에서는 템플릿 영역의 재생 신호 및 참조 화상에 필터처리를 실시함으로써, 잡음에 영향을 받지 않는 움직임 검출이 가능해진다.

(6) 지표치에 관해서

여기까지는 템플릿 매칭으로 대상 영역 내의 예측 신호를 생성할 때의 지표치를, 템플릿 영역에서의 예측 신호와 대상신호의 차분 절대치합(SAD)이나 평균 자승 오차(MSE)로 하였지만, 이것에 한정되지 않는다. 예를 들면, T.Wiegand et.al., “Rate-Constrained Coder Control and Comparison of Video Coding Standards", IEEE Trans. Circuits and Systems for Video Technology, vol.13, No.7, July2003, 688-703.(비특허문헌 2)에 기재되어 있는 바와 같이 차분 움직임 벡터의 크기를 고려한 값도 본 발명의 지표치에 적용 가능하다.

*또, 각 화소의 차분 절대치 또는 자승 오차에 가중하는 것도 유효하다. 예를 들면, SAD를 평가치로 하는 경우 템플릿 영역과 예측영역의 경계 화소의 차분 절대치에 4, 경계로부터 멀어지는 것에 3, 2, 1로 무게를 작게 하여 간다고 하는 방법을 고려할 수 있다. 이와 같이 경계에 가까운 화소를 우선함으로써 예측 성능의 향상을 기대할 수 있다.

(7) 역변환부의 구성

도 1에서는 역변환부(105)의 입력은 변환부(103)로부터의 출력으로 되어 있지만, 부호화부(104)로부터의 출력이어도 좋다. 이 경우 역변환부(105)의 처리 전에, 도 6의 복호부(601)의 처리가 실시된다. 또, 동화상 부호화 장치와 동화상 복호 장치의 처리를 통일화하는 실장방법으로도 본 발명은 실시할 수 있다. 요컨대, 부호화부(104)의 출력을, 도 6의 복호부(601)에서 처리하여, 복호 화상을 기억부(107)에 입력한다고 하는 구성도 고려할 수 있다.

[제 2 실시형태]

제 2 실시형태에서의 동화상 부호화 장치 및 동화상 복호 장치의 장치 구성은 제 1 실시형태에서의 장치 구성과 예측 생성부의 상세한 구성을 제외하고 동일하다. 이하, 본 실시형태에서의 예측 생성부와 제 1 실시형태에서의 예측 생성부(108, 605)의 상위점에 관해서 설명한다.

도 8에 도시하는 바와 같이, 본 실시형태의 예측 생성부(800)는 판단부(801)와 템플릿 영역 결정부(802)와 매칭부(803)와 보충부(804)를 구비하여 구성된다.

판단부(801)는 템플릿 영역의 재생 신호와 기억부(107, 604)에 의해 기억된 재생 화상을 비교하고, 상기 비교 결과에 기초하여 부호화 또는 복호의 대상이 되는 영역(예측 대상 블록)의 신호의 공간적 연속성을 추정하는 추정 수단이다. 또, 공간적 연속성은 어떤 공간 내에서의 움직임의 방향?크기 등의 특징이 어느 정도 일치하고 있는지를 나타내는 지표이다. 즉, 어떤 영역 내에서, 그 영역의 상반분과 하반분에서 움직임의 특징이 다른 경우 공간성 연속성은 없다. 또한, 판단부(801)는 추정된 화상의 공간적 연속성에 기초하여, 부호화 또는 복호의 대상이 되는 영역을 더욱 분할하여 상기 분할된 영역을 새로운 부호화 또는 복호 대상의 영역(예측 대상 영역, 보충영역)으로서 설정하는 동시에 상기 새로운 부호화 또는 복호 대상의 영역에 대한 템플릿 영역을 설정하는 설정 수단이다. 판단부(801)는 기억부(107, 604)에 의해 기억된 재생 화상을 분석하여, 템플릿 영역의 사이즈 및 예측 대상 영역의 사이즈를 포함하는 예측 파라미터를 결정하고, 그 정보를 템플릿 영역 결정부(802)와 보충부(804)에 출력한다. 예측 파라미터의 구체적 결정방법은 후술한다.

템플릿 영역 결정부(802)는 판단부(801)로부터 입력된 템플릿 영역의 사이즈의 정보에 기초하여, 예측 신호를 생성하기 위해서 이용하는 템플릿 영역 및 그 영역의 화상을 설정하는 탐색 수단의 일 구성 요소이다. 템플릿 영역 결정부(802)는 제 1 실시형태에서의 템플릿 영역 결정부(201)에 대응하여, 같은 기능을 갖는다.

매칭부(803)는 템플릿 영역 결정부(802)에 의해 설정된 템플릿 영역의 화상을 이용하여, 기억부(107, 604)에 의해 축적된 재생 화상을 탐색영역으로서 템플릿 매칭을 실시하여, 탐색영역 내에서 템플릿 영역의 화소군과의 상관이 가장 높아지는 영역을 탐색하는 탐색 수단이다. 매칭부(803)는 제 1 실시형태에서의 매칭부(202)에 대응하여 같은 기능을 갖는다.

보충부(804)는 매칭부(803)에 의해 탐색된 영역(고상관영역), 및 예측 대상 블록과 템플릿 영역과의 사이의 위치 관계에 기초하여, 예측 대상 블록과 동 사이즈의 예측 신호를 재생 화상으로부터 설정하여 결정하는 예측 신호 결정 수단이다. 이때의 예측 대상 블록의 사이즈는 판단부(801)에 의해 설정된 것이다. 보충부(804)는 제 1 실시형태에서의 보충부(203)에 대응하여 같은 기능을 갖는다.

여기에서, 판단부(801)에서의 템플릿 영역의 사이즈 및 예측 대상 영역의 사이즈의 결정방법을 도 14 및 도 15를 이용하여 설명한다. 템플릿 영역의 사이즈 및 예측 대상 영역의 사이즈의 결정에는 예측 대상 블록에 인접하는 재생 완료 화소를 이용한다. 도 14는 예측 대상 블록(1401)의 화소와 그 주변의 재생 완료 화소(1402)를 도시한 도면이다. 우선, 도 14a 및 14b에 도시하는 바와 같이, 예측 대상 블록(1401)에 인접하는 영역(1402)을 모두 커버하는 영역(A), 및 영역(1402)을 분할하여 각각 및 영역(1402)의 일부를 커버하는 영역(B, C, D; 영역(B, C, D)은 각각 겹치지 않고, 합하면 영역(1402)이 된다)의 4개의 영역을 준비한다.

다음에, 영역(A, B, C, D)을 템플릿 영역으로 하였다, 기억부에 의해 축적된 재생 화상에 대한 템플릿 매칭을 실시하여, 상관이 높은 영역을 각각 구한다. 여기에서, 상관치로서는 예를 들면 SAD를 이용하기로 한다. 각각의 영역(A, B, C, D)에 대한 SAD를, SAD_A, SAD_B, SAD_C, SAD_D로 하여, SAD_A와 (SAD_B+SAD_C+SAD_D)를 비교한다. SAD_A쪽이 대단히 큰 경우 영역(A) 내에서 공간적 연속성이 없고, 예측 대상 블록(1401)에서도 공간적 연속성이 없다고 추정한다. 즉, 도 15에 도시하는 바와 같이, 재생 완료의 화상의 영역(1501)에서, 영역(A)과 상관이 높은 영역(1501a)과, 영역(B, C, D)과 상관이 높은 영역(1501b, 1501c, 1501d)이 따로따로 위치하고 있는 상태라고 추정한다. 이 추정에 기초하여, 공간 A에 의한 템플릿 매칭에서는 예측이 잘 되지 않는다(결정된 예측 신호와 부호화 및 복호 대상 화상의 괴리가 커진다)고 판단한다. SAD_A쪽이 대단히 크다는 판단은 임계치를 미리 정하여 두는 등에 의해 행할 수 있다. 이와 같이 판단하면, 템플릿 영역의 사이즈 및 예측 대상 영역의 사이즈를, 블록을 더욱 분할하여, 블록의 사이즈보다도 작게 설정한다. 이때의 예측 대상 영역의 사이즈는 예를 들면, 영역(B, C, D)의 분할에 따른 사이즈로 할 수 있다. 또한, 템플릿 영역은 그 예측 대상 영역의 사이즈에 따른 사이즈로 한다.

반대로 SAD_A와 (SAD_B+SAD_C+SAD_D)에 그다지 차가 없는 경우에는 영역(A) 내에서 공간적 연속성이 있고, 예측 대상 블록(1401)에서도 공간적 연속성이 있다고 추정한다. 이 추정에 기초하여, 영역(A)에 의한 템플릿 매칭이 유효하다고 판단하고, 예측 대상 영역은 블록의 사이즈로 한다(예측 대상 영역을, 블록이 분할되지 않은 영역으로 함). 또, 상기한 판단에 이용하는 예측 대상 블록(1401)에 인접하는 영역(1402)을 분할한 영역은 도 14b에 도시하는 영역(B, C, D)과 같은 패턴뿐만 아니라, 도 14c와 같이, 더욱 세분화하여도 좋다.

본 발명과 같은 템플릿 매칭에 의한 예측에서는 움직임 벡터에 의한 예측과는 달리, 정확한 예측은 될 수 없다. 이 때문에 예측을 되도록이면 피할 필요가 있다. 그리고 오류 예측은 일반적으로는 템플릿 영역의 사이즈가 작을 때에 발생하기 쉬워진다고 고려할 수 있다. 반면, 움직임이 미세하고 공간적인 연속성이 없는 부분에서는 템플릿 영역이나 예측 대상 영역이 크면, 미세한 움직임에 대응할 수 있지 않아, 예측 오차가 증가하게 된다. 따라서, 본 발명에 의한 수법과 같이 템플릿 영역의 사이즈 및 예측 대상 영역의 사이즈를 작게 하여 미세한 움직임에 적합한 확률을 올리는 것이 유효해진다.

템플릿 영역의 사이즈 및 예측 대상 영역의 사이즈가 변경되었을 때의 예측의 추이에 관해서 도 9를 이용하여 설명한다. 예측 대상 블록(901)에 인접하는 영역에 공간적 연속성이 존재하여, 예측 대상 영역의 사이즈가 예측 대상 블록(901) 전역인 경우는 제 1 실시형태와 같이 한번의 템플릿 매칭으로 처리를 한다. 예를 들면, 도 9에 도시하는 바와 같이, 예측 대상 블록(901)을 영역(901a, 901b, 901c, 901d)의 4개의 영역으로 분할하여, 예측 대상 영역 사이즈를 작게 하고, 템플릿 영역의 사이즈도 아울러 작게 한 경우로 설명한다. 또, 예측 대상 블록(901)의 좌측 및 상측의 영역은 재생 완료인 화상의 영역인 것으로 한다.

우선, 도 9a에 도시하는 바와 같이, 예측 대상 블록(901)의 좌측 위의 영역(901a)에 대하여, 좌측 및 상측의 영역(902a)을 템플릿 영역으로 설정하고, 템플릿 매칭에 의한 예측 신호의 설정을 한다. 다음에, 도 9b에 도시하는 바와 같이, 영역(901a)의 우측의 영역(901b)에 대하여, 상측의 영역(902b)을 템플릿 영역으로 설정하고, 템플릿 매칭에 의한 예측 신호의 설정을 한다. 다음에, 도 9c에 도시하는 바와 같이, 최초에 예측 신호의 설정을 한 영역(901a)의 하측의 영역(901c)에 대하여, 좌측의 영역(902c)을 템플릿 영역으로 설정하고, 템플릿 매칭에 의한 예측 신호의 설정을 한다. 다음에, 도 9d에 도시하는 바와 같이, 나머지의 영역인 우측 아래의 영역(901d)에 대하여, 영역(901a, 901b, 901c)을 포함하는 좌측 및 상측의 영역(902d)을 템플릿 영역으로 설정하고, 예측 신호를 템플릿 영역의 대상신호로서 템플릿 매칭에 의한 예측 신호의 설정을 한다. 이것에 의해, 예측 대상 블록(901)의 모든 영역에 대하여 예측 신호를 설정하게 되어, 부호화 및 복호가 가능해진다.

또, 템플릿 영역의 사이즈 및 예측 대상 영역의 사이즈의 변경의 방법으로서는 도 9a 내지 9d와 같이 종횡의 양방향으로 분할하는 것뿐만 아니라, 도 9e, 9f와 같이, 종횡 어떤 방향만 분할하도록 하여도 좋다. 예를 들면, 도 14b에서, 영역(A)에서의 고상관영역에 영역(B, C, D, E)에서의 고상관영역이 포함되고, 영역(F)에서의 고상관영역만이 포함되지 않는 경우에 도 9e, 9f와 같이 세로방향으로 분할하는 것이 좋다. 이러한 경우 예측 대상 블록의 상반분과 하반분에서 공간적 연속성이 끊어진다고 판단할 수 있기 때문이다.

이 경우 우선, 도 9e에 도시하는 바와 같이, 예측 대상 블록(901)의 상반의 영역(901e)에 대하여, 좌측 및 상측의 영역(902e)을 템플릿 영역으로 설정하고, 템플릿 매칭에 의한 예측 신호의 설정을 한다. 다음에, 도 9f에 도시하는 바와 같이, 영역(901e)의 하측의 영역(901f)에 대하여, 좌측의 영역(902f)을 템플릿 영역으로 설정하고, 템플릿 매칭에 의한 예측 신호의 설정을 한다. 이것에 의해, 예측 대상 블록(901)의 모든 영역에 대하여 예측 신호를 설정하게 되어, 부호화 및 복호가 가능해진다.

계속해서, 도 10의 흐름도를 이용하여, 본 실시형태의 동화상 부호화 장치에서의 부호화 처리(동화상 부호화 방법)를 설명한다.

우선, 부호화 대상의 동화상 데이터가 동화상 부호화 장치에 입력되면, 동화상을 구성하는 프레임 화상마다 영역 분할부(101)에 입력된다. 입력된 프레임 화상은 영역 분할부(101)에 의해 소정의 크기의 복수의 블록으로 분할된다(S100l). 이후의 처리는 모두 블록 단위로 행하여진다. 블록은 부호화 대상의 영역의 화소로서 예측 생성부(800)와 감산부(102)에 입력된다.

다음에, 아래와 같이 예측 생성부(800)에 의해 부호화 대상의 블록의 예측 신호가 생성된다. 우선, 상술한 바와 같이 판단부(801)에 의해 부호화 대상 블록에 인접하는 재생 완료 화소를 이용하여, 상기 부호화 대상 블록에 이용하는 예측 파라미터를 결정한다(S1002, 추정 스텝 및 판단 스텝). 결정된 예측 파라미터는 템플릿 영역 결정부(802)에 입력된다. 다음에, 템플릿 영역 결정부(802)에 의해, 설정한 예측 파라미터에 기초하여, 부호화 대상의 영역을 설정하여 상기 영역에 대하여 인접하는 재생 완료 화소군을 재생 완료 화소영역(템플릿 영역)상에 템플릿으로서 설정한다(S1003). 또, 여기에서 설정되는 부호화 대상의 영역은 상술한 바와 같이 부호화 대상 블록을 분할한 것인 경우가 있다. 다음에, 매칭부(803)에 의해, 부호화 대상의 블록과 동일 및 다른 프레임에서의 재생 화상에 대하여 템플릿 매칭이 행하여지고, 템플릿 영역의 화소군과 상관이 높은 영역이 탐색된다(S1004). 다음에, 보충부(804)에 의해, 템플릿 매칭에 의해 얻어진 고상관영역과 소정의 위치 관계로 인접하고 있는 부호화 대상의 영역과 같은 크기의 영역이, 예측 신호로서 설정된다(S1005).

다음에, 부호화 대상의 블록의 모든 영역에서 예측 신호가 설정되었는지의 여부가 판단된다(S1006). 모든 영역에서 예측 신호가 설정되지 않은 경우 S1003 내지 S1005의 일련의 처리를, 부호화 대상의 블록의 모든 영역에서 예측 신호가 설정될 때까지 반복한다. 또, 상기한 판단은 예를 들면, 상기한 어떤 구성 요소에 의해 행하여져도 좋고, 동화상 부호화 장치에서의 부호화 처리를 통괄하는 수단을 설치하여 그것에 행하게 하여도 좋다.

이후의 처리(S1007 내지 S1013)는 제 1 실시형태에서의 대응하는 처리(S505 내지 S511)와 동일하다.

상술한 바와 같이, 본 실시형태의 동화상 부호화 장치에 의하면, 제 1 실시형태와 같이, 프레임간 예측을 할 때에, 부호화 완료의 재생 화상을 이용하는 것으로 움직임 벡터를 이용하지 않고 프레임간 예측을 할 수 있어, 효율적인 부호화를 가능하게 한다. 또한, 예측 신호의 영역의 사이즈를 재생 완료 신호의 공간적 연속성을 바탕으로 적절하게 선택하는 것이 가능해지기 때문에, 움직임량의 변화가 심한 동화상 데이터의 부호화에 있어서도 부호화 효율이 향상된다.

계속해서, 도 11의 흐름도를 이용하여, 본 실시형태의 동화상 복호 장치에서의 복호처리(동화상 복호 방법)를 설명한다. 본 실시형태의 동화상 복호 장치에 의해 복호되는 압축 부호화 데이터는 상기한 본 실시형태의 동화상 부호장치에 의해 부호화된 것으로 한다.

우선, 복호 대상의 압축 부호화 데이터가 동화상 복호 장치에 입력되면, 복호부(601)에 의해 복호가 행하여진다(Sl101). 복호되면, 블록 단위에서의 변환 데이터가 추출된다. 이 변환 데이터는 복호부(601)에 의해 역변환부(602)에 입력된다. 또한, 복호 대상의 블록의 프레임에서의 위치정보가 복호부(601)에 의해 예측 생성부(800)에 입력된다. 또, 복호 대상의 블록의 위치는 부호화 순서에 의존한다.

다음에, 아래와 같이 예측 생성부(800)에 의해 복호 대상의 블록의 예측 신호가 생성된다. 우선, 상술한 바와 같이 판단부(801)에 의해 복호 대상 블록에 인접하는 재생 화상을 이용하여, 상기 복호 대상 블록에 이용하는 예측 파라미터를 결정한다(S1102, 추정 스텝 및 판단 스텝). 결정된 예측 파라미터는 템플릿 영역 결정부(802)에 입력된다. 다음에, 템플릿 영역 결정부(802)에 의해, 설정한 예측 파라미터에 기초하여, 복호 대상의 영역을 설정하여 상기 영역에 대하여 인접하는 재생 완료 화소군을 템플릿으로서 설정한다(S1103). 또, 여기에서 설정되는 복호 대상의 영역은 상술한 바와 같이 복호 대상 블록을 분할한 것인 경우가 있다. 다음에, 매칭부(803)에 의해, 복호 대상의 블록과 동일 및 다른 프레임에서의 재생 화상에 대하여 템플릿 매칭이 행하여지고, 템플릿 영역의 화소군과 상관이 높은 영역이 탐색된다(S1104). 다음에, 보충부(804)에 의해, 템플릿 매칭에 의해 얻어진 고상관영역과 소정의 위치 관계로 인접하고 있는 복호 대상의 영역과 같은 크기의 영역이, 예측 신호로서 설정된다(S1105).

다음에, 복호 대상의 블록의 모든 영역에서 예측 신호가 설정되었는지의 여부가 판단된다(S1106). 모든 영역에서 예측 신호가 설정되지 않은 경우 S1103 내지 S1105의 일련의 처리를, 복호 대상의 블록의 모든 영역에서 예측 신호가 설정될 때까지 반복한다. 또, 상기한 판단은 예를 들면, 상기한 어떤 구성 요소에 의해 행하여져도 좋고, 동화상 복호 장치에서의 복호처리를 통괄하는 수단을 설치하여 그것에 행하게 하여도 좋다.

이후의 처리(S1107 내지 S1110)는 제 1 실시형태에서의 대응하는 처리(S705 내지 S708)와 동일하다. 또, 제 1 실시형태와 같이, S1102 내지 S1106의 일련의 처리와 S1107의 처리는, S1108 이후의 처리 전에 행하여지면 좋기 때문에, 순서가 반대로 되어 있어도 좋다.

상술한 바와 같이, 본 실시형태의 동화상 복호 장치에 의하면, 본 실시형태의 동화상 부호화 장치와 같이 예측 신호를 결정하여, 동화상을 복호할 수 있다. 즉, 본 실시형태의 동화상 복호 장치에 의하면, 본 실시형태의 상기한 동화상 부호화 장치에 의해 효율적인 부호화가 된 동화상 데이터를 정확하게 복호하여 재생 화상을 생성할 수 있다.

또, 본 실시형태에는 이하와 같은 변형예를 고려할 수 있다. 이하의 변형예는 동화상 부호화 장치 및 동화상 복호 장치에 관해서 설명한 것이지만, 동화상 부호화 처리 및 동화상 복호처리에 관해서도 마찬가지로 실시 가능하다.

(1) 템플릿 영역과 예측 대상 영역의 분리

상기에서는 도 8의 판단부(801)에서 예측 대상 영역과 템플릿 영역의 사이즈나 형상을 동시에 결정하고 있지만, 한쪽의 사이즈와 형상을 고정하여도 좋다. 따라서, 예측 대상 영역의 사이즈와 형상을 고정으로 하고, 템플릿 영역의 사이즈 또는 형상을 적응적으로 바꾸고자 하는 경우에도 본 발명은 적용할 수 있다. 이 경우 판단부(801)로부터 보충부(804)에 대한 출력은 불필요하다. 예를 들면, 도 14에서, 예측 대상 영역(1401)에 대한 템플릿을, 도 14a, 14b의 영역(A), 영역(B), 영역(C), 영역(D)으로부터 선택한다는 방법을 고려할 수 있다. 예측 대상 영역(1401)의 템플릿으로서는 예측 대상 영역(1401)과 사이에 모양의 연속성이 있고, 또한 그것을 구성하는 화소수는 많은 것이 좋다. 이 때문에, 통상은 영역(A)이 바람직하지만, 어떤 방향에 모양의 연속성이 없는 경우에는 작은 사이즈의 템플릿을 이용한 것이 좋다. 또, 판단부(801)에서의 판정 처리는 상기에 개시한 수법에 한정되지는 않는다. 예를 들면, 템플릿 영역의 예측 신호를 실제로 그 영역의 화소를 부호화하였을 때의 예측 신호와 비교하여, 평균 차분 절대치가 작은 템플릿 형상과 사이즈를 선택한다는 방법을 고려할 수 있다. 부호화하였을 때의 예측 신호가 아니라, 그 영역이 속하는 부호화 대상 블록의 재생 신호를 이용하여 다시 예측 신호를 생성하여도 좋다. 또한, 템플릿 영역의 예측 신호와 대상신호(재생 신호)의 평균 차분 절대치가 작은 템플릿 형상과 사이즈를 선택한다는 방법도 고려할 수 있다.

한편, 모양이 아니라 움직임의 연속성을 확보하는 방법도 유효하다. 예를 들면, 영역(A)을 템플릿 영역으로서 검출한 움직임 벡터와 인접 블록의 움직임 벡터 또는 인접 블록으로부터 산출되는 예측 움직임 벡터의 차를 계산한다. 그리고 차분의 움직임 벡터가 미리 정한 임계치보다 작은 경우에는 검출한 움직임 벡터를 예측영역의 움직임 벡터로 한다. 한편, 차분의 움직임 벡터가 미리 정한 임계치보다 큰 경우에는 다른 템플릿 형상(예를 들면, 도 14b의 영역(B, C, D)이나 도 14c의 영역(B, D, F 등))에 관해서 움직임 벡터를 검출한다. 그리고, 각각의 템플릿 영역에 관해서, 그 영역 내의 화소를 부호화하였을 때의 움직임 벡터와 검출한 움직임 벡터를 비교하여, 차가 작은 움직임 벡터를 예측 대상 영역의 움직임 벡터로서 선택한다는 방법도 고려할 수 있다. 그 영역 내의 화소를 부호화하였을 때의 움직임 벡터 대신에, 그 영역이 속하는 부호화 대상 블록의 재생 신호를 이용하여, 다시 움직임 벡터를 재검출하여도 좋다. 어떤 방법에 있어서나, 재생 신호나(재생 신호에 관한 정보임) 재생 신호에 속하는 특징 데이터(움직임 벡터 등)로부터 도출되는 정보를 이용하여 실시 가능하다. 또한, 복수의 템플릿 형상으로 검출한 움직임 벡터의 크기를 비교하여 템플릿 형상이나 예측영역의 사이즈를 정하는 것도 가능하다. 마찬가지로 인접 블록의 움직임 벡터의 크기를 비교하여, 템플릿 형상이나 예측영역의 사이즈를 정하는 것도 가능하다.

후보가 되는 템플릿의 형상과 사이즈는 도 14와 같이 템플릿의 분할에 한정되는 것은 아니다. 예를 들면, 8 화소 ×8 화소에서는 템플릿 영역과 예측 대상 영역을 합친 사이즈를 12 화소 ×12 화소, 10 화소 ×10 화소 및 14 화소 ×14 화소로부터 선택하는 경우도 본 변형예에 포함된다.

(2) 템플릿 영역과 예측 대상 영역의 사이즈 결정

상기에서는 도 8의 판단부(801)에서 템플릿 영역과 예측 대상 영역의 사이즈나 형상을 계산에 의해 결정하고 있지만, 예측 대상 영역의 원신호(부호화 대상 블록)를 이용하여, 최적의 사이즈나 형상의 정보를 부호화하여도 좋다. 이 결정방법은 예를 들면, 도 18과 같이 예측 생성부(108)가 복수종의 템플릿을 이용하여 생성한 예측 대상 영역의 예측 신호를 출력하여, 선택부에서 지표치(SAD나 MSE 등)를 최소로 하는 템플릿 사이즈와 형상을 선택하고, 그 정보를 부호화부(104)에서 엔트로피 부호화함으로써 실시 가능해진다. 선택부(109)의 처리가 예측 생성부(108)에 포함되어 있는 구성으로도 실시할 수 있다.

또한, 예측 대상 영역의 위치에 따라서는 템플릿 영역의 대상신호가 존재하지 않는 경우가 있다. 그 경우에는 존재하는 대상신호만으로 템플릿을 생성한다. 예를 들면, 화상의 좌단에서는 도 14b에 도시하는 영역(C), 화상의 상단에서는 영역(D)을 템플릿 영역으로 한다.

[제 3 실시형태]

재생 신호에 의해 구성되는 템플릿을 이용하는 본 발명의 움직임 예측에서는 템플릿 영역의 대상신호와 예측 신호로부터 산출되는 차분 신호의 지표치가 최소가 되는 움직임을 탐색 범위로부터 검출한다. 따라서, 템플릿 영역의 대상신호에 두드러진 특징이 있는 경우에는 그 특징에 기초하여 적절한 움직임 예측을 실시할 수 있다. 그렇지만, 평탄한 영역과 같이, 템플릿 영역의 대상신호에 두드러진 특징이 나타나지 않는 경우에는 지표치는 최소이어도, 실제와는 다른 움직임을 검출할 가능성이 높아진다. 이 경우 예측 대상 영역의 예측 신호와 대상신호의 차분이 크면, 그 부호량도 증가한다. 그 한편, 두드러진 특징이 없는 평탄한 영역은 신호에 포함되는 고주파 성분이 적고, 해상도를 떨어뜨린 신호와 원래의 신호의 공간 상사성은 높다. 이 때문에, 예측 대상 영역의 대상신호의 해상도를 떨어뜨려 부호화하고, 복호측에서 해상도를 떨어뜨린 재생 신호를 간단한 수법으로 확장하여도, 원래의 신호로부터의 열화를 억제할 수 있다. 그래서, 본 실시형태에서는 평탄한 영역에 최적의 차분 부호화 수법으로서, 예측 대상 영역의 대상신호와 예측 신호의 해상도를 떨어뜨리고, 그 저해상도 차분 신호를 부호화하는 수법(부호화 대상 블록과 예측 블록을 축소화하고, 그 축소 차분 블록을 부호화하는 수법)에 관해서 개시한다.

또, 본 실시형태에서는 편의상, 예측 신호로 구성되는 블록을 예측 블록, 차분 신호로 구성되는 블록을 차분 블록, 재생 신호로 구성되는 블록을 복호 블록이라고 부르기로 한다. 그리고, 부호화 대상 블록은 동화상 데이터의 부호화 대상 프레임의 원신호로 구성되는 블록을 부호화 대상 블록이라고 부른다.

도 21에, 제 3 실시형태를 실시하는 동화상 부호화 장치(2100)를 도시한다. 도 1의 동화상 부호화 장치(100)에, 축소화부(2110; 축소화부(2110-1) 및 축소화부(2110-2)의 총칭)와 확대부(2111)를 형성함으로써 실현할 수 있다. 또, 감산부(2102), 변환부(2103), 부호화부(2104), 역변환부(2105), 가산부(2106)의 기능은 취급하는 블록 사이즈가 작아지는(예를 들면 4 화소 ×4 화소) 것만으로, 각각, 도 1의 감산부(102), 변환부(103), 부호화부(104), 역변환부(105), 가산부(106)의 기능과 같다. 또, 변환부(2103) 및 역변환부(2015)에 관해서는 도 1의 변환부(103) 및 역변환부(105)에서도 비특허문헌 1에 개시되는 바와 같이, 4 화소 ×4 화소 단위로 다루는 것이 가능하다. 이 경우 도 1의 변환부(103) 및 역변환부(105)와 도 21의 변환부(2103) 및 역변환부(2105)의 차이는 처리하는 블록의 수가 4개에서 1개로 감소하는 것을 의미한다.

축소화부(2110-1)와 축소화부(2110-2)는, 각각, 영역 분할부(108)로부터 얻을 수 있는 부호화 대상 블록과, 예측 생성부(108)로부터 얻어지는 예측 블록을 각각, 축소 부호화 대상 블록과 축소 예측 블록으로 축소하여, 감산부(2102)에 출력한다. 감산부(2102)에서는 2개의 축소 블록의 차분을 화소 단위로 계산하여, 축소 차분 블록을 변환부(2103)에 출력한다. 변환부(2103)에서는 변환(및 양자화)처리를 실시하고, 변환 데이터(양자화 데이터)는 부호화부(2104)에서 부호화된다. 동시에, 변환 데이터(양자화 데이터)는 역변환부에서(역양자화 및) 역변환처리를 실시하여, 복호 축소 차분 블록을 가산부(2106)에 출력한다. 가산부(2106)에서는 복호 축소 차분 블록과 축소 예측 블록을 화소 단위로 가산하여, 복호 축소 블록을 생성한다. 확대부(2111)는 복호 축소 블록을 부호화 대상 블록과 같은 사이즈의 복호 블록까지 확대하여, 기록부(107)에 출력한다. 축소화부(2110)에서 확대부(2111)의 처리는 도 23을 참조하여 후술한다.

도 22에, 제 3 실시형태를 실시하는 동화상 복호 장치(2200)를 도시한다. 도 6의 동화상 복호 장치(600)에, 축소화부(2207)와 확대부(2208)를 설치함으로써 실현할 수 있다. 축소화부(2207)와 확대부(2208)의 처리는 각각 도 21에서의 축소화부(2110)와 확대부(2111)와 같은 기능을 가진다. 또, 감복호부(2201), 역변환부(2202), 가산부(2203)의 기능은 취급하는 블록 사이즈가 작아지는(예를 들면 4화소×4화소) 것만으로, 각각, 도 6의 복호부(601), 역변환부(602), 가산부(603)의 기능과 같다. 또, 역변환부에 관해서는 도 1의 부호화 장치와 함께 도 6의 역변환부(602)에서도 비특허문헌 1에 개시되는 바와 같이, 4 화소 ×4 화소 단위로 다루는 것이 가능하다. 이 경우 도 6의 역변환부(602)와 도 22의 역변환부(2202)의 차이는 처리하는 블록의 수가 4에서 1개로 주는 것을 의미한다.

축소화부(2207)는 예측 생성부(605)로부터 얻어지는 예측 블록을 축소 예측 블록으로 축소하여, 가산부(2203)에 출력한다. 가산부(2203)에서는 복호부(2201)와 역변환부(2202)의 처리에 의해 복호된 복호 축소 블록과 축소 예측 블록을 화소 단위로 가산하여, 복호 축소 블록을 생성한다. 도 22의 부호화 장치와 같이, 역변환부(2202)는 양자화 처리를 포함하여도 좋다. 확대부(2208)는 복호 축소 블록을 복호 블록과 같은 사이즈의 복호 블록까지 확대하여, 기록부(604)에 출력한다.

도 23에 축소화부(2110, 2207)와 확대부(2111, 2208)에서의 축소?확대 처리를 도시한다. 블록(2301)은 축소되기 전의 블록을 나타내고 있다. 처리(2304)가 축소 처리에서의 축소 블록상의 화소 생성 수법을 설명하고 있다. 화소 j, k, m, n이 블록(2301)상의 화소, 화소(P)가 생성되는 축소 블록상의 화소를 나타내고 있다. 처리(2304)에서는 4 화소 단위로 화소의 평균화 처리를 실시하여, 축소 블록상의 화소를 산출한다. 블록(2302)이 축소 처리에 의해 얻어진 축소 블록을 나타내고 있다.

처리(2305)가 확대 처리에서의 확대 블록상의 화소 생성 수법을 나타내고 있다. 화소(A 내지 D)가 블록(2302)상의 화소, 화소(a 내지 i)가 확대 화상상의 화소를 나타내고 있다. 처리(2305)에서는 화소위치에 따라서 다른 방법으로 화소의 내삽?외삽 처리를 실시한다. 화소(a)는 인접하는 축소 블록상의 화소가 A뿐이기 때문에, 화소(A)를 화소(a)로서 그대로 이용한다. 마찬가지로, 블록(2303)의 흰색 원 나타낸 화소는 축소 블록상의 인접화소를 카피(copy)하는 방법에 의해 산출한다. 화소(b 내지 e)에 관해서는 인접하는 축소 블록상의 화소가 2화소 존재한다. 그래서, 이들의 화소는 축소 블록상의 인접 2화소를 이용한 외삽 처리에 의해 산출한다. 마찬가지로, 블록(2303)의 흑색 사각으로 나타낸 화소는 축소 블록상의 인접 2화소를 이용한 외삽 처리에 의해 산출한다. 화소(f 내지 i)에 관해서는 인접하는 축소 블록상의 화소가 4화소 존재한다. 그래서, 이들의 화소는 축소 블록상의 인접 4화소를 이용한 선형 내삽 처리에 의해 산출한다. 마찬가지로, 블록(2303)의 흑색 원 나타낸 화소는 축소 블록상의 인접 4화소를 이용한 선형 내삽 처리에 의해 산출한다.

도 24와 도 25는 각각 제 3 실시형태를 실현하는 동화상 부호화 처리 및 동화상 복호처리를 도시하고 있다. 도 24와 도 25는 제 1 실시형태에서의 도 5와 도 7에 각각 대응한다. 도 24와 도 25에서는 도 5와 도 7에서의 템플릿 영역 결정처리(S502, S702), 템플릿 매칭처리(S503, S703), 예측 신호 결정처리(S504), 예측 신호 생성처리(S704)를, 예측 신호 생성처리(S2404, S2504)로서 정리하여 기재하고 있다. 또한, 도 24에서의 S2401, S2405, S2406, S2407, S2408, S2410, S2411은 도 5에서의 S501, S505, S506, S507, S508, S510, S511에 각각 대응한다. 이들의 처리는 취급하는 블록 사이즈가 다를 뿐이며, 같은 처리를 실시하기 때문에, 여기에서의 설명은 생략한다. 또, 도 25에서의 S2501, S2505, S2507, S2508은 도 7에서의 S701, S705, S707, S708에 각각 대응한다. 이들의 처리도 취급하는 블록 사이즈가 다를 뿐이고, 같은 처리를 실시하기 때문에, 여기에서의 설명은 생략한다.

도 24의 처리 S2412의 부호화 블록 축소화 처리에서는 축소화부(2110-1)에서, 영역 분할부(101)에 입력되는 부호화 대상 블록을 축소 부호화 대상 블록으로 축소하고, 축소한 블록을 감산부(2102)에 출력한다. 처리 S2313의 예측 블록 축소화 처리에서는 축소화부(2110-2)에서, 예측 생성부(108)로부터 입력되는 예측 블록을 축소 예측 블록으로 축소하고, 축소한 블록을 감산부(2102) 및 가산부(2106)에 출력한다. 이하 처리 S2405 내지 처리 S2408에 의해, 축소 차분 블록의 부호화, 복호처리를 실시하여, 복호 축소 차분 블록이 생성된다. 처리 S2409의 복호 축소 블록 생성처리에서는 가산부(2106)에서, 축소 예측 블록과 복호 축소 차분 블록을 화소 단위로 가산하여, 복호 축소 블록을 생성한다. 처리 S2414의 확대 처리에서는 확대부(2111)에서, 복호 축소 블록을 복호 블록으로 확대한다.

도 25의 처리 S2509의 예측 블록 축소화 처리에서는 축소화부(2207)에서, 예측 생성부(605)로부터 입력되는 예측 블록을 축소 예측 블록으로 축소하고, 축소한 블록을 가산부(2203)에 출력한다. 처리 S2505에서는 축소 차분 블록의 복호처리가 실시되어, 복호 축소 차분 블록이 생성된다. 처리 S2506의 복호 축소 블록 생성처리에서는 가산부(2203)에서, 축소 예측 블록과 복호 축소 차분 블록을 화소 단위로 가산하여, 복호 축소 블록을 생성한다. 처리 S2510의 확대 처리에서는 확대부(2208)에서, 복호 축소 블록을 복호 블록으로 확대한다.

본 실시형태에는 이하와 같은 변형예를 고려할 수 있다. 이하의 변형예는 동화상 부호화 장치 및 동화상 복호 장치에 관해서 설명한 것이지만, 동화상 부호화 처리 및 동화상 복호처리에 관해서도 마찬가지로 실시 가능하다.

(1) 템플릿 매칭을 이용한 예측방법

본 실시형태에서는 예측 생성부에서의 템플릿 매칭의 방법은 도 2의 방법에 한정되는 것은 아니다. 즉, 본 실시형태 및 변형예에 있어서도, 제 1 실시형태, 제 2 실시형태 및 이들의 변형예에서 개시한 템플릿 매칭을 이용한 예측 신호 생성방법은 적용 가능하다. 도 18, 도 19와 같이, 선택부를 추가할 수도 있고, 예측 생성부(108, 605)를 도 20에 개시한 예측 생성부(1108)에 바꾸는 것도 가능하다. 또한, 예측 생성부(108, 605)를 도 8에 도시한 예측 생성부(800)로 바꾸는 것도, 신호의 입출력의 흐름은 변하지 않기 때문에, 그대로 적용할 수 있다.

여기까지는 템플릿 매칭을 이용한 예측방법으로서, 템플릿을 이용하여, 기억부(107, 604)에 보존되어 있는 재생 완료 동화상 데이터로부터 예측 블록을 생성하는 방법을 채용하였다. 그렇지만, 비특허문헌 1에 기재되어 있는 인트라 예측과 같이, 템플릿의 재생 신호로부터 소정의 방법에 의해 예측 신호를 생성하는 방법도 있다. 이 방법에서도, 본 실시형태의 축소?확대 처리를 이용한 부호화?복호처리는 부호량을 삭감하는 효과가 있기 때문에 유효하다.

이 변형예에서의 예측 생성부의 구성을 도 36에 도시한다. 도면은 템플릿의 신호로부터 예측 신호를 생성하는 인트라 예측의 예이다. 템플릿의 재생 신호로부터 예측 신호를 생성하는 방법은 도 21과 도 22의 예측 생성부(108)를 도 36의 예측 생성부(3608)로 바꿈으로써 실시할 수 있다. 템플릿 영역 결정부(3602)에서는 부호화 대상 블록에 인접하는 13개의 재생 완료 화소로 템플릿을 구성한다. 보충부(3603)에서는 도 37에 도시하는 처리(3711)에 도시하는 방법으로, 템플릿 내의 화소로부터 예측 블록을 생성한다. 또, 도 37에는 9종류의 보충방법이 제시되어 있지만, 본 발명은 이 중 적어도 1종류를 미리 정의하여 둠으로써 실시할 수 있다. 또한, 보충부 내에서 복수의 보충방법으로부터 1종류를 선택하고, 선택한 보충방법에 의해 생성한 예측 블록을 출력하여도 좋다. 이때, 보충방법의 선택 수법은 본 발명에 한정되지는 않는다. 선택한 보충방법의 정보를 전송하여도 좋고, 인코더(동화상 부호화 장치)와 디코더(동화상 복호 장치)가 공유하는 데이터만을 이용하여 정하는 방법이어도 좋다.

또, 템플릿의 형상은 도 37에 도시한 것에 한정되지 않는다. 블록 경계의 화소뿐만 아니라, 부호화 대상 블록이 속하는 프레임의 재생 완료 영역의 화소이면, 블록 경계로부터 떨어진 화소로 구성되는 템플릿이어도 본 발명은 실현 가능하다.

(2) 축소?확대 처리의 구성

**도 21에 도시하는 동화상 부호화 장치(2100)와 도 22에 도시하는 동화상 복호 장치(2200)에서는 부호화 대상 블록과 예측 블록을 축소화하고, 복호된 축소 블록을 확대함으로써 복호 블록을 생성하고 있다. 그렇지만, 축소, 확대 처리를 이용한 부호량의 삭감은 다른 구성으로도 실현 가능하고, 이 방법에 한정되지는 않는다. 도 32와 도 34에 동화상 부호화 장치의 다른 예, 도 33과 도 35에 동화상 복호 장치의 다른 예를 도시한다.

도 32의 동화상 부호화 장치(3200)에서는 예측 블록이 아니라, 부호화 대상 블록으로부터 예측 블록을 화소 단위로 감산함으로써 생성한 차분 블록을 축소화부(3210)에서 축소화한다. 그리고, 복호한 복호 축소 차분 블록을 확대부(3211)에서 확대하여, 확대 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록으로 한다.

도 33의 동화상 복호 장치(3300)는 도 32에 도시하는 동화상 부호화 장치(3200)에 대응하는 복호 장치이다. 이 방법에서는 예측 블록의 축소화는 실시하지 않고, 복호한 복호 축소 차분 블록을 확대부(3308)에서 확대하여, 확대 블록과 예측 블록을 화소 단위로 가산하여, 복호 블록으로 한다.

도 34의 동화상 부호화 장치(3400)는 도 21에서의 축소화부(2110-2)의 기능이 예측 생성부(3408) 내의 보충부에 포함되는 구성이다. 마찬가지로 도 35의 동화상 복호 장치(3500)는 도 22에서의 축소화부(2207)가 예측 생성부의 보충부에 포함되는 구성이다. 이때, 보충부는 축소 예측 블록을 직접 생성하도록 축소화 처리와 보충처리를 조합하는 것도 가능하다. 도 2, 도 8 또는 도 20에 도시하는 보충부(203)에서, 보충부(203)가 갖는 메모리 사이즈가 축소 예측 블록은 보존할 수 있지만, 예측 블록을 보존할 수 없는 크기이고, 기억부(107) 내의 재생 완료 동화상 데이터로부터 직접 필요한 정보만을 취득하여, 축소 예측 블록을 생성한다. 이 경우에는 템플릿 영역 결정부와 매칭부는 상기에 개시한 바와 같이 템플릿 영역 내의 전체 화소를 기억부(107) 내의 재생 완료 동화상 데이터로부터 취득하여도 좋고, 템플릿 영역에도 축소화를 실시하여, 필요한 정보만을 취득하여 매칭처리를 실시하여도 좋다. 한편, 도 35에 도시하는 동화상 복호 장치(3500)에서는 템플릿 영역 결정부도, 기억부(604) 내의 재생 완료 동화상 데이터로부터 직접 필요한 정보만을 취득하면 좋다.

또, 상기한 동화상 부호화 장치(3200, 3400) 및 동화상 복호 장치(3300, 3500)에서의 예측 생성부의 구성은 도 2에 도시하는 것이어도 도 36에 도시하는 것이어도 실현 가능하다. 또, 도 18, 도 19에 도시하는 동화상 부호화 장치(1800) 및 동화상 복호 장치(1900)와 같이, 선택부를 수반하는 경우도, 선택부를 추가함으로써 실현할 수 있기 때문에, 도 2나 도 20에 도시한 예측 생성부로 바꾸는 것도 가능하다. 또, 도 2를 도 8에 도시한 예측 생성부로 바꾸는 것도, 신호의 입출력의 흐름은 변하지 않기 때문에, 그대로 적용할 수 있다.

또, 도 21에서 복호 축소 블록의 확대 처리를 실시하지 않고, 그대로 프레임 메모리에 보존하여도 좋다. 또한, 다른 프레임에서는 복호 축소 블록을 통합함으로써 얻어지는 축소 화상으로 템플릿 매칭을 하여, 축소 예측 블록을 생성한다. 그리고, 축소 부호화 대상 블록과 축소 예측 블록의 차분 부호화를 한다. 또는 축소 예측 블록을 확대하여, 부호화 대상 블록과의 차분 부호화를 하여도 좋다. 마찬가지로 도 22에서는 복호 축소 블록의 확대 처리를 실시하지 않고, 그대로 프레임 메모리에 보존하여도 좋다. 다른 프레임에서는 축소 블록을 통합함으로써 얻어지는 축소 화상으로 템플릿 매칭을 하여, 축소 예측 블록을 생성한다. 그리고, 복호한 축소 차분 블록과 축소 예측 블록을 가산하여 축소 블록을 재생한다. 또는 축소 예측 블록을 확대하여, 복호한 차분 블록으로 확대한 블록을 가산하여 복호 블록을 재생하여도 좋다. 이와 같이, 축소 처리와 확대 처리의 적용방법을 변경하여도, 부호량을 삭감하는 효과는 얻을 수 있다.

축소화 처리와 확대 처리의 방법은 도 23에 개시한 방법이어도 좋고, 후술하는 다른 예이어도 좋다.

(3) TMP-E, TMP-L의 선택방법

도 21 및 도 22에 도시하는 동화상 부호화 장치(2100) 및 동화상 복호 장치(2200)는 템플릿 영역의 모양이 전부 평탄한 경우를 가정하여, 블록의 축소?확대 처리를 수반하는 장치의 구성을 도시하고 있다. 실용적으로는 화상의 모양에는 평탄한 부분과 특징이 있는 부분이 혼재하기 때문에, 제 1 실시형태에서 설명한 블록의 축소?확대 처리를 실시하지 않는 구성과 조합하여 실시한다. 도 26에, 도 1 및 도 21에 도시하는 동화상 부호화 장치(100, 2100)를 조합한 동화상 부호화 장치(2600)를, 도 27에, 도 6 및 도 22에 도시하는 동화상 복호 장치(600, 2200)를 조합한 동화상 복호 장치(2700)를 도시한다. 도면 내에서 도 1, 도 6, 도 21, 도 22와 같은 번호의 블록은 같은 기능을 도시하기 때문에, 여기에서는 상세한 설명을 생략한다.

도 26에서는 영역 분할부(101)에서 분할된 부호화 대상 블록이 각각, 감산부(102)와 축소화부(2110-1)에 입력된다. 부호화 대상 블록은 2가지의 예측 부호화 방법(TMP-E 모드; 도 1에 도시하는 동화상 부호화 장치(100)의 부호화방식, TMP-L 모드; 도 21에 도시하는 동화상 부호화 장치(2100)의 부호화방식)에서 부호화 처리되고, 변환부(103)와 변환부(2103)로부터 2종류의 변환 데이터(양자화 데이터)가 전환부(2613)에 출력된다. 또한, 2가지의 수법으로 국부 복호된 2종류의 복호 블록이 선택부(2612)에 출력된다. 선택부(2612)에서는 이 2종류의 복호 블록으로부터 1종류를 선택하고, 그 선택정보를 전환부(2613)와 부호화부(2604)에 출력한다. 전환부(2613)는 선택정보에 따라서, 변환 데이터(양자화 데이터)를 부호화부(2604)에 출력한다. 부호화부는 선택정보와 변환 데이터(양자화 데이터)를 아울러 엔트로피 부호화한다.

선택부(2612)에서의 TMP-E와 TMP-L 모드의 선택방법으로서는 예를 들면, 별도 입력되는 부호화 대상 블록과 2종류의 복호 블록의 차분 신호를 비교하여, 차분의 자승합이 작은 것을 선택하는 방법을 들 수 있다. 단, 이 방법에서는 부호량이 환산되지 않았기 때문에, 부호화 효율이 높은 부호화 수법이 선택되지 않는다. 부호화 효율을 고려한 선택방법에서는 예를 들면, 비특허문헌 2에 기재한 바와 같은 방법을 들 수 있다. 이 방법에 의하면, 2종류의 예측 부호화 수법에 의해 생성된 변환 데이터(양자화 데이터)를 각각 가상적으로 부호화한다. 그리고, 복호 블록과 부호화 대상 블록의 사이의 토털 왜곡(예를 들면 차분의 자승합)과 부호량의 가중 지표치를 각각 계산하여, 지표치가 작은 부호화 방법을 선택한다. 이 방법이면, 부호화 효율이 높은 예측 부호화 방법을 선택할 수 있다. 또, 변환 데이터(양자화 데이터)의 부호화는 선택부(2612)에 이들을 입력하여, 선택부(2612)에서 실시하여도 좋고, 부호화부(2604)에서 실시하여, 부호량의 정보를 선택부에 입력하여도 좋다.

도 27에 도시하는 동화상 복호 장치(2700)에서는 복호부(2701)에서 TMP-E 모드와 TMP-L 모드의 선택정보와 선택된 예측 부호화 방법에 의한 변환 데이터(양자화 데이터)가 엔트로피 복호된다. 전환부(2709)는 선택정보에 기초하여, 선택정보가 TMP-E를 나타낼 때에는 변환 데이터(양자화 데이터)를 역변환부(602)에 출력하여, 선택정보가 TMP-L 모드를 나타낼 때에는 변환 데이터(양자화 데이터)를 역변환부(2202)에 출력한다. 변환 데이터(양자화 데이터)는 선택정보가 나타내는 복호 방법에 의해 복호된다.

상기에서는 TMP-E와 TMP-L을 다른 예측 부호화 방법으로서 취급하여, 부호화측에서 그 선택정보를 부호화하고 있다. 그렇지만, 2종류의 예측 부호화 방법을 1종류로서 취급하여, 부호화측과 복호측이 공유하는 복호정보(재생 화상이나 재생 화상에 속하는 특징 데이터로부터 도출되는 정보)를 이용하여 자동적으로 선택하는 것도 가능하다. 특징 데이터로서는 템플릿 영역의 대상신호를 이용할 수 있다. 예를 들면, 템플릿 영역의 대상신호의 분산을 이용하는 방법이 있다. 미리 임계치를 설정하여, 분산치가 임계치보다 크면 TMP-E, 작으면 TMP-L로 하는 방법을 고려할 수 있다. 또한, 분산치 이외에도, 템플릿 영역의 대상신호의 화소 구배(인접화소간의 차분치)를 계산하여, 차분치가 임계치를 초과하는 화소수가 미리 정한 수보다 많으면 TMP-E, 적으면 TMP-L로 하는 방법도 고려할 수 있다. 또, 템플릿 매칭으로 검출한 움직임 벡터와 템플릿 영역의 화소군을 복호하였을 때의 움직임 벡터(복호 블록의 신호를 이용하여 재검색하여도 좋다)를 비교하여, 그 차가 미리 정한 임계치보다 작은 경우에는 TMP-E, 큰 경우에는 TMP-L로 하는 것도 가능하다. 검출한 움직임 벡터의 크기나 인접 블록이 움직임 벡터를 기준으로 하여 선택하여도 좋다. 이들, 분산치, 화소 구배, 움직임 벡터에 의한 선택을 조합하여도 좋다. 각각에 선택한 방법이 다른 경우에는 다수결로 최종적인 선택을 하여도 좋고, 선택한 방법이 다른 경우만 선택정보를 전송한다는 방법도 실현 가능하고, 안정된 선택 결과를 얻을 수 있다.

이 경우 도 27의 동화상 복호 장치(2700)에서는 선택정보가 복호되지 않기 때문에 별도 선택부를 설치할 필요가 있다. 이 선택부는 부호화 장치의 선택부와 같은 동작을 하여, 선택정보를 전환부(2709)에 출력한다.

도 26 및 도 27에 도시하는 각 장치(2600, 2700)에서의 예측 생성부는 상기한 변형예(1)에 개시한 바와 같이 도 2에 도시하는 구성에 한정되지는 않는다. 도 8, 도 20 및 도 36에 도시하는 구성을 적용하는 것도 가능하다.

또, 도 36에 도시하는 예측 생성부(3608)에서는 미리 정한 보충방법의 경우만 TMP-L과 같은 축소화?확대 처리를 적용하고, 다른 보충방법에서는 TMP-E와 같이 차분 부호화만을 적용하는 것도 가능하다. 또, 보충부에서 선택한 보충방법으로 생성한 예측 블록에 대하여, TMP-L과 TMP-E와 같은 부호화 방법을 적용하여, 적응적으로 선택하는 방법도 실시 가능하다.

(4) 종래의 예측 부호화 방법과의 적응

상기에서 개시한 예측 부호화 방법 TMP-E와 TMP-L은 비특허문헌 1에 기재되어 있는 복수의 예측 부호화 방법(움직임 벡터를 부호화하는 인터 예측 모드나 인트라 예측 모드)과 조합하여 선택적으로 이용하는 것이 가능하다. 이때, 각각의 예측 부호화 방법에 관해서, 복수의 블록 사이즈를 준비하여도 좋다. 예측 부호화 방법과 블록 사이즈의 최적의 선택은 예를 들면 비특허문헌 2에 개시한 바와 같은 방법으로 실현할 수 있다. 도 26과 도 27에 도시하는 각 장치(2600, 2700; 예측 생성방법은 변형예(1)에 도시하는 변형이 가능하다)에 종래의 예측 부호화 방법을 조합하여, 선택부를 확장함으로써 실현할 수 있다. 또, TMP-L만을 종래의 예측 부호화 방법과 적응하는 것도 가능하다. 이 경우 도 21 및 도 22에 도시하는 각 장치(2100, 2200)와 도 32 및 도 33에 도시하는 각 장치(3200, 3300), 도 34와 도 35에 도시하는 각 장치(3400, 3500)와의 어느 하나에 종래의 예측 부호화 방법을 조합하면 좋다.

(5) 축소?확대 처리

축소화부에 의한 블록 축소 처리 및 확대부에서의 블록확대 처리의 방법은 도 23의 방법에 한정되는 것은 아니다. 다른 예를 도 28과 도 29에 도시한다.

도 28에서는 블록(2801)은 축소되기 전의 블록, 블록(2802)이 축소 블록을 도시하고 있다. 이 예에서는 처리(2304)같은 필터처리를 동반하지 않는 단순한 화소 샘플링에 의해 축소 블록을 생성한다. 처리(2805)가 확대 처리에서의 확대 블록상의 화소 생성 수법을 나타내고 있다. 화소(A 내지 D)가 블록(2802)상의 화소, 화소(a 내지 c)가 확대 화상상의 화소를 나타내고 있다. 화소(A 내지 D)는 원래 축소 처리 전의 화소이기 때문에, 그대로 확대 블록(2803)에 카피된다. 축소 처리에서 제외된 화소에 관해서는 처리(2305)의 화소(a 내지 c)와 같이, 단순한 선형 내삽 처리에 의해 산출한다. 블록(2803)의 사각으로 나타낸 화소는 마찬가지로 인접하는 화소를 이용한 선형 내삽 처리에 의해 산출한다. 또, 확대 블록(2803)의 상단과 좌단의 흑색 사각의 화소에 관해서는 원으로 나타낸 인접화소가 1개 또는 2개밖에 존재하지 않는다. 이 경우에는 화소군(2806)에 나타낸 인접 블록의 복호 완료 화소를 이용한다. 또, 화소군(2806)은 기억부에 축적되어 있기 때문에, 이 처리를 실현하기 위해서는 도 21, 도 22, 도 26, 도 27에 도시하는 각 장치에서 기억부에서 확대부에 대한 입력 패스가 필요하게 된다.

도 29에서는 블록(2901)은 축소되기 전의 블록, 블록(2902)이 축소 블록을 도시하고 있고, 처리(2904)에서 축소 처리의 방법을 설명한다. 이 축소방법에서는 처리(2904)에 나타내는 바와 같이 화소(p)에 인접하는 8화소(j, k, l, m, n, o, q, r)를 이용한 필터처리에 의해 축소 블록상의 화소(P)를 생성한다. 처리(2905)가 확대 처리에서의 확대 블록(2903)상의 화소 생성 수법을 나타내고 있다. 이 처리는 도 28의 2805와 같기 때문에, 설명을 생략한다. 이 경우에도, 화소군(2906)은 기억부에 축적되어 있기 때문에, 이 처리를 실현하기 위해서는 도 21, 도 22, 도 26, 도 27에 있어서 기억부에서 확대부에 대한 입력 패스가 필요하게 된다.

이들의 예에서는 축소 블록의 사이즈가 세로?가로의 축소율이 각각 1/2로 되어 있지만, 축소율은 이것에 한정되지 않는다. 예를 들면, 축소율이 1/4이어도 좋고, 세로?가로의 축소율이 달라도 좋다.

축소?확대방법을 1종류에 한정하지 않고, 복수의 방법으로부터 선택하여도 좋다. 선택방법으로서는 부호화 오차의 절대치합이나 자승합이 최소가 되는 방법을 부호화측에서 프레임 단위나 블록 단위로 선택하여, 선택정보를 부호화하여도 좋고, 복수의 복호 블록후보로부터 자동적으로 결정하여도 좋다. 결정방법으로서는 재생 화상이나 재생 화상에 속하는 특징 데이터로부터 도출되는 정보를 이용하면 좋고, 예를 들면, 화소 단위로 평균치를 계산하는 방법이나, 화소 단위로 중앙치를 선택하는 방법 등을 고려할 수 있다.

또, 부호화 대상 블록에 대한 축소방법에 관해서는 복호 장치에서 한정되지는 않는다. 이 때문에, 축소 블록의 화소수가 같으면, 예측 블록과 부호화 대상 블록에는 다른 축소방법을 적용하여도 좋다. 또한, 복호 장치 및 복호처리에서는 부호화 대상 블록의 축소방법을 규정하지 않는다.

(6) 확대 블록의 재부호화

도 26 및 도 27에 도시하는 각 장치(2600, 2700)에서는 확대부(2111, 2208)에 의해 확대된 블록은 복호 블록의 후보로 하고 있지만, 이것을 예측 블록의 후보로서 취급하여, 예측 생성부(108, 605)에 의해 생성되는 예측 블록과 적응 선택하는 것도 가능하다. 확대부에 의해 확대한 블록은 필터처리에 의해 고주파 성분이 제한되었기 때문에, 이것을 재부호화함으로써, 화질이 향상된다고 하는 효과가 있다.

도 30과 도 31에 각각, 본 변형예를 실시하는 동화상 부호화 장치(3000) 및 동화상 복호 장치(3100)를 도시한다.

도 30의 동화상 부호화 장치(3000)에서는 도 26과 비교하여, 선택부(3012)와 부호화부(3004)의 기능, 및 변환부(2103)로부터 출력되는 변환 데이터(양자화 데이터)의 취급이 다르다. 도 26의 선택부(2612)에서는 2종류의 복호 블록의 후보가 입력되지만, 본 변형예의 선택부(3012)에서는 예측 생성부(108)와 확대부(2111)로부터 2종류의 예측 블록의 후보가 입력된다. 선택방법으로서는 도 26의 설명에서 나타낸 방법을 이용할 수 있다. 단, 비특허문헌 2의 방법을 이용하는 경우에는 토털 왜곡과 부호량의 산출을 위해서, 2종류의 예측 블록의 후보를 가상적으로 부호화?복호할 필요가 있다. 또, TMP-L에 관해서는 변환부(2103)로부터 출력되는 변환 데이터(양자화 데이터)도 가상적으로 부호화하고, 부호량으로 환산할 필요가 있다. 선택된 예측 블록은 가산부(106)와 감산부(102)에 출력되어, 변환?부호화된다. 선택부에서 TMP-L을 선택한 경우에는 스위치(3013)를 온으로 하고, 변환부(2103)로부터의 출력되는 변환 데이터(양자화 데이터)를 부호화부(3004)에 출력한다. 부호화부(3004)에서는 변환부(103), 변환부(2103; TMP-L의 경우), 및 선택부(필요의 경우)로부터의 데이터를 정리하여 부호화한다.

또, 변환부(103, 2103)에서 양자화를 실시하는 경우 변환부(2103)의 양자화 정밀도를 변환부(103)의 양자화 정밀도보다 높게 설정하면 부호화 효율이 향상된다. 축소 블록은 부호화 대상 블록보다도 적은 부호량으로 부호화할 수 있기 때문에, 양자화 정밀도를 높게 하여도 부호량은 증대하지 않는다. 이 때문에, 부호화 효율을 열화시키지 않고 화질을 향상시킬 수 있다는 효과가 있다.

도 31의 동화상 복호 장치(3001)에서는 도 27과 비교하여, 복호부(3101)와 전환부(3109)의 기능, 및 예측 생성부(605)로부터 출력되는 예측 블록의 취급이 다르다. 복호부(3101)에서는 우선 선택정보를 엔트로피 복호한다. 예측 부호화 방법이 TMP-L 모드일 때는 축소 블록의 변환 데이터(양자화 데이터)를 엔트로피 복호한다. 축소 블록의 변환 데이터(양자화 데이터)는 전환부(3109)의 제어에 의해 역변환부(2202)에 출력된다. 확대 블록의 변환 데이터(양자화 데이터)를 엔트로피 복호하여, 전환부(3109)의 제어에 의해 역변환부(602)에 출력된다. 또한, 선택정보에 기초하는 스위치(3110)의 제어에 의해, 예측 생성부(605)에서 템플릿 매칭에 의해 생성된 예측 블록은 축소화부(2207)에 출력된다. 가산부(603)는 역변환부(602)로부터 얻어지는 차분 블록으로 확대부(2208)로부터 얻어지는 예측 블록을 가산하여 복호 블록을 생성한다. 한편, 예측 부호화 방법이 TMP-E 모드일 때는 엔트로피 복호된 변환 데이터(양자화 데이터)는 전환부(3109)의 제어에 의해 역변환부(602)에 출력된다. 또한, 선택정보에 기초하는 스위치(3110)의 제어에 의해, 예측 생성부(605)에서 템플릿 매칭에 의해 생성된 예측 블록은 가산부(603)에 출력된다. 가산부(603)에서는 역변환부(602)로부터 얻어지는 차분 블록과 스위치(3110)를 통해서 예측 생성부(605)로부터 얻어진 예측 블록을 가산하여 복호 블록을 생성한다.

또, 이 변형예에서도, 본 실시형태의 변형예(1)에 개시한 템플릿 예측방법 및 변형예 (3)이나 (4)에 개시한 모드 선택방법을 적용하는 것은 가능하다.

여기에서, 상술한 일련의 부호화 처리를 동화상 부호화 장치에 실행시키기 위한 동화상 부호화 프로그램에 관해서 설명한다. 도 16에 도시하는 바와 같이, 동화상 부호화 프로그램(1601)은 동화상 부호화 장치에 의해 판독 가능, 더욱이 구비되는 기록매체(1600)에 형성된 프로그램 격납영역(1600a) 내에 격납된다.

동화상 부호화 프로그램(1601)은 동화상 부호화 처리를 통괄적으로 제어하는 메인 모듈(1601a)과 영역 분할 모듈(1601b)과 감산 모듈(1601c)과 변환 모듈(1601d)과 부호화 모듈(1601e)과 역변환 모듈(1601f)과 가산 모듈(1601g)과 기억 모듈(1601h)과 예측 생성 모듈(1601i)을 구비하여 구성되어 있다. 또한, 예측 생성 모듈(1601i)은 템플릿 영역 결정 모듈(1601j)과 매칭 모듈(1601k)과 보충 모듈(1601m)을 구비하고 있다.

상기 각 모듈이 실행됨으로써 실현되는 기능은 상술한 동화상 부호화 장치(100)의 각 구성 요소의 기능과 같다. 즉, 영역 분할 모듈(1601b)과 감산 모듈(1601c)과 변환 모듈(1601d)과 부호화 모듈(1601e)과 역변환 모듈(1601f)과 가산 모듈(1601g)과 기억 모듈(1601h)과 예측 생성 모듈(1601i)의 각 모듈을 실행시킴으로써 실현하는 기능은 상기한 실시형태의 동화상 부호화 장치(100)에서의, 영역 분할부(101)와 감산부(102)와 변환부(103)와 부호화부(104)와 역변환부(105)와 가산부(106)와 기억부(107)와 예측 생성부(108)의 기능과 같다. 또한, 템플릿 영역 결정 모듈(1601j)과 매칭 모듈(1601k)과 보충 모듈(1601m)의 각 모듈을 실행시킴으로써 실현하는 기능은 상기한 실시형태의 동화상 부호화 장치(100)에서의, 템플릿 영역 결정부(201)와 매칭부(202)와 보충부(203)의 기능과 같다.

계속해서, 상술한 일련의 복호처리를 동화상 복호 장치에 실행시키기 위한 동화상 복호 프로그램에 관해서 설명한다. 도 17에 도시하는 바와 같이, 동화상 복호 프로그램(1701)은 동화상 복호 장치에 의해 판독 가능, 더욱이 구비되는 기록매체(1700)에 형성된 프로그램 격납영역(1700a) 내에 격납된다.

동화상 복호 프로그램(1701)은 동화상 복호처리를 통괄적으로 제어하는 메인 모듈(1701a)과 복호 모듈(1701b)과 역변환 모듈(1701c)과 가산 모듈(1701d)과 기억 모듈(1701e)과 예측 생성 모듈(1701f)을 구비하여 구성되어 있다. 또한, 예측 생성 모듈(1701f)은 템플릿 영역 결정 모듈(1701g)과 매칭 모듈(1701h)과 보충 모듈(1701i)을 구비하고 있다.

상기 각 모듈이 실행됨으로써 실현되는 기능은 상술한 동화상 복호 장치(600)의 각 구성 요소의 기능과 같다. 즉, 복호 모듈(1701b)과 역변환 모듈(1701c)과 가산 모듈(1701d)과 기억 모듈(1701e)과 예측 생성 모듈(1701f)의 각 모듈을 실행시킴으로써 실현하는 기능은 상기한 실시형태의 동화상 복호 장치(600)에서의, 복호부(601)와 역변환부(602)와 가산부(603)와 기억부(604)와 예측 생성부(605)의 기능과 같다. 또한, 템플릿 영역 결정 모듈(1701g)과 매칭 모듈(1701h)과 보충 모듈(1701i)의 각 모듈을 실행시킴으로써 실현하는 기능은 상기한 실시형태의 동화상 부호화 장치(100) 또는 동화상 복호 장치(600)에서의, 템플릿 영역 결정부(201)와 매칭부(202)와 보충부(203)의 기능과 같다.

또, 동화상 부호화 프로그램(1601) 및 동화상 복호 프로그램(1701)은 일부 또는 전부가 통신회선 등의 전송매체를 통해서 전송되고, 다른 기기에 의해 수신되어 기록(인스톨을 포함함)되는 구성으로 하여도 좋다.

여기에서는 제 1 실시형태에 개시한 도 1과 도 6에 도시된 동화상 부호화 장치(100), 동화상 복호 장치(600)에 대응하는 동화상 부호화 프로그램(1601)과 동화상 복호 프로그램(1701)에 관해서 설명하였지만, 제 1 실시형태의 변형예, 제 2 및 제 3 실시형태, 및 그 변형예에 관해서도, 동화상 부호화 장치, 동화상 복호 장치의 기능을 실시하는 모듈을 준비함으로써, 동화상 부호화 프로그램 및 동화상 복호 프로그램을 구성할 수 있기 때문에, 본 발명에 포함된다.

100, 1800, 2100, 2600, 3000, 3200, 3400 : 동화상 부호화 장치
600, 1900, 2200, 2700, 3100, 3300, 3500 : 동화상 복호 장치
101 : 영역 분할부 102, 2102 : 감산부
103, 2103 : 변환부 104, 2104, 3004 : 부호화부
105, 602, 2105, 2202 : 역변환부 106, 603, 2106, 2203 : 가산부
107, 604 : 기억부
108, 605, 800, 1108, 3408, 3505, 3608 : 예측 생성부
201, 802, 3602 : 템플릿 영역 결정부 202 : 매칭부
203, 3603 : 보충부 601, 2201, 3101 : 복호부
801 : 판단부 109, 26 l2, 3012 : 선택부
204 : 신호 생성부 2110, 2207, 3210 : 축소화부
2111, 2208, 3211, 3308 : 확대부 2613, 2709, 3109 : 전환부
3013, 3110 : 스위치 1600, 1700 : 기록매체
1600a, 1700a : 프로그램 격납영역 1601 : 동화상 부호화 프로그램
1701 : 동화상 복호 프로그램 1601a, 1701a : 메인 모듈
1601b : 영역 분할 모듈 1601c : 감산 모듈
1601d : 변환 모듈 1601e : 부호화 모듈
1601f, 1701c : 역변환 모듈 1601g, 1701d : 가산 모듈
1601h, 1701e : 기억 모듈 1601i, 1701f : 예측 생성 모듈
1601j, 1701g : 템플릿 영역 결정 모듈 1601k, 1701h : 매칭 모듈
1601m, 1701i : 보충 모듈 1701b : 복호 모듈

Claims (40)

1. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에 있어서,
   상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단,
   상기 부호화 대상 블록을 부호화하는 부호화 수단,
   상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
   상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단, 및
   상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단을 구비하고,
   상기 부호화 수단은 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고,
   상기 재생 화상 생성 수단은 상기 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
2. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에 있어서,
   상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단,
   상기 부호화 대상 블록을 부호화하는 부호화 수단,
   상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
   상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단,
   상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단, 및
   상기 탐색 수단에 의해 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단을 구비하고,
   상기 부호화 수단은 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고,
   상기 재생 화상 생성 수단은 상기 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
3. 제 2 항에 있어서,
   상기 템플릿과 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터를 비교하고, 상기 비교 결과에 기초하여 상기 부호화 대상 블록의 화상의 공간적 연속성을 추정하는 추정 수단,
   상기 추정 수단에 의해 추정된 화상의 공간적 연속성에 기초하여, 상기 부호화 대상 블록을 더 분할하여 상기 분할된 부호화 대상 블록을 새로운 부호화 대상 블록으로서 설정하는 동시에 상기 새로운 부호화 대상 블록에 대한 템플릿을 설정하는 설정 수단을 더 구비하는, 동화상 부호화 장치.
4. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터로 재생하는 동화상 복호 장치에 있어서,
   복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단,
   상기 복호 수단에 의해 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
   상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단, 및
   상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억되는 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단을 구비하고,
   상기 복호 수단은 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
   상기 재생 화상 생성 수단은 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 장치.
5. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치에 있어서,
   복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단,
   상기 복호 수단에 의해 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
   상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단,
   상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단, 및
   상기 탐색 수단에 의해 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단을 구비하고,
   상기 복호 수단은 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
   상기 재생 화상 생성 수단은 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 장치.
6. 제 5 항에 있어서,
   전기 템플릿과 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터를 비교하고, 상기 비교 결과에 기초하여 상기 복호 대상 블록의 화상의 공간적 연속성을 추정하는 추정 수단, 및
   상기 추정 수단에 의해 추정된 화상의 공간적 연속성에 기초하여, 상기 복호 대상 블록을 더 분할하여 상기 분할된 상기 복호 대상 블록을 새로운 복호 대상 블록으로서 설정하는 동시에 상기 새로운 복호 대상 블록에 대한 템플릿을 설정하는 설정 수단을 더 구비하는, 동화상 복호 장치.
7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 부호화 수단은 상기 차분 블록을, 화소수를 소정의 방법으로 감소시키는 축소 처리에 의해, 상기 차분 블록보다도 화소수가 적은 축소 차분 블록으로서 생성하여, 상기 축소 차분 블록을 부호화하고,
   상기 재생 화상 생성 수단은 상기 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하여, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
8. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 복호 수단은 상기 부호화 데이터를 복호함으로써, 상기 차분 블록보다도 화소수가 적은 복호 축소 차분 블록을 생성하고,
   상기 재생 화상 생성 수단은 화소수를 상기 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 장치.
9. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에 있어서,
   상기 동화상 데이터를 구성하는 프레임 화상을, 상기 부호화의 대상이 되는 영역으로서 복수의 부호화 대상 블록으로 분할하는 분할 수단,
   상기 부호화 대상 블록을 부호화하는 부호화 수단,
   상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
   상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단, 및
   상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 상기 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단을 구비하고,
   상기 부호화 수단은 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산한 상기 부호화 대상 블록의 차분 신호인 차분 블록을, 화소수를 소정의 방법으로 감소시키는 축소 처리에 의해, 상기 차분 블록보다도 화소수가 적은 축소 차분 블록을 생성하여, 상기 축소 차분 블록을 부호화하고,
   상기 재생 화상 생성 수단은 상기 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하여, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
10. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치에 있어서,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단,
    상기 복호 수단에 의해 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단, 및
    상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단을 구비하고,
    상기 복호 수단은 상기 부호화 데이터를 복호함으로써, 상기 복호 대상 블록의 차분 신호인 차분 블록보다도 화소수가 적은 복호 축소 차분 블록을 생성하고,
    상기 재생 화상 생성 수단은 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 장치.
11. 제 7 항 또는 제 9 항에 있어서,
    상기 부호화 수단은 상기 부호화 대상 블록 및 상기 예측 블록에 상기 축소 처리를 적용하여 각각 축소 블록 및 축소 예측 블록으로서, 상기 축소 블록으로부터 상기 축소 예측 블록을 화소 단위로 감산하여 축소 차분 블록을 생성하고,
    상기 재생 화상 생성 수단은 상기 부호화 수단에 의해 부호화된 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하고, 상기 복호 축소 차분 블록과 상기 축소 예측 블록을 화소 단위로 가산하여 복호 축소 블록을 생성하고, 상기 복호 축소 블록에 확대 처리를 적용하여 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
12. 제 7 항 또는 제 9 항에 있어서,
    상기 부호화 수단은 상기 차분 블록에 대하여 상기 축소 처리를 적용함으로써 축소 차분 블록을 생성하고,
    상기 재생 화상 생성 수단은 상기 부호화 수단에 의해 부호화된 축소 차분 블록의 재생 신호인 복호 축소 블록을 생성하고, 상기 복호 축소 블록에 확대 처리를 적용함으로써 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
13. 제 8 항 또는 제 10 항에 있어서,
    상기 재생 화상 생성 수단은 상기 예측 블록에 상기 축소 처리를 적용하여 축소 예측 블록으로 하고, 상기 복호 축소 차분 블록과 상기 축소 예측 블록을 화소 단위로 가산하여 복호 축소 블록을 생성하고, 상기 복호 축소 블록에 확대 처리를 적용하여 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 장치.
14. 제 8 항 또는 제 10 항에 있어서,
    상기 재생 화상 생성 수단은 상기 복호 축소 차분 블록에 상기 확대 처리를 적용함으로써 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 장치.
15. 제 2 항, 제 3 항, 제 7 항, 제 11 항, 또는 제 12 항 중 어느 한 항에 있어서,
    상기 예측 신호 결정 수단은 형상이 다른 복수의 상기 템플릿으로부터 1개의 템플릿을 선택하는 것을 특징으로 하는, 동화상 부호화 장치.
16. 제 15 항에 있어서,
    상기 예측 신호 결정 수단은 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터의 재생 신호 또는 상기 재생 신호에 관한 정보를 참조하여, 상기 1개의 템플릿을 선택하는 것을 특징으로 하는, 동화상 부호화 장치.
17. 제 15 항에 있어서,
    상기 부호화 수단은 상기 예측 신호 결정 수단에 의해 선택된 템플릿을 특정하는 정보를 부호화하는 것을 특징으로 하는, 동화상 부호화 장치.
18. 제 5 항, 제 6 항, 제 8 항, 제 13 항, 또는 제 14 항 중 어느 한 항에 있어서,
    상기 예측 신호 결정 수단은 형상이 다른 복수의 상기 템플릿으로부터 1개의 템플릿을 선택하는 것을 특징으로 하는, 동화상 복호 장치.
19. 제 18 항에서,
    상기 예측 신호 결정 수단은 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터의 재생 신호 또는 상기 재생 신호에 관한 정보를 참조하여, 상기 1개의 템플릿을 선택하는 것을 특징으로 하는, 동화상 복호 장치.
20. 제 18 항에서,
    상기 복호 수단은 선택되는 템플릿을 특정하는 정보를 복호하고,
    상기 예측 신호 결정 수단은 상기 복호 수단에 의해 복호된 선택되는 템플릿을 특정하는 정보를 참조하여, 형상이 다른 복수의 상기 템플릿으로부터 1개의 템플릿을 선택하는 것을 특징으로 하는, 동화상 복호 장치.
21. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에서의 동화상 부호화 방법에 있어서,
    상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 단계,
    상기 부호화 대상 블록을 부호화하는 부호화 단계,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계, 및
    상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 단계에서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 단계를 갖고,
    상기 부호화 단계에서, 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고,
    상기 재생 화상 생성 단계에서, 상기 부호화 단계에서 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 방법.
22. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에서의 동화상 부호화 방법에 있어서,
    상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 단계,
    상기 부호화 대상 블록을 부호화하는 부호화 단계,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계,
    상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 단계에서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 상기 기억 단계에서 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 단계, 및
    상기 탐색 단계에서 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을, 상기 기억 단계에서 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 단계를 갖고,
    상기 부호화 단계에서, 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고,
    상기 재생 화상 생성 단계에서, 상기 부호화 단계에서 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 방법.
23. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치에서의 동화상 복호 방법에 있어서,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 단계,
    상기 복호 단계에서 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계, 및
    상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 단계에서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 단계를 갖고,
    상기 복호 단계에서, 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
    상기 재생 화상 생성 단계에서, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 방법.
24. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치에서의 동화상 복호 방법에 있어서,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 단계,
    상기 복호 단계에서 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계,
    상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 단계에서 기억되는 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 상기 기억 단계에서 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 단계, 및
    상기 탐색 단계에서 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을, 상기 기억 단계에서 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 단계를 갖고,
    상기 복호 단계에서, 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
    상기 재생 화상 생성 단계에서, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 방법.
25. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에서의 동화상 부호화 방법에 있어서,
    상기 동화상 데이터를 구성하는 프레임 화상을, 상기 부호화의 대상이 되는 영역으로서 복수의 부호화 대상 블록으로 분할하는 분할 단계,
    상기 부호화 대상 블록을 부호화하는 부호화 단계,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계, 및
    상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 단계에서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 상기 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 단계를 갖고,
    상기 부호화 단계에서, 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산한 상기 부호화 대상 블록의 차분 신호인 차분 블록을, 화소수를 소정의 방법으로 감소시키는 축소 처리에 의해, 상기 차분 블록보다도 화소수가 적은 축소 차분 블록을 생성하여, 상기 축소 차분 블록을 부호화하고,
    상기 재생 화상 생성 단계에서, 상기 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하여, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 방법.
26. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치에서의 동화상 복호 방법에 있어서,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 단계,
    상기 복호 단계에서 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 단계,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 단계,
    상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 단계에서 기억되는 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 단계를 갖고,
    상기 복호 단계에서, 상기 부호화 데이터를 복호함으로써, 상기 복호 대상 블록의 차분 신호인 차분 블록보다도 화소수가 적은 복호 축소 차분 블록을 생성하고,
    상기 재생 화상 생성 단계에서, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 방법.
27. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치를 제어하는 동화상 부호화 프로그램에 있어서,
    상기 동화상 부호화 장치를,
    상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단,
    상기 부호화 대상 블록을 부호화하는 부호화 수단,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단, 및
    상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단으로서 기능시키고,
    상기 부호화 수단은 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고,
    상기 재생 화상 생성 수단은 상기 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 프로그램.
28. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치를 제어하는 동화상 부호화 프로그램에 있어서,
    상기 동화상 부호화 장치를,
    상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단,
    상기 부호화 대상 블록을 부호화하는 부호화 수단,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단,
    상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단, 및
    상기 탐색 수단에 의해 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단으로서 기능시키고,
    상기 부호화 수단은 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하여, 상기 차분 블록을 부호화하고,
    상기 재생 화상 생성 수단은 상기 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 프로그램.
29. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치를 제어하는 동화상 복호 프로그램에 있어서,
    상기 동화상 복호 장치를,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단,
    상기 복호 수단에 의해 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단, 및
    상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿을 이용하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단으로서 기능시키고,
    상기 복호 수단은 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
    상기 재생 화상 생성 수단은 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 프로그램.
30. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치를 제어하는 동화상 복호 프로그램에 있어서,
    상기 동화상 복호 장치를,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단,
    상기 복호 수단에 의해 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단,
    상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터 생성되는 템플릿과 상관이 높은 화소군을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단, 및
    상기 탐색 수단에 의해 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단으로서 기능시키고,
    상기 복호 수단은 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
    상기 재생 화상 생성 수단은 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 프로그램.
31. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치를 제어하는 동화상 부호화 프로그램에 있어서,
    상기 동화상 부호화 장치를,
    상기 동화상 데이터를 구성하는 프레임 화상을, 상기 부호화의 대상이 되는 영역으로서 복수의 부호화 대상 블록으로 분할하는 분할 수단,
    상기 부호화 대상 블록을 부호화하는 부호화 수단,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단, 및
    상기 부호화 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 상기 부호화 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단으로서 기능시키고,
    상기 부호화 수단은 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산한 상기 부호화 대상 블록의 차분 신호인 차분 블록을, 화소수를 소정의 방법으로 감소시키는 축소 처리에 의해, 상기 차분 블록보다도 화소수가 적은 축소 차분 블록을 생성하여, 상기 축소 차분 블록을 부호화하고,
    상기 재생 화상 생성 수단은 상기 축소 차분 블록의 재생 신호인 복호 축소 차분 블록을 생성하여, 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 하는, 동화상 부호화 프로그램.
32. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터에 재생하는 동화상 복호 장치를 제어하는 동화상 복호 프로그램에 있어서,
    상기 동화상 복호 장치를,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단,
    상기 복호 수단에 의해 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단, 및
    상기 복호 대상 블록에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호로부터, 미리 정해진 수법에 의해 상기 복호 대상 블록의 예측 신호인 예측 블록을 생성하는 예측 신호 생성 수단으로서 기능시키고,
    상기 복호 수단은 상기 부호화 데이터를 복호함으로써, 상기 복호 대상 블록의 차분 신호인 차분 블록보다도 화소수가 적은 복호 축소 차분 블록을 생성하고,
    상기 재생 화상 생성 수단은 화소수를 소정의 방법으로 증가시키는 확대 처리에 의해, 상기 복호 축소 차분 블록으로부터 복호 블록을 생성하는 것을 특징으로 하는, 동화상 복호 프로그램.
33. 동화상 데이터를 부호화하는 동화상 부호화 장치에 있어서,
    상기 동화상 데이터를 구성하는 프레임 화상을, 상기 부호화의 대상이 되는 영역으로서 복수의 영역으로 분할하는 분할 수단,
    상기 분할 수단에 의해 분할된 각 영역의 화상을 부호화하는 부호화 수단,
    상기 부호화 수단에 의해 부호화된 화상의 재생 화상을 생성하는 재생 화상 생성 수단,
    상기 재생 화상 생성 수단에 의해 생성된 재생 화상을 기억하는 기억 수단,
    상기 부호화 수단에 의한 부호화의 대상이 되는 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 상기 기억 수단에 의해 기억된 재생 화상으로부터 탐색하는 탐색 수단, 및
    상기 탐색 수단에 의해 탐색된 영역과 상기 소정의 위치 관계에 기초하여, 상기 부호화의 대상이 되는 영역의 예측 신호를, 상기 기억 수단에 의해 기억된 재생 화상으로부터 결정하는 예측 신호 결정 수단을 구비하고,
    상기 부호화 수단은 상기 예측 신호 결정 수단에 의해 결정된 예측 신호와 상기 부호화의 대상이 되는 영역의 화상과의 차분 신호를 생성하여, 상기 차분 신호를 부호화하는 것을 특징으로 하는, 동화상 부호화 장치.
34. 복수의 영역으로 분할된 프레임 화상이 부호화된 동화상 데이터를 복호하는 동화상 복호 장치에 있어서,
    상기 부호화된 상기 각 영역의 데이터를 복호하는 복호 수단,
    상기 복호 수단에 의해 복호된 화상으로부터 재생 화상을 생성하는 재생 화상 생성 수단,
    상기 재생 화상 생성 수단에 의해 생성된 화상을 기억하는 기억 수단,
    상기 복호 수단에 의한 복호의 대상이 되는 화상의 영역에 대하여 소정의 위치 관계로 인접하는 동시에 상기 기억 수단에 의해 기억된 재생 화상의 일부인 템플릿 영역의 재생 화상과 상관이 높은 화상의 영역을, 상기 기억 수단에 의해 기억된 재생 화상으로부터 탐색하는 탐색 수단, 및
    상기 탐색 수단에 의해 탐색된 영역과 상기 소정의 위치 관계에 기초하여, 상기 복호의 대상이 되는 영역의 예측 신호를, 상기 기억 수단에 의해 기억된 재생 화상으로부터 결정하는 예측 신호 결정 수단을 구비하고,
    상기 재생 화상 생성 수단은 상기 예측 신호 결정 수단에 의해 결정된 예측 신호와 상기 복호 수단에 의해 복호된 화상과의 합 신호를 생성함으로써 재생 화상으로 하는 것을 특징으로 하는, 동화상 복호 장치.
35. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치로서,
    상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단과,
    상기 부호화 대상 블록을 부호화하는 부호화 수단과,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과,
    상기 부호화 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역의 신호로부터 생성되는 템플레이트와 상관이 높은 화소군을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단과,
    상기 탐색 수단에 의해 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단을 구비하고,
    상기 부호화 수단은, 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하고, 상기 차분 블록을 부호화하고,
    상기 재생 화상 생성 수단은, 상기 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하고,
    상기 탐색 수단은, 상기 템플레이트를, 상기 부호화 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역에 있어서 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 있는 부분에 관해서는 상기 재생 신호로부터, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 없는 부분에 관해서는 상기 예측 신호 결정 수단에 의해 결정된 예측 신호로부터 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
36. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터로 재생하는 동화상 복호 장치로서,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단과,
    상기 복호 수단에 의해 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과,
    상기 복호 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역의 신호로부터 생성되는 템플레이트와 상관이 높은 화소군을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단과,
    상기 탐색 수단에 의해 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단을 구비하고,
    상기 복호 수단은, 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
    상기 재생 화상 생성 수단은, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하고,
    상기 탐색 수단은, 상기 템플레이트를, 상기 복호 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역에 있어서 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 있는 부분에 관해서는 상기 재생 신호로부터, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 없는 부분에 관해서는 상기 예측 신호 결정 수단에 의해 결정된 예측 신호로부터 생성하는 것을 특징으로 하는, 동화상 복호 장치.
37. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치에 있어서의 동화상 부호화 방법으로서,
    상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 스텝과,
    상기 부호화 대상 블록을 부호화하는 부호화 스텝과,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 스텝과,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 스텝과,
    상기 부호화 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역의 신호로부터 생성되는 템플레이트와 상관이 높은 화소군을, 상기 기억 스텝에 있어서 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 스텝과,
    상기 탐색 스텝에 있어서 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을, 상기 기억 스텝에 있어서 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 스텝을 가지며,
    상기 부호화에 있어서, 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하고, 상기 차분 블록을 부호화하고,
    상기 재생 화상 생성 스텝에 있어서, 상기 부호화에 있어서 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하고,
    상기 탐색 스텝에 있어서, 상기 템플레이트를, 상기 부호화 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역에 있어서 상기 기억 스텝에 있어서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 있는 부분에 관해서는 상기 재생 신호로부터, 상기 기억 스텝에 있어서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 없는 부분에 관해서는 상기 예측 신호 결정 스텝에 있어서 결정된 예측 신호로부터 생성하는 것을 특징으로 하는 동화상 부호화 방법.
38. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터로 재생하는 동화상 복호 장치에 있어서의 동화상 복호 방법으로서,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 스텝과,
    상기 복호 스텝에 있어서 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 스텝과,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 스텝과,
    상기 복호 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역의 신호로부터 생성되는 템플레이트와 상관이 높은 화소군을, 상기 기억 스텝에 있어서 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 스텝과,
    상기 탐색 스텝에 있어서 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을, 상기 기억 스텝에 있어서 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 스텝을 가지며,
    상기 복호 스텝에 있어서, 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
    상기 재생 화상 생성 스텝에 있어서, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하고,
    상기 탐색 스텝에 있어서, 상기 템플레이트를, 상기 복호 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역에 있어서 상기 기억 스텝에 있어서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 있는 부분에 관해서는 상기 재생 신호로부터, 상기 기억 스텝에 있어서 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 없는 부분에 관해서는 상기 예측 신호 결정 스텝에 있어서 결정된 예측 신호로부터 생성하는 것을 특징으로 하는 동화상 복호 방법.
39. 동화상 데이터를 블록 단위로 부호화하는 동화상 부호화 장치를 제어하는 동화상 부호화 프로그램으로서,
    상기 동화상 부호화 장치를,
    상기 동화상 데이터를 구성하는 프레임 화상을, 복수의 부호화 대상 블록으로 분할하는 분할 수단과,
    상기 부호화 대상 블록을 부호화하는 부호화 수단과,
    상기 부호화 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과,
    상기 부호화 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역의 신호로부터 생성되는 템플레이트와 상관이 높은 화소군을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단과,
    상기 탐색 수단에 의해 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 부호화 대상 블록의 예측 신호인 예측 블록을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단으로서 기능시키고,
    상기 부호화 수단은, 상기 부호화 대상 블록으로부터 상기 예측 블록을 화소 단위로 감산하여 상기 부호화 대상 블록의 차분 신호인 차분 블록을 생성하고, 상기 차분 블록을 부호화하고,
    상기 재생 화상 생성 수단은, 상기 부호화 수단에 의해 부호화된 차분 블록의 재생 신호인 복호 차분 블록을 생성하고, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여 복호 블록을 생성하고,
    상기 탐색 수단은, 상기 템플레이트를, 상기 부호화 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역에 있어서 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 있는 부분에 관해서는 상기 재생 신호로부터, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 없는 부분에 관해서는 상기 예측 신호 결정 수단에 의해 결정된 예측 신호로부터 생성하는 것을 특징으로 하는, 동화상 부호화 프로그램.
40. 동화상 데이터의 부호화 데이터를 블록 단위로 재생 완료 동화상 데이터로 재생하는 동화상 복호 장치를 제어하는 동화상 복호 프로그램으로서,
    상기 동화상 복호 장치를,
    복호 대상이 되는 복호 대상 블록의 재생에 요하는 부호화 데이터를 복호하는 복호 수단과,
    상기 복호 수단에 의해 복호된 부호화 데이터로부터 상기 복호 대상 블록의 재생 신호인 복호 블록을 생성하는 재생 화상 생성 수단과,
    상기 재생 신호로부터 생성되는 재생 완료 동화상 데이터를 기억하는 기억 수단과,
    상기 복호 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역의 신호로부터 생성되는 템플레이트와 상관이 높은 화소군을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 탐색하는 탐색 수단과,
    상기 탐색 수단에 의해 탐색된 화소군과 상기 소정의 위치 관계에 기초하여, 상기 복호 대상 블록의 예측 신호인 예측 블록을, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터로부터 결정하는 예측 신호 결정 수단으로서 기능시키고,
    상기 복호 수단은 상기 복호 대상 블록의 차분 신호인 복호 차분 블록을 생성하고,
    상기 재생 화상 생성 수단은, 상기 복호 차분 블록과 상기 예측 블록을 화소 단위로 가산하여, 복호 블록을 생성하고,
    상기 탐색 수단은, 상기 템플레이트를, 상기 복호 대상 블록에 대해 소정의 위치 관계에서 인접하는 영역에 있어서 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 있는 부분에 관해서는 상기 재생 신호로부터, 상기 기억 수단에 의해 기억된 재생 완료 동화상 데이터에 속하는 재생 신호가 없는 부분에 관해서는 상기 예측 신호 결정 수단에 의해 결정된 예측 신호로부터 생성하는 것을 특징으로 하는, 동화상 복호 프로그램.
    
    

Images