KR100743849B1 - 화상 부호화 장치, 화상 부호화 방법, 화상 부호화프로그램, 화상 복호 장치, 화상 복호 방법, 및 화상 복호프로그램 - Google Patents

Abstract

본 발명의 일 실시예의 화상 부호화 장치는 부호화 모드 결정부와, 예측 화상 생성부와, 기억부와, 부호화부를 구비한다. 부호화 모드 결정부는 입력화상의 부분 영역의 예측 화상을, 제 1 화상 예측 처리 또는 제 2 화상 예측 처리의 어떠한 것에 의해서 생성할지에 관한 부호화 모드를 결정한다. 예측 화상 생성부는 제 1 화상 예측 처리에 의해서 예측 보조 정보를 추출하고, 상기 예측 보조 정보에 기초하여 예측 화상을 생성한다. 기억부는 예측 화상에 기초하는 재생 화상을 기억한다. 부호화부는 부호화 모드 정보 및 예측 보조 정보를 부호화한 데이터를 포함하는 비트 스트림을 생성한다.

화상 부호화 장치, 인터프레임, 예측 화상, 매크로 블록, 비트 스트림

Description

화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법, 및 화상 복호 프로그램{Picture encoding apparatus, picture encoding method, picture encoding program, picture decoding apparatus, picture decoding method, and picture decoding program}

도 1은 제 1 실시예에 따른 화상 부호화 장치의 구성을 도시하는 도면.

도 2는 화상 예측 처리의 내용을 설명하기 위한 도면.

도 3은 화상 예측 처리의 내용을 설명하기 위한 도면.

도 4는 대체 화소치에 대하여 설명하기 위한 도면.

도 5는 대체 화소치에 대하여 설명하기 위한 도면.

도 6은 화상 보충 처리의 내용을 설명하기 위한 도면.

도 7은 화상 부호화 처리에 있어서의 화상 부호화 장치의 동작을 도시하는 흐름도.

도 8은 화상 부호화 프로그램을 기록하는 기록매체의 구성을 도시하는 도면.

도 9는 제 2 실시예에 따른 화상 복호 장치의 구성을 도시하는 도면.

도 10은 화상 복호 처리의 개요 동작을 도시하는 흐름도.

도 11은 예측 화상 복호 처리의 동작을 도시하는 흐름도.

도 12는 보충 화상 복호처리의 동작을 도시하는 흐름도.

도 13은 화상 복호 프로그램을 기록하는 기록매체의 구성을 도시하는 도면.

도 14는 기록매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 도시하는 도면.

도 15는 기록매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도.

도 16은 본 발명의 제 3실시예에 따른 동화상 부호화 장치의 구성을 도시하는 도면.

도 17은 부호화 모드 결정부의 처리를 설명하기 위한 도면.

도 18은 화상 예측부의 구성을 도시하는 블록도.

도 19는 제 2 화상 예측 처리를 설명하기 위한 도면.

도 20은 제 3 실시예에 따른 동화상 부호 방법의 흐름도.

도 21은 제 3 실시예에 따른 동화상 부호 방법에 있어서의 부호화 모드 결정 처리의 흐름도.

도 22는 제 2 화상 예측 처리의 흐름도.

도 23은 제 3 실시예에 따른 동화상 부호화 프로그램의 구성을, 기록매체와 함께 도시하는 도면.

도 24는 제 4 실시예에 따른 동화상 복호장치의 구성을 도시하는 도면.

도 25는 제 4 실시예에 따른 동화상 복호 방법의 흐름도.

도 26은 제 4 실시예에 따른 동화상 복호 프로그램의 구성을, 기록매체와 함께 도시하는 도면.

*도면의 주요 부분에 대한 부호의 설명*

114: 작업용 메모리 118: 디스플레이

122: 키보드 124: 통신 장치

312: 영역 분할부 320: 변환부

발명의 분야

본 발명은 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법, 및 화상 복호 프로그램에 관한 것이다.

배경 기술

최근에는 인터넷의 보급에 의해서, 네트워크를 통해 화상 데이터를 송수신하거나, 화상 데이터를 축적하는 것이 널리 행해지도록 되어 있다. 일반적으로, 화상 데이터의 부호화에는 화상 데이터의 용량을 효율적으로 삭감하는 것이 가능한 비가역 부호화 방식이 사용된다. 이 비가역 부호화 방식의 일 예로서, ITU-T 권고의 국제표준규격인 H.264 동화상 부호화 방식이 있다(예를 들면, ITU-T VCEG(Q.6/16), "H.26L 시험 모델 장기 번호(Test Model Long Term Number) 8(TML-8) 드래프트(draft)0"을 참조).

H.264의 인트라 부호화 프레임(I 프레임)에서는 화면 내 예측을 사용한 프레 임 내 부호화에 의해서 동화상의 압축이 행해진다. 또한, H.264의 인터프레임 부호화에서는 부호화 대상 프레임이, 예를 들면 16×16 화상의 크기의 매크로 블록으로 분할되고, 매크로 블록마다 부호화 처리가 행해지고 있다. 매크로 블록은 또한 16×8화소나 8×8화소와 같은 사이즈의 블록으로 분할되고, 분할된 블록마다 움직임 보상 예측이 행해진다. 이로써, 동화상에 있어서의 시간 방향의 중복도(冗長度; redundancy)가 삭감된다.

발명의 개요

그런데, 상술한 동화상 부호화, 또는 정지화 부호화와 같은 화상 부호화에 대하여, 더욱 효율 좋은 부호화 기술이 요구되고 있다.

그래서, 본 발명은 화상을 효율 좋게 부호화 가능한 화상 부호화 장치, 화상 부호화 방법, 및 화상 부호화 프로그램을 제공하는 것, 또한, 본 발명의 화상 부호화 장치에 의해서 생성된 비트 스트림으로부터 화상을 복원 가능한 화상 복호 장치, 화상 복호 방법, 및 화상 복호 프로그램을 제공하는 것을 목적으로 하고 있다.

본 발명의 한 측면에 따른 화상 부호화 장치는 (a)부호화 대상의 입력화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 예측 보조 정보를 필요로 하는 제 1 화상 예측 처리, 또는 제 2 화상 예측 처리의 어떠한 것에 의해서 예측 화상의 생성을 실행할지에 관한 부호화 모드를 결정하고, 또한, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 생 성하는 결정수단과, (b)복수의 부분 영역 중 부호화 모드 정보로부터 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여, 상기 부분 영역의 예측 화상을 다른 부분 영역의 생성이 완료된 재생 화상으로부터 생성하기 위한 예측 보조 정보를 추출하고, 상기 예측 보조 정보에 기초하여 상기 예측 화상을 생성하기 위한 상기 제 1 화상 예측 처리를 실행하는 제 1 화상 예측 수단과, (c)예측 화상에 기초하는 재생 화상을 기억하는 기억수단과, (d)부호화 모드 정보와 예측 보조 정보를 부호화한 데이터를 포함하는 비트 스트림을 생성하는 부호화수단을 구비한다.

본 발명의 다른 한 측면에 따른 화상 부호화 방법은 결정수단이, (a)부호화 대상의 입력화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 예측 보조 정보를 필요로 하는 제 1 화상 예측 처리, 또는 제 2 화상 예측 처리의 어떠한 것에 의해서 예측 화상의 생성을 실행할지에 관한 부호화 모드를 결정하고, 또한, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 생성하는 결정스텝과, (b)제 1 화상 예측 수단이, 복수의 부분 영역 중 부호화 모드 정보로부터 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여, 상기 부분 영역의 예측 화상을 다른 부분 영역의 생성이 완료된 재생 화상으로부터 생성하기 위한 예측 보조 정보를 추출하고, 상기 예측 보조 정보에 기초하여 상기 예측 화상을 생성하기 위한 상기 제 1 화상 예측 처리를 실행하는 제 1 화상 예측 스텝과, (c)기억수단이, 예측 화상에 기초하는 재생 화상을 기억하는 기억스텝과, (d)부호화수단이, 부호화 모드 정보와 예측 보조 정보를 부호화한 데이터를 포함하는 비트 스트림을 생성하는 부호화 스텝을 포함한다.

또한, 본 발명의 또 다른 측면에 따른 화상 부호화 프로그램은 컴퓨터를, (a)부호화 대상의 입력화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 예측 보조 정보를 필요로 하는 제 1 화상 예측 처리, 또는 제 2 화상 예측 처리의 어떠한 것에 의해서 예측 화상의 생성을 실행할지에 관한 부호화 모드를 결정하고, 또한, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 생성하는 결정수단과, (b)복수의 부분 영역 중 부호화 모드 정보로부터 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여, 상기 부분 영역의 예측 화상을 다른 부분 영역의 생성이 완료된 재생 화상으로부터 생성하기 위한 예측 보조 정보를 추출하고, 상기 예측 보조 정보에 기초하여 상기 예측 화상을 생성하기 위한 상기 제 1 화상 예측 처리를 실행하는 제 1 화상 예측 수단과, (c)예측 화상에 기초하는 재생 화상을 기억하는 기억수단과, (d)부호화 모드 정보와 예측 보조 정보를 부호화한 데이터를 포함하는 비트 스트림을 생성하는 부호화수단으로서 기능시키기 위한 프로그램이다. 또, 상기 화상 부호화 프로그램 및 이하에 설명하는 본 발명의 화상 부호화 프로그램은 컴퓨터 판독 가능한 기록매체, 반송파에 중첩된 컴퓨터 데이터 신호, 또는 프로그램 제품과 같은 형태로 제공될 수 있다.

상기 제 2 화상 예측 처리는 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 생성이 완료된 재생 화상이 참조영역으로 되고, 상기 참조영 역 중 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 템플릿 내에서 예측 신호가 미생성인 화소에 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 예측 화상이 생성되는 처리일 수 있다.

또한, 본 발명의 한 측면에 따른 화상 복호 장치는 (a)복호대상의 화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 사용된 제 1 화상 예측 처리 또는 제 2 화상 예측 처리를 특정하기 위한 부호화 모드 정보와, 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성하기 위한 예측 보조 정보가 부호화된 데이터를 포함하는 비트 스트림으로부터, 상기 부호화 모드와 상기 예측 보조 정보를 복호하는 복호수단과, (b)복수의 부분 영역 중 부호화 모드 정보로부터 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 생성이 완료된 재생 화상으로부터, 예측 보조 정보를 사용한 제 1 화상 예측 처리에 의해서 생성하는 제 1 화상 예측 수단과, (c)복수의 부분 영역 중 부호화 모드 정보로부터 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 상기 제 2 화상 예측 처리에 의해서 생성하는 제 2 화상 예측 수단과, (d)예측 화상에 기초하는 재생 화상을 기억하는 기억수단을 구비하고, (e)제 2 화상 예측 처리에서는 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 기억수단에 기억되어 있는 재생 화상이 참조영역으로 되고, 상기 참조영역 중 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되어, 템플릿 내에서 예측 신호가 미생성인 화소에 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 예측 화상이 생성된다.

본 발명의 다른 한 측면에 따른 화상 복호 방법은 (a)복호대상의 화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 사용된 제 1 화상 예측 처리 또는 제 2 화상 예측 처리를 특정하기 위한 부호화 모드 정보와, 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성하기 위한 예측 보조 정보가 부호화된 데이터를 포함하는 비트 스트림으로부터, 상기 부호화 모드와 상기 예측 보조 정보를 복호수단이 복호하는 복호스텝과, (b)제 1 화상 예측 수단이, 복수의 부분 영역 중 부호화 모드 정보로부터 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 생성이 완료된 재생 화상으로부터, 예측 보조 정보를 사용한 제 1 화상 예측 처리에 의해서 생성하는 제 1 화상 예측 스텝과, (c)제 2 화상 예측 수단이, 복수의 부분 영역 중 상기 부호화 모드 정보로부터 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 제 2 화상 예측 처리를 사용하여 생성하는 제 2 화상 예측 스텝과, (d)기억수단이, 예측 화상에 기초하는 재생 화상을 기억하는 기억스텝을 구비하고, (e)제 2 화상 예측 처리에서는 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 기억수단에 기억되어 있는 재생 화상이 참조영역으로 되고, 상기 참조영역 중 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 템플릿 내에서 예측 신호가 미생성인 화소에 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 예측 화상이 생성된다.

본 발명의 또 다른 측면에 따른 화상 복호 프로그램은 컴퓨터를, (a)복호대상의 화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 사용된 제 1 화상 예측 처리 또는 제 2 화상 예측 처리를 특정하기 위한 부호화 모드 정보와, 제 1 화상 예측 처리에 의해서 예측 화상이 생성된 경우에 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성하기 위한 예측 보조 정보가 부호화된 데이터를 포함하는 비트 스트림으로부터, 상기 부호화 모드 정보와 상기 예측 보조 정보를 복호하는 복호수단과, (b)복수의 부분 영역 중 부호화 모드 정보로부터 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 생성이 완료된 재생 화상으로부터, 예측 보조 정보를 사용한 제 1 화상 예측 처리에 의해서 생성하는 제 1 화상 예측 수단과, (c)복수의 부분 영역 중 부호화 모드 정보로부터 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 제 2 화상 예측 처리를 사용하여 생성하는 제 2 화상 예측 수단과, (d)예측 화상에 기초하는 재생 화상을 기억하는 기억수단으로서 기능시키기 위한 프로그램이다. 이 프로그램은 (e)제 2 화상 예측 처리에서는 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 기억수단에 기억되어 있는 재생 화상이 참조영역으로 되고, 상기 참조영역 중 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 템플릿 내에서 예측 신호가 미생성인 화소에 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 예측 화상이 생성되도록 컴퓨터를 기능시킨다. 또, 상기 화상 복호 프로그램 및 이하에 설명하는 본 발명의 화상 복호 프 로그램은 컴퓨터 판독 가능한 기록매체, 반송파에 중첩된 컴퓨터 데이터 신호, 또는 프로그램 제품과 같은 형태로 제공될 수 있다.

상술한 본 발명에 따르면, 제 2 화상 예측 처리는 이미 생성이 완료된 재생 화상이 참조영역으로 되고, 템플릿 내에서의 예측 신호가 미생성인 화소에, 참조영역으로부터 선택되는 복사 참조 영역의 대응 화소가 복사된다. 복사참조영역으로서는 참조영역 중으로부터 템플릿에 대한 상관이 높은 영역이 선택된다. 예를 들면, 상관치가 가장 높은 영역, 혹은 상관치가 미리 정해진의 기준치보다 최초로 높아진 영역 등이 선택된다. 따라서, 복호측에서는 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여, 부호화측으로부터의 예측 보조 정보를 사용하지 않고서 예측 화상을 능동적으로 생성할 수 있다. 그러므로, 부호화측에서는 효율이 좋은 부호화가 달성된다.

화상 부호화에 따른 본 발명에 있어서는 결정수단이, 복수의 부분 영역의 재생 화상을 제 1 화상 예측 처리를 거쳐서 미리 정해진의 주사순으로 생성한 후에, 상기 미리 정해진의 주사순과 반대순으로 처리대상의 부분 영역을 선택하고, 상기 처리대상의 부분 영역보다 주사순으로 전방에 위치하는 부분 영역의 화상, 상기 처리대상의 부분 영역보다 주사순으로 후방에 위치하는 부분 영역이며 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이면 부호화 모드가 결정되어 있는 상기 부분 영역의 재생 화상을 참조영역으로서, 제 2 화상 예측 처리를 거쳐서 상기 처리대상의 부분 영역의 재생 화상을 생성하고, 상기 제 2 화상 예측 처리를 거쳐서 생성된 처리대상의 부분 영역의 재생 화상과 제 1 화상 예측 처리를 거쳐서 생성된 처리대상의 부분 영역의 재생 화상과의 비교에 기초하여, 상기 처리대상의 부분 영역의 부호화 모드를 결정하는 것이 적합하다.

이 경우에, 화상복호에 따른 본 발명에 있어서는 제 1 화상 예측 수단이, 부호화 모드 정보로부터 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여 미리 정해진의 주사순으로 제 1 화상 예측 처리에 의해서 예측 화상을 생성하고, 상기 예측 화상에 기초하는 재생 화상이 기억수단에 기억된 후에, 제 2 화상 예측 수단이, 부호화 모드 정보로부터 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이면 특정되는 부분 영역에 대하여 미리 정해진의 주사순으로 제 2 화상 예측 처리에 의해서 예측 화상을 생성한다.

본 발명에 따르면, 제 1 화상 예측 처리에 의해서 먼저 재생 화상이 생성된 후에, 이미 생성되어 있는 재생 화상이 제 2 화상 예측 처리에 있어서의 참조영역으로 된다. 따라서, 미리 정해진의 주사순으로 후방에 위치하는 재생 화상도 제 2 화상 예측 처리에 사용할 수 있기 때문에, 공간방향의 중복도가 보다 효율적으로 삭감된다.

화상부호화에 따른 본 발명에 있어서는 결정수단이, 제 2 화상 예측 처리를 거쳐서 생성된 처리대상의 부분 영역의 재생 화상과 제 1 화상 예측 처리를 거쳐서 생성된 처리대상의 부분 영역의 재생 화상을 각각 사용한 경우의 부호화 일그러짐 또는 /및 부호화 정보량에 기초하는 코스트 함수에 의한 코스트치를 산출하고, 상기 코스트치에 기초하여 상기 처리대상의 부분 영역의 상기 부호화 모드를 결정하 여도 좋다.

화상부호화에 따른 본 발명에 있어서는 복수의 부분 영역 중 상기 부호화 모드 정보로부터 상기 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 상기 제 2 화상 예측 처리에 의해서 생성하는 제 2 화상 예측 수단을 더 구비하고, 제 2 화상 예측 수단은 제 2 화상 예측 처리에 의해서 생성한 예측 화상을, 재생 화상으로 한다. 이 경우에, 화상복호에 따른 본 발명에 있어서는 제 2 화상 예측 수단이, 제 2 화상 예측 처리에 의해서 생성한 예측 화상을, 재생 화상으로 한다. 즉, 제 2 화상 예측 처리에 의해서 생성된 예측 화상은 그대로 재생 화상으로서 채용된다. 따라서, 제 2 화상 예측 처리에 의해서 생성된 재생 화상도 다음에 처리하는 부분 영역의 예측에 사용할 수 있기 때문에, 더욱 중복도가 삭감된다. 또한, 입력화상과, 제 2 화상 예측 처리에 의해서 생성된 예측 화상과의 차분에 관한 정보를 비트 스트림에 포함시킬 필요가 없기 때문에, 더욱 효율 좋은 부호화가 달성된다.

본 발명에 있어서는 부호화 대상의 입력화상은 동화상의 프레임이라도 좋다. 이 경우에는 제 2 화상 예측 처리에서는 부호화 대상 프레임의 재생 화상, 및 상기 부호화 대상 프레임보다 전에 처리된 프레임의 재생 화상의 적어도 한쪽이 참조영역으로 된다. 또한, 이 경우에, 화상복호에 따른 본 발명에 있어서는 복호대상의 화상이 동화상의 프레임이 되고, 제 2 화상 예측 수단은 기억수단에 기억되어 있는 재생 화상이고, 복호 대상 프레임의 상기 재생 화상 및 복호대상 프레임보다 전에 처리된 프레임의 재생 화상의 적어도 한쪽을 참조영역으로 한다.

본 발명에 따르면, 제 2 화상 예측 처리에 있어서, 부호화 대상 프레임의 재생 화상 및 부호화 대상 프레임과는 다른 처리 완료의 프레임의 재생 화상의 양자가 참조영역으로 되기 때문에, 시간방향 및 공간방향의 중복도가 더욱 삭감된다.

화상부호화에 따른 본 발명에 있어서, 제 1 화상 예측 처리는 움직임 보상 예측처리라도 좋다. 이 경우에, 예측 보조 정보는 제 1 화상 예측 처리에 의해서 추출되는 움직임 벡터를 포함한다. 또한, 이 경우에, 화상복호에 따른 본 발명에 있어서도, 예측 보조 정보는 제 1 화상 예측 처리에 사용되는 움직임 벡터를 포함한다.

본 발명에 있어서, 제 1 화상 예측 처리는 처리대상의 부분 영역과 동일 공간 내의 재생 화상을 예측에 사용하여 예측 화상을 생성하는 처리라도 좋다. 즉, 제 1 화상 예측 처리는 정지화의 부호화 및 복호에 사용되는 예측처리, 혹은, 동화상의 부호화 및 복호에 사용되는 프레임 내 예측처리라도 좋다. 이 경우에, 제 1 화상 예측 처리에서는 부호화 모드로부터 처리대상의 부분 영역에 인접하는 인접 부분 영역이 제 2 화상 예측 처리에 의해서 예측 화상이 생성되어야 할 부분 영역이라고 특정되는 경우에, 상기 처리대상의 부분 영역에 인접하지 않은 비인접 부분 영역의 재생 화상에 기초하여, 상기 처리대상의 부분 영역의 예측 화상이 생성된다.

본 발명에 따르면, 처리대상의 부분 영역이 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이고, 상기 처리대상의 부분 영역에 인접하는 인접 부분 영역이 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역인 경우 라도, 처리대상의 부분 영역에 인접하지 않은 비인접 부분 영역의 재생 화상 데이터를 사용하여, 예측 화상을 생성할 수 있다. 이로써, 처리대상의 부분 영역에 인접하는 인접 부분 영역의 재생 화상뿐만 아니라, 처리대상의 부분 영역에 인접하지 않은 비인접 부분 영역의 재생 화상을 사용하여 예측 화상을 생성할 수 있다. 따라서, 예측 화상 데이터를 생성할 때의 참조범위가 확대되고, 공간적 중복도가 삭감되기 때문에, 부호화 효율이 보다 향상된다.

또한, 이 경우에, 화상부호화에 따른 본 발명에 있어서, 제 1 화상 예측 처리에서는 복수의 다른 예측 규칙에 관한 복수의 예측 모드 중으로부터, 처리대상의 부분 영역의 예측 화상의 생성에 사용하는 예측 모드가 결정되고, 상기 예측 모드를 특정하기 위한 예측 모드 정보가 생성되고, 부호화수단은 예측 모드 정보를 부호화한 데이터를 비트 스트림에 포함시킬 수 있다. 이 경우에, 화상복호에 관련되는 본 발명에 있어서, 비트 스트림에는 제 1 화상 예측 처리에 의해서 예측 화상이 생성된 경우에, 복수의 다른 예측 규칙에 관한 복수의 예측 모드 중 제 1 화상 예측 처리에 사용된 예측 모드를 특정하는 예측 모드 정보가 부호화된 데이터가 포함되고 있고, 복호수단은 비트 스트림으로부터 예측 모드 정보를 복호하여, 제 1 화상 예측 처리에서는 예측 모드 정보에 기초하여 예측 화상이 생성된다.

본 발명에 있어서, 제 1 화상 예측 처리에서는 부호화 모드로부터 처리대상의 부분 영역에 인접하는 인접 부분 영역이 제 2 화상 예측 처리에 의해서 예측 화상이 생성되어야 할 부분 영역이라고 특정되는 경우에, 예측방향의 직선상에 있고 예측원측의 방향에 존재하는 비인접 부분 영역의 재생 화상 중, 처리대상의 부분 영역에 가장 가까운 화소의 화소치에 기초하여, 예측 화상이 생성되는 것이 바람직하다. 이로써, 각 예측 화상 생성 패턴에 적당한 최적의 재생 화상 데이터가 비인접 블록으로부터 선정된다.

화상부호화에 따른 본 발명에 있어서는 예측 잔차 화상 생성수단이, 제 1 화상 예측 수단에 의해서 생성된 예측 화상과 부호화 대상의 입력화상과의 차 연산을 실행함으로써, 예측 잔차 화상을 생성하고, 부호화수단이, 예측 잔차 화상에 기초하는 신호를 부호화한 데이터를 비트 스트림에 포함시켜도 좋다.

이 경우에, 화상복호에 따른 본 발명에 있어서, 비트 스트림에는 제 1 화상 예측에 의해서 생성된 부분 영역의 예측 화상과 상기 부분 영역의 화상(입력화상)과의 차 연산에 의한 예측 잔차 화상에 기초하는 신호가 부호화되어 이루어지는 데이터가 포함되어 있고, 복호수단은 비트 스트림에 포함되어 있는 데이터로서 예측 잔차 화상에 기초하는 신호가 부호화되어 이루어지는 상기 데이터로부터 상기 신호를 복호하고, 재생 화상 생성 수단은 복호수단에 의해서 복호된 신호에 기초하는 복원 예측 잔차 화상과 예측 화상을 가산함으로써, 재생 화상을 생성한다.

또한, 화상부호화에 따른 본 발명에 있어서는 예측 잔차 화상 생성수단이, 제 1 화상 예측 수단에 의해서 생성된 예측 화상과 부호화 대상의 입력화상과의 차 연산을 실행함으로써, 예측 잔차 화상을 생성하고, 변환수단이, 예측 잔차 화상에 변환처리를 실시함으로써, 변환정보를 생성하고, 역변환수단이, 변환정보에 역변환처리를 실시함으로써, 복원 예측 잔차 화상을 생성하고, 재생 화상 생성 수단이, 복원 예측 잔차 화상과 예측 화상을 가산함으로써, 재생 화상을 생성하고, 부호화 수단은 변환정보를 부호화한 데이터를 비트 스트림에 포함시켜도 좋다.

이 경우에, 화상 복호에 따른 본 발명에 있어서, 비트 스트림에는 제 1 화상 예측에 의해서 생성된 부분 영역의 예측 화상과 상기 부분 영역의 화상(입력화상)과의 차 연산에 의한 예측 잔차 화상에 변환처리가 실시되어 이루어지는 변환정보가 부호화됨으로써 생성된 데이터가 포함되어 있고, 복호수단은 비트 스트림으로부터 변환정보를 복호하고, 역변환수단이, 변환정보로 역변환처리를 실시함으로써, 복원 예측 잔차 화상을 생성하고, 재생 화상 생성 수단이, 복원 예측 잔차 화상과 예측 화상을 가산함으로써, 재생 화상을 생성한다.

바람직한 실시예의 설명

이하, 도면을 참조하여 본 발명의 적합한 실시예에 대하여 상세하게 설명한다. 또, 각 도면에 있어서 동일하거나 또는 상당하는 부분에 대해서는 동일한 부호를 붙이기로 한다.

우선, 본 발명의 제 1 실시예에 대하여 설명한다. 도 1은 제 1 실시예에 따른 화상 부호화 장치의 구성을 도시하는 도면이다. 도 1에 도시하는 화상 부호화 장치(1)는 물리적으로, 예를 들면, CPU(중앙처리장치), 메모리와 같은 기억장치, 디스플레이와 같은 표시장치, 통신장치 등을 구비하는 컴퓨터인 것이 가능하다. 또한, 화상 부호화 장치(1)는 휴대전화와 같은 이동통신단말, DVD 기기 등이라도 좋다. 즉, 화상 부호화 장치(1)에는 정보처리 가능한 장치가 널리 적용될 수 있 다.

화상 부호화 장치(1)는 기능적으로, 화상분할부(화상분할수단; 11)와, 부호화 모드 결정부(결정수단; 12)와, 예측 화상 생성부(제 1 화상 예측 수단; 13)와, 감산부(예측 잔차 화상 생성수단; 14)와, 변환부(변환수단; 15)와, 부호화부(부호화수단; 16)와, 역변환부(역변환수단; 17)와, 가산부(재생 화상 생성 수단; 18)와, 기억부(기억수단; 19)를 갖는다.

다음에, 도 1에 도시된 각 구성 요소에 대하여 설명한다. 화상 분할부(11)는 프레임 단위로 입력된 입력화상을 미리 정해진의 크기(예를 들면, 4×4화소)의 블록, 즉 부분 영역으로 분할한다. 또한, 화상 분할부(11)는 부호화 처리의 대상이 되는 처리 대상 블록을 특정하기 위한 블록 위치 정보를 생성한다. 블록 위치 정보로서는 예를 들면, 프레임 내의 각 블록을 래스터(raster) 주사순으로, 예를 들면, 0,1,2··로 승순으로 번호를 붙인 블록번호나, 각 블록을 포함하는 프레임의 좌측상단을 기준으로 한 좌표에 의해 나타나는 블록좌표가 해당한다.

부호화 모드 결정부(12)는 블록 각각에 대한 부호화 모드를 미리 정해진의 부호화 모드 결정 규칙에 기초하여 결정하고, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 생성한다.

본 실시예에서는 부호화 모드에는 처리 대상 블록의 입력화상 및 상기 화상에 대응하는 예측 화상을 사용하여 상기 처리 대상 블록의 화상을 부호화하는 모드인 예측 부호화 처리모드(P 모드)와, 처리 대상 블록의 입력화상 및 상기 화상에 대응하는 예측 화상을 사용하지 않고서 상기 처리 대상 블록의 화상을 부호화하는 모드인 보충 부호화 모드(C 모드)가 있다. 즉, 부호화 모드가 예측 부호화 처리모드인 경우에는 처리 대상 블록의 화상에 관한 정보가 부호화되어 출력되게 된다. 한편, 부호화 모드가 보충 부호화 처리 모드인 경우에는 처리 대상 블록의 화상에 관한 정보는 부호화되지 않고, 출력되지 않는다. 또한, 부호화 모드가 예측 부호화 처리모드인 경우에는 복호측에서의 예측 화상의 생성에 예측 보조 정보가 필요한 제 1 화상 예측 처리에 의해서 예측 화상이 생성되고, 부호화 모드가 보충 부호화 모드인 경우에는 복호측에서의 예측 화상의 생성에 예측 보조 정보를 필요로 하지 않은 제 2 화상 예측 처리(화상 보충 처리)에 의해서 예측 화상이 생성된다.

부호화 모드 결정 규칙으로서는 예를 들면, 후술하는 화상 보충 처리(도 6 참조, 제 2 화상 예측 처리)에 의해 처리 대상 블록의 재생 화상을 생성하고, 처리 대상 블록의 입력화상과 상기 재생 화상과의 오차를 자승한 값이 미리 설정된 임계치 이하인 경우에는 보충 부호화 모드로 하고, 그 이외의 경우에는 예측 부호화 처리모드로 하는 것이라도 좋다. 또, 반드시 오차를 자승한 값과 임계치를 비교할 필요는 없고, 오차의 절대치와 임계치를 비교하여도 좋다. 또한, 다른 부호화 모드 결정 규칙으로서는 예를 들면, 미리 예측 부호화 처리모드로 부호화하는 블록과 보충 부호화 모드로 부호화하는 블록을 정한 정보를 블록 위치 정보에 대응시켜 보유해 두고, 처리를 할 때에, 블록 위치 정보에 기초하여 처리 대상 블록에 대응하는 부호화 모드가 취득되는 것이라도 좋다.

예측 화상 생성부(13)는 부호화 모드가 예측 부호화 처리모드인 경우에, 제 1 화상 예측 처리에 의해서 처리 대상 블록의 입력화상에 대응하는 예측 화상을 생 성할 때에 채용하는 프레임 내 예측 화상 생성 패턴, 즉 예측 모드를, 후술하는 9종류의 예측 화상 생성 패턴으로부터 선택하고, 상기 예측 모드를 특정하기 위한 예측 모드 정보를 출력한다. 즉, 이 프레임 내 예측 화상 생성 패턴(예측 모드)은 복호측에서 예측 화상을 생성할 때에 필요해지는 예측 보조 정보로 되어 있다.

예측 화상 생성부(13)는 결정한 예측 화상 생성 패턴에 따라서, 각 블록의 화상 중 이미 부호화되고, 재생되어 기억부(19)에 기억되어 이루어지는 재생 화상의 일부를 사용하여, 처리 대상 블록의 입력화상에 대응하는 예측 화상을 생성한다. 또, 예측 화상을 생성할 때의 제 1 화상 예측 처리의 상세에 대해서는 후술한다.

감산부(14)는 처리 대상 블록의 입력화상으로부터 상기 처리 대상 블록의 예측 화상을 화소 단위로 감산하여, 예측 잔차 화상을 생성한다.

변환부(15)는 예측 잔차 화상을 미리 정해진의 변환규칙을 사용하여 변환하고, 상기

변환에 의해 얻어지는 변환계수(변환정보)를 출력한다. 미리 정해진의 변환규칙으로서는 예를 들면, 4행 4열의 2차원 DCT, 및 H.264로 채용되어 있는 4행4열의 직교 변환 및 양자화가 해당한다. 또한, 미리 정해진의 변환규칙은 예를 들면, MP법(Matching Pursuit), 벡터 양자화 및 웨블릿 변환 등의 변환조작·양자화라도 좋다.

부호화부(16)는 변환계수를 미리 정해진의 규칙에 기초하여 엔트로피 부호화한다. 또한, 부호화부(16)는 부호화 모드 정보 및 예측 화상 생성 패턴(예측 모 드)을 미리 정해진의 규칙에 기초하여 엔트로피 부호화한다. 엔트로피 부호화로서는 예를 들면, 산술 부호화가 사용된다.

역변환부(17)는 변환계수를, 미리 정해진의 역변환규칙을 사용하여 역변환함으로써, 복원 예측 잔차 화상을 생성한다. 이 미리 정해진의 역변환규칙은 변환부(15)에 의해 채용된 미리 정해진의 변환규칙에 대응하는 역변환규칙이다.

가산부(18)는 처리 대상 블록의 예측 화상과 상기 예측 화상에 대응하는 복원 예측 잔차 화상을 가산하여 재생 화상을 생성한다. 또, 가산부(18)는 화상의 화소치에 특정한 레인지가 설정되어 있는 경우에는 화소치가 특정한 레인지 내에 들어가도록 클리핑(clipping) 처리를 하여도 좋다.

기억부(19)는 가산부(18)에 의해 생성된 재생 화상을 도시하지 않는 메모리에 기억시킨다.

다음에, 도 2 및 도 3을 참조하여 예측 화상을 생성할 때의 제 1 화상 예측 처리에 대하여 설명한다. 또, 본 실시예에서는 제 1 화상 예측 처리가 프레임 내 예측처리이지만, 제 1 화상 예측 처리에는 예를 들면 움직임 보상 예측 처리와 같은 여러가지의 예측처리가 적용될 수 있다.

우선, 도 2에 도시하는 바와 같이, 4 ×4화소의 처리 대상 블록(Y)의 좌측 경사 상방에 인접하는 블록을 블록(XO)으로 하고, 마찬가지로 상측에 인접하는 블록을 블록(X1)으로 하고, 우측 경사 상방에 인접하는 블록을 블록(X2)으로 하고, 좌측에 인접하는 블록을 블록(X3)으로 한다. 또한, 블록(X1)의 상측에 인접하는 블록을 블록(X4)으로 하고, 블록(X2)의 상측에 인접하는 블록을 블록(X5)으로 하 고, 블록(X3)의 좌측에 인접하는 블록을 블록(X6)으로 한다. 또한, 블록(X1)의 최하행에 있는 재생 화소치를 좌측으로부터 차례로 A, B, C, D로 하고, 블록(X2)의 최하행에 있는 재생 화소치를 좌측으로부터 차례로 E, F, G, H로 하고, 블록(X3)의 최우측열에 있는 재생 화소치를 위에서 차례로 I, J, K, L로 한다. 또한, 블록(X0)의 우측하부구석에 있는 재생 화소치를 M으로 한다. 또한, 처리 대상 블록(Y)에서의 예측 화상의 화소치를 래스터 주사순으로 a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p로 한다.

여기서, 도 3을 참조하여, 4×4화소 블록 부호화 모드에 있어서의 9종류의 예측 모드(A0 내지 A8)에 대하여 설명한다. 도 3a에 도시하는 예측 모드(A0)는 처리 대상 블록의 상측에 인접하는 화소치를 하측 방향으로, 직선적으로 신장함으로써 예측 화상을 생성하는 모드이다. 이 예측 모드(A0)에서는 다음 식에 기초하여 예측 화상이 생성된다.

a= e= i= m= A

b= f= j= n= B

c= g= k= o= C

d= h= l= p= D

도 3b에 도시하는 예측 모드(A1)는 처리 대상 블록의 좌측에 인접하는 화소치를 우측 방향으로, 직선적으로 신장함으로써 예측 화상을 생성하는 모드이다. 이 예측 모드(A1)에서는 다음 식에 기초하여 예측 화상이 생성된다.

a= b= c= d= I

e= f= g= h= J

i= j= k= l= K

m= n= o= p= L

도 3c에 도시하는 예측 모드(A2)는 주변화소의 평균치를 사용하여 처리대상 블록의 DC 성분만을 예측하는 모드이다. 이 예측 모드(A2)에서는 다음의 규칙에 기초하여 예측 화상이 생성된다. 우선, A 내지 M이 모두 프레임 내의 재생 화소인 경우는 a 내지 p의 모든 값을(A+ B+ C+ D+ I+ J+ K+ L+ 4)/8로 한다. 이에 대하여, A 내지 D가 프레임 내의 재생 블록에 속하지 않고, I 내지 L이 프레임 내의 재생 블록에 속해 있는 경우는 a 내지 p의 모든 값을 (I+ J+ K+ L+ 2)/4로 한다. 또한, I 내지 L이 프레임 내의 재생 블록에 속하지 않고, A 내지 D가 프레임 내의 재생 블록에 속해 있는 경우는 a 내지 p의 모든 값을 (A+ B+ C+ D+ 2)/4로 한다. 또한, A 내지 D 및 I 내지 L이 모두 프레임 내의 재생 블록에 속해 있지 않은 경우에는 a 내지 p의 모든 값을 128로 한다.

도 3d에 도시하는 예측 모드(A3)는 처리 대상 블록의 상측 및 우측 경사 상방에 인접하는 화소치를 좌측 경사 하부 방향으로, 직선적으로 신장함으로써 예측 화상을 생성하는 모드이다. 이 예측 모드(A3)에서는 다음 식에 기초하여 예측 화상이 생성된다.

a= (A+ 2B+ C+ 2)/4

b= e=(B+ 2C+ D+ 2)/4

c= f= i=(C+ 2D+ E+ 2)/4

d= g= j= m=(D+ 2E+ F+ 2)/4

h= k= n=(E+ 2F+ G+ 2)/4

l= o= (F+ 2G+ H+ 2)/4

p=(G+ 3H+2)/4

도 3e에 도시하는 예측 모드(A4)는 처리 대상 블록의 좌측, 좌측 경사 상부 및 상측에 인접하는 화소치를 우측 경사 하측 방향에, 직선적으로 신장함으로써 예측 화상을 생성하는 모드이다. 이 예측 모드(A4)에서는 다음 식에 기초하여 예측 화상이 생성된다.

m= (J+ 2K+ L+ 2)/4

i= n= (I+ 2J+ K+ 2)/4

e= j= o=(M+ 2I+ J+ 2)/4

a= f= k= p=(A+ 2M+ I+ 2)/4

b= g= 1=(M+ 2A+ B+ 2)/4

c= h=(A+ 2B+ C+ 2)/4

d= (B+ 2C+ D+ 2)/4

도 3f에 도시하는 예측 모드(A5)는 처리 대상 블록의 좌측, 좌측 경사 상방 및 상측에 인접하는 화소치를 하방 우측에, 직선적으로 신장함으로써 예측 화상을 생성하는 모드이다. 이 예측 모드(A5)에서는 다음 식에 기초하여 예측 화상이 생성된다.

a= j=(M+ A+ 1)/2

b= k=(A+ B+ 1)/2

c= l=(B+ C+ 1)/2

d= (C+ D+ 1)/2

f= o= (M+ 2A+ B+ 2)/4

g= p= (A+ 2B+ C+ 2)/4

h= (B+ 2C+ D+ 2)/4

i= (M+ 2I+ J+ 2)/4

m= (I+ 2J+ K+ 2)/4

도 3g에 도시하는 예측 모드(A6)는 처리 대상 블록의 좌측, 좌측 경사 상방 및 상측에 인접하는 화소치를 우방 하측에, 직선적으로 신장함으로써 예측 화상을 생성하는 모드이다. 이 예측 모드(A6)에서는 다음 식에 기초하여 예측 화상이 생성된다.

a= g= (M+ I+ 1)/2

b= h= (I+ 2M+ A+ 2)/4

c= (M+ 2A+ B+ 2)/4

d= (A+ 2B+ C+ 2)/4

e= k= (I+ J+ 1)/2

f= l=(M+ 2I+ J+ 2)/4

i= o=(J+ K+ 1)/2

j= p=(I+ 2J+ K+ 2)/4

m=(K+ L+ 1)/2

n=(J+ 2K+ L+ 2)/4

도 3h에 도시하는 예측 모드(A7)는 처리 대상 블록의 상측 및 우측 경사 상방에 인접하는 화소치를 하방좌측에, 직선적으로 신장함으로써 예측 화상을 생성하는 모드이다. 이 예측 모드(A7)에서는 다음 식에 기초하여 예측 화상이 생성된다.

a=(A+ B+ 1)/2

b= i=(B+ C-4-1)/2

c= j=(C+ D+ 1)/2

d= k=(D+ E+ 1)/2

l=(E+ F+ 1)/2

e=(A+ 2B+ C+ 2)/4

f= m=(B+ 2C+ D+ 2)/4

g= n=(C+ 2D+ E+ 2)/4

h= o=(D+ 2E+ F+ 2)/4

p=(E+ 2F+ G+ 2)/4

도 3i에 도시하는 예측 모드(A8)는 처리 대상 블록의 좌측에 인접하는 화소치를 우방 상측에, 직선적으로 신장함으로써 예측 화상을 생성하는 모드이다. 이 예측 모드(A8)에서는 다음 식에 기초하여 예측 화상이 생성된다.

a= (I+ J+ 1)/2

b= (I+ 2J+ K+ 2)/4

c= e= (J+ K+ 1)/2

d= f= (J+ 2K+ L+ 2)/4

g= i= (K+ L+ 1)/2

h= j= (K+ 3L+ 2)/4

k= 1= m= n= o= p= L

예측 화상 생성부(13)는 상술한 각 예측 모드 중, 예측 화상을 생성할 때에 사용되는 재생 화소치가 1개라도 프레임 외에 있는 예측 모드는 선택하지 않는다.

여기서, 본 실시예에서는 A 내지 M의 어느 하나를 포함하는 블록의 부호화 모드가 보충 부호화 모드인 경우에는 예측 화상이 생성되지 않기 때문에, 이 경우에는 재생 화소치가 존재하지 않는다. 따라서, 다른 블록으로 예측 화상을 생성하는 때는 보충 부호화 모드인 블록의 재생 화소치를 참조할 수 없다.

본 실시예에 있어서는 이러한 경우에, 예측 모드에 있어서의 예측방향(도 3에 도시되는 화살표의 방향)의 직선상 또한 예측원측(도 3에 도시되는 화살표의 시점측)의 방향에 존재하는 동일 프레임 내의 재생 화소치로, 가장 처리 대상 블록에 가까운 재생 화소치를, A 내지 M의 대체 화소치로서 예측 화상의 생성에 사용하는 것으로 하였다. 또한, 예측방향의 직선이 2개의 화소의 중간을 지나는 경우에는 상기 2개의 화소의 평균화소치를 대체 화소치로 하는 하였다.

도 4 및 도 5를 참조하여, 상술한 대체 화소치에 대하여 설명한다. 우선, 도 4는 처리 대상 블록(Y)의 상측에 인접하는 블록(X1)이 보충 부호화 모드이고, 또한, 예측 모드가 A0인 경우에 결정되는 대체 화소치를 도시하는 도면이다. 도 4 에 도시하는 바와 같이, 블록(X1)의 재생 화소치(A, B, C, D)의 대체 화소치로서, 블록(X4)의 최하행에 있는 재생 화소치(N, O, P, Q)가 선택된다. 즉, 재생 화소치 A, B, C, D에 대하여, 예측 모드(A0)에 있어서의 예측방향의 직선상에서 예측원측의 방향에 존재하는 동일 프레임 내의 재생 화소치로, 가장 처리 대상 블록(Y)에 가까운 재생 화소치 N, O, P, Q가 선택된다. 따라서, 도 4에 도시되는 처리 대상 블록(Y)의 예측 화상을 생성할 때는 상술한 예측 모드(A0)에 있어서의 식 중에 있는 A, B, C, D의 대신에 N, O, P, Q를 사용하게 된다. 또, 블록(X4)이 프레임 외 또는 보충 부호화 모드인 경우에는 A, B, C, D는 프레임 외로서 취급된다. 즉, 예측 모드로서 A0은 선택되지 않게 된다.

다음에, 도 5는 처리 대상 블록(Y)의 상측에 인접하는 블록(X1)이 보충 부호화 모드이고, 또한, 예측 모드가 A7인 경우에 결정되는 대체 화소치를 도시하는 도면이다. 도 5에 도시하는 바와 같이, 블록(X1)의 재생 화소치(A, B, C, D)의 대체 화소치의 후보로서, 블록(X4)의 최하행에 있는 2개의 재생 화소치(N, O) 및 블록(X2)의 최좌측열에 있는 2개의 재생 화소치(P, Q)가 선택된다. 그리고, A의 대체치로서는 N이 선택되고, B의 대체치로서는 O가 선택되고, D의 대체치로서는 P가 선택되고, C의 대체치로서는 O와 P의 평균치가 사용된다. C의 대체치로서 O와 P의 평균치가 사용되는 것은 예측방향의 직선이 2개의 화소 0와 P의 중간(블록(X5)의 좌측하부 구석에 있는 화소상)을 지나기 때문이다. 즉, 재생 화소치(A, B, C, D)에 대하여, 예측 모드(A7)에 있어서의 예측방향의 직선상에서 예측원측의 방향에 존재하는 동일 프레임 내의 재생 화소치로, 가장 처리 대상 블록(Y)에 가까운 재생 화소치{N, O, (O+ P)/2, Q}가 선택된다. 따라서, 도 5에 도시되는 처리 대상 블록(Y)의 예측 화상을 생성할 때는 상술한 예측 모드(A7)에 있어서의 식 중에 있는 A, B, C, D의 대신에 N, O, (O+ P)/2, Q를 사용하게 된다. 또, 2개의 화소치의 평균치를 2진수로 산출하는 경우에는 2개의 화소치를 가산하여, 이 가산결과에 1을 더한 후에, 1비트 우측으로 시프트하면 된다.

이렇게 하여 대체 화소치를 결정함으로써, 각 예측 모드에 적당한 최적인 재생 화소치를 비인접 블록으로부터 선정할 수 있다.

다음에, 도 6을 참조하여 상술한 부호화 모드 결정 규칙에 있어서 행해지는 보충화상을 생성할 때의 화상 보충 처리(제 2 화상 예측 처리)에 대하여 설명한다.

본 실시예의 화상 보충 처리에서는 도 6에 도시하는 바와 같이 처리 대상 블록(Y)에 포함되는 하나의 화소를 처리 대상 화소(P)로 한다. 이 처리 대상 화소(P)와, 처리 대상 화소(P)의 근방에 존재하는 재생 화상의 화소(재생 화소)를 포함하는 영역을 템플릿(T)으로 한다. 또, 처리 대상 블록(Y)에 화상 보충 처리 완료의 화소(보충화소)가 존재하는 경우에는 상기 화상 보충 처리 완료의 화소를 템플릿(T)에 포함시킬 수 있다. 또한, 처리 대상 블록(Y) 및 상기 처리 대상 블록(Y)의 주변영역을 대상영역(R)으로 한다.

우선, 미리 정해진의 주사규칙에 기초하여 처리 대상 블록(Y) 내를 주사함으로써, 처리 대상 블록(Y)에 포함되는 복수의 화소로부터 처리 대상 화소(P)를 선정한다. 다음에, 선정한 처리 대상 화소(P)에 기초하여 템플릿(T)을 결정한다. 다음으로, 대상영역(R) 내에서, 템플릿(T)과 동일한 형상을 갖는 영역 중, 템플릿(T) 으로부터 처리 대상 화소(P)를 제외한 부분의 화소와의 상관이 최대로 되는 상관영역(S)을 선택한다. 다음에, 상관영역(S) 중 처리 대상 화소(P)에 대응하는 재생 화소(Q)의 화소치를 처리 대상 화소(P)에서의 보충화소치로 한다. 이상의 처리와 동일한 처리를, 처리 대상 블록(Y)에 포함되는 각 화소에 대하여 주사순으로 행한다. 이로써 처리 대상 블록(Y)에 대응하는 보충화상이 생성된다. 여기서, 상술한 상관영역(S)을 선택할 때의 상관의 산출방법으로서는 예를 들면, 대응하는 각 화소치간에서의 차분의 자승합이 최소가 되는 것을 상관이 최대라고 하는 방법이나, 대응하는 각 화소치에 있어서의 차분의 절대치의 합이 최소인 것을 상관이 최대라고 하는 방법이라도 좋고, 다른 어떠한 방법이라도 상관관계를 계측할 수 있는 방법이면 적용 가능하다. 또, 부호화 대상 화상이 동화상인 경우에는 대상영역(R)으로서 복호 완료의 프레임에 있어서의 복호화소 및 보충화소를 사용함으로써, 보다 효율이 좋은 화상 보충을 할 수 있다.

다음에, 도 7을 참조하여, 화상 부호화 처리에 있어서의 화상 부호화 장치(1)의 동작에 대하여 설명한다. 이 화상 부호화 처리는 하나의 프레임으로부터 미리 정해진의 주사순(예를 들면, 래스터 주사순)으로 판독된 블록단위로 행해진다.

우선, 화상 분할부(11)가, 프레임 단위로 입력된 입력화상을 미리 정해진의 크기(예를 들면, 4× 4화소)의 블록으로 분할하고, 각 처리 대상 블록을 특정하기 위한 블록 위치 정보를 생성한다(스텝 S1).

다음에, 부호화 모드 결정부(12)가, 미리 정해진의 부호화 모드 결정 규칙에 기초하여 처리 대상 블록의 화상을 부호화할 때의 부호화 모드를, 예측 부호화 처 리모드(P 모드) 또는 보충 부호화 모드(C 모드)의 어느 한쪽에 결정하고, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 출력한다(스텝 S2). 이 블록부호화 모드 정보는 화상 분할부(11), 예측 화상 생성부(13) 및 부호화부(16)에 출력된다.

다음에, 예측 화상 생성부(13)가, 부호화 모드 결정부(12)에 의해 결정된 처리 대상 블록의 부호화 모드가, 예측 부호화 처리모드인지의 여부를 판정한다(스텝 S3). 이 판정이 NO인 경우(스텝 S3; NO)에는 다음 처리 대상 블록의 화상 부호화 처리를 하기 위해서, 스텝 S11로 처리를 이행한다.

한편, 스텝 S3에 있어서의 판정에서, 처리 대상 블록의 부호화 모드가 예측 부호화 처리모드라고 판정된 경우(스텝 S3; YES)에, 예측 화상 생성부(13)는 예측 모드를 결정하고, 이 결정한 예측 모드에 따라서, 이미 부호화되어 있고 기억부(19)에 기억되어 있는 재생 화상의 일부를 사용하여, 처리 대상 블록의 화상에 대응하는 예측 화상을 생성한다(스텝 S4). 즉, 예측 화상 생성부(13)는 상술한 제 1 화상 예측 처리를 실행함으로써, 처리 대상 블록에 인접하는 인접 블록 및 처리 대상 블록에 인접하지 않은 비인접 블록의 재생 화상에 기초하여, 예측 화상을 생성한다. 이 예측 화상은 감산부(14) 및 가산부(18)에 출력된다.

다음에, 감산부(14)가, 처리 대상 블록의 화상(입력화상)으로부터 상기 처리 대상 블록의 화상에 대응하는 예측 화상을 화소 단위로 감산하고, 예측 잔차 화상을 생성한다(스텝S5). 이 예측 잔차 화상은 변환부(15)에 출력된다.

다음에, 변환부(15)가, 감산부(14)에 의해 생성된 예측 잔차 화상을 미리 정 해진의 변환규칙을 사용하여 변환하고, 상기 변환에 의해 얻어지는 변환계수(변환정보)를 산출한다(스텝 S6). 이 변환계수는 부호화부(16) 및 역변환부(17)에 출력된다.

다음에, 부호화부(16)가, 변환부(15)에 의해 산출된 변환계수를 미리 정해진의 규칙에 기초하여 엔트로피 부호화한다(스텝 S7). 또한, 부호화부(16)는 스텝 S2에 있어서 결정된 부호화 모드 정보를 미리 정해진의 규칙에 기초하여 엔트로피 부호화함과 동시에, 스텝 S4에 있어서 선택된 예측 화상 생성 패턴을 미리 정해진의 규칙에 기초하여 엔트로피 부호화한다. 이들의 엔트로피 부호화된 부호화 데이터는 압축데이터(비트 스트림)로서 외부에 있는 화상 복호 장치에 출력된다.

다음에, 역변환부(17)는 변환부(15)에 의해 산출된 변환계수를, 변환부(15)에 의해 채용된 미리 정해진의 변환규칙에 대응하는 역변환규칙을 사용하여 역변환하고, 복원 예측 잔차 화상을 생성한다(스텝 S8). 이 복원 예측 잔차 화상은 가산부(18)에 출력된다.

다음에, 가산부(18)는 예측 화상 생성부(13)에 의해 생성된 예측 화상과 역변환부(17)에 의해 생성된 복원 예측 잔차 화상을 가산하여 재생 화상을 생성한다(스텝 S9). 이 재생 화상은 기억부(19)에 의해 메모리에 격납되어 축적된다(스텝 S10).

다음에, 모든 블록에 대하여 처리가 종료하였는지의 여부를 판정하고(스텝 S11), 모든 블록이 종료한 경우(스텝 S11; YES)에는 화상 부호화 처리를 종료한다. 한편, 모든 블록이 종료하고 있지 않는 경우(스텝 S11; NO)에는 스텝 S2로 처리를 이행한다.

다음에, 본 발명의 실시예에 따른 화상 부호화 프로그램, 및 상기 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체(이하, 단지 기록매체라고 한다)에 대하여 설명한다. 여기서, 기록매체란, 컴퓨터의 하드웨어 자원에 구비되어 있는 판독 장치에 대하여, 프로그램의 기술 내용에 따라서, 자기, 빛, 전기 등의 에너지의 변화상태를 야기하고, 그것에 대응하는 신호의 형식으로, 판독 장치에 프로그램의 기술 내용을 전달할 수 있는 것이다. 이러한 기록매체로서는 예를 들면, 자기디스크, 광디스크, CD-ROM, 컴퓨터에 내장되는 메모리 등이 해당한다.

도 8은 제 1 실시예에 따른 기록매체의 구성도이다. 기록매체(100)는 도 8에 도시하는 바와 같이, 프로그램을 기록하는 프로그램영역(101)을 구비하고 있다. 이 프로그램영역(101)에는 화상 부호화 프로그램(102)이 기록되어 있다.

도 14는 기록매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 도시하는 도면이고, 도 15는 기록매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 도 15에 도시하는 바와 같이, 컴퓨터(110)는 플로피 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독장치(112)와, 오퍼레이팅 시스템을 상주시킨 작업용 메모리(RAM; 114)와, 기록매체(100)에 기억된 프로그램을 기억하는 메모리(116)와, 디스플레이와 같은 표시장치(118)와, 입력장치인 마우스(120) 및 키보드(122)와, 데이터 등을 송수하기 위한 통신장치(124)와, 프로그램의 실행을 제어하는 CPU(126)를 구비하고 있다.

기록매체(100)가 판독장치(112)에 삽입되면, 컴퓨터(110)는 판독장치(112)로 부터 기록매체(100)에 격납된 화상 부호화 프로그램(102)에 액세스 가능하게 되고, 상기 화상 부호화 프로그램(102)에 의해서, 화상 부호화 장치(1)로서 동작하는 것이 가능해진다.

도 15에 도시하는 바와 같이, 화상 부호화 프로그램(102)은 반송파에 중첩된 컴퓨터 데이터 신호(130)로서 네트워크를 통해 제공되는 것이라도 좋다. 이 경우, 컴퓨터(110)는 통신장치(124)에 의해서 수신한 화상 부호화 프로그램(102)을 메모리(116)에 격납하여, 화상 부호화 프로그램(102)을 실행할 수 있다.

화상 부호화 프로그램(102)은 화상 분할 모듈(102a)과, 부호화 모드 결정 모듈(102b)과, 예측 화상 생성 모듈(102c)과, 감산 모듈(102d)과, 변환 모듈(102e)과, 부호화 모듈(102f)과, 역변환 모듈(102g)과, 가산 모듈(102h)과, 기억 모듈(102i)을 구비하여 구성된다. 여기서, 화상 분할 모듈(102a), 부호화 모드 결정 모듈(102b), 예측 화상 생성 모듈(102c), 감산 모듈(102d), 변환 모듈(102e), 부호화 모듈(102f), 역변환 모듈(102g), 가산 모듈(102h), 기억 모듈(102i)의 각각을 동작시킴으로써 실현하는 기능은 상기 화상 부호화 장치(1)의 화상 분할부(11), 부호화 모드 결정부(12), 예측 화상 생성부(13), 감산부(14), 변환부(15), 부호화부(16), 역변환부(17), 가산부(18), 기억부(19)의 각각이 갖는 기능과 동일하다.

제 1 실시예의 화상 부호화 장치(1)에 의하면, 부호화 모드가 보충 부호화 모드인 영역에 대해서는 예측 보조 정보에 기초하는 데이터를 비트 스트림에 포함시킬 필요가 없기 때문에, 부호화 효율이 높은 비트 스트림이 생성된다.

또한, 예측 화상 생성부(13)는 처리 대상 블록에 인접하는 인접 블록의 부호 화 모드가 보충 부호화 모드인 경우에는 처리 대상 블록에 인접하지 않은 비인접 블록의 재생 화상을 사용하여, 예측 화상을 생성할 수 있다. 이로써, 처리 대상 블록에 인접하는 인접 블록의 재생 화상뿐만 아니라, 처리 대상 블록에 인접하지 않은 비인접 블록의 재생 화상을 사용하여 예측 화상을 생성할 수 있기 때문에, 예측 화상을 생성할 때의 참조범위가 확대되고, 공간적 중복도를 삭감시킬 수 있는 동시에, 부호화 효율을 보다 향상시킬 수 있다. 또한, 보충 부호화 모드의 화상을 효율 좋게 선정함으로써, 예측 화상을 생성할 때의 참조범위가 효율 좋게 확대되고, 공간적 중복도가 보다 삭감된다.

[제 2 실시예]

다음에, 본 발명의 제 2 실시예에 대하여 설명한다. 이 화상 복호 장치는 제 1 실시예의 화상 부호화 장치로부터 출력된 압축 데이터(부호화 데이터를 포함한다), 즉 비트 스트림을 수신하고, 이 수신한 비트 스트림을 복호하여 재생 화상 데이터를 생성하는 것이다.

도 9는 제 2 실시예에 따른 화상 복호 장치의 구성을 예시하는 도면이다. 도 9에 도시하는 화상 복호 장치(2)는 물리적으로, 예를 들면, CPU(중앙처리장치),메모리와 같은 기억장치, 디스플레와 같은 표시장치, 통신장치 등을 구비하는 컴퓨터일 수 있다. 또한, 화상 복호 장치(2)는 휴대전화와 같은 이동통신단말, DVD 기기 등이 있어도 좋다. 즉, 화상 복호 장치(2)에는 정보 처리 가능한 장치가 널리 적용될 수 있다.

도 9에 도시하는 화상 복호 장치(2)는 복호부(복호수단; 21)와, 부호화 모드 판정부(22)와, 예측 화상 생성부(제 1 화상 예측 수단; 23)와, 역변환부(역변환수단; 24)과, 가산부(재생 화상 생성 수단; 25)와, 기억부(기억수단; 26)와, 전환 스위치(27)와, 보충화상 생성부(제 2 화상 예측 수단; 28)를 갖는다.

다음에, 도 9에 도시된 각 구성 요소에 대하여 설명한다. 복호부(21)는 미리 정해진의 크기의 블록으로 분할된 복호처리의 대상이 되는 입력화상에 관한 입력화상정보(압축 데이터)를 수신한다. 복호부(21)는 수신한 입력화상정보를 미리 정해진의 규칙에 기초하여 엔트로피 복호한다. 이 엔트로피 복호에 의해, 변환계수, 부호화 모드 정보 및 예측 모드 정보가 복호된다. 이들의 변환계수, 부호화 모드 정보 및 예측 모드 정보는 화상 부호화 장치(1)에 대하여 설명한 차분 화상 데이터의 변환계수, 부호화 모드 정보 및 예측 모드 정보와 동일하기 때문에, 설명을 생략한다.

부호화 모드 판정부(22)는 미리 정해진의 주사순(예를 들면, 래스터 주사순)으로, 입력된 부호화 모드 정보로부터, 부호화 모드가 예측 부호화 처리모드 또는 보충 부호화 모드의 어떠한 것인지를 판정한다.

여기서, 부호화 모드 판정부(22)의 판정결과에 의해 행해지는 처리는 프레임 내의 주사가 1순환째인지 2순환째인지에 따라 다르다. 구체적으로 설명하면, 프레임 내의 주사가 1순환째이면, 부호화 모드가 예측 부호화 처리모드라고 판정된 경우에는 처리 대상 블록에 대하여 상술한 제 1 화상 예측 처리를 포함하는 예측 화상 복호 처리가 행해지고, 부호화 모드가 보충 부호화 모드라고 판정된 경우에는 다음 블록이 판독된다. 한편, 프레임 내의 주사가 2순환째일 때, 부호화 모드가 보충 부호화 모드라고 판정된 경우에는 처리 대상 블록에 대하여 상술한 화상 보충 처리를 포함하는 보충 화상 복호처리가 행해지고, 부호화 모드가 예측 부호화 처리모드라고 판정된 경우에는 다음 블록이 판독된다. 즉, 1순환째에는 예측 부호화 처리모드인 처리 대상 블록에 대해서만 화상 예측 처리를 포함하는 예측 화상 복호 처리가 행해지고, 2순환째에는 보충 부호화 모드인 처리 대상 블록에 대해서만 화상 보충 처리를 포함하는 보충 화상 복호처리가 행해진다.

예측 화상 생성부(23)는 복호된 예측 모드 정보에 의해서 특정되는 예측 모드에 따라서, 각 블록의 화상 중 이미 복호되고, 기억부(26)에 기억되어 있는 재생 화상의 일부를 사용하여, 복호처리의 대상이 되는 처리 대상 블록의 예측 화상을 생성한다. 이 예측 화상을 생성하기 위한 화상 예측 처리는 상술한 제 1 화상 예측 처리(도 2, 도 3 참조)와 동일하기 때문에, 설명을 생략한다.

역변환부(24)는 복호된 변환계수에 대하여, 상술한 변환부(15)로 채용된 미리 정해진의 변환규칙에 대응하는 역변환 규칙을 사용하여 역변환하고, 상기 역변환에 의해 얻어지는 복원 예측 잔차 화상을 생성한다.

가산부(25)는 예측 화상과 상기 예측 화상에 대응하는 복원 예측 잔차 화상을 가산하고 재생 화상을 생성한다. 또, 가산부(25)는 화상의 화소치에 특정한 레인지가 설정되어 있는 경우에는 화소치가 특정한 레인지 내에 들어가도록 클리핑 처리를 하여도 좋다.

기억부(26)는 가산부(25)에 의해 생성된 재생 화상을 도시하지 않는 메모리 에 기억시킨다.

전환 스위치(27)는 처리 대상 블록의 부호화 모드에 따라서, 기억부(26)에 기억된 재생 화상의 송신처를 바꾼다. 즉, 전환 스위치(27)는 부호화 모드가 예측 부호화 처리모드인 경우에는 기억부(26)에 격납된 재생 화상을 예측 화상 생성부(23)에 송신할 수 있도록 스위치를 바꾼다. 한편, 부호화 모드가 보충 부호화 모드인 경우에는 기억부(26)에 격납된 재생 화상을 보충 화상 생성부(28)에 송신할 수 있도록 스위치를 바꾼다.

보충 화상 생성부(28)는 처리 대상 블록의 근방에서 이미 복호된 재생 화상을 사용하여 보충화상을 생성한다. 여기서, 보충화상을 생성할 때의 화상 보충 처리는 상술한 화상 보충 처리(도 6 참조, 제 2 화상 예측 처리)와 동일하기 때문에, 설명을 생략한다.

다음에, 도 10 내지 도 12를 참조하여, 화상 복호 장치(2)의 동작, 및 화상 복호 처리에 대하여 설명한다. 우선, 화상 복호 처리에 있어서의 개요 동작에 대하여 도 10을 참조하여 설명한다. 도 10에 도시하는 바와 같이, 화상 복호 처리에 있어서는 우선, 복호부(21)에 의해, 제 1 실시예에 있어서의 화상 부호화 장치(1)로부터 수신한 l 프레임분의 입력 화상 정보가 미리 정해진의 규칙에 기초하여 엔트로피 복호되고, 변환계수, 부호화 모드 정보 및 예측 모드 정보가 생성된다(스텝 S20). 다음에, 1순환째의 프레임 내 주사에 있어서 행해지는 예측 화상 복호 처리(스텝 S30)가 실행되어, 다음에, 2순환째의 프레임 내 주사에 있어서 행해지는 보충 화상 복호처리(스텝S40)가 실행된다.

이하에 있어서, 예측 화상 복호 처리(스텝 S30) 및 보충(스텝 S40)에 있어서의 각 동작을 각각의 처리마다 상세하게 설명한다.

우선, 도 11을 참조하여, 예측 화상 복호 처리의 상세 동작에 대하여 설명한다. 우선, 부호화 모드 판정부(22)는 미리 정해진의 주사순(예를 들면, 래스터 주사순)에 따라서, 입력된 부호화 모드 정보에 의해서 특정되는 부호화 모드가, 예측 부호화 처리모드인지의 여부를 판정한다(스텝 S31). 이 판정이 NO인 경우(스텝 S31; NO)에는 처리를 후술하는 스텝 S36으로 이행한다.

한편, 스텝 S31에 있어서의 판정에서, 부호화 모드가 예측 부호화 처리모드라고 판정된 경우(스텝S31; YES)에, 예측 화상 생성부(23)는 상술한 스텝 S20(도 10 참조)에 있어서 복호된 예측 모드 정보에 의해서 특정되는 예측 모드에 따라서, 각 블록의 화상 중 이미 복호되고 기억부(26)에 기억되어 있는 재생 화상의 일부를 사용하여, 처리 대상 블록의 예측 화상을 생성한다(스텝 S32). 또, 이 예측 화상을 생성하는 방법은 상술한 제 1 화상 예측 처리에 의한다. 또한, 이 예측 화상은 가산부(25)에 출력된다.

다음에, 역변환부(24)는 상술한 스텝 S20(도 10참조)에 있어서 복호된 변환계수에 대하여, 상술한 변환부(15)에서 채용된 미리 정해진의 변환규칙에 대응하는 역변환규칙을 사용하여 역변환하고, 상기 역변환에 의해 얻어지는 복원 예측 잔차 화상을 생성한다(스텝 S33). 이 복원 예측 잔차 화상은 가산부(25)에 출력된다.

다음에, 가산부(25)는 예측 화상 생성부(23)에 의해 생성된 예측 화상과 역변환부(24)에 의해 역변환된 복원 예측 잔차 화상을 가산하여 재생 화상을 생성한 다(스텝 S34). 이 재생 화상은 기억부(26)에 의해 메모리에 격납되어 축적된다(스텝 S35).

다음에, 모든 블록에 대하여 처리가 종료하였는지의 여부를 판정하고(스텝 S36), 모든 블록의 처리가 종료한 경우(스텝 S36; YES)에는 예측 화상 복호 처리를 종료한다. 한편, 모든 블록이 종료하고 있지 않는 경우(스텝S36; NO)에는 상술한 스텝 S31로 처리를 이행한다.

다음에, 도 12를 참조하여, 보충 화상 복호처리(도 10의 스텝 S40)의 상세 동작에 대하여 설명한다. 우선, 부호화 모드 판정부(22)가 미리 정해진의 주사순(예를 들면, 래스터 주사순)에 따라서, 입력된 부호화 모드 정보에 의해서 특정되는 부호화 모드가, 보충 부호화 모드인지의 여부를 판정한다(스텝 S41). 이 판정이 NO인 경우(스텝 S41; NO)에는 처리를 후술하는 스텝 S44로 이행한다.

한편, 스텝 S41에 있어서의 판정에서, 부호화 모드가 보충 부호화 모드라고 판정된 경우(스텝 S41; YES)에, 보충 화상 생성부(28)는 처리 대상 블록에 포함되는 처리 대상 화소마다, 각 처리 대상 화소의 주변에 존재하는 재생 화상으로부터 상관관계가 최대로 되는 재생 화소치를 취득하여 보충 화소치를 구함으로써, 처리 대상 블록에 대응하는 보충화상을 생성한다(스텝 S42). 또, 이 보충 화상을 생성하는 방법은 상술한 화상 보충 처리(제 2 화상 예측 처리)에 의한다.

다음에, 보충 화상 생성부(28)에 의해 생성된 보충 화상은 재생 화상으로서, 기억부(26)에 의해 메모리에 격납되어 축적된다(스텝 S43).

다음에, 모든 블록에 대하여 처리를 종료하였는지의 여부를 판정하고(스텝 S44), 모든 블록이 종료한 경우(스텝 S44; YES)에는 보충 화상 복호처리를 종료한다. 한편, 모든 블록이 종료하지 않고 있는 경우(스텝 S44; NO)에는 상술한 스텝 S41로 처리를 이행한다.

도 13은 제 2 실시예에 따른 기록매체의 구성도이다. 기록매체(100)는 도 13에 도시하는 바와 같이, 프로그램을 기록하는 프로그램영역(201)을 구비하고 있다. 이 프로그램영역(201)에는 화상 복호 프로그램(202)이 기록되어 있다.

기록매체(100)가 판독장치(112)에 삽입되면, 컴퓨터(110; 도 14 및 도 15 참조)는 판독장치(112)로부터 기록매체(100)에 격납된 화상 복호 프로그램(202)에 액세스 가능하게 되고, 상기 화상 복호 프로그램(202)에 의해서, 화상 복호 장치(2)로서 동작하는 것이 가능하게 된다.

도 15에 도시하는 바와 같이, 화상 복호 프로그램(202)은 반송파에 중첩된 컴퓨터 데이터 신호(130)로서 네트워크를 통해 제공되는 것이라도 좋다. 이 경우, 컴퓨터(110)는 통신장치(124)에 의해서 수신한 화상 복호 프로그램(202)을 메모리(116)에 격납하고, 화상 복호 프로그램(202)을 실행할 수 있다.

화상 복호 프로그램(202)은 복호 모듈(202a)과, 부호화 모드 판정 모듈(202b)과, 예측 화상 생성 모듈(202c)과, 역변환 모듈(202d)과, 가산 모듈(202e)과, 기억 모듈(202f)과, 전환 스위치 모듈(202g)과, 보충 화상 생성 모듈(202h)을 구비하여 구성된다. 여기서, 복호 모듈(202a), 부호화 모드 판정 모듈(202b), 예측 화상 생성 모듈(202c), 역변환 모듈(202d), 가산 모듈(202e), 기억 모듈(202f), 전환 스위치 모듈(202g), 보충 화상 생성 모듈(202h)의 각각을 동작시킴으로써 실 현하는 기능은 상기 화상 복호 장치(2)의 복호부(21), 부호화 모드 판정부(22), 예측 화상 생성부(23), 역변환부(24), 가산부(25), 기억부(26), 전환 스위치(27), 보충 화상 생성부(28)의 각각이 갖는 기능과 동일하다.

화상 복호 장치(2)에 의하면, 화상 부호화 장치(1)에 의해서 효율 좋게 부호화된 화상을 효율 좋게 복호할 수 있다. 즉, 예측 화상 생성부(23)는 처리 대상 블록에 인접하는 인접 블록의 부호화 모드가 보충 부호화 모드인 경우에는 처리 대상 블록에 인접하지 않은 비인접 블록의 재생 화상을 사용하여, 예측 화상을 생성할 수 있다. 이로써, 처리 대상 블록에 인접하는 인접 블록의 재생 화상뿐만 아니라, 처리 대상 블록에 인접하지 않은 비인접 블록의 재생 화상을 사용하여 예측 화상을 생성할 수 있기 때문에, 예측 화상을 생성할 때의 참조범위가 확대되어, 공간적 중복도를 삭감할 수 있다.

또한, 부호화 모드가 보충 부호화 모드라고 판정된 경우에는 이미 복호된 재생 화상을 사용하여, 상기 재생 화상을 보충하는 보충화상을 생성시킬 수 있다. 따라서, 부호화할 때에 보충 부호화 모드의 화상을 송신하지 않더라도, 재생 화상을 생성시킬 수 있다.

또, 상술한 각 실시예에 있어서는 예측 화상 생성부(13, 23)에 있어서의 화상 예측으로서 프레임 내 부호화 처리를 사용한 경우에 대하여 설명하였지만, 이것에 한정되지 않고, 예를 들면, 움직임 보상 예측을 화상 예측에 포함하도록 하여도 좋다. 이 경우에는 움직임 벡터 정보도 엔트로피 부호화하도록 한다. 또한, 이 움직임 보상 예측으로서는 종래부터 사용되고 있는 MPEG-4나 H.264에 있어서의 움 직임 보상 예측과 동일한 수단을 사용할 수 있다. 또한, 다른 어떠한 움직임 보상 예측수단을 적용할 수도 있다.

또한, 상술한 각 실시예에 있어서는 프레임 내 예측으로서, H.264로 사용되고 있는 공간영역에서의 예측을 사용하고 있지만, 프레임 내 예측은 이것에 한정되지 않는다. 예를 들면, MPEG-4로 행해지고 있는 주파수영역에서의 예측을 적용하여도 좋다.

이 경우에 있어서, 위쪽 또는 왼쪽에 인접하는 블록이 부호화 또는 복호 완료인 경우에는 인접하는 블록에 있어서의 변환계수의 전부 또는 일부를 상기 부호화 또는 복호 대상 블록에 있어서의 변환계수의 예측치로서 사용한다. 상측 및 좌측에 인접하는 블록이 함께 부호화 또는 복호 완료인 경우에는 상측 또는 좌측에 인접하는 블록 중, 어떤 블록의 변환계수의 전부 또는 일부를 예측치로서 사용하는 것인지를 나타내는 1비트의 데이터를 예측 모드 정보로서 부호화한다. 또한, 위 또는 왼쪽에 인접하는 블록 중 어느 한쪽이 부호화 또는 복호 완료인 경우에는 상기 부호화 또는 복호 완료 블록에 있어서의 직교 변환 계수의 전부 또는 일부를 예측치로서 사용한다.

한편, 상측 또는 좌측에 인접하는 블록이 모두 부호화 또는 복호가 완료하지 않은 경우에는 상기 블록의 상측 방향 또는 좌측 방향에 가장 가까운 거리에 존재하는 부호화 또는 복호가 완료된 블록에 있어서의 직교 변환 계수의 전부 또는 일부를 예측치로서 사용한다. 단, 상측 방향 및 좌측 방향에 가장 가까운 거리에 존재하는 부호화 또는 복호 완료의 블록이 상측 방향 및 좌측 방향과도 동일한 거리 에 존재하는 경우에는 상측 방향 및 좌측 방향에 존재하는 블록 중, 어느쪽의 블록의 변환계수의 전부 또는 일부를 예측치로서 사용하는 것인지를 나타내는 1비트의 데이터를 예측 모드 정보로서 부호화한다. 또한, 부호화 또는 복호 대상 블록의 상측 방향 및 좌측 방향에 존재하는 모든 블록이 부호화 또는 복호 완료가 아닌 경우에는 DC 성분만 설정치(예를 들면 128)로서 예측을 한다.

또한, 상술한 각 실시예에 있어서는 프레임 내 예측으로서 예측치를 0으로 함으로써, 프레임 내 예측을 하지 않도록 동작시켜도 좋다. 이 경우에도, 화상 보충 모드의 도입에 의해 공간적 중복도가 삭감되기 때문에 부호화 효율을 높일 수 있다.

또한, 상술한 각 실시예에 있어서는 화상 보충 처리에 있어서 처리대상의 프레임과 동일 공간 내의 재생 화상을 사용하여 예측 화상이 생성되어 있지만, 상기 처리대상의 프레임과는 다른 프레임이며 재생 화상을 생성이 완료된 프레임의 재생 화상이 화상 보충 처리에 사용되어도 좋다.

또한, 상술한 제 1 실시예에 있어서는 화상 보충 처리에 의해서 생성된 예측 화상이 그대로 재생 화상으로서 채용되어 있지만, 부호화측에서는 상기 예측 화상이라고 입력화상과의 예측 잔차 화상이, 상술한 변환처리 및 엔트로피 부호화되고, 비트 스트림에 포함시켜도 좋다. 이 경우에, 복호측에서는 비트 스트림의 데이터를 복호 및 역변환처리함으로써, 복원 예측 잔차 화상이 생성되고, 상기 복원 예측 잔차 화상과, 화상 보충 처리에 의해서 생성된 예측 화상이 가산됨으로써 재생 화상이 생성된다.

[제 3 실시예]

이하, 본 발명의 제 3 실시예에 대하여 설명한다. 도 16은 본 발명의 제 3 실시예에 따른 동화상 부호화 장치의 구성을 도시하는 도면이다. 도 16에 도시하는 동화상 부호화 장치(310)는 물리적으로, CPU(중앙처리장치), 메모리와 같은 기억장치, 디스플레이와 같은 표시장치, 통신장치 등을 구비하는 컴퓨터일 수 있다. 또한, 동화상 부호화 장치(310)는 휴대전화와 같은 이동통신단말, DVD 장치 등이라도 좋다. 즉, 동화상 부호화 장치(310)에는 정보처리 가능한 장치가 널리 적용될 수 있다.

동화상 부호화 장치(310)는 기능적으로, 영역 분할부(312)와, 부호화 모드 결정부(결정수단; 314)와, 화상 예측부(316)와, 감산부(318)와, 변환부(변환수단; 320)와, 부호화부(부호화수단; 322)와, 역변환부(역변환수단; 324)와, 가산부(재생 화상 생성 수단; 326)와, 화상 기억부(기억수단; 328)를 구비한다.

영역 분할부(312)는 입력영상(동화상)의 각 프레임을 순차, 부호화 대상 프레임으로 하여, 부호화 대상 프레임을 미리 정해진 사이즈의 복수의 부분 영역(이하, 매크로 블록이라고 부른다)으로 분할한다. 미리 정해진 사이즈란, 예를 들면, 16×16화소의 사이즈일 수 있지만, 이것에 한정되지 않고 다른 사이즈일 수 있다.

영역 분할부(312)는 또한, 매크로 블록을 특정하기 위한 매크로 블록 위치 정보를 생성한다. 매크로 블록 위치 정보에는 예를 들면, 프레임 내의 각 매크로 블록에 래스터 주사순으로 승순으로 붙인 정수번호를 사용할 수 있다. 또한, 매크 로 블록 위치 정보에는 래스터 주사순으로 매크로 블록의 선두에 위치하는 화소의 좌표를 사용할 수 있다.

부호화 모드 결정부(314)는 각 매크로 블록의 부호화 모드를 구하고, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 화상 예측부(316) 및 부호화부(322)에 출력한다. 본 실시예에 있어서, 이 부호화 모드 정보란, 매크로 블록의 예측 화상을 제 1 화상 예측 처리 및 제 2 화상 예측 처리의 어떠한 것에 의해서 생성할 것인지를 특정하기 위한 정보이다. 이하, 제 1 화상 예측 처리를 움직임 보상 예측처리로서 본 실시예를 설명한다. 또한, 이하, 본 명세서에 있어서는 매크로 블록을 제 1 화상 예측 처리에 의해서 처리해야 할 경우의 부호화 모드를 P 모드로 하고, 제 2 화상 예측 처리에 의해서 처리해야 할 경우의 부호화 모드를 C 모드라고 부른다. 또, 제 1 화상 예측 처리는 움직임 보상 예측 처리에 한정되지 않는다. 제 1 화상 예측 처리에는 예를 들면, 공지의 인트라 프레임 예측과 같은 처리를 사용할 수 있다. 제 1 화상 예측 처리 및 제 2 화상 예측 처리의 상세에 대해서는 후술한다.

화상 예측부(316)는 부호화 모드 결정부(314)에 의해서 출력된 부호화 모드 정보에 기초하여, 처리대상의 매크로 블록의 예측 화상을, 제 1 예측 화상처리 또는 제 2 예측 화상처리의 한쪽을 사용하여 생성한다. 화상 예측부(316)는 제 1 화상 예측 처리에 의해서 매크로 블록을 처리한 경우에, 예측 보조 정보인 움직임 벡터를 부호화부(322)에 출력한다. 화상 예측부(316)의 상세에 대해서는 후술한다.

감산부(318)는 화상 예측부(316)에 의해서 생성된 처리대상의 매크로 블록의 예측 화상과, 영역 분할부(312)로부터 출력되는 처리대상의 매크로 블록의 입력화상과의 차 연산을 실행하여, 예측 잔차 화상을 생성한다.

변환부(320)는 예측 잔차 화상을 변환하여 변환정보를 생성한다. 이 변환에는 예를 들면, DCT(Discrete Cosine Transform)과 같은 변환처리와 역양자화 처리를 사용할 수 있다. 이 경우에는 변환정보에는 양자화 계수의 세트가 포함된다. DCT로서는 4행4열의 2차원 DCT, 혹은, 8행8열의 이차원 DCT를 사용할 수 있다. 또, 이 변환에는 H.264로 사용되고 있는 4행4열의 정수직행 변환 및 양자화, MP 법(Matiching Pursuit), 혹은 벡터 양자화 및 웨블릿 변환 등의 임의의 변환처리·양자화 처리를 사용할 수 있다.

부호화부(322)는 영역 분할부(312)로부터의 매크로 블록 위치 정보, 부호화 모드 결정부(314)로부터의 부호화 모드 정보, 화상 예측부(316)로부터의 움직임 벡터, 및 변환부(320)로부터의 변환정보를 엔트로피 부호화와 같은 부호화 처리를 사용하여 부호화하여, 부호화의 결과를 비트 스트림에 포함시켜 출력한다.

역변환부(324)는 변환부(320)로부터의 변환정보를 역변환함으로써, 예측 잔차 화상을 복원한 복원 예측 잔차 화상을 생성한다. 변환정보가 양자화계수의 세트를 포함하는 경우에, 역변환부(324)는 양자화계수에 역양자화 처리 및 역변환처리를 실시하여, 예측 잔차 화상을 복원한 복원 예측 잔차 화상을 생성한다.

가산부(326)는 역변환부(324)로부터의 복원 예측 잔차 화상과 화상 예측부(316)로부터의 예측 화상을 가산함으로써 재생 화상을 생성하고, 이것을 재생 프레임에 내장하고, 화상 기억부(328)에 기억시킨다. 또, 화상 데이터의 화소치에 레 인지가 설정되어 있는 경우에는 가산부(326)는 그 레인지 내에 들어가도록 가산결과의 화소치를 클리핑하여도 좋다.

화상 기억부(328)는 부호화 대상 프레임의 매크로 블록의 생성이 완료된 재생 화상을 내장한 재생 프레임, 및 참조 프레임을 기억한다. 이 참조 프레임은 부호화 대상 프레임과는 다른 프레임의 재생 프레임이고, 본 실시예에서는 1프레임전의 재생 프레임이다.

부호화 모드 결정부(314)에 대하여 상세하게 설명한다. 도 17은 부호화 모드 결정부의 처리를 설명하기 위한 도면이다. 도 17에 있어서, 사각형의 영역은 매크로 블록을 도시하고 있고, 화살표가 붙은 실선 및 점선은 주사순을 나타내고 있다.

부호화 모드 결정부(314)는 상기 도 17a에 도시하는 바와 같이, 우선, 미리 정해진의 주사순(예를 들면, 래스터 스캔순)으로, 제 1 화상 예측 처리(움직임 보상 예측처리)에 의한 부호화 대상 프레임의 전 매크로 블록의 예측 화상의 생성을 거쳐서(즉, P 모드로 예측 화상을 생성), 부호화 대상 프레임의 전 매크로 블록의 재생 화상으로 이루어지는 재생 프레임을 생성한다.

부호화 모드 결정부(314)는 상기 도 17b에 도시하는 바와 같이, 상기와 반대의 주사순으로, 제 2 화상 예측 처리에 의한 부호화 대상 프레임의 전 매크로 블록의 예측 화상의 생성을 거쳐서, 부호화 대상 프레임의 전 매크로 블록의 재생 화상을 생성한다.

부호화 모드 결정부(314)는 제 2 화상 예측 처리를 사용하여 예측 화상을 생 성할 때에, 처리대상의 매크로 블록보다, 미리 정해진의 주사순으로 전방에 위치하는 매크로 블록의 재생 화상, 미리 정해진의 주사순으로 후방에 위치하는 매크로 블록 중 부호화 모드가 P 모드의 매크로 블록의 재생 화상, 화상 기억부(328)에 기억되어 있는 참조 프레임을 사용한다. 예를 들면, 상기 도 17c에 도시하는 바와 같이, 「A」를 붙인 매크로 블록을 처리대상의 매크로 블록으로 하면, 재생 프레임의 매크로 블록 중 매크로 블록 A보다 전방의 매크로 블록의 재생 화상, A보다 후방에서 부호화 모드가 P 모드의 매크로 블록의 재생 화상(도면 중에서는 「P」를 붙이고 있는 매크로 블록),및 화상 기억부(328)에 기억되어 있는 참조 프레임을 사용하여 제 2 화상 예측 처리를 행하고, 제 2 화상 예측 처리에 대한 상세한 것은 후술한다.

부호화 모드 결정부(314)는 제 2 화상 예측 처리를 거쳐서 재생 화상이 생성될 때에, 제 1 화상 예측 처리를 거쳐서 생성된 재생 화상 및 제 2 화상 예측 처리를 거쳐서 생성된 재생 화상 각각에 관한 코스트 계산을 함으로써 부호화 모드를 결정한다.

이 코스트는 예를 들면, 처리 대상의 매크로 블록의 부호화에 요하는 비트수(R), 상기 매크로 블록의 재생 화상의 각 화소와 상기 매크로 블록의 입력화상의 각 화소와의 오차의 자승합(D), 및 미리 설정된 계수를 λ로 하는 경우에, D+λ·R에 의해서 계산된다. 부호화 모드 결정부(314)는 P 모드 또는 C 모드 중, 이 코스트가 작은 쪽의 모드를 부호화 모드로서 선택한다. 또, 코스트는 부호화 효율 또는 /및 화질을 표현할 수 있는 것이면, 어떠한 함수로부터 구하여도 좋다.

이하, 화상 예측부(316)에 대하여 상세하게 설명한다. 도 18은 화상 예측부(316)의 구성을 도시하는 블록도이다. 화상 예측부(316)는 모드 전환부(330)와, 제 1 화상 예측부(제 1 화상 예측 수단; 332)와, 제 2 화상 예측부(제 2 화상 예측 수단; 334)를 구비한다.

모드 전환부(330)는 부호화 모드 결정부(314)로부터의 부호화 모드 정보를 받아, 상기 부호화 모드 정보에 의해서 특정되는 부호화 모드에 따라서, 제 1 화상 예측부(332) 또는 제 2 화상 예측부(334)를 기동한다. 모드 전환부(330)는 부호화 모드가 P 모드인 경우에, 제 1 화상 예측부(332)를 기동하여, 부호화 모드가 C 모드인 경우에, 제 2 화상 예측부(334)를 기동한다.

동화상 부호화 장치(310)에서는 모드 전환부(330)는 최초에 부호화 대상 프레임의 전체 매크로 블록 중, 부호화 모드가 P 모드의 전체 매크로 블록의 예측 화상을, 제 1 화상 예측부(332)에 의해서 생성시킨다. 그 후, 모드 전환부(330)는 부호화 대상 프레임의 전체 매크로 블록 중, 부호화 모드가 C 모드의 매크로 블록의 예측 화상을, 제 2 화상 예측부(334)에 의해서 생성시킨다.

제 1 화상 예측부(332)는 상술한 바와 같이, 제 1 화상 예측 처리, 즉, 움직임 보상 예측처리에 의해서 재생 화상을 생성한다. 움직임 보상 예측처리란, 처리대상의 매크로 블록의 입력화상과 참조 프레임의 임의의 영역의 블록 매칭을 하여, 가장 상관이 높은 참조 프레임의 영역의 부분화상을 재생 화상으로서 채용하고, 상기 영역으로의 움직임 벡터를 발생하는 처리이다. 이 상관은 예를 들면, 처리대상의 매크로 블록의 입력화상과 매칭 대상의 영역의 재생 화상과의 차분 자승합(D), 처리 대상의 매크로 블록으로부터 상기 영역으로의 움직임 벡터의 부호화에 요하는 데이터 길이(R), 및 미리 정한 계수(λ)를 사용하여, D+λR의 평가함수로부터 구해진다. 또, 움직임 보상 예측처리는 참조 프레임을 2배 혹은, 4배로 업샘플링한 화상을 사용하여 실행하여도 좋다. 또한, 매크로 블록을 더욱 작게 분할한 소블록과, 움직임 보상 예측처리가 실행되어도 좋다. 이 경우에는 소블록마다의 움직임 벡터와 매크로 블록의 분할의 종류를 나타내는 매크로블록 분할 모드가 출력된다.

제 2 화상 예측부(334)는 제 2 화상 예측 처리를 사용하여, 부호화 모드가 C 모드라고 결정된 매크로 블록의 예측 화상을 생성한다. 도 19는 제 2 화상 예측 처리를 설명하기 위한 도면이다. 제 2 화상 예측 처리에서는 재생 화상이 미생성의 매크로 블록(Y)이 선택된다. 이 매크로 블록(Y) 중 , 재생 화상의 화소치(예측 신호)가 주어지고 있지 않은 미처리의 화소가 선택되고, 상기 화소를 일부에 포함하는 템플릿(T)이 설정된다. 본 실시예에서는 상기 미처리의 화소를 중심으로 하는 템플릿(T)이 설정되지만, 처리 완료의 화소와 미처리의 화소가 포함되어 있으면, 템플릿(T)은 임의의 사이즈 및 형상일 수 있다. 또한, 매크로 블록(Y)에 대하여 임의 사이즈의 참조영역(R)이 재생 프레임(F1)에 대하여 설정된다. 또한, 화상 기억부(328)에 기억된 참조 프레임(F2)에 대해서도, 참조영역(R)이 설정된다. 참조 프레임(F2)에 있어서의 참조영역(R)은 재생 프레임(F1)에 설치한 참조영역(R)의 위치에 상당하는 참조 프레임(F2)의 위치에 설치되어도 좋다. 혹은, 참조 프레임(F2)에 있어서의 참조영역(R)은 매크로 블록(Y)의 주변의 매크로 블록의 움직임 벡터의 메디안치로 이루어지는 움직임 벡터에 상당하는 분 비키어 놓은 위치에 설치 되어도 좋다.

제 2 화상 예측 처리에서는 참조영역(R)에서의 임의의 위치에 있는 재생 화상생성이 완료된 후보영역(S)과 템플릿(T)의 상관이 구해지고, 상관의 가장 높은 후보영역이, 복사 참조 영역(Sc)이 선택된다. 이 상관은 예를 들면, 템플릿(T)과 후보영역(S)의 쌍방의 대응위치에 재생 화상의 화소치가 있는 화소를 유효화소로 하여, 템플릿(T)과 후보영역(S)의 유효화소의 화소치의 차분치의 자승합, 즉 매칭 오차(M)를 유효화소수(U)로 나눈 값으로부터 구해진다. 또, 상관은 템플릿(T)과 후보영역(S)의 화상의 유사도를 표현할 수 있는 것이면, 어떠한 연산방법에 의해서 구해져도 좋다.

제 2 화상 예측 처리에서는 템플릿(T) 중 재생 화상의 화소치가 주어져 있지 않은 미처리의 화소에, 복사 참조 영역(Sc)의 대응화소의 화소치가 보충 화소치로서 복사된다. 도 19에서는 템플릿(T)의 재생 화상이 생성이 완료된 부분에 빗금이 쳐져 있다. 도 19에서는 템플릿(T) 내의 재생 화상 미생성의 영역(템플릿(T) 내의 하부)에, 복사 참조 영역(Sc)의 하부의 화소치가 주어지는 모양이 도시되어 있다. 제 2 화상 예측 처리에서는 각 매크로 블록에 대하여, 재생 화상의 화소치가 주어져 있지 않은 미처리의 화소가 없어질 때까지, 화소의 선택이 반복되고, 재생 화상이 생성된다.

이하, 동화상 부호화 장치(310)의 동작에 대하여 설명한다. 아울러, 본 발명의 실시예에 따른 동화상 부호 방법에 대하여 설명한다. 도 20은 제 3 실시예에 따른 동화상 부호 방법의 흐름도이다.

도 20에 도시하는 바와 같이, 동화상 부호화 장치(310)에 있어서의 부호화 프로세스에서는 영역 분할부(312)에 의해서, 부호화 대상 프레임이 복수의 매크로 블록으로 분할된다(스텝 S301). 또한, 이 영역 분할부(312)에 의해서, 상기 매크로 블록 위치 정보가 생성된다.

이어서, 부호화 모드 결정부(314)에 의해서 각 매크로 블록의 부호화 모드를 결정하는 부호화 모드 결정 처리가 실행된다(스텝 S302). 도 21은 제 3 실시예에 따른 동화상 부호 방법에 있어서의 부호화 모드 결정 처리의 흐름도이다. 도 21에 도시하는 바와 같이 부호화 모드 결정 처리에서는 우선, 주사순(래스터 스캔순)으로 제 1 화상 예측 처리(움직임 보상 예측처리)를 거쳐서, 전 매크로 블록의 재생 화상으로 이루어지는 재생 프레임이 생성된다(스텝 S302-1).

이어서, 주사순으로 최종의 매크로 블록이 처리 대상의 매크로 블록으로서 선택되고(스텝 S302-2), 상술한 제 2 화상 예측 처리가 실행된다. 제 2 화상 예측 처리에서는 상술한 바와 같이, 스텝 S302-1을 거쳐서 생성된 재생 프레임 중, 처리대상의 매크로 블록에 대하여 주사순으로 전방에 위치하는 매크로 블록의 재생 화상, 처리대상의 매크로 블록에 대하여 주사순으로 후방에 위치하는 매크로 블록 중 부호화 모드가 P 모드의 매크로 블록의 재생 화상, 및 참조 프레임을 사용하여, 재생 화상이 생성된다.

이어서, 스텝 S302-3에서 생성된 처리대상의 매크로 블록의 재생 화상과 스텝 S302-1에서 생성된 대응 매크로 블록의 재생 화상의 코스트가 상술한 코스트 함수를 사용하여 각각 구해진다(스텝 S302-4). 이어서, 제 1 화상 예측 처리, 즉 P 모드, 또는 제 2 화상 예측 처리, 즉 C 모드 중, 코스트가 낮은 쪽의 모드가 부호화 모드로서 선택된다(스텝 S302-5).

이어서, 전체 매크로 블록의 처리가 종료하고 있는지의 여부가 테스트된다(스텝 S302-6). 전체 매크로 블록의 처리가 종료하고 있는 경우(Yes)에는 부호화 모드의 결정처리가 종료한다. 한편, 전체 매크로 블록의 처리가 종료하고 있지 않는 경우(No)에는 역주사순으로 부호화 모드가 결정되어 있지 않은 매크로 블록이 선택되고(스텝 S302-7), 스텝 S302-3으로부터 스텝 S302-6의 처리가 반복된다.

도 20으로 되돌아가, 이어서, 동화상 부호화 장치(310)에서는 부호화부(322)에 의해서 부호화 모드 정보가 부호화된다(스텝 S303). 이어서, 모드 전환부(330)에 의해서, 미리 정해진의 주사순(예를 들면, 래스터 스캔순)으로, 매크로 블록이 처리대상으로서 선택되고, 처리대상의 매크로 블록의 부호화 모드가 P 모드(제 1 화상 예측 처리)인지의 여부가 테스트된다(스텝 S304). 부호화 모드가 P 모드가 아닌 경우(No)에는 프로세스는 스텝 S312로 이행한다. 한편, 부호화 모드가 P 모드인 경우(Yes)에는 모드 전환부(330)가, 제 l의 화상 예측부(332)를 기동하여, 제 1 화상 예측 처리에 의해서 처리대상의 매크로 블록의 예측 화상이 생성된다(스텝 S305).

이어서, 감산부(318)에 의해서, 처리대상의 매크로 블록의 입력화상과 예측 화상의 차로 이루어지는 예측 잔차 화상이 생성된다(스텝 S306). 이어서, 변환부(320)에 의해서, 이 예측 잔차 화상이 변환정보로 변환된다(스텝 S307). 이어서, 부호화부(322)에 의해서, 움직임 벡터 및 변환정보가 엔트로피 부호화된다(스텝 S308).

이어서, 역변환부(324)에 의해서, 변환정보로 역변환이 실시되고, 예측 잔차 화상을 복원한 복원 예측 잔차 화상이 생성된다(스텝 S309). 이어서, 가산부(326)에 의해서, 이 복원 예측 잔차 화상과 화상 예측부(316)로부터의 예측 화상이 가산됨으로써, 처리대상의 매크로 블록의 재생 화상이 생성된다(스텝 S310). 이 재생 화상은 재생 프레임에 내장되고, 화상 기억부(328)에 기억된다(스텝 S311).

이어서, 전체 매크로 블록의 처리가 종료하였는지의 여부가 테스트된다(스텝 S312). 전체 매크로 블록의 처리가 종료하고 있지 않는 경우(No)에는 미처리의 매크로 블록이 선택되어 스텝 S304로부터 스텝 S312의 처리가 반복된다. 한편, 전체 매크로 블록의 처리가 종료하고 있는 경우(Yes)에는 스텝 S313으로 프로세스는 이행한다.

스텝 S313에 있어서, 모드 전환부(330)에 의해서, 미리 정해진의 주사순(예를 들면, 래스터 스캔순)으로 매크로 블록이 처리대상으로서 선택되고, 처리대상의 매크로 블록의 부호화 모드가 C 모드(제 2 화상 예측 처리)인지의 여부가 테스트된다. 부호화 모드가 C 모드가 아닌 경우(No)에는 처리는 스텝S321로 이행한다.

한편, 부호화 모드가 C 모드인 경우(Yes)에는 모드 전환부(330)가, 제 2 화상 예측부(334)를 기동하고, 제 2 화상 예측 처리에 의해서 처리대상의 매크로 블록의 예측 화상이 생성된다(스텝 S314). 도 22는 제 3 실시예에 따른 동화상 부호 방법에 있어서의 제 2 화상 예측 처리의 흐름도이다.

도 22에 도시하는 바와 같이, 제 2 화상 예측 처리에서는 재생 화상이 미생 성의 블록이 선택된다. 본 실시예에서는 부호화 모드가 C 모드의 매크로 블록이 처리대상의 매크로 블록으로서 미리 정해진의 주사순으로 선택된다(스텝 S314-1).

이어서, 처리대상의 매크로 블록에 대한 참조영역이 상술한 바와 같이 설정된다(스텝 S314-2). 이어서, 매크로 블록 내의 재생 화상이 미생성의 화소가 선택되고(스텝 S314-3), 상기 화소를 일부에 포함하는 템플릿이 설정된다(스텝 S314-4).

이 템플릿과, 참조영역에서의 후보영역의 상관이 상술한 바와 같이 연산되어 (스텝 S314-5), 상관의 가장 높은 후보영역이, 복사 참조 영역으로서 선택된다(스텝 S314-6).

이어서, 재생 화상의 화소치가 주어져 있지 않은 템플릿 내의 미처리의 화소에 복사 참조 영역의 대응화소의 화소치가 복사된다(스텝 S314-7). 이어서, 처리대상의 매크로 블록 내에 재생 화소의 화소치가 주어져 있지 않은 미처리의 화소가 있는지의 여부가 테스트된다(스텝 S314-8). 미처리의 화소가 있는 경우(Yes)에는 그 미처리의 화소가 선택되고(스텝 S314-9), 스텝 S314-4 내지 스텝 S314-8의 처리가 반복된다. 한편, 미처리의 화소가 처리대상의 매크로 블록 내에 없는 경우에는 제 2 화상 예측 처리(스텝S314)가 종료한다.

도 20으로 되돌아가, 동화상 부호화 장치(310)에서는 감산부(318)에 의해서, 처리대상의 매크로 블록의 입력화상과 제 2 화상 예측 처리에 의해서 생성된 예측 화상과의 차로 이루어지는 예측 잔차 화상이 생성된다(스텝 S315).

이어서, 변환부(320)에 의해서, 이 예측 잔차 화상이 변환정보로 변환된다( 스텝 S316). 이어서, 부호화부(322)에 의해서, 변환정보가 엔트로피 부호화된다(스텝 S317).

이어서, 역변환부(324)에 의해서, 변환정보가 역변환되고, 예측 잔차 화상을 복원한 복원 예측 잔차 화상이 생성된다(스텝 S318). 이어서, 가산부(326)에 의해서, 이 복원 예측 잔차 화상과 화상 예측부(316)로부터의 예측 화상이 가산되고, 처리대상의 매크로 블록의 재생 화상이 생성된다(스텝 S319). 이 재생 화상은 재생 프레임에 내장되고, 화상 기억부(328)에 기억된다(스텝 S320).

이어서, 전 매크로 블록의 처리가 종료하였는지의 여부가 테스트된다(스텝 S321). 전 매크로 블록의 처리가 종료하지 않고 있는 경우(No)에는 미처리의 매크로 블록이 선택되어 스텝 S313으로부터 스텝 S321의 처리가 반복된다. 한편, 전 매크로 블록의 처리가 종료하고 있는 경우(Yes)에는 부호화의 프로세스는 종료가 된다.

이하, 컴퓨터를 동화상 부호화 장치(310)에서 동작시키기 위한 동화상 부호화 프로그램에 대하여 설명한다. 도 23은 제 3 실시예에 따른 동화상 부호화 프로그램의 구성을, 기록매체와 함께 도시하는 도면이다. 도 23에 도시하는 동화상 부호화 프로그램(340)은 기록매체(100)에 격납되어 제공된다. 기록매체(100)로서는 플로피디스크, CD-ROM, DVD, 혹은 ROM 등의 기록매체 혹은 반도체 메모리 등이 예시된다.

기록매체(100)가 판독장치(112)에 삽입되면, 컴퓨터(110; 도 14 및 도 15를 참조)는 판독장치(112)로부터 기록매체(100)에 격납된 동화상 부호화 프로그램 (340)에 액세스 가능하게 되고, 상기 동화상 부호화 프로그램(340)에 의해서, 동화상 부호화 장치(310)로서 동작하는 것이 가능하다.

도 15에 도시하는 바와 같이, 동화상 부호화 프로그램(340)은 반송파에 중첩된 컴퓨터 데이터 신호(130)로서 네트워크를 통해 제공되는 것이라도 좋다. 이 경우, 컴퓨터(110)는 통신장치(124)에 의해서 수신한 동화상 부호화 프로그램(340)을 메모리(116)에 격납하고, 상기 동화상 부호화 프로그램(340)을 실행할 수 있다.

도 23에 도시하는 바와 같이, 동화상 부호화 프로그램(340)은 처리를 통괄하는 메인 모듈(341)과, 영역 분할 모듈(342)과, 부호화 모드 결정 모듈(344)과, 화상 예측 모듈(346)과, 감산 모듈(348)과, 변환 모듈(350)과, 부호화 모듈(352)과, 역변환 모듈(354)과, 가산 모듈(356)과, 화상 기억 모듈(358)을 구비한다. 화상 예측 모듈(346)은 모드 전환 모듈(360)과, 제 1 화상 예측 모듈(362)과, 제 2 화상 예측 모듈(364)을 갖고 있다.

영역 분할 모듈(342), 부호화 모드 결정 모듈(344), 화상 예측 모듈(346), 감산 모듈(348), 변환 모듈(350), 부호화 모듈(352)과, 역변환 모듈(354), 가산모듈(356), 화상 기억 모듈(358), 모드 전환 모듈(360), 제 1 화상 예측 모듈(362), 제 2 화상 예측 모듈(364)의 각각이 컴퓨터에 실현시키는 기능은 상술한 영역 분할부(312), 부호화 모듈 결정부(314), 화상 예측부(316), 감산부(318), 변환부(320), 부호화부(322), 역변환부(324), 가산부(326), 화상 기억부(328), 모드 전환부(330)와, 제 1 화상 예측부(332)와, 제 2 화상 예측부(334) 중 대응 부분과 동일하다.

이하, 동화상 부호화 장치(310)의 작용 및 효과에 대하여 설명한다. 제 3 실시예의 화상 부호화 장치(310)에 의하면, 부호화 모드가 C 모드의 매크로 블록, 즉 제 2 화상 예측 처리에 의해서 예측 화상이 생성되는 매크로 블록에 대해서는 예측 보조 정보에 기초하는 데이터를 비트 스트림에 포함시킬 필요가 없기 때문에, 부호화 효율이 높은 비트 스트림이 생성된다.

동화상 부호화 장치(310)에서는 제 2 화상 예측부(334)가, 참조 프레임, 및 부호화 대상 프레임의 재생 프레임을 사용하여 예측 화상을 생성한다. 이 재생 프레임에는 제 1 화상 예측 처리 및 제 2 화상 예측 처리를 거쳐서 이미 생성된 재생 화상이 포함되고 있다. 즉, 부호화 대상 프레임과는 다른 프레임의 재생 화상으로 이루어지는 참조 프레임과, 부호화 대상 프레임의 재생 화상으로 이루어지는 재생 프레임을 사용하여, 제 2 화상 예측부(334)가, 예측 화상을 생성한다. 따라서, 시간방향 및 공간방향의 중복도가 삭감된 부호화 데이터가 생성된다.

또한, 제 2 화상 예측 처리에서는 제 1 화상 예측 처리 및 제 2 화상 예측 처리를 거쳐서 이미 생성된 재생 화상을 포함하는 재생 프레임이 사용된다. 따라서, 주사순으로 후방에 위치하는 재생 화상도 예측에 사용할 수 있기 때문에, 보다 공간방향의 중복도를 효율적으로 삭감할 수 있다.

[제 4 실시예]

이하, 본 발명의 제 4 실시예의 동화상 복호 장치에 대하여 설명한다. 도 24는 제 4 실시예에 따른 동화상 복호장치의 구성을 도시하는 도면이다. 도 24에 도시하는 동화상 복호장치(370)는 물리적으로, CPU(중앙처리장치), 메모리와 같은 기억장치, 디스플레와 같은 표시장치, 통신장치 등을 구비하는 컴퓨터일 수 있다. 또한, 동화상 복호 장치(370)는 휴대전화와 같은 이동통신단말, DVD 장치 등이라도 좋다. 즉, 동화상 복호 장치(370)에는 정보 처리 가능한 장치를 널리 적용될 수 있다.

도 24에 도시하는 바와 같이, 동화상 복호 장치(370)는 복호부(복호수단; 372)와, 역변환부(역변환수단; 374)와, 화상 예측부(376)와, 가산부(재생 화상 생성 수단; 378)와, 화상 기억부(기억수단; 380)를 구비한다.

복호부(372)는 입력되는 비트 스트림을 받아, 상기 비트 스트림을 복호한다. 동화상 부호화 장치(310)에 의해서 생성된 비트 스트림을 받는 경우에, 복호부(372)는 상기 비트 스트림을 복호하여, 매크로 블록 위치 정보, 부호화 모드 정보, 움직임 벡터, 및 변환 정보를 발생한다.

역변환부(374)는 복호부(372)로부터 변환정보를 받아, 처리대상의 매크로 블록의 변환정보로 역변환을 실시함으로써, 상기 처리 대상 매크로 블록의 복원 예측 잔차 화상을 생성한다. 역변환부(374)는 이 복원 예측 잔차 화상을 가산부(378)에 출력한다. 또, 역변환부(374)에 의한 처리는 동화상 부호화 장치(310)의 역변환부(324)와 동일한 처리이다.

화상 예측부(376)는 처리대상의 매크로 블록의 예측 화상을 생성하여, 상기 예측 화상을 가산부(378)에 출력한다. 화상 예측부(376)는 모드 전환부(382)와, 제 1 화상 예측부(제 1 화상 예측 수단; 384)와, 제 2 화상 예측부(제 2 화상 예측 수단; 386)를 갖고 있다. 모드 전환부(382)는 복호부(372)로부터의 부호화 모드 정보에 기초하여, 제 1 화상 예측부(384), 또는 제 2 화상 예측부(386)를 기동한다. 제 1 화상 예측부(384)는 제 1 화상 예측 처리에 의해서, 처리대상의 매크로 블록의 예측 화상을 생성하고, 제 2 화상 예측부(386)는 제 2 화상 예측 처리에 의해서, 처리대상의 매크로 블록의 예측 화상을 생성한다. 화상 예측부(376)에 포함되는 이들의 요소에 의한 처리는 동화상 부호화 장치(310)의 화상 예측부(316)에 있어서의 대응 요소에 의한 처리와 동일하다.

가산부(378)는 화상 예측부(376)로부터의 예측 화상과, 역변환부(374)로부터의 복원 예측 잔차 화상을 가산하여, 처리대상의 매크로 블록의 재생 화상을 생성하여, 화상 기억부(380)에 기억시킨다. 또, 화상 데이터의 화소치에 레인지가 설정되어 있는 경우에는 가산부(378)는 그 레인지 내에 들어가도록 가산 결과의 화소치를 클리핑하여도 좋다.

화상 기억부(380)는 생성이 완료된 재생 화상을 내장한 복호 대상 프레임의 재생 프레임과, 참조 프레임을 기억한다. 참조 프레임은 상술한 바와 같이, 복호 대상 프레임과는 다른 프레임의 재생 프레임이고, 본 실시예에서는 복호 대상 프레임의 1 프레임전의 재생 프레임이다.

이하, 동화 복호 장치(370)의 동작에 대하여 설명한다. 아울러, 본 발명의 실시예에 따른 동화상 복호 방법에 대하여 설명한다. 도 25는 제 4 실시예에 따른 동화상 복호 방법의 흐름도이다.

도 25에 도시하는 바와 같이, 동화상 복호장치(370))에 있어서의 복호 프로세스에서는 우선, 복호부(372)에 의해서, 복호 대상 프레임의 전체 매크로 블록의 부호화 모드 정보가 비트 스트림으로부터 복호된다(스텝 S331).

이어서, 모드 전환부(382)에 의해서, 미리 정해진의 주사순(예를 들면, 래스터 스캔순)으로 매크로 블록이 처리대상으로서 선택되고, 처리대상의 매크로 블록의 부호화 모드가 P 모드(제 1 화상 예측 처리)인지의 여부가 테스트된다(스텝 S332). 부호화 모드가 P 모드가 아닌 경우(No)에는 프로세스는 스텝 S338로 이행한다. 한편, 부호화 모드가 P 모드의 경우(Yes)에는 복호부(372)에 의해서, 비트 스트림으로부터 처리대상의 매크로 블록의 변환정보 및 움직임 벡터가 엔트로피 복호된다(스텝 S333). 이어서, 모드 전환부(382)가, 제 1 화상 예측부(384)를 기동하여, 제 1 화상 예측 처리에 의해서 처리대상의 매크로 블록의 예측 화상이 생성된다(스텝 S34).

이어서, 역변환부(374)에 의해서, 변환정보에 역변환이 실시되고, 복원 예측 잔차 화상이 생성된다(스텝 S335). 이어서, 가산부(378)에 의해서, 이 복원 예측 잔차 화상과 예측 화상이 가산되고, 재생 화상이 생성된다(스텝 S336). 이 재생 화상은 재생 프레임에 내장되고, 화상 기억부(380)에 기억된다(스텝S337).

이어서, 전체 매크로 블록의 처리가 종료하였는지의 여부가 테스트된다(스텝 S338). 전체 블록의 처리가 종료하지 않고 있는 경우(No)에는 미처리의 매크로 블록이 선택되어 스텝 S332로부터 스텝 S338의 처리가 반복된다.

한편, 전체 블록의 처리가 종료하고 있는 경우(Yes)에는 프로세스는 스텝 S339로 이행한다. 스텝 S339에 있어서, 모드 전환부(82)에 의해서, 미리 정해진의 주사순(예를 들면, 래스터 스캔순)으로 매크로 블록이 처리대상으로서 선택되고, 처리대상의 매크로 블록의 부호화 모드가 C 모드(제 2 화상 예측 처리)인지의 여부가 테스트된다(스텝 S339). 부호화 모드가 C 모드가 아닌 경우(No)에는 프로세스는 스텝 S345로 이행한다. 한편, 부호화 모드가 C 모드의 경우(Yes)에는 복호부(372)에 의해서, 비트 스트림으로부터 처리대상의 매크로 블록의 변환정보가 엔트로피 복호된다(스텝 S340). 이어서, 모드 전환부(382)가, 제 2 화상 예측부(386)를 기동하여, 제 2 화상 예측 처리에 의해서 처리대상의 매크로 블록의 예측 화상이 생성된다(스텝 S341).

이어서, 역변환부(374)에 의해서, 변환정보에 역변환이 실시되고, 복원 예측 잔차 화상이 생성된다(스텝 S342). 이어서, 가산부(378)에 의해서, 이 복원 예측 잔차 화상과 예측 화상이 가산되고, 재생 화상이 생성된다(스텝 S343). 이 재생 화상은 재생 프레임에 내장되고, 화상 기억부(380)에 기억된다(스텝 S344).

이어서, 전체 매크로 블록의 처리가 종료하였는지의 여부가 테스트된다(스텝 S345). 전체 블록의 처리가 종료하고 있지 않은 경우(N0)에는 미처리의 매크로 블록이 선택되어 스텝 S339로부터 스텝 S345의 처리가 반복된다. 한편, 전체 블록의 처리가 종료하고 있는 경우(Yes)에는 복호의 프로세스가 종료하게 된다.

이하, 컴퓨터를 동화상 복호 장치(3701)로서 동작시키기 위한 동화상 복호 프로그램에 대하여 설명한다. 도 26은 제 4 실시예에 따른 동화상 복호 프로그램의 구성을, 기록매체와 함께 도시하는 도면이다. 도 26에 도시하는 동화상 복호 프로그램(390)은 기록매체(100)에 격납되어 제공된다. 기록매체(100)로서는 플로피디스크, CD-ROM, DVD, 혹은 ROM 등의 기록매체 혹은 반도체 메모리 등이 예시된 다.

기록매체(100)가 판독장치(112)에 삽입되면, 컴퓨터(110; 도 14 및 도 15를 참조)는 판독장치(112)로부터 기록매체(100)에 격납되어 동화상 복호 프로그램(390)에 액세스 가능해지고, 상기 동화상 복호 프로그램(390)에 의해서, 동화상 복호 장치(3701)로서 동작하는 것이 가능하게 된다.

도 15에 도시하는 바와 같이, 동화상 복호 프로그램(390)은 반송파에 중첩된 컴퓨터 데이터 신호(130)로서 네트워크를 통해 제공되는 것이라도 좋다. 이 경우, 컴퓨터(110)는 통신장치(124)에 의해서 수신한 동화상 복호 프로그램(390)을 메모리(116)에 격납하고, 상기 동화상 복호 프로그램(390)을 실행할 수 있다.

도 26에 도시하는 바와 같이, 동화상 복호 프로그램(390)은 처리를 통괄하는 메인 모듈(391)과, 복호 모듈(392)과, 역변환 모듈(394)과, 화상 예측 모듈(396)과, 가산 모듈(398)과, 화상 기억 모듈(400)을 구비한다. 화상 예측 모듈(396)은 모드 전환 모듈(402)과, 제 1 화상 예측 모듈(404)과, 제 2 화상 예측 모듈(406)을 갖고 있다.

복호 모듈(392), 역변환 모듈(394), 화상 예측 모듈(396), 가산 모듈(398), 화상 기억 모듈(400), 모드 전환 모듈(402), 제 1 화상 예측 모듈(404), 제 2 화상 예측 모듈(406)의 각각이 컴퓨터에 실현시키는 기능은 상술한 복호부(372), 역변환부(374), 화상 예측부(376), 가산부(378), 화상 기억부(380), 모드 전환부(382), 제 1 화상 예측부(384), 제 2 화상 예측부(386) 중 대응하는 요소의 기능과 동일하다.

이상 설명한 바와 같이, 동화상 복호 장치(370)는 동화상 부호화 장치(310)에 의해서 생성된 비트 스트림에 기초하여 동화상을 복원하는 것이 가능하다. 또한, 동화상 복호 장치(370)는 부호화 모드가 C 모드의 매크로 블록, 즉, 제 2 화상 예측 처리에 의해서 예측 화상을 생성하는 매크로 블록에 대해서는 움직임 벡터라고 한 예측 보조 정보를 부호화측으로부터 취득하지 않고서, 예측 화상을 생성할 수 있다.

또, 본 발명은 상기 한 제 3 및 제 4 실시예에 한정되지 않고서 여러 가지의 변형이 가능하다. 예를 들면, 제 3 실시예에서는 제 2 화상 예측 처리에 있어서, 부호화 대상 프레임의 재생 화상으로 이루어지는 재생 프레임이 참조되어 있는 이 재생 프레임 대신에, 부호화 대상 프레임, 즉 입력 화상 자체를 참조하더라도, 제 2 화상 예측 처리를 실현할 수 있다.

또한, 제 2 화상 예측 처리에 의해서 생성된 예측 화상이 재생 화상으로서 그대로 채용되어도 좋다. 이 경우에는 제 2 화상 예측 처리에 의해서 생성된 예측 화상과 입력화상의 차로 이루어지는 예측 잔차 화상에 관한 부호화 데이터를 비트 스트림에 포함시킬 필요가 없기 때문에, 더욱 부호화 효율이 높은 비트 스트림이 생성된다.

또한, 동화상의 특성으로서, 움직임이 많은 부분과 움직임이 적은 배경부분의 위치가 이미 알고 있는 경우에는 각 매크로 블록의 부호화 모드를 미리 정한 테이블 등을 참조함으로써, 부호화 모드의 결정처리를 생략하는 것도 가능하다.

이상, 본 발명의 적합한 실시예를 설명한 바와 같이, 본 발명에 따르면, 화 상을 효율 좋게 부호화 가능한 화상 부호화 장치, 화상 부호화 방법, 및 화상 부호화 프로그램, 또한, 본 발명의 화상 부호화 장치에 의해서 생성된 비트 스트림으로부터 화상을 복원 가능한 화상 복호 장치, 화상 복호 방법, 및 화상 복호 프로그램이 제공된다.

본 발명으로 인하여, 화상을 효율 좋게 부호화 가능한 화상 부호화 장치, 화상 부호화 방법, 및 화상 부호화 프로그램이 제공되고, 또한 본 발명의 상기 화상 부호화 장치에 의해서 생성된 비트 스트림으로부터 화상을 복원 가능한 화상 복호 장치, 화상 복호 방법, 및 화상 복호 프로그램이 제공된다.

Claims (19)

1. 화상 부호화 장치에 있어서,

   부호화 대상의 입력 화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상을 생성하기 위한 예측 보조 정보에 기초하여 생성 완료의 재생 화상을 참조하여 상기 부분 영역의 예측 화상을 생성하는 제 1 화상 예측 처리, 또는 상기 예측 보조 정보에 기초하지 않고 상기 예측 화상을 생성하는 제 2 화상 예측 처리의 어떠한 것에 의해서 예측 화상의 생성을 실행할 지에 관한 부호화 모드를, 상기 제 1 화상 예측 처리 또는 상기 제 2 화상 예측 처리의 적어도 한쪽의 처리 결과에 기초하여 결정하고, 또한, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 생성하는 결정 수단과,

   상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터, 상기 제 2 화상 예측 처리 이외의 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여, 상기 부분 영역의 예측 화상을 다른 부분 영역의 생성이 완료된 재생 화상으로부터 생성하기 위한 예측 보조 정보를 추출하고, 상기 예측 보조 정보에 기초하여 상기 예측 화상을 생성하기 위한 상기 제 1 화상 예측 처리를 실행하는 제 1 화상 예측 수단과,

   상기 예측 화상에 기초하는 재생 화상을 기억하는 기억 수단과,

   상기 부호화 모드 정보와 상기 예측 보조 정보를 부호화한 데이터를 포함하는 비트스트림을 생성하는 부호화 수단을 구비하고,

   상기 제 2 화상 예측 처리는, 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 생성이 완료된 상기 재생 화상이 참조 영역으로 되고, 상기 참조 영역 중 상기 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 상기 템플릿 내에서 상기 예측 신호가 미생성인 화소에 상기 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 상기 예측 화상이 생성되는 처리인, 화상 부호화 장치.
2. 삭제
3. 제 1 항에 있어서,

   상기 결정수단은 상기 복수의 부분 영역의 재생 화상을 상기 제 1 화상 예측 처리를 거쳐서 미리 정해진의 주사순으로 생성한 후에, 상기 미리 정해진의 주사순과 반대순으로 처리 대상의 부분 영역을 선택하고, 상기 처리 대상의 부분 영역보다 상기 주사순으로 전방에 위치하는 부분 영역의 화상, 상기 처리 대상의 부분 영역보다 상기 주사순으로 후방에 위치하는 부분 영역이며 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이면 부호화 모드가 결정되어 있는 상기 부분 영역의 재생 화상을 상기 참조 영역으로서, 상기 제 2 화상 예측 처리를 거쳐서 상기 처리 대상의 부분 영역의 재생 화상을 생성하고, 상기 제 2 화상 예측 처리를 거쳐서 생성된 상기 처리 대상의 부분 영역의 재생 화상과 상기 제 1 화상 예측 처리를 거쳐서 생성된 상기 처리 대상의 부분 영역의 재생 화상과의 비교에 기초하여, 상기 처리 대상의 부분 영역의 부호화 모드를 결정하는, 화상 부호화 장치.
4. 제 1 항에 있어서,

   상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터 상기 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 상기 제 2 화상 예측 처리에 의해서 생성하는 제 2 화상 예측 수단을 더 가지고,

   상기 제 2 화상 예측 수단은 상기 제 2 화상 예측 처리에 의해서 생성한 상기 예측 화상을 상기 재생 화상으로 하는, 화상 부호화 장치.
5. 제 1 항에 있어서,

   상기 부호화 대상의 입력 화상은 동화상의 프레임이고,

   상기 제 2 화상 예측 처리에서는 부호화 대상 프레임의 재생 화상, 및 상기 부호화 대상 프레임보다 전에 처리된 프레임의 재생 화상의 적어도 한쪽이 상기 참조영역으로 되는, 화상 부호화 장치.
6. 제 1 항에 있어서,

   상기 제 1 화상 예측 처리는 상기 처리 대상의 부분 영역과 동일 공간 내의 상기 재생 화상을 예측에 사용하여 예측 화상을 생성하는 처리이고,

   상기 제 1 화상 예측 처리에서는 상기 부호화 모드로부터 상기 처리 대상의 부분 영역에 인접하는 인접 부분 영역이 상기 제 2 화상 예측 처리에 의해서 예측 화상이 생성되어야 할 부분 영역이라고 특정되는 경우에, 상기 처리 대상의 부분 영역에 인접하지 않은 비인접 부분 영역의 재생 화상에 기초하여, 상기 처리 대상의 부분 영역의 예측 화상이 생성되는, 화상 부호화 장치.
7. 제 6 항에 있어서,

   상기 제 1 화상 예측 처리에서는 상기 부호화 모드로부터 상기 처리 대상의 부분 영역에 인접하는 인접 부분 영역이 상기 제 2 화상 예측 처리에 의해서 예측 화상이 생성되어야 할 부분 영역이라고 특정되는 경우에, 예측 방향의 직선상에 있고 예측 원측(predicion origin)의 방향에 존재하는 상기 비인접 부분 영역의 상기 재생 화상 중, 상기 처리 대상의 부분 영역에 가장 가까운 화소의 화소치에 기초하여, 상기 예측 화상이 생성되는, 화상 부호화 장치.
8. 제 1 항에 있어서,

   상기 제 1 화상 예측 수단에 의해서 생성된 상기 예측 화상과 상기 부호화 대상의 입력 화상과의 차 연산을 실행함으로써, 예측 잔차 화상을 생성하는 예측 잔차 화상 생성 수단을 더 가지고,

   상기 부호화 수단은 상기 예측 잔차 화상에 기초하는 신호를 부호화한 데이터를 상기 비트스트림에 포함시키는, 화상 부호화 장치.
9. 화상 부호화 방법에 있어서,

   결정 수단이, 부호화 대상의 입력 화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상을 생성하기 위한 예측 보조 정보에 기초하여 생성 완료의 재생 화상을 참조하여 상기 부분 영역의 예측 화상을 생성하는 제 1 화상 예측 처리, 또는 상기 예측 보조 정보에 기초하지 않고 상기 예측 화상을 생성하는 제 2 화상 예측 처리의 어떠한 것에 의해서 예측 화상의 생성을 실행할 지에 관한 부호화 모드를, 상기 제 1 화상 예측 처리 또는 상기 제 2 화상 예측 처리의 적어도 한쪽의 처리의 처리 결과에 기초하여 결정하고, 또한, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 생성하는 결정 스텝과,

   제 1 화상 예측 수단이, 상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터, 상기 제 2 화상 예측 처리 이외의 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여, 상기 부분 영역의 예측 화상을 다른 부분 영역의 생성이 완료된 재생 화상으로부터 생성하기 위한 예측 보조 정보를 추출하고, 상기 예측 보조 정보에 기초하여 상기 예측 화상을 생성하기 위한 상기 제 1 화상 예측 처리를 실행하는 제 1 화상 예측 스텝과,

   기억 수단이, 상기 예측 화상에 기초하는 재생 화상을 기억하는 기억 스텝과,

   부호화 수단이, 상기 부호화 모드 정보와 상기 예측 보조 정보를 부호화한 데이터를 포함하는 비트스트림을 생성하는 부호화 스텝을 구비하고,

   상기 제 2 화상 예측 처리는, 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 생성이 완료된 상기 재생 화상이 참조 영역으로 되고, 상기 참조 영역 중 상기 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 상기 템플릿 내에서 상기 예측 신호가 미생성인 화소에 상기 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 상기 예측 화상이 생성되는 처리인, 화상 부호화 방법.
10. 화상 부호화 프로그램에 있어서,

    컴퓨터를,

    부호화 대상의 입력화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상을 생성하기 위한 예측 보조 정보에 기초하여 생성 완료의 재생 화상을 참조하여 상기 부분 영역의 예측 화상을 생성하는 제 1 화상 예측 처리, 또는 상기 예측 보조 정보에 기초하지 않고 상기 예측 화상을 생성하는 제 2 화상 예측 처리의 어떠한 것에 의해서 예측 화상의 생성을 실행할지에 관한 부호화 모드를, 상기 제 1 화상 예측 처리 또는 상기 제 2 화상 예측 처리의 적어도 한쪽의 처리 결과에 기초하여 결정하고, 또한, 상기 부호화 모드를 특정하기 위한 부호화 모드 정보를 생성하는 결정 수단과,

    상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터, 상기 제 2 화상 예측 처리 이외의 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여, 상기 부분 영역의 예측 화상을 다른 부분 영역의 생성이 완료된 재생 화상으로부터 생성하기 위한 예측 보조 정보를 추출하고, 상기 예측 보조 정보에 기초하여 상기 예측 화상을 생성하기 위한 상기 제 1 화상 예측 처리를 실행하는 제 1 화상 예측 수단과,

    상기 예측 화상에 기초하는 재생 화상을 기억하는 기억 수단과,

    상기 부호화 모드 정보와 상기 예측 보조 정보를 부호화한 데이터를 포함하는 비트스트림을 생성하는 부호화 수단으로서 기능시키고,

    상기 제 2 화상 예측 처리는, 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 생성이 완료된 상기 재생 화상이 참조 영역으로 되고, 상기 참조 영역 중 상기 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 상기 템플릿 내에서 상기 예측 신호가 미생성인 화소에 상기 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 상기 예측 화상이 생성되는 처리인, 화상 부호화 프로그램.
11. 화상 복호 장치에 있어서,

    복호 대상의 화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 사용된 제 1 화상 예측 처리 또는 제 2 화상 예측 처리를 특정하기 위한 부호화 모드 정보와, 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성하기 위한 예측 보조 정보가 부호화된 데이터를 포함하는 비트스트림으로부터, 상기 부호화 모드 정보와 상기 예측 보조 정보를 복호하는 복호 수단과,

    상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 생성이 완료된 재생 화상으로부터, 상기 예측 보조 정보를 사용한 상기 제 1 화상 예측 처리에 의해서 생성하는 제 1 화상 예측 수단과,

    상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터 상기 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 상기 예측 보조 정보에 기초하지 않고 상기 제 2 화상 예측 처리에 의해서 생성하는 제 2 화상 예측 수단과,

    상기 예측 화상에 기초하는 재생 화상을 기억하는 기억 수단을 구비하고,

    상기 제 2 화상 예측 처리에서는, 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 상기 기억 수단에 기억되어 있는 상기 재생 화상이 참조 영역으로 되고, 상기 참조 영역 중 상기 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 상기 템플릿 내에서 상기 예측 신호가 미생성인 화소에 상기 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 상기 예측 화상이 생성되는, 화상 복호 장치.
12. 제 11 항에 있어서,

    상기 제 1 화상 예측 수단이, 상기 부호화 모드 정보로부터 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여 미리 정해진의 주사순으로 상기 제 1 화상 예측 처리에 의해서 상기 예측 화상을 생성하고, 상기 예측 화상에 기초하는 상기 재생 화상이 상기 기억 수단에 기억된 후에, 상기 제 2 화상 예측 수단이, 상기 부호화 모드 정보로부터 상기 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역에 대하여 상기 미리 정해진의 주사순으로 상기 제 2 화상 예측 처리에 의해서 상기 예측 화상을 생성하는, 화상 복호 장치.
13. 제 11 항에 있어서,

    상기 제 2 화상 예측 수단은 상기 제 2 화상 예측 처리에 의해서 생성한 상기 예측 화상을, 상기 재생 화상으로 하는, 화상 복호 장치.
14. 제 11 항에 있어서,

    상기 복호대상의 화상은 동화상의 프레임이고,

    상기 제 2 화상 예측 수단은 상기 기억 수단에 기억되어 있는 재생 화상이며, 상기 복호 대상 프레임의 상기 재생 화상 및 상기 복호 대상 프레임보다 전에 처리된 프레임의 상기 재생 화상의 적어도 한쪽을 상기 참조 영역으로 하는, 화상 복호 장치.
15. 제 11 항에 있어서,

    상기 제 1 화상 예측 처리는 상기 처리 대상의 부분 영역과 동일 공간 내의 상기 재생 화상을 예측에 사용하여 예측 화상을 생성하는 처리이고,

    상기 제 1 화상 예측 처리에서는 상기 부호화 모드로부터 상기 처리 대상의 부분 영역에 인접하는 인접 부분 영역이 상기 제 2 화상 예측 처리에 의해서 예측 화상이 생성되어야 할 부분 영역이라고 특정되는 경우에, 상기 처리 대상의 부분 영역에 인접하지 않은 비인접 부분 영역의 상기 재생 화상에 기초하여, 상기 처리대상의 부분 영역의 예측 화상이 생성되는, 화상 복호 장치.
16. 제 15 항에 있어서,

    상기 제 1 화상 예측 처리에서는 상기 부호화 모드로부터 상기 처리 대상의 부분 영역에 인접하는 인접 부분 영역이 상기 제 2 화상 예측 처리에 의해서 예측 화상이 생성되어야 할 부분 영역이라고 특정되는 경우에, 예측 방향의 직선상에 있고 예측 원측의 방향에 존재하는 상기 비인접 부분 영역의 상기 재생 화상 중, 상기 처리 대상의 부분 영역에 가장 가까운 화소의 화소치에 기초하여, 상기 예측 화상이 생성되는, 화상 복호 장치.
17. 제 11 항에 있어서,

    상기 비트스트림에는 상기 부분 영역의 상기 예측 화상과 상기 부분 영역의 화상과의 차 연산에 의한 예측 잔차 화상에 기초하는 신호가 부호화됨으로써 생성된 데이터가 포함되어 있고,

    상기 복호 수단은 상기 비트스트림에 포함되어 있는 데이터이며 상기 예측 잔차 화상에 기초하는 신호가 부호화되어 이루어지는 상기 데이터로부터 상기 신호를 복호하여,

    상기 화상 복호 장치는 상기 복호수단에 의해서 복호된 상기 신호에 기초하는 복원 예측 잔차 화상과 상기 예측 화상을 가산함으로써, 상기 재생 화상을 생성하는 재생 화상 생성 수단을 더 가지는, 화상 복호 장치.
18. 화상 복호 방법에 있어서,

    복호 대상의 화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 사용된 제 1 화상 예측 처리 또는 제 2 화상 예측 처리를 특정하기 위한 부호화 모드 정보와, 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성하기 위한 예측 보조 정보가 부호화된 데이터를 포함하는 비트스트림으로부터, 상기 부호화 모드 정보와 상기 예측 보조 정보를 복호 수단이 복호하는 복호 스텝과,

    제 1 화상 예측 수단이, 상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 상기 예측 보조 정보를 사용한 상기 제 1 화상 예측 처리에 의해서 생성하는 제 1 화상 예측 스텝과,

    제 2 화상 예측 수단이, 상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터 상기 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 상기 예측 보조 정보에 기초하지 않고 상기 제 2 화상 예측 처리를 사용하여 생성하는 제 2 화상 예측 스텝과,

    기억 수단이, 상기 예측 화상에 기초하는 재생 화상을 기억하는 기억 스텝을 구비하고,

    상기 제 2 화상 예측 처리에서는, 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 상기 기억 수단에 기억되어 있는 상기 재생 화상이 참조영역으로 되고, 상기 참조 영역 중 상기 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 상기 템플릿 내에서 상기 예측 신호가 미생성인 화소에 상기 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 상기 예측 화상이 생성되는, 화상 복호 방법.
19. 화상 복호 프로그램에 있어서,

    컴퓨터를,

    복호대상의 화상을 미리 정해진 사이즈로 분할하여 이루어지는 복수의 부분 영역의 각각에 대하여, 예측 화상의 생성에 사용된 제 1 화상 예측 처리 또는 제 2 화상 예측 처리를 특정하기 위한 부호화 모드 정보와, 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성하기 위한 예측 보조 정보가 부호화된 데이터를 포함하는 비트스트림으로부터, 상기 부호화 모드 정보와 상기 예측 보조 정보를 복호하는 복호 수단과,

    상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터 상기 제 1 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 상기 예측 보조 정보를 사용한 상기 제 1 화상 예측 처리에 의해서 생성하는 제 1 화상 예측 수단과,

    상기 복수의 부분 영역 중 상기 부호화 모드 정보로부터 상기 제 2 화상 예측 처리에 의해서 예측 화상을 생성해야 할 영역이라고 특정되는 부분 영역의 예측 화상을, 상기 예측 보조 정보에 기초하지 않고 상기 제 2 화상 예측 처리를 사용하여 생성하는 제 2 화상 예측 수단과,

    상기 예측 화상에 기초하는 재생 화상을 기억하는 기억 수단으로서 기능시키고,

    상기 제 2 화상 예측 처리에서는, 예측 신호가 미생성인 화소를 일부로 하는 영역이 템플릿으로 되고, 상기 기억 수단에 기억되어 있는 상기 재생 화상이 참조 영역으로 되어, 상기 참조 영역 중 상기 템플릿과의 상관이 높은 영역이 복사 참조 영역으로서 선택되고, 상기 템플릿 내에서 상기 예측 신호가 미생성인 화소에 상기 복사 참조 영역 내의 대응 화소의 화소치가 주어짐으로써, 상기 예측 화상이 생성되도록, 컴퓨터를 기능시키기 위한, 화상 복호 프로그램.

Images