KR100257614B1

KR100257614B1 - 화상 신호의 보전 방법, 화상 신호 부호화 장치, 및 화상 신호복호화 장치

Info

Publication number: KR100257614B1
Application number: KR1019970054825A
Authority: KR
Inventors: 준 타카하시; 충 셍 분
Original assignee: 모리시타 요이찌; 마쯔시다덴기산교 가부시키가이샤
Priority date: 1996-10-24
Filing date: 1997-10-24
Publication date: 2000-06-01
Also published as: TW366648B; KR19980033152A; EP0838953A2; CN1197251A; US6078694A; EP0838953A3

Abstract

본 발명에 따르면, 복호시에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있다.

임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하여, 상기 복수개 영역을 소정의 순서로 처리하고, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값을 이용하여 보전해서, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수개 영역내의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를, 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여, 상기 복수개 영역에 대하여, 화소값의 보전을 행하도록 한다.

Description

화상 신호의 보전 방법, 화상 신호 부호화 장치, 및 화상 신호 복호화 장치

본 발명은, 임의 형상을 갖는 화상 신호를 보전하는 화상 신호의 보전 방법, 및 그 보전 방법을 이용한 화상 신호의 부호화 장치, 복호화 장치 및 움직임 보상 방법에 관한 것이다.

또, 화상 신호란, 화소값을 나타내는 컬러 신호나, 화소의 투과도를 나타내는 투과도 신호를 나타내는 것이다.

디지탈 화상을 효율적으로 축적 또는 전송하기 위해서는, 해당 화상 신호를 압축 부호화할 필요가 있다. 이와 같이, 디지탈 화상 신호를 효율적으로 압축 부호화하기 위한 방법으로서는, 대표적인 규격인 JPEG(Joint Photographic Experts Group)이나, MPEG(Moving Picture Experts Group)에 있어서의 중심적인 기술인 이산 코사인 변환(DCT) 이외에, 서브밴드 부호화, 웨이블릿(wavelet) 부호화, 프랙탈(fractal) 부호화 등의 파형 부호화 방법이 있다. 또한, 화상간의 용장 신호를 제거하기 위해서는, 움직임 보상을 이용한 화상간 예측을 행하여, 화상간의 차분, 즉 현(現) 화상과 참조 화상간의 차분을 취하여, 이 차분 신호를 파형 부호화하도록 한다. 이와 같이 하면, 고압축율의 부호화 데이터를 얻을 수 있다.

최근에는, 압축 효율을 향상시킴과 동시에, 화상을 구성하는 물체 범위의 재생이 가능하도록, 화상을 구성하는 물체를 따로따로 압축 부호화하여 전송하는 방법이 제안되어 있다. 재생측에서는, 각각의 물체를 복호화하여, 재생한 물체를 합성하여 화상을 표시한다.

또, 화상을 합성할 때에는, 중첩되는 화상에 의해서 배경이 감춰지는지, 또는 배경이 감춰지지 않는지를, 각 화소마다 나타내는 정보가 필요하다. 합성에 사용되는 이 정보를 유의(有意) 신호라고 하고, 배경이 감춰져 있는 화소를 유의라고 한다.

또한, 화상 신호를 물체 단위로 부호화하기 때문에, 이 부호화 신호를 이용하여 물체를 자유롭게 조합하여 합성함으로써, 동화상(動畵像)을 간단히 재편집할 수 있다. 또한, 통신로의 혼신 상태나, 재생 장치의 성능, 시청자의 기호 등에 따라, 비교적 중요하지 않은 물체에 대해서는, 이를 재생하지 않고서 동화상을 보 도록 할 수 있다.

또한, 임의의 형상을 갖는 화상(물체)을 부호화하기 위해서, 형상에 적합한 부호화 방법, 예를 들면 형상 적응 이산 코사인 변환을 이용하든지, 화상의 무효 영역(물체의 바깥, 유의하지 않은 화소만으로 구성되는 영역)을 소정의 방법으로 보전하여, 종래의 8×8의 코사인 변환 등을 이용하여 부호화를 행하도록 한다.

한편, 화상간의 용장 신호를 제거하기 위해, 과거에 있어서 재생된 참조 화상을, 움직임 보상하여 얻어진 예측 영역(예를 들면 16×l6화소로 구성되는 블럭)에 있어서도, 물체의 경계에 있어서 유의하지 않은 화소가 포함되는 일이 있다. 이러한 예측 영역에 대해서는, 일단 보전을 하고 나서, 해당 예측 영역과 대상 영역과의 차분을 취하고, 예측 오차 신호를 생성하여, 변환 부호화를 행한다. 여기서, 예측 영역에 관하여 차분을 취하는 것은, 차분 신호를 억압하기 위해서이다.

종래 방법에서는, 예측 영역에 유의하지 않은 화소가 포함되지 않도록, 화상 전체를 참조하여 보상을 하고나서, 움직임 보상 등의 방법으로, 예측 영역을 취득하도록 하고 있다. 이와 같은 종래 방법에 있어서의 보전 방법에서는, 물체의 경계에 있는 유의한 화소의 화소값을 반복적으로 이용하여, 유의하지 않은 화소의 화소값을 이 화소값으로 치환한다. 소정의 화소에 있어서, 수평 방향 및 수직 방향으로 반복하여 배치한 보전값이 있는 경우, 그 양쪽을 평균하여, 보전값으로 하고, 유의하지 않은 화소의 화소값을 이것으로 치환한다. 이와 같이 하여, 화상 전체를 보전함으로써, 특히 움직임이 큰 화상에 대하여 오차가 적은 예측 영역을 얻을 수 있다.

그러나, 재생 참조 화상의 전체를 참조하여, 보전하기 위해서는, 참조 화상 전체가 복호화되어 있지 않으면, 보전 작업을 개시하는 것이 불가능하다. 또한, 반복하여 보전을 하는 경우, 화상의 크기에 비례하여 연산량이 증가한다. 즉, 화상을 재생하는 데 지연이 발생하여, 경우에 따라서는 연산량이 대단히 많아지게 되어 버린다.

한편, 연산량이 화상의 크기에 비례하지 않는 것과 같은 연산을 행하는 방법으로서는, 재생한 경계 영역을 영역 단위로 보전하는 방법이 있다. 이 방법을 이용하여 지연과 연산량의 문제를 해결할 수 있다. 그런데, 이 방법에서는 경계 영역만을 보전하기 때문에, 유효 영역은 보전한 경계 영역 이내의 영역으로 제한된다. 따라서, 움직임이 큰 동화상에 대하여, 오차가 작은 예측 신호를 생성하는 것은 불가능하게 된다.

본 발명의 목적은, 상기와 같은 문제점을 감안하여 이루어진 것으로, 지연 시간과 연산량이 적고, 움직임이 큰 화상에 대하여, 오차가 작은 예측 신호를 생성할 수 있는 화상의 보전 방법을 제공하는 것이다.

또한 본 발명의 목적은, 상기 화상 신호의 보전 방법을 이용하고, 또한 마찬가지로, 지연 시간과 연산량이 적고, 움직임이 큰 화상에 대하여, 오차가 작은 예측 신호를 생성할 수 있는 화상 신호 부호화 장치 및 화상 신호 복호화 장치를 제공하는 것이다.

도 1은 본 발명의 실시예 1에 따른 화상 신호의 보전 방법의 흐름을 도시하는 도면.

도 2는 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에서 이용되는 영역의 보전 방법의 일례를 도시하는 모식도.

도 3은 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에서 이용되는 영역의 보전 방법의 다른 예를 도시하는 모식도.

도 4는 본 발명의 실시예 1에 따른 화상 신호의 보전 방법의 제 1 변형예의 흐름을 도시하는 도면.

도 5는 본 발명의 실시예 1에 따른 화상 신호의 보전 방법의 제 2 변형예의 흐름을 도시하는 도면.

도 6은 본 발명의 실시예 1에 따른 화상 신호의 보전 방법으로 보전한 화상의 제 1 예를 도시하는 모식도.

도 7은 본 발명의 실시예 1에 따른 화상 신호의 보전 방법으로 보전한 화상의 제 2 예를 도시하는 모식도.

도 8은 본 발명의 실시예 1에 따른 화상 신호의 보전 방법으로 보전한 화상의 제 3 예를 도시하는 모식도.

도 9는 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에서 참조하는 부가 정보 생성의 예를 도시하는 모식도.

도 10은 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에서 참조하는 부가 정보의 생성 및 부가 정보를 이용한 보전의 예의 흐름을 도시하는 도면.

도 11은 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에서 참조하는 부가 정보 생성의 예를 도시하는 모식도.

도 12는 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에서 참조하는 부가 정보 생성의 예를 도시하는 모식도.

도 13은 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에서 참조하는 부가 정보의 생성, 및 부가 정보를 이용한 보전의 예를 도시하는 모식도.

도 14는 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에서 참조하는 부가 정보의 생성, 및 부가 정보를 이용한 보전의 예를 도시하는 모식도.

도 15는 본 발명의 실시예 2에 따른 화상 신호 부호화 장치를 도시하는 블럭도.

도 16은 본 발명의 실시예 2-2에 따른 화상 신호 부호화 장치를 도시하는 블럭도.

도 17은 본 발명의 실시예 3-1에 따른 화상 신호 부호화 장치를 도시하는 블럭도.

도 18은 본 발명의 실시예 3-2에 따른 화상 신호 복호화 장치를 도시하는 블럭도.

도 19는 본 발명의 실시예 3-3에 따른 화상 신호 복호화 장치에 있어서의 보전기의 동작을 도시하는 흐름도.

도 20은 본 발명의 실시예 4-1에 따른 화상 신호 복호화 장치의 보전기의 흐름을 도시한 도면.

도 21은 본 발명의 실시예 4-1에 따른 화상 신호 복호화 장치의 움직임 보상기의 흐름을 도시한 도면.

도 22는 본 발명의 실시예 4-2에 따른 화상 신호 복호화 장치의 보전의 예를 도시하는 모식도.

도 23은 본 발명의 실시예 4-2에 따른 화상 신호 복호화 장치에 있어서의, 움직임 보상에 있어서 화소의 보전을 행하는 동작을 설명하기 위한 도면.

도 24는 본 발명의 실시예 6에 따른 화상 신호의 보전 방법의 프로그램을 매체에 보존한 경우를 도시하는 모식도.

도 25는 본 발명의 실시예 5에 따른 화상 신호의 보전 방법의 동작을 설명하기 위한 도면.

도면의 주요부분에 대한 부호의 설명

201 : 입력 단자 202 : 제 1 가산기

203 : 부호화기 204 : 이산 코사인 변환기

205 : 양자화기 206 : 출력 단자

207 : 복호화기 208 : 역양자화기

209 : 역이산 코사인 변환기 210 : 제 2 가산기

211 : 가변 길이 부호화기 212 : 보전기

213 : 프레임 메모리 230 : 보전기

231 : 프레임 메모리 301 : 입력 단자

302 : 데이터 해석기 303 : 복호화기

304 : 역양자화기 305 : 역이산 코사인 변환

306 : 가산기 307 : 출력 단자

309 : 프레임 메모리

이 과제를 해결하기 위해서, 청구항 1에 관한 발명의 화상 신호의 보전 방법은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값을 이용하여 보전하여, 화상 신호를 출력하는 화상 신호의 보전 방법에 있어서, 상기 복수개 영역내의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여, 상기 복수개 영역에 대하여 화소값의 보전을 행하도록 한 것이다.

청구항 2의 발명은, 청구항 1 기재의 화상 신호의 보전 방법에 있어서, 상기 소정의 방법은, 경계 영역에 있는 블럭내의 물체의 값을, 물체밖의 무효 영역까지 확장하는 방법으로 한 것이다.

청구항 3의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과, 소정의 함수를 이용하여, 구해진 보전값을 이용하여 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수개 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여, 상기 복수개 영역에 대하여 화소값의 보전을 행하는 것으로 한 것이다.

청구항 4의 발명은, 청구항 3 기재의 화상 신호의 보전 방법에 있어서, 상기 화소값의 보전은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에 대응하는, 상기 경계 영역내에 포함되는 화소의 화소값을 이용하는 카핑(copying) 함수를 이용하여 행하는 것으로 한 것이다.

청구항 5의 발명은, 청구항 3 기재의 화상 신호의 보전 방법에 있어서, 상기 화소값의 보전은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에 의해, 경계 영역과 상기 무효 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 경계 영역에 포함되는 화소의 화소값을 이용하는 미러링(mirroring) 함수를 이용하여 행하는 것으로 한 것이다.

청구항 6의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 보전값으로 보전하여, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하여, 화소 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수개 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여, 상기 복수개 영역에 화소값의 보전을 행하는 것으로 한 것이다.

청구항 11의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값으로 보전하여, 화상 신호를 출력하는 것을 특징으로 하는 화상 신호의 보전 방법에 있어서, 상기 복수개 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 대상 영역이 무효 영역이 아닌 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이라고 판정되면, 상기 과거의 영역을, 소정의 방법으로 구해진 보전값으로 보전하며, 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을, 소정의 방법으로 구해진 보전값으로 보전하는 것으로 한 것이다.

청구항 12의 발명은, 청구항 11 기재의 화상 신호의 보전 방법에 있어서, 상기 대상 영역이 무효 영역이 아닌 경우, 부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역에 포함되는 화소의 위치에 대응하는, 상기 대상 영역내의 화소의 화소값을 이용하는 카핑 함수를 이용하여, 상기 과거의 영역의 보전을 행하고, 상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 대상 영역에 인접하는 상기 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역에 포함되는 화소의 위치에 대응하는, 상기 과거의 영역내의 화소의 화소값을 이용하는 카핑 함수를 이용하여, 상기 대상 영역의 보전을 행하는 것으로 한 것이다.

청구항 13의 발명은, 청구항 11 기재의 화상 신호의 보전 방법에 있어서, 상기 대상 영역이 무효 영역이 아닌 경우, 부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역에 포함되는 화소의 위치에, 상기 과거의 영역과 상기 대상 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 대상 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 과거의 영역의 보전을 행하고, 상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 상기 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역에 포함되는 화소의 위치에, 상기 무효 영역과 상기 과거의 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 과거의 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 대상 영역의 보전을 행하는 것으로 한 것이다.

청구항 14의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값으로 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수개 영역에 포함되는 화소의 화소값이 유의한 것을 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 대상 영역이 무효 영역이 아닌 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역을, 상기 대상 영역에 포함되는 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하며, 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을, 상기 과거의 영역에 포함되는 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값으로 보전하는 것으로 한 것이다.

청구항 15의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 화소값을 이용하여 보전하여, 화상 신호를 출력하는 화상 신호의 보전 방법에 있어서, 상기 복수개 영역에 포함되는 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 대상 영역이 무효 영역이 아닌 경우, 상기 대상 영역에 포함되는 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 화소값을 이용하여 보전하며, 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역을, 상기 보전한 대상 영역에 포함되는 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 화소값으로 보전하고, 상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을, 상기 과거의 영역에 포함되는 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하는 것으로 한 것이다.

청구항 16의 발명은, 청구항 15 기재의 화상 신호의 보전 방법에 있어서, 상기 대상 영역이 무효 영역이 아닌 경우, 상기 대상 영역에 포함되는 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 화소값으로 보전하고, 부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 보전된 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역에 포함되는 화소의 위치에 대응하는, 상기 보전한 대상 영역의 화소의 화소값을 이용하는 카핑 함수를 이용하여, 상기 과거의 영역을 보전하며, 상기 대상 영역이 무효 영역인 경우는, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 상기 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역에 포함되는 화소의 위치에 대응하는, 상기 과거의 영역내의 화소의 화소값을 이용하는 카핑 함수를 이용하여, 상기 대상 영역을 보전하는 것으로 한 것이다.

청구항 17의 발명은, 청구항 15 기재의 화상 신호의 보전 방법에 있어서, 상기 대상 영역이 무효 영역이 아닌 경우는, 상기 대상 영역에 포함되는 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 화소값으로 보전하고, 부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 보전된 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역에 포함되는 화소의 위치에, 상기 과거의 영역과 상기 보전된 대상 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 보전된 대상 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 과거의 영역을 보전하며, 상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 상기 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역에 포함되는 화소의 위치에, 상기 과거의 영역과 상기 대상 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 과거의 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 대상 영역을 보전하는 것으로 한 것이다.

청구항 18의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하여, 출력하는 화상 신호의 보전 방법에 있어서, 상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에 대응하는, 상기 경계 영역내에 포함되는 화소의 화소값을 이용하는 카핑 함수를 이용하여, 보전을 행하는 것으로 한 것이다.

청구항 19의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하여, 출력하는 화상 신호의 보전 방법에 있어서, 상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에, 경계 영역과 상기 무효 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 경계 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 보전을 행하는 것으로 한 것이다.

청구항 20의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을, 소정의 방법을 이용하여 구해진 보전값을 이용하여 보전하고, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 각 화소의 위치에 대응하는, 상기 보전한 경계 영역내에 포함되는 화소의 화소값을 이용하는 카핑 함수를 이용하여, 보전을 행하는 것으로 한 것이다.

청구항 21의 발명은, 임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을, 소정의 방법을 이용하여 구해진 보전값으로 보전하고, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 각 화소의 위치에 대하여, 이미 보전된 경계 영역과 상기 무효 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는 상기 보전된 경계 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 무효 영역에 대하여 보전을 행하는 것으로 한 것이다.

청구항 22의 발명의 화상 신호 부호화 장치는, 입력 수단과, 제 1 가산 수단과, 부호화 수단과, 복호화 수단과, 제 2 가산 수단과, 보전 수단과, 메모리와, 예측 영역 생성 수단을 구비하고, 상기 입력 수단에 임의 형상의 화상 신호를 입력하고, 상기 화상 신호를 서로 인접하는 복수개 영역으로 분할하여, 상기 복수개 영역을 대상 영역으로서 소정의 순서로 처리하며, 상기 제 1 가산 수단에 상기 대상 영역과, 상기 예측 영역 생성 수단으로부터의 예측 영역을 입력하여 차분 영역을 생성하고, 상기 부호화 수단에 상기 차분 영역을 입력하고, 그 부호화 수단에 의해, 소정의 방법으로 상기 차분 영역을 압축 차분 영역으로 변환하며, 상기 복호화 수단에 상기 압축 차분 영역을 입력하고, 그 복호화 수단에 의해, 소정의 방법으로 압축 차분 영역을 상기 신장 차분 영역으로 복원하고, 상기 제 2 가산 수단에 상기 신장 차분 영역을 입력하고, 그 신장 차분 영역에 상기 예측 영역을 가산하여 재생 영역을 생성하며, 상기 보전 수단에 상기 재생 영역을 입력하고, 소정의 방법으로, 상기 재생 영역에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 보전 영역으로서 상기 메모리에 저장하고, 상기 예측 영역 생성 수단에 상기 메모리에 저장한 상기 보전 영역을 입력하여, 상기 예측 영역을 생성하며, 상기 압축 차분 영역 신호를 화상 신호 부호화 장치의 출력으로 하는 화상 신호 부호화 장치에 있어서, 상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18, 또는 19 항에 기재된 화상 신호의 보전 방법으로 화소값의 보전을 행하는 것으로 한 것이다.

청구항 23의 발명의 화상 신호 부호화 장치는, 입력 수단과, 제 1 가산 수단과, 부호화 수단과, 복호화 수단과, 제 2 가산 수단과, 제 1 보전 수단과, 제 2 보전 수단과, 제 1 메모리와, 제 2 메모리와, 예측 영역 생성 수단을 구비하고, 상기 입력 수단에 임의 형상의 화상 신호를 입력하고, 이 화상 신호를 서로 인접하는 복수개 영역으로 분할하여, 상기 복수개 영역을, 대상 영역으로 하여 소정의 순서로 처리하며, 상기 제 1 가산 수단에, 상기 대상 영역과, 상기 예측 영역 생성 수단으로부터의 예측 영역을 입력하여 차분 영역을 생성하고, 상기 부호화 수단에, 상기 차분 영역을 입력하여, 그 부호화 수단에 의해 소정의 방법으로, 상기 차분 영역을, 압축 차분 영역으로 변환하며, 상기 복호화 수단에 상기 압축 차분 영역을 입력하고, 그 복호화 수단에 의해, 소정의 방법으로 상기 압축 차분 영역을 신장 차분 영역으로 복원하고, 상기 제 2 가산 수단에 상기 신장 차분 영역을 입력하고, 이 신장 차분 영역에 상기 예측 영역을 가산하여 재생 영역을 생성하며, 상기 제 1 보전 수단에 상기 재생 영역을 입력하고, 소정의 방법으로, 상기 재생 영역에 포함되는 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을 보전하여, 상기 제 1 메모리에 저장하고, 상기 제 2 보전 수단에 상기 제 1 메모리 내용을 입력하고, 소정의 방법으로, 상기 제 1 메모리 내용에 포함되는 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을 보전하여, 제 2 보전 영역으로서 상기 제 2 메모리에 저장하며, 상기 예측 영역 생성 수단에, 상기 제 2 메모리에 저장한 상기 제 2 보전 영역을 입력하여, 상기 예측 영역을 생성하고, 상기 압축 차분 영역 신호를, 화상 신호 부호화 장치의 출력으로 하는 화상 신호 부호화 장치에 있어서, 상기 제 1 보전 수단 및 제 2 보전 수단은, 청구항 6, 15, 20 또는 21 항에 기재된 화상 신호의 보전 방법으로 화소값의 보전을 행하는 것으로 한 것이다.

청구항 32의 발명의 화상 신호 복호화 장치는, 입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 보전 수단과, 메모리와, 예측 신호 생성 수단을 구비하고, 상기 입력 수단에, 압축 부호화된 부호화 신호를 입력하며, 상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고, 상기 복호화 수단으로 상기 압축 차분 신호를 신장 차분 신호로 복호화하며, 상기 예측 신호 생성 수단에 의해, 상기 메모리로부터 취득한 화상 신호를 이용하여 예측 신호를 생성하고, 상기 가산 수단에 의해, 상기 신장 차분 신호와, 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에, 상기 보전 수단에 의해, 소정의 방법으로, 상기 재생 신호에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 상기 메모리에 저장하는 화상 신호 복호화 장치에 있어서, 상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18 또는 19 항에 기재된 보전 방법으로 화소값의 보전을 행하는 것으로 한 것이다.

청구항 33의 발명의 화상 신호 복호화 장치는, 입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 제 1 보전 수단과, 제 2 보전 수단과, 제 1 메모리와, 제 2 메모리와, 예측 신호 생성 수단을 구비하고, 상기 입력 수단에 압축 부호화된 부호화 신호를 입력하며, 상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고, 상기 복호화 수단으로, 상기 압축 차분 신호를 신장 차분 신호로 복호화하며, 상기 예측 신호 생성 수단에 의해, 상기 제 2 메모리로부터 취득한 화상 신호를 이용하여, 예측 신호를 생성하고, 상기 가산 수단에 의해, 상기 신장 차분 신호와, 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에, 상기 제 1 보전 수단에 의해, 상기 재생 신호가 포함되는 형상의 영역에 위치하는 경계 영역이면, 소정의 방법으로, 상기 경계 영역의 유의하지 않은 화소의 화소값을 보전하여, 상기 제 1 메모리에 저장하고, 상기 제 2 보전 수단에 의해, 상기 제 1 메모리에 저장된 경계 영역에 인접하는 유의하지 않은 화소만으로 구성된 무효 영역을, 소정의 방법으로 보전하여, 제 2 메모리에 저장하는 화상 신호 복호화 장치에 있어서, 상기 제 1 및 제 2 보전 수단은, 청구항 6, 15, 20 또는 21 항에 기재된 보전 방법으로 화소값의 보전을 행하는 것으로 한 것이다.

청구항 42의 발명은, 입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 보전 수단과, 메모리와, 예측 신호 생성 수단을 구비하고, 상기 입력 수단에 압축 부호화된 부호화 신호를 입력하며, 상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고, 상기 복호화 수단으로 상기 압축 차분 신호를 신장 차분 신호로 복호화하며, 상기 예측 신호 생성 수단에 의해, 상기 메모리로부터 취득한 화상 신호를 이용하여, 예측 신호를 생성하고, 상기 가산 수단에 의해, 상기 신장 차분 신호와 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에, 상기 보전 수단에 의해, 소정의 방법으로 상기 재생 신호에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 상기 메모리에 저장하는 화상 신호 복호화 장치에 있어서, 상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18 또는 19 항에 기재된 화상 신호의 보전 방법으로, 모든 화상 블럭의 외주 영역을 제외한 영역내에서의 화소값의 보전을 행하여, 움직임 보상에서 참조한 예측 소영역이 그것보다 외측의 영역도 포함하는 경우에는, 움직임 보상과 동시에 상기 외측에 있는 무효 영역의 보전을 행하는 것으로 한 것이다.

청구항 43의 발명은, 입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 보전 수단과, 메모리와, 예측 신호 생성 수단을 구비하고, 상기 입력 수단에 압축 부호화된 부호화 신호를 입력하며, 상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고, 상기 복호화 수단으로 상기 압축 차분 신호를 신장 차분 신호로 복호화하며, 상기 예측 신호 생성 수단에 의해, 상기 메모리로부터 취득한 화상 신호를 이용하여 예측 신호를 생성하고, 상기 가산 수단에 의해, 상기 신장 차분 신호와, 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에, 상기 보전 수단에 의해, 소정의 방법으로, 상기 재생 신호에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 상기 메모리에 저장하는 화상 신호 복호화 장치에 있어서, 상기 제 1 및 제 2 보전 수단은, 청구항 6, 15, 20 또는 21에 기재된 화상 신호의 보전 방법으로, 모든 화상 블럭의 외주 영역을 제외한 영역내에서의 화소값의 보전을 행하여, 움직임 보상에서 참조한 예측 소영역이 그것보다 외측의 영역도 포함하는 경우에는, 움직임 보상과 동시에 상기 외측에 있는 무효 영역의 보전을 행하는 것으로 한 것이다.

청구항 44의 발명의 움직임 보상 방법은, 청구항 1, 2, 3, 6, 11, 14, 15, 18, 19, 20 또는 21 항 중 어느 한 항에 기재된 화상 신호의 보전 방법을, 화상 신호 복호화 장치에 있어서, 움직임 보상을 행할 때에 동시에 행하는 것으로 한 것이다.

청구항 45의 발명의 기록 매체는, 청구항 1, 2, 3, 6, 11, 14, 15, 18, 19, 20 또는 21 항중 어느 한 항에 기재된 화상 신호의 보전 방법의 프로그램을 기억하여 이루어지는 것으로 한 것이다.

(발명의 실시예)

(실시예 1)

도 1은 본 발명의 실시예 1에 의한 화상 신호의 보전 방법을 설명하기 위한 도면으로서, 도 1은 본 실시예 1에 있어서 이용하는 화상 신호의 보상 방법의 부가 정보를 이용하지 않는 부분을 설명하기 위한 흐름도이며, 도 2, 3은 그 보전 방법의 보전 방식을 설명하는 도면, 도 4, 도 5는 상기 도 1의 보전 방법의 흐름도의 일부를, 각각 변화시킨 것의 흐름도, 도 6∼8은 도 5의 방법에 의한 화상이 보전되는 방식을 도시한 도면, 도 9는 본 실시예 1에 있어서 이용하는 부가 정보에 대하여 설명하는 도면이다. 이하, 이들 도면을 이용하여 본 실시예 1에 대하여 설명한다.

본 실시예 1의 화상 신호의 보전 방법의 주요부를 설명하는 것으로서, 우선 도 1의 흐름도에 의한 보전 방법에 대하여 설명한다. 이 보전 방법에서는, 임의의 형상을 갖는 화상을 입력하여, 해당 화상 신호를 서로 인접하는 복수개 영역으로 분할하고, 각 영역에 대하여, 소정의 순서로 화상 신호의 보전조작을 행하여, 즉 각 블럭마다 하나씩 도 1의 흐름도에 따라 처리한다. 여기서, 영역의 조작은 좌측 위에 있는 영역으로부터 시작하여, 라스터 스캔(raster scan)과 동일한 순서로 영역을 주사한다. 영역의 형태는 삼각형이어도 좋고, 직사각형이나 정사각형이어도 좋다. 또한, 영역의 분할 방식은, 전체 영역을 N×N개의 화소로 이루어지는 정사각형 영역 마다 분할하여 처리하는 것으로 하며, N은 8 또는 16이다. 이하에서는, N×N개의 화소로 이루어지는 정사각형을 블럭이라고 부른다.

도 1의 흐름도에 있어서, 우선 단계(12)에서는, 현재 처리의 대상으로 되는 블럭, 즉 현 블럭이, 완전히 임의 형상의 화상, 즉 물체의 밖에 있는지 여부를 조사한다. 현 블럭이 완전히 물체의 밖에 있는(단계(12)에서 "예") 경우는, 해당하는 블럭의 화소는 모두 유의하지 않은 것이며, 현 블럭이 완전히 물체의 밖에 있는 것이 아닌(단계(12)에서 "아니오") 경우는, 현 블럭은 유의한 화소를 포함하는 것으로 된다. 여기서, 어떤 화소가 유의한지 여부는 예를 들면, 상기 물체의 형상 신호로부터 작성한 유의 신호를 참조하여 판정한다. 유의 신호가 0이면 유의하지 않고, 1이면 유의한 것으로 한다.

도 1의 흐름도에 있어서, 현 블럭이 완전히 물체의 밖에 있는 것이 아니면(단계(12)에서 "아니오"), 단계(14)로 진행한다. 단계(14)에서는, 현 블럭에 인접하는 과거의 블럭은, 완전히 물체의 밖에 있는지 여부를 조사한다. 여기서, 과거의 블럭이란, 영역의 주사의 순서에 있어서, 먼저 처리된 블럭이다. 현 블럭에 인접하는 과거의 블럭이 완전히 물체의 밖에 있는(단계(14)의 판정에서 "예") 것이면, 단계(16)에서, 소정의 방법으로 상기 인접하는 과거의 블럭용의, 보전값을 계산, 취득하고, 단계(18)에서 인접하는 과거의 블럭의 샘플값을, 상기 보전값으로 치환하여, 보전한다. 여기서, 보전값의 계산에는, 예를 들면, 경계 영역, 즉 「물체의 형상 신호의 경계를 포함하고 있는 블럭」안의, 물체내의 화소의 화소값을 물체 밖으로(해당 경계 영역 블럭내에서, 혹은 또한 그 외측의 무효 영역까지) 확장하는, 익스텐딩(extending) 방법을 이용한다.

단계(12)에 있어서, 현 블럭이 완전히 물체의 밖에 있는 것이면, 단계(20)으로 진행한다. 이 단계(20)에서, 인접하는 과거의 블럭이 완전히 물체의 밖에 있는지 여부를 조사한다. 과거의 블럭이 완전히 물체의 밖에 있는 것이 아니면(단계(20)에서 "아니오"), 단계(22)에 있어서 상기와 마찬가지의 소정의 방법으로 현 블럭용의 보전값을 계산하고, 단계(24)에서 현 블럭의 샘플값을 상기 보전값으로 치환하여, 보전한다. 또, 상기 인접하는 과거의 블럭이, 단계(18)에서 보전된 후에 있어서는, 단계(20)의 처리에 있어서는, 상기 인접하는 과거의 블럭은, 완전히 물체의 밖에 있는 것은 아닌 것으로 판단하도록 하여도 좋다. 즉, 참조 화소의 물체 밖의 영역을 임의의 방법으로 보전하여, 보전한 부분도 예측의 영역에 포함하도록 하여도 좋다.

이 처리를, 최후의 블럭까지 반복한다(단계(26) 참조).

도 2 및 도 3은, 상기 보전값의 계산 방법에 대한 모식도를 나타내고 있다. 도 2는, 현 블럭과 과거의 블럭이 수평 방향으로 인접하는 경우이다. 도 2a는, 블럭(32)이 현 블럭이고, 블럭(30)이 과거의 블럭이다. 블럭의 각 칸은 화소를 나타내고 있다. 블럭(30)이, 완전히 물체의 밖에 있는 것으로 하여, 블럭(32)내의 화소의 화소값 A∼P의 값을, 블럭간의 경계(31)에 관하여 블럭(32)와 선대칭으로 되는 화소의 위치에 대입하여, 보전을 행한다. 즉, 보전을 행하는 함수로서, 미러링을 사용하는 것이다. 여기서, 물체의 경계선은 블럭(32)내의 화소 A, E, I, M과, 화소 B, F, I, N과의 사이의 선(33)이다.

도 2b에서는, 블럭(35)이 물체의 경계 영역이고, 블럭(37)이 완전히 물체의 밖에 있는 경우이다. 이 경우는, 도면 중에 도시한 바와 같이, 블럭(35)내의 화소의 화소값을, 블럭간의 경계(36)에 관하여 블럭(35)과 선대칭으로 되는 화소의 위치에 대입하여, 즉 미러링하여, 보전을 행한다.

도 2c에서는, 블럭(42)이 현 블럭이고, 블럭(40)이 과거의 블럭이다. 블럭(40)이 완전히 물체의 밖에 있는 것으로 하여, 도면 중에 도시한 바와 같이, 블럭(42)내의 화소의 화소값 A∼P의 값을, 블럭(40)내의 각 대응하는 화소의 위치에 대입하여, 즉 카핑하여, 보전을 행한다.

도 2d에서는 블럭(47)이 현 블럭이고, 블럭(45)이 과거의 블럭이다. 블럭(47)이 완전히 물체의 밖에 있는 것으로 하여, 도면 중에 도시한 바와 같이, 블럭(45)내의 화소의 화소값 A∼P의 값을, 블럭(47)내의 각 대응하는 화소의 위치에 대입하여, 즉 카핑하여, 보전을 행한다.

도 3은, 현 블럭과 과거의 블럭이 수직 방향으로 인접하는 경우이다.

도 3a에서는, 블럭(50)이 현 블럭이고, 블럭(52)이 과거의 블럭이다. 블럭(50)이 완전히 물체의 밖에 있는 것으로 하여, 블럭(52)내의 화소의 화소값 A∼P의 값을, 블럭의 경계(51)에 관하여 블럭(52)과 선대칭에 있는 화소의 위치에 대입하여, 즉 미러링하여, 보전을 행한다.

도 3b에서는 블럭(57)이 현 블럭이고, 블럭(55)이 과거의 블럭이다. 블럭(57)이 완전히 물체의 밖에 있는 것으로 하여, 블럭(55)내의 화소의 화소값 A∼F의 값을, 블럭의 경계(56)에 관하여 블럭(55)과 선대칭으로 되는 화소의 위치에 대입하여, 즉 미러링하여, 보전을 행한다.

도 3c에서는, 블럭(62)이 현 블럭이고, 블럭(60)이 과거의 블럭이다. 블럭(60)이 완전히 물체의 밖에 있는 것으로 하여, 도면 중에 도시한 바와 같이, 블럭(62)내의 화소의 화소값 A∼P의 값을, 블럭(60)내의 각 대응하는 화소의 위치에 대입하여, 즉 카핑하여, 보전을 행한다.

도 3d에서는 블럭(67)이 현 블럭이고, 블럭(65)이 과거의 블럭이다. 블럭(67)이 완전히 물체의 밖에 있는 것으로 하여, 도면 중에 도시한 바와 같이, 블럭(65)내의 화소의 화소값 A∼P의 값을, 블럭(67)내의 각 대응하는 화소의 위치에 대입하여, 즉 카핑하여, 보전을 행한다.

도 2 및 도 3에 있어서, 물체의 경계 부분에 위치하는 블럭(32, 35, 42, 45, 52, 55, 62, 65)에 대해서는, 블럭내의 유의한 화소의 화소값을 이용하여 산출한 평균값을, 블럭내의 유의하지 않은 화소의 화소값에 대입한 후, 이상의 처리를 행하여도 좋다.

또, 도 2, 도 3에서는, 간단화하기 위해, 4×4의 블럭에 대하여 설명하였지만, 이것은 일반적으로, N×N(N은 임의의 정수)의 블럭인 경우에 대해서도 마찬가지이다.

도 4는, 도 1과 마찬가지로, 본 실시예 1에 있어서 이용하는 화상 신호의 보전 방법의 주요부를 설명하기 위한 도면이며, 도 1의 흐름도에, 단계(13)을 부가한 것이다. 즉, 현 블럭(32)이 완전히 물체내에 있는 것이 아닌 경우, 현 블럭(32)내에 포함되는 물체외 영역을 보전하는 단계를 부가한 것이다. 이 단계(13)에서는 도 2a의 경우, 물체의 경계선이 (33)이고, 현 블럭(32)내의 화소 A, E, I, M이 해당 경계선 밖이며, 물체외의 영역에 있을 때에는, 예컨대, 1개의 보전 방법으로서, 현 블럭내의 화소 A, E, I, M 이외의 12개의 화소값의 평균값을 생성하여, 이 평균값을, 상기 화소 A, E, I, M에 대입하여 보전하도록 한다.

또한, 상기 현 블럭내의 화소 A, E, I, M을 보전하는 다른 방법으로서는, 블럭(32)내의 물체의 경계에 위치하는 화소 B, F, J, N을 각각 물체외의 화소 수평 방향으로 반복하여 배치하고, 현 블럭(32)의 화소 A, E, I, M으로 보전하는 방법도 있다. 이 경우에는, 수평 방향뿐이지만, 수평 방향 및 수직 방향으로 반복하여 보전하는 것도 고려할 수 있다. 그러한 경우, 1개의 화소에 대하여 2개의 보전값이 존재하는 경우를 고려할 수 있지만, 그와 같은 때에는, 2개의 보전값을 평균하여 대입하도록 하여도 좋다.

도 5는, 역시 본 발명의 실시예 1에 의한 화상 신호의 보전 방법에 있어서 이용하는 보전 방법의 주요부를 도시하는 흐름도이며, 도 4에 있어서의 단계(14, 18, 20)의 처리를, 수평 방향으로 인접하는 과거의 블럭을 이용한 처리에 각각 한정한 단계(15, 19, 21)로 한 경우의 흐름도를 도시한다. 도 5의 처리에 따라서 보전한 화상(108)의 예를 도 6에 도시한다. 별(星)모양을 갖는 물체(110)의 영역내가 유의한 물체 영역이며, 그 이외의 부분, 즉 그 외의 영역은, 유의하지 않은 화소만으로 구성되는 무효 영역이다. 화상(108)은 7×7의 블럭으로 분할되어 있다. 블럭(112)와 동일한 격자 사선 모양으로 모두 칠해진 블럭은, 도 5의 단계(13)에 의해 보전된 것이다. 블럭(114)과 동일하게 오른쪽으로 상승하는 사선 모양으로 모두 칠해진 블럭은, 도 5의 단계(19), 또는 단계(24)에 의해 보전된 것이다.

화상(108)의 보전 순서를, 도 5 및 도 6을 이용하여 설명한다. 우선 블럭(112)에 대하여 생각한다. 단계(12)에서의 판정에 있어서, 현 블럭(112)은 완전히 물체의 밖에는 없기 때문에, 해당 블럭(112)은 단계(13)에서 그 물체외 영역이 격자 사선 모양으로 보전된다. 단계(15)의 판정에 있어서, 해당 현 블럭(112)에 수평으로 인접하는 과거의 블럭(ll2a)은 완전히 물체의 밖에 있는 것이 아니기 때문에, 단계(16)의 처리를 하지 않고서 다음으로 진행한다.

다음에 블럭(114)에 대하여 생각한다(단, 블럭(114)의 처리는 블럭(112)의 처리보다 이전에 행해져 있는 것이다). 단계(12)에서의 판정에 있어서, 현 블럭(114)은 완전히 물체의 밖에 있기 때문에, 다음의 단계(21)로 진행한다. 여기서, 단계(21)의 판정에 있어서, 해당 현 블럭(114)에 수평으로 인접하는 과거의 블럭(114a)은, 완전히 물체의 밖에 있는 것이 아니기 때문에, 해당 블럭(114a)의 물체외의 화소의 화소값을 참조하여 보전값을 계산, 취득하고(단계(22)), 해당 보전값을 이용하여 현 블럭(114)을 도면에 도시하는 오른쪽으로 상승하는 사선 모양으로 보전한다.

그 밖의 블럭도 마찬가지로 하여 화소값의 보전을 할 수 있으며, 마지막으로 블럭(116)에 대하여 생각한다. 단계(12)에서의 판정에 있어서, 현 블럭(116)은 완전히 물체의 밖에 있기 때문에, 단계(21)로 진행한다. 여기서, 해당 블럭(116)에 수평으로 인접하는 과거의 블럭(115)은, 완전히 물체의 밖에 있는 것이 아니기 때문에, 단계(22)에 있어서 해당 블럭(115)을 참조하여 보전값의 계산, 취득을 행하고, 단계(24)에 있어서 해당 보전값을 이용하여 보전을 행하는, 즉 해당 블럭(115)을 참조하여 현 블럭(116)의 보전을 행한다.

다음에 블럭(117)의 처리로 될 때, 단계(12)에서의 판정에 있어서, 현 블럭(117)은 완전히 물체의 밖에는 없기 때문에, 해당 블럭(117)은 단계(13)에서 보전되고, 단계(15)에서의 판정에 있어서, 수평으로 인접하는 과거의 블럭(116)은 완전히 물체의 밖에 있기 때문에(단계(15)에서 "예"), 단계(16)에서 해당 과거의 블럭(116)의 화소값을 참조하여 보전값의 계산, 취득을 행하고, 해당 블럭(117)은 단계(17)에서 보전된다. 즉, 블럭(117)은 2회 보전되게 된다. 또한 여기서, 복수의 보전값이 있는 경우, 그 중 하나를 골라 보전하는 것도 가능하다. 또한, 평균화를 행하는 경우에 있어서도, 특정한 보전값만을 이용하여 평균을 잡는 것도 가능하다.

이렇게 하여, 화상(108)의 물체를 수평 방향으로 확장하여 보전할 수 있다.

또한, 도 5의 단계(15, 19, 21)의 처리를 수평 방향으로 확장하는 것에서 수직 방향으로 확장하는 것으로 변경하면, 도 7에 도시되는 바와 같은, 수직 방향으로 확장하여 보전한 화상을 얻을 수 있다. 또한, 수평 방향과 수직 방향을 조합하여 처리하면, 도 8에 도시하는 바와 같이 수평 방향, 수직 방향으로 확장하여 보전한 화상을 얻을 수 있다. 이 경우, 2회 이상의 보전이 행해질 때가 있기 때문에, 그와 같은 경우에는, 복수의 보전값의 전부, 또는 일부를 평균화하도록 하여도 좋고, 또한 복수의 보전 후보가 있는 경우에는, 특정한 보전 후보로 보전하거나, 처리 순서에 있어서 최신으로 보전하는 것으로 덮어쓰기(overwrite)하도록 하여도 좋다.

도 9는, 본 발명의 실시예 1에 의한 화상 신호의 보전 방법에 있어서, 상기 도 1, 도 4, 도 5에서 설명한 보전 방법에 따라 보전할 때에, 해당 실시예 1의 특징이며, 이것에 부가하여 참조하고자 하는 부가 정보를 생성하는 모양을 도시하는 모식도이다. 현 블럭이 완전히 물체의 밖에 있는 경우에는, 도 9에 있어서 화상(120) 중의 0을 설정한 블럭과 같이, 부가 정보를 0으로 하여 생성한다. 그 이외의 도 6∼도 8의 블럭(112)에 대응하는 블럭과 같은 그 일부가 블럭내에 위치하는 것과 같은 블럭, 또는 물체의 내부에 위치하는 블럭은, 1을 부가 정보로 하여 생성한다.

상기한 예에서는, 부가 정보로서는 완전히 물체의 밖에 있는지 없는지 여부의 2개의 값만을 갖는 것을 이용하였지만, 완전히 물체의 밖에 있는 경우, 물체의 경계에 위치하는 경우, 완전히 물체의 안에 있는 경우의 3가지 값을 갖는 것을 부가 정보로 하도록 하여도 좋다.

도 10은, 본 실시예 1에 따른, 도 9와 같은 부가 정보를 이용하여 보전을 행하는, 화상 신호의 보전 방법에 의한 보전 형태를 도시한 도면이며, 도 11은 본 실시예 1에 있어서 상기 도 1, 도 4, 도 5에 도시되는 화상 신호의 보전 방법에 있어서의 보전을 행하는 단계에 있어서, 부가 정보를 생성하여 생성된 부가 정보를 이용하여 보전을 행하는, 보전 방법의 흐름도를 도시하고 있다. 다음에, 본 실시예 1에 있어서, 부가 정보를 이용하여 보전을 행하는 방법에 대하여 설명한다.

도 11의 흐름도에 있어서의 단계(12)에서의 판정에 있어서, 현 블럭이 완전히 물체의 밖에 있는 경우에는, 부가 정보 0을 생성, 취득하여(단계(29)), 다음 단계로 진행한다. 현 블럭이 완전히 물체의 밖에 있는 것이 아닌(단계(12)에서 "아니오") 경우에는, 블럭내의 유의한 화소의 평균값을 보전값으로 하는 등의 소정의 방법으로 보전값을 생성함과 동시에, 블럭내의 유의하지 않은 화소에 대하여 이 보전값으로 보전하여 출력하고(단계(13)), 또한 부가 정보 1을 생성하여 취득한다(단계(29))(도 10의 부가 정보 블럭(120) 참조). 소정의 순서에 있어서 최후의 블럭으로 된 경우에는, 생성된 부가 정보 블럭(120)의 부가 정보를 참조하여 도 10 중의 화상 블럭(121)에 도시하는 바와 같이 완전히 물체의 밖에 있는 블럭을, 순서대로 부가 정보가 1인 이러한 블럭간을 순차적으로 연결하는, 각 화살표 A1, A2, A3, …으로 도시하는 바와 같은 순서로 보전 처리해 간다. 게다가 이 때, 부가 정보 블럭(120)의 부가 정보를 참조함으로써, 보전 처리에 이용하는 보전값을 생성하기 위해 참조하는 화소값을 특정한 부분의 화소값으로 할 수 있다. 즉, 「부가 정보 블럭의 부가 정보」가 1인 블럭의 화소의 화소값을 참조하여, 「물체외의 블록」인 무효 영역의 화소값으로 할 수 있다.

도 12는, 본 발명의 실시예 1에 의한 화상 신호의 보전 방법에 있어서, 보전을 행하는 무효 영역간의 거리를 부가 정보로 한 경우의 예를 도시하고 있다. 즉, 화상(122)에 있어서, 화살표(123-1, 123-2, 123-3)(도 10에 도시한 화살표 A1, A2, A3, …의 길이를 도시하는 것)로 도시하는 바와 같은, 보전 처리의 대상으로 되는 물체의 완전히 밖에 있는 블럭간의 거리(L1, L2, L3, …)를 참조하여 효율적으로 보전 처리를 할 수 있다. 여기서, 본 실시예에서는, 부가 정보를 이용하고 있는 것에 따라, 유의 신호는 각 화소에 대응하여 존재하고 있는 것이기 때문에, 유의 신호만으로 각 블럭이 「물체외인가, 물체내인가, 경계인가」라는 판단을 하기 위해서는, 블럭내의 모든 화소를 확인하지 않으면 안되지만, 본 실시예에 있어서와 같이 미리 부가 정보를 작성해 두고, 보전시에 이 부가 정보를 참조한다고 하는 것과 같이 하면, 블럭내의 유의 신호를 모두 참조할 필요가 없어지게 되는 것이다.

도 13은, 본 발명의 실시예 1에 따른 화상 신호의 보전 방법에 있어서, 처리의 대상으로 되는 복수의 각 블럭에 대하여, 대상으로 되는 현 블럭에 인접하는 블럭이 무효 영역인지 여부를 나타내는 부가 정보를 생성하도록 한 예이다. 즉, "0" 등에 있어서의, "0" 또는 "1"의 4개의 값은, 각각 상, 하, 좌, 우가 무효 영역(0)인지 아닌지(1) 여부를 나타내고 있다. 도 13의 블럭(130)의 경우는, 해당 현 블럭이 무효 영역에서, 부가 정보가 "100"으로 되어 있기 때문에, 하측 블럭으로부터 보전하는 값을 참조하여 보전을 행하고 있다. 여기서 도 13에서는, 하측 블럭의 비(非)유의한 화소는, 도 5, 도 6을 이용하여 설명한 보전 방법에 의해 이미 보전되어 있으며, 그 보전값도 이용하여 화소를 보전하는 예를 도시하고 있다. 도 13의 블럭(134)의 경우는, 대상으로 되는 해당 현 블럭이 "1001"이므로, 상측으로 인접하는 블럭, 및 우측으로 인접하는 블럭으로부터 보전값을 참조하고 있다. 여기서, 마찬가지로, 상측, 우측으로 인접하는 블럭의 비유의한 화소는, 도 5, 도 6을 이용하여 설명한 보전 방법에 의해 이미 보전되어 있으며, 그 보전값도 이용하여 화소를 보전하는 예를 도시하고 있다. 또한 이 경우는, 보전값이 2개 이상이지만, 부가 정보를 참조함으로써, 도면 중의 2방향의 화살표로 도시하는 바와 같이, 복수의 특정 부분으로부터의 화소값, 예컨대 「상측, 우측으로 각각 인접하는 화소값」을 참조하여 그들의 평균을 취하든지, 혹은 어느 1개의 특정 부분으로부터만의 보전값을 참조하든지 중의 어느 하나를 행하도록 할 수 있다.

도 14는, 부가 정보를 참조함으로써 특정 참조값으로부터 보전값을 생성하여, 보전을 행하고 있는 일례의 모식도이다. 화상 부분(135)에 있어서, 사각(四角)의 부분(136)내의 화소를 보전하는 경우에는, 즉 해당 부분(136)내의 좌상측, 좌하측, 우하측, 우상측의 각 부분을 보전하는 경우에는, 각 부분이 속하는 블럭에 부가되어 있는 부가 정보와, 또한 필요하면 해당 각 부분의 화소의 유의 신호를 참조하여, 도면의 굵은 선의 화살표로 도시하는 바와 같이, 유의한 화소값, 혹은 이미 보전되어 있는 화소값을 확장시켜 보전을 행하도록 한다. 단, 해당 부분(136)내의 좌상측, 우하측의 영역에 대해서는, 각각의 영역이 경계 영역이기 때문에, 미리 익스텐딩 방법 등의 소정의 방법으로 보전되어 있는 경우도 있으며, 이 경우에는, 상기 각 부분의 유의 신호는 참조할 필요가 없다.

또, 상기 예에서는, 4자리수의 부가 정보를 이용하여 참조하고 있지만, 이것은 1자리수의 "0"이나 "1"의 부가 정보로도 동일한 처리를 행할 수 있다.

이상과 같이, 부가 정보를 참조하는 것으로 미리 경계 부분을 보전해 놓은 경우에는, 남겨진 무효 영역만이 보전의 대상으로 되기 때문에, 이 경우 부가 정보를 참조함으로써, 즉 다시 한번 유의 신호를 사용하여 무효 영역인지 아닌지 여부를 판정하는 일 없이, 무효 영역만을 처리할 수 있어 처리 효율을 향상시킬 수 있다.

즉, 이상의 보전 방법을 이용함으로써, 물체의 경계에 위치하는 경계 영역만을 미리 보전 처리해 두고, 보전 처리한 화상을 참조할 때에 이 참조한 참조 영역이 무효 영역을 포함하고 있는 경우에, 이 경계 영역의 보전 처리를 행한 후에 남아 있는 무효 영역에 대하여 보전 처리를 할 수 있다.

또, 부가 정보의 생성에는, 유의 신호를 참조하여 행하고 있지만, 화상 신호 또는 유의 신호, 및 화상 신호를 압축 부호화할 때에 생성되는 사이드 정보 등, 블럭이 무효 영역인지 아닌지 여부를 판별할 수 있는 모든 정보를 참조함으로써, 이 부가 정보의 생성을 실현할 수 있다. 예를 들면, 블럭마다 보유하고 있는 어드레스나, 블럭을 부호화하기 위해 부가되는 헤더 정보 등을 이용하여도 좋다.

또한, 부가 정보를 새로 생성하지 않고서, 전술한 유의 신호나 화상 신호, 및 사이드 정보 등, 블럭이 무효 영역인지 아닌지 여부를 판별할 수 있는 모든 정보를, 그대로 부가 정보로서 참조하여, 보전을 행하는 것도 가능하다.

또한, 상기 부가 정보의 다른 예로서는, 상기 복수 영역내의 화소의 화소값이 유의한지 아닌지 여부를 나타내는 유의 신호를 참조하여, 대상 영역이 무효 영역이 아니라고 판단된 경우에, 해당 대상 영역에 소정의 순서로 인접하는 과거의 영역이 무효 영역인 경우에, 해당 과거의 영역의 위치를 부가 정보로서 생성하여, 해당 부가 정보를 참조하여 보전을 행하여도 좋은 것이다.

(실시예 2)

도 15는 본 발명의 실시예 2-1에 의한 화상 신호 부호화 장치를 도시하며, 도 15에 있어서, (201)은 부호화되어야 하는 화상 신호가 입력되는 입력 단자, (202)는 상기 입력 단자(201)로의 입력 신호와 후술하는 움직임 보상기(215)로부터의 움직임 보상 신호(215a)와의 감산을 하여, 차분 신호(202a)를 출력하는 제 1 가산기, (203)은 해당 제 1 가산기(202)의 출력(202a)을 부호화하는 부호화기이고, 이것은 이산 코사인 변환기(DCT)(204)와, 양자화기(205)로 구성된다. (211)은 부호화기(203)의 출력(203a)에 대하여, 후술하는 움직임 검출 신호(214a)를 참조하여, 가변 길이 부호화를 행하는 가변 길이 부호화기(VLC), (206)은 해당 가변 길이 부호화기(211)의 출력(211a)이 출력되는 출력 단자, (207)은 상기 부호화기(203)의 출력을 복호화하는 복호화기이며, 이것은 역(逆)양자화기(208)와, 역(逆)이산 코사인 변환기(IDCT)(209)로 구성된다. (210)은 상기 복호화기(207)의 출력(207a)과 상기 움직임 보상기(215)의 출력(215a)을 가산하는 제 2 가산기, (212)는 해당 제 2 가산기(210)의 출력(210a)을 보전하는 보전기, (213)은 해당 보전기(212)의 출력(212a)을 기억하는 프레임 메모리, (214)는 상기 입력 신호(201)인 현 화상 신호와 상기 프레임 메모리(213)의 출력(213a)인 참조 화상으로부터 화상의 움직임을 검출하는 움직임 검출기, (215)는 상기 움직임 검출기(214)의 출력(214a)인 움직임 검출 신호와, 상기 프레임 메모리(213)의 출력(213a)인 참조 화상으로부터 움직임 보상 신호(215a)를 출력하는 움직임 보상기이다.

이상과 같이 구성된 본 실시예 2-1에 의한 화상 신호 부호화 장치에 대하여, 이하 그 동작을 설명한다. 임의 형상의 물체를 갖는 화상 신호를, 입력 단자(201)에 입력한다. 입력한 화상 신호(201a)를 복수의 인접하는 영역으로 분할한다. 본 실시예 2에서는, 입력한 화상 신호를, 8×8, 또는 16×16의 화소로 이루어지는 블럭으로 분할하지만, 이것은 임의의 형상의 블럭으로 분할하여도 좋은 것으로 한다. 도 15를 참조하여 설명하면, 입력한 화상 신호의, 부호화의 대상으로 되는 블럭을 라인(224)을 경유하여 움직임 검출기(214)에 입력한다. 동시에 프레임 메모리(213)에 저장하여 놓은 과거의 재생 화상(이하, 참조 화상이라 한다)(213a)을 움직임 검출기(214)에 입력하여, 블럭 매칭(matching) 등의 방법으로 대상 블럭에 대하여 오차가 가장 적은 예측 신호를 인가하는 움직임 변위 정보(이하, 움직임 벡터라고 한다)(214a)를 구하여 출력한다. 이 움직임 검출기(214)의 출력인 움직임 벡터(214a)를 움직임 보상기(215)로 보내고, 해당 움직임 보상기에 있어서, 상기 움직임 벡터(214a)에 근거하여, 상기 참조 화상(213a)으로부터 예측 블럭(215a)을 생성한다. 움직임 벡터(214a)는 라인(228)을 경유하여 가변 길이 부호화기(VLC)(211)로 보내고, 가변 길이 부호로 변환하여(211a) 출력 단자(206)에 출력한다. 또한, 대상 블럭(201a)과 예측 블럭(215a)을 제 1 가산기(202)로 보내고, 잔차(殘差) 블럭(202a)을 생성한다. 잔차 블럭(202a)을 이산 코사인 변환기(204)와 양자화기(205)로 구성되는 부호화기(203)에 의해 압축한다. 양자화된 데이터(203a)를 VLC(211)로 보내, 가변 길이 부호(211a)로 변환하여, 움직임 벡터를 포함하는 그 밖의 사이드 정보와 함께, 출력 단자(206)로 출력한다. 한편, 압축되어 양자화된 데이터(203a)를, 복호화기(207)로 보내어 신장한다. 본 실시예 2에서는, 역양자화기(208)에서 역양자화하여, IDCT(209)에서 공간 영역의 데이터로 신장한다. 신장한 잔차 블럭(207a)에 라인(227)을 경유하여 보내지는 예측 블럭(215a)을 가산하여, 재생 블럭(210a)을 생성한다. 이 재생 블럭(210a)을 보전기(212)에 입력하여, 실시예 1에 있어서 이용한 보전 방법에 의해, 즉, 형상의 경계에 위치하는 경계 영역에 있는 블럭내의 물체의 값을 해당 경계 영역내의 물체밖에 있는 유의하지 않은 화소의 위치까지, 혹은 해당 경계 영역에 인접하는, 혹은 또한 그것에 인접하는 무효 영역까지 확장하는 익스텐딩 방법, 혹은 상기 경계 영역의 경계에 있는 유의한 화소의 화소값, 혹은 상기 익스텐딩 방법으로 보전한 경계 영역의 화소의 화소값과, 상기에서 도면을 이용하여 설명한 카핑(copying) 함수, 미러링(mirroring) 함수 등의 함수를 이용하여 구한 보전값에 의해, 해당 재생 블럭의 유의하지 않은 화소의 화소값을 보전한다. 보전한 재생 블럭(212a)을 프레임 메모리(213)에 저장한다. 또, 도시되어 있지 않지만, 화소가 유의한지 여부를 참조하기 위해서는, 유의 신호를 미리 부호화, 복호화한 것을 참조하는 것으로 한다.

프레임 메모리(213)에 저장되는 보전한 화상은, 예를 들면 도 6, 도 7, 도 8과 같이 된다. 보전한 화상(213a)을, 움직임 검출기(214) 및 움직임 보상기(215)로 보낸다. 본 실시예 2에서는, 움직임 검출과 움직임 보상의 범위를 보전한 영역내(도 6, 도 7, 도 8에서는 모두 칠해진 영역내)로 제한한다. 즉, 보전한 영역 이외의 화소는 참조하지 않는 것으로 한다.

또한, 도시되어 있지 않지만, 유의 신호를 참조함으로써, 실시예 1의 보전 방법에 있어서 이용한 부가 정보를 생성하고, 보전기(212)에서는, 예를 들면 도 8의 블럭(112)의 격자 사선 모양과 동일한 모양을 갖는 부분을 보전하며, 움직임 보상기(215)에서 블럭(119)의 부분을, 부가 정보를 참조하면서, 즉 해당 블럭(119)의 우측의 블럭(119a)이 부가 정보 「1」을 갖는 것을 참조하면서, 보전하도록 하는 것도 가능하다.

도 16에서는, 본 발명의 실시예 2에 의한, 화상 신호 부호화 장치를 도시하며, 이것은 도 15의 화상 신호 부호화 장치에, 프레임 메모리(213)의 출력(213a)에 대하여 제 2 보전을 행하는 제 2 보전기(230)와, 해당 제 2 보전의 결과(230a)를 기억하여, 이것을 참조 화상(231a)로서 출력하는 제 2 프레임 메모리(231)를 부가한 것이다. 이 실시예 2-2에서는 유의 신호를 참조함으로써, 실시예 1의 보전 방법에 있어서 이용한 부가 정보를 생성하고, 보전기(212)에서는, 예를 들면 도 8의 블럭(112)의 격자 사선 모양과 동일한 모양을 갖는 부분을 보전하여, 이것을 프레임 메모리(213)에 저장하며, 제 2 보전기(230)에서, 도 8의 블럭(119)의 부분을 부가 정보를 참조하면서, 즉 해당 블럭(119)의 우측의 블럭(119a)이 부가 정보 「1」을 갖는 것을 참조하면서, 보전하여 제 2 프레임 메모리(231)에 저장한다.

이와 같이, 물체의 경계 영역에 인접하는 영역을 보전하도록 함으로써, 움직임 검출, 움직임 보상의 범위를 넓게 할 수 있어, 움직임이 큰 화상에 대해서도 잔차(殘差)가 적은, 즉 잔차 블럭(202a)의 값이 작은, 예측 블럭을 얻을 수 있다. 또한, 본 발명의 보전 방법에서는, 블럭마다 보전을 행하고, 이에 덧붙여 부가 정보를 참조하여, 처리를 행하도록 하고 있기 때문에, 보전의 지연 시간이나, 연산량을 억제할 수 있다.

또, 본 실시예에서는, 이산 코사인 변환을 이용하였지만, 본 발명은, 형상 적응 이산 코사인 변환이나 서브 밴드 부호화, 웨이블릿 변환을 이용한 경우에도 마찬가지로 적용할 수 있다.

(실시예 3)

도 17은, 본 발명의 실시예 3-1에 따른 화상 신호 복호화 장치를 도시한 것이며, 도 17에 있어서, (301)은 복호화되어야 하는 화상 신호(302a)가 입력되는 입력 단자, (302)는 데이터 해석기, (303)은 상기 해석기(302)의 출력(302a)인 복호화되어야 하는 신호를 복호화하는 복호화기이며, 이것은 역양자화기(304)와, 역이산 코사인 변환기(IDCT)(305)로 이루어진다. (306)는 상기 복호화기(303)의 출력(303a)과 후술하는 움직임 보상기(310)의 출력(310a)을 가산하는 가산기, (307)은 상기 가산기(306)의 출력(306a)이 출력되는 출력 단자, (308)은 상기 가산기(306)의 출력(306a)에 대하여 보전을 행하는 보전기, (309)는 보전기(308)의 출력(308a)을 기억하는 프레임 메모리, (310)은 프레임 메모리(309)의 출력(309a)에 대하여 움직임 보상을 하는 움직임 보상기이다.

이상과 같이 구성된 본 실시예 3-1의 화상 신호 복호화 장치에 대하여, 이하 그 동작을 설명한다.

압축 부호화된 데이터(301a)를 입력 단자(301)에 입력하여, 데이터 해석기(302)에 의해 데이터를 해석한다. 데이터가 해석된, 압축된 잔차 블럭(302a)의 데이터를, 라인(312)을 경유하여 복호화기(303)에 입력하고, 움직임 벡터(302b)를 라인(318)을 경유하여, 움직임 보상기(310)에 출력한다. 복호화기(303)에서는, 압축 잔차 블럭(302a)을 신장하여, 신장 잔차 블럭(303a)으로 복원한다. 본 실시예 3에서는, 역양자화기(304)에서 역양자화하여, 역이산 코사인 변환기(IDCT)(305)에서, 주파수 영역 신호를 공간 영역 신호로 변환한다. 움직임 보상기(310)에서는, 움직임 벡터(302b)를 바탕으로 프레임 메모리(309)를 액세스하기 위한 어드레스를 생성하여, 프레임 메모리(309)에 저장되는 화상으로부터 예측 블럭(309a)을 생성한다. 생성된 예측 블럭(309a)과 신장한 잔차 블럭(303a)을 가산기(306)에 입력하여 가산함으로써, 재생 블럭(306a)을 생성한다. 재생 블럭(306a)을 출력 단자(307)에 출력함과 동시에 보전기(308)에 입력하고, 실시예 1에 있어서 이용한 보전 방법으로, 재생된 화상(306a)을 보전하여 프레임 메모리(309)에 저장한다.

또한, 도시되어 있지 않지만, 보전기(308)에서, 도 8의 블럭(112) 모양의 부분와 같은, 물체의 경계에 위치하는 블럭으로 구성되는 경계 영역을, 소정의 방법으로, 예컨대 경계 영역에 있는 블럭내의 물체의 값을 물체밖으로 확장하는, 익스텐딩 방법 등의 방법으로 보전하도록 함과 동시에, 각 블럭이 유의한 화소를 포함하는지 어떤지 여부를 나타내는 부가 정보를 생성하여, 움직임 보상기(310)에서 참조한 블럭을, 상기 부가 정보를 이용하여 소정의 방법으로 보전을 행하여, 보전된 참조 블럭을 이용하여 예측 블럭을 생성하도록 하여도 좋다.

도 18은, 본 발명의 실시예 3-2에 따른 화상 신호 복호화 장치를 도시하며, 이것은 도 17의 화상 신호 복호화 장치에, 프레임 메모리(309)의 출력(309a)에 대하여 제 2 보전을 행하는 제 2 보전기(330)와, 그 출력(330a)을 기억하여, 이것을 참조 화상(331a)로서 출력하는 제 2 프레임 메모리(331)를 부가한 것이다. 보전기(308)에 의해서, 예를 들어 도 8의 블럭(112) 모양의 부분와 같은, 물체의 경계에 위치하는 경계 영역을 소정의 방법으로 보전함과 동시에, 각 블럭이 의미가 있는 화소를 포함하는지 어떤지 여부를 나타내는 부가 정보를 생성하여, 제 2 보전기(330)에서, 부가 정보를 참조하여, 도 8의 블럭(119)의 부분을 소정의 방법으로 보전을 행한다.

도 19는, 도 17의 본 발명의 실시예 3-3에 의한 화상 신호 복호화 장치에 포함되는 보전기(308)의 동작을 도시하는 흐름도이다. 이하, 그 동작에 대하여 설명한다.

단계(401)에 있어서, 소정의 순서로 처리되어 있는 블럭이 완전히 물체의 밖에 있는지 여부를 판정한다. 완전히 물체의 밖에 있는 경우에는, 대상으로 되는 블럭이 물체외(外)라고 하는 부가 정보를 단계(403)에서 생성한다. 대상으로 되는 블럭이, 물체의 일부분이라도 포함하는 경우에는, 블럭내의 물체외 영역을, 소정의 방법을 이용하여 단계(402)에서 보전하고, 대상으로 되는 블럭은 물체내, 또는 보전 완료라고 한 부가 정보를 단계(403)에서 생성한다. 이상의 처리를, 소정의 순서로 최후 블럭까지 반복한다.

또, 부가 정보에 대해서는, 단계(403)에서 부가 정보를 새로 생성하지 않고서, 전술한 유의 신호나 화상 신호, 및 부호화에 있어서의 사이드 정보를, 그대로 부가 정보로서 갖는 것도 가능하다.

(실시예 4)

도 20은 본 발명의 실시예 4-1에 의한 화상 신호 복호화 장치에 있어서의 움직임 보상기의 흐름도를 도시하는 것이며, 이것은 도 17에 도시하는 화상 신호 복호화 장치에 있어서, 보전기(308)에서 화소의 보전을 행하고, 프레임 메모리(309)에 저장된 출력에 대하여, 움직임 보상을 하는 움직임 보상기(310)의 동작의 흐름도를 도시하는 것이다. 또한, 도 21은 움직임 보상기(310)의 동작예를 도시하는 것이다. 이하, 그 동작에 대하여 설명한다.

우선, 단계(411)에 있어서, 프레임 메모리(309)로부터 출력되는, 참조하고 있는 블럭(309a)이 모두 물체내, 또는 모두 이미 보전된 영역인지 아닌지 여부를 판정한다. 참조한 블럭이 물체내, 또는 보전기(308)에 의해서 이미 보전된 영역인 경우에는, 통상의 움직임 보상의 처리를 단계(413)에서 실행한다. 참조되어 있는 블럭이 완전히 물체의 밖인 무효 영역을 포함하는 경우는, 단계(412)에 있어서 참조하고 있는 블럭의 무효 영역을, 이미 존재하고 있는 부가 정보를 이용하여, 상기 익스텐딩 방법 등의 소정의 방법을 이용하여 보전하고, 보전된 블럭을 이용하여 단계(413)에서 움직임 보상의 처리를 행한다.

참조되어 있는 블럭이 무효 영역을 포함하고 있는 예를, 도 21에 도시한다. 움직임 보상으로 이용되는 참조 화상(501)에 대하여, 참조하고 있는 블럭(502)이, 도 21과 같이, 물체 내부, 또는 이미 보전 완료된 물체의 경계 부분(503, 504)과, 완전히 물체의 밖인 무효 부분(505, 506)(참조 블럭(502) 중의 색칠되어 있지 않은 부분)을 포함하고 있는 경우나, 참조하고 있는 블럭이 모두 무효 영역인 영우에는, 부가 정보를 이용하여, 익스텐딩 방법 등의 소정의 방법으로, 그 중의 무효 영역을 보전한다. 도 21에서는, 해당 무효 영역(505, 506)에 인접하는 무효 영역을 포함하지 않은 블럭의 화소값(508, 507) 등을 참조하여, 평균값을 구하고, 보전값으로서 무효 영역에 보전하고 있다.

또, 도 21의 예는, 평균값을 보전하고 있지만, 부가 정보를 참조함으로써 특정한 방향으로 인접하는 블럭의 화소값을 참조하여 보전하는 것도 가능하다.

이상과 같은 보전을 실행하는 것에 의해, 움직임 보상기(310)에서 참조한 무효 영역만을 보전함으로써 필요한 부분만의 보전 처리를 실현할 수 있다.

또한, 도시되어 있지 않지만, 상술한 화상 신호 부호화 장치, 및 복호화 장치에는, 보전 처리를 행하기 위하여 필요한 부가 정보나 보전값을 일시적으로 유지하는 메모리를 보전기 또는 움직임 보상기에 부가하도록 하여도 좋다.

도 22 및 도 23은, 마찬가지로, 움직임 보상시에 보전을 행하도록 한, 본 발명의 실시예 4-2에 의한, 화상 신호 부호화 장치 및 화상 신호 복호화 장치의 동작을 설명하는 것이다.

화상 신호의 부호화 장치는, 입력된 화상 신호에 대하여 움직임 예측을 하여, 그 예측에 따라 움직임 보상을 하는 것이지만, 그 참조 화상, 즉 예측 화상은, 본 발명에서는 보전 처리가 되어 있으며, 따라서 본 발명에서는 그 보전 처리된 일부의 참조 화상을 이용하여, 움직임 예측을 행하는 것이다. 여기서, 움직임 예측도, 움직임 보상도 모두, 화상의 전체를 보아, 즉 화상의 전체를 참조하여 실행하는 경우도 있다. 이와 같이, 부호화 장치측에서는, 움직임 예측을 하여 움직임 보상을 하고, 실제의 화상과 움직임 보상된 화상과의 차분을 얻어 차분을 부호화해서, 수신측으로 송신하는 것이지만, 한편 복호화 장치측에서는 부호화 장치측에서 검출한 움직임 벡터를 얻어, 참조 화상으로부터 예측 소영역을 가지고 와서 움직임 보상을 한다. 여기서, 복호화 장치측에서는, 도 23b의 움직임 보상에서 참조한 예측 소영역 A에 도시하는 바와 같은 블럭의 화상을 참조 화상으로서 갖고 오는 것은 적으며, 화상 블럭(1000)내의 소화상 블럭(1004) 중에서 참조 화상을 가지고 오는 경우가 많다.

그래서, 본 방법에서는, 복호화 장치측에 있어서는 최소한으로 필요한 만큼만, 즉 도 22a, 도 23a에 도시하는 소화상 블럭(500)의 범위만 보전 처리를 해 두고, 움직임 보상에서 참조한 예측 소영역 A가 상기 소화상 블럭(500)을 넘어 그 주위의 화소의 보전이 필요하게 된 경우에만, 움직임 보상의 내에서 신호의 보전을 행하자는 것이다.

즉, 부호화 장치는, 움직임 검출 및 움직임 보상의 양쪽에서 화상을 참조하기 때문에, 화상의 전체를 외측까지 보전해 두도록 하는, 즉 도 23b에 도시하는 바와 같이 되기까지 보전을 행하도록 한다. 한편, 복호화 장치측에서는, 움직임 보상만을 행하는 것이기 때문에, 보전의 처리를 경감하기 위하여, 전(全)화상 블럭 중, 화상의 보전을 행하는 영역을 한정하고, 대상으로 되는 물체를 둘러싸는 직사각형 영역과, 그 외측의 마진 영역으로 하여, 움직임 보상에 있어서 필요한 경우에만, 해당 외측의 마진의 무효 영역의 보전을 행하도록 한다. 즉, 복호화 장치에 있어서의 보전 처리에 있어서는, 도 22a에 도시하는 바와 같이, 상기한 방법을 이용하여, 화상 블럭(1000)내의 소화상 블럭(500)내에서 화상 신호의 보전을 행하고, 한편, 움직임 보상을 하는 경우에는, 움직임 보상으로 예측한 참조 소영역 A가 상기 화상 블럭(1000)내의 소화상 블럭(500)내를 초과하지 않는 경우에는, 이미 보전된 화소의 범위내의 화소를 참조하여 움직임 보상을 하며, 한편, 움직임 보상으로 예측한 참조 소영역 A가 도 23b에 도시하는 바와 같이, 상기 화상 블럭(1000)내의 소화상 블럭(700)을 초과하는 경우에는, 상기 화상 블럭(1000)내의 소화상 블럭(700)을 초과하는 최외주 블럭(710)의 무효 영역의 화소의 보전을 행함과 동시에, 이 보전된 화소값도 이용하여 움직임 보상을 하도록 한 것이다. 이에 따라, 복호화 장치측에 있어서의 보전의 처리를 경감할 수 있고, 메모리 용량을 삭감할 수 있으며, 또한 연산 시간을 단축할 수 있다.

또, 이 테두리 영역(710)의 보전의 방식을 보다 상세히 설명하면, 도 23b에 도시하는 바와 같이, 블럭(1000)의 좌측 하단의 블럭(720)에 대해서는, 그 하나 위, 또한 우측의 블럭(730)의 최좌측 하단의 화소(731)를 하측 방향으로 확장하고, 또한 좌측 방향으로 연장시켜 감에 따라 해당 테두리 영역의 화소의 보전값으로 할 수 있으며, 해당 화소(731)의 화소값으로 최좌측 하단의 블럭(720)의 보전을 할 수 있다. 또한, 상기 화상 블럭(1000)의 상기 테두리 영역(710)내의 4 모서리 이외의 화소 블럭, 예컨대 (740)에 대해서는, 각각 그 내측의 화소(750)를 외측으로 확장함으로써 해당 화소(740)의 보전을 할 수 있다.

(실시예 5)

도 25는, 본 발명의 실시예 5의 화상 신호의 보전 방법의 동작을 설명하기 위한 도면이며, 이 실시예 5는, 유의 신호와, 화상 신호(컬러 신호)와의 대응이 취해져 있지 않은 경우에도 화소값의 보전을 적절히 실행하도록 한 것이다.

화상 처리에 있어서는, 컬러 신호는, Y(휘도 신호)와, U, V(색차 신호)의 3가지로 구성되어 있다. 보통, 유의 신호는 휘도 신호와 동일한 크기를 갖고 있다. 그러나, 색차 신호는 그렇지 않고, 절반 또는 1/4의 크기인 경우가 있다. 예컨대, 4×4 화소의 크기를 갖는 블럭이면, Y(휘도 신호)와 A(유의 신호)는, 도 25a와 같이 되지만, U, V(색차 신호)에 대해서는 도 25b에 도시하는 바와 같이, 1/4의 개수밖에 없는 경우가 있다. 이 경우에는, A를 추출하여, U, V의 크기를 맞춰 줄 필요가 있지만, 이와 같이 하면 추출에 의해서 U, V의 화소에 대응하는 유의 신호가 없어져 버리는 경우가 있다. 그 결과, 경계 영역인데도 참조하는 화소가 없는 경우가 생기게 된다. 그와 같은 경우에, 본 실시예 5는 상기 익스텐딩 방법 등의 소정의 방법, 혹은 상기 미러링 함수, 카핑 함수 등의 소정의 함수로 보전을 하도록 한 것이다. 즉, 일정값(고정값)을 보전하든지, 혹은 화면내에 있는 물체의, 물체내의 화소의 평균값을 메꿔 주도록 하는 것이다.

(실시예 6)

또한, 본 발명에 의한 화상 신호의 보전 방법, 및 또한 화상 신호의 부호화방법, 및 복호화 방법은, 이것을 프로그램에 의해 실현하고, 이것을 플로피 디스크 등의 기억 매체에 기록하여 이송함으로써, 독립된 다른 컴퓨터 시스템으로 용이하게 실시할 수 있다. 도 24에, 본 발명의 실시예 6으로서의 플로피 디스크를 도시한다. 플로피 디스크는, (600)과 같은 형태를 취하며, (600) 중에 있는 (601)과 같은 원형의 디스크에 상기한 본 발명에 의한 화상 신호의 보전 방법의 프로그램, 또한 화상 신호의 부호화 방법의 프로그램, 화상 신호의 복호화 방법의 프로그램, 혹은 또한 화상 신호의 복호화에 있어서의 움직임 보상 방법의 프로그램을 기록할 수 있다.

또한 여기서는, 플로피 디스크를 이용하여 설명하였지만, 광디스크를 이용하여도 마찬가지로 실행할 수 있다. 또한, 기억 매체는 이들에 한정되지 않고, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 실시할 수 있다.

이상과 같이, 본 발명에 따르면, 경계 영역뿐만 아니라, 경계 영역에 인접하는 유의하지 않은 화소만으로 이루어지는 무효 영역을 보전하여, 보전된 화상을 이용하여, 움직임 검출, 움직임 보상을 하도록 하며, 또한 영역 단위의 보전을 해당 각 영역이 유의한 화소를 포함하는지 여부를 나타내는 부가 정보를 이용하여 실행하도록 하였기 때문에, 부호화, 복호화의 처리에 있어서, 움직임이 큰 화상에 대해서도 차분이 작은 예측 신호를 얻을 수 있어, 부호화, 복호화 처리에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있다는 효과를 얻을 수 있다.

즉, 청구항 1의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을 소정의 방법으로 구해진 보전값을 이용하여 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수개 영역내의 화소의 화소값이 유의한 지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여 상기 복수개 영역에 대해 화소값의 보전을 행하도록 하였기 때문에, 부호화, 복호화의 처리에 있어서, 움직임이 큰 화상에 대해서도 차분이 작은 예측 신호를 얻을 수 있어, 부호화, 복호화 처리에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있다는 효과를 얻을 수 있다.

청구항 3의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수개 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여 상기 복수개 영역에 대하여 화소값의 보전을 행하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 6의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을 소정의 방법으로 구해진 보전값으로 보전하고, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하여, 화소 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수개 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여 상기 복수개 영역마다 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여 상기 복수개 영역에 화소값의 보전을 행하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 11의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값으로 보전하여, 화상 신호를 출력하는 것을 특징으로 하는 화상 신호의 보전 방법에 있어서, 상기 복수 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 대상 영역이 무효 영역이 아닌 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이라고 판정되면, 상기 과거의 영역을, 소정의 방법으로 구해진 보전값으로 보전하고, 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을 소정의 방법으로 구해진 보전값으로 보전하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 14의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값으로 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수 영역에 포함되는 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 대상 영역이 무효 영역이 아닌 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이라고 판정되면, 상기 과거의 영역을, 상기 대상 영역에 포함되는 유의한 화소의 화소값과 소정의 함수를 이용하여 구해진 보전값을 이용하여, 보전하고, 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을 상기 과거의 영역에 포함되는 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값으로 보전하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 15의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 화소값을 이용하여 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 복수 영역에 포함되는 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 대상 영역이 무효 영역이 아닌 경우, 상기 대상 영역에 포함되는 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 화소값을 이용하여 보전하고, 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역을, 상기 보전한 대상 영역에 포함되는 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 화소값으로 보전하고, 상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을, 상기 과거의 영역에 포함되는 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 18의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값을 이용하여, 보전하여 출력하는, 화상 신호의 보전 방법에 있어서, 상기 보전값은 보전의 대상으로 되는 무효 영역에 포함되는 각 화소의 위치에 대응하는, 상기 보전한 경계 영역내에 포함되는 화소의 화소값을 이용하는, 카핑 함수를 이용하여, 보전을 행하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 19의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값을 이용하여, 보전하여 출력하는, 화상 신호의 보전 방법에 있어서, 상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에, 경계 영역과 상기 무효 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 경계 영역에 포함되는 화소의 화소값을 이용하는, 미러링(mirroring) 함수를 이용하여 보전을 행하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 20의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을, 소정의 방법을 이용하여 구해진 보전값을 이용하여 보전하여, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하고, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 보전값은 보전의 대상으로 되는 무효 영역에 포함되는 각 화소의 위치에 대응하는, 상기 보전한 경계 영역내에 포함되는 화소의 화소값을 이용하는, 카핑 함수를 이용하여 보전을 행하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 21의 발명에 따르면, 임의 형상을 갖는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을, 소정의 방법을 이용하여 구해진 보전값으로 보전하고, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하여 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서, 상기 보전값은 보전의 대상으로 되는 무효 영역에 포함되는 각 화소의 위치에 대하여, 이미 보전된 경계 영역과 상기 무효 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 보전된 경계 영역에 포함되는 화소의 화소값을 이용하는, 미러링 함수를 이용하여, 상기 무효 영역에 대하여 보전을 행하는 것으로 하였기 때문에, 상기한 효과를 얻을 수 있다.

청구항 22의 발명에 따르면, 입력 수단과, 제 1 가산 수단과, 부호화 수단과, 복호화 수단과, 제 2 가산 수단과, 보전 수단과, 메모리와, 예측 영역 생성 수단을 구비하고, 상기 입력 수단에 임의 형상의 화상 신호를 입력하고, 상기 화상 신호를 서로 인접하는 복수개 영역으로 분할하여, 상기 복수개 영역을 대상 영역으로 하여 소정의 순서로 처리하며, 상기 제 1 가산 수단에 상기 대상 영역과, 상기 예측 영역 생성 수단으로부터의 예측 영역을 입력하여 차분 영역을 생성하고, 상기 부호화 수단에 상기 차분 영역을 입력하고, 해당 부호화 수단에 의해, 소정의 방법으로 상기 차분 영역을 압축 차분 영역으로 변환하고, 상기 복호화 수단에 상기 압축 차분 영역을 입력하며, 해당 복호화 수단에 의해, 소정의 방법으로 압축 차분 영역을 상기 신장 차분 영역으로 복원하고, 상기 제 2 가산 수단에 상기 신장 차분 영역을 입력하고, 해당 신장 차분 영역에 상기 예측 영역을 가산하여 재생 영역을 생성하며, 상기 보전 수단에 상기 재생 영역을 입력하고, 소정의 방법으로, 상기 재생 영역에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 보전 영역으로서 상기 메모리에 저장하며, 상기 예측 영역 생성 수단에 상기 메모리에 저장한 상기 보전 영역을 입력하고, 상기 예측 영역을 생성하고, 상기 압축 차분 영역 신호를 화상 신호 부호화 장치의 출력으로 하는 화상 신호 부호화 장치에 있어서, 상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18, 또는 19 항에 기재된 화상 신호의 보전 방법으로 화소값의 보전을 행하는 것으로 하였기 때문에, 부호화의 처리에 있어서, 움직임이 큰 화상에 대해서도 차분이 작은 예측 신호를 얻을 수 있어, 부호화 처리에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있는 화상 신호 부호화 장치를 얻을 수 있다는 효과가 있다.

청구항 23의 발명에 따르면, 입력 수단과, 제 1 가산 수단과, 부호화 수단과, 복호화 수단과, 제 2 가산 수단과, 제 1 보전 수단과, 제 2 보전 수단과, 제 1 메모리와, 제 2 메모리와, 예측 영역 생성 수단을 구비하고, 상기 입력 수단에, 임의 형상의 화상 신호를 입력하고, 해당 화상 신호를 서로 인접하는 복수개 영역으로 분할하여, 상기 복수개 영역을 대상 영역으로 하여 소정의 순서로 처리하며, 상기 제 1 가산 수단에, 상기 대상 영역과, 상기 예측 영역 생성 수단으로부터의 예측 영역을 입력하여 차분 영역을 생성하고, 상기 부호화 수단에, 상기 차분 영역을 입력하고, 그 부호화 수단에 의해 소정의 방법으로, 해당 차분 영역을, 압축 차분 영역으로 변환하며, 상기 복호화 수단에, 상기 압축 차분 영역을 입력하고, 해당 복호화 수단에 의해 소정의 방법으로 해당 압축 차분 영역을 신장 차분 영역으로 복원하고, 상기 제 2 가산 수단에, 상기 신장 차분 영역을 입력하고, 이 신장 차분 영역에 상기 예측 영역을 가산하여 재생 영역을 생성하며, 상기 제 1 보전 수단에, 상기 재생 영역을 입력하여 소정의 방법으로 상기 재생 영역에 포함되는 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을 보전하여, 상기 제 1 메모리에 저장하고, 상기 제 2 보전 수단에, 상기 제 1 메모리 내용을 입력하고, 소정의 방법으로, 상기 제 1 메모리 내용에 포함되는 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을 보전하여, 제 2 보전 영역으로서 상기 제 2 메모리에 저장하며, 상기 예측 영역 생성 수단에, 상기 제 2 메모리에 저장한 상기 제 2 보전 영역을 입력하여, 상기 예측 영역을 생성하고, 상기 압축 차분 영역 신호를 화상 신호 부호화 장치의 출력으로 하는 화상 신호 부호화 장치에 있어서, 상기 제 1 보전 수단 및 제 2 보전 수단은, 청구항 6, 15, 20 또는 21 항에 기재된 화상 신호의 보전 방법으로 화소값의 보전을 행하는 것으로 하였기 때문에, 부호화의 처리에 있어서, 움직임이 큰 화상에 대해서도 차분이 작은 예측 신호를 얻을 수 있어, 부호화 처리에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있는 화상 신호 부호화 장치를 얻을 수 있다는 효과가 있다.

청구항 32의 발명에 따르면, 입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 보전 수단과, 메모리와, 예측 신호 생성 수단을 구비하고, 상기 입력 수단에, 압축 부호화된 부호화 신호를 입력하며, 상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고, 상기 복호화 수단에서, 상기 압축 차분 신호를 신장 차분 신호로 복호화하며, 상기 예측 신호 생성 수단에 의해, 상기 메모리로부터 취득한 화상 신호를 이용하여, 예측 신호를 생성하고, 상기 가산 수단에 의해, 상기 신장 차분 신호와, 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에, 상기 보전 수단에 의해, 소정의 방법으로, 상기 재생 신호에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 상기 메모리에 저장하는 화상 신호 복호화 장치에 있어서, 상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18, 19 항에 기재된 보전 방법으로 화소값의 보전을 행하는 것으로 하였기 때문에, 복호화의 처리에 있어서, 움직임이 큰 화상에 대해서도 차분이 작은 예측 신호를 얻을 수 있어, 복호화 처리에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있는 화상 신호 복호화 장치를 얻을 수 있다는 효과가 있다.

청구항 33의 발명에 따르면, 입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 제 1 보전 수단과, 제 2 보전 수단과, 제 1 메모리와, 제 2 메모리와, 예측 신호 생성 수단을 구비하고, 상기 입력 수단에, 압축 부호화된 부호화 신호를 입력하며, 상기 데이터 해석 수단에서, 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고, 상기 복호화 수단에서, 상기 압축 차분 신호를 신장 차분 신호로 복호화하며, 상기 예측 신호 생성 수단에 의해, 상기 제 2 메모리로부터 취득한 화상 신호를 이용하여, 예측 신호를 생성하고, 상기 가산 수단에 의해, 상기 신장 차분 신호와, 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에, 상기 제 1 보전 수단에 의해, 상기 재생 신호가 포함되는 형상의 영역에 위치하는 경계 영역이면, 소정의 방법으로, 상기 경계 영역의 유의하지 않은 화소의 화소값을 보전하여, 상기 제 1 메모리에 저장하고, 상기 제 2 보전 수단에 의해, 상기 제 1 메모리에 저장된 경계 영역에 인접하는 유의하지 않은 화소만으로 구성된 무효 영역을, 소정의 방법으로 보전하여, 제 2 메모리에 저장하는 화상 신호 복호화 장치에 있어서, 상기 제 1 및 제 2 보전 수단은, 청구항 6, 15, 20 또는 21 항에 기재된 보전 방법으로 화소값의 보전을 행하는 것으로 하였기 때문에, 복호화의 처리에 있어서, 움직임이 큰 화상에 대해서도 차분이 작은 예측 신호를 얻을 수 있어, 복호화 처리에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있는 화상 신호 복호화 장치를 얻을 수 있다는 효과가 있다.

청구항 42의 발명에 따르면, 청구항 32에 기재된 화상 신호 복호화 장치에 있어서, 상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18 또는 19 항에 기재된 화상 신호의 보전 방법으로, 전(全)화상 블럭의 외주 영역을 제외한 영역내에서의 화소값의 보전을 행하여, 움직임 보상으로 참조한 예측 소영역이 그것보다 외측의 영역도 포함하는 경우에는, 움직임 보상과 동시에 상기 외측에 있는 무효 영역의 보전을 행하는 것으로 하였기 때문에, 복호화의 처리에 있어서의 지연 시간이나 연산량을, 보다 대폭 삭감할 수 있다는 효과를 얻을 수 있다.

청구항 43의 발명에 따르면, 청구항 33에 기재된 화상 신호 복호화 장치에 있어서, 상기 제 1 및 제 2 보전 수단과, 청구항 6, 15, 20 또는 21에 기재된 화상 신호의 보전 방법으로, 모든 화상 블럭의 외주 영역을 제외한 영역내에서의 화소값의 보전을 행하여, 움직임 보상에서 참조한 예측 소영역이 그것보다 외측의 영역도 포함하는 경우에는, 움직임 보상과 동시에 해당 외측에 있는 무효 영역의 보전을 행하는 것으로 하였기 때문에, 복호화 처리에 있어서의 지연 시간이나 연산량을, 보다 대폭 삭감할 수 있다는 효과를 얻을 수 있다.

청구항 44의 발명인 움직임 보상 방법에 따르면, 청구항 1, 2, 3, 6, 11, 14, 15, 18, 19, 20 또는 21 항 중 어느 한 항에 기재된 화상 신호의 보전 방법을, 화상 신호의 복호화에 있어서, 움직임 보상을 행할 때에 동시에 실행하는 것으로 하였기 때문에, 복호화의 처리에 있어서, 움직임이 큰 화상에 대해서도 차분이 작은 예측 신호를 얻을 수 있어, 복호화 처리에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있다는 효과를 얻을 수 있다.

청구항 45의 발명인 기록 매체에 따르면, 청구항 1, 2, 3, 6, 11, 14, 15, 18, 19, 20 또는 21 항 중 어느 한 항에 기재된 화상 신호의 보전 방법의 프로그램을, 기억하여 이루어지는 것으로 하였기 때문에, 부호화, 복호화의 처리에 있어서, 움직임이 큰 화상에 대해서도 차분이 작은 예측 신호를 얻을 수 있어, 부호화, 복호화 처리에 있어서의 지연 시간이나 연산량을 대폭 삭감할 수 있다는 효과를 얻을 수 있다.

Claims

임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값을 이용하여 보전하여, 화상 신호를 출력하는 화상 신호의 보전 방법에 있어서,

상기 복수개 영역내의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여, 상기 복수개 영역에 대하여 화소값의 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 1 항에 있어서,

상기 소정의 방법은, 경계 영역에 있는 블럭내의 물체의 값을, 물체밖의 무효 영역까지 늘이는 방법인 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과, 소정의 함수를 이용하여, 구해진 보전값을 이용하여 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서,

상기 복수개 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여, 상기 복수개 영역에 대하여 화소값의 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 3 항에 있어서,

상기 화소값의 보전은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에 대응하는, 상기 경계 영역내에 포함되는 화소의 화소값을 이용하는 카핑(copying) 함수를 이용하여 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 3 항에 있어서,

상기 화소값의 보전은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에 의해, 경계 영역과 상기 무효 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 경계 영역에 포함되는 화소의 화소값을 이용하는 미러링(mirroring) 함수를 이용하여 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 보전값으로 보전하여, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하여, 화소 신호를 출력하는, 화상 신호의 보전 방법에 있어서,

상기 복수개 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고, 상기 부가 정보를 참조하여, 상기 복수개 영역에 화소값의 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 6 항에 있어서,

상기 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값의 보전은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에 대응하는, 상기 보전한 경계 영역내에 포함되는 화소의 화소값을 이용하는 카핑 함수를 이용하여 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 6 항에 있어서,

상기 경계 영역에 인접하는 무효 영역에 대한 화소값의 보전은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에 의해, 이미 보전된 경계 영역과 상기 무효 영역이 인접하는 인접 경계상에서 선대칭으로 위치하는, 상기 보전된 경계 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 1 항 내지 제 8 항중 어느 한 항에 있어서,

경계 영역에 대하여, 수평 방향으로 인접하는, 유의하지 않은 화소의 화소값만으로 구성되는 영역을 보전하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 1 항 내지 제 8 항중 어느 한 항에 있어서,

경계 영역에 대하여, 수직 방향으로 인접하는, 유의하지 않은 화소의 화소값만으로 구성되는 영역을 보전하는 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값으로 보전하여, 화상 신호를 출력하는 것을 특징으로 하는 화상 신호의 보전 방법에 있어서,

상기 복수개 영역의 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고,

대상 영역이 무효 영역이 아닌 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이라고 판정되면, 상기 과거의 영역을, 소정의 방법으로 구해진 보전값으로 보전하며,

대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을, 소정의 방법으로 구해진 보전값으로 보전하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 11 항에 있어서,

상기 대상 영역이 무효 영역이 아닌 경우, 부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역에 포함되는 화소의 위치에 대응하는, 상기 대상 영역내의 화소의 화소값을 이용하는 카핑 함수를 이용하여, 상기 과거의 영역의 보전을 행하고,

상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 대상 영역에 인접하는 상기 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역에 포함되는 화소의 위치에 대응하는, 상기 과거의 영역내의 화소의 화소값을 이용하는 카핑 함수를 이용하여, 상기 대상 영역의 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 11 항에 있어서,

상기 대상 영역이 무효 영역이 아닌 경우, 부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역에 포함되는 화소의 위치에, 상기 과거의 영역과 상기 대상 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 대상 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 과거의 영역의 보전을 행하고,

상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 상기 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역에 포함되는 화소의 위치에, 상기 무효 영역과 상기 과거의 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 과거의 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 대상 영역의 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 보전값으로 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서,

상기 복수개 영역에 포함되는 화소의 화소값이 유의한 것을 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고,

대상 영역이 무효 영역이 아닌 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역을, 상기 대상 영역에 포함되는 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하며,

대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을, 상기 과거의 영역에 포함되는 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값으로 보전하는 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 구해진 화소값을 이용하여 보전하여, 화상 신호를 출력하는 화상 신호의 보전 방법에 있어서,

상기 복수개 영역에 포함되는 화소의 화소값이 유의한지 여부를 나타내는 유의 신호를 참조하여, 상기 복수개 영역마다, 유의한 화소가 포함되는지 여부를 나타내는 부가 정보를 소정의 방법으로 생성하고,

대상 영역이 무효 영역이 아닌 경우, 상기 대상 영역에 포함되는 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 화소값을 이용하여 보전하며,

부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역을, 상기 보전한 대상 영역에 포함되는 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 화소값으로 보전하고,

상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역을, 상기 과거의 영역에 포함되는 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 15 항에 있어서,

상기 대상 영역이 무효 영역이 아닌 경우, 상기 대상 영역에 포함되는 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 화소값으로 보전하고,

부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 보전된 대상 영역에 인접하는 과거의 영역이 무효 영역인것으로 판정되면, 상기 과거의 영역에 포함되는 화소의 위치에 대응하는, 상기 보전한 대상 영역의 화소의 화소값을 이용하는 카핑 함수를 이용하여, 상기 과거의 영역을 보전하며,

상기 대상 영역이 무효 영역인 경우는, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 상기 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역에 포함되는 화소의 위치에 대응하는, 상기 과거의 영역내의 화소의 화소값을 이용하는 카핑 함수를 이용하여, 상기 대상 영역을 보전하는 것을 특징으로 하는 화상 신호의 보전 방법.
제 15 항에 있어서,

상기 대상 영역이 무효 영역이 아닌 경우는, 상기 대상 영역에 포함되는 유의하지 않은 화소의 화소값을, 소정의 방법으로 구해진 화소값으로 보전하고,

부가 정보를 참조함으로써, 소정의 순서에 있어서 상기 보전된 대상 영역에 인접하는 과거의 영역이 무효 영역인 것으로 판정되면, 상기 과거의 영역에 포함되는 화소의 위치에, 상기 과거의 영역과 상기 보전된 대상 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 보전된 대상 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 과거의 영역을 보전하며,

상기 대상 영역이 무효 영역인 경우, 상기 부가 정보를 참조함으로써, 상기 소정의 순서에 있어서 상기 대상 영역에 인접하는 상기 과거의 영역이 무효 영역이 아닌 것으로 판정되면, 상기 대상 영역에 포함되는 화소의 위치에, 상기 과거의 영역과 상기 대상 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 과거의 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 대상 영역을 보전하는 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하여, 출력하는 화상 신호의 보전 방법에 있어서,

상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에 대응하는, 상기 경계 영역내에 포함되는 화소의 화소값을 이용하는 카핑 함수를 이용하여, 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 경계 영역내의 유의한 화소의 화소값과, 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하여, 출력하는 화상 신호의 보전 방법에 있어서,

상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 화소의 위치에, 경계 영역과 상기 무효 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 경계 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을, 소정의 방법을 이용하여 구해진 보전값을 이용하여 보전하고, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값을 이용하여 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서,

상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 각 화소의 위치에 대응하는, 상기 보전한 경계 영역내에 포함되는 화소의 화소값을 이용하는 카핑 함수를 이용하여, 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법.
임의 형상을 가지는 물체의 화상 신호를 복수개 영역으로 분할하고, 상기 복수개 영역을 소정의 순서로 처리하여, 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을, 소정의 방법을 이용하여 구해진 보전값으로 보전하고, 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을, 상기 보전한 경계 영역의 화소의 화소값과, 제 2 소정의 함수를 이용하여 구해진 보전값으로 보전하여, 화상 신호를 출력하는, 화상 신호의 보전 방법에 있어서,

상기 보전값은, 보전의 대상으로 되는 무효 영역에 포함되는 각 화소의 위치에 대하여, 이미 보전된 경계 영역과 상기 무효 영역이 인접하는 인접 경계선상에서 선대칭으로 위치하는, 상기 보전된 경계 영역에 포함되는 화소의 화소값을 이용하는 미러링 함수를 이용하여, 상기 무효 영역에 대하여 보전을 행하는 것을 특징으로 하는 화상 신호의 보전 방법,
입력 수단과, 제 1 가산 수단과, 부호화 수단과, 복호화 수단과, 제 2 가산 수단과, 보전 수단과, 메모리와, 예측 영역 생성 수단을 구비하고,

상기 입력 수단에 임의 형상의 화상 신호를 입력하고, 상기 화상 신호를 서로 인접하는 복수개 영역으로 분할하여, 상기 복수개 영역을 대상 영역으로서 소정의 순서로 처리하며,

상기 제 1 가산 수단에 상기 대상 영역과, 상기 예측 영역 생성 수단으로부터의 예측 영역을 입력하여 차분 영역을 생성하고,

상기 부호화 수단에 상기 차분 영역을 입력하고, 그 부호화 수단에 의해, 소정의 방법으로 상기 차분 영역을 압축 차분 영역으로 변환하며,

상기 복호화 수단에 상기 압축 차분 영역을 입력하고, 그 복호화 수단에 의해, 소정의 방법으로 압축 차분 영역을 상기 신장 차분 영역으로 복원하고,

상기 제 2 가산 수단에 상기 신장 차분 영역을 입력하고, 그 신장 차분 영역에 상기 예측 영역을 가산하여 재생 영역을 생성하며,

상기 보전 수단에 상기 재생 영역을 입력하고, 소정의 방법으로, 상기 재생 영역에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 보전 영역으로서 상기 메모리에 저장하고,

상기 예측 영역 생성 수단에 상기 메모리에 저장한 상기 보전 영역을 입력하여, 상기 예측 영역을 생성하며,

상기 압축 차분 영역 신호를 화상 신호 부호화 장치의 출력으로 하는 화상 신호 부호화 장치에 있어서,

상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18, 또는 19 항에 기재된 화상 신호의 보전 방법으로 화소값의 보전을 행하는 것을 특징으로 하는 화상 신호 부호화 장치.
입력 수단과, 제 1 가산 수단과, 부호화 수단과, 복호화 수단과, 제 2 가산 수단과, 제 1 보전 수단과, 제 2 보전 수단과, 제 1 메모리와, 제 2 메모리와, 예측 영역 생성 수단을 구비하고,

상기 입력 수단에 임의 형상의 화상 신호를 입력하고, 이 화상 신호를 서로 인접하는 복수개 영역으로 분할하여, 상기 복수개 영역을, 대상 영역으로 하여 소정의 순서로 처리하며,

상기 제 1 가산 수단에, 상기 대상 영역과, 상기 예측 영역 생성 수단으로부터의 예측 영역을 입력하여 차분 영역을 생성하고,

상기 부호화 수단에 상기 차분 영역을 입력하고, 그 부호화 수단에 의해 소정의 방법으로 상기 차분 영역을 압축 차분 영역으로 변환하며,

상기 복호화 수단에 상기 압축 차분 영역을 입력하고, 그 복호화 수단에 의해, 소정의 방법으로 상기 압축 차분 영역을 신장 차분 영역으로 복원하고,

상기 제 2 가산 수단에 상기 신장 차분 영역을 입력하고, 이 신장 차분 영역에 상기 예측 영역을 가산하여 재생 영역을 생성하며,

상기 제 1 보전 수단에 상기 재생 영역을 입력하고, 소정의 방법으로, 상기 재생 영역에 포함되는 형상의 경계에 위치하는 경계 영역의 유의하지 않은 화소의 화소값을 보전하여, 상기 제 1 메모리에 저장하고,

상기 제 2 보전 수단에 상기 제 1 메모리 내용을 입력하고, 소정의 방법으로, 상기 제 1 메모리 내용에 포함되는 상기 경계 영역에 인접하는 유의하지 않은 화소만으로 구성되는 무효 영역을 보전하여, 제 2 보전 영역으로서 상기 제 2 메모리에 저장하며,

상기 예측 영역 생성 수단에, 상기 제 2 메모리에 저장한 상기 제 2 보전 영역을 입력하여, 상기 예측 영역을 생성하고,

상기 압축 차분 영역 신호를, 화상 신호 부호화 장치의 출력으로 하는 화상 신호 부호화 장치에 있어서,

상기 제 1 보전 수단 및 제 2 보전 수단은, 청구항 6, 15, 20 또는 21 항에 기재된 화상 신호의 보전 방법으로 화소값의 보전을 행하는 것을 특징으로 하는 화상 신호 부호화 장치.
제 22 항에 있어서,

상기 예측 영역 생성 수단은, 보전된 보전 영역만을 참조하여 예측 영역을 생성하는 것을 특징으로 하는 화상 신호 부호화 장치.
제 23 항에 있어서,

상기 예측 영역 생성 수단은, 보전된 보전 영역만을 참조하여 예측 영역을 생성하는 것을 특징으로 하는 화상 신호 부호화 장치.
제 22 항에 있어서,

상기 예측 영역 생성 수단은, 형상을 나타내는 경계에 위치하는 경계 영역에 인접하는, 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 보전하는 것을 특징으로 하는 화상 신호 부호화 장치.
제 23 항에 있어서,

상기 예측 영역 생성 수단은, 형상을 나타내는 경계에 위치하는 경계 영역에 인접하는, 유의하지 않은 화소만으로 구성되는 무효 영역을, 소정의 방법으로 보전하는 것을 특징으로 하는 화상 신호 부호화 장치.
제 22 항에 있어서,

상기 예측 영역 생성 수단은, 예측 영역을 생성하기 위해 참조되는 1 이상의 참조 영역에 포함되는 유의하지 않은 화소의 화소값만을, 소정의 방법으로 보전하는 것을 특징으로 하는 화상 신호 부호화 장치.
제 23 항에 있어서,

상기 예측 영역 생성 수단은, 예측 영역을 생성하기 위해 참조되는 1 이상의 참조 영역에 포함되는 유의하지 않은 화소의 화소값만을, 소정의 방법으로 보전하는 것을 특징으로 하는 화상 신호 부호화 장치.
제 22 항에 있어서,

상기 보전을 행하기 위해 참조하는 부가 정보를 일시적으로 유지해 놓기 위한 국소 메모리를 구비하는 것을 특징으로 하는 화상 신호 부호화 장치.
제 23 항에 있어서,

상기 보전을 행하기 위해 참조하는 부가 정보를 일시적으로 유지해 놓기 위한 국소 메모리를 구비하는 것을 특징으로 하는 화상 신호 부호화 장치.
입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 보전 수단과, 메모리와, 예측 신호 생성 수단을 구비하고,

상기 입력 수단에, 압축 부호화된 부호화 신호를 입력하며,

상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고,

상기 복호화 수단으로 상기 압축 차분 신호를 신장 차분 신호로 복호화하며,

상기 예측 신호 생성 수단에 의해, 상기 메모리로부터 취득한 화상 신호를 이용하여 예측 신호를 생성하고,

상기 가산 수단에 의해, 상기 신장 차분 신호와 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에,

상기 보전 수단에 의해, 소정의 방법으로, 상기 재생 신호에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 상기 메모리에 저장하는 화상 신호 복호화 장치에 있어서,

상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18 또는 19 항에 기재된 보전 방법으로 화소값의 보전을 행하는 것을 특징으로 하는 화상 신호 복호화 장치.
입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 제 1 보전 수단과, 제 2 보전 수단과, 제 1 메모리와, 제 2 메모리와, 예측 신호 생성 수단을 구비하고,

상기 입력 수단에, 압축 부호화된 부호화 신호를 입력하며,

상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고,

상기 복호화 수단으로 상기 압축 차분 신호를 신장 차분 신호로 복호화하며,

상기 예측 신호 생성 수단에 의해, 상기 제 2 메모리로부터 취득한 화상 신호를 이용하여, 예측 신호를 생성하고,

상기 가산 수단에 의해, 상기 신장 차분 신호와 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에,

상기 제 1 보전 수단에 의해, 상기 재생 신호가 포함되는 형상의 영역에 위치하는 경계 영역이면, 소정의 방법으로 상기 경계 영역의 유의하지 않은 화소의 화소값을 보전하여, 상기 제 1 메모리에 저장하고,

상기 제 2 보전 수단에 의해, 상기 제 1 메모리에 저장된 경계 영역에 인접하는 유의하지 않은 화소만으로 구성된 무효 영역을 소정의 방법으로 보전하여, 제 2 메모리에 저장하는 화상 신호 복호화 장치에 있어서,

상기 제 1 및 제 2 보전 수단은, 청구항 6, 15, 20 또는 21 항에 기재된 보전 방법으로 화소값의 보전을 행하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 32 항에 있어서,

상기 예측 영역 생성 수단은, 보전된 보전 영역만을 참조하여 예측 영역을 생성하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 33 항에 있어서,

상기 예측 영역 생성 수단은, 보전된 보전 영역만을 참조하여 예측 영역을 생성하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 32 항에 있어서,

상기 예측 영역 생성 수단은, 형상을 나타내는 경계에 위치하는 경계 영역에 인접하는, 유의하지 않은 화소만으로 구성되는 무효 영역을 소정의 방법으로 보전하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 33 항에 있어서,

상기 예측 영역 생성 수단은, 형상을 나타내는 경계에 위치하는 경계 영역에 인접하는, 유의하지 않은 화소만으로 구성되는 무효 영역을 소정의 방법으로 보전하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 32 항에 있어서,

상기 예측 영역 생성 수단은, 예측 영역을 생성하기 위해 참조되는 1 이상의 참조 영역에 포함되는 유의하지 않은 화소의 화소값만을 소정의 방법으로 보전하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 33 항에 있어서,

상기 예측 영역 생성 수단은, 예측 영역을 생성하기 위해 참조되는 1 이상의 참조 영역에 포함되는 유의하지 않은 화소의 화소값만을 소정의 방법으로 보전하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 32 항에 있어서,

보전을 행하기 위해 참조하는 부가 정보를 일시적으로 유지해 놓기 위한 국소 메모리를 구비하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 33 항에 있어서,

보전을 행하기 위해 참조하는 부가 정보를 일시적으로 유지해 놓기 위한 국소 메모리를 구비하는 것을 특징으로 하는 화상 신호 복호화 장치.
입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 보전 수단과, 메모리와, 예측 신호 생성 수단을 구비하고,

상기 입력 수단에, 압축 부호화된 부호화 신호를 입력하며,

상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고,

상기 복호화 수단으로 상기 압축 차분 신호를 신장 차분 신호로 복호화하며,

상기 예측 신호 생성 수단에 의해, 상기 메모리로부터 취득한 화상 신호를 이용하여 예측 신호를 생성하고,

상기 가산 수단에 의해, 상기 신장 차분 신호와 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에,

상기 보전 수단에 의해, 소정의 방법으로 상기 재생 신호에 포함되는 유의하지 않은 화소의 화소값을 보전하여, 상기 메모리에 저장하는 화상 신호 복호화 장치에 있어서,

상기 보전 수단은, 청구항 1, 2, 3, 11, 14, 18 또는 19 항에 기재된 화상 신호의 보전 방법으로, 모든 화상 블럭의 외주 영역을 제외한 영역내에서의 화소값의 보전을 행하여, 움직임 보상에서 참조한 예측 소영역이 그것보다 외측의 영역도 포함하는 경우에는, 움직임 보상과 동시에 상기 외측에 있는 무효 영역의 보전을 행하는 것을 특징으로 하는 화상 신호 복호화 장치.
입력 수단과, 데이터 해석 수단과, 복호화 수단과, 가산 수단과, 제 1 보전 수단과, 제 2 보전 수단과, 제 1 메모리와, 제 2 메모리와, 예측 신호 생성 수단을 구비하고,

상기 입력 수단에, 압축 부호화된 부호화 신호를 입력하며,

상기 데이터 해석 수단으로 상기 부호화 신호를 해석하여, 압축 차분 신호를 출력하고,

상기 복호화 수단으로 상기 압축 차분 신호를 신장 차분 신호로 복호화하며,

상기 예측 신호 생성 수단에 의해, 상기 제 2 메모리로부터 취득한 화상 신호를 이용하여 예측 신호를 생성하고,

상기 가산 수단에 의해, 상기 신장 차분 신호와 상기 예측 신호를 가산하여, 재생 신호로서 출력함과 동시에,

상기 제 1 보전 수단에 의해, 상기 재생 신호가 포함되는 형상의 영역에 위치하는 경계 영역이면, 소정의 방법으로 상기 경계 영역의 유의하지 않은 화소의 화소값을 보전하여, 상기 제 1 메모리에 저장하고,

상기 제 2 보전 수단에 의해, 상기 제 1 메모리에 저장된 경계 영역에 인접하는 유의하지 않은 화소만으로 구성된 무효 영역을, 소정의 방법으로 보전하여, 제 2 메모리에 저장하는 화상 신호 복호화 장치에 있어서,

상기 제 1 및 제 2 보전 수단은, 청구항 6, 15, 20 또는 21에 기재된 화상 신호의 보전 방법으로, 모든 화상 블럭의 외주 영역을 제외한 영역내에서의 화소값의 보전을 행하여, 움직임 보상에서 참조한 예측 소영역이 그것보다 외측의 영역도 포함하는 경우에는, 움직임 보상과 동시에 상기 외측에 있는 무효 영역의 보전을 행하는 것을 특징으로 하는 화상 신호 복호화 장치.
제 1, 2, 3, 6, 11, 14, 15, 18, 19, 20 또는 21 항중 어느 한 항에 기재된 화상 신호의 보전 방법을, 화상 신호 복호화 장치에 있어서, 움직임 보상을 행할 때에 동시에 행하는 것을 특징으로 하는 움직임 보상 방법.
제 1, 2, 3, 6, 11, 14, 15, 18, 19, 20 또는 21 항중 어느 한 항에 기재된 화상 신호의 보전 방법의 프로그램을 기억하여 이루어지는 것을 특징으로 하는 기록 매체.