KR100386190B1 - 화소치보전(補塡)방법,화상부호화장치및화상복호화장치 - Google Patents

Abstract

본 발명은, 지연 시간과 연산량이 적은 처리에 의해, 움직임이 큰 화상에 대해, 오차가 작은 예측 신호를 생성할 수 있는 화상의 보전 방법 및 그것을 사용한 장치를 제공하는 것이며, 객체를 나타내는 화상 정보를 포함하는 디지털 화상 데이터에 있어서, 화상을 서로 인접하는 복수의 영역으로 분할하고, 객체 형상의 경계를 포함하는 영역의 유의(有意)하지 않는 샘플치를, 유의하지 않는 화소치의 근처의 유의한 화소치를 함수로 변환해서 보전(補塡)하는 디지털 화상 보전 방법 및 그것을 사용한 화상 부호화, 복호화 장치를 제공하는 것이다.

Description

화소치 보전(補塡) 방법, 화상 부호화 장치 및 화상 복호화 장치{METHOD FOR SUPPLEMENTING DIGITAL IMAGE WITH PICTURE ELEMENT, AND DIGITAL IMAGE ENCODER AND DECODER USING THE SAME}

디지털 화상을 효율적으로 축적 혹은 전송하려면, 압축 부호화할 필요가 있다. 디지털 화상을 압축 부호화하기 위한 방법으로서, JPEG나 MPEG으로 대표되는 이산 코사인 변환(DCT) 외에, 서브밴드와 워어브레이트, 플랙탈 등의 파형 부호화 방법이 있다. 또, 화상간의 용장인 신호를 제거하려면 움직임 보상을 사용한 화상간 예측을 행하고, 차분 신호를 파형 부호화한다.

최근, 압축 효율을 향상시키는 동시에 화상을 구성하는 객체 단위로 재생할 수 있도록, 화상을 구성하는 객체를 따로따로 압축 부호화하여 전송한다. 재생쪽에서는, 각각의 객체를 복호화하고, 재생한 객체를 합성하여 화상을 표시한다. 이것은 객체 단위로 부호화함으로써, 객체를 자유롭게 조합해서 합성함으로써 동화상을간단히 재편집할 수 있는 특징이 있다. 또, 통신로의 혼잡 상태나 재생 장치의 성능, 시청자의 취향에 따라서, 비교적 중요하지 않은 객체를 재생하지 않아도 동화상을 볼 수 있다.

임의의 형상을 가지는 화상(객체)을 부호화하기 위하여, 그 형상에 적합한 변환 방법, 예를 들면 형상 적응 이산 코사인 변환을 사용하거나, 화상의 무효 영역(객체 표시 영역 외의 영역이며, 객체를 표시하기 위한 화소 데이터를 가지지 않는, 소위 유의(有意)하지 않는 샘플치만으로 이루어진 영역을 말한다)을 소정의 방법으로 보전하고, 종래의 8×8의 코사인 변환을 행하는 방법이 있다. 한편, 화상 간 용장 신호를 제거하기 위하여, 과거에 재생된 참조 화상을 움직임 보상해서 얻게된 예측 영역(예를 들면 16×16 화소로 이루어진 블록)에도, 객체의 경계에 있어서 유의하지 않는 샘플치가 포함된다. 이와 같은 예측 영역을 일단 보전한 다음에, 대상 영역과 차분을 취하고, 예측 오차 신호를 생성하여, 변환 부호화한다. 예측 영역을 보전하는 것은 차분 신호를 억압하기 위해서이다.

이와 같이, 디지털 화상의 부호화 복호화 처리 효율의 점에서, 유의하지 않는 화소의 보전 처리는 중요한 동시에, 그 보전의 방법에 따라 복호 화질, 전송 데이터량 등에도 영향을 준다.

상기한 바와 같은 종래의 기술에서는, 화상 전체를 참조하고 보전함으로써, 예측 영역에 유의하지 않는 샘플치가 포함되지 않도록 한 다음에, 움직임 보상 등의 방법으로 예측 영역을 취득한다. 또 보전 방법은, 객체의 경계에 있는 유의한 샘플치를 반복하고, 유의하지 않는 샘플치를 바꿔놓는 등의 처리가 행해진다. 또,어떤 샘플점에 있어서, 수평 및 수직 양방향으로부터의 반복된 보전치가 있는 경우에는, 그 양쪽의 보전치를 평균한다. 이 종래의 방법은 화상 전체를 보전하기 위하여, 특히 움직임이 큰 화상에 대해 오차가 적은 예측 영역이 얻어진다.

그러나, 반면 재생 참조 화상의 전체를 참조하고 보전하기 위해서는, 참조 화상 전체가 복호화되어 있지 않으면, 보전 작업을 개시할 수 없다고 하는 과제가 있다. 또, 반복하여 보전하는 경우, 화상의 사이즈에 비례하여 연산량이 증가하는 문제가 있다. 즉, 이와 같은 보전을 행하면, 화상을 재생하는 데에 처리량이 크며, 긴 지연이 발생하거나, 경우에 따라서 연산량이 대단히 많아진다.

그래서, 화상 사이즈에 비례하지 않는 연산을 행하려면, 재생한 경계 영역을 영역 단위로 보전하는 방법이 있다. 이 방법으로 지연과 연산량의 문제를 해결할 수 있다. 그러나, 경계 영역만으로 보전되기 위해서, 유효 영역은 보전된 경계 영역 이내의 영역으로 제한되어 보전의 효과가 적다. 그 때문에, 움직임이 큰 동화상에 대해서 오차가 작은 예측 신호를 생성할 수 없는 과제를 남겨두고 있다.

한편, 화상 전체를 보전하는 방법에서는 단순히 데이터량이 증가함으로, 이점이 적은 것으로 된다. 즉, 유의하지 않는 화소는 부호화해야할 화소치가 없고, 유의한 화소와 동시에 통합해서 부호화하면, 부호화 효율이 열화되다. 예를 들면, 유의 화소가 전부 흑인 경우, 유의하지 않는 화소가 백이면 부호화 효율이 열화되지만, 유의하지 않는 화소가 흑이면 부호화 효율은 높아진다. 이와 같이 유의하지 않는 화소의 값은 재생 화상의 화질에는 영향을 주지 않으나 부호화 효율에 영향을 주므로, 유의하지 않는 화소치에 대해서 고려하는 일이 중요하나, 종래에는 전혀검토되고 있지 않다는 문제가 있다.

본 발명은, 임의 형상을 가지는 디지털 화상을 보전하는 방법 및 그 보전 방법을 사용한 디지털 화상의 부호화·복호화 장치에 관한 것이다.

도 1은 본 발명의 실시예 1에 의한 디지털 화상 보전 방법을 표시한 모식도,

도 2는 본 발명의 실시예 1에 의한 디지털 화상 보전 방법의 제 1 변형을 표시한 모식도,

도 3은 본 발명의 실시예 1에 의한 디지털 화상 보전 방법의 제 2 변형을 표시한 모식도,

도 4는 본 발명의 실시예 1에 의한 디지털 화상 보전 방법의 제 3 변형을 표시한 모식도,

도 5는 본 발명의 실시예 2에 의한 디지털 화상 보전 방법을 표시한 모식도,

도 6은 본 발명의 실시예 3에 의한 디지털 화상 보전 방법을 표시한 모식도,

도 7은 본 발명의 실시예 3에 의한 디지털 화상 보전 방법의 일변형을 표시한 모식도,

도 8은 본 발명의 실시예 4에 의한 디지털 화상 보전 방법을 표시한 모식도,

도 9는 본 발명의 실시예 5에 의한 디지털 화상 부호화 장치를 표시한 모식도,

도 10은 본 발명의 실시예 6에 의한 디지털 화상 부호화 장치를 표시한 블록도,

도 11은 본 발명의 실시예 7에 의한 디지털 화상 복호화 장치를 표시한 블록도,

도 12는 본 발명의 실시예 8에 의한 디지털 화상 부호화 장치를 표시한 블록도,

도 13은 본 발명의 실시예 8에 의한 디지털 화상 부호화 장치를 표시한 블록도,

도 14는 본 발명의 실시예 7에 의한 디지털 화상 복호화 장치의 일변형을 표시한 블록도,

도 15는 본 발명의 실시예 9에 의한 디지털 화상 복호화 장치를 표시한 블록도,

도 16은 본 발명의 실시예 9에 의한 디지털 화상 복호화 장치의 일변형을 표시한 블록도,

도 17은 본 발명의 실시예 10에 의한 디지털 화상 부호화 장치에 사용하는 보전 방법을 표시한 모식도,

도 18은 본 발명의 실시예 10에 의한 디지털 화상 부호화 장치에 사용하는 보전 방법의 일변형을 표시한 모식도,

도 19는 본 발명의 실시예 11에 의한 디지털 화상의 보전 방법을 표시한 흐름도,

도 20은 본 발명의 실시예 11에 의한 디지털 화상의 보전 방법에서 사용되는 영역의 보전 방법의 일실시예를 표시한 모식도이며,

(A) 보전치가 수평 방향에 있는 유의한 화소치의 평균치인 예,

(B) 보전치가 수평 방향에 있는 유의한 화소치의 반복 보전의 일예,

(C) 보전치가 수평 방향에 있는 유의한 화소치의 재반복 보전의 다른예,

도 21은 본 발명의 실시예 12에 의한 디지털 화상의 보전 방법에서 사용되는 영역의 보전 방법의 다른 실시예를 표시한 모식도이며,

(A) 보전치가 수직 방향에 잇는 유의한 화소치의 평균치인 예,

(B) 보전치가 수직 방향에 있는 유의한 화소치의 반복 보전의 일예,

(C) 보전치가 수직 방향에 있는 유의한 화소치의 재반복 보전의 다른예,

도 22는 본 발명의 실시예 13에 의한 디지털 화상의 보전 방법의 제 1 변형을 표시한 흐름도,

도 23은 본 발명의 실시예 14에 의한 디지털 화상의 보전 방법의 제 2 변형을 표시한 흐름도,

도 24는 본 발명의 실시예 14에 의한 디지털 화상의 보전 방법에 의해 보전한 화상의 제 1 예를 표시한 모식도,

도 25는 본 발명의 실시예 14에 의한 디지털 화상의 보전 방법에 의해 보전한 화상의 제 2 예를 표시한 모식도,

도 26은 본 발명의 실시예 14에 의한 디지털 화상의 보전 방법에 의해 보전한 화상의 제 3 예를 표시한 모식도,

도 27은 본 발명의 실시예 15에 의한 디지털 화상 부호화 장치를 표시한 블록도,

도 28은 본 발명의 실시예 15에 의한 디지털 화상 부호화 장치의 변형을 표시한 블록도,

도 29는 본 발명의 실시예 16에 의한 디지털 화상 복호화 장치를 표시한 블록도,

도 30은 본 발명의 실시예 17에 의한 디지털 호상 부호화 장치를 표시한 블록도,

도 31은 본 발명의 실시예 17에 의한 디지털 화상 부호화 장치의 변형을 표시한 블록도,

도 32는 본 발명의 실시예 18에 의한 디지털 화상 복호화 장치를 표시한 블록도이다.

<도면의 참조 부호의 일람표>

201 : 입력 단자202 : 제 1 가산기

203 : 부호화기204 : 이산 코사인 변환기

205 : 양자화기206 : 출력 단자

207 : 복호화기208 : 역양자화기

209 : 역 이산 코사인 변환기210 : 제 2 가산기

211 : 가변장(長) 부호화기212 : 보전기(補塡器)

213 : 프레임 메모리214 : 움직임 검출기

215 : 움직임 보상기(補償器)229 : 기록기

230 : 초기화기240 : 제 1 보전기

241 : 제 2 보전기244 : 보전기

246 : 보전기301 : 입력 단자

302 : 데이터 해석기303 : 복호화기

304 : 역 양자화기305 : IDCT

306 : 가산기307 : 출력 단자

308 : 보전기309 : 프레임 메모리

310 : 움직임 보상기330 : 보전기

본 발명의 제 1 목적은, 지연 시간과 연산량이 적은 처리로, 움직임이 큰 화상에 대해, 오차가 작은 예측 신호를 생성할 수 있는 화상의 보전 방법을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명은 객체를 나타내는 화상 정보를 포함하는 디지털 화상 데이터에 있어서, 상기 화상을 서로 인접하는 복수의 영역으로 분할하고, 상기 객체 형상의 경계를 포함하는 영역의 유의하지 않는 샘플치를, 상기 유의하지 않는 화소치 근처의 유의한 화소치를 함수에 의해 변환해서 보전하는 디지털 화상 보전 방법을 제공하는 것이다.

또, 특히 함수 변환해서 보전하는 유의한 화소치로서, 함수로서 가장 간단한 유의하지 않는 화소치에 인접하는 유의한 화소치를 그대로 반복해서 바꿔놓는 방법과 상기 방법을 조합해서 처리함으로써, 보다 효과적인 보전을 하는 일도 가능하다.

또한, 보전 영역을 적량 확대하는 방법으로서, 객체 형상의 경계를 포함하는 영역의 근처 영역으로서, 유의하지 않는 샘플치만으로 이루어진 무효 영역까지 확대해서 보전하는 동시에, 상기 객체 형상의 경계를 포함하는 영역의 유의한 화소치를 함수 변환해서 보전한다. 이에 의해, 더 큰 움직임 보상 등의 처리가 가능하게 되는 것이다.

본 발명의 제 2 목적은, 상기 디지털 화상 보전 방법을 디지털 화상 부호화, 복호화 방법 및 그 장치를 도입함으로써, 처리 데이터량이 적고 화질이 양호한 압축 화상 처리가 가능하게 되는 것이다.

상기 목적을 달성하기 위해, 화소치를 나타내는 신호와 화소마다 화소치가 유의한지 여부를 표시한 유의 신호로 구성되는 화상 신호를 입력 신호로 하고, 그 입력 신호의 객체를 나타내는 화상 정보를 포함하는 디지털 화상 데이터에 있어서, 이미 복호된 화상 신호로부터 상기 입력 신호에 대한 예측 화상 신호를 생성하는 예측 화상 생성 수단과, 상기 화상을 서로 인접하는 복수의 영역으로 분할하고, 상기 객체 형상의 경계를 포함하는 영역의 유의하지 않는 샘플치를, 상기 유의하지 않는 화소치 근처의 유의한 화소치를 함수 변환해서 보전하여 출력하는 화소치 생성 수단과, 상기 화소치 생성 수단의 출력으로부터 상기 예측 화상 생성 수단의 출력을 감산하는 감산 수단과, 상기 감산 수단의 출력을 부호화하는 부호화 수단과, 상기 부호화 수단으로부터의 출력을 복호하는 복호화 수단과, 상기 복호화 수단으로부터의 출력과 상기 예측 화상 생성 수단으로부터의 출력을 가산하는 가산 수단과, 상기 가산 수단의 출력을 상기 예측 화상 생성 수단에서 사용하기 위하여 일시적으로 기억하는 기억 수단을 구비하고, 상기 부호화기 출력을 화상 부호화 장치의 출력으로 하는 화상 부호화 장치를 구성하는 것이다.

또, 복호화 장치로서, 입력 신호를 복호화하는 복호화 수단과, 이미 복호화된 화상 신호로부터 상기 입력 신호에 대한 예측 화상 신호를 생성하는 예측 화상 생성 수단과, 상기 예측 화상 신호에서 유의한 화소치로부터 소정의 함수를 사용해서 화소치를 생성하고, 상기 예측 화상 신호의 유의하지 않는 화소의 화소치를 상기 함수를 사용해서 생성한 화소치로 바꿔놓고 출력하는 화소치 생성 수단과, 상기 복호화 수단으로부터의 출력과 상기 화소치 생성 수단으로부터의 출력을 가산하는 가산 수단과, 상기 가산 수단의 출력을 상기 예측 화상 생성 수단에서 사용하기 위하여 일시적으로 기억하는 기억 수단을 가지고, 상기 가산 수단의 출력을 화상 복호화 출력으로 하는 디지털 화상 복호화 장치를 제공하는 것이다.

또 특히, 객체 형상의 경계에 인접하는 유의하지 않는 샘플치만으로 이루어진 무효 영역을 보전함으로써, 처리 영역이 적당한 정도로 확대되어, 크게 데이터량이 증대하는 일없이 유효하게 움직임 보상 등의 처리 정밀도가 향상된다.

더욱 구체적인 본 발명의 디지털 화상 보전 방법은, 제 1 보전 처리와 제 2 보전 처리를 구비하고, 제 1 보전 처리에 의해, 유의와 유의하지 않는 샘플치로 구성하는 임의 형상의 화상의 샘플을 제 1 방향을 따라서 주사하고, 제 1 방향에 있어서, 소정의 방법에 의해 선택한 유의한 샘플치를 유의하지 않는 샘플의 값으로 하여 제 1 보전 화상을 생성하고, 제 1 보전 처리에 의해, 유의와 유의하지 않는 샘플치로 구성하는 제 1 보전 화상의 각 샘플을 제 2 방향을 따라서 주사하고, 제 2 방향에 있어서, 소정의 방법에 의해 선택한 유의한 샘플치 또는 제 1 보전 처리에 의해 보전한 샘플치를 사용해서, 제 1 보전 화상의 유의하지 않는 샘플의 값으로 한다.

본 발명의 제 2의 더욱 구체적인 디지털 화상 보전 방법은, 임의 형상의 디지털 화상을 복수의 영역으로 분할하여 소정의 순번으로 처리하고, 형상의 경계에위치하는 경계 영역에 인접하는 유의하지 않는 샘플치만으로 이루어진 무효 영역을, 소정의 방법으로 구하게된 보전치에 의해 보전한다.

특히, 대상 영역이 무효 영역이 아닌 경우, 소정의 순번에 있어서 대상 영역에 인접하는 과거의 영역이 무효 영역이면, 과거의 영역을 소정의 방법으로 구하게된 보전치에 의해 보전하고, 대상 영역이 무효 영역인 경우, 소정의 순번에 있어서 대상 영역에 인접하는 과거의 영역이 무효 영역이 아니면, 대상 영역을 소정의 방법으로 구하게된 보전치에 의해 보전한다.

또, 본 발명의 디지털 화상 보전 방법을 사용한 화상 부호화 장치는, 임의 형상의 디지털 화상 데이터를 입력하는 입력 수단과, 이 디지털 화상을 서로 인접하는 복수의 영역으로 분할하고, 소정의 순번으로 처리하는 수단과, 대상 영역 데이터와, 예측 영역 데이터를 입력해서 차분 영역 데이터를 생성하는 제 1 가산기와, 이 차분 영역 데이터를 입력하고, 소정의 방법으로 압축 차분 영역 데이터로 압축하는 부호화기와, 이 신장 차분 영역 데이터를 입력하고, 예측 영역을 가산해서 재생 영역 데이터를 생성하는 제 2 가산기와, 이 재생 영역 데이터를 입력하고, 상기한 보전 방법에 의해 재생 영역에 포함되는 유의하지 않는 샘플치를 보전하는 제 1 보전기와, 유의하지 않는 샘플치를 보전한 재생 영역 데이터를 예측 영역 데이터로 해서 기억하는 프레임 메모리를 가진다.

또, 제 1 보전기 대신에, 또는 제 1 보전기에 부가해서 제 2 보전기를 추가하고, 예측 영역에 포함되는 유의하지 않는 샘플치를 보전한다.

또, 본 발명의 디지털 화상 보전 방법을 사용한 화상 복호화 장치는, 압축부호화 데이터를 입력하는 수단과, 이 압축 부호화 데이터를 분석하고, 압축 차분 신호를 출력하는 데이터 해석기와, 이 압축 차분 신호를 신장 차분 신호로 복원하는 복호화기와, 신장 차분 신호와 예측 신호를 가산해서, 재생 신호를 생성하여 출력하는 가산기와, 상기한 방법으로 재생 신호에 포함되는 유의하지 않는 샘플치를 보전하는 제 1 보전기와, 제 1 보전기에 의해 보전된 화상 데이터를 예측 신호로서 기억하는 프레임 메모리를 가진다.

또, 제 1 보전기 대신에, 또는 제 1 보전기에 부가해서 제 2 보전기를 추가하고, 예측 영역에 포함되는 유의하지 않는 샘플치를 보전한다.

이하, 본 발명을 구체적인 실시예를 사용해서 설명한다.

(실시예 1)

도 1은 본 발명의 실시예 1에 의한 디지털 화상 보전 방법의 모식도를 표시한다. 화상(501)은 보전할 대상이 되는 화상이다. 화상(501)의 각 칸막이눈은 화소를 표시하고, 화상으로부터의 샘플을 표시한다. 화소(502)에서부터 화소(507)는 유의한 샘플을 표시하고, 그 외의 샘플은 유의하지 않는 상태를 표시하고 있다.

본 실시예에서는, 어느 샘플치가 유의하는지 어떤지에 대해서, 화상의 형상 신호를 참조한다. 형상 신호가 0이면 유의하지 않고, 1이면 유의하다.

화상(501)에서부터 개시하여, 화살 표시로 표시한 화상(508)을 생성하려면 이하와 같이 각 유의하지 않는 샘플을 보전한다. 먼저 화상(501)의 각행(各行)을 주사한다. 이 주사 처리에 있어서, 유의한 샘플이 검출되면, 그 값을 유의하지 않는 샘플의 값으로 한다. 예를 들면, 제 1 행을 주사할 때에, 유의한 샘플이 없기 때문에, 보전 처리를 행할 수 없다. 제 2 행을 주사할 때에, 샘플(509, 510, 511)은 유의하지 않으나, 샘플(502)이 유의하기 때문에, 샘플(502)의 값 a를 인접하는 유의하지 않는 샘플(511)의 행의 샘플(509, 510, 511)의 값으로서 보전한다. 즉, 샘플(502)의 값을 인접하는 유의하지 않는 샘플(511)에서부터 샘플(510, 509)과 순차 반복하여 보전한다. 마찬가지로, 샘플(503)의 값 b를 반복하여 샘플(512, 513, 514)를 보전한다.

제 3 행도 동일하게 보전하고, 제 4 행에는 유의한 샘플이 없으므로, 아무것도 보전을 행하지 않는다. 이와 같이 보전한 화상(508)에 있어서, 제 2와 제 3 행째가 유의한 값을 가지는 것으로 된다.

다음에 화상(508)을 기초로, 나머지의 유의하지 않는 샘플을 보전한다. 다음의 스텝을 표시한 화살 표시 방향의 화상(519)에 표시한 바와 같이, 이 다음에는열(列) 방향으로 주사하고, 유의하지 않는 샘플(520, 528)을, 화상(508)의 스텝에서 이미 보전되어 있는 각 샘플(509, 515)에 의해 보전한다. 이와 같이 해서 샘플(521)에서부터 샘플(527)과, 샘플(529)에서부터 샘플(535)에 대해서도 마찬가지의 수법으로 보전한다.

이상과 같은 수순으로 보전을 행함으로써, 연속성을 유지하면서 간이한 수법에 의해 유의하지 않는 샘플을 보전할 수 있으므로, 화질을 유지하면서 화상 데이터의 압축 처리 등의 연산 처리를 효율적으로 행할 수 있다.

본 실시예에서는, 수평과 수직의 서로 직교하는 2개의 방향을 주사하여 보전을 행하였으나, 경사진 방향으로 주사해도 된다. 또한, 먼저 수직 방향을 주사하여 보전한 다음에 다음으로 수평 방향을 주사하여 보전하여도 된다. 또, 주사 방향에 있어서, 유의하지 않는 값에서부터 가장 가까운 유의한 샘플의 값에 의해 보전하였으나, 마찬가지로 연속성을 유지할 수 있으면 그에 한정되는 것은 아니다.

도 2는 본 발명의 실시예 1에 의한 디지털 화상 보전 방법의 제 1 변형의 모식도를 표시한다. 화상(508)에 있어서, 수평 방향으로 주사할 때에 유의하지 않는 샘플과 유의한 샘플의 경계를 중심으로 미러링을 행하여도 된다. 예를 들면, 샘플(511)과 샘플(502)이 거울을 경계로하여 샘플(502)의 값을 샘플(511)의 값으로 하고, 샘플(503)의 값을 샘플(510)의 값으로 해도 된다. 이와 같이 해서 화상(501)을 화살 표시의 스텝에서, 화상(508, 519)와 같이 순차 보전을 행하고, 모든 유의하지 않는 샘플을 보전한다.

도 3은 본 발명의 실시예 1에 의한 디지털 화상 보전 방법의 제 2 변형의 모식도를 표시한다. 이것은 유의하지 않는 샘플이 유의한 샘플 사이에 있을 경우의 보전 방법이다. 수평 방향으로 주사하는 경우에 대해서 설명하나, 그 외의 방법으로 주사하는 경우에도 동일하다. 샘플(612)과 샘플(613)은 샘플(602)의 값에 의해 보전한다. 다른 방법으로서 샘플(611)과 샘플(614)과 같이, 샘플(607)의 값에 의해 보전해도 된다. 최초의 방법은 샘플을 좌에서 우로 주사하여 유의한 샘플을 그대로 신장시키고 보전한다. 2번째의 방법은, 우에서 좌로 주사하여 유의한 샘플을 그대로 신장시켜 보전하는 경우이다. 3번째의 방법으로서, 주사 방향에 있어서 유의하지 않는 샘플에서부터 가장 가까운 유의한 샘플에 의해 보전한다. 샘플(615)과 샘플(617)은 이와 같이 보전한 것이다.

도 4는 본 발명의 실시예 1에 의한 디지털 화상 보전 방법의 제 3 변형의 모식도를 표시한다. 화상이 타원형을 한 객체를 표시하는, 즉 타원형에 유의한 샘플이 집합하고 있는 것이고, 이 화상을 기본적으로 도 1의 방법을 사용해서 보전하고 있다.

화상(701)은 유의한 샘플의 집합(702)으로 구성된다. 먼저 화상(703)과 같이 수평 방향으로 주사하여 보전한다. 다음에 화상(704)과 같이 수직 방향으로 주사하고, 유의한 샘플 또는 화상(703)에서 보전한 샘플을 사용해서 유의하지 않는 샘플을 보전한다. 한편, 화상(705)과 같이 먼저 수직으로 주사하여 보전한 다음에 수평 방향으로 주사하여 보전한다. 이와 같이 해서 얻게된 2개의 보전 화상(704, 706)을 평균화하여 화상(707)을 생성한다. 이와 같은 보전 방법에 의해, 더욱 복잡한 객체 표시 화상에 대해서도 유의한 샘플과 보전된 샘플의 연속성을 유지할 수있으므로, 화질을 유지하면서 연산 처리를 효율적으로 행하는 일이 가능한 것이다.

(실시예 2)

도 5는 본 발명의 실시예 2에 의한 디지털 화상 보전 방법의 모식도를 표시한다.

화상(801)은 유의한 샘플의 집합(802)으로 구성된다. 먼저 화상(801)을 수평 방향으로 주사하여 가장 가까운 유의한 샘플치를 유의하지 않는 샘플의 값으로 하고 화상(803)을 생성한다. 동시에, 화상(801)을 수직 방향으로 주사하여 가장 가까운 유의한 샘플치를 유의하지 않는 샘플의 값으로 하고 화상(804)을 생성한다.

화상(803)과 화상(804)의 양쪽의 보전 처리에서 중복해서 보전한 샘플에 대해서 양쪽의 보전치를 평균화한다. 한쪽편에만 보전치가 없는 경우, 그것을 화상(806)의 보전치로 한다. 화상(803)과 화상(804)의 양쪽의 보전 처리에도 보전치가 없는 샘플은 유의하지 않는 샘플 그대로가 된다. 이와 같은 유의하지 않는 샘플은, 다음에 그 샘플에서부터 가장 가까운 유의한 샘플 또는 보전한 샘플치에 의해 보전한다. 보전치의 후보가 2개 이상 있는 경우, 그들의 평균에 의해 보전한다. 또는 그들 중의 하나를 사용해서 보전해도 된다. 최종적으로는 화상(811)과 같이 모든 샘플이 보전하는 것으로 된다.

이 실시예에 의한 보전 방법도 실시예 1과 마찬가지로, 복잡한 형상의 유의하지 않는 샘플의 집합과 보전되는 유의하지 않는 샘플과의 연속성을 유지하는 다른 발명의 보전 방법이다.

(실시예 3)

도 6은 본 발명의 실시예 3에 의한 디지털 화상 보전 방법의 모식도를 표시한다.

화상(901)은 유의한 샘플의 집합(902)으로 구성된다. 본 실시예에서는, 유의한 샘플의 집합(902)을 둘러싸는 영역(904)을 결정하고, 그 영역(904) 중에서, 유의하지 않는 값을 보전한다. 보전 방법에 대해서 상기한 것을 사용한다. 나머지 영역(905)은, 보전한 영역(904)을 참조해서 단순한 보전 방법에 의해 보전하고, 모든 유의하지 않는 샘플치를 보전한다(화상 906).

영역(904)은 직사각형인 것이 바람직하나 그 이외의 형상이라도 된다. 영역(904)은 유의한 샘플의 집합(902)를 포함하는 가장 작은 직사각형 또는, 최소 직사각형으로부터 k 샘플 확대한 직사각형이라도 된다. k의 값은 직사각형의 사이즈가 소정의 조건을 만족하도록 결정한다. 예를 들면, 16의 배수가 되도록 k의 값을 결정한다.

도 7은 본 발명의 실시예 3에 의한 디지털 화상 보전 방법의 일변형을 표시한 모식도이며, 화상(910)은 복수의 유의한 샘플의 집합(911, 912, 913)으로 구성된다. 이들 집합을 각각 포함하는 영역(915, 916, 917)으로 분할한 다음에, 각각의 영역 중에서 상기한 방법으로 보전한다.

본 실시예에 의한 보전 방법에 의하면, 미리 처리 범위를 규정함으로써, 연산 처리가 효율적으로 행하여지는 것이다.

(실시예 4)

도 8은 본 발명의 실시예 4에 의한 디지털 화상 보전 방법의 모식도를 표시한다.

화상(920)은 M×N의 샘플로 이루어진 영역(블록)으로 분할한 후에 보전을 행한다. 바람직하게는 M=N=8 또는 16이나, 임의의 값이라도 되고, 삼각 등의 형상으로 분할해도 된다. 블록(921)에서부터 블록(929)은 부분적으로 유의한 샘플을 포함하고 있다. 그들의 값을 참조해서, 상기한 방법으로 유의하지 않는 샘플을 보전한다.

유의한 샘플을 포함하지 않는 블록(930)이나 블록(931)을 보전할 때에, 소정의 값으로 보전하거나(바람직하게는 128), 또는 가장 가까운 유의한 샘플치를 참조해서 보전한다. 블록(930)을 고려한다. 블록(930)은 유의한 샘플을 가지는 블록 주에서 블록(929)으로부터 가장 가깝다. 이것은 블록의 좌상의 샘플의 좌표점 간의 거리를 구함으로써 알 수 있다. 블록(929)의 유의한 샘플치의 평균치를 구해서 보전한다.

또, 블록(931)과 같이 유의한 샘플을 가지는 가장 가까운 블록은 블록(922)이며, 그 유의한 샘플치의 평균에 의해 보전해도 되나, 경계에 있는 샘플(934, 935, 936, 937)을 그대로 반복해서 보전해도 된다.

이와 같이, 소정의 블록 단위로 보전을 행함으로써, 보다 효율적으로 연산 처리가 가능하게 되는 것이다.

본 발명의 디지털 화상 보전 방법을 화상 부호화, 복호화 장치에 적응하였을경우의 실시예에 대해서 이하에 설명한다.

(실시예 5)

도 9는 본 발명의 실시예 5에 의한 디지털 화상 부호화 장치의 블록도를 표시한다, 도 9에 있어서, 201은 입력 단자, 202는 제 1 가산기, 203은 부호화기, 204는 이산 코사인 변환기(DCT), 205는 양자화기, 206은 출력 단자, 207은 복호화기, 208은 역 양자화기, 209는 역 이산 코사인 변환기(IDCT), 210은 제 2 가산기, 211은 가변장 부호화기(VLC), 213은 프레임 메모리, 214는 움직임 검출기, 215는 움직임 보상기, 240은 제 1 보전기, 241은 제 2 보전기이다.

이상과 같이 구성된 디지털 화상 부호화 장치에 대해서, 이하, 그 동작을 설명한다. 임의 형상을 가지는 화상을 입력 단자(201)에 입력한다. 입력한 화상을 복수의 인접하는 영역으로 분할한다. 본 실시예에서는, 8×8 또는 16×16의 샘플로 이루어진 블록으로 분할하나, 임의의 형상이라도 된다. 부호화의 대상이 되는 블록을 라인(225)을 경유해서 움직임 검출기(214)에 입력한다. 동시에 프레임 메모리(213)에 격납하고 있는 과거의 재생 화상(이하, 참조 화상이라 호칭함)을 움직임 검출기(214)에 입력하고, 블록 매칭 등의 방법으로 대상 블록에 대해 오차가 가장 작은 예측 신호를 부여하는 움직임 변위 정보(이하, 움직임 벡터라 호칭함)를 구해서 출력한다.

이 움직임 벡터를 움직임 보상기(215)로 보내고, 그래서, 참조 화상으로부터 예측 블록을 생성한다. 움직임 벡터는 또 라인(228)을 경유하여 VLC(211)로 보내고 가변장 부호로 변환한다.

대상 블록은 제 1 보전기(240)로 보내서 상기한 실시예에 표시한 방법에 의해 보전하고, 보전 대상 블록을 생성한다. 예측 블록은 제 2 보전기(241)로 보내고 상기한 방법에 의해 보전하고, 보전 예측 블록을 생성한다.

보전 대상 블록과 보전 예측 블록을 제 1 가산기(202)로 보내어 차분을 취하고 잔여차의 블록을 생성한다. 잔여차의 블록을 부호화기(203)에 의해 압축한다. 본 실시예에서는 DCT(204) 및 양자화기(205)에 의해서 압축한다. 양자화된 데이터를 VLC(211)로 보내어 가변장 부호화로 변환하고, 움직임 벡터를 포함하는 기타의 사이드 정보와 함께 출력 단자(206)에 출력한다.

한편, 압축된 데이터를 복호화기(207)로 보내어, 신장한다. 본 실시예에서는 역 양자화기(208)에 의해 역 양자화하고, IDCT(209)에 의해 공간 영역의 데이터로 신장한다. 신장한 잔여차 블록 데이터에, 라인(227)을 경유하여 보내게 되는 보전 예측 블록 데이터를 가산하고, 재생 블록을 생성한다. 재생 블록 데이터를 프레임 메모리(213)에 격납한다. 또한, 도시되어 있지는 않으나 샘플치가 유의하는 지 여부를 표시하려면 형상 신호를 미리 부호화·복호화한 것을 참조한다.

이와 같이, 대상 블록과 예측 블록을 보전함으로써, 움직임 보상에 의한 에지부의 어긋남 때문에 생기는 큰 예측 오차를 억제할 수 있다.

또한, 도시 생략하고 있으나 보전기(246)를 움직임 보상기(215)의 앞에 배치해도 된다. 또 본 실시예에서는 이산 코사인 변환을 사용하였으나, 형상 적응 이산 코사인 변환이나 서브 밴드나 워어브레트를 사용하였을 경우에서도 동일하다.

(실시예 6)

도 10은 본 발명의 실시예 6에 의한 디지털 부호화 장치의 블록도를 표시한다. 기본 적인 동작은 실시예 6과 동일하다. 다른 점은 제 1 보전기(240)에 있어서, 대상 블록을 보전하려면, 예측 블록을 보전하기 위한 값을 사용한다. 이 값은 라인(243)을 경유해서 제 2 보전기(241)에서부터 제 1 보전기(240)로 전송된다. 이와 같이 보전치를 공유함으로써 대부분의 차분치가 0으로 되기 때문에 예측 오차를 더욱 억제할 수 있다.

(실시예 7)

도 11은 본 발명의 실시예 7에 의한 디지털 형상 복호화 장치의 블록도를 표시한다. 도 11에 있어서, 301은 입력 단자, 302는 데이터 해석기, 303은 복호화기, 304는 역 양자화기, 305는 IDCT, 306은 가산기, 307은 출력 단자, 309는 프레임 메모리, 310은 움직임 보상기, 330은 보전기이다.

이상과 같이 구성된 디지털 화상 복호화 장치에 대해서, 이하, 그 동작을 설명한다. 압축 부호화된 데이터를 입력 단자(301)에 입력하고, 데이터 해석기(302)에 의해 데이터를 해석한다. 압축된 잔여차 블록의 데이터를 라인(312)을 경유해서 복호화기(303)에 출력하고, 움직임 벡터를 라인(319)을 경유하여 움직임 보상기(310)에 출력한다. 복호화기(303)에서는, 압축 잔여차 블록을 신장하여, 신장 잔여차 블록으로 복원한다. 본 실시예에서는, 역 양자화기(304)에 의해 역 양자화하고, 역 이산 코사인 변환 IDCt(305)에 의해 주파수 영역 신호를 공간 영역신호로 변환한다. 움직임 벡터를 라인(318)을 경유하여 움직임 보상기(310)에 입력한다. 움직임 보상기(310)에서는, 움직임 벡터를 기초로, 프레임 메모리(309)를 액세스하기 위한 어드레스를 생성하고, 프레임 메모리(309)에 격납되는 화상으로부터 예측 블록을 생성한다. 생성된 예측 블록을 보전기(330)로 전송하고, 그래서 상기한 방법으로 유의하지 않는 샘플을 보전하고, 보전 예측 블록을 생성한다. 보전 예측 블록과 신장한 잔여차 블록을 가산기(306)에 입력하고, 가산함으로써 재생 블록을 생성한다. 재생 블록을 출력 단자(307)에 출력하는 동시에 프레임 메모리(309)에 격납한다.

본 실시예에서는, 움직임 보상한 예측 블록을 보전하는 것으로 설명하였으나, 움직임 보상하면서 보전을 행하여도 된다. 여기서 말하는 움직임 보상은 오버랩 움직임 보상을 포함한다. 또한 도시 생략한 샘플치가 유의한지의 여부를 표시하려면, 형상 신호를 미리 복호화한 것을 참조한다.

도 14는 본 발명의 실시예 7에 의한 디지털 화상 복호화 장치의 일변형의 블록도를 표시한다. 기본적인 동작은 도 11과 동일하다. 이 경우 보전기(332)는 움직임 보상기(310)의 앞에 설치하고 있다.

(실시예 8)

도 12는 본 발명의 실시예 8에 의한 디지털 화상 부호화 장치의 블록도를 표시한다. 기본적인 동작은 도 9와 동일하다. 이 경우 보전기(212)는 프레임 메모리의 앞에 설치되어 있다. 가산기9210)로부터의 재생 블록은, 즉시 보전할 수 있는 장점이 있다. 또, DCT(204)의 앞에 보전기(244)가 설치되어 있다. 이 보전기(244)에 의해서, DCT 계수가 작아지도록 보전을 행한다. 그 중에서도, 차분 블록에 대해서 대상 블록의 유의하지 않은 영역을 0으로 보전한다.

도 13은 본 발명의 실시예 8에 의한 디지털 화상 부호화 장치의 일변형의 블록도를 표시한다. 도 12에 부가해서 움직임 보상기(215)의 뒤에 보전기(246)가 설치되어 있다. 움직임 보상을 한 다음에 예측 신호를 다시 보전하고, 예측 오차를 억제하는 효과가 있다.

또한, 도시 생략한 보전기(246)를 움직임 보상기(215)의 앞에 배치해도 된다.

(실시예 9)

도 15는 본 발명의 실시예 9에 의한 디지털 화상 복호화 장치의 블록도를 표시한다. 이것은 도 12의 부호화 장치에 대한 복호화 장치이다. 기본적인 동작은, 도 14와 동일하다. 이 경우, 프레임 메모리(309)의 앞에 보전기(308)를 설치하고 있다. 재생한 블록을 곧 보전하여 프레임 메모리에 격납할 수 있다.

도 16은 본 발명의 실시예 9에 의한 디지털 화상 복호화 장치의 일변형을 표시한 블록도이다. 이것은 도 13의 부호화 장치에 대한 복호화 장치이다. 기본적으로는 도 15와 동일하다. 상이한 것은 움직임 보상기(310)의 뒤에 보전기(330)를 설치하여 예측 블록을 보전한다.

(실시예 10)

도 17은 본 발명의 실시예 10에 의한 디지털 화상 부호화 장치·복호화 장치에 사용하는 보전 방법의 모식도를 표시한다. 여기서는 도 11을 예로 해서 보전기(330)의 동작을 설명한다. 도 17에서는 대상 화상(블록)(940)은 유의한 샘플의 집합(943)과 유의하지 않는 샘플의 집합(944)으로 이루어진다. 사선 부분은 유의한 영역이다. 예측 화상(941)은 움직임 보상해서 얻게된 화상이고, 유의한 샘플의 집합(945)과 유의하지 않는 샘플의 집합(946)으로 이루어진다.

도 11의 복호화 장치에 있어서, 예측 화상(941)을 보전한 다음에 가산기(306)로 보낸다. 보전기(330)에서는 유의하지 않는 영역(946)을 전부 보전해도 되나, 대상 화상의 유의한 영역만을 보전한 쪽이 연산량이 적다. 대상 화상(940)의 형상을 참조해서, 예측 화상의 유의하지 않는 영역 또한 대상 화상의 유의한 영역을 결정하고(화상(942)의 영역(947)), 그 영역만을 보전한다.

도 18은 본 발명의 실시예 10에 의한 디지털 화상 부호화 장치·복호화 장치에 사용하는 보전 방법의 일변형을 표시한 모식도이다. 보전의 대상이 되는 블록에 유의한 샘플이 하나도 없는 경우를 고려한다. 도 15의 보전기(308)를 예로 들어 설명한다. 도 18의 블록(962)이 보전의 대상이 되는 블록으로 한다. 이 블록에는 유의한 샘플치가 없으므로 블록 내에서 보전할 수 없다.

그 때문에, 인접하는 블록중에서 적어도 1개의 유의한 샘플로 이루어진 블록을 찾고, 그것을 참조해서 보전한다. 그러나, 도 15의 보전기(308)에서는, 블록(962)은 블록(964)보다 앞에 재생되기 때문에, 블록(964)을 참조해서 보전할수 없다. 그래서, 이미 재생된 블록(966, 965, 961, 963)을 차례로, 유의한 샘플을 포함하는 블록을 찾아내고 그것을 참조해서 보전한다.

또한, 움직임 보상한 예측 블록에 유의한 샘플이 포함되지 않는 경우도 동일하게, 복호화의 대상이 되는 블록에 인접하는 재생 블록중에서 유의한 샘플을 포함하는 블록을 참조해서 보전한다. 보전치의 계산 방법으로서 평균치나 반복 보전을 사용해도 된다.

이상의 설명에서 명백한 바와 같이, 본 발명의 화상 부호화 장치 및 화상 복호화 장치를 사용함으로써, 재생 화상의 화질에는 영향을 주지않는 유의하지 않는 화소의 화소치를 부호화 효율이 향상되는 값으로 해서 부호화 할 수 있으므로, 부호화 효율을 향상할 수 있어 그 실용적 가치는 높다.

(실시예 11)

도 19는 본 발명의 실시예 11에 의한 디지털 화상의 보전 방법의 흐름도를 표시한다. 임의 형상을 가지는 화상을 입력하고, 서로 인접하는 복수의 영역으로 분할해서, 각 영역에 대해서 소정의 순번으로 주사하고, 1개씩 도 19의 흐름도의 방법에 따라서 처리한다. 본 실시예에서는, 화상의 좌상에 있는 영역에서부터 스타트하고, 러스터·스캔과 동일 순번으로 영역을 주사할 수 있다. 영역의 형상은 삼각형이라도 되고, 직사각형이나 정사각형이라도 된다. 본 실시예에서는 N×N 개의 샘플로 이루어진 정사각형으로 분할해서 처리한다. N은 8 또는 16이다. 이하에서는, N×N개의 정사각형을 블록이라 호칭한다.

먼저 스텝 12에서는, 현재 처리의 대상이 되는 블록(현 블록)이 완전히 임의 형상의 화상, 즉, 객체의 바깥에 있는 지의 여부를 조사한다. 완전히 객체의 바깥에 있는 경우, 해당하는 블록의 샘플치는 모두 유의하지 않다. 본 실시예에서는, 어느 샘플치가 유의하는 지 여부에 대해서, 해당되는 화상의 형상 신호를 참조한다. 형상 신호가 0이면 유의하지 않고, 1이면 유의하다.

현 블록이 완전히 객체의 바깥에 없으면, 스텝 14로 진행한다. 여기서, 현 블록에 인접하는 과거의 블록은 완전히 객체의 바깥에 있는지 여부를 조사한다. 여기에 과거의 블록이란, 영역의 주사의 순번에 있어서, 앞에 처리된 블록이란 말이다. 인접하는 과거의 블록이 완전히 객체의 바깥에 있으면, 스텝 16에 있어서 소정의 방법으로 보전치를 계산하고, 스텝 18에서 인접하는 과거의 블록의 샘플치를 바꿔놓고, 보전한다.

스텝 12에 있어서, 현 블록이 완전히 객체의 바깥에 있으면, 스텝 20으로 진행한다. 여기서, 인접하는 과거의 블록이 완전히 객체의 바깥에 있는 지 여부를 조사한다. 그렇지 않으면, 스텝 22에 있어서 소정의 방법으로 보전치를 계산하고, 스텝 24에서 현 블록의 샘플치를 바꿔놓고, 보전한다. 또한, 인접하는 과거의 블록이 스텝 18에서 보전되었을 경우, 스텝 20에 있어서 완전히 객체의 바깥에 없는 것으로 판단해도 된다.

이 처리를 마지막의 블록까지 반복한다(스텝 26, 28).

(실시예 12)

도 20과 도 21은 보전치의 계산 방법에 대한 모식도를 표시하고 있다. 도 20은 현 블록과 과거의 블록이 수평 방향으로 인접하는 경우이다. 도 20(A)에서는, 블록(132)이 현 블록이고, 과거의 블록(130)이 과거의 블록이다. 각 칸막이 눈은 화상의 샘플(화소)을 표시한다. 블록(130)이 완전히 객체의 바깥에 있는 것으로 하고, 현 블록(132)에 포함되는 유의한 샘플치(134, 136, 138, 140, 142, 144)의 평균치를 구해서, 과거의 블록(130)의 각 칸막이 눈에 대입함으로써 보전한다. 도 20(B)에서는, 현 블록(148)의 유의한 샘플치(150, 152, 154, 156)를 반복함으로써 과거의 블록(146)(완전히 객체의 바깥에 있는 것으로 하고)의 각 칸막이 눈을 보전한다. 즉 과거의 블록(146)의 제 1, 2, 3, 4행의 칸막이 눈을 각각 샘플치(150, 152, 154, 156)에 의해 대입한다. 또 도 20(C)에서는 현 블록(160)이 완전히 객체의 바깥에 있으며, 과거의 블록(158)은 객체의 바깥에 없는 경우에 대해서, 과거의 블록(158)의 유의한 샘플치(162, 164, 166, 168)를 반복하여 현 블록(160)의 각 칸막이 눈을 보전한다.

도 21은 현 블록과 과거의 블록이 수직 방향으로 인접한 경우를 표시한다. 도 21(A)에서는, 블록(172)이 현 블록이고, 블록(170)이 과거의 블록이다. 각 칸막이 눈은 화상의 샘플(화소)를 표시한다. 과거의 블록(170)이 완전히 객체의 바깥에 있는 것으로 하고, 현 블록(172)에 포함되는 유의한 샘플치(174, 176, 178, 180, 182, 184)의 평균치를 구해서, 과거의 블록(170)의 각 칸막이 눈에 대입함으로써 보전한다.

도 21(B)에서는, 현 블록(188)의 유의한 샘플치(190, 192, 194, 196)를 반복함으로써 과거의 블록(186)(완전히 객체의 바깥에 있는 것으로 하고)의 각 칸막이 눈을 보전한다. 즉, 과거의 블록(186)의 제 1, 2, 3, 4열의 칸막이 눈을 각각 유의한 샘플치(196, 194, 192, 190)에 의해 대입한다.

또 도 21(C)에서는 현 블록(198)이 완전히 객체의 바깥에 있고, 과거의 블록(199)은 객체의 바깥에 없는 경우에 대해서, 과거의 블록(199)의 유의한 샘플치(1100, 1102, 1104, 1106)를 반복하여 현 블록(198)의 각 칸막이 눈을 보전한다. 또한, 간단화 하기 위하여 4×4의 블록에 대해서 설명하였으나, N×N(N=임의의 정수)의 블록에 대해서도 마찬가지이다.

(실시예 13)

도 22는 도 19의 흐름도에 스텝 13을 부가한 것이다. 즉, 현 블록이 완전히 객체의 바깥에 없는 경우, 현 블록에 포함되는 객체 외부의 영역을 보전한다. 도 20(A)의 현 블록(132)에는 객체 외부의 영역이 포함되는 예이다. 샘플(134, 136, 138, 140, 142, 144)은 객체 내에 있는 유의한 샘플이고, 그 이외의 샘플(빈틈이 있는 칸막이 눈)은 객체 외부에 있는, 유의하지 않는 샘플이다.

이들 유의하지 않는 샘플을 보전하려면, 유의한 샘플의 평균치에 의해 대입하는 방법이 있다. 본 실시예에서는 경계에 있는 샘플(134, 136, 144)을 수평·수직 방향으로 반복하여 보전한다. 보전치가 두 개 있는 경우, 양 보전치를 평균한다. 스텝 13에 있어서의 현 블록의 보전에 의해 현 블록의 모든 샘플이 단지 하나의 값이 대입되기 때문에, 스텝 18에 있어서의 과거의 블록의 보전은, 도 20(B) 혹은 도 21(B)에 표시한 바와 같이, 현 블록과 과거의 블록의 경계에 있는 현 블록의 유의한 샘플치를 반복해서 보전할 수 있다. 또한, 반복하는 대신에, 평균치를 구해서 대입해도 된다.

(실시예 14)

도 23은 도 22에 있어서, 스텝 15, 19, 21에 수평 방향으로 인접하는 과거의 블록을 사용한 처리로 한정했을 경우의 흐름도를 표시한다. 도 23의 처리에 따라서 보전한 화상(108)의 예를 도 24에 표시한다. 별의 형상(110)이 유의한 객체이고, 그 이외의 부분은 유의하지 않는 샘플로 구성된다. 화상(108)은 7×7의 블록으로 분할되어 있다. 블록(1112)과 동일한 모양으로 빈틈없이 매워진 블록은 도 23의 스텝 13에 의해서 보전된 것이다. 블록(1114)과 동일한 모양으로 빈틈없이 매워진 블록은 도 23의 스텝 19 혹은 스텝 24에 의해서 보전된 것이다.

도 23과 도 24를 사용해서 이 실시예의 보전 방법을 설명한다. 먼저 블록(1112)에 대해서 생각한다. 스텝 12에 있어서 현 블록(1112)은 완전히 객체의 바깥에 없기 때문에, 스텝 13에서 보전된다. 스텝 15에 있어서 수평으로 인접하는 과거의 블록이 완전히 객체의 바깥에 없기 때문에, 아무것도 하지 않는다.

다음에 블록(1114)에 대해서 설명한다. 스텝 12에 있어서 현 블록(1114)은 완전히 객체의 바깥에 있기 때문에, 스텝 21로 진행한다. 여기서 수평으로 인접하는 과거의 블록이 완전히 객체의 바깥에 없으므로, 그것을 참조해서 스텝 24에 있어서 현 블록(1114)을 보전한다.

마지막으로 블록(1116)에 대해서 생각한다. 스텝 12에 있어서 현 블록(1116)은 완전히 객체의 바깥에 있기 때문에, 스텝 21로 진행한다. 여기서 수평으로 인접하는 과거의 블록(1115)이 완전히 객체의 바깥에 없으므로, 그것을 참조해서 스텝 24에 있어서 현 블록(1116)을 보전한다.

다음에 블록(1117)으로 될 때, 스텝 12에 있어서 현 블록(1117)은 완전히 객체의 바깥에 없기 때문에, 스텝 13에서 보전되고, 스텝 15에 있어서 수평으로 인접하는 과거의 블록(1116)은 완전히 객체의 바깥에 있기 때문에 스텝 19에서 보전된다. 즉, 블록(1116)은 2회 보전되게 된다. 복수의 보전치가 있는 경우, 이들 보전치를 평균화한다. 또한, 복수의 보전치가 있는 경우, 그 중의 하나를 선택해서 보전하는 것도 가능하다. 이와 같이 해서, 화상(108)의 객체를 수평 방향으로 확장해서 보전할 수 있었다.

또, 도 23의 스텝 15, 19와 21의 처리를 수평으로부터 수직으로 변경하면 도 25에 표시되는 수직 방향으로 확장 보전한 화상을 얻을 수 있다. 또, 수평과 수직을 조합해서 처리하면, 도 26과 같이 수평·수직 방향으로 확장 보전한 화상을 얻을 수 있다. 이 경우 2회 이상 보전되는 경우, 복수의 보전치의 전부 또는 일부를 평균화한다. 또한, 복수의 보전 후보가 있을 경우, 처리의 순번에 있어서 최근의 후보에 의해 보전해도 된다.

본 발명의 디지털 화상 보전 방법을 화상 부호화·복호화 장치에 적응하였을 경우의 실시예에 대해서 이하에 설명한다.

(실시예 15)

도 27은 본 발명의 실시예 15에 의한 디지털 화상 부호화 장치를 표시하고, 도 27에 있어서 201은 입력 단자, 202는 제 1 가산기, 203은 부호화기, 204는 이산 코사인 변환기(DCT), 205는 양자화기, 206은 출력 단자, 207은 복호화기, 208은 역 양자화기, 209는 역 이산 코사인 변환기(IDCT), 210은 제 2 가산기, 211은 가변장 부호화기(VLC), 212는 보전기, 213은 프레임 메모리, 214는 움직임 검출기, 215는 움직임 보상기이다.

이상과 같이 구성된 디지털 화상 부호화 장치에 대해서, 이하 그 동작을 설명한다. 임의 형상을 가지는 화상을 입력 단자(201)에 입력한다. 입력한 화상을 복수의 인접하는 영역으로 분할한다. 본 실시예에서는, 8×8 또는 16×16의 샘플로 이루어진 블록으로 분할하나, 임의의 형상이라도 된다.

예로서 도 24를 참조하기 바란다. 부호화의 대상이 되는 블록을 라인(225)을 경유하여 움직임 검출기(214)에 입력한다. 동시에 프레임 메모리(213)에 격납하고 있는 과거의 재생 화상(이하, 참조 화상이라 호칭함)을 움직임 검출기(214)에 입력하고, 블록 매칭 등의 방법으로 대상 블록에 대해 오차가 가장 작은 예측 신호를 부여하는 움직임 변위 정보(이하, 움직임 벡터라 호칭함)를 구해서 출력한다.

이 움직임 벡터를 움직임 보상기(215)로 보내고, 그래서, 참조 화상으로부터 예측 블록을 생성한다. 움직임 벡터는 또 라인(228)을 경유하여 VLC(211)로 전송하여 가변장 부호로 변환한다. 대상 블록과 예측 블록을 제 1 가산기(202)로 전송하여 차분을 취하고 잔여차 블록을 생성한다. 잔여차 블록을 부호화기(203)에 의해 압축된다. 본 실시예에서는, DCT(204) 및 양자화기(205)에 의해서 압축된다.

양자화된 데이터를 VLC(211)로 전송하여 가변장 부호화로 변환하고, 움직임 벡터를 포함하는 그 외의 사이드 정보와 함께 출력 단자(206)에 의해서 압축된다.

한편, 압축된 데이터를 복호화기(207)로 전송하여 신장한다. 본 실시예에서는 역 양자화기(208)에 의해 역 양자화하고, IDCt(209)에 의해 공간 영역의 데이터로 신장한다. 신장된 잔여차 블록에, 라인(227)을 경유하여 전송되는 예측 블록을 가산하여, 재생 블록을 생성한다. 이 재생 블록을 보전기(212)에 입력하고, 실시예 11에서 설명한 보전 방법으로, 재생 블록의 유의하지 않는 샘플치를 바꿔놓고 보전한다. 보전한 재생 블록을 프레임 메모리(213)에 격납한다. 또한, 도시되어 있지 않으나 샘플치가 유의한지 여부를 표시하려면, 형상 신호를 미리 부호화·복호화한 것을 참조한다.

프레임 메모리(213)에 격납되는 보전된 화상은 예를 들면 도 24, 25, 26과 같이 된다. 보전된 화상을 라인(224)을 경유하여 움직임 검출기(214)와 움직임 보상기(215)로 전송한다. 본 실시예에서는, 움직임 검출과 움직임 보상의 범위를 보전된 영역 내(도 24, 25, 26에서는 빈틈없이 매워진 영역)로 제한한다. 즉, 보전된 영역 이외의 샘플을 액세스하지 않는다.

도 28은 도 27의 화상 부호화 장치에 기록기(229)를 접속한 화상 부호화 장치이다. VLC(211)에 의해서 가변장 부호화된 데이터를 기록기(229)를 경유하여 자기 미디어(테이프나 디스크), 광디스크 등의 기록 매체에 기록한다.

이와 같이, 객체의 경계 영역에 인접하는 영역을 보전함으로써, 움직임 검출·움직임 보상의 범위가 넓어지고, 움직임이 큰 화상에 대해서도 잔여차가 적은 예측 블록을 얻을 수 있다. 또, 본 발명의 보전 방법은 영역(블록)마다 행함으로, 지연 시간이나 연산량을 억제할 수 있다.

또한, 본 실시예에서는 이산 코사인 변환을 사용하였으나, 형상 적응 이산 코사인 변환이나 서브 밴드나 워어브레트를 사용한 경우라도 동일하다.

(실시예 16)

도 29는 본 발명의 실시예 16에 의한 디지털 화상 복호화 장치를 표시하고, 도 29에 있어서 301은 입력 단자, 302는 데이터 해석기, 303은 복호화기, 304는 역 양자화기, 305는 IDCT, 306은 가산기, 307은 출력 단자, 308은 보전기, 309는 프레임 메모리, 310은 움직임 보상기이다.

이상과 같이 구성된 디지털 화상 복호화 장치에 대해서, 이하, 그 동작을 설명한다. 압축 부호화된 데이터를 입력 단자(301)에 입력하고, 데이터 해석기(302)에 의해 데이터를 해석한다. 압축된 잔여차 블록의 데이터를 라인(312)을 경유하여 복호화기(303)에 출력하고, 움직임 벡터를 라인(318)을 경유하여 움직임 보상기(310)에 출력한다. 복호화기(303)에서는, 압축 잔여차 블록을 신장하고, 신장 잔여차 블록으로 복원한다. 본 실시예에서는, 역양자화기(304)에 의해 역 양자화하고, 역 이산 코사인 변환 IDCt(305)에 의해 주파수 영역 신호를 공간 영역 신호로 변환한다. 움직임 벡터를 라인(318)을 경유하여 움직임 보상기(310)에 입력한다.

움직임 보상기(310)에서는, 움직임 벡터를 기초로, 프레임 메모리(309)를 액세스하기 위한 어드레스를 생성하고, 프레임 메모리(309)에 격납되는 화상으로부터 예측 블록을 생성한다. 생성된 예측 블록과 신장된 잔여차 블록을 가산기(306)에 입력하고, 가산함으로써 재생 블록을 생성한다. 재생 블록을 출력 단자(307)에 출력하는 동시에 보상기(308)에 입력하고, 실시예 11에 설명한 보전 방법에 의해 재생된 화상을 보전하고, 프레임 메모리(309)에 격납한다.

(실시예 17)

도 30은 본 발명의 실시예 17에 의한 디지털 화상 부호화 장치를 표시한다. 기본 구성은 도 27과 동일하다. 보전기(212) 대신에 초기화기(230)를 사용한다. 화상을 프레임 메모리(213)에 기록하기 전에, 초기화기(230)에 의해서 프레임 메모리(213)에 소정의 초기화값에 의해 초기화한다. 초기화된 프레임 메모리(213)에 제 2 가산기(210)로부터 출력된 재생 블록을 기록한다. 초기화값으로서 고정된 값을 사용해도 된다. 또는, 과거에 재생된 화상의 유의한 샘플치의 평균치를 사용해도 된다.

도 31은 도 30의 화상 부호화 장치에 기록기(229)를 접속한 것이다. VLC(211)에 의해서 가변장 부호화된 데이터를 기록기(229)를 경유하여 자기 미디어(테이프나 디스크), 광디스크 등의 기록 매체에 기록한다.

(실시예 18)

도 32는 본 발명의 실시예 18에 의한 디지털 화상 복호화 장치를 표시한다. 기본 구성은 도 29와 동일하다. 보전기(308) 대신에 초기화기(320)를 사용한다. 화상을 프레임 메모리(309)에 기록하기 전에, 초기화기(320)에 의해서 프레임 메모리(309)에 소정의 초기화값에 의해 초기화한다. 초기화된 프레임 메모리(309)에 가산기(306)로부터 출력된 재생 블록을 기록한다. 초기화값으로서 고정된 값을 사용해도 된다. 또는, 과거에 재생된 화상의 유의한 샘플치의 평균치를 사용해도 된다.

본 발명은, 간단한 보전 방법으로, 움직임 보상된 소영역 도는 재생된 소영역의 단위로 보전함으로써, 연산량을 대폭적으로 삭감할 수 있다. 보전의 범위는 소영역으로 끝내고 있으므로, 전체 화면에 걸쳐서 보전하는 것보다도 지연 시간을 단축할 수 있다. 또, 경계 영역뿐만 아니라, 경계 영역에 인접하는 유의하지 않는 샘플치만으로 이루어진 영역을 보전하고, 그것을 사용해서 움직임 검출·움직임 보상하기 위하여, 움직임이 큰 화상에 대해서, 차분이 작은 예측 신호를 얻을 수 있다. 이들 요인에 의해, 임의 형상의 화상의 예측 부호화·복호화는 효율좋게 행할 수 있는 효과를 가져오게 된다.

Claims (6)

1. 비유의 화소의 화소 텍스처값을 보전하는 방법에 있어서,

   (a)임의 형상의 객체 화상을 복수의 블록으로 분할하여, 보전 대상으로 되는 정사각형 블록을 얻되, 해당 정사각형 블록은 임의 형상의 객체의 경계에 놓인 경계 블록 또는 유의 화소를 포함하지 않는 외측 블록이며, 상기 임의 형상 객체 화상은 화소가 임의 형상 객체의 외측인(비유의인) 지 또는 임의 형상 객체의 내측인(유의인) 지를 나타내는 형상 신호와, 상기 임의 형상 객체 내측의 화소의 화소 텍스처값을 나타내는 텍스처 신호를 포함하는 것인 단계와,

   (b) 상기 임의 형상의 객체 경계 상의 유의 화소의 화소 텍스처값을 이용하여 상기 경계 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 단계와,

   (c) 상기 경계 블록의 블록 경계에서의 화소 텍스처값을 이용하여 상기 외측 블록 내의 비유의 화소의 화소 텍스처값을 보전하되, 상기 경계 블록 내의 모든 비유의 화소의 화소 텍스처값은 상기 단계(b)에서 보전된 것이고, 외측 블록은 상기 경계 블록에 인접하는 것인 단계

   를 포함하는 것을 특징으로 하는 보전 방법.
2. 제 1 항에 있어서,

   상기 경계 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 보전 단계(b)는, 수평 방향의 반복 보전 처리와 수직 방향의 반복 보전 처리를 포함하되,

   (1) 상기 수평 방향의 반복 보전 처리는,

   동일한 행의 상기 임의 형상 객체 경계 상의 유의 화소의 화소 텍스처값을 이용하여 각 행마다 수평 보전값을 생성하는 단계와,

   상기 임의 형상 객체의 외측의 비유의 화소의 화소 텍스처값을 수평 방향으로 상기 생성된 수평 보전값으로 채워 수평 보전 블록을 생성하는 단계를 포함하고,

   (2) 상기 수직 방향의 반복 보전 처리는,

   동일한 열의 상기 임의 형상 객체 경계 상의 유의 화소의 화소 텍스처값 또는 동일한 열의 상기 수평 보전 블록의 생성된 수평 보전값을 이용하여 각 열마다 수직 보전값을 생성하는 단계와,

   상기 수평 반복 보전 프로세스에서 채워지지 않고 남아 있는 비유의 화소인 나머지 채워지지 않은 화소의 화소 텍스처값을 수직 방향으로 상기 생성된 수직 보전값으로 채우는 단계를 포함하는 것을 특징으로 하는 보전 방법.
3. 제 2 항에 있어서,

   상기 수평 반복 보전 처리는,

   상기 임의 형상의 객체 경계 상에, 좌우 방향에서 수평으로 2개의 유의 화소가 있는 경우, 상기 2개의 유의 화소에 대응하는 2개의 화소 텍스처값을 평균하여상기 수평 보전값을 생성하는 단계와,

   상기 2개의 유의 화소의 사이에 위치하는 비유의 화소의 화소 텍스처값을 상기 수평 보전값으로 채우는 단계를 포함하는 것을 특징으로 하는 보전 방법.
4. 제 1 내지 3 항 중 어느 한 항에 있어서,

   상기 임의 형상 객체 경계에 놓인 블록인 복수의 경계 블록으로부터 상기 외측 블록에 인접하는 하나의 경계 블록을 선택하는 단계와,

   상기 외측 블록 내의 비유의 화소의 화소 텍스처값을 상기 선택된 경계 블록의 블록 경계에서의 화소 텍스처값으로 채우되, 상기 선택된 경계 블록 내의 모든 비유의 화소의 화소 텍스처값은 상기 선택된 경계 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 단계에서 보전된 것이고, 상기 선택된 경계 블록의 블록 경계는 상기 외측 블록의 블록 경계에 인접하는 것인 단계

   를 포함하는 것을 특징으로 하는 보전 방법.
5. 임의 형상의 객체 화상을 정사각형의 블록 단위로 부호화하여 얻은 압축 텍스처 신호 및 압축 형상 신호를 블록 단위로 복호화하되, 상기 임의 형상 객체 화상은, 화소가 임의 형상 객체의 외측에 있는(비유의인) 지, 또는 임의 형상 객체의 내측에 있는(유의인) 지를 나타내는 형상 신호와, 상기 임의 형상 객체 내의 화소의 화소 텍스처값을 나타내는 텍스처 신호를 포함하는 것인 복호화 장치에 있어서,

   재생 블록을 생성하기 위해서 상기 압축 텍스처 신호 및 압축 형상 신호를 복호화하는 복호화 수단과,

   상기 재생 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 보전 수단－상기 보전 수단으로 보전된 상기 재생 블록은 프레임 메모리에 저장됨－을 구비하되,

   상기 보전 수단은, 경계 블록 보전 수단과 외측 블록 보전 수단을 포함하며,

   상기 경계 블록 보전 수단은,

   상기 재생 블록이 임의 형상 객체 경계 상에 위치하는 경계 블록일 때, 상기 임의 형상 객체 경계 상의 유의 화소의 화소 텍스처값을 이용하여 상기 재생 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 것이고,

   상기 외측 블록 보전 수단은,

   상기 재생 블록이 유의 화소를 포함하지 않은 외측 블록일 때, 상기 경계 블록의 블록 경계에서의 화소 텍스처값을 이용하여 상기 재생 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 것이며, 상기 경계 블록 내의 모든 비유의 화소의 화소 텍스처값은 상기 경계 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 단계에서 보전된 것이고, 상기 외측 블록은 상기 경계 블록에 인접해 있는 것인 것을 특징으로 하는 복호화 장치.
6. 임의 형상 객체 화상을 블록 단위로 부호화하되, 상기 임의 형상 객체 화상은 화소가 임의 형상 객체의 외측에 있는(비유의인) 지, 또는 임의 형상 객체의 내측에 있는(유의인) 지를 나타내는 형상 신호와, 상기 임의 형상 객체 내의 화소의 화소 텍스처값을 나타내는 텍스처 신호를 포함하는 것인 부호화 장치에 있어서,

   상기 임의 형상 객체 화상을 복수의 블록으로 분할하여 보전 대상으로 되는 정사각형의 블록－해당 정사각형의 블록은 임의 형상 객체의 경계에 위치하는 경계 블록 또는 유의 화소를 포함하지 않은 외측 블록임－을 얻는 분할 수단과,

   상기 블록을 부호화하여 압축 데이터를 생성하는 부호화 수단과,

   상기 압축 데이터를 재생 블록으로 복호화하는 복호화 수단과,

   상기 재생 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 보전 수단－상기 보전 수단에서 보전된 상기 재생 블록은 프레임 메모리에 저장되는 것임－을 구비하되,

   상기 보전 수단은 경계 블록 보전 수단과 외측 블록 보전 수단을 가지며,

   상기 경계 블록 보전 수단은,

   상기 재생 블록이 상기 경계 블록일 때, 상기 임의 형상 객체 경계 상의 유의 화소의 화소 텍스처값을 이용하여 상기 재생 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 것이고,

   상기 외측 블록 보전 수단은,

   상기 재생 화상이 유의 화소를 포함하지 않는 외측 블록일 때, 상기 경계 블록의 블록 경계에서의 화소 텍스처값을 이용하여 상기 재생 블록 내의 비유의 화소의 화소 텍스처값을 보전하는 것이며, 상기 경계 블록 내의 모든 비유의 화소의 화소 텍스처값은 상기 경계 블록 보전 수단에서 보전된 것이며, 상기 외측 블록은 상기 경계 블록에 인접하는 것인 것을 특징으로 하는 부호화 장치.