KR101717510B1

KR101717510B1 - 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법

Info

Publication number: KR101717510B1
Application number: KR1020117008015A
Authority: KR
Inventors: 춘셍 분; 요시노리 스즈키; 티오 켕 탄
Original assignee: 가부시키가이샤 엔.티.티.도코모
Priority date: 2009-01-22
Filing date: 2009-12-25
Publication date: 2017-03-17
Also published as: RU2526764C2; AU2009338306A1; RU2011134659A; CA2750552C; JP2010171729A; AU2009338306B2; CN102227911A; EP2384003A1; WO2010084692A1; US8483496B2; TWI521949B; CA2750552A1; BRPI0924090A2; EP2384003A4; KR20110114524A; CN102227911B; MX2011007767A; CN104822065A; JP5686499B2; US20110286679A1

Abstract

화상 예측 부호화 장치는, 입력 화상을 복수의 블록으로 분할하는 영역 분할 수단과, 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여 예측 신호를 생성하는 예측 신호 생성 수단과, 대상 블록의 화소 신호와 예측 신호와의 잔차(殘差) 신호를 생성하는 잔차 신호 생성 수단과, 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 수단과, 압축 신호를 복원하고, 상기 복원된 신호를 재생 화소 신호로서 저장하는 저장 수단을 구비하고, 예측 신호 생성 수단은, 대상 블록을 복수의 소영역으로 재분할하고, 소영역 중 적어도 1개가 비정방형(非正方形)이며, 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길다.

Description

화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법{DEVICE, METHOD AND PROGRAM FOR IMAGE PREDICTION ENCODING, DEVICE, METHOD AND PROGRAM FOR IMAGE PREDICTION DECODING, AND ENCODING/DECODING SYSTEM AND METHOD}

본 발명은, 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법에 관한 것이며, 특히, 화면 내 예측을 수반하는 화상 예측 부호화·복호에 관한 것이다.

정지 화상 데이터나 동영상 데이터의 전송이나 축적을 효율적으로 행하기 위하여, 압축 부호화 기술이 사용된다. 동영상의 경우에는 MPEG-1∼4나 H.261∼H.264의 방식이 널리 사용되고 있다.

이들 부호화 방식에서는, 부호화의 대상으로 되는 화상을 복수의 블록으로 분할한 후에 부호화·복호 처리를 행한다. MPEG-4나 H.264에 있어서는, 부호화 효율을 더욱 높이기 위해, 화면 내의 예측 부호화에 대해서는, 대상 블록과 동일한 화면 내에 있는 인접하는 기(旣) 재생의 화상 신호(압축된 화상 데이터를 복원한 것)를 사용하여 예측 신호를 생성한 후에, 예측 신호를 대상 블록의 화상 신호로부터 뺄셈하여 얻어진 잔차(殘差) 신호를 부호화한다. 화면간의 예측 부호화에 대해서는, 대상 블록과 상이한 화면 내에 있는 인접하는 기 재생의 화상 신호를 참조하여, 동작의 보정을 행하여 예측 신호를 생성하고, 예측 신호를 대상 블록의 화상 신호로부터 뺄셈하여 얻어진 잔차 신호를 부호화한다.

구체적으로는, H.264의 화면 내 예측 부호화에서는, 부호화의 대상으로 되는 블록에 인접하는 기 재생의 화소값을 소정의 방향으로 외삽(外揷)하여 예측 신호를 생성하는 방법을 채용하고 있다. 도 15는 H.264에 사용되는 화면 내 예측 방법을 설명하기 위한 모식도이다. 도 15의 (A)에서는, 블록(1302)은 대상 블록이며, 이 대상 블록의 경계에 인접하는 화소 A∼M[인접 화소(1301)]으로 이루어지는 화소군은 인접 영역이며, 과거의 처리에 있어서 이미 재생된 화상 신호이다. 이 경우, 인접 화소(1301) 중, 대상 블록(1302)의 바로 상측에 있는 기 재생 화소 A∼D를 하측으로 스트레치하여 예측 신호를 생성한다. 또 도 15의 (B)에서는, 인접 화소(1303) 중, 대상 블록(1304)의 좌측에 있는 기 재생 화소 I∼L을 우측으로 당겨 늘여 예측 신호를 생성한다. 예측 신호를 생성하는 구체적인 방법은, 예를 들면, 특허 문헌 1에 기재되어 있다. 이와 같이 도 15의 (A)∼(I)에 나타낸 방법으로 생성된 9개의 예측 신호 각각을 대상 블록의 화소 신호와의 차분을 취하여, 차분값이 가장 작은 것을 최적의 예측 방법으로 한다. 이들 외삽 방법은 도 16과 같이 정리할 수 있다. 도 16의 화살표는 기 재생 화소를 당겨 늘이는 방향을 나타내고, 각 방향에 기재된 번호는 각각의 식별 번호(「예측 모드」라고도 함)이다. 그리고, 주변의 기 재생 화소의 평균에 의해 예측 신호를 생성하는 방법에는, 도 15의 (C)에 나타낸 바와 같이, 식별 번호 「2」가 부여되고, 도 16에서는 「DC」로 나타내고 있다. 즉, 도 16에는, 기 재생 화소를 당겨 늘일 방향이 없는 식별 번호 「2」의 방법(주변의 기 재생 화소의 평균에 의해 예측 신호를 생성하는 방법)과, 화살표에 의해 기 재생 화소를 당겨 늘이는 방향이 표시된 8개의 방법의 합계 9개의 방법이 나타내어져 있다.

미국 특허 공보 제6765964호

그러나, 종래 기술의 화면 내 예측 신호 생성 방법에서는, 정사각형의 블록을 대상으로 하고 있으므로, 기 재생의 화소가 있는 경계에서 멀리 이격된 화소에 대한 예측 정밀도가 저하되는 문제점이 있다. 예를 들면, 도 15의 (A)를 사용하여, 영상의 신호가 수직 방향으로 조금씩 변화되는 경우를 참조한다. 이 경우, 대상 블록(1302) 중에서 상측에 있는 화소(예를 들면, 인접 화소 I의 우측에 있는 화소)에 대해서는, 인접 화소 A∼D로 근사시켜도 오차는 작으나, 대상 블록(1302) 중에서 하측에 있는 화소(예를 들면, 인접 화소 L의 우측에 있는 화소)에 대해서는, 인접 화소 A∼D로부터 멀기 때문에, 인접 화소 A∼D에 근사시키면 오차가 커지게 된다. 그 결과, 부호량이 증가하여, 압축의 효율이 저하된다. 도 15의 (A) 이외의 예측 방법도 동일한 경향을 나타내고 있다.

그래서, 본 발명은, 전술한 과제를 해결하여, 대상 블록의 경계에서 멀리 이격된 화소에 대한 예측 정밀도를 높여 부호화 효율을 높이는 것을 목적으로 한다.

상기 목적을 달성하기 위하여, 본 발명에 따른 화상 예측 부호화 장치는, 입력 화상을 복수의 블록으로 분할하는 영역 분할 수단과, 상기 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여, 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 대상 블록의 화소 신호와 생성된 상기 예측 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단과, 상기 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 수단과, 상기 압축 신호를 복원하고, 복원된 신호를 재생 화소 신호로서 저장하는 저장 수단을 구비하는 화상 예측 부호화 장치로서, 상기 예측 신호 생성 수단은, 상기 대상 블록을 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개가 비정방형(非正方形)이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 긴 것을 특징으로 한다.

그리고, 상기 화상 예측 부호화 장치에서는, 상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는 구성으로 하는 것이 바람직하다.

또한, 상기 화상 예측 부호화 장치에서는, 상기 비정방형의 소영역의 상기 제1 변은 기 재생의 화소에 접하며, 상기 제2 변은 기 재생의 화소에 접하지 않고, 상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는 구성으로 하는 것이 바람직하다.

또한, 상기 화상 예측 부호화 장치에서는, 상기 신호 부호화 수단은, 상기 소영역의 예측 신호의 생성 방법을 나타내는 예측 신호 생성 관련 정보를 부호화하고, 상기 부호화에 의해 얻어진 신호를 상기 압축 신호와 함께 출력하는 구성으로 하는 것이 바람직하다.

상기 목적을 달성하기 위하여, 본 발명에 따른 화상 예측 복호 장치는, 화상을 복수의 블록으로 분할하고, 상기 블록을 또한 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고, 상기 소영역에 포함되는 화소 신호를 예측 부호화함으로써 생성된 잔차 신호와, 상기 예측 부호화에 있어서의 상기 소영역의 예측 신호의 생성 방법을 나타내는 예측 신호 생성 관련 정보를 포함하는 압축 화상 데이터를 입력하는 입력 수단과, 상기 압축 화상 데이터로부터 상기 소영역의 잔차 신호를 추출하여, 재생 잔차 신호로 복원하는 복원 수단과, 상기 압축 화상 데이터로부터 상기 예측 신호 생성 관련 정보를 추출하고, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 소영역의 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 상기 소영역의 화소 신호를 복원하는 화상 복원 수단과, 복원된 상기 화소 신호를 재생 화소 신호로서 저장하는 저장 수단을 구비하는 화상 예측 복호 장치로서, 상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는 것을 특징으로 한다.

그리고, 상기 화상 예측 복호 장치에서는, 상기 비정방형의 소영역의 상기 제1 변은 기 재생의 화소에 접하며, 상기 제2 변은 기 재생의 화소에 접하지 않는 구성으로 하는 것이 바람직하다.

또한, 상기 화상 예측 복호 장치에서는, 상기 예측 신호 생성 수단은, 상기 예측 신호 생성 관련 정보로부터 상기 소영역의 형상을 특정하고, 특정된 소영역의 형상에 맞추어, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 구성으로 하는 것이 바람직하다.

또한, 상기 화상 예측 복호 장치에서는, 상기 복원 수단은, 상기 예측 신호 생성 관련 정보로부터 상기 소영역의 형상을 특정하고, 특정된 소영역의 형상에 맞추어 역양자화와 역주파수 변환을 행함으로써, 상기 소영역의 잔차 신호를 상기 재생 잔차 신호로 복원하는 구성으로 하는 것이 바람직하다.

그런데, 전술한 화상 예측 부호화 장치에 관한 발명은, 화상 예측 부호화 방법에 관한 발명 및 화상 예측 부호화 프로그램에 관한 발명으로 볼 수 있으며, 다음과 같이 기술(記述)할 수 있다.

본 발명에 따른 화상 예측 부호화 방법은, 화상 예측 부호화 장치에 의해 실행되는 화상 예측 부호화 방법이며, 입력 화상을 복수의 블록으로 분할하는 영역 분할 단계와, 상기 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여, 예측 신호를 생성하는 예측 신호 생성 단계와, 상기 대상 블록의 화소 신호와 생성된 상기 예측 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계와, 상기 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 단계와, 상기 압축 신호를 복원하고, 복원된 신호를 재생 화소 신호로서 저장하는 저장 단계를 포함하는 화상 예측 부호화 방법으로서, 상기 예측 신호 생성 단계에서는, 상기 대상 블록을 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개는 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 긴 것을 특징으로 한다.

그리고, 상기 예측 신호 생성 단계에서는, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는 것이 바람직하다.

또한, 상기 비정방형의 소영역의 상기 제1 변은 기 재생의 화소에 접하며, 상기 제2 변은 기 재생의 화소에 접하지 않고, 상기 예측 신호 생성 단계에서는, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는 것이 바람직하다.

또한, 상기 신호 부호화 단계에서는, 상기 소영역의 예측 신호의 생성 방법을 나타내는 예측 신호 생성 관련 정보를 부호화하고, 상기 부호화에 의해 얻어진 신호를 상기 압축 신호와 함께 출력하는 것이 바람직하다.

본 발명에 따른 화상 예측 부호화 프로그램은, 컴퓨터를, 입력 화상을 복수의 블록으로 분할하는 영역 분할 수단과, 상기 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여, 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 대상 블록의 화소 신호와 생성된 상기 예측 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단과, 상기 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 수단과, 상기 압축 신호를 복원하고, 복원된 신호를 재생 화소 신호로서 저장하는 저장 수단으로서 기능시키고, 상기 예측 신호 생성 수단은, 상기 대상 블록을 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 긴 것을 특징으로 한다.

한편, 전술한 화상 예측 복호 장치에 관한 발명은, 화상 예측 복호 방법에 관한 발명 및 화상 예측 복호 프로그램에 관한 발명으로 볼 수 있으며, 다음과 같이 기술할 수 있다.

본 발명에 따른 화상 예측 복호 방법은, 화상 예측 복호 장치에 의해 실행되는 화상 예측 복호 방법이며, 화상을 복수의 블록으로 분할하고, 상기 블록을 또한 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고, 상기 소영역에 포함되는 화소 신호를 예측 부호화함으로써 생성된 잔차 신호와, 상기 예측 부호화에 있어서의 상기 소영역의 예측 신호의 생성 방법을 나타내는 예측 신호 생성 관련 정보를 포함하는 압축 화상 데이터를 입력하는 입력 단계와, 상기 압축 화상 데이터로부터 상기 소영역의 잔차 신호를 추출하여, 재생 잔차 신호로 복원하는 복원 단계와, 상기 압축 화상 데이터로부터 상기 예측 신호 생성 관련 정보를 추출하고, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 예측 신호 생성 단계와, 상기 소영역의 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 상기 소영역의 화소 신호를 복원하는 화상 복원 단계와, 복원된 상기 화소 신호를 재생 화소 신호로서 저장하는 저장 단계를 포함하는 화상 예측 복호 방법으로서, 상기 예측 신호 생성 단계에서는, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는 것을 특징으로 한다.

그리고, 상기 비정방형의 소영역의 상기 제1 변은 기 재생의 화소에 접하고, 상기 제2 변은 기 재생의 화소에 접하지 않는 것이 바람직하다.

또한, 상기 예측 신호 생성 단계에서는, 상기 예측 신호 생성 관련 정보로부터 상기 소영역의 형상을 특정하고, 특정된 소영역의 형상에 맞추어, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 것이 바람직하다.

또한, 상기 복원 단계에서는, 상기 예측 신호 생성 관련 정보로부터 상기 소영역의 형상을 특정하고, 특정된 소영역의 형상에 맞추어 역양자화와 역주파수 변환을 행함으로써, 상기 소영역의 잔차 신호를 상기 재생 잔차 신호로 복원하는 것이 바람직하다.

본 발명에 따른 화상 예측 복호 프로그램은, 컴퓨터를, 화상을 복수의 블록으로 분할하고, 상기 블록을 또한 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고, 상기 소영역에 포함되는 화소 신호를 예측 부호화함으로써 생성된 잔차 신호와, 상기 예측 부호화에 있어서의 상기 소영역의 예측 신호의 생성 방법을 나타내는 예측 신호 생성 관련 정보를 포함하는 압축 화상 데이터를 입력하는 입력 수단과, 상기 압축 화상 데이터로부터 상기 소영역의 잔차 신호를 추출하여, 재생 잔차 신호로 복원하는 복원 수단과, 상기 압축 화상 데이터로부터 상기 예측 신호 생성 관련 정보를 추출하고, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 소영역의 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 상기 소영역의 화소 신호를 복원하는 화상 복원 수단과, 복원된 상기 화소 신호를 재생 화소 신호로서 저장하는 저장 수단으로서 기능시키고, 상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는 것을 특징으로 한다.

또한, 본 발명은, 부호화·복호 시스템, 및 부호화·복호 방법으로서, 다음과 같이 기술할 수 있다.

본 발명에 따른 부호화·복호 시스템은, 전술한 화상 예측 부호화 장치와, 전술한 화상 예측 복호 장치를 포함하여 구성되는 것을 특징으로 한다.

본 발명에 따른 부호화·복호 방법은, 화상 예측 부호화 장치와 화상 예측 복호 장치를 포함하여 구성되는 부호화·복호 시스템에 있어서 실행되는 부호화·복호 방법으로서, 상기 화상 예측 부호화 장치에 의해 실행되는 전술한 화상 예측 부호화 방법의 처리 단계와, 상기 화상 예측 복호 장치에 의해 실행되는 전술한 화상 예측 복호 방법의 처리 단계를 포함한 것을 특징으로 한다.

본 발명에 의하면, 기 재생의 화소 신호로부터 멀리 이격된 소영역의 화소가 생기지 않도록 하여, 기 재생의 화소 신호에 가까운 소영역의 화소를 예측하므로, 보다 정밀도가 높은 예측 신호를 생성할 수 있고, 소영역의 예측 잔차 신호를 작게 억제할 수 있어, 압축 부호화 효율을 향상시키는 효과가 있다.

바꾸어 말하면, 대상 블록을 소영역으로 분할할 때, 기 재생의 화소에 접하는 제1 변이, 기 재생의 화소에 접하지 않는 제2 변보다 길어지도록 하고, 제1 변에 접하는 기 재생의 화소 신호를 사용하여 소영역의 예측 신호를 생성함으로써, 소영역의 화소가 기 재생의 화소 신호에 가까우므로, 오차가 적은 예측 신호를 생성할 수 있는 효과가 있다.

또한, 예측 신호의 생성 방법을 나타내는 예측 신호 생성 관련 정보에 의해, 소영역의 분할 형상이나, 소영역의 잔차 신호의 양자화 방법·주파수 변환 방법을 결정함으로써, 소영역의 분할 형상이나 양자화 방법·주파수 변환 방법을 식별하기 위한 지시 정보를 수신측에 송신할 필요가 없다. 수신측에서는, 예측 신호 생성 관련 정보에 의해 소영역의 분할 형상이나 양자화 방법·주파수 변환 방법을 특정함으로써, 송신측과 동일한 최적인 역양자화·주파수 변환으로 복호·재생 처리를 행할 수 있다. 결과적으로, 예측 신호 생성 관련 정보 이외의 보조 정보를 추가할 필요가 없어지므로, 부호량을 더욱 억제할 수 있는 효과가 있다.

도 1은 본 발명의 실시예의 화상 예측 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시예의 화상 예측 부호화 방법을 나타낸 흐름도이다.
도 3은 소영역의 제1 분할 방법 및 이 소영역의 예측 신호의 생성 방법을 나타내는 모식도이다.
도 4는 소영역의 제2 분할 방법 및 이 소영역의 예측 신호의 생성 방법을 나타내는 모식도이다.
도 5는 복수의 분할 형상이 있는 경우의 화상 예측 부호화 방법을 나타낸 흐름도이다.
도 6은 복수의 분할 형상이 있는 경우의 소영역의 분할 방법 및 이 소영역의 예측 신호의 생성 방법을 나타내는 모식도이다.
도 7은 소영역의 제3 분할 방법 및 이 소영역의 예측 신호의 생성 방법을 나타내는 모식도이다.
도 8은 본 발명의 실시예의 화상 예측 복호 장치를 나타낸 블록도이다.
도 9는 본 발명의 실시예의 화상 예측 복호 방법을 나타낸 흐름도이다.
도 10은 복수의 분할 형상이 있는 경우의 화상 예측 복호 방법을 나타낸 흐름도이다.
도 11은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성도이다.
도 12는 도 11의 컴퓨터의 사시도이다.
도 13은 예측 모드와 대상 블록의 분할 방법과의 대응 관계를 나타내는 표이다.
도 14는 본 발명의 실시예의 부호화·복호 시스템의 구성도이다.
도 15는 종래 기술에 의한 대상 블록의 예측 신호를 생성하는 방법을 나타내는 모식도이다.
도 16은 종래 기술에 의한 대상 블록의 예측 신호를 생성하는 복수의 방법을 하나로 모아서 정리했을 때의 모식도이다.

이하, 본 발명의 실시예에 대하여, 도 1 내지 도 14를 참조하여 설명한다.

[화상 예측 부호화 장치에 대하여]

도 1은, 본 발명의 실시예에 따른 화상 예측 부호화 장치(100)의 블록도를 나타낸다. 도 1에 나타낸 바와 같이, 화상 예측 부호화 장치(100)는, 입력 단자(101), 블록 분할기(102), 예측 신호 생성기(103), 프레임 메모리(104), 감산기(105), 변환기(106), 양자화기(107), 역양자화기(108), 역변환기(109), 가산기(110), 엔트로피 부호화기(111), 및 출력 단자(112)를 구비하고 있다.

이상과 같이 구성된 화상 예측 부호화 장치(100)의 동작에 대하여, 이하에서 설명한다. 복수의 화상으로 이루어지는 동영상의 신호는 입력 단자(101)에 입력된다. 부호화의 대상으로 되는 화상은 블록 분할기(102)에 의해, 복수의 영역으로 분할된다. 본 발명의 실시예에서는, 8×8의 화소로 이루어지는 블록으로 분할되지만, 그 외의 블록의 크기 또는 형태로 분할할 수 있다. 다음으로, 부호화 처리의 대상으로 되는 영역(이하 「대상 블록」이라고 함)에 대하여, 예측 신호를 생성한다. 본 발명의 실시예에서는, 2종류의 예측 방법이 사용된다. 즉, 「화면간 예측」과 「화면 내 예측」이다.

이 중에서 화면간 예측에서는, 과거에 부호화된 후에 복원된 재생 화상을 참조 화상으로 하고, 이 참조 화상으로부터 대상 블록에 대한 오차가 가장 작은 예측 신호를 부여하는 동작 정보를 구한다. 이 처리는 동작 검출이라고 불린다. 또한, 경우에 따라서, 대상 블록을 재분할하고, 재분할된 소영역에 대하여 화면간 예측 방법을 결정해도 된다. 이 경우, 각종 분할 방법 중에서, 대상 블록 전체에 대하여 가장 효율이 양호한 분할 방법 및 각각의 동작 정보를 결정한다. 본 발명에 따른 실시예에서는, 예측 신호 생성기(103)에 의해 행해지고, 대상 블록은 라인 L102를 경유하여, 참조 화상은 L104를 경유하여, 각각 예측 신호 생성기(103)에 입력된다. 참조 화상으로서는, 과거에 부호화되고 복원된 복수의 화상을 참조 화상으로서 사용한다. 상세한 것은, 종래의 기술인 MPEG-2, 4, H.264 중의 어느 하나의 방법과 동일하다. 이와 같이 결정된 동작 정보 및 소영역의 분할 방법은 라인 L112를 경유하여 엔트로피 부호화기(111)에 송신되고 부호화한 후에 출력 단자(112)로부터 송출된다. 예측 신호 생성기(103)에서는, 소영역의 분할 방법 및 각각의 소영역에 대응하는 동작 정보를 기초로 하여 프레임 메모리(104)로부터 참조 화상 신호를 취득하고, 예측 신호를 생성한다. 이와 같이 생성된 화면간 예측 신호는 라인 L103을 경유하여 감산기(105)에 송신된다.

한편, 화면 내 예측에서는, 대상 블록에 공간적으로 인접하는 기 재생의 화소값을 사용하여 화면 내 예측 신호를 생성한다. 구체적으로는 예측 신호 생성기(103)에서는, 프레임 메모리(104)로부터 같은 화면 내에 있는 기 재생의 화소 신호를 취득하고, 소정의 방법으로 예측 신호를 생성하는 화면 내 예측 방법을 결정하고, 그 예측 방법을 기초로 하여 화면 내 예측 신호를 생성한다. 한편, 예측 방법에 관한 정보는 라인 L112를 경유하여 엔트로피 부호화기(111)에 송신되고 부호화한 후에 출력 단자(112)로부터 송출된다. 이와 같이 생성된 화면 내 예측 신호는 감산기(105)에 송신된다. 예측 신호 생성기(103)에서의 화면 내의 예측 신호 생성의 상세한 것에 대해서는, 후술한다.

전술한 바와 같이 구해진 화면간 예측 신호와 화면 내 예측 신호에 대하여, 오차가 가장 작은 것이 선택되어, 감산기(105)에 송신된다. 다만, 첫번째 화상에 대해서는, 과거의 화상이 없기 때문에, 모든 대상 블록은 화면 내 예측으로 처리된다. 그리고, 하기에 설명하는 화면 내 예측 신호 생성 방법은 사진 등의 정지 화상의 부호화·복호에도 적용할 수 있다.

감산기(105)에 의해 대상 블록의 신호(라인 L102 경유)로부터 예측 신호(라인 L103 경유)를 뺄셈하여, 잔차 신호를 생성한다. 이 잔차 신호는 변환기(106)에 의해 이산 코사인 변환되고, 그 각 계수는 양자화기(107)에 의해 양자화된다. 마지막으로 엔트로피 부호화기(111)에 의해 양자화된 변환 계수를 부호화하여, 예측 방법에 관한 정보와 함께 출력 단자(112)로부터 출력된다.

후속의 대상 블록에 대한 화면 내 예측 또는 화면간 예측을 행하기 위하여, 압축된 대상 블록의 신호는 역처리하고 복원된다. 즉, 양자화된 변환 계수는 역양자화기(108)에 의해 역양자화된 후에 역변환기(109)에 의해 역이산 코사인 변환되어 잔차 신호를 복원한다. 가산기(110)에 의해 복원된 잔차 신호와 라인 L103으로부터 송신된 예측 신호를 가산하고, 대상 블록의 신호를 재생하고, 프레임 메모리(104)에 저장한다. 본 발명의 실시예에서는, 변환기(106)와 역변환기(109)를 사용하고 있지만, 이들 변환기 대신 다른 변환 처리를 사용해도 된다. 경우에 따라서는, 변환기(106)와 역변환기(109)가 없어도 된다.

[화상 예측 부호화 방법에 대하여]

도 2에는, 본 발명의 실시예에 따른 화상 예측 부호화 방법의 흐름도를 나타내고 있다. 특히 전술한 바와 같이 블록 분할된 화상의 각 블록에 대한 화면 내 예측 신호를 생성하기 위한 처리를 나타내고 있다. 도 1에서의 예측 신호 생성기(103)는, 하기와 동일한 방법으로 화면 예측 신호를 생성한다.

도 2의 단계 202에서는, 블록 분할기(102)는, N×N개의 화소를 가지는 대상 블록을 복수의 소영역으로 재분할한다. 본 발명의 실시예에서는 N=8이지만, N=16이나 다른 정수라도 된다. 소영역은 비정방형의 형태를 취하는 것이 특징이다. 본 발명의 실시예에서는, M개(여기서는 일례로서 4개)의 N(수평) × N/4(수직)개의 화소로 이루어지는 직사각형, 또는 M개(여기서는 일례로서 4개)의 N/4(수평) × N(수직)개의 화소로 이루어지는 직사각형으로 분할한다. 이 분할 방법은, 각각 도 3의 (A)와 도 3의 (C)에 나타내고 있다. 도 3의 (A)에 있어서, 1개의 모눈은 1개의 화소를 나타낸다. 각각 파선으로 에워싸인 화소군(302∼305)은, 대상 블록의 화소이며, 해칭이 행해진 화소군(301)은, 대상 블록에 인접하는 기 재생의 화소군이다. 이 기 재생의 화소군의 화소 신호는, 과거의 처리에 있어서 부호화한 후에 복원된 것으로, 프레임 메모리(104)에 저장되어 있다. 도 3의 (A)에서의 대상 블록은, 8(수평)×2(수직)개의 화소로 이루어지는 가로로 긴 4개의 소영역(302∼305)으로 분할되어 있다. 도 3의 (C)에서는 대상 블록은, 2(수평)×8(수직)개의 화소로 이루어지는 세로로 긴 4개의 소영역(307∼310)으로 분할되어 있다. 다른 분할 방법으로서, 예를 들면, N×N/2의 가로로 긴 2개의 소영역이나, N/2×N의 세로로 긴 2개의 소영역으로 분할해도 된다.

다음으로, 처리 대상의 소영역을 식별하기 위한 카운터 k를 0으로 초기 설정한다(단계 203).

그리고, 각 소영역에 대하여 하기의 단계 204∼209의 처리가 행해진다. 먼저, 예측 신호 생성기(103)는, 도 3의 (A)의 소영역(302)(k=0번째의 소영역)에 대하여 복수의 후보 예측 신호를 생성한다(단계 204). 본 발명의 실시예에서는, 대상의 소영역에 인접하는 기 재생의 화소를 외삽함으로써 예측 신호를 생성한다. 구체적으로는 기 재생의 화소군(301) 중, 소영역(302)의 상측 및 좌측에 접하는 기 재생 화소를 사용한다. 예측 방법으로서는, 도 3의 (B)에 나타나 있는 기 재생의 화소의 평균값(DC)을 외삽하는 방법, 및 0∼8로 기재되어 있는 방향을 따라 기 재생 화소를 당겨 늘여 외삽하는 방법의 합계 9개의 방법이 있다. 구체적인 계산 방법은, 전술한 도 15의 방법과 동일하지만, 8×2개의 값만을 생성한다. 다음 단계 205에서는, 예측 신호 생성기(103)는, 상기 9개의 방법으로 얻어진 9개의 후보 예측 신호 중에서, 소영역(302)에 대하여 오차가 가장 작은 것을 예측 신호로서 결정하고, 결정된 예측 신호를 생성하는 방법을 예측 모드(이하 「예측 신호 생성 관련 정보」라고 함)로서 정한다. 다음 단계 206에서는, 감산기(105)가, 소영역(302)의 화소 신호와 상기 소영역(302)의 예측 신호와의 차분을 구하고, 얻어진 잔차 신호는, 변환기(106)에 의해 주파수 변환되고, 양자화기(107)에 의해 양자화된다. 양자화된 신호는, 엔트로피 부호화기(111)에 의해, 가변 길이 부호 또는 산술 부호로 엔트로피 부호화된다. 그리고, 다음 단계 207에서는, 엔트로피 부호화된 잔차 신호와 단계 205에서 얻어진 예측 신호 생성 관련 정보가, 출력 단자(112)로부터 출력된다.

이와 같이 부호화된 소영역(302)의 신호는, 다음에 처리되는 소영역(303)의 예측에 사용된다. 그러므로, 소영역(302)의 잔차 신호는, 역양자화기(108)에 의해 역양자화되고, 역변환기(109)에 의해 주파수 역변환된 후, 가산기(110)에 의해, 전술한 바와 같이 구해진 예측 신호와 가산되어, 소영역(302)의 재생 신호로서 생성된다(단계 208). 그리고, 후속의 소영역(303)의 예측 신호를 생성하므로, 소영역(302)의 재생 신호는 프레임 메모리(104)에 일시적으로 저장된다(단계 209). 그 후, 카운터 k를 1만큼 카운트업한다(단계 210).

상기 단계 204∼210의 처리는, 다음의 소영역(303)(즉, k=1번째의 소영역)에 대하여 행해진다. 이 때 사용하는 기 재생의 화소는, 도 3의 (A)에 있어서 소영역(303)의 바로 상측에 있는 소영역(302)의 기 재생 화소, 및 화소군(301)에 속하는 화소 중 소영역(303)의 바로 좌측에 있는 화소가 사용된다. 예측 신호의 생성 방법은, 마찬가지로 도 3의 (B)의 9개의 모드로부터 최적인 것을 결정한다. 이후, 단계 204∼210의 처리는, k=2, 3번째의 소영역에 대하여 차례로 행해진다(즉, k=4가 되어 M과 같아지게 되어, 단계 211에서 k<M이 아닌 것으로 판정될 때까지 행해진다).

그 후, 상기 단계 202∼211의 처리는, 각각의 대상 블록에 대하여 실행되고, 단계 212에서 모든 대상 블록이 처리 완료로 판정되었을 때, 도 2의 처리를 종료한다.

한편, 도 3의 (C)에 나타내는 세로로 긴 소영역의 경우도 마찬가지로, 최초에 소영역(307)에 대하여 예측 부호화가 행해진다. 이 때, 예측 신호를 생성할 때, 기 재생의 화소군(306) 중, 소영역(307)의 좌측 및 상측에 접하는 기 재생 화소가 사용된다. 그 후, 소영역(308), 소영역(309), 소영역(310)의 순서로 예측 부호화가 행해지고, 각각의 경우에 있어서 소영역(307, 308, 309)의 기 재생의 화소를 사용하여 예측 신호가 생성된다.

본 발명에서는, 소영역의 분할은, 기 재생의 화소에 근접하는 가늘고 긴 형태로 되도록 행해지므로, 생성된 예측 신호와 부호화 대상으로 되는 화소 신호와의 상관 관계가 높아져서, 예측 신호와 대상 신호와의 차분을 작게 억제할 수 있어, 부호화 양을 감소시킬 수 있다.

도 4에는, 본 발명의 실시예에 의한 소영역 분할 방법 및 이 소영역의 예측 신호의 제2 생성 방법을 나타낸다. 도 4에 있어서의 소영역 분할 방법은, 도 3과 동일하지만, 각 분할 방법에 따라 예측 신호를 생성하는 방법이 한정되어 있다. 도 4(A)에서는, 대상 블록은 가로로 긴 소영역(402∼405)으로 분할된다. 소영역(402∼405)에 대한 예측 신호는, 도 4의 (B)에 나타낸 바와 같이, 소영역의 상측에 있는 기 재생의 화소 신호로부터 하측을 향하는 방향을 따라 외삽하는 방법으로 생성된다. 여기에 더하여, 소영역의 상측에 있는 화소의 평균값을 사용해도 된다[도 4의 (B)에서는 「DC(Ver)」로 표기함]. 한편, 도 4의 (C)와 같이 세로로 긴 분할 형상에서는, 소영역(407∼410)에 대한 예측 신호는, 도 4의 (D)에 나타낸 바와 같이, 소영역의 좌측 방향에 있는 기 재생의 화소 신호로부터 우측으로 향하는 방향을 따라 외삽하는 방법으로 생성된다. 여기에 더하여, 소영역의 좌측 방향에 있는 화소의 평균값을 사용해도 된다[도 4의 (D)에는 「DC(Hor)」로 표기함]. 즉, 가로 방향으로 분할하는 경우에는 수직 방향으로 화소를 외삽하고, 세로 방향으로 분할하는 경우에는 수평 방향으로 화소를 외삽하게 된다. 바꾸어 말하면 소영역의 긴 변의 경계에 접하는 기 재생의 화소를 사용하여 예측 신호를 생성하게 된다.

이와 같은 형태로 소영역 분할 및 예측 신호를 생성함으로써, 대상 소영역은 항상 기 재생의 화소에 접근하고 있으므로, 대상 소영역의 신호에 상관 관계가 높은 예측 신호를 생성하게 된다. 그러므로, 차분을 작게 억제할 수 있어, 부호화 양을 삭감할 수 있는 효과가 있다.

[소영역의 형상으로서, 복수의 형상을 전환하여 부호화하는 예]

전술한 도 2, 도 3, 도 4는, 소영역의 형상이 화상 전체를 통해 항상 같은 형상인 경우의 실시예를 나타내고 있다. 그러나, 소영역의 형상은, 화상 전체를 통해 항상 같은 형상인 것은 필수적인 것은 아니다. 이하, 소영역의 형상으로서 신호의 성질에 따라 복수의 형상을 전환하여 부호화하는 실시예에 대하여 설명한다. 도 5는, 복수의 분할 형상이 있는 경우의 화상 예측 부호화 방법의 흐름도를 나타낸다.

먼저, 도 5의 단계 502에서는, 분할 방법을 식별하기 위한 카운터 p를 0으로 초기 설정한다. 다음 단계 503에서는, N×N개의 화소를 가지는 대상 블록을, p번째의 소영역 분할 방법(최초에는 0번째의 소영역 분할 방법)에 따라, 복수의 소영역으로 재분할한다. 본 발명의 실시예에서는, Q종류(여기서는 일례로서 3종류)의 분할 방법을 사용한다. 도 6에는, 이들 3종류의 분할 방법 및 각각의 분할 방법에 사용되는 예측 신호 생성 방법을 나타낸다. 도 6의 (A)는, p=0에 대응하고, 대상 블록을 4개의 정사각형의 소영역(602∼605)으로 분할하는 방법을 나타낸다. 도 6의 (C)는, p=1에 대응하고, 대상 블록을 4개의 가로로 긴 소영역(607∼610)으로 분할하는 방법을 나타낸다. 도 6의 (E)는, p=2에 대응하고, 대상 블록을 4개의 세로로 긴 소영역(612∼615)으로 분할하는 방법을 나타낸다. 그리고, 도 6의 (C), (E)의 방법 대신, 대상 블록을 2개의 가로로 긴 소영역으로 분할해도 되고, 또는 대상 블록을 2개의 세로로 긴 소영역으로 분할해도 된다. 본 발명의 실시예에서는, 도 6의 (A)의 분할 방법에 대하여, 도 6의 (B)에 나타내는 예측 방법(DC 모드, 모드 3, 4)으로 예측 신호를 생성한다. 도 6의 (C)의 분할 방법에 대해서는, 도 6의 (D)에 나타내는 예측 방법(모드 0, 5, 7)으로 예측 신호를 생성한다. 도 6의 (E)의 분할 방법에 대해서는, 도 6의 (F)에 나타내는 예측 방법(모드 1, 6, 8)으로 예측 신호를 생성한다.

다음 단계 504에서는, p번째(p=0)의 소영역 분할 방법으로 할당된 예측 방법(외삽 방법)을 사용하여, 각 소영역(602∼605)의 예측 신호를 생성한다. p=0의 경우의 외삽 방법은, 도 6의 (B)에 나타낸 DC 모드, 모드 3, 4이다. 본 발명의 실시예에서는, 모든 소영역에 대하여 공통의 방법을 상용하므로, 제1 모드(DC 모드)에서 4개의 소영역에 대한 제1 예측 신호를 생성하고, 제2 모드(모드 3)에서 4개의 소영역에 대한 제2 예측 신호를 생성하고, 제3 모드(모드 4)에서 4개의 소영역에 대한 제3 예측 신호를 생성한다. 이와 같이 생성된 3개의 예측 신호 각각에 대하여, 대상 블록의 화소 신호와의 차분을 구한다. 구해진 3가지의 차분 중 가장 작은 것을 부여하는 예측 방법(외삽 방법)을 결정하고, 상기 예측 방법의 경우의 차분의 절대값의 합(즉, 4개의 소영역에 대한 차분의 절대값의 합)을 오차량(SAD)으로 한다. 그리고, 각 소영역의 예측 신호는, 선행하는 소영역의 재생 신호를 사용하여 차례로 생성할 필요가 있지만, 본 단계 504에서는, 간단한 방법으로 소영역의 재생 신호를 근사시킨다. 즉, 소영역과 그 예측 신호와의 차분을 양자화한 후에 역양자화하고, 양자화 오차가 포함되어 있는 잔차 신호에 예측 신호를 가산함으로써 소영역의 재생 신호로서 근사시킨다. 이와 같이 근사시킨 재생 신호를 사용하여, 후속의 소영역의 예측 신호를 생성한다.

다음 단계 505에서는, 오차량 SAD을 다른 분할 방법에 의한 오차량과 비교하여, 오차량 SAD이 보다 작게 된 경우, SAD의 최소값과 최적인 예측 방법을 갱신한다(단계 506).

이후, 상기 단계 503∼506의 처리는, 분할 방법의 종류의 수인 Q회만큼 반복된다. 즉, p=0, 1, 2의 경우의 처리를 행한 후, 최적인 예측 신호 생성 방법이 결정된다(단계 507, 508).

전술한 바와 같이 결정된 최적인 예측 신호 생성 방법에 따라, 대상 블록을, 서로 접하는 M개(본 발명의 실시예에서는 M=4)의 비정방형의 소영역으로 재분할한다(단계 509).

다음으로, 처리 대상의 소영역을 식별하기 위한 카운터 k를 0으로 초기 설정한다(단계 510).

그리고, 각 소영역에 대하여 하기의 단계 511∼514의 처리가 행해진다. 먼저, 단계 511에서는, 예측 신호 생성기(103)는, 분할된 소영역 중, k번째의 소영역(대상 소영역)에 대하여, 최적인 예측 신호 생성 방법에 따라 예측 신호를 생성한다. 다음으로, 감산기(105)가, 대상 소영역의 화소 신호와 대상 소영역의 예측 신호와의 차분을 구하고, 얻어진 잔차 신호는, 변환기(106) 및 양자화기(107)에 의해, 다음과 같이 대상 소영역의 분할 형상에 맞는 주파수 변환과 양자화가 행해지고, 그 후, 엔트로피 부호화기(111)에 의해 엔트로피 부호화된다. 즉, 대상 소영역의 분할 형상에 맞는 주파수 변환으로서는, 예를 들면, 대상 소영역이 4×4로 분할되어 있는 경우에는 4×4의 주파수 변환을, 대상 소영역이 8×2로 분할되어 있는 경우에는 8×2의 주파수 변환을, 대상 소영역이 2×8로 분할되어 있는 경우에는 2×8의 주파수 변환을, 각각 행한다. 한편, 양자화에 대해서는, 분할의 형상에 따른 경사의 가중치 계수에 의해 양자화를 행한다.

다음 단계 512에서는, 부호화로 얻어진 잔차 신호와, 최적 예측 방법을 나타내는 예측 신호 생성 관련 정보가, 출력 단자(112)로부터 출력된다.

전술한 바와 같이 부호화된 대상 소영역의 신호는, 후속하는 소영역의 예측에 사용된다. 그러므로, 대상 소영역의 잔차 신호는, 역양자화기(108)에 의해 역양자화되고, 역변환기(109)에 의해 주파수 역변환된 후, 가산기(110)에 의해, 전술한 바와 같이 구한 예측 신호와 가산되고, 대상 소영역의 재생 신호로서 생성된다(단계 513). 그리고, 후속의 소영역의 예측 신호를 생성하기 위해, 대상 소영역의 재생 신호는 프레임 메모리(104)에 일시적으로 저장된다(단계 514). 그 후, 카운터 k를 1만큼 카운트업한다(단계 515).

상기 단계 511∼515의 처리는, 다음의 대상 소영역(즉, k=1번째의 소영역)에 대하여 행해진다. 이후, 단계 511∼515의 처리는, k=2, 3번째의 소영역에 대하여 차례로 행해진다(즉, k=4로 되어 M과 같아져서, 단계 516에서 k<M이 아닌 것으로 판정될 때까지 행해진다).

그 후, 상기 단계 502∼516의 처리는, 각각의 대상 블록에 대하여 실행되고, 단계 517에서 모든 대상 블록이 처리 완료되었다고 판정되었을 때, 도 5의 처리를 종료한다.

그리고, 본 발명의 실시예에서는, 부호화로 얻어진 잔차 신호와 함께, 제어 정보로서 예측 신호 생성 관련 정보를 출력하지만, 대상 블록의 분할 방법이나 형상에 관한 정보, 주파수 변환 방법이나 양자화 방법을 지정하기 위한 정보는, 출력하지 않는 점에 주의해야 한다. 왜냐하면, 예측 신호 생성 관련 정보에 기초하여, 대상 블록의 분할 방법이 정해지고, 따라서 주파수 변환 방법이나 양자화 방법도 자동적으로 결정할 수 있기 때문이다. 예를 들면, 도 6의 (C), (D)로부터, 예측 모드가 0, 5, 7 중 어느 하나인 경우에는, 대상 블록에서의 소영역은 가로로 길다고 판단할 수 있고, 이에 따라 가로로 긴 소영역에 대한 주파수 변환 방법이나 양자화 방법도 정해진다. 따라서, 예측 신호 생성 관련 정보 이외의 추가적인 지시 정보를 송신할 필요가 없다.

또한, 본 발명의 실시예에서는, 화상 신호에 따른 최적인 분할 방법과 예측 신호 생성 방법을 사용할 수 있으므로, 부호화 효율을 더욱 높일 수 있다. 예를 들면, 진폭이 많이 변화하지 않는 평탄한 신호에 대해서는, 소영역이 정사각형으로 되도록 대상 블록을 분할하고, 주위의 기 재생 화소의 평균값에 의해 예측해도 된다. 또한, 신호가 수직 방향으로 변화되는 경우는, 도 6의 (C)와 같이 대상 블록을 가로로 긴 소영역으로 분할하고, 수직 방향을 따라 주위의 기 재생의 화소를 외삽하고, 신호가 수평 방향으로 변화되는 경우는, 도 6의 (E)와 같이 대상 블록을 세로로 긴 소영역으로 분할하고, 수평 방향으로 주위의 기 재생의 화소를 외삽한다. 이로써, 대상 소영역의 화소는 항상 기 재생의 화소에 접근하게 되기 때문에, 대상 소영역의 신호에 대하여 상관 관계가 높은 예측 신호를 생성할 수 있다. 그러므로, 차분을 작게 억제하여, 부호화 양을 삭감할 수 있는 효과가 있다.

그리고, 직사각형 이외에, 도 7에 나타낸 바와 같은 블록의 분할 방법도 채용할 수 있다. 도 7의 화소군(701)은 기 재생의 화소이지만, 소영역이 화소군(701)을 따른 형태(역L자)로 되도록, 대상 블록을 소영역으로 분할한다. 이와 같이 하면, 소영역(702)에 있어서는, 기 재생의 화소에 접하지 않는 변(702a, 702b)의 길이는 1화소뿐이며 매우 짧아지며, 한편으로는 기 재생의 화소에 접하는 변을 길게 할 수 있다. 이 경우, 기 재생의 화소를 사용하여, 상기 기 재생의 화소에 인접하는 화소의 예측값을 생성하므로, 상관 관계가 매우 높은 신호를 생성할 수 있다. 마찬가지로, 소영역(703)에 대해서도, 소영역(702)의 재생 신호를 기초로, 기 재생의 화소와의 상관 관계가 높은 예측 신호를 생성할 수 있다. 그리고, 도 7의 예에서는, 정사각형의 소영역(705)이 존재하여, 정사각형의 소영역과 비정방형의 소영역이 혼재하고 있다.

[화상 예측 복호 장치에 대하여]

다음으로, 본 발명의 실시예에 따른 화상 예측 복호 장치·방법에 대하여 설명한다.　　도 8은, 본 발명의 실시예에 따른 화상 예측 복호 장치(800)의 블록도를 나타낸다.　　도 8에 나타낸 바와 같이, 화상 예측 복호 장치(800)는, 입력 단자(801), 데이터 해석기(802), 역양자화기(803), 역변환기(804), 가산기(805), 예측 신호 생성기(808), 프레임 메모리(807), 및 출력 단자(806)를 구비한다. 이 중 데이터 해석기(802), 역양자화기(803) 및 역변환기(804)는, 특허 청구 범위에 기재된 복호 수단에 대응하지만, 복호 수단으로서는 전술한 것 이외의 것을 사용해도 되며, 또한 역변환기(804)가 없어도 된다.

이상과 같이 구성된 화상 예측 복호 장치의 동작에 대하여, 이하에서 설명한다. 화상 예측 부호화 장치에 있어서 전술한 방법으로 압축 부호화된 압축 데이터는, 입력 단자(801)로부터 입력된다. 이 압축 데이터에는, 화상을 복수의 블록으로 분할하여 얻어진 대상 블록에 대하여 예측 부호화함으로써 얻어진 잔차 신호와, 예측 신호의 생성와 관련된 정보가 포함되어 있다. 이 중, 예측 신호의 생성와 관련된 정보로서는, 도 16에 나타내는, 주변의 기 재생의 화소의 평균값에 의해 예측 신호를 생성하는 방법인 DC 모드와, 소정의 방향으로 기 재생의 화소를 당겨 늘여 화소를 외삽함으로써 예측 신호를 생성하는 방법인 모드 0, 1, 3, 4, 5, 6, 7, 8의 합계 9개의 모드 중, 어느 하나의 모드의 정보가 포함되어 있다.

데이터 해석기(802)는, 입력된 압축 데이터로부터, 양자화된 변환 계수(대상 블록의 잔차 신호를 양자화하여 얻어진 변환 계수), 예측 신호의 생성과 관련된 정보, 및 양자화 파라미터를 추출한다. 양자화된 변환 계수 및 양자화 파라미터는 라인 L802를 경유하여 역양자화기(803)에 출력되고, 역양자화기(803)는 양자화 파라미터를 기초로, 상기 양자화된 변환 계수를 역양자화하고, 그 결과를 역변환기(804)가 역이산 코사인 변환한다. 이와 같이 하여 복원된 잔차 신호는, 라인 L804를 경유하여 가산기(805)에 송신된다. 전술한 처리는, 대상 블록에 포함되는 소영역마다 행해지며, 상세한 것은 후술한다.

한편, 예측 신호의 생성와 관련된 정보는, 라인 L802b를 경유하여 예측 신호 생성기(808)에 송신된다. 예측 신호 생성기(808)는, 후술하는 방법으로, 예측 신호의 생성과 관련된 정보를 기초로, 프레임 메모리(807)로부터 참조 신호를 취득하여 예측 신호를 생성한다. 이 예측 신호는, 라인 L808을 경유하여 가산기(805)에 송신되고, 가산기(805)는, 예측 신호와 상기 복원된 잔차 신호를 가산함으로써 대상 블록 신호를 재생하고, 재생된 대상 블록 신호를 라인 L805를 경유하여, 외부로 출력하고, 또한 프레임 메모리(807)에 저장한다.

[화상 예측 복호 방법에 대하여]

다음으로, 도 9를 이용하여 본 발명의 실시예에 따른 화상 예측 복호 방법에 기초한 처리를 설명한다. 도 9의 단계 902에서는, 압축된 데이터가 입력되고, 다음 단계 903에서는, 데이터 해석기(802)가 압축 데이터에 대하여 엔트로피 복호를 행하고, 양자화된 변환 계수(대상 블록의 잔차 신호를 양자화하여 얻어진 변환 계수), 양자화 파라미터, 및 예측 신호 생성 관련 정보를 추출한다. 여기서는, 복호 대상으로 되는 대상 블록은 모두 동일한 방법으로 분할되어 있고, 도 3의 (A), 도 3의 (C), 도 7에 나타낸 바와 같이, 대상 블록은, 서로 접하는 복수의 소영역으로 분할되어 있다. 소영역은, 기 재생의 화소에 많이 접하며, 가늘고 긴 형상을 하고 있다. 이하의 복호·재생 처리(단계 904∼908)는 이들 소영역 단위로 차례로 행해진다. 도 9에서는 기재를 생략하였으나, 복호·재생 처리(단계 904∼908)를 소영역 단위로 차례로 행하기 위하여, 처리 대상의 소영역 각각에 대하여 처리의 순번을 정해두고, 현재의 처리 대상의 소영역을 k번째로 하고, 이 카운터 k를 차례로 카운트업해 나가는 것으로 한다.

단계 904에서는, 예측 신호 생성기(808)가 예측 신호 생성 관련 정보에 기초하여, 현재의 처리 대상의 소영역(k번째의 소영역；「대상 소영역」이라고 함)에 대하여 예측 신호를 생성한다. 구체적으로는, 대상 소영역에 인접하는 기 재생의 화소를 사용하여, 상기 기 재생의 화소의 평균값에 의해 예측 신호를 생성하는 방법, 또는 기 재생의 화소를 소정의 방향으로 당겨 늘여 외삽함으로써 예측 신호를 생성하는 방법을 채용한다. 바꾸어 말하면, 전술한 도 3의 (B)나 도 3의 (D)에 나타내는 9개의 모드 중에서, 예측 신호 생성 관련 정보로 특정된 방법에 의해 예측 신호를 생성한다. 또한, 소영역의 긴 변에 접하는 기 재생의 화소를 주로 사용하면서 예측 신호를 생성해도 된다. 이 경우, 도 4의 (A)와 같이 대상 블록을 가로 방향으로 분할하는 경우에는 도 4의 (B)와 같이 수직 방향 또는 그것에 가까운 방향으로 화소를 외삽하고, 한편, 도 4의 (C)와 같이 대상 블록을 세로 방향으로 분할하는 경우에는 도 4(D)와 같이 수평 방향 또는 그것에 가까운 방향으로 화소를 외삽하게 된다.

다음 단계 905에서는, 대상 소영역(k번째의 소영역)의 양자화된 변환 계수 및 양자화 파라미터가 역양자화기(803)에 출력되고, 역양자화기(803)는 양자화 파라미터를 기초로, 상기 양자화된 변환 계수를 역양자화하고, 다음 단계 906에서는, 역변환기(804)가 상기 역양자화의 결과에 대하여, 대상 소영역(k번째의 소영역)의 형상에 맞춘 역이산 코사인 변환을 행함으로써, 재생(복원)된 잔차 신호를 생성한다. 재생된 잔차 신호는, 라인 L804를 경유하여 가산기(805)에 송신된다.

다음 단계 907에서는, 가산기(805)가 대상 소영역(k번째의 소영역)의 예측 신호와 재생된 잔차 신호를 가산함으로써 재생 화소 신호를 생성한다. 그리고, 이 재생 화소 신호는, 다음의 소영역의 화소 신호를 재생하기 위해 프레임 메모리에 일시적으로 저장된다(단계 908).

전술한 단계 904∼908의 복호·재생 처리는, 대상 블록의 모든 소영역에 대하여 차례로 실행된다. 대상 블록의 모든 소영역에 대하여 단계 904∼908의 복호·재생 처리가 완료하면, 단계 909에서 긍정으로 판정되고, 단계 910에서 모든 대상 블록에 대하여 처리가 완료되었는지의 여부를 판정한다. 모든 대상 블록에 대하여 처리가 완료되지 않았으면, 단계 903으로 복귀하여, 처리 미완료의 대상 블록에 대하여 처리를 실행한다. 그리고, 모든 대상 블록에 대하여 처리가 완료하면, 단계 910에서 긍정으로 판정되고, 도 9의 처리를 종료한다.

여기서, 복호 대상이 되는 소영역이, 복호·재생 처리된 인접한 블록과 접하는 경우에는, 상기 인접한 블록의 기 재생 화소를 사용하고, 복호 대상이 되는 소영역이 같은 블록 내의 복호·재생 처리된 다른 소영역과 접하는 경우에는, 상기 다른 소영역의 기 재생 화소를 사용하여 예측 신호를 생성하는 것이 바람직하다. 어느 경우에도, 생성되는 예측 신호는, 기 재생 화소의 근방에 있는 대상 화소의 재생에 사용되므로 상기 예측 신호의 근사 정밀도는 종래 기술보다 높고, 압축 부호화 효율을 높일 수 있는 효과가 있다.

[복수의 분할 형상이 있는 경우의 화상 예측 복호 방법]

도 10은, 복수의 분할 형상이 있는 경우의 화상 예측 복호 방법에 기초한 처리를 나타낸다. 즉, 복호 대상이 되는 블록은 모두 동일한 방법으로 분할되는 것은 아니며, 도 6의 (A), (C), (E) 중 어느 하나의 방법으로 분할된다. 또한, 분할 방법에 따라, 예측 신호의 생성 방법은 각각, 도 6의 (B), (D), (F)와 같이 정해져 있는 점에 주의해야 한다.

도 10의 단계 1002에서는, 압축된 데이터가 입력되고, 다음 단계 1003에서는, 데이터 해석기(802)가 압축 데이터에 대하여 엔트로피 복호를 행하고, 양자화된 변환 계수(대상 블록의 잔차 신호를 양자화하여 얻어진 변환 계수), 양자화 파라미터, 및 예측 신호 생성 관련 정보를 추출한다.

이하의 복호·재생 처리(단계 1004∼1008)는, 전술한 소영역 단위로 차례로 행해진다. 도 10에는 기재를 생략하였으나, 복호·재생 처리(단계 1004∼1008)를 소영역 단위로 차례로 행하기 위하여, 처리 대상의 소영역 각각에 대하여 처리의 순번을 정해두고, 현재의 처리 대상의 소영역을 k번째로 하고, 이 카운터 k를 차례로 카운트업해 나가는 것으로 한다.

단계 1004에서는, 예측 신호 생성기(808)가 예측 신호 생성 관련 정보에 기초하여, 대상 블록의 분할 방법을 특정한다. 대상 블록의 분할 방법을 특정함으로써 소영역의 형상이 정해지고, 생성되는 예측 신호의 형상이 결정된다. 여기서는, 도 13에 나타낸 바와 같이, 예측 신호 생성 관련 정보에 의해, 예측 모드가 2(DC 모드), 3, 4 중 어느 하나인 경우에는, 도 6의 (A)와 같이 블록이 분할되어 있는 것이 정해지고, 예측 모드가 0, 5, 7 중 어느 하나인 경우에는, 도 6의 (C)와 같이 블록이 분할되어 있는 것이 정해지고, 예측 모드가 1, 6, 8 중 어느 하나인 경우에는, 도 6의 (E)과 같이 블록이 분할되어 있는 것이 정해진다. 그리고, 예측 신호 생성기(808)는, 정해진 예측 모드에 따라, 현재의 처리 대상의 소영역(k번째의 소영역；「대상 소영역」이라고 함)의 형상에 맞추어서, 상기 대상 소영역의 예측 신호를 생성한다.

다음 단계 1005에서는, 대상 소영역(k번째의 소영역)의 양자화된 변환 계수 및 양자화 파라미터가 역양자화기(803)에 출력되고, 역양자화기(803)는 양자화 파라미터를 기초로, 상기 양자화된 변환 계수를 역양자화하고, 다음 단계 1006에서는, 역변환기(804)가 상기 역양자화의 결과에 대하여, 대상 소영역(k번째의 소영역)의 형상에 맞춘 역이산 코사인 변환을 행함으로써, 재생(복원)된 잔차 신호를 생성한다. 재생된 잔차 신호는, 라인 L804를 경유하여 가산기(805)에 송신된다. 여기서는, 소영역의 형상에 맞추어 역양자화의 가중치 계수가 선택되고, 선택된 가중치 계수에 의해 역양자화가 행해진다. 또한, 주파수 영역으로부터 화소 영역으로의 역변환(역이산 코사인 변환)에 대해서는, 대상 블록을 4×4로 분할한 소영역의 경우에는 4×4의 역변환이 행해지고, 대상 블록을 8×2로 분할한 소영역의 경우에는, 8×2의 역변환이 행해지고, 대상 블록을 2×8로 분할한 소영역의 경우에는, 2×8의 역변환이 행해진다. 어느 경우에도, 추가적인 지시 정보 없이, 예측 신호 생성 관련 정보에 기초하여, 일의적(一意的)으로 역변환의 방법이 결정된다.

다음 단계 1007에서는, 가산기(805)가 대상 소영역(k번째의 소영역)의 예측 신호와 재생된 잔차 신호를 가산함으로써 재생 화소 신호를 생성한다. 그리고, 이 재생 화소 신호는, 다음의 소영역의 화소 신호를 재생하기 위해 프레임 메모리에 일시적으로 저장된다(단계 1008).

전술한 단계 1004∼1008의 복호·재생 처리는, 대상 블록의 모든 소영역에 대하여 차례로 실행된다. 대상 블록의 모든 소영역에 대하여 단계 1004∼1008의 복호·재생 처리가 완료하면, 단계 1009에서 긍정으로 판정되고, 단계 1010에서 모든 대상 블록에 대하여 처리가 완료되었는지의 여부를 판정한다. 모든 대상 블록에 대하여 처리가 완료되지 않았으면, 단계 1003으로 복귀하여, 처리 미완료의 대상 블록에 대하여 처리를 실행한다. 그리고, 모든 대상 블록에 대하여 처리가 완료되면, 단계 1010에서 긍정으로 판정되고, 도 10의 처리를 종료한다.

이상과 같이 화상의 신호에 따른 복수의 분할 방법과 예측 신호 생성 방법을 사용함으로써, 부호화 효율을 높일 수 있는 효과가 있다. 또한, 복수의 분할 방법, 복수의 역양자화의 방법, 복수의 역변환의 방법을 전환하여 사용함에도 불구하고, 추가적인 지시 정보 없이, 예측 신호 생성 관련 정보를 사용하여 일의적으로, 분할 방법, 역양자화의 방법, 역변환의 방법이 정해지기 때문에, 전체적으로 부호량을 낮게 억제할 수 있는 효과가 있다.

[화상 예측 부호화 프로그램, 화상 예측 복호 프로그램에 대하여]

화상 예측 부호화 장치에 관한 발명은, 컴퓨터를 화상 예측 부호화 장치로서 기능하게 하기 위한 화상 예측 부호화 프로그램에 관한 발명으로 볼 수 있다. 또한, 화상 예측 복호 장치에 관한 발명은, 컴퓨터를 화상 예측 복호 장치로서 기능하게 하기 위한 화상 예측 복호 프로그램에 관한 발명으로 볼 수 있다. 상기 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램은, 기록 매체에 저장되어 제공 가능하게 된다. 여기서의 기록 매체로서는, 플렉시블디스크, CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등을 예로 들 수 있다.

도 11은, 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이며, 도 12는, 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 여기서의 컴퓨터로서는, CPU를 구비하고 소프트웨어에 의한 정보 처리나 제어를 행하는 DVD 플레이어, 셋탑 박스, 휴대 전화기 등도 포함한다.

도 11에 나타낸 바와 같이, 컴퓨터(30)는, 플렉시블 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12)와, 오퍼레이팅 시스템을 상주시킨 작업용 메모리(RAM)(14)와, 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16)와, 디스플레이(18)와, 입력 장치인 마우스(20) 및 키보드(22)와, 데이터 등의 송수신을 행하기 위한 통신 장치(24)와, 프로그램의 실행을 제어하는 CPU(26)를 구비하고 있다. 컴퓨터(30)는, 기록 매체(10)가 판독 장치(12)에 삽입되면, 판독 장치(12)로부터 기록 매체(10)에 저장된 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램에 액세스 가능해져, 상기 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램에 의해, 컴퓨터(30)는, 본 발명의 실시예에 따른 화상 예측 부호화 장치 및 화상 예측 복호 장치로서 동작할 수 있게 된다.

도 12에 나타낸 바와 같이, 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램은, 반송파(搬送波)에 중첩된 컴퓨터 데이터 신호(40)로서, 네트워크를 통하여 제공되는 것이라도 된다. 이 경우, 컴퓨터(30)는, 통신 장치(24)에 의해 수신된 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램을 메모리(16)에 저장하여, 상기 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램을 실행할 수 있다.

그리고, 본 발명은, 전술한 화상 예측 부호화 장치(100)(도 1)와, 전술한 화상 예측 복호 장치(800)(도 8)를 포함하여 구성되는 부호화·복호 시스템에 관한 발명으로 볼 수 있다. 도 14에 나타낸 바와 같이, 부호화·복호 시스템(1)은, 화상 예측 부호화 장치(100)와 화상 예측 복호 장치(800)를 포함하여 구성된다. 다만, 화상 예측 부호화 장치(100)와 화상 예측 복호 장치(800)는, 임의의 통신 수단에 의해 접속 가능하게 되어 있고, 화상 예측 부호화 장치(100)로부터 화상 예측 복호 장치(800)에 비트스트림이 전송된다.

또한, 본 발명은, 부호화·복호 시스템에 있어서 실행되는 부호화·복호 방법에 관한 발명으로 볼 수 있다. 예를 들면, 부호화·복호 방법은, 화상 예측 부호화 장치(100)에 의해 실행되는 전술한 도 2의 화상 예측 부호화 방법의 처리 단계와, 화상 예측 복호 장치(800)에 의해 실행되는 전술한 도 9의 화상 예측 복호 방법의 처리 단계를 포함한다. 또한, 복수의 분할 형상이 있는 경우의 태양으로서, 부호화·복호 방법은, 화상 예측 부호화 장치(100)에 의해 실행되는 전술한 도 5의 화상 예측 부호화 방법의 처리 단계와, 화상 예측 복호 장치(800)에 의해 실행되는 전술한 도 10의 화상 예측 복호 방법의 처리 단계를 포함한다.

이상 설명한 실시예에 의하면, 종래 기술에 사용되는 외삽의 방법으로 화면 내 예측 신호를 생성한 경우, 대상 블록의 경계에서 멀리 이격된 화소에 대한 예측 정밀도의 저하를 방지하여, 매끄럽지 못한 도안을 가지는 화상 신호를 효율적으로 예측할 수 있게 된다.

1: 부호화·복호 시스템 100: 화상 예측 부호화 장치
101: 입력 단자 102: 블록 분할기
103: 예측 신호 생성기 104: 프레임 메모리
105: 감산기 106: 변환기
107: 양자화기 108: 역양자화기
109: 역변환기 110: 가산기
111: 엔트로피 부호화기 112: 출력 단자
800: 화상 예측 복호 장치 801: 입력 단자
802: 데이터 해석기 803: 역양자화기
804: 역변환기 805: 가산기
806: 출력 단자 807: 프레임 메모리
808: 예측 신호 생성기 10: 기록 매체
12: 판독 장치 14: 작업용 메모리
16: 메모리 18: 디스플레이
20: 마우스 22: 키보드
24: 통신 장치 30: 컴퓨터
40: 컴퓨터 데이터 신호.

Claims

입력 화상을 복수의 블록으로 분할하는 영역 분할 수단;
상기 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여, 예측 신호를 생성하는 예측 신호 생성 수단;
상기 대상 블록의 화소 신호와 생성된 상기 예측 신호와의 잔차(殘差) 신호를 생성하는 잔차 신호 생성 수단;
상기 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 수단; 및
상기 압축 신호를 복원하고, 복원된 신호를 재생 화소 신호로서 저장하는 저장 수단
을 포함하는 화상 예측 부호화 장치로서,
상기 예측 신호 생성 수단은, 상기 대상 블록을 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개가 비정방형(非正方形)이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고,
상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기(旣) 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중에서 선택된 하나의 예측 신호 생성 방법에 의해, 상기 비정방형의 각각의 소영역의 예측 신호를 생성하며,
상기 신호 부호화 수단은, 상기 예측 신호 생성 수단에 의해 선택된 상기 각각의 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 부호화하고, 상기 부호화에 의해 얻어진 신호를 상기 압축 신호와 함께 출력하는, 화상 예측 부호화 장치.
제1항에 있어서,
상기 비정방형의 소영역의 상기 제1 변은 상기 기 재생의 화소에 접하고, 상기 제2 변은 상기 기 재생의 화소에 접하지 않고, 상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 상기 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는, 화상 예측 부호화 장치.
화상 예측 부호화 장치에 의해 실행되는 화상 예측 부호화 방법이며,
입력 화상을 복수의 블록으로 분할하는 영역 분할 단계;
상기 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여, 예측 신호를 생성하는 예측 신호 생성 단계;
상기 대상 블록의 화소 신호와 생성된 상기 예측 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계;
상기 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 단계; 및
상기 압축 신호를 복원하고, 복원된 신호를 재생 화소 신호로서 저장하는 저장 단계
를 포함하는 화상 예측 부호화 방법으로서,
상기 예측 신호 생성 단계에서는, 상기 대상 블록을 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개는 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고,
상기 예측 신호 생성 단계에서는, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중에서 선택된 하나의 예측 신호 생성 방법에 의해, 상기 비정방형의 각각의 소영역의 예측 신호를 생성하며,
상기 신호 부호화 단계에서는, 상기 예측 신호 생성 단계에서 선택된 상기 각각의 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 부호화하고, 상기 부호화에 의해 얻어진 신호를 상기 압축 신호와 함께 출력하는, 화상 예측 부호화 방법.
제3항에 있어서,
상기 비정방형의 소영역의 상기 제1 변은 상기 기 재생의 화소에 접하고, 상기 제2 변은 상기 기 재생의 화소에 접하지 않고, 상기 예측 신호 생성 단계에서는, 상기 제1 변에 접하는 상기 기 재생의 화소 신호를 사용하여 상기 비정방형의 소영역의 예측 신호를 생성하는, 화상 예측 부호화 방법.
화상이 복수의 블록으로 분할되어 있고, 상기 블록이 또한 복수의 소영역으로 재분할되어 있고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고, 상기 소영역에 포함되는 화소 신호를 예측 부호화함으로써 생성된 잔차 신호와, 상기 예측 부호화에 있어서의 상기 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 포함하는 압축 화상 데이터를 입력하는 입력 수단;
상기 압축 화상 데이터로부터 상기 소영역의 상기 잔차 신호를 추출하여, 재생 잔차 신호로 복원하는 복원 수단;
상기 압축 화상 데이터로부터 상기 예측 신호 생성 관련 정보를 추출하고, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 예측 신호 생성 수단;
상기 소영역의 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 상기 소영역의 화소 신호를 복원하는 화상 복원 수단; 및
복원된 상기 화소 신호를 재생 화소 신호로서 저장하는 저장 수단
을 포함하는 화상 예측 복호 장치로서,
상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중 상기 예측 신호 생성 관련 정보로 지시되는 예측 신호 생성 방법에 기초하여, 상기 비정방형의 각각의 소영역의 예측 신호를 생성하는, 화상 예측 복호 장치.
제5항에 있어서,
상기 비정방형의 소영역의 상기 제1 변은 상기 기 재생의 화소에 접하고, 상기 제2 변은 상기 기 재생의 화소에 접하지 않는, 화상 예측 복호 장치.
제5항에 있어서,
상기 예측 신호 생성 수단은, 상기 예측 신호 생성 관련 정보로부터 상기 소영역의 형상을 특정하고, 특정된 상기 소영역의 형상에 맞추어, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는, 화상 예측 복호 장치.
제5항에 있어서,
상기 복원 수단은, 상기 예측 신호 생성 관련 정보로부터 상기 소영역의 형상을 특정하고, 특정된 상기 소영역의 형상에 맞추어 역양자화와 역주파수 변환을 행함으로써, 상기 소영역의 잔차 신호를 상기 재생 잔차 신호로 복원하는, 화상 예측 복호 장치.
화상 예측 복호 장치에 의해 실행되는 화상 예측 복호 방법이며,
화상이 복수의 블록으로 분할되어 있고, 상기 블록이 또한 복수의 소영역으로 재분할되어 있고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고, 상기 소영역에 포함되는 화소 신호를 예측 부호화함으로써 생성된 잔차 신호와, 상기 예측 부호화에 있어서의 상기 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 포함하는 압축 화상 데이터를 입력하는 입력 단계;
상기 압축 화상 데이터로부터 상기 소영역의 잔차 신호를 추출하여, 재생 잔차 신호로 복원하는 복원 단계;
상기 압축 화상 데이터로부터 상기 예측 신호 생성 관련 정보를 추출하고, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 예측 신호 생성 단계;
상기 소영역의 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 상기 소영역의 화소 신호를 복원하는 화상 복원 단계; 및
복원된 상기 화소 신호를 재생 화소 신호로서 저장하는 저장 단계
를 포함하는 화상 예측 복호 방법으로서,
상기 예측 신호 생성 단계에서는, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중 상기 예측 신호 생성 관련 정보로 지시되는 예측 신호 생성 방법에 기초하여 상기 비정방형의 각각의 소영역의 예측 신호를 생성하는, 화상 예측 복호 방법.
제9항에 있어서,
상기 비정방형의 소영역의 상기 제1 변은 상기 기 재생의 화소에 접하고, 상기 제2 변은 상기 기 재생의 화소에 접하지 않는, 화상 예측 복호 방법.
제9항에 있어서,
상기 예측 신호 생성 단계에서는, 상기 예측 신호 생성 관련 정보로부터 상기 소영역의 형상을 특정하고, 특정된 소영역의 형상에 맞추어, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는, 화상 예측 복호 방법.
제9항에 있어서,
상기 복원 단계에서는, 상기 예측 신호 생성 관련 정보로부터 상기 소영역의 형상을 특정하고, 특정된 소영역의 형상에 맞추어 역양자화와 역주파수 변환을 행함으로써, 상기 소영역의 잔차 신호를 상기 재생 잔차 신호로 복원하는, 화상 예측 복호 방법.
컴퓨터를,
입력 화상을 복수의 블록으로 분할하는 영역 분할 수단;
상기 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여, 예측 신호를 생성하는 예측 신호 생성 수단;
상기 대상 블록의 화소 신호와 생성된 상기 예측 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단;
상기 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 수단; 및
상기 압축 신호를 복원하고, 복원된 신호를 재생 화소 신호로서 저장하는 저장 수단
으로서 기능시키고,
상기 예측 신호 생성 수단은, 상기 대상 블록을 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고,
상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기(旣) 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중에서 선택된 하나의 예측 신호 생성 방법에 의해, 상기 비정방형의 각각의 소영역의 예측 신호를 생성하며,
상기 신호 부호화 수단은, 상기 예측 신호 생성 수단에 의해 선택된 상기 각각의 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 부호화하고, 상기 부호화에 의해 얻어진 신호를 상기 압축 신호와 함께 출력하는 화상 예측 부호화 프로그램을 기록한 컴퓨터 판독 가능형 기록 매체.
컴퓨터를,
화상이 복수의 블록으로 분할되어 있고, 상기 블록이 또한 복수의 소영역으로 재분할되어 있고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고, 상기 소영역에 포함되는 화소 신호를 예측 부호화함으로써 생성된 잔차 신호와, 상기 예측 부호화에 있어서의 상기 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 포함하는 압축 화상 데이터를 입력하는 입력 수단;
상기 압축 화상 데이터로부터 상기 소영역의 잔차 신호를 추출하여, 재생 잔차 신호로 복원하는 복원 수단;
상기 압축 화상 데이터로부터 상기 예측 신호 생성 관련 정보를 추출하고, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 예측 신호 생성 수단;
상기 소영역의 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 상기 소영역의 화소 신호를 복원하는 화상 복원 수단; 및
복원된 상기 화소 신호를 재생 화소 신호로서 저장하는 저장 수단
으로서 기능시키고,
상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중 상기 예측 신호 생성 관련 정보로 지시되는 예측 신호 생성 방법에 기초하여, 상기 비정방형의 각각의 소영역의 예측 신호를 생성하는 화상 예측 복호 프로그램을 기록한 컴퓨터 판독 가능형 기록 매체.
화상 예측 부호화 장치와 화상 예측 복호 장치를 포함하여 구성되는 부호화·복호 시스템으로서,
상기 화상 예측 부호화 장치는,
입력 화상을 복수의 블록으로 분할하는 영역 분할 수단;
상기 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여, 예측 신호를 생성하는 예측 신호 생성 수단;
상기 대상 블록의 화소 신호와 생성된 상기 예측 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단;
상기 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 수단; 및
상기 압축 신호를 복원하고, 복원된 신호를 재생 화소 신호로서 저장하는 저장 수단
을 포함하고,
상기 예측 신호 생성 수단은, 상기 대상 블록을 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고,
상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중에서 선택된 하나의 예측 신호 생성 방법에 의해, 상기 비정방형의 각각의 소영역의 예측 신호를 생성하며,
상기 신호 부호화 수단은, 상기 예측 신호 생성 수단에 의해 선택된 상기 각각의 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 부호화하고, 상기 부호화에 의해 얻어진 신호를 상기 압축 신호와 함께 출력하고,
상기 화상 예측 복호 장치는,
화상이 복수의 블록으로 분할되어 있고, 상기 블록이 또한 복수의 소영역으로 재분할되어 있고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고, 상기 소영역에 포함되는 화소 신호를 예측 부호화함으로써 생성된 잔차 신호와, 상기 예측 부호화에 있어서의 상기 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 포함하는 압축 화상 데이터를 입력하는 입력 수단;
상기 압축 화상 데이터로부터 상기 소영역의 잔차 신호를 추출하여, 재생 잔차 신호로 복원하는 복원 수단;
상기 압축 화상 데이터로부터 상기 예측 신호 생성 관련 정보를 추출하고, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 예측 신호 생성 수단;
상기 소영역의 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 상기 소영역의 화소 신호를 복원하는 화상 복원 수단; 및
복원된 상기 화소 신호를 재생 화소 신호로서 저장하는 저장 수단
을 포함하고,
상기 예측 신호 생성 수단은, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중 상기 예측 신호 생성 관련 정보로 지시되는 예측 신호 생성 방법에 기초하여 상기 비정방형의 각각의 소영역의 예측 신호를 생성하는,
부호화·복호 시스템.
화상 예측 부호화 장치와 화상 예측 복호 장치를 포함하여 구성되는 부호화·복호 시스템에 있어서 실행되는 부호화·복호 방법으로서,
상기 화상 예측 부호화 장치에 의해 실행되는 화상 예측 부호화 방법의 처리 단계; 및
상기 화상 예측 복호 장치에 의해 실행되는 화상 예측 복호 방법의 처리 단계
를 포함하고,
상기 화상 예측 부호화 방법의 처리 단계는,
입력 화상을 복수의 블록으로 분할하는 영역 분할 단계;
상기 복수의 블록 중 처리 대상인 대상 블록에 포함되는 화소 신호에 대하여, 예측 신호를 생성하는 예측 신호 생성 단계;
상기 대상 블록의 화소 신호와 생성된 상기 예측 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계;
상기 잔차 신호를 부호화함으로써 압축 신호를 생성하는 신호 부호화 단계; 및
상기 압축 신호를 복원하고, 복원된 신호를 재생 화소 신호로서 저장하는 저장 단계
를 포함하고,
상기 예측 신호 생성 단계에서는, 상기 대상 블록을 복수의 소영역으로 재분할하고, 상기 소영역 중 적어도 1개는 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고,
상기 예측 신호 생성 단계에서는, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중에서 선택된 하나의 예측 신호 생성 방법에 의해, 상기 비정방형의 각각의 소영역의 예측 신호를 생성하며,
상기 신호 부호화 단계에서는, 상기 예측 신호 생성 단계에서 선택된 상기 각각의 소영역의 예측 신호 생성 방법을 나타내는 예측 신호 생성 관련 정보를 부호화하고, 상기 부호화에 의해 얻어진 신호를 상기 압축 신호와 함께 출력하고,
상기 화상 예측 복호 방법의 처리 단계는,
화상이 복수의 블록으로 분할되어 있고, 상기 블록이 또한 복수의 소영역으로 재분할되어 있고, 상기 소영역 중 적어도 1개가 비정방형이며, 상기 비정방형의 소영역의 제1 변의 길이는, 상기 제1 변과는 상이한 제2 변의 길이보다 길고, 상기 소영역에 포함되는 화소 신호를 예측 부호화함으로써 생성된 잔차 신호와, 상기 예측 부호화에 있어서의 상기 소영역의 예측 신호의 생성 방법을 나타내는 예측 신호 생성 관련 정보를 포함하는 압축 화상 데이터를 입력하는 입력 단계;
상기 압축 화상 데이터로부터 상기 소영역의 잔차 신호를 추출하여, 재생 잔차 신호로 복원하는 복원 단계;
상기 압축 화상 데이터로부터 상기 예측 신호 생성 관련 정보를 추출하고, 상기 예측 신호 생성 관련 정보에 기초하여 상기 소영역의 예측 신호를 생성하는 예측 신호 생성 단계;
상기 소영역의 상기 예측 신호와 상기 재생 잔차 신호를 가산함으로써, 상기 소영역의 화소 신호를 복원하는 화상 복원 단계; 및
복원된 상기 화소 신호를 재생 화소 신호로서 저장하는 저장 단계
를 포함하고,
상기 예측 신호 생성 단계에서는, 상기 제1 변에 접하는 기 재생의 화소 신호를 사용하는 복수의 미리 할당된 예측 신호 생성 방법 중 상기 예측 신호 생성 관련 정보로 지시되는 예측 신호 생성 방법에 기초하여 상기 비정방형의 각각의 소영역의 예측 신호를 생성하는,
부호화·복호 방법.
삭제
삭제
삭제
삭제