KR20100002261A

KR20100002261A - 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램

Info

Publication number: KR20100002261A
Application number: KR20097022437A
Authority: KR
Inventors: 춘셍 분; 티오 켕 탄; 요시노리 스즈키
Original assignee: 가부시키가이샤 엔.티.티.도코모
Priority date: 2007-06-04
Filing date: 2008-06-02
Publication date: 2010-01-06
Also published as: MX2009013198A; WO2008149840A1; KR101473278B1; EP2164265A1; BRPI0812199A2; EP2503781B1; JP2009017534A; US20100195722A1; US8761254B2; KR20110081304A; AU2008258910A1; RU2565248C2; EP2503781A1; CA2689277A1; CN101682777B; RU2009148824A; EP2164265A4; CN101682777A; RU2011137070A; JP5188875B2

Abstract

본 발명은 화소 영역에 있어서의 화면 내 예측 신호의 생성 방법에 대하여 많은 예측 방법을 구비한 경우에도, 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있는 것을 과제로 한다. 화상 예측 부호화 장치(10)는, 블록 분할부(102), 화면 내 예측 신호 생성 방법 결정부(105), 화면 내 예측 신호 생성부(106), 변환부(109), 양자화부(110), 및 엔트로피 부호화부(115)를 구비하고, 화면 내 예측 신호 생성 방법 결정부(105)는, 복수의 제1 예측 방법 중에서, 대상 영역에 대한 직근 화소군을 사용하여 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하고, 도출된 인접 영역 예측 방법에 기초하여 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 화면 내 예측 신호 생성부(106)는, 상기 대상 영역 예측 방법에 기초하여 대상 영역에 대한 화면 내 예측 신호를 생성한다.

Description

화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램{IMAGE PREDICTION ENCODING DEVICE, IMAGE PREDICTION DECODING DEVICE, IMAGE PREDICTION ENCODING METHOD, IMAGE PREDICTION DECODING METHOD, IMAGE PREDICTION ENCODING PROGRAM, AND IMAGE PREDICTION DECODING PROGRAM}

본 발명은, 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램에 관한 것이다.

정지 화상 데이터나 동화상 데이터의 전송이나 축적을 효율적으로 행하기 위해, 종래부터 화상 데이터를 압축 부호화 기술에 의해 압축하는 것이 행해지고 있다. 이와 같은 압축 부호화 기술로서는, 동화상의 경우에는 MPEG1∼4나 H.261∼H.264등의 방식이 널리 사용되고 있다.

이들 부호화 방식에서는, 부호화의 대상으로 되는 화상 데이터를 복수의 블록으로 분할한 후에 부호화 처리 및 복호 처리를 행한다. 또한, MPEG4나 H.264 등의 방식에 있어서는, 부호화 효율을 더욱 높이기 위하여, 화면 내의 대상 블록의 부호화에 있어서, 대상 블록과 동일한 화면 내에 있는 인접하는 기(旣) 재생의 화 소 신호를 사용하여 예측 신호를 생성한다. 기 재생의 화소 신호는, 일단 압축된 화상 데이터로부터 복원된 것을 의미한다. 그리고, 예측 신호를 대상 블록의 화소 신호로부터 뺀 차분 신호를 부호화한다.

여기서, MPEG4에서는, 대상 블록의 화상 신호를 이산 코사인 변환한 후 예측 부호화한다. 즉, 대상 블록의 직류 성분 및 제1행 또는 제1열의 교류 성분의 계수에 대해, 해당 대상 블록 상 또는 좌측에 있는 블록의 동일 성분의 계수를 예측값 으로 하고, 양 자의 차분을 부호화한다. 이 예측값의 결정은, 대상 블록의 대각선 상에 있는 블록과 대상 블록 상 또는 좌측에 있는 블록과의 직류 성분의 구배(勾配)의 크기에 기초하여 행해진다. 이와 같은 화면 내 예측 방법은, 하기 특허 문헌 1에 기재되어 있다.

한편, H.264에서는, 대상 블록에 인접하는 기 재생의 화소값을 소정의 방향으로 외삽(外揷)하여 예측 신호를 생성하는 방법을 채용하고 있다. 이 화소 영역에서의 화면 내 예측 신호 생성은, 화상의 세부를 예측할 수 있는 장점이 있다. 도 39의 (a)에는, H.264에 사용되는 화면 내 예측 방법을 설명하기 위한 모식도, 도 39의 (b)에는, H.264의 화면 내 예측 방법에 있어서의 화소 신호의 잡아늘인 방향을 나타낸다. 도 39의 (a)에 있어서, 블록(1901)은 대상 블록이며, 블록(1902∼1904)은 인접하는 블록으로서, 과거의 처리에 있어서 이미 재생된 화소 신호를 포함하는 블록이다. 여기서는, 블록(1901)의 대상 블록의 경계에 인접하는 기 재생 화소군(1905)을 사용하여, 도 39의 (b)에 나타내는 9개의 방향으로 예측 신호를 생성한다. 예를 들면, 방향 “0”의 경우, 블록(1901)의 바로 위에 있는 인접 화소 를 아래쪽으로 잡아늘여 예측 신호를 생성하고, 방향 “1”의 경우, 블록(1901)의 좌측에 있는 기 재생 화소를 우측으로 잡아늘여 예측 신호를 생성하고, 방향 “2”의 경우에는, 화소군(1905) 전체의 화소값의 평균값을 예측 신호로서 생성한다. 예측 신호를 생성할 때의 보다 구체적인 방법에 대해서는, 예를 들면 하기 비특허 문헌 1에 기재되어 있다. H.264에서는, 전술한 바와 같이 생성된 9개의 예측 신호 각각과 대상 블록의 화소 신호와의 차분을 취하고, 차분값이 가장 작은 예측 신호의 생성 방법을 최적의 예측 방법(또는, "모드"라고도 함)으로 한다.

화상 데이터를 전송 또는 축적할 때는, 화상 데이터의 복원을 위해서 전술한 바와 같이 하여 결정된 최적 예측 방법을 나타내는 식별 정보를 송신측으로 보낼 필요가 있다. 이 식별 정보를 부호화하기 위해서는 블록(1902)과 블록(1903)의 2개의 블록에 대해서 결정된 예측 방법을 참조하여 행한다. 즉, 블록(1902)의 예측 방법의 식별 정보와 블록(1903)의 예측 방법의 식별 정보를 비교하여, 값이 작은 쪽을 참조 모드 정보로서 결정한다. 그리고, 대상 블록(1901)의 최적 예측 방법에 대한 식별 정보를 이 참조 모드 정보로부터 상대적으로 부호화한다.

또한, 최적 예측 방법에 대한 식별 정보를 더 효율적으로 부호화하기 위해, 특허 문헌 2에는, 대상 블록에 인접하는 인접 영역에 대해, H.264과 동일한 외삽 방법으로 예측 신호를 생성한 후에 참조 모드 정보를 결정하는 방법을 개시하고 있다. 여기서는, 인접 영역에 접하고 있지만 대상 블록에 접하고 있지 않은 화소군을 사용하여 외삽 처리를 행하고 있다. 도 40은 특허 문헌 2에 사용되는 방법을 설명하기 위한 모식도이다. 대상 블록(2001)의 최적 예측 방법에 관한 식별 정보 를 부호화하는데 있어서, 먼저 대상 영역(2001)에 인접하는 인접 영역(2005)의 최적 예측 방법을 결정한다. 구체적으로는, 인접 영역(2005)에 인접하는 화소군(2006)을 사용하여, H.264와 동일한 9개의 외삽 방법으로, 인접 영역(2005)에 대한 복수의 예측 신호를 생성하고, 이 복수의 예측 신호 중에서, 인접 영역(2005)의 화소에 가장 상관이 높은 예측 신호를 결정하고, 이를 생성하기 위한 외삽 방법을 참조 모드 정보로 한다. 이와 같이, 대상 블록에 직접적으로 접하고 있지 않은 화소군을 사용하여 참조 모드 정보를 결정하고 있다.

[특허 문헌 1] 미국 특허 공보 제6148109호

[특허 문헌 2] 일본 특허출원 공개번호 2007-116351호 공보

[비특허 문헌 1] Iain E.G. Richardson, “H.264 and MPEG-4 video compression”, Wiley 2003, pages pp.177 - 183.

[발명이 해결하고자 하는 과제]

그러나, H.264와 같은 화소 영역에 있어서의 화면 내 예측 신호 생성의 방법에서는, 예측 방법(또는 "모드"라고도 함)을 많이 구비함으로써 예측 정밀도를 높게 할 수 있도록 하는 한편, 이 예측 방법을 식별하기 위한 모드 정보를 부호화하기 위해서는 부호 길이가 긴 것을 사용할 필요가 있어서, 부호량 증가의 원인이 된다. 이 문제를 경감시키기 위해, 인접 블록의 예측 방법에 관한 모드 정보를 참조하여 상대적으로 예측 방법에 대한 정보를 부호화하는 방법이 사용되지만, 전술한 바와 같이 2개의 인접 블록만을 사용하므로, 대상 블록의 예측 방법에 대해서 정밀도가 높은 참조 모드 정보를 생성할 수 없다. 또한, 대상 블록에 인접하는 블록이 프레임간 예측 부호화하는 경우에 있어서, 인접 블록은 화면 내 예측에 대한 예측 정보를 갖고 있지 없으므로, 미리 정해진 예측 방법에 대한 모드 정보를 참조로 상대적으로 대상 블록의 예측 정보를 부호화하는 방법을 취하고 있다. 그러므로, 인접하는 블록이 프레임간 예측 부호화하는 경우에 있어서 대상 블록의 예측 방법을 적절하게 예측할 수 없으므로 그 예측 방법에 대한 정보의 부호화 효율은 좋지 못하게 된다.

또한, 대상 블록에 인접하는 인접 영역에 대해서, 그 인접 영역에 접하고 있지만 대상 블록에 직접 접하고 있지 않은 화소군을 사용하여, 예측 방법을 결정하는 방법은, 반드시 대상 블록에 적절하다 할 수는 없다. 왜냐하면, 대상 블록의 예측 신호를 생성하기 위해서는, 대상 블록에 직접 접하고 있는 화소군(도 20의 2007)을 사용하며, 인접 영역에 접하고 있지만 대상 블록에 접하고 있지 않은 화소군(도 20의 2006)을 사용하는 것은 아니기 때문이다. 즉, 예측 신호의 생성을 위해 사용하는 영역에 부정합이 생기지므로 예측 방법을 고정밀도로 결정하기 곤란하다.

본 발명은, 전술한 과제를 해결하고, 화소 영역에 있어서의 화면 내 예측 신호의 생성의 방법에 대하여 많은 예측 방법을 구비한 경우라도, 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있는 부호화하는 방법·장치 및 프로그램을 제공하는 것을 목적으로 한다.

[과제를 해결하기 위한 수단]

전술한 과제를 해결하기 위해, 본 발명의 화상 예측 부호화 장치는, 입력 화상을 복수의 영역으로 분할하는 영역 분할 수단과; 복수의 영역 중 처리 대상인 대상 영역에 포함되는 대상 화소 신호에 대하여 화면 내 예측 신호를 생성하는 예측 신호 생성 수단과; 예측 신호 생성 수단에 의해 생성된 화면 내 예측 신호와 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단과; 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 수단을 구비하고, 예측 신호 생성 수단은, 소정의 복수의 제1 예측 방법 중에서, 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근(直近) 화소군 중 적어도 일부를 사용하여, 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정부를 가지고, 제1 예측 방법 결정부에 의해 도출된 인접 영역 예측 방법에 기초하여 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 또한 상기 대상 영역 예측 방법에 기초하여 대상 영역에 대한 화면 내 예측 신호를 생성한다.

본 발명의 화상 예측 부호화 방법은, 영역 분할 수단이, 입력 화상을 복수의 영역으로 분할하는 영역 분할 단계와; 예측 신호 생성 수단이, 복수의 영역 중 처리 대상인 대상 영역에 포함되는 대상 화소 신호에 대하여 화면 내 예측 신호를 생성하는 예측 신호 생성 단계와; 잔차 신호 생성 수단이, 예측 신호 생성 수단에 의해 생성된 화면 내 예측 신호와 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계와; 부호화 수단이, 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 단계를 구비하고, 예측 신호 생성 단계에서는, 예측 신호 생성 수단이, 소정의 복수의 제1 예측 방법 중에서, 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정 단계를 포함하고, 제1 예측 방법 결정 단계에 의해 도출된 인접 영역 예측 방법에 기초하여 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 대상 영역에 대한 화면 내 예측 신호를 생성한다.

본 발명의 화상 예측 부호화 프로그램은, 컴퓨터를, 입력 화상을 복수의 영역으로 분할하는 영역 분할 수단; 복수의 영역 중 처리 대상인 대상 영역에 포함되는 대상 화소 신호에 대하여 화면 내 예측 신호를 생성하는 예측 신호 생성 수단; 예측 신호 생성 수단에 의해 생성된 화면 내 예측 신호와 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 및 잔차 신호 생성 수단에 의해 생성된 잔차 신호를 부호화하는 부호화 수단으로서 기능시키고, 예측 신호 생성 수단은, 소정의 복수의 제1 예측 방법 중에서, 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정부를 가지고, 제1 예측 방법 결정부에 의해 도출된 인접 영역 예측 방법에 기초하여 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 대상 영역에 대한 화면 내 예측 신호를 생성한다.

전술한 바와 같은 화상 예측 부호화 장치, 화상 예측 부호화 방법, 및 화상 예측 부호화 프로그램에 의하면, 소정의 제1 예측 방법 중에서, 부호화 대상의 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군을 사용하여, 인접 영역의 화소 신호와 상관이 높은 예측 신호를 생성하기 위한 인접 영역 예측 방법이 도출되고, 그 인접 영역 예측 방법을 기초로 대상 영역 예측 방법이 예측되고, 대상 영역 예측 방법에 기초하여 대상 영역의 화면 내 예측 신호가 생성된다. 이로써, 대상 영역의 예측 방법을 식별하기 위한 식별 정보(모드 정보)를 불필요하게 하거나, 또는 식별 정보와 관계되는 부호량을 감소시키거나 할 수 있으므로, 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있다. 그 결과, 화소 영역에 있어서의 화면 내 예측 신호의 생성의 방법에 관하여 많은 예측 방법을 구비한 경우라도, 예측 방법을 식별하는 모드 정보가 삭감되어 전체적인 부호화 효율이 향상된다. 특히, 직근 화소군을 참조하여 인접 영역에 대해서 결정되는 예측 방법은, 동일한 직근 화소군을 사용하여 결정되는 대상 영역에 관한 예측 방법으로 상관이 높으므로, 전체의 부호량을 보다 효율적으로 감소시킬 수 있다.

예측 신호 생성 수단은, 제1 예측 방법 결정부에 의해 도출된 인접 영역 예측 방법과 소정의 관계를 가지는 예측 방법을 대상 영역 예측 방법으로서 도출하는 것이 바람직하다. 전술한 예측 신호 생성 수단을 구비하면, 도출된 인접 영역 예측 방법으로부터 대상 영역 예측 방법이 유도되므로, 대상 영역의 예측 방법을 식별하기 위한 모드 정보가 불필요해지고, 전체적인 부호화 효율을 보다 향상시킬 수 있다.

또한, 소정의 관계는, 화상 신호에 있어서의 화소 신호를 보간하는 방향이 서로 반대의 관계인 것도 바람직하다. 이 경우, 인접 영역 예측 방법으로부터 대상 영역의 예측 방법으로서 적합한 예측 방법을 양호한 정밀도로 도출할 수 있으므로, 화소 신호의 부호량도 효과적으로 감소시킬 수 있다.

또는, 예측 신호 생성 수단은, 소정의 복수의 제2 예측 방법 중에서, 직근 화소군 중 적어도 일부를 사용하여, 대상 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 대상 영역 예측 방법을 도출하는 제2 예측 방법 결정부를 더 가지고, 제2 예측 방법 결정부에 의해 도출된 대상 영역 예측 방법에 기초하여 대상 영역에 대한 화면 내 예측 신호를 생성하고, 또한, 인접 영역 예측 방법에 기초하여 대상 영역 예측 방법을 예측하여 대상 영역 예측 방법을 특정하는 정보와 인접 영역 예측 방법과의 상대적 정보를 생성하는 것도 바람직하다. 이러한 구성을 취하면, 소정의 제2 예측 방법 중에서, 직근 화소군을 사용하여 대상 영역의 화소 신호와 상관이 높은 예측 신호를 생성하기 위한 대상 영역 예측 방법이 도출되고, 인접 영역 예측 방법을 기초로 대상 영역 예측 방법이 예측되어 대상 영역 예측 방법에 관한 모드 정보가 인접 영역 예측 방법에 대한 상대적 정보로서 생성된다. 이로써, 대상 영역 예측 방법을 식별하기 위한 모드 정보의 부호량을, 인접 영역 예측 방법을 기초로 예측한 정보를 이용하는 것에 의해 감소시킬 수 있으므로, 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있다.

또한, 소정의 복수의 제1 예측 방법과 소정의 복수의 제2 예측 방법은, 화상 신호에 있어서의 화소 신호를 보간하는 방향이 서로 반대의 관계를 가지는 것도 바람직하다. 그렇게 하면, 도출되는 인접 영역 예측 방법과 대상 영역 예측 방법과의 상관이 높아지므로, 예측 방법을 식별하기 위한 모드 정보를 보다 효율적으로 억압할 수 있다.

또한, 제1 예측 방법 결정부는, 소정의 복수의 제1 예측 방법을 사용하여 동일 영역의 인접 영역에 대해서 화면 내 예측 신호를 생성함으로써, 인접 영역과 상관이 높은 인접 영역 예측 방법을 도출하는 것도 바람직하다. 이 경우, 제1 예측 방법 중에서 동일 인접 영역과의 상관이 높은 예측 방법이 도출되므로, 인접 영역 예측 방법과 대상 영역 예측 방법과의 상관이 더 한층 높아지므로, 예측 방법을 식별하기 위한 모드 정보를 보다 효율적으로 억압할 수 있다.

본 발명의 화상 예측 복호 장치는, 압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차의 부호화 데이터를 추출하는 데이터 해석 수단과; 데이터 해석 수단에 의해 추출된 부호화 데이터로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단과; 대상 영역에 포함되는 대상 화소 신호에 대한 화면 내 예측 신호를 생성하는 예측 신호 생성 수단과; 예측 신호 생성 수단에 의해 생성된 화면 내 예측 신호와 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 대상 영역에 포함되는 대상 화소 신호를 복원하는 화상 복원 수단을 구비하고, 예측 신호 생성 수단은, 소정의 복수의 제1 예측 방법 중에서, 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정부를 가지고, 제1 예측 방법 결정부에 의해 도출된 인접 영역 예측 방법에 기초하여 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 대상 영역에 대한 화면 내 예측 신호를 생성한다.

본 발명의 화상 예측 복호 방법은, 데이터 해석 수단이, 압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차의 부호화 데이터를 추출하는 데이터 해석 단계와; 잔차 신호 복원 수단이, 데이터 해석 수단에 의해 추출된 부호화 데이터로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 단계와; 예측 신호 생성 수단이, 대상 영역에 포함되는 대상 화소 신호에 대한 화면 내 예측 신호를 생성하는 예측 신호 생성 단계와; 화상 복원 수단이, 예측 신호 생성 수단에 의해 생성된 화면 내 예측 신호와 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 대상 영역에 포함되는 대상 화소 신호를 복원하는 화상 복원 단계를 구비하고, 예측 신호 생성 단계에서는, 예측 신호 생성 수단이, 소정의 복수의 제1 예측 방법 중에서, 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정 단계를 포함하고, 제1 예측 방법 결정 단계에 의해 도출된 인접 영역 예측 방법에 기초하여 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 대상 영역에 대한 화면 내 예측 신호를 생성한다.

본 발명의 화상 예측 복호 프로그램은, 컴퓨터를, 압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔차의 부호화 데이터를 추출하는 데이터 해석 수단, 데이터 해석 수단에 의해 추출된 부호화 데이터로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단, 대상 영역에 포함되는 대상 화소 신호에 대한 화면 내 예측 신호를 생성하는 예측 신호 생성 수단, 및 예측 신호 생성 수단에 의해 생성된 화면 내 예측 신호와 잔차 신호 복원 수단에 의해 복원된 재생 잔차 신호를 가산함으로써, 대상 영역에 포함되는 대상 화소 신호를 복원하는 화상 복원 수단으로서 기능시키고, 예측 신호 생성 수단은, 소정의 복수의 제1 예측 방법 중에서, 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정부를 가지고, 제1 예측 방법 결정부에 의해 도출된 인접 영역 예측 방법에 기초하여 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 대상 영역에 대한 화면 내 예측 신호를 생성한다.

전술한 바와 같은 화상 예측 복호 장치, 화상 예측 복호 방법, 및 화상 예측 복호 프로그램에 의하면, 소정의 제1 예측 방법 중에서, 부호화 대상의 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군을 사용하여, 인접 영역의 화소 신호와 상관이 높은 예측 신호를 생성하기 위한 인접 영역 예측 방법이 도출되고, 그 인접 영역 예측 방법을 기초로 대상 영역 예측 방법이 예측되고, 대상 영역 예측 방법에 기초하여 대상 영역의 화면 내 예측 신호가 생성된다. 이로써, 재생 대상의 압축 데이터에 있어서, 대상 영역의 예측 방법을 식별하기 위한 식별 정보(모드 정보)를 불필요하게 하거나, 또는 식별 정보와 관계되는 부호량을 감소시키거나 할 수 있으므로, 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있다. 그 결과, 화소 영역에 있어서의 화면 내 예측 신호의 생성 방법에 관하여 많은 예측 방법을 구비한 경우라도, 예측 방법을 식별하는 모드 정보가 삭감되어 압축 데이터 전체적인 부호화 효율이 향상된다. 특히, 직근 화소군을 참조하여 인접 영역에 대해서 결정되는 예측 방법은, 동일한 직근 화소군을 사용하여 결정되는 대상 영역에 관한 예측 방법으로 상관이 높으므로, 압축 데이터 전체의 부호량을 보다 효율적으로 감소시킬 수 있다.

예측 신호 생성 수단은, 제1 예측 방법 결정부에 의해 도출된 인접 영역 예측 방법과 소정의 관계를 가지는 예측 방법을 대상 영역 예측 방법으로서 도출하는 것이 바람직하다. 전술한 예측 신호 생성 수단을 구비하면, 도출된 인접 영역 예측 방법으로부터 대상 영역 예측 방법이 유도되므로, 압축 데이터에 있어서 대상 영역의 예측 방법을 식별하기 위한 모드 정보가 불필요해지므로, 압축 데이터의 전체적인 부호화 효율을 보다 향상시킬 수 있다.

또한, 소정의 관계는, 화상 신호에 있어서의 화소 신호를 보간하는 방향이 서로 반대의 관계인 것도 바람직하다. 이 경우, 인접 영역 예측 방법으로부터 대상 영역의 예측 방법으로서 적합한 예측 방법을 양호한 정밀도로 도출할 수 있으므로, 압축 데이터에 있어서의 화소 신호의 부호량도 효과적으로 감소시킬 수 있다.

또한, 데이터 해석 수단은, 압축 데이터 중에서 화면 내 예측 신호를 생성하기 위한 대상 영역 예측 방법을 식별하기 위한 상대 예측 방법 정보를 더 추출하고, 예측 신호 생성 수단은, 제1 예측 방법 결정부에 의해 도출된 인접 영역 예측 방법에 기초하여 대상 영역 예측 방법을 예측함으로써, 인접 영역 예측 방법과 상대 예측 방법 정보로부터 대상 영역 예측 방법을 복원하고, 상기 대상 영역 예측 방법에 기초하여 직근 화소군을 사용하여 화면 내 예측 신호를 생성하는 것도 바람직하다. 이렇게 하면, 인접 영역 예측 방법을 기초로 대상 영역 예측 방법이 예측되어, 대상 영역 예측 방법에 관한 모드 정보의 인접 영역 예측 방법에 대한 상대적 정보인 상대 예측 방법 정보와 그 인접 영역 예측 방법에 기초하여 대상 영역 예측 방법이 복원된다. 이로써, 압축 데이터에 있어서의 대상 영역 예측 방법을 식별하기 위한 모드 정보의 부호량을, 인접 영역 예측 방법을 기초로 예측한 정보를 이용하는 것에 의해 감소시킬 수 있으므로 압축 데이터 내의 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있다.

[발명의 효과]

본 발명에 따르면, 화소 영역에 있어서의 화면 내 예측 신호의 생성 방법에 관하여 많은 예측 방법을 구비한 경우라도, 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있다.

도 1은 본 발명의 바람직한 일실시예에 따른 화상 예측 부호화 장치의 구성을 나타낸 블록도이다.

도 2는 도 1의 화면 내 예측 신호 생성 방법 결정부의 구성을 나타낸 블록도이다.

도 3은 도 1의 화상 예측 부호화 장치의 처리 대상인 화소 신호의 화소 배치를 나타낸 도면이다.

도 4는 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 5는 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 6은 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 7은 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 8은 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 9는 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 10은 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도 이다.

도 11은 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 12는 도 2의 예측 신호 생성부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 13은 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 14는 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 15는 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 16은 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 17은 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 18은 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 19는 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 20은 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도 이다.

도 21은 도 2의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 22는 도 2의 화면 내 예측 신호 생성 방법 결정부의 동작을 나타낸 흐름도이다.

도 23은 본 발명의 바람직한 일실시예에 따른 화상 예측 복호 장치의 구성을 나타낸 블록도이다.

도 24는 도 23의 화면 내 예측 방법 취득부의 구성을 나타낸 블록도이다.

도 25는 도 24의 화면 내 예측 방법 취득부의 동작을 나타낸 흐름도이다.

도 26은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.

도 27은 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다.

도 28은 도 1의 화면 내 예측 신호 생성 방법 결정부의 변형예의 구성을 나타낸 블록도이다.

도 29는 도 28의 화면 내 예측 신호 생성 방법 결정부의 동작을 나타낸 흐름도이다.

도 30은 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 31은 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 32는 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 33은 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 34는 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 35는 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 36은 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 37은 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 38은 본 발명의 변형예에 있어서의 인접 모드 결정부에 의한 예측 방법을 설명하기 위한 모식도이다.

도 39의 (a)는, H.264에 사용되는 화면 내 예측 방법을 설명하기 위한 모식도이며, (b)는 H.264의 화면 내 예측 방법에 있어서의 화소 신호의 잡아당김 방향을 나타낸 도면이다.

도 40은 종래의 참조 모드 정보의 생성 처리를 설명하기 위한 모식도이다.

[부호의 설명]

10: 화상 예측 부호화 장치

50: 화상 예측 복호 장치

102: 블록 분할부(영역 분할 수단)

105, 305: 화면 내 예측 신호 생성 방법 결정부(예측 신호 생성 수단)

106: 화면 내 예측 신호 생성부(예측 신호 생성 수단)

108: 감산기(잔차 신호 생성 수단)

109: 변환부(부호화 수단)

110: 양자화부(부호화 수단)

115: 엔트로피 부호화부(부호화 수단)

201, 301: 예측 방법 결정부(제2 예측 방법 결정부)

202: 예측 신호 생성부(제2 예측 방법 결정부)

206: 인접 모드 결정부(제1 예측 방법 결정부)

501: 데이터 해석부(데이터 해석 수단)

502: 역양자화부(잔차 신호 복원 수단)

503: 역변환부(잔차 신호 복원 수단)

504: 가산기(화상 복원 수단)

505: 화면 내 예측 신호 생성부(예측 신호 생성 수단)

507: 화면 내 예측 방법 취득부(예측 신호 생성 수단)

601: 인접 모드 결정부(제1 예측 방법 결정부)

이하, 도면을 참조하면서 본 발명에 따른 화상 예측 부호화 장치 및 화상 예측 복호 장치의 바람직한 실시예에 대하여 상세하게 설명한다.

(화상 예측 부호화 장치)

도 1은, 본 발명의 바람직한 일실시예에 따른 화상 예측 부호화 장치의 구성을 나타낸 블록도이다. 도 1에 나타내는 화상 예측 부호화 장치(10)는, 입력 단자(101)와, 블록 분할부(영역 분할 수단)(102)와, 화면간 예측 신호 생성 방법 결정부(103)와, 화면간 예측 신호 생성부(104)와, 화면 내 예측 신호 생성 방법 결정부(예측 신호 생성 수단)(105)와, 화면 내 예측 신호 생성부(예측 신호 생성 수단)(106)와, 전환 스위치(107)와, 감산기(잔차 신호 생성 수단)(108)와, 변환부(부호화 수단)(109)와, 양자화부(부호화 수단)(110)와, 역양자화부(111)와, 역변환부(112)와, 가산기(113)와, 프레임 메모리(114)와, 엔트로피 부호화부(부호화 수단)(115)와, 출력 단자(116)를 구비하여 구성되어 있다. 이하, 화상 예측 부호화 장치(10)의 각 구성 요소에 대하여 설명한다.

블록 분할부(102)는, 입력 단자(101)로부터 복수 화면분의 화상으로 이루어지는 동화상 신호가 입력되고, 부호화의 대상인 화상을 복수의 영역으로 분할한다. 구체적으로는, 블록 분할부(102)는, 화상을 8×8 화소로 이루어지는 블록으로 분할하지만, 그 이외의 임의의 크기 및 형상의 블록으로 분할해도 된다. 블록 분할부(102)는, 분할된 블록의 화소 신호 중 부호화 처리의 대상으로 되는 영역(이하, "대상 블록"이라고 함)의 화소 신호(이하, "대상 화소 신호"라고 함)를, 라인 L102를 경유하여 감산기(108)에, 라인 L103을 경유하여 화면간 예측 신호 생성 방법 결 정부(103) 및 화면 내 예측 신호 생성 방법 결정부(105)에 출력한다.

화면간 예측 신호 생성부(104) 및 화면 내 예측 신호 생성부(106)는, 대상 블록의 대상 화소 신호에 대하여, 그 화상을 예측하는 예측 신호를 생성한다. 이 때, 예측 신호의 생성 시에 2종류의 예측 방법을 사용한다. 즉, 화면간 예측 신호 생성부(104)는, 예측 신호의 생성에 있어서 "화면간 예측"으로 불리우는 예측 방법을 사용하고, 화면 내 예측 신호 생성부(106)는, "화면 내 예측"으로 불리우는 예측 방법을 사용한다. "화면간 예측"에 있어서는, 과거에 부호화된 후에 복원된 재생 화상을 참조 화상으로서, 이 참조 화상으로부터 대상 블록에 대한 오차가 가장 작은 예측 신호를 부여하는 동작 정보를 구하는("동작 검출"처리라고 함) 것에 의해 예측 방법이 결정된다. 이에 비해, "화면 내 예측"에 있어서는, 대상 블록에 공간적으로 인접하는 기 재생의 화소값을 사용하여 소정의 방법으로 화면 내 예측 신호가 생성되고, 이 예측 방법은, 정지 화상의 부호화·복호에도 적용할 수 있다.

화면간 예측 신호 생성 방법 결정부(103)는, 라인 L103 경유로 입력된 대상 블록의 대상 화소 신호, 및 라인 L121 경유로 프레임 메모리(114)로부터 입력된 참조 화상에 기초하여, 전술한 동작 검출을 행함으로써 화면간 예측 방법을 결정한다. 여기서, 화면간 예측 신호 생성 방법 결정부(103)는, 대상 블록을 재분할하고, 재분할된 소 영역에 대해서 화면간 예측 방법을 결정해도 되고, 각종 영역의 분할 방법으로부터 대상 블록 전체에 대하여 가장 양호한 효율의 분할 방법을 선택하여 각각의 동작 정보를 결정할 수 있다. 또한, 참조 화상으로서는, 과거에 부호화된 후에 복원된 복수의 화상이 이용될 수도 있다. 이 동작 검출 방법은, 종래의 MPEG-2, 4, 및 H.264에 있어서의 어느 하나의 방법과 마찬가지이므로, 상세한 설명은 생략한다. 화면간 예측 신호 생성 방법 결정부(103)는, 결정된 동작 정보 및 소 영역의 분할 방법을, 라인 L122 경유로 화면간 예측 신호 생성부(104)에 송출하고, 라인 L124 경유로 엔트로피 부호화부(115)에 송출한다. 이에 비해, 화면간 예측 신호 생성부(104)에 있어서, 소 영역의 분할 방법과, 각각의 소 영역에 대응하는 동작 정보와, 프레임 메모리(114)로부터 취득된 참조 화상에 기초하여 예측 신호가 생성되고, 단자(107a) 및 전환 스위치(107) 경유로 감산기(108) 및 가산기(113)에 송출된다.

화면 내 예측 신호 생성 방법 결정부(105)는, 라인 L103 경유로 입력된 대상 블록의 대상 화소 신호, 및 라인 L120 경유로 프레임 메모리(114)로부터 입력된 참조 화상에 기초하여, 화면 내 예측에 있어서의 예측 방법(보간 방법이라고도 함)을 결정한다. 화면 내 예측 신호 생성 방법 결정부(105)의 처리의 상세한 것은, 후술하지만, 여기서는 대상 블록에 직접 인접하는 복수의 화소를 사용하여 보간하는 방법을 사용하고 있다. 화면 내 예측 신호 생성 방법 결정부(105)는, 결정된 예측 방법을 식별하는 정보(이하, "모드 정보"라고 함)를, 라인 L123 경유로 화면 내 예측 신호 생성부(106)에 송출하고, 라인 L125 경유로 엔트로피 부호화부(115)에 송출한다. 이에 비해, 화면 내 예측 신호 생성부(106)에 있어서, 예측 방법에 대한 모드 정보와, 프레임 메모리(114)로부터 취득된 같은 화면 내에 있어 대상 블록에 직접 인접하는 기 재생의 화소 신호에 기초하여, 모드 정보에 의해 특정되는 예측 방법에 따라 예측 신호가 생성되고, 단자(107b) 및 전환 스위치(107) 경유로 감산 기(108) 및 가산기(113)에 송출된다.

전환 스위치(107)는, 화면간 예측 신호 생성부(104) 및 화면 내 예측 신호 생성부(106)로부터 송출된 예측 신호 중 어느 쪽이 대상 영역의 대상 화소 신호와의 오차가 작은지를 판정하고, 판정 결과에 따라 오차가 작은 쪽의 예측 신호를 선택하여 감산기(108) 및 가산기(113)에 출력한다. 다만, 전환 스위치(107)는, 첫장째 화면에 대하여 과거의 화상이 존재하지 않으므로 모든 대상 블록이 화면 내 예측으로 처리되는 경우에는, 첫장째의 화상을 처리할 때는 항상 화면 내 예측 신호 생성부(106) 측의 단자(107b)와 접속된다. 마찬가지로, 신(scene) 컷 직후의 화면을 처리하는 경우나 주기적으로 화면 내 예측의 화상을 도입할 필요가 있는 경우에 있어서는, 전환 스위치(107)는 화면 1장에 대해 화면 내 예측에 의한 예측 신호만을 선택할 수도 있다.

감산기(108)는, 블록 분할부(102)로부터 입력된 대상 블록의 대상 화소 신호로부터 전환 스위치(107)를 경유하여 입력된 예측 신호를 뺄셈하여 잔차 신호를 생성한다. 이 잔차 신호는 라인 L104 경유로 변환부(109)에 출력되고, 변환부(109)는, 이 잔차 신호를 이산 코사인 변환하여 변환 계수를 생성한다. 이 변환 계수는, 라인 L105 경유로 양자화부(110)에 출력되고, 양자화부(110)가 변환 계수를 양자화한 후, 라인 L106 경유로 엔트로피 부호화부(115) 및 역양자화부(111)에 출력한다. 엔트로피 부호화부(115)는, 양자화된 변환 계수를 부호화하여, 화면간 예측 신호 생성 방법 결정부(103)로부터 출력된 동작 정보 및 소 영역의 분할 방법, 또는 화면 내 예측 신호 생성 방법 결정부(105)로부터 출력된 예측 방법에 대한 정보 와 부호화 데이터를 합하여 라인 L126 경유로 출력 단자(116)에 출력한다.

역양자화부(111)는, 양자화된 변환 계수를 역양자화하여 변환 계수로 되돌리고, 라인 L107 경유로 역변환부(112)에 출력하고, 역변환부(112)가 변환 계수를 역이산 코사인 변환함으로써 잔차 신호를 복원한다. 가산기(113)는, 이 잔차 신호와 라인 L511 경유로 입력된 예측 신호를 가산함으로써 대상 블록의 대상 화소 신호를 재생하고, 라인 L109 경유로 프레임 메모리(114)에 저장한다. 프레임 메모리(114)에 저장된 대상 블록의 대상 화소 신호는, 그 다음에 처리되는 대상 블록의 예측 신호를 화면간 예측 또는 화면 내 예측에 의해 생성하기 위해 이용된다.

다음으로, 화면 내 예측 신호 생성 방법 결정부(105)의 구성에 대하여 보다 상세하게 설명한다. 도 2는, 화면 내 예측 신호 생성 방법 결정부(105)의 구성을 나타낸 블록도이다. 도 2에 나타낸 바와 같이, 화면 내 예측 신호 생성 방법 결정부(105)는, 예측 방법 결정부(제2 예측 방법 결정부)(201)와, 예측 신호 생성부(제2 예측 방법 결정부)(202)와, 인접 모드 결정부(제1 예측 방법 결정부)(206)와, 모드 정보 예측부(205)를 구비하고 있다.

예측 신호 생성부(202)는, 라인 L120 경유로 프레임 메모리(114)로부터 판독된 직근 화소군을 사용하여, 9개의 방법(제2 예측 방법)으로 예측 신호를 생성한다. 여기서, "직근 화소군"은, 대상 블록에 직접 인접하는 복수의 기 재생의 화소를 말한다. 예를 들면, 도 3에 나타내는 동일 프레임의 화상의 예에 있어서, 대상 영역의 화소 신호 a∼p에 대해서 직접 인접하는 화소 신호 A∼M이 직근 화소군이다.

도 4 내지 도 12는, 예측 신호 생성부(202)에 의한 예측 신호의 생성 방법을 나타내는 개념도이다. 예를 들면, 도 4에 있어서, 각각의 모눈은 화소를 나타내고, 화소 A∼M의 화소군 G401은 직근 화소군이며, 화소 a∼p의 화소군 G402는 대상 블록에 포함되는 화소이다. 구체적으로는, 예측 신호 생성부(202)는, 도 4에 나타낸 바와 같이, 대상 블록에 포함되는 화소군 G402에 대해, 직근 화소군 G401에 포함되는 화소 A∼D를 사용하여 각각의 화소를 아래쪽으로 잡아늘여 예측 신호를 생성한다. 이 때의 구체적인 연산식으로서 하기 식 (1)이 사용된다. 하기 식(1) 중, “pred(a,e,i,m)=A”는, 대상 블록 G402에 있는 화소 a, e, i, m의 예측값을 화소 A의 값으로 설정하는 것을 의미하고 있다.

pred(a,e,i,m) = A, pred(b,f,j,n) = B,

pred(c,g,k,o) = C, pred(d,h,l,p) = D …(1)

또한, 예측 신호 생성부(202)는, 도 5에 나타낸 바와 같이, 대상 블록에 포함되는 화소군 G502에 대해, 직근 화소군 G501의 일부 화소 I, J, K, L을 사용하여 각각의 화소를 우측으로 잡아늘여 예측 신호를 생성한다. 이 때의 구체적인 연산식으로서 하기 식 (2)가 사용된다. 마찬가지로 하여, 도 6 내지 도 12에 나타낸 바와 같이, 대상 블록에 포함되는 화소군 G602,…, G1202에 대해서, 직근 화소군 G601,…,G1201의 일부를 사용하여 소정의 방향으로 화소를 잡아늘여, 하기 식 (3) 내지 (9)에 의해 예측 신호를 생성한다.

pred(a, b, c, d) = I, pred(e, f, g, h) = J,

pred(i, j, k, l) = K, pred(m, n, o, p) = L …(2)

pred(a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p) = [A + B + C + D + I + J + K + L + 4]/8 …(3)

pred(a) = (A + 2B + C + 2)/4,

pred(b, e) = (B + 2C + D + 2)/4,

pred(c, f, i) = (C + 2D + E + 2)/4,

pred(d, g, j, m) = (D + 2E + F + 2)/4,

pred(h, k, n) = (E + 2F + G + 2)/4,

pred(o, l) = (F + 2G + H + 2)/4,

pred(p) = (G + 3H + 2)/4 …(4)

pred(a, f, k, p) = (I + 2M + A + 2)/4,

pred(b, g, l) = (M+ 2A + B + 2)/4,

pred(c, h) = (A + 2B + C + 2)/4,

pred(d) = (B + 2C + D + 2)/4,

pred(e, j, o) = (M + 2I + J + 2)/4,

pred(i, n) = (I + 2J + K + 2)/4,

pred(m) = (J + 2K + L + 2)/4 …(5)

pred(a, j) = (M + A + 1)/2,

pred(b, k) = (A + B + 1)/2,

pred(c, l) = (B + C + 1)/2,

pred(d) = (C + D + 1)/2,

pred(e, n) = (I + 2M + A + 2)/4,

pred(f, o) = (M + 2A + B + 2)/4,

pred(g, p) = (A + 2B + C + 2)/4,

pred(h) = (B + 2C + D + 2)/4,

pred(i) = (M + 2I + J + 2)/4,

pred(m) = (I + 2J + K + 2)/4 …(6)

pred(a, g) = (M + I + 1)/2,

pred(b, h) = (I + 2M + A + 2)/4,

pred(c) = (M + 2A + B + 2)/4,

pred(d) = (A + 2B + C + 2)/4,

pred(e, k) = (I + J + 1)/2,

pred(f, l) = (M + 2I + J + 2)/4,

pred(i, o) = (J + K + 1)/2,

pred(j, p) = (I + 2J + K + 2)/4,

pred(m) = (K + L + 1)/2,

pred(n) = (J + 2K + L + 2)/4 …(7)

pred(a) = (A + B + 1)/2,

pred(b, i) = (B + C + 1)/2,

pred(c, j) = (C + D + 1)/2,

pred(d, k) = (D + E + 1)/2,

pred(e) = (A + 2B + C + 2)/4,

pred(f, m) = (B + 2C + D + 2)/4,

pred(g, n) = (C + 2D + E + 2)/4,

pred(h, o) = (D + 2E +F + 2)/4,

pred(l) = (E + F + 1)/2,

pred(p) = (E + 2F + G + 2)/4 …(8)

pred(a) = (I + J + 1)/2,

pred(b) = (I + 2J + K + 2)/4,

pred(c, e) = (J + K + 1)/2,

pred(d, f) = (J + 2K + L + 2)/4,

pred(g, i) = (K + L + 1)/2,

pred(h, j) = (K + 3 L + 2)/4,

pred(k, m) = L, pred(l, n) = L, pred(o) = L, pred(p) = L …(9)

도 2로 돌아와서, 예측 신호 생성부(202)는, 이와 같이 하여 생성한 9개의 예측 신호를, 라인 L202 경유로 예측 방법 결정부(201)에 보낸다. 그리고, 예측 신호 생성부(202)는, 4×4 화소로 이루어지는 대상 블록을 사용하고 있지만, 그 이외의 화소수로 이루어지는 블록을 대상 블록으로 하여도 된다. 그 경우에는, 그 대상 블록에 맞추어서 직근 화소군을 정의하면 된다. 또한, 전술한 9개의 예측 신호의 예측 방법으로는 한정되지 않고, 보다 많거나 또는 보다 적은 예측 신호를 생성해도 되고, 스플라인 외삽 등의 다른 예측 방법으로 예측 신호를 생성해도 된다.

예측 방법 결정부(201)는, 라인 L103 경유로 대상 블록의 대상 화소 신호가 입력되면, 라인 L202 경유로 송출된 9개의 예측 신호에 대해, 대상 블록의 신호와의 차분을 구하고, 가장 작은 차분값을 부여하는 예측 신호를 최적 예측 신호로서 결정한다. 또한, 예측 방법 결정부(201)는, 이와 같이 하여 대상 화소 신호와 상관이 높은 화면 내 예측 신호인 것으로 판단된 최적 예측 신호를 부여하는 예측 방법을 대상 영역 예측 방법으로서 도출한다. 또한, 예측 방법 결정부(201)는, 이 대상 영역 예측 방법에 대한 모드 정보를, 라인 L123 경유로 화면 내 예측 신호 생성부(106)(도 1 참조)에 보내고, 라인 L205 경유로 모드 정보 예측부(205)에 보낸다. 이에 비해, 화면 내 예측 신호 생성부(106)에 의해, 이 모드 정보에 따라서, 전술한 방법으로 직근 화소군을 사용하여 대상 블록의 예측 신호가 생성된다.

인접 모드 결정부(206)는, 입력 화상의 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 예측 방법을 도출한다. 이 때, 인접 모드 결정부(206)는, 대상 영역에 관한 예측 방법인 제2 예측 방법(도 4 내지 도 12)에 대응하여, 인접 영역에 대해서 9개의 예측 방법(제1 예측 방법)을 사용한다. 도 13 내지 도 21은, 인접 모드 결정부(206)에 의한 예측 신호의 생성 방법을 나타내는 개념도이다. 예를 들면, 도 13에 있어서, 화소 a∼p의 화소군 G1304는 대상 블록에 포함되는 화소이며, 화소 A∼M의 화소군 G1303은 직근 화소군이며, 화소 a'∼p'의 화소군 G1305는 대상 블록에 직근 화소군을 협지하여 인접하는 인접 영역에 포함되는 화소이다. 인접 영역 G1305의 각 화소값 및 직근 화소군 G1303은 라인 L120 경유로 입력된다. 구체적으로는, 인접 모드 결정부(206)는, 도 13에 나타낸 바와 같 이, 인접 영역에 포함되는 화소군 G1305에 대해, 직근 화소군 G1303에 포함되는 화소 A∼D를 사용하여 각각의 화소를 위쪽으로 잡아늘여 예측 신호를 생성한다. 이 때의 구체적인 연산식으로서 하기 식 (10)이 사용된다.

pred(a', e', i', m') = A,

pred(b', f', j', n') = B,

pred(c', g', k', o') = C,

pred(d', h', l', p') = D …(10)

또한, 인접 모드 결정부(206)는, 도 14에 나타낸 바와 같이, 인접 영역에 포함되는 화소군 G1405에 대해, 직근 화소군 G1403의 일부의 화소 I, J, K, L을 사용하여 각각의 화소를 좌측으로 잡아늘여 예측 신호를 생성한다. 이 때의 구체적인 연산식으로서 하기 식 (11)이 사용된다. 마찬가지로 하여, 도 15 내지 도 21에 나타낸 바와 같이, 인접 영역에 포함되는 화소군 G1505,…, G2105에 대해서, 직근 화소군 G1503,…,G2103의 일부를 사용하여 소정의 방향으로 화소를 잡아늘여, 하기 식 (12)∼(18)에 의해 예측 신호를 생성한다. 다만, 도 15에서 나타내는 예측 방법 만은, 직근 화소군 G1503인 화소 A∼D, I∼L의 평균값을, 인접 영역의 화소군 G1505인 화소 A∼D, I∼L, e', f', g', h', a', e'', i', m'의 예측 신호로서 사용한다.

pred(a', b', c', d') = I,

pred(e', f', g', h') = J,

pred(i', j', k', l') = K,

pred(m', n', o', p') = L …(11)

pred(A, B, C, D, e', f', g', h', I, J, K, L, a', e'', i', m') = [A + B + C + D + I + J + K + L + 4]/8 …(12)

pred(a', j', i') = (3M + A + 2)/4,

pred(b', k') = (M + 2A + B + 2)/4,

pred(c', l') = (A + 2B + C + 2)/4,

pred(d', m') = (B + 2C + D + 2)/4,

pred(e', n') = (C + 2D + E + 2)/4,

pred(f', o') = (D + 2E + F + 2)/4,

pred(g', p') = (E + 2F + G + 2)/4,

pred(h') = (F + 2G + H + 2)/4 …(13)

pred(a', g') = (I + 2M + A + 2)/4,

pred(b', h') = (M + 2A + B + 2)/4,

pred(c', I') = (A + 2B + C + 2)/4,

pred(d', j') = (B + 2C + D + 2)/4,

pred(e') = (C + 3DI + 2)/4,

pred(f', l') = (M + 2I + J + 2)/4,

pred(k', n') = (I + 2J + K + 2)/4,

pred(m', p') = (J + 2K + L + 2)/4,

pred(o') = (K + 3L + 2)/4 …(14)

pred(g') = (I + 2M + A + 2)/4,

pred(h') = (M + 2A + B + 2)/4,

pred(c, i') = (A + 2B + C + 2)/4,

pred(d', l') = (M + A + 1)/2,

pred(e', m') = (A + B + 1)/2,

pred(f, n') = (B + C + 1)/2,

pred(j') = (B+ 2C +D + 2)/4,

pred(a', k') = (M + 2I +J + 2)/4,

pred(c', o') = (C + D + 1)/2,

pred(b', p') = (I+ 2J + K + 2)/4 …(15)

pred(a', g') = (M + I + 1)/2,

pred(b') = (I + 2M + A + 2)/4,

pred(c', n') = (M + 2A + B + 2)/4,

pred(d', o') = (A + 2B + C + 2)/4,

pred(e', j') = (I + J + 1)/2,

pred(f') = (M + 2I + J + 2)/4,

pred(h', m') = (J + K + 1)/2,

pred(i') = (I + 2J + K + 2)/4,

pred(k', p') = (K + L + 1)/2,

pred(l') = (J + 2K + L + 2) /4 …(16)

pred(a', k') = (A + B + 1)/2,

pred(b', l') = (B + C + 1)/2,

pred(c', m') = (C + D + 1)/2,

pred(d', n') = (D + E + 1)/2,

pred(e', o') = (E + F + 1)/2,

pred(f') = (A + 2B + C + 2)/4,

pred(g') = (B + 2C + D + 2)/4,

pred(h') = (C + 2D + E + 2)/4,

pred(i') = (D + 2E + F + 2)/4,

pred(j') = (E + 2F + G + 2)/4,

pred(p') = (F + G + 1) /2 …(17)

pred(a') = I,

pred(b') = I,

pred(c', e') = I,

pred(d', f') = I,

pred(g', I') = (3I + J + 2)/4,

pred(h', j') = (I + J + 1)/2,

pred(k', m') = (I + 2J + K + 2)/4,

pred(l', n') = (J + K + 1)/2,

pred(o') = (J + 2K + L + 2)/4,

pred(p') = (K + L + 1)/2 …(18)

그리고, 인접 모드 결정부(206)는, 전술한 9개의 예측 방법으로 생성한 예측 신호와 인접 영역이 본래 가지고 있는 화소값의 차분을 구하여, 각각의 예측 신호와 화소 신호와의 상관값으로 한다. 예를 들면, 이와 같은 상관값으로서 화소마다의 차분 신호의 절대값의 합을 구한다. 또한, 인접 모드 결정부(206)는, 구해진 9개의 예측 방법에 대응하는 상관값 중에서 가장 상관이 높은 값을 가지는 예측 방법을 결정한다. 즉, 인접 모드 결정부(206)는, 예측 신호와 본래의 신호와의 차분 합으로서 구한 상관값이 가장 작은 값인 예측 방법을 상관의 가장 높은 모드인 것으로 판단하고, 인접 영역에 대한 최적인 예측 방법(인접 영역 예측 방법)으로서 도출한다. 그리고, 인접 모드 결정부(206)는, 라인 L206 경유로 인접 영역 예측 방법에 대한 정보를 모드 정보 예측부(205)에 송출한다.

도 4 내지 도 12에 나타내는 대상 블록의 예측 방법과, 도 13 내지 도 21에 나타내는 대응하는 인접 영역의 예측 방법은, 각각 일정한 관계에 있는 것을 주의해야 한다. 먼저, 대응하는 양쪽의 예측 방법에 있어서는 동일한 직근 화소군을 사용하여 보간 신호를 생성하고 있다. 또한, 도 6 및 도 15에 나타내는 직근 화소군의 평균값을 사용하는 경우를 제외하면, 대상 블록의 대상 화소 신호를 보간할 때의 방향과 인접 영역의 화소 신호를 보간할 때의 방향은 일정한 관계가 있으며, 구체적으로는 서로 반대 방향이 되어 있다(단, 그 이외의 관계가 있어도 된다).

또한, 각 예측 방법에 있어서의 인접 영역의 형상이나 위치는, 각 예측 방법에 맞추어서 정의되므로 상이하게 되어 있지만, 예측 방법에 관계없이 동일한 형상 ·위치의 인접 영역을 사용해도 된다. 또한, 각 예측 방법에 있어서의 인접 영역에 포함되는 화소수는 동일한 수이며, 4×4개의 화소가 포함되어 있지만, 예측 방법에 따라 인접 영역에 포함되는 화소수를 바꾸어도 된다. 다만, 그 경우에는 상관값을 비교할 때는 그 값을 정규화할 필요가 있다.

모드 정보 예측부(205)는, 라인 L205 경유로 대상 영역 예측 방법에 대한 모드 정보(또는 그 식별 번호)가 입력되고, 라인 L206 경유로 인접 영역 예측 방법에 대한 모드 정보(또는 그 식별 번호)가 입력된다. 모드 정보 예측부(205)는, 인접 영역 예측 방법에 대한 모드 정보에 기초하여 대상 영역 예측 방법의 모드 정보를 예측한다. 본 실시예에서는, 대상 영역 예측 방법의 모드 정보로부터, 그 예측값으로서 사용되는 인접 영역 예측 방법에 대한 모드 정보를 빼고, 그 차분값을 상대 모드 정보로서 라인 L125 경유로 엔트로피 부호화부(115)(도 1 참조)에 보낸다. 여기서, 인접 영역 예측 방법에 대한 모드 정보를 사용하여 대상 영역 예측 방법의 모드 정보를 상대적으로 부호화할 때는, 어떠한 방법을 사용해도 된다.

도 22는, 본 발명의 실시예에 의한 화면 내 예측 방법의 결정 처리 및 모드 정보의 생성 처리를 나타낸 흐름도이다. 먼저, 예측 신호 생성부(202) 및 인접 모드 결정부(206)에 의해 대상 블록에 직접 인접하는 복수의 기 재생 화소인 직근 화소군이 프레임 메모리(114)로부터 취득된다(단계 S101). 다음으로, 인접 모드 결정부(206)에 의해, 이 직근 화소군을 사용하여 대상 블록에 인접하는 인접 영역에 대한 N개의 예측 신호가 생성된다(단계 S102). 본 실시예에서는, N=9에서, 도 13 내지 도 21에 나타낸 예측 방법에 따라 인접 영역에 대한 예측 신호가 생성된다. 그리고, 인접 모드 결정부(206)에 의해, 생성된 인접 영역의 예측 신호와 본래 인접 영역에 포함되어 있는 화소 신호와의 차분값을 구하여, 각각의 예측 방법으로 대응하는 상관값으로 하고, 그 중에서 인접 영역에 대해 가장 높은 상관을 부여하는 인접 영역 예측 방법이 결정된다(단계 S103).

한편, 예측 신호 생성부(202)에 의해, 같은 직근 화소군을 사용하여, 대상 블록에 대한 M개의 예측 신호가 생성된다(단계 S104). 본 실시예에서는, M=9에서 도 4 내지 도 12에 나타낸 방법에 따라, 각각의 예측 방법으로 대상 블록에 대한 예측 신호가 생성된다. 다음으로, 예측 방법 결정부(201)에 의해, 이와 같이 생성된 대상 블록의 예측 신호와 본래 대상 블록에 포함되어 있는 화소 신호와의 차분값이, 각각의 예측 방법에 대응하는 상관값으로서 구해지고, 그 중에서 대상 블록에 대해서 가장 높은 상관을 부여하는 예측 방법이 결정된다(단계 S105). 즉, 이 예측 방법이 대상 영역 예측 방법으로서 도출된다.

그리고, 모드 정보 예측부(205)에 의해, 인접 영역 예측 방법을 기초로 대상 영역 예측 방법이 예측되어, 양 자의 상대 모드 정보가 구해진다(단계 S106). 즉, 대상 영역 예측 방법을 나타내는 모드 번호로부터 인접 영역 예측 방법을 나타내는 모드 번호를 뺌으로써 상대 모드 정보가 산출된다. 마지막에 모드 정보 예측부(205)로부터 엔트로피 부호화부(115)를 경유하여 전술한 상대 모드 정보가 출력된다(단계 S107). 전술한 처리는 부호화의 대상이 되는 화상에 있는 전부 또는 일부의 블록에 대해서 반복적으로 행해진다.

(화상 예측 복호 장치)

이하, 본 실시예에 대한 화상 예측 복호 장치의 구성에 대하여 설명한다. 도 23은, 본 발명의 바람직한 일실시예에 따른 화상 예측 복호 장치(50)의 구성을 나타낸 블록도이다. 도 23에 나타내는 화상 예측 복호 장치(50)는, 입력 단자(500)와, 데이터 해석부(데이터 해석 수단)(501)와, 역양자화부(잔차 신호 복원 수단)(502)와, 역변환부(잔차 신호 복원 수단)(503)와, 가산기(화상 복원 수단)(504)와, 화면 내 예측 신호 생성부(예측 신호 생성 수단)(505)와, 프레임 메모리(506)와, 화면 내 예측 방법 취득부(예측 신호 생성 수단)(507)와, 화면간 예측 신호 생성부(508)와, 전환 스위치(509)와, 출력 단자(512)를 구비하여 구성되어 있다. 이하, 화상 예측 복호 장치(50)의 각 구성 요소에 대하여 설명한다.

데이터 해석부(501)는, 입력 단자(500)로부터 압축 부호화된 압축 화상 데이터가 입력되어, 이 압축 화상 데이터로부터, 대상 블록의 잔차 신호, 예측 방법에 대한 정보, 양자화 파라미터, 및 동작 정보(화면간 예측의 경우)를 추출한다. 이 압축 화상 데이터에는, 하나의 화면의 화상을 복수의 블록으로 분할한 대상 블록을 대상으로 예측 부호화된 잔차 신호 및 예측 방법에 대한 모드 정보가 포함되어 있다. 데이터 해석부(501)는, 추출한 잔차 신호 및 양자화 파라미터를, 라인 L502 및 라인 L511c를 경유하여 역양자화부(502)에 출력하고, 예측 방법에 대한 정보를 라인 L511b 경유로 스위치(509)에 송출한다. 또한, 데이터 해석부(501)는, 복원 대상이 되는 대상 블록에 대한 동작 정보를 라인 L511a 경유로 화면간 예측 신호 생성부(508)에 출력하고, 모드 정보에 포함되는 상대 모드 정보를, 라인 L511d 경유로 화면 내 예측 방법 취득부(507)에 송출한다.

전환 스위치(509)는, 데이터 해석부(501)로부터 출력된 모드 정보에 기초하여 가산기(504)의 접속처를 전환한다. 구체적으로는, 전환 스위치(509)는, 예측 방법에 대한 정보에 기초하여, 화면간 예측을 행하는 경우에는 단자(510a) 측으로 전환하고, 화면 내 예측을 행하는 경우에는 단자(510b) 측으로 전환한다.

역양자화부(502)는, 대상 블록의 잔차 신호를 양자화 파라미터에 기초하여 역양자화한다. 역양자화부(502)는, 역양자화된 잔차 신호를 라인 L503 경유로 역변환부(503)에 출력한다.

역변환부(503)는, 역양자화부(502)로부터 입력된 잔차 신호를 역이산 코사인 변환하여 재생 잔차 신호로 복원한다. 역변환부(503)는, 복원된 재생 잔차 신호를 라인 L504 경유로 가산기(504)에 출력한다.

화면간 예측이 채용되어 있는 경우에는, 화면간 예측 신호 생성부(508)는, 프레임 메모리(506)를 참조하여 동작 벡터에 의해 지정된 예측 신호를 생성한다. 한편, 화면 내 예측이 채용되어 있는 경우에는, 화면 내 예측 방법 취득부(507)가 상대 모드 정보를 기초로 대상 블록의 대상 화소 신호를 복원하기 위한 예측 방법을 취득한다(상세한 것은 후술한다). 취득된 예측 방법은, 라인 L505 경유로 화면 내 예측 신호 생성부(505)에 송출되고, 화면 내 예측 신호 생성부(505)가, 상기 예측 방법에 기초하여, 프레임 메모리(506)로부터 직근 화소군에 포함되는 화소 신호를 취득하고 대상 화소 신호에 대한 예측 신호를 생성한다. 화면간 예측 신호 생성부(508) 및 화면 내 예측 신호 생성부(505)는, 생성된 예측 신호를 전환 스위치(509) 경유로 가산기(504)에 송출한다.

가산기(504)는, 역변환부(503)에 의해 복원된 재생 잔차 신호와 예측 신호를 가산함으로써 대상 블록의 화소 신호를 복원하고, 라인 L512 경유로 출력 단자(512)에 출력하고, 프레임 메모리(506)에 저장한다.

다음으로, 화면 내 예측 방법 취득부(507)의 구성에 대하여 보다 상세하게 설명한다. 도 24는, 화면 내 예측 방법 취득부(507)의 구성을 나타낸 블록도이다. 도 24에 나타낸 바와 같이, 화면 내 예측 방법 취득부(507)는, 인접 모드 결정부(601)( 제1 예측 방법 결정부)와, 모드 정보 생성부(602)를 구비하고 있다.

인접 모드 결정부(601)는, 직근 화소군을 사용하여 대상 블록에 인접하는 인접 영역에 대해서 최적인 예측 방법을 결정하고, 모드 정보 생성부(602)는, 이 최적 예측 방법(인접 영역 예측 방법)을 사용하여 라인 L511d 경유로 보내지는 화면 내 예측 방법에 대한 모드 정보의 상대값을 복원하고, 얻어진 화면 내 예측 방법에 대한 모드 정보를 라인 L505 경유로 화면 내 예측 신호 생성부(505)에 출력한다.

인접 모드 결정부(601)는, 인접 영역의 각 화소값 및 직근 화소군의 화소값을 라인 L507 경유로 프레임 메모리(506)로부터 취득하고, 앞서 설명한 도 13 내지 도 21의 9개의 예측 방법을 사용하여, 각각의 인접 영역에 대한 예측 신호를 생성한다. 이 때, 인접 모드 결정부(601)는, 직근 화소군 중 적어도 일부를 사용하여 인접 영역에 대한 예측 신호를 생성하고, 생성된 예측 신호와 인접 영역이 본래 가지고 있는 화소 신호와 차분을, 예측 신호와 인접 영역의 화소 신호와의 상관값으로서 구한다. 본 실시예에서는, 상관값으로서 차분 신호의 절대값의 합을 사용한다. 그리고, 인접 모드 결정부(601)는, 이와 같이 구한 9개의 상관값 중 가장 상 관이 높은 예측 방법을 인접 영역 예측 방법으로서 도출하고, 라인 L601 경유로 모드 정보 생성부(602)에 보낸다.

모드 정보 생성부(602)는, 인접 모드 결정부(601)에 의해 도출된 인접 영역 예측 방법에 기초하여, 대상 블록에 대한 대상 영역 예측 방법을 예측한다. 즉, 모드 정보 생성부(602)는, 라인 L511d 경유로 보내지는 화면 내 예측 방법에 대한 모드 정보의 상대값과 인접 영역 예측 방법의 식별 번호를 가산함으로써 화면 내 예측 방법에 대한 모드 정보를 생성한다. 여기서는, 대상 블록에 대한 모드 정보의 도출에 사용하는 연산 방법으로서는, 가산 대신, 부호화 장치에 대응한 연산 방법을 사용하여 인접 영역 예측 방법을 기초로 화면 내 예측 방법에 대한 모드 정보를 복원해도 된다.

도 25는, 본 발명의 실시예에 의한 화면 내 예측 방법의 결정 처리를 나타낸 흐름도이다. 먼저, 인접 모드 결정부(601)에 의해, 대상 블록에 직접 인접하는 복수의 기 재생 화소(직근 화소군)가 프레임 메모리(506)로부터 취득된다(단계 S201). 다음으로, 인접 모드 결정부(601)에 의해, 이 직근 화소군을 사용하여, 대상 블록에 인접하는 인접 영역에 대한 N개의 예측 신호가 생성된다(단계 S202). 본 실시예에서는, N=9이며, 도 13 내지 도 21에 나타낸 방법에 따라, 각각의 예측 방법으로 인접 영역에 대한 예측 신호를 생성한다.

그리고, 인접 모드 결정부(601)에 의해, 생성된 인접 영역의 예측 신호와 본래 인접 영역에 포함되어 있는 화소 신호와의 차분값이, 각각의 예측 방법에 대응하는 상관값으로서 구해지고, 그 중에서 인접 영역에 대해 가장 높은 상관을 부여 하는 인접 영역 예측 방법이 결정된다(단계 S203). 그 후, 모드 정보 생성부(602)에 의해, 대상 블록에 속하는 화면 내 예측 방법에 대한 상대 모드 정보와 인접 영역 예측 방법에 기초하여, 대상 블록의 예측 신호를 생성하기 위한 대상 영역 예측 방법이 도출된다(단계 S204). 본 실시예에서는, 전술한 상대 모드 정보에 인접 영역 예측 방법의 식별 번호를 가산하여 대상 영역 예측 방법을 도출한다. 마지막으로, 대상 영역 예측 방법에 대한 식별 정보가 화면 내 예측 신호 생성부(505)에 출력된다(단계 S205). 후속 처리에서는, 이 식별 정보에 따라 대상 블록의 예측 신호가 생성된다.

이상 설명한 화상 예측 부호화 장치(10) 및 화상 예측 복호 장치(50)에 의하면, 인접 영역의 화소 신호를 예측하기 위한 제1 예측 방법 중에서, 부호화 대상의 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군을 사용하여, 인접 영역의 화소 신호와 상관이 높은 예측 신호를 생성하기 위한 인접 영역 예측 방법이 도출되고, 그 인접 영역 예측 방법을 기초로 대상 영역 예측 방법이 예측되며, 대상 영역 예측 방법에 기초하여 대상 영역의 화면 내 예측 신호가 생성된다. 이로써, 대상 영역의 예측 방법을 식별하기 위한 식별 정보(모드 정보)에 관련된 부호량을 감소시킬 수 있으므로 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있다. 그 결과, 화소 신호의 예측 정밀도를 높이기 위해 화소 영역에 있어서의 화면 내 예측 신호의 생성의 방법에 대하여 많은 모드를 설치한 경우에도, 예측 방법을 식별하는 모드 정보가 삭감되어 전체적인 부호화 효율이 향상된다. 특히, 직근 화소군을 참조하여 인접 영역에 대해서 결정되는 예측 방법은, 동 일한 직근 화소군을 사용하여 결정되는 대상 영역에 대한 예측 방법으로 상관이 높으므로, 모드 정보의 예측 정밀도가 높아지고 전체 부호량을 보다 효율적으로 감소시킬 수 있다.

또한, 압축 데이터 내의 모드 정보를 감소시킬 수 있으면, 대상 영역을 더 작은 블록으로 분할해도, 블록 수의 증가에 수반하는 모드 정보의 증가가 적기 때문에, 대상 영역을 작게 분할할 수 있고, 작은 블록의 국소성에 맞는 보간 신호를 만들 수 있으므로, 잔차 신호를 삭감하는 효과도 있다.

또한, 대상 블록에 인접하는 영역이 화면간 예측 부호화하는 경우에, 인접 블록이 화면 내 예측 정보를 가지고 있지 않은 경우에도, 대상 블록의 인접 영역에 대해서 복수의 예측 방법으로부터 결정되는 예측 방법을 기초로 대상 영역의 예측 정보를 부호화하므로, 대상 블록에 있어서의 예측 방법에 대한 정보를 효율적으로 부호화할 수 있게 된다.

특히, 대상 영역의 화소 신호를 예측하기 위한 제2 예측 방법 중에서, 직근 화소군을 사용하여 대상 영역의 화소 신호와 상관이 높은 예측 신호를 생성하기 위한 대상 영역 예측 방법이 도출되고, 인접 영역 예측 방법을 기초로 대상 영역 예측 방법이 예측되어 대상 영역 예측 방법에 대한 모드 정보가 인접 영역 예측 방법에 대한 상대적 정보로서 생성된다. 이로써, 대상 영역 예측 방법을 식별하기 위한 모드 정보의 부호량을, 인접 영역 예측 방법을 기초로 예측한 정보를 이용하는 것에 의해 감소시킬 수 있으므로 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압할 수 있다.

또한, 인접 영역의 화소 신호를 예측하는 제1 예측 방법과 대상 화소 신호를 예측하는 복수의 제2 예측 방법은, 화상 신호에 있어서의 화소 신호를 보간하는 방향이 서로 반대의 관계를 가지므로, 도출되는 인접 영역 예측 방법과 대상 영역 예측 방법과의 상관이 높아지고, 예측 방법을 식별하기 위한 모드 정보를 보다 효율적으로 억압할 수 있다.

이하, 컴퓨터를 화상 예측 부호화 장치(10) 및 화상 예측 복호 장치(50)로서 동작시키는 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램에 대하여 설명한다.

본 발명에 의한 화상 예측 부호화 프로그램 및 화상 예측 복호 프로그램은, 기록 매체에 저장되어 제공된다. 기록 매체로서는, 플로피(등록상표) 디스크, CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.

도 26은, 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이며, 도 27은, 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 컴퓨터로서, CPU를 구비하고 소프트웨어에 의한 처리나 제어를 행하는 DVD 플레이어, 셋탑 박스, 휴대 전화기 등을 포함한다.

도 26에 나타낸 바와 같이, 컴퓨터(30)는, 플로피(등록상표) 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12)와, 오퍼레이팅 시스템을 상주시킨 작업용 메모리(RAM)(14)와, 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16)와, 디스플레이로서의 표시 장치(18)와, 입력 장치인 마우스(20) 및 키보드(22)와, 데이터 등의 송수신을 행하기 위한 통신 장치(24)와, 프로그램의 실행을 제어하는 CPU(26)를 구비하고 있다. 컴퓨터(30)는, 기록 매체(10)가 판독 장치(12)에 삽입되면, 판독 장치(12)로부터 기록 매체(10)에 저장된 화상 예측 부호화·복호 프로그램에 액세스 가능하게 되고, 상기 화상 예측 부호화·복호 프로그램에 의해, 본 발명에 의한 화상 예측 부호화 장치·화상 예측 복호 장치로서 동작 가능하게 된다.

도 27에 나타낸 바와 같이, 화상 예측 부호화 프로그램 또는 화상 예측 복호 프로그램은, 반송파에 중첩된 컴퓨터 데이터 신호(40)로서 네트워크를 통하여 제공되는 것이라도 된다. 이 경우, 컴퓨터(30)는, 통신 장치(24)에 의해 수신한 화상 예측 부호화 프로그램 또는 화상 예측 복호 프로그램을 메모리(16)에 저장하고, 상기 화상 예측 부호화 프로그램 또는 화상 예측 복호 프로그램을 실행할 수 있다.

그리고, 본 발명은, 전술한 실시예로 한정되는 것은 아니다. 예를 들면, 화상 예측 부호화 장치(10) 및 화상 예측 복호 장치(50)는, 직근 화소군을 사용하여 인접 영역에 대해서 도출된 인접 영역 예측 방법에 기초하여, 대상 블록의 예측 방법을 결정하도록 동작해도 된다.

도 28은, 이와 같은 경우의 화상 예측 부호화 장치(10)의 화면 내 예측 신호 생성 방법 결정부의 변형예를 나타내는 블록도이다. 화면 내 예측 신호 생성 방법 결정부(105)의 변형예인 화면 내 예측 신호 생성 방법 결정부(305)는, 인접 모드 결정부(206)와, 예측 방법 결정부(301)를 구비한다. 예측 방법 결정부(301)에는, 인접 모드 결정부(206)로부터 인접 영역에 대한 최적인 예측 방법인 인접 영역 예측 방법에 대한 정보가 라인 L202 경유로 보내진다. 예측 방법 결정부(301)는, 그 인접 영역 예측 방법에 따라 대상 블록에 대해서 최적인 대상 영역 예측 방법을 예측한다. 구체적으로는, 예측 방법 결정부(301)는, 도 4 내지 도 21을 참조하여 설명한 바와 같이, 대상 블록의 예측 방법과 대응하는 인접 영역의 예측 방법에는 일정한 관계가 있으므로, 인접 영역 예측 방법에 대응하는 예측 모드를 대상 영역 예측 방법으로서 도출한다. 보다 구체적으로는, 인접 영역의 예측 모드에 대하여 화소 신호의 보간 방향이 반대 방향의 예측 모드를 대상 영역의 예측 모드로 한다. 예를 들면, 인접 영역 예측 방법이 직근 화소군을 위쪽으로 잡아늘이는 경우(도 13), 대상 영역 예측 방법은 아래쪽으로 직근 화소군을 잡아늘이는 방법(도 4)을 도출한다. 예를 들면, 대상 블록의 예측 방법과 이에 대응하는 인접 영역의 예측 방법에 대하여 동일한 식별 번호를 부여함으로써, 용이하게 예측 방법을 도출할 수 있다. 또한, 인접 영역 예측 방법의 식별 번호에 소정의 연산을 행함으로써도 대상 영역 예측 방법을 도출할 수 있다.

도 29는, 화면 내 예측 신호 생성 방법 결정부(305)의 예측 방법의 결정 처리를 나타낸 흐름도이다. 처음에, 인접 모드 결정부(206)에 의해, 대상 블록에 직접 인접하는 복수의 기 재생 화소가 프레임 메모리(506)으로부터 취득된다(단계 S301). 다음으로, 인접 모드 결정부(206)에 의해, 이 직근 화소군을 사용하여, 대상 블록에 인접하는 인접 영역에 대한 N개의 예측 신호가 생성된다(단계 S302). 여기서는, N=9이며, 도 13 내지 도 21에 나타낸 방법에 따라, 각각의 예측 방법으로 인접 영역에 대한 예측 신호가 생성된다. 그리고, 인접 모드 결정부(206)에 의해, 인접 영역의 예측 신호와 본래 인접 영역에 포함되어 있는 화소 신호와의 차분 값이, 각각의 예측 방법에 대응하는 상관값으로서 구해지고, 이 예측 방법 중에서 인접 영역에 대해 가장 높은 상관을 부여하는 예측 방법이, 인접 영역 예측 방법으로서 결정된다(단계 S303). 그 후, 예측 방법 결정부(301)에 의해, 대상 블록의 예측 방법과 대응하는 인접 영역의 예측 방법과의 사이에 있는 관계를 사용하여, 인접 영역 예측 방법에 따라 대상 영역 예측 방법이 도출된다(단계 S304). 자세한 것은 전술한 바와 같다. 마지막에 대상 영역 예측 방법에 대한 식별 정보가 화면 내 예측 신호 생성부(106)에 출력된다(단계 S305). 후속 처리에서는, 이 식별 정보에 따라 대상 블록의 예측 신호가 생성된다.

이와 같이 인접 영역 예측 방법에 기초하여 대상 블록의 예측 방법을 결정하도록 동작함으로써, 대상 영역의 예측 방법을 식별하기 위한 모드 정보가 불필요해지므로, 전체적인 부호화 효율을 보다 향상시킬 수 있다. 또한, 인접 영역 예측 방법에 대해서 화소 신호를 보간하는 방향이 반대의 관계인 예측 방법을, 대상 영역에 대한 예측 방법으로 함으로써, 대상 영역의 예측 방법으로서 적합한 예측 방법을 양호한 정밀도로 도출할 수 있으므로, 화소 신호의 부호량도 효과적으로 감소시킬 수 있다.

또한, 전술한 변형예에 대응하는 화상 예측 복호 장치(50)의 구성에 대하여 설명한다. 화상 예측 복호 장치(50)는, 압축 데이터에 화면 내 예측 방법에 대한 모드 정보가 포함되어 있지 않은 경우, 인접 영역 예측 방법만에 기초하여 대상 영역 예측 방법을 결정하도록 동작한다. 즉, 이 경우에는 화면 내 예측 방법 취득부(507)에는 예측 방법에 대한 상대 모드 정보가 입력되지 않는다. 인접 모드 결 정부(601)는, 결정된 인접 영역 예측 방법에 대한 식별 정보를 라인 L601 경유로 모드 정보 생성부(602)에 보낸다. 그리고, 모드 정보 생성부(602)는, 예측 방법 결정부(301)와 마찬가지로 하여, 대상 블록의 예측 방법과 대응하는 인접 영역의 예측 방법과의 사이에 일정한 관계가 있는 것을 이용하여, 인접 영역 예측 방법에 따라 대상 영역 예측 방법을 도출한다. 구체적으로는, 인접 영역 예측 방법과 화소 신호의 보간의 방향이 반대의 예측 방법을 대상 영역 예측 방법으로 한다.

또한, 도 2, 도 24 및 도 28의 인접 모드 결정부(206, 601)가 실행하는 9개의 예측 방법에 있어서 대상 영역에 대한 인접 영역의 형상이나 위치(영역)가 동일하도록 설정하고, 9개의 예측 방법을 사용하여 동일 영역의 인접 영역에 대해서 예측 신호를 생성하고, 생성된 신호와 인접 영역이 본래 가지고 있는 화소 신호와의 상관을 구하여 인접 영역 예측 방법으로서 결정해도 된다.

예를 들면, 인접 모드 결정부는, 제2 예측 방법(도 4 내지 도 12)에 대응하여, 도 30 내지 도 38에 나타낸 바와 같은 제1 예측 방법을 사용한다. 보다 구체적으로는, 도 30에 나타낸 바와 같이, 화소 a∼p의 화소군 G3004는 대상 블록에 포함되는 화소이며, 화소 A∼M의 화소군 G3003은 직근 화소군이며, 화소 a'∼x'의 화소군 G3005는 대상 블록에 직근 화소군을 협지하여 인접하는 인접 영역에 포함되는 화소이다. 인접 모드 결정부는, 인접 영역에 포함되는 화소군 G3005에 대하여, 직근 화소군 G3003에 포함되는 화소 A∼D, M을 사용하여, 각각의 화소를 위쪽으로 잡아늘여 예측 신호를 생성한다. 또한, 화소 k'∼x'에 대해서는, 직근 화소군 G3003에 포함되는 화소 L를 사용하여 화소 k'∼x'의 예측 신호를 생성한다. 이 때의 구 체적인 연산식으로서는, 하기 식 (19)이 사용되고, 하기 식 (19) 대신 하기 식 (20)에 나타낸 바와 같이 인접 영역 G3005에 포함되어 있는 화소 o', v'의 본래의 화소값 o_o', v_o'를 사용해도 되고, 하기 식 (21)에 나타낸 바와 같이 대상 영역의 직근에 인접하지 않는 인접 영역 G3005의 외측에 있는 화소 X, Y를 사용해도 된다.

pred(a', f') = M

pred(b', g') = A

pred(c', h') = B

pred(d', i') = C

pred(e', j') = D

pred(k', l', m', n', o', p', q') = L

pred(r', s', t', u', v', w', x') = L …(19)

pred(k', l', m', n', o', p', q') = o_o'

pred(r', s', t', u', v', w', x') = v_o' …(20)

pred(k', l', m', n', o', p', q') = Y

pred(r', s', t', u', v', w', x') = X …(21)

마찬가지로 하여, 인접 모드 결정부는, 도 31 내지 도 38에 나타낸 바와 같이, 인접 영역 G3105∼3805에 대해서, 직근 화소군 G3103∼G3803의 일부를 사용하여 소정의 방향으로 화소를 잡아늘여, 하기 식 (22)∼(29)에 의해 예측 신호를 생성하고, 인접 영역 예측 방법을 결정한다. 인접 영역 G3105∼3805는 모두 동일한 형상이며, 대상 영역으로부터의 상대적인 위치도 동일하다. 식 중, 아래첨자 o는, 기 재생의 화소값을 나타낸다.

pred(k', r') = L

pred(s', l') = K

pred(t', m') = J

pred(u', n') = I

pred(v', o') = M

pred(w', p', a', b', c', d', e') = E

pred(x', q', f', g', h', i', j') = E …(22)

pred(a', …, x') = [A + B + C + D + I + J + K + L + 4]/8 …(23)

pred(e') = (B + 2C + D + 2)/4

pred(d', j') = (A + 2B + C + 2)/4

pred(c', i') = (M + 2A + B + 2)/4

pred(b', h') = (3M + A + 2)/4

pred(x') = (A' + 2B' + C' + 2)/4

pred(w', q') = (B' + 2C' + D' + 2)/4

pred(v', p', f') = (C' + 2D' + E' + 2)/4

pred(u', o', a', g') = (D' + 2E' + F' + 2)/4

pred(t', n') = (3M + I + 2)/4

pred(s', m') = (M + 2I + J + 2)/4

pred(r', l') = (I + 2J + K + 2)/4

pred(k') = (J + 2 K + L + 2)/4 …(24)

pred(r', s', k') = L

pred(l', t') = (3L + K + 2)/4

pred(m', u') = (J + 2K + L + 2)/4

pred(n', v') = (I + 2J + K + 2)/4

pred(o', w') = (M + 2I + J + 2)/4

pred(p', x') = M

pred(a', q') = (M + 2A + B + 2)/4

pred(b', f') = (A + 2B + C + 2)/4

pred(c', g') = (B + 2C + D + 2)/4

pred(d', h') = (C + 2D + E + 2)/4

pred(e', i') = (D + 2E + F + 2)/4

pred(j') = (E + 2F + G + 2)/4 …(25)

pred(r') = (D' + 2E' + F' + 2)/4

pred(s') = (C' + 2D' + E' + 2)/4

pred(t', k') = (B' + 2C' + D' + 2)/4

pred(u', l') = (A' + 2B' + C' + 2)/4

pred(m', v') = (K + 3L + 2)/4

pred(n', w') = (J + 2K + L + 2)/4

pred(o', x') = (I + 2J + K + 2)/4

pred(p') = (M + 2I +J + 2)/4

pred(q') = (I + 2M + A + 2)/4

pred(a') = (M + A + 1)/2

pred(f') = (M + 2A + B + 2)/4

pred(b') = (A + B + 1)/2

pred(g') = (A + 2B + C + 2)/4

pred(c') = (B + C + 1)/2

pred(h') = (B + 2C + D + 2)/4

pred(d') = (C + D + 1)/2

pred(i') = (C + 2D + E + 2)/4

pred(e') = (D + E + 1)/2

pred(j') = (D + 2E + F + 2)/4 …(26)

pred(r') = (F' + G' + 1)/2

pred(k') = (E' + 2F' + G' + 2)/4

pred(s') = (K + 3L + 2)/4

pred(l') = (K + L + 1)/2

pred(t') = (J + 2K + L + 2)/4

pred(m') = (J + K + 1)/2

pred(u') = (I + 2J + K + 2)/4

pred(n') = (I + J + 1)/2

pred(v') = (M + 2I + J + 2)/4

pred(o') = (M + I + 1)/2

pred(w') = (I + 2M + A + 2)/4

pred(p') = (M + 2A + B + 2)/4

pred(a', x') = (A + 2B + C + 2)/4

pred(b', q') = (B + 2C + D + 2)/4

pred(c', f ') = (C + 2D + E + 2)/4

pred(d', g') = (D + 2E + F + 2)/4

pred(e', h') = (E + 2F + G + 2)/4

pred(i') = (F + 2G + H + 2)/4

pred(j') = (G + 3H + 2)/4 …(27)

pred(k') = (I + 2J + K + 2)/4

pred(l') = (M + 2I + J + 2)/4

pred(m', r') = (a_o' + 2M + I + 2)/4

pred(n', s') = (f_o' + 2a_o' + M + 2)/4

pred(a') = (J' + 2K' + L' + 2)/4

pred(f', o', t') = (J' + K' + 1)/2

pred(p', u') = (I' + 2J' + K' + 2)/4

pred(q', v') = (I' + J' + 1)/2

pred(w') = (H' + 2I' + J' + 2)/4

pred(x') = (H' + I' + 1)/2

pred(g') = (o_o' + 2M + A + 2)/4

pred(b') = (M + A + 1)/2

pred(h') = (M + 2A + B + 2)/4

pred(c') = (A + 2B + 1)/2

pred(i') = (A + 2B + C + 2)/4

pred(d') = (B + C + 1)/2

pred(j') = (B + 2C + D + 2)/4

pred(e') = (C + D + 1)/2 …(28)

pred(k') = (K + L + 1)/2

pred(r') = (J + 2K + L + 2)/4

pred(l') = (J + K + 1)/2

pred(s') = (I + 2J + K + 2)/4

pred(m') = (I + J + 1)/2

pred(t') = (M + 2I + J + 2)/4

pred(n') = (M + I + 1)/2

pred(u') = (a_o' + 2M + I + 2)/4

pred(o') = (a_o' + M + 1)/2

pred(v') = (f_o' + 2a_o' + M + 2)/4

pred(b', i') = (M' + 2N' + O' + 2)/4

pred(a', h') = (L' + 2M' + N' + 2)/4

pred(p', g') = (K' + 2L' + M' + 2)/4

pred(w', f') = (J' + 2K' + L + 2)/4

pred(q') = (I' + 2J' + K' + 2)/4

pred(x') = (H' + 2I' + J' + 2)/4

pred(c', j') = (o_o' + 2M + A + 2)/4

pred(d') = (M + 2A + B + 2)/4

pred(e') = (A + 2B + C + 2)/4 …(29)

그리고, 직근 화소군 만으로 예측 신호를 생성할 수 없는 경우에, 식 (28)이나 식 (29)에 나타낸 바와 같이, 인접 영역에 포함되어 있는 화소를 사용하여 예측 신호를 생성해도 된다. 또한, 식 (22) 대신 하기 식 (30)을 사용하여, 인접 영역에 포함되어 있는 화소를 사용하여 예측 신호를 생성해도 된다. 또한, 식 (24), 식 (26), 식 (27), 식 (28), 및 식 (29)에 나타낸 바와 같이, 대상 영역의 직근에 인접하지 않는 인접 영역의 외측에 있는 기 재생의 화소를 사용하여 예측 신호를 생성해도 된다. 식 (22) 대신 하기 식 (31)을 사용하여, 기 재생의 화소를 사용하여 예측 신호를 생성해도 된다. 또한, 식 (23) 대신 하기 식 (32)를 사용하여 예 측 신호를 생성해도 된다.

pred(w', p', a', b', c', d', e') = a_o'

pred(x', q', f ', g', h', i', j') = f_o' …(30)

pred(w', p', a', b', c', d', e') = X

pred(x', q', f', g', h', i', j') = Y …(31)

pred(a',…, x') = [A + B + C + D + I + J + K + L + M]/9 …(32)

본 발명은, 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램을 사용 용도로 하고, 화소 영역에 있어서의 화면 내 예측 신호의 생성의 방법 에 대하여 많은 예측 방법을 구비한 경우라도, 예측 방법을 식별하기 위한 모드 정보를 효율적으로 억압하는 것이다.

Claims

입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;

상기 복수의 영역 중 처리 대상인 대상 영역에 포함되는 대상 화소 신호에 대하여 화면 내 예측 신호를 생성하는 예측 신호 생성 수단;

상기 예측 신호 생성 수단에 의해 생성된 상기 화면 내 예측 신호와 상기 대상 화소 신호와의 잔차(殘差) 신호를 생성하는 잔차 신호 생성 수단; 및

상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단

을 포함하고,

상기 예측 신호 생성 수단은,

소정의 복수의 제1 예측 방법 중에서, 상기 대상 영역에 직접 인접하는 기(旣) 재생의 화소 신호인 직근(直近) 화소군 중 적어도 일부를 사용하여, 상기 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정부를 가지고,

상기 제1 예측 방법 결정부에 의해 도출된 상기 인접 영역 예측 방법에 기초하여 상기 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 상기 대상 영역에 대한 화면 내 예측 신호를 생성하는,

화상 예측 부호화 장치.
제1항에 있어서,

상기 예측 신호 생성 수단은,

상기 제1 예측 방법 결정부에 의해 도출된 상기 인접 영역 예측 방법과 소정의 관계를 가지는 예측 방법을 상기 대상 영역 예측 방법으로서 도출하는, 화상 예측 부호화 장치.
제2항에 있어서,

상기 소정의 관계는, 화상 신호에 있어서의 화소 신호를 보간하는 방향이 서로 반대의 관계인, 화상 예측 부호화 장치.
제1항에 있어서,

상기 예측 신호 생성 수단은,

소정의 복수의 제2 예측 방법 중에서, 상기 직근 화소군 중 적어도 일부를 사용하여, 상기 대상 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 대상 영역 예측 방법을 도출하는 제2 예측 방법 결정부를 더 가지고,

상기 제2 예측 방법 결정부에 의해 도출된 상기 대상 영역 예측 방법에 기초하여 상기 대상 영역에 대한 화면 내 예측 신호를 생성하고, 또한 상기 인접 영역 예측 방법에 기초하여 상기 대상 영역 예측 방법을 예측하여 상기 대상 영역 예측 방법을 특정하는 정보와 상기 인접 영역 예측 방법과의 상대적 정보를 생성하는, 화상 예측 부호화 장치.
제4항에 있어서,

상기 소정의 복수의 제1 예측 방법과 상기 소정의 복수의 제2 예측 방법은, 화상 신호에 있어서의 화소 신호를 보간하는 방향이 서로 반대의 관계를 가지는, 화상 예측 부호화 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,

상기 제1 예측 방법 결정부는, 상기 소정의 복수의 제1 예측 방법을 사용하여 동일 영역의 상기 인접 영역에 대해서 화면 내 예측 신호를 생성함으로써, 상기 인접 영역과 상관이 높은 인접 영역 예측 방법을 도출하는, 화상 예측 부호화 장치.
압축 데이터 중에서 처리 대상인 대상 영역에 대한 잔차의 부호화 데이터를 추출하는 데이터 해석 수단;

상기 데이터 해석 수단에 의해 추출된 상기 부호화 데이터로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;

상기 대상 영역에 포함되는 대상 화소 신호에 대한 화면 내 예측 신호를 생성하는 예측 신호 생성 수단; 및

상기 예측 신호 생성 수단에 의해 생성된 상기 화면 내 예측 신호와 상기 잔 차 신호 복원 수단에 의해 복원된 상기 재생 잔차 신호를 가산함으로써, 상기 대상 영역에 포함되는 대상 화소 신호를 복원하는 화상 복원 수단

을 포함하고,

상기 예측 신호 생성 수단은,

소정의 복수의 제1 예측 방법 중에서, 상기 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 상기 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정부를 가지고,

상기 제1 예측 방법 결정부에 의해 도출된 상기 인접 영역 예측 방법에 기초하여 상기 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 상기 대상 영역에 대한 화면 내 예측 신호를 생성하는,

화상 예측 복호 장치.
제7항에 있어서,

상기 예측 신호 생성 수단은,

상기 제1 예측 방법 결정부에 의해 도출된 상기 인접 영역 예측 방법과 소정의 관계를 가지는 예측 방법을 상기 대상 영역 예측 방법으로서 도출하는, 화상 예측 복호 장치.
제8항에 있어서,

상기 소정의 관계는, 화상 신호에 있어서의 화소 신호를 보간하는 방향이 서로 반대의 관계인, 화상 예측 복호 장치.
제7항에 있어서,

상기 데이터 해석 수단은, 상기 압축 데이터 중에서 상기 화면 내 예측 신호를 생성하기 위한 대상 영역 예측 방법을 식별하기 위한 상대 예측 방법 정보를 더 추출하고,

상기 예측 신호 생성 수단은,

상기 제1 예측 방법 결정부에 의해 도출된 상기 인접 영역 예측 방법에 기초하여 상기 대상 영역 예측 방법을 예측함으로써, 상기 인접 영역 예측 방법과 상기 상대 예측 방법 정보로부터 상기 대상 영역 예측 방법을 복원하고, 상기 대상 영역 예측 방법에 기초하여 상기 직근 화소군을 사용하여 상기 화면 내 예측 신호를 생성하는, 화상 예측 복호 장치.
제7항 내지 제10항 중 어느 한 항에 있어서,

상기 제1 예측 방법 결정부는, 상기 소정의 복수의 제1 예측 방법을 사용하여 동일 영역의 상기 인접 영역에 대해서 화면 내 예측 신호를 생성함으로써, 상기 인접 영역과 상관이 높은 인접 영역 예측 방법을 도출하는, 화상 예측 복호 장치.
영역 분할 수단이, 입력 화상을 복수의 영역으로 분할하는 영역 분할 단계;

예측 신호 생성 수단이, 상기 복수의 영역 중 처리 대상인 대상 영역에 포함되는 대상 화소 신호에 대하여 화면 내 예측 신호를 생성하는 예측 신호 생성 단계;

잔차 신호 생성 수단이, 상기 예측 신호 생성 수단에 의해 생성된 상기 화면 내 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 단계; 및

부호화 수단이, 상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 단계

를 포함하고,

상기 예측 신호 생성 단계에서는,

상기 예측 신호 생성 수단이, 소정의 복수의 제1 예측 방법 중에서, 상기 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 상기 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정 단계를 포함하고,

상기 제1 예측 방법 결정 단계에 의해 도출된 상기 인접 영역 예측 방법에 기초하여 상기 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 상기 대상 영역에 대한 화면 내 예측 신호를 생성하는,

화상 예측 부호화 방법.
데이터 해석 수단이, 압축 데이터 중에서 처리 대상인 대상 영역에 관한 잔 차의 부호화 데이터를 추출하는 데이터 해석 단계;

잔차 신호 복원 수단이, 상기 데이터 해석 수단에 의해 추출된 상기 부호화 데이터로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 단계;

예측 신호 생성 수단이, 상기 대상 영역에 포함되는 대상 화소 신호에 대한 화면 내 예측 신호를 생성하는 예측 신호 생성 단계;

화상 복원 수단이, 상기 예측 신호 생성 수단에 의해 생성된 상기 화면 내 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 상기 재생 잔차 신호를 가산 함으로써, 상기 대상 영역에 포함되는 대상 화소 신호를 복원하는 화상 복원 단계

를 포함하고,

상기 예측 신호 생성 단계에서는,

상기 예측 신호 생성 수단이, 소정의 복수의 제1 예측 방법 중에서, 상기 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 상기 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정 단계를 포함하고,

상기 제1 예측 방법 결정 단계에 의해 도출된 상기 인접 영역 예측 방법에 기초하여 상기 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 상기 대상 영역에 대한 화면 내 예측 신호를 생성하는,

화상 예측 복호 방법.
컴퓨터를,

입력 화상을 복수의 영역으로 분할하는 영역 분할 수단;

상기 복수의 영역 중 처리 대상인 대상 영역에 포함되는 대상 화소 신호에 대하여 화면 내 예측 신호를 생성하는 예측 신호 생성 수단;

상기 예측 신호 생성 수단에 의해 생성된 상기 화면 내 예측 신호와 상기 대상 화소 신호와의 잔차 신호를 생성하는 잔차 신호 생성 수단; 및

상기 잔차 신호 생성 수단에 의해 생성된 상기 잔차 신호를 부호화하는 부호화 수단

으로서 기능시키고,

상기 예측 신호 생성 수단은,

소정의 복수의 제1 예측 방법 중에서, 상기 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 상기 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정부를 가지고,

상기 제1 예측 방법 결정부에 의해 도출된 상기 인접 영역 예측 방법에 기초하여 상기 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 상기 대상 영역에 대한 화면 내 예측 신호를 생성하는,

화상 예측 부호화 프로그램.
컴퓨터를,

압축 데이터 중에서 처리 대상인 대상 영역에 대한 잔차의 부호화 데이터를 추출하는 데이터 해석 수단;

상기 데이터 해석 수단에 의해 추출된 상기 부호화 데이터로부터 재생 잔차 신호를 복원하는 잔차 신호 복원 수단;

상기 대상 영역에 포함되는 대상 화소 신호에 대한 화면 내 예측 신호를 생성하는 예측 신호 생성 수단; 및

상기 예측 신호 생성 수단에 의해 생성된 상기 화면 내 예측 신호와 상기 잔차 신호 복원 수단에 의해 복원된 상기 재생 잔차 신호를 가산함으로써, 상기 대상 영역에 포함되는 대상 화소 신호를 복원하는 화상 복원 수단

으로서 기능시키고,

상기 예측 신호 생성 수단은,

소정의 복수의 제1 예측 방법 중에서, 상기 대상 영역에 직접 인접하는 기 재생의 화소 신호인 직근 화소군 중 적어도 일부를 사용하여, 상기 대상 영역에 인접하는 인접 영역의 화소 신호와 상관이 높은 화면 내 예측 신호를 생성하는 인접 영역 예측 방법을 도출하는 제1 예측 방법 결정부를 가지고,

상기 제1 예측 방법 결정부에 의해 도출된 상기 인접 영역 예측 방법에 기초하여 상기 대상 화소 신호에 대한 대상 영역 예측 방법을 예측하고, 상기 대상 영역 예측 방법에 기초하여 상기 대상 영역에 대한 화면 내 예측 신호를 생성하는,

화상 예측 복호 프로그램.