KR20140092374A

KR20140092374A - 화상 부호화 및 복호 방법, 장치, 프로그램

Info

Publication number: KR20140092374A
Application number: KR20147014672A
Authority: KR
Inventors: 마유코 와타나베; 마사키 기타하라; 아츠시 시미즈
Original assignee: 니폰 덴신 덴와 가부시끼가이샤
Priority date: 2011-12-13
Filing date: 2012-12-12
Publication date: 2014-07-23
Also published as: CN103975599A; KR101614828B1; EP2775718A4; EP2775718A1; JP2013125973A; CA2858693A1; BR112014014322A2; WO2013089129A1; US9332275B2; TW201338552A; CN103975599B; RU2014123658A; JP5795525B2; EP2775718B1; US20140355678A1; PL2775718T3; TWI477107B

Abstract

종래의 분할 화상내 부호화보다 부호화 효율의 저하를 억제하면서 부호화 연산량 및 복호 연산량을 삭감한다. 분할 화상 생성부가, 부호화 대상의 입력 화상을 같은 사이즈의 블록으로 분할하고 각 블록내의 상대 위치가 같은 화소를 모아 각각 같은 사이즈의 분할 화상을 생성한다. 일부의 분할 화상에 대해서는 분할 화상내 부호화 처리부가 분할 화상내 부호화한다. 분할 화상간 부호화 처리부는, 다른 부호화가 끝난 분할 화상을 참조 화상으로서 이용하여 분할 화상간 부호화를 한다. 참조 화상의 후보가 복수 있는 경우에 상관 방향 산출부가, 부호화가 끝난 분할 화상과 그 참조 화상의 조합 중 원화상상에서의 화소의 상관이 높은 것을 구하고, 참조 화상 선택부가, 부호화 대상 분할 화상에 대해 상관이 높은 방향에 있는 부호화가 끝난 분할 화상을 분할 화상간 부호화 처리부에서 이용하는 참조 화상으로서 선택한다.

Description

화상 부호화 및 복호 방법, 장치, 프로그램{METHOD, DEVICE, AND PROGRAM FOR CODING AND DECODING OF IMAGES}

본 발명은, 화상 부호화·복호 기술에 관한 것으로서, 특히 종래의 화면내 예측 부호화·복호에 대해 부호화 효율의 저하를 억제하면서 복호 연산량을 줄이는 부호화 및 복호를 실현하는 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램에 관한 것이다.

본원은 2011년 12월 13일에 일본에 출원된 일본특원2011-271841호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.

영상 부호화 국제 표준인 H.264에서는, 블록간의 화소 상관을 이용하여 부호화에서의 압축율을 향상시키기 위해 화면내 예측 부호화가 이루어진다(비특허문헌 1 참조). 이 화면내 예측은 몇개의 화소를 통합한 블록 단위로 이루어지며 휘도 신호에 대해 4×4, 8×8, 16×16의 3종류의 블록 사이즈를 이용 가능하도록 되어 있다. 또 각 블록 사이즈에서는 각각 복수의 예측 모드가 선택 가능하도록 되어 있다.

이 H.264에서는, 화면내 예측시에 외부 삽입 예측에 의한 방법을 이용하였으나 그에 따른 예측 효율이 나쁘다는 문제가 있다. 이것을 해결하기 위해 전화면에 대해 디블로킹 필터에 의해 블록 왜곡이 억제되어 있으며 연산량이 많아진다.

또 화면내 예측에서의 부호화 효율을 향상시키는 수법으로서 비특허문헌 2에 기재되어 있는 기술이 알려져 있다. 이 기술은, 화면내 예측에서 부호화 대상 블록에 대해 부호화가 끝난 영역으로부터 오차가 작은 블록을 탐색하고 그에 대한 예측 오차를 이용하여 부호화하는 수법이다.

도 19는, 종래 기술에 의한 화면내 예측 부호화 처리의 예를 도시한 흐름도이다. 비특허문헌 2의 화면내 예측 부호화에서는, 우선 부호화 대상의 화상을 같은 사이즈의 N개의 블록(1)∼(N)으로 분할한다(단계S801). 다음으로 최초의 블록(1)에 대해 화면내 예측 부호화를 한다(단계S802). 계속해서 블록(2) 이후의 블록의 부호화에서는 부호화가 끝난 영역으로부터 예측 오차가 작은 블록을 참조 화상으로 하여 화면간 예측 부호화를 하고 그 참조 화상으로의 움직임 벡터 정보와 예측 오차를 부호화한다(단계S803). 이 단계S803의 처리를 마지막 블록(N)까지 반복한다.

이 비특허문헌 2에서 제안되는 기술은 부호화 효율 향상을 위한 수법이며, 같은 패턴이 반복되는 영역에서는 예측 오차의 발생을 억제할 수 있기 때문에 양자화 오차도 작아지기 쉽다. 따라서 디블로킹 필터의 처리량을 줄일 수 있을 것으로 생각된다.

그러나 상기 방법으로는, 같은 패턴이 반복되는 화상에서는 유효할지도 모르지만, 거의 같은 패턴이 나타나지 않는 화상에는 유효하지 않고, 그 경우에는 예측 오차를 많이 줄일 수 없어 양자화 오차도 작아지지 않는 것으로 생각된다. 이 경우, 디블로킹 필터의 처리량도 삭감할 수 없기 때문에 복호 연산량의 삭감에는 유효하지 않다고 생각된다. 나아가 각 블록에 대한 참조 블록의 상대 위치를 나타내는 오프셋 벡터 정보를 복호측에 대해 보낼 필요가 있기 때문에 복호측에서도 참조 블록 정보의 복호를 위한 연산이 발생하게 되고, 그 결과 연산량이 많은 채로 되어 있다는 문제가 있다.

이 비특허문헌 2의 기술에서의 과제를 해결하기 위해 본 발명자 등은 비특허문헌 3에서 부호화 효율의 저하를 억제하면서 부호화 연산량 및 복호 연산량을 삭감하는 기술을 제안했다.

도 20은, 비특허문헌 3에서 제안한 기술을 설명하는 도면이다. 이 제안 기술에서는, 원화상(PIC1)의 화면내 부호화에서 원화상(PIC1)을 동일 위치의 화소에 강한 상관이 있는 4매의 분할 화상(PIC10)∼(PIC13)으로 분리한다. 아울러 도면 중의 0, 1, 2, 3의 수치를 붙인 매스는, 각각 화소를 나타내고 있다. 즉, 입력한 부호화 대상의 원화상(PIC1)을 2×2화소의 블록으로 분할하고 각 블록내의 상대 위치가 같은 화소를 모아 분할 화상(PIC10)∼(PIC13)을 설정한다. 이 중 1매의 분할 화상(PIC10)을 화면내 부호화하고 나머지 3매의 분할 화상(PIC11), (PIC12), (PIC13)에 대해서는 각각 부호화가 끝난 화상으로부터 분리 방법에 따라 참조 화상을 생성하여 예측 부호화를 한다.

화면내 부호화하는 1매째 분할 화상(PIC10)에는 강한 디블로킹 필터가 적용되는데, 2∼4매째 분할 화상(PIC11), (PIC12), (PIC13)에서는 예측 효율이 좋은 화면간 부호화를 이용함으로써 디블로킹 필터의 강도가 낮아진다. 따라서 전체적으로 디블로킹 처리에서의 연산량의 삭감이 가능해져 부호화 효율을 유지하면서 복호 연산량을 삭감할 수 있다.

이 수법의 처리 순서는 이하와 같다.

(1) 원화상(PIC1)을, 도 20에 도시한 바와 같이 4개의 분할 화상(PIC10)∼(PIC13)으로 나눈다.

(2) 1매째 분할 화상(PIC10)을 화면내 부호화로 부호화한다.

(3) 반화소 필터를 이용하여 분할 화상(PIC10)의 부호화 화상을 오른쪽으로 반화소 비켜놓은 화상을 생성한다.

(4) 2매째 분할 화상(PIC11)을, (3)에서 생성한 화상을 참조 화상으로 하고 움직임 벡터를 0으로 하여 화면간 부호화한다.

(5) 반화소 필터를 이용하여 분할 화상(PIC10)의 부호화 화상을 아래로 반화소 비켜놓은 화상을 생성한다.

(6) 3매째 분할 화상(PIC12)을, (5)에서 생성한 화상을 참조 화상으로 하고 움직임 벡터를 0으로 하여 화면간 부호화한다.

(7) 반화소 필터를 이용하여 분할 화상(PIC12)의 부호화 화상을 오른쪽으로 반화소 비켜놓은 화상을 생성한다.

(8) 4매째 분할 화상(PIC13)을, (7)에서 생성한 화상을 참조 화상으로 하고 움직임 벡터를 0으로 하여 화면간 부호화한다.

이 예에서는, 입력한 부호화 대상의 원화상(PIC1)을 2×2화소의 블록으로 분할하고 각 블록내의 상대 위치가 같은 화소를 모아 4매의 분할 화상(PIC10)∼(PIC13)을 설정하여 부호화한 경우를 설명했다. 그러나 더 일반화하여 원화상을 n×m화소의 블록으로 분할하고 각 블록에서의 상대 위치가 같은 복수의 화소군(여기서는 서브 블록이라고 부른다)을 재배치하여 분할 화상을 설정해도 좋다. 서브 블록은 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)이다.

종래 수법에서는 이하와 같이 부호화를 실시한다. 우선, 입력 화상으로부터 등간격으로 1 또는 복수의 화소(서브 블록)를 추출하여 그들 서브 블록을 모음으로써 복수의 분할 화상을 생성하고, 적어도 하나의 분할 화상에 대해 그 분할 화상만을 이용하여 부호화하는 분할 화상내 부호화를 한다. 다른 분할 화상의 부호화에 대해서는 부호화가 끝난 분할 화상을 이용하여 분할 화상간 예측 부호화를 한다. 즉, 부호화가 끝난 분할 화상을 참조 화상으로 하고 그것을 토대로 부호화 대상 분할 화상에 포함되는 화소와 부호화가 끝난 분할 화상에 포함되는 화소와의 상대적인 위치 관계에 따라, 예를 들면 소수(小數) 화소 정밀도의 보간 화상을 생성할 때에 이용하는 필터를 참조 화상에 적용함으로써 예측 화상을 생성하고 그 예측 화상과 부호화 대상 분할 화상과의 오차 신호를 부호화한다.

도 21은, 종래 수법의 처리 흐름도이다.

우선, 단계S900에서는, 화상을 같은 사이즈의 블록으로 분할하여 분할 화상(P0)∼(PN)을 생성한다. 다음으로 단계S901에서는, 생성된 분할 화상(P0)∼(PN) 중 몇개의 분할 화상(P0)∼(PM)(단, 0=M＜N)에 대해 분할 화상내 부호화를 한다. 계속해서 단계S902에서는, 분할 화상(P(M＋1))∼(PN)에 대해 부호화가 끝난 블록을 참조 화상으로 하여 분할 화상간 부호화를 한다.

[비특허문헌 1] ITU-T Rec.H.264, "Advanced video coding for generic audiovisual services", March 2005. [비특허문헌 2] J.Yang, B.Yin, Y.Sun, and N.Zhang, "A block-matching based intra frame prediction for H.264/AVC", in Proceedings of IEEE International Conference on Multimedia and Expo (ICME '06), pp.705-708, Toronto, Canada, July 2006. [비특허문헌 3] 와타나베 마유코, 기타하라 마사키, 시미즈 쥰, 조자와 히로히사： "화상내 부호화에서의 복호 연산량 삭감의 검토", 2011년 신학회 종합 대회 강연 논문집, D-11-39, March 2011.

영상 부호화 국제 표준인 H.264 등의 영상 부호화에서의 복호 처리에서는, 블록 왜곡을 줄이기 위한 디블로킹 필터의 처리량이 차지하는 비율이 크다. 이 문제에 대해, 비특허문헌 3에서 제안되는, 일정한 규칙으로 화소 또는 화소군을 추출하여 재배열한 분할 화상 사이에서 예측 부호화하는 방법을 이용하면 블록 왜곡의 발생을 억제할 수 있게 된다. 이 방법으로는 디블로킹 필터의 적용 부분이 줄어들기 때문에 디블로킹 필터의 연산량을 줄일 수 있게 된다.

그러나 이 방법에는 다음 점에 대해 개선의 여지가 있다.

(1) 우선, 분할 화상간 부호화로 참조 화상을 2매 이상 이용할 경우에는, 복호시에 어느 참조 화상을 이용할지를 파악할 수 있도록 하기 위해 예측 부호화에 이용한 참조 화상을 나타내는 참조 화상 인덱스를 부호화해야 하므로 이 부호량이 증가한다. 따라서 부호화 효율이 악화된다. 한편 참조 화상의 방향을 고정시키면 예측 정밀도가 떨어져 부호화 효율이 악화된다.

(2) 또 참조 화상을 분할 화상내의 블록마다 전환할 경우에는, 참조 화상 인덱스를 블록마다 복호측에 보내야 하며 참조 화상 인덱스를 부호화함으로써 부호량이 증가하기 때문에 부호량이 더 증가한다는 문제가 있다.

본 발명은, 상기 분할 화상간 부호화의 개선을 도모하여 분할 화상간 부호화에서의 참조 화상 인덱스의 부호화를 불필요하게 함으로써 부호화 효율을 향상시키는 것을 목적으로 한다.

본 발명의 가장 특징으로 하는 바는, 화면내 예측 부호화(복호도 동일)의 처리를, 화소(또는 화소군)를 재배치한 분할 화상을 이용하여 분할 화상내 부호화와 분할 화상간 부호화에 의해 행하는 화상 부호화 방식에서, 분할 화상간 부호화에서 참조하는 참조 화상의 선택시에 부호화 대상 분할 화상의 원화상상에서의 화소와 상관이 높은 방향에 있는 화소가 속한 부호화가 끝난 분할 화상을 구하고 그것을 참조 화상으로 하는 것이다. 또 이 참조 화상의 선택에서는, 인코더(화상 부호화 장치)와 디코더(화상 복호 장치)에서 공통의 선택 논리를 이용함으로써 어느 부호화가 끝난 분할 화상을 참조 화상으로서 선택했는지를 나타내는 참조 화상 인덱스의 부호화를 필요 없게 한 것이다.

본 발명은, 입력 화상을 압축 부호화할 때 이하의 처리를 한다.

(1) 입력 화상을 n×m화소의 블록으로 분할하고, 분할한 각 블록을 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)의 서브 블록으로 분할하고, 블록내의 상대 위치가 같은 서브 블록을 모아 각각 같은 사이즈의 분할 화상을 생성한다.

(2) 분할 화상 중 적어도 하나 이상을 분할 화상내 부호화한다. 여기에서의 분할 화상내 부호화는, 분할 화상을 화면 단위로 하여 행하는 화면내 예측에 의한 부호화이다.

(3) 분할 화상내 부호화된 분할 화상 이외의 분할 화상을 부호화하기 위해, 부호화 대상 분할 화상과 부호화가 끝난 분할 화상에서의 동일 위치의 화소에 대해, 원화상상에서의 거리가 짧은 부호화가 끝난 분할 화상을 부호화 대상 분할 화상에 대한 분할 화상간 예측 부호화에 이용하는 참조 화상으로서 선택한다. 참조 화상의 후보가 복수 있는 경우에는, 부호화 대상 분할 화상의 화소와 상관이 높은 방향에 있는 화소가 속한 부호화가 끝난 분할 화상을 구하여 그것을 참조 화상으로서 선택한다. 즉, 상관이 높은 부호화가 끝난 분할 화상을 참조 화상으로서 이용한다. 상관이 높은지 여부는, 예를 들면 부호화가 끝난 분할 화상의 예측 오차로부터 판단한다.

(4) 선택된 참조 화상을 이용하여 부호화 대상 분할 화상에 대한 예측 화상을 생성하고 분할 화상간 예측 부호화를 한다. 이 분할 화상간 예측 부호화에서는, 예를 들면 부호화 대상 분할 화상과 참조 화상과의 원화상상에서의 대응 화소의 상대 위치에 의해 결정되는 소정의 필터를 참조 화상에 적용시킨 화상을 예측 화상으로 하여 분할 화상간 예측 부호화를 한다. 여기서의 분할 화상간 예측 부호화는, 각 분할 화상을 화면 단위로 하여 행하는 화면간 예측에 의한 부호화이다.

(5) 이상의 분할 화상내 부호화와 분할 화상간 예측 부호화에 의한 부호화 결과를 정보원(源) 부호화하여 부호화 비트 스트림을 출력한다.

상기 처리(3)에서의 참조 화상의 선택은, 부호화 대상 분할 화상을 n₂×m₂화소의 영역(H.264의 마크로 블록 등에 상당)으로 분할하여 그 영역마다 행할 수 있다. 이 영역을, 여기에서는 분할 화상 블록이라고 한다. 즉, 부호화 대상의 분할 화상 블록마다 상관이 높은 참조 화상을 선택함으로써 1개의 부호화 대상 분할 화상 중 최적의 참조 화상을 전환하여 분할 화상간 예측 부호화를 할 수도 있다.

상기 처리(3)에서의 상관이 높은 방향에 있는 화소가 속한 부호화가 끝난 분할 화상을 구하는 처리로서는, 이하의 2가지 방법이 있다.

제1 방법에서는, 참조 화상의 후보가 되는 부호화가 끝난 분할 화상의 복호 화상과, 그 부호화가 끝난 분할 화상의 참조 화상으로 작성한 예측 화상과의 예측 오차의 합을 참조 화상의 후보의 각각에 대해 산출한다. 그리고 예측 오차의 합이 작아지는 부호화가 끝난 분할 화상과 참조 화상과의 조합을 구하고 그들 화상내의 대응하는 화소의 원화상상에서의 화소를 연결하는 방향을 상관이 높은 방향으로 한다. 부호화 대상 분할 화상의 부호화에 이용하는 참조 화상은, 부호화 대상 분할 화상에 대해 상관이 높은 방향에 있는 화소가 속한 부호화가 끝난 참조 화상으로 한다.

제2 방법에서는, 제1 방법과 같이 부호화가 끝난 분할 화상에 대해 예측 화상을 생성하여 오차를 계산하는 대신에 이미 분할 화상간 부호화로 부호화 데이터로서 존재하는 예측 오차의 합을 산출하고 그 예측 오차의 합으로부터 상관을 판단하여 참조 화상을 선택함으로써 복호 연산량의 증가를 억제한다.

상기 제1 방법에서는, 상관이 높은 방향을 계산하기 위해 분할 화상간 부호화가 끝난 화상의 복호 화상과, 그 참조 화상으로 작성한 예측 화상과의 차분(오차)을 계산하였다. 그러나 분할 화상 또는 분할 화상 블록마다 예측 화상을 다시 생성하여 분할 화상 부호화가 끝난 화상의 복호 화상과의 차분을 취하면 그 연산량이 크게 증가된다.

이에 반해 제2 방법에서는, 미리 부호화 데이터로서 생성되어 있는 예측 오차를 이용하여 그 예측 오차의 합을 산출하고 상관을 판단함으로써 제1 방법과 거의 동등한 효과를 유지하면서 부호화/복호 연산량의 증가를 크게 억제할 수 있게 된다.

또 본 발명은, 상기 방법에 따라 부호화된 화상의 부호화 데이터를 복호할 때 이하의 처리를 한다.

(1) 화상 부호화 장치측에서, 입력 화상을 n×m화소의 블록으로 분할하고, 분할한 각 블록을 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)의 서브 블록으로 분할하고, 블록내의 상대 위치가 같은 서브 블록을 모아 각각 같은 사이즈의 분할 화상을 생성하여 부호화한 부호화 데이터를 입력하여 정보원 복호한다.

(2) 복호된 데이터로부터 분할 화상 중 적어도 하나 이상을 분할 화상내 복호한다.

(3) 분할 화상내 복호된 분할 화상 이외의 분할 화상을 복호할 때에 복호 대상 분할 화상과 복호가 끝난 분할 화상에서의 동일 위치의 화소에 대해, 원화상상에서의 거리가 짧은 복호가 끝난 분할 화상을 복호 대상 분할 화상에 대한 분할 화상간 예측 복호에 이용하는 참조 화상으로서 선택한다. 참조 화상의 후보가 복수 있는 경우에는 복호 대상 분할 화상의 화소와 상관이 높은 방향에 있는 화소가 속한 복호가 끝난 분할 화상을 구하여 그것을 참조 화상으로서 선택한다. 즉, 복호 대상 분할 화상에 대해 상관이 높은 복호가 끝난 분할 화상을 참조 화상으로서 이용한다. 상관이 높은지 여부는, 예를 들면 복호가 끝난 분할 화상의 예측 오차로부터 판단한다.

(4) 선택된 참조 화상을 이용하여 복호 대상 분할 화상에 대한 예측 화상을 생성하고 분할 화상간 예측 복호를 한다.

(5) 분할 화상내 복호 및 분할 화상간 예측 복호에 의해 복호된 분할 화상으로부터, 각 분할 화상에서의 각 화소를 원화상에서의 원래 위치에 배치하여 복호 화상을 구성한다.

상기 처리(3)에서의 참조 화상의 선택은, 복호 대상 분할 화상을 n₂×m₂화소의 분할 화상 블록으로 분할하여 분할 화상 블록마다 행할 수 있다.

또 상기 처리(3)에서의 상관이 높은 방향에 있는 화소가 속한 복호가 끝난 분할 화상을 구하는 처리에서는, 상술한 부호화시의 제1 또는 제2 방법과 같은 방법을 이용한다.

본 발명의 작용은 이하와 같다. 종래의 분할 화상간 부호화 방법에서는, 어느 부호화가 끝난 분할 화상을 참조 화상으로서 이용할지를 나타내는 참조 화상 인덱스를 작성하여 부호화할 필요가 있었다. 본 발명에서는, 참조 화상 인덱스를 작성하여 부호화하는 대신에 상관이 높은 분할 화상을 참조 화상으로서 이용함으로써 참조 화상 인덱스의 오버헤드를 삭감한다. 이로써 부호화 효율이 향상된다.

상세하게는 이하와 같다. 종래 기술에서는, 참조 화상으로서 복수매 선택 가능하고 그 참조 화상 중에서 부호화 효율이 좋은 참조 화상을 선택하기 위해서는, 예를 들면 참조 화상 각각으로 작성 가능한 예측 화상과 부호화가 끝난 분할 화상과의 제곱 오차를 측정하여 제곱 오차가 작은 것을 선택하여 그 참조 화상 인덱스를 부호화할 필요가 있었다. 특히, 참조 화상을 분할 화상 블록마다 전환할 경우에는 참조 화상 인덱스의 부호량이 분할 화상 블록마다 발생하여 부호량이 커졌다.

본 수법에서는, 원래는 1매의 원화상인 분할 화상끼리는 강한 공간적 상관이 있는 것을 이용하여 참조 화상으로서 이용하는 분할 화상간 부호화가 끝난 화상과 그 부호화가 끝난 화상의 참조 화상과의 상관을, 예측 화상과의 오차를 이용하여 추측한다. 오차가 작아지는 방향이 가장 상관이 높은 방향이라고 추측하여 그 방향을 부호화 대상 분할 화상에서의 참조 방향으로서 이용한다. 원화상의 근방 화소간에서 방향에 의한 상관의 강도는 일정하다고 생각되므로 부호화 대상 분할 화상에서 본 참조 방향에 있는 화상을 참조 화상으로 하여 예측 오차 부호화함으로써, 참조 화상 인덱스와 같은 참조 화상을 명시하는 정보를 디코더측으로 보내지 않아도 부호화 효율의 향상 저하를 억제할 수 있게 된다.

특히 본 수법은 인코더/디코더 둘 다 부호화가 끝난/복호가 끝난 화상의 정보만으로 같은 처리에 의해 같은 참조 화상을 선택할 수 있기 때문에 참조 화상 인덱스와 같은 참조 화상을 명시하는 정보를 부호화할 필요가 없어져 그를 위한 부호량의 삭감이 가능하다.

본 발명에 의하면, 부호화 대상 화상으로부터 화소 또는 화소군을 추출하여 분할한 분할 화상을 생성하고 그것을 분할 화상내 부호화 및 분할 화상간 부호화하는 방법을 이용하는 화면내 예측 부호화에서 분할 화상간 부호화에 이용하는 적절한 참조 화상을 선택할 수 있으며 나아가 참조 화상을 나타내는 참조 화상 인덱스의 부호화가 불필요해진다. 따라서 부호화 효율을 향상시킬 수 있고 또 디블로킹 필터 처리에 수반되는 연산량을 줄일 수 있게 된다.

도 1은, 화상 부호화 장치의 구성예를 도시한 도이다.
도 2A는, 분할 화상 생성부에 의한 분할 화상의 생성예를 도시한 도이다.
도 2B는, 분할 화상 생성부에 의한 분할 화상의 생성예를 도시한 도이다.
도 2C는, 분할 화상 생성부에 의한 분할 화상의 생성예를 도시한 도이다.
도 2D는, 분할 화상 생성부에 의한 분할 화상의 생성예를 도시한 도이다.
도 3은, 분할 화상간 부호화 처리부에 의한 예측 화상의 생성예를 도시한 도이다.
도 4는, 화상 부호화 처리의 흐름도이다.
도 5는, 분할 화상간 부호화 처리(예 1)의 상세한 흐름도이다.
도 6은, 화상 부호화 장치의 상세한 구성예(예 1)를 도시한 도이다.
도 7은, 분할 화상간 부호화 처리(예 2)의 상세한 흐름도이다.
도 8은, 화상 부호화 장치의 상세한 구성예(예 2)를 도시한 도이다.
도 9는, 부호화 대상 화상의 분할예를 도시한 도이다.
도 10A는, 참조 화상의 선택 방법의 예를 도시한 도이다.
도 10B는, 참조 화상의 선택 방법의 예를 도시한 도이다.
도 10C는, 참조 화상의 선택 방법의 예를 도시한 도이다.
도 10D는, 참조 화상의 선택 방법의 예를 도시한 도이다.
도 11은, 화상 복호 장치의 구성예를 도시한 도이다.
도 12는, 화상 복호 처리의 흐름도이다.
도 13은, 화상 복호 장치의 상세한 구성예(예 1)를 도시한 도이다.
도 14는, 화상 복호 장치의 상세한 구성예(예 2)를 도시한 도이다.
도 15는, 본 발명을 적용할 수 있는 동영상 부호화 장치의 예를 도시한 도이다.
도 16은, 본 발명을 적용할 수 있는 동영상 복호 장치의 예를 도시한 도이다.
도 17은, 화상 부호화 장치를 소프트웨어 프로그램을 이용하여 실현할 경우의 하드웨어 구성예를 도시한 도이다.
도 18은, 화상 복호 장치를 소프트웨어 프로그램을 이용하여 실현할 경우의 하드웨어 구성예를 도시한 도이다.
도 19는, 종래 기술에 의한 화면내 예측 부호화 처리의 예를 도시한 흐름도이다.
도 20은, 화소를 일정 간격으로 추출한 분할 화상에 의한 종래의 화상내 예측 부호화 처리의 예를 설명하는 도이다.
도 21은, 화소를 일정 간격으로 추출한 분할 화상에 의한 종래의 화상내 예측 부호화 처리의 흐름도이다.

이하, 본 발명의 실시형태에 대해 도면을 이용하여 설명하기로 한다.

〔화상 부호화 장치〕

도 1은, 화상 부호화 장치의 구성예를 도시한 도이다. 화상 부호화 장치(10)는 분할 화상 생성부(11), 분할 화상내 부호화 처리부(12), 분할 화상간 부호화 처리부(13), 상관 방향 산출부(15), 참조 화상 선택부(16), 정보원 부호화부(14)를 구비한다.

분할 화상 생성부(11)는 입력 화상을 n×m화소의 블록으로 분할하고, 분할한 각 블록을 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)인 서브 블록으로 분할하고, 블록내의 상대 위치가 같은 서브 블록을 모아 각각 같은 사이즈의 분할 화상을 생성한다.

도 2A∼도 2D는, 분할 화상 생성부(11)에 의한 분할 화상의 생성예를 도시한 도이다. 분할 화상 생성부(11)는, 예를 들면 도 2A에 도시한 원화상을 입력 화상으로 하고 이 원화상을, 도 2B에 도시한 바와 같이 각각 n×m화소의 블록(Mj)(j=0, 1,…, J)으로 분할한다. 다음으로 분할 화상 생성부(11)는, 각 블록(Mj)을, 도 2C에 도시한 바와 같이 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)의 서브 블록(Bjk)(k=0, 1,…, K)으로 분할한다.

다음으로 분할 화상 생성부(11)는, 도 2D에 도시한 바와 같이 각 블록(Mj)으로부터 블록내의 상대 위치가 같은 서브 블록(Bjk)을 모아 각각 같은 사이즈의 분할 화상(Pk)(k=0, 1,…, K)를 생성한다. 분할 화상(P0)은 서브 블록(B00), (B10),…, (BJ0)를 모은 것, 분할 화상(P1)은 서브 블록(B01), (B11),…, (BJ1)을 모은 것,…, 분할 화상(PK)은 서브 블록(B0K),(B1K),…, (BJK)을 모은 것이 된다.

분할 화상내 부호화 처리부(12)는, 분할 화상 생성부(11)에 의해 생성된 첫번째 분할 화상을 포함한 몇개의 분할 화상(첫번째 분할 화상만으로도 좋다)을 분할 화상내 부호화한다. 여기서의 분할 화상내 부호화는, 현재의 부호화 대상이 되는 분할 화상의 화소 정보만을 이용하여 부호화하는 부호화 방법이며, 다른 분할 화상을 참조하지 않는 부호화 방법이라면 어떠한 부호화 방법을 이용해도 좋다. 예를 들면 H.264 부호화 방식에서의 인트라 예측 부호화 등의 방법을 이용할 수 있다.

분할 화상간 부호화 처리부(13)는, 분할 화상 생성부(11)에서 생성된 분할 화상 중에서 아직 부호화되지 않은 분할 화상을 분할 화상간 부호화한다. 이 분할 화상간 부호화에서는, 부호화가 끝난 분할 화상을 참조 화상으로 하여 현재의 부호화 대상이 되는 분할 화상과 참조 화상과의 원화상상에서의 대응 화소의 상대 위치에 의해 결정되는 소정의 필터를 참조 화상에 적용함으로써 예측 화상을 생성한다. 그 예측 화상과 부호화 대상 분할 화상과의 오차를 부호화하고 그 부호화 정보를 정보원 부호화부(14)에 보낸다.

정보원 부호화부(14)는, 분할 화상내 부호화 처리부(12) 및 분할 화상간 부호화 처리부(13)의 출력인 부호화 정보를 엔트로피 부호화하여 부호화 데이터를 출력한다.

본 실시형태가, 특히 비특허문헌 3에 나타나 있는 종래 기술의 분할 화상간 예측 부호화와 다른 것은, 참조 화상의 후보가 복수 있는 경우에 원화상상에서의 부호화 대상 화상의 화소와 부호화가 끝난 화상의 화소와의 상관을 조사하는 상관 방향 산출부(15)와, 상관이 높은 방향에 있는 화소가 속한 부호화가 끝난 분할 화상을 참조 화상으로서 선택하는 참조 화상 선택부(16)를 구비한 점이다.

상관 방향 산출부(15)는, 참조 화상의 후보가 되는 부호화가 끝난 분할 화상 중에서 예측 오차의 절대치합 또는 제곱합이 가장 작은 분할 화상을 구하고, 그 결과로부터 부호화가 끝난 분할 화상과 그 참조 화상과의 원화상에서의 대응하는 화소의 방향이 상관이 높은 방향이라고 하여 그 상관 방향을 참조 화상 선택부(16)에 통지한다.

참조 화상 선택부(16)는, 부호화 대상의 분할 화상에 대해 상관 방향 산출부(15)가 산출한 상관 방향에 있는 부호화가 끝난 분할 화상을 참조 화상으로서 선택하고 그 참조 화상을 분할 화상간 부호화 처리부(13)에 통지한다.

도 3은, 분할 화상간 부호화 처리부(13)에서의 예측 화상의 생성예를 도시한 도이다. 이하에서는, 분할 화상(Pi)이 참조 화상이 되는 부호화가 끝난 분할 화상에서, 분할 화상(Pk)가 분할 화상간 예측 부호화하는 부호화 대상 분할 화상인 경우의 예측 화상의 생성예를 설명하기로 한다. 분할 화상(Pi)에 소속된 서브 블록을 Bi, 분할 화상(Pk)에 소속된 서브 블록을 Bk로 표시한다.

분할 화상(Pi)의 서브 블록(Bi) 및 분할 화상(Pk)의 서브 블록(Bk)의 원화상에서의 위치 관계가 도 3(A)와 동일하다면, 도 3(B)에 도시한 바와 같이 서브 블록(Bk)의 주변에 위치하는 서브 블록(Bi)을 추출한다. 이 예에서는, 1개의 서브 블록(Bk)에 대해 2개의 서브 블록(Bi)을 추출하였으나, 추출하는 서브 블록의 수는 2개로 한정되지 않는다. 다음으로 도 3(C)에 도시한 바와 같이, 추출한 2개의 서브 블록(Bi)의 화소치에 보간 필터를 적용하여 서브 블록(Bk')의 화소치를 산출한다. 보간 필터의 필터 계수는, 원화상상에서의 서브 블록(Bi)과 서브 블록(Bk)과의 상대 위치에 의해 미리 결정된 것을 이용한다. 아울러 보간 필터에 의한 보간 방법에 대해서는, 종래부터 다양한 방법이 알려져 있으며 어떠한 보간 방법을 이용하여 예측 화상을 생성해도 좋다.

이와 같이 하여 보간에 의해 생성된 서브 블록(Bk')을 모은 것을, 분할 화상(Pk)의 분할 화상간 예측 부호화에 이용하는 예측 화상으로 한다.

〔화상 부호화 처리의 흐름〕

도 4는, 화상 부호화 처리의 흐름도이다. 도 4에 따라 화상 부호화 처리의 흐름을 설명하기로 한다.

우선, 분할 화상 생성부(11)는 입력 화상을 같은 사이즈의 블록으로 분할하고 각 블록 내의 상대 위치가 같은 서브 블록(화소 또는 화소군)을 모아 분할 화상(P0)∼(PN)을 생성한다(단계S101).

다음으로 분할 화상내 부호화 처리부(12)는, 분할 화상(P0)∼(PN) 중 몇개의 분할 화상(P0)∼(PM)(단, M＜N)에 대해 분할 화상내 부호화를 한다(단계S102). 여기서 분할 화상내 부호화의 대상이 되는 분할 화상은, 분할 화상을 구성하는 서브 블록의 원화상상에서의 위치가 소정 간격으로 떨어져 있는 편이 바람직하다. 선두의 분할 화상(P0)만을 분할 화상내 부호화의 대상으로 해도 좋다.

다음으로 분할 화상간 부호화 처리부(13)는, 분할 화상(P(M＋1))∼(PL)(단, M＜L＜N)에 대해 부호화가 끝난 분할 화상을 참조 화상으로 하여 분할 화상간 부호화를 한다(단계S103). 이 분할 화상(P(M＋1))∼(PL)은, 예를 들면 분할 화상내 부호화된 분할 화상 우측 근방의 미부호화 분할 화상 또는 분할 화상내 부호화된 분할 화상 직하(直下)의 미부호화 분할 화상 등 참조 화상의 후보가 단수인 경우의 분할 화상이다. 여기서 분할 화상간 부호화를 행하는 분할 화상의 번호는 미리 정해둘 수 있다.

계속해서 분할 화상간 부호화 처리부(13)는 나머지 분할 화상(P(L＋1))∼(PN)에 대해, 부호화 대상의 분할 화상에 대해 상관 방향 산출부(15) 및 참조 화상 선택부(16)에 의해 선택한 상관이 높은 방향에 있는 화소가 속한 부호화가 끝난 분할 화상을 참조 화상으로 하여 분할 화상간 부호화를 한다(단계S104).

〔분할 화상간 부호화 처리의 상세 흐름(예 1)〕

도 5는, 도 4에 도시한 단계S104의 상세한 처리 흐름도의 제1 예를 도시한다.

단계S201에서는, 각 분할 화상(Pi)(i는 (L＋1)에서 N까지)에 대해 단계S202에서 단계S208까지의 처리를 반복한다.

단계S202에서는, 각 분할 화상(Pi)을 부호화 단위의 분할 화상 블록으로 분할하고, 분할 화상 블록마다 단계S203에서 단계S207까지의 처리를 반복한다. 이 분할 화상 블록은, 예를 들면 16×16화소와 같은 H.264 부호화에서의 마크로 블록 등에 상당하는 것인데, 분할 화상 블록의 사이즈는 임의로 정해도 좋다.

단계S203에서는, 부호화 대상의 분할 화상 블록에 대해 분할 화상간 부호화가 끝난 분할 화상의 복호 화상(A)과 그 참조 화상으로부터 예측 화상(B)을 작성하여 복호 화상(A)과 예측 화상(B)의 차분인 예측 오차를 계산하고 예측 오차의 절대치합 또는 제곱합(이하, 절대치합 또는 제곱합을 단순히 「합」이라고 한다)을 구한다.

단계S204에서는, 단계S203에서 구한 복호 화상(A)과 예측 화상(B)의 예측 오차의 합이 작아지는 부호화가 끝난 분할 화상(PA로 한다)과 그 참조 화상(PB로 한다)의 조합을 구한다.

단계S205에서는, 단계S204에서 구한 부호화가 끝난 분할 화상(PA)과 참조 화상(PB)의 조합에 대해 원화상상에서의 점A(X(PA), Y(PA)), 점B(X(PB), Y(PB))의 2점을 연결하는 방향을 상관이 높은 방향으로 한다.

단계S206에서는, 부호화 대상의 분할 화상 블록에 대해 상관이 높은 방향에 있는 화소가 속한 부호화가 끝난 분할 화상을 참조 화상으로서 선택하고 그 참조 화상으로부터 예측 화상을 생성하여 분할 화상간 부호화를 한다.

단계S207에서는, 분할 화상(Pi) 내의 전(全)분할 화상 블록의 처리가 종료되었는지 여부를 판정하여 미처리된 분할 화상 블록이 있으면 그 분할 화상 블록에 대해 단계S202 이후의 처리를 반복한다.

단계S208에서는, 분할 화상(P(L＋1))∼(PN) 전부를 부호화했는지를 판정하여 분할 화상(P(L＋1))∼(PN) 전부를 부호화할 때까지 단계S201 이후의 처리를 반복한다.

〔화상 부호화 장치의 상세한 구성예(예 1)〕

도 6은, 도 1에 도시한 화상 부호화 장치(10)의 상세한 구성예를 도시한다. 도 6에 도시한 화상 부호화 장치(10)는, 도 5에서 설명한 제1 예의 처리를 실행하는 장치의 구성예이다. 도 6에서 분할 화상 생성부(11), 정보원 부호화부(14), 참조 화상 선택부(16)는 도 1에 도시한 동일 부호의 것에 대응하므로 설명을 생략하기로 한다.

분할 화상내 부호화부(101)는, 분할 화상(P0)∼(PM)에 대해 분할 화상내 부호화한다. 분할 화상내 복호부(102)는, 분할 화상내 부호화부(101)가 부호화한 분할 화상을 복호하고 그 복호 화상을 복호 화상 메모리(103)에 격납한다. 이 복호 화상 메모리(103)에는 나중에 분할 화상간 부호화된 분할 화상의 복호 화상도 격납된다.

예측 화상 생성부(104)는, 분할 화상 생성부(11)에서 생성된 분할 화상 중에서 아직 부호화되지 않은 분할 화상을 분할 화상간 예측 부호화하기 위해 그 분할 화상의 분할 화상 블록(이하에서는, 분할 화상 블록을 단순히 분할 화상이라고 하기도 한다)마다 복호 화상 메모리(103) 내의 부호화가 끝난 분할 화상을 참조 화상으로 하여 예측 화상을 생성한다. 이 예측 화상의 생성시에는, 현재의 부호화 대상이 되는 분할 화상과 참조 화상과의 원화상상에서의 대응 화소의 상대 위치에 의해 결정되는 소정의 필터를 참조 화상에 적용함으로써 예측 화상을 생성한다.

차분 산출부(105)는, 현재의 부호화 대상이 되는 분할 화상 블록의 각 화소치로부터 예측 화상 생성부(104)에 의해 생성한 예측 화상의 각 화소치를 감산하여 예측 오차를 산출한다. 예측 오차 부호화부(106)는 산출된 예측 오차에 대해 직교 변환이나 양자화 처리를 하여 예측 오차를 부호화한다.

정보원 부호화부(14)는, 분할 화상내 부호화부(101) 및 분할 화상간 예측 부호화에 의해 부호화된 예측 오차 부호화부(106)의 부호화 정보를 엔트로피 부호화하여 부호화 데이터를 출력한다.

제1 예에서는, 예측 오차 부호화부(106)가 부호화한 예측 오차를 예측 오차 복호부(107)가 복호한다. 화상 복호부(108)는, 예측 오차 복호부(107)가 복호한 예측 오차와 예측 화상 생성부(104)가 생성한 예측 화상을 가산기(109)에 의해 가산하여 분할 화상간 부호화 화상을 복호한다. 아울러 화상 복호부(108)에서는, 예측 화상과 예측 오차를 서로 더한 후에 디블로킹 필터 등의 후처리 필터를 적용하기도 한다. 복호한 분할 화상의 복호 화상은 복호 화상 메모리(103)에 격납한다.

감산기(110)에 의해 부호화가 끝난 분할 화상의 복호 화상과 예측 화상과의 차분을 산출하고, 예측 오차 산출부(111)는 참조 화상의 후보가 되는 부호화가 끝난 분할 화상마다 예측 오차의 합을 산출한다. 예측 오차 비교부(112)는, 예측 오차 산출부(111)가 산출한 예측 오차의 합이 가장 작은 분할 화상을 구하고 그 결과로부터 예측 오차의 합이 가장 작은 부호화가 끝난 분할 화상과 그 참조 화상과의 원화상에서의 대응하는 화소의 방향이 상관이 높은 방향이라고 하여 그 상관 방향을 참조 화상 선택부(16)에 통지한다.

참조 화상 선택부(16)는, 부호화 대상의 분할 화상에 대해 예측 오차 비교부(112)에 의해 산출된 상관 방향에 있는 부호화가 끝난 분할 화상을 복호 화상 메모리(103) 중에서 참조 화상으로서 선택하고 그 참조 화상을 예측 화상 생성부(104)에 통지한다.

〔분할 화상간 부호화 처리의 상세 흐름(예 2)〕

도 7은, 도 4에 도시한 단계S104의 상세한 처리 흐름도의 제2 예를 도시한다.

제2 예에서는, 단계S303의 처리가 제1 예와 다르고, 다른 단계S301, S302, S304∼S308는 도 5에서 설명한 제1 예의 단계201, S202, S204∼S208과 동일하다.

단계S303에서는, 부호화 대상의 분할 화상 블록에 대해 분할 화상간 부호화가 끝난 분할 화상의 복호 화상(A)과 그 예측 화상(B)의 예측 오차의 합을 구한다. 즉, 단계S303에서는 분할 화상 블록마다 예측 화상을 다시 생성하여 복호 화상(A)를 생성하고 예측 오차의 합을 구하는 것이 아니라, 이미 부호화 데이터로서 생성되어 있는 예측 오차를 그대로 이용하여 그 예측 오차의 합을 산출하고 상관을 판단한다. 이로써 복호 연산의 연산량 증가를 억제한다.

〔화상 부호화 장치의 상세한 구성예(예 2)〕

도 8은, 도 1에 도시한 화상 부호화 장치(10)의 상세한 제2 구성예를 도시한다. 도 8에 도시한 화상 부호화 장치(10)는, 도 7에서 설명한 제2 예의 처리를 실행하는 장치의 구성예이다. 도 8에서 전술한 도 6의 제1 예의 화상 부호화 장치(10)와 같은 부호의 것은 도 6에 도시한 것과 동일한 기능을 가진 것이므로 그 자세한 설명은 생략하기로 한다.

제2 예의 경우, 예측 오차 복호부(120)는 예측 오차 부호화부(106)가 부호화한 예측 오차에 대해 역양자화 처리나 역직교 변환을 함으로써 예측 오차를 복호한다. 예측 오차 산출부(121)는, 분할 화상마다 예측 오차 복호부(120)가 복호한 예측 오차의 합을 산출한다. 예측 오차 비교부(122)는, 예측 오차 산출부(121)가 산출한 예측 오차의 합이 가장 작은 분할 화상을 구하고 그 결과로부터 예측 오차의 합이 가장 작은 부호화가 끝난 분할 화상과 그 참조 화상과의 원화상에서의 대응하는 화소의 방향이 상관이 높은 방향이라고 하여 그 상관 방향을 참조 화상 선택부(16)에 통지한다.

참조 화상 선택부(16)는, 부호화 대상의 분할 화상에 대해 예측 오차 비교부(122)의 결과로부터, 통지된 상관 방향에 있는 부호화가 끝난 분할 화상을 참조 화상으로 하는 것을 화상 복호부(123)에 통지한다. 화상 복호부(123)는, 통지된 부호화가 끝난 분할 화상의 복호 화상을 그 예측 화상과 예측 오차로부터 생성하여 복호 화상 메모리(103)에 격납한다. 예측 화상 생성부(104)는, 복호 화상 메모리(103)에 격납된 복호 화상을 참조 화상으로서 이용하여 부호화 대상의 분할 화상 블록의 부호화를 위한 예측 화상을 생성한다.

〔부호화의 구체예〕

도 9에, 부호화 대상 화상의 분할예를 도시한다. 이하에서 설명하는 예에서는 분할 화상 생성부(11)는 부호화 대상인 입력 화상의 1 프레임을 도 9에 도시한 바와 같이 2×2화소의 블록(M0),(M1),…, (MJ)으로 분할하는 것으로 한다. 또한 분할 화상 생성부(11)는 각 블록(M0),(M1),…, (MJ)을 1화소씩 서브 블록(B0),(B1),(B2),(B3)으로 분할하는 것으로 한다. 이와 같이 하여 분할한 각 (M0),(M1),…, (MJ)로부터 좌상(左上)의 서브 블록(B0)의 화소를 모은 것을 분할 화상(P0)으로 하고, 우상(右上)의 서브 블록(B1)의 화소를 모은 것을 분할 화상(P1)으로 하고, 좌하(左下)의 서브 블록(B2)의 화소를 모은 것을 분할 화상(P2)으로 하고, 우하(右下)의 서브 블록(B3)의 화소를 모은 것을 분할 화상(P3)으로 한다.

여기에서는 2×2화소의 블록을 1×1화소의 서브 블록으로 분할하는 예를 설명하기로 한다. 그러나 블록 및 서브 블록의 사이즈는 이 예에 한정되지는 않으며 블록의 사이즈 또는 서브 블록의 사이즈가 더 큰 경우에도 본 발명을 적용하여 동일하게 실시할 수 있다.

〔제1 예의 처리〕

전술한 제1 예에서는, 도 9와 같이 분할된 분할 화상에 대해 다음과 같이 분할 화상내 부호화 및 분할 화상간 부호화를 한다.

·처리 1-1：분할 화상(P0)에 대해, 분할 화상내 부호화를 한다.

·처리 1-2：분할 화상(P1)에 대해, 분할 화상(P0)의 복호 화상을 참조 화상으로 하고 거기에 보간 필터를 적용함으로써 예측 화상을 생성하여 분할 화상간 부호화를 한다. 부호화된 분할 화상(P1)의 복호 화상(P1')을 생성하여 기억한다. 그 모양을 도 10A에 도시한다.

·처리 1-3：분할 화상(P2)에 대해, 분할 화상(P0)의 복호 화상을 참조 화상으로 하고 거기에 보간 필터를 적용함으로써 예측 화상을 생성하여 분할 화상간 부호화를 한다. 부호화된 분할 화상(P2)의 복호 화상(P2')을 생성하여 기억한다. 그 모양을 도 10B에 도시한다.

·처리 1-4：분할 화상(P1),(P2)에 대해, 각각의 예측 화상과 복호 화상(P1'),(P2'과의 예측 오차의 합(S1),(S2)(예를 들면 예측 오차의 절대치합 또는 제곱 오차합)을 산출하여 비교한다.

·처리 1-5：S1≤S2인 경우,

도 10C에 도시한 바와 같이, 분할 화상(P3)의 분할 화상간 부호화에 분할 화상(P2)의 복호 화상을 참조 화상으로서 이용한다. 즉, 분할 화상(P2)의 복호 화상에 보간 필터를 적용하여 분할 화상(P3)의 예측 화상을 생성하고 그 예측 화상과 분할 화상(P3)의 예측 오차를 부호화함으로써 분할 화상(P3)의 분할 화상간 부호화를 한다. 이것은, S1≤S2이므로 원화상상에서의 수평 방향의 화소간의 상관이 수직 방향의 화소간의 상관보다 높다고 생각되기 때문이다.

·처리 1-6：S1＞S2인 경우,

도 10D에 도시한 바와 같이, 분할 화상(P3)의 분할 화상간 부호화에 분할 화상(P1)의 복호 화상을 참조 화상으로서 이용한다. 즉, 분할 화상(P1)의 복호 화상에 보간 필터를 적용하여 분할 화상(P3)의 예측 화상을 생성하고 그 예측 화상과 분할 화상(P3)의 예측 오차를 부호화함으로써 분할 화상(P3)의 분할 화상간 부호화를 한다. 이것은, S1＞S2이므로 원화상상에서의 수직 방향의 화소간의 상관이 수평 방향의 화소간의 상관보다 높다고 생각되기 때문이다.

〔제2 예의 처리〕

전술한 제2 예에서는, 도 9와 같이 분할된 분할 화상에 대해 다음과 같이 분할 화상내 부호화 및 분할 화상간 부호화를 한다.

·처리 2-1：분할 화상(P0)에 대해, 분할 화상내 부호화를 한다.

·처리 2-2：분할 화상(P1)에 대해, 분할 화상(P0)의 복호 화상을 참조 화상으로 하고 거기에 보간 필터를 적용함으로써 예측 화상을 생성하여 분할 화상간 부호화를 한다. 그 때의 예측 오차의 합(S1)을 기억한다.

·처리 2-3：분할 화상(P2)에 대해, 분할 화상(P0)의 복호 화상을 참조 화상으로 하고 거기에 보간 필터를 적용함으로써 예측 화상을 생성하여 분할 화상간 부호화를 한다. 그 때의 예측 오차의 합(S2)을 기억한다.

·처리 2-4：분할 화상(P1),(P2)에 대해, 각각의 예측 오차의 합(S1),(S2)을 비교한다.

·처리 2-5：S1≤S2인 경우,

분할 화상(P3)의 분할 화상간 부호화에 분할 화상(P2)의 복호 화상을 참조 화상으로서 이용한다. 즉, 분할 화상(P2)의 복호 화상에 보간 필터를 적용하여 분할 화상(P3)의 예측 화상을 생성하고 그 예측 화상과 분할 화상(P3)의 예측 오차를 부호화함으로써 분할 화상(P3)의 분할 화상간 부호화를 한다.

·처리 2-6：S1＞S2인 경우

분할 화상(P3)의 분할 화상간 부호화에 분할 화상(P1)의 복호 화상을 참조 화상으로서 이용한다. 즉, 분할 화상(P1)의 복호 화상에 보간 필터를 적용하여 분할 화상(P3)의 예측 화상을 생성하고 그 예측 화상과 분할 화상(P3)의 예측 오차를 부호화함으로써 분할 화상(P3)의 분할 화상간 부호화를 한다.

〔화상 복호 장치〕

도 11은, 화상 복호 장치의 구성예를 도시한 도이다. 화상 복호 장치(20)는 정보원 복호부(21), 분할 화상내 복호 처리부(22), 분할 화상간 복호 처리부(23), 복호 화상 합성부(24), 상관 방향 산출부(25), 참조 화상 선택부(26)를 구비한다.

화상 복호 장치(20)는, 도 1에 도시한 화상 부호화 장치(10)에 의해 압축 부호화된 화상의 부호화 데이터를 입력한다. 정보원 복호부(21)는 입력된 부호화 데이터를 엔트로피 복호한다.

분할 화상내 복호 처리부(22)는, 미리 정해진 적어도 하나 이상의 분할 화상내 부호화된 분할 화상의 부호화 데이터를 분할 화상내 예측에 의해 복호한다. 분할 화상간 복호 처리부(23)는, 복호가 끝난 분할 화상을 참조 화상으로 하여 분할 화상간 예측에 의해 복호 대상의 분할 화상을 복호한다. 분할 화상내 복호 처리부(22) 및 분할 화상간 복호 처리부(23)에 의해 복호된 분할 화상은 복호 화상 합성부(24)에 입력된다. 복호 화상 합성부(24)는 복호된 분할 화상의 각 서브 블록을 원화상상의 원래의 위치에 배치함으로써 복호 화상을 생성한다.

참조 화상의 후보가 1매뿐인 경우, 예를 들면 복호 대상 분할 화상의 원화상상에서의 화소 위치에 가장 가까운 화소가 속한 복호가 끝난 분할 화상이 1매인 경우에는, 분할 화상간 복호 처리부(23)는 그 복호가 끝난 분할 화상을 참조 화상으로 하여 분할 화상간 복호를 행한다.

참조 화상의 후보가 복수매인 경우, 예를 들면 복호 대상 분할 화상의 원화상상에서의 화소 위치에 가장 가까운 화소가 속한 복호가 끝난 분할 화상이 복수매 존재하는 경우에는, 상관 방향 산출부(25)는 참조 화상의 후보가 되는 복호가 끝난 분할 화상 중에서 예측 오차의 절대치합 또는 제곱합이 가장 작은 분할 화상을 구하고 그 결과로부터 복호가 끝난 분할 화상과 그 참조 화상과의 원화상에서의 대응하는 화소의 방향이 상관이 높은 방향이라고 하여 그 상관 방향을 참조 화상 선택부(26)에 통지한다. 이 상관 방향 산출부(25)가 행하는 처리는 화상 부호화 장치(10)에서의 상관 방향 산출부(15)가 행하는 처리와 완전히 동일하다.

참조 화상 선택부(26)는, 복호 대상의 분할 화상에 대해 상관 방향 산출부(25)가 산출한 상관 방향에 있는 복호가 끝난 분할 화상을 참조 화상으로서 선택하고 그 참조 화상을 분할 화상간 복호 처리부(23)에 통지한다.

〔화상 복호 처리의 흐름〕

도 12는, 화상 복호 처리의 흐름도이다. 도 12에 따라 화상 복호 처리의 흐름을 설명하기로 한다.

우선, 정보원 복호부(21)는 입력한 복호 대상의 부호화 데이터를 엔트로피 복호한다(단계S401). 다음으로 분할 화상내 복호 처리부(22)가, 입력한 부호화 데이터를 토대로 미리 정해진 분할 화상(P0)∼(PN) 중 몇개의 분할 화상(P0)∼(PM)(단, M＜N)에 대해 H.264에서 행해지는 종래의 화면내 예측 복호 방법 등을 이용하여 분할 화상내 복호를 한다(단계S402).

계속해서 분할 화상간 복호 처리부(23)는, 미리 정해진 분할 화상(P(M＋1))∼(PL)에 대해 각각 미리 정해진 복호가 끝난 분할 화상을 참조 화상으로 하여 분할 화상간 복호를 행한다(단계S403).

계속해서 분할 화상간 복호 처리부(23)는, 미복호된 분할 화상(P(L＋1))∼(PN)에 대해 참조 화상 선택부(26)가 복호가 끝난 분할 화상의 예측 오차를 토대로 선택한 공간적 상관이 높은 방향에 있는 복호가 끝난 분할 화상을 참조 화상으로 하여 분할 화상간 복호를 행한다(단계S404).

마지막으로 복호 화상 합성부(24)가, 분할 화상내 복호 처리부(22) 및 분할 화상간 복호 처리부(23)에 의해 복호된 분할 화상의 화소(서브 블록)를 합성하여 복호 화상으로서 출력한다(단계S405).

〔화상 복호 장치의 상세한 구성예(예 1)〕

도 13은, 도 11에 도시한 화상 복호 장치(20)의 상세한 제1 구성예를 도시한다. 도 13에 도시한 화상 복호 장치(20)에서 정보원 복호부(21), 복호 화상 합성부(24), 참조 화상 선택부(26)는 도 11에 도시한 동부호의 것에 대응하므로 설명을 생략하기로 한다.

분할 화상내 복호부(201)는, 정보원 복호부(21)에 의해 복호된 분할 화상(P0)∼(PM)의 복호 정보로부터 이들 분할 화상(P0)∼(PM)을 분할 화상내 복호하고 그 복호 화상을 복호 화상 메모리(202)에 격납한다. 이 복호 화상 메모리(202)에는 나중에 분할 화상간 복호된 분할 화상의 복호 화상도 격납된다.

예측 화상 생성부(203)는, 아직 복호되지 않은 분할 화상을 분할 화상간 예측 복호하기 위해 그 분할 화상의 분할 화상 블록(이하에서는, 단순히 분할 화상이라고 하기도 한다)마다 복호 화상 메모리(202) 내의 복호가 끝난 분할 화상을 참조 화상으로 하여 예측 화상을 생성한다. 이 예측 화상의 생성시에는 현재의 복호 대상이 되는 분할 화상과 참조 화상과의 원화상상에서의 대응 화소의 상대 위치에 의해 결정되는 소정의 필터를 참조 화상에 적용함으로써 예측 화상을 생성한다.

예측 오차 복호부(204)는, 분할 화상간 복호의 대상이 되는 분할 화상의 예측 오차를 복호한다. 화상 복호부(205)는, 예측 화상 생성부(203)가 생성한 예측 화상과 예측 오차 복호부(204)가 복호한 예측 오차를 가산기(206)에 의해 가산하여 복호 화상을 생성한다. 아울러 화상 복호부(205)에서는, 예측 화상과 예측 오차를 서로 더한 후에 디블로킹 필터 등의 후처리 필터를 적용하기도 한다. 이 복호 화상은 복호 화상 합성부(24)에 보내짐과 동시에 복호 화상 메모리(202)에 격납된다.

감산기(207)는, 화상 복호부(205)에 의해 복호된 분할 화상 블록의 각 화소치로부터 예측 화상 생성부(203)에 의해 생성한 예측 화상의 각 화소치를 감산하고 그 감산 결과를 예측 오차 산출부(208)에 통지한다. 예측 오차 산출부(208)는, 참조 화상의 후보가 되는 복호가 끝난 분할 화상마다 예측 오차의 합을 산출한다. 예측 오차 비교부(209)는, 예측 오차 산출부(208)가 산출한 예측 오차의 합이 가장 작은 분할 화상을 구하고 그 결과로부터 예측 오차의 합이 가장 작은 복호가 끝난 분할 화상과 그 참조 화상과의 원화상에서의 대응하는 화소의 방향이 상관이 높은 방향이라고 하여 그 상관 방향을 참조 화상 선택부(26)에 통지한다.

참조 화상 선택부(26)는, 복호 대상의 분할 화상에 대해 예측 오차 비교부(209)에 의해 산출된 상관 방향에 있는 복호가 끝난 분할 화상을 복호 화상 메모리(202) 중에서 참조 화상으로서 선택하고 그 참조 화상을 예측 화상 생성부(203)에 통지한다.

〔화상 복호 장치의 상세한 구성예(예 2)〕

도 14는, 도 11에 도시한 화상 복호 장치(20)의 상세한 제2 구성예를 도시한다. 도 14에 도시한 화상 복호 장치(20)에서 전술한 도 13의 제1 예와 동부호의 것은 도 13에 도시한 것과 동일한 기능을 갖는 것이므로 그 자세한 설명은 생략하기로 한다.

제2 예의 경우, 예측 오차 산출부(221)는, 예측 오차 복호부(204)가 복호한 예측 오차의 합을 참조 화상의 후보가 되는 복호가 끝난 분할 화상(블록)마다 산출한다. 예측 오차 비교부(222)는, 예측 오차 산출부(221)가 산출한 예측 오차의 합이 가장 작은 분할 화상을 구하고 그 결과로부터 예측 오차의 합이 가장 작은 복호가 끝난 분할 화상과 그 참조 화상과의 원화상에서의 대응하는 화소의 방향이 상관이 높은 방향이라고 하여 그 상관 방향을 참조 화상 선택부(26)에 통지한다. 참조 화상 선택부(26)는, 복호 대상의 분할 화상에 대해 예측 오차 비교부(222)에 의해 산출된 상관 방향에 있는 복호가 끝난 분할 화상을 복호 화상 메모리(202) 중에서 참조 화상으로서 선택하고 그 참조 화상을 예측 화상 생성부(203)에 통지한다.

〔제1 예의 복호 처리의 구체예〕

제1 예의 복호 처리의 구체예로서 전술한 도 9와 같이 2×2화소 블록의 화소를 재배치한 4매의 분할 화상(P0)∼(P3)에 대해 분할 화상내 복호 및 분할 화상간 복호를 하는 예를 설명하기로 한다.

·처리 1-1：분할 화상(P0)에 대해, 분할 화상내 복호를 한다.

·처리 1-2：분할 화상(P1)에 대해, 분할 화상(P0)의 복호 화상을 참조 화상으로 하고 거기에 보간 필터를 적용함으로써 예측 화상을 생성하여 분할 화상간 복호를 행한다. 복호된 분할 화상(P1)의 복호 화상(P1')을 기억한다.

·처리 1-3：분할 화상(P2)에 대해, 분할 화상(P0)의 복호 화상을 참조 화상으로 하고 거기에 보간 필터를 적용함으로써 예측 화상을 생성하여 분할 화상간 복호를 행한다. 복호된 분할 화상(P2)의 복호 화상(P2')을 기억한다.

·처리 1-4：분할 화상(P1),(P2)에 대해, 각각의 예측 화상과 복호 화상(P1'),(P2')과의 예측 오차의 합(S1),(S2)(예를 들면 예측 오차의 절대치합 또는 제곱 오차합)을 산출하여 비교한다.

·처리 1-5：S1≤S2인 경우,

분할 화상(P3)의 분할 화상간 복호에 분할 화상(P2)의 복호 화상을 참조 화상으로서 이용한다. 즉, 분할 화상(P2)의 복호 화상에 보간 필터를 적용하여 분할 화상(P3)의 예측 화상을 생성하고 그 예측 화상과 분할 화상(P3)의 예측 오차를 가산함으로써 분할 화상(P3)의 분할 화상간 복호를 행한다. 이것은, S1≤S2이므로 원화상상에서의 수평 방향의 화소간의 상관이 수직 방향의 화소간의 상관보다 높다고 생각되기 때문이다.

·처리 1-6：S1＞S2인 경우,

분할 화상(P3)의 분할 화상간 복호에, 분할 화상(P1)의 복호 화상을 참조 화상으로서 이용한다. 즉, 분할 화상(P1)의 복호 화상에 보간 필터를 적용하여 분할 화상(P3)의 예측 화상을 생성하고 그 예측 화상과 분할 화상(P3)의 예측 오차를 가산함으로써 분할 화상(P3)의 분할 화상간 복호를 행한다. 이것은, S1＞S2이므로 원화상상에서의 수직 방향의 화소간의 상관이 수평 방향의 화소간의 상관보다 높다고 생각되기 때문이다.

〔제2 예의 처리〕

전술한 제2 예에서는, 도 9와 같이 분할된 분할 화상에 대해 다음과 같이 분할 화상내 복호 및 분할 화상간 복호를 행한다.

·처리 2-1：분할 화상(P0)에 대해, 분할 화상내 복호를 한다.

·처리 2-2：분할 화상(P1)에 대해, 분할 화상(P0)의 복호 화상을 참조 화상으로 하고 거기에 보간 필터를 적용함으로써 예측 화상을 생성하여 분할 화상간 복호를 행한다. 그 때의 예측 오차의 합(S1)을 기억한다.

·처리 2-3：분할 화상(P2)에 대해, 분할 화상(P0)의 복호 화상을 참조 화상으로 하고 거기에 보간 필터를 적용함으로써 예측 화상을 생성하여 분할 화상간 복호를 행한다. 그 때의 예측 오차의 합(S2)을 기억한다.

·처리 2-5：S1≤S2인 경우,

분할 화상(P3)의 분할 화상간 복호에, 분할 화상(P2)의 복호 화상을 참조 화상으로서 이용한다. 즉, 분할 화상(P2)의 복호 화상에 보간 필터를 적용하여 분할 화상(P3)의 예측 화상을 생성하고 그 예측 화상과 분할 화상(P3)의 예측 오차를 가산함으로써 분할 화상(P3)의 분할 화상간 복호를 행한다.

·처리 2-6：S1＞S2인 경우

분할 화상(P3)의 분할 화상간 복호에, 분할 화상(P1)의 복호 화상을 참조 화상으로서 이용한다. 즉, 분할 화상(P1)의 복호 화상에 보간 필터를 적용하여 분할 화상(P3)의 예측 화상을 생성하고 그 예측 화상과 분할 화상(P3)의 예측 오차를 가산함으로써 분할 화상(P3)의 분할 화상간 복호를 행한다.

아울러 이상 설명한 실시형태에서 분할 화상내 부호화(복호도 동일)의 대상이 되는 분할 화상은, 1화면에 대해 1매여도 좋고 복수매여도 좋고, 또 분할 화상내 부호화 및 분할 화상간 부호화에서의 부호화 처리를, 분할 화상을 소영역으로 분할한 분할 화상 블록 단위로 행해도 좋다. 분할 화상 블록 단위로 분할 화상간 부호화 처리를 행할 경우에는 분할 화상 블록 단위로 예측 오차의 합의 비교에 의해 참조 화상을 전환해도 좋다.

〔화상 부호화 장치를 적용한 동영상 부호화 장치의 예〕

도 15는, 본 발명을 적용할 수 있는 동영상 부호화 장치의 예를 도시한다. 동영상 부호화 장치(300)에서 본 발명은, 특히 화면내 예측부(301)에 관련된 부호화 처리에 적용할 수 있다. 다른 부분에 대해서는, H.264 기타 인코더로서 이용되고 있는 종래의 일반적인 동영상 부호화 장치의 구성과 동일하다.

동영상 부호화 장치(300)는, 부호화 대상의 영상 신호를 입력하고 입력 영상 신호의 프레임을 블록으로 분할하여 블록마다 부호화하고 그 비트 스트림을 부호화 스트림으로서 출력한다. 이 부호화를 위해 예측 잔차 신호 생성부(303)는 입력 영상 신호와 화면내 예측부(301) 혹은 화면간 예측부(302)의 출력인 예측 신호와의 차분을 구하고 그것을 예측 잔차 신호로서 출력한다. 변환 처리부(304)는, 예측 잔차 신호에 대해 이산 코사인 변환(DCT) 등의 직교 변환을 하여 변환 계수를 출력한다. 양자화 처리부(305)는, 변환 계수를 양자화하여 그 양자화된 변환 계수를 출력한다. 정보원 부호화부(311)는, 양자화된 변환 계수를 엔트로피 부호화하여 부호화 스트림으로서 출력한다.

한편 양자화된 변환 계수는, 역양자화 처리부(306)에도 입력되며 여기에서 역양자화된다. 역변환 처리부(307)는, 역양자화 처리부(306)의 출력인 변환 계수를 역직교 변환하여 예측 잔차 복호 신호를 출력한다.

복호 신호 생성부(308)에서는, 이 예측 잔차 복호 신호와 화면내 예측부(301) 혹은 화면간 예측부(302)의 출력인 예측 신호를 가산하여 부호화한 부호화 대상 블록의 복호 신호를 생성한다. 이 복호 신호는, 화면내 예측부(301) 혹은 화면간 예측부(302)에 대해 참조 화상으로서 이용하기 위해 프레임 메모리(309)에 격납된다. 아울러 화면간 예측부(302)에서 참조 화상을 참조할 경우에는, 인루프 필터 처리부(310)에서 프레임 메모리(309)에 격납한 화상을 입력하여 부호화 왜곡을 줄이는 필터링 처리를 하고 이 필터링 처리 후의 화상을 참조 화상으로서 이용한다.

화면내 예측부(301)에서는, 본 발명의 실시형태에서 설명한 분할 화상내 부호화 및 분할 화상간 부호화의 부호화 처리가 이루어진다. 화면내 예측부(301) 혹은 화면간 예측부(302)에서 설정된 예측 모드나 움직임 벡터 등의 정보는 정보원 부호화부(311)에서 엔트로피 부호화되어 부호화 스트림으로서 출력된다.

〔화상 복호 장치를 적용한 동영상 복호 장치의 예〕

도 16은, 본 발명을 적용할 수 있는 동영상 복호 장치의 예를 도시한다. 동영상 복호 장치(400)에서 본 발명은, 특히 화면내 예측부(402)에 관련된 복호 처리에 적용할 수 있다. 다른 부분에 대해서는 H.264 기타 디코더로서 이용되고 있는 종래의 일반적인 동영상 복호 장치의 구성과 동일하다.

동영상 복호 장치(400)는, 도 15에서 설명한 동영상 부호화 장치(300)에 의해 부호화된 부호화 스트림을 입력하여 복호함으로써 복호 화상의 영상 신호를 출력한다. 이 복호를 위해 정보원 복호부(401)는 부호화 스트림을 입력하여 복호 대상 블록의 양자화 변환 계수를 엔트로피 복호함과 동시에 화면내 예측에 관한 정보 및 화면간 예측에 관한 정보를 복호한다. 화면내 예측부(402)에서는 본 발명의 실시형태에서 설명한 분할 화상내 복호 및 분할 화상간 복호의 복호 처리가 이루어진다.

역양자화 처리부(404)는, 양자화 변환 계수를 입력하고 그것을 역양자화하여 복호 변환 계수를 출력한다. 역변환 처리부(405)는, 복호 변환 계수에 역직교 변환을 실시하여 예측 잔차 복호 신호를 출력한다. 복호 신호 생성부(406)는, 이 예측 잔차 복호 신호와 화면내 예측부(402) 혹은 화면간 예측부(403)의 출력인 예측 신호를 가산하여 복호 대상 블록의 복호 신호를 생성한다. 이 복호 신호는, 화면내 예측부(402) 혹은 화면간 예측부(403)에서 참조 화상으로서 이용하기 위해 프레임 메모리(407)에 격납된다. 아울러 화면간 예측부(403)에서 참조 화상을 참조할 경우에는 인루프 필터 처리부(408)에서 프레임 메모리(407)에 격납한 화상을 입력하여 부호화 왜곡을 줄이는 필터링 처리를 하고 이 필터링 처리 후의 화상을 참조 화상으로서 이용한다.

〔컴퓨터에 의한 구성예〕

도 17에, 도 1의 화상 부호화 장치(10)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성예를 도시한다. 본 시스템은, 프로그램을 실행하는 CPU(Central Processing Unit)(50)와, CPU(50)가 액세스하는 프로그램이나 데이터가 격납되는 RAM(Random Access Memory) 등의 메모리(51)와, 카메라 등으로부터의 부호화 대상의 화상 신호를 입력하는 화상 신호 입력부(52)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부여도 좋다)와, 본 수법에 의해 입력 화상을 부호화하는 처리를 CPU(50)에 실행시키는 소프트웨어 프로그램인 화상 부호화 프로그램(54)이 격납된 프로그램 기억 장치(53)와, CPU(50)가 메모리(51)에 로딩된 화상 부호화 프로그램(54)을 실행함으로써 생성된 부호화 데이터를, 예를 들면 네트워크를 통해 출력하는 부호화 데이터 출력부(55)(디스크 장치 등에 의한 부호화 데이터를 기억하는 기억부여도 좋다)가 버스로 접속된 구성으로 되어 있다.

도 18에, 도 11의 화상 복호 장치(20)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성예를 도시한다. 본 시스템은, 프로그램을 실행하는 CPU(60)와, CPU(60)가 액세스하는 프로그램이나 데이터가 격납되는 RAM 등의 메모리(61)와, 도 1의 화상 부호화 장치(10)가 본 수법에 의해 부호화된 부호화 데이터를 입력하여 기억하는 부호화 데이터 기억부(62)(네트워크 등을 통한 입력부여도 좋다)와, 본 수법에 의해 부호화 데이터를 복호하는 처리를 CPU(60)에 실행시키는 소프트웨어 프로그램인 화상 복호 프로그램(64)이 격납된 프로그램 기억 장치(63)와, CPU(60)가 메모리(61)에 로딩된 화상 복호 프로그램(64)을 실행함으로써 부호화 데이터를 복호하여 얻어진 복호 화상을 재생장치 등에 출력하는 복호 화상 출력부(65)가 버스로 접속된 구성으로 되어 있다.

이상, 도면을 참조하여 본 발명의 실시형태를 설명하였으나 상기 실시형태는 본 발명의 예시에 불과하며 본 발명이 상기 실시형태로 한정되지 않는다는 것은 분명하다. 따라서 본 발명의 정신 및 기술적 범위를 벗어나지 않는 범위에서의 구성요소의 추가, 생략, 치환, 기타 변경을 해도 좋다.

<산업상 이용 가능성>

본 발명은, 예를 들면 화면내 예측 부호화·복호에 적용 가능하다. 본 발명에 의하면, 부호화 효율을 향상시킬 수 있고 또 디블로킹 필터 처리에 수반하는 연산량을 삭감할 수 있다.

10　화상 부호화 장치
11　분할 화상 생성부
12　분할 화상내 부호화 처리부
13　분할 화상간 부호화 처리부
14　정보원 부호화부
15, 25 상관 방향 산출부
16, 26 참조 화상 선택부
20　화상 복호 장치
21　정보원 복호부
22　분할 화상내 복호 처리부
23　분할 화상간 복호 처리부
24　복호 화상 합성부

Claims

입력 화상을 압축 부호화하는 화상 부호화 방법에서,
상기 입력 화상을 n×m화소의 블록으로 분할하고, 분할한 각 블록을 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)의 서브 블록으로 분할했을 때 상기 블록내의 상대 위치가 동일해지는 서브 블록의 화소의 집합으로 이루어진, 각각 같은 사이즈의 분할 화상을 설정하는 분할 화상 생성 과정,
상기 분할 화상 중 적어도 하나 이상을 분할 화상내 부호화하는 분할 화상내 부호화 과정,
부호화가 끝난 분할 화상 중에서 선택된 참조 화상을 이용하여 부호화 대상 분할 화상에 대한 예측 화상을 생성하고 분할 화상간 부호화를 행하는 분할 화상간 부호화 과정,
상기 참조 화상의 후보가 복수 존재하는 경우에 상기 부호화가 끝난 분할 화상의 분할 화상간 예측에서의 예측 오차를 토대로 부호화가 끝난 분할 화상과 상기 부호화가 끝난 분할 화상의 참조 화상에서의 동일 위치의 화소에 대해, 원화상상의 화소와의 상관이 가장 높은 방향을 산출하는 상관 방향 산출 과정,
상기 참조 화상의 후보가 복수 존재하는 경우에 상기 부호화 대상 분할 화상에 대해 상기 상관이 높은 방향에 있는 부호화가 끝난 분할 화상을 상기 참조 화상으로서 선택하는 참조 화상 선택 과정,
상기 분할 화상내 부호화 과정과 상기 분할 화상간 부호화 과정에 의한 부호화 결과를 정보원 부호화하는 정보원 부호화 과정,을 가진
화상 부호화 방법.
청구항 1에 기재된 화상 부호화 방법에서,
상기 상관 방향 산출 과정에서는, 상기 참조 화상의 후보가 되는 각 부호화가 끝난 분할 화상의 복호 화상과 각 부호화가 끝난 분할 화상의 참조 화상으로부터 예측 화상을 생성하고, 각 부호화가 끝난 분할 화상의 상기 복호 화상에 대한 상기 예측 화상의 예측 오차의 합을 산출하고, 상기 예측 오차의 합이 가장 작은 부호화가 끝난 분할 화상과 참조 화상의 조합에서의 동일 위치의 화소에 대응하는 원화상상에서의 화소를 연결하는 방향을 상기 상관이 높은 방향으로서 산출하는
화상 부호화 방법.
청구항 1에 기재된 화상 부호화 방법에서,
상기 상관 방향 산출 과정에서는, 상기 참조 화상의 후보가 되는 각 부호화가 끝난 분할 화상에 대해, 상기 분할 화상간 부호화에서 산출된 예측 오차의 합을 산출하고, 상기 예측 오차의 합이 가장 작은 부호화가 끝난 분할 화상과 참조 화상의 조합에서의 동일 위치의 화소에 대응하는 원화상상에서의 화소를 연결하는 방향을 상기 상관이 높은 방향으로서 산출하는
화상 부호화 방법.
청구항 1, 청구항 2 또는 청구항 3에 기재된 화상 부호화 방법에서,
적어도 상기 분할 화상간 부호화 과정, 상기 상관 방향 산출 과정 및 상기 참조 화상 선택 과정에서는, 상기 분할 화상을 분할한 화상 블록마다 상기 분할 화상의 부호화 처리, 상관 방향의 산출 처리 및 상기 참조 화상의 선택 처리를 행하여 상기 분할 화상간 부호화에서의 참조 화상을 상기 화상 블록마다 전환하는
화상 부호화 방법.
입력 화상을 n×m화소의 블록으로 분할하고, 분할한 각 블록을 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)의 서브 블록으로 분할했을 때에 상기 블록내의 상대 위치가 동일해지는 서브 블록의 화소의 집합으로 이루어진 각각 같은 사이즈의 분할 화상을 설정하여 상기 분할 화상마다 부호화함으로써 압축 부호화된 화상의 부호화 데이터를 복호하는 화상 복호 방법에서,
상기 압축 부호화된 화상의 부호화 데이터를 입력하여 정보원 복호하는 정보원 복호 과정,
상기 정보원 복호 과정에서 복호된 데이터로부터 상기 분할 화상 중 적어도 하나 이상을 분할 화상내 복호하는 분할 화상내 복호 과정,
복호가 끝난 분할 화상 중에서 선택된 참조 화상을 이용하여 복호 대상 분할 화상에 대한 예측 화상을 생성하고 분할 화상간 복호를 하는 분할 화상간 복호 과정,
상기 참조 화상의 후보가 복수 존재하는 경우에 상기 복호가 끝난 분할 화상의 분할 화상간 예측에서의 예측 오차를 토대로 복호가 끝난 분할 화상과 상기 복호가 끝난 분할 화상의 참조 화상에서의 동일 위치의 화소에 대해 원화상상의 화소의 상관이 가장 높은 방향을 산출하는 상관 방향 산출 과정,
상기 참조 화상의 후보가 복수 존재하는 경우에 상기 복호 대상 분할 화상에 대해 상기 상관이 높은 방향에 있는 복호가 끝난 분할 화상을 상기 참조 화상으로서 선택하는 참조 화상 선택 과정,
상기 분할 화상내 복호 과정 및 상기 분할 화상간 복호 과정에 의해 복호된 분할 화상으로부터 복호 화상을 합성하는 복호 화상 합성 과정,을 가진
화상 복호 방법.
청구항 5에 기재된 화상 복호 방법에서,
상기 상관 방향 산출 과정에서는, 상기 참조 화상의 후보가 되는 각 복호가 끝난 분할 화상과 각 복호가 끝난 분할 화상의 참조 화상으로부터 예측 화상을 생성하고, 각 복호가 끝난 분할 화상에 대한 상기 예측 화상의 예측 오차의 합을 산출하고, 상기 예측 오차의 합이 가장 작은 복호가 끝난 분할 화상과 참조 화상의 조합에서의 동일 위치의 화소에 대응하는 원화상상에서의 화소를 연결하는 방향을 상기 상관이 높은 방향으로서 산출하는
화상 복호 방법.
청구항 5에 기재된 화상 복호 방법에서,
상기 상관 방향 산출 과정에서는, 상기 참조 화상의 후보가 되는 각 복호가 끝난 분할 화상에 대해 상기 분할 화상간 복호에서 산출된 예측 오차의 합을 산출하고, 상기 예측 오차의 합이 가장 작은 복호가 끝난 분할 화상과 참조 화상의 조합에서의 동일 위치의 화소에 대응하는 원화상상에서의 화소를 연결하는 방향을 상기 상관이 높은 방향으로서 산출하는
화상 복호 방법.
청구항 5, 청구항 6 또는 청구항 7에 기재된 화상 복호 방법에서,
적어도 상기 분할 화상간 복호 과정, 상기 상관 방향 산출 과정 및 상기 참조 화상 선택 과정에서는, 상기 분할 화상을 분할한 화상 블록마다 상기 분할 화상의 복호 처리, 상관 방향의 산출 처리 및 상기 참조 화상의 선택 처리를 행하여 상기 분할 화상간 복호에서의 참조 화상을 상기 화상 블록마다 전환하는
화상 복호 방법.
입력 화상을 압축 부호화하는 화상 부호화 장치에서,
상기 입력 화상을 n×m화소의 블록으로 분할하고, 분할한 각 블록을 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)의 서브 블록으로 분할했을 때에 상기 블록내의 상대 위치가 동일해지는 서브 블록의 화소의 집합으로 이루어진, 각각 같은 사이즈의 분할 화상을 설정하는 분할 화상 생성부,
상기 분할 화상 중 적어도 하나 이상을 분할 화상내 부호화하는 분할 화상내 부호화부,
부호화가 끝난 분할 화상 중에서 선택된 참조 화상을 이용하여 부호화 대상 분할 화상에 대한 예측 화상을 생성하고 분할 화상간 부호화하는 분할 화상간 부호화부,
상기 참조 화상의 후보가 복수 존재하는 경우에 상기 부호화가 끝난 분할 화상의 분할 화상간 예측에서의 예측 오차를 토대로 부호화가 끝난 분할 화상과 상기 부호화가 끝난 분할 화상의 참조 화상에서의 동일 위치의 화소에 대해 원화상상의 화소의 상관이 가장 높은 방향을 산출하는 상관 방향 산출부,
상기 참조 화상의 후보가 복수 존재하는 경우에 상기 부호화 대상 분할 화상에 대해, 상기 상관이 높은 방향에 있는 부호화가 끝난 분할 화상을 상기 참조 화상으로서 선택하는 참조 화상 선택부,
상기 분할 화상내 부호화부와 상기 분할 화상간 부호화부에 의한 부호화 결과를 정보원 부호화하는 정보원 부호화부,를 구비한
화상 부호화 장치.
청구항 9에 기재된 화상 부호화 장치에서,
상기 상관 방향 산출부는, 상기 참조 화상의 후보가 되는 각 부호화가 끝난 분할 화상의 복호 화상과 각 부호화가 끝난 분할 화상의 참조 화상으로부터 예측 화상을 생성하고, 각 부호화가 끝난 분할 화상의 상기 복호 화상에 대한 상기 예측 화상의 예측 오차의 합을 산출하여 상기 예측 오차의 합이 가장 작은 부호화가 끝난 분할 화상과 참조 화상의 조합에서의 동일 위치의 화소에 대응하는 원화상상에서의 화소를 연결하는 방향을 상기 상관이 높은 방향으로서 산출하는
화상 부호화 장치.
청구항 9에 기재된 화상 부호화 장치에서,
상기 상관 방향 산출부는, 상기 참조 화상의 후보가 되는 각 부호화가 끝난 분할 화상에 대해 상기 분할 화상간 부호화에서 산출된 예측 오차의 합을 산출하고, 상기 예측 오차의 합이 가장 작은 부호화가 끝난 분할 화상과 참조 화상의 조합에서의 동일 위치의 화소에 대응하는 원화상상에서의 화소를 연결하는 방향을 상기 상관이 높은 방향으로서 산출하는
화상 부호화 장치.
청구항 9, 청구항 10 또는 청구항 11에 기재된 화상 부호화 장치에서,
적어도 상기 분할 화상간 부호화부, 상기 상관 방향 산출부 및 상기 참조 화상 선택부는, 상기 분할 화상을 분할한 화상 블록마다 상기 분할 화상의 부호화 처리, 상관 방향의 산출 처리 및 상기 참조 화상의 선택 처리를 하여 상기 분할 화상간 부호화에서의 참조 화상을 상기 화상 블록마다 전환하는
화상 부호화 장치.
입력 화상을 n×m화소의 블록으로 분할하고, 분할한 각 블록을 n₁×m₁화소(단, 1≤n₁＜n, 1≤m₁＜m)의 서브 블록으로 분할했을 때에 상기 블록내의 상대 위치가 동일해지는 서브 블록의 화소의 집합으로 이루어진 각각 같은 사이즈의 분할 화상을 설정하여 상기 분할 화상마다 부호화함으로써 압축 부호화된 화상의 부호화 데이터를 복호하는 화상 복호 장치에서,
상기 압축 부호화된 화상의 부호화 데이터를 입력하여 정보원 복호하는 정보원 복호부,
상기 정보원 복호부에서 복호된 데이터로부터 상기 분할 화상 중 적어도 하나 이상을 분할 화상내 복호하는 분할 화상내 복호부,
복호가 끝난 분할 화상 중에서 선택된 참조 화상을 이용하여 복호 대상 분할 화상에 대한 예측 화상을 생성하고 분할 화상간 복호를 하는 분할 화상간 복호부,
상기 참조 화상의 후보가 복수 존재하는 경우에 상기 복호가 끝난 분할 화상의 분할 화상간 예측에서의 예측 오차를 토대로 복호가 끝난 분할 화상과 상기 복호가 끝난 분할 화상의 참조 화상에서의 동일 위치의 화소에 대해 원화상상의 화소의 상관이 가장 높은 방향을 산출하는 상관 방향 산출부,
상기 참조 화상의 후보가 복수 존재하는 경우에 상기 복호 대상 분할 화상에 대해 상기 상관이 높은 방향에 있는 복호가 끝난 분할 화상을 상기 참조 화상으로서 선택하는 참조 화상 선택부,
상기 분할 화상내 복호부 및 상기 분할 화상간 복호부에 의해 복호된 분할 화상으로부터 복호 화상을 합성하는 복호 화상 합성부,를 구비한
화상 복호 장치.
청구항 13에 기재된 화상 복호 장치에서,
상기 상관 방향 산출부는, 상기 참조 화상의 후보가 되는 각 복호가 끝난 분할 화상과 각 복호가 끝난 분할 화상의 참조 화상으로부터 예측 화상을 생성하고, 각 복호가 끝난 분할 화상에 대한 상기 예측 화상의 예측 오차의 합을 산출하고, 상기 예측 오차의 합이 가장 작은 복호가 끝난 분할 화상과 참조 화상의 조합에서의 동일 위치의 화소에 대응하는 원화상상에서의 화소를 연결하는 방향을 상기 상관이 높은 방향으로서 산출하는
화상 복호 장치.
청구항 13에 기재된 화상 복호 장치에서,
상기 상관 방향 산출부는, 상기 참조 화상의 후보가 되는 각 복호가 끝난 분할 화상에 대해, 상기 분할 화상간 복호에 대해 산출된 예측 오차의 합을 산출하고, 상기 예측 오차의 합이 가장 작은 복호가 끝난 분할 화상과 참조 화상의 조합에서의 동일 위치의 화소에 대응하는 원화상상에서의 화소를 연결하는 방향을 상기 상관이 높은 방향으로서 산출하는
화상 복호 장치.
청구항 13, 청구항 14 또는 청구항 15에 기재된 화상 복호 장치에서,
적어도, 상기 분할 화상간 복호부, 상기 상관 방향 산출부 및 상기 참조 화상 선택부는, 상기 분할 화상을 분할한 화상 블록마다 상기 분할 화상의 복호 처리, 상관 방향의 산출 처리 및 상기 참조 화상의 선택 처리를 하여 상기 분할 화상간 복호에서의 참조 화상을 상기 화상 블록마다 전환하는
화상 복호 장치.
청구항 1 내지 청구항 4 중 어느 1항에 기재된 화상 부호화 방법을 컴퓨터에 실행시키기 위한 화상 부호화 프로그램.
청구항 5 내지 청구항 8 중 어느 1항에 기재된 화상 복호 방법을 컴퓨터에 실행시키기 위한 화상 복호 프로그램.