KR100978152B1 - 화상 처리 방법, 부호화기 및 복호화기 - Google Patents

Abstract

화소 블록을 복수의 서브 블록으로 분할한 화상을 부호화(복호화)하는 방법으로서, 인접 서브 블록간의 상관에 적합한 최적의 부호화(복호화)의 순서를, 별도의 부가 정보 없이, 자율적으로 결정하는 방법이다. 화상 정보에 부수하는, 화면간의 상관 방향 등을 표시하는 문맥 정보에 주목하고, 그 상관 방향에 기초하여, 부호화(복호화)를 위해 참조할 인접의 참조 서브 블록 중 가장 부호화(복호화) 효율이 좋은, 참조 서브 블록을 순차적으로 예측하고, 이 예측에 따라서 부호화(복호화)의 순서를 결정해 간다.

부호화부, 복호화부, 프레임 메모리, 예측부, 문맥 생성부, 문맥 정보

Description

화상 처리 방법, 부호화기 및 복호화기{IMAGE PROCESSING METHOD, ENCODER AND DECODER}

본 발명은, 정지 화상 혹은 동화상의 원정보를 처리하는 방법, 특히 그 원화상 정보를 부호화하고, 또한 그 부호화 정보를 복호화하는 방법에 관한 것이다. 또한, 그 방법을 실시하기 위한 부호화기 및 복호화기에 관한 것이다.

원화상 정보를 부호화하여 수신측에 송신하는 경우, 그 부호화 효율을 향상시키기 위해, 부호화 대상으로 되는 화소 블록을 부호화할 때에, 그 근방에 있는 주변 화소 블록으로부터 그 대상 화소 블록을 예측한다고 하는, 소위 예측 부호화 방법이 이용되고 있다. 이 예측 부호화 방법에 대해서는 종래보다 다양하게 규격화되어 있고, 그 중 하나로서 최근 ITU-T 규격인 H.264가 제창되어 있다. 본 발명은, 예를 들면 이 H.264에 기초하는 화상 부호화 방법에 적용하였다고 하면, 한층 더 그 부호화 효율 즉 데이터 압축 효율을 높이는 것이 가능하게 된다.

또한 본 발명에 관련되는 공지 기술로서, 하기의 [특허 문헌 1] 및 [특허 문헌 2]가 있다. [특허 문헌 1]에서는, 2치 화상이 몇 개의 프레임으로 분할되는 경우, 그 분할 프레임을 분석함으로써, 근방의 프레임의 부호화 방법을 결정하고, 이 에 의해 부호화 효율을 향상시키는 것이 기재되어 있다. 또한 상기 [특허 문헌 2]에서는, 다치 화상을 부호화하는 경우, DPCM의 예측값을 얻기 위해 참조되는 화소를, 주변 화소의 상태에 따라서 적응적으로 변경하는 것이 기재되어 있다. 그러나, 어느 것에도 본 발명의 기본인 「부호화 순서의 제어」라고 하는 개념은 포함되어 있지 않다.

[특허 문헌 1] 일본 특허 공개 평8-317401호 공보

[특허 문헌 2] 일본 특허 공개 제2002-77635호 공보

도 14는, 일반적인 부호화 순서(A)와 최적 부호화 순서(B)를 도시하는 도면이다. 본 도면의 (A) 및 (B)는, 원화상 중에서, 예를 들면 제1 색(백)과 제2 색(해칭)이 비스듬하게 접하고 있는 부분을 취출하여 도시한다. 그리고 지금, 도면 중, BB로 나타내는 부분의 부호화가 행해져 있는 부분의 BB(block boundary)는, 지금 부호화 대상으로 되어 있는 화소 블록의 경계를 나타내고, 이 화소 블록이 예를 들면 4개의 서브 블록 SB(sub-block)로 분할되어 있다.

이들 4개의 서브 블록 SB를 순번대로 처리하는 경우, 그 부호화 순서는 일반적으로는, 텔레비전 신호의 래스터 스캔을 고려하여, 도면의 하얀색 화살표 CO(coding order)와 같이 되어 있다. 따라서, 각 서브 블록 SB의 부호화 순서는, 본 도 14의 (A)에 도시한 「0→1→2→3」과 같이 된다. 그러나 이 래스터 스캔에는 다음과 같은 문제가 있다.

우선 본 도 14의 (A)에서의 화상의 패턴의 경우, 주변 서브 블록으로부터의 예측 방향은, 도면 중의 화살표 PR(prediction)과 같이 된다. 단 본 도 14의 (A)의 경우, 일반적인 내삽 예측 및 외삽 중, 외삽 예측 방향(PR)의 예를 도시한다. 그렇게 하면, 본 도 14의 (A)의 더블 해칭으로 나타내는 부분 sb에 하기의 문제점이 생긴다.

이 sb의 부분을 부호화할 때에 참조할 서브 블록 SB는, 상기의 예측 방향으로부터 하여, 그 바로 아래의 서브 블록 SB(3)로 된다. 그런데, 이 서브 블록 SB(3)는, 상기 부호화 순서 CO로부터 하여, 아직 부호화가 완료되어 있지 않다. 즉 이와 같은 미부호화 서브 블록 SB(3)를 참조할 수는 없다. 그렇게 하면 해당 부분 sb는, 예측 부호화 불능 부분으로서 남게 된다고 하는 문제가 생긴다.

따라서, 이와 같은 문제를 해소하고자 하면, 도 14의 (B)와 같은 최적 부호화 순서를 채용하면 된다. 이 (B)의 부호화 순서에 따르면, 도 14의 (A)에 도시한 예측 부호화 불능 부분 sb가 남는다고 하는 문제는 해결된다. 그 sb의 바로 아래의 서브 블록 SB(2)쪽이 먼저 부호화가 완료되기 때문이다.

그런데, 도 14의 (B)의 최적 부호화 순서를 채용하는 경우, 다른 문제가 생긴다. 이는, 통상적으로 각 화소 블록(BB로 둘러싸여진 블록)에 대해 상기 최적 부호화 순서를 적응적으로 또한 단시간에 결정하는 것은 곤란하므로, 화소 블록을 예측하는 예측 효율이 저하되고, 결과로서 부호화 효율이 저하되게 된다고 하는 문제이다.

만약 본 도 14의 (B)의 최적 부호화 순서를 적응적으로 또한 단시간에 결정 하고자 하면, 각 화소 블록마다, 그 최적 부호화 순서를 지정하기 위한 부가 정보를 추가하는 것이 필요하게 된다. 그러나 그렇게 하면, 이번에는 그 부가 정보를 추가한 분만큼 역시 부호화 효율이 저하된다고 하는 문제가 야기된다.

따라서 본 발명은, 상기 문제점을 감안하여 이루어진 것으로, 상술한 최적의 부호화 순서 및 복호화 순서를 지정하기 위한 부가 정보를 필요로 하지 않고, 최적의 부호화 순서 및 복호 순서를 적응적으로 변경할 수 있는 화상 처리 방법을 제공하는 것을 목적으로 하는 것이다. 또한 그를 위한 부호화기 및 복호화기를 제공하는 것을 목적으로 하는 것이다.

도 1의 (A)는, 종래의 화상 처리, (B)는 본 발명의 화상 처리를 개념적으로 도시하는 도면이다. 우선 도 1의 (A)를 참조하면, 예를 들면 전술한 규격 H.264에 기초하는 화상 처리에서는, 문맥 정보(콘텍스트)를 생성하고, 이 문맥 정보에 따라서 부호화(복호화)가 행해져 있다.

이에 대해 본 도 1의 (B)의 본 발명 하에서는, 생성된 문맥 정보(콘텍스트)를 참조하여, 전술한 최적 부호화(복호화) 순서를 결정하고, 이 결정에 의한 순서에 따라서 부호화(복호화)를 행한다.

즉, 화면 내의 상관이 있는 방향을 문맥 정보로부터 취득하고, 이 취득한 상관 방향을 이용하여, 데이터 압축 효율의 향상을 도모함과 함께, 최적 부호화(복호화) 순서를 결정한다.

즉 문맥 정보에 포함되는 화면 내 혹은 화면간의 상관 방향을 판독하고, 이 를 예측 정보로서 이용함으로써, 예를 들면 도 14의 (B)에 도시한 바와 같은 최적 부호화(복호화) 순서를 적응적으로 변경하면서 결정해 간다.

종래에는 상기 최적 부호화(복호화) 순서를 설정하고자 하면, 각 서브 블록의 처리 순번을 축차적으로 지정하는 부가 정보를 필요로 하였지만, 본 발명에 따르면, 문맥 정보로부터 판독되는 예측 정보에 의존하여, 부호화기도 복호화기도 마찬가지로, 자율적으로 부호화 순서를 결정할 수 있으므로, 상기의 부가 정보를 불필요로 할 수 있다.

이 경우, 상기 예측 정보로부터 상기 처리 순서를, 미리 정한 규칙에 따라서 하도록 하면, 부호화기도 복호화기도 자율적으로 동일한 부호화/복호화의 처리 순서를 결정할 수 있다. 또한, 화소 패턴에 따라서는 그 처리 순서가 일정하게 정해지지 않을 수도 있다. 이와 같은 경우에는, 부호화기에서 결정한 순서 정보를 복호화기에 직접 송신할 수도 있다.

본 발명에 기초하는 화상 처리 방법은, 화면을 구성하는 화소 블록(BB 내)의 각각을 복수의 서브 블록 SB로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 이들 복수의 서브 블록을 순번대로 부호화하는 화상 처리 방법으로서, 기본적으로는,

ㆍ문맥 정보로부터 예측 방향을 판독하는 판독 스텝과,

ㆍ판독한 예측 방향에 기초하여, 순차적으로 부호화할 복수의 서브 블록의 부호화 순서를, 적응적으로 변경하면서 부호화 처리를 행하는 부호화 스텝

을 갖는다.

더 상세하게는, 상기의 판독 스텝 후에,

ㆍ화소 블록 내에서 부호화를 개시하는 선두 서브 블록을 설정하는 선두 설정 스텝과,

ㆍ선두 서브 블록에 인접하는 1 또는 복수의 미부호화 서브 블록으로서, 그 선두 서브 블록의 부호화를 위해 참조할 참조 서브 블록에 대하여, 문맥 정보 내의 예측 방향에 기초하여, 그 부호화를 보다 빠르게 완료시킬 순서대로 높은 우선도를 할당하는 우선도 부여 스텝을 갖고,

최고 우선도가 할당된 참조 서브 블록으로부터 순서대로 부호화 스텝을 실행하도록 한다.

또한 상세하게는, 최저 우선도가 할당된 참조 서브 블록의 부호화가 완료된 후라도 아직, 화소 블록 내에 미부호화 서브 블록이 남을 때, 상술한 선두 설정 스텝, 우선도 부여 스텝 및 부호화 스텝을 반복하여 실행하도록 한다.

또한 전술한 선두 설정 스텝에서 선두 서브 블록을 지정하는 지정 정보를, 문맥 정보 내에 포함시켜 또는 문맥 정보의 부가 정보로서, 복호화기측에 송신하는 송신 스텝을 가질 수 있다.

또한 전술한 우선도 부여 스텝은, 참조 서브 블록이 미부호화 서브 블록일 때에만 실행하고,

ㆍ참조 서브 블록의 부호화가 이미 완료되어 있을 때에는, 이 참조 서브 블 록을 참조하여 순시로 부호화 스텝을 실행하도록 하고, 혹은

ㆍ현부호화 대상 서브 블록의 모든 인접 서브 블록이, 화면의 단부 서브 블록이거나, 혹은 보다 낮은 우선도의 미부호화 서브 블록일 때, 현부호화 대상 서브 블록을 순시로 부호화하도록 한다.

또한, 전술한 부호화 스텝의 실행 시에, 우선도가 낮은 서브 블록이 이것보다 우선도가 높은 서브 블록을 참조하고자 할 때, 그 참조를 금지하는 금지 스텝을 포함할 수 있다.

이상은 본 발명에서의 화상 처리 방법 중 부호화 방법에 관한 설명이며, 이하에 그 화상 처리 방법 중의 복호화 방법에 대해서 설명한다. 단 전술한 바와 같이, 본 발명의 부호화기도 복호화기도 동일한 문맥 정보를 참조하여, 동일한 규칙 하에서, 부호화 처리 및 복호화 처리를 각각 자율적으로 행하므로, 본 발명의 복호화 방법은, 상술한 부호화 방법과 거의 동일하다.

즉 본 발명의 복호화측의 화상 처리 방법은, 화면을 구성하는 화소 블록(BB 내)의 각각을 복수의 서브 블록 SB로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 이들 복수의 서브 블록을 순번대로 복호화하는 화상 처리 방법으로서, 기본적으로는,

ㆍ문맥 정보로부터 예측 방향을 판독하는 판독 스텝과,

ㆍ판독한 예측 방향에 기초하여, 순차적으로 복호화할 복수의 서브 블록의 복호화 순서를, 적응적으로 변경하면서 복호화 처리를 행하는 복호화 스텝

을 갖는다.

더 상세하게는, 상기 판독 스텝 후에,

ㆍ화소 블록 내에서 복호화를 개시하는 선두 서브 블록을 설정하는 선두 설정 스텝과,

ㆍ선두 서브 블록에 인접하는 1 또는 복수의 미복호화 서브 블록으로서, 그 선두 서브 블록의 복호화를 위해 참조할 참조 서브 블록에 대하여, 문맥 정보 내의 예측 방향에 기초하여, 그 복호화를 보다 빠르게 완료시킬 순서대로 높은 우선도를 할당하는 우선도 부여 스텝을 갖고,

최고 우선도가 할당된 참조 서브 블록으로부터 순서대로 복호화 스텝을 실행하도록 한다.

또한 상세하게는, 최저 우선도가 할당된 참조 서브 블록의 복호화가 완료된 후라도 아직, 화소 블록 내에 미복호화 서브 블록이 남을 때, 상술한 선두 설정 스텝, 우선도 부여 스텝 및 복호화 스텝을 반복하여 실행하도록 한다.

또한 전술한 선두 설정 스텝에서 선두 서브 블록을 지정하는 지정 정보를, 문맥 정보 내에 포함시켜 또는 문맥 정보의 부가 정보로서, 부호화기측에 수신하는 수신 스텝을 가질 수 있다.

또한 전술한 우선도 부여 스텝은, 참조 서브 블록이 미복호화 서브 블록일 때에만 실행하고,

ㆍ참조 서브 블록의 복호화가 이미 완료되어 있을 때에는, 이 참조 서브 블록을 참조하여 순시로 복호화 스텝을 실행하도록 하고, 혹은

ㆍ현복호화 대상 서브 블록의 모든 인접 서브 블록이, 화면의 단부 서브 블 록이거나, 혹은 보다 낮은 우선도의 미복호화 서브 블록일 때, 현복호화 대상 서브 블록을 순시로 복호화하도록 한다.

또한, 전술한 부호화 스텝의 실행 시에, 우선도가 낮은 서브 블록이 이것보다 우선도가 높은 서브 블록을 참조하고자 할 때, 그 참조를 금지하는 금지 스텝을 포함할 수 있다.

다음으로 상술한 부호화측 및 복호화측의 각 화상 처리 방법을 실시하는 부호화기 및 복호화기의 구성예에 대해서 설명한다.

도 2는, 본 발명에 따른 부호화기의 실시예를 도시하는 도면이며,

도 3은, 본 발명에 따른 복호화기의 실시예를 도시하는 도면이다. 우선 도 2를 참조하여 부호화기(10)의 구성을 설명한다. 본 도면의 실시예에서는, 화면을 임의의 화소 블록(BB 내) 단위로 분할하고, 또한 그 화소 블록을 서브 블록 SB로 분할하여 부호화를 행하는 정지 화상 또는 동화상의 부호화를 행한다. 이 부호화 처리는, 도 2에 도시한 바와 같이 대상의 1화면 전체를 축적하거나, 혹은 시간이 서로 다른 0∼복수매의 화면을 저장하는 프레임 메모리(11)와, 문맥 생성부(17)와, 문맥 부호화부(12)와, 부호화 순서 제어 기능부(13)와, 예측부(14)와, 차분 처리부(차분/변환/양자화부)(15)와, 계수 부호화부(16)로 구성되어 있다.

본 도면의 부호화기(10)에서, 부호화 순서 제어 기능부(13)는 문맥 생성부(17)에 의해 생성된 문맥 정보 Ict(context)에 기초하여, 예측부(14), 차분 처리부(차분/변환/양자화부)(15) 및 계수 부호화부(16)의 각 처리에서의 호출 제어(순서 제어)를 한다.

예측부(14)는, 부호화 순서 제어 기능부(13)에 의해 지시된 부호화 위치와 지시된 참조 화상 및 문맥 정보 Ict에 기초하여, 그 지시 위치에서의 예측 화상 IMpr(prediction)을 작성한다. 차분 처리부(차분/변환/양자화부)(15)는, 예측 화상 IMpr과 원화상 IMor(original)의 차분을 생성하고, 또한 예를 들면 주파수 변환 등의 변환이나 양자화 등의 처리를 가하여, 계수 정보 Ico(coefficient)를 생성한다. 이 계수 정보 Ico는 계수 부호화부(16)에 의해, 계수 비트열 Bco로 변환된다. 또한, 문맥 정보 Ict도 문맥 부호화부(12)에 의해 문맥 비트열 Bct로 변환되고, 합성 수단(18)에 의해 소정의 순서로 계수 비트열 Bco에 중첩되어, 부호화 비트열 Ben(encode)이 생성된다. 여기서 상술한 문맥 정보 Ict에는, 화면 내의 어느 근방 화소(서브 블록)로부터, 내삽 혹은 외삽 예측을 행할지의 정보나, 시간적으로 서로 다른 화면의 어느 부분을 참조하여 예측을 행할지를 지시하는 정보가 포함되어 있다.

이상을 정리하면, 실시예에 따른 부호화기는,

ㆍ메모리(11)에 저장된 부호화 전의 복수의 서브 블록 SB로 이루어지는 원화상 IMor로부터 각 서브 블록마다의 문맥 정보 Ict를 생성하는 문맥 생성부(17)와,

ㆍ문맥 정보 Ict를 부호화하여 문맥 비트열 Bct를 출력하는 문맥 부호화부(12)와,

ㆍ메모리(11)에 저장된 부호화 후의 서브 블록으로 이루어지는 참조 화상 IMrf를 기초로, 문맥 정보를 참조하여 예측 화상 IMpr을 생성하는 예측부(14)와,

ㆍ원화상 IMor과 예측 화상 IMpr의 차분에 기초하여 소정의 계수 정보 Ico를 생성하는 차분 처리부(15)와,

ㆍ계수 정보 Ico를 부호화하여 계수 비트열 Bco를 출력하는 계수 부호화부(16)를 구비하고, 여기에

문맥 비트열 Bct와 계수 비트열 Bco를, 합성 수단(18)에 의해, 합성하여 이루어지는 부호화 비트열 Ben을 복호화기(20)측에 송신하는 부호화기(10)로서, 이하의 특징을 갖는다.

즉, 문맥 정보 Ict를 입력받아 이 문맥 정보에 포함되는, 원화상 IMor의 화면 내 또는 화면간의 예측 방향에 기초하여, 복수의 서브 블록 SB의 부호화 순서를 결정하고 부호화 순서 정보 Ieo(encode order)로서 출력하는 부호화 순서 제어 기능부(13)를 더 구비하고, 상술한 예측부(14), 차분 처리부(15) 및 계수 부호화부(16)는, 각각이 처리할 서브 블록의 처리 순서를, 부호화 순서 제어 기능부(13)로부터의 부호화 순서 정보 Ieo에 따라서 설정하는 것을 특징으로 한다.

다음으로 도 3을 참조하면, 실시예에 따른 복호화기(20)가 도시되어 있다. 이 복호화기(20)도 부호화기와 마찬가지로, 도 2의 부호화기(10)로부터 송신된 부호화 비트열 Ben으로부터 취출한 문맥 정보(Bct)에 기초하여, 복호화 순서 제어 기능부(23)가, 예측부(24), 가산 처리부(역양자화/역변환/가산부)(25) 및 계수 복호화부(26)에 대한 복호화 순서 제어를 행한다.

즉 실시예에 따른 복호화기(20)는,

ㆍ부호화기(10)로부터의 부호화 비트열 Ben에 포함되는 문맥 비트열 Bct를 입력받아 이것을 복호화하여 문맥 정보 Ict를 출력하는 문맥 복호화부(22)와,

ㆍ메모리(21)에 저장된 복호화 후의 서브 블록으로 이루어지는 참조 화상 IMrf를 기초로, 문맥 정보 Ict를 참조하여 예측 화상 IMpr을 생성하여 출력하는 예측부(24)와,

ㆍ부호화기(10)로부터의 부호화 비트열 Ben에 포함되는 계수 비트열 Bco를 입력받아 이것을 복호화하여 계수 정보 Ico를 출력하는 계수 복호화부(26)와,

상기 예측부로부터의 상기 예측 화상과, 상기 계수 복호화부로부터의 상기 계수 정보로부터 복호 화상 IMde(decode)를 생성하여 메모리(21)에 저장하는 가산 처리부(25)

를 구비하는 복호화기(10)로서, 이하의 특징을 갖는다.

즉, 문맥 정보 Ict를 입력받아 이 문맥 정보에 포함되는, 원화상 IMor의 화면 내 또는 화면간의 예측 방향에 기초하여, 복수의 서브 블록 SB의 복호화 순서를 결정하고 복호화 순서 정보 Ido(decode order)로서 출력하는 복호화 순서 제어 기능부(23)를 더 구비하고, 상술한 예측부(24), 가산 처리부(25) 및 계수 복호화부(26)는, 각각이 처리할 서브 블록의 처리 순서를, 복호화 순서 제어 기능부(23)로부터의 복호화 순서 정보 Ido에 따라서 설정하는 것을 특징으로 한다.

다음으로 상기의 도 2 및 도 3에 도시한 구성 요소 중 특히 본 발명을 특징짓는 부분(13, 23)에 대해 더 구체적으로 도시한다. 도 4는, 부호화 순서 제어 기능부(13)의 구체예를 도시하는 도면이며,

도 5는, 복호화 순서 제어 기능부(23)의 구체예를 도시하는 도면이다. 우선 도 4를 참조하여 부호화 순서 제어 기능부(13)에 대해서 설명한다.

부호화 순서 제어 기능부(13)는 문맥 정보 판독부(31), 부호화 처리 판정부(32), 우선도 할당부(33) 및 차회 처리 위치 결정부(34)를 포함한다.

우선 문맥 정보 판독부(31)에서, 부호화 대상의 서브 블록 SB의 문맥 정보 Ict를 판독하여, 부호화 처리 판정부(32)에 전달한다. 이 부호화 처리 판정부(32)에서는, 그 서브 블록을 부호화할지의 여부를, 상기 문맥 정보 Ict나 그 서브 블록 주변의 부호화 상태로부터 판정한다. 바로 부호화할 수 없다고 판정된 경우에는, 우선도 할당부(33)에, 상기 문맥 정보로부터 얻은 화면 내 예측 방향 정보 Ipr을 전달한다. 한편, 바로 부호화 가능하다고 판정된 경우에는, 부호화기(10) 내의 각 부(14, 15, 16)에 현재의 서브 블록의 부호화 위치를 알림으로써, 각 부(14, 15, 16)에 부호화를 위한 처리를 지시한다. 또한, 차회 처리 위치 결정부(34)에, 현재의 서브 블록의 부호화 위치를 알린다.

상기 예측 방향 정보 Ipr이 입력된 우선도 할당부(33)에서는, 그 서브 블록 주변의 부호화 상황도 고려하여 미부호화의 주변 서브 블록에 대해 각각 우선도를 할당한다.

상기의 부호화 위치 및 상기의 할당 우선도를 입력받은 차회 처리 위치 결정부(34)에서는, 부호화 완료/미부호화의 상태와 그 할당 우선도로부터, 가장 우선도가 높은 서브 블록으로 처리를 이행한다. 이 때, 우선도가 할당되어 있지 않은 경우에는, 그 다음에 어느 미부호화 서브 블록으로 이동할지를 결정하고, 그 위치 정보를 문맥 정보 Ict에 중첩하기 위해, 문맥 정보 판독부(31)에 출력한다.

상기한 바와 같이, 본 실시예에 따른 부호화 순서 제어 기능부(13)는,

ㆍ문맥 정보 Ict를 판독하는 문맥 판독부(31)와,

ㆍ적어도 문맥 정보 Ict를 참조하여, 현부호화 대상 서브 블록의 순시 부호화가 가능한지의 여부를 판정하여, 가능할 때에는, 그 부호화 위치 정보를 부호화 순서 정보 Ieo로서 출력하고, 가능하지 않을 때에는, 그 문맥 정보 Ict에 포함되는 예측 방향을 나타내는 예측 정보 Ipr을 출력하는 부호화 처리 판정부(32)와,

ㆍ적어도 예측 정보 Ipr을 입력으로 하여, 현부호화 대상 서브 블록에 인접하는 미부호화 서브 블록으로서 그 현부호화 대상 서브 블록의 부호화를 위해 참조할 참조 블록에 대하여, 그 부호화를 빠르게 완료시킬 순서대로 높은 우선도를 할당하고, 그 할당 위치를 할당 위치 정보 Ial(allocate)로서 출력하는 우선도 할당부(33)와,

ㆍ적어도 할당 위치 정보 Ial 및 부호화 위치 정보를 입력으로 하여, 차회 부호화 처리 위치 정보 또는 초기 부호화 처리 위치 정보를, 부호화 순서 정보 Ieo로서 출력함과 함께 그 차회 처리 위치 정보를 문맥 판독부(31)에 귀환하는 처리 위치 결정부(34)로 이루어진다.

다음으로 도 5를 참조하여 복호화 순서 제어 기능부(23)에 대해서 설명한다.

복호화 순서 제어 기능부(23)는 문맥 정보 판독부(41), 복호화 처리 판정부(42), 우선도 할당부(43) 및 차회 처리 위치 결정부(44)를 포함한다.

우선 문맥 정보 판독부(41)에서, 복호화 대상의 서브 블록 SB의 문맥 정보 Ict를 판독하여, 복호화 처리 판정부(42)에 전달한다. 이 복호화 처리 판정부(42)는, 그 서브 블록을 복호화할지의 여부를, 상기 문맥 정보 Ict나 그 서브 블록 주 변의 복호화 상태로부터 판정한다. 바로 복호화할 수 없다고 판정된 경우에는, 우선도 할당부(43)에, 상기 문맥 정보로부터 얻은 화면 내 예측 방향 정보 Ipr을 전달한다. 한편, 바로 복호화 가능하다고 판정된 경우에는, 복호화기(20) 내의 각 부(24, 25, 26)에 현재의 서브 블록의 복호화 위치를 알림으로써, 복호화를 위한 처리를 지시한다. 또한, 차회 처리 위치 결정부(44)에, 현재의 서브 블록의 복호화 위치를 알린다.

상기 예측 방향 정보 Ipr이 입력된 우선도 할당부(43)에서는, 그 서브 블록 주변의 복호화 상황도 고려하여 미복호화의 주변 서브 블록에 대하여 각각 우선도를 할당한다.

상기의 복호화 위치 및 상기의 할당 우선도를 입력받은 차회 처리 위치 결정부(44)에서는, 복호화 완료/미복호화의 상태와 그 할당 우선도로부터, 가장 우선도가 높은 서브 블록으로 처리를 이행한다. 이 때, 우선도가 할당되어 있지 않은 경우에는, 그 다음에 어느 미복호화 서브 블록으로 이동할지를, 문맥 정보 Ict를 참조하여 결정하거나, 혹은 부호화기(10)와 복호화기(20)의 쌍방에서 미리 정한 규칙에 따라서 결정한다.

상기한 바와 같이, 본 실시예에 따른 복호화 순서 제어 기능부(23)는,

ㆍ문맥 정보를 판독하는 문맥 판독부(41)와,

ㆍ적어도 문맥 정보 Ict를 참조하여, 현복호화 대상 서브 블록의 순시 복호화가 가능한지의 여부를 판정하여, 가능할 때에는, 그 복호화 위치 정보를 복호화 순서 정보 Ido로서 출력하고, 가능하지 않을 때에는, 그 문맥 정보 Ict에 포함되는 예측 방향을 나타내는 예측 정보 Ipr을 출력하는 복호화 처리 판정부(42)와,

ㆍ적어도 예측 정보 Ipr을 입력으로 하여, 현복호화 대상 서브 블록에 인접하는 미복호화 서브 블록으로서 그 현복호화 대상 서브 블록의 복호화를 위해 참조할 참조 블록에 대하여, 그 복호화를 빠르게 완료시킬 순서대로 높은 우선도를 할당하고, 그 할당 위치를 할당 위치 정보 Ial로서 출력하는 우선도 할당부(43)와,

ㆍ적어도, 할당 위치 정보 Ial과 복호화 위치 정보를 입력으로 하여, 차회 복호화 처리 위치 정보 또는 초기 복호화 처리 위치 정보를, 문맥 판독부(41)에 귀환하는 처리 위치 결정부(44)로 이루어진다.

상술한 부호화 순서 제어 기능부(13)(도 4) 및 복호화 순서 제어 기능부(23)(도 5)에 대해, 그 순서 제어 알고리즘을 구체적으로 도 6∼도 13을 참조하여 설명한다. 단, 본 발명에서는 부호화측도 복호화측도 기본적으로는 공통의 알고리즘에 따르므로, 중복되는 경우에는 부호화측에 대해서만 설명한다.

도 6은, 부호화 순서 제어 기능부(13)의 제어 알고리즘을 도시하는 도면(그 1),

도 7은, 부호화 순서 제어 기능부(13)의 제어 알고리즘을 도시하는 도면(그 2),

도 8은, 예측 방향과 우선도 할당 사이의 규칙(일례)을 도시하는 도면,

도 9는, 화소 블록의 주변 상황의 일례를 도시하는 도면,

도 10은, 부호화 순서 제어의 처리를 설명하는 플로우차트(그 1),

도 11은, 부호화 순서 제어의 처리를 설명하는 플로우차트(그 2),

도 12는, 복호화 순서 제어의 처리를 설명하는 플로우차트(그 1),

도 13은, 복호화 순서 제어의 처리를 설명하는 플로우차트(그 2)이다.

우선 도 6 및 도 7을 참조하면, BB는 부호화 대상으로 되는 1개의 화소 블록의 경계를 나타내고, SB는 그 화소 블록을 구성하는 1개의 서브 블록을 나타낸다. 우선 주요한 포인트만을 설명하면 다음과 같다.

도 6의 (a)에서 SB는, 현부호화 영역(서브 블록)을 나타내고,

(b)에서는, 0을 붙인 영역(서브 블록)이 참조할 주변의 참조 영역(서브 블록)에, 우선도를 할당한 단계로서, 여기에 번호(1, 2,…)가 큰 것일수록, 할당된 우선도가 높은 것을 나타내고,

(c) 고우선도의 영역(3)으로 처리를 이행하는 것을 나타내고,

(d) 우선도가 낮은 영역(1)은, 우선도가 높은 영역(3)으로 처리를 이행하는(「1」이 「3」을 참조함) 것을 금지하는 것을 나타낸다.

도 7을 참조하면,

(e)에서는, 참조 영역(5)이 이미 부호화 완료만으로 된 경우, 혹은 현재의 영역이 바로 부호화 가능한 영역으로 된 경우, 이 영역의 부호화를, 기능부(13)는 각 부(14, 15, 16)에 지시하는 것을 나타내고,

(f)에서는, 우선도가 높은 순(5→4→3)으로 부호화를 실행하는 것을 나타내고,

(g)에서는, 미부호화 영역을 참조하는 영역이, 현부호화 영역일 때에는, 우선도를 다시 할당(6)하는 것을 나타내고,

(h)에서는, 우선도를 할당한 영역이 모두 부호화 완료로 되었을 때, 미부호화로 되어 있는 임의의 영역(0')으로 처리를 이행한다.

상기 알고리즘이 전제로 하여, 영역의 참조 방향과 우선도의 할당에 관하여, 부호화기(10)와 복호화기(20)의 쌍방에, 동일한 규칙(약정)이 필요하다. 그 일례로서, 도 8의 약정을 설정하는 것으로 한다. 덧붙여, 현재 부호화하고자 하는 블록 경계 BB의 주변에 대해서, 블록 경계 밖의 화소 블록이 이미 부호화 완료의 영역인지의 여부의 정보도 얻어지는 것으로 한다. 블록 경계 밖의 화상이 부호화 완료이면, 화소 블록 내의 부호화 완료 영역과 마찬가지로 취급되는 것으로 한다. 이 예에서는, 도 9에 도시한 바와 같이, 부호화 완료 영역이 결정되어 있는 것으로 한다. 또한 상기 도 8을 보충 설명하면 다음과 같다.

도 8에서, 예측 방향 : 0∼예측 방향 : 7은, 상술한 예측 정보 Ipr(도 4)에 의해 특정된다. 예를 들면, 본 도면 좌상단의 영역(SB)에 대해서 예측 방향 : 0으로 특정되었을 때에는, 그 SB의 바로 위의 영역의 우선도에 대해서는 1을 가산한다(+1). 즉, 그 SB에 대한 부호화 시에는, 우선 처음에 바로 위의 SB(+1)를 참조한다. 마찬가지로, 본 도면 우하단의 영역(SB)에 대해서는 예측 방향 : 7로 되어 있으므로, 이 SB의 바로 왼쪽, 바로 아래, 비스듬히 아래의 순서대로, 각 우선도를 가산하고, 각각 +3, +2, +1을 부여한다고 하는 약정(규칙)을 미리 준비해 두고, 부호화기(10)와 복호화기(20)는 모두 이 약정에 따라서, 순서 제어를 행한다.

또한, 도 4, 도 5, 도 6, 도 7, 도 8 등을 참조하면서, 부호화 순서 제어(도 10, 도 11) 및 복호화 순서 제어(도 12, 도 13)의 처리 플로우를 설명한다. 또한, 도 4(부호화측)에 관한 각 처리 스텝은 401, 402…과 같이 나타내고, 도 5(복호화측)에 관한 각 처리 스텝은 501, 502…과 같이 나타낸다.

우선, 도 10 및 도 11을 참조하면, 도 4의 각 부(31, 32, 33, 34)가 처리할 스텝군은, 각각 점선 틀(31, 32, 33 및 34)로 구분하여 나타낸다.

스텝 401에서 도 6의 (a)에 도시한 바와 같이, 서브 블록 SB 내의 처리 개시 위치를 결정하고, 소정의 개시 위치에 처리 개시 위치를 설정한다.

스텝 402에서, 현재의 서브 블록의 문맥 정보 Ict를 확인한다. 이 문맥 정보에 따라서 스텝 403 및 스텝 404에서의 각 판정과, 스텝 405의 처리를 행한다.

스텝 406에서는, 상기 스텝 403, 404 및 405 중 어느 조건에도 들어맞지 않았을 때(아니오), 도 6의 (b)에 도시한 바와 같이, 도 8에 도시하는, 예측 방향과 우선도 할당의 약정에 따라서, 각 서브 블록에 우선도를 할당한다.

스텝 408에서는, 우선도의 할당이 행해져 있는 영역이 있는지의 여부를 판정하고, 우선도의 할당이 행해져 있는 영역이 있는 경우에는, 스텝 409로 이행한다(도 6의 (C)). 만약 우선도의 할당이 행해져 있는 영역이 없으면, 후술하는 스텝 410으로 이행한다.

스텝 409에서는, 도 7의 (g)에 도시한 바와 같이, 우선도의 할당이 행해져 있는 영역이 있는 경우에, 우선도가 높은 미부호화 영역으로 이행하고,

스텝 410에서는, 우선도의 할당이 행해져 있는 영역이 없는 경우에, 다음에 부호화를 행하는 서브 블록을 결정하고, 그 미부호화 서브 블록으로 처리를 이행한다(도 7의 (h)).

또한, 스텝 403에서는, 주변에 화면간 예측에 참조 가능한 영역이 있는지를 판정하여, 참조 가능한 영역이 없으면, 바로 현서브 블록의 부호화를 행하기 위해 스텝 407로 진행한다. 이 스텝 403에서는, 문맥 정보 Ict를 참조하여 현서브 블록이 화면간 예측을 이용한 것이면, 바로 현서브 블록의 부호화를 행하기 위해 스텝 407로 진행한다.

스텝 404에서는, 현부호화 서브 블록이 참조하는 주변에 서브 블록이 모두, 참조 가능한 영역이 아니면(도 7의 (e)), 바로 현서브 블록의 부호화를 행하기 위해 스텝 407로 진행하고,

스텝 407에서는, 현서브 블록의 부호화를 행할 것을 각 부(14, 15, 16)에 지시한다.

스텝 411에서는, 스텝 407의 결과를 받아, 현화소 블록에 속하는 모든 서브 블록의 부호화가 완료된 경우, 현화소 블록의 부호를 완료한다. 현화소 블록의 부호화가 완료되어 있지 않은 경우에는, 스텝 408로 이행한다.

다음으로 도 12 및 도 13을 참조하면, 도 5의 각 부(41, 42, 43, 44)가 처리할 스텝군은, 각각 점선 틀(41, 42, 43 및 44)로 구분하여 나타낸ㄴ다.

스텝 501에서 도 6의 (a)에 도시한 바와 같이, 서브 블록 SB 내의 처리 개시 위치를 결정하고, 소정의 개시 위치에 처리 개시 위치를 설정한다.

스텝 502에서, 현재의 서브 블록의 문맥 정보 Ict를 확인한다. 이 문맥 정보에 따라서 스텝 503 및 스텝 504에서의 각 판정과, 스텝 505의 처리를 행한다.

스텝 506에서는, 상기 스텝 503, 504 및 505 중 어느 조건에도 들어맞지 않 았을 때(아니오), 도 6의 (b)에 도시한 바와 같이, 도 8에 도시하는, 예측 방향과 우선도 할당의 약정에 따라서, 각 서브 블록에 우선도를 할당한다.

스텝 508에서는, 우선도의 할당이 행해져 있는 영역이 있는지의 여부를 판정하고, 우선도의 할당이 행해져 있는 영역이 있는 경우에는, 스텝 509로 이행한다(도 6의 (C)). 만약 우선도의 할당이 행해져 있는 영역이 없으면, 후술하는 스텝 510으로 이행한다.

스텝 509에서는, 도 7의 (g)에 도시한 바와 같이, 우선도의 할당이 행해져 있는 영역이 있는 경우에, 우선도가 높은 미부호화 영역으로 이행하고,

스텝 510에서는, 우선도의 할당이 행해져 있는 영역이 없는 경우에, 다음에 복호화를 행하는 서브 블록을 결정하고, 그 미복호화 서브 블록으로 처리를 이행한다(도 7의 (h)).

또한, 스텝 503에서는, 주변에 화면간 예측에 참조 가능한 영역이 있는지를 판정하여, 참조 가능한 영역이 없으면, 바로 현서브 블록의 복호화를 행하기 위해 스텝 507로 진행한다. 이 스텝 503에서는, 문맥 정보 Ict를 참조하여 현서브 블록이 화면간 예측을 이용한 것이면, 바로 현서브 블록의 복호화를 행하기 위해 스텝 507로 진행한다.

스텝 504에서는, 현복호화 서브 블록이 참조하는 주변에 서브 블록이 모두, 참조 가능한 영역이 아니면(도 7의 (e)), 바로 현서브 블록의 복호화를 행하기 위해 스텝 507로 진행하고,

스텝 507에서는, 현서브 블록의 부호화를 행할 것을 각 부(24, 25, 26)에 지 시한다.

스텝 511에서는, 스텝 507의 결과를 받아, 현화소 블록에 속하는 모든 서브 블록의 복호화가 완료된 경우, 현화소 블록의 복호를 완료한다.

또한 상술한 화상 처리 방법은, 화상 처리 프로그램으로서 표현할 수 있다. 즉,

(1) 문맥 정보로부터 예측 방향을 판독하는 수순과, 판독한 예측 방향에 기초하여, 순차적으로 부호화할 복수의 서브 블록의 부호화 순서를 적응적으로 변경하면서 부호화 처리를 행하는 수순을 컴퓨터에 실행시키는 화상 부호화 처리 프로그램이며, 또한

(2) 문맥 정보로부터 예측 방향을 판독하는 수순과, 판독한 예측 방향에 기초하여, 순차적으로 복호화할 복수의 서브 블록의 복호화 순서를 적응적으로 변경하면서 복호화 처리를 행하는 수순을 컴퓨터에 실행시키는 화상 복호화 처리 프로그램이다.

이상 상술한 본 발명의 실시 양태는, 이하와 같다.

<부기 1>

화면을 구성하는 화소 블록의 각각을 복수의 서브 블록으로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 그 복수의 서브 블록을 순번대로 부호화하는 화상 처리 방법으로서,

상기 문맥 정보로부터 상기 예측 방향을 판독하는 판독 스텝과,

판독한 상기 예측 방향에 기초하여, 순차적으로 부호화할 상기 복수의 서브 블록의 부호화 순서를, 적응적으로 변경하면서 부호화 처리를 행하는 부호화 스텝

을 갖는 것을 특징으로 하는 화상 처리 방법.

<부기 2>

상기 화소 블록 내에서 부호화를 개시하는 선두 서브 블록을 설정하는 선두 설정 스텝과,

상기 선두 서브 블록에 인접하는 1 또는 복수의 미부호화 서브 블록으로서, 그 선두 서브 블록의 부호화를 위해 참조할 참조 서브 블록에 대하여, 상기 문맥 정보 내의 상기 예측 방향에 기초하여, 그 부호화를 보다 빠르게 완료시킬 순서대로 높은 우선도를 할당하는 우선도 부여 스텝을 상기 판독 스텝 후에 갖고,

최고 우선도가 할당된 상기 참조 서브 블록으로부터 순서대로 상기 부호화 스텝을 실행하는 것을 특징으로 하는 부기 1에 기재된 화상 처리 방법.

<부기 3>

최저 우선도가 할당된 상기 참조 서브 블록의 부호화가 완료된 후라도 아직, 상기 화소 블록 내에 미부호화 서브 블록이 남을 때, 상기 선두 설정 스텝, 상기 우선도 부여 스텝 및 상기 부호화 스텝을 반복하여 실행하는 것을 특징으로 하는 부기 2에 기재된 화상 처리 방법.

<부기 4>

상기 선두 설정 스텝에서 상기 선두 서브 블록을 지정하는 지정 정보를, 상기 문맥 정보 내에 포함시켜 또는 그 문맥 정보의 부가 정보로서, 복호화기측에 송신하는 송신 스텝을 갖는 것을 특징으로 하는 부기 2 또는 3에 기재된 화상 처리 방법.

<부기 5>

상기 우선도 부여 스텝은, 상기 참조 서브 블록이 미부호화 서브 블록일 때에만 실행하고, 그 참조 서브 블록의 부호화가 이미 완료되어 있을 때에는, 그 참조 서브 블록을 참조하여 순시로 상기 부호화 스텝을 실행하는 것을 특징으로 하는 부기 2에 기재된 화상 처리 방법.

<부기 6>

상기 우선도 부여 스텝은, 상기 참조 서브 블록이 미부호화 서브 블록일 때에만 실행하고, 현부호화 대상 서브 블록의 모든 인접 서브 블록이, 화면의 단부 서브 블록이거나, 혹은 보다 낮은 우선도의 미부호화 서브 블록일 때, 현부호화 대상 서브 블록을 순시로 부호화하는 것을 특징으로 하는 부기 2에 기재된 화상 처리 방법.

<부기 7>

상기 부호화 스텝의 실행 시에, 상기 우선도가 낮은 서브 블록이 이것보다 우선도가 높은 서브 블록을 참조하고자 할 때, 그 참조를 금지하는 금지 스텝을 포함하는 것을 특징으로 하는 부기 2에 기재된 화상 처리 방법.

<부기 8>

화면을 구성하는 화소 블록의 각각을 복수의 서브 블록으로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 그 복수의 서브 블록을 순번대로 복호화하는 화상 처리 방법으로서,

상기 문맥 정보로부터 상기 예측 방향을 판독하는 판독 스텝과,

판독한 상기 예측 방향에 기초하여, 순차적으로 복호화할 상기 복수의 서브 블록의 복호화 순서를, 적응적으로 변경하면서 복호화 처리를 행하는 복호화 스텝

을 갖는 것을 특징으로 하는 화상 처리 방법.

<부기 9>

상기 화소 블록 내에서 복호화를 개시하는 선두 서브 블록을 설정하는 선두 설정 스텝과,

상기 선두 서브 블록에 인접하는 1 또는 복수의 미복호화 서브 블록으로서, 그 선두 서브 블록의 복호화를 위해 참조할 참조 서브 블록에 대해, 상기 문맥 정보 내의 상기 예측 방향에 기초하여, 그 복호화를 보다 빠르게 완료시킬 순서대로 높은 우선도를 할당하는 우선도 부여 스텝을 상기 판독 스텝 후에 갖고,

최고 우선도가 할당된 상기 참조 서브 블록으로부터 순서대로 상기 복호화 스텝을 실행하는 것을 특징으로 하는 부기 8에 기재된 화상 처리 방법.

<부기 10>

최저 우선도가 할당된 상기 참조 서브 블록의 복호화가 완료된 후라도 아직, 상기 화소 블록 내에 미복호화 서브 블록이 남을 때, 상기 선두 설정 스텝, 상기 우선도 부여 스텝 및 상기 복호화 스텝을 반복하여 실행하는 것을 특징으로 하는 부기 9에 기재된 화상 처리 방법.

<부기 11>

상기 선두 설정 스텝에서 상기 선두 서브 블록을 지정하는 지정 정보를, 상 기 문맥 정보 내에 포함시켜 또는 그 문맥 정보의 부가 정보로서, 부호기측으로부터 수신하는 수신 스텝을 갖는 것을 특징으로 하는 부기 9 또는 10에 기재된 화상 처리 방법.

<부기 12>

상기 우선도 부여 스텝은, 상기 참조 서브 블록이 미복호화 서브 블록일 때에만 실행하고, 그 참조 서브 블록의 복호화가 이미 완료되어 있을 때에는, 그 참조 서브 블록을 참조하여 순시로 상기 복호화 스텝을 실행하는 것을 특징으로 하는 부기 9에 기재된 화상 처리 방법.

<부기 13>

상기 우선도 부여 스텝은, 상기 참조 서브 블록이 미복호화 서브 블록일 때에만 실행하고, 현복호화 대상 서브 블록의 모든 인접 서브 블록이, 화면의 단부 서브 블록이거나, 혹은 보다 낮은 우선도의 미복호화 서브 블록일 때, 현복호화 대상 서브 블록을 순시로 복호화하는 것을 특징으로 하는 부기 9에 기재된 화상 처리 방법.

<부기 14>

상기 부호화 스텝의 실행 시에, 상기 우선도가 낮은 서브 블록이 이것보다 우선도가 높은 서브 블록을 참조하고자 할 때, 그 참조를 금지하는 금지 스텝을 갖는 것을 특징으로 하는 부기 9에 기재된 화상 처리 방법.

<부기 15>

메모리에 저장된 부호화 전의 복수의 서브 블록으로 이루어지는 원화상으로 부터 각 서브 블록마다의 문맥 정보를 생성하는 문맥 생성부와,

상기 문맥 정보를 부호화하여 문맥 비트열을 출력하는 문맥 부호화부와,

상기 메모리에 저장된 부호화 후의 서브 블록으로 이루어지는 참조 화상을 기초로, 상기 문맥 정보를 참조하여 예측 화상을 생성하는 예측부와,

상기 원화상과 상기 예측 화상의 차분에 기초하여 소정의 계수 정보를 생성하는 차분 처리부와,

상기 계수 정보를 부호화하여 계수 비트열을 출력하는 계수 부호화부를 구비하고,

상기 문맥 비트열과 상기 계수 비트열을 합성하여 이루어지는 부호화 비트열을 복호화기측에 송신하는 부호화기로서,

상기 문맥 정보를 입력받아 그 문맥 정보에 포함되는, 상기 원화상의 화면 내 또는 화면간의 예측 방향에 기초하여, 상기 복수의 서브 블록의 부호화 순서를 결정하고 부호화 순서 정보로서 출력하는 부호화 순서 제어 기능부를 더 구비하고, 상기 예측부, 상기 차분 처리부 및 상기 계수 부호화부는, 각각이 처리할 상기 서브 블록의 처리 순서를, 상기 부호화 순서 제어 기능부로부터의 상기 부호화 순서 정보에 따라서 설정하는 것을 특징으로 하는 부호화기.

<부기 16>

상기 부호화 순서 제어 기능부는,

상기 문맥 정보를 판독하는 문맥 판독부와,

적어도 상기 문맥 정보를 참조하여, 현부호화 대상 서브 블록의 순시 부호화 가 가능한지의 여부를 판정하여, 가능할 때에는, 그 부호화 위치 정보를 상기 부호화 순서 정보로서 출력하고, 가능하지 않을 때에는, 상기 문맥 정보에 포함되는 상기 예측 방향을 나타내는 예측 정보를 출력하는 부호화 처리 판정부와,

적어도 상기 예측 정보를 입력으로 하여, 상기 현부호화 대상 서브 블록에 인접하는 미부호화 서브 블록으로서 그 현부호화 대상 서브 블록의 부호화를 위해 참조할 참조 블록에 대해, 그 부호화를 빠르게 완료시킬 순서대로 높은 우선도를 할당하고 그 할당 위치를 할당 위치 정보로서 출력하는 우선도 할당부와,

적어도 상기 할당 위치 정보 및 상기 부호화 위치 정보를 입력으로 하여, 차회 부호화 처리 위치 정보 또는 초기 부호화 처리 위치 정보를, 상기 부호화 순서 정보로서 출력함과 함께 그 차회 처리 위치 정보를 상기 문맥 판독부에 귀환하는 처리 위치 결정부

로 이루어지는 것을 특징으로 하는 부기 15에 기재된 부호화기.

<부기 17>

부호화기로부터의 부호화 비트열에 포함되는 문맥 비트열을 입력받아 이것을 복호화하여 문맥 정보를 출력하는 문맥 복호화부와,

메모리에 저장된 복호화 후의 서브 블록으로 이루어지는 참조 화상을 기초로, 상기 문맥 정보를 참조하여 예측 화상을 생성하여 출력하는 예측부와,

상기 부호화기로부터의 상기 부호화 비트열에 포함되는 계수 비트열을 입력받아 이것을 복호화하여 계수 정보를 출력하는 계수 복호화부와,

상기 예측부로부터의 상기 예측 화상과, 상기 계수 복호화부로부터의 상기 계수 정보로부터 복호 화상을 생성하여 상기 메모리에 저장하는 가산 처리부

를 구비하는 복호화기로서,

상기 문맥 정보를 입력받아 그 문맥 정보에 포함되는, 원화상의 화면 내 또는 화면간의 예측 방향에 기초하여, 상기 복수의 서브 블록의 복호화 순서를 결정하고 복호화 순서 정보로서 출력하는 복호화 순서 제어 기능부를 더 구비하고, 상기 예측부, 상기 가산 처리부 및 상기 계수 복호화부는, 각각이 처리할 상기 서브 블록의 처리 순서를, 상기 복호화 순서 제어 기능부로부터의 상기 복호화 순서 정보에 따라서 설정하는 것을 특징으로 하는 복호화기.

<부기 18>

상기 복호화 순서 제어 기능부는,

상기 문맥 정보를 판독하는 문맥 판독부와,

적어도 상기 문맥 정보를 참조하여, 현복호화 대상 서브 블록의 순시 복호화가 가능한지의 여부를 판정하여, 가능할 때에는, 그 복호화 위치 정보를 상기 복호화 순서 정보로서 출력하고, 가능하지 않을 때에는, 상기 문맥 정보에 포함되는 상기 예측 방향을 나타내는 예측 정보를 출력하는 복호화 처리 판정부와,

적어도 상기 예측 정보를 입력으로 하여, 상기 현복호화 대상 서브 블록에 인접하는 미복호화 서브 블록으로서 그 현복호화 대상 서브 블록의 복호화를 위해 참조할 참조 블록에 대하여, 그 복호화를 빠르게 완료시킬 순서대로 높은 우선도를 할당하고 그 할당 위치를 할당 위치 정보로서 출력하는 우선도 할당부와,

적어도, 상기 할당 위치 정보와 상기 복호화 위치 정보를 입력으로 하여, 차 회 복호화 처리 위치 정보 또는 초기 복호화 처리 위치 정보를, 상기 문맥 판독부에 귀환하는 처리 위치 결정부

로 이루어지는 것을 특징으로 하는 부기 17에 기재된 복호화기.

<부기 19>

화면을 구성하는 화소 블록의 각각을 복수의 서브 블록으로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 그 복수의 서브 블록을 순번대로 부호화하는 화상 처리 프로그램으로서, 컴퓨터에,

상기 문맥 정보로부터 상기 예측 방향을 판독하는 수순과,

판독한 상기 예측 방향에 기초하여, 순차적으로 부호화할 상기 복수의 서브 블록의 부호화 순서를 적응적으로 변경하면서 부호화 처리를 행하는 수순

을 실행시키는 것을 특징으로 하는 화상 처리 프로그램.

<부기 20>

화면을 구성하는 화소 블록의 각각을 복수의 서브 블록으로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 그 복수의 서브 블록을 순번대로 복호화하는 화상 처리 프로그램으로서, 컴퓨터에,

상기 문맥 정보로부터 상기 예측 방향을 판독하는 수순과,

판독한 상기 예측 방향에 기초하여, 순차적으로 복호화할 상기 복수의 서브 블록의 복호화 순서를 적응적으로 변경하면서 복호화 처리를 행하는 수순

을 실행시키는 것을 특징으로 하는 화상 처리 프로그램.

도 1의 (A)는 종래의 화상 처리를, (B)는 본 발명의 화상 처리를, 각각 개념적으로 도시하는 도면.

도 2는 본 발명에 따른 부호화기의 실시예를 도시하는 도면.

도 3은 본 발명에 따른 복호화기의 실시예를 도시하는 도면.

도 4는 부호화 순서 제어 기능부(13)의 구체예를 도시하는 도면.

도 5는 복호화 순서 제어 기능부(23)의 구체예를 도시하는 도면.

도 6은 부호화 순서 제어 기능부(13)의 제어 알고리즘을 도시하는 도면(그 1).

도 7은 부호화 순서 제어 기능부(13)의 제어 알고리즘을 도시하는 도면(그 2).

도 8은 예측 방향과 우선도 할당 사이의 규칙(일례)을 도시하는 도면.

도 9는 화소 블록의 주변 상황의 일례를 도시하는 도면.

도 10은 부호화 순서 제어의 처리를 설명하는 플로우차트(그 1).

도 11은 부호화 순서 제어의 처리를 설명하는 플로우차트(그 2).

도 12는 복호화 순서 제어의 처리를 설명하는 플로우차트(그 1).

도 13은 복호화 순서 제어의 처리를 설명하는 플로우차트(그 2).

도 14는 일반적인 부호화 순서(A) 및 최적의 부호화 순서(B)를 도시하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

10 : 부호화기

20 : 복호화기

11, 21 : 프레임 메모리

12, 22 : 문맥 부호화부, 문맥 복호화부

13, 23 : 부호화 순서 제어 기능부, 복호화 순서 제어 기능부

14, 24 : 예측부

15, 25 : 차분 처리부, 가산 처리부

16, 26 : 계수 부호화부, 계수 복호화부

17 : 문맥 생성부

18 : 합성 수단

31, 41 : 문맥 정보 판독부

32, 42 : 부호화 처리 판정부, 복호화 처리 판정부

33, 43 : 우선도 할당부

34, 44 : 차회 처리 위치 결정부

Ict : 문맥 정보

IMpr : 예측 화상

Ico : 계수 정보

Bco : 계수 비트열

Bct : 문맥 비트열

IMrf : 참조 화상

Ben : 부호화 비트열

Ieo : 부호화 순서 정보

Ido : 복호화 순서 정보

IMde : 복호 화상

Ipr : 예측 (방향) 정보

Ial : 할당 위치 정보

Claims (10)

1. 화면을 구성하는 화소 블록의 각각을 복수의 서브 블록으로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 상기 복수의 서브 블록을 순번대로 부호화하는 화상 처리 방법으로서,

   상기 문맥 정보로부터 상기 예측 방향을 판독하는 판독 스텝과,

   판독한 상기 예측 방향에 기초하여, 순차적으로 부호화할 상기 복수의 서브 블록의 부호화 순서를, 적응적으로 변경하면서 부호화 처리를 행하는 부호화 스텝

   을 갖는 것을 특징으로 하는 화상 처리 방법.
2. 제1항에 있어서,

   상기 화소 블록 내에서 부호화를 개시하는 선두 서브 블록을 설정하는 선두 설정 스텝과,

   상기 선두 서브 블록에 인접하는 1 또는 복수의 미부호화 서브 블록으로서, 상기 선두 서브 블록의 부호화를 위해 참조할 참조 서브 블록에 대하여, 상기 문맥 정보 내의 상기 예측 방향에 기초하여, 그 부호화를 최초로 완료시킬 참조 블록에 높은 우선도를 할당하는 우선도 부여 스텝을, 상기 판독 스텝 후에 갖고,

   최고 우선도가 할당된 상기 참조 서브 블록으로부터 순서대로 상기 부호화 스텝을 실행하는 것을 특징으로 하는 화상 처리 방법.
3. 화면을 구성하는 화소 블록의 각각을 복수의 서브 블록으로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 상기 복수의 서브 블록을 순번대로 복호화하는 화상 처리 방법으로서,

   상기 문맥 정보로부터 상기 예측 방향을 판독하는 판독 스텝과,

   판독한 상기 예측 방향에 기초하여, 순차적으로 복호화할 상기 복수의 서브 블록의 복호화 순서를, 적응적으로 변경하면서 복호화 처리를 행하는 복호화 스텝

   을 갖는 것을 특징으로 하는 화상 처리 방법.
4. 제3항에 있어서,

   상기 화소 블록 내에서 복호화를 개시하는 선두 서브 블록을 설정하는 선두 설정 스텝과,

   상기 선두 서브 블록에 인접하는 1 또는 복수의 미복호화 서브 블록으로서, 상기 선두 서브 블록의 복호화를 위해 참조할 참조 서브 블록에 대하여, 상기 문맥 정보 내의 상기 예측 방향에 기초하여, 그 복호화를 최초로 완료시킬 참조 블록에 높은 우선도를 할당하는 우선도 부여 스텝을, 상기 판독 스텝 후에 갖고,

   최고 우선도가 할당된 상기 참조 서브 블록으로부터 순서대로 상기 복호화 스텝을 실행하는 것을 특징으로 하는 화상 처리 방법.
5. 메모리에 저장된 부호화 전의 복수의 서브 블록으로 이루어지는 원화상으로부터 각 서브 블록마다의 문맥 정보를 생성하는 문맥 생성부와,

   상기 문맥 정보를 부호화하여 문맥 비트열을 출력하는 문맥 부호화부와,

   상기 메모리에 저장된 부호화 후의 서브 블록으로 이루어지는 참조 화상에 기초하여, 상기 문맥 정보를 참조하여 예측 화상을 생성하는 예측부와,

   상기 원화상과 상기 예측 화상과의 차분에 기초하여 소정의 계수 정보를 생성하는 차분 처리부와,

   상기 계수 정보를 부호화하여 계수 비트열을 출력하는 계수 부호화부

   를 구비하고,

   상기 문맥 비트열과 상기 계수 비트열을 합성하여 이루어지는 부호화 비트열을 복호화기측에 송신하는 부호화기로서,

   상기 문맥 정보를 입력받아 그 문맥 정보에 포함되는, 상기 원화상의 화면 내 또는 화면간의 예측 방향에 기초하여, 상기 복수의 서브 블록의 부호화 순서를 결정하고 부호화 순서 정보로서 출력하는 부호화 순서 제어 기능부를 더 구비하고, 상기 예측부, 상기 차분 처리부 및 상기 계수 부호화부는, 각각이 처리할 상기 서브 블록의 처리 순서를, 상기 부호화 순서 제어 기능부로부터의 상기 부호화 순서 정보에 따라서 설정하는 것을 특징으로 하는 부호화기.
6. 제5항에 있어서,

   상기 부호화 순서 제어 기능부는,

   상기 문맥 정보를 판독하는 문맥 판독부와,

   적어도 상기 문맥 정보를 참조하여, 현부호화 대상 서브 블록을, 상기 문맥 정보의 판독 후 바로 부호화가 가능한지의 여부를 판정하여, 가능할 때에는, 그 부호화 위치 정보를 상기 부호화 순서 정보로서 출력하고, 가능하지 않을 때에는, 상기 문맥 정보에 포함되는 상기 예측 방향을 나타내는 예측 정보를 출력하는 부호화 처리 판정부와,

   적어도 상기 예측 정보를 입력으로 하여, 상기 현부호화 대상 서브 블록에 인접하는 미부호화 서브 블록으로서 상기 현부호화 대상 서브 블록의 부호화를 위해 참조할 참조 블록에 대하여, 그 부호화를 최초로 완료시킬 참조 블록에 높은 우선도를 할당하고 그 할당 위치를 할당 위치 정보로서 출력하는 우선도 할당부와,

   적어도 상기 할당 위치 정보 및 상기 부호화 위치 정보를 입력으로 하여, 차회 부호화 처리 위치 정보 또는 초기 부호화 처리 위치 정보를, 상기 부호화 순서 정보로서 출력함과 함께 상기 차회 처리 위치 정보를 상기 문맥 판독부에 귀환하는 처리 위치 결정부

   로 이루어지는 것을 특징으로 하는 부호화기.
7. 부호화기로부터의 부호화 비트열에 포함되는 문맥 비트열을 입력받아 이것을 복호화하여 문맥 정보를 출력하는 문맥 복호화부와,

   메모리에 저장된 복호화 후의 서브 블록으로 이루어지는 참조 화상을 기초로, 상기 문맥 정보를 참조하여 예측 화상을 생성하여 출력하는 예측부와,

   상기 부호화기로부터의 상기 부호화 비트열에 포함되는 계수 비트열을 입력받아 이것을 복호화하여 계수 정보를 출력하는 계수 복호화부와,

   상기 예측부로부터의 상기 예측 화상과, 상기 계수 복호화부로부터의 상기 계수 정보로부터 복호 화상을 생성하여 상기 메모리에 저장하는 가산 처리부

   를 구비하는 복호화기로서,

   상기 문맥 정보를 입력받아 그 문맥 정보에 포함되는, 원화상의 화면 내 또는 화면간의 예측 방향을 기초로, 상기 복수의 서브 블록의 복호화 순서를 결정하여 복호화 순서 정보로서 출력하는 복호화 순서 제어 기능부를 더 구비하고, 상기 예측부, 상기 가산 처리부 및 상기 계수 복호화부는, 각각이 처리할 상기 서브 블록의 처리 순서를, 상기 복호화 순서 제어 기능부로부터의 상기 복호화 순서 정보에 따라서 설정하는 것을 특징으로 하는 복호화기.
8. 제7항에 있어서,

   상기 복호화 순서 제어 기능부는,

   상기 문맥 정보를 판독하는 문맥 판독부와,

   적어도 상기 문맥 정보를 참조하여, 현복호화 대상 서브 블록을, 상기 문맥 정보의 판독 후 바로 복호화가 가능한지의 여부를 판정하여, 가능할 때에는, 그 복호화 위치 정보를 상기 복호화 순서 정보로서 출력하고, 가능하지 않을 때에는, 상기 문맥 정보에 포함되는 상기 예측 방향을 나타내는 예측 정보를 출력하는 복호화 처리 판정부와,

   적어도 상기 예측 정보를 입력으로 하여, 상기 현복호화 대상 서브 블록에 인접하는 미복호화 서브 블록으로서 상기 현복호화 대상 서브 블록의 복호화를 위해 참조할 참조 블록에 대하여, 그 복호화를 최초로 완료시킬 참조 블록에 높은 우선도를 할당하고 그 할당 위치를 할당 위치 정보로서 출력하는 우선도 할당부와,

   적어도, 상기 할당 위치 정보와 상기 복호화 위치 정보를 입력으로 하여, 차회 복호화 처리 위치 정보 또는 초기 복호화 처리 위치 정보를, 상기 문맥 판독부에 귀환하는 처리 위치 결정부

   로 이루어지는 것을 특징으로 하는 복호화기.
9. 화면을 구성하는 화소 블록의 각각을 복수의 서브 블록으로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 상기 복수의 서브 블록을 순번대로 부호화하는 화상 처리 프로그램을 기록한 컴퓨터 판독가능한 기록 매체로서,

   컴퓨터에,

   상기 문맥 정보로부터 상기 예측 방향을 판독하는 수순과,

   판독한 상기 예측 방향에 기초하여, 순차적으로 부호화할 상기 복수의 서브 블록의 부호화 순서를 적응적으로 변경하면서 부호화 처리를 행하는 수순

   을 실행시키는 것을 특징으로 하는 화상 처리 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
10. 화면을 구성하는 화소 블록의 각각을 복수의 서브 블록으로 분할하고, 화면 내 또는 화면간의 예측 방향을 적어도 지시하는 문맥 정보를 참조하면서, 상기 복수의 서브 블록을 순번대로 복호화하는 화상 처리 프로그램을 기록한 컴퓨터 판독가능한 기록 매체로서,

    컴퓨터에,

    상기 문맥 정보로부터 상기 예측 방향을 판독하는 수순과,

    판독한 상기 예측 방향에 기초하여, 순차적으로 복호화할 상기 복수의 서브 블록의 복호화 순서를 적응적으로 변경하면서 복호화 처리를 행하는 수순

    을 실행시키는 것을 특징으로 하는 화상 처리 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.

Images