KR100977101B1 - 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치 - Google Patents

Abstract

화상 부호화 방법은, 1화면에 대응하는 입력 화상신호를 복수의 화소블록신호로 분할하는 단계와, 예측화소와 부호화가 완료된 참조화소와의 거리에 따라 변경되는 수의 참조화소를 이용해서 복수의 예측모드마다 규정되어 있는 방향에 따라 예측화소를 외삽하는 화면 내 예측을 실행하여 예측화상신호와 예측모드정보를 생성하는 예측신호 생성단계, 화소블록신호와 상기 예측화상신호로 예측오차신호를 계산하는 단계, 예측오차신호를 이용해서 1개의 예측모드를 선택하는 예측모드 선택단계 및, 선택 예측모드에 근거한 예측오차신호를 이용해서 부호화를 실행하는 부호화 단계을 포함한다.

Description

화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화 장치 {IMAGE ENCODING/IMAGE DECODING METHOD AND IMAGE ENCODING/IMAGE DECODING APPARATUS}

본 발명은, 동화상 또는 정지화상을 위한 화상 부호화 방법 및 화상 복호화 방법과 화상 부호화 장치 및 화상 복호화 장치에 관한 것이다.

근래, 종래보다 대폭 부호화 효율을 향상시킨 동화상 부호화 방법이, ITU-T와 ISO/IEC의 공동으로, ITU-TRec. H. 264 및 ISO/IEC 14496-10(이하, H. 264라 함)으로서 권고되어 있다. ISO/IECMPEG-1, 2, 4, ITU-TH. 261, H. 263이라고 하는 종래의 부호화 방식은 직교변환 후의 주파수 영역(DCT 계수) 상에서의 프레임 내 예측을 실행하고, 변환계수의 부호량 삭감을 도모하고 있는데 대해, H. 264는 공간 영역(화소영역)에서의 방향 예측(비특허문헌 1)을 거두어들임으로써, 종래(ISO/IECMPEG-1, 2, 4)의 동화상 부호화 방식의 프레임 내 예측과 비교해서 높은 예측효율을 실현하고 있다.

H. 264 하이 프로파일(high profile) 등에서는, 휘도신호에 대해 3종류의 프레임 내 예측 방식이 규정되어 있고, 그 중의 하나를 매크로블록(16×16화소블록) 단위로 선택할 수 있는 방식으로 되어 있다. 예측 방식은 각각 4×4화소 예측, 8×8화소 예측, 16×16화소 예측이라 불리고 있다.

16×16화소 예측에서는, 4개의 부호화 모드가 규정되어 있고, 수직예측, 수평 예측, DC 예측, 평면 예측이라 불리고 있다. 복호 처리를 완료한 디블록킹 필터(deblocking filter) 적용 전의 주위의 매크로블록의 화소값을 참조화소값으로서 이용하고, 예측처리에 사용한다.

4×4화소 예측은, 매크로블록 내의 휘도신호를 16개의 4×4화소블록으로 분할하고, 각각의 4×4화소블록에 대해 9개의 모드의 어느 하나를 블록 단위로 선택한다. 9개의 모드는 이용 가능한 참조화소의 평균값으로 예측하는 DC 예측(모드 2)을 제외하고, 각각 22.5도씩의 예측방향을 가지고 있어, 참조화소를 이용해서 예측방향으로 외삽 보간을 실행하여 예측값을 생성한다. 4×4화소 예측의 모드정보는 1개의 매크로블록당 16개 필요하게 된다. 4×4화소 예측은 예측처리의 단위가 작기 때문에, 복잡한 텍스처(texture)를 가진 화상에 대해서도 비교적 효율이 높은 예측을 실행할 수 있지만, 예측방향에 대해 단순히 보간값을 복사할 뿐인 예측으로서, 참조화소로부터의 거리가 떨어질수록 예측오차가 증대한다고 하는 문제점이 있다.

8×8화소 예측은, 매크로블록 내의 휘도신호를 4개의 8×8화소블록으로 분할하고, 각각의 8×8화소블록에 대해 9개의 모드의 어느 하나를 블록 단위로 선택한다. 예측모드는 4×4화소 예측과 같은 프레임워크(framework)에 의해 설계되어 있지만, 이미 부호화 완료 참조화소에 대해 3탭의 필터링을 실행하고, 예측에 이용하 는 참조화소의 평탄화를 실행함으로써 부호화 왜곡을 평균화하는 처리가 포함되어 있다. 그러나, 4×4화소 예측과 마찬가지로, 참조화소로부터 거리가 떨어짐에 따라, 예측값이 맞지 않게 되는 문제가 있다. 특히 참조화소로부터의 거리가 4×4화소 예측보다 멀어지기 때문에, 복잡한 텍스처를 가진 화상에서는 예측 정밀도를 기대할 수 없다고 하는 문제가 있다.

8×8화소 예측은, H. 264 하이 프로파일에만 규정되어 있는 예측 단위로, 특히 고해상도 화상에서의 부호화 효율 향상을 위해 도입되어 있다. 4×4화소 예측에서는 4×4화소 변환 양자화 블록 사이즈가 적용되고, 8×8화소 예측에서는 8×8화소 변환 양자화 블록 사이즈가 적용된다. 즉, 예측블록 형상에 따라 변환 양자화 블록 사이즈가 규정되어 있다. 예측블록 형상은, 메인 프로파일과 하이 프로파일의 호환성을 고려하기 때문에, 매크로블록 내에서 4×4화소 예측과 8×8화소 예측을 혼재하는 것이 규격상 가능하지 않은 구조로 되어 있다.

H. 264의 4×4화소 예측 또는 8×8화소 예측에서는 모드정보의 부호량을 삭감하기 위해, 인접 블록의 모드정보의 상관의 높이를 이용해서 모드정보의 예측을 실행함으로써 부호량의 삭감을 실행하고 있다. 모드정보의 예측이 맞은 때는 1비트의 플래그를 부호화하고, 예측이 맞지 않은 때에는 3비트의 데이터를 더 부호화함으로써, 모드정보의 부호량을 삭감하고 있다. 그러나, 매크로블록 내에서 오차신호가 거의 발생하지 않은 때에, 4×4화소 예측이 선택되어 있는 경우, 최저로도 16비트(최대 64비트)를 부호화하지 않으면 안되는 바, 부호화 효율이 대폭 저하하는 일이 있다.

일본국 특개 2005-159947호는, 프레임 내 예측방법의 예측효율을 향상시키는 수법으로서, 화면 내에서의 블록 매칭을 실행하고, 부호화 완료 참조화상으로부터 예측블록의 예측값을 보전해서 예측을 실행하는 방식을 제안하고 있다. 이 방식은 화면 내의 이미 부호화가 완료된 임의의 블록의 화상과 예측 대상으로 하는 블록의 화상이 비슷한 것을 전제로 한 예측방법으로서, 화면 내의 상관이 낮을 때에 예측 정밀도가 나쁘다고 하는 문제가 있다. 또, 예측에 이용하는 참조화상의 위치를 나타내는 위치 변위량을 부호화하지 않으면 안되어, 모드정보의 부호량이 증가하는 경우가 있다.

이상 설명한 바와 같이, H. 264 하이 프로파일에 규정되어 있는 방법으로 부호화 완료 참조화상으로부터 예측모드에 따라 보간화소를 생성하고, 예측모드에 의해 규정되어 있는 방향에 대해 보간화소를 복사해서 예측화상신호를 생성하는 경우, 예측방향에 대해 거리가 떨어진 예측화소일수록 예측오차가 증대하는, 매크로블록 내에서 예측블록 형상의 혼재가 가능하지 않은 모드정보의 부호량을 삭감할 수 없다고 하는 문제가 있었다.

본 발명의 형태는, 1화면에 대응하는 입력 화상신호를 복수의 화소블록신호로 분할하는 단계와, 예측화소와 부호화가 완료된 참조화소와의 거리에 따라 변경되는 수의 참조화소를 이용해서 복수의 예측모드마다 규정되어 있는 방향에 따라 상기 예측화소를 외삽하는 화면 내 예측을 실행하여 예측화상신호와 예측모드정보를 생성하는 예측신호 생성단계, 상기 화소블록신호와 상기 예측화상신호로부터 예측오차신호를 계산하는 단계, 상기 예측오차신호를 이용해서 1개의 예측모드를 선택하는 예측모드 선택단계 및, 상기 선택되어 있는 예측모드에 근거한 예측오차신호를 이용해서 부호화를 실행하는 부호화 단계를 포함한 화상 부호화 방법을 제공한다.

본 발명의 제2의 형태는, 예측모드정보를 포함한 복호화 화상신호를 생성하기 위해 입력 부호화 화상신호를 복호하는 단계와, 복호화 화상신호의 예측모드정보를 기초로 선택 예측모드에 따라 부호화가 완료된 참조화소와 예측화소와의 거리에 따라 예측에 이용하는 참조화소의 수 및 예측화소 생성순서를 변경하는 단계, 화소 단위로 외삽을 행하는 화면 내 예측을 실행함으로써 예측화상신호를 생성하는 예측신호 생성단계, 상기 복호화 화상신호를 기초로 예측오차신호를 생성하는 예측오차신호 생성단계 및, 예측화상신호와 예측오차신호를 가산해서 복호화상을 생성하는 복호화상 생성단계를 포함한 화상 복호화 방법을 제공한다.

도 1은 본 발명의 제1실시형태에 따른 동화상 부호화 장치의 구성을 나타낸 블록도이다.

도 2는 동 실시형태에 따른 프레임 내 예측부의 구성을 나타낸 블록도이다.

도 3은 동 실시형태에 따른 화상 부호화 장치의 플로우차트이다.

도 4a는 동 실시형태에 따른 예측순서의 개략을 나타낸 도면이다.

도 4b는 동 실시형태에 따른 블록 형상의 개략을 나타낸 도면이다.

도 4c는 동 실시형태에 따른 블록 형상의 개략을 나타낸 도면이다.

도 4d는 동 실시형태에 따른 블록 형상의 개략을 나타낸 도면이다.

도 4e는 동 실시형태에 따른 블록 형상의 개략을 나타낸 도면이다.

도 5a는 동 실시형태에 따른 방향 예측을 나타낸 도면이다.

도 5b는 동 실시형태에 따른 방향 예측에서의 예측블록과 참조화상의 관계를 나타낸 도면이다.

도 5c는 동 실시형태에 따른 예측방법을 나타낸 도면이다.

도 5d는 동 실시형태에 따른 예측방법을 나타낸 도면이다.

도 6a는 동 실시형태에 따른 화소적응 예측에서의 예측블록과 참조화상의 관계를 나타낸 도면이다.

도 6b는 동 실시형태에 따른 화소적응 수직예측을 나타낸 도면이다.

도 6c는 동 실시형태에 따른 화소적응 예측을 나타낸 도면이다.

도 7은 동 실시형태에 따른 화소적응 수직예측 시에 이용되는 참조화상의 수와 필터계수의 가중 테이블(weighted table)을 나타낸 도면이다.

도 8은 동 실시형태에 따른 예측모드의 예측에 이용되는 인접 블록을 나타낸 도면이다.

도 9는 동 실시형태에 따른 방향 예측과 화소적응 예측의 모드 명칭을 나타낸 도면이다.

도 10은 본 발명의 제2의 실시형태에 따른 동화상 부호화 장치의 구성을 나 타낸 도면이다.

도 11은 동 실시형태에 따른 프레임 내 예측부의 구성을 나타낸 블록도이다.

도 12는 동 실시형태에 따른 화상 부호화 장치의 플로우차트이다.

도 13은 동 실시형태에 따른 신택스 구조의 개략도이다.

도 14는 동 실시형태에 따른 시퀀스 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.

도 15는 동 실시형태에 따른 픽처 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.

도 16은 동 실시형태에 따른 슬라이스 헤더 신택스의 데이터 구조를 나타낸 도면이다.

도 17은 동 실시형태에 따른 매크로블록 레이어 신택스의 데이터 구조를 나타낸 도면이다.

도 18은 동 실시형태에 따른 시퀀스 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.

도 19는 동 실시형태에 따른 픽처 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.

도 20은 동 실시형태에 따른 슬라이스 헤더 신택스의 데이터 구조를 나타낸 도면이다.

도 21a는 동 실시형태에 따른 매크로블록 레이어 신택스의 데이터 구조를 나타낸 도면이다.

도 21b는 동 실시형태에 따른 매크로블록 예측 신택스의 데이터 구조를 나타낸 도면이다.

도 22는 본 발명의 제3실시형태에 따른 동화상 부호화 장치의 구성을 나타낸 블록도이다.

도 23은 동 실시형태에 따른 시퀀스 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.

도 24는 동 실시형태에 따른 픽처 파라미터 세트 신택스의 데이터 구조를 나타낸 도면이다.

도 25는 동 실시형태에 따른 슬라이스 헤더 신택스의 데이터 구조를 나타낸 도면이다.

도 26은 동 실시형태에 따른 매크로블록 레이어 신택스의 데이터 구조를 나타낸 도면이다.

도 27은 동 실시형태에 따른 mb_type의 데이터 구조를 나타낸 도면이다.

도 28a는 동 실시형태에 따른 블록 사이즈 절환의 데이터 구조를 나타낸 도면이다.

도 28b는 동 실시형태에 따른 블록 사이즈 절환(switching)의 데이터 구조를 나타낸 도면이다.

도 29는 본 발명의 제4실시형태에 따른 동화상 복호화 장치의 구성을 나타낸 블록도이다.

도 30은 동 실시형태에 따른 동화상 복호화 장치 내의 프레임 내 예측부를 나타낸 블록도이다.

도 31은 본 발명의 제5실시형태에 따른 동화상 복호화 장치의 구성을 나타낸 블록도이다.

이하, 첨부도면을 참조해서, 본 발명에 따른 동화상 부호화 방법 및 동화상 부호화 장치, 동화상 복호화 방법 및 동화상 복호화 장치의 최선의 실시형태를 상세히 설명한다.

(제1실시형태)

도 1에 나타낸 동화상 부호화 장치(100)는 동화상 신호를 복수의 소화소블록으로 분할해서 부호화하도록 구성된다. 이 동화상 부호화 장치(100)에는 블록 사이즈나 예측화상신호의 생성방법이 다른 복수의 프레임 예측모드가 준비되어 있다. 프레임 내 예측은, 프레임 내에서 예측이 닫혀 있는 예측 방식으로, 이미 부호화가 완료된 참조화소를 이용해서 예측 대상 블록을 예측한다. 본 실시형태에서는, 도 4a에 나타낸 바와 같이 왼쪽 위(左上)로부터 오른쪽 아래(右下)를 향해 부호화 처리가 이루어져 가는 것으로 한다.

동화상 부호화 장치(100)로 입력되고 있는 동화상 신호는 화면 분할부(101)에 의해 입력 화상신호(115)로서 복수의 소화소블록으로 분할된다. 분할되어 있는 입력 화상신호(115)의 일부가 프레임 내 예측부(102)로도 입력되고, 모드 선택 부(103), 변환 및 양자화부(107)를 매개로, 최종적으로 부호화 처리부(107)에 의해 부호화되어 부호화 데이터(113)로서 출력된다.

화면 분할부(101)는 각 화소블록이 도 4b에 나타낸 16×16화소의 블록으로 될 목적으로 동화상 신호를 복수의 화소블록으로 분할한다. 이 16×16화소블록은 매크로블록이라 불리고, 이하의 부호화 처리의 기본적인 처리 블록 사이즈로 되고 있다. 동화상 부호화 장치(100)는, 이 매크로블록마다 부호화 처리를 실행한다.

프레임 내 예측부(102)는 참조화상 메모리(106)에 일시 보존되어 있는 참조화소를 이용해서, 매크로블록 단위로 선택 가능한 모든 예측모드에 대해 외삽하여 예측화상신호(114)를 생성한다. 즉, 프레임 내 예측부(102)에서는, 화면 내 예측, 예컨대 프레임 내 예측에 의해 예측화소블록에서 취할 수 있는 모드의 모든 예측화상신호(114)가 생성된다. 다만, H. 264의 프레임 내 예측(4×4화소 예측(도 4c 참조) 또는 8×8화소 예측(도 4d 참조))과 같이 매크로 블록 내에서 국소 복호화상을 작성하지 않으면 다음의 예측이 실행되지 않는 경우에는, 프레임 내 예측부(102) 내부에서 변환 및 양자화, 역양자화 및 역변환을 실행해도 좋지만, 예측화상신호는 프레임 내 예측부(102)만에서 생성된다.

프레임 내 예측부(102)에서 생성되어 있는 예측화상신호(114)는 모드 선택부(103)로 보내진다. 모드 선택부(103)는 입력 화상신호(115)로부터 예측화상신호(114)를 차감한 예측오차신호(116)를 생성한다. 더욱이, 모드 선택부(103)는 프레임 내 예측부(102)에서 예측되어 있는 모드정보와 생성되어 있는 예측오차신호(116)를 기초로 예측모드를 선택한다. 보다 구체적으로 설명하면, 본 실시형태 에서는 다음 식과 같은 코스트(cost: 비용)를 이용한다.

K = SAD + λ×OH (1)

단, 모드정보를 OH, 예측오차신호의 절대합을 SAD로 하면 다음 식을 이용한다. λ는 정수로 주어지고, 양자화 폭이나 양자화 파라미터의 값에 기초하여 결정된다. 이와 같이 해서 얻어진 코스트를 기초로 예측모드가 결정된다. 코스트(K)가 가장 작은 값을 부여하는 예측모드가 최적 예측모드로서 선택된다.

본 실시형태에서는, 모드정보와 예측오차의 절대합을 이용하였지만, 모드정보만, 또는 예측오차의 절대합만을 이용해서 예측모드를 선택해도 좋다. 모드정보와 예측오차의 절대합을 아다마르 변환(Hadamard transform)하거나, 이들에 근사한 값을 이용해도 좋다. 더욱이, 입력 화상신호의 활동도(activity)를 이용해서 코스트를 작성해도 좋고, 양자화 폭, 양자화 파라미터를 이용해서 코스트 함수를 작성해도 좋다.

모드 선택부(103)는 변환 및 양자화부(104)에 접속되어 있고, 모드 선택부(103)에서 선택되어 있는 모드정보와 예측오차신호는 변환 및 양자화부(104)로 입력된다. 변환 및 양자화부(104)는 입력되고 있는 예측오차신호를 직교변환하여 변환계수 데이터를 생성한다. 본 실시형태에서는, 변환 및 양자화부(104)는 이산 코사인 변환 등을 이용해서 예측오차신호를 계수로 변환하고 있지만, 웨이브렛 변환(wavelet transform)이나 독립 성분 해석 등의 수법을 이용해서 예측오차신호를 계수로 변환해도 좋다. 변환 및 양자화부(104)는 변환계수를 양자화한다. 양자화에 필요하게 되는 양자화 파라미터는 부호화 제어부(108)에 의해 설정되어 있다.

양자화 후의 변환계수(117)는, 예측 정보(109), 양자화 파라미터 등의 예측방법에 관한 정보와 함께 부호화 처리부(107)로 출력된다. 부호화 처리부(107)는 입력되고 있는 예측 정보 등과 더불어, 양자화 후의 변환계수(117)를 엔트로피 부호화(entropy-encoding; 예컨대 허프만 부호화(Huffman encoding) 또는 산술 부호화 등)한다. 부호화 처리부(107)에서 엔트로피 부호화되어 있는 데이터는 다중화부(111)에 의해 다중화되고, 출력 버퍼(112)를 통해 부호화 데이터(113)로서 출력된다.

역양자화 및 역변환부(105)는 변환 및 양자화부(104)에 의해 양자화되어 있는 변환계수(117)를, 부호화 제어부(108)에서 설정되어 있는 양자화 파라미터에 따라 역양자화하고, 얻어진 변환계수에 대해 역변환(예컨대 역이산 코사인 변환 등)을 실행하여 변환계수를 예측오차신호(116)로 복호한다.

역양자화 및 역변환부(105)에 의해 복호되어 있는 예측오차신호(116)는 가산기(118)에 의해 모드 선택부(103)로부터 공급되는 선택 예측모드의 예측화상신호(114)와 가산된다. 가산신호는 복호화상신호(119)로 되어 참조화상 메모리(106)로 입력된다. 참조화상 메모리(106)는 복호화상신호(119)를 참조화상으로 축적한다. 이와 같이 참조화상 메모리(106)에 축적되어 있는 참조화상이, 프레임 내 예측부(102)에 의한 예측오차신호 등의 생성 시에 참조된다.

부호화 루프(도 1에서의 프레임 내 예측부(102) → 모드 선택부(103) → 변환 및 양자화부(104) → 역변환 및 역양자화부(105) → 참조화상 메모리라는 순서로 흐르는 처리)는 그 매크로 블록에서 선택 가능한 모든 예측모드에 대해 처리를 실행한 경우에 1회의 루프로 된다. 예측 매크로블록에 대해 당해 부호화 루프가 종료되면, 다음의 블록의 입력 화상신호(115)가 입력되고, 부호화가 실행된다.

부호화 제어부(108)는 발생 부호량의 피드백 제어 및 양자화 특성 제어, 모드 제어 등을 실행한다. 또, 부호화 제어부(108)는 발생 부호량의 제어를 실행하는 속도 제어(rate control)나, 예측부의 제어, 부호화 전체의 제어를 실행한다.

상술한 각 부의 기능은, 컴퓨터에 기억되어 있는 프로그램에 의해 실현할 수 있다.

본 발명에 따른 동화상 부호화 방법을 동화상 부호화 장치(100)가 실시하는 예를 도 2를 참조해서 설명한다. 도 2에 나타낸 바와 같이, 도 1과 공통하는 구성요소에는 동일한 부호를 붙이고 그 설명을 생략한다.

프레임 내 예측부(102)는 매크로블록 사이즈보다 작은 블록 사이즈의 예측도 실행하기 위해, 내부 모드 선택부(204), 내부 변환 및 양자화부(206), 내부 역양자화 및 역변환부(207), 내부 참조화상 메모리(209)를 가진다. 화소적응 예측부(201)와 방향 예측부(202)는 각각 복수의 예측모드를 갖지만, 예측방법이 다르다. 고정모드 예측부(203)는 화소적응 예측부(201)와 방향 예측부(202)의 예측방법을 이용해서 예측을 실행하고 있지만, 매크로블록 레벨로 모드정보를 보내지 않는 예측모드의 하나를 실행한다.

방향 예측부(202)와 화소적응 예측부(201)에 대해 상세히 설명한다. 이들 예측부는 참조화상 메모리(106)에 기억되어 있는 이미 복호가 완료된 참조화소를 이용해서 예측 대상으로 되는 블록을 예측한다. 예측모드는 9가지가 있고, 도 5a 에 나타낸 바와 같이 모드 2를 제외하고 각각 22.5도씩 다른 예측방향을 가지고 있다. 모드 2를 제외한 모드 0으로부터 모드 8까지 규정되어 있고, 모드 2는 방향 예측부(202)에서는 DC 예측으로 되어 있다. 방향 예측부(202)에서 행해진 방향 예측의 모드와 화소적응 예측부(201)에서 행해진 화소적응 예측의 모드의 명칭이 도 9에 나타내어져 있다. 4×4화소 예측의 예측블록과 참조화소와의 관계가 도 5b에 나타내어져 있다. 대문자 A로부터 M까지의 화소가 참조화소이고, 소문자 a로부터 p까지의 화소가 예측화소가다.

최초로, 방향 예측부(202)에 의한 예측방법을 설명한다. 방향 예측부(202)는 모드 2의 DC 예측이 선택되어 있는 경우, 다음 식 (2)에 따라 예측화소를 계산한다.

H = (A+B+C+D), V = (I+J+K+L) (2)

a∼p = (H+V+4) >> 3

참조화소를 이용할 수 없을 때는, 예측화소는 이용할 수 있는 참조화소의 평균값으로 예측된다. 이용할 수 있는 참조화소가 1개도 존재하지 않는 경우는, 부호화 장치의 최대 휘도값의 반의 값(8비트라면 128)에 의해 예측값이 계산된다. 그 밖의 모드가 선택되어 있는 경우, 방향 예측부(202)는 도 5a에 나타낸 예측방향에 대해, 참조화소로부터 보간되어 있는 예측값을 복사하는 예측방법을 이용한다. 구체적으로는, 모드 0(수직예측)이 선택되어 있는 경우의 예측값 생성방법을 다음 식 (3)에 기초해서 설명한다.

a, e, i, m = A

b, f, j, n = B

c, g, k, 0 = C

d, h, l, p = D (3)

이 예측모드는 참조화소 A로부터 D까지 이용할 수 있을 때만, 선택하는 것이 가능하다. 예측방법의 상세를 도 5c에 나타낸다. 참조화소 A∼D의 휘도값이 그대로 수직방향으로 예측화소에 복사되고, 예측값으로서 보전된다.

예측모드 4(직교 오른쪽 아래 예측)이 선택되어 있을 때의 예측방법을 다음 식 (4)에 기초해서 설명한다.

d = (B+(C<<1)+D+2) >> 2

c, h = (A+(B<<1)+C+2) >> 2

b, g, l = (M+(A<<1)+B+2) >> 2

a, f, k, p = (I+(M<<1)+A+2) >> 2

e, j, o = (J+(I<<1)+M+2) >> 2

i, n = (K+(J<<1)+I+2) >> 2

m = (L+(K<<1)+J+2) >> 2 (4)

이 예측모드는 참조화소 A로부터 D 및 I로부터 M까지 이용할 수 있을 때만 선택하는 것이 가능하다. 본 예측모드의 상세를 도 5d에 나타낸다. 3탭의 필터에 의해 생성되어 있는 값을 오른쪽 아래 45도 방향으로 예측화소에 복사하고, 예측값으로서 보전한다.

예측모드 0, 2, 4 이외의 예측방법에 관해서도 대략 마찬가지의 형태가 이용 되고 있는바, 예측방향에 대해 이용할 수 있는 참조화소로부터 보간값을 생성하고, 그 값을 예측방향에 따라 예측화소에 복사한다고 하는 예측을 실행한다.

화소적응 예측부(201)에 대해 설명한다. 화소적응 예측부(201)는 예측화소와 참조화소의 거리에 따라, 이용하는 참조화소의 수를 변경하는 예측을 실행하고 있어, 화소 단위로 예측값이 바뀐다. 프레임 내 예측은, 화상의 공간 상관을 이용한 예측으로서, 인접 화소 사이의 휘도값은 비슷하다고 하는 전제 하에서 예측값을 작성하고 있다. 예측화소와 이용 가능한 참조화소와의 거리가 떨어지면 이 전제가 성립하지 않게 되어, 예측오차가 증대하는 경향이 있다. 그래서, 예측화소와 참조화소와의 거리가 떨어진 경우, 그 떨어진 거리에 따라, 이용하는 참조화소를 늘림으로써, 예측오차의 저하를 경감한다. 더욱이, 이용하는 참조화소의 가중 테이블을 거리에 따라 변경함으로써, 보다 정밀도가 높은 예측값 생성이 가능해진다.

예측모드에 관해서는 도 5a에서 설명한 것과 동일하다. 도 6a에 참조화소와 예측블록의 관계를 나타내고 있다. 도 6a와 도 5b에 나타낸 참조화소와 예측화소는 1대 1로 대응하고 있지만, 예측식의 설명을 하기 쉽게 하기 위해, 다른 인덱스를 부여하고 있다. 참조화소는 화소 x00으로부터 x08까지와, 화소 x09, x18, x27, x36의 13개이다. 예측화소는 화소 x10으로부터 x13, x19로부터 x22, x28로부터 x31, x37로부터 x40까지의 16개이다. 화소 x14로부터 x17, x23으로부터 x26, x32로부터 x35, x41로부터 x44까지의 16화소는 예측 보조 화소로서, 예측 정밀도를 높이기 위해 이용된다.

화소적응 수직예측(모드 0)에 관해 예측값 생성방법을 상세히 설명한다. 도 6b에 화소적응 수직예측의 예측방법을 나타내고 있다. 도면으로부터 알 수 있는 바와 같이, 참조화소와 예측화소와의 거리가 떨어질수록, 많은 참조화소를 이용해서 예측값이 결정된다. 예컨대, 참조화소와 예측화소의 거리가 예측방향에 대해 1개 떨어진 x10에서는, x00, x01, x02의 3개의 참조화소를 이용해서 예측값이 생성된다. 참조화소로부터 예측방향에 대해 2개 떨어진 예측화소 x20에서는, x00, x01, x02, x03, x04의 5개의 참조화소를 이용해서 예측값이 생성된다. 참조화소로부터 예측방향에 대해 3개 떨어진 예측화소 x30에서는, x00, x01, x02, x03, x04, x05, x06의 7개의 참조화소를 이용해서 예측값이 생성된다. 참조화소로부터 예측방향에 대해 4개 떨어진 예측화소 x40에서는, x00, x01, x02, x03, x04, x05, x06, x07, x08의 9개의 참조화소를 이용해서 예측값이 생성된다.

구체적으로 예측값 생성방법을 다음 식 (5)에 따라 설명한다. 화소적응 수직예측에서는, 다음 식 (5)를 이용해서 예측화소를 계산한다.

x(n) = (X(n-d-1) + (X(n-d)<<1) + X(n-d+1) + 2) >> 2 (5)

여기서, n은 도 6a에서 나타낸 예측화소위치(x10으로부터 x13, x19로부터 x22, x28로부터 x31, x37로부터 x40)에 대응하는 인덱스를 나타낸다. d는 다음 식으로 주어진다.

d = (blk_num<<1) + 1 (6)

blk_num은 4×4화소블록일 때는 4, 그리고 8×8화소블록일 때는 8을 취한다.

이 예측 방식은, 이미 부호화가 완료된 참조화소를 이용해서 예측할 뿐만 아니라, 이미 예측이 완료된 예측화소를 이용해서 다음의 화소의 예측을 실행하고 있 다고 생각할 수도 있다. 도 6c는 이 개념을 나타내고 있다. 대상으로 하는 예측화소를 구하기 위해서는, 참조화소와 예측화소의 거리가 1개 작은 예측화소를 이용해서 예측하는 것과 동일하게 식 (5)에 예측값을 대입해서 전개해 가면 도 6b에 나타낸 예측방법이 얻어진다.

실제로, 참조화소와 예측화소의 거리에 따라 식 (5)를 전개하면 다음과 같은 예측식 (7)로 된다.

[수 1]

L은 참조화소와 예측화소의 거리를 나타내고 있다. Vi는 대응하는 예측모드에 따라 결정되는 인덱스이다. hi는 필터계수를 나타내고 있고, L에 의해 탭수가 변화한다. 구체적으로 화소적응 수직예측에 관해 hi, Vi를 설명한다. 도 7은 4×4화소 예측일 때의 참조화소와 예측화상의 거리에 따라 사용하는 가중 필터계수 hi(가중 테이블)의 1예를 나타낸다.

참조화소로부터 예측방향에 대해 1개 떨어진 예측화소는 3개의 참조화소를 이용하고 다음 식 (8)에 의해 예측된다.

x(n) = (X(n-d-1) + (X(n-d)<<1) + X(n-d+1) + 2) >> 2 (8)

여기서, n에는 L = 1(x10으로부터 x13)에 대응하는 인덱스가 들어간다. 필터계수는 hi = (1, 2, 1)이고, Vi = (d+1, d, d-1)이 대응한다.

참조화소로부터 예측방향에 대해 2개 떨어진 예측화소는 5개의 참조화소를 이용하고 다음 식 (9)에 의해 예측된다.

X(n) = (X(n-(d<<1)-2) + (X(n-(d<<1) - 1)<<2) + (6X(n-(d<<1))) + (X(n-(d<<1)+1)<<2) + X(n-(d<<1)+2) + 8) >> 4 (9)

여기서 n에는 L = 2(x19로부터 x22)에 대응하는 인덱스가 들어간다. 필터계수는 hi = (1, 4, 6, 4, 1)이고, Vi = (2d+2, 2d+1, 2d, 2d-1, 2d-2)가 대응한다.

참조화소로부터 예측방향에 대해 3개 떨어진 예측화소는 7개의 참조화소를 이용하고 다음 식 (10)에 의해 예측된다.

X(n) = (X(n-3d-3) + (6X(n-3d-2)) + (15X(n-3d-1)) + (20X(n-3d)) + (15X(n-3d+1)) + (6X(n-3d+2)) + X(n-3d+3) + 32) >> 6 (10)

여기서 n에는 L = 3(x28로부터 x31)에 대응하는 인덱스가 들어간다. 필터계수는 hi = (1, 6, 15, 20, 15, 6, 1)이고, Vi = (3d+3, 3d+2, 3d+1, 3d, 3d-1, 3d-2, 3d-3)이 대응한다.

참조화소로부터 예측방향에 대해 4개 떨어진 예측화소는 9개의 참조화소를 이용하고 다음 식 (11)에 의해 예측된다.

X(n) = (X(n-(d<<2)-4) + (X(n-(d<<2)-3)<<3) + (28X(n-(d<<2)-2)) + (56X(n-(d<<2)-1)) + (70X(n-(d<<2))) + (56X(n-(d<<2)+1)) + (28X(n-(d<<2)+2)) + (X(n-(d<<2)+3)<<3) + X(n-(d<<2)+4) + 128) >> 8 (11)

여기서 n에는 L = 4(x37로부터 x40)에 대응하는 인덱스가 들어간다. 필터계수는 hi = (1, 8, 28, 56, 70, 56, 28, 8, 1)이고, Vi = (4d+4, 4d+3, 4d+2, 4d+1, 4d, 4d-1, 4d-2, 4d-3, 4d-4)가 대응한다.

예측에 이용하는 참조화소 및 참조화소의 수와 가중 테이블은 식 (5)를 전개해 가면 얻어진다. 이 테이블을 이용해서 예측화소의 보간값을 계산한다. 예로서, x31의 보간값을 계산하면, 도 7의 테이블로부터 L = 3에서 필터계수 hi = (1, 6, 15, 20, 15, 6, 1)을 이용한다. 식 (9)로부터 이하의 예측식 (12)가 성립한다.

X(31) = (X(01) + (6X(02)) + (15X(03)) + (20X(04)) + (15X(05)) + (6X(06)) + X(07) + 32) >> 6 (12)

대응하는 참조화소가 존재하지 않는 경우는, 그 최후의 참조화소값을 예측식에 보전함으로써 예측을 실행한다. 예컨대, x19를 예측할 때, x00의 왼쪽의 참조화소를 이용할 수 없다. 그러나, x09의 참조화소를 이용할 수 있기 때문에, 다음 식 (13)과 같이 예측한다.

X(19) = (X(09) + (X(00)<<1) + (5X(01)) + (X(02)<<2) + X(03)+8) >> 4 (13)

이 경우도 마찬가지로 식 (5)에서 예측에 사용하는 화소를 산출하고, 필요한 예측값을 전개함으로써 식 (12)가 도출된다.

화소적응 수평 예측(모드 1)의 예측 식은 다음 식 (14)로 나타내어진다.

x(n) = (X(n-d-1) + (X(n-1)<<1) + X(n+d-1) + 2) >> 2 (14)

화소적응 인접 예측(모드 2)의 예측 식은 다음 식 (15)로 나타내어진다.

x(n) = (X(n-1) + X(n+d) + 1) >> 1 (15)

화소적응 직교 왼쪽 아래(左下) 예측(모드 3)의 예측 식은 다음 식 (16)으로 나타내어진다.

X(n) = (X(n-d) + (X(n-d+1)<<1) + X(n-d+2) + 2) >> 2 (16)

화소적응 직교 오른쪽 아래(右下) 예측(모드 4)의 예측 식은 다음 식 (17)로 나타내어진다.

X(n) = (X(n-d) + (X(n-d-1)<<1) + X(n-1) + 2) >> 2 (17)

화소적응 수직 왼쪽(左) 예측(모드 5)의 예측 식은 다음 식 (18)로 나타내어진다.

X(n) = (X(n-d) + X(n-d-1) + 1) >> 1 (18)

화소적응 수평 아래(下) 예측(모드 6)의 예측 식은 다음 식 (19)로 나타내어진다.

X(n) = (X(n-d-1) + X(n-1) + 1) >> 1 (19)

화소적응 수직 왼쪽 예측(모드 7)의 예측 식은 다음 식 (20)으로 나타내어진다.

X(n) = (X(n-d) + X(n-d+1) + 1) >> 1 (20)

화소적응 수평 위(上) 예측(모드 8)의 예측 식은 다음 식 (21)로 나타내어진다.

X(n) = (X(n-1) + X(n+d-1) + 1) >> 1 (21)

화소적응 수직예측일 때와 마찬가지로, 예측화소값을 구하기 위해서는 필요한 예측 완료 화상을 대입해서 전개함으로써, 필요하게 되는 참조화소 및 참조화소수, 가중 테이블이 산출된다.

참조화소가 존재하지 않는 경우에는, 화소적응 수직방향 예측과 마찬가지로, 참조화소의 보전을 실행한다. 예컨대, 화소적응 수평 예측에서 x37을 예측하는 경우, x45의 참조화소를 이용할 수 없다. 따라서 다음 식 (22)로 나타낸 바와 같이 이 참조화소를 x36에 의해 보전한다.

X(37) = (X(36) + (X(36)<<1) + X(27) + 2) >> 2

= (3X(36) + X(27)+2) >> 2 (22)

이와 같이 예측화소와 참조화소와의 거리에 따라, 이용하는 참조화소의 수를 변경하여 보다 정밀도가 높은 예측을 실행하고 있기 때문에, 부호화 효율을 향상시키는 것이 가능하게 된다. 예측 정밀도의 향상에 의해, 예측화상이 보다 입력 화상에 가까워져 시각적으로도 효과가 높은 예측 방식이다.

다음에, 고정모드 예측부(203)에 관해 상세히 설명한다. 고정모드 예측부(203)는 모드정보의 예측을 실행하고, 결정된 예측모드에서 화소적응 예측 또는 방향 예측을 실행한다. 모드정보의 예측은, 인접하는 예측블록의 모드정보를 이용한다. 도 8에 4×4화소 예측의 경우의 인접 블록의 관계를 나타낸다. 예측블록 C의 왼쪽의 인접 블록을 A, 위의 인접 블록을 B로 한다. 이들 2개의 예측모드가 prev_left_mode 및 prev_upper_mode로서 주어지면 당해 블록 C의 예측모드는 다음 식 (23)에 의해 결정된다.

current_mode = min(prev_left_mode, prev_upper_mode) (23)

여기서 current_mode는 예측블록 C의 예측모드가다. 함수 min(A, B)는 A와 B의 작은 쪽의 값을 나타낸다. 이와 같이 주위의 블록의 예측모드정보로부터 예측 블록의 예측모드정보를 예측하기 때문에, 이 모드는 예측모드정보를 부호화하기 위한 부호량을 대폭 줄이는 것이 가능한 부호화 모드의 하나이다. 여기서, 화소적응 예측부(201)를 이용해서 예측화상을 생성할 것인지, 방향 예측부(202)를 이용해서 예측화상을 생성할 것인지는 뒤에 설명하는 ex_direct_intra 플래그에 의해 결정되고, 부호화 제어부(108)로부터 주어진 ex_direct_intra 플래그 정보에 기초해서 결정된다.

본 실시형태에서는, 현재의 예측블록의 예측모드정보는 인접 예측블록 A 및 B의 예측모드정보에 기초해서 결정되었다. 본 실시형태의 변형예로서, 주위의 예측블록의 예측모드정보에 기초해서 결정해도 상관없다. 예컨대, 예측블록 B의 오른쪽의 블록, 예측블록 B의 위쪽의 블록, 예측블록 A의 왼쪽의 블록 및 예측블록 A의 위쪽의 블록의 예측모드정보를 이용해서, 현재의 예측블록의 예측모드를 결정해도 상관없다. 예컨대, 주변 예측블록의 예측모드 중 가장 빈도가 높은 예측모드, 주변 예측블록의 예측모드의 중앙값(median value) 또는 주변 예측블록의 예측모드의 평균값을 현재의 예측블록의 예측모드로서 결정해도 상관없다.

도 2에서 나타낸 프레임 내 예측부(102)의 상세한 동작에 대해 설명한다. 프레임 내 예측부(102)에 입력 화상신호(115)가 입력되면, 그 신호는 화소적응 예측부(201)와 방향 예측부(202) 및 고정모드 예측부(203)로 입력된다. 예측모드와 예측블록 형상에 따라, 화소적응 예측부(201)와 방향 예측부(202) 및 고정모드 예측부(203)에 의해, 대응하는 예측화상신호(114)가 생성된다.

이때, 부호화 제어부(108)로부터 예측 금지 정보가 입력되고 있는 경우에는, 대응하는 예측부는 예측화상신호를 생성하지 않는다. 구체적으로는, 화소적응 예측부(201)에 대해 예측 금지 정보가 입력되고 있는 경우에는, 화소적응 예측부(201)에서 예측화상신호(114)의 생성 처리가 행해지지 않는다. 방향 예측부(202)에 대해 예측 금지 정보가 입력되고 있는 경우에는, 방향 예측부(202)에서는 예측화상신호(114)가 생성되지 않는다. 고정모드 예측부(203)에 대해 예측 금지 정보가 입력되고 있는 경우에는, 고정모드 예측부(203)에서 예측화상신호(114)가 생성되지 않는다.

예측 금지 정보가 송신된 경우, 대응하는 예측부와 예측 절환 스위치(205)가 접속되는 일은 없다. 화소적응 예측부(201)와 방향 예측부(202)에 동시에 예측 금지 정보가 입력되는 것은 허용되지 않는다.

각각의 예측부에 의해 예측되어 있는 예측화상신호(114) 및 예측모드정보는 내부 모드 선택부(204)로 입력된다. 내부 모드 선택부(204)는 입력 화상신호(115)로부터 예측화상신호(114)를 차감한 예측오차신호(116)의 생성을 실행한다. 내부 모드 선택부(204)는 각각의 예측부에서 예측되어 있는 모드정보와 생성되어 있는 예측오차신호(116)를 기초로 모드 선택을 실행한다.

여기서도, 식 (1)에서 이용된 코스트(cost)를 이용해서 예측모드를 선택한다. 선택되어 있는 예측모드가, 화소적응 예측부(201)에서 예측되어 있는 예측모드인지, 방향 예측부(202)에서 예측되어 있는 예측모드인지를 나타내는 모드정보를, 내부 모드 선택부(204)가 부호화 제어부(108)에 전달한다. 화소적응 예측이 이용되고 있는 경우에는, 뒤에 설명하는 ex_adaptive_intra_flag가 TRUE이고, 방향 예측이 이용될 때는 플래그가 FALSE로 되어 있다. 부호화 제어부(108)는 주어진 모드정보에 따라, 예측 절환 스위치(205)를 제어한다. 고정모드 예측이 실행되고 있는지 어떤지는 ex_direct_intra_flag에 의해 판단한다. 당해 플래그가 TRUE일 때는 고정모드 예측이 실행되고 있고, FALSE인 경우는 이 예측은 실행되고 있지 않다.

ex_adaptive_intra_flag가 TRUE인 경우, 예측 절환 스위치(205)는 화소적응 예측부(201)로 접속된다. ex_adaptive_intra_flag가 FALSE일 때, 예측 절환 스위치(205)는 방향 예측부(202)로 접속된다. ex_direct_intra_flag가 TRUE라면, 부호화 제어부(108)는 절환 스위치(205)를 고정모드 판정부(203)로 각각 접속한다.

모든 소화소블록에서의 예측이 완료되고 있는 경우, 내부 모드 선택부(204)는 매크로블록 분의 예측화상신호(114) 및 모드정보를 프레임 내 예측부(102)로부터 출력한다.

예측 절환 스위치(205)는 내부 변환 및 양자화부(206)에 접속되어 있고, 내부 모드 선택부(204)에서 선택되어 있는 모드정보와 예측오차신호(114)는 예측 절환 스위치(205)를 거쳐 내부 변환 및 양자화부(206)로 입력된다. 내부 변환 및 양자화부(206)는 입력되고 있는 예측오차신호(114)를 이산 코사인 변환 등을 이용해서 변환계수로 변환하여 변환계수 데이터를 생성한다. 예측오차신호(114)는 웨이브렛 변환이나 독립 성분 해석 등의 수법을 이용해서 변환해도 좋다. 내부 변환 및 양자화부(206)는 변환계수를 양자화한다. 양자화에 필요하게 되는 양자화 파라미터는 부호화 제어부(108)에 의해 설정되어 있다.

내부 역양자화 및 역변환부(207)는 내부 변환 및 양자화부(206)에 의해 양자화되어 있는 변환계수(117)를, 부호화 제어부(108)에서 설정되어 있는 양자화 파라미터에 따라 역양자화하고, 얻어진 변환계수에 대해 역변환(예컨대 역이산 코사인 변환 등)을 실행하여 예측오차신호(116)를 출력한다. 내부 역양자화 및 역변환부(207)에 의해 복호되어 있는 예측오차신호(116)는 내부 가산기(208)에 의해 내부 모드 선택부(204)로부터 공급되는 당해 모드의 예측화상신호(114)와 가산된다. 가산신호는 복호화상신호(119)로서, 내부 참조화상 메모리(209)로 입력된다.

내부 참조화상 메모리(209)는 복호화상신호(119)를 참조화상으로서 축적한다. 이와 같이 내부 참조화상 메모리(209)에 축적되어 있는 참조화상이, 화소적응 예측부(201) 혹은 방향 예측부(202), 고정모드 예측부(203)에 의한 예측화상신호(114) 등의 생성 시에 참조된다. 내부 예측 루프(도 2에서의 화소적응 예측부(201) 혹은 방향 예측부(202), 고정모드 판정부(203) → 내부 모드 선택부(204) → 예측 절환 스위치(205) → 내부 변환 및 양자화부(206) → 내부 역양자화 및 역변환부(207) → 내부 참조화상 메모리(209)라는 순서로 흐르는 처리)는 그 매크로블록 내의 소화소블록에서 선택 가능한 모든 예측모드에 대해 처리를 실행한 경우에 1회의 루프로 된다.

예컨대, 4×4화소 예측에 대해, 화소적응 예측과 방향 예측과 고정모드 예측을 절환하는 경우, 합계 16×3회의 내부 예측 루프를 실행하게 된다. 이 경우, 부호화 제어부(108)는 최초로 예측 절환 스위치(205)를 화소적응 예측부(201)로 접속하여 16회의 내부 예측 루프를 실행하고, 화소적응 예측의 매크로블록 단위의 최적 의 모드의 조합을 결정한다.

부호화 제어부(108)는 예측 절환 스위치(205)를 방향 예측부(202)로 접속하고, 마찬가지로 16회의 내부 예측 루프를 실행한다. 부호화 제어부(108)는 예측 절환 스위치(205)를 고정모드 예측부(203)로 접속하고, 내부 플래그의 상태로부터 고정모드 예측이 어느 쪽의 예측방법으로 예측되어 있는지를 판단하고, 결정된 예측방법으로 예측을 실행한다. 여기서 얻어진 3개의 모드는 모드 선택부(103)로 입력되고, 당해 매크로블록의 최적 모드가 선택된다.

마찬가지로 8×8화소 예측의 경우에는, 4×3회의 내부 예측 루프를 실행하게 된다. 16×16화소 예측에서는, 국소 복호화상을 생성할 필요가 없기 때문에, 내부 예측 루프를 실행할 필요가 없다. 따라서, 화소적응 예측부(201) 또는 방향 예측부(202)에서 예측되어 있는 모드 및 예측화상신호가 그대로 프레임 내 예측부(102)로부터 출력된다. 매크로블록에 대해 내부 예측 루프가 종료되면, 다음의 매크로블록의 입력 화상신호(115)가 입력되고, 부호화가 실행된다.

동화상 부호화 장치(100)에 의해 실시되는 동화상 부호화 방법이 도 3을 참조해서 설명된다.

동화상 부호화 장치(100)로 동화상 신호의 1프레임이 입력되면(단계 S1), 화상 분할부(101)는 1프레임을 복수의 매크로블록으로 분할하고, 더욱이 복수의 소화소블록으로 분할한다(단계 S2). 분할되어 있는 1개의 매크로블록은 입력 화상신호(115)로서 프레임 내 예측부(102)로 입력된다. 이때, 모드 선택부(103)는 모드를 나타내는 인덱스나 코스트를 초기화한다(단계 S3).

프레임 내 예측부(102)는 입력 화상신호(115)를 이용해서, 예측블록에서 선택 가능한 1개의 예측모드에 대한 예측화상신호(114)를 생성한다(단계 S4). 모드 선택부(103)는 예측화상신호(114)와 입력 화상신호(115)의 차분을 취해, 예측오차신호(116)를 생성한다. 예측모드의 부호량(0H)과 예측오차신호(116)의 절대값의 합(SAD)으로부터 코스트(cost)를 계산한다(단계 S5).

모드 선택부(103)는 계산되어 있는 코스트(cost)가, 최소 코스트 min_cost보다 작은지 여부를 판별하고(단계 S6), 작은 경우(YES)에는 그 코스트로 최소 코스트를 갱신함과 더불어, 그 때의 부호화 모드를 best_mode 인덱스로서 유지한다(단계 S7). 계산되어 있는 코스트가, 최소 코스트 min_cost보다 큰 경우(NO), 모드 번호를 나타내는 인덱스(index)를 인크리먼트하고, 인크리먼트 후의 인덱스가 모드의 최후인지 어떤지를 판정한다(단계 S8).

인덱스가 모드의 마지막 번호인 MAX보다 큰 경우(YES), best_mode의 부호화 모드정보 및 예측오차신호(116)가 변환 및 양자화부(104)로 보내져, 변환 및 양자화가 실행된다(단계 S9). 양자화되어 있는 변환계수(117)가 부호화 처리부(107)로 입력되고, 예측 정보(109), 예측 절환 정보(110)와 함께 부호화 처리부(107)에서 엔트로피 부호화된다(단계 S10). 인덱스가 모드의 최후의 번호인 MAX보다 작은 경우(NO), 다음의 인덱스에 의해 지시되는 부호화 모드의 예측화상신호(114)가 생성된다(단계 S4).

best_mode에서의 부호화가 실행되면, 양자화되어 있는 변환계수(117)는 역양자화 및 역변환부(105)로 입력되어 역양자화 및 역변환되어 예측오차신호(116)로 복호된다. 이 복호화 예측오차신호(116)는 모드 선택부(103)로부터 제공되는 best_mode의 예측화상신호(114)와 가산기(118)에 의해 가산되고, 이로써 복호화상신호(119)가 생성된다. 이 복호화상신호(119)가, 참조화상으로서 참조화상 메모리(106)에 보존된다.

1프레임의 부호화가 종료되고 있는지 어떤지가 판정된다(단계 S11). 부호화 처리가 완료되어 있는 경우(YES), 다음의 프레임이 입력되고, 다시 부호화 처리가 실행된다. 1프레임의 부호화 처리가 완료되고 있지 않은 경우(NO), 다음의 소화소블록의 입력신호가 프레임 내 예측부(102)에 입력되고, 부호화 처리가 계속된다.

상술한 바와 같이 해서 본 실시형태의 동화상 부호화 장치(100)가 동화상을 부호화한다.

상기의 실시형태에 있어서는, 화소적응 예측에 있어서 도 7에 나타낸 필터의 가중 테이블을 이용해서 예측화소의 계산을 실행하고 있다. 이 경우, 참조화소와 예측화소의 거리가 작은 예측화소로부터 예측을 실행하고, 예측 후의 화소값을 메모리에 보존해 두면, 이 화소값은 참조화소와 예측화소의 거리가 증가된 때 참조화소로서 이용할 수 있다. 그래서, 예측방향에 따라, 예측화소의 생성순서를 참조화소와 예측화소의 거리가 작은 방향으로부터 큰 방향으로 진행해도 좋다. 예컨대, 도 6a에 있어서, 화소적응 수직예측(모드 0)에서는 위에서부터 아래 방향으로 예측화소를 생성하면, L = 2의 예측 시에 L = 1에서 생성되어 있는 예측화소를 참조하는 것이 가능하다. 마찬가지로, 화소적응 수평 예측(모드 1)에서는, 왼쪽에서부터 오른쪽 방향으로 예측화소를 생성한다. 생성되어 있는 예측화소는 메모리에 보존 되고, 수시로 다음의 예측의 참조화소로서 이용된다. 이에 따라, 참조화소와 예측화소의 거리가 큰 화소의 예측값을 생성하기 위한 연산 코스트를 억제할 수 있어, 하드웨어 비용을 저감할 수 있다.

본 실시형태에 있어서는, 4×4화소 예측에 관해 상세한 화소적응 프레임 내 예측에 대해 설명을 하였지만, 8×8화소블록이나 16×16화소블록 및 색차신호에 관해 마찬가지의 예측을 실행해도 좋다. 특히 화소블록 사이즈가 커짐에 따라, 참조화소와 예측화소의 거리가 멀어지기 때문에, 화소적응 예측의 효과가 높다. 예측에서 사용하는 참조화소의 수는 거리에 따라 증가하고 있었지만, 연산 코스트를 억제하기 위해 줄여도 좋다. 예측에 이용하는 필터의 조합은 예측화소마다 복수여도 좋다.

본 실시형태에 있어서는, 처리 대상 프레임을 16×16화소 사이즈 등의 사각형 블록으로 분할하고, 화면 왼쪽 위의 블록으로부터 오른쪽 아래를 향해, 순서대로 부호화하는 경우에 대해 설명하고 있지만, 부호화순서는 다른 순서여도 좋다. 부호화는 오른쪽 아래로부터 왼쪽 위로 실행해도 좋고, 화면 중앙으로부터 소용돌이모양으로 실행해도 좋다. 오른쪽 위로부터 왼쪽 아래로 실행해도 좋고, 화면의 주변부로부터 중심부을 향해 처리를 실행해도 좋다.

본 실시형태에 있어서는, 처리 대상 프레임을 16×16화소 단위의 매크로블록으로서 분할하고, 더욱이 프레임 내 예측의 처리 단위로서 8×8화소블록이나 4×4화소블록의 경우에 대해 설명하고 있지만, 처리 대상 블록은 균일한 블록 형상으로 할 필요는 없고, 16×8화소, 8×16화소, 8×4화소, 4×8화소 등의 블록 사이즈에 관해서도 적용가능하다. 예컨대, 8×4화소 예측이나 2×2화소 예측도, 마찬가지의 프레임워크로 실현이 가능하다.

또, 변환 양자화 블록 사이즈는 균일한 블록 사이즈일 필요는 없고, 16×8화소, 8×16화소, 8×4화소, 4×8화소 등의 블록 사이즈로 해도 적용가능하다. 더욱이, 1개의 매크로블록 중에서, 균일한 블록 사이즈를 취할 필요는 없고, 각각 다른 블록의 크기를 선택해도 좋다. 예컨대, 도 4e에서 나타낸 바와 같이, 매크로블록 내에서 8×8화소 예측과 4×4화소 예측을 혼재시켜도 좋다. 이 경우, 분할 블록 수가 증가하면, 분할 블록을 부호화하기 위한 부호량이 증가하지만, 보다 예측효율이 높은 프레임 내 예측이 실현 가능하고, 예측오차를 삭감하는 것이 가능하다. 따라서, 변환계수의 부호량과 국소 복호화상과의 밸런스를 고려해서 블록 사이즈를 선택하면 좋다.

본 실시형태에 있어서는, 예측모드를 프레임 내 예측만으로 설명했다. 그러나, 화면간의 상관을 이용해서 예측하는 프레임간 예측을 이용해도 좋고, 프레임간 부호화에서의 슬라이스 부호화 중에서 선택되는 프레임 내 예측방법으로서 본 방식을 이용해도 좋다. 이 경우, 프레임 내 예측과 프레임간 예측의 절환은 매크로블록 단위일 필요는 없는 바, 8×8화소블록마다 절환해도 좋고, 8×4화소블록으로 나누는 등과 같이 해도 좋다.

본 실시형태에 있어서는, 변환 및 양자화부(104), 역양자화 및 역변환부(105)가 설치되어 있지만, 반드시 모든 예측오차신호에 대해 변환 양자화 및 역양자화 역변환을 실행할 필요는 없는 바, 예측오차신호를 그대로 부호화 처리 부(107)에서 부호화해도 좋고, 양자화 및 역양자화 처리를 생략해도 좋다. 마찬가지로, 변환처리와 역변환처리를 실행하지 않아도 좋다.

화소적응 예측과 방향 예측을 절환하는 ex_adaptive_intra_flag와, 고정모드 예측을 실행하는 ex_direct_intra_flag의 부호화 방법에 대해 설명한다.

도 13에 본 실시형태에서 이용되는 신택스(syntax)의 구조의 개략을 나타낸다. 신택스는 주로 3개의 파트, 즉 하이레벨 신택스(high level syntax; 1301), 슬라이스 레벨 신택스(slice level syntax; 1304), 매크로블록 레벨 신택스(macroblock level syntax; 1307)로 이루어진다. 하이레벨 신택스(1301)는 슬라이스 이상의 상위 레이어의 신택스 정보가 채워져 있다. 슬라이스 레벨 신택스(1304)에서는 슬라이스마다 필요한 정보가 명기되어 있고, 매크로블록 레벨 신택스(1307)에서는 매크로블록마다 필요하게 되는 양자화 파라미터의 변경값이나 모드정보 등이 명기되어 있다.

각각의 신택스는 더 상세한 신택스로 구성되어 있고, 하이레벨 신택스(1301)는 시퀀스 파라미터 세트 신택스(sequence parameter set syntax; 1302)와 픽처 파라미터 세트 신택스(picture parameter set syntax; 1303) 등의 시퀀스, 픽처 레벨의 신택스로 구성되어 있다. 슬라이스 레벨 신택스(1304)는 슬라이스 헤더 신택스(slice haeder syntax; 1305), 슬라이스 데이터 신택스(slice data syntax; 1306) 등으로 이루어진다. 매크로블록 레벨 신택스(1307)는 매크로블록 레이어 신택스(macroblock layer syntax; 1308), 매크로블록 예측 신택스(macroblock prediction syntax; 1309) 등으로 구성되어 있다.

본 실시형태에서, 필요하게 되는 신택스 정보는 시퀀스 파라미터 세트 신택스(1302), 픽처 파라미터 세트 신택스(1303), 슬라이스 헤더 신택스(1305), 매크로블록 레이어 신택스(1308)이고, 각각의 신택스를 이하에서 설명한다.

도 14의 시퀀스 파라미터 세트 신택스 내에 나타낸 ex_adaptive_intra_in_seq_flag는 화소적응 예측을 시퀀스마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 화소적응 예측과 방향 예측을 시퀀스 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 시퀀스 내에서는 화소적응 예측을 이용할 수 없다.

도 15의 픽처 파라미터 세트 신택스 내에 나타낸 ex_adaptive_intra_in_pic_flag는 화소적응 예측을 픽처마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 화소적응 예측과 방향 예측을 픽처 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 픽처 내에서는 화소적응 예측을 이용할 수 없다.

도 16의 슬라이스 헤더 신택스 내에 나타낸 ex_adaptive_intra_in_slice_flag는 화소적응 예측을 슬라이스마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 화소적응 예측과 방향 예측을 슬라이스 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 슬라이스 내에서는 화소적응 예측을 이용할 수 없다.

도 17의 매크로블록 레이어 신택스 내에 나타낸 ex_adaptive_intra_flag는 화소적응 예측을 당해 매크로블록에서 이용할 것인지 어떤지를 나타내는 플래그로 서, 당해 플래그가 TRUE일 때는 화소적응 예측을 이용한다. 플래그가 FALSE일 때는, 방향 예측을 이용한다. 이 플래그는 ex_adaptive_intra_in_seq_flag, ex_adaptive_intra_in_pic_flag, ex_adaptive_intra_in_slice_flag의 적어도 1개 이상의 플래그가 TRUE일 때에만 유효하다. 매크로 블록의 예측 형식이 프레임 내 예측일 때만 이용할 수 있다.

도 18의 시퀀스 파라미터 세트 신택스 내에 나타낸 ex_direct_intra_in_seq_flag는 고정모드 예측을 시퀀스마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 고정모드 예측의 사용 가부를 시퀀스 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 시퀀스 내에서는 고정모드 예측을 이용할 수 없다.

도 19의 픽처 파라미터 세트 신택스 내에 나타낸 ex_direct_intra_in_pic_flag는 고정모드 예측을 픽처마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 고정모드 예측의 사용 가부를 픽처 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 픽처 내에서는 고정모드 예측을 이용할 수 없다.

도 20의 슬라이스 헤더 신택스 내에 나타낸 ex_direct_intra_in_slice_flag는 고정모드 예측을 슬라이스마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 고정모드 예측의 사용 가부를 슬라이스 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 슬라이스 내에서는 고정모드 예측을 이용할 수 없다.

도 21a의 매크로블록 레이어 신택스 내에 나타낸 ex_direct_intra_flag는 고정모드 예측을 당해 매크로블록에서 이용할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 고정모드 예측을 이용한다. 플래그가 FALSE일 때는, 고정모드 예측을 이용할 수 없다. 이 플래그는 ex_direct_intra_in_seq_flag, ex_direct_intra_in_pic_flag, ex_direct_intra_in_slice_flag의 적어도 1개 이상의 플래그가 TRUE일 때에만 유효하다. 매크로블록의 예측 형식이 프레임 내 예측일 때만 이용할 수 있다.

도 21b는 매크로블록 예측 신택스를 나타내고 있다. 본 신택스 내에는 대응하는 매크로블록 내의 예측모드정보가 격납된다. 고정모드 예측 이외의 예측모드가 선택되어 있을 때는 본 신택스에 의해 각각 대응하는 예측모드정보가 설정된다.

본 신택스 내에 나타낸 prev_intra4x4_pred_mode_flag는 ex_direct_intra_flag가 TRUE일 때는 이용되지 않는다. 당해 prev_intra4x4_pred_mode_flag는 인접 예측블록으로부터 추정된 예측모드(current_mode)와, 당해 예측 대상 블록에서 실제로 선택된 예측모드(pred_mode)가 일치하고 있는지 어떤지를 나타내는 플래그이다. 일치하고 있는(TRUE) 경우는 rem_intra4x4_pred_mode는 이용되지 않는다. 한편, 일치하고 있지 않은 경우는 rem_intra4x4_pred_mode가 더 이용된다. 당해 rem_intra4x4_pred_mode는 current_mode와 당해 예측 대상 블록에서 실제로 선택된 예측모드(pred_mode)의 변위량을 나타내고 있다. pred_mode가 current_mode보다도 클 때는

rem_intra4x4_pred_mode = current_mode

한편, pred_mode가 current_mode와 같거나 작을 때는

rem_intra4x4_pred_mode = current_mode + 1

의 값이 격납되어 있다.

ex_direct_intra_flag와 ex_adaptive_intra_flag가 어느 쪽도 TRUE인 경우는 화소적응 예측에서 모드정보를 보내지 않는 부호화 모드로 된다. ex_direct_intra_flag가 TRUE이고 ex_adaptive_intra_flag가 FALSE인 경우는, 방향 예측에서 모드정보를 보내지 않는 부호화 모드로 된다.

본 실시형태에 의해, 참조화소로부터 떨어진 예측화소에 대한 예측 정밀도가 향상되고, 예측오차가 개선된다.

(제2실시형태(부호화))

도 10에 나타낸 제2실시형태에 따른 동화상 부호화장치(1000)에서는, 제1실시형태에 더하여, 가부호화(temporary encoding: 임시 부호화)/부호량 계측부(1001), 부호화 왜곡 계측부(1002), 부호화 절환 스위치(1003)가 더 설치되어 있다. 프레임 내 예측부 및 모드 선택부의 기능이 제1실시형태와는 다르기 때문에 제1실시형태와는 다른 참조번호가 할당되어 있다. 본 실시형태에 있어서는, 도 1과 공통하는 구성요소에는 동일한 부호를 붙이고 그 설명을 생략한다.

동화상 부호화 장치(1000)에 입력되고 있는 동화상 신호는, 화면 분할부(101)에 의해 복수의 소화소블록으로 분할되고, 각 블록이 입력 화상신호(115)로서 프레임 내 예측부(1004)로 입력된다. 프레임 내 예측부(1004)는 참조화상 메모 리(106)에 일시 보존되어 있는 참조화상을 이용해서, 매크로블록에서 선택 가능한 모든 예측모드에서 예측화상신호(114)를 생성한다. 다만, H. 264의 프레임 내 예측(4×4화소 예측(도 4c) 또는 8×8화소 예측(도 4d))과 같이 매크로블록 내에서 국소 복호화상을 작성하지 않으면 다음의 예측이 실행되지 않는 경우에는, 프레임 내 예측부(1004)는 변환 및 양자화, 역양자화 및 역변환을 실행해도 좋다.

프레임 내 예측부(1004)에서 생성되고 있는 예측화상신호(114)는 모드 선택부(1005)로 보내진다. 모드 선택부(1005)는 입력 화상신호(115)로부터 예측화상신호(114)를 차감한 예측오차신호(116)를 생성한다. 모드 선택부(1005)는 가부호화/부호량 계측부(1001)에서 누적 가산되어 있는 부호량(1006)과 부호화 왜곡 계측부(1002)에서 계산되어 있는 부호화 왜곡(1007)을 입력으로서 받아들여 부호화 코스트를 계산한다.

부호화 코스트는 부호량을 R, 부호화 왜곡을 D로 하면 다음 식 (24)로 나타내어진다.

J = D + λ×R (24)

λ는 정수로 주어지고, 양자화 폭이나 양자화 파라미터의 값에 기초해서 결정된다. 이와 같이 해서 얻어진 부호화 코스트를 기초로 모드가 선택된다. 코스트(J)가 가장 작은 값을 부여하는 모드가 최적 모드로서 선택된다.

본 실시형태에서는, 부호량(1006)과 부호화 왜곡(1007)을 이용하였지만, 다른 실시형태로서, 부호량만, 또는 부호화 왜곡만을 이용해서 모드를 선택해도 좋다. 입력 화상신호(115)의 활동도(activity)를 이용해서 코스트를 작성해도 좋고, 양자화 폭, 양자화 파라미터를 이용해서 코스트 함수를 작성해도 좋다. 더욱이, 부호화 왜곡에 시각적인 주파수 특성이나 감도 등의 가중을 실행하여 부호화 코스트로 해도 좋다.

모드 선택부(1005)는 변환 및 양자화부(104)에 접속되어 있고, 모드 선택부(1005)에서 선택되어 있는 모드정보와 예측오차신호(116)는 변환 및 양자화부(104)로 입력된다. 변환 및 양자화부(104)는 예측오차신호(116)를 변환 및 양자화함으로써 양자화 변환계수(117)를 출력한다.

변환계수(117)는 가부호화 절환 스위치(1003)로 보내진다. 부호화 제어부(108)에서 가부호화 플래그가 TRUE로 설정되어 있는 경우에는, 가부호화 절환 스위치(1003)는 변환 및 양자화부(104)의 출력을 가부호화/부호량 계측부(1001)로 접속한다. 변환계수(117)가 가부호화/부호량 계측부(1001)로 입력되고, 임시의 엔트로피 부호화가 실행된다. 이 경우, 가부호화/부호량 계측부(1001)는 부호량을 누적 가산하고, 실제의 부호화에서 발생하는 총부호량의 견적을 실행하며, 부호화 데이터를 출력하지 않는다. 가부호화/부호량 계측부(1001)에서 계측되어 있는 부호량(1006)은 부호화 왜곡 계측부(1002)로 보낸진다.

부호화 왜곡 계측부(1002)는 역양자화 및 역변환부(105)에서 복호되어 있는 예측오차신호(116)와 예측화상신호(114)의 합에 의해 생성되고 있는 복호화상신호(119)를 입력으로 받을 뿐만 아니라, 입력 화상신호(115)를 받아 복호화상신호(119)와 입력 화상신호(115)의 제곱 오차(부호화 왜곡(1007))를 계산한다. 부호화 왜곡 계측부(1002)는 입력으로서 받은 부호량(1006)과 계산에 의해 얻어지는 부 호화 왜곡(1007)을 모드 판정부(1005)로 보낸다.

가부호화 루프(도 10에서의 프레임 내 예측부(1004) → 모드 선택부(1005) → 변환 및 양자화부(104) → 가부호화 절환 스위치(1003) → 가부호화/부호량 계측부(1001) → 부호화 왜곡 계측부(1002)라는 순서로 흐르는 처리)는 그 매크로블록에서 선택 가능한 1개의 모드에 대해 처리를 실행한 경우에 1회의 루프로 된다. 모드가 10종류 존재하는 경우는, 가부호화 루프가 10회 반복된다. 매크로블록에서 선택 가능한 모든 모드에 대해 가부호화 루프가 종료되면, 모드 선택부(1005)는 부호화 제어부(108)의 가부호화 플래그를 FALSE로 설정한다.

부호화 제어부(108)에 의해 가부호화 플래그가 FALSE로 설정되어 있는 경우, 가부호화 절환 스위치(1003)는 변환 및 양자화부(104)의 출력을 부호화 처리부(107)로 접속한다. 이 때, 모드 판정부(1005)는 모든 모드에 대한 부호화 코스트를 계산하고 있고, 그 중에서 가장 작은 부호화 코스트를 부여하는 모드의 변환계수(117) 및 모드정보가 부호화 처리부(107)로 보내진다. 부호화 처리부(107)는 입력되어 있는 모드정보에 규정되어 있는 방법으로 실제로 양자화 변환계수(117)를 부호화한다. 이 경우, 최종적으로 부호화되는 데이터는 가부호화 시에 이미 한번 부호화되어 있기 때문에, 가부호화 시에 부호화 비용이 좋았던 모드의 변환계수 및 모드정보를 메모리에 기억해 놓고, 부호화 처리부(107)는 부호화를 실행하지 않고 메모리에 기억되어 있는 부호화 데이터를 호출해서 복사한다고 하는 처리를 실행해도 좋다.

대상 매크로블록에 대해 당해 부호화 루프가 종료되면, 다음의 블록의 입력 화상신호(115)가 프레임 내 예측부(1004)로 입력되고, 다음의 블록의 부호화가 실행된다. 부호화 제어부(108)는 발생 부호량의 피드백 제어 및 양자화 특성 제어, 모드 제어 등을 실행하고, 발생 부호량의 제어를 실행하는 속도 제어(rate control)나, 예측부의 제어, 부호화 전체의 제어를 실행한다.

상술한 각 부의 기능은, 컴퓨터에 기억되어 있는 프로그램에 의해 실현할 수 있다.

본 실시형태에 따른 동화상 부호화 방법을 도 11에 나타낸 프레임 내 예측부(1004)를 참조해서 설명한다. 본 실시형태에 있어서, 도 2와 같은 구성요소에는 동일한 부호를 붙이고 그 설명을 생략한다.

프레임 내 예측부(1004)에 입력 화상신호(115)가 입력되면, 그 신호는 화소적응 예측부(201)와 방향 예측부(202) 및 고정모드 예측부(203)로 입력된다. 예측모드와 예측블록 형상에 대응하는 예측화상신호(114)가, 화소적응 예측부(201)와 방향 예측부(202) 및 고정모드 예측부(203)에서 생성된다.

예측부(201, 202, 203)에 의해 각각 예측되어 있는 예측화상신호(114) 및 예측모드정보는 내부 모드 선택부(1104)로 입력된다. 내부 모드 선택부(1104)는 입력 화상신호(115)로부터 예측화상신호(114)를 차감한 예측오차신호(116)를 생성한다. 내부 모드 선택부(1104)는 내부 가부호화/부호량 계측부(1101)에서 산출되어 있는 내부 부호량(1105)과 내부 부호화 왜곡 계측부(1102)에서 산출되어 있는 내부 부호화 왜곡(1106)을 기초로 식 (24)를 이용해서 내부 부호화 코스트를 산출하고, 부호화 코스트(J)가 가장 작은 값을 부여하는 모드를 최적 모드로서 선택한다.

본 실시형태에서는, 내부 부호량(1105)과 내부 부호화 왜곡(1006)을 이용하였지만, 부호량만, 또는 부호화 왜곡만을 이용해서 모드를 판정해도 좋다. 입력 화상신호의 활동도를 이용해서 코스트를 작성해도 좋고, 양자화 폭, 양자화 파라미터를 이용해서 코스트 함수를 작성해도 좋다. 부호화 왜곡에 시각적인 주파수 특성이나 감도 등의 가중을 실행하여 부호화 코스트로 해도 좋다.

선택되어 있는 모드가, 화소적응 예측부(201)에서 예측되어 있는 모드인지, 방향 예측부(202)에서 예측되어 있는 모드인지, 고정모드 예측부(203)에서 예측되어 있는 모드인지를 나타내는 모드정보를 내부 모드 선택부(1104)가 부호화 제어부(108)로 전달한다. 부호화 제어부(108)는 주어진 모드정보에 따라 예측 절환 스위치(205)를 제어한다.

내부 모드 선택부(1104)에서 선택되어 있는 모드정보와 예측오차신호는 내부 변환 및 양자화부(206)로 입력된다. 변환 및 양자화부(206)는 입력되어 있는 예측오차신호(116)를 직교변환하여 변환계수 데이터(117)를 생성한다. 변환 및 양자화부(206)는 변환계수를 양자화한다. 양자화에 필요하게 되는 양자화 파라미터는 부호화 제어부(108)에 의해 설정된다.

부호화 제어부(108)는 가부호화 플래그를 참조하고, 이 플래그가 TRUE이면, 내부 가부호화 절환 스위치(1103)를 내부 가부호화/부호량 계측부(1101)로 접속한다. 이에 따라, 당해 모드의 변환계수와 모드정보가 내부 가부호화/부호량 계측부(1101)로 입력된다. 내부 가부호화/부호량 계측부(1101)는 이들 입력되고 있는 데이터의 엔트로피 부호화를 실행한다. 이 경우, 내부 가부호화/부호량 계측 부(1101)는 부호량을 누적 가산하고, 실제의 부호화에서 발생하는 총부호량의 견적을 실행하며, 부호화 데이터를 출력하지 않는다. 내부 가부호화/부호량 계측부(1101)에서 계측되고 있는 내부 부호량(1105)은 내부 부호화 왜곡 계측부(1102)로 보내진다.

내부 부호화 왜곡 계측부(1102)는 내부 역양자화 및 역변환부(207)에서 복호되는 예측오차신호(116)와 예측화상신호(114)를 가산해서 생성되고 있는 복호화상신호(119)를 입력으로서 받을 뿐만 아니라, 입력 화상신호(115)를 받아 복호화상신호(119)와 입력 화상신호(115)의 제곱 오차(내부 부호화 왜곡(1106))를 계산한다. 내부 부호화 왜곡 계측부(1102)는 입력으로서 받은 내부 부호량(1105)과 계산에 의해 얻어지는 내부 부호화 왜곡(1106)을 내부 모드 판정부(1104)로 보낸다.

내부 가부호화 루프(도 11에서의 각각의 예측부 → 내부 모드 선택부(1104) → 예측 절환 스위치(205) → 내부 변환 및 양자화부(206) → 내부 가부호화 절환 스위치(1103) → 내부 가부호화/부호량 계측부(1101) → 내부 부호화 왜곡 계측부(1102)라는 순서로 흐르는 처리)는 매크로블록 이하의 소화소블록에서 선택 가능한 1개의 모드에 대해 처리를 실행한 경우에 1회의 루프로 된다. 모드가 10종류 존재하는 경우는, 내부 가부호화 루프가 10회 반복된다. 당해 소화소블록에서 선택 가능한 모든 모드에 대해 내부 가부호화 루프가 종료되면, 내부 모드 선택부(1104)는 부호화 제어부(108)의 가부호화 플래그를 FALSE로 설정한다.

예컨대, 4×4화소 예측을 실행하는 경우, 1개의 4×4화소블록에 대해, 화소적응 예측, 방향 예측, 고정모드 예측이 실행된다. 이 경우, 9+9+1회의 가부호화 루프가 반복된다. 4×4화소 예측에서는 16개 블록에 대해 상기 예측이 실행되는 것으로 되어, 합계 16×(9+9+1)회 내부 가부호화 루프가 반복된다.

부호화 제어부(108)에서 가부호화 플래그가 FALSE로 설정되어 있는 경우, 내부 가부호화 절환 스위치(1103)는 내부 변환 및 양자화부(206)의 출력을 프레임 내 예측부(1004)의 외부로 접속한다. 이 때, 내부 모드 판정부(1104) 내에서는 모든 모드에 대한 부호화 비용이 계산되어 있고, 그 중에서 가장 작은 부호화 코스트를 부여하는 모드의 변환계수(117) 및 모드정보가 프레임 내 예측부(1004)의 외부로 보내진다.

동화상 부호화 장치(1000)가 실시하는 동화상 부호화 방법을 도 12를 참조해서 설명한다.

동화상 부호화 장치(1000)에 동화상이 입력되면(단계 S001), 화상 분할부(101)는 동화상의 1프레임을 복수의 매크로블록으로 분할한다. 분할되어 있는 1개의 매크로블록이 입력 화상신호(115)로서 프레임 내 예측부(102)로 입력된다(단계 S002). 이때, 모드 선택부(1005), 내부 모드 선택부(1104)는 모드를 지시하는 인덱스나 코스트를 초기화한다(단계 S003).

프레임 내 예측부(1004)는, 입력 화상신호(115)를 이용해서, 예측블록에서 선택 가능한 1개의 모드에 대한 예측화상신호(114)를 생성한다(단계 S004). 모드 선택부(1005)는 예측화상신호(114)와 입력 화상신호(115)의 차분을 계산하여 예측오차신호(116)를 생성한다. 변환 및 양자화부(104)가 예측오차신호(116)를 변환·양자화하고, 양자화되어 있는 변환계수(117)가 가부호화/부호량 계측부(1001)로 입 력된다. 가부호화/부호량 계측부(1001)는 변환계수를 가부호화하고(단계 S005), 부호량을 누적 가산한다. 변환계수는 국소 복호되고, 부호화 왜곡 계측부(1002)에서 입력 화상신호와 복호화상신호의 제곱 오차를 계산한다. 얻어진 부호량(R)과 부호화 왜곡(D)에 기초해서 부호화 코스트를 계산한다(단계 S006).

모드 선택부(1005)는 계산되어 있는 부호화 코스트(cost)가, 최소 부호화 코스트 min_cost보다 작은지 여부를 판별하고(단계 S007), 작은 경우(YES)에는 그 부호화 코스트로 최소 부호화 코스트를 갱신함과 더불어, 대응하는 부호화 모드를 best_mode 인덱스로서 유지하고, 가부호화 데이터를 일시적으로 메모리에 보존한다(단계 S008). 계산되어 있는 부호화 코스트(cost)가 최소 부호화 코스트(min_cost)보다 큰 경우(즉, 판정이 NO), 모드 선택부(1005)는 모드 번호를 나타내는 인덱스를 인크리먼트하고, 인크리먼트 후의 인덱스가 모드의 최후인지 어떤지를 판정한다(단계 S009). 인덱스가 모드의 최후의 번호인 MAX보다 큰 경우(YES), 인덱스는 best_mode의 부호화 모드정보, 예측 정보(109), 예측 절환 정보(110)와 함께 부호화 처리부(107)에 의해 엔트로피 부호화된다(단계 S010). 인덱스가 모드의 최후의 번호인 MAX보다 작은 경우(NO), 다음의 인덱스로 나타낸 부호화 모드의 예측화상신호(115)가 생성된다(단계 S004).

best_mode에서의 부호화가 실행되면, 양자화되어 있는 변환계수(117)가 역양자화 및 역변환부(105)로 입력되고, 역양자화 및 역변환이 실행된다. 복호되어 있는 예측오차신호(116)가 모드 선택부(1004)로부터 제공되는 best_mode의 예측화상신호(114)와 가산기(118)에 의해 가산되어, 복호화상신호(119)로서 참조화상 메모 리(106)에 보존된다.

1프레임의 부호화가 종료되어 있는지 어떤지의 판정이 이루어진다(단계 S11). 부호화가 완료되어 있는 경우(YES), 다음의 프레임의 입력 화상신호가 화면 분할부(101)에 입력되고, 다음의 프레임의 부호화 처리가 실행된다. 1프레임의 부호화 처리가 완료되어 있지 않은 경우(NO), 다음의 매크로블록의 입력신호가 입력되고, 부호화 처리가 계속된다.

이상과 같이 본 실시형태의 동화상 부호화 방법이 동화상 부호화 장치(1000)에 의해 실행된다. 본 실시형태와 같이 가부호화 및 인덱스의 이용에 의해 부호량을 블록마다 적절히 할당할 수 있어 부호화 효율이 개선된다.

(제3실시형태(부호화))

도 22에 나타낸 제3실시형태에서는, 제2실시형태에 더하여, 제1프레임 내 예측부(2202), 제2프레임 내 예측부(2203)가 더 설치되어 있다. 화면 분할부(2201)의 기능이 제2실시형태와는 다르기 때문에 다른 참조번호를 붙이고 있다. 도 10의 실시형태에서는 도 1의 실시형태와 공통하는 구성요소에는 동일한 부호를 붙이고 그 설명을 생략한다.

도 22에 나타낸 동화상 부호화 장치(2200)에서는, 제1프레임 내 예측부(2202)와 제2프레임 내 예측부(2203)는 예측블록 사이즈가 다를 뿐이고, 예측방법은 도 11에서 나타낸 프레임 내 예측부(1004)와 동일하다. 화면 분할부(2201)는 입력 동화상 신호를 소화소블록으로 분할한다. 이 때, 매크로블록을 다른 블록 형 상으로 분할한다. 한쪽은 4×4화소블록을 16개 조합시킨 블록 형상으로 분할하고, 다른 한쪽은 8×8화소블록을 4개 조합시킨 블록 형상으로 분할한다. 각각 분할한 블록을 입력 화상신호(115)로서 제1프레임 내 예측부(2202) 및 제2프레임 내 예측부(2203)로 입력한다. 제1프레임 내 예측부(2202)는 4×4화소 예측을 실행한다. 여기서, 4×4화소블록을 4개 모아 8×8화소블록 단위의 예측화상을 4개 생성한다. 제2프레임 내 예측부(2203)는 8×8화소 예측을 실행한다. 즉, 제2 프레임 내 예측부(2203)는 1개의 8×8화소 예측을 4회 실행한다. 최초의 8×8화소블록의 예측이 완료된 시점에서, 4×4화소 예측에 의한 예측화상신호와 8×8화소 예측에 의한 예측화상신호가 모드 선택부(1005)로 입력된다. 모드 선택부(1005)는 소정의 방식에 따라 부호화 코스트를 계산하고, 산출된 부호화 코스트로부터 부호화 비용이 가장 작은 예측모드를 선택한다. 선택되어 있는 모드에 대응하는 복호화상이 변환 및 양자화부(104), 역양자화 및 역변환부(105)를 거쳐 참조화상 메모리(106)에 축적된다.

최초의 8×8화소블록의 모드가 결정되면, 다음의 8×8화소블록의 예측을 마찬가지로 실행한다. 즉, 매크로블록 내의 8×8화소 단위로 4×4화소 예측과 8×8화소 예측을 절환하는 것이 가능하다. 도 4e는 매크로 블록 내에서 예측블록 사이즈를 절환하는 예를 나타낸다. 8×8화소블록 4개의 모드가 모두 결정되면, 부호화 제어부(108)는 가부호화 절환 스위치(1003)를 부호화 처리부(107)로 접속하고, 이로써 부호화가 행해진다. 이때, 8×8화소블록이 4×4화소 예측으로 부호화되어 있는지, 8×8화소 예측으로 부호화되어 있는지의 정보도 동시에 부호화된다. 이 정 보는 매크로블록에 대해 4비트의 데이터로서, 부호화 처리부(107)에 의해 부호화된다.

이하에 예측 정보를 절환할 때에 필요하게 되는 블록 사이즈 절환 정보의 신택스에 대해 설명한다.

도 23의 시퀀스 파라미터 세트 신택스 내에 나타낸 ex_adaptive_blocksize_in_seq_flag는 블록 사이즈 절환 예측을 시퀀스마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 블록 사이즈 절환 예측의 사용 가부를 시퀀스 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 시퀀스 내에서는 블록 사이즈 절환 예측을 이용할 수 없다.

도 24의 픽처 파라미터 세트 신택스 내에 나타낸 cx_adaptivc_blocksize_in_pic_flag는 블록 사이즈 절환 예측을 픽처마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 블록 사이즈 절환 예측의 사용 가부를 픽처 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 픽처 내에서는 블록 사이즈 절환 예측을 이용할 수 없다.

도 25의 슬라이스 헤더 신택스 내에 나타낸 ex_adaptive_blocksize_in_slice_flag는 블록 사이즈 절환 예측을 슬라이스마다 변경할 것인지 어떤지를 나타내는 플래그로서, 당해 플래그가 TRUE일 때는 블록 사이즈 절환 예측의 사용 가부를 슬라이스 단위로 절환하는 것이 가능하다. 플래그가 FALSE일 때는, 슬라이스 내에서는 블록 사이즈 절환 예측을 이용할 수 없다.

도 26의 매크로블록 레이어 신택스 내에 나타낸 ex_adaptive_blocksize_mode 는 4비트의 데이터로서, 블록 사이즈 절환 정보에 대응한다. 도 28a는 A, B, C, D의 순서로 8×8화소블록이 4×4화소 예측인지, 8×8화소 예측인지를 나타내고 있다. 예컨대, ex_adaptive_blocksize_mode가 1100을 나타내고 있을 때, 도 28b에 있는 바와 같이 블록 A, B가 8×8화소 예측으로 부호화되고, 블록 C, D가 4×4화소 예측으로 부호화되어 있음을 알 수 있다. 이 데이터는 ex_adaptive_blocksize_in_seq_flag, ex_adaptive_blocksize_in_pic_flag, ex_adaptive_blocksize_in_slice_flag의 적어도 1개 이상의 플래그가 TRUE일 때에만 유효하다.

매크로블록 레이어(macroblock layer: 매크로블록 층)에 의해 신택스를 보내는 것이 아니라, 매크로블록 타입에 의해 보내도 좋다. 도 27은 매크로블록 타입에 블록 사이즈 절환 정보를 부여하는 예이다. mb_type이 0인 경우는 4×4화소 예측만으로 매크로블록의 예측을 실행한다. mb_type이 1인 경우는 8×8화소 예측만으로 매크로블록의 예측을 실행한다. mb_type이 1로부터 5인 경우는 블록 사이즈 절환 예측을 실행한다. 여기서, Intra_A_B_C_D는 어느 블록이 8×8화소 예측을 이용하고 있는지를 나타내고 있다. 도 28a에 각각 A, B, C, D의 블록 위치를 나타낸다. 예컨대, mb_type이 3일 때, A와 B의 블록이 8×8화소 예측으로 예측되어 있는 것을 나타내고 있다. mb_type이 6일 때는 16×16화소 예측이 실행되는 것을 나타내고 있다. 이와 같이 mb_type에 블록 사이즈 절환 정보를 부여하고, 선택빈도가 높은 모드에 작은 인덱스를 부여함으로써, 효율이 좋은 예측이 가능해진다.

이상 설명한 바와 같이 본 실시형태에서는, 복수의 선택 가능한 부호화 모드 의 각각에 대해, 8×8화소 단위로 실제로 가부호화 처리가 이루어져, 8×8화소마다 모드의 부호화 데이터의 부호량과 부호화 왜곡으로부터 얻어진 부호화 코스트가 가장 작은 모드가 선택되고, 선택되어 있는 모드에 기초해서 부호화 데이터가 출력된다. 이와 같이 매크로블록 내의 8×8화소블록마다 예측블록 사이즈를 절환하여 모드 선택을 실행하고 있기 때문에, 예측방법에 따라 부호화 효율이 높은 부호화를 실행할 수 있는 블록 형상을 선택할 수 있는, 즉 화소블록의 내용 등에 따라 적합한 부호화를 행할 수 있다.

이와 같이, 각 모드 모두에 대해 부담이 큰 부호화 처리를 실행할 필요가 없고, 선택되어 있는 모드에서의 부호화만 실행하도록 하면 좋기 때문에, 연산 부담의 증가도 억제할 수 있다. 즉, 본 실시형태에서는, 고속이면서 알맞은 모드 선택과, 고속이고 압축 효율이 높은 동화상 부호화를 실현하는 것이 가능해진다.

상술한 바와 같이 선택되어 있는 모드에서의 부호화 시에, 복호화상신호의 생성은 선택되어 있는 모드에 대해서만 실행하면 좋고, 예측모드 판정을 위한 루프 내에서는 반드시 실행하지 않아도 좋다.

상기 동화상 부호화 장치에 대응하는 동화상 복호화 장치를 설명한다.

(제4실시형태(복호화))

도 29에 나타낸 동화상 복호화 장치에 의하면, 동화상 부호화 장치로부터 송출되고, 전송계 또는 축적계를 거쳐 송신되어 온 부호화 데이터는 입력 버퍼(901) 에 일단 축적되고, 다중화 분리기(902)에 의해 1프레임마다 신택스에 기초해서 복수의 화소블록으로 분리된 후, 그들이 부호열 복호부(903)로 입력된다. 부호열 복호부(903)는, 도 13에 나타낸 신택스 구조에 따라, 하이레벨 신택스, 슬라이스 레벨 신택스, 매크로블록 레벨 신택스의 각각에 대해, 순차로 부호화 데이터의 각 신택스의 부호열을 복호한다. 양자화되어 있는 변환계수, 양자화 매트릭스, 양자화 파라미터, 예측모드정보, 예측 절환 정보 등이 복원된다.

양자화되어 있는 변환계수는 복원되어 있는 각 정보 중의 양자화 매트릭스, 양자화 파라미터를 이용해서, 역양자화 및 역변환부(904)에서 역양자화되고, 역직교변환(예컨대 역이산 코사인 변환 등)된다. 여기서는, 역직교변환에 대해 설명하였지만, 부호화기에서 웨이브렛 변환 등이 행해지고 있는 경우, 역양자화 및 역변환부(904)는 대응하는 역양자화 및 역웨이브렛 변환 등이 실행되어도 좋다. 역양자화 및 역변환부(904)에서 변환되어 있는 계수는 오차신호(911)로서, 가산기(905)로 보내진다. 가산기(905)는 프레임 내 예측부(907)로부터 출력되는 예측신호(916)와 당해 오차신호(911)를 가산하고, 가산신호를 복호신호(912)로서 참조화상 메모리(906)로 입력한다. 복호신호(912)는 더욱이 출력 버퍼(913)로 보내져, 복호화 제어부(908)가 관리하는 타이밍에서 출력된다.

부호열 복호부(903)에서 복호되어 있는 예측모드정보(909) 및 예측 절환 정보(910)가 프레임 내 예측부(907)로 입력된다. 이미 부호화되어 있는 참조신호(914)가 참조화상 메모리(906)로부터 프레임 내 예측부(907)로 읽혀진다. 프레임 내 예측부(907)는 입력되어 있는 정보를 기초로 예측신호(916)를 생성하고, 그 것을 가산기(905)로 입력한다.

복호화 제어부(908)는 입력 버퍼(901), 출력 버퍼(913)의 제어나, 복호화 타이밍의 제어 등을 실행한다.

본 실시형태에 따른 동화상 복호화 방법을 실현하는 동화상 복호 장치(900)의 프레임 내 예측부(907)가 도 30을 참조해서 설명된다. 도 30의 실시형태에서는 도 29의 실시형태와 같은 구성요소에는 동일한 부호를 붙이고 그 설명을 생략한다.

부호열 복호부(903)에 의해 복호되어 있는 예측모드정보(909) 및 예측 절환 정보(910)가 프레임 내 예측부(907)에 입력되면, 이들 정보는 일단 예측 제어부(3007)로 보내진다. 예측 절환 스위치(3001)가 예측 절환 정보(910)에 기초해서 조작된다. 구체적으로는, 예측 절환 정보로서 ex_adaptive_intra_flag와 ex_direct_intra_flag가 예측 제어부(3007)로 입력된다. ex_adaptive_intra_flag는 화상이 화소적응 예측으로 예측되어 있는지, 방향 예측으로 예측되어 있는지를 나타내는 플래그로서, 당해 플래그가 TRUE인 경우는 예측 절환 스위치(3001)를 화소적응 예측부(3002)로 접속한다. 당해 플래그가 FALSE인 경우는, 예측 절환 스위치(3001)을 방향 예측부(3003)로 접속한다. ex_direct_intra_flag는 고정모드 예측이 실행되고 있는지, 실행되고 있지 않은지를 나타내는 플래그로서, 당해 플래그가 TRUE인 경우, ex_adaptive_intra_flag의 상태에 관계없이 예측 절환 스위치(3001)는 고정모드 예측부로 접속된다. 각각의 정보에 의해 예측 절환 스위치(3001)가 절환되면, 참조신호(914)가 프레임 내 예측부(907)로 입력된다.

참조신호(914)는 예측 절환 스위치(3001)를 매개로 플래그에 대응하는 예측 부로도 입력된다. 참조신호(914)가 화소적응 예측부(3002)로 입력되면, 예측 제어부(3007)는 예측모드정보(909)를 화소적응 예측부(3002)로 입력한다. 이 정보를 기초로, 화소적응 예측부(3002)는 화소적응 예측을 실행하여 예측신호(916)를 생성한다. 참조신호(914)가 방향 예측부(3003)로 입력되면, 예측 제어부(3007)는 예측모드정보(909)를 방향 예측부(3003)로 입력한다. 이 정보를 기초로, 방향 예측부(3003)는 방향 예측을 실행하여 예측신호(916)를 생성한다. 참조신호(914)가 고정모드 예측부(3004)로 입력되면, 예측 제어부(3007)는 예측모드정보(909)를 고정모드 예측부(3004)로 입력한다. 이 정보를 기초로, 고정모드 예측부(3004)는 고정모드 예측을 실행하여 예측신호(916)를 생성한다. 이와 같이 해서, 예측부(3002, 3003, 3004)에 의해 선택적으로 예측되어 있는 예측신호(916)는 프레임 내 예측부(907)의 외부로도 출력된다.

계속해서, 각 예측부(3002, 3003, 3004)의 예측방법에 대해 설명한다. 이들 예측부는 참조화상 메모리(906)에 기억되어 있는 이미 복호가 완료된 참조신호(914)를 이용해서 예측 대상으로 되는 블록의 예측을 실행한다. 예측모드는 9가지가 있고, 도 5a에 나타낸 바와 같이 각각 22.5도씩 다른 예측방향을 가지고 있다. 모드 0으로부터 모드 8까지 규정되어 있고, 모드 2는 방향 예측부(3003)에서는 DC 예측으로 되어 있다. 방향 예측부(3003)에서 실행되는 방향 예측모드와 화소적응 예측부(3002)에서 실행되는 화소적응 예측모드의 명칭이 도 9에 나타내어져 있다. 4×4화소 예측의 예측블록과 참조화소와의 관계가 도 5b에 나타내어져 있다. 대문자 A로부터 M까지의 화소가 참조화소이고, 소문자 a로부터 p까지의 화소 가 예측화소가다.

최초로 방향 예측부(3003)에 의한 예측방법을 설명한다. 방향 예측부(3003)에서는, 모드 2의 DC 예측이 선택되어 있는 경우, 식 (2)를 이용해서 예측화소가 계산된다. 참조화소를 이용할 수 없을 때는, 이용할 수 있는 참조화소의 평균값으로 예측된다. 이용할 수 있는 참조화소가 1개도 존재하지 않는 경우는, 당해 부호화 장치의 최대 휘도값의 반의 값(8비트라면 128)으로 예측값이 계산된다. 그 밖의 모드가 선택되어 있는 경우, 방향 예측부(3003)는 도 5a에서 나타낸 예측방향에 대해, 참조화소로부터 보간되어 있는 예측값을 복사하는 예측방법을 이용한다. 예컨대, 모드 0(수직예측)이 선택되어 있는 경우의 예측값 생성방법은 식 (3)을 이용한다. 이 모드는 참조화소 A로부터 D까지를 이용할 수 있을 때만 선택하는 것이 가능하다. 이 예측방법에서는 도 5c에 나타낸 바와 같이 참조화소 A∼D의 휘도값이 그대로 수직방향으로 복사되어 예측값으로서 보전된다.

예측모드 0, 2 이외의 예측방법에 관해서도 거의 마찬가지의 프레임워크가 이용되고 있는 바, 예측방향에 대해 이용할 수 있는 참조화소로부터 보간값을 생성하고, 그 값을 예측방향에 따라 복사한다고 하는 예측을 실행한다.

화소적응 예측부(3002)에 대해 설명한다. 예측모드는 도 5a에서 설명한 것과 동일하다. 화소적응 예측부(3002)는 예측화소와 참조화소의 거리에 따라 이용하는 참조화소의 수가 변경되는 예측을 실행하는 바, 화소 단위로 예측값이 바뀐다. 이용하는 참조화소의 가중 테이블을 거리에 따라 변경함으로써, 정밀도가 높은 예측값의 생성이 가능해진다.

도 6a에 참조화소와 예측블록의 관계를 나타내고 있다. 도 6a와 도 5b에서 나타낸 참조화소와 예측화소는 1대 1로 대응하고 있지만, 예측식의 설명을 하기 쉽게 하기 위해, 다른 인덱스를 이들 화소에 부여하고 있다. 참조화소는 x00으로부터 x08까지와, x09, x18, x27, x36의 13개이다. 예측화소는 x10으로부터 x13, x19로부터 x22, x28로부터 x31, x37로부터 x40까지의 16개이다. x14로부터 x17, x23으로부터 x26, x32로부터 x35, x41로부터 x44까지의 16화소는 예측 보조 화소로서, 예측 정밀도를 높이기 위해 이용된다.

화소적응 수직예측(모드 0)에 관해 예측값 생성방법을 상세히 설명한다. 도 6b에 화소적응 수직예측의 예측방법을 나타내고 있다. 도 6b로부터 알 수 있는 바와 같이, 참조화소와 대상 예측화소와의 거리가 떨어질수록, 많은 참조화소를 이용해서 예측값이 결정된다.

구체적으로 예측값 생성방법을 설명한다. 화소적응 수직예측에서는 식 (5)를 이용해서 예측화소를 계산한다. n은 도 6a에서 나타낸 예측화소위치(x10으로부터 x13, x19로부터 x22, x28로부터 x31, x37로부터 x40)에 대응하는 인덱스를 나타낸다. d는 식 (6)으로 주어진다. 참조화소와 예측화소의 거리에 따라 식 (5)를 전개하면 식 (7)과 같은 예측식으로 된다. L은 참조화소와 예측화소의 거리를 나타내고 있다. Vi는 대응하는 예측모드에 따라 결정되는 인덱스이다. hi는 필터계수를 나타내고 있고, L에 의해 탭수가 변화한다.

참조화소로부터 예측방향에 대해 1개 떨어진 예측화소는 3개의 참조화소를 이용하여 식 (8)에 의해 예측된다. 여기서 n에는 L = 1(x10으로부터 x13)에 대응 하는 인덱스가 들어간다. 필터계수는 hi = (1, 2, 1)이고, Vi = (d+1, d, d-1)이 대응한다.

참조화소에 대해 예측방향에 대해 2개 떨어진 예측화소는 5개의 참조화소를 이용하여 식 (9)에 의해 예측된다. n에는 L = 2(x19로부터 x22)에 대응하는 인덱스가 들어간다. 필터계수는 hi = (1, 4, 6, 4, 1)이고, Vi = (2d+2, 2d+1, 2d, 2d-1, 2d-2)이 대응한다.

참조화소로부터 예측방향에 대해 3개 떨어진 예측화소는 7개의 참조화소를 이용하여 식 (10)에 의해 예측된다. n에는 L = 3(x28로부터 x31)에 대응하는 인덱스가 들어간다. 필터계수는 hi = (1, 6, 15, 20, 15, 6, 1)이고, Vi = (3d+3, 3d+2, 3d+1, 3d, 3d-1, 3d-2, 3d-3)이 대응한다.

참조화소로부터 예측방향에 대해 4개 떨어진 예측화소는 9개의 참조화소를 이용하여 식 (10)에 의해 예측된다. 여기서 n에는 L = 4(x37로부터 x40)에 대응하는 인덱스가 들어간다. 필터계수는 hi = (1, 8, 28, 56, 70, 56, 28, 8, 1)이고, Vi = (4d+4, 4d+3, 4d+2, 4d+1, 4d, 4d-1, 4d-2, 4d-3, 4d-4)이 대응한다.

각각의 모드에 대한 예측식을 설명한다. 화소적응 수평 예측(모드 1)은 식 (14)를 이용해서 예측을 실행한다. 화소적응 왼쪽 위(左上) 예측(모드 2)은 식 (15)를 이용해서 예측을 실행한다. 화소적응 직교 왼쪽 아래(左下) 예측(모드 3)은 식 (16)을 이용해서 예측을 실행한다. 화소적응 직교 오른쪽 아래(右下) 예측(모드 4)은 식 (17)을 이용해서 예측을 실행한다. 화소적응 수직 왼쪽(左) 예측(모드 5)은 식 (18)을 이용해서 예측을 실행한다. 화소적응 수평 아래(下) 예측 (모드 6)은 식 (19)를 이용해서 예측을 실행한다. 화소적응 수직 왼쪽 예측(모드 7)은 식 (20)을 이용해서 예측을 실행한다. 화소적응 수평 위(上) 예측(모드 8)은 식 (21)을 이용해서 예측을 실행한다. 당해 예측화소값을 구하기 위해서는, 필요한 예측 완료 화상을 대입해서 전개함으로써, 필요하게 되는 참조화소 및 참조화소수, 가중 테이블이 산출된다.

참조화소가 존재하지 않는 경우에는, 화소적응 수직방향 예측과 마찬가지로, 참조화소의 보전을 행한다. 예컨대, 화소적응 수평 예측에서 x37을 예측하는 경우, x45의 참조화소를 이용할 수 없다. 따라서, 이 참조화소를 x36에 의해 보전한다.

상술한 바와 같이, 화소적응 예측부(3002)에 의해 예측화상 생성방법이 실행된다.

고정모드 예측부(3004)에 관해 상세히 설명한다. 고정모드 예측부(3004)는, 모드정보의 예측을 실행하고, 결정된 예측모드에서 화소적응 예측 또는 방향 예측을 실행한다. 모드정보의 예측은, 예측 대상 블록에 인접하는 예측블록의 모드정보를 이용한다.

도 8에 4×4화소 예측의 경우의 예측 대상 블록과 인접 블록의 관계를 나타낸다. 예측 대상 블록(C)의 왼쪽의 인접 블록을 A로 하고, 위의 인접 블록을 B로 한다. 이들 2개의 예측모드가 prev_left_mode, prev_upper_mode로서 주어졌을 때, 당해 블록의 예측모드는 식 (23)에 의해 결정된다. current_mode는 예측블록의 예측모드가다. 함수 min(A, B)는 A와 B의 작은 쪽의 값을 나타낸다. 이와 같이 주 위의 블록의 예측모드정보로부터 예측블록의 예측모드정보를 예측하기 위해, 예측모드정보를 부호화하기 위한 부호량을 대폭 줄이는 것이 가능한 부호화 모드의 하나이다.

화소적응 예측부(201)를 이용해서 예측화상을 생성할 것인지, 방향 예측부(202)를 이용해서 예측화상을 생성할 것인지는 ex_direct_intra 플래그에 의해 결정되고, 부호화 제어부(108)로부터 주어진 ex_direct_intra 플래그 정보에 기초해서 결정된다.

본 실시형태에서는, 현재의 예측블록의 예측모드정보는 인접 예측블록 A 및 B의 예측모드정보에 기초해서 결정된다. 본 실시형태의 변형예로서, 주위의 예측블록의 예측모드정보에 기초해서 결정해도 상관없다. 예컨대, 예측블록 B의 오른쪽의 블록, 예측블록 B의 위쪽의 블록, 예측블록 A의 왼쪽의 블록 및 예측블록 A의 위쪽의 블록의 예측모드정보를 이용해서, 현재의 예측블록의 예측모드를 결정해도 상관없다. 예컨대, 주변 예측블록의 예측모드 중 가장 빈도가 높은 예측모드, 주변 예측블록의 예측모드의 중앙값 또는 주변 예측블록의 예측모드의 평균값을 현재의 예측블록의 예측모드로서 결정해도 상관없다.

화소적응 예측과 방향 예측을 절환하는 예측 절환 정보의 신택스, ex_adaptive_intra_flag와, 고정모드 예측을 실행하는 신택스, ex_direct_intra_flag의 복호화 방법은, 도 13 내지 도 21a에 나타낸 부호화 방법과 같다.

(제5실시형태(복호화))

도 31을 참조해서 제5실시형태에 따른 복호화 장치(3100)를 설명한다. 본 실시형태에서는, 제4실시형태에 대해, 프레임 내 예측부(907)가 제1프레임 내 예측부(3102), 제2프레임 내 예측부(3103)로 변경되어 있다. 더욱이, 블록 사이즈 절환 스위치(3101)가 새롭게 도입되어 있다. 본 실시형태에서는, 도 29와 같은 구성요소에는 동일한 부호를 붙이고 그 설명을 생략한다.

부호열 복호부(903)에서 복호되어 있는 예측모드정보(909), 예측 절환 정보(910), 블록 사이즈 절환 정보(915) 등이 블록 사이즈 절환 스위치(3101) 및 복호화 제어부(908)로 보내진다. 복호화 제어부(908)는 블록 사이즈 절환 정보를 기초로 블록 사이즈 절환 스위치(3101)를 적절한 단점(端点)으로 접속한다.

보다 구체적으로 설명하면, 부호열 복호부(903)로부터 부여되는 ex_adaptive_blocksize_mode로부터 블록 사이즈를 판단한다.

이 정보는 4비트로 구성되어 있고, 매크로블록 내의 8×8화소 내에서 4×4화소 예측을 실행할 것인지, 8×8화소 예측을 실행할 것인지를 나타내고 있다. 비트는 왼쪽 위에서부터 오른쪽 아래로 순서대로 할당되어 있고, 도 28a에 나타낸 바와 같이 A, B, C, D의 순서로 되어 있다. ex_adaptive_blocksize_mode의 값이 1100일 때, 도 28b에 나타낸 바와 같이 블록 A, B에 8×8화소 예측이 할당되어 있고, 블록 C, D에 4×4화소 예측이 할당되어 있음을 알 수 있다.

각 비트의 값이 0이면, 복호화 제어부(903)는 블록 사이즈 절환 스위치(3101)의 출력단을 제1프레임 내 예측부(3102)로 접속한다. 제1프레임 내 예측 부(3102)는 4×4화소 예측을 4개의 4×4화소블록에 대해 실행하고, 예측화상을 가산기(905)로 송출한다.

당해 8×8화소블록에 대응하는 비트의 값이 1이면, 복호화 제어부(908)는 블록 사이즈 절환 스위치(3101)의 출력단을 제2프레임 내 예측부(3103)로 접속한다. 제2프레임 내 예측부(3103)는 8×8화소 예측을 1개의 8×8화소블록에 대해 실행하고, 예측화상을 가산기(905)로 송출한다.

제1프레임 내 예측부(3102) 및 제2프레임 내 예측부(3103)는 내부구조에 있어서 도 30과 같고, 입력되어 있는 예측 절환 정보를 기초로 결정된 블록 사이즈의 예측을 실행하여 예측신호를 출력한다.

복호화 제어부(908)는 입력 버퍼(901), 출력 버퍼(913)의 제어나, 복호화 타이밍의 제어 등 외에, 블록 사이즈 절환 스위치의 제어도 실행한다. 본 실시형태에서의 예측 정보를 절환할 때에 필요하게 되는 블록 사이즈 절환 정보의 신택스는 도 24 내지 도 26과 같다. 매크로 블록 레이어로부터 블록 사이즈 절환 정보를 얻는 것이 아니라, 매크로블록 타입으로부터 당해 정보를 얻어도 좋다.

도 27은 매크로블록 타입으로부터 블록 사이즈 절환 정보를 얻는 예이다. mb_type이 0인 경우는 4×4화소 예측만으로 매크로블록의 예측을 실행한다. mb_type이 1인 경우는 8×8화소 예측만으로 매크로블록의 예측을 실행한다. mb_type이 1로부터 5인 경우는 블록 사이즈 절환 예측을 실행한다. 여기서, Intra_A_B_C_D는 어느 블록이 8×8화소 예측을 이용하고 있는지를 나타내고 있다. 도 28a에 각각 A, B, C, D의 블록 위치를 나타낸다.

이와 같이 본 실시형태에 따르면, 블록마다 정밀도가 높은 예측화상 생성이 가능하게 되어, 프레임 내 예측을 실행하는 경우에 사용하는 예측모드를 시퀀스, 슬라이스마다 혹은 매크로블록마다 변경할 수 있기 때문에, 주관 화질도 고려한 예측화상 생성이 가능해진다.

본 실시형태에 있어서는 동화상 부호화를 예로 들어 설명하였지만, 정지화상 부호화에도 본 발명을 적용할 수 있다.

본 발명에 의하면, 하드웨어 코스트를 삭감하면서, 화면 내 예측에 있어서 예측오차를 경감하고, 부호화 효율을 향상시키며, 충분히 시각 특성 등도 고려한 예측화상을 생성할 수 있다.

비디오, 오디오 장치, 모바일 기기(moblie equipment), 방송, 정보단말, 네트워크 등의 각 분야에 걸쳐 동화상, 정지화상, 음성 등의 부호화 및 복호화에 적용할 수 있다.

Claims (42)

1화면에 대응하는 입력 화상신호를 복수의 화소블록신호로 분할하는 단계와,

예측화소와 부호화가 완료된 참조화소와의 거리에 따라 변경되는 수의 참조화소를 이용해서 복수의 예측모드마다 규정되어 있는 방향에 따라 상기 예측화소를 외삽하는 화면 내 예측을 실행하여 예측화상신호와 예측모드정보를 생성하는 예측신호 생성단계와,

상기 화소블록신호와 상기 예측화상신호로부터 예측오차신호를 계산하는 단계,

상기 예측오차신호를 이용해서 1개의 예측모드를 선택하는 예측모드 선택단계 및,

상기 선택되어 있는 예측모드에 근거한 예측오차신호를 이용해서 부호화를 실행하는 부호화 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 예측신호 생성단계에서, 예측화소와 부호화가 완료된 참조화소와의 거리가 클수록 많은 수의 참조화소를 이용해서 예측화소를 외삽하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 예측모드마다 대응하는 예측화소블록신호의 블록 사이즈를 특정의 화소블록 사이즈 내에서 절환하는 블록 사이즈 선택단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 예측모드정보를 부호화할 것인지, 부호화하지 않을 것인지를 특정의 화소블록 사이즈 내에서 절환하는 모드정보 선택단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 예측신호 생성단계에서, 참조화소와 예측화소와의 거리에 따라 예측에 이용하는 필터계수의 가중 테이블을 변경하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 부호화 단계에서, 예측오차신호를 변환계수로 변환하고, 양자화함으로써 변환계수 데이터를 생성하는 변환 양자화 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 예측신호 생성단계에서, 화소 단위로 외삽을 실행할 때, 외삽 예측이 완료된 예측화상신호를 이용할 것인지, 이용하지 않을 것인지를 적응적으로 절환하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 예측신호 생성단계에서, 화소 단위로 외삽을 실행할 때, 부호화가 완료된 참조화상을 이용할 것인지, 이용하지 않을 것인지를 적응적으로 절환하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 예측신호 생성단계에서, 화소 단위로 외삽을 실행할 때, 시퀀스마다, 픽처마다, 또는 슬라이스마다 예측화소와 부호화가 완료된 참조화소와의 거리에 따라 변경되는 수의 참조화소를 이용해서 복수의 예측모드마다 규정되어 있는 방향에 따라 예측화소를 외삽하는 화면 내 예측을 실행할 것인지, 실행하지 않을 것인지를 절환하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 화소블록신호의 양자화 블록 사이즈에 따라 예측모드를 절환하는 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.

삭제

청구항 1에 있어서, 예측모드 선택단계에서, 선택되어 있는 예측모드에 근거한 예측오차신호를 부호화할 때의 부호량을 산출하는 부호량 산출 단계와, 선택되어 있는 예측모드에 근거한 예측오차신호를 국소 복호해서 국소 복호화상을 생성하고, 입력 화상 신호와의 차이를 나타내는 부호화 왜곡을 산출하는 부호화 왜곡 산출 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

청구항 1에 있어서, 예측신호 생성단계에서, 화소 단위로 외삽을 실행할 때, 예측모드에 의해 정해진 예측방향에 따라 예측화소 생성순서를 변경하고, 부호화가 완료된 참조화소와 함께, 외삽이 완료된 예측화소를 일시적으로 메모리에 보존하고, 다음의 예측을 실행할 때 이용하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

예측모드정보를 포함한 복호화 화상신호를 생성하기 위해 입력 부호화 화상신호를 복호하는 단계와,

복호화 화상신호의 예측모드정보에 기초해서 선택 예측모드에 따라 부호화가 완료된 참조화소와 예측화소와의 거리에 따라 예측에 이용하는 참조화소의 수 및 예측화소 생성순서를 변경하는 단계,

화소 단위로 외삽을 행하는 화면 내 예측을 실행함으로써 예측화상신호를 생성하는 예측신호 생성단계,

상기 복호화 화상신호를 기초로 예측오차신호를 생성하는 예측오차신호 생성단계 및,

예측화상신호와 예측오차신호를 가산해서 복호화상을 생성하는 복호화상 생성단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

청구항 14에 있어서, 예측모드마다 대응하는 예측화소블록의 사이즈를 특정의 화소블록 사이즈 내에서 절환하는 블록 사이즈 선택단계를 더 포함하는 것을 특 징으로 하는 화상 복호화 방법.

청구항 14에 있어서, 예측모드의 예측을 실행하고, 예측되어 있는 예측모드정보를 복호할 것인지, 복호하지 않을 것인지를 특정의 화소블록 사이즈 내에서 절환하는 모드정보 선택단계를 더 포함하는 것을 특징으로 하는 화상 복호화 방법.

청구항 14에 있어서, 예측신호 생성단계는, 화소 단위로 외삽을 행하는 화면 내 예측을 실행할 때, 참조화소와 예측화소의 거리에 따라 예측에 이용하는 필터의 가중 테이블을 변경하는 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

청구항 14에 있어서, 예측오차신호 생성단계는, 복호되어 있는 계수를 기초로 역양자화 처리를 실행하고, 역양자화되어 있는 변환계수에 대해 역변환처리를 실행하여 예측오차신호를 생성하는 역양자화 역변환 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

청구항 14에 있어서, 예측신호 생성단계는, 예측이 완료된 예측화상신호를 이용할 것인지, 이용하지 않을 것인지를 적응적으로 절환하는 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

청구항 14에 있어서, 예측신호 생성단계는, 복호화가 완료된 참조화상을 이용할 것인지, 이용하지 않을 것인지를 적응적으로 절환하는 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

청구항 14에 있어서, 예측신호 생성단계는, 시퀀스마다, 픽처마다, 또는 슬라이스마다, 화소 단위로 외삽을 실행할 때 각 시퀀스, 각 픽처 또는 각 슬라이스에서 예측화소와 부호화가 완료된 참조화소와의 거리에 따라 변경되는 수의 화소를 이용해서, 복수의 예측모드마다 규정된 방향으로 예측화소를 외삽하는 화면 내 예측을 실행할 것인지, 실행하지 않을 것인지를 절환하는 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

청구항 14에 있어서, 화상 블록 신호의 양자화 파라미터의 값이 큰지, 혹은 작은지에 따라 예측모드를 절환하는 단계를 더 포함하는 것을 특징으로 하는 화상 복호화 방법.

삭제

청구항 14에 있어서, 예측신호 생성단계는, 화소 단위로 외삽을 실행할 때, 예측모드에 의해 정해진 예측방향에 따라 예측화소 생성순서를 변경하여 예측이 완료된 예측화소를 일시적으로 메모리에 보존하고, 다음의 예측을 실행할 때 이용하는 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

1화면에 대응하는 입력 화상신호를 복수의 화소블록신호로 분할하는 화면 분할부와,

예측화소와 부호화가 완료된 참조화소와의 거리에 따라 변경되는 수의 참조화소를 이용하여 복수의 예측모드마다 규정되어 있는 방향에 따라 상기 예측화소를 외삽하는 화면내 예측을 실행하여 예측화상신호와 예측모드정보를 생성하는 예측신호 생성부,

상기 화소블록신호와 상기 예측화상신호로부터 예측오차신호를 계산하고, 이 예측오차신호를 이용해서 1개의 예측모드를 선택하는 예측모드 선택부 및,

상기 선택되어 있는 예측모드에 근거한 예측오차신호를 이용해서 부호화를 실행하는 부호화부를 구비하는 것을 특징으로 하는 화상 부호화 장치.

입력 부호화 화상신호를 복호하는 복호부와,

복호화 화상신호의 예측모드정보에 기초해서 선택 예측모드에 따라 부호화가 완료된 참조화소와 예측화소와의 거리에 따라 예측에 이용하는 참조화소의 수 및 예측화소 생성순서를 변경하고, 화소 단위로 외삽을 행하는 화면 내 예측을 실행함으로써 예측화상신호를 생성하는 예측신호 생성부,

상기 복호화 화상신호를 기초로 예측오차신호를 생성하는 예측오차신호 생성부 및,

예측화상신호와 예측오차신호를 가산해서 복호화상을 생성하는 복호화상 생성부를 구비하는 것을 특징으로 하는 화상 복호화 장치.

삭제

삭제

예측모드에 따른 예측방향으로 예측화소를 외삽함으로써 부호화해야 할 블록의 예측화상신호를 생성하는 화면 내 예측(intra-prediction) 단계,

상기 부호화해야 할 블록과 상기 예측화상신호와의 사이의 예측오차신호를 계산하는 단계 및,

상기 예측오차신호와 상기 예측모드를 지시하는 예측모드정보를 부호화함으로써 부호화된 데이터를 생성하는 단계를 구비하되,

화면 내 예측 단계에서의 외삽이 적어도 하나의 기준화소를 이용하고, 상기 적어도 하나의 기준화소의 수가 상기 예측화소와 이 예측화소로부터 예측방향에 있는 상기 적어도 하나의 기준화소 중의 하나와의 사이의 거리에 따라 변경되는 것을 특징으로 하는 화상 부호화 방법.

청구항 29에 있어서, 화면 내 예측 단계에서, 상기 거리의 증가에 따라 상기 적어도 하나의 기준화소의 수를 증가시키는 것을 특징으로 하는 화상 부호화 방법.

청구항 29에 있어서, 예측모드정보를 부호화할 것인지, 부호화하지 않을 것인지를 시퀀스, 픽처, 슬라이스 또는 매크로블록의 단위로 절환하는 단계를 더 구비하는 것을 특징으로 하는 화상 부호화 방법.

청구항 29에 있어서, 화면 내 예측 단계가 상기 거리에 따라 예측에 이용하는 필터계수의 가중 테이블을 변경하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.

부호화된 데이터를 복호함으로써 예측오차신호 및 복호화해야 할 블록의 예측모드정보를 획득하는 단계와,

예측모드정보에 따른 예측방향으로 예측화소를 외삽함으로써 복호화해야 할 블록의 예측화상신호를 생성하는 화면 내 예측 단계 및,

예측화상신호와 예측오차신호를 가산해서 복호화해야 할 블록의 복호화상을 생성하는 복호화상 생성단계를 구비하되,

화면 내 예측 단계에서의 외삽이 적어도 하나의 기준화소를 이용하고, 상기 적어도 하나의 기준화소의 수가 상기 예측화소와 이 예측화소로부터 예측방향에 있는 상기 적어도 하나의 기준화소 중의 하나와의 사이의 거리에 따라 변경되는 것을 특징으로 하는 화상 복호화 방법.

청구항 33에 있어서, 화면 내 예측 단계에서, 상기 거리의 증가에 따라 상기 적어도 하나의 기준화소의 수를 증가시키는 것을 특징으로 하는 화상 복호화 방법.

청구항 33에 있어서, 화면 내 예측 단계가 상기 거리에 따라 예측에 이용하는 필터계수의 가중 테이블을 변경하는 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.

예측모드에 따른 예측방향으로 예측화소를 외삽함으로써 부호화해야 할 블록의 예측화상신호를 생성하는 화면 내 예측신호 생성부,

상기 부호화해야 할 블록과 상기 예측화상신호와의 사이의 예측오차신호를 계산하는 계산부 및,

상기 예측오차신호와 상기 예측모드를 지시하는 예측모드정보를 부호화함으로써 부호화된 데이터를 생성하는 부호화 데이터 생성부를 구비하되,

화면 내 예측신호 생성부에서의 외삽이 적어도 하나의 기준화소를 이용하고, 상기 기준화소의 수가 상기 예측화소와 이 예측화소로부터 예측방향에 있는 상기 적어도 하나의 기준화소 중의 하나와의 사이의 거리에 따라 변경되는 것을 특징으로 하는 화상 부호화 장치.

청구항 36에 있어서, 화면 내 예측신호 생성부가 상기 거리의 증가에 따라 상기 적어도 하나의 기준화소의 수를 증가시키는 것을 특징으로 하는 화상 부호화 장치.

청구항 36에 있어서, 예측모드정보를 부호화할 것인지, 부호화하지 않을 것인지를 시퀀스, 픽처, 슬라이스 또는 매크로블록의 단위로 절환하는 스위치를 더 구비한 것을 특징으로 하는 화상 부호화 장치.

청구항 36에 있어서, 화면 내 예측신호 생성부가 상기 거리에 따라 예측에 이용하는 필터계수의 가중 테이블을 변경하는 가중 테이블 변경부를 포함하는 것을 특징으로 하는 화상 부호화 장치.

부호화된 데이터를 복호함으로써 예측오차신호 및 복호화해야 할 블록의 예측모드정보를 획득하는 복호부와,

예측모드정보에 따른 예측방향으로 예측화소를 외삽함으로써 복호화해야 할 블록의 예측화상신호를 생성하는 화면 내 예측부 및,

예측화상신호와 예측오차신호를 가산해서 복호화해야 할 블록의 복호화상을 생성하는 복호화상 생성부를 구비하되,

화면 내 예측부에서의 외삽이 적어도 하나의 기준화소를 이용하고, 상기 적어도 하나의 기준화소의 수가 상기 예측화소와 이 예측화소로부터 예측방향에 있는 상기 적어도 하나의 기준화소 중의 하나와의 사이의 거리에 따라 변경되는 것을 특징으로 하는 화상 복호화 장치.

청구항 40에 있어서, 화면 내 예측부가 상기 거리의 증가에 따라 상기 적어도 하나의 기준화소의 수를 증가시키는 것을 특징으로 하는 화상 복호화 장치.

청구항 40에 있어서, 화면 내 예측부가 상기 거리에 따라 예측에 이용하는 필터계수의 가중 테이블을 변경하는 가중 테이블 변경부를 포함하는 것을 특징으로 하는 화상 복호화 장치.

Images