KR101037642B1 - 디코딩 방법, 디코더 및 디코딩 장치 - Google Patents

Abstract

화상을 직사각형으로 분할하고, 움직임 보상에 기초한 동화상 압축 데이터를 복호화해서 화상으로 전개하여 화상 메모리에 저장하는 디코더는, 압축 데이터를 복호화하여 계수 데이터와 움직임 벡터 데이터를 기억부에 저장하는 부호 데이터 복호부와, 기억부로부터 판독된 계수 데이터에 기초해서, 역양자화 처리 및 역주파수 변환 처리를 수행하여 직사각형의 잔차(殘差) 화상을 생성하는 계수 데이터 처리부와, 기억부로부터 판독된 움직임 벡터 데이터에 기초해서, 화상 메모리로부터 참조 화상을 판독하여 직사각형의 예측 화상을 생성하는 움직임 벡터 데이터 처리부와, 잔차 화상과 예측 화상을 가산해서, 복호 화상을 생성하여 화상 메모리에 저장하는 움직임 보상부와, 디코더 내의 동작 타이밍을 제어하는 제어부를 포함한다. 움직임 벡터 데이터 처리부는 적어도 2개 이상의 직사각형에 대한 예측 화상을 기억하는 예측 화상 버퍼와, 상기 적어도 2개 이상의 직사각형에 대한 예측 화상이 생성된 것을 예측 화상 레디 신호에 의해 제어부에 통지하는 예측 화상 생성 통지부를 포함하며, 제어부는 예측 화상 레디 신호에 응답하여 동작 타이밍을 제어한다.

Description

디코딩 방법, 디코더 및 디코딩 장치{DECODING METHOD, DECODER AND DECODING DEVICE}

본 발명은 디코딩 방법, 디코더 및 디코딩 장치에 관한 것으로서, 특히 디지털 방송의 수신 시나 DVD 비디오 데이터의 재생 시 등에 압축 부호화된 동화상 데이터를 복호화하는 디코딩 방법, 디코더 및 디코딩 장치에 관한 것이다.

디지털 방송이나 DVD 비디오 등에서 시청되는 동화상은 초당 30장 정도의 디지털 화상으로 구성되어 있기 때문에, 이들 동화상 데이터를 전혀 가공하지 않고 방송파로 반송하거나, DVD 등의 기억 매체에 저장하는 것은 한정된 주파수 대역이나 기억 매체의 용량의 관점에서 곤란하므로, 현실의 애플리케이션에서는 동화상 데이터에 어떠한 압축 처리가 이루어지고 있다. 일반적으로, 이들 압축 처리는 애플리케이션의 공공성이나 시장에서의 보급을 고려하여 표준화 단체에서 규정된 규약에 따라 이루어지고 있다. 압축 방식으로는, ISO/IEC에서 규정되어 있는 MPEG-2라고 불리는 압축 방식이 널리 보급되어 있지만, 최근에는 H.264/AVC라고 불리는 새로운 압축 방식이 MPEG-2의 2배 이상의 압축률을 실현하기 때문에, 모바일 기기용 지상 디지털 방송, HD-DVD, 블루레이 플레이어 등의 재생 장치에서 채용되는 차세대 압축 방식으로서 기대되고 있다.

MPEG-2나 H.264/AVC의 동화상 압축 처리에서는, 동화상을 구성하는 화상 사이에서 상관이 강한, 즉 그림이 비슷한 영역을 검출하고, 그 용장 정보를 배제한다고 하는 사고 방식이 기본이 된다. 각 화상은, 압축의 처리 단위인 직사각형 영역(매크로 블록)으로 분할되고, 각 매크로 블록에 대하여, 참조 화상이라 불리는 시간적으로 근접한 화상으로부터 그림이 비슷한 직사각형 영역을 찾아내며, 이들 공간적인 위치의 차분이 움직임 벡터 데이터로서, 또한, 이들 화상의 잔차 데이터가 계수(係數) 데이터로서 압축 부호화된다. 디지털 방송을 수신하여 동화상을 표시하거나, DVD 비디오 데이터를 재생하는 장치에는, 압축 부호화된 데이터를 복호 전개하는 동화상 디코딩 장치가 탑재되어 있다. 동화상 디코딩 장치에서는, 움직임 벡터 데이터에 기초하여 유사한 그림의 화상을 참조하여 예측 화상을 생성하고, 잔차 화상과 가산하는 움직임 보상 처리가 필수이다. H.264/AVC의 경우, MPEG-2보다 미세한 직사각형 영역의 처리 단위로 움직임 벡터 데이터를 정의하는 것이 가능하기 때문에, 이것에 따른 동화상 디코딩 장치의 처리 부하가 커지고 있다(비특허 문헌 1 참조).

예컨대, MPEG-2에서는 처리 단위인 16×16 화소=256 화소의 직사각형 영역(매크로 블록)에 대하여 참조 화상으로서, 최대 17×9 화소의 휘도값을 2회, 즉 306 화소분 판독할 필요가 있다. 한편, H.264/AVC에서는 같은 256 화소의 매크로 블록에 대하여 최대 9×9 화소의 휘도값을 16회, 즉 1296 화소분 판독할 필요가 있다. 이것은, 최악의 경우 H.264/AVC가 MPEG-2의 4배 이상의 데이터 판독을 필요로 하는 것을 의미한다.

도 1은 종래의 디코더의 일례를 나타낸 블록도이다. 도 1에 도시된 디코더는, 부호 데이터 복호부(1), 계수 데이터 처리부(4), 움직임 벡터 데이터 처리부(5), 움직임 보상부(6), 제어부(7), 및 화상 메모리(8)를 갖는다. 부호 데이터 복호부(1)는, 매크로 블록마다 부호 데이터를 해석하여 계수 데이터와 움직임 벡터 데이터로 분류하고, 계수 데이터 처리부(4)에 계수 데이터를 공급하며, 움직임 벡터 데이터 처리부(5)에 움직임 벡터 데이터를 공급한다.

제어부(7)는 후술하는 동기 신호(SYNC)에 기초하여, 부호 데이터 복호부(1), 계수 데이터 처리부(4), 움직임 벡터 데이터 처리부(5), 및 움직임 보상부(6)의 동작을 제어한다.

계수 데이터 처리부(4)는 계수 데이터 해석부(41), 역양자화부(42), 및 역주파수 변환부(43)를 갖는다. 계수 데이터 해석부(41)는, 매크로 블록 내의 계수 데이터의 배열을 해석하는 등 압축 규격에 따른 매크로 블록 속성을 하드웨어가 취급하는 데이터 형식으로 변환하여 출력한다. 계수 데이터 해석부(41)로부터 출력된 계수 데이터는 압축 시에 양자화가 이루어져 있기 때문에, 역양자화부(42)에서 역양자화 처리가 행해진다. 또한, 화상 압축 데이터는 압축 규약에 따라 공간·주파수 변환이 이루어져 있기 때문에, 역양자화 처리에 이어서 역주파수 변환부(43)에서 역주파수 변환 처리가 행해지고, 원화상에서 예측 화상을 뺀 잔차(殘差) 화상이 출력된다. 또한, 잔차 화상에는 양자화, 공간·주파수 변환 등의 압축 처리에 따른 오차 성분이 포함되어 있어, 이것이 복호 화상의 일그러짐이 되어 나타난다.

한편, 움직임 벡터 데이터 처리부(5)는 움직임 벡터 데이터 해석부(51) 및 예측 화상 생성부(53)를 갖는다. 움직임 벡터 데이터 해석부(51)는 움직임 벡터 데이터를 압축 규약에 따라 참조 화상을 지시하는 움직임 벡터로 변환시키고, 예측 화상 생성부(53)는 변환된 움직임 벡터를 이용하여 화상 메모리(8)로부터 참조 화상을 판독하며, 압축 규약에 기초하여 예측 화상을 생성하여 출력한다.

움직임 보상부(6)는, 계수 데이터 처리부(4)가 출력하는 잔차 화상과 움직임 벡터 데이터 처리부(5)가 출력하는 예측 화상을 가산해서 복호 화상을 생성하여 화상 메모리(8)에 저장한다.

종래의 디코더에서는, 전술한 처리를 하드웨어로 실현하는 경우, 매크로 블록마다 파이프라인 처리로서 구성하며, 부호 데이터 복호부(1), 계수 데이터 처리부(4), 움직임 벡터 데이터 처리부(5) 및 움직임 보상부(6)의 각각으로부터 매크로 블록 처리마다 동기를 취하기 위한 동기 신호(SYNC)가 제어부(7)에 출력된다. 이러한 매크로 블록마다 동기를 채용하는 디코더에서는, MPEG-2와 같이 예측 화상의 참조 방식이 단순한 경우, 참조 화상의 판독 성능을 추정하기 쉽고, 파이프라인 시스템이 스톨(stall)되지 않고 안정된 디코드 성능을 얻을 수 있다. 그러나, H.264/AVC와 같이 예측 화상의 판독 쪽이 매크로 블록의 분할수 등에 의해 다양한 경우, 특히 매크로 블록의 분할수가 많은 경우에는 참조 화상의 판독 성능이 현저히 저하되고, 파이프라인 시스템이 스톨되어 디코더 전체의 성능 열화를 초래하게 된다. 이러한 파이프라인 시스템의 스톨을 회피하기 위해서, 참조 화상 판독의 최악의 경우를 착안하여 필요한 메모리 성능을 추정하여 디코더를 구축하는 것은 가능하지만, MPEG-2의 수배의 고속 메모리가 필요하게 되어 설계 난이도나 비용의 상 승으로 이어지게 된다.

종래의 동화상 디코더에 있어서, 성능 열화가 발생하는 타이밍의 예를 도 2 및 도 3과 함께 설명한다. 도 2는 복호 화상의 매크로 블록의 구성을 나타내는 도면이다. 도 2에서, 각 직사각형 내의 번호는 매크로 블록에 편의상 붙여진 매크로 블록 번호를 나타낸다. 또한, 흰 매크로 블록은, 인트라 매크로 블록이라고 불리는 매크로 블록으로서, 움직임 보상 없이 복호화하는 것이 가능한 매크로 블록이다. 또한, 빗금 표시된 매크로 블록은 인터 매크로 블록이라고 불리는 움직임 보상을 필요로 하는 매크로 블록이다. 도 3은 종래의 디코더의 동작을 설명하는 타이밍도이다. 도 3은 부호 데이터 복호부(1)의 부호 데이터 복호 처리, 움직임 벡터 데이터 처리부(5)의 움직임 벡터 데이터 해석 처리·예측 화상 생성 처리(참조 화상 판독 처리), 계수 데이터 처리부(4)의 계수 데이터 해석·역양자화·역주파수 변환 처리 및 움직임 보상부(6)의 움직임 보상 처리의 타이밍을 나타낸다. 도 3에서, 점선의 화살표는 벡터 데이터를 나타내고, 실선의 화살표는 계수 데이터를 나타내며, X는, 인트라 매크로 블록에서는 참조 화상이 없기 때문에 참조 화상 판독 처리가 NOP에서 즉시 종료되는 것을 나타낸다.

도 1의 디코더는, 매크로 블록을 파이프라인으로 처리하고 있고, 부호 데이터 복호부(1)가 매크로 블록 번호 N을 처리하고 있는 동안, 계수 데이터 처리부(4)와 움직임 벡터 데이터 처리부(5)는 부호 데이터 복호 처리가 완료된 매크로 블록번호 N-1을 처리하고, 움직임 보상부(6)는 역주파수 변환부(43)의 역주파수 변환 처리와 예측 화상 생성부(53)의 예측 화상 생성 처리가 완료된 매크로 블록 번호 N-2의 잔차 화상과 예측 화상을 가산 처리하고 있다. 이 때문에, 예컨대 도 2의 움직임 보상을 필요로 하는 매크로 블록 번호 4, 5, 6의 블록 분할이 복잡하고, 도 3의 매크로 블록 번호 4, 5, 6과 같이 참조 화상의 판독에 필요한 처리 시간이 길어져서 예측 화상 생성부(53)의 예측 화상 생성 처리에 지연이 발생하면, 매크로 블록 번호 6에 대한 움직임 보상부(6)의 움직임 보상 처리의 개시가 대기되고, 각 파이프라인 스테이지에서 다음 매크로 블록 처리로의 이행에 지연이 발생하여 디코더 전체의 성능이 열화하게 된다.

특허 문헌 1 : 일본 특허 공개 평성 제8-214307호 공보

비특허 문헌 1 : 인프레스 표준 교과서 시리즈 「H.264/AVC 교과서」, 주식회사 인프레스 네트 비즈니스 컴퍼니 발행, 제113페이지~제115페이지, 2004년 8월 11일

발명의 개시

발명이 해결하고자 하는 과제

종래의 디코더에서는, 매크로 블록 번호에 대한 참조 화상의 판독에 필요한 처리 시간이 길어져서 예측 화상 생성 처리에 지연이 발생하면, 매크로 블록에 움직임 보상 처리의 개시가 대기되고, 각 파이프라인 스테이지에서 다음 매크로 블록 처리로의 이행에 지연이 발생하여, 디코더 전체의 성능이 열화하게 된다고 하는 문제가 있었다.

그래서, 본 발명은, 예측 화상 생성 처리에 지연이 발생하여도, 매크로 블록 처리마다 발생할 수 있는 지연을 저감하여 디코딩 성능의 열화를 방지할 수 있는 디코딩 방법, 디코더 및 디코딩 장치를 제공하는 것을 목적으로 한다.

과제를 해결하기 위한 수단

전술한 과제는 화상을 직사각형으로 분할하고, 움직임 보상에 기초한 동화상 압축 데이터를 복호화해서 화상으로 전개하여 화상 메모리에 저장하는 디코딩 방법으로서, 상기 압축 데이터를 복호화하여 계수 데이터와 움직임 벡터 데이터를 출력하고, 상기 계수 데이터를 계수 데이터 기억부에 저장하며, 상기 움직임 벡터 데이터를 움직임 벡터 데이터 기억부에 저장하고, 상기 계수 데이터 기억부로부터 판독된 계수 데이터에 기초해서, 역양자화 처리 및 역주파수 변환 처리를 수행하여 직사각형의 잔차 화상을 생성하며, 상기 움직임 벡터 데이터 기억부로부터 판독된 움직임 벡터 데이터에 기초해서, 상기 화상 메모리로부터 참조 화상을 판독하여 직사각형의 예측 화상을 생성하고, 상기 잔차 화상과 상기 예측 화상을 가산해서, 복호 화상을 생성하여 상기 화상 메모리에 상기 복호 화상을 저장하고, 상기 계수 데이터의 계수 데이터 기억부에의 저장 및 상기 움직임 벡터 데이터의 움직임 벡터 데이터 기억부에의 저장의 처리 타이밍을 제어하며, 상기 화상 메모리로부터 상기 참조 화상을 판독하여 직사각형의 상기 예측 화상을 생성할 때에, 적어도 2개 이상의 직사각형에 대한 예측 화상을 예측 화상 버퍼에 기억시키며, 상기 적어도 2개 이상의 직사각형에 대한 예측 화상이 생성된 것을 예측 화상 레디 신호에 의해 통지하고, 상기 처리 타이밍은 상기 예측 화상 레디 신호에 응답하여 제어되는 것을 특징으로 하는 디코딩 방법에 의해 달성될 수 있다.

전술한 과제는, 화상을 직사각형으로 분할하고, 움직임 보상에 기초한 동화상 압축 데이터를 복호화해서 화상으로 전개하여 화상 메모리에 저장하는 디코더로서, 상기 압축 데이터를 복호화하여 계수 데이터와 움직임 벡터 데이터를 출력하는 부호 데이터 복호부와, 상기 계수 데이터를 저장하는 계수 데이터 기억부와, 상기 움직임 벡터 데이터를 저장하는 움직임 벡터 데이터 기억부와, 상기 계수 데이터 기억부로부터 판독된 계수 데이터에 기초해서, 역양자화 처리 및 역주파수 변환 처리를 수행하여 직사각형의 잔차 화상을 생성하는 계수 데이터 처리부와, 상기 움직임 벡터 데이터 기억부로부터 판독된 움직임 벡터 데이터에 기초해서, 상기 화상 메모리로부터 참조 화상을 판독하여 직사각형의 예측 화상을 생성하는 움직임 벡터 데이터 처리부와, 상기 계수 데이터 처리부에 의해 생성된 잔차 화상과 상기 움직임 벡터 데이터 처리부에 의해 생성된 예측 화상을 가산해서, 복호 화상을 생성하여 상기 화상 메모리에 저장하는 움직임 보상부와, 상기 디코더 내의 동작 타이밍을 제어하는 제어부를 포함하며, 상기 움직임 벡터 데이터 처리부는 적어도 2개 이상의 직사각형에 대한 예측 화상을 기억하는 예측 화상 버퍼와, 상기 적어도 2개 이상의 직사각형에 대한 예측 화상이 생성된 것을 예측 화상 레디 신호에 의해 그 제어부에 통지하는 예측 화상 생성 통지부를 포함하며, 상기 제어부는 상기 예측 화상 생성 통지부로부터의 상기 예측 화상 레디 신호에 응답하여 상기 동작 타이밍을 제어하는 것을 특징으로 하는 디코더에 의해 달성될 수 있다.

전술한 과제는, 상기 구성의 디코더와, 압축된 디지털 오디오 비주얼 데이터를 복호화에 적합한 형식의 부호화 비디오 데이터와 부호화 오디오 데이터로 변환하고, 상기 부호화 비디오 데이터를 동화상 압축 데이터로서 상기 디코더에 입력하는 입력부를 포함한 것을 특징으로 하는 디코딩 장치에 의해 달성될 수 있다.

발명의 효과

본 발명에 따르면, 예측 화상 생성 처리에 지연이 발생하여도, 매크로 블록 처리마다 발생할 수 있는 지연을 저감하여 디코딩 성능의 열화를 방지할 수 있는 디코딩 방법, 디코더 및 디코딩 장치를 실현할 수 있다.

도 1은 종래의 디코더의 일례를 나타내는 블록도이다.

도 2는 복호 화상의 매크로 블록의 구성을 나타내는 도면이다.

도 3은 종래의 디코더의 동작을 설명하는 타이밍도이다.

도 4는 본 발명이 적용되는 디코딩 장치를 나타내는 블록도이다.

도 5는 본 발명의 제1 실시예를 나타내는 블록도이다.

도 6은 제1 실시예의 디코더 동작을 설명하는 타이밍도이다.

도 7은 본 발명의 제2 실시예를 나타내는 블록도이다.

도 8은 3개의 연속되는 매크로 블록을 나타내는 도면이다.

도 9는 움직임 벡터 버퍼가 설치된 경우의 처리 타이밍을 설명하는 도면이다.

도 10은 움직임 벡터 데이터 기억부에 저장되는 매크로 블록 데이터의 포맷의 일례를 나타내는 도면이다.

〈도면의 주요 부분에 대한 부호의 설명〉

10 : 디코딩 장치 11 : 프론트엔드 처리부

12 : 디멀티플렉서부 13 : 비디오 디코더

14 : 오디오 디코더 15 : 비디오 출력계

16 : 오디오 출력계 61 : 부호 데이터 복호부

62 : 계수 데이터 기억부 63 : 움직임 벡터 데이터 기억부

64 : 계수 데이터 처리부 65 : 움직임 벡터 데이터 처리부

66 : 움직임 보상부 67 : 제어부

68 : 화상 메모리

발명을 실시하기 위한 최선의 형태

본 발명에서는, 화상을 직사각형으로 분할하고, 움직임 보상에 기초한 동화상 압축 데이터를 복호화해서 화상으로 전개하여 화상 메모리에 저장한다. 부호 데이터 복호부는, 압축 데이터를 복호화하여 계수 데이터와 움직임 벡터 데이터를 출력한다. 계수 데이터 기억부는 계수 데이터를 저장하고, 움직임 벡터 데이터 기억부는 움직임 벡터 데이터를 저장한다. 계수 데이터 처리부는 계수 데이터 기억부로부터 판독된 계수 데이터에 기초해서, 역양자화 처리 및 역주파수 변환 처리를 수행하여 직사각형의 잔차 화상을 생성하고, 움직임 벡터 데이터 처리부는 움직임 벡터 기억부로부터 판독된 움직임 벡터 데이터에 기초해서, 화상 메모리로부터 참조 화상을 판독하여 직사각형의 예측 화상을 생성한다. 움직임 보상부는 계수 데이터 처리부에 의해 생성된 잔차 화상과 움직임 벡터 데이터 처리부에 의해 생성된 예측 화상을 가산해서 복호 화상을 생성하여 화상 메모리에 저장한다. 제어부는 계수 데이터 처리부 및 움직임 벡터 처리부의 동작 타이밍을 제어한다.

움직임 벡터 데이터 처리부는, 적어도 2개 이상의 직사각형에 대한 예측 화상을 기억하는 예측 화상 버퍼와, 상기 적어도 2개 이상의 직사각형에 대한 예측 화상이 생성된 것을 예측 화상 레디 신호에 의해 제어부에 통지하는 예측 화상 생성 통지부를 갖는다. 따라서, 제어부는 예측 화상 레디 신호에 응답하여 상기 동작 타이밍을 제어한다.

이하에, 본 발명의 디코딩 방법, 디코더 및 디코딩 장치의 각 실시예를 도 4 이후의 도면과 함께 설명한다.

실시예 1

도 4는 본 발명이 적용되는 디코딩 장치를 나타낸 블록도이다. 디코딩 장치(10)는, 도 4에 도시하는 바와 같이 접속된 프론트엔드 처리부(11), 디멀티플렉서부(12), 비디오 디코더(13), 오디오 디코더(14), 비디오 출력계(15), 및 오디오 출력계(16)를 갖는다. 적어도 디멀티플렉서부(12), 비디오 디코더(13), 오디오 디코더(14), 비디오 출력계(15) 및 오디오 출력계(16)로 이루어진 부분은 단일의 반도체칩 또는 MCM 등의 모듈로 구성될 수 있다.

압축된 디지털 오디오 비주얼(AV) 데이터는 프론트엔드 처리부(11) 및 디멀티플렉서부(12)에 의해, 디코더(13, 14)에 의한 복호화에 적합한 형식의 부호화 비디오 데이터와 부호화 오디오 데이터로 변환된다. 부호화 비디오 데이터는 비디오 디코더(13)에 의해 복호화되어 비디오 출력계(15)를 통해 모니터(17)에 표시된다. 한편, 복호화 오디오 데이터는 오디오 디코더(14)에 의해 복호화되어 오디오 출력계(16)를 통해 스피커(18)로부터 출력된다.

디코딩 장치(10)는, 예컨대 비디오 플레이어/레코더나 비디오 카메라 등의 비디오 재생 기능을 구비한 장치에 탑재된다. 이러한 디코딩 장치(10)의 기본 구성 자체는 주지되어 있지만, 본 발명은 비디오 디코더(13)의 구성에 특징이 있다.

디코더(13)는, MPEG-2, MPEG-4, H.264 등의 규격으로 대표되는 프레임간 예측을 행하는 동화상 압축 방식에 준거한 동화상의 비디오 스트림(부호화 비디오 데이터)을 신장(복호)한다.

도 5는 본 발명의 제1 실시예를 도시하는 블록도이다. 화상을 직사각형으로 분할하고, 움직임 예측에 기초해서 동화상 압축 데이터를 복호하여 화상으로 전개하는 비디오 디코더(13)는, 도 5에 도시하는 바와 같이 접속된 부호 데이터 복호부(61), 계수 데이터 기억부(62), 움직임 벡터 기억부(63), 계수 데이터 처리부(64), 움직임 벡터 데이터 처리부(65), 움직임 보상부(66), 제어부(67), 및 화상 메모리(68)를 갖는다. 또한, 화상 메모리(68)는 디코더(13)에 접속 가능한 외부 메모리로 구성되어도 좋으므로, 디코더(13)의 필수 구성 요소는 아니다.

부호 데이터 복호부(61)는, 계수 데이터 처리부(64) 및 움직임 벡터 데이터 처리부(65)의 매크로 블록 처리와 동기하지 않고, 매크로 블록마다 부호 데이터를 해석하여 계수 데이터와 움직임 벡터 데이터로 분류하며, 계수 데이터 기억부(62)에 계수 데이터를 저장하고, 움직임 벡터 기억부(63)에 움직임 벡터 데이터를 저장한다. 본 실시예에 있어서, 움직임 벡터 데이터 기억부(63)는 움직임 벡터 데이터 를 적어도 2개 이상 저장할 수 있다. 계수 데이터 기억부(62) 및 움직임 벡터 기억부(63)는 별개의 기억부에 의해 구성되어 있어도 좋고, 동일한 기억부의 다른 기억 영역에 의해 구성되어 있어도 좋다.

제어부(67)는 부호 데이터 복호부(61), 계수 데이터 처리부(64), 움직임 벡터 데이터 처리부(65) 및 움직임 보상부(66)의 동작 타이밍을 제어한다.

계수 데이터 처리부(64)는 계수 데이터 해석부(641), 역양자화부(642), 및 역주파수 변환부(643)를 갖는다. 계수 데이터 해석부(641)는, 계수 데이터 기억부(62)로부터 판독된 매크로 블록 내의 계수 데이터의 배열을 해석하는 등 압축 규격에 따른 매크로 블록 속성을 하드웨어가 취급하는 데이터 형식으로 변환하여 출력한다. 계수 데이터 해석부(641)로부터 출력된 계수 데이터는 압축 시에 양자화가 이루어져 있기 때문에, 역양자화부(642)에서 역양자화 처리가 행해진다. 또한, 화상 압축 데이터는 압축 규약에 따라 공간·주파수 변환이 이루어져 있기 때문에, 역양자화 처리에 이어서 역주파수 변환부(643)에서 역주파수 변환 처리가 행해지고, 원화상에서 예측 화상을 뺀 잔차 화상이 출력된다. 또한, 잔차 화상에는 양자화, 공간·주파수 변환 등의 압축 처리에 따른 오차 성분이 포함되어 있어, 이것이 복호 화상의 일그러짐이 되어 나타난다.

한편, 움직임 벡터 데이터 처리부(65)는 움직임 벡터 데이터 해석부(651), 예측 화상 생성부(653), 예측 화상 버퍼(654), 및 예측 화상 생성 통지부(655)를 갖는다. 움직임 벡터 데이터 처리부(65)는 움직임 벡터 기억부(63)로부터 움직임 벡터 데이터를 판독하여 해석하고, 해석한 움직임 벡터가 지시하는 참조 화상을 화 상 메모리(68)로부터 판독해서 예측 화상을 생성하여, 적어도 매크로 블록 2개 이상의 예측 화상을 저장할 수 있는 예측 화상 버퍼(654)에 저장한다. 움직임 벡터 데이터 처리부(65)는, 매크로 블록 단위의 동기를 취하지 않고, 움직임 벡터 기억부(63)에 처리해야 될 데이터가 있으며, 또한 예측 화상 버퍼(654)에 공간이 있는 경우, 다음 매크로 블록의 움직임 벡터 데이터 처리를 실행해서 예측 화상을 생성하여 예측 화상 버퍼(654)에 저장한다.

움직임 벡터 데이터 처리부(65)는, 예측 화상 버퍼(654)에 예측 화상 처리를 저장할 때마다 예측 화상 생성 통지부(655)로부터 예측 화상 레디 신호를 제어부(67)에 출력한다. 제어부(67)는, 움직임 보상을 필요로 하는 매크로 블록에 대해서는, 예측 화상 레디 신호의 수신을 확인하여 움직임 보상부(66)의 예측 화상 레디 신호에 대응하는 매크로 블록의 움직임 보상 동작의 개시를 제어한다. 이에 따라, 움직임 벡터 데이터 처리부(65)는, 움직임 벡터 보상을 필요로 하지 않는 매크로 블록이나 블록 분할이 단순한 매크로 블록 등의 고속으로 처리 가능한 매크로 블록과, 움직임 보상이 복잡한 매크로 블록 등의 저속으로 처리되는 매크로 블록과의 사이에서 성능을 평균화함으로써, 참조 화상의 저속 판독에 의한 디코더(13) 전체의 성능 열화를 억지할 수 있다.

움직임 보상부(66)는, 계수 데이터 처리부(64)가 출력하는 잔차 화상과 움직임 벡터 데이터 처리부(65)가 출력하는 예측 화상을 가산해서, 복호 화상을 생성하여 화상 메모리(68)에 저장한다.

도 6은 본 실시예의 디코더(13)의 동작을 설명하는 타이밍도트이다. 도 6은 복호 화상의 매크로 블록의 구성이 도 2에 도시하는 바와 같은 경우의 디코더(13)의 매크로 블록 처리 타이밍을 나타낸다. 도 6은, 부호 데이터 복호부(61)의 부호 데이터 복호 처리의 결과, 움직임 벡터 데이터 처리부(65)의 움직임 벡터 데이터 해석 처리·예측 화상 생성 처리(참조 화상 판독 처리), 계수 데이터 처리부(64)의 계수 데이터 해석·역양자화·역주파수 변환 처리, 및 움직임 보상부(66)의 움직임 보상 처리의 타이밍을 나타낸다.

움직임 벡터 데이터 처리부(65)는 계수 데이터 처리부(64)와 매크로 블록마다 타이밍 동기를 취하고 있지 않다. 따라서, 도 6에 도시하는 바와 같이, 움직임 보상을 필요로 하지 않는 매크로 블록 번호 0부터 3에 대해서는, 움직임 벡터 데이터 처리가 필요없다고 판단하면, 즉시 다음 매크로 블록 처리로 이행한다. 그리고, 움직임 보상을 필요로 하는 매크로 블록 번호 4에 대해서도, 참조 화상을 판독해서 예측 화상을 생성하여 예측 화상 버퍼(654)에 저장하고, 예측 화상 레디 신호를 출력한 후, 바로 다음 매크로 블록 번호 5의 처리로 이행할 수 있다. 예측 화상 레디 신호를 출력한 시점에서, 움직임 보상부(66)는 아직 매크로 블록 번호 4의 예측 화상을 필요로 하지 않기 때문에, 도 3에 도시한 바와 같은 매크로 블록 번호 4의 예측 화상 생성에 따른 지연은 발생하지 않는다. 다음 처리 대상인 움직임 보상을 필요로 하는 매크로 블록 번호 5에 대해서도 마찬가지이다. 도 6에 있어서 움직임 보상을 필요로 하는 매크로 블록 번호 6은 참조 화상의 판독 및 예측 화상의 생성이 극단적으로 지연된 예를 나타내고 있다. 매크로 블록 번호 6의 예측 화상 생성 처리 시간 중에, 움직임 보상부(66)는 매크로 블록 번호 5의 움직임 보상 처리를 완 료하기 위해서, 예측 화상의 생성을 대기하게 한다. 움직임 보상부(66)를 대기시키는 제어는 움직임 벡터 데이터 처리부(65)의 예측 화상 생성 통지 수단(655)으로부터의 예측 화상 레디 신호에 응답하여 제어부(67)에 의해 이루어진다. 또한, 예측 화상 레디 신호를 직접 움직임 보상부(66)에 공급하여 움직임 보상부(66)를 대기시키도록 제어하도록 하여도 좋다.

이와 같이, 도 6에 있어서 X1로 나타낸 바와 같이, 인트라 매크로 블록의 처리는 단시간에 완료되어 다음 매크로 블록의 처리로 이행한다. 한편, 도 6에 있어서 X2로 나타낸 바와 같이, 매크로 블록 번호 6과 같이 예측 화상의 생성이 극단적으로 느린 경우에는 제어부(67)가 예측 화상 레디 신호에 기초하여 움직임 보상부(66)를 대기시키도록 제어하기 때문에 지연이 발생하지만, 도 3의 경우에 비하면 매크로 블록 처리마다 발생 가능성이 있는 지연을 저감할 수 있어 디코더(13) 전체의 성능 저하를 방지하는 데에는 효과적이다.

실시예 2

도 7은 본 발명의 제2 실시예를 나타낸 블록도이다. 도 7에서, 도 5와 동일 부분에는 동일 부호를 붙이고, 그 설명은 생략한다. 본 실시예에서는, 계수 데이터 처리부(64) 내에 잔차 화상 버퍼(644) 및 잔차 화상 생성 통지부(645)가 설치되어 있고, 움직임 벡터 데이터 처리부(65) 내에 움직임 벡터 버퍼(652)가 설치되어 있다.

상기 제1 실시예에서는, 블록 분할에 기인한 참조 화상의 판독 성능의 평균화의 효과를 도 6과 함께 설명하였지만, 블록 분할이 복잡할수록 움직임 벡터 데이 터 해석부(651)의 처리 속도도 열화한다. 본 실시예에서는, 움직임 벡터 데이터 처리부(65) 내의 움직임 벡터 데이터 해석부(651)의 성능 열화가 디코더(13) 전체의 성능을 저하시키는 것을 억지하기 위해서 움직임 벡터 버퍼(652)가 설치되어 있다. 이 움직임 벡터 버퍼(652)의 효과를 도 8 및 도 9와 함께 설명한다.

도 8은 3개의 연속되는 매크로 블록을 나타낸 도면으로서, 본 실시예에서는 도 8에 도시하는 바와 같은 매크로 블록 번호 N-1, N, N+1을 처리하는 것으로 한다. 도 8에 도시하는 바와 같이, 매크로 블록 번호 N-1은 16개의 소블록으로 분할되고, 매크로 블록 번호 N은 8개의 소블록으로 분할되며, 매크로 블록 번호 N+1은 4개의 소블록으로 분할되어 있다.

도 9는 움직임 벡터 버퍼(652)가 설치된 경우의 도 8에 도시하는 매크로 블록 번호 N-1, N, N+1의 처리 타이밍을 설명하는 도면이다. 도 9의 (a)는 움직임 벡터 버퍼(652)가 설치되어 있지 않은 경우의 처리 타이밍을 나타내고, 매크로 블록 번호 N-1, N, N+1에 대한 움직임 벡터 데이터 해석부(651)에 의한 움직임 벡터 데이터 해석 처리와 예측 화상 생성부(653)에 의한 예측 화상 생성 처리가 순차적으로 실행되고 있는 양태를 나타낸다. 한편, 도 9의 (b)는 움직임 벡터 버퍼(652)가 설치되어 있는 경우의 처리 타이밍을 나타내고, 매크로 블록 번호 N-1, N, N+1에 대한 움직임 벡터 데이터 해석부(651)에 의한 움직임 벡터 데이터 해석 처리와 예측 화상 생성부(653)에 의한 예측 화상 생성 처리가 순차적으로 실행되고 있는 양태를 나타낸다. 도 9의 (b)로부터도 알 수 있는 바와 같이, 움직임 벡터 버퍼(652)가 설치되어 있음으로써, 매크로 블록 번호 N-1의 움직임 벡터 데이터 해석 처리 후, 매크로 블록 번호 N-1의 예측 화상 생성 처리가 완료되지 않은 상태에서도, 매크로 블록 번호 N 및 매크로 블록 번호 N+1의 움직임 벡터 해석 처리를 실행하는 것이 가능하다. 이에 따라, 본 실시예에 따르면, 도 9의 (a)과 도 9의 (b)의 비교로부터도 알 수 있는 바와 같이, 매크로 블록 번호 N-1, N, N+1의 처리 시간이 단축되며, 움직임 벡터 데이터 처리부(65)의 처리 성능을 향상시킬 수 있다.

또한, 본 실시예에서는, 계수 데이터 처리부(64) 내의 역주파수 변환부(643)의 후단에 잔차 화상 버퍼(644)를 설치하고, 도 6의 매크로 블록 번호 6과 같은 경우라도, 역주파수 변환부(643)가 매크로 블록 번호 6에 이어서 매크로 블록 번호 7을 바로 실행할 수 있도록 하고 있다.

도 10은 움직임 벡터 데이터 기억부(63)에 저장되는 움직임 벡터 데이터의 포맷의 일례를 나타내는 도면이다. 도 10에 도시하는 바와 같이, 움직임 벡터 데이터(매크로 블록 벡터 데이터)에는 매크로 블록마다 n비트 고정 길이의 매크로 블록 헤더가 부가되고, 움직임 보상을 필요로 하는 매크로 블록인지의 여부를 나타내는 인트라/인터 플래그 필드가 마련되어 있다. 인트라/인터 플래그 필드 내의 값이 인트라 매크로 블록을 나타내는지 또는 인터 매크로 블록을 나타내는지에 따라, 헤더 내의 정보가 상이한 포맷으로 되어 있다. 인트라/인터 플래그가 움직임 보상을 필요로 하지 않는 인트라 매크로 블록을 나타내는 경우는, 헤더 내에 연속되는 인트라 매크로 블록수가 설정된다. 한편, 인트라/인터 플래그가 움직임 보상을 필요로 하는 인터 매크로 블록을 나타내는 경우는, 움직임 보상에 필요한 제어 정보가 헤더 내에서 설정되고, 헤더에 이어서 필요한 수만큼 움직임 벡터 데이터가 부가된 다. 즉, 헤더는 인트라/인터 플래그와, 인트라 매크로 블록인지 인터 매크로 블록인지에 따른 제어 정보로 이루어진다. 제어 정보는, 인트라 매크로 블록의 경우에는 연속되는 인트라 매크로 블록의 개수를 포함하고, 인터 매크로 블록의 경우에는 블록 분할 정보, 참조 화상 정보 등을 포함한다. 움직임 벡터 데이터는, 헤더 내의 제어 정보에 따른 벡터 데이터로 이루어지고, 인트라 매크로 블록의 경우에는 페이로드 데이터가 없다.

상기 헤더의 정보에 기초하여 도 2에 도시한 매크로 블록 번호 0부터 3과 같이 인트라 매크로 블록이 연속되는 경우는, 움직임 벡터 데이터 해석부(651)가 연속되는 4개의 인트라 매크로 블록을 동시에 처리하는 것이 가능하고, 움직임 벡터 데이터 해석부(651)의 처리 속도를 향상시킬 수 있다. 즉, 움직임 보상이 필요하지 않은 경우는, 벡터 데이터 처리부(65)에 있어서 1개 또는 복수개의 직사각형 데이터의 처리를 스킵하여 다음 움직임 보상을 필요로 하는 직사각형 데이터 처리로 이행할 수 있다.

또한, 본 실시예에서는, 계수 데이터 처리부(53) 내의 역주파수 변환부(643)에 의한 역주파수 변환 처리에 의해 생성된 직사각형 단위의 잔차 화상을 1개 이상 저장하는 잔차 화상 버퍼(644)와 잔차 화상이 생성된 것을 잔차 화상 레디 신호에 의해 통지하는 잔차 화상 생성 통지 수단(645)이 설치되어 있다. 이 때문에, 제어부(67)는, 예측 화상 레디 신호와 잔차 화상 생성 통지 수단(645)으로부터의 잔차 화상 레디 신호에 기초하여 부호 데이터 복호부(61), 계수 데이터 처리부(64), 움직임 벡터 데이터 처리부(65) 및 움직임 보상부(66)의 동작 타이밍을 제어한다.

본 발명에 따른 동화상 디코딩 장치에 의해 외부 화상 메모리에 축적되어 있는 참조 화상의 판독 부하의 변동을 은폐하고, 디코딩 처리 성능이 안정된 동화상 디코딩 처리 장치를 제공하는 것이 가능하므로, 동 분야에서 유용하다.

이상, 본 발명을 실시예에 의해 설명하였지만, 본 발명은 상기 실시예에 한정되지 않고, 본 발명의 범위 내에서 여러 가지 변형 및 개량이 가능한 것은 물론이다.

Claims (14)

1. 화상을 직사각형으로 분할하고, 움직임 보상에 기초한 동화상 압축 데이터를 복호화해서 화상으로 전개하여 화상 메모리에 저장하는 디코딩 방법에 있어서,

   상기 압축 데이터를 복호화하여 계수(係數) 데이터와 움직임 벡터 데이터를 출력하고,

   상기 계수 데이터를 계수 데이터 기억부에 저장하며,

   상기 움직임 벡터 데이터를 움직임 벡터 데이터 기억부에 저장하고,

   상기 계수 데이터 기억부로부터 판독된 계수 데이터에 기초해서, 역양자화 처리 및 역주파수 변환 처리를 수행하여 직사각형의 잔차(殘差) 화상을 생성하며,

   상기 움직임 벡터 데이터 기억부로부터 판독된 움직임 벡터 데이터에 기초해서, 상기 화상 메모리로부터 참조 화상을 판독하여 직사각형의 예측 화상을 생성하고,

   상기 잔차 화상과 상기 예측 화상을 가산해서, 복호 화상을 생성하여 상기 화상 메모리에 상기 복호 화상을 저장하며,

   상기 계수 데이터의 상기 계수 데이터 기억부에의 저장 및 상기 움직임 벡터 데이터의 상기 움직임 벡터 데이터 기억부에의 저장의 처리 타이밍을 제어하고,

   상기 화상 메모리로부터 상기 참조 화상을 판독하여 직사각형의 상기 예측 화상을 생성할 때에, 적어도 2개 이상의 직사각형에 대한 예측 화상을 예측 화상 버퍼에 기억시키며, 상기 적어도 2개 이상의 직사각형에 대한 예측 화상이 생성된 것을 예측 화상 레디 신호에 의해 통지하고,

   상기 처리 타이밍은 상기 예측 화상 레디 신호에 응답하여 제어되는 것을 특징으로 하는 디코딩 방법.
2. 제1항에 있어서, 상기 움직임 벡터 데이터의 각 직사각형 데이터에는 움직임 보상이 필요한지 여부를 나타내는 플래그가 부가되어 있고,

   상기 화상 메모리로부터 상기 참조 화상을 판독하여 직사각형의 상기 예측 화상을 생성할 때에, 상기 플래그가 움직임 보상이 필요하지 않은 것을 나타내는 경우, 대응하는 직사각형 데이터의 처리를 스킵하여 다음 직사각형 데이터의 처리로 이행하는 것을 특징으로 하는 디코딩 방법.
3. 제1항 또는 제2항에 있어서, 상기 움직임 벡터 데이터에는 움직임 보상을 필요로 하지 않는 직사각형 데이터가 연속되는 개수를 나타내는 제어 정보가 부가되어 있고,

   상기 화상 메모리로부터 상기 참조 화상을 판독하여 직사각형의 상기 예측 화상을 생성할 때에, 상기 제어 정보가 나타내는 개수의 직사각형 데이터의 처리를 동시에 스킵하여 다음 움직임 보상을 필요로 하는 직사각형 데이터의 처리로 이행하는 것을 특징으로 하는 디코딩 방법.
4. 제1항 또는 제2항에 있어서, 상기 화상 메모리로부터 상기 참조 화상을 판독하여 직사각형의 상기 예측 화상을 생성할 때에, 직사각형 단위의 동기를 취하지 않고, 상기 움직임 벡터 데이터 기억부에 처리해야 될 데이터가 있으며, 또한, 상기 예측 화상 버퍼에 공간이 있는 경우, 다음 직사각형의 움직임 벡터 데이터의 처리를 실행하여 예측 화상을 생성하고, 상기 다음 직사각형의 움직임 벡터 데이터에 기초한 예측 화상을 상기 예측 화상 버퍼에 저장하는 것을 특징으로 하는 디코딩 방법.
5. 제1항 또는 제2항에 있어서, 직사각형의 상기 잔차 화상을 생성할 때에, 상기 역주파수 변환 처리에 의해 생성된 직사각형 단위의 상기 잔차 화상을 1개 이상 저장 가능한 잔차 화상 버퍼에 저장하고, 상기 잔차 화상이 생성된 것을 잔차 화상 레디 신호에 의해 통지하며,

   상기 처리 타이밍은 상기 예측 화상 레디 신호와 상기 잔차 화상 레디 신호에 기초하여 제어되는 것을 특징으로 하는 디코딩 방법.
6. 화상을 직사각형으로 분할하고, 움직임 보상에 기초한 동화상 압축 데이터를 복호화해서 화상으로 전개하여 화상 메모리에 저장하는 디코더에 있어서,

   상기 압축 데이터를 복호화하여 계수 데이터와 움직임 벡터 데이터를 출력하는 부호 데이터 복호부와,

   상기 계수 데이터를 저장하는 계수 데이터 기억부와,

   상기 움직임 벡터 데이터를 저장하는 움직임 벡터 데이터 기억부와,

   상기 계수 데이터 기억부로부터 판독된 계수 데이터에 기초해서, 역양자화 처리 및 역주파수 변환 처리를 수행하여 직사각형의 잔차 화상을 생성하는 계수 데이터 처리부와,

   상기 움직임 벡터 데이터 기억부로부터 판독된 움직임 벡터 데이터에 기초해서, 상기 화상 메모리로부터 참조 화상을 판독하여 직사각형의 예측 화상을 생성하는 움직임 벡터 데이터 처리부와,

   상기 계수 데이터 처리부에 의해 생성된 상기 잔차 화상과 상기 움직임 벡터 데이터 처리부에 의해 생성된 상기 예측 화상을 가산해서, 복호 화상을 생성하여 상기 화상 메모리에 저장하는 움직임 보상부와,

   상기 디코더 내의 동작 타이밍을 제어하는 제어부

   를 포함하고,

   상기 움직임 벡터 데이터 처리부는, 적어도 2개 이상의 직사각형에 대한 예측 화상을 기억하는 예측 화상 버퍼와, 상기 적어도 2개 이상의 직사각형에 대한 예측 화상이 생성된 것을 예측 화상 레디 신호에 의해 상기 제어부에 통지하는 예측 화상 생성 통지부를 포함하며,

   상기 제어부는 상기 예측 화상 생성 통지부로부터의 상기 예측 화상 레디 신호에 응답하여 상기 동작 타이밍을 제어하는 것을 특징으로 하는 디코더.
7. 제6항에 있어서, 상기 움직임 벡터 데이터의 각 직사각형 데이터에는 움직임 보상이 필요한지 여부를 나타내는 플래그가 부가되어 있고,

   상기 벡터 데이터 처리부는, 상기 플래그가 움직임 보상이 필요하지 않은 것을 나타내는 경우에는 대응하는 직사각형 데이터의 처리를 스킵하여 다음 직사각형 데이터의 처리로 이행하는 것을 특징으로 하는 디코더.
8. 제6항 또는 제7항에 있어서, 상기 움직임 벡터 데이터 처리부는, 직사각형 단위의 동기를 취하지 않고, 상기 움직임 벡터 데이터 기억부에 처리해야 될 데이터가 있으며, 또한, 상기 예측 화상 버퍼에 공간이 있는 경우에, 다음 직사각형의 움직임 벡터 데이터의 처리를 실행하여 예측 화상을 생성하고, 상기 다음 직사각형의 움직임 벡터 데이터에 기초한 예측 화상을 상기 예측 화상 버퍼에 저장하는 것을 특징으로 하는 디코더.
9. 제6항 또는 제7항에 있어서, 상기 계수 데이터 처리부는, 상기 역주파수 변환 처리에 의해 생성된 직사각형 단위의 잔차 화상을 1개 이상 저장하는 잔차 화상 버퍼와, 상기 잔차 화상이 생성된 것을 잔차 화상 레디 신호에 의해 상기 제어부에 통지하는 잔차 화상 생성 통지부를 포함하며,

   상기 제어부는, 상기 예측 화상 레디 신호와 상기 잔차 화상 레디 신호에 기초하여 상기 동작 타이밍을 제어하는 것을 특징으로 하는 디코더.
10. 제6항 또는 제7항에 기재한 디코더와,

    압축된 디지털 오디오 비주얼 데이터를 상기 디코더에 의해 복호화 가능한 형식의 부호화 비디오 데이터와 부호화 오디오 데이터로 변환하고, 상기 부호화 비디오 데이터를 상기 동화상 압축 데이터로서 상기 디코더에 입력하는 입력부

    를 포함한 것을 특징으로 하는 디코딩 장치.
11. 삭제
12. 삭제
13. 삭제
14. 삭제

Images