KR20060109290A

KR20060109290A - 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램

Info

Publication number: KR20060109290A
Application number: KR20057014882A
Authority: KR
Inventors: 신지 와따나베; 노부아끼 이즈미
Original assignee: 소니 가부시끼 가이샤
Priority date: 2003-12-15
Filing date: 2004-11-30
Publication date: 2006-10-19
Also published as: TWI328357B; EP1696677A4; CN1751521A; JP2005184042A; TW200531450A; EP1696677A1; WO2005062622A1; US8249147B2; US20060291556A1; EP1696677B1

Abstract

본 발명은, 입력 화상 신호를 블록화하고, 블록 단위로 직교 변환을 실시하여 양자화된 화상 압축 정보를 역 양자화하고, 역 직교 변환을 실시하여 복호하는 화상 복호 장치이고, 양자화되어 부호화된 변환 계수를 복호하는 가역 복호기(12)와, 가역 복호기(12)에 의해 복호된 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내는 역 양자화기(13)와, 역 양자화기(13)에 의해 나타낸 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하는 역 변환기(14)를 구비한다.

입력 화상 신호, 역 양자화, 역 직교 변환, 변환 계수

Description

화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램{IMAGE DECODING DEVICE, IMAGE DECODING METHOD, AND IMAGE DECODING PROGRAM}

본 발명은, 화상 복호 장치 및 화상 복호 방법 및 화상 복호 프로그램에 관한 것으로, 더 상세히 설명하면, MPEG(Moving Picture Expeds Group), H.26x 등과 같이, 이산 코사인 변환 또는 카루넨-뢰브((Karhunen-Loeve) 변환 등의 직교 변환과 움직임 예측·보상에 의해 압축된 화상 압축 정보(비트 스트림)를, 위성 방송, 케이블 TV 혹은 인터넷 등의 네트워크 미디어를 통하여 수신할 때에, 또는 광 디스크, 자기 디스크 혹은 플래시 메모리 등의 기억 미디어 상에서 처리할 때에 이용되는 화상 복호 장치 및 화상 복호 방법 및 화상 복호 프로그램에 관한 것이다.

본 출원은, 일본국에서 2003년 12월 15일에 출원된 일본 특허 출원 번호2003-417336을 기초로서 우선권을 주장하는 것으로, 이 출원을 참조함으로써, 본 출원에 원용된다.

종래, 화상 정보를 디지털 데이터로서 취급하고, 그 때 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하고, 이산 코사인 변환 등의 직교 변환과 움직임 예측·보상에 의해 압축하는 MPEG 등의 방식에 준거한 장치가, 방송국 등의 정보 배신, 및 일반 가정에서의 정보 수신의 쌍방에서 이 용되고 있다.

특히, MPEG2(ISO/IEC13818-2)는, 범용 화상 부호화 방식으로서 정의되고 있고, 비월 주사 화상 및 순차 주사 화상의 쌍방, 및 표준 해상도 화상 및 고정밀 화상을 망라한 표준으로, 프로페셔널 용도 및 소비자 용도의 광범한 어플리케이션에 현재 널리 이용되고 있다. MPEG2 압축 방식을 이용함으로써, 예를 들면 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4∼8Mbps, 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18∼22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축율과 양호한 화질의 실현이 가능하다.

MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 보다 높은 압축율의 부호화 방식에는 대응하지 않았다. 그러나, 휴대 단말기의 보급에 의해, 금후 그와 같은 부호화 방식의 니즈는 높아진다고 생각되고, 이에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC14496-2로서 그 규격이 국제 표준에 승인되었다.

또한, 최근 텔레비전 회의용 화상 부호화를 당초의 목적으로서, H.264(ITU-TQ6/16VCEG)라는 표준의 규격화가 진행되고 있다. H.264는, MPEG2나 MPEG4 등과 같은 종래의 부호화 방식에 비하여, 그 부호화, 복호에 의해 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.264를 베이스로, H.264로서는 서포트되지 않는 기능을 도입하여, 보다 높은 부호화 효율을 실현하는 표준화가 JVT(Joint Video Team)에 의 해서 행해지고 있다.

JVT에서 표준화가 행해지고 있는 부호화 방식(이하, JVT Codec 또는 H.2641 MPEG-4 AVC)의 구체예의 화상 정보 부호화 장치에 대하여 설명한다. 도 1은 이산 코사인 변환 혹은 카루넨-뢰브 변환 등의 직교 변환과 움직임 보상에 의해 화상 압축을 실현하는 화상 정보 부호화 장치의 블록도이다. 도 1에 도시한 바와 같이 화상 정보 부호화 장치(100)는, A/D(Analogue/Digital) 변환기(101)와, 화상 재배열 버퍼(102)와, 가산기(103)와, 직교 변환기(104)와, 양자화기(105)와, 가역 부호화기(106)와, 축적 버퍼(107)와, 역 양자화기(108)와, 역 직교 변환기(109)와, 디블록 필터(110)와, 프레임 메모리(111)와, 움직임 예측·보상기(112)와, 인트라 예측기(113)와, 레이트 제어기(114)에 의해 구성되어 있다.

도 1에서, A/D 변환기(101)는, 입력된 화상 신호를 디지털 신호로 변환한다. 화상 재배열 버퍼(102)는, 화상 정보 부호화 장치(100)로부터 출력되는 화상 압축 정보의 GOP(Group of Pictures) 구조에 따라서, 프레임의 재배열을 행한다. 여기서, 화상 재배열 버퍼(102)는, 인트라(화상 내) 부호화가 행해지는 화상에 관해서는, 프레임 전체의 화상 정보를 직교 변환기(104)에 공급한다. 직교 변환기(104)는, 화상 정보에 대하여 이산 코사인 변환 또는 카루넨-뢰브 변환 등의 직교 변환을 실시하여, 변환 계수를 양자화기(105)에 공급한다. 양자화기(105)는, 직교 변환기(104)로부터 공급된 변환 계수에 대하여 양자화 처리를 실시한다.

가역 부호화기(106)는, 양자화된 변환 계수에 대하여 가변 길이 부호화, 산술 부호화 등의 가역 부호화를 실시하여, 부호화된 변환 계수를 축적 버퍼(107)에 공급하여 축적시킨다. 이 부호화된 변환 계수는, 화상 압축 정보로서 출력된다.

양자화기(105)의 거동은, 레이트 제어기(114)에 의해서 제어된다. 또한, 양자화기(105)는, 양자화 후의 변환 계수를 역 양자화부(108)에 공급하고, 역 양자화기(108)는, 그 변환 계수를 역 양자화한다. 역 직교 변환기(109)는, 역 양자화된 변환 계수에 대하여 역 직교 변환 처리를 실시하여 복호 화상 정보를 생성한다. 디블록 필터(110)는, 복호 화상 정보로부터 블록 왜곡을 제거하여, 프레임 메모리(111)에 공급하여 축적시킨다.

한편, 화상 재배열 버퍼(102)는, 인터(화상 간) 부호화가 행해지는 화상에 관해서는, 화상 정보를 움직임 예측·보상기(112)에 공급한다. 움직임 예측·보상기(112)는, 동시에 참조되는 화상 정보를 프레임 메모리(111)로부터 취출하고, 움직임 예측·보상 처리를 실시하여 참조 화상 정보를 생성한다. 움직임 예측·보상부(112)는, 이 참조 화상 정보를 가산기(103)에 공급하고, 가산기(103)는 참조 화상 정보를 화상 정보와의 차분 신호로 변환한다. 또한, 움직임 보상·예측기(112)는 동시에 움직임 벡터 정보를 가역 부호화기(106)에 공급한다.

가역 부호화기(106)는, 그 움직임 벡터 정보에 대하여 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리를 실시하고, 화상 압축 정보의 헤더부에 삽입되는 정보를 형성한다. 또한, 그 밖의 처리에 대해서는, 인트라 부호화가 실시되는 화상 압축 정보와 마찬가지이기 때문에, 설명을 생략한다.

여기서, 전술한 JVT에서 표준화가 행해지고 있는 부호화 방식(이하, JVT Codec이라고 함)에서는, 인트라 부호화를 행할 때에, 블록 주변의 화소로부터 예측 화상을 생성하고 그 차분을 부호화한다고 하는 인트라 예측 부호화가 채용되어 있다. 즉, 인트라 부호화가 행해지는 화상에 관해서는, 부호화하는 화소 블록의 근방의 이미 부호화가 종료한 화소값으로부터 예측 화상을 생성하고, 그 예측 화상과의 차분이 부호화된다. 역 양자화기(108) 및 역 직교 변환기(109)는, 인트라 부호화된 화소를 각각 역 양자화 및 역 직교 변환하여, 가산기(103)는, 역 직교 변환기(109)의 출력과 화소 블록을 부호화할 때에 사용된 예측 화상을 가산하여, 그 가산치를 프레임 메모리(111)에 공급하여 축적시킨다. 인트라 예측기(113)는, 인트라 부호화되는 화소 블록인 경우에는, 이미 부호화가 종료하여 프레임 메모리(111)에 축적되어 있는 근방 화소를 판독하여, 예측 화상을 생성한다. 이 때, 예측 화상의 생성에 이용한 인트라 예측 모드에 대해서도 가역 부호화기(106)에 있어서 가역 부호화 처리를 실시하여, 화상 압축 정보에 포함시켜 출력한다.

계속해서, 전술한 화상 정보 부호화 장치(100)에 대응하는 화상 정보 복호 장치의 개략 구성을 도 2에 도시한다. 화상 정보 복호 장치(120)는, 도 2에 도시한 바와 같이, 축적 버퍼(121)와, 가역 복호기(122)와, 역 양자화기(123)와, 역 직교 변환기(124)와, 가산기(125)와, 화상 재배열 버퍼(126)와, D/A(Digital/Analogue) 변환기(127)와, 움직임 예측·보상기(128)와, 프레임 메모리(129)와, 인트라 예측기(130)에 의해 구성되어 있다.

도 2에서, 축적 버퍼(121)는, 입력된 화상 압축 정보를 일시적으로 저장한 후, 가역 복호기(122)에 전송한다. 가역 복호기(122)는, 정해진 화상 압축 정보의 포맷에 기초하여, 화상 압축 정보에 대하여 가변 길이 복호 또는 산술 복호 등의 처리를 실시하여, 양자화된 변환 계수를 역 양자화기(123)에 공급한다. 또한, 가역 복호기(122)는, 프레임이 인터 부호화된 것인 경우에는, 화상 압축 정보의 헤더부에 저장된 움직임 벡터 정보에 대해서도 복호하여, 그 정보를 움직임 예측·보상기(128)에 공급한다.

역 양자화기(123)는, 가역 복호기(122)로부터 공급된 양자화 후의 변환 계수를 역 양자화하여, 변환 계수를 역 직교 변환기(124)에 공급한다. 역 직교 변환기(124)는, 정해진 화상 압축 정보의 포맷에 기초하여, 변환 계수에 대하여 역 이산 코사인 변환 또는 역 카루넨-뢰브 변환 등의 역 직교 변환을 실시한다.

여기서, 해당 프레임이 인트라 부호화된 것인 경우에는, 역 직교 변환 처리가 실시된 화상 정보는, 화상 재배열 버퍼(126)에 저장되어, D/A 변환기(127)에 있어서의 D/A 변환처리 후에 출력된다.

한편, 해당 프레임이 인터 부호화된 것인 경우에는, 움직임 예측·보상기(128)는, 가역 복호 처리가 실시된 움직임 벡터 정보와 프레임 메모리(129)에 저장된 화상 정보에 기초하여 참조 화상을 생성하여, 가산기(125)에 공급한다. 가산기(125)는, 이 참조 화상과 역 직교 변환기(124)의 출력을 합성한다. 또한, 그 밖의 처리에 대해서는, 인트라 부호화된 프레임과 마찬가지이기 때문에, 설명을 생략한다.

또한, JVT Codec에서는 인트라 예측 부호화가 채용되고 있기 때문에, 프레임이 인트라 부호화된 것인 경우에는, 인트라 예측기(130)는, 프레임 메모리(129)로부터 화상을 판독하고, 가역 복호기(122)에서 가역 복호 처리가 실시된 인트라 예 측 모드에 따라서 예측 화상을 생성한다. 가산기(125)는, 역 직교 변환기(124)의 출력과 이 예측 화상을 가산한다.

이상 설명한 화상 정보 부호화 장치(100) 및 화상 정보 복호 장치(120)에 대해서는, 일본 특개 2001-199818호 공보, 일본 특개 2002-20953호 공보에 기재되어 있다.

그런데, 도 2에 도시한 역 직교 변환기(124)에서는, 변환 계수에 대하여 예를 들면 8×8/4×4화소의 블록의 단위로 세로·가로 방향에서 2회의 8×8/4×4의 매트릭스 계산을 행하여 역 직교 변환 처리를 실시한다. 그러나, 복호 처리에서, 화상을 8×8/4×4화소로 분할한 블록 모두를 역 변환 처리하기 위해서는, 계산량이 방대하게 되게 된다. 계수가 전혀 존재하지 않은 블록(화소값이 모두 제로)에 대해서는, 이 매트릭스 처리 후에도 값의 변동은 없기(변환 후의 값이 모두 제로) 때문에 쓸데 없는 계산을 하게 된다. 또한, 블록의 DC 성분만 혹은, 블록 중에 계수의 기울기가 존재하는 경우에도, 8×8/4×4의 2회의 매트릭스 계산을 행하기 위해서는 효율이 좋지 않은 경우가 있다.

<발명의 개시>

본 발명의 목적은, 전술한 바와 같은 종래의 기술이 갖는 문제점을 해소할 수 있는 신규한 화상 복호 장치 및 화상 복호 방법 및 화상 복호 프로그램하는 것에 있다.

본 발명의 다른 목적은, 역 변환 수단에 의한 역 변환 처리의 효율화와 계산 코스트의 삭감을 도모하고, 복호 처리의 고속화를 달성할 수 있는 화상 복호 장치 및 화상 복호 방법, 및 화상 복호 프로그램을 제공하는 것에 있다.

본 발명에 따른 화상 복호 장치는, 입력 화상 신호를 블록화하고, 블록 단위로 직교 변환을 실시하여 양자화된 화상 압축 정보를 역 양자화하고, 역 직교 변환을 실시하여 복호하는 화상 복호 장치에서, 양자화되어 부호화된 변환 계수를 복호하는 복호기와, 복호기에 의해서 복호된 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내는 역 양자화기와, 역 양자화기에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하는 역 변환기를 구비한다.

역 변환기는, 역 양자화 수단에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하기 때문에, 모든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어진다.

본 발명에 따른 화상 복호 방법은, 입력 화상 신호를 블록화하고, 블록 단위로 직교 변환을 실시하여 양자화된 화상 압축 정보를 역 양자화하고, 역 직교 변환을 실시하여 복호하는 화상 복호 방법에서, 양자화되어 부호화된 변환 계수를 복호하는 복호 공정과, 복호 공정에 의해서 복호된 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내는 역 양자화 공정과, 역 양자화 공정에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하는 역 변환 공정을 구비하다.

역 변환 공정은, 역 양자화 공정에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하기 때문에, 모 든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어진다.

본 발명에 따른 화상 복호 프로그램은, 입력 화상 신호를 블록화하여, 블록 단위로 직교 변환을 실시하여 양자화된 화상 압축 정보를 역 양자화하고, 역 직교 변환을 실시하여 복호하는 화상 복호 방법을 실행하는 화상 복호 프로그램에서, 양자화되어 부호화된 변환 계수를 복호하는 복호 공정과, 복호 공정에 의해서 복호된 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내는 역 양자화 공정과, 역 양자화 공정에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하는 역 변환 공정을 구비한다.

역 변환 공정은, 역 양자화 공정에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하기 때문에, 모든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어진다.

본 발명에 따른 화상 복호 장치는, 복호 수단에 의해서 복호된 변환 계수를 역 양자화 수단이 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내고, 역 변환기는 역 양자화 수단에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하기 때문에, 모든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어져, 복호 처리의 고속화를 도모할 수 있다.

본 발명에 따른 화상 복호 방법은, 복호 공정에 의해서 복호된 변환 계수를 역 양자화 공정이 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재 를 플래그로 하여 나타내고, 역 변환 공정은 역 양자화 공정에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하기 때문에, 모든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어져, 복호 처리의 고속화를 도모할 수 있다.

본 발명에 따른 화상 복호 프로그램은, 복호 공정에 의해서 복호된 변환 계수를 역 양자화 공정이 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내고, 역 변환 공정은 역 양자화 공정에 의해서 표시된 플래그를 이용하여 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하기 때문에, 모든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어져, 복호 처리의 고속화를 도모할 수 있다.

본 발명의 또 다른 목적, 본 발명에 의해서 얻어지는 구체적인 이점은, 이하에 있어서 도면을 참조하여 설명되는 실시 형태의 설명으로부터 한층 명백해질 것이다.

도 1은 종래의 화상 부호화 장치를 도시하는 블록도.

도 2는 화상 복호 장치를 도시하는 블록도.

도 3은 본 발명에 따른 화상 복호 장치를 도시하는 블록도.

도 4A는 역 양자화기에 의한 지그재그 스캔에 의한 역 양자화 처리의 설명을 돕는 도면이고, 도 4B는 계수의 플래그 관리를 설명하기 위한 도면.

도 5는 AVC에서의 역 변환의 변환 매트릭스의 식을 도시하는 도면.

도 6은 역 변환기의 역 변환화 처리의 흐름을 설명하는 플로우차트.

도 7은 역 변환기의 역 변환화 처리의 흐름을 설명하는 플로우차트.

도 8A 내지 도 8C는 도 5에 도시한 단계 S12 내지 단계 S14의 설명을 돕는 도면.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명을 실시하기 위한 몇 개의 최량의 형태를 설명한다.

우선, 제1 실시 형태를 설명한다. 제1 실시 형태에 따른 화상 복호 장치(10)는 도 3에 도시한 바와 같은 구성을 구비한다. 이 화상 복호 장치(10)는, 도시하지 않은 축적 버퍼에 일시적으로 저장된 화상 압축 신호(비트 스트림)가 입력 단자(11)로부터 공급되고 변환 계수를 복호하는 가역 복호기(12)와, 가역 복호기(12)에 의해서 복호된 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내는 역 양자화기(13)와, 역 양자화기(13)에 의해서 표시된 플래그를 이용하여 상기 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하는 역 변환기(14)를 구비하고 있다.

또한, 화상 복호 장치(10)는, 역 변환기(14)의 출력과 후술하는 움직임 예측 보상기·인트라 예측기(19)의 출력을 가산하는 가산기(15)와, 가산기(15)의 가산 출력에 디블록 처리를 실시하여 블록의 왜곡을 보정한 보정 출력을 출력 단자(17) 및 후술하는 프레임 메모리(20)에 공급하는 디블록 필터(16)를 구비하고 있다. 또한, 화상 복호 장치(10)는, 가역 복호기(12)에 의한 복호 출력으로부터 움직임 벡터를 디코드하는 움직임 벡터 디코더(18)와, 프레임 메모리(20)로부터의 화상에 기 초하여 인트라 예측 화상을 생성함과 함께 움직임 벡터 디코더(18)로부터의 움직임 벡터와 프레임 메모리(20)로부터의 화상에 기초하여 인터예측 화상을 생성하는 움직임 예측 보상·인트라 예측기(19)를 구비하고 있다.

도 3에서, 축적 버퍼로부터 입력 단자(11)를 통하여 가역 복호기(12)에 공급되는 압축 화상 신호는, 화상 부호화 장치에서 입력 화상 신호를 블록화하고, 블록 단위로 직교 변환을 실시하여 양자화되어 이루어진다. 가역 복호기(12)는, 정해진 화상 압축 정보의 포맷에 기초하여, 화상 압축 정보에 대하여 가변 길이 복호 또는 산술 복호 등의 처리를 실시하여, 양자화된 변환 계수를 역 양자화기(13)에 공급한다. 또한, 가역 복호기(12)는, 프레임이 인터 부호화된 것인 경우에는, 화상 압축 정보를 움직임 벡터 디코더(18)에 공급한다. 움직임 벡터 디코더(18)는, 화상 압축 정보의 헤더부에 저장된 움직임 벡터 정보를 복호하여, 그 정보를 움직임 예측 보상기·인트라 예측기(19)에 공급한다.

역 양자화기(13)는, 가역 복호기(12)로부터 공급된 양자화 후의 변환 계수를 역 양자화하여, 변환 계수를 역 변환기(14)에 공급한다. 역 변환기(14)는, 정해진 화상 압축 정보의 포맷에 기초하여, 변환 계수에 대하여 역 이산 코사인 변환 또는 역 카루넨-뢰브 변환 등의 역 직교 변환을 실시한다.

여기서, 프레임이 인트라 부호화된 것인 경우에는, 움직임 예측 보상·인트라 예측기(19)는, 프레임 메모리(20)로부터 화상을 판독하고, 가역 복호기(12)에서 가역 복호 처리가 실시된 인트라 예측 모드에 따라서 예측 화상을 생성한다. 가산기(15)는, 역 변환기(14)의 출력과 이 예측 화상을 가산한다.

한편, 프레임이 인터 부호화된 것인 경우에는, 움직임 예측 보상·인트라 예측기(19)는, 가역 복호 처리가 실시된 움직임 벡터 정보와 프레임 메모리(20)에 저장된 화상 정보에 기초하여 참조 화상을 생성하여, 가산기(15)에 공급한다. 가산기(15)는, 이 참조 화상과 역 직교 변환기(14)의 출력을 합성한다.

가산기(15)로부터의 어느 하나의 가산 출력은, 디블록 필터(16)에 의해서 블록 왜곡이 제거된 후 출력 단자(17)로부터 D/A 변환기에 공급되어 D/A 변환 처리가 실시되어 출력된다.

역 양자화기(13)는, 가역 복호기(12)에 의해서 복호된 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타낸다. 예를 들면, AVC에서, 역 양자화기(13)는, 가역 복호기(12)에 의해서 복호된 변환 계수를 역 양자화할 때에 도 4A에 도시한 바와 같은 4×4의 블록마다, 도면 중 화살표 Z로 나타낸 바와 같은 지그재그 스캔을 하면서 역 양자화한다. 이 때, 역 양자화기(13)는, 도 4B에 도시한 바와 같이 4×4 블록 내의 계수 발생 위치를 플래그로 관리한다. 도 4A에 도시한 4×4 블록에 나타난 계수의 위치를, 도 4B에 도시한 바와 같이, 0, 1의 플래그를 이용함으로써 나타내고, 이것을 유지한다.

역 변환기(14)로 행해진, 예를 들면 AVC의 역 변환은, 4×4의 역 이산 코사인 변환(IDCT)을 개량한 특수한 변환 방식이 채용되고 있고, 그 변환 매트릭스의 식은 도 5에 도시한 바와 같이된다.

이 역 변환기(14)에서는, 역 양자화기(13)가 유지하고 있는 도 4B에 도시한 플래그의 값에 기초하여, 4×4의 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경한다. 도 6에 처리 수순을 도시한 바와 같이, 역 변환기(14)는, 역 변환 시에, 계수 플래그가 0이라고 판단했을 때(단계 S1에서 예)에는 역 변환 처리를 실시하지 않고, 계수 플래그가 0이 아니라고 판단했을 때(단계 S1에서 아니오)에 역 변환 처리를 실시한다(단계 S2). 따라서, 모두 0 플래그로써 나타낸 바와 같이 계수가 전혀 존재하지 않는 블록에 대해서는 이 역 변환의 처리를 행하지 않는다. 즉, 상기 처리 블록 내의 역 양자화 계수에 실시할 역 변환 처리를 스킵한다.

또한, 이 역 변환기(14)에서는, 계수의 발생 장소에 의해서 역 변환 처리를 간략화한다. 계수의 발생 장소는, 플래그의 발생 패턴에 의해서 판단한다. 예를 들면, 도 7에 도시한 처리 수순에서, 단계 S11에서 플래그 패턴을 체크하여, 4×4 블록 내의 예를 들면 좌측위의 화소에만 계수가 나타나는 DC 성분이라고 판단했을 때에는 단계 S12에서 역 변환화 처리를 변경한다. 또한, 단계 S11에서 플래그 패턴을 체크하여, 블록 내의 최상단의 화소에만 계수가 존재하는 수평 패턴이라고 판단했을 때에는 단계 S13에서 역 변환화 처리를 변경한다. 또한, 단계 S11에서 플래그 패턴을 체크하고, 상기 블록 내의 좌단의 열의 화소에만 계수가 존재하는 수직 패턴이라고 판단했을 때에는 단계 S14에서 역 변환화 처리를 변경한다.

DC 성분(4×4 블록의 좌측위의 화소)에만 계수 a가 나타나고, 나머지가 모두 플래그 0일 때 역 변환기(14)는, 단계 S12에서, 도 8A에 도시한 바와 같이 DC 성분의 값 a를 모든 화소값에 복사하여 변환 후의 계수로 한다. 상기 블록 내의 최상단의 화소에만 계수 a, b, c, d가 존재하고, 나머지가 모두 플래그 0인 수평 패턴 일 때 역 변환기(14)는, 단계 S13에서, 도 8B에 도시한 바와 같이 가로 방향의 변환을 행하여 a', b', c', d'로 하고 다음에 세로 방향으로 화소값을 복사하여 변환 후의 계수로 한다. 또한, 상기 블록 내의 좌단의 열의 화소에만 계수 a, b, c, d가 존재하고, 나머지가 모두 플래그 0인 수직 패턴일 때 역 변환기(14)는 단계 S14에서, 도 8C에 도시한 바와 같이, 세로 방향의 변환을 행하여 a', b', c', d'로 하고 다음에 가로 방향으로 화소값을 복사하여 변환 후의 계수로 한다.

이와 같이 역 변환기(14)는, 모든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어져, 화상 복호 장치(10)에서는 복호 처리의 고속화를 도모할 수 있다.

다음으로, 본 발명의 제2 실시 형태에 대하여 설명한다. 이 제2 실시 형태는, JVT에서 표준화가 행해지고 있는 부호화 방식(이하, JVT Codec 또는 H.2641 MPEG-4 AVC)에서 부호화된 압축 화상 신호를 복호하는 화상 복호 장치이다. 그 구성은, 전술한 도 2에 도시한 화상 정보 복호 장치(120)와 마찬가지이다. 단, 제2 실시 형태의 화상 복호 장치는, 도 2에 도시한 역 양자화기(123)에서, 가역 복호기(122)에 의해서 복호된 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타낸다. 처리 블록은, 4×4화소, 8×8 화소, 혹은 16×16 화소로 이루어진다.

또한, 역 직교 변환기(124)는, 역 양자화기(123)가 유지하고 있는 전술한 도 4B에 도시한 플래그의 값에 기초하여, 4×4의 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경한다. 역 직교 변환기(124)는, 도 6, 도 7, 도 8A 내지 도 8C를 참조하여 이미 설명한 바와 같은 처리 수순에 의해 역 변환화 처리를 변경한다. 상세에 대해서는 생략한다.

따라서, 이 제2 실시 형태도, 4×4화소, 8×8 화소, 혹은 16×16 화소로 이루어지는 모든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어져, 화상 복호 장치에서는 복호 처리의 고속화를 도모할 수 있다.

다음으로, 제3 실시 형태에 대하여 설명한다. 이 제3 실시 형태는, 전술한 도 1에 도시한 바와 같은 화상 정보 부호화 장치(100) 내의 로컬 디코더이다. 로컬 디코더는, 역 양자화기(108)와 역 직교 변환기(109)로 이루어진다. 양자화기(105)로 양자화된 변환 계수에 역 양자화기(123)로써 역 양자화 처리를 실시할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타낸다. 처리 블록은, 4×4화소, 8×8 화소, 혹은 16×16 화소로 이루어진다.

역 직교 변환기(109)는, 역 양자화기(108)가 유지하고 있는 도 4B에 도시한 플래그의 값에 기초하여, 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경한다. 역 직교 변환기(109)는, 도 6, 도 7, 도 8A 내지 도 8C를 참조하여 이미 설명한 바와 같은 처리 수순에 의해 역 변환화 처리를 변경한다. 상세에 대해서는 생략한다.

따라서, 이 제3 실시 형태도, 4×4화소, 8×8 화소, 혹은 16×16 화소로 이루어지는 모든 블록에서 세로·가로 방향의 매트릭스 계산을 행할 필요가 없어져, 화상 복호 장치에서는 복호 처리의 고속화를 도모할 수 있다.

또한, 본 발명은, 도면을 참조하여 설명한 전술한 실시예에 한정되는 것은 아니고, 첨부의 청구의 범위 및 그 주지를 일탈하지 않고, 여러가지 변경, 치환 또는 그 동등한 것을 행할 수 있는 것은 당업자에게 있어서 분명하다.

본 발명에 따른 화상 복호 장치 및 화상 복호 방법 및 화상 복호 프로그램은, MPEG(Moving Picture Experts Group), H.26x 등과 같이, 이산 코사인 변환 또는 카루넨-뢰브 변환 등의 직교 변환과 움직임 예측·보상에 의해 압축된 화상 압축 정보(비트 스트림)를, 위성 방송, 케이블 TV 혹은 인터넷 등의 네트워크 미디어를 통하여 수신할 때에, 또는 광 디스크, 자기 디스크 혹은 플래시 메모리 등의 기억 미디어 상에서 처리할 때에 이용된다.

Claims

입력 화상 신호를 블록화하고, 블록 단위로 직교 변환을 실시하여 양자화된 화상 압축 정보를 역 양자화하고, 역 직교 변환을 실시하여 복호하는 화상 복호 장치로서,

양자화되어 부호화된 변환 계수를 복호하는 복호 수단과,

상기 복호 수단에 의해서 복호된 상기 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내는 역 양자화 수단과,

상기 역 양자화 수단에 의해서 표시된 플래그를 이용하여 상기 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하는 역 변환 수단

을 포함하는 것을 특징으로 하는 화상 복호 장치.
제1항에 있어서,

상기 역 변환 수단은, 상기 역 양자화 수단에 의해서 표시된 플래그를 이용하여 상기 처리 블록 내의 역 양자화 변환 계수에 실시할 역 변환 처리를 스킵하는 것을 특징으로 하는 화상 복호 장치.
제1항에 있어서,

상기 역 변환 수단은, 상기 역 양자화 수단에 의해서 표시된 플래그를 이용 하여 상기 처리 블록 내의 역 양자화 변환 계수에 실시할 역 변환 처리를 간략화하는 것을 특징으로 하는 화상 복호 장치.
제1항에 있어서,

상기 역 변환 수단은, 상기 역 양자화 수단에 의해서 표시된 플래그에 의해 역 양자화 변환 계수가 DC 성분만인 것을 판단했을 때에는, 상기 DC 성분의 값을 상기 처리 블록 내의 남은 모든 화소값에 복사하여 역 변환화 처리를 행하는 것을 특징으로 하는 화상 복호 장치.
제1항에 있어서,

상기 역 변환 수단은, 상기 역 양자화 수단에 의해서 표시된 플래그에 의해 역 양자화 변환 계수가 상기 처리 블록 내의 수평 방향에만 존재하는 것을 판단했을 때에는, 가로 방향의 변환을 행하고나서 세로 방향으로 화소값을 복사하여 역 변환화 처리를 행하는 것을 특징으로 하는 화상 복호 장치.
제1항에 있어서,

상기 역 변환 수단은, 상기 역 양자화 수단에 의해서 표시된 플래그에 의해 역 양자화 변환 계수가 상기 처리 블록 내의 수직 방향에만 존재하는 것을 판단했을 때에는, 세로 방향의 변환을 행하고나서 가로 방향으로 화소값을 복사하여 역 변환화 처리를 행하는 것을 특징으로 하는 화상 복호 장치.
입력 화상 신호를 블록화하고, 블록 단위로 직교 변환을 실시하여 양자화된 화상 압축 정보를 역 양자화하고, 역 직교 변환을 실시하여 복호하는 화상 복호 방법으로서,

양자화되어 부호화된 변환 계수를 복호하는 복호 공정과,

상기 복호 공정에 의해서 복호된 상기 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내는 역 양자화 공정과,

상기 역 양자화 공정에 의해서 표시된 플래그를 이용하여 상기 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하는 역 변환 공정

을 구비하는 것을 특징으로 하는 화상 복호 방법.
제7항에 있어서,

상기 역 변환 공정은, 상기 역 양자화 공정에 의해서 표시된 플래그를 이용하여 상기 처리 블록 내의 역 양자화 변환 계수에 실시할 역 변환 처리를 스킵하는 것을 특징으로 하는 화상 복호 방법.
제7항에 있어서,

상기 역 변환 공정은, 상기 역 양자화 공정에 의해서 표시된 플래그를 이용하여 상기 처리 블록 내의 역 양자화 변환 계수에 실시할 역 변환 처리를 간략화하 는 것을 특징으로 하는 화상 복호 방법.
제7항에 있어서,

상기 역 변환 공정은, 상기 역 양자화 공정에 의해서 표시된 플래그에 의해 역 양자화 변환 계수가 DC 성분만인 것을 판단했을 때에는, 상기 DC 성분의 값을 상기 처리 블록 내의 남은 모든 화소값에 복사하여 역 변환화 처리를 행하는 것을 특징으로 하는 화상 복호 방법.
제7항에 있어서,

상기 역 변환 공정은, 상기 역 양자화 공정에 의해서 표시된 플래그에 의해 역 양자화 변환 계수가 상기 처리 블록 내의 수평 방향에만 존재하는 것을 판단했을 때에는, 가로 방향의 변환을 행하고나서 세로 방향으로 화소값을 복사하여 역 변환화 처리를 행하는 것을 특징으로 하는 화상 복호 방법.
제7항에 있어서,

상기 역 변환 공정은, 상기 역 양자화 공정에 의해서 표시된 플래그에 의해 역 양자화 변환 계수가 상기 처리 블록 내의 수직 방향에만 존재하는 것을 판단했을 때에는, 세로 방향의 변환을 행하고나서 가로 방향으로 화소값을 복사하여 역 변환화 처리를 행하는 것을 특징으로 하는 화상 복호 방법.
입력 화상 신호를 블록화하고, 블록 단위로 직교 변환을 실시하여 양자화된 화상 압축 정보를 역 양자화하고, 역 직교 변환을 실시하여 복호하는 화상 복호 방법을 실행하는 화상 복호 프로그램으로서,

양자화되어 부호화된 변환 계수를 복호하는 복호 공정과,

상기 복호 공정에 의해서 복호된 상기 변환 계수를 역 양자화할 때에, 역 양자화의 처리 블록마다 변환 계수의 존재를 플래그로 하여 나타내는 역 양자화 공정과,

상기 역 양자화 공정에 의해서 표시된 플래그를 이용하여 상기 처리 블록 내의 역 양자화 변환 계수에 실시하는 역 변환화 처리를 변경하는 역 변환 공정

을 구비하는 것을 특징으로 하는 화상 복호 프로그램.