KR20060121651A

KR20060121651A - 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법

Info

Publication number: KR20060121651A
Application number: KR20057004449A
Authority: KR
Inventors: 데루히코 스즈키; 아키라 스기야마; 교헤이 고야부
Original assignee: 소니 가부시끼 가이샤
Priority date: 2003-07-18
Filing date: 2004-07-20
Publication date: 2006-11-29
Also published as: US20090190829A1; CN101646085A; US20110123107A1; EP2506574A3; US9344719B2; EP2506577A3; JP4617644B2; US9843817B2; US7492950B2; US20110123104A1; US8675976B2; EP1648180A1; EP2506576B1; US20110123109A1; US20110123103A1; RU2005107478A; US20160191936A1; CN1701616A; JP2005039743A; EP2506579A3

Abstract

본 발명은 입력 화상 신호의 색 성분 해상도 및 색 공간에 따라 화상 내 부호화를 행하는 화상 정보 부호화 장치이며, 이 화상 정보 부호화 장치(10)에서, 인트라 예측부(23)는 색 성분의 해상도가 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷 등 중 어느 것인가를 나타내는 크로마 포맷, 및 색 공간이 YCbCr, RGB, XYZ 등 중 어느 것인가를 나타내는 색 공간 신호에 따라, 예측 화상을 생성할 때의 블록 사이즈를 적응적으로 변경한다. 또, 직교 변환부(14), 양자화부(15)에서도, 크로마 포맷 신호 및 색 공간 신호에 따라 직교 변환 수법, 양자화 방법을 변경한다. 가역 부호화부(16)는 이 크로마 포맷 신호 및 색 공간 신호를 부호화하여, 화상 압축 정보에 포함시킨다.

입력 화상 신호, 색 성분, 색 공간, 포맷, 양자화부.

Description

화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치 및 방법 {IMAGE INFORMATION ENCODING DEVICE AND METHOD, AND IMAGE INFORMATION DECODING DEVICE AND METHOD}

본 발명은 MPEG(Moving Picture Experts Group), H.26x 등과 같이, 이산 코사인 변환 또는 카루넨·루베 변환 등의 직교 변환과 모션 예측·보상에 의해 압축된 화상 압축 정보(비트 스트림)를 위성 방송, 케이블 TV 또는 인터넷 등의 네트워크 미디어를 통해 수신할 때, 또는 광 디스크, 자기 디스크 또는 플래시 메모리 등의 기억 미디어 상에서 처리할 때 이용되는 화상 정보 부호화 장치 및 그 방법, 및 화상 정보 복호 장치 및 그 방법에 관한 것이다.

본 출원은 일본국에 2003년 7월 18일에 출원된 일본 특허 출원 번호 2003-277128를 기초로 하여 우선권을 주장하는 것이며, 이 출원은 참조함으로써, 본 출원에 원용된다.

최근, 화상 정보를 디지털로서 취급하며, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성(冗長性)을 이용하고, 이산 코사인 변환 등의 직교 변환과 모션 예측·보상에 의해 압축하는 MPEG 등의 방식에 따른 장치가 방송국 등의 정보 분배, 및 일반 가정에 있어서의 정보 수신의 쌍방에서 보 급되고 있다.

특히, MPEG2(1SO/IEC 13818-2)는 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 쌍방, 및 표준 해상도 화상 및 고정밀 화상을 망 라하는 표준으로, 프로페셔널 용도 및 컨슈머 용도의 광범위한 어플리케이션에 현재 널리 사용되고 있다. MPEG2 압축 방식을 사용함으로써, 예를 들면 720×480 화소를 가지는 표준 해상도의 비월 주사 화상이면 4∼8Mbps, 1920×1088 화소를 가지는 고해상도의 비월 주사 화상이면 18∼22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축률과 양호한 화질의 실현이 가능하다.

MPEG2는 주로 방송용으로 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 보다 높은 압축률의 부호화 방식에는 대응하고 있지 못했다. 그러나, 휴대 단말기의 보급에 의해, 향후 그와 같은 부호화 방식의 요구는 높아진다고 생각되며, 이에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.

또한, 최근, 텔레비전 회의용의 화상 부호화를 당초의 목적으로 하여, H.264(ITU-TQ6/16VCEG)라고 하는 표준의 규격화가 진행되고 있다. H.264는 MPEG2나 MPEG4라고 하는 종래의 부호화 방식과 비교하여, 그 부호화, 복호에 의해 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또, 현재, MPEG4 활동의 일환으로서, 이 H.264를 베이스로, H.264에서는, 서포트되지 않는 기능도 수용하여, 보다 높은 부호화 효율을 실현하는 표준화가 JVT(Joint Video Team)에 의해 행해지고 있다.

여기에서, 이산 코사인 변환 또는 카루넨·루베 변환 등의 직교 변환과 모션 예측·보상에 의해 화상 압축을 실현하는 화상 정보 부호화 장치의 개략 구성을 도 1에 나타낸다. 도 1에 나타낸 바와 같이, 화상 정보 부호화 장치(100)는 A/D(Analogue/Digital) 변환부(101)와, 화상 정렬 버퍼(102)와, 가산기(103)와, 직교 변환부(104)와, 양자화부(105)와, 가역 부호화부(106)와, 축적 버퍼(107)와, 역양자화부(108)와, 역직교 변환부(109)와, 가산기(110)와, 프레임 메모리(111)와, 모션 예측·보상부(112)와, 인트라 예측부(113)와 레이트 제어부(114)를 구비한다.

도 1에서, A/D 변환부(101)는 입력된 화상 신호를 디지털 신호로 변환한다. 화상 정렬 버퍼(102)는 해당 화상 정보 부호화 장치(100)로부터 출력되는 화상 압축 정보의 GOP(Group of Pictures) 구조에 따라, 프레임의 정렬을 행한다. 여기에서, 화상 정렬 버퍼(102)는 인트라(화상 내) 부호화가 행해지는 화상에 관해서는, 프레임 전체의 화상 정보를 직교 변환부(104)에 공급한다. 직교 변환부(104)는 화상 정보에 대하여 이산 코사인 변환 또는 카루넨·루베 변환 등의 직교 변환을 행하고, 변환 계수를 양자화부(105)에 공급한다. 양자화부(105)는 직교 변환부(104)로부터 공급된 변환 계수에 대하여 양자화 처리를 시행한다.

가역 부호화부(106)는 양자화된 변환 계수에 대하여 가변 길이 부호화, 산술 부호화 등의 가역 부호화를 행하고, 부호화된 변환 계수를 축적 버퍼(107)에 공급하여 축적시킨다. 이 부호화된 변환 계수는 화상 압축 정보로서 출력된다.

양자화부(105)의 거동은 레이트 제어부(114)에 의해 제어된다. 또, 양자화 부(105)는 양자화 후의 변환 계수를 역양자화부(108)에 공급하고, 역양자화부(108)는 그 변환 계수를 역양자화한다. 역직교 변환부(109)는 역양자화된 변환 계수에 대하여 역직교 변환 처리를 행하여 복호 화상 정보를 생성하고, 그 정보를 프레임 메모리(111)에 공급하여 축적시킨다.

한편, 화상 정렬 버퍼(102)는 인터(화상 간) 부호화가 행해지는 화상에 관해서는, 화상 정보를 모션 예측·보상부(112)에 공급한다. 모션 예측·보상부(112)는 동시에 참조되는 화상 정보를 프레임 메모리(111)로부터 꺼내, 모션 예측·보상 처리를 행하여 참조 화상 정보를 생성한다. 모션 예측·보상부(112)는 이 참조 화상 정보를 가산기(103)에 공급하고, 가산기(103)는 참조 화상 정보를 해당 화상 정보와의 차분 신호로 변환한다. 또, 모션 보상·예측부(112)는 동시에 모션 벡터 정보를 가역 부호화부(106)에 공급한다.

가역 부호화부(106)는 그 모션 벡터 정보에 대하여 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리를 행하여, 화상 압축 정보의 헤더부에 삽입되는 정보를 형성한다. 그리고, 그 밖의 처리에 대해서는, 인트라 부호화가 시행되는 화상 압축 정보와 동일하기 때문에, 설명을 생략한다.

여기에서, 전술한 JVT로 표준화가 행해지고 있는 부호화 방식(이하, JVT Codec라고 함)에서는, 인트라 부호화를 행할 때, 블록 주변의 화소로부터 예측 화상을 생성하여 그 차분을 부호화한다고 하는 인트라 예측 부호화가 채용되고 있다. 즉, 인트라 부호화가 행해지는 화상에 관해서는, 부호화하는 화소 블록 근방의 이미 부호화가 종료된 화소값으로부터 예측 화상을 생성하고, 그 예측 화상과의 차분 이 부호화된다. 역양자화부(108) 및 역직교 변환부(109)는 인트라 부호화된 화소를 각각 역양자화 및 역직교 변환하고, 가산기(110)는 역직교 변환부(109)의 출력과 해당 화소 블록을 부호화할 때 사용된 예측 화상을 가산하고, 그 가산값을 프레임 메모리(111)에 공급하여 축적시킨다. 인트라 예측부(113)는 인트라 부호화되는 화소 블록의 경우에는, 이미 부호화가 종료되어 프레임 메모리(111)에 축적되어 있는 근방 화소를 판독하여, 예측 화상을 생성한다. 이 때, 예측 화상의 생성에 사용한 인트라 예측 모드에 대해서도 가역 부호화부(106)에서 가역 부호화 처리를 행하여, 화상 압축 정보에 포함시켜 출력한다.

계속해서, 전술한 화상 정보 부호화 장치(100)에 대응하는 화상 정보 복호 장치의 개략 구성을 도 2에 나타낸다. 도 2에 나타낸 바와 같이, 화상 정보 복호 장치(120)는 축적 버퍼(121)와, 가역 복호부(122)와, 역양자화부(123)와, 역직교 변환부(124)와, 가산기(125)와, 화상 정렬 버퍼(126)와, D/A(Digital/Analogue) 변환부(127)와, 모션 예측·보상부(128)와, 프레임 메모리(129)와, 인트라 예측부(130)에 의해 구성되어 있다.

도 2에서, 축적 버퍼(121)는 입력된 화상 압축 정보를 일시적으로 저장한 후, 가역 복호부(122)에 전송한다. 가역 복호부(122)는 정해진 화상 압축 정보의 포맷에 따라, 화상 압축 정보에 대하여 가변 길이 복호 또는 산술 복호 등의 처리를 행하고, 양자화된 변환 계수를 역양자화부(123)에 공급한다. 또, 가역 복호부(122)는 해당 프레임이 인터 부호화된 것인 경우에는, 화상 압축 정보의 헤더부에 저장된 모션 벡터 정보 대해서도 복호하고, 그 정보를 모션 예측·보상부(128)에 공급한다.

역양자화부(123)는 가역 복호부(122)로부터 공급된 양자화 후의 변환 계수를 역양자화하고, 변환 계수를 역직교 변환부(124)에 공급한다. 역직교 변환부(124)는 정해진 화상 압축 정보의 포맷에 따라, 변환 계수에 대하여 역이산 코사인 변환 또는 역카루넨·루베 변환 등의 역직교 변환을 행한다.

여기에서, 해당 프레임이 인트라 부호화된 것인 경우에는, 역직교 변환 처리가 시행된 화상 정보는 화상 정렬 버퍼(126)에 저장되고, D/A 변환부(127)에서의 D/A 변환 처리 후에 출력된다.

한편, 해당 프레임이 인터 부호화된 것인 경우에는, 모션 예측·보상부(128)는 가역 복호 처리가 시행된 모션 벡터 정보와 프레임 메모리(129)에 저장된 화상 정보에 따라 참조 화상을 생성하여, 가산기(125)에 공급한다. 가산기(125)는 이 참조 화상과 역직교 변환부(124)의 출력을 합성한다. 그리고, 그 밖의 처리에 대해서는, 인트라 부호화된 프레임과 동일하기 때문에, 설명을 생략한다.

그리고, JVT Codec에서는, 인트라 예측 부호화가 채용되고 있기 때문에, 해당 프레임이 인트라 부호화된 것인 경우에는, 인트라 예측부(130)는 프레임 메모리(129)로부터 화상을 판독하고, 가역 복호부(122)에서 가역 복호 처리가 시행된 인트라 예측 모드에 따라 예측 화상을 생성한다. 가산기(125)는 역직교 변환부(124)의 출력과 이 예측 화상을 가산한다.

이상 설명한 화상 정보 부호화 장치(100) 및 화상 정보 복호 장치(120)에 대해서는, 예를 들면, 일본국 특개 2001-199818호 공보, 일본국 특개 2002-20953호 공보에 개시되어 있다.

그런데, JVT Codec(H.264 ｜MPEG-4AVC)에서는, 전술한 바와 같이, 인트라 부호화를 행할 때, 블록 주변의 화소로부터 예측 화상을 생성하여 그 차분을 부호화한다고 하는 인트라 예측 부호화가 채용되고 있다.

여기에서, 휘도 성분에 관해서는, 4×4 화소 블록 단위로 예측을 행하는 인트라 4×4 예측 모드와 16×l6 화소 블록(매크로 블록)단위로 예측을 행하는 인트라 16×16 예측 모드의 2개의 예측 방식이 이용되고 있다.

한편, 색차 성분에 관해서는, Cb, Cr 각각의 8×8 블록 단위로 예측을 행한다. 이 예측 부호화 방법은 인트라 16×16 예측 모드와 동일하며, 해당 예측 모드를 8×8 블록 단위로 변경한 것이다. 색차의 인트라 예측 부호화에서의 예측 모드를 도 3에 나타낸다. 도 3에 나타낸 바와 같이, JVT Codec에서는,

(a) Vertcal mode(mode=0)

(b) Horizontal mode(mode=1)

(c) DC mode(mode=2)

(d) Plane Prediction mode(mode=3)

의 4개의 예측 모드가 정의되어 있고, 가장 예측 잔차(殘差)가 적은 예측 모드에 따라 예측 화상이 생성된다. 이하, 이 4개의 예측 모드에 있어서의 예측 화상의 생성 수법에 대하여 설명한다.

(a) Vertical mode(mode=0)

Vertical mode에서는, 색차 블록이 인접하는 상측 블록의 화소(4 : 2: 0 포 맷의 경우, 상측의 매크로 블록)를 카피하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차 블록의 예측 화상 predc는 인접하는 상측 블록의 화소를 p[x, -1]로 하면, 이하의 식 (1)과 같이 표현된다. 그리고, 이 모드는 인접하는 상측 블록이 존재하는 경우에만 사용하는 것이 가능하다

[수식 1]

(b) Horizontal mode(mode=1)

Horizontal mode에서는, 색차 블록이 인접하는 좌측 블록의 화소(4 : 2 : 0 포맷의 경우, 좌측의 매크로 블록)를 카피하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차 블록의 예측 화상 predc는 인접하는 좌측 블록의 화소를 p[-1, y]로 하면, 이하의 식 (2)와 같이 표현된다. 그리고, 이 모드는 인접하는 좌측 블록이 존재하는 경우에만 사용할 수 있다.

[수식 2]

(c) DC mode(mode=2)

DC mode에서는, 색차 블록이 인접하는 상측 및 좌측 블록의 화소를 사용하여 그 평균값을 예측 화상으로 한다. 단, 인접하는 화소가 존재하지 않는 경우에는, 값 128이 예측 신호로서 이용된다.

즉, x, y=0..3의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x, y=0..3)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1]이 존재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iv) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 4개의 경우에서, 각각 이하의 식 (3)∼(6)에 따라 생성된다.

[수식 3]

동일하게, x=4..7, y=0..3의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x=4..7, y=0..3)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[x, -1]이 존재하는 경우, (ii) 화소 p[x, -1]이 존재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iii) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 3개의 경우에 있어서, 각각 이하의 식 (7)∼(9)에 따라 생성된다.

[수식 4]

동일하게, x=0..3, y=4..7의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x=0..3, y=4..7)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[-1, y]가 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 3개의 경우에 있어서, 각각 이하의 식 (10)∼(12)에 따라 생성된다.

[수식 5]

동일하게, x, y=4..7의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x, y=4..7)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[x, -1] 및 화소 p「-1, y]가 함께 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1]이 존재하지 않고, 화소 pt[-1, y]가 존재하는 경우, (iv) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 4개의 경우에 있어서, 각각 이하의 식 (13)∼(16)에 따라 생성된다.

[수식 6]

(d) Plane Prediction mode(mode=3)

Plane Prediction mode에서는, 색차 블록이 인접하는 좌측 블록의 화소(4 : 2 : 0 포맷의 경우, 좌측의 매크로 블록)와 상측 블록의 화소로부터 예측 화상을 평면 근사하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차의 예측 화상 predc는 인접하는 좌측 블록의 화소를 p[-1, y], 상측 블록을 p[x, -1]로 하면, 이하의 식 (17)과 같이 표현된다. 여기에서, 식 (17)에서의 Clip1은 0으로부터 255의 범위에 클리핑하는 것을 나타낸다.

[수식 7]

단,

이상과 같이, 4개의 예측 모드 중 어느 하나에 의해 색차 성분의 인트라 예측을 행하여 예측 화상을 생성한 후, 가산기(103)에서 현재의 화소 블록과 이 예측 화상과의 차분 신호가 생성된다. 직교 변환부(104)는 이 8×8 블록의 차분 신호에 대하여 4×4 화소 블록 단위로 4×4 정수 변환을 적용한다. 현재의 화소 블록으로부터 예측 화상을 뺀 차분 신호를 F4x4로 하면, 4×4 정수 변환은 이하의 식 (18)과 같이 표현된다.

[수식 8]

단,

또한 JVT Codec에서는, 4×4 정수 변환한 후, 도 4에 나타낸 바와 같이, 8×8 블록 중 4개의 4×4 블록의 (0, 0) 계수(DC 계수)를 모아 2×2 블록을 구성하고, 이2×2 블록에 대하여 2×2 아다마르 변환을 적응한다. 이것은 색차로 이용되고 있는 인트라 예측의 효율이 그다지 높지 않고, 인접하는 4×4 블록 간의 (0, 0) 계수 사이에 아직 상관이 남아 있기 때문이다. 이 상관을 이용하여 보다 부호화 효율을 높이기 위해, 4×4 블록의 (0, 0) 계수안을 모아 2×2 블록을 구성하고, 2×2 아다마르 변환을 적용한다. 2×2의 크로마 DC 블록을 fdc2x2로 하면, 2×2 아다마르 변환 후의 크로마 DC 블록 fdc'2x2는 이하의 식 (19)와 같이 표현된다.

[수식 9]

단,

정수 변환 후, 각 계수는 양자화된다. 휘도의 양자화 계수를 구하기 위한 파라미터를 QPy로 하면, 색차의 양자화 계수를 구하기 위한 파라미터 QPc는 다음과 같이 하여 산출된다.

즉, 먼저 화상 압축 정보 중에 부호화되는 QPy(0으로부터 51의 값을 취함) 및 색차의 양자화 계수의 오프셋 값 choma_qp_offset를 사용하여, 하기 식 (20)에 따라 파라미터 QPi를 계산한다. 단, QPi는 0으로부터 51의 범위에 클리핑된다.

[수식 10]

그리고, 이 QPi를 사용하여 이하의 표 1에 나타낸 테이블로부터 색차의 파라미터 QPc를 구한다.

[표 1]

여기에서, 양자화 전의 각 AC 계수의 값을 f로 하고, 양자화 후의 각 AC 계수의 값을 f'로 하면, 양자화 후의 계수의 값은 이하의 식 (21)로 표현된다.

[수식 11]

단,

한편, 양자화 전의 각 DC 계수의 값을 fdc로 하고, 양자화 후의 각 DC 계수의 값을 fdc'로 하면, 양자화 후의 계수의 값은 이하의 식 (22)로 표현된다. 그리고, 식 (22)에서의 r은 사사 오입 처리를 위한 정수(定數)이다.

[수식 12]

또, AC 계수의 역양자화는 역양자화 후의 AC 계수를 f"로 하면, 이하의 식 (23)으로 표현된다.

[수식 13]

단,

한편, DC 계수의 역양자화는 역양자화 후의 DC 계수를 fdc"로 하면, QPc가 6 이상인 경우에는, 이하의 식 (24)로 나타나며, QPc가 6 미만인 경우에는, 이하의 식 (25)로 표현된다.

[수식 14]

이상과 같이 하여 JVT Codec에서는, 인트라 예측 부호화가 행해지고 있지만, 상기 수법을 이용해도, 색차의 인트라 예측 부호화는 블록 사이즈가 작기 때문에, 휘도와 비교하면 부호화 효율이 양호하지 않다고 하는 문제가 있었다.

또, 상기 수법은 4 : 2 : 0 포맷, YCbCr 색 공간에만 대응하고, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷, RGB 색 공간, XYZ색 공간 등의 경우에는, 부호화할 수 없다고 하는 문제가 있었다.

본 발명은 전술한 바와 같은 종래의 실정을 감안하여 제안된 것이며, 4 : 2 : 2포맷, 4 : 4 : 4 포맷, RGB 색 공간, XYZ 색 공간 등의 화상이라도, 보다 효율적으로 부호화하는 것을 가능하게 하는 화상 정보 부호화 장치 및 그 만법, 및 화상 정보 복호 장치 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명에 관한 화상 정보 부호화 장치는 입력 화상 신호를 블록화하고, 이 블록 단위로 직교 변환을 행하여 양자화를 행하는 화상 정보 부호화 장치에 있어서, 색 신호의 해상도를 나타내는 크로마 포맷 신호 및 색 공간을 나타내는 색 공간 신호에 따라, 블록 사이즈를 적응적으로 변경하여, 색 신호를 화상 내 예측 부호화할 때의 예측 화상을 생성하는 화상 내 예측 수단과, 화상 내 예측 수단에 의해 생성된 예측 화상과 원화상의 차분 신호를 소정 블록 사이즈 단위로 정수(整數) 변환하는 변환 수단과, 이 변환 수단에 의한 변환에 따라 양자화 방법을 적응적으로 변경하여, 변환 수단에 의해 생성된 변환 계수를 양자화하는 양자화 수단과, 양자화 수단에 의해 양자화된 변환 계수와 크로마 포맷 신호 및 색 공간 신호를 부호화하는 부호화 수단을 구비한다.

또, 본 발명에 관한 화상 정보 부호화 방법은 입력 화상 신호를 블록화하고, 이 블록 단위로 직교 변환을 행하여 양자화를 행하는 화상 정보 부호화 방법에 있어서, 색 신호의 해상도를 나타내는 크로마 포맷 신호 및 색 공간을 나타내는 색 공간 신호에 따라, 블록 사이즈를 적응적으로 변경하여, 색 신호를 화상 내 예측 부호화할 때의 예측 화상을 생성하는 화상 내 예측 스텝과, 화상 내 예측 스텝에서 생성된 예측 화상과 원화상의 차분 신호를 소정 블록 사이즈 단위로 정수 변환하는 변환 스텝과, 변환 스텝에 있어서의 변환에 따라 양자화 방법을 적응적으로 변경하여, 변환 스텝에서 생성된 변환 계수를 양자화하는 양자화 스텝과, 양자화 스텝에서 양자화된 변환 계수와, 크로마 포맷 신호 및 색 공간 신호를 부호화하는 부호화 스텝을 가진다.

이와 같은 화상 정보 부호화 장치 및 그 방법에서는, 입력 화상 신호를 화상 내 예측 부호화할 때, 색 성분의 해상도가 예를 들면 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷 등의 어느 것인가를 나타내는 크로마 포맷 신호, 및 색 공간이 예를 들면 YCbCr, RGB, XYZ 등의 어느 것인가를 나타내는 색 공간 신호에 따라, 예측 화상을 생성할 때의 블록 사이즈를 적응적으로 변경한다. 또한, 이 화상 정보 부호화 장치 및 그 방법에서는, 양자화된 변환 계수와 함께, 크로마 포맷 신호 및 색 공간 신호를 부호화한다.

또, 본 발명에 관한 화상 정보 복호 장치는 입력 화상 신호를 블록화하고, 이 블록 단위로 직교 변환을 행하여 양자화된 화상 압축 정보를 역양자화하고, 역직교 변환을 행하여 복호하는 화상 정보 복호 장치에 있어서, 양자화되고 부호화된 변환 계수와, 색 신호의 해상도를 나타내는 크로마 포맷 신호 및 색 공간을 나타내는 색 공간 신호를 복호하는 복호 수단과, 크로마 포맷 신호 및 색 공간 신호에 따라 역양자화 방법을 적응적으로 변경하고, 복호 수단에 의해 복호된 변환 계수를 역양자화하는 역양자화 수단과, 역양자화된 블록을 정수 변환하는 역변환 수단과, 역변환 수단으로부터의 출력 신호를 사용하여, 크로마 포맷 신호 및 색 공간 신호에 따른 블록 사이즈로, 색 신호를 화상 내 예측 복호할 때의 예측 화상을 생성하는 화상 내 예측 수단을 구비한다.

또한, 본 발명에 관한 화상 정보 복호 방법은 입력 화상 신호를 블록화하고, 이 블록 단위로 직교 변환을 행하여 양자화된 화상 압축 정보를 역양자화하고, 역직교 변환을 행하여 복호하는 화상 정보 복호 방법에 있어서, 양자화되고 부호화된 변환 계수와, 색 신호의 해상도를 나타내는 크로마 포맷 신호 및 색 공간을 나타내는 색 공간 신호를 복호하는 복호 스텝과, 크로마 포맷 신호 및 색 공간 신호에 따라 역양자화 방법을 적응적으로 변경하고, 복호 스텝에서 복호된 변환 계수를 역양자화하는 역양자화 스텝과, 역양자화된 블록을 정수 변환하는 역변환 스텝과, 역변환 스텝의 출력 신호를 사용하여, 크로마 포맷 신호 및 색 공간 신호에 따른 블록 사이즈로, 색 신호를 화상 내 예측 복호할 때의 예측 화상을 생성하는 화상 내 예측 스텝을 가진다.

이와 같은 화상 정보 복호 장치 및 그 방법에서는, 색 성분의 해상도가 예를 들면 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷 등의 어느 것인가를 나타내는 크로마 포맷 신호, 및 색 공간이 예를 들면 YCbCT, RGB, XYZ 등의 어느 것인가를 나타내는 색 공간 신호를 복호하고, 이 크로마 포맷 신호 및 색 공간 신호에 따른 블록 사이즈로, 색 신호를 화상 내 예측 복호할 때의 예측 화상을 생성한다.

본 발명에 관한 화상 정보 부호화 장치 및 그 방법, 및 화상 정보 복호 장치 및 그 방법에 의하면, 4 : 2 : 0 포맷, YCbCr 색 공간의 경우뿐만 아니라, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷, RGB 색 공간, XYZ 색 공간 등의 경우에도, 화상 내 예측에 의해, 효율적으로 부호화, 복호할 수 있다.

본 발명의 또 다른 목적, 본 발명에 의해 얻어지는 구체적인 이점은 이하에서 도면을 참조하여 설명되는 실시예의 설명으로부터 한층 명백해질 것이다.

도 1은 이산 코사인 변환 또는 카루넨·루베 변환 등의 직교 변환과 모션 예측·보상에 의해 화상 압축을 실현하는 종래의 화상 정보 부호화 장치의 개략 구성을 나타낸 블록도이다.

도 2는 동 화상 정보 부호화 장치에 대응하는 종래의 화상 정보 복호 장치의 개략 구성을 나타낸 블록도이다.

도 3은 VT Codec에 있어서의 4개의 인트라 예측 모드를 설명하는 도면이다.

도 4는 8×8 블록 중 4개의 4×4 블록의 DC 계수를 모아 2×2 블록을 구성하는 모양을 나타낸 도면이다.

도 5는 본 발명에 관한 화상 정보 부호화 장치의 개략 구성을 나타낸 블록도이다

도 6은 본 발명에 관한 화상 정보 부호화 장치에 있어서의 인트라 예측부 구성의 일례를 나타낸 블록도이다.

도 7은 본 발명에 관한 화상 정보 부호화 장치에 있어서의 직교 변환부 구성의 일례를 나타낸 도면이다.

도 8은 세로 방향으로 연속되는 2개의 8×8 블록 중 8개의 4×4 블록의 DC 계수를 모아 2×4 블록을 구성하는 모양을 나타낸 도면이다.

도 9는 본 발명에 관한 화상 정보 부호화 장치에 있어서의 양자화부 구성의 일례를 나타낸 블록도이다.

도 10은 본 발명에 관한 화상 정보 부호화 장치에 있어서의 역양자화부 구성의 일례를 나타낸 블록도이다.

도 11은 본 발명에 관한 화상 정보 부호화 장치에 있어서의 역직교 변환부 구성의 일례를 나타낸 블록도이다.

도 12는 본 발명에 관한 화상 정보 복호 장치의 개략 구성을 나타낸 블록도 이다

이하, 본 발명을 적용한 구체적인 실시예에 대하여, 도면을 참조하면서 상세하게 설명하지만, 본 발명은 이 실시예에만 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위에서 여러 가지의 변경이 가능한 것은 물론이다.

(1) 화상 정보 부호화 장치의 구성 및 동작

먼저, 본 발명에 관한 화상 정보 부호화 장치의 개략 구성을 도 5에 나타낸다. 화상 정보 부호화 장치(10)는 도 5에 나타낸 바와 같이, A/D(Analogue/Digital) 변환부(11)와, 화상 정렬 버퍼(12)와, 가산기(13)와, 직교 변환부(14)와, 양자화부(15)와, 가역 부호화부(16)와, 축적 버퍼(17)와, 역양자화부(18)와, 역직교 변환부(19)와, 가산기(20)와, 프레임 메모리(21)와, 모션 예측·보상부(22)와, 인트라 예측부(23)와, 레이트 제어부(24)에 의해 구성되어 있다.

도 5에서, A/D 변환부(11)는 입력된 화상 신호를 디지털 신호로 변환한다. 그리고, 화상 정렬 버퍼(12)는 해당 화상 정보 부호화 장치(10)로부터 출력되는 화상 압축 정보의 GOP(Group of Pictures) 구조에 따라, 프레임의 정렬을 행한다. 여기에서, 화상 정렬 버퍼(12)는 인트라(화상 내) 부호화가 행해지는 화상에 관해서는, 프레임 전체의 화상 정보를 직교 변환부(14)에 공급한다. 직교 변환부(14)는 화상 정보에 대하여 이산 코사인 변환 또는 카루넨·루베 변환 등의 직교 변환을 행하고, 변환 계수를 양자화부(15)에 공급한다. 양자화부(15)는 직교 변환부(14)로부터 공급된 변환 계수에 대하여 양자화 처리를 시행한다.

가역 부호화부(16)는 양자화된 변환 계수에 대하여 가변 길이 부호화, 산술 부호화 등의 가역 부호화를 행하고, 부호화된 변환 계수를 축적 버퍼(17)에 공급하여 축적시킨다. 이 부호화된 변환 계수는 화상 압축 정보로서 출력된다.

양자화부(15)의 거동은 레이트 제어부(24)에 의해 제어된다. 또, 양자화부(15)는 양자화 후의 변환 계수를 역양자화부(18)에 공급하고, 역양자화부(18)는 그 변환 계수를 역양자화한다. 역직교 변환부(19)는 역양자화된 변환 계수에 대하여 역직교 변환 처리를 행하여 복호 화상 정보를 생성하고, 그 정보를 프레임 메모리(21)에 공급하여 축적시킨다.

한편, 화상 정렬 버퍼(12)는 인터(화상 간) 부호화가 행해지는 화상에 관해서는, 화상 정보를 모션 예측·보상부(22)에 공급한다. 모션 예측·보상부(22)는 동시에 참조되는 화상 정보를 프레임 메모리(21)로부터 꺼내, 모션 예측·보상 처리를 행하여 참조 화상 정보를 생성한다. 모션 예측·보상부(22)는 이 참조 화상 정보를 가산기(13)에 공급하고, 가산기(13)는 참조 화상 정보를 해당 화상 정보와의 차분 신호로 변환한다. 또, 모션 보상·예측부(22)는 동시에 모션 벡터 정보를 가역 부호화부(16)에 공급한다.

가역 부호화부(16)는 그 모션 벡터 정보에 대하여 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리를 행하여, 화상 압축 정보의 헤더부에 삽입되는 정보를 형성한다. 그리고, 그 밖의 처리에 대해서는, 인트라 부호화가 시행되는 화상 압축 정보와 동일하기 때문에, 설명을 생략한다.

여기에서, 전술한 JVT Codec에서는, 인트라 부호화를 행할 때, 블록 주변의 화소로부터 예측 화상을 생성하여 그 차분을 부호화한다고 하는 인트라 예측 부호화가 채용되고 있다. 즉, 인트라 부호화가 행해지는 화상(I 픽처, I 슬라이스, 인트라 매크로 블록 등에 관해서는, 부호화하는 화소 블록 근방의 이미 부호화가 종료된 화소값으로부터 예측 화상을 생성하고, 그 예측 화상과의 차분이 부호화된다. 역양자화부(18) 및 역직교 변환부(19)는 인트라 부호화된 화소를 각각 역양자화 및 역직교 변환하고, 가산기(20)는 역직교 변환부(19)의 출력과 해당 화소 블록을 부호화할 때 사용된 예측 화상을 가산하고, 그 가산값을 프레임 메모리(21)에 공급하여 축적시킨다. 인트라 예측부(23)는 인트라 부호화되는 화소 블록의 경우에는, 이미 부호화가 종료되어 프레임 메모리(21)에 축적되어 있는 근방 화소를 판독하여, 예측 화상을 생성한다. 이 때, 예측 화상의 생성에 사용한 인트라 예측 모드에 대해서도 가역 부호화부(16)에서 가역 부호화 처리를 행하여, 화상 압축 정보에 포함시켜 출력한다.

(2) 화상 정보 부호화 장치에 있어서의 본 발명의 적용 부분

(2-1) 인트라 예측부

인트라 예측부(23) 구성의 일례를 도 6에 나타낸다. 인트라 예측부(23)는 색 성분의 해상도가 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷 등의 어느 것인가를 나타내는 크로마 포맷 신호, 및 색 공간이 YCbCr, RGB, XYZ 등의 어느 것인가를 나타내는 색 공간 신호에 따라, 예측의 수법을 절환한다. 그리고, 크로마 포맷 신호 및 색 공간 신호는 미리 외부의 사용자 등에 의해 설정되어, 화상 정보 부호화 장치(10)에 공급된다.

도 6에 나타낸 인트라 예측부(23)에서, 크로마 포맷 신호 및 색 공간 신호는 스위치(30, 32)에 공급된다. 스위치(30, 32)에서는, 크로마 포맷 신호 및 색 공간 신호에 따라, 인트라 예측기(31a, 31b, 31c)의 어느 하나를 선택하여, 프레임 메모리(21)로부터 판독한 화상 신호를 선택한 인트라 예측기에 공급하고, 선택한 인트라 예측기로부터의 예측 화상을 출력한다. 스위치(30, 32)는 동일한 인트라 예측기를 선택한다. 그리고, 이 도 6에서는, 3 종류의 인트라 예측기(31a, 31b, 31c)의 어느 하나를 선택하는 것으로 하여 설명하지만, 이 인트라 예측기의 수, 즉 예측 방식의 수는 임의로 설정할 수 있다.

(2-1-1)

먼저, 인트라 예측기(31a)의 동작을 설명한다. 이 인트라 예측기(31a)에서는, 크로마 포맷 신호가 4 : 2 : 0 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여, 8×8 블록을 단위로 하여 예측을 행한다. 그리고, 인트라 예측기(31a)의 동작은 전술한 종래예와 동일하기 때문에, 상세한 설명을 생략한다.

(2-1-2)

다음에, 인트라 예측기(31b)의 동작을 설명한다. 인트라 예측기(31b)에서도 인트라 색차 예측 모드에는, Vertical mode, Horizontal mode, DC mode, Plane prediction mode인 4개의 예측 모드가 존재한다. 이 인트라 예측기(31b)에서는, 크로마 포맷 신호가 4 : 2 : 2 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여, 매크로 블록 중 연속하는 세로 방향의 2개의 8×8 블록을 통 합하여 8×16 블록을 구성하고, 이 8×16 블록을 단위로 하여 예측을 행한다. 이하, 이 인트라 예측기(31b)에 있어서의, 4개의 예측 모드 각각에 따른 예측 화상의 생성 수법에 대하여 설명한다.

(a) Vertical mode(mode=O)

Vertical mode에서는, 색차 블록이 인접하는 상측 블록의 화소를 카피하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차의 예측 화상 predc는 인접하는 상측 블록의 화소를 p[x, -1]로 하면, 이하의 식 (26)과 같이 표현된다. 그리고, 이 모드는 인접하는 상측 블록이 존재하는 경우에만 사용하는 것이 가능하다.

[수식 15]

(b) Horizontal mode(mode=1)

Horizontal mode에서는, 색차 블록이 인접하는 좌측 블록의 화소를 카피하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차 블록의 예측 화상 predc는 인접하는 좌측 블록의 화소를 p[-1, y]로 하면, 이하의 식 (27)과 같이 표현된다. 그리고, 이 모드는 인접하는 좌측 블록이 존재하는 경우에만 사용하는 것이 가능하다.

[수식 16]

(c) DC mode(mode=2)

즉, x, y=0..3의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x, y=0..3)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1]이 존재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iv) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 4개의 경우에 있어서, 각각 이하의 식 (28)∼(31)에 따라 생성된다.

[수식 17]

동일하게, x=4..7, y=0..3의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x=4..7, y=0..3)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[x, -1]이 존재하는 경우, (ii) 화소 p[x, -1]이 존재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iii) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 3개의 경우에 있어서, 각각 이하의 식 (32)∼(34)에 따라 생성된다.

[수식 18]

동일하게, x=0..3, y=4..7의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[X, -1] 및 좌측 화소 p[-1, y](단, x=0..3, y=4..7)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[-1, y]가 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 3개의 경우에 있어서, 각각 이하의 식 (35)∼(37)에 따라 생성된다.

[수식 19]

동일하게, x, y=4..7의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x, y=4..7)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1]이 존재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iv) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 4개의 경우에 있어서, 각각 이하의 식 (38)∼(41)에 따라 생성된다.

[수식 20]

동일하게, x=0..3, y=8..11의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x=0..3, y=8..11)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[-1, y]가 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 3개의 경우에 있어서, 각각 이하의 식 (42)∼(44)에 따라 생성된다.

[수식 21]

동일하게, x=4..7, y=8..11의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x=4..7, y=8..11)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1]이 존재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iv) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 4개의 경우에 있어서, 각각 이하의 식(45)∼(48)에 따라 생성된다.

[수식 22]

동일하게, x=0..3, y=12..15의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x=0..3, y=12..15)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[-1, y]가 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[X, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 3개의 경우에 있어서, 각각 이하의 식 (49)∼(51)에 따라 생성된다.

[수식 23]

동일하게, x=4..7, y=12..15의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x=4..7, y=12..15)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1]이 존재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iv) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 4개의 경우에 있어서, 각각 이하의 식 (52)∼(55)에 따라 생성된다.

[수식 24]

여기에서, 전술한 예측 방법에서는, 단순히 상측 블록의 8 화소와 좌측 블록의16 화소의 평균값을 예측 화상으로 하고 있기 때문에, 24에서의 나눗셈을 행할 필요가 있어, 연산량이 많아진다고 하는 문제가 있다. 그래서, 다음과 같이 예측 방법을 변형하여, 16(=24)에서의 나눗셈을 행하도록 함으로써, 연산량을 삭감할 수 있다.

즉, x, y=0..7의 경우, 예측 화상 predc[X, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x, y=0..7)를 사용하여 생성된다. 보다 상세하게는, (1) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1]이 존 재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iv) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 4개의 경우에 있어서, 각각 이하의 식 (56)∼(59)에 따라 생성된다.

[수식 25]

동일하게, x= 0..7, y= 8..15의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x=0..7, y= 8..15)를 사용하여 생성된다. 보다 상세하게는, (i) 화소 p[-1, y]가 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 3개의 경우에 있어서, 각각 이하의 식 (60)∼(62)에 따라 생성된다.

[수식 26]

(d) Plane Prediction mode(mode=3)

Plane Prediction mode에서는, 색차 블록이 인접하는 좌측 블록의 화소와 상측 블록의 화소로부터 예측 화상을 평면 근사하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차의 예측 화상 predc는 인접하는 좌측 블록의 화소를 p[-1, y], 상측 블록을 p[x, -1]로 하면, 이하의 식 (63)과 같이 표현된다. 여기에서, 식 (63)에서의 Clip1은 0으로부터 255의 범위에 클리핑하는 것을 나타낸다.

[수식 27]

단,

(2-1-3)

계속해서, 인트라 예측기(31c)의 동작을 설명한다. 인트라 예측기(31c)에서도 인트라 색차 예측 모드에는, Vertical mode, Horizontal mode, DC mode, Plane prediction mode의 4개의 예측 모드가 존재한다. 이 인트라 예측기(31c)에서는, 크로마 포맷 신호가 4 : 4 : 4 포맷을 나타내고, 색 공간 신호가 YCbCr, RGB 또는 XYZ를 나타내는 화상 신호에 대하여, 매크로 블록 중 연속하는 종횡 방향의 4개의 8×8 블록을 통합하여 16×16 블록을 구성하고, 이 16×16 블록을 단위로 하여 예측을 행한다. 이하, 이 인트라 예측기(31c)에 있어서의 4개의 예측 모드 각각에 따른 예측 화상의 생성 수법에 대하여 설명한다.

(a) Vertical mode(mode=0)

Vertical mode에서는, 색차 블록이 인접하는 상측 블록의 화소를 카피하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차의 예측 화상 predc는 인접하는 상측 블록의 화소를 p[x, -1]로 하면, 이하의 식 (64)와 같이 표현된다. 그리고, 이 모드는 인접하는 상측 블록이 존재하는 경우에만 사용하는 것이 가능하다.

[수식 28]

(b) Horizontal mode(mode=1)

Horizontal mode에서는, 색차 블록이 인접하는 좌측 블록의 화소를 카피하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차 블록의 예측 화상 predc는 인접하는 좌측 블록의 화소를 p[-1, y]로 하면, 이하의 식 (65)와 같이 표현된다. 그리고, 이 모드는 인접하는 좌측 블록이 존재하는 경우에만 사용하는 것이 가능하다.

[수식 29]

(c) DC mode(mode=2)

즉, x, y=0..15의 경우, 예측 화상 predc[x, y]는 인접하는 상측 화소 p[x, -1] 및 좌측 화소 p[-1, y](단, x, y=0..15)를 사용하여 생성된다. 보다 상세하게 는, (i) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하는 경우, (ii) 화소 p[x, -1]이 존재하고, 화소 p[-1, y]가 존재하지 않는 경우, (iii) 화소 p[x, -1]이 존재하지 않고, 화소 p[-1, y]가 존재하는 경우, (iv) 화소 p[x, -1] 및 화소 p[-1, y]가 함께 존재하지 않는 경우의 4개의 경우에 있어서, 각각 이하의 식 (66)∼(69)에 따라 생성된다.

[수식 30]

(d) Plane Prediction mode(mode=3)

Plane Prediction mode에서는, 색차 블록이 인접하는 좌측 블록의 화소와 상측 블록의 화소로부터 예측 화상을 평면 근사하여 해당 블록의 예측 화상으로 한다. 이 경우의 색차의 예측 화상 predc는 인접하는 좌측 블록의 화소를 p[-1, y], 상측 블록을 p[x, -1]로 하면, 이하의 식 (70)과 같이 표현된다. 여기에서, 식 (70)에서의 Clip1은 0으로부터 255의 범위에 클리핑하는 것을 나타낸다.

[수식 31]

단,

(2-2) 직교 변환부

크로마 포맷 신호 및 색 공간 신호는 직교 변환부(14)에도 공급된다.

직교 변환부(14) 구성의 일례를 도 7에 나타낸다. 직교 변환부(14)는 색 성분의 해상도가 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷 등의 어느 것인가를 나타내는 크로마 포맷 신호, 및 색 공간이 YCbCr, RGB, XYZ 등의 어느 것인가를 나타내는 색 공간 신호에 따라, 직교 변환의 방식을 절환한다.

도 7에 나타낸 직교 변환부(14)에서, 크로마 포맷 신호 및 색 공간 신호는 스위치(40, 42)에 공급된다. 스위치(40, 42)에서는, 크로마 포맷 신호 및 색 공간 신호에 따라, 직교 변환기(41a, 41b, 41c)의 어느 하나를 선택하여, 가산기(13)로부터의 출력을 선택한 직교 변환기에 공급하고, 선택한 직교 변환기로부터의 신호를 출력한다. 스위치(40, 42)는 동일한 직교 변환기를 선택한다. 그리고, 이 도 7에서는, 3 종류의 직교 변환기(41a, 41b, 41c)의 어느 하나를 선택하는 것으로 하여 설명하지만, 이 직교 변환기의 수, 즉 직교 변환 방식의 수는 임의로 설정할 수 있다.

(2-2-1)

먼저, 직교 변환기(41a)의 동작을 설명한다. 이 직교 변환기(41a)에서는, 크로마 포맷 신호가 4 : 2 : 0 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여 직교 변환을 행한다. 그리고, 직교 변환기(41a)의 동작은 전술한 종래예와 동일하기 때문에, 상세한 설명을 생략한다.

(2-2-2)

다음에, 직교 변환기(41b)의 동작을 설명한다. 이 직교 변환기(41b)에서는, 크로마 포맷 신호가 4 : 2 : 2 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여 직교 변환을 행한다.

보다 상세하게는, 색차의 인트라 예측을 행한 후, 8×8 블록 중 4×4 화소 블록 단위로 4×4 정수 변환을 적용한다. 해당 화소 블록으로부터 예측 화상을 뺀 차분 신호를 f4x4로 하면, 4×4직교 변환은 이하의 식 (71)과 같이 표현된다.

[수식 32]

단,

4×4 정수 변환한 후, 도 8에 나타낸 바와 같이, 세로 방향으로 연속되는 2개의 8×8 블록 중 8개의 4×4 블록의 (0, 0) 계수를 모아 2×4 블록을 구성하고, 이 2×4 블록에 대하여 2×4 변환을 적응한다. 이것은 색차로 이용되고 있는 인트라 예측의 효율이 그다지 높지 않고, 인접하는 4×4 블록 간의 (0, 0) 계수 사이에 아직 상관이 남아 있기 때문이다. 이 상관을 이용하여 보다 부호화 효율을 높이기 위해, 4×4 블록의 (0, 0) 계수의 보고를 모아 2×4 블록을 구성하고, 2×4 변환을 적용한다. 2×4의 크로마 DC의 블록을 f2x4로 하면, 이 크로마 DC 블록에 대한 변환은 이하의 식 (72)와 같이 표현된다.

[수식 33]

단,

(2-2-3)

계속해서, 직교 변환기(41c)의 동작을 설명한다. 이 직교 변환기(41c)에서는, 크로마 포맷 신호가 4 : 4 : 4 포맷을 나타내고, 색 공간 신호가 YCbCr, RGB 또는 XYZ를 나타내는 화상 신호에 대하여 직교 변환을 행한다.

보다 상세하게는, 4 : 4 : 4 포맷, YCbCr, RGB, XYZ를 나타내는 색차를 4×4 정수 변환한 후, 휘도와 동일하게 하여 매크로 블록 중 16개의 (0, 0) 계수를 모아 4×4 DC 블록을 구성하고, 4×4변환을 적용한다. 이 변환은 이하의 식 (73)과 같이 표현된다.

[수식 34]

단,

(2-3) 양자화부

크로마 포맷 신호 및 색 공간 신호는 양자화부(15)에도 공급된다.

양자화부(15) 구성의 일례를 도 5에 나타낸다. 양자화부(15)는 색 성분의 해상도가 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷 등의 어느 것인가를 나타내는 크로마 포맷 신호, 및 색 공간이 YCbCr, RGB, XYZ 등의 어느 것인가를 나타내는 색 공간 신호에 따라, 양자화의 방식을 절환한다.

도 9에 나타낸 양자화부(15)에서, 크로마 포맷 신호 및 색 공간 신호는 스위치(50, 52)에 공급된다. 스위치(50, 52)에서는, 크로마 포맷 신호 및 색 공간 신호에 따라, 양자화기(51a, 51b, 51c)의 어느 하나를 선택하여, 직교 변환부(14)로부터의 출력을 선택한 양자화기에 공급하고, 선택한 양자화기로부터의 신호를 출력한다. 스위치(50, 52)는 동일한 양자화기를 선택한다. 그리고, 이 도 9에서는, 3 종류의 양자화기(51a, 51b, 51c)의 어느 하나를 선택하는 것으로 하여 설명하지만, 이 양자화기의 수, 즉 양자화 방식의 수는 임의로 설정할 수 있다.

(2-3-1)

먼저, 양자화기(51a)의 동작을 설명한다. 이 양자화기(51a)에서는, 크로마 포맷 신호가 4 : 2 : 0 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여 양자화를 행한다. 그리고, 양자화기(51a)의 동작은 전술한 종래예와 동일하기 때문에, 상세한 설명을 생략한다.

(2-3-2)

다음에, 양자화기(51b)의 동작을 설명한다. 이 양자화기(51b)에서는, 크로마 포맷 신호가 4 : 2 : 2 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여 양자화를 행한다.

여기에서, 4 : 2 : 0 포맷의 경우에 있어서의 크로마 DC의 변환에 이용되는 아다마르 변환은 이하의 식 (74)와 같이 표현된다.

[수식 35]

단,

한편, 4 : 2 : 2 포맷의 경우에 있어서의 크로마 DC의 변환에 이용되는 2×4 변환은 이하의 식 (75)와 같이 표현된다.

[수식 36]

단,

따라서, 4 : 2 : 0 포맷에서의 변환에 의한 정규화 계수는 1/2인데 대하여, 4 : 2 : 2 포맷에서의 변환에 의한 정규화 계수는 1/2√2로 된다. 그러나, 이 경우에는, 실수(實數) 연산이 들어가 버리기 때문에, 이하의 식 (76)에서 나타내는 바와 같이 간략화한다.

[수식 37]

이 정규화 계수는 양자화 때의 스케일과 함께 계산되어 있기 때문에, 4 : 2 : 2 포맷 변환의 경우, 양자화 방법을 다음과 같이 변경할 필요가 있다.

양자화 후의 DC 계수를 Qf'[ij]로 하면, 2×4 크로마 DC 블록의 양자화 후의 계수값은, 예를 들면 이하의 식 (77)에서 주어진다. 여기에서, 식 (77)에서의 r은 사사 오입 처리를 변경하기 위한 파라미터이다. 그리고, AC 계수에 대한 양자화는 4 : 2 : 0 포맷의 경우와 동일하기 때문에, 설명을 생략한다.

[수식 38]

(2-3-3)

계속해서, 양자화기(51c)의 동작을 설명한다. 이 양자화기(51c)에서는, 크로마 포맷 신호가 4 : 4 : 4 포맷을 나타내고, 색 공간 신호가 YCbCr, RGB 또는 XYZ를 나타내는 화상 신호에 대하여 양자화를 행한다.

여기에서, 크로마 DC의 변환에 이용되는 아다마르 변환은 이하의 식 (78)과 같이 표현된다. 따라서, 이 경우, 변환의 정규화 계수는 1/4로 된다.

[수식 39]

단,

양자화 후의 DC 계수를 Qf'[ij]로 하면, 4×4 크로마 DC 블록의 양자화 후의 계수값은, 예를 들면 이하의 식 (79)에서 주어진다. 여기에서, 식 (79)에서의 r은 사사 오입 처리를 변경하기 위한 파라미터이다.

[수식 40]

(2-4) 역양자화부

크로마 포맷 신호 및 색 공간 신호는 역양자화부(18)에도 공급된다.

역양자화부(18) 구성의 일례를 도 10에 나타낸다. 역양자화부(18)는 색 성분의 해상도가 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷 등의 어느 것인가를 나타내는 크로마 포맷 신호, 및 색 공간이 YCbCr, RGB, XYZ 등의 어느 것인가를 나타내는 색 공간 신호에 따라, 역양자화의 방식을 절환한다.

도 10에 나타낸 역양자화부(18)에서, 크로마 포맷 신호 및 색 공간 신호는 스위치(60, 62)에 공급된다. 스위치(60, 62)에서는, 크로마 포맷 신호 및 색 공간 신호에 따라, 역양자화기(61a, 61b, 61c)의 어느 하나를 선택하여, 양자화부(15)로부터의 출력을 선택한 역양자화기에 공급하고, 선택한 역양자화기로부터의 신호를 출력한다. 스위치(60, 62)는 동일한 역양자화기를 선택한다. 그리고, 이 도 10에서는, 3 종류의 역양자화기(61a, 61b, 61c)의 어느 하나를 선택하는 것으로 하여 설명하지만, 이 역양자화기의 수, 즉 역양자화 방식의 수는 임의로 설정할 수 있 다.

(2-4-1)

먼저, 역양자화기(61a)의 동작을 설명한다. 이 역양자화기(61a)에서는, 크로마 포맷 신호가 4 : 2 : 0 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여 역양자화를 행한다. 그리고, 역양자화기(61a)의 동작은 전술한 종래예와 동일하기 때문에, 상세한 설명을 생략한다.

(2-4-2)

다음에, 역양자화기(61b)의 동작을 설명한다. 이 역양자화기(61b)에서는, 크로마 포맷 신호가 4 : 2 : 2 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여 역양자화를 행한다.

보다 상세하게는, 역양자화 후의 DC 계수를 fdc"로 하면, 2×2 크로마 DC 블록의 역양자화 후의 계수값은 QPc가 6 이상인 경우에는, 이하의 식 (80)으로 표현되며, QPc가 6 미만인 경우에는, 이하의 식 (81)로 표현된다. 그리고, AC 계수에 대한 역양자화는 4 : 2 : 0 포맷의 경우와 동일하기 때문에, 설명을 생략한다.

[수식 41]

(2-4-3)

다음에, 역양자화기(61c)의 동작을 설명한다. 이 역양자화기(61c)에서는, 크로마 포맷 신호가 4 : 4 : 4 포맷을 나타내고, 색 공간 신호가 YCbCr, RGB 또는 XYZ를 나타내는 화상 신호에 대하여 역양자화를 행한다.

보다 상세하게는, 역양자화 후의 DC 계수를 fdc"로 하면, 4×4 크로마 DC 블록의 역양자화 후의 계수값은 QPc가 6 이상인 경우에는, 이하의 식 (82)로 표현되며, QPc가 6 미만인 경우에는, 이하의 식 (83)으로 표현된다. 그리고, AC 계수에 대한 역양자화는 4 : 2 : 0 포맷의 경우와 동일하기 때문에, 설명을 생략한다.

[수식 42]

(2-5) 역직교 변환부

크로마 포맷 신호 및 색 공간 신호는 역직교 변환부(19)에도 공급된다.

역직교 변환부(19) 구성의 일례를 도 11에 나타낸다. 역직교 변환부(19)는 색 성분의 해상도가 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷 등의 어느 것인가를 나타내는 크로마 포맷 신호, 및 색 공간이 YCbCr, RGB, XYZ 등의 어느 것 인가를 나타내는 색 공간 신호에 따라, 역직교 변환 방식을 절환한다.

도 11에 나타낸 역직교 변환부(19)에서, 크로마 포맷 신호 및 색 공간 신호는 스위치(70, 72)에 공급된다. 스위치(70, 72)에서는, 크로마 포맷 신호 및 색 공간 신호에 따라, 역직교 변환기(71a, 71b, 71c)의 어느 하나를 선택하여, 역양자화부(18)로부터의 출력을 선택한 역직교 변환기에 공급하고, 선택한 역직교 변환기로부터의 신호를 출력한다. 스위치(70, 72)는 동일한 역직교 변환기를 선택한다. 그리고, 이 도 11에서는, 3 종류의 역직교 변환기(71a, 71b, 71c)의 어느 하나를 선택하는 것으로 하여 설명하지만, 이 역직교 변환기의 수, 즉 역직교 변환 방식의 수는 임의로 설정할 수 있다.

(2-5-1)

먼저, 역직교 변환기(71a)의 동작을 설명한다. 이 역직교 변환기(71a)에서는, 크로마 포맷 신호가 4 : 2 : 0 포맷을 나타내고, 색 공간 신호나 YCbCr을 나타내는 화상 신호에 대하여 역직교 변환을 행한다. 그리고, 역직교 변환기(71a)의 동작은 전술한 종래예와 동일하기 때문에, 상세한 설명을 생략한다.

(2-5-2)

다음에, 역직교 변환기(71b)의 동작을 설명한다. 이 역직교 변환기(71b)에서는, 크로마 포맷 신호가 4 : 2 : 2 포맷을 나타내고, 색 공간 신호가 YCbCr을 나타내는 화상 신호에 대하여 역직교 변환을 행한다.

보다 상세하게는, 2×4 DC 블록에 대하여 2×4 역변환을 적용한다. 역변환 후의 2×4의 크로마 DC 블록을 fdc2x4"'로 하면, 이 크로마 DC 블록에 대한 역변환 은 이하의 식 (84)와 같이 표현된다.

[수식 43]

단,

이 크로마 DC 계수를 도 8에 나타낸 바와 같은 4×4 블록의 (0, 0) 계수로 하고, 각 4×4 블록의 역변환을 행한다. 역변환된 크로마 DC인 fdc2x4'''를 (0, 0) 계수로 하는 4×4 블록의 각 계수를 F'4x4로 하고, 역변환 후의 4×4 블록에 복호 차분 신호를 F''4x4로 하면, 역변환은 이하의 식 (85)와 같이 표현된다.

[수식 44]

단,

(2-5-3)

계속해서, 역직교 변환기(71c)의 동작을 설명한다. 이 역직교 변환기(71c)는 크로마 포맷 신호가 4 : 4 : 4 포맷을 나타내고, 색 공간 신호가 YCbCr, RGB 또는 XYZ를 나타내는 화상 신호에 대하여 역직교 변환을 행한다.

보다 상세하게는, 4×4 DC 블록에 대하여 4×4 역변환을 적용한다. 역변환 후의 4×4의 크로마 DC 블록을 fdc4x4'''로 하면, 이 크로마 DC 블록에 대한 역변환은 이하의 식 (86)과 같이 표현된다.

[수식 45]

단,

이 크로마 DC 계수를 AC 계수의 4×4 블록의 (0, 0) 계수로 하고, 각 4×4 블록의 역변환을 행한다. 역변환된 크로마 DC인 fdc4x4'''를 (0, 0) 계수로 하는 4×4 블록의 각 계수를 F'4x4로 하고, 역변환 후의 4×4 블록에 복호 차분 신호를 F"4x4로 하면, 역변환은 이하의 식 (87)과 같이 표현된다.

[수식 46]

단,

(2-6) 그 밖의 블록

크로마 포맷 신호 및 색 공간 신호는 가역 부호화부(16)에도 공급되어 가변 길이 부호화 또는 산술 부호화되며, 화상 압축 정보에 포함되어 출력된다.

이 크로마 포맷 신호 및 색 공간 신호는, 예를 들면 이하와 같은 문맥으로 부호화된다.

se_parameter_set_rbsp(){

:

chroma_format_idc u(2)

color_space_idc u(2)

:

}

여기에서, u(2)로서 부호화되는 문맥은 예를 들면 「001x1x0」라고 하는 가변 길이 부호로 부호화된다. 이 중, x1, x0이 부호화되는 문맥의 2비트에 상당한다.

(3) 화상 정보 복호 장치의 구성 및 동작

전술한 화상 정보 부호화 장치(10)에 대응하는 화상 정보 복호 장치의 개략 구성을 도 12에 나타낸다. 도 12에 나타낸 바와 같이, 화상 정보 복호 장치(80)는 축적 버퍼(81)와, 가역 복호부(82)와, 역양자화부(83)와, 역직교 변환부(84)와, 가산기(85)와, 화상 정렬 버퍼(86)와, D/A(Digita1/AnaIogue) 변환부(87)와, 모션 예측·보상부(88)와, 프레임 메모리(89)와, 인트라 예측부(90)에 의해 구성되어 있다.

도 12에서, 입력이 되는 화상 압축 정보는 먼저 축적 버퍼(81)에 저장된 후, 가역 복호부(82)에 전송된다. 가역 복호부(82)는 정해진 화상 압축 정보의 포맷에 따라, 가변 길이 복호 또는 산술 복호 등의 처리를 행한다. 또 가역 복호부(82)는 해당 프레임이 인터 부호화된 것인 경우에는, 화상 압축 정보의 헤더부에 저장된 모션 벡터 정보도 복호하고, 그 정보를 모션 예측·보상부(88)에 전송한다. 또한 가역 복호부(82)는 크로마 포맷 신호 및 색 공간 신호를 복호하여, 역양자화부(83), 역직교 변환부(84) 및 인트라 예측부(90)에 공급한다.

가역 복호부(82)의 출력이 되는 양자화된 변환 계수는 역양자화부(83)에 공급되고, 여기에서 변환 계수로서 출력된다. 역직교 변환부(84)는, 변환 계수는 정해진 화상 압축 정보의 포맷에 따라, 역이산 코사인 변환 또는 역카루넨·루베 변환 등의 가역 변환을 행한다. 해당 프레임이 인트라 부호화된 것인 경우에는, 역직교 변환 처리가 시행된 화상 정보는 화상 정렬 버퍼(86)에 저장되고, D/A 변환 처리 후에 출력된다.

여기에서, 해당 프레임 또는 매크로 블록이 인트라 부호화된 것인 경우, 가역 복호부(82)에서 복호된 크로마 포맷 신호 및 색 공간 신호에 따라, 전술한 바와 동일한 역양자화 방법, 역직교 변환 방법, 인트라 예측 방법을 이용하여 복호한다.

한편, 해당 프레임이 인터 부호화된 것인 경우에는, 가역 복호 처리가 시행된 모션 벡터 정보, 및 프레임 메모리(89)에 저장된 화상 정보를 기초로 참조 화상이 생성되고, 이 참조 화상과 역직교 변환부(84)의 출력이 가산기(85)에서 합성된다. 그 밖의 처리는 인트라 부호화된 프레임과 동일하기 때문에, 설명을 생략한다.

그리고, 본 발명은 도면을 참조하여 설명한 전술한 실시예에 한정되지 않고, 첨부한 청구의 범위 및 그 주지를 일탈하지 않고, 다양한 변경, 치환 또는 그 동등한 것을 행할 수 있는 것은 당업자로서 명백하다.

본 발명은 입력 화상 신호가 4 : 2 : 0 포맷, YCbCr 색 공간의 경우뿐만 아니라, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷, RGB 색 공간, XYZ 색 공간 등의 경우에도, 화상 내 예측 부호화를 사용하여, 효율적으로 부호화할 수 있다.

Claims

입력 화상 신호를 블록화하고, 이 블록 단위로 직교 변환을 행하여 양자화를 행하는 화상 정보 부호화 장치에 있어서,

색 신호의 해상도를 나타내는 크로마 포맷 신호 및 색 공간을 나타내는 색 공간 신호에 따라, 블록 사이즈를 적응적으로 변경하여, 색 신호를 화상 내 예측 부호화할 때의 예측 화상을 생성하는 화상 내 예측 수단과,

상기 화상 내 예측 수단에 의해 생성된 예측 화상과 원(原)화상의 차분(差分) 신호를 소정 블록 사이즈 단위로 정수(整數) 변환하는 변환 수단과,

상기 변환 수단에 의한 변환에 따라 양자화 방법을 적응적으로 변경하여, 상기 변환 수단에 의해 생성된 변환 계수를 양자화하는 양자화 수단과,

상기 양자화 수단에 의해 양자화된 상기 변환 계수와, 상기 크로마 포맷 신호 및 상기 색 공간 신호를 부호화하는 부호화 수단

을 구비한 것을 특징으로 하는 화상 정보 부호화 장치.
제1항에 있어서,

상기 변환 수단은, 상기 소정 블록 사이즈 단위로 정수 변환한 후의 DC 성분만을 모아 구성된 블록을 다시 정수 변환하는 것을 특징으로 하는 화상 정보 부호화 장치.
제2항에 있어서,

상기 크로마 포맷 신호는 적어도 4 : 2 : 0 포맷, 4 : 2 : 2 포맷 및 4 : 4 :4 포맷을 포함하며, 상기 색 공간 신호는 적어도 YCbCr, RGB 및 XYZ를 포함하는 것을 특징으로 하는 화상 정보 부호화 장치.
제3항에 있어서,

상기 화상 내 예측 수단은, 상기 크로마 포맷 신호가 4 : 2 : 0 포맷, 상기 색 공간 신호가 YCbCr인 경우에는, 8×8 화소 단위로 상기 예측 화상을 생성하는 것을 특징으로 하는 화상 정보 부호화 장치.
제3항에 있어서,

상기 화상 내 예측 수단은, 상기 크로마 포맷 신호가 4 : 2 : 2 포맷, 상기 색 공간 신호가 YCbCr인 경우에는, 8×8 화소의 블록을 세로 방향으로 정렬한 8×16 화소 단위로 상기 예측 화상을 생성하는 것을 특징으로 하는 화상 정보 부호화 장치.
제3항에 있어서,

상기 화상 내 예측 수단은, 상기 크로마 포맷 신호가 4 : 4 : 4 포맷, 상기 색 공간 신호가 YCbCr, RGB, XYZ인 경우에는, 8×8 화소의 블록을 종횡 방향으로 정렬한 16×16 화소 단위로 상기 예측 화상을 생성하는 것을 특징으로 하는 화상 정보 부호화 장치.
제4항에 있어서,

상기 변환 수단은, 상기 크로마 포맷 신호가 4 : 2 : 0 포맷, 상기 색 공간 신호가 YCbCr인 경우에는, 상기 차분 신호를 4×4 화소 단위로 정수 변환하고, 변환 후의 DC 성분을 모아 구성된 2×2 화소 단위의 블록을 다시 정수 변환하는 것을 특징으로 하는 화상 정보 부호화 장치.
제7항에 있어서,

상기 2×2 화소 단위 블록의 각 계수를 fdc2x2로 했을 때, 이 블록의 정수 변환 후의 각 계수 fdc'2x2는 하기 식

[수식 1]

단,

로 표현되는 것을 특징으로 하는 화상 정보 부호화 장치.
제5항에 있어서,

상기 변환 수단은, 상기 크로마 포맷 신호가 4 : 2 : 2 포맷, 상기 색 공간 신호가 YCbCr인 경우에는, 상기 차분 신호를 4×4 화소 단위로 정수 변환하고, 변환 후의 DC 성분을 모아 구성된 2×4 화소 단위의 블록을 다시 정수 변환하는 것을 특징으로 하는 화상 정보 부호화 장치.
제9항에 있어서,

상기 2×4 화소 단위 블록의 각 계수를 fdc2x4로 했을 때, 이 블록의 정수 변환 후의 각 계수 fdc'2x4는 하기 식

[수식 2]

단,

로 표현되는 것을 특징으로 하는 화상 정보 부호화 장치.
제10항에 있어서,

상기 fdc2x4와 fdc'2x4의 관계를 하기 식

[수식 3]

과 근사한 것을 특징으로 하는 화상 정보 부호화 장치.
제6항에 있어서,

상기 변환 수단은, 상기 크로마 포맷 신호가 4 : 4 : 4 포맷, 상기 색 공간 신호가 YCbCr, RGB 또는 XYZ인 경우에는, 상기 차분 신호를 4×4 화소 단위로 정수 변환하고, 변환 후의 DC 성분을 모아 구성된 4×4 화소 단위의 블록을 다시 정수 변환하는 것을 특징으로 하는 화상 정보 부호화 장치.
제12항에 있어서,

상기 4×4 화소 단위 블록의 각 계수를 fdc4x4로 했을 때, 이 블록의 정수 변환 후의 각 계수 fdc'4x4는 하기 식

[수식 4]

단,

로 표현되는 것을 특징으로 하는 화상 정보 부호화 장치.
입력 화상 신호를 블록화하고, 이 블록 단위로 직교 변환을 행하여 양자화를 행하는 화상 정보 부호화 방법에 있어서,

색 신호의 해상도를 나타내는 크로마 포맷 신호 및 색 공간을 나타내는 색 공간 신호에 따라, 블록 사이즈를 적응적으로 변경하여, 색 신호를 화상 내 예측 부호화할 때의 예측 화상을 생성하는 화상 내 예측 스텝과,

상기 화상 내 예측 스텝에 의해 생성된 예측 화상과 원화상의 차분 신호를 소정 블록 사이즈 단위로 정수 변환하는 변환 스텝과,

상기 변환 스텝에 의한 변환에 따라 양자화 방법을 적응적으로 변경하여, 상기 변환 스텝에 의해 생성된 변환 계수를 양자화하는 양자화 스텝과,

상기 양자화 스텝에 의해 양자화된 상기 변환 계수와, 상기 크로마 포맷 신호 및 상기 색 공간 신호를 부호화하는 부호화 스텝

을 가지는 것을 특징으로 하는 화상 정보 부호화 방법.
제14항에 있어서,

상기 변환 스텝에서는, 상기 소정 블록 사이즈 단위로 정수 변환한 후의 DC 성분만을 모아 구성된 블록을 다시 정수 변환하는 것을 특징으로 하는 화상 정보 부호화 방법.
제14항에 있어서,

상기 크로마 포맷 신호는 적어도 4 : 2 : 0 포맷, 4 : 2 : 2 포맷 및 4 : 4 :4 포맷을 포함하며, 상기 색 공간 신호는 적어도 YCbCr, RGB 및 XYZ를 포함하는 것을 특징으로 하는 화상 정보 부호화 방법.
입력 화상 신호를 블록화하고, 이 블록 단위로 직교 변환을 행하여 양자화된 화상 압축 정보를 역(逆)양자화하고, 역직교 변환을 행하여 복호하는 화상 정보 복호 장치에 있어서,

양자화되어 부호화된 변환 계수와, 색 신호의 해상도를 나타내는 크로마 포맷 신호 및 색 공간을 나타내는 색 공간 신호를 복호하는 복호 수단과,

상기 크로마 포맷 신호 및 상기 색 공간 신호에 따라 역양자화 방법을 적응적으로 변경하여, 상기 복호 수단에 의해 복호화된 상기 변환 계수를 역양자화하는 역양자화 수단과,

상기 역양자화된 블록을 정수 변환하는 역변환 수단과,

상기 역변환 수단으로부터의 출력 신호를 사용하여, 상기 크로마 포맷 신호 및 상기 색공간 신호에 따른 블록 사이즈로, 색 신호를 화상 내 예측 복호할 때의 예측 화상을 생성하는 화상 내 예측 수단

을 구비한 것을 특징으로 하는 화상 정보 복호 장치.
제17항에 있어서,

상기 역변환 수단은, 상기 역양자화된 블록을 정수 변환하고, 이 각 계수를 소정 블록 사이즈 블록의 각 DC 성분으로 하여, 상기 소정 블록 사이즈 단위로 다시 정수 변환하는 것을 특징으로 하는 화상 정보 복호 장치.
제18항에 있어서,

상기 크로마 포맷 신호는 적어도 4 : 2 : 0 포맷, 4 : 2 : 2 포맷 및 4 : 4 :4 포맷을 포함하며, 상기 색 공간 신호는 적어도 YCbCr, RGB 및 XYZ를 포함하는 것을 특징으로 하는 화상 정보 복호 장치.
제19항에 있어서,

상기 역변환 수단은, 상기 크로마 포맷 신호가 4 : 2 : 0 포맷, 상기 색 공간 신호가 YCbCr인 경우에는, 상기 역양자화된 2×2 화소 단위의 블록을 정수 변환하고, 변환 후의 각 계수를 8×8 화소의 블록을 구성하는 4개의 4×4 화소 단위 블록의 각 DC 계수로서 다시 정수 변환하는 것을 특징으로 하는 화상 정보 복호 장치.
제19항에 있어서,

상기 역변환 수단은, 상기 크로마 포맷 신호가 4 : 2 : 2 포맷, 상기 색 공간 신호가 YCbCr인 경우에는, 상기 역양자화된 2×4 화소 단위의 블록을 정수 변환하고, 변환 후의 각 계수를 8×16 화소의 블록을 구성하는 8개의 4×4 화소 단위 블록의 각 DC 계수로서 다시 정수 변환하는 것을 특징으로 하는 화상 정보 복호 장치.
제19항에 있어서,

상기 변환 수단은, 상기 크로마 포맷 신호가 4 : 4 : 4 포맷, 상기 색 공간 신호가 YCbCr, RGB 또는 XYZ인 경우에는, 상기 역양자화된 4×4 화소 단위의 블록 을 정수 변환하고, 변환 후의 각 계수를 16×16 화소의 블록을 구성하는 16개의 4×4 화소 단위 블록의 각 DC 계수로서 다시 정수 변환하는 것을 특징으로 하는 화상 정보 복호 장치.
입력 화상 신호를 블록화하고, 이 블록 단위로 직교 변환을 행하여 양자화된 화상 압축 정보를 역(逆)양자화하고, 역직교 변환을 행하여 복호하는 화상 정보 복호 방법에 있어서,

양자화되고 부호화된 변환 계수와, 색 신호의 해상도를 나타내는 크로마 포맷 신호 및 색 공간을 나타내는 색 공간 신호를 복호하는 복호 스텝과,

상기 크로마 포맷 신호 및 상기 색 공간 신호에 따라 역양자화 방법을 적응적으로 변경하여, 상기 복호 스텝에 의해 복호화된 상기 변환 계수를 역양자화하는 역양자화 스텝과,

상기 역양자화된 블록을 정수 변환하고, 이 각 계수를 소정 블록 사이즈 블록의 각 DC 성분으로 하여, 상기 소정 블록 사이즈 단위로 다시 정수 변환하는 역변환 스텝과,

상기 역변환 스텝의 출력 신호를 사용하여, 상기 크로마 포맷 신호 및 상기 색공간 신호에 따른 블록 사이즈로, 색 신호를 화상 내 예측 복호할 때의 예측 화상을 생성하는 화상 내 예측 스텝

을 포함하는 것을 특징으로 하는 화상 정보 복호 방법.
제23항에 있어서,

상기 역변환 스텝에서는, 상기 역양자화된 블록을 정수 변환하고, 이 각 계수를 소정 블록 사이즈 블록의 각 DC 성분으로 하여, 상기 소정 블록 사이즈 단위로 다시 정수 변환하는 것을 특징으로 하는 화상 정보 복호 방법.
제24항에 있어서,

상기 크로마 포맷 신호는 적어도 4 : 2 : 0 포맷, 4 : 2 : 2 포맷 및 4 : 4 : 4 포맷을 포함하며, 상기 색 공간 신호는 적어도 YCbCr, RGB 및 XYZ를 포함하는 것을 특징으로 하는 화상 정보 복호 방법.