KR100966427B1 - 화상 복호 장치 및 화상 복호 방법 - Google Patents

Abstract

(과제) 4 : 4 : 4 포맷과 같은 색성분 사이에 샘플비의 구별이 없는 동화상 신호를 부호화하는데 있어서, 최적성을 높인 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법을 제공한다.

(해결 수단) 4 : 4 : 4 포맷의 디지털 동화상 신호를 입력하여 압축 부호화를 행하는 경우에, 입력된 동화상 신호의 3개의 색성분 신호를 공통의 부호화 모드로 부호화하는 처리와, 입력된 동화상 신호의 3개의 색성분 신호를 각각 독립적인 부호화 모드로 부호화 처리를 행하는 처리를 준비하고, 상기 제 1 부호화 처리와 제 2 부호화 처리 중 어느 한쪽을 선택하여 부호화 처리를 행함과 아울러, 어느 쪽을 선택했는지를 나타내는 식별 신호를 압축 데이터에 포함시키도록 한다.

Description

화상 복호 장치 및 화상 복호 방법{IMAGE DECODING DEVICE AND IMAGE DECODING METHOD}

본 발명은, 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용되는 디지털 화상 신호 부호화 장치, 디지털 화상 신호 복호 장치, 디지털 화상 신호 부호화 방법 및 디지털 화상 신호 복호 방법에 관한 것이다.

종래로부터, MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식(예컨대, 비특허 문헌 1)에서는, 주로 4 : 2 : 0 포맷이라고 불리는 표준화된 입력 신호 포맷의 사용을 전제로 하여 왔다. 4 : 2 : 0이란, RGB 등의 컬러 동화상 신호를 휘도 성분(Y)과 2개의 색차 성분(Cb, Cr)으로 변환하고, 수평ㆍ수직에서 함께 색차 성분의 샘플수를 휘도 성분의 절반으로 삭감한 포맷이다. 색차 성분은 휘도 성분에 비해서 시인성이 떨어지므로, 종래의 국제 표준 영상 부호화 방식에서는, 이와 같이 부호화를 행하기 전에 색차 성분의 다운샘플을 행함으로써 부호화 대상의 원 래 정보량을 삭감하여 두는 것을 전제로 하고 있었다. 한편, 최근의 비디오 디스플레이의 고해상도화, 고계조화에 따라, 색차 성분을 다운샘플하는 일 없이 휘도 성분과 동일 샘플수 그대로 부호화하는 방식의 검토가 행해지고 있다. 휘도 성분과 색차 성분이 완전히 동일한 샘플수의 포맷은 4 : 4 : 4 포맷이라고 불린다. 종래의 4 : 2 : 0 포맷이 색차 성분의 다운샘플을 전제로 했으므로 Y, Cb, Cr이라는 색공간 정의에만 한정된 것에 대하여, 4 : 4 : 4 포맷에서는 색성분 사이에 샘플비의 구별이 없으므로, Y, Cb, Cr 외에, R, G, B를 직접 사용하거나, 기타 복수의 색공간 정의를 이용하는 것이 가능하다. 4 : 4 : 4 포맷을 대상으로 한 영상 부호화 방식으로서는, 비특허 문헌 2 등이 있다. 동 문헌에서는, 색성분 사이에 잔존하는 상관을 이용하여 다른 색성분 사이에서 예측을 행함으로써 부호화해야할 정보량을 삭감하는 접근법을 제안하고 있다. 그러나, 색성분 사이의 상관의 정도는 영상 콘텐츠의 종류나 색공간에 따라 여러 가지이며, 예측이 부호화 효율상 역효과가 되는 경우도 있을 수 있다. 또한, 복수의 색성분에 걸친 신호 처리를 필요로 하므로, 디지털 시네마 영상(4000×2000 화소) 등 대단히 해상도가 높은 영상 신호의 실시간 처리를 행하는 예에서는 병렬 처리 효율이 나쁘다고 하는 문제가 있다.

(비특허 문헌 1) "Information Technology Coding of Audio-Visual Objects Part 10 : Advanced Video Coding", ISO/IEC 14496-10, 2003

(비특허 문헌 2) Woo-Shik Kim, Dae-Sung Cho, and Hyun Mun Kim, "INTER-PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004.

비특허 문헌 1에 있어서의 MPEG-4 Advanced Video Coding(이하 AVC)의 4 : 2 : 0 포맷을 부호화 대상으로 하는 하이(high) 4 : 2 : 0 프로파일에서는, 휘도 성분 16×16 화소로 이루어지는 매크로 블록 영역에서, 대응하는 색차 성분은 Cb, Cr 모두 각 8×8 화소 블록이 된다. 하이 4 : 2 : 0 프로파일에 있어서의 움직임 보상 예측에서는, 휘도 성분에 대해서만 움직임 보상 예측의 단위가 되는 블록 사이즈 정보와 예측에 이용하는 참조 화상 정보, 각 블록마다의 움직임 벡터 정보를 다중화하고, 색차 성분은 휘도 성분과 같은 정보를 이용하여 움직임 보상 예측을 행하게 되어 있다. 4 : 2 : 0 포맷은, 화상의 구조 정보(텍스쳐 정보)의 대부분이 휘도 성분에 집약되어 있는 것과, 휘도 신호에 비해 색차 성분 쪽이 왜곡의 시인성이 낮고, 영상 재현성에 관한 기여가 작다고 하는 색공간 정의상의 특징이 있어, 상기 하이 4 : 2 : 0 프로파일의 예측ㆍ부호화는 이러한 4 : 2 : 0 포맷의 성질의 전제를 기초로 성립하는 것이다. 그러나, 4 : 4 : 4 포맷에서는 3개의 색성분이 동등하게 텍스쳐 정보를 유지하고 있고, 한 성분에만 의존한 인터 예측 모드(inter prediction mode), 참조 화상 정보 및 움직임 벡터 정보로 움직임 보상 예측이 행해지는 방식은, 화상 신호의 구조 표현에 있어서 각 색성분이 동등하게 기여하는 4 : 4 : 4 포맷에서는 반드시 최적의 예측 방법이라고는 말할 수 없다.

그래서, 본 발명은, 상기 종래 기술에 말했듯이, 4 : 4 : 4 포맷과 같은 색성분 사이에 샘플비의 구별이 없는 동화상 신호를 부호화하는데 있어서, 최적성을 높인 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법을 제공하는 것을 목적으로 한다.

본 발명은, 4 : 4 : 4 포맷의 디지털 동화상 신호를 입력하여 압축 부호화를 행하는 경우에, 입력된 동화상 신호의 3개의 색성분 신호를 공통의 부호화 모드로 부호화하는 처리와, 입력된 동화상 신호의 3개의 색성분 신호를 각각 독립적인 부호화 모드로 부호화 처리를 행하는 처리를 준비하고, 상기 제 1 부호화 처리와 제 2 부호화 처리 중 어느 한쪽을 선택하여 부호화 처리를 행함과 아울러, 어느 쪽을 선택했는지를 나타내는 식별 신호를 압축 데이터에 포함시키도록 한 것이다.

또한, 4 : 4 : 4 포맷의 디지털 동화상 신호의 압축 데이터를 복호하는 경우에, 3개의 색성분 신호를 공통의 부호화 모드로 복호 처리를 행하는 제 1 복호 처리와, 3개의 색성분 신호를 각각 독립적인 부호화 모드로 복호 처리를 행하는 제 2 복호 처리를 준비하고, 압축 데이터로부터, 3개의 색성분 신호가 공통의 부호화 모드로 부호화된 것인지, 독립적인 부호화 모드로 부호화된 것인지를 나타내는 식별 신호를 복호하고, 이 식별 신호에 따라 상기 제 1 복호 처리와 제 2 복호 처리 중 어느 한쪽을 이용하여 복호 처리를 행하도록 한 것이다.

본 발명에 의하면, Y, Cb, Cr 등의 고정된 색공간에 한정하지 않고 다양한 색공간을 이용하는 부호화를 행하는 경우에 있어서, 각 색성분에서 이용하는 인터 예측 모드 정보를 유연하게 선택할 수 있도록 구성할 수 있어, 색공간의 정의가 여러 가지에 미치는 경우에도 최적의 부호화 처리를 행할 수 있다.

(실시예 1)

본 실시예 1에서는, 특정한 색공간에 한정되지 않는 4 : 4 : 4 포맷의 영상 신호를 효율적으로 부호화하는 부호화 장치 및 그 부호화 장치에 의해 생성되는 부호화 비트 스트림을 입력으로 하여 화상 신호를 복원하는 복호 장치에 대하여 말한다.

본 실시예 1에 있어서의 부호화 장치는, RGB, XYZ, YCbCr이라고 하는 3개의 색성분으로 이루어지는 영상 신호를 입력하여 압축 부호화를 행하여 비트 스트림을 출력한다. 도 1에 나타내는 바와 같이, 입력 영상 신호는, 시간 샘플링에 의해 프레임 내지는 필드의 단위로 정의되는 화면 정보(이후, 픽쳐라고 부른다)의 시계열 데이터로서 표현된다. 픽쳐를 시계열로 늘어놓은 데이터 단위를 시퀀스라고 부른다. 시퀀스는, 몇 개의 픽쳐의 그룹(GOP)으로 분할되는 경우가 있다. GOP는, 임의의 GOP의 선두로부터 다른 GOP에 의존하지 않고서 복호를 실행할 수 있는 것을 보증하고, 비트 스트림에 대한 랜덤 액세스를 보증한다고 하는 용도에 이용한다. 픽쳐는 또한 매크로 블록이라고 불리는 정방형 블록으로 분할되고, 매크로 블록의 단위로 예측ㆍ변환ㆍ양자화 처리를 적용하여 영상 압축을 행한다.

또한, 매크로 블록을 복수개 모은 단위를 슬라이스라고 부른다. 슬라이스는, 각각의 슬라이스에서 독립적으로 부호화ㆍ복호를 행할 수 있는 데이터 단위이며, 예컨대, HDTV 혹은 그 이상의 높은 해상도를 갖는 영상 신호를 실시간 처리할 때에, 하나의 픽쳐를 복수의 슬라이스로 분할하여 각 슬라이스를 병렬로 부호화ㆍ복호함으로써 연산 시간을 단축하거나, 비트 스트림을 오류율이 높은 회선에서 전송하는 경우에, 어떤 슬라이스가 오류의 영향으로 파괴되어 복호 화상이 흐트러지더라도 다음 슬라이스로부터 올바른 복호 처리로 복귀한다고 하는 용도에 이용한다. 일반적으로, 슬라이스의 경계에서는, 인접 슬라이스와의 신호의 의존성을 이용한 예측 등이 사용할 수 없게 되므로, 슬라이스의 수가 늘어날수록 부호화 성능은 저하하지만, 병렬 처리의 유연성이나 오류에 대한 내성이 높아진다고 하는 특징이 있다.

매크로 블록의 단위로 예측ㆍ변환ㆍ양자화 처리를 적용하여 영상 압축을 행하기 위해, 비트 스트림으로 다중되는 매크로 블록의 부호화 데이터는, 크게 나누어 2종류의 정보로 이루어진다. 하나는 예측 모드나 움직임 예측 정보, 양자화를 위한 파라미터라고 하는 영상 신호 자체와는 다른 사이드 정보라고 불리는 종류로, 이들을 정리하여 매크로 블록 헤더라고 부른다. 또 하나는 영상 신호 자체의 정보이며, 본 실시예에서는, 부호화되는 영상 신호는 매크로 블록 헤더의 정보에 근거하여 예측ㆍ변환ㆍ양자화를 행한 결과로서 얻어지는 예측 오차 신호의 압축 데이터이며, 변환 계수를 양자화한 형식으로 표현되므로, 이후, 계수 부호화 데이터라고 부른다. 본 실시예 1에 있어서의 매크로 블록 부호화 데이터가 늘어선 모습을 도 2에 나타낸다. 동 도면에 있어서, 매크로 블록 헤더는, 매크로 블록 타입ㆍ서브 매크로 블록 타입ㆍ인트라 예측 모드 등의 부호화ㆍ예측 모드 정보, 참조 화상 식별 번호ㆍ움직임 벡터 등의 움직임 예측 정보, 변환 계수에 대한 양자화 파라미터, 8×8 블록 단위에서의 유효 변환 계수 유무 판정 플래그 등, 계수 부호화 데이터 전까지의 모든 사이드 정보를 포함한다.

본 실시예 1에서는, 3개의 색성분을 공통의 매크로 블록 헤더에 근거하여 부호화할지, 색성분별로 독립적인 매크로 블록 헤더에 근거하여 부호화할지를 선택하면서 부호화를 행하는 부호화 장치와, 그 부호화 장치의 출력으로서 얻어지는 비트 스트림을 입력하고, 3개의 색성분이 공통의 매크로 블록 헤더에 근거하여 부호화되어 있을지, 색성분마다 독립한 매크로 블록 헤더에 근거하여 부호화되어 있을지를, 비트 스트림으로부터 복호하여 추출한 식별 정보에 근거하여 선택하면서 영상의 복호 처리를 행하는 복호 장치에 대하여 설명한다. 본 실시예 1에서는, 특히, 3개의 색성분 신호를 공통의 매크로 블록 헤더로 부호화ㆍ복호할지, 색성분마다 독립적인 매크로 블록 헤더로 부호화ㆍ복호할지를 시퀀스의 단위로 전환하여 부호화ㆍ복호하는 장치 구성ㆍ동작을 구체적인 도면을 바탕으로 설명한다. 이와 같이 부호화 장치ㆍ복호 장치를 구성함으로써, 입력 영상 신호가 정의되는 색공간이나 영상 신호의 통계적 성질에 맞추어 각 색성분을 공통의 예측 파라미터로 부호화하는 경우와, 각 색성분을 독립한 예측 파라미터로 부호화하는 경우를 선택하여 부호화할 수 있으므로, 4 : 4 : 4 포맷의 영상 신호에 대하여 최적의 부호화를 행할 수 있다.

이후에서, 1프레임 내지는 1필드의 3개의 색성분 신호를 공통의 매크로 블록 헤더로 부호화하는 처리를 「공통 부호화 처리」, 1프레임 내지는 1필드의 3개의 색성분 신호를 개별의 독립한 매크로 블록 헤더로 부호화하는 처리를 「독립 부호화 처리」라고 적는다. 마찬가지로, 1프레임 내지는 1필드의 3개의 색성분 신호가 공통의 매크로 블록 헤더로 부호화된 비트 스트림으로부터 화상 데이터를 복호하는 처리를 「공통 복호 처리」, 1프레임 내지는 1필드의 3개의 색성분 신호가 개별의 독립한 매크로 블록 헤더로 부호화된 비트 스트림으로부터 화상 데이터를 복호하는 처리를 「독립 복호 처리」라고 적는다. 공통 부호화 처리에서는, 1프레임 내지는 1필드의 3개의 색성분을 정리하여 하나의 픽쳐로서 정의하고, 3개의 색성분을 정리한 형태의 매크로 블록으로 분할한다(도 3). 동 도면 및 이후의 설명에 있어서, 3개의 색성분을 C0, C1, C2 성분이라고 부른다. 한편, 독립 부호화 처리에서는, 1프레임 내지는 1필드의 입력 영상 신호를 3개의 색성분으로 분리하고, 각각을 픽쳐로서 정의하여, 각 픽쳐를 단일 색성분으로 이루어지는 매크로 블록으로 분할한다(도 4). 다시 말해, 공통 부호화 처리의 대상이 되는 매크로 블록은, C0, C1, C2의 3개의 색성분의 샘플(화소)을 포함하지만, 독립 부호화 처리의 대상이 되는 매크로 블록은, C0 또는 C1 또는 C2 성분 중 어느 하나의 성분의 샘플(화소)만을 포함한다.

도 5에는, 본 실시예 1의 부호화 장치ㆍ복호 장치에 있어서의, 픽쳐 사이의 시간 방향의 움직임 예측 참조 관계를 나타낸다. 이 예에서는, 세로의 굵은 선으로 표시되는 데이터 단위를 픽쳐로 하고, 픽쳐와 액세스 유닛의 관계를 둘러싸인 점선으로 나타내고 있다. 공통 부호화ㆍ복호 처리의 경우, 상술한 바와 같이, 1픽 쳐는 3개의 색성분이 혼재한 영상 신호를 나타내는 데이터로서, 독립 부호화ㆍ복호 처리의 경우, 1픽쳐는 어느 하나의 색성분으로 이루어지는 영상 신호로 한다. 액세스 유닛은, 영상 신호에 대하여 오디오ㆍ음성 정보 등과의 동기 등을 목적으로 하는 타임 스탬프를 부여하는 최소 데이터 단위이며, 공통 부호화ㆍ복호 처리의 경우, 하나의 액세스 유닛에는 1픽쳐분의 데이터를 포함한다. 한편, 독립 부호화ㆍ복호 처리의 경우는 하나의 액세스 유닛에 3개의 픽쳐가 포함된다. 이것은 독립 부호화ㆍ복호 처리의 경우, 3개의 색성분 모든 동일 표시 시각의 픽쳐가 갖추어져 처음으로 1프레임분의 재생 영상 신호를 얻을 수 있기 때문이다. 또, 각 픽쳐의 상부에 부여한 번호는, 픽쳐의 시간 방향의 부호화ㆍ복호 처리 순서(AVC의 frame_num에 상당)를 나타낸다. 도 5에서는, 픽쳐 사이의 화살표는 움직임 예측의 참조 방향을 나타내고 있다. 즉, 독립 부호화ㆍ복호 처리의 경우, 동일 액세스 유닛에 포함되는 픽쳐 사이에서의 움직임 예측 참조 및 다른 색성분 사이에서의 움직임 예측 참조는 행하지 않는 것으로 하고, C0, C1, C2의 각 색성분의 픽쳐를 동일 색성분의 신호로 한정하여 예측 참조하면서 부호화ㆍ복호한다. 이러한 구성으로 함으로써, 본 실시예 1에 있어서의 독립 부호화ㆍ복호 처리의 경우는, 각 색성분의 부호화ㆍ복호를, 다른 색성분의 부호화ㆍ복호 처리에 전혀 의존하는 일 없이 실행할 수 있어, 병렬 처리가 용이해진다.

이하, 공통 부호화 처리에 의한 부호화를 행할지, 독립 부호화 처리에 의한 부호화를 행할지를 나타내는 식별 정보를, 공통 부호화ㆍ독립 부호화 식별 신호(1)라고 부른다.

도 6에, 본 실시예 1의 부호화 장치에서 생성되고, 본 실시예 1의 복호 장치가 입력ㆍ복호 처리의 대상으로 하는 비트 스트림의 구조의 일례를 나타낸다. 동 도면은, 시퀀스로부터 슬라이스 레벨까지의 비트 스트림 구성을 나타낸 것으로, 우선, 시퀀스 레벨의 상위 헤더(AVC의 경우, 시퀀스 파라미터 세트)로, 공통 부호화ㆍ독립 부호화 식별 신호(1)를 다중한다. AUD는, AVC에서 액세스 유닛의 단락을 식별하기 위한 유니크한 NAL 유닛인 Access Unit Delimiter NAL 유닛을 나타낸다. AUD는 액세스 유닛의 선두를 나타내는 정보이며, AVC의 AUD의 데이터 형식에 상관없이, 그 목적에 합치하면 임의의 데이터 형식에 적용 가능하다. 예컨대, MPEG-2 규격에서는 픽쳐 스타트 코드, MPEG-4 규격에서는 VOP 스타트 코드 등이 대응한다.

공통 부호화ㆍ독립 부호화 식별 신호(1)가 「공통 부호화 처리」를 나타내는 경우는, 액세스 유닛에는 1픽쳐분의 부호화 데이터가 포함된다. 이때의 픽쳐는, 전술한 바와 같이 3개의 색성분이 혼재한 1프레임 내지는 1필드분의 영상 신호를 나타내는 데이터이다. 실제의 영상 부호화 데이터는, 도 1의 슬라이스의 단위로 비트 스트림으로 다중된다. 한편, 공통 부호화ㆍ독립 부호화 식별 신호(1)가 「독립 부호화 처리」를 나타내는 경우는, 1픽쳐는, 1프레임 내지는 1필드 중 어느 하나의 색성분의 영상 신호이며, 하나의 액세스 유닛에는 3개의 픽쳐가 포함된다. 이때, 슬라이스는 각 색성분의 픽쳐에 대하여 정의된다.

도 7은 공통 부호화 처리, 독립 부호화 처리 각각의 경우의 슬라이스 데이터의 비트 스트림 구성을 나타낸다. 독립 부호화 처리에 의해 부호화된 비트 스트림에서는, 후술하는 효과를 달성하기 위해, 복호 장치에서 수신한 슬라이스 데이터가 액세스 유닛 내의 어떤 색성분의 픽쳐에 속하는 슬라이스인지를 식별 가능하도록, 슬라이스 데이터의 선두의 헤더 영역에 색성분 식별 플래그(2)(color_channel_idc)를 부여한다. 색성분 식별 플래그(2)는, 그 값이 같은 슬라이스를 그룹화한다. 다시 말해, 색성분 식별 플래그(2)의 값이 다른 슬라이스 사이에서는, 어떠한 부호화ㆍ복호의 의존성(예컨대, 움직임 예측 참조, CABAC의 컨텍스트 모델링ㆍ발생 확률 학습 등)도 갖게 하지 않는 것으로 한다. 이와 같이 규정함으로써, 독립 부호화 처리의 경우의 액세스 유닛 내의 각각의 픽쳐의 독립성이 확보된다. 또한, 각 슬라이스 헤더로 다중되는 frame_num(슬라이스가 속하는 픽쳐의 부호화ㆍ복호 처리 순서)에 대해서는, 1액세스 유닛 내의 모든 색성분 픽쳐에 있어서 동일한 값으로 한다.

도 8에, 본 실시예 1의 부호화 장치의 개략 구성을 나타낸다. 동 도면에 있어서, 공통 부호화 처리는 제 1 픽쳐 부호화부(5)에 있어서 실행되고, 독립 부호화 처리는 제 2 픽쳐 부호화부(7a∼7c)(3개의 색성분 몫을 준비)에 있어서 실행된다.

입력 영상 신호(3)는, 스위치(SW)(4)에 의해 제 1 픽쳐 부호화부(5)나, 색성분 분리부(6) 및 제 2 픽쳐 부호화부(7a∼7c)의 어느 하나에 공급된다. 스위치(4)는, 공통 부호화ㆍ독립 부호화 식별 신호(1)에 의해 구동되고, 입력 영상 신호(3)를 지정된 경로에 공급한다.

공통 부호화ㆍ독립 부호화 식별 신호(1)는, 입력 영상 신호가 4 : 4 : 4 포맷인 경우에 시퀀스 파라미터 세트로 다중되고, 시퀀스의 단위로 공통 부호화 처리와 독립 부호화 처리를 선택하는 신호로 한다. 공통 부호화ㆍ독립 부호화 식별 신 호(1)는, 비트 스트림(11)이 어느 쪽의 처리를 이용하여 생성되었는지를 지정하는 정보로서 비트 스트림(11) 중의 시퀀스 파라미터 세트로 다중한다. 이에 따라, 비트 스트림(11)을 입력으로 하는 복호 장치에서는, 시퀀스 파라미터 세트 중의 공통 부호화ㆍ독립 부호화 식별 신호(1)를 복호하여 그 값을 확인함으로써, 비트 스트림(11)이 공통 부호화 처리를 이용하여 생성된 경우에 공통 복호 처리를 실행하고, 독립 부호화 처리를 이용하여 생성된 경우는 독립 복호 처리를 실행할 수 있다.

공통 부호화ㆍ독립 부호화 식별 신호(1)가 「공통 부호화 처리」를 지시하는 경우는, 제 1 픽쳐 부호화부(5)에 있어서, 입력 영상 신호(3)를 도 3에 나타내는 바와 같이 3개의 색성분의 샘플을 정리한 형식의 매크로 블록으로 분할하고, 그 단위로 부호화 처리가 행해져, 부호화 데이터는 비트 스트림(8)으로서 출력된다. 제 1 픽쳐 부호화부(5)에 있어서의 부호화 처리는 후술한다.

공통 부호화ㆍ독립 부호화 식별 신호(1)가 「독립 부호화 처리」를 지시하는 경우는, 입력 영상 신호(3)는 색성분 분리부(6)에서 C0, C1, C2의 각 색성분의 신호로 분리되어, 각각 대응하는 제 2 픽쳐 부호화부(7a∼7c)에 공급된다. 제 2 픽쳐 부호화부(7a∼7c)에서는, 색성분마다 분리된 신호를 도 4에 나타내는 형식의 매크로 블록으로 분할하고, 그 단위로 부호화 처리가 행해져, 비트 스트림(9a∼9c)으로서 출력된다. 제 2 픽쳐 부호화부(7a∼7c)에서의 부호화 처리는 후술한다.

다중화부(10)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(1)를 시퀀스 파라미터 세트에 부여하여 비트 스트림(11)으로 다중함과 아울러, 공통 부호화ㆍ독립 부호화 식별 신호(1)의 값에 따라, 비트 스트림(8 내지는 9a∼9c) 중 어느 하나를 선택하여 비트 스트림(11)으로 다중한다.

또한, 상세한 것은 후술하지만, 픽쳐 부호화 과정, 특히 양자화ㆍ역양자화 처리의 과정에서 이용하는 양자화 파라미터에 대한 양자화 가중치 부여 계수 정보를 3개의 색성분마다 각각 준비하고(12a∼12c), 이들을 각 픽쳐 부호화부에 입력하여, 색성분마다의 특성에 맞춘 양자화 처리를 행하도록 구성한다. 양자화 가중치 부여 계수(12a∼12c)는 부호화 처리 과정에서 이용한 값과 같은 값을 복호 장치측에서도 사용하므로, 시퀀스 파라미터 세트로 다중하기 위해 다중화부(10)에도 보내진다.

또한, 인트라 온리 부호화 지시 신호(13)를 픽쳐 부호화부(5, 7a∼7c)에 입력하여, 부호화 처리를 제어하도록 구성한다. 인트라 온리 부호화 지시 신호(13)는, 픽쳐 부호화부가 움직임 보상 예측에 의한 시간 방향의 예측 처리를 행할지 여부를 지시하는 신호이며, 동 신호가 「인트라 온리 부호화」인 것을 나타내는 경우는, 입력 영상 신호(3)의 모든 픽쳐에 대하여, 움직임 보상 예측에 의한 시간 방향의 예측을 행하는 일 없이, 화면 내에 닫힌 부호화를 행한다. 또한, 이때 동시에, 픽쳐 부호화부 내부에서 루프 내 디블록킹 필터를 무효로 한다(자세하게는 후술한다). 인트라 온리 부호화 지시 신호(13)가 「인트라 온리 부호화가 아닌」 것을 나타내는 경우는, 입력 영상 신호(3)의 픽쳐에 대하여, 움직임 보상 예측에 의한 시간 방향의 예측도 사용하여, 화면 내ㆍ화면 사이의 상관을 이용한 인터 부호화를 행한다. 인트라 온리 부호화 지시 신호(13)는 다중화부(10)에 있어서, 시퀀스 파라미터 세트에 부여하여 비트 스트림(11)으로 다중한다. 이에 따라, 비트 스트 림(11)을 입력으로 하는 복호 장치에서는, 시퀀스 파라미터 세트 중의 인트라 온리 부호화 지시 신호(13)를 복호하여 그 값을 확인함으로써, 비트 스트림(11)이 인트라 온리 부호화되었는지 여부를 인식할 수 있으므로, 인트라 온리 부호화되어 있는 경우는 루프 내 디블록킹 필터 처리를 필요로 하지 않을 수 있어, 복호 장치의 연산량을 삭감할 수 있다.

AVC의 인트라 부호화 처리에서는, 인터 부호화 처리에 비해 부호량이 2∼10배 정도 필요하게 되므로, 「인트라 온리 부호화」로 부호화되어 있는 데이터는 「인트라 온리 부호화가 아닌」 것에 비해 데이터량이 꽤 커진다.

종래의 복호 장치에서는, 복호 처리를 가능하게 하는 데이터량에 상한을 마련하고, 장치 내부의 동작 스피드나 필요로 하는 메모리량 등을 가능한 한 작게 함으로써, 동작의 안정성을 도모하고 있었다. 그 때문에, 「인트라 온리 부호화」의 경우에는, 마련되어 있는 상한값을 초과한 데이터가 입력될 가능성이 있어, 안정한 동작이 가능할지 여부를 판별할 수 없다고 하는 문제가 발생한다.

그리고 시퀀스 파라미터 세트 중에, 부호화 데이터가 소정량보다 적은지, 혹은 소정량을 초과하고 있는지를 나타내기 위한 플래그를 마련한다. 플래그에 의해 판정 처리를 행하여, 소정량보다 부호화 데이터가 적은 경우에는, 종래의 복호 장치로도 처리가 가능한 것으로 하여 복호 처리를 행하고, 소정량보다 부호화 데이터가 초과하고 있는 경우에는, 종래의 복호 장치로는 안정한 처리가 곤란할 가능성이 있는 것으로 하여, 예컨대, 경고를 발생한다고 하는 처리를 취할 수 있다.

또한, 입력 영상 신호(3)의 화상 사이즈 정보(14)를 픽쳐 부호화부(5, 7a∼ 7c)에 입력하여, 부호화 처리를 제어하도록 구성한다. 화상 사이즈 정보(14)는 입력 영상 신호(3)의 픽쳐 내 매크로 블록수를 나타내는 정보이며, 이 값이 소정의 임계값보다 큰 경우에 슬라이스 중에 포함되는 매크로 블록의 수의 상한값을 정하고, 슬라이스가 그것보다 많은 매크로 블록을 포함하지 않도록 제어한다. 화상 사이즈 정보(14)는 시퀀스 파라미터 세트에 부여하여 비트 스트림(11)으로 다중한다. 이에 따라, 입력 영상 신호(3)의 화면 사이즈가 큰 (즉, 공간 해상도가 높은) 경우에, 부호화 장치ㆍ복호 장치가 함께 병렬 처리 가능한 단위를 특정할 수 있어, 원활한 태스크 할당을 행할 수 있다.

이하, 제 1 및 제 2 픽쳐 부호화부의 동작을 자세히 설명한다.

제 1 픽쳐 부호화부의 동작 개요

제 1 픽쳐 부호화부(5)의 내부 구성을 도 9에 나타낸다. 동 도면에 있어서, 입력 영상 신호(3)는, 4 : 4 : 4 포맷이고, 또한 도 3의 형식의 3개의 색성분을 정리한 매크로 블록의 단위로 부호화되는 것으로 한다. 내부 처리는, 인트라 온리 부호화 지시 신호(13)의 값에 따라 다르다.

(1) 인트라 온리 부호화 지시 신호(13)가 「인트라 온리 부호화가 아닌」 것을 나타내는 경우

예측부(15)에 있어서, 메모리(16)에 저장되는 움직임 보상 예측 참조 화상 데이터 중에서 참조 화상을 선택하고, 그 매크로 블록의 단위로 움직임 보상 예측 처리를 행한다. 메모리(16)에는, 직전 내지는 과거ㆍ미래의 복수 시각에 걸쳐, 3 개의 색성분으로 구성되는 복수의 참조 화상 데이터가 저장되고, 예측부(15)에서는, 이들 중에서 매크로 블록의 단위로 최적의 참조 화상을 선택하여 움직임 예측을 행한다. 메모리(16) 내의 참조 화상 데이터의 배치는, 색성분마다 면순차로 나누어 저장하여도 좋고, 각 색성분의 샘플을 점순차로 저장하더라도 좋다. 움직임 보상 예측을 행하는 블록 사이즈는 7종류 준비되어 있고, 우선 매크로 블록 단위로, 도 10(a)~(d)에 나타내는 바와 같이, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택한다. 또한 8×8이 선택된 경우에는, 각각의 8×8 블록마다, 도 10(e)~(h)에 나타내는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택한다. 제 1 픽쳐 부호화부(5)에서 실행되는 공통 부호화 처리에 있어서는, 3개의 색성분에 대하여 공통의 움직임 보상 예측 블록 사이즈가 선택ㆍ적용된다.

예측부(15)에서는, 도 10의 전부 또는 일부의 블록 사이즈ㆍ서브 블록 사이즈, 및 소정의 탐색 범위의 움직임 벡터 및 이용 가능한 1매 이상의 참조 화상에 대하여 매크로 블록마다 움직임 보상 예측 처리를 실행하여, 움직임 벡터 및 예측에 이용하는 참조 화상 인덱스를 포함하는 예측 오버헤드 정보(17)와 예측 화상(33)을 출력한다. 감산기(18)는 예측 화상(33)과 입력 영상 신호(3)에 의해, 움직임 보상 예측 단위가 되는 블록마다의 예측 차분 신호(19)를 얻는다. 부호화 모드 판정부(20)에서는, 예측부(15)에서 실행한 예측 처리 중에서 선정 처리를 행하고, 선정된 예측 차분 신호(19)와 매크로 블록 타입/서브 매크로 블록 타입(21)을 출력한다. 매크로 블록 타입, 서브 매크로 블록 타입, 참조 화상 인덱스, 움직임 벡터 등의 매크로 블록 헤더 정보는 전부, 3개의 색성분에 대하여 공통의 헤더 정보로서 결정되어, 3개의 색성분의 부호화에 공통으로 사용되고, 비트 스트림(8)으로 다중화된다. 예측 효율의 최적성의 평가에서는, 연산량을 억제할 목적으로, 어떤 소정의 색성분(예컨대, RGB 중의 G 성분, YCbCr 중의 Y 성분 등)에 대한 예측 오차량만을 평가하더라도 좋고, 연산량은 커지지만 최적의 예측 성능을 얻도록 모든 색성분에 대한 예측 오차량을 총합 평가하도록 하더라도 좋다.

마찬가지로, 예측부(15)에서는 인트라 예측도 실행한다. 인트라 예측 실행시는, 신호(17)에는, 인트라 예측 모드 정보가 출력된다.

이후, 특히 인트라 예측, 움직임 보상 예측을 구별하지 않는 경우에는, 신호(17)는 예측 오버헤드 정보라고 부른다. 또, 인트라 예측을 행할 때의 참조 화상 데이터로서는, 디블록킹 필터(22)를 실시하기 전의 국부 복호 화상(23)을 이용한다(도시하고 있지 않지만, 국부 복호 화상(23)은 인트라 예측의 참조 화상 데이터로서 이용하기 위해, 예측부(15) 등에 일시적으로 저장된다). 제 1 픽쳐 부호화부(5)에서 실행되는 공통 부호화 처리에 있어서는, 3개의 색성분에 대하여 공통의 인트라 예측 모드가 선택ㆍ적용된다. 인트라 예측에 대해서도 소정의 색성분만의 예측 오차량을 평가하더라도 좋고, 모든 색성분에 대한 예측 오차량을 총합 평가하도록 하더라도 좋다. 최후로, 매크로 블록 타입을 인트라 예측으로 할지, 인터 예측으로 할지를, 부호화 모드 판정부(20)에 있어서 예측 효율 또는 부호화 효율로 평가하여 선정한다.

변환부(24)는 예측 차분 신호(19)를 변환하여 변환 계수로서 양자화부(25)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 등 복수의 후보 중에서 선택하도록 하더라도 좋다. 변환 블록 사이즈를 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(26)의 값에 반영하고, 동 플래그를 비트 스트림(8)으로 다중화한다. 양자화부(25)는 입력되는 변환 계수를, 양자화 파라미터(27)와 양자화 가중치 부여 계수(12a∼12c)에 근거하여 양자화를 행하고, 결과를 양자화 완료 변환 계수(28)로서 가변 길이 부호화부(29) 및 역양자화부(30)에 출력한다.

양자화부(25)의 처리에 대하여 적는다. 변환부(24)에서 공간 영역으로부터 주파수 영역의 신호로 변환된 변환 계수는, 인간의 시각 특성상 왜곡이 눈에 띄기 쉬운 저주파 영역과, 왜곡을 검지하기 어려운 고주파 영역으로 분리되어 있다. 그래서, 주파수 영역마다 가중치를 부여하여, 저주파 영역은 세밀한 양자화를, 고주파 영역은 거친 양자화를 행함으로써, 인간의 시각 특성에 맞춘 양자화 처리를 실현하는 것이 가능하다. 양자화 가중치 부여 계수(12a∼12c)는, 이 주파수 영역마다 부여하는 가중치 부여의 파라미터이며, 4×4 블록 사이즈의 변환용으로 16개의, 8×8 블록 사이즈의 변환용으로 64개의 파라미터가 사용된다. 전술한 바와 같이 양자화 가중치 부여 계수(12a∼12c)는 시퀀스 파라미터 세트로 다중되지만, 「공통 부호화 처리」를 행하는 경우에는 3개의 색성분에서 같은 양자화 가중치 부여 계수를 사용하므로, 12a, 12b, 12c로 3개 다중할 필요는 없고 하나만 다중하면 충분하다. 양자화부(25)는 3개의 색성분의 변환 계수에 대하여 각각의 양자화 가중치 부여 계수(12a∼12c)를 이용하여 가중치를 부여한 양자화 처리를 행하여, 양자화 완 료 변환 계수(28)를 얻는다.

이들 3개의 색성분몫의 양자화 완료 변환 계수(28)는, 가변 길이 부호화부(29)에서 허프만(Huffman) 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.

또한, 양자화 완료 변환 계수(28)는 역양자화부(30), 역변환부(31)를 지나 국부 복호 예측 차분 신호(32)로 복원되고, 선정된 매크로 블록 타입/서브 매크로 블록 타입(21)과 예측 오버헤드 정보(17)에 근거하여 생성되는 예측 화상(33)과 가산기(34)에서 가산함으로써 국부 복호 화상(23)이 생성된다. 국부 복호 화상(23)은, 디블록킹 필터(22)에서 블록 왜곡 제거 처리를 실시한 후, 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(16)에 저장된다.

가변 길이 부호화부(29)에 입력되는 양자화 완료 변환 계수(28), 매크로 블록 타입/서브 매크로 블록 타입(21), 예측 오버헤드 정보(17), 양자화 파라미터(27)는 소정의 매크로 블록 부호화 데이터의 규칙(syntax)에 따라 배열ㆍ정형되고, 도 3의 형식의 매크로 블록이 하나 내지는 복수가 종합된 슬라이스 데이터의 단위로 패킷화(AVC에서는, NAL 유닛화라고도 부른다)되어 비트 스트림(8)으로서 출력된다.

(2) 인트라 온리 부호화 지시 신호(13)가 「인트라 온리 부호화인」 것을 나타내는 경우

예측부(15)는 (1)에서 말한 인트라 예측 처리만을 실행한다. 인트라 예측 실행시는, 예측 오버헤드 정보(17)에는, 인트라 예측 모드 정보가 출력된다. 또, 인트라 예측을 행할 때의 참조 화상 데이터로서는, 디블록킹 필터(22)를 실시하기 전의 국부 복호 화상(23)을 이용한다(도시하고 있지 않지만, 국부 복호 화상(23)은 인트라 예측의 참조 화상 데이터로서 이용하기 위해, 예측부(15) 등에 일시적으로 저장된다). 제 1 픽쳐 부호화부(5)에서 실행되는 공통 부호화 처리에 있어서는, 3개의 색성분에 대하여 공통의 인트라 예측 모드가 선택ㆍ적용된다. 인트라 예측 모드의 선정은, 부호화 모드 판정부(20)에 있어서 예측 효율 또는 부호화 효율로 평가하여 선정한다.

부호화 모드 판정부(20)는, 선정된 예측 차분 신호(19)를 변환부(24)에 출력한다. 변환부(24)는 입력되는 예측 차분 신호(19)를 변환하여 변환 계수로서 양자화부(25)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 등 복수의 후보 중에서 선택하도록 하더라도 좋다. AVC에서는, 인트라 예측 모드의 피예측 블록을 변환 블록 사이즈와 맞추도록 구성되어 있다. 변환 블록 사이즈를 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(26)의 값에 반영하고, 동 플래그를 비트 스트림(8)으로 다중화한다. 양자화부(25)는 입력되는 변환 계수를, 양자화 파라미터(27)와 양자화 가중치 부여 계수(12a∼12c)에 근거하여 양자화를 행하고, 결과를 양자화 완료 변환 계수(28)로서 가변 길이 부호화부(29)에 출력한다. 처리의 예는 상술한 것과 같다.

3개의 색성분몫의 양자화 완료 변환 계수(28)는, 가변 길이 부호화부(29)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.

또한, 양자화 완료 변환 계수(28)는 역양자화부(30), 역변환부(31)를 지나 국부 복호 예측 차분 신호(32)로 복원되고, 예측 오버헤드 정보(17)에 근거하여 생성되는 예측 화상(33)과 가산기(34)에서 가산함으로써 국부 복호 화상(23)이 생성된다. 인트라 온리 부호화 지시 정보(13)가 「인트라 온리 부호화인」 것을 나타내는 경우는, 움직임 보상 예측을 실행하지 않으므로, 디블록킹 필터(22)는 처리를 실행하지 않고, 참조 화상으로서의 메모리(16)에 대한 기록도 행하지 않는다. 이와 같이 구성함으로써, 메모리 액세스나 디블록킹 필터의 처리에 요하는 연산을 삭감할 수 있다.

가변 길이 부호화부(29)에 입력되는 양자화 완료 변환 계수(28), 매크로 블록 타입/서브 매크로 블록 타입(21)(인트라 모드로 고정), 예측 오버헤드 정보(17), 양자화 파라미터(27)는 소정의 매크로 블록 부호화 데이터의 규칙에 따라 배열ㆍ정형되고, 도 3의 형식의 매크로 블록이 하나 내지는 복수가 종합된 슬라이스 데이터의 단위로 패킷화(AVC에서는, NAL 유닛화라고도 부른다)되어 비트 스트림(8)으로서 출력된다.

또, 인트라 온리 부호화 지시 정보(13)의 값에 상관없이, 화상 사이즈 정보(14)에 의해 슬라이스 중에 포함되는 매크로 블록의 개수에 제약을 부여한다. 화상 사이즈 정보(14)는 가변 길이 부호화부(29)에 입력되고, 가변 길이 부호화부(29)는 화상 사이즈 정보(14)에 근거하여, 슬라이스 내에 포함되는 매크로 블록의 개수의 상한값을 정한다. 가변 길이 부호화부(29)는, 부호화된 매크로 블록의 개수를 카운트하여 두고, 슬라이스 내에 포함되는 매크로 블록의 개수가 상기 상한값에 도달했을 때, 거기서 슬라이스 데이터의 패킷을 닫고, 이후의 매크로 블록은 새로운 슬라이스 데이터로서 패킷화한다.

또한, 본 실시예 1에 있어서의 제 1 픽쳐 부호화부(5)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(1)에 의해 시퀀스 중의 모든 슬라이스 데이터가 C0, C1, C2 혼재 슬라이스(즉, 3개의 색성분의 정보가 혼재하는 슬라이스)인 것이 식별 가능하므로, 슬라이스 데이터에 대하여 색성분 식별 플래그(2)는 부여하지 않는다.

제 2 픽쳐 부호화부의 동작 개요

제 2 픽쳐 부호화부(7a)의 내부 구성을 도 11에 나타낸다. 동 도면에 있어서, 입력 영상 신호(3a)는, 도 4의 형식의 C0 성분의 샘플로 이루어지는 매크로 블록의 단위로 입력되는 것으로 한다. 제 2 픽쳐 부호화부(7b, 7c)에 대해서는, 입력 영상 신호(3a)가 3b(C1 성분), 3c(C2 성분)를 취급하게 될 뿐이고 내부 구성은 완전히 마찬가지이므로, 이하에서는 제 2 픽쳐 부호화부(7a)를 대표예로 하여 제 2 픽쳐 부호화부의 동작 설명을 행한다.

(3) 인트라 온리 부호화 지시 신호(13)가 「인트라 온리 부호화가 아닌」 것을 나타내는 경우

예측부(115)에 있어서, 메모리(116)에 저장되는 움직임 보상 예측 참조 화상 데이터 중에서 참조 화상을 선택하고, 매크로 블록의 단위로 움직임 보상 예측 처리를 행한다. 메모리(116)에는, 직전 내지는 과거ㆍ미래의 복수 시각에 걸쳐, 단일 색성분으로 구성되는 복수매의 참조 화상 데이터를 저장할 수 있고, 예측부(115)에서는, 이들 중에서 매크로 블록의 단위로 최적의 참조 화상을 선택하여 움직임 예측을 행한다. 또, 제 2 픽쳐 부호화부(7a∼7c)는, 각각 대상으로 하는 색성분몫의 참조 화상 데이터만을 사용하고, 다른 색성분의 참조 화상 데이터에는 액세스하지 않는 구성을 취하는 것도 가능하므로, 메모리(116)로서는 3개의 색성분 각각에 메모리를 갖는 구성이 아니라, 하나로 정리한 구성으로 하여도 좋다. 또한, 제 2 픽쳐 부호화부(7a∼7c)에 의해 부호화 처리를 행하는 시퀀스 중에서는, 제 1 픽쳐 부호화부(5)는 동작하지 않으므로, 메모리(116)는 메모리(16)와 공용하도록 구성하더라도 좋다. 움직임 보상 예측을 행하는 블록 사이즈에는 7종류가 준비되어 있고, 우선 매크로 블록 단위로, 도 10(a)~(d)에 나타내는 바와 같이, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택할 수 있다. 또한 8×8이 선택된 경우에는, 각각의 8×8 블록마다, 도 10(e)~(h)에 나타내는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택할 수 있다. 제 2 픽쳐 부호화부(7)에서 실행되는 독립 부호화 처리에 있어서는, C0∼C2 각 성분에 대하여 개별적으로 움직임 보상 예측 블록 사이즈가 선택ㆍ적용된다.

예측부(115)에서는, 도 10의 전부 또는 일부의 블록 사이즈ㆍ서브 블록 사이즈, 및 소정의 탐색 범위의 움직임 벡터 및 이용 가능한 1매 이상의 참조 화상에 대하여 매크로 블록마다 움직임 보상 예측 처리를 실행하고, 움직임 벡터와 예측에 이용하는 참조 화상의 인덱스를 포함하는 예측 오버헤드 정보(117)와 예측 화상(133)을 출력한다. 감산기(118)는 예측 화상(133)과 입력 영상 신호(3a)에 의해, 움직임 보상 예측 단위가 되는 블록마다의 예측 차분 신호(119)를 얻는다. 부호화 모드 판정부(120)에서는, 예측부(115)에서 실행한 예측 처리 중에서 선정 처 리를 행하고, 선정된 예측 차분 신호(119)와 매크로 블록 타입/서브 매크로 블록 타입(121)을 출력한다. 매크로 블록 타입, 서브 매크로 블록 타입, 참조 화상 인덱스, 움직임 벡터 등의 매크로 블록 헤더 정보는 전부, 입력 영상 신호(3a)에 대한 헤더 정보로서 결정되어, 부호화에 사용되고, 비트 스트림(9a)으로 다중화된다. 예측 효율의 최적성의 평가에서는, 부호화 처리 대상이 되는 입력 영상 신호(3a)에 대한 예측 오차량을 평가한다.

마찬가지로, 예측부(115)에서는 인트라 예측도 실행한다. 인트라 예측 실행시는, 예측 오버헤드 정보(117)에는, 인트라 예측 모드 정보가 출력된다.

입력 영상 신호(3)의 각 색성분에 있어서의 인트라 예측 모드의 선택ㆍ적용은, 각 색성분에서 개별적으로 행해진다. 또, 인트라 예측을 행할 때의 참조 화상 데이터로서는, 디블록킹 필터(122)를 실시하기 전의 국부 복호 화상(123)을 이용한다(도시하고 있지 않지만, 국부 복호 화상(123)은 인트라 예측의 참조 화상 데이터로서 이용하기 위해, 예측부(115) 등에 일시적으로 저장된다). 인트라 예측에 대해서도 부호화 처리 대상이 되는 입력 영상 신호(3a)에 대한 예측 오차량을 평가한다. 최후로, 매크로 블록 타입을 인트라 예측으로 할지, 인터 예측으로 할지를 부호화 모드 판정부(120)에 있어서 예측 효율 또는 부호화 효율로 평가하여 선정한다.

변환부(124)는, 예측 차분 신호(119)를 변환하여 변환 계수로서 양자화부(125)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 중 어느 하나로부터 선택하도록 하더라도 좋다. AVC에서는, 인트라 예측 모드 의 피예측 블록을 변환 블록 사이즈와 맞추도록 구성되어 있다. 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(126)의 값에 반영하고, 동 플래그를 비트 스트림(9a)으로 다중화한다. 양자화부(125)는 입력되는 변환 계수를, 양자화 파라미터(127)와 양자화 가중치 부여 계수(12a 또는 12b 또는 12c)에 근거하여 양자화를 행하고, 결과를 양자화 완료 변환 계수(128)로서 가변 길이 부호화부(129)에 출력한다.

다음으로 양자화부(125)의 처리에 대하여 적는다. 변환부(124)에서 공간 영역으로부터 주파수 영역의 신호로 변환된 변환 계수는, 인간의 시각 특성상 왜곡이 눈에 띄기 쉬운 저주파 영역과, 왜곡을 검지하기 어려운 고주파 영역으로 분리되어 있다. 그래서, 주파수 영역마다 가중치를 부여하고, 저주파 영역은 세밀한 양자화를, 고주파 영역은 거친 양자화를 행함으로써, 인간의 시각 특성에 맞춘 양자화 처리를 실현하는 것이 가능하다. 양자화 가중치 부여 계수(12a, 12b, 12c)는, 모두 이 주파수 영역마다 부여하는 가중치 부여의 파라미터이며, 4×4 블록 사이즈의 변환용으로 16개의, 8×8 블록 사이즈의 변환용으로 64개의 파라미터가 사용된다. 전술한 바와 같이 양자화 가중치 부여 계수(12a, 12b, 12c)는 시퀀스 파라미터 세트로 다중되지만, 「독립 부호화 처리」를 행하는 경우에는 3개의 색성분에서 각각 다른 양자화 가중치 부여 계수를 사용하는 것이 가능하므로, 12a, 12b, 12c의 3개를 전부 다중하더라도 좋고, 같은 값을 사용하는 경우에는 그것을 나타내는 정보와 아울러 하나만을 다중하더라도 좋다. 양자화부(125)는 3개의 색성분의 변환 계수에 대하여 각각의 양자화 가중치 부여 계수(12a 또는 12b 또는 12c)를 이용하여 가 중치를 부여한 양자화 처리를 행하여, 양자화 완료 변환 계수(128)를 얻는다.

양자화 완료 변환 계수(128)는, 가변 길이 부호화부(129)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.

또한, 양자화 완료 변환 계수(128)는 역양자화부(130), 역변환부(131)를 지나 국부 복호 예측 차분 신호(132)로 복원되고, 선정된 매크로 블록 타입/서브 매크로 블록 타입(121)과 예측 오버헤드 정보(117)에 근거하여 생성되는 예측 화상(133)과 가산기(134)에서 가산함으로써 국부 복호 화상(123)이 생성된다. 국부 복호 화상(123)은, 디블록킹 필터(122)에서 블록 왜곡 제거 처리를 실시한 후, 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(116)에 저장된다.

가변 길이 부호화부(129)에 입력되는 양자화 완료 변환 계수(128), 매크로 블록 타입/서브 매크로 블록 타입(121), 예측 오버헤드 정보(117), 양자화 파라미터(127)는 소정의 매크로 블록 부호화 데이터의 규칙에 따라 배열ㆍ정형되고, 도 4의 형식의 매크로 블록이 하나 내지는 복수가 종합된 슬라이스 데이터의 단위로 패킷화(AVC에서는, NAL 유닛화라고도 부른다)되어 비트 스트림(9a)으로서 출력된다.

(4) 인트라 온리 부호화 지시 신호(13)가 「인트라 온리 부호화인」 것을 나타내는 경우

예측부(115)는 (3)에서 말한 인트라 예측 처리만을 실행한다. 인트라 예측 실행시는, 예측 오버헤드 정보(117)에는, 인트라 예측 모드 정보가 출력된다. 또, 인트라 예측을 행할 때의 참조 화상 데이터로서는, 디블록킹 필터(122)를 실시하기 전의 국부 복호 화상(123)을 이용한다(도시하고 있지 않지만, 국부 복호 화상(123) 은 인트라 예측의 참조 화상 데이터로서 이용하기 위해, 예측부(115) 등에 일시적으로 저장된다). AVC에서의 인트라 예측은 상술한 바와 같고, 입력 영상 신호(3a)에 대하여 실행되므로, 입력 영상 신호(3)의 각 색성분에 있어서의 인트라 예측 모드의 선택ㆍ적용은 각 색성분에서 개별적으로 행해진다. 인트라 예측 모드의 선정은, 부호화 모드 판정부(120)에 있어서 예측 효율 또는 부호화 효율로 평가하여 선정한다.

부호화 모드 판정부(120)는, 선정된 예측 차분 신호(119)를 변환부(124)에 출력한다. 변환부(124)는 입력되는 예측 차분 신호(119)를 변환하여 변환 계수로서 양자화부(125)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 등 복수의 후보 중에서 선택하도록 하더라도 좋다. AVC에서는, 인트라 예측 모드의 피예측 블록을 변환 블록 사이즈와 맞추도록 구성되어 있다. 변환 블록 사이즈를 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(126)의 값에 반영하고, 동 플래그를 비트 스트림(9a)으로 다중화한다. 양자화부(125)는 입력되는 변환 계수를, 양자화 파라미터(127)와 양자화 가중치 부여 계수(12a)에 근거하여 양자화를 행하고, 결과를 양자화 완료 변환 계수(128)로서 가변 길이 부호화부(129)에 출력한다. 처리의 예는 상술한 바와 같다.

또한, 양자화 완료 변환 계수(128)는, 가변 길이 부호화부(129)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.

양자화 완료 변환 계수(128)는 역양자화부(130), 역변환부(131)를 지나 국부 복호 예측 차분 신호(132)로 복원되고, 예측 오버헤드 정보(117)에 근거하여 생성되는 예측 화상(133)과 가산기(134)에서 가산함으로써 국부 복호 화상(123)이 생성된다. 인트라 온리 부호화 지시 정보(113)가 「인트라 온리 부호화인」 것을 나타내는 경우는, 움직임 보상 예측을 실행하지 않으므로, 디블록킹 필터(122)는 처리를 실행하지 않고, 참조 화상으로서의 메모리(116)에 기록도 행하지 않는다. 이와 같이 구성함으로써, 메모리 액세스나 디블록킹 필터의 처리에 요하는 연산을 삭감할 수 있다.

가변 길이 부호화부(129)에 입력되는 양자화 완료 변환 계수(128), 매크로 블록 타입/서브 매크로 블록 타입(121)(인트라 모드로 고정), 예측 오버헤드 정보(117), 양자화 파라미터(127)는 소정의 매크로 블록 부호화 데이터의 규칙에 따라 배열ㆍ정형되고, 도 4의 형식의 매크로 블록이 하나 내지는 복수가 종합된 슬라이스 데이터의 단위로 패킷화(AVC에서는, NAL 유닛화라고도 부른다)되어 비트 스트림(9a)으로서 출력된다.

본 실시예 1에 있어서의 제 2 픽쳐 부호화부(7a∼7c)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(1)에 의해, 시퀀스 중의 모든 슬라이스 데이터가 단일 색성분 슬라이스(즉, C0 슬라이스 또는 C1 슬라이스 또는 C2 슬라이스)로 부호화되어 있으므로, 슬라이스 데이터 선두에 항상 색성분 식별 플래그(2)를 다중화하고, 복호 장치측에서 어떤 슬라이스가 액세스 유닛 내의 어떤 픽쳐 데이터에 해당하는지를 식별할 수 있도록 한다. 예컨대, 제 2 픽쳐 부호화부(7a)에서는 색성분 식별 플래그(2)의 값을 0, 제 2 픽쳐 부호화부(7b)에서는 색성분 식별 플래그(2)의 값을 1, 제 2 픽쳐 부호화부(7c)에서는 색성분 식별 플래그(2)의 값을 2라고 설정하여 슬라이스 데이터의 선두에 부여한다. 이에 따라, 비트 스트림(9a∼9c)을 시리얼로 비트 스트림(11)으로 다중하더라도, 그 중 어떤 슬라이스가 C0, C1, C2 성분의 어느 쪽의 부호화 데이터인지를 용이하게 식별 가능해진다. 다시 말해, 제 2 픽쳐 부호화부(7a∼7c)는, 각각의 비트 스트림 출력을 1화면분 모으는 일 없이, 1슬라이스분의 데이터가 쌓인 시점에서 언제나 송출할 수 있다.

또, 인트라 온리 부호화 지시 정보(13)의 값에 상관없이, 화상 사이즈 정보(14)에 의해 슬라이스 중에 포함되는 매크로 블록의 개수에 제약을 부여한다. 화상 사이즈 정보(14)는 가변 길이 부호화부(129)에 입력되고, 가변 길이 부호화부(129)는 화상 사이즈 정보(14)에 근거하여, 슬라이스 내에 포함되는 매크로 블록의 개수의 상한값을 정한다. 가변 길이 부호화부(129)는, 부호화된 매크로 블록의 개수를 카운트하여 두고, 슬라이스 내에 포함되는 매크로 블록의 개수가 상기 상한값에 도달했을 때, 거기서 슬라이스 데이터의 패킷을 닫고, 이후의 매크로 블록은 새로운 슬라이스 데이터로서 패킷화한다. 또, 화상 사이즈 정보(14)는 4 : 4 : 4 포맷의 경우는 C0, C1, C2 성분으로 같은 값이므로, 시퀀스 파라미터 세트 중에 하나만 다중하여 두면 된다.

또한, 제 1 픽쳐 부호화부(5)와 제 2 픽쳐 부호화부(7a∼7c)는, 매크로 블록 헤더 정보를 3성분 공통의 정보로서 취급하는지, 단일 색성분의 정보로서 취급하는지의 차이와, 슬라이스 데이터의 비트 스트림 구성이 다를 뿐이다. 따라서, 도 9의 변환부(24), 역변환부(31), 양자화부(25), 역양자화부(30), 디블록킹 필터(22) 는, 도 11의 변환부(124), 역변환부(131), 양자화부(125), 역양자화부(130), 디블록킹 필터(122)를 각각 3성분몫 반복하는 연산으로 실현할 수 있으므로, 제 1 픽쳐 부호화부(5)와 제 2 픽쳐 부호화부(7a∼7c)의 내부 구성의 일부를 공통의 기능 블록으로 실현할 수도 있다. 따라서, 도 8과 같은 완전히 독립적인 부호화 처리부로서 뿐만 아니라, 도 9, 도 11의 구성 요소를 적절히 조합하여, 예컨대, 같은 회로를 복수회 반복하여 동작시킨다고 하는 다양한 부호화 장치의 실장을 실현할 수 있다. 또한, 상술한 바와 같이, 제 1 픽쳐 부호화부(5)에 있어서의 메모리(16)의 배치를 면순차로 갖기로 하면, 참조 화상 저장 메모리를 제 1 픽쳐 부호화부(5)와 제 2 픽쳐 부호화부(7a∼7c)에서 공유할 수 있다.

도 12에, 본 실시예 1의 복호 장치의 개략 구성을 나타낸다. 동 도면에 있어서, 공통 복호 처리는 제 1 픽쳐 복호부(302)에 있어서 실행되고, 독립 복호 처리는 색성분 판정부(303)와 제 2 픽쳐 복호부(304)(3개의 색성분몫을 준비)에 있어서 실행된다.

비트 스트림(11)은, 상위 헤더 해석부(300)에서 NAL 유닛 단위로 분할되고, 시퀀스 파라미터 세트나 픽쳐 파라미터 세트 등의 상위 헤더 정보는 복호하여 제 1 픽쳐 복호부(302), 색성분 판정부(303), 제 2 픽쳐 복호부(304)가 참조 가능한 상위 헤더 메모리(305)에 저장한다. 시퀀스 단위로 다중되는 공통 부호화ㆍ독립 부호화 식별 신호(1), 양자화 가중치 부여 계수(12a∼12c), 인트라 온리 부호화 지시 정보(13), 화상 사이즈 정보(14)는, 시퀀스 파라미터 세트의 일부로서 상위 헤더 메모리(305)에 유지된다.

복호된 공통 부호화ㆍ독립 부호화 식별 신호(1)는 스위치(SW)(301)에 공급되고, 스위치(301)는 공통 부호화ㆍ독립 부호화 식별 신호(1)가 「공통 부호 처리되어 있는」 것을 나타내면, 당해 시퀀스 중의 슬라이스 NAL 유닛을 전부 비트 스트림(8)으로서 제 1 픽쳐 복호부(302)에 공급하고, 공통 부호화ㆍ독립 부호화 식별 신호(1)가 「독립 부호화 처리되어 있는」 것을 나타내면, 당해 시퀀스 중의 슬라이스 NAL 유닛을 전부 색성분 판정부(303)에 공급한다. 제 1 및 제 2 픽쳐 복호부의 상세한 동작은 후술한다.

색성분 판정부(303)는, 입력되는 슬라이스 NAL 유닛 중에서 도 7에 나타낸 색성분 식별 플래그(2)의 값을 해석하고, 슬라이스 NAL 유닛이 현재의 액세스 유닛 내에서 어느 쪽의 색성분 픽쳐에 상당하는지를 식별하여, 제 2 픽쳐 복호부(304a∼304c) 중 해당하는 복호부에 비트 스트림(9a∼9c)으로서 분배 공급한다. 이러한 복호 장치의 구성에 의해, 액세스 유닛 내에서 색성분마다 슬라이스가 인터리브되어 부호화된 비트 스트림을 수신하더라도, 어떤 슬라이스가 어떤 색성분 픽쳐에 속하는지를 용이하게 판별하여 정확하게 복호할 수 있는 효과가 있다.

제 1 픽쳐 복호부의 동작 개요

제 1 픽쳐 복호부(302)의 내부 구성을 도 13에 나타낸다. 제 1 픽쳐 복호부(302)는, 예컨대, 도 8의 부호화 장치로부터 출력되는 비트 스트림(11)을, C0, C1, C2의 3개의 색성분 혼재 슬라이스로 구성되는 비트 스트림(8)의 형식으로 수신하여, 도 3에 나타내는 3개의 색성분의 샘플로 이루어지는 매크로 블록을 단위로 하여 복호 처리를 행하여, 출력 영상 프레임을 복원한다.

가변 길이 복호부(310)는 비트 스트림(8)을 입력으로 하여, 소정의 규칙(syntax)에 따라 비트 스트림(8)을 해독하여, 3성분몫의 양자화 완료 변환 계수(28), 및 3성분에서 공통으로 이용되는 매크로 블록 헤더 정보(매크로 블록 타입/서브 매크로 블록 타입(21), 예측 오버헤드 정보(17), 변환 블록 사이즈 지정 플래그(26), 양자화 파라미터(27))를 비트 스트림(8)으로부터 추출한다.

또한, 양자화 완료 변환 계수(28)는 양자화 파라미터(27)와 함께, 제 1 픽쳐 부호화부(5)와 같은 처리를 행하는 역양자화부(30)에 입력되어, 역양자화 처리가 행해진다. 그때, 각 색성분에서 이용하는 양자화 가중치 부여 계수(12a∼12c)를 상위 헤더 메모리(305)로부터 참조하여 사용한다. 또 3개의 양자화 가중치 부여 계수(12a∼12c)에서 같은 값이 사용되는 경우에는, 복호기 내부에서는 반드시 3개분의 데이터로서 가질 필요는 없고, 1개의 데이터를 공통으로 사용하는 것도 가능하다. 계속하여 그 출력이 제 1 픽쳐 부호화부(5)와 같은 처리를 행하는 역변환부(31)에 입력되어, 국부 복호 예측 차분 신호(32)로 복원된다(변환 블록 사이즈 지정 플래그(26)가 비트 스트림(8) 중에 존재하면, 그것을 역양자화, 역변환 처리 과정에서 참조한다). 한편, 예측부(311)는, 제 1 픽쳐 부호화부(5) 중의 예측부(15) 중, 예측 오버헤드 정보(17)를 참조하여 예측 화상(33)을 생성하는 처리만이 포함되고, 예측부(311)에 대하여 매크로 블록 타입/서브 매크로 블록 타입(21), 예측 오버헤드 정보(17)가 입력되어, 3성분몫의 예측 화상(33)을 얻는다.

매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 예측 오버헤드 정 보(17)로부터 인트라 예측 모드 정보에 따라 3성분몫의 예측 화상(33)을 얻고, 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(17)로부터 움직임 벡터, 참조 화상 인덱스에 따라 3성분몫의 예측 화상(33)을 얻는다. 국부 복호 예측 차분 신호(32)와 예측 화상(33)은 가산기(34)에 의해 가산되어, 3성분몫의 잠정 복호 화상(323)을 얻는다. 잠정 복호 화상(323)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해, 제 1 픽쳐 부호화부(5)와 같은 처리를 행하는 디블록킹 필터(22)에서 3성분몫의 잠정 복호 화상 샘플에 대하여 블록 왜곡 제거 처리를 실시한 후, 복호 화상(313)으로서 출력됨과 아울러, 메모리(312)에 저장된다. 메모리(312)에는, 복수 시각에 걸친, 3개의 색성분으로 구성되는 복수매의 참조 화상 데이터가 저장되고, 예측부(311)에서는, 이들 중에서 매크로 블록의 단위로 비트 스트림(8)으로부터 추출한 참조 화상 인덱스로 표시되는 참조 화상을 선택하여 예측 화상 생성을 행한다. 메모리(312) 내의 참조 화상 데이터의 배치는, 색성분마다 면순차로 나누어 저장하더라도 좋고, 각 색성분의 샘플을 점순차로 저장하더라도 좋다. 복호 화상(313)은 3개의 색성분을 포함하고 있는 컬러 영상 프레임이다.

또한, 제 1 픽쳐 복호부(302)는, 상위 헤더 메모리(305)에 저장되는 인트라 온리 부호화 지시 정보(13)가 「인트라 온리 부호화인」 것을 나타내는 경우는, 움직임 보상 예측 처리를 필요로 하지 않으므로 참조 화상이 불필요해지므로, 디블록킹 필터(22)에 있어서의 처리를 스킵하고, 참조 화상으로서의 메모리(312)에 대한 기록을 행하지 않는 구성을 취하는 것도 가능하다. 이와 같이 구성함으로써, 메모 리 액세스나 디블록킹 필터의 처리에 요하는 연산을 삭감하는 것이 가능해진다. 단, 가령 「인트라 온리 부호화」이더라도, 복호 화상을 표시하기 위한 후처리로서 디블록킹 필터 또는 유사한 후처리 필터를 행하는 것은 가능하다.

제 2 픽쳐 복호부의 동작 개요

제 2 픽쳐 복호부(304)의 내부 구성을 도 14에 나타낸다. 제 2 픽쳐 복호부(304)는, 예컨대, 도 8의 부호화 장치로부터 출력되는 비트 스트림(11)이, 색성분 판정부(303)에서 할당된 CO 내지는, C1 내지는, C2 슬라이스 NAL 유닛으로 구성되는 비트 스트림(9a∼9c) 중 어느 하나를 수신하여, 도 4에 나타내는 단일 색성분의 샘플로 이루어지는 매크로 블록을 단위로 하여 복호 처리를 행하고, 출력 영상 프레임을 복원한다.

가변 길이 복호부(410)는 비트 스트림(9)을 입력으로 하여, 소정의 규칙(syntax)에 따라 비트 스트림(9)을 해독하고, 단일 색성분의 양자화 완료 변환 계수(128), 및 단일 색성분에 적용하는 매크로 블록 헤더 정보(매크로 블록 타입/서브 매크로 블록 타입(121), 예측 오버헤드 정보(117), 변환 블록 사이즈 지정 플래그(126), 양자화 파라미터(127))를 추출한다. 양자화 완료 변환 계수(128)는 양자화 파라미터(127)와 함께 제 2 픽쳐 부호화부(7)와 같은 처리를 행하는 역양자화부(130)에 입력되어, 역양자화 처리가 행해진다. 그때에 이용하는 양자화 가중치 부여 계수는, 가변 길이 복호부(410)에서 복호한 색성분 식별 플래그(2)에 근거하여, 상위 헤더 메모리(305) 중의 양자화 가중치 부여 계수(12a∼12c) 중에서 당해 색성분에 대응하는 것 하나를 선택하여 참조한다. 계속해서 그 출력이 제 2 픽쳐 부호화부(7)와 같은 처리를 행하는 역변환부(131)에 입력되고, 국부 복호 예측 차분 신호(132)로 복원된다(변환 블록 사이즈 지정 플래그(126)가 비트 스트림(9) 중에 존재하면, 그것을 역양자화, 역직교 변환 처리 과정에서 참조한다).

한편, 예측부(411)는, 제 2 픽쳐 부호화부(7) 중의 예측부(115) 중, 예측 오버헤드 정보(117)를 참조하여 예측 화상(133)을 생성하는 처리만이 포함되고, 예측부(411)에 대하여 매크로 블록 타입/서브 매크로 블록 타입(121), 예측 오버헤드 정보(117)가 입력되어, 단일 색성분의 예측 화상(133)을 얻는다. 매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(117)로부터 인트라 예측 모드 정보에 따라 단일 색성분의 예측 화상(133)을 얻고, 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(117)로부터 움직임 벡터, 참조 화상 인덱스에 따라 단일 색성분의 예측 화상(133)을 얻는다. 국부 복호 예측 차분 신호(132)와 예측 화상(133)은 가산기(134)에 의해 가산되어, 단일 색성분 매크로 블록의 잠정 복호 화상(423)을 얻는다. 잠정 복호 화상(423)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해, 제 2 픽쳐 부호화부(7)와 같은 처리를 행하는 디블록킹 필터(122)에서 단일 색성분의 잠정 복호 화상 샘플에 대하여 블록 왜곡 제거 처리를 실시한 후, 복호 화상(413)으로서 출력됨과 아울러, 메모리(412)에 저장된다. 복호 화상(413)은 단일 색성분의 샘플만을 포함하고, 도 5에 나타내는 바와 같이, 다른 색성분용 제 2 픽쳐 복호부(304)의 각각의 출력을 묶음으로써, 컬러 영상 프레임으로서 구성된다.

또한, 제 2 픽쳐 복호부(304)는, 상위 헤더 메모리(305)에 저장되는 인트라 온리 부호화 지시 정보(113)가 「인트라 온리 부호화인」 것을 나타내는 경우는, 움직임 보상 예측 처리를 필요로 하지 않으므로 참조 화상이 불필요해지므로, 디블록킹 필터(122)에 있어서의 처리를 스킵하고, 참조 화상으로서의 메모리(412)에 대한 기록을 행하지 않는 구성을 취하는 것도 가능하다. 이와 같이 구성함으로써, 메모리 액세스나 디블록킹 필터의 처리에 요하는 연산을 삭감하는 것이 가능해진다. 단, 가령 「인트라 온리 부호화」이더라도, 복호 화상을 표시하기 위한 후처리로서 디블록킹 필터 또는 유사한 후처리 필터를 행하는 것은 가능하다.

이상으로부터 분명하듯이, 제 1 픽쳐 복호부(302)와 제 2 픽쳐 복호부(304)는, 매크로 블록 헤더 정보를 3성분 공통의 정보로서 취급하는지, 단일 색성분의 정보로서 취급하는지의 차이와, 슬라이스 데이터의 비트 스트림 구성이 다를 뿐이므로, 도 13이나 도 14에 있어서의 예측부, 역변환부, 역양자화부 등의 기본적인 복호 처리 블록은 제 1 픽쳐 복호부(302)와 제 2 픽쳐 복호부(304)에서 공통의 기능 블록으로 실현할 수 있다. 따라서, 도 12와 같은 완전히 독립적인 부호화 처리부로서 뿐만 아니라, 도 13이나 도 14의 기본 구성 요소를 적절히 조합하여 다양한 복호 장치의 실장을 실현할 수 있다. 또한, 제 1 픽쳐 복호부(302)에 있어서의 메모리(312)의 배치를 면순차로 갖기로 하면, 메모리(312), 메모리(412)의 구성을 제 1 픽쳐 복호부(302)와 제 2 픽쳐 복호부(304)에서 공통으로 할 수 있다.

상기 실시예의 제 1 픽쳐 복호부 및 제 2 픽쳐 복호부는, 부호화 장치가 출력하는 비트 스트림(11)을 입력으로 하여 설명했지만, 부호화 장치가 출력하는 비 트 스트림에 한정되는 것이 아니라, 하드디스크나 DVD와 같은 축적 미디어로부터 판독된 비트 스트림을 입력으로 하여도 좋고, 서버로부터 판독되어 네트워크 경유로 송신되어 오는 비트 스트림을 입력으로 하여도 좋다.

또, 상기 실시예의 부호화 장치ㆍ복호 장치에 있어서, 독립 부호화 처리의 경우에는, 도 15에 나타내는 바와 같이, 3개의 색성분의 픽쳐 데이터를 순서대로 배치하여, 한개의 픽쳐 데이터로서 취급하더라도 동일한 효과를 얻을 수 있다. 이때에는, 수평 방향 H 화소, 수직 방향 V 라인인 컬러 영상 신호에 대하여, 수직 방향으로 3개의 데이터를 연결하고, 화상 사이즈 정보(14)를 수평 방향 H 화소, 수직 방향 V×3 라인으로 하여, 단일 색성분 화소 배열 상당으로 하는 것이다. 또, 본 실시예 1의 부호화 장치ㆍ복호 장치에 있어서, 각 색성분의 신호를 각각 독립된 픽쳐로서 취급할 수 있도록 하기 위해, 각 색성분의 경계(도 15의 굵은선 점선부)에 있어서의 부호화ㆍ복호 처리에 있어서 색성분 사이의 의존성을 제거한다. 의존성 제거의 예로서, 이하와 같은 조건을 들 수 있다.

ㆍ부호화시는, 각 색성분의 경계에 위치하는 매크로 블록에서는, 그 움직임 벡터 탐색에 있어서, 인접하는 다른 색성분의 화소를 사용하지 않고, 화면 경계의 경우의 처리와 마찬가지로, 자기 색성분의 끝점 화소를 확장하여 화면 밖의 탐색을 행하도록 한다. 복호시는, 색성분의 경계에 위치하는 매크로 블록에서는, 움직임 벡터가 자기 색성분의 화상 영역을 일탈하는 경우(화면 밖의 탐색이 행해지고 있는 경우), 다른 색의 화소 신호를 이용하는 것이 아니고, 화면 경계로 간주해 자기 색성분의 끝점 화소를 확장하여 예측 화상 생성을 행하도록 한다.

ㆍ각 색성분의 경계에 위치하는 블록 사이에 대하여 디블록킹 필터 처리는 행하지 않는다.

ㆍ각 색성분의 매크로 블록의 부호화ㆍ복호 처리로, 가변 길이 부호화ㆍ가변 길이 복호의 처리에 학습형 산술 부호화를 이용하는 경우, 확률 모델을 색성분마다 개별적으로 준비하고, 학습 프로세스를 색성분마다 독립적으로 실시한다.

이들의 조건을 부과시킴으로써, 각각의 색성분의 신호의 독립성을 얻을 수 있어, 제 1, 2, 3 픽쳐 부호화부, 픽쳐 복호부가 각각 독립적으로 처리를 실행하는 것이 가능해진다.

또한, 슬라이스는, 각 색성분의 경계에 걸쳐 정의되는 것을 금지하여, 1슬라이스 내에 복수의 서로 다른 색성분의 부호화 데이터가 포함되지 않도록 함과 아울러, 각 색성분의 선두 매크로 블록 데이터는, 반드시 슬라이스 데이터의 선두 매크로 블록이 되도록 제약을 부과한다.

또한, 슬라이스 데이터가 어떤 색성분에 속하는지를 규정하기 위해, 상기 실시예와 같이 color_channel_idc를 정의하여 슬라이스 데이터의 선두 영역에 부여함으로써 명시적으로 슬라이스가 속하는 색성분을 지정하도록 구성하더라도 좋고, color_channe1_idc를 사용하지 않고, 각 슬라이스 데이터의 선두 매크로 블록 어드레스와, 화상 사이즈 정보(14)를 사용하여, 당해 슬라이스 데이터가 어떤 색성분에 속하는지를 식별하도록 구성하더라도 좋다. 예컨대, 수평 화소수 W=1920, 수직 화소수 V=1080인 경우, C0 성분, C1 성분 C2 성분 각각의 선두 매크로 블록 어드레스를 0, 8160, 16320으로 하여, 매크로 블록 어드레스가 0-8159인 매크로 블록은 C0 성분, 매크로 블록 어드레스가 8160-16319인 매크로 블록은 C1 성분, 매크로 블록 어드레스가 16320-24479인 매크로 블록은 C2 성분으로 할당한다.

이러한 구성으로 함으로써, 공통 부호화 처리ㆍ독립 부호화 처리의 픽쳐ㆍ액세스 유닛 구조의 공통화를 도모할 수 있어, 랜덤 액세스나 편집 작업 등을 효율화할 수 있다.

도 1은 시퀀스, GOP, 픽쳐, 슬라이스, 매크로 블록에 의해 구성되는 영상 신호의 계층 구조를 나타내는 설명도,

도 2는 매크로 블록 부호화 데이터의 구성을 나타내는 설명도,

도 3은 「공통 부호화 처리」시에 매크로 블록을 구성하는 3개의 색신호 성분을 나타내는 설명도,

도 4는 「독립 부호화 처리」시에 매크로 블록을 구성하는 3개의 색신호 성분을 나타내는 설명도,

도 5는 「공통 부호화」ㆍ「독립 부호화」에 있어서의 픽쳐 사이의 시간 방향의 움직임 예측 참조 관계를 나타내는 설명도,

도 6은 실시예 1에 있어서의 비트 스트림의 구성예를 나타내는 설명도,

도 7은 실시예 1에 있어서의 슬라이스 데이터의 비트 스트림의 구성예를 나타내는 설명도,

도 8은 실시예 1에 있어서의 부호화 장치의 개략 구성도,

도 9는 제 1 픽쳐 부호화부(5)의 내부 구성도,

도 10은 움직임 보상 예측을 행하는 7종류의 블록 사이즈를 나타내는 설명도,

도 11은 제 2 픽쳐 부호화부(7)의 내부 구성도,

도 12는 실시예 1에 있어서의 복호 장치의 개략 구성도,

도 13은 제 1 픽쳐 복호부(302)의 내부 구성도,

도 14는 제 2 픽쳐 복호부(304)의 내부 구성도,

도 15는 3개의 색성분의 픽쳐 데이터의 배치예를 나타내는 설명도이다.

도면의 주요 부분에 대한 부호의 설명

1 : 공통 부호화ㆍ독립 부호화 식별 신호 2 : 색성분 식별 플래그

3, 3a∼3c : 입력 영상 신호 4 : 스위치(SW)

5 : 제 1 픽쳐 부호화부 6 : 색성분 분리부

7a∼7c : 제 2 픽쳐 부호화부

8 : 제 1 픽쳐 부호화부가 출력하는 비트 스트림

9a∼9c : 제 2 픽쳐 부호화부(7a∼7c)가 출력하는 비트 스트림

10 : 다중화부 11 : 비트 스트림

12a∼12c : 양자화 가중치 부여 계수

13 : 인트라 온리 부호화 지시 신호 14 : 화상 사이즈 정보

15, 115 : 예측부 16, 116 : 메모리

17, 117 : 예측 오버헤드 정보(참조 화상 인덱스와 움직임 벡터 정보, 또는 인트라 예측 모드 정보)

18, 118 : 감산기 19, 119 : 예측 차분 신호

20, 120 : 부호화 모드 판정부

21, 121 : 매크로 블록 타입/서브 매크로 블록 타입

22, 122 : 디블록킹 필터 23, 123 : 국부 복호 화상

24, 124 : 변환부 25, 125 : 양자화부

26, 126 : 변환 블록 사이즈 지정 플래그 27, 127 : 양자화 파라미터

28, 128 : 양자화 완료 변환 계수 29, 129 : 가변 길이 부호화부

30, 130 : 역양자화부 31, 131 : 역변환부

32, 132 : 국부 복호 예측 차분 신호 33, 133 : 예측 화상

34, 134 : 가산기 300 : 상위 헤더 해석부

301 : 스위치(SW) 302 : 제 1 픽쳐 복호부

303 : 색성분 판정부 304a∼304c : 제 2 픽쳐 복호부

305 : 상위 헤더 메모리 311, 411 : 예측부

312, 412 : 메모리 313, 413 : 복호 화상

323, 423 : 잠정 복호 화상

Claims (18)

1. 4 : 4 : 4 포맷의 컬러 화상을 압축 부호화하여 생성된 비트 스트림을 입력으로 하여, 컬러 화상 신호를 복호하는 화상 복호 장치에 있어서,

   상기 비트 스트림으로부터, 각 색성분의 신호가 독립적으로 부호화되어 있는지 여부를 나타내는 식별 정보, 각 색성분의 역양자화에 이용하는 양자화 매트릭스 정보를 복호함과 아울러, 그 식별 정보가, 각 색성분의 신호가 독립적으로 부호화되어 있는 것을 나타내는 경우는, 슬라이스 헤더로부터, 해당 슬라이스에 포함되는 부호화 데이터가 어느 색성분의 부호화 데이터인지를 식별하기 위한 색성분 식별 정보를 복호하고, 그 색성분 식별 정보에 근거하여 상기 슬라이스의 복호 처리에 사용하는 양자화 매트릭스를 특정하는 복호부를 구비하는 것을 특징으로 하는 화상 복호 장치.
2. 4 : 4 : 4 포맷의 디지털 동화상 신호의 압축 데이터를 복호하여 화상 신호를 얻는 화상 복호 장치에 있어서,

   압축 데이터로부터, 3개의 색성분 신호가 공통의 부호화 모드로 부호화된 것인지, 독립적인 부호화 모드로 부호화된 것인지를 나타내는 식별 신호를 복호하는 상위 헤더 해석부와,

   상기 식별 신호에 따라, 3개의 색성분 신호를 각각 독립적인 부호화 모드로 복호 처리를 행하는 경우는 각각 독립적인 양자화 매트릭스를 사용한 역양자화 처리를 수반하는 복호 처리를 행함과 아울러, 각각 독립적인 양자화 매트릭스를 사용한 역양자화 처리를 행하는 경우에는, 압축 데이터에 포함되어 있는 색성분 식별 플래그를 이용하여 3개의 색성분 중 어떤 색성분인 것인지를 판정함과 아울러, 상기 색성분 식별 플래그에 근거하여 정해지는 양자화 매트릭스를 이용하여 역양자화 처리를 행하는 픽쳐 복호부

   를 구비하는 것을 특징으로 하는 화상 복호 장치.
3. 4 : 4 : 4 포맷의 디지털 동화상 신호의 압축 데이터를 복호하여 화상 신호를 얻는 화상 복호 장치에 있어서,

   압축 데이터로부터, 3개의 색성분 신호가 공통의 부호화 모드로 부호화된 것인지, 독립적인 부호화 모드로 부호화된 것인지를 나타내는 식별 신호를 복호하는 상위 헤더 해석부와,

   상기 식별 신호에 따라, 3개의 색성분 신호를 각각 독립적인 부호화 모드로 복호 처리를 행하는 경우는 각각 독립적인 양자화 매트릭스를 사용한 역양자화 처리를 수반하는 복호 처리를 행함과 아울러, 각각 독립적인 양자화 매트릭스를 사용한 역양자화 처리를 행하는 경우에는, 압축 데이터에 포함되어 있는 색성분 식별 플래그를 이용하여 3개의 색성분 중 어떤 색성분인 것인지를 판정함과 아울러, 상기 색성분 식별 플래그에 근거하여 정해지는 참조 화상을 이용하여 움직임 보상 예측을 행하는 픽쳐 복호부

   를 구비하는 것을 특징으로 하는 화상 복호 장치.
4. 4 : 4 : 4 포맷의 컬러 화상을 압축 부호화하여 생성된 비트 스트림을 입력으로 하여, 컬러 화상 신호를 복호하는 화상 복호 방법에 있어서,

   상기 비트 스트림으로부터, 각 색성분의 신호가 독립적으로 부호화되어 있는지 여부를 나타내는 식별 정보, 각 색성분의 역양자화에 이용하는 양자화 매트릭스 정보를 복호함과 아울러, 그 식별 정보가, 각 색성분의 신호가 독립적으로 부호화되어 있는 것을 나타내는 경우는, 슬라이스 헤더로부터, 해당 슬라이스에 포함되는 부호화 데이터가 어느 색성분의 부호화 데이터인지를 식별하기 위한 색성분 식별 정보를 복호하고, 그 색성분 식별 정보에 근거하여 상기 슬라이스의 복호 처리에 사용하는 양자화 매트릭스를 특정하는 복호 단계를 구비하는 것을 특징으로 하는 화상 복호 방법.
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제

Images