KR20100074276A - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 - Google Patents

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 Download PDF

Info

Publication number
KR20100074276A
KR20100074276A KR1020107010565A KR20107010565A KR20100074276A KR 20100074276 A KR20100074276 A KR 20100074276A KR 1020107010565 A KR1020107010565 A KR 1020107010565A KR 20107010565 A KR20107010565 A KR 20107010565A KR 20100074276 A KR20100074276 A KR 20100074276A
Authority
KR
South Korea
Prior art keywords
signal
region
image
decoding
average value
Prior art date
Application number
KR1020107010565A
Other languages
English (en)
Inventor
šœ이치 세키구치
슈우이치 야마기시
요시미 모리야
요시히사 야마다
고타로 아사이
도쿠미치 무라카미
유이치 이데하라
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20100074276A publication Critical patent/KR20100074276A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

부호화 대상으로 되는 4:4:4 포맷의 영상 신호의 국소적 성질에 따라서 신호 상관을 보다 양호하게 제거하여 효율적인 정보 압축을 행하는 방법 등을 제공한다. 제 1 영역에 속하는 각 색성분의 신호에 대해, 제 1 영역을 분할한 제 2 영역 단위로 평균값을 얻음과 동시에, 제 2 영역에 대응하는 평균값 분리 신호를 얻는 신호 분석부와, 제 1 영역을 분할한 제 2 영역 단위로 얻어진 평균값으로 구성되는 평균값 신호에 대하여 각 색성분마다 독립적으로 예측 부호화를 행하는 평균값 신호 부호화부와, 제 1 영역을 분할한 제 2 영역 단위로 얻어진 복수의 색성분의 평균값 분리 신호에 대하여 복수 준비되는 색성분간의 변환 방법을 전환하여 변환을 실시한 후, 평균값 신호 부호화부와는 독립적으로 부호화를 행하는 평균값 분리 신호 부호화부를 구비하고, 평균값 분리 신호 부호화부는, 선택한 색성분간의 변환을 지시하는 정보를 부호화 데이터의 일부로서 비트 스트림으로 출력한다.

Description

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법{IMAGE CODING DEVICE, IMAGE DECODING DEVICE, IMAGE CODING METHOD, AND IMAGE DECODING METHOD}
본 발명은 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용되는 화상 신호 부호화 장치, 화상 신호 복호 장치, 화상 신호 부호화 방법, 및 화상 신호 복호 방법에 관한 것이다.
종래, MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 주로 4:2:0 포맷이라고 불리는, 표준화된 입력 신호 포맷을 압축 처리 대상 신호로서 이용해 왔었다. 4:2:0란, RGB 등의 컬러 동화상 신호를 휘도 성분(Y)과 2개의 색차 성분(Cb, Cr)으로 변환하여, 수평ㆍ수직 모두 색차 성분의 샘플수를 휘도 성분의 절반으로 삭감한 포맷이다. 색차 성분은 휘도 성분에 비해서 시인성이 떨어지기 때문에, MPEG-4 AVC/H.264(이하, AVC)와 같은 국제 표준 영상 부호화 방식(비특허 문헌 1)에서는, 이와 같이 부호화를 행하기 전에 색차 성분의 다운 샘플링(dwon-sampling)을 행함으로써 부호화 대상의 원래의 정보량을 삭감해 두는 것을 전제로 하고 있었다. 한편, 디지털 시네마 등의 콘텐츠에 있어서는, 콘텐츠 제작시의 색표현을 상영시에 정확하게 재현하는 것을 목적으로 하여, 색차 성분을 다운 샘플링하지 않고 휘도 성분과 동일 샘플로 부호화하는 4:4:4 포맷에서의 직접 부호화 방식을 추천하고 있다. 이 목적에 적합한 방식으로서, 비특허 문헌 2, 비특허 문헌 3과 같은 표준 방식이 있다. 4:2:0 포맷과 4:4:4 포맷의 차이를 도 31에 나타낸다. 이 도면에 있어서, 4:2:0 포맷은 휘도(Y)ㆍ색차(Cb, Cr) 신호로 구성되고, 색차 신호의 샘플은 휘도 신호의 2×2 샘플분 상당에 대해 하나인 데 반하여, 4:4:4 포맷은 특히 색을 표현하는 색공간을 Y, Cb, Cr에 한정하지 않고, 각 색성분의 신호의 샘플비가 1:1로 되어 있는 것을 나타내고 있다.
비특허 문헌 1: MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
비특허 문헌 2: JPEG2000(ISO/IEC 15444) 규격
비특허 문헌 3: MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 Amendment2
예컨대, 비특허 문헌 3에 의한 4:4:4 포맷의 부호화에서는, 도 32에 나타내는 바와 같이, 먼저, 미리 부호화 대상으로 되는 입력 영상 신호(1001)(4:4:4 포맷)를 직접 또는 색공간 변환부(1002)에서 적당한 색공간(Y, Cb, Cr 등)으로 변환을 행하고, 매크로 블록(16화소ㆍ16라인의 직사각형 블록)의 단위로 부호화 영상 신호(1003)로서 예측부(1004)에 입력한다. 예측부(1004)에서는, 매크로 블록 내의 각 색성분의 화상 신호를 프레임 내ㆍ프레임간에서 예측하여, 예측 오차 신호(1005)를 얻는다. 압축부(1006)는 예측 오차 신호(1005)에 대하여 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화하여 압축 데이터(1007)를 얻는다. 압축 데이터(1007)는, 가변 길이 부호화부(1008)에서 엔트로피 부호화되어 비트 스트림(1009)으로서 출력됨과 동시에, 국소 복호부(1010)로 보내어져서 복호 예측 오차 신호(1011)를 얻는다. 이것을 예측 오차 신호(1005)의 생성에 이용한 예측 신호(1012)와 가산하여 복호 신호(1013)를 얻는다. 복호 신호(1013)는 이후의 부호화 영상 신호(1003)를 위한 예측 신호(1012)를 생성할 목적으로 메모리(1014)에 저장된다. 또한, 예측 신호(1012)를 얻기 위해서 예측부(1004)에 있어서 결정된 예측 신호 생성용 파라미터(1015)는 가변 길이 부호화부(1008)로 보내어져서, 비트 스트림(1009)으로서 출력된다. 여기서, 예측 신호 생성용 파라미터(1015)에는, 예컨대, 프레임 내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등이 포함된다.
4:4:4 포맷의 영상 신호는 각 색성분의 동일수의 샘플이 포함되고 있어, 종래의 4:2:0 포맷의 영상 신호에 비해서 중복된 정보량을 포함하고 있다. 4:4:4 포맷의 영상 신호의 압축 효율을 높이기 위해서는, 종래의 4:2:0 포맷의 고정적인 색공간 정의(Y, Cb, Cr)에 대하여, 색성분간의 중복성을 더욱 저감할 필요가 있다. 비특허 문헌 3에 의한 4:4:4 포맷의 부호화에서는, 부호화 영상 신호(1003)는 신호의 국소적인 성질에 따르지 않고, 특정한 색공간 변환 처리에 의해서 화상 전체를 균일하게 변환함으로써 얻어지고, 예측부(1004), 압축부(1006), 가변 길이 부호화부(1008) 중 어느 하나에 있어서도 색성분간의 상관 제거를 고려한 신호 처리가 행해지지 않기 때문에, 동일 화소 위치의 색성분간의 신호 상관을 최대한으로 제거하고 있다고는 말할 수 없다.
그래서, 본 발명은 부호화 대상으로 되는 4:4:4 포맷의 영상 신호의 국소적 성질에 따라 신호 상관을 보다 양호하게 제거하여 효율적인 정보 압축을 행하는 방법을 제공하고, 상기 종래기술에서 설명한 바와 같이, 4:4:4 포맷과 같은 색성분간에 샘플비의 구별이 없는 동화상 신호를 부호화함에 있어서, 최적성을 높인 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 화상 부호화 장치는, 복수의 색성분으로 구성되는 컬러 화상을 입력으로 하고, 이 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로 압축 부호화해서 비트 스트림을 생성하는 화상 부호화 장치로서, 상기 제 1 영역에 속하는 각 색성분의 신호에 대해, 상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 평균값을 얻음과 동시에, 상기 제 2 영역에 대응하는 평균값 분리 신호를 얻는 신호 분석부와, 상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 평균값으로 구성되는 평균값 신호에 대해 각 색성분마다 독립적으로 예측 부호화를 행하는 평균값 신호 부호화부와, 상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 복수의 색성분의 평균값 분리 신호에 대해 복수 준비되는 색성분간의 변환 방법을 전환하여 변환을 실시한 후, 상기 평균값 신호 부호화부와는 독립적으로 부호화를 행하는 평균값 분리 신호 부호화부를 구비하고, 상기 평균값 분리 신호 부호화부는, 선택한 색성분간의 변환을 지시하는 정보를 부호화 데이터의 일부로서 비트 스트림으로 출력하는 것이다.
본 발명의 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법에 의하면, Y, Cb, Cr 등의 고정된 색공간에 한정하지 않고 다양한 색공간을 이용하는 부호화를 행하는 경우에 있어서, 각 색성분간에 존재하는 국소적인 신호 상관을 적응적으로 제거할 수 있도록 구성할 수 있어, 색공간의 정의가 다양하게 미치는 경우에도 최적의 부호화 처리를 행할 수 있다.
도 1은 실시형태 1에 있어서의 화상 부호화 장치의 구성을 나타내는 설명도,
도 2는 신호 분석부(103)의 내부 구성을 나타내는 설명도,
도 3은 N=4인 경우의 처리의 예를 나타내는 설명도,
도 4는 제 1 신호 부호화부(106)의 내부 구성을 나타내는 설명도,
도 5는 제 2 신호 부호화부(107)의 내부 구성을 나타내는 설명도,
도 6은 실시형태 1에 있어서의 비트 스트림(111)의 구조를 나타내는 설명도,
도 7은 실시형태 1에 있어서의 화상 복호 장치의 구성을 나타내는 설명도,
도 8은 신호 합성부(205)의 내부 구성을 나타내는 설명도,
도 9는 N=4인 경우의 처리의 예를 나타내는 설명도,
도 10은 제 1 신호 복호부(201)의 내부 구성을 나타내는 설명도,
도 11은 제 2 신호 복호부(202)의 내부 구성을 나타내는 설명도,
도 12는 실시형태 1에 있어서의 다른 화상 부호화 장치의 구성을 나타내는 설명도,
도 13은 실시형태 2에 있어서의 화상 부호화 장치의 구성을 나타내는 설명도,
도 14는 C0 성분 부호화부(300)의 내부 구성을 나타내는 설명도,
도 15는 AC 신호 생성부(308)의 내부 구성을 나타내는 설명도,
도 16은 C1 성분 부호화부(310)의 내부 구성을 나타내는 설명도,
도 17은 DC 예측부(311)의 내부 구성을 나타내는 설명도,
도 18은 실시형태 2에 있어서의 화상 복호 장치의 구성을 나타내는 설명도,
도 19는 실시형태 2에 있어서의 비트 스트림(111)의 구조를 나타내는 설명도,
도 20은 C0 성분 복호부(401)의 내부 구성을 나타내는 설명도,
도 21은 C1 성분 복호부(402)의 내부 구성을 나타내다 설명도,
도 22는 실시형태 3에 있어서의 화상 부호화 장치의 구성을 나타내는 설명도,
도 23은 예측부(500)의 내부 구성을 나타내는 설명도,
도 24는 예측 모드 판정부(522)의 내부 구성을 나타내는 설명도,
도 25는 실시형태 3에 있어서의 비트 스트림(111)의 구조를 나타내는 설명도,
도 26은 실시형태 3에 있어서의 화상 복호 장치의 구성을 나타내는 설명도,
도 27은 예측부(601)의 내부 구성을 나타내는 설명도,
도 28은 샘플링 밀도 패턴을 나타내는 설명도,
도 29는 샘플링 밀도 패턴을 나타내는 설명도,
도 30은 샘플링 밀도 패턴을 나타내는 설명도,
도 31은 4:2:0 포맷과 4:4:4 포맷의 차이를 나타내는 설명도,
도 32는 종래의 4:4:4 포맷의 부호화를 나타내는 설명도.
(실시형태 1)
본 실시형태 1에서는, 4:4:4 포맷으로 입력되는 영상 프레임을, 각 색성분 모두 MㆍM 화소의 직사각형 영역으로 분할한 단위로 프레임 내, 프레임간 적응 예측을 이용하여 부호화를 행하는 부호화 장치, 및 대응하는 복호 장치에 대해서 설명한다.
1. 부호화 장치의 동작 개요
도 1에, 본 실시형태 1에 있어서의 화상 부호화 장치의 구성을 나타낸다. 4:4:4 포맷의 입력 신호(100)는 3개의 색성분 C0, C1, C2의 신호로 구성되고, 영역 분할부(101)에 있어서, C0, C1, C2 성분의 각 MㆍM 화소 크기의 직사각형 블록으로 이루어지는 부호화 단위 블록(102)으로 분할되어, 순차적으로 신호 분석부(103)로 입력된다. 도 2에 신호 분석부(103)의 내부 구성을 나타낸다. 신호 분석부(103)에서는, 먼저, 서브 블록 분할부(112)에 있어서, 부호화 단위 블록(102)을 C0, C1, C2 성분마다 NㆍN 화소 블록(N<M)으로 분할하여, 평균값 계산부(113)에서 NㆍN 화소 블록의 평균값(104)을 구한다. 이어서, 평균값 분리 신호 생성부(114)에서 NㆍN 화소 블록의 각 화소로부터 평균값(104)을 분리한 평균값 분리 신호(105)(NㆍN 화소 블록)를 얻는다. N=4인 경우의 처리의 예를 도 3에 나타낸다. 평균값(104)은, 부호화 단위 블록(102)의 점선으로 둘러싸인 4×4 화소 블록의 평균값으로서 산출된다. 예컨대 M=16이면, 평균값(104)으로 구성되는 화상 데이터는, 부호화 단위 블록의 1/16의 화소수로 구성된다. 평균값 분리 신호(105)는, 부호화 단위 블록(102)의 점선으로 둘러싸이는 4×4 화소 블록의 각 화소로부터, 대응하는 평균값(104)을 빼서 얻어진다. 평균값(104)으로 구성되는 (M/N)ㆍ(M/N) 화소 블록은, 제 1 신호 부호화부(106)에서 압축 부호화되어, 비트 스트림(108)으로서 다중화부(110)로 보내어진다. 평균값 분리 신호(105)로 구성되는 MㆍM 화소 블록은, 제 2 신호 부호화부(107)에서 압축 부호화되어, 비트 스트림(109)으로서 다중화부(110)로 보내어진다. 다중화부(110)는 비트 스트림(108, 109)을 합쳐서 비트 스트림(111)을 출력한다.
이상과 같이 부호화 장치를 구성함으로써, 이하의 효과가 있다. HDTV(1920화소ㆍ1080라인) 등의 고세밀 영상에 있어서는, 화상의 내용을 구성하는 일정수의 화소의 그룹(예컨대 영상 중 인물 등의 피사체 영역)에 비해서, 1화소가 차지하는 면적의 비율은 대단히 작다. 즉, NㆍN 화소 블록이 영상 프레임 사이즈에 비해서 충분히 작은 경우, NㆍN 화소 블록 내에서 화상 패턴으로서 의미를 이루는 신호는 그 평균값(DC 성분)으로 집약할 수 있다. 한편, NㆍN 화소 블록으로부터 평균값을 분리한 평균값 분리 신호(AC 성분)는, NㆍN 화소 블록 내의 화상 패턴의 방향성을 표현하는 에지 등의 성분을 이룬다. 그런데, 역시 NㆍN 화소 블록이 영상 프레임 사이즈에 비해서 충분히 작은 경우는, NㆍN 화소 블록 내에도 이미 화상의 패턴 구조를 나타내는 정보는 포함되지 않고, 오히려 노이즈 성분의 비율이 높은 신호로 된다. 이러한 노이즈 성분 상당의 정보는, 화상의 패턴 구조의 유사도를 척도로 하는 움직임 보상 예측이나 공간 화소 예측 등을 행할 때에 오히려 예측 효율을 방해하는 요인으로 된다. NㆍN 화소 블록의 평균값(DC 성분)을 MㆍM 화소 블록분만큼 모은 DC 화상은, 평균값 계산 처리 과정에서 노이즈 성분이 평활화되어 제거되기 때문에, 화상 패턴을 보다 양호하게 표현하는 신호로 된다. 즉, 움직임 보상 예측이나 공간 화소 예측을 행하는 신호로서 보다 적절한 신호로 된다고 할 수 있다. 한편, 평균값 분리 신호로서의 AC 화상은, NㆍN 화소 블록의 면적이 영상 프레임 사이즈 전체에 비해서 충분히 작은 경우, 화상의 패턴 구조의 유사도를 근거로 하는 공간ㆍ시간 방향의 예측에는 적합하지 않게 된다. 따라서, 본 실시형태 1의 부호화 장치에서는, DC 화상에 대해서는, 종래기술로 설명한 프레임 내ㆍ프레임간의 예측을 이용한 부호화를 행하고, AC 화상에 대해서는, 동일 화소 위치에 있어서 특정한 색성분의 화소로 전력이 최대한 집중하는 신호로 변환한 후, 프레임 내ㆍ프레임간의 예측을 사용하지 않고서 부호화한다. 이와 같이 구성함으로써, HDTV(1920화소×1080라인) 등의 고세밀의 4:4:4 포맷의 영상 신호를 효율적으로 부호화하는 것이 가능해진다. 또 다른 효과로서, 프레임 내ㆍ프레임간의 예측 처리를 DC 화상에 한정함으로써, 예측 처리의 대상으로 되는 화소수가 1/{(M/N)ㆍ(M/N)}로 되어, 예측 처리에 필요한 연산이나, 메모리에 저장해야 할 예측 참조 데이터수, 즉 메모리량을 삭감할 수 있는 효과도 있다.
또한, 원래의 영상 프레임 사이즈가 모바일 용도로 사용되는 작은 화면인 경우는, NㆍN 화소 블록은 영상 프레임 사이즈에 비해서 상응의 면적을 차지하게 된다. 즉, 평균값 분리 신호(AC 성분)는 화상 패턴의 방향성을 표현하는 에지 등의 성분을 표현할 수 있게 된다. RGB 등, 각 색성분이 각각 화상의 패턴ㆍ구조 등을 보존하고 있는 신호에서는, 동일 공간 위치의 3개 성분의 NㆍN 화소 블록은 서로 화상의 구조의 관점에서 상관을 가지게 된다. 그 때문에, 각 색성분의 AC 성분은 높은 상관을 가지고, 상관 제거의 효과가 높아진다.
도 1에서, 제 1 신호 부호화부(106)는 평균값(104)으로 이루어지는 DC 화상의 부호화를 행한다. 도 4에 제 1 신호 부호화부(106)의 내부 구성을 나타낸다. 이 도면에서, 입력 신호는, 평균값(104)으로 이루어지는 입력 DC 화상을 (M/N)ㆍ(M/N) 화소 블록의 단위로 입력하는 것으로 한다. 이하, K=M/N으로 한다. 제 1 변환부(115)는, KㆍK 화소 블록의 각 화소의 3개의 색성분 샘플의 세트 x에 대해, 변환 Ai에 의해 색성분간의 상관을 제거하는 변환을 실시하여, 3샘플의 세트 y(116)를 얻는다.
Figure pct00001
여기서, i는 변환의 종류를 나타내고, 1 내지는 복수의 변환 방법이 이용가능한 것으로 한다. 예컨대, 이 변환에는 무변환(Ai가 단위 행렬), RGB→YUV 변환이나, KLT(Karhunen-Loeve 변환) 등이 있다. i가 복수의 값을 취하는, 즉 복수의 변환이 이용가능한 경우는, 변환 방법을 지정하는 제 1 변환 처리 지시 정보(128)로서, 실제로 사용한 변환 Ai의 i를 부호화하기 위해서 가변 길이 부호화부(121)로 보내어, 비트 스트림(108)으로 다중한다. 본 실시형태에서는, 제 1 변환 처리 지시 정보(128)를 부호화하는 단위는 영상 시퀀스로 하여, 제 1 신호 부호화부(106)의 내부에서의 신호 처리를 통해서 각 색성분의 샘플이 정의되는 신호 공간을 고유하게 정하지만, 픽쳐나 슬라이스, 매크로 블록 등, 다른 데이터 단위로 부호화하도록 해도 좋다.
예측부(117)에서는, KㆍK 화소 블록 내의 각 색성분의 샘플을 프레임 내ㆍ프레임간에서 예측하여, 예측 오차 신호(118)를 얻는다. 압축부(119)는, 예측 오차 신호(118)에 대해 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화하여 DC 압축 데이터(120)를 얻는다. DC 압축 데이터(120)는 가변 길이 부호화부(121)에서 엔트로피 부호화되어 비트 스트림(108)으로서 출력됨과 동시에, 국소 복호부(122)로 보내어져서, 복호 예측 오차 신호(123)를 얻는다. 이것을 예측 오차 신호(118)의 생성에 이용한 예측 신호(124)와 가산하여 DC 복호 신호(125)를 얻는다. DC 복호 신호(125)는 이후의 평균값(104)을 위한 예측 신호(124)를 생성할 목적으로 메모리(126)에 저장된다. 또한, 예측 신호(124)를 얻기 위해서 예측부(117)에 있어서 결정된 예측 신호 생성용 파라미터(127)는 가변 길이 부호화부(121)로 보내어져서, 비트 스트림(108)으로서 출력된다. 여기서, 예측 신호 생성용 파라미터(127)에는, 예컨대, 프레임 내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등이 포함된다.
도 1에서, 제 2 신호 부호화부(107)는 평균값 분리 신호(105)로 이루어지는 AC 화상의 부호화를 행한다. 도 5에, 제 2 신호 부호화부(107)의 내부 구성을 나타낸다. 이 도면에 있어서, 입력 신호는, 평균값 분리 신호(105)로 이루어지는 입력 AC 화상을 MㆍM 화소 블록의 단위로 입력한다. 제 2 변환부(129)는, MㆍM 화소 블록의 각 화소의 3개의 색성분 샘플의 세트 x'에 대해, 변환 Bj에 의해 색성분간의 상관을 제거하는 변환을 실시하여, 3샘플의 세트 y'(130)를 얻는다.
Figure pct00002
여기서, j는 변환의 종류를 나타내고, 1 내지는 복수의 변환 방법이 이용가능한 것으로 한다. 이 변환에는, 미리 몇 개의 신호 패턴에 대하여 최적 설계된 복수의 KLT(Karhunen-Loeve 변환)의 세트를 이용한다. 제 2 변환부(129)에서는, 변환 Bj 중에서, 각 MㆍM 화소 블록의 단위로, 색성분 방향의 신호 상관을 가장 잘 제거할 수 있는(특정한 신호 성분으로의 전력 집중도가 높아지는) 변환을 선택하여, 3샘플의 세트 y'(130)를 얻음과 동시에, 사용한 변환 방법을 지정하는 인덱스 j를 제 2 변환 처리 지시 정보(134)로서, 가변 길이 부호화부(133)로 보내어, 비트 스트림(109)으로 다중한다. 제 2 신호 부호화부(107)의 내부에서는, 평균값 분리 신호(105)의 MㆍM 화소 블록 샘플에 대한 처리는, 다른 어떠한 공간적ㆍ시간적인 신호 의존성도 사용하지 않고서 부호화하기 때문에, 제 2 변환 처리 지시 정보(134)는, MㆍM 화소 블록(또는 MㆍM 화소 블록의 복수 조합)의 단위, 또는, 영상 프레임의 단위, 또는 영상 시퀀스의 단위 중 어느 하나로 전환하여, 비트 스트림 다중 가능하게 한다.
압축부(131)는, 3샘플의 세트 y'(130)에 대하여 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 공간 방향의 신호 상관을 제거한 후, 양자화하여 AC 압축 데이터(132)를 얻는다. 제 1 신호 부호화부(106)의 압축부(119)와 제 2 신호 부호화부(107)의 압축부(131)에서 이용하는 양자화 방법ㆍ양자화 파라미터는 동일해도 좋고, 상이한 양자화 방법(예컨대 스칼라 양자화와 벡터 양자화, 또는 선형 양자화와 비선형 양자화 등)이나 상이한 양자화 파라미터를 이용해도 좋다. AC 압축 데이터(132)는 가변 길이 부호화부(133)에서 엔트로피 부호화되어 비트 스트림(109)으로서 출력된다. 공간ㆍ시간 방향의 예측을 행하지 않기 때문에, 제 1 신호 부호화부(106)에 있는 것과 같은 국소 복호부(122)나, 예측 참조 화상 저장을 위한 메모리(126) 등의 구성요소는 필요 없이 간략한 구성으로 실현할 수 있는 것 외에, 예측 신호 생성용 파라미터(127) 상당의 부가 정보를 전송할 필요도 없기 때문에, 전송해야 할 부호화 데이터량도 억제할 수 있다.
본 실시형태 1의 부호화 장치에 있어서, 비트 스트림(111)의 구조로서는 여러 가지의 구성을 취할 수 있다(도 6). 비트 스트림(111)은, 시퀀스 레벨의 헤더 정보(150), 영상 프레임(픽쳐) 레벨의 헤더 정보(151), 픽쳐의 부호화 데이터(152)의 계열로 이루어진다. 시퀀스 레벨의 헤더 정보(150)에는, 영상 프레임의 수평ㆍ수직 화소수나 제 1 변환 처리 지시 정보(128), (시퀀스 단위로 변환 Bj를 전환하는 경우) 제 2 변환 처리 지시 정보(134) 등의 정보를 포함한다. 픽쳐 레벨의 헤더 정보(151)에는, (픽쳐 단위로 변환 Bj를 전환하는 경우) 제 2 변환 처리 지시 정보(134) 등의 정보를 포함한다. 픽쳐의 부호화 데이터(152)에 대해서는, 상기의 제 1 신호 부호화부(106)와 제 2 신호 부호화부(107)가 입력 단위로 하는 화소 블록을, 부호화 장치로의 입력 신호(1001 또는 1003)의 영역에서 동일 영역(MㆍM 화소 블록)을 차지하도록 구성했기 때문에, 비트 스트림(108, 109)을 도 6(a)에 나타내는 바와 같이 MㆍM 화소 블록분마다 다중화하는 구성을 들 수 있다. 또한, 입력 신호(100)와 부호화 단위 블록(102)은, 종래의 도 32에서의 입력 영상 신호(1001)와 부호화 영상 신호(1003)에 대응한다. 또한, 제 1 신호 부호화부(106)와 제 2 신호 부호화부(107)는 독립적으로 부호화 처리를 행할 수 있기 때문에, 제 1 신호 부호화부(106)의 부호화 처리의 단위로 되는 블록의 크기를 MㆍM 화소 블록으로 취하면, 대응하는 제 2 신호 부호화부(107)의 부호화 데이터는 MNㆍMN 화소 블록분에 대응하기 때문에, 도 6(b)와 같은 비트 스트림 구성을 취할 수 있다. 또한, 제 1 신호 부호화부(106)에 의해서 부호화되는 신호는, 부호화 장치로의 입력 신호(1001 또는 1003)의 축소 화상에 상당하기 때문에, 도 6(c)와 같이, 그 부호화 데이터인 비트 스트림(108)을 비트 스트림(111)의 전반(前半)으로 집약하고, 그것에 이어서 비트 스트림(109)을 다중화하도록 구성해도 좋다. 비트 스트림(109)은 비트 스트림(108)의 복호에 영향을 주지 않기 때문에, 이렇게 함으로써, 비트 스트림(108)으로 얻어지는 DC 화상만의 부분 복호를 행하여 작은 화면의 화상만을 복호할 수 있다고 하는 효과도 있다.
2. 복호 장치의 동작 개요
도 7의 복호 장치는 도 1의 부호화 장치로부터 출력되는 비트 스트림(111)을 수신하여, MㆍM 화소 블록의 단위로 복호 처리를 행하고, 개개의 영상 프레임을 복원하는 것으로 한다. 도 7에서, 헤더 해석ㆍ분리부(200)는, 비트 스트림(111)으로부터 시퀀스 레벨의 헤더 정보(150)나 픽쳐 레벨의 헤더 정보(151) 등의 상위 헤더 정보를 복호하고, 도 6(a)~(c) 등의 소정의 규칙으로 배열된 픽쳐 부호화 데이터(152)로부터, 제 1 신호 부호화부(106)에 의해서 생성된 비트 스트림(108)과, 제 2 신호 부호화부(107)에 의해서 생성된 비트 스트림(109)을 분리하여, 각각, 제 1 신호 복호부(201), 제 2 신호 복호부(202)로 전달한다.
제 1 신호 복호부(201)는, 비트 스트림(108)으로부터, 4:4:4 포맷에서 1화소가 3개의 색성분 C0, C1, C2의 신호로 구성되는, (M/N)ㆍ(M/N) 화소 블록의 DC 복호 신호(203)를 얻는다. 제 2 신호 복호부(202)는, 비트 스트림(109)으로부터, 4:4:4 포맷에서 1화소가 3개의 색성분 C0, C1, C2의 신호로 구성되는, MㆍM 화소 블록의 AC 복호 신호(204)를 얻는다. 이것들은 신호 합성부(205)로 입력되어, MㆍM 화소 블록의 복호 신호(206)가 얻어진다. 신호 합성부(205)에서는(도 8), NㆍN 화소 블록의 평균값의 복호값인 DC 복호 신호(203)의 각 샘플을, 가산부(209)에서 NㆍN 화소 블록마다 AC 복호 신호(204)의 각 샘플에 가산하고, 클립 처리부(210)에서 복호 신호(206)의 화소 계조에 맞춰서 클리핑(clipping)을 행하여, 복호 신호(206)를 출력한다. N=4인 경우의 처리의 예를 도 9에 나타낸다. 예컨대 M=16이면, DC 복호 신호(203)는 복호 신호의 1/16의 화소수로 구성된다. 복호 신호(206)의 점선으로 둘러싸인 4×4 화소 블록의 각 화소는, AC 복호 신호(204)가 대응하는 위치의 화소와, DC 복호 신호(203)가 대응하는 평균값을 가산해서 얻어진다. MㆍM 화소 블록의 복호 신호(206)는, 화면 구성부(207)에 있어서 영상 프레임 상에 배치되어, 복호 영상 프레임(208)을 얻는다.
도 7에서, 제 1 신호 복호부(201)는 DC 화상의 복호 처리를 행한다. 도 10에 제 1 신호 복호부(201)의 내부 구성을 나타낸다. 가변 길이 복호부(211)는, 비트 스트림(108)으로부터, 메모리(212)에 저장되는 DC 복호 신호(125)를 이용하여 예측 신호(124)를 생성하기 위해서 이용하는 예측 신호 생성용 파라미터(127)와, 예측 오차 신호를 압축 부호화한 DC 압축 데이터(120)를 추출하여, 각각 예측부(213), 예측 오차 복호부(122)(국소 복호부(122)와 동일한 동작)로 전달한다. 예측부(213)에서는, 움직임 벡터나 인트라 예측 모드 등의 예측 신호 생성용 파라미터(127)와 메모리(212)에 저장되는 DC 복호 신호(125)를 이용하여, 시간ㆍ공간 방향의 예측 신호(124)를 얻는다. 예측 오차 복호부(122)는, DC 압축 데이터(120)에 역양자화를 행하고, DCT(이산 코사인 변환) 등의 역변환 처리를 실시하여, 복호 예측 오차 신호(123)를 얻는다. 예측 신호(124)와 복호 예측 오차 신호(123)를 가산하여 DC 복호 신호(125)를 얻는다. DC 복호 신호(125)는 이후의 복호 처리를 위한 예측 신호(124)를 생성할 목적으로 메모리(212)에 저장된다. 마지막으로, 제 1 역변환부(214)에 있어서, 부호화시에, KㆍK 화소 블록(K=M/N)의 각 화소의 3개의 색성분 샘플의 세트 x에 대하여 제 1 변환부(115)에서 행한 변환과 반대의 변환을 DC 복호 신호에 대해 실시하여, 최종적인 DC 복호 신호(203)를 얻는다. 이 때문에, 제 1 역변환부(214)는 제 1 변환 처리 지시 정보(128)를 참조하여, 부호화시에 이용한 변환의 역변환 Ai -1을 특정한다.
도 7에서, 제 2 신호 복호부(202)는 AC 화상의 복호 처리를 행한다. 도 11에 제 2 신호 복호부(202)의 내부 구성을 나타낸다. 가변 길이 복호부(215)는, 비트 스트림(109)으로부터, C0, C1, C2의 각 색성분으로 이루어지는 AC 화상 신호를 압축 부호화한 AC 압축 데이터(132)를 추출하여, 복호부(216)로 전달한다. 복호부(216)는 AC 압축 데이터(132)에 역양자화를 행하고, DCT(이산 코사인 변환) 등의 역변환 처리를 실시하여, AC 복호 신호(217)를 얻는다. 마지막으로, 제 2 역변환부(218)에 있어서, 부호화시에, MㆍM 화소 블록의 각 화소의 3개의 색성분 샘플의 세트 x'에 대하여 제 2 변환부(129)에서 행한 변환과 반대의 변환을 AC 복호 신호(217)에 대해 실시하여, 최종적인 AC 복호 신호(204)를 얻는다. 이 때문에, 제 2 역변환부(218)는, 제 2 변환 처리 지시 정보(134)를 참조하여, 부호화시에 이용한 변환의 역변환 Bj -1을 특정한다. 도 11에서는, 제 2 변환 처리 지시 정보(134)를 MㆍM 화소 블록의 단위로 가변 길이 복호부(215)로부터 추출하는 구성을 나타내고 있고, 역변환 Bj -1은 MㆍM 화소 블록마다 전환하여 적용된다. 제 2 변환 처리 지시 정보(134)는, 픽쳐나 시퀀스의 레벨로 전환하도록 구성해도 물론 좋다. 예측 오차 복호부(122)와 복호부(216)에서 이용하는 역양자화 방법ㆍ양자화 파라미터는 동일해도 좋고, 상이한 역양자화 방법(예컨대 스칼라 양자화와 벡터 양자화, 또는 선형 양자화와 비선형 양자화 등)이나 상이한 양자화 파라미터를 이용해도 좋다. 양자화 파라미터는 통상, 부호화시에 MㆍM 화소 블록의 단위로 비트 스트림(108, 109)에 다중화되고, 가변 길이 복호부(211 및 215)에 의해 추출되어, 예측 오차 복호부(122), 복호부(216)에서 이용된다.
이상과 같이 부호화 장치ㆍ복호 장치를 구성함으로써, 임의의 색공간에서 정의되는 4:4:4 포맷의 영상 신호를 효율적으로 압축 부호화할 수 있다. 시간ㆍ공간 방향의 예측 처리를, 해상도를 떨어뜨린 DC 화상 영역에서만 행함으로써, HDTV 등의 고해상도 영상에서는 노이즈 성분에 영향받기 어려워서 화상 패턴에 매우 적합한 예측을 행할 수 있음과 동시에, 처리 대상의 화소수가 삭감되어 처리를 간략화할 수 있는 효과가 있다. 한편, AC 화상에 대해서는 공간ㆍ시간 방향으로의 예측을 행하지 않고 각 색성분 자신의 주변과의 의존 관계를 이용하지 않는 한편, 색성분간의 상관을 제거하는 방향에 알맞은 변환을 선택가능하게 하도록 구성했기 때문에, AC 성분의 국소적인 신호의 성질에 따라서, 특정한 색성분으로의 신호 전력 집중도를 항상 높일 수 있고, 효율적인 부호화를 행할 수 있다.
본 실시형태 1의 신호 분석부(103)에서는, 화상 신호를 블록마다 DC 성분과 AC 성분으로 분리했지만, 이것을 DCT이나 Wavelet 변환 등의 임의의 주파수 변환 수단으로 실현하여, 제 1 신호 부호화부(106)에 의해 부호화해야 할 성분과, 제 2 신호 부호화부(107)에 의해 부호화해야 할 성분을 분리하도록 구성해도 좋다. 예컨대, DCT 변환 후의 DC 계수에 부가하여 몇 개의 저주파 영역의 AC 계수로 이루어지는 신호를 제 1 신호 부호화부(106)에 의해 부호화하고, 나머지의, 비교적 고주파의 성분을 구성하는 AC 계수를 제 2 신호 부호화부(107)에 의해 부호화한다고 하는 구성을 취할 수도 있다.
또한, 본 실시형태 1에서는, DC 성분을 원신호가 축소된 DC 화상으로 간주하고, 하나의 DC 샘플을 1화소라고 간주하여 KㆍK 화소 블록의 DC 화상의 단위로 예측을 행하도록 했지만, 프레임 내에서 공간 예측을 행하는 경우에, 이것을, DC 신호를 취출하는 단위의 N×N 화소 블록의 각 샘플이 동일한 DC값을 갖는 것으로 간주하고, 주변의 원신호와 동일 해상도의 화소를 참조하여 DC값의 예측을 행하도록 구성해도 좋다. 상술한 바와 같이, 원신호(M×M 화소 블록)로부터 DC 화상을 생성하는 경우, N값의 선택에 따라서는, 프레임 내에서 이웃하는 DC값의 상관이 낮아져서, 충분한 예측 성능이 얻어지지 않을 가능성이 있지만, 이와 같이 원신호와 동일 해상도의 화소의 레벨로 예측을 행하도록 구성함으로써, 공간적인 상관의 저하를 억제한 예측을 행할 수 있다. 한편, 이 방법에서는, N×N 블록의 단위로 예측 모드를 결정ㆍ부호화할 필요가 있으며, M×M 화소 블록당 DC 샘플수의 예측 모드 정보를 부호화할 필요가 있다. 이에 대하여, 상술한 바와 같이 DC 화상(K×K 화소 블록)의 단위로 예측을 행하는 경우, M×M 화소 블록당에 하나의 예측 모드 정보만이 필요하다. 따라서, 이들 방식을, 예측 모드 정보의 부호량과 예측 오차 전력의 밸런스나, 변환 계수도 포함하는 부호량 전체와 국소 복호에 의한 부호화 왜곡과의 밸런스 등에 의해서 부호화 단위 블록(102)의 단위로 국소적으로 전환하거나, 또는 색성분마다 그 전환 방법을 변화시키는 등, 부호화 대상으로 되는 신호의 성질에 따른 다양한 예측 방법의 설계가 가능하다.
또한, 화상 신호의 비정상성에 따라, 부호화 단위 블록(102)의 신호의 성질에 따라서는 본 실시형태 1과 같이 화면 전체를 항상 DC 성분과 AC 성분으로 분리해서 부호화하면 부호화 효율의 저하를 초래할 가능성도 있다. 이것을 회피하기 위해서, 예컨대, 부호화 장치 측에서, 도 32에 나타낸 바와 같은 종래의 부호화 처리부를 마련하고, 부호화 처리의 전환을 행하는 구성을 취하도록 해도 좋다(도 12). 전환을 행하는 스위치(SW)(219)는, 전환 제어 신호(220)에 의해 부호화 단위 블록(102)의 신호를 어느 쪽의 부호화 처리의 경로로 보낼지를 결정한다. 전환 제어 신호(220)는, 예컨대, 제 1 신호 부호화부(106)와 제 2 신호 부호화부(107)를 이용하여 부호화를 행한 경우와, 종래의 신호 부호화부(20)에 의해서 부호화를 행한 경우에서, 부호량과 부호화 왜곡의 밸런스로부터 레이트ㆍ왜곡 측도의 관점에서 알맞은 부호화 수단을 선택하도록 제어해도 좋고, 부호화 단위 블록(102)의 신호의 성질ㆍ액티비티를 해석하여, 그 결과에 따라서 어느 쪽의 부호화 처리의 경로가 적합한지를 결정하도록 제어해도 좋다. 또한, 종래의 신호 부호화부(20)에 의한 비트 스트림을 복호하는 종래의 복호 장치와의 호환성을 유지하기 위해서, 종래의 신호 부호화부(20)에 의해서만 부호화되는 비트 스트림을 항상 생성하도록 스위치(219)를 제어함으로써, 종래의 복호 장치에서 복호 처리가 가능한 비트 스트림을 출력시키는 것도 가능하다.
또한, 전환 제어 신호(220)는 소정의 데이터 단위로 비트 스트림에 다중화함으로써, 복호 장치 측에서는 그것을 복호하여 이용할 수 있고, 부호화 장치 측에서 행한 전환 제어를 위한 판정 처리를 복호 장치 측에서 행하지 않고, 간이한 구성으로 도 12의 부호화 장치로부터 출력되는 비트 스트림을 복호할 수 있다. 전환 제어 신호(220)는, 부호화 단위 블록(102)의 부호화 데이터의 단위로 다중해도 좋고, 슬라이스, 픽쳐, 시퀀스 등의 임의의 계층에서 다중하도록 구성해도 좋다.
(실시형태 2)
본 실시형태 2에서는, 4:4:4 포맷으로 입력되는 영상 프레임을, 각 색성분 모두 MㆍM 화소의 직사각형 영역으로 분할한 단위로 프레임 내, 프레임간 적응 예측을 이용하여 부호화를 행하는 부호화 장치, 및 대응하는 복호 장치에 대해서 설명한다. 본 실시형태 2에 있어서의 부호화 장치, 복호 장치는, 실시형태 1과 마찬가지로, 입력 신호의 각 색성분의 화상을 DC 성분과 AC 성분으로 분리하여, DC 성분은 각 색성분 내로 제한된 예측에 의해 부호화를 행하고, AC 성분은 색성분간의 상관을 이용하여 예측을 행하는 구성이다. 실시형태 1과 상이한 점은, 먼저, 기준으로 되는 색성분의 신호를 다른 성분과는 독립적으로 부호화하고, 다른 색성분은, 기준색 성분 신호의 부호화에 이용된 예측 모드 정보나 국소 복호 화상 신호 등을 이용하여 예측 부호화를 행하도록 구성하는 것이다.
1. 부호화 장치의 동작 개요
도 13에, 본 실시형태 2에 있어서의 화상 부호화 장치의 구성을 나타낸다. 4:4:4 포맷의 입력 신호(100)는 3개의 색성분 C0, C1, C2의 신호로 구성되고, 영역 분할부(101)에 있어서, C0, C1, C2 성분의 각 MㆍM 화소 크기의 직사각형 블록으로 이루어지는 부호화 단위 블록(102)으로 분할된다. 이하, 부호화 단위 블록(102)의 구성요소인 C0, C1, C2 성분의 각 입력 화상 신호를 102a, 102b, 102c로 한다. 이것들은 전부, MㆍM 화소로 구성되는 것으로 한다.
1.1 기준 색성분(C0 성분)의 부호화 처리
본 실시형태 2의 부호화 장치에 있어서, C0 성분(102a)은 기준 색성분의 신호이다. 도 14에, C0 성분(102a)의 부호화를 행하는 C0 성분 부호화부(300)의 구성을 나타낸다. C0 성분 부호화부(300)는, 종래의 부호화 처리부(20)나 실시형태 1의 제 1 신호 부호화부(106)와 유사한 구성을 취한다. 먼저, C0 성분(102a)은 예측부(117a)로 입력되어, NㆍN 화소 블록 내의 샘플을 프레임 내ㆍ프레임간으로 예측하여, 예측 오차 신호(301)를 얻는다. 또한, 예측부(117a)는 제 1 신호 부호화부(106)의 구성요소인 예측부(117) 중 C0 성분의 예측 처리를 행하는 부분만을 묶은 구성이다. 압축부(119a)는, 예측 오차 신호(301)에 대하여 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화하여 압축 데이터(302)를 얻는다. 압축 데이터(302)는 가변 길이 부호화부(121a)에서 엔트로피 부호화되어 비트 스트림(303)으로서 출력됨과 동시에, 국소 복호부(122a)로 보내어지고, 복호 예측 오차 신호(304)를 얻는다. 이것을 예측 오차 신호(301)의 생성에 이용한 예측 신호(305)와 가산하여 복호 신호(306)를 얻는다. 복호 신호(306)는, 이후의 부호화 대상 신호(102a)를 위한 예측 신호(305)를 생성할 목적으로 메모리(126a)에 저장된다. 또한, 예측 신호(305)를 얻기 위해서 예측부(117a)에서 결정된 예측 신호 생성용 파라미터(307)는 가변 길이 부호화부(121a)로 보내어지고, 비트 스트림(303)으로서 출력된다. 여기서, 예측 신호 생성용 파라미터(307)에는, 예컨대, 프레임 내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등이 포함된다.
또한, 복호 신호(306)는 AC 신호 생성부(308)로 입력되어, 참조 AC 신호(309)가 생성된다. 도 15에 AC 신호 생성부(308)의 내부 구성을 나타낸다. 기본적으로는, 실시형태 1에 있어서의 신호 분석부(103)의 구성을 유용한 구성으로 실현할 수 있고, 각 내부 요소는 신호 분석부(103)에서의 C0 신호만의 처리를 행하고, 평균값 계산부(113a)는 그 출력을 외부 출력하지 않도록 구성한다. C0 성분 부호화부(300)로부터 출력되는 예측 신호 생성용 파라미터(307)는, C1, C2 성분의 DC 신호의 예측 부호화에, 참조 AC 신호(309)는, C1, C2 성분의 AC 신호의 예측 부호화에 이용한다(후술).
1.2 C1 성분의 부호화 처리
C1 성분의 부호화는 C1 성분 부호화부(310)에서 행해진다. 그 내부 구성을 도 16에 나타낸다. 처음에, C1 성분(102b)은 C1 성분 신호 분석부(103b)(실시형태 1에 있어서의 신호 분석부(103)의 구성 중, C1 성분만을 처리하도록 구성된 것)에 의해 DC 신호(104b), AC 신호(105b)로 분리된다. DC 신호(104b)는 DC 예측부(311)에 의해 예측되어, DC 예측 오차 신호(312)가 출력된다. DC 예측부(311)의 내부 구성을 도 17에 나타낸다. DC 예측부(311)는 원(原)해상도의 NㆍN 화소 블록당 하나에 할당되는 DC 신호(104b)를 예측한다. 그 때문에, 먼저, 원해상도 예측 화상 생성부(313)에 있어서, 예측 신호 생성용 파라미터(307)(C0 성분의 NㆍN 화소 블록의 예측의 결과 얻어진 것)와, 메모리(126b) 상의 원해상도 국소 복호 화상(314)으로부터, 예측 신호 생성용 파라미터(307)가 생성된 기준 색성분 C0의 위치와, 부호화 단위 블록(102) 내에서 대응하는 NㆍN 화소 블록 위치의 C1 성분의 신호에 대한 예측 신호(321)를 생성한다. 그 평균값을, 평균값 산출부(113b)에서 구하고, 이것을 DC 신호(104b)로부터 빼서, DC 예측 오차 신호(312)를 얻는다. DC 예측 오차 신호(312)는 DC 압축부(315)에 의해 양자화되어, DC 압축 데이터(316)로서 출력되고, 이것이 DC 가변 길이 부호화부(317)에서 엔트로피 부호화되어 비트 스트림(318)으로 다중된다. 또한, 도시는 하고 있지 않지만, 예측 신호 생성용 파라미터(307)는 그대로 이용해도 좋고, C1 성분용으로 수정하여 이용하도록 구성해도 좋다. 예컨대, 움직임 벡터의 정보 등은 색성분마다의 신호의 성질에 따라, 미세 조정을 행하여 DC 예측값을 구함으로써, 보다 좋은 예측 결과가 얻어지는 경우가 있다. 수정한 차분 정보는 DC 가변 길이 부호화부(317)로 보내서, 비트 스트림(318)에 다중하도록 구성하면 좋다. 또한, DC 압축 데이터(316)는 DC 국소 복호부(319)에 의해 국소 복호 DC 예측 오차 신호(320)로 되고, DC 예측부(311)에 있어서 DC 예측 오차 신호(312)를 얻는 데 이용한 DC 예측 신호(321)와 가산되어 국소 복호 DC 신호(322)로 된다.
한편, C1 성분 신호 분석부(103b)에 의해서 분리된 C1 성분의 AC 신호(105b)는, AC 예측부(323)에 있어서, 기준 색성분의 C0 성분 부호화부(300)로부터 출력되는 참조 AC 신호(309)를 예측값으로서 이용하여 예측되고, AC 예측 오차 신호(324)가 얻어진다. AC 예측 오차 신호(324)는 AC 압축부(325)에 의해 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화하여 AC 압축 데이터(326)를 얻는다. AC 압축 데이터(326)는 AC 가변 길이 부호화부(327)에서 엔트로피 부호화되어 비트 스트림(328)으로서 출력됨과 동시에, AC 국소 복호부(329)로 보내져서, 국소 복호 AC 예측 오차 신호(330)를 얻는다. 이것을 AC 예측 오차 신호(324)의 생성에 이용한 참조 AC 신호(309)와 가산하여 국소 복호 AC 신호(331)를 얻는다. 마지막으로, C1 성분 신호 합성부(205b)(신호 합성부(205) 중, C1 성분만을 처리하도록 구성한 것)에 있어서, 국소 복호 AC 신호(331)는 국소 복호 DC 신호(322)와 가산되어, 원해상도의 복호 신호(332)로 재구성되고, 이후의 부호화 대상 신호(102b)의 예측 참조에 이용하기 위해서, 메모리(126b)에 저장된다. 그리고, C1 성분 다중화부(334)는 비트 스트림(318, 328)을 소정의 규칙으로 다중화하여 비트 스트림(333)을 출력한다.
이상과 같이, C1 성분을 예측 부호화하는 것에는 이하의 효과가 있다. 처음에, 입력 신호를 DC, AC 성분으로 분리한 것의 이점은 실시형태 1에서 설명한 바와 같고, 본 실시형태 2에서는, 분리한 DC 신호는 기준으로 되는 색성분인 C0 성분의 예측의 결과를 유용, 또는 그 미세 조정에 의해, C1 성분 내의 신호에 의해서 예측을 행한다. RGB 신호 등에서는 C0, C1, C2의 각 성분의 텍스처 패턴에 상관이 높고, DC 신호와 같은 신호 전력이 큰 성분은 색의 구성을 정하는 요인으로서 작용하여, 색성분 사이보다 자기의 색성분 내로 제한된 상관을 이용하는 쪽이 높은 예측 효율을 기대할 수 있다. 한편, 화상의 형태, 에지 패턴 등의 요소를 표현하는 AC 신호는, 색성분간에서의 높은 상관이 기대되기 때문에, 이것을 이용하여, 기준 색성분 C0의 국소 복호 신호를 예측값으로서 이용함으로써 높은 예측 효율이 얻어진다. C1 성분의 DC 신호의 예측 화상 생성은, C0 성분으로 결정된 예측 화상 생성용 파라미터(307)를 재이용 또는 미세 조정함으로써 행해지기 때문에, 여분의 부가 정보를 부호화할 필요가 없다. 또한, AC 신호도, 복호 측에서 완전히 복원되는 기준 색성분의 복호 화상 신호와 동일한 신호로 예측을 행하기 때문에, 특별한 부가 정보의 전송은 필요 없어, 효율적인 부호화가 가능해진다.
1.3 C2 성분의 부호화 처리
C2 성분의 부호화 처리는, 대체로, C1 성분의 부호화 처리와 등가인 처리로 실현된다. 이 처리는 C2 성분 부호화부(350)에서 행해지고, 그 내부 처리는, 입력 신호를 DC, AC 신호로 분리하는 신호 분석부로서 C2 성분용의 신호 분석부(103c)(도시하지 않음)를 사용하는 것, 메모리(126b) 대신에 C2 성분의 국소 복호 화상을 저장하기 위한 메모리(126c)(도시하지 않음)를 사용할 뿐이고, 나머지는 C1 성분 부호화부(310)의 구성을 그대로 이용할 수 있다.
2. 복호 장치의 동작 개요
도 18의 복호 장치는, 도 13의 부호화 장치로부터 출력되는 비트 스트림(361)을 수신하고, MㆍM 화소 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다. 비트 스트림(361)의 구성을 도 19에 나타낸다. 픽쳐 부호화 데이터(152)는 C0 성분의 부호화 데이터, C1 성분의 DC, AC 각 부호화 데이터, C2 성분의 DC, AC 각 부호화 데이터로 구성된다. 도 18에서, 헤더 해석ㆍ분리부(400)는, 비트 스트림(361)으로부터 시퀀스 레벨의 헤더 정보(150)나 픽쳐 레벨의 헤더 정보(151) 등의 상위 헤더 정보를 복호하고, 도 19의 규칙으로 배열된 픽쳐 부호화 데이터(152)로부터, C0 성분 부호화부(300)에 의해서 생성된 비트 스트림(303)과, C1 성분 부호화부(310)에 의해서 생성된 비트 스트림(333), C2 성분 부호화부(350)에 의해서 생성된 비트 스트림(351)을 분리하여, 각각, C0 성분 복호부(401), C1 성분 복호부(402), C2 성분 복호부(403)로 전달된다.
C0 성분 복호부(401)는, 비트 스트림(303)으로부터, MㆍM 화소 블록의 C0 성분 복호 신호(306)를 얻는다. C1 성분 복호부(402)는 비트 스트림(333)과, C0 성분 복호부로부터 출력되는 예측 화상 생성용 파라미터(307)와, 참조 AC 신호(309)로부터, MㆍM 화소 블록의 C1 성분 복호 신호(원해상도의 복호 신호)(332)를 얻는다. C2 성분 복호부(403)는 비트 스트림(351)과, C0 성분 복호부로부터 출력되는 예측 화상 생성용 파라미터(307)와, 참조 AC 신호(309)로부터, MㆍM 화소 블록의 C2 성분 복호 신호(352)를 얻는다. 이것들은 화면 구성부(404)에 있어서 영상 프레임 상에 배치되어, 복호 영상 프레임(405)을 얻는다.
2.1 기준 색성분(C0 성분)의 복호 처리
도 20에 C0 성분 복호부(401)의 내부 구성을 나타낸다. 가변 길이 복호부(406)는, 비트 스트림(303)으로부터, 예측 신호(305)를 생성하기 위해서 이용하는 예측 신호 생성용 파라미터(307)와, 예측 오차 신호를 압축 부호화한 압축 데이터(302)를 추출하여, 각각 예측부(407), 예측 오차 복호부(408)로 전달된다. 예측부(407)에서는, 움직임 벡터나 인트라 예측 모드 등의 예측 화상 생성용 파라미터(307)와 메모리(212a)(실시형태 1에 있어서의 메모리(212) 중, C0 성분만을 저장하도록 구성된 것)에 저장되는 C0 성분 복호 신호(306)를 이용하여, 시간ㆍ공간 방향의 예측 신호(305)를 얻는다. 예측 오차 복호부(408)는, 압축 데이터(302)에 역양자화를 행하고, DCT(이산 코사인 변환) 등의 역변환 처리를 실시하여, 복호 예측 오차 신호(304)를 얻는다. 예측 신호(305)와 예측 오차 신호(304)를 가산하여 C0 성분 복호 신호(306)를 얻는다. C0 성분 복호 신호(306)는, 이후의 복호 처리를 위한 예측 신호(305)를 생성할 목적으로 메모리(212a)에 저장된다. 또한, C0 성분 복호 신호(306)는 AC 신호 생성부(308)로 입력되어, 참조 AC 신호(309)가 생성ㆍ출력된다.
2.2 C1 성분의 복호 처리
도 21에 C1 성분 복호부(402)의 내부 구성을 나타낸다. C1 성분 분리부(409)는, 비트 스트림(333)으로부터, DC 신호를 압축 부호화한 비트 스트림(318)과, AC 신호를 압축 부호화한 비트 스트림(328)을 분리한다. 비트 스트림(318)은 DC 가변 길이 복호부(410)에 입력되어, DC 압축 데이터(316)가 출력된다. 비트 스트림(328)은 AC 가변 길이 복호부(411)에 입력되어, AC 압축 데이터(326)가 출력된다. 비트 스트림(318)과 비트 스트림(328)의 구별은 비트 스트림(333)에 적당한 동기 코드를 삽입하여 검출할 수 있도록 해도 좋고, C1 성분 분리부(409) 중에, DC 가변 길이 복호부(410)나 AC 가변 길이 복호부(411)의 구성을 포함시켜서, DC, AC의 순으로 순차적으로 가변 길이 복호를 행하도록 구성해도 좋다.
DC 복호부(319b)(DC 국소 복호부(319)와 동일한 동작)는, DC 압축 데이터(316)를 역양자화에 의해서 복호하여 복호 DC 예측 오차 신호(320b)를 출력한다. DC 예측부(412)는, DC 예측부(311)의 구성요소(도 17) 중, DC 예측 오차 신호(312)를 구하는 처리만이 없는 구성으로서, 원해상도 예측 화상 생성부(313)에 있어서, 예측 신호 생성용 파라미터(307)(C0 성분의 NㆍN 화소 블록의 예측의 결과 얻어진 것)와, 메모리(413) 상의 원해상도 국소 복호 화상(314)으로부터, 예측 신호 생성용 파라미터(307)가 생성된 기준 색성분 C0의 위치와, 부호화 단위 블록(102) 내에서 대응하는 NㆍN 화소 블록 위치의 C1 성분의 신호에 대한 DC 예측 신호(321)를 생성한다. 복호 DC 예측 오차 신호(320b)와 DC 예측 신호(321)는 가산, 클리핑 처리되어 복호 DC 신호(322)로서 출력된다.
한편, AC 복호부(329b)(AC 국소 복호부(329)와 동일한 동작)는, AC 압축 데이터(326)에 역양자화를 행하고, DCT(이산 코사인 변환) 등의 역변환 처리를 실시하여, 복호 AC 예측 오차 신호(330b)를 얻는다. 복호 AC 예측 오차 신호(330b)는, C0 성분 복호부(401)로부터 출력된 참조 AC 신호(309)와 가산, 클리핑 처리되어 복호 AC 신호(331)가 얻어진다. 마지막으로, C1 성분 신호 합성부(205b)에서, 복호 AC 신호(331)는 복호 DC 신호(322)와 가산되어, 원해상도의 복호 신호(332)로 재구성되고, 이후의 복호 처리에 있어서의 예측 참조에 이용하기 위해서, 메모리(413)에 저장된다.
2.3 C2 성분의 복호 처리
C2 성분의 복호 처리는, 대체로, C1 성분의 복호 처리와 등가인 처리로 실현할 수 있다. 이 처리는 C2 성분 복호부(403)에서 행해지고, 그 내부 처리는, C1 성분을 부호화한 비트 스트림(333) 대신에, 동일한 방법으로 부호화된 C2 성분의 부호화 데이터를 포함하는 비트 스트림(351)을 처리하는 것, 또한, 복호 DC, AC 신호를 합성하는 신호 합성부를 C2 성분용의 신호 합성부(205c)(도시하지 않음)를 사용하는 것, 메모리(413) 대신에 C2 성분의 국소 복호 화상을 저장하기 위한 메모리(414)(도시하지 않음)를 사용할 뿐이고, 나머지는 C1 성분 복호부(402)의 구성을 그대로 이용할 수 있다.
이상과 같이 부호화 장치ㆍ복호 장치를 구성함으로써, 임의의 색공간에서 정의되는 4:4:4 포맷의 영상 신호를 효율적으로 압축 부호화할 수 있다. 시간ㆍ공간 방향의 예측 처리를 DC 화상 영역에서 행함으로써, HDTV 등의 고해상도 영상에서는 노이즈 성분에 영향을 받기 어려워서 화상 패턴에 매우 적합한 예측을 행할 수 있음과 동시에, AC 화상에 대해서는 기준으로 되는 색성분의 복호 신호를 예측값으로서 이용하기 때문에, 색성분간의 상관을 제거하여 효율적인 부호화를 행할 수 있다. 또한, DC 신호의 예측은 기준 색성분의 예측 모드를 유용하도록 구성했기 때문에, 불필요한 부가 정보를 전송하지 않고 효율적인 부호화를 행할 수 있다.
또한, 화상 신호의 비정상성에 따라, 부호화 단위 블록(102)의 신호의 성질에 따라서는 본 실시형태 2와 같이 화면 전체를 항상 동일한 방법으로 부호화하면 부호화 효율의 저하를 초래할 가능성도 있다. 이것을 회피하기 위해서, 예컨대, 부호화 장치 측에서, C1, C2 성분의 부호화에 대해서는, 본 실시형태 2에서 설명한 방법뿐만 아니라, C0 성분의 부호화와 마찬가지의 처리를 행하도록 전환하여 부호화하도록 구성해도 좋다. 전환은, 예컨대, C0, C1 성분에 대해서, 본 실시형태 2에서 설명한 방법으로 부호화를 행한 경우와, C0 성분의 부호화와 마찬가지의 부호화를 행한 경우에서, 부호량과 부호화 왜곡의 밸런스로부터 레이트ㆍ왜곡 측도(測度; measure)의 관점에서 최적의 부호화 수단을 선택하도록 제어해도 좋고, 부호화 단위 블록(102)의 신호의 성질ㆍ액티비티를 해석하여, 그 결과에 따라 어느 쪽의 부호화 처리의 경로가 적합한지를 결정하도록 제어해도 좋다. 또한, 전환을 행하는 경우는, 소정의 데이터 단위로 비트 스트림으로 전환하여 제어 신호를 다중화함으로써, 복호 장치 측에서는 그것을 복호하여 이용할 수 있고, 부호화 장치 측에서 행한 전환 제어를 위한 판정 처리를 복호 장치 측에서 행하지 않고, 간이한 구성으로 전환을 수반하는 비트 스트림을 복호할 수 있다. 전환 제어 신호는, 부호화 단위 블록(102)의 부호화 데이터의 단위로 다중해도 좋고, 슬라이스, 픽쳐, 시퀀스 등의 임의의 계층에서 다중하도록 구성해도 좋다.
(실시형태 3)
본 실시형태 3에서는, 4:4:4 포맷으로 입력되는 영상 프레임을, 각 색성분 모두 MㆍM 화소의 직사각형 영역으로 분할한 단위로 프레임 내, 프레임간 적응 예측을 이용하여 부호화를 행하는 부호화 장치, 및 대응하는 복호 장치에 대해서 설명한다. 본 실시형태 3에 있어서의 부호화 장치, 복호 장치는, 화상 신호의 샘플링 밀도를 부호화ㆍ복호의 과정에서 적응적으로 전환하는 기구를 구비하는 것이 특징이다.
1. 부호화 장치의 동작 개요
도 22에 본 실시형태 3에 있어서의 화상 부호화 장치의 구성을 나타낸다. 4:4:4 포맷의 입력 신호(100)는 3개의 색성분 C0, C1, C2의 신호로 구성되고, 영역 분할부(101)에 있어서, C0, C1, C2 성분의 각 MㆍM 화소 크기의 직사각형 블록으로 이루어지는 부호화 단위 블록(102)으로 분할된다.
예측부(500)는 부호화 단위 블록(102)의 각 색성분의 샘플을 프레임 내ㆍ프레임간에서 예측하여, 예측 오차 신호(501)를 얻는다. 압축부(502)는, 예측 오차 신호(501)에 대하여 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화하여 압축 데이터(503)를 얻는다. 압축 데이터(503)는 가변 길이 부호화부(504)에서 엔트로피 부호화되어 비트 스트림(505)으로서 출력됨과 동시에, 국소 복호부(506)로 보내어져서, 복호 예측 오차 신호(507)를 얻는다. 이것을 예측 오차 신호(501)의 생성에 이용한 예측 신호(508)와 가산하여 복호 신호(509)를 얻는다. 복호 신호(509)는 이후의 부호화 단위 블록(102)을 위한 예측 신호(508)를 생성할 목적으로 메모리(510)에 저장된다. 또한, 예측 신호(508)를 얻기 위해서 예측부(500)에서 결정된 예측 신호 생성용 파라미터(511)는 가변 길이 부호화부(504)로 보내어져서, 비트 스트림(505)으로서 출력된다. 본 실시형태 3에서는, 예측 신호 생성용 파라미터(511)에, 프레임 내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등의 파라미터에 부가하여, 예측을 행한 신호의 샘플링 밀도 지정 정보(512)를 포함하고, 동 정보(512)에 근거하여 스위치(513)를 제어하여, 원래의 4:4:4 포맷 그대로 예측을 행한 경우에는, 복호 신호(509)를 그대로 메모리(510)로 기입하고, 4:4:4 포맷의 샘플링 밀도보다 낮은 샘플링 밀도로 예측이 행해진 경우에는, 복호 신호(509)를 업샘플링부(514)에서 업샘플링 복호 신호(515)로 업샘플링을 행하고 나서 메모리(510)에 기입하도록 구성한다. 또한, 샘플링 밀도 지정 정보(512)는 압축부(502), 가변 길이 부호화부(504), 국소 복호부(506)에도 전해져서, 변환ㆍ양자화해야 할 샘플수, 압축 데이터(503)로서 가변 길이 부호화해야 할샘플수 등을 전환하는 데 이용된다.
이상과 같이 부호화 장치를 구성함으로써, 이하의 효과가 있다. 도 31과 같은 종래의 4:2:0 포맷에서는, 색정보의 신호 열화에 대한 시인성이 낮음을 이용하여 원(原)신호 영역에서 부호화해야 할 샘플수를 삭감해서 정보 압축을 실현하고 있었다. 이 색의 다운 샘플링이 가장 화상 품질에 영향을 주는 것은, 색이 급준하게 변화되는 영역에서 그 변화를 표현하기 위한 주파수 성분이 원래 손실되어 있는 경우이다. 표시 장치의 고세밀화, 색재현성의 개선이 진행하면, 이러한 색정보의 손실이 화상 품질에 주는 영향을 무시할 수 없게 된다. 한편, 평탄한 색분포, 균일한 색분포를 나타내는 영역에서는, 화상 신호의 재구성에 있어서 그와 같은 급준한 색변화를 표현하기 위해서 필요한 주파수 성분은 중요하지 않게 되기 때문에, 그와 같은 영역에서는 부호화해야 할 색정보의 샘플수를 삭감하도록 구성해도 좋다. 원화상 신호는 비정상이며 신호 특성은 국소적으로 변화되기 때문에, 상기와 같은 색재현에 관한 신호 특성에 따라 부호화해야 할 샘플수를 적응적으로 변화시키는 기구를 구비함으로써, 보다 효율적인 부호화를 행할 수 있다.
이하, 본 실시형태 3의 설명에 있어서는, 특히, 입력 신호(100)가 Y, Cb, Cr 공간의 4:4:4 포맷의 신호인 경우를 예로 하여 설명한다. 샘플링의 적응화에 대해서는, Cb 및 Cr의 색차 성분에 대해 적용하는 사례를 다루고, 특히 Cb, Cr 성분에 대해 4:4:4 포맷으로 예측, 부호화를 행할지, 4:2:0 포맷으로 예측, 부호화를 행할지를 전환하는 예를 나타낸다.
도 23에 예측부(500)의 내부 구성을 나타낸다. 먼저, 부호화 단위 블록(102)의 각 색성분에 적용하는 예측 화상 후보를 생성한다. 제 1 예측 화상 생성부(516)는 메모리(510)로부터 출력하는 4:4:4 포맷의 참조 화상(519)을 사용하여, 4:4:4 포맷 그대로 적용하는 제 1 예측 화상 후보(517)를 생성한다. 제 2 예측 화상 생성부(518)는, 참조 화상(519)을 다운 샘플링부(520)에서 4:2:0 포맷으로 다운 샘플링한 신호를 이용하여 4:2:0 포맷에서의 제 2 예측 화상 후보(521)를 생성한다. 다운 샘플링부(520)는 Cb, Cr 성분을 각각 수평ㆍ수직 방향으로 1/2의 샘플 수로 다운 샘플링하는 처리를 행한다. 여기서는, 제 1 예측 화상 생성부(516), 제 2 예측 화상 생성부(518)는, 프레임 내의 인트라 예측이나 프레임간의 움직임 보상 예측을 적용해서 예측 화상을 생성하는 것으로서, 부호화 단위 블록(102)의 각 색성분에 적용가능한 모든 예측 모드를 일반적으로 포함하는 구성으로 한다.
이어서, 제 1 예측 화상 후보(517) 및 제 2 예측 화상 후보(521)를 부호화 효율의 관점에서 비교하여, 보다 효율적인 예측 화상 후보를 선택한다. 이 선택은, 예측 모드 판정부(522)에서 행한다. 예측 모드 판정부(522)의 내부 구성을 도 24에 나타낸다. 제 1 예측 화상 후보(517)는 부호화 단위 블록(102)과 차분을 취하여 제 1 예측 오차 신호 후보(534)를 구하고, 그것을 잠정 4:4:4 부호화부(523)에서 일단 부호화한다. 그 결과, 제 1 부호량(524)(R1)과, 제 1 복호 예측 오차 신호(525)를 얻는다. 제 1 복호 예측 오차 신호(525)는, 제 1 예측 화상 후보(517)와 가산한 후, 4:4:4 부호화 왜곡 산출부(526)에서 부호화 단위 블록(102)과의 차분을 취해서 제 1 부호화 왜곡(527)(D1)을 얻는다. 한편, 제 2 예측 화상 후보(521)는, 부호화 단위 블록(102)을 다운 샘플링부(520)에서 4:2:0 포맷으로 한 후, 제 2 예측 화상 후보(521)와 차분을 취하여 제 2 예측 오차 신호 후보(535)를 구하고, 그것을 잠정 4:2:0 부호화부(528)에서 일단 부호화한다. 그 결과, 제 2 부호량(529)(R1)과, 제 2 복호 예측 오차 신호(530)를 얻는다. 제 2 복호 예측 오차 신호(530)는, 제 2 예측 화상 후보(521)와 가산한 후, 업샘플링부(514)에 의해서 4:4:4 포맷의 신호로 복귀되고, 4:2:0 부호화 왜곡 산출부(531)에서 부호화 단위 블록(102)과의 차분을 취하여 제 2 부호화 왜곡(532)(D1)을 얻는다. 비용 비교부(533)는 이하의 비용 J1, J2 중, 비용이 작은 쪽을 효율이 좋은 예측 모드로서 선택한다.
Figure pct00003
이 결과로서, 4:2:0 포맷으로 예측을 행하는 쪽이 좋을지, 4:4:4 포맷으로 예측을 행하는 쪽이 좋을지가 판정되고, 그 결과는, 샘플링 밀도 지정 정보(512)로서, 예측 신호 생성용 파라미터(511)에 포함되어 출력된다. 또한, 최종적인 예측 신호(508)는, 샘플링 밀도 지정 정보(512)에 근거하여 제 1 예측 화상 후보(517) 내지 제 2 예측 화상 후보(521)로부터 선택하여 출력된다. 동일하게, 대응하는 제 1 예측 오차 신호 후보(534) 내지 제 2 예측 오차 신호 후보(535)가 선택되어, 최종적인 예측 오차 신호(501)로서 출력된다.
또한, 예측 모드 판정부(522)의 처리의 다른 형태로서, 도시는 하지 않지만, 잠정 부호화까지 행하지 않고서, D1/R1, D2/R2에 상당하는 양의 추정값을 구하여 선택을 행하도록 구성해도 좋다.
도 25에 비트 스트림의 구조를 나타낸다. 시퀀스 레벨의 헤더 정보(150), 영상 프레임(픽쳐) 레벨의 헤더 정보(151), 픽쳐의 부호화 데이터(152)의 계열로서 구성되고, 각 부호화 단위 블록(102)마다, 예측 신호 생성용 파라미터(511)와, Y, Cb, Cr 성분의 예측 오차 신호 압축 데이터(503)가 다중된다. 샘플링 밀도 지정 정보(512)는 예측 신호 생성용 파라미터(511)의 일부로서 다중되고, 이 값에 따라서, 압축 데이터(503) 중, Cb, Cr 성분의 부호화 데이터의 양이 변화된다. 4:4:4 포맷으로 예측ㆍ부호화되고 있는 경우는, MㆍM 샘플분의 부호화 데이터가 포함되어 있고, 4:2:0 포맷으로 예측ㆍ부호화되고 있는 경우는, (M/2)ㆍ(M/2) 샘플분의 부호화 데이터를 포함한다. 상술한 효과에서 설명한 바와 같이, (M/2)ㆍ(M/2) 샘플이더라도 충분히 원신호의 4:4:4 포맷에 포함되는 색정보의 주파수 성분이 재현가능한 경우, 보다 적은 부호량으로 4:4:4 포맷의 신호를 부호화할 수 있다.
2. 복호 장치의 동작 개요
도 26의 복호 장치는, 도 22의 부호화 장치로부터 출력되는 비트 스트림(505)을 수신하고, MㆍM 화소 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다. 도 26에서, 가변 길이 복호부(600)는, 비트 스트림(505)으로부터 시퀀스 레벨의 헤더 정보(150)나 픽쳐 레벨의 헤더 정보(151) 등의 상위 헤더 정보를 복호함과 아울러, 픽쳐 부호화 데이터(152)로부터, MㆍM 화소 블록의 단위로 예측 신호 생성용 파라미터(511), 압축 데이터(503)의 해석ㆍ추출을 행한다.
예측 신호 생성용 파라미터(511)는 예측부(601)로, 압축 데이터(503)는 예측 오차 복호부(506b)(국소 복호부(506)와 동일한 동작)로 전달된다. 예측부(601)에서는, 움직임 벡터나 인트라 예측 모드 등의 예측 신호 생성용 파라미터(511), 및 그 일부로서 포함되는 샘플링 밀도 지정 정보(512)와, 메모리(602)에 저장되는 참조 화상(603)을 이용하여, 시간ㆍ공간 방향의 예측 신호(508)를 얻는다. 예측 오차 복호부(506b)는, 압축 데이터(503)에 역양자화를 행하고, DCT(이산 코사인 변환) 등의 역변환 처리를 실시하여, 복호 예측 오차 신호(507)를 얻는다. 예측 신호(508)와 복호 예측 오차 신호(507)를 가산하여 복호 신호(509)를 얻는다. 복호 신호(509)는 이후의 복호 처리를 위한 예측 신호(508)를 생성할 목적으로 메모리(602)에 저장된다. 예측 신호 생성용 파라미터(511)에 포함되는 샘플링 밀도 지정 정보(512)는, 예측 오차 복호부(506b)로 보내어지고, 역양자화, 역변환해야 할 Cb, Cr 성분의 샘플수를 정하기 위해서 참조되는 것 외에, 예측부(601)(후술), 및 스위치(513)로 보내어진다. 스위치(513)는 샘플링 밀도 지정 정보(512)를 참조하여, 원래의 4:4:4 포맷 그대로 예측을 행한 경우에는, 복호 신호(509)를 그대로 메모리(602)로 기입하고, 4:4:4 포맷의 샘플링 밀도보다 낮은 4:2:0 포맷의 샘플링 밀도로 예측이 행해진 경우에는, 복호 신호(509)를 업샘플링부(514)에서 업샘플링 복호 신호(515)로 업샘플링을 행하고 나서 메모리(602)로 기입하도록 구성한다. MㆍM 화소 블록의 복호 신호(509)는, 화면 구성부(604)에 있어서 영상 프레임 상에 배치되어, 복호 영상 프레임(605)을 얻는다.
이하, 예측부(601)의 내부 동작을 설명한다. 도 27에 예측부(601)의 내부 구성을 나타낸다. 예측부(601)에서는, 가변 길이 복호부(600)로 복호된 예측 신호 생성용 파라미터(511)에 근거하여, Y, Cb, Cr 각 성분으로 이루어지는 M×M 화소 블록마다 사용되는 예측 화상을 생성한다. 샘플링 밀도 지정 정보(512)가 「4:4:4 포맷 그대로 예측을 행하는」 것을 나타내고 있는 경우, 스위치(606)를 제어하여, 메모리(602)에 기억되는 참조 화상(603)을 제 1 예측 화상 생성부(516) 측으로 입력한다. 제 1 예측 화상 생성부(516)는 예측 신호 생성용 파라미터(511)를 이용하여 4:4:4 포맷의 제 1 예측 화상 후보(517)를 생성한다. 샘플링 밀도 지정 정보(512)가 「4:2:0 포맷으로 예측을 행하는」 것을 나타내고 있는 경우, 스위치(606)를 제어하여, 메모리(602)에 기억되는 참조 화상(603)을 다운 샘플링부(520) 측으로 입력한다. 이에 의해, 4:4:4 포맷으로 메모리(602)에 기억되는 참조 화상(603)은, 4:2:0 포맷으로 다운 샘플링되고, 제 2 예측 화상 생성부(518)로 입력된다. 제 2 예측 화상 생성부(518)는, 예측 신호 생성용 파라미터(511)를 이용하여 4:2:0 포맷의 제 2 예측 화상 후보(521)를 생성한다. 샘플링 밀도 지정 정보(512)는, 스위치(607)를 제어하여, 출력되는 예측 신호(508)를 결정한다. 또한, Y 신호에 대해서는 4:4:4에서도 4:2:0에서도 샘플수는 동일하기 때문에, 항상 제 1 예측 화상 생성부(516)의 처리에 의해 예측 신호를 생성한다.
이상과 같이 부호화 장치ㆍ복호 장치를 구성함으로써, 임의의 색공간에서 정의되는 4:4:4 포맷의 영상 신호를 효율적으로 압축 부호화할 수 있다. 시간ㆍ공간 방향의 예측 처리를, 성분마다 샘플링 밀도를 가변으로 행하도록 구성했기 때문에, 화상 신호의 국소적인 신호 특성에 적응하여 가장 부호화 효율이 높은 모드를 선택하여 부호화하는 것이 가능해진다.
또한, 본 실시형태 3에서는, M×M 화소 블록마다 샘플링 밀도 지정 정보(512)를 변경하여 부호화 제어를 행하도록 구성했지만, 샘플링 밀도 지정 정보(512)의 지정은, 슬라이스, 픽쳐, 시퀀스 등의 여러 가지의 화상 신호의 단위이어도 좋다. 예컨대, 시퀀스를 통해서 항상 4:2:0 포맷으로 예측, 부호화를 행하더라도 좋은 경우도 생각된다. 그 경우는, Cb, Cr 성분의 복호 신호(509)를 메모리(602)에 저장ㆍ기억하는 경우에 항상 4:2:0 포맷으로 저장해 두도록 구성할 수도 있다. 또한, 이 경우는, 시퀀스를 통해서, 메모리(602) 저장 전의 업샘플링부(514)의 처리를 스킵하는 것도 가능하다. 샘플링 밀도 지정 정보(512)를 시퀀스 레벨의 헤더 정보에 다중화함으로써, 이러한 복호 측에서의 메모리 삭감, 연산량 삭감이 가능하다. 또한, 4:2:0 포맷은 기존의 표준 부호화 방식에서 잘 이용되기 때문에, 4:2:0 포맷에 있어서의 Cb, Cr 성분의 예측ㆍ부호화의 방법을, 종래의 표준 부호화 방식에 준한 방식으로 설계해 두는 구성을 취해도 좋다. 이렇게 함으로써, 복호 측은, 4:4:4 포맷으로 부호화된 비트 스트림의 복호 처리를 행하기 위한, 4:2:0 포맷 대응 처리 회로ㆍ실장을, 기존의 표준 부호화 방식에서 사용되는 Cb, Cr 성분의 복호 처리 회로ㆍ실장과 공유할 수 있기 때문에, 상호 접속성이 높은 복호 장치를 저비용으로 실현할 수 있게 된다.
또한, 본 실시형태 3의 구성을 확장하여, 샘플링 밀도 지정 정보(512)를 4:4:4, 4:2:0뿐만 아니라, 4:2:2(도 28)나, 그 밖의 가변 샘플링 밀도 패턴 1~8(도 29, 30) 등과 같은 다양한 샘플링 패턴을 선택가능한 정보로서 정의하도록 구성해도 좋다. 화상 신호에는, 에지 등, 공간적으로 여러 가지의 방향으로 고주파 성분이 분산되는 경우가 있다. 따라서, 밀도가 높은 샘플링을 행하는 개소에 방향성을 갖게 하는 것에 의해, 적은 샘플이라도 충분한 신호 표현을 행하는 것이 가능하게 되는 경우가 있다. 4:2:0만으로는 단지 샘플을 삭감할 뿐이며, 이러한 여러 가지의 샘플링 패턴을 적응적으로 선택하는 것이 가능하도록 구성해 두면, 화상 신호의 국소적인 신호 특성에 적합한 샘플링 패턴을 선택하여, 보다 효율적인 부호화를 행하는 것이 가능하다. 또한, 본 실시형태 3에서는, 부호화ㆍ복호 대상 신호의 색공간을 Y, Cb, Cr로 한정해서 설명했지만, 이 색공간도 RGB, XYZ 등 다양한 공간이더라도 좋고, 또한, 어떤 특정한 색성분만을 선택적으로 적응 서브 샘플링 부호화ㆍ복호의 대상으로 취하도록, 비트 스트림에 적응 서브 샘플 부호화의 유무를 나타내는 신호를 다중하여 제어하도록 구성해도 좋다.

Claims (12)

  1. 복수의 색성분으로 구성되는 컬러 화상을 입력으로 하고, 이 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로 압축 부호화해서 비트 스트림을 생성하는 화상 부호화 장치로서,
    상기 제 1 영역에 속하는 각 색성분의 신호에 대하여, 상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 평균값을 얻음과 동시에, 상기 제 2 영역에 대응하는 평균값 분리 신호를 얻는 신호 분석부와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 평균값으로 구성되는 평균값 신호에 대해 각 색성분마다 독립적으로 예측 부호화를 행하는 평균값 신호 부호화부와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 복수의 색성분의 평균값 분리 신호에 대해 복수 준비되는 색성분간의 변환 방법을 전환하여 변환을 실시한 후, 상기 평균값 신호 부호화부와는 독립적으로 부호화를 행하는 평균값 분리 신호 부호화부
    를 구비하고,
    상기 평균값 분리 신호 부호화부는, 선택한 색성분간의 변환을 지시하는 정보를 부호화 데이터의 일부로서 비트 스트림으로 출력하는 것
    을 특징으로 하는 화상 부호화 장치.

  2. 복수의 색성분으로 구성되는 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로, 압축 부호화된 비트 스트림을 입력으로 하여, 화상 신호를 복호하는 화상 복호 장치로서,
    상기 제 1 영역에 속하는 각 색성분의 부호화 데이터로부터, 상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 부호화되는 평균값을 복호하는 평균값 신호 복호부와,
    상기 제 1 영역에 속하는 각 색성분의 부호화 데이터로부터, 상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 부호화되는 평균값 분리 신호를 복호하는 평균값 분리 신호 복호부와,
    상기 평균값 신호 복호부에 의해 복호되는 복호 평균값 신호와, 상기 평균값 분리 신호 복호부에 의해 복호되는 복호 평균값 분리 신호를 가산하여 복호 신호를 얻는 신호 합성부
    를 구비하고,
    상기 평균값 신호 복호부는, 각 색성분마다 독립적으로 예측 처리를 적용하여 복호를 행하고,
    상기 평균값 분리 신호 복호부는, 비트 스트림으로부터 추출한 색성분간의 변환을 지시하는 정보에 근거해 색성분간의 변환 처리를 실시하여 복호를 행하는 것
    을 특징으로 하는 화상 복호 장치.
  3. 복수의 색성분으로 구성되는 컬러 화상을 입력으로 하여, 이 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로 압축 부호화하여 비트 스트림을 생성하는 화상 부호화 장치로서,
    상기 제 1 영역에 속하는 기준 색성분의 신호를 부호화하는 기준 색성분 신호 부호화부와,
    상기 제 1 영역에 속하는 기준 색성분 이외의 신호를 부호화하는 신호 부호화부
    를 구비하고,
    상기 신호 부호화부는,
    상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 평균값을 얻음과 동시에, 상기 제 2 영역에 대응하는 평균값 분리 신호를 얻는 신호 분석부와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 평균값으로 구성되는 평균값 신호에 대해, 상기 기준 색성분 신호 부호화부로부터 출력되는 예측 파라미터에 근거하여 각 색성분마다 독립적으로 예측 부호화를 행하는 평균값 신호 부호화부와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 평균값 분리 신호에 대해, 상기 기준 색성분 신호 부호화부로부터 출력되는 국소 복호 신호에 근거하여 독립적으로 예측 부호화를 행하는 평균값 분리 신호 부호화부
    를 갖는 것을 특징으로 하는 화상 부호화 장치.
  4. 복수의 색성분으로 구성되는 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로, 압축 부호화된 비트 스트림을 입력으로 하여, 화상 신호를 복호하는 화상 복호 장치로서,
    상기 제 1 영역에 속하는 기준 색성분의 신호를 복호하는 기준 색성분 신호 복호부와,
    상기 제 1 영역에 속하는 기준 색성분 이외의 신호를 복호하는 신호 복호부
    를 구비하고,
    상기 신호 복호부는,
    상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 부호화되는 평균값을, 상기 기준 색성분 신호 복호부로부터 출력되는 예측 파라미터에 근거하여 각 색성분마다 독립적으로 예측 신호를 생성함으로써 복호하는 평균값 신호 복호부와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 부호화되는 평균값 분리 신호를, 상기 기준 색성분 신호 복호부로부터 출력되는 복호 신호에 근거하여 각 색성분마다 독립적으로 예측 신호를 생성함으로써 복호하는 평균값 분리 신호 복호부와,
    상기 평균값 신호 복호부에 의해 복호되는 복호 평균값 신호와, 상기 평균값 분리 신호 복호부에 의해 복호되는 복호 평균값 분리 신호를 가산하여 복호 신호를 얻는 신호 합성부
    를 갖는 것을 특징으로 하는 화상 복호 장치.
  5. 복수의 색성분으로 구성되는 4:4:4 포맷의 컬러 화상을 입력으로 하여, 이 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로 압축 부호화해서 비트 스트림을 생성하는 화상 부호화 장치로서,
    상기 제 1 영역에 속하는 색성분의 신호에 대해, 4:4:4 포맷의 신호에 근거하여 예측을 행하는 제 1 예측부와,
    상기 제 1 영역에 속하는 색성분의 신호에 대해, 4:4:4 포맷으로부터 다운 샘플링을 행한 신호에 근거하여 예측을 행하는 제 2 예측부와,
    상기 제 1 예측부 내지 제 2 예측부에 의한 예측 중, 효율이 높은 쪽을 선택하여 신호 예측을 행하는 예측 방식 선택부와,
    상기 선택된 예측 방식을 지정하는 정보를 비트 스트림에 다중화하는 다중화부
    를 구비하는 것을 특징으로 하는 화상 부호화 장치.
  6. 복수의 색성분으로 구성되는 4:4:4 포맷의 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로, 압축 부호화된 비트 스트림을 입력으로 하여, 화상 신호를 복호하는 화상 복호 장치로서,
    상기 제 1 영역에 속하는 색성분의 신호를 복호함에 있어서, 4:4:4 포맷의 신호에 근거한 예측 화상을 생성하는 제 1 예측 화상 생성부와,
    상기 제 1 영역에 속하는 색성분의 신호를 복호함에 있어서, 4:4:4 포맷으로부터 다운 샘플링을 행한 신호에 근거한 예측 화상을 생성하는 제 2 예측 화상 생성부와,
    상기 제 1 예측 화상 생성부 내지 제 2 예측 화상 생성부 중, 어느 쪽의 예측 화상 생성부를 이용하여 상기 제 1 영역에 속하는 색성분의 신호를 복호할지를 지정하는 정보를 비트 스트림으로부터 추출하고, 상기 지정 정보에 근거하여 예측 화상을 생성하는 예측 화상 생성부
    를 구비하는 것을 특징으로 하는 화상 복호 장치.
  7. 복수의 색성분으로 구성되는 컬러 화상을 입력으로 하고, 이 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로 압축 부호화해서 비트 스트림을 생성하는 화상 부호화 방법으로서,
    상기 제 1 영역에 속하는 각 색성분의 신호에 대해, 상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 평균값을 얻음과 동시에, 상기 제 2 영역에 대응하는 평균값 분리 신호를 얻는 단계와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 평균값으로 구성되는 평균값 신호에 대해 각 색성분마다 독립적으로 예측 부호화를 행하는 단계와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 복수의 색성분의 평균값 분리 신호에 대해 복수 준비되는 색성분간의 변환 방법을 전환하여 변환을 실시한 후, 상기 평균값 신호에 대한 부호화 단계와는 독립적으로 부호화를 행하는 단계
    를 구비하고,
    상기 평균값 분리 신호에 대한 부호화를 행하는 단계는, 선택한 색성분간의 변환을 지시하는 정보를 부호화 데이터의 일부로서 비트 스트림으로 출력하는 것
    을 특징으로 하는 화상 부호화 방법.
  8. 복수의 색성분으로 구성되는 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로, 압축 부호화된 비트 스트림을 입력으로 하여, 화상 신호를 복호하는 화상 복호 방법으로서,
    상기 제 1 영역에 속하는 각 색성분의 부호화 데이터로부터, 상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 부호화되는 평균값을 복호하는 단계와,
    상기 제 1 영역에 속하는 각 색성분의 부호화 데이터로부터, 상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 부호화되는 평균값 분리 신호를 복호하는 단계와,
    상기 복호된 복호 평균값 신호와, 상기 복호된 복호 평균값 분리 신호를 가산하여 복호 신호를 얻는 단계
    를 구비하고,
    상기 평균값 신호를 복호하는 단계는, 각 색성분마다 독립적으로 예측 처리를 적용하여 복호를 행하고,
    상기 평균값 분리 신호를 복호하는 단계는, 비트 스트림으로부터 추출한 색성분간의 변환을 지시하는 정보에 근거해 색성분간의 변환 처리를 실시하여 복호를 행하는 것
    을 특징으로 하는 화상 복호 방법.
  9. 복수의 색성분으로 구성되는 컬러 화상을 입력으로 하고, 이 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로 압축 부호화해서 비트 스트림을 생성하는 화상 부호화 방법으로서,
    상기 제 1 영역에 속하는 기준 색성분의 신호를 부호화하는 단계와,
    상기 제 1 영역에 속하는 기준 색성분 이외의 신호를 부호화하는 단계
    를 구비하고,
    상기 기준 색성분 이외의 신호를 부호화하는 단계는,
    상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 평균값을 얻음과 동시에, 상기 제 2 영역에 대응하는 평균값 분리 신호를 얻는 단계와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 평균값으로 구성되는 평균값 신호에 대해, 상기 기준 색성분의 신호를 부호화하는 단계로부터 출력되는 예측 파라미터에 근거하여 각 색성분마다 독립적으로 예측 부호화를 하는 단계와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 얻어진 평균값 분리 신호에 대해, 상기 기준 색성분의 신호를 부호화하는 단계로부터 출력되는 국소 복호 신호에 근거하여 독립적으로 예측 부호화를 행하는 단계
    를 갖는 것을 특징으로 하는 화상 부호화 방법.
  10. 복수의 색성분으로 구성되는 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로, 압축 부호화된 비트 스트림을 입력으로 하여, 화상 신호를 복호하는 화상 복호 방법으로서,
    상기 제 1 영역에 속하는 기준 색성분의 신호를 복호하는 단계와,
    상기 제 1 영역에 속하는 기준 색성분 이외의 신호를 복호하는 단계
    를 구비하고,
    상기 기준 색성분 이외의 신호를 복호하는 단계는,
    상기 제 1 영역을 분할해서 얻어지는 제 2 영역 단위로 부호화되는 평균값을, 상기 기준 색성분의 신호를 복호하는 단계로부터 출력되는 예측 파라미터에 근거하여 각 색성분마다 독립적으로 예측 신호를 생성함으로써 복호하는 단계와,
    상기 제 1 영역을 분할해서 얻어지는 상기 제 2 영역 단위로 부호화되는 평균값 분리 신호를, 상기 기준 색성분의 신호를 복호하는 단계로부터 출력되는 복호 신호에 근거하여 각 색성분마다 독립적으로 예측 신호를 생성함으로써 복호하는 단계와,
    상기 복호된 복호 평균값 신호와, 상기 복호된 복호 평균값 분리 신호를 가산하여 복호 신호를 얻는 단계
    를 갖는 것을 특징으로 하는 화상 복호 방법.
  11. 복수의 색성분으로 구성되는 4:4:4 포맷의 컬러 화상을 입력으로 하고, 이 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로 압축 부호화해서 비트 스트림을 생성하는 화상 부호화 방법으로서,
    상기 제 1 영역에 속하는 색성분의 신호에 대해, 4:4:4 포맷의 신호에 근거하여 예측을 행하는 단계와,
    상기 제 1 영역에 속하는 색성분의 신호에 대해, 4:4:4 포맷으로부터 다운 샘플링을 행한 신호에 근거하여 예측을 행하는 단계와,
    상기 4:4:4 포맷의 신호에 근거하는 예측을 행하는 단계 내지 상기 4:4:4 포맷으로부터 다운 샘플링을 행한 신호에 근거하는 예측을 행하는 단계에 의한 예측 중, 효율이 높은 쪽을 선택해서 신호를 예측하는 단계와,
    상기 선택된 예측 방식을 지정하는 정보를 비트 스트림에 다중화하는 단계
    를 구비하는 것을 특징으로 하는 화상 부호화 방법.
  12. 복수의 색성분으로 구성되는 4:4:4 포맷의 컬러 화상을 분할해서 얻어지는 제 1 영역 단위로, 압축 부호화된 비트 스트림을 입력으로 하여, 화상 신호를 복호하는 화상 복호 방법으로서,
    상기 제 1 영역에 속하는 색성분의 신호를 복호함에 있어서, 4:4:4 포맷의 신호에 근거한 예측 화상을 생성하는 단계와,
    상기 제 1 영역에 속하는 색성분의 신호를 복호함에 있어서, 4:4:4 포맷으로부터 다운 샘플링을 행한 신호에 근거한 예측 화상을 생성하는 단계와,
    상기 4:4:4 포맷의 신호에 근거하는 예측 화상을 생성하는 단계 내지 4:4:4 포맷으로부터 다운 샘플링을 행한 신호에 근거하는 예측 화상을 생성하는 단계 중, 어느 쪽의 단계를 이용하여 상기 제 1 영역에 속하는 색성분의 신호를 복호할지를 지정하는 정보를 비트 스트림으로부터 추출하고, 상기 지정 정보에 근거하여 예측 화상을 생성하는 단계
    를 구비하는 것을 특징으로 하는 화상 복호 방법.
KR1020107010565A 2007-10-15 2008-10-01 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 KR20100074276A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007267893 2007-10-15
JPJP-P-2007-267893 2007-10-15

Publications (1)

Publication Number Publication Date
KR20100074276A true KR20100074276A (ko) 2010-07-01

Family

ID=40567283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107010565A KR20100074276A (ko) 2007-10-15 2008-10-01 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법

Country Status (9)

Country Link
US (1) US20100232691A1 (ko)
EP (1) EP2200330A1 (ko)
JP (1) JPWO2009051010A1 (ko)
KR (1) KR20100074276A (ko)
CN (1) CN101828405A (ko)
BR (1) BRPI0817888A2 (ko)
CA (1) CA2702161A1 (ko)
RU (1) RU2010119523A (ko)
WO (1) WO2009051010A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2719453C1 (ru) * 2011-01-24 2020-04-17 Сони Корпорейшн Способ кодирования изображения и устройство обработки информации

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712847B2 (en) 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space
CN102333223A (zh) * 2011-10-25 2012-01-25 北京华兴宏视技术发展有限公司 视频数据编码方法、解码方法、编码系统和解码系统
KR101868435B1 (ko) 2011-12-05 2018-06-19 삼성전자주식회사 영상 압축 장치 및 이를 포함하는 영상 처리 장치
US9723308B2 (en) * 2012-02-28 2017-08-01 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
CN104782132B (zh) * 2012-07-09 2018-06-19 株式会社尼康 动态图像压缩装置、动态图像解码装置、图像压缩装置、图像解码装置、拍摄装置以及方法
WO2014051080A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
CN113259683B (zh) * 2013-04-08 2024-08-23 Ge视频压缩有限责任公司 分量间预测
EP2874397A1 (en) 2013-11-15 2015-05-20 Thomson Licensing Method of embedding of an image with a color transform
JP2015216619A (ja) * 2014-04-25 2015-12-03 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、撮像方法および符号化方法
US10057577B2 (en) * 2015-06-11 2018-08-21 Sony Corporation Pre-charge phase data compression
WO2018003008A1 (ja) * 2016-06-28 2018-01-04 三菱電機株式会社 画像符号化装置及び画像復号装置
JP6669622B2 (ja) * 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
CN106791841B (zh) * 2017-01-04 2019-05-24 西安万像电子科技有限公司 图像压缩方法和装置
EP3742732A4 (en) * 2018-01-16 2021-12-15 Nikon Corporation ENCODER, DECODER, ENCODING PROCESS, DECODING PROCESS, ENCODING PROGRAM AND DECODING PROGRAM
JP7390395B2 (ja) * 2019-03-12 2023-12-01 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 画像及びビデオコード化のための選択的成分間変換（ｉｃｔ）
JP7500981B2 (ja) * 2020-02-05 2024-06-18 富士通株式会社 画像符号化装置、画像復号装置、及び画像処理システム
US11645761B2 (en) * 2020-08-14 2023-05-09 Meta Platforms Technologies, Llc Adaptive sampling of images
US11816819B2 (en) * 2021-06-03 2023-11-14 Baylor University System and method for displaying super saturated color
US11501419B1 (en) * 2021-06-03 2022-11-15 Baylor University System and method for displaying super saturated color

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3448091B2 (ja) * 1994-02-18 2003-09-16 富士通株式会社 符号化復号化装置及び符号化復号化方法
JPH11243551A (ja) * 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
JP2001078188A (ja) * 1999-09-01 2001-03-23 Casio Comput Co Ltd 画像圧縮符号化装置、及び記憶媒体
JP2002204455A (ja) * 2000-12-28 2002-07-19 Hudson Soft Co Ltd 画像伝送システム、画像伝送システムの受信装置、画像伝送方法、伝送画像復号方法及び伝送画像復号方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3743389B2 (ja) * 2001-05-14 2006-02-08 株式会社ニコン 画像圧縮装置および画像圧縮プログラム
US7035459B2 (en) * 2001-05-14 2006-04-25 Nikon Corporation Image compression apparatus and image compression program
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) * 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080130990A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
JP2007104117A (ja) * 2005-09-30 2007-04-19 Seiko Epson Corp 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP5101522B2 (ja) * 2006-01-13 2012-12-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 適応色空間変換を用いた画像符号化

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2719453C1 (ru) * 2011-01-24 2020-04-17 Сони Корпорейшн Способ кодирования изображения и устройство обработки информации

Also Published As

Publication number Publication date
WO2009051010A1 (ja) 2009-04-23
CN101828405A (zh) 2010-09-08
EP2200330A1 (en) 2010-06-23
CA2702161A1 (en) 2009-04-23
JPWO2009051010A1 (ja) 2011-03-03
BRPI0817888A2 (pt) 2015-03-31
US20100232691A1 (en) 2010-09-16
RU2010119523A (ru) 2011-11-27

Similar Documents

Publication Publication Date Title
KR20100074276A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
US9532073B2 (en) Video encoding device, video decoding device, video decoding method, video decoding method, and program
KR100966427B1 (ko) 화상 복호 장치 및 화상 복호 방법
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101311402B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
EP2319241B1 (en) Skip modes for inter-layer residual video coding and decoding
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN104396245B (zh) 用于对图像进行编码或解码的方法和装置
EP2090108B1 (en) Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
JP5197630B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
WO2010004726A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路
EP3104614A1 (en) Image encoding device, image decoding device, encoded stream conversion device, image encoding method, and image decoding method
WO2013068132A1 (en) Inter-layer prediction between layers of different dynamic sample value range
EP1878263A1 (en) Method and apparatus for scalably encoding/decoding video signal
KR20130098122A (ko) 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2012005106A1 (ja) 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
JP6265414B2 (ja) 映像符号化装置及び映像復号装置
US9313523B2 (en) System for low resolution power reduction using deblocking
WO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR100260702B1 (ko) 인간의 시각특성을 이용한 영상신호 압축 부호화 방법 및 그 장치
KR20110055358A (ko) 비디오 신호의 처리 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application