KR20110040893A - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 - Google Patents

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 Download PDF

Info

Publication number
KR20110040893A
KR20110040893A KR1020117003012A KR20117003012A KR20110040893A KR 20110040893 A KR20110040893 A KR 20110040893A KR 1020117003012 A KR1020117003012 A KR 1020117003012A KR 20117003012 A KR20117003012 A KR 20117003012A KR 20110040893 A KR20110040893 A KR 20110040893A
Authority
KR
South Korea
Prior art keywords
motion prediction
motion
prediction mode
color component
decoding
Prior art date
Application number
KR1020117003012A
Other languages
English (en)
Inventor
šœ이치 세키구치
슈이치 야마기시
유스케 이타니
요시히사 야마다
요시아키 가토
고타로 아사이
도쿠미치 무라카미
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20110040893A publication Critical patent/KR20110040893A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

부호화 대상으로 되는 4:4:4 포맷의 영상 신호의 통계적ㆍ국소적 성질에 따라 신호 상관을 보다 양호하게 제거하여 효율적인 정보 압축을 행하는 방법 등을 제공한다. 각 색성분에 대해서, 복수의 움직임 예측 모드 중 가장 효율이 좋은 움직임 예측 모드를 결정하고, 상기 결정된 움직임 예측 모드에 대응하는 움직임 벡터를 검출해서 출력하는 예측부와, 상기 각 색성분의 움직임 예측 모드를 산술 부호화함에 있어서, 공간적으로 인접하는 단위 영역에서 선택된 움직임 예측 모드와, 시간적으로 인접하는 단위 영역에서 선택된 움직임 예측 모드에 근거하여, 상기 각 색성분의 움직임 예측 모드의 값의 발생 확률을 정해서 산술 부호화를 행하는 가변 길이 부호화부를 구비한다.

Description

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법{IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD}
본 발명은 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 사용되는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 에 관한 것이다.
종래, MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 주로 4:2:0 포맷이라고 불리는, 표준화된 입력 신호 포맷을 압축 처리 대상 신호로서 이용해 왔다. 4:2:0란, RGB 등의 컬러 동화상 신호를 휘도 성분(Y)과 2개의 색차 성분(Cb, Cr)으로 변환하여, 수평ㆍ수직 모두 색차 성분의 샘플수를 휘도 성분의 절반으로 삭감한 포맷이다. 색차 성분은 휘도 성분에 비해서 시인성이 떨어지기 때문에, MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격(이하, AVC)(비특허 문헌)과 같은 국제 표준 영상 부호화 방식에서는, 이와 같이 부호화를 행하기 전에 색차 성분의 다운 샘플링을 행함으로써 부호화 대상의 원래 정보량을 삭감해 두는 것을 전제로 하고 있었다. 한편, 디지털 영화 등의 고품위 콘텐츠에서는, 콘텐츠 제작시의 색표현을 상영시에 정확하게 재현하는 것을 목적으로 하여, 색차 성분을 다운 샘플링하지 않고 휘도 성분과 동일 샘플로 부호화하는 4:4:4 포맷에서의 직접 부호화 방식을 필수적으로 하고 있다. 이 목적에 적합한 방식으로서, 비특허 문헌 1에 있어서의 4:4:4 포맷 대응 확장 방식(High 4:4:4 Intra 내지 High 4:4:4 Predictive 프로파일)이나 WO2005/009050 A1 「화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치 및 방법」(특허 문헌 1)과 같은 방식이 있다. 4:2:0 포맷과 4:4:4 포맷의 차이를 도 19에 나타낸다. 이 도면에 있어서, 4:2:0 포맷은 휘도(Y)ㆍ색차(Cb, Cr) 신호로 구성되고, 색차 신호의 샘플은 휘도 신호의 2×2 샘플분 상당에 대해 1개인 것에 반하여, 4:4:4 포맷은 특별히 색을 표현하는 색공간을 Y, Cb, Cr로 한정하지 않고, 각 색성분의 신호의 샘플비가 1:1로 되어 있는 것을 나타내고 있다. 이하, 4:2:0, 4:4:4 등의 용어를 총칭하는 용어로서 「크로마 포맷」을 이용한다.
[선행기술문헌]
[특허문헌]
특허 문헌 1: WO2005/009050 A1 「화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치 및 방법」
[비특허문헌]
비특허 문헌 1: MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
비특허 문헌 2: S.Sekiguchi, et.al., "Low-overhead INTER Prediction Modes", VCEG-N45, Sep.2001.
비특허 문헌 3: S.Kondo and H.Sasai, "A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005.
비특허 문헌 4: D. Marpe 외, "Video Compression Using Context-Based Adaptive Arithmetic Coding", International Conference on Image Processing 2001
예컨대, 비특허 문헌 1에 의한 4:4:4 포맷의 부호화에서는, 도 20에 나타내는 바와 같이, 먼저, 미리 부호화 대상으로 되는 입력 영상 신호(1001)(4:4:4 포맷)를 직접 또는 적당한 색공간(Y, Cb, Cr 등)으로 변환을 행한 후, 블록 분할부(1002)에 있어서 매크로 블록(16화소×16라인의 직사각형 블록)의 단위로 분할되어 부호화 영상 신호(1003)로서 예측부(1004)에 입력한다. 비특허 문헌 1에서는, 매크로 블록은 3개의 색성분을 모은 단위로 구성해도 좋고, 각 색성분을 독립된 픽쳐로 간주하여, 단일 색성분의 직사각형 블록으로서 구성해도 좋고, 어떤 구성의 매크로 블록을 이용할지를 시퀀스 레벨로 선택가능하다. 예측부(1004)에서는, 매크로 블록 내의 각 색성분의 화상 신호를 프레임 내ㆍ프레임 사이에서 예측하여, 예측 오차 신호(1005)를 얻는다. 특히, 프레임 사이에서 예측을 행하는 경우, 매크로 블록 자체, 내지는 매크로 블록을 더욱 잘게 분할한 서브블록의 단위로 움직임 벡터를 탐색하고, 움직임 벡터에 근거해 움직임 보상 예측 화상을 생성하고, 부호화 영상 신호(1003)와의 차분을 취함으로써 예측 오차 신호(1005)를 얻는다. 압축부(1006)는, 예측 오차 신호(1005)에 대하여 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화하여 압축 데이터(1007)를 얻는다. 압축 데이터(1007)는 가변 길이 부호화부(1008)에서 엔트로피 부호화되어 비트 스트림(1009)으로서 출력됨과 아울러, 국소 복호부(1010)로 보내어져서, 복호 예측 오차 신호(1011)를 얻는다. 이것을, 예측 오차 신호(1005)의 생성에 이용한 예측 신호(1012)와 가산하여 복호 신호(1013)를 얻는다. 복호 신호(1013)는, 이후의 부호화 영상 신호(1003)를 위한 예측 신호(1012)를 생성할 목적으로 메모리(1014)에 저장된다. 도시하고 있지 않지만, 메모리(1014)로 기입하기 전에, 복호 신호에 디블록킹 필터를 사용하여 블록 왜곡을 제거하는 처리를 행하도록 구성된다. 또한, 예측 신호(1012)를 얻기 위해서 예측부(1004)에 있어서 결정된 예측 신호 생성용 파라미터(1015)는 가변 길이 부호화부(1008)로 보내어져서, 비트 스트림(1009)으로서 출력된다. 여기서, 예측 신호 생성용 파라미터(1015)에는, 예컨대, 프레임 내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등이 포함된다. 매크로 블록을 3개의 색성분을 모은 단위로 구성하고 있는 경우는, 예측 신호 생성용 파라미터(1015)는 3개의 색성분에 공통적으로 적용되는 파라미터로서 검출되고, 각 색성분을 독립된 픽쳐로 간주하며, 매크로 블록을 단일 색성분의 직사각형 블록으로서 구성하고 있는 경우는, 예측 신호 생성용 파라미터(1015)는 각 색성분에 개별적으로 적용되는 파라미터로서 검출된다.
4:4:4 포맷의 영상 신호는 각 색성분의 동일수의 샘플이 포함되어 있어, 종래의 4:2:0 포맷의 영상 신호에 비해서 엄밀한 색재현성을 갖는 반면, 압축 부호화의 의미에서는 불필요한 정보량을 포함하고 있다. 4:4:4 포맷의 영상 신호의 압축 효율을 높이기 위해서는, 종래의 4:2:0 포맷의 고정적인 색공간 정의(Y, Cb, Cr)에 대하여, 신호에 포함되는 리던던시를 더욱 저감할 필요가 있다. 비특허 문헌 1에 따른 4:4:4 포맷의 부호화에서는, 부호화 영상 신호(1003)는 신호의 통계적ㆍ국소적인 성질에 대해 독립적으로, 각 색성분을 휘도 신호로 간주해서 부호화를 행하고, 예측부(1004), 압축부(1006), 가변 길이 부호화부(1008) 중 어느 하나에 있어서도 부호화 대상 신호의 성질을 최대한으로 고려한 신호 처리는 행해지지 않는다. 특허 문헌 1에서는, 이러한 과제에 대하여, 크로마 포맷의 차이나 색공간 정의의 차이에 적응하여, 프레임내ㆍ프레임간 예측을 행하는 블록의 크기나 예측 오차 신호의 변환ㆍ양자화의 방법을 전환하는 방식을 개시하고 있다. 이에 의해, 각 색성분의 신호 특성에 적응한 효율적인 부호화를 행하는 것을 가능하게 하고 있지만, 상기 문헌에서도, 원래 화상의 해상도나 화상 내의 피사체의 구조에 대한 적응화가 충분하지 않다고 하는 과제가 있다.
그래서, 본 발명은, 부호화 대상으로 되는 4:4:4 포맷의 영상 신호의 통계적ㆍ국소적 성질에 따라 신호 상관을 보다 양호하게 제거하여 효율적인 정보 압축을 행하는 방법을 제공하고, 상기 종래기술에서 설명한 바와 같이, 4:4:4 포맷과 같은 색성분간에 샘플비의 구별이 없는 동화상 신호를 부호화함에 있어서, 최적성을 높인 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 화상 부호화 장치는, 디지털 영상 신호의 각 프레임을 소정의 기준 블록으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 장치로서, 소정의 방법에 근거하여 상기 기준 블록의 크기를 결정함과 아울러, 상기 기준 블록 내의 각 색성분의 신호에 대하여, 움직임 예측을 행하는 단위인 움직임 예측 단위 블록의 형상을 각각 개별적으로 정하는 기준 블록 크기 결정 수단과, 상기 기준 블록 내의 제 1 색성분의 움직임 예측 단위 블록에 대하여, 복수의 움직임 예측 모드 중 가장 효율이 좋은 제 1 움직임 예측 모드를 결정하고, 상기 결정된 제 1 움직임 예측 모드에 대응하는 제 1 움직임 벡터를 검출하고, 상기 기준 블록 내의 제 2 색성분의 움직임 예측 단위 블록에 대하여, 상기 제 1 움직임 예측 모드, 상기 제 1 및 제 2 색성분의 움직임 예측 단위 블록의 형상, 상기 제 1 움직임 벡터에 근거하여, 제 2 움직임 예측 모드를 결정하고, 상기 결정된 제 2 움직임 예측 모드에 대응하는 제 2 움직임 벡터를 검출하고, 상기 기준 블록 내의 제 3 색성분의 움직임 예측 단위 블록에 대하여, 상기 제 1 움직임 예측 모드, 상기 제 1 및 제 3 색성분의 움직임 예측 단위 블록의 형상, 상기 제 1 움직임 벡터에 근거하여, 제 3 움직임 예측 모드를 결정하고, 상기 결정된 제 3 움직임 예측 모드에 대응하는 제 3 움직임 벡터를 검출해서 출력하는 예측 수단과, 상기 제 1 움직임 예측 모드를 산술 부호화함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드에 근거하여, 상기 제 1 움직임 예측 모드의 값의 발생 확률을 정해서 산술 부호화를 행함과 아울러, 상기 제 2 및 제 3 움직임 예측 모드를 산술 부호화함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 상기 제 1 움직임 예측 모드에 근거하여, 상기 제 2 및 제 3 움직임 예측 모드의 값의 발생 확률을 정해서 산술 부호화를 행하는 가변 길이 부호화 수단을 구비하는 것이다.
본 발명의 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법에 의하면, 4:4:4 포맷의 영상 신호의 부호화를 행하는 경우에 있어서, 각 색성분 신호의 시간 변화의 특성에 대하여 유연하게 적응하는 부호화 장치ㆍ복호 장치를 구성할 수 있어, 4:4:4 포맷의 영상 신호에 대하여 최적의 부호화 처리를 행할 수 있다.
도 1은 실시예 1의 부호화 장치의 구성을 나타내는 설명도,
도 2는 움직임 예측 단위 블록이 나누어지는 방법의 예를 나타내는 설명도,
도 3은 움직임 예측 단위 블록의 분할의 예를 나타내는 설명도,
도 4는 예측부(4)의 처리 흐름을 나타내는 흐름도,
도 5는 비용 J의 계산 방법을 설명하는 설명도,
도 6은 mc_mode1-4의 PMV의 산출예를 나타내는 설명도,
도 7은 색성분 C0와 색성분 C1, C2에서, 움직임 예측 단위 블록의 크기를 변경하지 않는 경우의 처리를 설명하는 설명도,
도 8은 색성분 C0와 색성분 C1, C2에서, 움직임 예측 단위 블록의 크기를 변경하지 않는 경우의 처리를 설명하는 설명도,
도 9는 시간적인 상관에 근거하여 컨텍스트 모델(context model)을 선택하는 동작을 나타내는 설명도,
도 10은 가변 길이 부호화부(8)의 내부 구성을 나타내는 설명도,
도 11은 가변 길이 부호화부(8)의 동작 흐름을 나타내는 설명도,
도 12는 컨텍스트 모델(ctx)의 개념을 나타내는 설명도,
도 13은 움직임 벡터에 관한 컨텍스트 모델의 예를 나타내는 설명도,
도 14는 움직임 예측 모드의 상관의 차이를 설명하는 설명도,
도 15는 비트 스트림(9)의 데이터 배열을 나타내는 설명도,
도 16은 실시예 1에 있어서의 화상 복호 장치의 구성을 나타내는 설명도,
도 17은 가변 길이 복호부(30)에 있어서의 산술 복호 처리에 관련된 내부 구성을 나타내는 설명도,
도 18은 가변 길이 복호부(30)에 있어서의 산술 복호 처리에 관련된 동작 흐름을 나타내는 설명도,
도 19는 4:2:0 포맷과 4:4:4 포맷의 차이를 나타내는 설명도,
도 20은 종래의 4:4:4 포맷의 부호화 장치의 구성을 나타내는 설명도.
(실시예 1)
본 실시예에서는, 4:4:4 포맷으로 입력되는 디지털 영상 신호의 압축 신장을 행하는 화상 부호화 장치, 화상 복호 장치에 관련하여, 각 색성분의 신호의 상태에 적응하여 움직임 보상 예측 처리를 행하는 화상 부호화 장치, 화상 복호 장치에 대해서 설명한다.
1.화상 부호화 장치의 동작
본 실시예 1의 부호화 장치는, 4:4:4 포맷의 입력 영상 프레임을 Mmax×Mmax 화소 블록(이하, 「기준 블록」이라고 함)으로 분할하고, 상기 기준 블록의 단위로 움직임 예측을 행하여, 예측 오차 신호를 압축 부호화하도록 구성한다.
도 1에 본 실시예 1의 부호화 장치의 구성을 나타낸다. 먼저, 부호화 대상으로 되는 입력 영상 신호(1)(4:4:4 포맷)는, 블록 분할부(2)에 있어서 기준 블록(M화소×M라인의 직사각형 블록)의 단위로 분할되어 부호화 신호(3)로서 예측부(4)에 입력된다. 도 1에서는, 기준 블록은 도 2에 나타내는 바와 같이, 3개의 색성분의 Mmax×Mmax 화소로 이루어지는 블록을 모은 단위로 구성한다. 후술하지만, Mmax는 프레임 내지 시퀀스, GOP 등의 상위층 데이터 레벨로 결정ㆍ부호화한다. 기준 블록 내의 각 색성분의 데이터는, Li×Mi 화소 블록의 「움직임 예측 단위 블록」으로 더 분할되고, 움직임 예측 단위 블록을 베이스로 하여 움직임 예측, 부호화를 행한다. 도 2에서는, (A)에 있어서의 움직임 예측 단위 블록의 패턴은 L0=Mmax/2, M0=Mmax/2, (B)에 있어서의 움직임 예측 단위 블록의 패턴은 L0=Mmax/2, M0=Mmax이고, (A), (B) 모두 L1=M1=L2=M2=Mmax이다. 각 색성분의 움직임 예측 단위 블록의 크기, Li, Mi에 대해서는, 색성분마다 선택가능하게 하여, 시퀀스, GOP, 프레임, 기준 블록 등의 단위로 변경가능해지도록 구성한다. 또한, 본 실시예 1에서는, 기준 블록에 대해서는, 3개의 색성분에서 동일하게 하고, 기준 블록의 크기를 변경하는 경우는, 3개의 색성분 전부에 대하여, 동일한 기준 블록의 크기로 변경하는 것으로 한다.
예측부(4)에서는, 기준 블록 내의 각 색성분의 화상 신호를 움직임 보상 예측하여, 예측 오차 신호(5)를 얻는다. 예측부(4)의 동작은, 본 실시예 1의 부호화 장치의 특징이기 때문에 상세하게 후술한다. 압축부(6)는, 예측 오차 신호(5)에 대하여 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화해서 압축 데이터(7)를 얻는다. 압축 데이터(7)는 가변 길이 부호화부(8)에서 엔트로피 부호화되어 비트 스트림(9)으로서 출력됨과 아울러, 국소 복호부(10)로 보내어져서 복호 예측 오차 신호(11)를 얻는다. 이것을 예측 오차 신호(5)의 생성에 이용한 예측 신호(12)와 가산하여 복호 신호(13)를 얻는다. 복호 신호(13)는, 이후의 부호화 신호(3)를 위한 예측 신호(12)를 생성할 목적으로 메모리(14)에 저장된다. 또한, 예측 신호(12)를 얻기 위해서 예측부(4)에 있어서 결정된 예측 신호 생성용 파라미터(15)는 가변 길이 부호화부(8)로 보내어져서, 비트 스트림(9)으로서 출력된다. 예측 신호 생성용 파라미터(15)의 내용에 대해서는, 예측부(4)의 설명과 함께 이후에서 상술한다. 또한, 가변 길이 부호화부(8)에 있어서의 예측 신호 생성용 파라미터(15)의 부호화 방법에 대해서도, 본 실시예 1에 있어서의 특징 중 하나이기 때문에, 뒤에서 상세하게 설명한다.
비특허 문헌 1, 2 등의 표준 영상 부호화 방식에서는, 기준 블록을 매크로 블록으로 한 경우, 매크로 블록의 단위로 프레임내 부호화, 프레임간 예측 부호화를 선택하면서 부호화하는 방법이 일반적이다. 이는, 프레임간의 움직임 예측이 충분하지 않은 경우에, 프레임내의 상관을 이용하는 쪽이, 부호화시에 보다 효율적인 경우가 있는 것에 기인하고 있다. 이후, 본 실시예 1의 부호화 장치에서는, 발명의 포인트를 설명함에 있어서 프레임내 부호화에 관한 기술이나 그 선택적 사용에 대해서 본 명세서에서는 명기하지 않지만, 특별히 단정짓지 않는 한, 기준 블록을 단위로 하는 프레임내 부호화의 선택적 사용은 가능한 구성으로 한다(본 실시예 1의 부호화 장치에 있어서, 기준 블록은 매크로 블록으로 정의해도 좋지만, 움직임 예측의 설명을 위해서 이후에서는 기준 블록이라는 용어를 이용함).
이하, 본 실시예 1의 특징 중 하나인 예측부(4)의 상세한 동작에 대해서 설명한다. 본 실시예 1의 예측부(4)의 특징은 이하의 2가지이다.
(1) 기준 블록ㆍ움직임 예측 단위 블록의 크기와 움직임 예측에 이용하는 분할 형상의 연동 적응화
(2) 각 색성분의 성질에 따른 움직임 예측 모드, 움직임 벡터의 결정
(1)에 대해서는, 기준 블록을, 각 색성분의 신호의 성질에 맞춰서 Li×Mi 화소의 움직임 예측 단위 블록으로 분할하고, 움직임 예측 단위 블록을 li×mi 화소의 조합으로 이루어지는 복수의 형상으로 더 분할하며, 각 분할 영역에 각각 고유의 움직임 벡터를 할당해서 예측을 행하여, 가장 예측 효율이 우수한 형상을 움직임 예측 모드로서 선택하고, 그 결과로서 얻어지는 움직임 벡터를 이용해서 각 분할 영역에 대한 움직임 예측을 행하여 예측 오차 신호(5)를 얻는다. 움직임 예측 단위 블록 내의 분할 형상은, l×m 화소로 이루어지는 「기본 블록」의 조합에 의해 구성되는 형상을 취하는 것으로 한다. 본 실시예 1의 부호화 장치에 있어서는, M과 m, L과 l 사이에 「m=M/2」「l=L/2」로 되는 제약을 마련한다. 이 조건에 의해서 정해지는 기본 블록의 분할 형상을 도 3에 나타낸다. 도 3은 움직임 예측 단위 블록의 분할의 형태를 나타내지만, 본 실시예 1의 부호화 장치에서는, 이 분할 형상의 패턴(분할 패턴)은 3개의 색성분에 대하여 공통이어도 좋고, 독립적으로 정하는 것도 가능하게 한다. 또한, 이 분할 패턴 mc_mode0~7의 것을 이하에서는 움직임 예측 모드라고 부르기로 한다.
비특허 문헌 1, 2 등의 표준 영상 부호화 방식에서는, 움직임 예측 적용 영역의 형상은 직사각형으로 한정되어 있으며, 도 3과 같은 직사각형 이외의 대각 분할을 이용할 수 없다. 이와 같이, 움직임 예측을 적용하는 영역의 형상을 다양화시키는 것에 의해, 움직이는 물체(moving object)의 윤곽 부분 등, 기준 블록 내에 복잡한 움직임을 포함하는 경우에, 직사각형 분할보다 적은 움직임 벡터 개수로 움직임 예측가능해진다. 비특허 문헌 2, 3은, 종래의 매크로 블록에 대하여 움직임 예측 적용 영역의 분할 형상의 다양화 수법을 개시하고 있다. 비특허 문헌 2는, Mmax를 16으로 고정하고, m=l=4로 하고, Mmax mod m=0으로 되는 임의의 값으로 지정하여 분할을 정의함으로써, 기준 블록 내의 분할 형상을 유연하게 정하는 방법이 개시되어 있다. 또한, 비특허 문헌 3에서는, 분할 형상을, 매크로 블록 분할을 행하는 선분과 그 블록 경계와의 교점 위치에 의해서 표현하는 방법이 개시되어 있다. 그러나, 이들 방법은 모두 M을 고정한 채로 기준 블록 내의 분할 패턴을 증가시키는 방법이며, 이하의 문제가 있다.
문제 1:
기준 블록의 분할 패턴을 기술하기 위한 부호량이 증가한다. Mmax mod m=0으로 되는 임의의 m을 허용함으로써, 기준 블록 내의 분할 패턴이 증가하고, 그 패턴을 지정하기 위한 정보를 오버헤드 정보로서 부호화할 필요가 생긴다. 분할 패턴이 증가할수록, 어떤 특정한 분할 패턴이 발생할 확률이 분산되기 때문에, 분할 패턴의 엔트로피 부호화가 비효율로 되고, 부호량으로서의 오버헤드로 되어서 부호화의 전체적인 성능에 한계가 생긴다.
문제 2:
분할 패턴이 증가함으로써, 부호화시에 최적의 분할을 선택하기 위해서 필요한 연산량이 증대한다. 움직임 예측은 부호화 처리 부하의 대부분을 차지하는 고부하 처리이어서, 어떠한 제한 없이 분할 패턴이 증가하는 알고리즘에서는, 부호화 장치는 그 중에서 특정한 분할 패턴만을 검증ㆍ이용하도록 설계되어야 한다. 따라서, 부호화 장치는 알고리즘이 갖는 본래의 성능을 최대한 살릴 수 없는 경우가 있다.
본 실시예 1의 부호화 장치에 있어서의 도 3의 방식은, 먼저, 1) Mmax의 값을 부호화의 조건이나 영상 신호의 해상도나 성질에 근거하여 프레임 레벨로 변경가능하게 하는 것, 2) Mmax×Mmax의 화소 블록을 색성분 Ci마다의 특성에 맞춰서 기본 블록 Li×Mi 화소로 분할가능하게 하는 것, 3) 기본 블록의 분할 조건을 「m=M/2」 「l=L/2」의 제약을 만족시키는 분할 형상으로 한정하는 것의 3개의 고안에 의해, 상기 문제를 해결한다. 기준 블록의 크기 Mmax의 값은, 프레임 내에서 국소적으로 변경하지 않고, 프레임 레벨 내지 프레임열(시퀀스, GOP) 등의 상위 데이터 구조 레벨에서만 변경가능하게 한다. 이 구성은, 기준 블록 내에 포함되는 화상 신호 패턴의 의미의 차이에 대한 적응화를 가능하게 한다. 예컨대, 작은 해상도(VGA 등)의 영상과 큰 해상도(HDTV 등)의 영상에서는, 동일한 Mmax×Mmax 화소 블록 내의 신호 패턴이 표현하는 의미가 상이하다. 동일한 피사체를 예측하는 경우, 낮은 해상도의 영상에서는 피사체의 구조에 가까운 신호 패턴이 포착되지만, 높은 해상도의 영상에서는 동일한 블록 크기로 피사체의 보다 국소적인 부위의 신호 패턴이 포착되는 것에 지나지 않는다. 따라서, 기준 블록의 크기가 해상도에 상관없이 부호화 블록에 사용되면, 해상도가 높아짐에 따라서, 기준 블록 내의 신호 패턴은 노이즈 성분의 요소가 커져서, 패턴 매칭 기술로서의 움직임 예측의 성능을 향상시킬 수 없게 된다. Mmax의 값을 상위 데이터 구조 레벨에서만 변경가능하게 함으로써, Mmax의 값의 시그널링에 필요한 부호량을 억제하면서, 영상의 해상도나 장면 변경, 화면 전체의 액티비티 변화 등의 상황에 따라, 기준 블록에 포함되는 신호 패턴을 움직임 예측의 의미에 있어서 최적화할 수 있다. 이러한 구조에 부가하여, 도 2와 같이 색성분마다 움직임 예측 단위 블록 내의 분할 패턴을 변경가능하게 함으로써, 각 색성분의 신호 특성에 따라 움직임 예측의 처리 단위를 최적화 가능하게 한다. 또한, 움직임 예측 단위 블록 내에 도 3과 같이 분할 패턴의 한정적 자유도를 부여함으로써, 움직임 예측 단위 블록 내의 분할 패턴 표현에 필요한 부호량을 억제하면서, 움직임 예측의 전체적인 효율을 개선할 수 있다. 또한, Mmax의 값을 프레임 레벨로 결정하는 처리를 효율적으로 행하면, 이후, 기준 블록 내에서 검사해야 할 분할 패턴의 변화는 종래기술에 비해서 적게 억제할 수 있어, 부호화 처리의 부하를 작게 할 수 있다. Mmax값을 결정하는 방법에는, 예컨대, 이하와 같은 방법이 있다.
ㆍ부호화 대상 영상의 해상도에 근거하여 결정한다. 동일 Mmax값의 경우, 해상도가 높은 경우는 기준 블록 내의 화상 신호 패턴이 노이즈 성분적인 의미를 더 가져서, 움직임 벡터가 화상 신호 패턴을 파악하기 어렵게 된다. 그러한 경우에 Mmax값을 크게 하여 화상 신호 패턴을 포착할 수 있도록 한다.
ㆍ프레임간의 차분값의 대소를 액티비티로 간주하여 액티비티가 큰 경우는 작은 Mmax값으로, 작은 경우는 큰 Mmax값으로 움직임 예측을 행한다. 또한, 이때의 크기 제어를, 부호화 대상 영상의 프레임 레이트에 근거하여 결정한다. 프레임 레이트가 높을수록 프레임간 상관이 크고 움직임 벡터 자체의 다이내믹 레인지(dynamic range)가 작아지고 그 부호량이 작아지기 때문에, 다소 액티비티가 작더라도 Mmax값을 지나치게 크지 않게 설정하여 세밀한 움직임까지 예측할 수 있도록 하는, 등의 방법이 생각된다.
ㆍ이상의 방법에 가중치 부여하고 조합해서 판단한다.
Mmax값이 결정된 후, 색성분마다 Li, Mi의 결정을 행한다. 이 판단 기준으로서는, 예컨대 입력 영상 신호(1)가 YUV(내지 YCbCr)의 색공간에서 정의된 신호인 경우, 색신호인 U/V 성분은 휘도 신호 Y성분에 비해서 신호 대역이 좁다. 따라서, 블록내 분산은 휘도에 비해서 작아지고, 이것을 근거로 하여 U/V 성분의 Li, Mi에 대해서는 휘도 성분의 Li, Mi 값보다 큰 값을 취하도록 구성하는, 등의 예가 생각된다.(도 2 참조)
이들 제어를 행한 결과로서 얻어지는 Mmax, Li, Mi의 값은, 기준 블록 크기(16)로서 기준 블록 크기 결정부(160)로부터 블록 분할부(2), 예측부(4), 가변 길이 부호화부(8)로 통지된다. 또한, 도 2와 같이 Mmax에 대하여 Li, Mi를 간이한 연산에 의해 도출가능한 값으로 설정해 두면, Li, Mi를 독립적인 값으로서 부호화하는 것이 아니라, 산출식의 식별자를 부호화하면 되어, 기준 블록 크기(16)에 필요한 부호량을 억제할 수 있다.
예측부(4)는, 기준 블록 크기(16)에 근거하여, 도 2, 도 3의 분할 패턴을 이용하는 움직임 검출 처리를 실행한다. 처리 흐름을 도 4에 나타낸다. 예측부(4)는, 상기 프레임의 Ci 성분을 Li×Mi 화소의 움직임 예측 단위 블록의 단위로 움직임 예측해 간다. 기본적으로는, 이 프로세스에서는 도 3의 mc_mode0~7까지의 분할 패턴의 각각에 대해서, 지정된 움직임 탐색 범위에서 분할 영역마다의 최적 움직임 벡터를 검출하고, 최종적으로 상기 기준 블록에 대해서 mc_mode0~7 중 어느 하나의 움직임 예측 모드를 이용하는 것이 가장 예측 효율이 좋은지를 결정한다.
예측 효율은, 기준 블록 내의 움직임 벡터의 총부호량 R과, 상기 움직임 벡터를 적용하여 메모리(14) 내에 저장되는 참조 화상으로부터 생성한 예측 신호(12)와 입력 영상 신호(1) 사이의 예측 오차량 D로 구성하는 하기 비용 J를 정의하고, J가 최소로 되는 움직임 예측 모드와 움직임 벡터를 출력하도록 구성한다.
J=D+λR (λ: 정수) (1)
그래서, 각 움직임 예측 모드에 대하여, 비용 J의 계산을 행한다(단계 S1). 도 5에, mc_mode5의 경우를 예로 들어서 J의 계산 방법을 설명한다. 이때, 프레임 F(t) 내의 피예측 대상의 움직임 예측 단위 블록은, 2개의 분할 영역 B0, B1로 이루어진다. 또한, 메모리(14) 내에는 2장의 부호화ㆍ국소 복호화가 완료된 참조 화상 F'(t-1), F'(t-2)이 저장되어 있고, 분할 영역 B0, B1은 이들 2장의 참조 화상을 사용하여 움직임 예측할 수 있는 것으로 한다. 상기 도면에서는 분할 영역 B0는 참조 화상 F'(t-2)를 이용하여 움직임 벡터 MVt -2(B0)를 검출하고, 분할 영역 B1은 참조 화상 F'(t-1)을 이용하여 움직임 벡터 MVt - 1(B1)를 검출하고 있다. B를 분할 영역, Sn(x)을 제 n 프레임의 화면내 위치 x=(i, j)에 있어서의 화소값, v를 움직임 벡터라고 하면, 분할 영역 B의 예측 오차량 D는 차분 절대값합(Sum of Absolute Difference, SAD)를 이용하여,
Figure pct00001
로서 계산할 수 있다. 결과, 얻어지는 B0, B1에 대응하는 D0, D1로부터 D=D0+D1를 구한다. 한편, R은 움직임 벡터 예측값 PMV(B0), PMV(B1)를 이용하여 얻어지는 움직임 벡터 예측 차분값
MVD(B0)=MVt -2(B0)-PMV(B0)
MVD(B1)=MVt -1(B1)-PMV(B1) (3)
를 부호량 환산해서 얻어지는 R0, R1로부터 R=R0+R1로서 구한다. 이상에 의해, 비용 J가 구해진다. 탐색 범위 내의 검사 대상으로 되는 모든 움직임 벡터에 대하여 비용 J의 계산을 행하고, mc_mode5의 분할 패턴으로서 가장 비용 J가 작은 해를 구한다. 또한, mc_mode1-4의 PMV의 산출예를 도 6에 나타낸다(mc_mode0, 5, 6, 7은 비특허 문헌 1에 개시되어 있음). 상기 도면에 있어서, 화살표는 예측 벡터 도출에 이용하는 주변의 움직임 벡터를 의미하고, ○로 둘러싸인 3개의 움직임 벡터는, 그것이 지시하는 분할 영역의 예측 벡터를 ○로 둘러싸인 3개의 움직임 벡터의 메디안(중앙값)에 의해서 구한다.
이렇게 해서 구하는 mc_modek에서의 비용 Jk가, 그때까지 검증한 mc_modek에서의 비용보다 작은지 어떤지를 검증하고(단계 S2), 작은 경우는 mc_modek를 그 시점까지의 최적의 움직임 예측 모드로서 유지함과 아울러, 그때의 움직임 벡터 및 예측 오차 신호를 유지해 둔다(단계 S3). 모든 움직임 예측 모드를 검증한 경우는(단계 S4, S5), 그때까지 유지되어 있었던 움직임 예측 모드, 움직임 벡터, 예측 오차 신호를 최종해로서 출력한다(단계 S6). 그렇지 않으면, 다음 움직임 예측 모드를 검증한다.
본 실시예 1에 있어서의 부호화 장치는, 이상의 예측부(4)에서의 처리 과정을 3개의 색성분의 각각에 대해 행하고, 색성분마다 최적의 움직임 예측 모드, 움직임 벡터, 예측 오차 신호를 얻는 처리와, 어떤 특정한 성분에 대해 최적의 움직임 예측 모드, 움직임 벡터, 예측 오차 신호를 구한 후, 이들 정보에 근거하여 나머지 색성분의 움직임 예측 모드, 움직임 벡터, 예측 오차 신호를 구하는 처리를 기준 블록의 단위로 전환해서 실행하도록 구성한다. 전자에 대해서는, 상술한 도 4의 처리 흐름을 3개의 색성분 각각에 대해 실행하면 좋다. 후자의 처리에 대해서 도 7을 이용하여 설명한다.
도 7에서, 「움직임 검출을 행한 색성분 C0」는, 상기 도 4의 처리 흐름에 근거하여 움직임 검출을 행한 색성분을 가리키고, 기준 블록 내의 C0 성분의 움직임 예측 단위 블록 Bx에 대하여 화상 공간상 동일한 좌표 위치에 있는 다른 색성분 C1, C2의 움직임 예측 단위 블록을 By로 한다. C0 색성분에 대해서는, 이미 왼쪽 및 위쪽 움직임 예측 단위 블록 Ba, Bb에 대하여, 최적의 움직임 예측 모드, 움직임 벡터가 각각 산출 완료된 것으로 한다. 왼쪽의 움직임 예측 단위 블록 Ba에 대해서는, 움직임 예측 모드가 mc_mode6, 움직임 벡터가 MV(a, 0), MV(a, 1)로 구해져 있고, 위쪽의 움직임 예측 단위 블록 Bb에 대해서는, 움직임 예측 모드가 mc_mode3, 움직임 벡터가 MV(b, 0), MV(b, 1)로 구해져 있다. 또한, 동일 위치의 움직임 예측 단위 블록 Bx에 대해서도 움직임 예측 모드 mc_mode0, 움직임 벡터 MV(x, 0)가 구해져 있는 것으로 한다. 이 조건에 있어서, 움직임 예측 단위 블록 By에 대해서는, 적용하는 움직임 예측 모드에 따라, Ba, Bb, Bx의 움직임 벡터로부터, 고유하게 움직임 벡터 후보를 생성한다. 움직임 예측 단위 블록 By에 적용하는 움직임 예측 모드가 mc_mode3인 경우에는,
MV(y, 0)=wa*MV(a, 0)+wb*MV(b, 0)+wc*MV(x, 0)
MV(y, 1)=wd*MV(a, 1)+we*MV(b, 0)+wf*MV(x, 0) (4)
에 의해서 움직임 벡터 후보를 구한다. wa, wb, wc, wd, we, wf는, 각 벡터에 대한 가중치이며, By에 적용하는 움직임 예측 모드의 종별에 따라 정해 놓는다. Ba, Bb, Bx의 움직임 벡터의 적용 방법에 대해서도 움직임 예측 모드마다 고정적으로 정해 놓는다. 이와 같이 고유하게 정해지는 움직임 벡터 후보를 이용하여 각 움직임 예측 모드에 대응하는 비용 J를 구하여, 가장 비용이 작게 되는 움직임 예측 모드와 움직임 벡터 후보를, 기준 블록 By에 적용하는 움직임 예측 모드, 움직임 벡터로서 채용한다. 예측부(4)에서의 움직임 검출 처리를 이와 같이 구성함으로써, 색성분 C1, C2에 대한 움직임 예측 모드가 유연하게 선택가능해지는 한편, 대응하는 움직임 벡터는 항상 색성분 C0의 정보로부터 생성할 수 있기 때문에, 부호화해야 할 예측 신호 생성용 파라미터(15)의 부호량을 억제할 수 있다. 또한 3개의 색성분 사이에는 일정한 화상 구조상의 상관이 존재하기 때문에, C0 성분의 움직임 예측 단위 블록 Bx에서 선택된 움직임 예측 모드는, C1, C2 색성분의 움직임 예측 단위 블록 By에서 최적의 움직임 예측 모드와 일정한 상관이 있다고 생각된다. 그래서, C0 성분의 움직임 예측 단위 블록 Bx에서 선택된 움직임 예측 모드에 따라, C1, C2 색성분의 대응 움직임 예측 단위 블록에서 사용될 수 있는 움직임 예측 모드의 종류를 좁히고 분류해서 이용하도록 구성해도 좋다. 이렇게 함으로써, 예측 효율을 유지한 채로, C1, C2 색성분으로 선택가능한 움직임 예측 모드의 수를 적게 할 수 있기 때문에, 움직임 예측 모드의 선택에 필요한 연산량을 억제하면서, 움직임 예측 모드의 부호화 효율을 높일 수 있다.
또한, 이상의 방법으로 구하는 움직임 벡터 후보는 탐색의 결과로서 얻어진 최적의 결과로 될 보증이 없기 때문에, 예컨대 도 7에 있어서,
MV(y, 0)=MV(x, 0), 움직임 예측 모드를 mc_mode0 (5)
로 하는 경우와 비용 비교를 행하여, 보다 비용이 작게 되는 쪽을 선택하도록 구성해도 좋다. (5)식의 경우에서는, C1, C2 색성분의 움직임 예측 모드, 움직임 벡터가 C0 색성분과 동일하기 때문에, (5)식의 조건을 선택할지 여부의 1비트의 정보가 있으면 부호화 가능하다. 또한, 이 비트는, 적응 산술 부호화를 적절하게 설계함으로써 1비트 이하의 부호량으로 부호화할 수 있다. 또한, 상기의 방법으로 얻어진 MV(y, 0), MV(y, 1) 등에 대해서, 미소한 탐색 범위에서 움직임 벡터의 재탐색을 행하여, 추가 탐색분만의 미소 벡터를 부호화하도록 구성해도 좋다.
도 8에는, C0 색성분과, C1, C2 색성분으로 움직임 예측 단위 블록의 크기가 상이한 경우를 나타낸다(도 2의 (A) 등). 이 경우는, C1, C2 색성분의 움직임 예측 모드 mc_mode3에 대한 움직임 벡터 후보를,
MV(y, 0)=wa*MV(a, 0)+wb*MV(c, 0)+wc*MV(c, 1)+wd*MV(d, 0)
MV(y, 1)=we*MV(b, 0)+wf*MV(b, 1) (6)
로 구하는, 등의 구성을 들 수 있다. 또한, wa, wb, wc, wd, we, wf는, 부호화 비트 레이트 등의 조건에 따라서 가중치를 변화시키도록 구성해도 좋다. 이는, 부호화 비트 레이트가 낮아지면, 부호량 팩터(factor)의 R이 비용 J에 있어서 큰 비중을 차지하기 때문에, 움직임 벡터장(vector field)은 비교적 격차가 없도록 제어되는 것이 일반적이다. 따라서, C0 색성분에서의 움직임 예측 모드와 움직임 벡터장의, C0, C1 색성분에 대한 상관이 변화된다고 생각된다. 이것을 고려하여, 가중치 부여를 변화가능하도록 구성하면, C0, C1 색성분에 대하여 보다 효율적인 움직임 예측을 행할 수 있다. 구체적으로는, 픽쳐 레벨, GOP 레벨, 시퀀스 레벨 등의 상위층 헤더 정보 중에서 값을 부호화하여 비트 스트림에 다중하거나, 혹은, 양자화 파라미터에 연동하여 변화되는 규칙을 부호화 장치와 복호 장치에서 공유해 두는, 등이 생각된다.
이상의 구성을 취하는 것에 의해, C1, C2 색성분의 움직임 예측 모드를, 색성분 C0의 움직임 예측 모드, 움직임 벡터로부터 간이하게 결정할 수 있고, 또한, 색성분 C0의 움직임 벡터의 정보로부터 고유하게 C1, C2 색성분의 움직임 벡터를 얻을 수 있기 때문에, 부호화해야 할 파라미터의 부호량을 억제하면서, C1, C2 색성분의 신호의 성질에 유연하게 추종할 수 있어, 효율적인 부호화가 가능해진다.
이상 설명한 예측부(4)에서의 처리에 의해서, 예측 오차 신호(5)와, 예측 신호 생성용 파라미터(15)가 출력되고, 이것들은 가변 길이 부호화부(8)에서 엔트로피 부호화된다. 본 실시예 1의 부호화 장치에서는, 예측 오차 신호(5)의 부호화는 종래기술에 의한 부호화 장치와 동일한 처리를 행하는 것으로 한다. 이하에서는, 본 실시예 1의 부호화 장치의 특징 중 하나인, 예측 신호 생성용 파라미터(15)의 엔트로피 부호화 방법에 대해서 설명한다.
이하에서 설명하는 예측 신호 생성용 파라미터(15)의 부호화에 있어서는, 설명의 대상을, 움직임 예측 모드, 움직임 벡터의 두 가지의 파라미터로 한다. 본 실시예 1의 부호화 장치에서는, 도 9에 나타내는 바와 같이, 피예측ㆍ부호화 대상의 기본 블록 Bx의 움직임 예측 모드 m(Bx)를 부호화함에 있어서, 동일 프레임의 왼쪽의 기본 블록 Ba의 예측 모드 m(Ba), 위쪽의 기본 블록 Bb의 예측 모드 m(Bb), 직전의 인접 프레임에 있어서 기본 블록 Bx와 동일 위치의 기본 블록 Bc의 움직임 예측 모드 m(Bc)의 상태를 선택적으로 참조하여 엔트로피 부호화를 행한다.
도 10은 가변 길이 부호화부(8)의 내부 구성을, 도 11은 그 동작 흐름을 나타낸다. 본 실시예 1에 있어서의 가변 길이 부호화부(8)는, 부호화 대상 데이터인 움직임 예측 모드나 움직임 벡터 등의 개개의 데이터 형태에 대해 정의되는 컨텍스트 모델(후술)을 정하는 컨텍스트 모델 결정부(17), 각 부호화 대상 데이터 형태에 대해서 정해지는 2치화 규칙에 따라서 다치 데이터를 2치 데이터로 변환하는 2치화부(18), 2치화 후의 개개의 bin의 값(0 or 1)의 발생 확률을 제공하는 발생 확률 생성부(19), 생성된 발생 확률에 근거하여 산술 부호화를 실행하는 부호화부(20), 발생 확률 정보를 기억하는 발생 확률 정보 기억 메모리(21)로 구성된다. 컨텍스트 모델 결정부(17)로의 입력은, 여기서는 예측 화상 생성용 파라미터(15) 중, 움직임 예측 모드와, 움직임 벡터로 한정해서 설명한다.
(A) 컨텍스트 모델 결정 처리(도 11에서의 단계 S11)
컨텍스트 모델이란, 정보원 심볼의 발생 확률의 변동 요인으로 되는 다른 정보와의 의존 관계를 모델화한 것으로, 이 의존 관계에 대응하여 발생 확률의 상태를 전환함으로써, 심볼의 실제 발생 확률에 보다 적응한 부호화를 행하는 것이 가능해진다. 도 12에 컨텍스트 모델(ctx)의 개념을 나타낸다. 또한, 상기 도면에서는 정보원 심볼은 2치로 하고 있지만, 다치이더라도 상관없다. 도 12의 0~2라는 ctx의 선택 사항은, 이 ctx를 이용하는 정보원 심볼의 발생 확률의 상태가, 상황에 따라 변화될 것임을 상정해서 정의되어 있다. 본 실시예 1에 있어서의 부호화 장치에서 말하면, 어떤 기준 블록에 있어서의 부호화 데이터와 그 주변의 기준 블록의 부호화 데이터 사이의 의존 관계에 따라 ctx의 값이 전환된다. 예컨대, 도 13에, 비특허 문헌 4에 개시되는 움직임 벡터에 관한 컨텍스트 모델의 예를 나타낸다. 도 13에서, 블록 C의 움직임 벡터가 부호화 대상이며(정확하게는, 블록 C의 움직임 벡터를 근방으로부터 예측한 예측 차분값 mvdk(C)가 부호화됨), ctx_mvd(C, k)가 컨텍스트 모델을 나타낸다. mvdk(A)는 블록 A에서의 움직임 벡터 예측 차분값, mvdk(B)는 블록 B에서의 움직임 벡터 예측 차분값을 각각 나타내고, 컨텍스트 모델의 전환 평가값 ek(C)의 정의에 사용된다. 평가값 ek(C)는, 근방의 움직임 벡터의 격차 정도를 나타내게 되고, 일반적으로는 이 격차가 작은 경우에는 mvdk(C)은 작고, 반대로 ek(C)가 큰 경우는 mvdk(C)도 커지는 경향이 있다. 따라서, mvdk(C)의 심볼 발생 확률은, ek(C)에 근거하여 적응화되는 것이 바람직하다. 이 발생 확률의 베리에이션 세트(variation set)가 컨텍스트 모델이며, 이 경우에서는 3종류의 발생 확률 베리에이션이 있다라고 할 수 있다.
이와 같이, 부호화 대상 데이터 각각에 대해서 미리 컨텍스트 모델이 정의되어, 부호화 장치와 복호 장치에서 공유된다. 컨텍스트 모델 결정부(17)에서는, 이러한 부호화 대상 데이터의 종별에 근거하여 미리 정해진 모델을 선택하는 처리를 행한다(컨텍스트 모델 중 어떤 발생 확률 베리에이션을 선택할지는 하기 (C)의 발생 확률 생성 처리에 해당함).
본 실시예 1의 가변 길이 부호화부(8)는, 움직임 예측 모드, 움직임 벡터에 할당하는 컨텍스트 모델(22)의 후보를 복수 준비해 두고, 컨텍스트 모델 선택 정보(25)에 의해서, 사용하는 컨텍스트 모델(22)을 전환하는 것을 특징으로 한다. 도 9에 나타내는 바와 같이, 피예측ㆍ부호화 대상의 기본 블록 Bx의 움직임 예측 모드 m(Bx)는, 프레임간에서 움직임 상태에 대한 상관이 낮으면, 동일 프레임 내에서 공간적으로 인접하는 화상 영역의 상태와의 상관이 높다(즉, m(Bx)의 값은, m(Ba) 내지 m(Bb)의 분할 형상에 강하게 영향을 미침)라고 생각되기 때문에, 동일 프레임의 왼쪽의 기본 블록 Ba의 움직임 예측 모드 m(Ba), 위쪽의 기본 블록 Bb의 움직임 예측 모드 m(Bb)를 컨텍스트 모델(22)의 결정에 이용한다. 이 사고 방식의 근거로 되는 예를 도 14에 나타낸다. 도 14는, m(Bx)=mc_mode3의 경우에 대해서, Ba, Bb에서 선택되는 움직임 예측 모드의 2개의 상태를 비교해서 나타낸 것이다. 상기 도면 (A)에 있어서는, m(Bx)의 분할 형상에 대하여, Ba, Bb 모두 분할의 경계가 자연스럽게 연결되어 있다. 한편, (B)에서는 Ba, Bb 모두 분할의 경계가 연결되어 있지 않다. 일반적으로 이러한 분할 형상은 기준 블록 내에 존재하는 복수의 상이함 움직임 영역의 존재를 나타내는 것이기 때문에, 영상의 구조를 반영하기 쉽다. 따라서, (A)인 쪽이, (B)보다 「일어나기 쉬운 상태」라고 생각된다. 즉, m(Ba)과 m(Bb)의 상태에 따라, m(Bx)의 발생 확률이 영향을 받게 된다.
마찬가지로, 프레임간에서 움직임 상태에 대한 상관이 높으면, 시간적으로 인접하는 화상 영역의 상태와의 상관이 높다(즉, m(Bx)은, m(Bc)의 분할 형상에 대응할 수 있는 값의 확률이 변화됨)라고 생각되기 때문에, 직전의 인접 프레임에 있어서 기본 블록 Bx와 동일 위치에 있는 기본 블록 Bc의 움직임 예측 모드 m(Bc)를 컨텍스트 모델(22)의 결정에 이용한다.
또한, 마찬가지로, 색성분 C0의 움직임 예측 모드와, 다른 색성분 C1, C2가 대응하는 위치의 움직임 예측 모드는 화상 구조상 일정한 상관이 있다고 생각되기 때문에, 색성분마다 움직임 예측 모드를 독립적으로 결정하는 경우는, 색성분간의 상관을 컨텍스트 모델(22)의 결정에 이용하도록 구성해도 좋다.
움직임 벡터의 컨텍스트 모델(22)의 결정에 있어서도 마찬가지로, 프레임간에서 움직임의 상태에 대한 상관이 낮으면, 동일 프레임의 왼쪽 블록 Ba의 움직임 벡터, 위쪽 블록 Bb의 움직임 벡터를 컨텍스트 모델(22)의 결정에 이용한다. 한편, 프레임간에서 움직임의 상태에 대한 상관이 높으면, 직전의 인접 프레임에 있어서 블록 Bx와 동일 위치에 있는 블록 Bc의 움직임 벡터를 컨텍스트 모델(22)의 결정에 이용한다. 움직임 예측 모드와 마찬가지로, 움직임 벡터에 대해서도 색성분간의 상관을 컨텍스트 모델(22)의 결정에 이용해도 좋다.
프레임간에서 움직임 상태에 대한 상관의 정도는, 부호화 장치에 있어서 소정의 방법에 의해서 검출하고, 컨텍스트 모델 선택 정보(25)의 값을 명시적으로 비트 스트림에 다중하여 복호 장치에 전달해도 좋고, 부호화 장치와 복호 장치의 양자에서 검지가능한 정보에 근거하여 컨텍스트 모델 선택 정보(25)의 값을 결정하도록 구성해도 좋다. 영상 신호는 비정상이기 때문에, 이러한 적응 제어가 가능하게 됨으로써, 산술 부호화의 효율을 높일 수 있다.
(B) 2치화 처리(도 11에서의 단계 S12)
컨텍스트 모델은, 부호화 대상 데이터를 2치화부(18)에서 2치 계열화하여, 2치 계열의 각 bin(바이너리 위치)에 따라 정한다. 2치화의 규칙은, 각 부호화 데이터가 취할 수 있는 값의 대략적인 분포에 따라서, 가변 길이의 2치 계열로의 변환을 행한다. 2치화는, 본래 다치를 취할 수 있는 부호화 대상 데이터를 그대로 산술 부호화하는 것보다도 bin 단위로 부호화하는 것에 의해 확률 수직선 분할수를 삭감할 수 있어 연산을 간략화할 수 있는, 컨텍스트 모델의 슬림화가 가능하게 되는 등의 이점이 있다.
(C) 발생 확률 생성 처리(도 11에서의 단계 S13)
상기 (A), (B)의 프로세스에서, 다치의 부호화 대상 데이터의 2치화와, 각 bin에 적용하는 컨텍스트 모델의 설정이 완료하여, 부호화 준비가 이루어진다. 이어서 발생 확률 생성부(19)에서 산술 부호화에 이용하는 발생 확률 정보의 생성 처리가 행해진다. 각 컨텍스트 모델에는, 0/1의 각 값에 대한 발생 확률의 베리에이션이 포함되어 있기 때문에, 도 11에 나타내는 바와 같이, 단계 S11에서 결정된 컨텍스트 모델(22)을 참조해서 처리한다. 도 13의 ek(C)에 나타낸 바와 같은 발생 확률 선택을 위한 평가값을 정하고, 이에 따라서, 참조하는 컨텍스트 모델의 선택 사항 중에서 어떤 발생 확률 베리에이션을 현재의 부호화에 이용할지를 결정한다. 또한, 본 실시예 1에 있어서의 가변 길이 부호화부(8)는, 발생 확률 정보 기억 메모리(21)를 구비하여, 부호화의 과정에서 순차적으로 갱신되는 발생 확률 정보(23)를, 사용되는 컨텍스트 모델의 베리에이션분만큼 기억하는 기구를 구비한다. 발생 확률 생성부(19)는, 컨텍스트 모델(22)의 값에 따라, 현재의 부호화에 이용하는 발생 확률 정보(23)를 결정한다.
(D) 부호화 처리(도 11에서의 단계 S14)
(C)에 의해서, 산술 부호화 프로세스에 필요한 확률 수직선 상의 0/1 각 값의 발생 확률이 얻어지기 때문에, 종래 예로 든 프로세스에 따라서 부호화부(20)에서 산술 부호화를 행한다. 또한, 실제로의 부호화값(0 or 1)(24)은 발생 확률 생성부(19)로 피드백되고, 사용한 발생 확률 정보(23)의 갱신을 위해서, 0/1 발생 빈도의 카운트가 실시된다(단계 S15). 예컨대, 어떤 특정한 발생 확률 정보(23)를 이용하여 100개의 bin의 부호화 처리가 행해진 시점에서, 상기 발생 확률 베리에이션에 있어서의 0/1의 발생 확률이 0.25, 0.75였다고 한다. 여기서, 동일한 발생 확률 베리에이션을 이용하여 1이 부호화되면, 1의 출현 빈도가 갱신되어, 0/1의 발생 확률은 0.247, 0.752로 변화된다. 이러한 메커니즘에 의해, 실제로의 발생 확률에 적응한 효율적인 부호화를 행하는 것이 가능해진다. 산술 부호화 결과(26)는 가변 길이 부호화부(8)로부터의 출력으로 되어, 비트 스트림(9)으로서 부호화 장치로부터 출력된다.
상기 설명에 있어서는, 컨텍스트 모델 선택 정보(25)를, 동일 프레임 내의 정보를 이용하여 컨텍스트 모델(22)을 결정할지, 직전의 인접 프레임의 정보를 참조하여 컨텍스트 모델(22)을 결정할지를 선택하는데 사용했지만, 마찬가지로, 도 7 내지 도 8에 있어서의 C1, C2 색성분의 움직임 예측 모드의 부호화에 이용하는 컨텍스트 모델(22)을, 대응하는 C0 성분의 움직임 예측 모드의 상태를 참조할지 여부 등의 형태로 이용해도 좋다. 이와 같이 구성함으로써, C1, C2 색성분의 움직임 예측 모드의 상태가 C0 성분의 움직임 예측 모드의 상태와 높은 상관이 있는 경우에는 부호화 효율을 높일 수 있다.
2. 부호화 비트 스트림의 구성
입력 영상 신호(1)는, 상기 처리에 근거하여 도 1의 화상 부호화 장치로 부호화되어, 복수의 기준 블록을 묶은 단위(이하, 슬라이스라고 부름)로 비트 스트림(9)으로서 화상 부호화 장치로부터 출력된다. 도 15에, 비트 스트림(9)의 데이터 배열을 나타낸다. 비트 스트림(9)은, 프레임 중에 포함되는 기준 블록수만큼의 부호화 데이터가 모여진 것으로서 구성되고, 기준 블록은 슬라이스 단위로 유닛화된다. 동일 프레임에 속하는 기준 블록이 공통 파라미터로서 참조하는 픽쳐 레벨 헤더가 준비되고, 픽쳐 레벨 헤더에는 기준 블록 크기(16)가 저장된다. 기준 블록 크기(16)는 시퀀스로 고정화되는 것이면, 시퀀스 레벨 헤더에 다중하도록 구성해도 좋다.
각 슬라이스는 각각 슬라이스 헤더로부터 시작해서, 계속해서 슬라이스 내의 각 기준 블록의 부호화 데이터가 배열된다(이 예에서는, 제 2 슬라이스에 K개의 기준 블록이 포함되는 것을 나타냄). 슬라이스 헤더에 각 기준 블록의 데이터가 연속해 있다. 기준 블록 데이터는 기준 블록 헤더와 예측 오차 압축 데이터로 구성되고, 기준 블록 헤더에는 기준 블록 내의 움직임 예측 단위 블록분의 움직임 예측 모드와 움직임 벡터, 예측 오차 압축 데이터의 생성에 이용한 양자화 파라미터 등이 배열된다. 움직임 예측 모드는, 우선, 3개의 색성분의 각 성분마다 독립적으로 다중할지 여부를 나타내는 색성분별 움직임 예측 모드 공통화 식별 플래그(27)가 다중되고, 상기 플래그가 「3성분에서 공통」이면 하나의 공통의 움직임 예측 모드가 다중되고, 「3성분에서 독립」이면 도 7, 8에 나타낸 바와 같은 방법으로 결정되는 각 색성분 별도의 움직임 예측 모드가 개별적으로 다중된다. 또한, 움직임 예측 모드 및 움직임 벡터의 산술 부호화에 있어서의 컨텍스트 모델 선택 지침을 나타내는 컨텍스트 모델 선택 정보(25)가 기준 블록 헤더에 포함된다.
또한, 도시하고 있지 않지만, 기준 블록 크기 결정부(160)를, 각 기준 블록 내에서 이용하는 움직임 예측 단위 블록의 크기 Li, Mi를 각 기준 블록마다 선택할 수 있도록 구성해 두고, 기준 블록 내에서 이용하는 움직임 예측 단위 블록의 크기 Li, Mi를 시퀀스, 픽쳐 레벨 헤더에 다중하는 대신에, 각 기준 블록 헤더에 다중하도록 구성해도 좋다. 이에 의해, 기준 블록마다 움직임 예측 단위 블록의 크기 Li, Mi를 부호화할 필요가 있지만, 국소적인 화상 신호의 성질에 따라 움직임 예측 단위 블록의 크기를 변화시킬 수 있어, 보다 적응성이 높은 움직임 예측을 행하는 것이 가능해진다. 각 기준 블록 헤더에 다중할지, 시퀀스, GOP, 픽쳐, 슬라이스 등의 상위 레벨의 헤더에 고정적으로 다중할지와 관련하여, 시퀀스, GOP, 픽쳐, 슬라이스 등의 상위 레벨 헤더 중에 식별 정보를 다중하도록 구성함으로써 움직임 예측 단위 블록의 크기가 상위 레벨로 고정화하더라도 움직임 예측 성능에 영향이 적은 경우는, 기준 블록마다 움직임 예측 단위 블록의 크기 Li, Mi를 부호화하는 오버헤드를 삭감하여 효율적인 부호화를 행하는 것도 가능하다.
3. 화상 복호 장치의 동작
도 16에 본 실시예 1에 있어서의 화상 복호 장치의 구성을 나타낸다. 가변 길이 복호부(30)는, 도 15에 나타내는 비트 스트림(9)을 입력으로 하여, 시퀀스 레벨 헤더를 복호한 후, 픽쳐 레벨 헤더를 복호하여 기준 블록 크기(16)를 복호한다. 이에 의해 상기 픽쳐에서 이용하는 기준 블록의 크기 Mmax, Li, Mi를 인식하여, 예측 오차 복호부(34) 및 예측부(31)에 통지한다. 또한, 움직임 예측 단위 블록의 크기 Li, Mi를 각 기준 블록 헤더 중에 다중가능하게 하는 비트 스트림 구성의 경우는, Li, Mi가 각 기준 블록 헤더 중에 다중되어 있는지 여부를 나타내는 식별 정보를 복호하고, 이 식별 정보에 근거하여, Li, Mi가 각 기준 블록 헤더 중에 다중되어 있는 경우는, 각 기준 블록 헤더를 복호함으로써, Li, Mi를 인식하도록 구성한다.
기준 블록 데이터의 복호는 먼저, 기준 블록 헤더를 복호하고, 색성분별 움직임 예측 모드 공통화 식별 플래그(27)를 복호한다. 또한, 컨텍스트 모델 선택 정보(25)를 복호하고, 색성분별 움직임 예측 모드 공통화 식별 플래그(27) 및 컨텍스트 모델 선택 정보(25)에 근거하여, 각 색성분마다 움직임 예측 단위 블록당에 적용하는 움직임 예측 모드를 복호한다. 또한, 컨텍스트 모델 선택 정보(25)에 근거하여 움직임 벡터를 복호하고, 또한 양자화 파라미터, 예측 오차 압축 데이터 등의 정보를 순차적으로 복호한다. 움직임 예측 모드, 움직임 벡터의 복호에 대해서는 후술한다.
예측 오차 압축 데이터(32), 양자화 단계 크기 파라미터(33)는 예측 오차 복호부(34)에 입력되어, 복호 예측 오차 신호(35)로 복원된다. 예측부(31)는, 가변 길이 복호부(30)에 의해서 복호되는 예측 신호 생성용 파라미터(15)와 메모리(38) 내의 참조 화상으로부터 예측 신호(36)를 생성한다(예측부(31)는 부호화 장치에 있어서의 예측부(4)의 움직임 벡터 검출 동작은 포함하지 않음). 움직임 예측 모드는 도 2 중 어느 하나이며, 그 분할 형상에 근거해 각 기본 블록에 할당되는 움직임 벡터를 이용하여 예측 화상을 생성한다. 복호 예측 오차 신호(35)와 예측 신호(36)는 가산기에 의해 가산되어, 복호 신호(37)를 얻는다. 복호 신호(37)는 이후의 기준 블록의 움직임 보상 예측에 이용하기 위해서, 메모리(38)에 저장된다.
이하, 기준 블록의 움직임 예측 모드, 움직임 벡터의 복호 처리에 대해서 설명한다.
도 17은 가변 길이 복호부(30)에 있어서의 산술 복호 처리에 관한 내부 구성을, 도 18은 그 동작 흐름을 나타낸다.
본 실시예 1에 있어서의 가변 길이 복호부(30)는, 움직임 예측 모드, 움직임 벡터 등을 포함하는 예측 신호 생성용 파라미터(15), 예측 오차 압축 데이터(32), 양자화 단계 크기 파라미터(33) 등의 개개의 복호 대상 데이터의 형태를 특정하고, 각각 부호화 장치와 공통 정의되는 컨텍스트 모델을 정하는 컨텍스트 모델 결정부(17), 복호 대상 데이터의 형태에 근거하여 정해지는 2치화 규칙을 생성하는 2치화부(18), 2치화 규칙과 컨텍스트 모델에 따라서, 개개의 bin(0 or 1)의 발생 확률을 제공하는 발생 확률 생성부(19), 생성되는 발생 확률에 근거하여 산술 복호를 실행하고, 그 결과 얻어지는 2치 계열과, 상기 2치화 규칙으로부터, 부호화 데이터를 복호하는 복호부(39), 발생 확률 정보를 기억하는 발생 확률 정보 기억 메모리(21)로 구성된다. 도 10의 가변 길이 부호화부(8)의 내부 구성요소와 동일한 번호를 부여한 블록은 동일한 동작을 하는 것으로 한다.
(E) 컨텍스트 모델 결정 처리, 2치화 처리, 발생 확률 생성 처리(도 18의 단계 S11~S13)
이들 프로세스는 부호화 장치측의 프로세스 (A)~(C)에 준한다. 움직임 예측 모드, 움직임 벡터의 복호에 이용하는 컨텍스트 모델의 결정에는, 상기 복호한 컨텍스트 모델 선택 정보(25)를 참조한다.
(F) 산술 복호 처리
이로부터 복호하고자 하는 bin의 발생 확률이 (E)까지의 프로세스에 의해 확정되기 때문에, 복호부(39)에 있어서, 소정의 산술 복호 처리 프로세스에 따라서, bin의 값을 복원한다(도 18에서의 단계 S21). bin의 복원값(40)은 발생 확률 생성부(19)로 피드백되고, 사용한 발생 확률 정보(23)의 갱신을 위해서, 0/1 발생 빈도의 카운트가 실시된다(단계 S15). 복호부(39)에서는, 각 bin의 복원값이 확정될 때마다, 2치화 규칙으로 정해지는 2치 계열 패턴과의 합치를 확인하고, 합치한 패턴이 지시하는 데이터값을 복호 데이터값(41)으로서 출력한다(단계 S22). 복호 데이터가 확정되지 않는 한은, 단계 S11로 되돌아가서 복호 처리를 계속한다.
또한, 상기 설명에서는, 컨텍스트 모델 선택 정보(25)를 다중하는 단위는 기준 블록 단위로 했지만, 슬라이스 단위나 픽쳐 단위 등으로 다중화해도 좋다. 슬라이스, 픽쳐, 시퀀스 등의 상위 데이터층에 위치하는 플래그로서 다중화되도록 함으로써, 슬라이스 이상의 상위층에서의 전환으로 충분한 부호화 효율을 확보할 수 있는 경우는, 기준 블록 레벨로 컨텍스트 모델 선택 정보(25)를 하나씩 다중화하지 않고 오버헤드 비트를 삭감할 수 있다.
또한, 컨텍스트 모델 선택 정보(25)는, 그 자체와는 다른 비트 스트림 중에 포함되는 관련 정보에 근거하여 복호 장치의 내부에서 정해지는 정보이더라도 좋다. 또한, 상기 설명에서는 가변 길이 부호화부(8), 가변 길이 복호부(30)는 산술 부호화ㆍ산술 복호 처리를 행하는 것으로서 설명했지만, 이들 처리를 하프먼 부호화 처리로 하고, 컨텍스트 모델 선택 정보(25)는 가변 길이 부호화 테이블을 적응적으로 전환하는 수단으로서 이용하도록 구성해도 좋다.
이상의 구성에 의한, 산술 부호화 및 산술 복호 처리를 구비한 부호화ㆍ복호 장치에 의하면, 컨텍스트 모델 선택 정보(25)에 의해, 부호화 대상 기준 블록의 주변의 상태에 따라 적응적으로 움직임 예측 모드나 움직임 벡터의 정보를 산술 부호화할 수 있어, 보다 효율적인 부호화가 가능해진다.
이상 설명한 본 실시예 1에 있어서의 화상 부호화 장치, 화상 복호 장치에 의하면, 4:4:4 포맷의 컬러 영상 신호를 효율적으로 부호화하기 위해서, 각 색성분의 신호의 성질에 따라, 움직임 예측 모드, 움직임 벡터를 적은 정보량으로 동적으로 전환하는 것이 가능해지기 때문에, 높은 압축율로 되는 낮은 비트 레이트 부호화에 있어서 움직임 벡터의 부호량을 효과적으로 억제하여 부호화하는 화상 부호화 장치, 화상 복호 장치를 제공할 수 있다.
또한, 본 실시예 1에서는, 4:4:4 영상 신호에 대한 부호화ㆍ복호의 실시예를 설명했지만, 본 발명에 있어서의 움직임 벡터의 적응 부호화는, 종래의 휘도ㆍ색차 성분 포맷에서 색추출을 행한 4:2:0, 4:2:2 포맷을 대상으로 하는 영상 부호화에 있어서, 그 움직임 예측 모드, 움직임 벡터 부호화의 효율화에도 적용가능한 것은 말할 필요도 없다.
또한, 어떤 특정한 성분에 대하여 최적의 움직임 예측 모드, 움직임 벡터, 예측 오차 신호를 구한 후, 이들 정보에 근거하여 나머지 색성분의 움직임 예측 모드, 움직임 벡터, 예측 오차 신호를 구하는 처리를 기준 블록의 단위로 전환해서 실행하는 동작(도 7, 도 8)과, 공간적인 상관뿐만 아니라, 시간적인 상관에 근거하여 컨텍스트 모델을 선택하는 동작(도 9)을 조합해서 설명했지만, 각각 단독으로 동작시킨 경우도, 상기의 효과를 얻을 수 있다.
1: 입력 영상 신호, 2: 블록 분할부, 3: 부호화 신호, 4: 예측부, 5: 예측 오차 신호, 6: 압축부, 7: 압축 데이터, 8: 가변 길이 부호화부, 9: 비트 스트림, 10: 국소 복호부, 11: 복호 예측 오차 신호, 12: 예측 신호, 13: 복호 신호, 14: 메모리, 15: 예측 신호 생성용 파라미터, 16: 기준 블록 크기, 17: 컨텍스트 모델 결정부, 18: 2치화부, 19: 발생 확률 생성부, 20: 부호화부, 21: 발생 확률 정보 기억 메모리, 22: 컨텍스트 모델, 23: 발생 확률 정보, 24: 부호화값, 25: 컨텍스트 모델 선택 정보, 26: 산술 부호화 결과, 27: 색성분별 움직임 예측 모드 공통화 식별 플래그, 30: 가변 길이 복호부, 31: 예측부, 32: 예측 오차 압축 데이터, 33: 양자화 단계 크기 파라미터, 34: 예측 오차 복호, 35: 복호 예측 오차 신호, 36: 예측 신호, 37: 복호 신호, 38: 메모리, 40: bin 복원값, 41: 복호 데이터값, 160: 기준 블록 크기 결정부.

Claims (8)

  1. 디지털 영상 신호의 각 프레임을 소정의 기준 블록으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 장치로서,
    소정의 방법에 근거하여 상기 기준 블록의 크기를 결정함과 아울러, 상기 기준 블록 내의 각 색성분의 신호에 대하여, 움직임 예측을 행하는 단위인 움직임 예측 단위 블록의 형상을 각각 개별적으로 정하는 기준 블록 크기 결정 수단과,
    상기 기준 블록 내의 제 1 색성분의 움직임 예측 단위 블록에 대해서, 복수의 움직임 예측 모드 중 가장 효율이 좋은 제 1 움직임 예측 모드를 결정하고, 상기 결정된 제 1 움직임 예측 모드에 대응하는 제 1 움직임 벡터를 검출하며, 상기 기준 블록 내의 제 2 색성분의 움직임 예측 단위 블록에 대해서, 상기 제 1 움직임 예측 모드, 상기 제 1 및 제 2 색성분의 움직임 예측 단위 블록의 형상, 상기 제 1 움직임 벡터에 근거하여, 제 2 움직임 예측 모드를 결정하고, 상기 결정된 제 2 움직임 예측 모드에 대응하는 제 2 움직임 벡터를 검출하며, 상기 기준 블록 내의 제 3 색성분의 움직임 예측 단위 블록에 대해서, 상기 제 1 움직임 예측 모드, 상기 제 1 및 제 3 색성분의 움직임 예측 단위 블록의 형상, 상기 제 1 움직임 벡터에 근거하여, 제 3 움직임 예측 모드를 결정하고, 상기 결정된 제 3 움직임 예측 모드에 대응하는 제 3 움직임 벡터를 검출하여 출력하는 예측 수단과,
    상기 제 1 움직임 예측 모드를 산술 부호화함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드에 근거하여, 상기 제 1 움직임 예측 모드의 값의 발생 확률을 정해서 산술 부호화를 행함과 아울러, 상기 제 2 및 제 3 움직임 예측 모드를 산술 부호화함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 상기 제 1 움직임 예측 모드에 근거하여, 상기 제 2 및 제 3 움직임 예측 모드의 값의 발생 확률을 정해서 산술 부호화를 행하는 가변 길이 부호화 수단
    을 구비하는 화상 부호화 장치.
  2. 디지털 영상 신호의 각 프레임을 소정의 기준 블록으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화된 화상 부호화 비트 스트림을 수신해서 영상 신호를 복원하는 화상 복호 장치로서,
    수신한 상기 비트 스트림으로부터, 상기 기준 블록의 크기, 및 상기 디지털 영상 신호를 구성하는 색성분마다의 움직임 예측을 행하는 단위인 움직임 예측 단위 블록의 형상을 복호하는 헤더 복호 수단과,
    상기 기준 블록의 단위로, 상기 각 색성분의 움직임 예측 단위 블록의 예측 화상 생성에 이용하는 움직임 예측 모드와, 움직임 벡터를 복호하고, 상기 기준 블록 내의 예측 오차 압축 데이터와, 상기 각 색성분의 움직임 예측 단위 블록당의 움직임 예측 모드를 전체 색성분에서 공통화할지 여부를 나타내는 식별 정보를 복호하며, 또한 상기 식별 정보에 근거하여 각 색성분의 움직임 예측 모드를 복호함과 아울러, 복호한 제 1 색성분의 움직임 예측 모드와 움직임 벡터로부터, 제 2 및 제 3 색성분의 움직임 예측 모드에 대응하는 움직임 벡터를 결정하는 기준 블록 복호 수단과,
    상기 움직임 예측 모드, 상기 움직임 벡터에 근거하여, 상기 각 색성분의 움직임 예측 단위 블록의 예측 화상을 생성하는 예측 수단과,
    상기 기준 블록 내의 예측 오차 압축 데이터를 예측 오차 화상 신호로 복호하는 예측 오차 복호 수단과,
    상기 예측 화상과 상기 예측 오차 화상 신호를 가산하여 복호 화상을 생성하는 복호 가산 수단과,
    상기 복호 화상을 움직임 보상 예측을 위한 참조 화상 데이터로서 저장하는 메모리와,
    상기 제 1 색성분의 움직임 예측 모드를 산술 복호함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 복호된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 복호된 움직임 예측 모드에 근거하여, 상기 제 1 움직임 예측 모드의 값의 발생 확률을 정해서 산술 복호를 행함과 아울러, 상기 제 2 및 제 3 움직임 예측 모드를 산술 복호함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 복호된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 복호된 움직임 예측 모드와, 상기 제 1 움직임 예측 모드에 근거하여, 상기 제 2 및 제 3 움직임 예측 모드의 값의 발생 확률을 정해서 산술 복호를 행하는 가변 길이 복호 수단
    을 구비하는 화상 복호 장치.
  3. 디지털 영상 신호의 각 프레임을 소정의 기준 블록으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 방법으로서,
    소정의 방법에 근거하여 상기 기준 블록의 크기를 결정함과 아울러, 상기 기준 블록 내의 각 색성분의 신호에 대하여, 움직임 예측을 행하는 단위인 움직임 예측 단위 블록의 형상을 각각 개별적으로 정하는 기준 블록 크기 결정 단계와,
    상기 기준 블록 내의 제 1 색성분의 움직임 예측 단위 블록에 대해서, 복수의 움직임 예측 모드 중 가장 효율이 좋은 제 1 움직임 예측 모드를 결정하고, 상기 결정된 제 1 움직임 예측 모드에 대응하는 제 1 움직임 벡터를 검출하며, 상기 기준 블록 내의 제 2 색성분의 움직임 예측 단위 블록에 대해서, 상기 제 1 움직임 예측 모드, 상기 제 1 및 제 2 색성분의 움직임 예측 단위 블록의 형상, 상기 제 1 움직임 벡터에 근거하여, 제 2 움직임 예측 모드를 결정하고, 상기 결정된 제 2 움직임 예측 모드에 대응하는 제 2 움직임 벡터를 검출하며, 상기 기준 블록 내의 제 3 색성분의 움직임 예측 단위 블록에 대해서, 상기 제 1 움직임 예측 모드, 상기 제 1 및 제 3 색성분의 움직임 예측 단위 블록의 형상, 상기 제 1 움직임 벡터에 근거하여, 제 3 움직임 예측 모드를 결정하고, 상기 결정된 제 3 움직임 예측 모드에 대응하는 제 3 움직임 벡터를 검출하여 출력하는 예측 단계와,
    상기 제 1 움직임 예측 모드를 산술 부호화함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드에 근거하여, 상기 제 1 움직임 예측 모드의 값의 발생 확률을 정해서 산술 부호화를 행함과 아울러, 상기 제 2 및 제 3 움직임 예측 모드를 산술 부호화함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 선택된 움직임 예측 모드와, 상기 제 1 움직임 예측 모드에 근거하여, 상기 제 2 및 제 3 움직임 예측 모드의 값의 발생 확률을 정해서 산술 부호화를 행하는 가변 길이 부호화 단계
    를 구비하는 화상 부호화 방법.
  4. 디지털 영상 신호의 각 프레임을 소정의 기준 블록으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화된 화상 부호화 비트 스트림을 수신해서 영상 신호를 복원하는 화상 복호 방법으로서,
    수신한 상기 비트 스트림으로부터, 상기 기준 블록의 크기, 및 상기 디지털 영상 신호를 구성하는 색성분마다의 움직임 예측을 행하는 단위인 움직임 예측 단위 블록의 형상을 복호하는 헤더 복호 단계와,
    상기 기준 블록의 단위로, 상기 각 색성분의 움직임 예측 단위 블록의 예측 화상 생성에 이용하는 움직임 예측 모드와, 움직임 벡터를 복호하고, 상기 기준 블록 내의 예측 오차 압축 데이터와, 상기 각 색성분의 움직임 예측 단위 블록당의 움직임 예측 모드를 전체 색성분에서 공통화할지 여부를 나타내는 식별 정보를 복호하며, 또한 상기 식별 정보에 근거하여 각 색성분의 움직임 예측 모드를 복호함과 아울러, 복호한 제 1 색성분의 움직임 예측 모드와 움직임 벡터로부터, 제 2 및 제 3 색성분의 움직임 예측 모드에 대응하는 움직임 벡터를 결정하는 기준 블록 복호 단계와,
    상기 움직임 예측 모드, 상기 움직임 벡터에 근거하여, 상기 각 색성분의 움직임 예측 단위 블록의 예측 화상을 생성하는 예측 단계와,
    상기 기준 블록 내의 예측 오차 압축 데이터를 예측 오차 화상 신호로 복호 하는 에측 오차 복호 단계와,
    상기 예측 화상과 상기 예측 오차 화상 신호를 가산하여 복호 화상을 생성하는 복호 가산 단계와,
    상기 복호 화상을 움직임 보상 예측을 위한 참조 화상 데이터로서 저장하는 저장 단계와,
    상기 제 1 색성분의 움직임 예측 모드를 산술 복호함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 복호된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 복호된 움직임 예측 모드에 근거하여, 상기 제 1 움직임 예측 모드의 값의 발생 확률을 정해서 산술 복호를 행함과 아울러, 상기 제 2 및 제 3 움직임 예측 모드를 산술 복호함에 있어서, 공간적으로 인접하는 움직임 예측 단위 블록에서 복호된 움직임 예측 모드와, 시간적으로 인접하는 움직임 예측 단위 블록에서 복호된 움직임 예측 모드와, 상기 제 1 움직임 예측 모드에 근거하여, 상기 제 2 및 제 3 움직임 예측 모드의 값의 발생 확률을 정해서 산술 복호를 행하는 가변 길이 복호 단계
    를 구비하는 화상 복호 방법.
  5. 디지털 영상 신호의 각 프레임을 소정의 기준 블록으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 장치로서,
    소정의 방법에 근거하여 상기 기준 블록의 크기를 결정함과 아울러, 상기 기준 블록 내의 각 색성분의 신호에 대하여, 움직임 예측을 행하는 단위인 움직임 예측 단위 블록의 형상을 각각 개별적으로 정하는 기준 블록 크기 결정 수단과,
    상기 기준 블록 내의 제 1 색성분의 움직임 예측 단위 블록에 대해서, 복수의 움직임 예측 모드 중 가장 효율이 좋은 제 1 움직임 예측 모드를 결정하고, 상기 결정된 제 1 움직임 예측 모드에 대응하는 제 1 움직임 벡터를 검출하며, 상기 기준 블록 내의 제 2 색성분의 움직임 예측 단위 블록에 대해서, 상기 제 1 움직임 예측 모드, 상기 제 1 및 제 2 색성분의 움직임 예측 단위 블록의 형상, 상기 제 1 움직임 벡터에 근거하여, 제 2 움직임 예측 모드를 결정하고, 상기 결정된 제 2 움직임 예측 모드에 대응하는 제 2 움직임 벡터를 검출하며, 상기 기준 블록 내의 제 3 색성분의 움직임 예측 단위 블록에 대해서, 상기 제 1 움직임 예측 모드, 상기 제 1 및 제 3 색성분의 움직임 예측 단위 블록의 형상, 상기 제 1 움직임 벡터에 근거하여, 제 3 움직임 예측 모드를 결정하고, 상기 결정된 제 3 움직임 예측 모드에 대응하는 제 3 움직임 벡터를 검출하여 출력하는 예측 수단
    을 구비하는 화상 부호화 장치.
  6. 디지털 영상 신호의 각 프레임을 소정의 단위 영역으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 장치로서,
    각 색성분에 대해서, 복수의 움직임 예측 모드 중 가장 효율이 좋은 움직임 예측 모드를 결정하고, 상기 결정된 움직임 예측 모드에 대응하는 움직임 벡터를 검출하여 출력하는 예측 수단과,
    상기 각 색성분의 움직임 예측 모드를 산술 부호화함에 있어서, 공간적으로 인접하는 단위 영역에서 선택된 움직임 예측 모드와, 시간적으로 인접하는 단위 영역에서 선택된 움직임 예측 모드에 근거하여, 상기 각 색성분의 움직임 예측 모드의 값의 발생 확률을 정해서 산술 부호화를 행하는 가변 길이 부호화 수단
    을 구비하는 화상 부호화 장치.
  7. 디지털 영상 신호의 각 프레임을 소정의 기준 블록으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화된 화상 부호화 비트 스트림을 수신해서 영상 신호를 복원하는 화상 복호 장치로서,
    수신한 상기 비트 스트림으로부터, 상기 기준 블록의 크기, 및 상기 디지털 영상 신호를 구성하는 색성분마다의 움직임 예측을 행하는 단위인 움직임 예측 단위 블록의 형상을 복호하는 헤더 복호 수단과,
    상기 기준 블록의 단위로, 상기 각 색성분의 움직임 예측 단위 블록의 예측 화상 생성에 이용하는 움직임 예측 모드와, 움직임 벡터를 복호하고, 상기 기준 블록 내의 예측 오차 압축 데이터와, 상기 각 색성분의 움직임 예측 단위 블록당의 움직임 예측 모드를 전체 색성분에서 공통화할지 여부를 나타내는 식별 정보를 복호하며, 또한 상기 식별 정보에 근거하여 각 색성분의 움직임 예측 모드를 복호함과 아울러, 복호한 제 1 색성분의 움직임 예측 모드와 움직임 벡터로부터, 제 2 및 제 3 색성분의 움직임 예측 모드에 대응하는 움직임 벡터를 결정하는 기준 블록 복호 수단과,
    상기 움직임 예측 모드, 상기 움직임 벡터에 근거하여, 상기 각 색성분의 움직임 예측 단위 블록의 예측 화상을 생성하는 예측 수단과,
    상기 기준 블록 내의 예측 오차 압축 데이터를 예측 오차 화상 신호로 복호하는 예측 오차 복호 수단과,
    상기 예측 화상과 상기 예측 오차 화상 신호를 가산하여 복호 화상을 생성하는 복호 가산 수단과,
    상기 복호 화상을 움직임 보상 예측을 위한 참조 화상 데이터로서 저장하는 메모리
    를 구비하는 화상 복호 장치.
  8. 디지털 영상 신호의 각 프레임을 소정의 단위 영역으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화된 화상 부호화 비트 스트림을 수신해서 영상 신호를 복원하는 화상 복호 장치로서,
    상기 각 색성분의 예측 화상 생성에 이용하는 움직임 예측 모드와, 움직임 벡터와, 예측 오차 압축 데이터와, 상기 각 색성분의 움직임 예측 모드를 전체 색성분에서 공통화할지 여부를 나타내는 식별 정보를 복호하고, 또한 상기 식별 정보에 근거하여 각 색성분의 움직임 예측 모드를 복호하는 복호 수단과,
    상기 움직임 예측 모드, 상기 움직임 벡터에 근거하여, 상기 각 색성분의 예측 화상을 생성하는 예측 수단과,
    예측 오차 압축 데이터를 예측 오차 화상 신호로 복호하는 예측 오차 복호 수단과,
    상기 예측 화상과 상기 예측 오차 화상 신호를 가산하여 복호 화상을 생성하는 복호 가산 수단과,
    상기 복호 화상을 움직임 보상 예측을 위한 참조 화상 데이터로서 저장하는 메모리와,
    상기 각 색성분의 움직임 예측 모드를 산술 복호함에 있어서, 공간적으로 인접하는 단위 영역에서 복호된 움직임 예측 모드와, 시간적으로 인접하는 단위 영역에서 복호된 움직임 예측 모드에 근거하여, 상기 각 색성분의 움직임 예측 모드의 값의 발생 확률을 정해서 산술 복호를 행하는 가변 길이 복호 수단
    을 구비하는 화상 복호 장치.
KR1020117003012A 2008-07-10 2009-07-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법 KR20110040893A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-180284 2008-07-10
JP2008180284 2008-07-10

Publications (1)

Publication Number Publication Date
KR20110040893A true KR20110040893A (ko) 2011-04-20

Family

ID=41507053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117003012A KR20110040893A (ko) 2008-07-10 2009-07-03 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법

Country Status (10)

Country Link
US (1) US20110129016A1 (ko)
EP (1) EP2312856A4 (ko)
JP (1) JP5289440B2 (ko)
KR (1) KR20110040893A (ko)
CN (1) CN102090065A (ko)
BR (1) BRPI0915821A2 (ko)
CA (1) CA2730383A1 (ko)
MX (1) MX2011000261A (ko)
RU (2) RU2011104707A (ko)
WO (1) WO2010004939A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002557A3 (ko) * 2011-06-27 2013-03-14 삼성전자 주식회사 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20140113854A (ko) * 2013-03-15 2014-09-25 삼성전자주식회사 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155437B2 (en) * 2007-09-07 2012-04-10 CVISION Technologies, Inc. Perceptually lossless color compression
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
US20120262545A1 (en) * 2011-04-18 2012-10-18 Paul Kerbiriou Method for coding and decoding a 3d video signal and corresponding devices
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
PL2725791T3 (pl) 2011-06-23 2024-02-26 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów
HUE046468T2 (hu) 2011-06-24 2020-03-30 Sun Patent Trust Kódoló eljárás és kódoló berendezés
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
MY165469A (en) 2011-06-28 2018-03-23 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
EP3419289B1 (en) * 2011-06-30 2020-12-23 JVC KENWOOD Corporation Image decoding device, image decoding method, and image decoding program
ES2908152T3 (es) * 2011-06-30 2022-04-27 Sun Patent Trust Procedimiento de decodificación de imágenes
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR102271116B1 (ko) 2011-07-11 2021-06-29 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CN107483925B (zh) 2011-09-09 2020-06-19 株式会社Kt 用于解码视频信号的方法
GB2494469B (en) * 2011-09-12 2015-04-01 Canon Kk Method and device for encoding or decoding information representing prediction modes
BR122020010110B1 (pt) * 2012-03-28 2021-08-17 JVC Kenwood Corporation Dispositivo de codificação de imagem
JP6066583B2 (ja) * 2012-05-01 2017-01-25 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
DE112012006541B4 (de) 2012-07-27 2020-03-19 Hewlett-Packard Development Company, L.P. Verfahren zur Videokompression
CN103338377A (zh) * 2013-07-11 2013-10-02 青岛海信信芯科技有限公司 用于确定运动估计中最优运动矢量的方法
JP6555856B2 (ja) * 2014-06-19 2019-08-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2016005210A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 端末装置及びデータ管理装置
KR20170009554A (ko) * 2015-07-17 2017-01-25 에스케이하이닉스 주식회사 테스트 시스템 및 테스트 방법
US10142652B2 (en) 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
CN111641831B (zh) * 2019-03-01 2023-09-01 杭州海康威视数字技术股份有限公司 帧内预测方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
EP1551184A3 (en) * 2003-12-27 2006-06-28 Samsung Electronics Co., Ltd. Residue image downsampling and encoding method
EP1753242A2 (en) * 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
KR101088375B1 (ko) * 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP4542107B2 (ja) * 2005-07-22 2010-09-08 三菱電機株式会社 画像復号装置及び画像復号方法
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR101311403B1 (ko) * 2006-07-04 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US7847979B2 (en) * 2006-07-07 2010-12-07 Eastman Kodak Company Printer having differential filtering smear correction

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002557A3 (ko) * 2011-06-27 2013-03-14 삼성전자 주식회사 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9137543B2 (en) 2011-06-27 2015-09-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9204162B2 (en) 2011-06-27 2015-12-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9204160B2 (en) 2011-06-27 2015-12-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9253500B2 (en) 2011-06-27 2016-02-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9253501B2 (en) 2011-06-27 2016-02-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9432680B2 (en) 2011-06-27 2016-08-30 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
KR20140113854A (ko) * 2013-03-15 2014-09-25 삼성전자주식회사 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치

Also Published As

Publication number Publication date
RU2011104707A (ru) 2012-08-20
JPWO2010004939A1 (ja) 2012-01-05
JP5289440B2 (ja) 2013-09-11
EP2312856A1 (en) 2011-04-20
US20110129016A1 (en) 2011-06-02
CN102090065A (zh) 2011-06-08
CA2730383A1 (en) 2010-01-14
EP2312856A4 (en) 2011-12-28
WO2010004939A1 (ja) 2010-01-14
RU2011146833A (ru) 2013-05-27
BRPI0915821A2 (pt) 2015-11-10
MX2011000261A (es) 2011-02-22

Similar Documents

Publication Publication Date Title
RU2673107C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP5709996B2 (ja) 画像復号装置及び画像復号方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application