KR101379087B1 - 화상 부호화 장치 및 방법, 그리고 화상 복호 장치 및 방법 - Google Patents

화상 부호화 장치 및 방법, 그리고 화상 복호 장치 및 방법 Download PDF

Info

Publication number
KR101379087B1
KR101379087B1 KR1020117009137A KR20117009137A KR101379087B1 KR 101379087 B1 KR101379087 B1 KR 101379087B1 KR 1020117009137 A KR1020117009137 A KR 1020117009137A KR 20117009137 A KR20117009137 A KR 20117009137A KR 101379087 B1 KR101379087 B1 KR 101379087B1
Authority
KR
South Korea
Prior art keywords
prediction
encoding
intra
mode
decoding
Prior art date
Application number
KR1020117009137A
Other languages
English (en)
Other versions
KR20110061627A (ko
Inventor
？이치 세키구치
슈우이치 야마기시
요시미 모리야
요시히사 야마다
고타로 아사이
도쿠미치 무라카미
유이치 이데하라
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20110061627A publication Critical patent/KR20110061627A/ko
Application granted granted Critical
Publication of KR101379087B1 publication Critical patent/KR101379087B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

색성분간에 샘플비의 구별이 없는 동화상 신호를 부호화함에 있어서, 최적성을 높인 부호화 방법 등의 제공. 입력 비트스트림을 상기 색성분마다 분리하는 색성분 분리부와, 입력 색성분 신호를, 부호화 블록 사이즈 지시 정보에 의해 정해지는 크기의 블록으로 분할하여, 상기 부호화 단위 영역의 신호를 생성하는 블록 분할부와, 예측 화상 생성 방법을 나타내는 하나 이상의 예측 모드에 대응하여 상기 부호화 단위 영역의 신호에 대한 예측 화상을 생성하는 예측 화상 생성부와, 그 예측 화상 생성부로부터 출력되는 예측 화상의 예측 효율에 따라 부호화에 이용하는 예측 모드를 판정하는 판정부와, 그 판정부에 의해 정해진 예측 모드에 대응하는 예측 화상과 상기 입력 색성분 신호의 차분을 부호화하는 예측 오차 부호화부와, 상기 예측 모드와 예측 오차 부호화부의 출력과 상기 색성분 분리에 의해 어떤 색성분에 속하는지를 나타내는 색성분 식별 플래그를 가변 길이 부호화하는 부호화부를 구비한다.

Description

화상 부호화 장치 및 방법, 그리고 화상 복호 장치 및 방법{IMAGE ENCODER, IMAGE ENCODING METHOD, IMAGE DECODER AND IMAGE DECODING METHOD}
본 발명은, 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용되는 디지털 화상 신호 부호화 장치, 디지털 화상 신호 복호 장치, 디지털 화상 신호 부호화 방법, 및 디지털 화상 신호 복호 방법에 관한 것이다.
종래, MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 주로 4:2:0 포맷이라고 불리는 표준화된 입력 신호 포맷의 사용을 전제로 하여 왔다. 4:2:0이란, RGB 등의 컬러 동화상 신호를 휘도 성분(Y)과 2개의 색차 성분(Cb, Cr)으로 변환하여, 수평ㆍ수직 함께 색차 성분의 샘플수를 휘도 성분의 반으로 삭감한 포맷이다. 색차 성분은 휘도 성분에 비하여 시인성이 떨어지므로, MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격(이하, AVC)(비특허 문헌 1)과 같은 종래의 국제 표준 영상 부호화 방식에서는, 이와 같이 부호화를 행하기 전에 색차 성분의 다운 샘플을 행함으로써 부호화 대상의 원래 정보량을 삭감하여 두는 것을 전제로 하고 있었다. 한편, 최근의 비디오 디스플레이의 고해상도화, 고계조화에 따라, 또한, 디지털 시네마 등의 컨텐츠 제작시의 색표현을 상영시에 정확히 재현하는 것을 목적으로 하여, 색차 성분을 다운 샘플하지 않고 휘도 성분과 동일 샘플로 부호화하는 방식에 대해서도 검토가 행해지고 있다. 휘도 성분과 색차 성분이 완전히 동일한 샘플수인 포맷은 4:4:4 포맷이라고 불린다. MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격(이하, AVC)에서는, 4:4:4 포맷을 입력으로 하는 부호화 방식으로서 「하이 4:4:4 프로파일」이 책정되어 있다. 이 목적에 적합한 방식으로서, JPEG2000(ISO/IEC 15444) 규격(비특허 문헌 2)과 같은 표준 방식이 있다. 도 10에 나타내는 바와 같이, 종래의 4:2:0 포맷이 색차 성분의 다운 샘플을 전제로 했으므로 Y, Cb, Cr이라는 색공간 정의에만 한정된데 대하여, 4:4:4 포맷에서는 색성분 사이에 샘플비의 구별이 없으므로, Y, Cb, Cr 외에, R, G, B를 직접 사용하거나, 그 밖의 복수의 색공간 정의를 이용하는 것이 가능하다. 4:2:0 포맷을 이용한 영상 부호화 방식에서는, 그 색공간은 Y, Cb, Cr로 정해져 있으므로 부호화 처리 중에 색공간의 종별을 고려할 필요는 없었지만, 상기의 AVC 하이 4:4:4 프로파일에 있어서는 색공간 정의가 부호화 처리 그 자체에 영향을 주는 방식으로 되어 있다. 한편으로, 현재의 하이 4:4:4 프로파일은, Y, Cb, Cr 공간으로 정의된 4:2:0 포맷을 부호화 대상으로 하는 그 밖의 프로파일과의 호환성을 고려하므로, 4:4:4 포맷의 압축 효율을 최적으로 하는 설계로 되어 있다고는 말할 수 없다.
(비특허 문헌 1) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
(비특허 문헌 2) JPEG2000(ISO/IEC 15444) 규격
예컨대, AVC의 4:2:0 포맷을 부호화 대상으로 하는 하이 4:2:0 프로파일에서는, 휘도 성분 16×16 화소로 이루어지는 매크로 블록 영역에서, 대응하는 색차 성분은 Cb, Cr 함께 각 8×8 화소 블록이 된다. 하이 4:2:0 프로파일에 있어서의 움직임 보상 예측에서는, 휘도 성분에 대해서만 움직임 보상 예측의 단위가 되는 블록 사이즈 정보와 예측에 이용하는 참조 화상 정보, 각 블록마다의 움직임 벡터 정보를 다중화하고, 색차 성분은 휘도 성분과 같은 정보를 이용하여 움직임 보상 예측을 행하게 되어 있다. 이러한 방식은, 4:2:0 포맷이 화상의 구조(텍스처)의 표현에 크게 기여하는 휘도 성분에 비하여 색차 성분의 기여가 작다고 하는 색공간 정의의 전제를 기초로 성립하는 것이다. 그러나, 현재의 하이 4:4:4 프로파일은, 매크로 블록당 색차 신호의 블록 사이즈가 16×16 화소로 확장된 상태에 있어서도, 4:2:0 포맷의 색차용 인트라 예측 모드를 단순히 확장한 방식으로 되어 있을 뿐이며, 또한, 4:2:0 포맷일 때와 마찬가지로, 1 성분을 휘도 성분이라 간주하고, 1 성분의 정보밖에 다중화하지 않고서 3 성분에 공통의 인터 예측 모드, 참조 화상 정보 및 움직임 벡터 정보에서 움직임 보상 예측이 행해지게 되어 있어, 화상 신호의 구조 표현에 있어서 각 색성분이 동등하게 기여하는 4:4:4 포맷에서는 반드시 최적의 예측 방법이라고는 말할 수 없다.
그래서, 본 발명은, 상기 종래 기술에 말한 바와 같이, 4:4:4 포맷과 같은 색성분 사이에 샘플비의 구별이 없는 동화상 신호를 부호화함에 있어서, 최적성을 높인 부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 이들을 실행하는 프로그램과 이들 프로그램을 기록한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명에 따른 화상 부호화 장치는, 복수의 색성분으로 구성되는 컬러 동화상 신호를 입력하여, 그 컬러 동화상 신호를 각 색성분마다 소정의 부호화 단위 영역으로 분할하여, 화면 내 부호화 내지는 움직임 보상 예측 부호화를 선택적으로 적용함으로써 상기 컬러 동화상 신호를 디지털 압축하는 화상 부호화 장치로서, 입력 비트스트림을 상기 색성분마다 분리하는 색성분 분리부와, 입력 색성분 신호를, 부호화 블록 사이즈 지시 정보에 따라 정해지는 사이즈의 블록으로 분할하여, 상기 부호화 단위 영역의 신호를 생성하는 블록 분할부와, 예측 화상 생성 방법을 나타내는 하나 이상의 예측 모드에 대응하여 상기 부호화 단위 영역의 신호에 대한 예측 화상을 생성하는 예측 화상 생성부와, 그 예측 화상 생성부로부터 출력되는 예측 화상의 예측 효율에 따라 부호화에 이용하는 예측 모드를 판정하는 판정부와, 그 판정부에 의해 정해진 예측 모드에 대응하는 예측 화상과 상기 입력 색성분 신호의 차분을 부호화하는 예측 오차 부호화부와, 상기 예측 모드와 예측 오차 부호화부의 출력과 상기 색성분 분리에 의해 어떤 색성분에 속하는지를 나타내는 색성분 식별 플래그를 가변 길이 부호화하는 부호화부를 구비하고, 상기 부호화부는, 상기 부호화 블록 사이즈 지시 정보, 및 각 부호화 단위 영역마다의 상기 예측 모드, 예측 오차를 부호화한 정보를 비트스트림으로 다중화하는 것이다.
본 발명의 화상 부호화 장치, 화상 복호 장치에 의하면, Y, Cb, Cr 등의 고정된 색공간에 한정되지 않고 다양한 색공간을 이용하는 부호화를 행하는 경우에 있어서, 각 색성분에서 이용하는 인트라 예측 모드 정보나 인터 예측 모드 정보를 유연하게 선택할 수 있도록 구성할 수 있어, 색공간의 정의가 여러 가지인 경우에도 최적의 부호화 처리를 행할 수 있다.
도 1은 실시의 형태 1에 있어서의 영상 부호화 장치의 구성을 나타내는 설명도,
도 2는 실시의 형태 1에 있어서의 영상 복호 장치의 구성을 나타내는 설명도,
도 3은 도 1의 공간 예측부(2)에서 평가되는 인트라 4×4 예측 모드의 예측 화상 생성 방법을 설명하는 설명도,
도 4는 도 1의 공간 예측부(2)에서 평가되는 인트라 16×16 예측 모드의 예측 화상 생성 방법을 설명하는 설명도,
도 5는 도 1의 영상 부호화 장치에 있어서 행해지는 인트라 예측 모드 판정 처리의 순서를 설명하는 흐름도,
도 6은 실시의 형태 1에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트스트림의 데이터 배열을 나타내는 설명도,
도 7은 도 2의 영상 복호 장치에 있어서 행해지는 인트라 예측 복호 처리의 순서를 설명하는 흐름도,
도 8은 실시의 형태 1에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트스트림의 다른 데이터 배열의 형태를 나타내는 설명도,
도 9는 AVC 규격에 있어서의 색차 성분 대응 인트라 예측 모드의 예측 화상 생성 방법을 설명하는 설명도,
도 10은 종래와 현재의 매크로 블록을 설명하는 설명도,
도 11은 실시의 형태 2에 있어서의 영상 부호화 장치의 구성을 나타내는 설명도,
도 12는 실시의 형태 2에 있어서의 영상 복호 장치의 구성을 나타내는 설명도,
도 13은 도 11의 공간 예측부(2)에서 평가되는 인트라 8×8 예측 모드의 예측 화상 생성 방법을 설명하는 설명도,
도 14는 도 11의 영상 부호화 장치에 있어서 행해지는 인트라 부호화 모드 판정 처리의 순서를 설명하는 흐름도,
도 15는 실시의 형태 2에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트스트림의 데이터 배열을 나타내는 설명도,
도 16은 실시의 형태 2에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트스트림의 다른 데이터 배열을 나타내는 설명도,
도 17은 도 12의 영상 복호 장치에 있어서 행해지는 인트라 예측 복호 처리의 순서를 설명하는 흐름도,
도 18은 실시의 형태 3에 있어서의 C0 성분의 인트라 예측 모드 부호화 처리의 파라미터를 설명하는 설명도,
도 19는 실시의 형태 3에 있어서의 C1 성분의 인트라 예측 모드 부호화 처리의 파라미터를 설명하는 설명도,
도 20은 실시의 형태 3에 있어서의 C2 성분의 인트라 예측 모드 부호화 처리의 파라미터를 설명하는 설명도,
도 21은 실시의 형태 3에 있어서의 인트라 예측 모드 부호화 처리의 흐름을 나타내는 흐름도,
도 22는 실시의 형태 3에 있어서의 인트라 예측 모드 부호화 처리의 다른 흐름을 나타내는 흐름도,
도 23은 실시의 형태 3에 있어서의 인트라 예측 모드 복호 처리의 흐름을 나타내는 흐름도,
도 24는 실시의 형태 4에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트스트림의 다른 데이터 배열을 나타내는 설명도,
도 25는 실시의 형태 5에 있어서의 인트라 예측 모드 부호화 처리의 다른 흐름을 나타내는 흐름도,
도 26은 실시의 형태 5에 있어서의 테이블화된 예측치 설정의 규칙을 나타내는 설명도,
도 27은 실시의 형태 6에 있어서의 부호화 순서를 나타내는 흐름도,
도 28은 실시의 형태 6에 있어서의 CurrIntraPredMode의 2치 계열 구성을 나타내는 설명도,
도 29는 실시의 형태 6에 있어서의 CurrIntraPredMode의 다른 2치 계열 구성을 나타내는 설명도,
도 30은 실시의 형태 7에 있어서의 영상 부호화 장치의 구성을 나타내는 설명도,
도 31은 실시의 형태 7에 있어서의 영상 복호 장치의 구성을 나타내는 설명도,
도 32는 매크로 블록의 단위를 나타내는 설명도,
도 33은 실시의 형태 7에 있어서의 인터 예측 모드 판정 처리의 흐름을 나타내는 흐름도,
도 34는 실시의 형태 7에 있어서의 영상 부호화 장치로부터 출력되는 비디오 스트림의 데이터 배열을 나타내는 설명도,
도 35는 실시의 형태 7에 있어서의 가변 길이 복호부(25)에서 행해지는 처리의 흐름을 나타내는 흐름도,
도 36은 실시의 형태 7에 있어서의 영상 부호화 장치로부터 출력되는 비디오 스트림의 다른 데이터 배열을 나타내는 설명도,
도 37은 실시의 형태 7에 있어서의 영상 부호화 장치로부터 출력되는 비디오 스트림의 다른 데이터 배열을 나타내는 설명도,
도 38은 실시의 형태 8에 있어서의 인터 예측 모드 판정 처리의 흐름을 나타내는 흐름도,
도 39는 실시의 형태 8에 있어서의 매크로 블록의 레벨에 있어서의 비트스트림의 데이터 배열을 나타내는 설명도,
도 40은 실시의 형태 8에 있어서의 인터 예측 화상 생성 처리의 흐름을 나타내는 흐름도,
도 41은 실시의 형태 8에 있어서의 매크로 블록의 레벨에 있어서의 비트스트림의 다른 데이터 배열을 나타내는 설명도,
도 42는 실시의 형태 8에 있어서의 매크로 블록의 레벨에 있어서의 비트스트림의 다른 데이터 배열을 나타내는 설명도,
도 43은 실시의 형태 9에 있어서의 인터 예측 모드 판정 처리의 흐름을 나타내는 흐름도,
도 44는 실시의 형태 9에 있어서의 인터 예측 화상 생성 처리의 흐름을 나타내는 흐름도,
도 45는 움직임 벡터 부호화부의 구성을 나타내는 설명도,
도 46은 움직임 벡터 부호화부의 동작을 나타내는 설명도,
도 47은 움직임 벡터 복호부의 구성을 나타내는 설명도,
도 48은 비트스트림 신텍스(syntax)의 모습을 나타내는 설명도,
도 49는 실시의 형태 11에 있어서의 매크로 블록 부호화 데이터의 구성을 나타내는 설명도,
도 50은 실시의 형태 11에 있어서의 도 49 중의 Cn 성분 헤더 정보의 부호화 데이터의 상세 구성을 나타내는 설명도,
도 51은 실시의 형태 11에 있어서의 매크로 블록 부호화 데이터의 다른 구성을 나타내는 설명도,
도 52는 실시의 형태 11에 있어서의 비트스트림의 구성을 나타내는 설명도,
도 53은 실시의 형태 11에 있어서의 슬라이스의 구성을 나타내는 설명도,
도 54는 실시의 형태 12에 있어서의 가변 길이 부호화부(11)의 산술 부호화 처리에 관계하는 내부 구성을 나타내는 설명도,
도 55는 실시의 형태 12에 있어서의 가변 길이 부호화부(11)의 산술 부호화 처리의 흐름을 나타내는 흐름도,
도 56은 실시의 형태 12에 있어서의 도 55 중의 단계 S162의 처리의 상세한 흐름을 나타내는 설명도,
도 57은 컨텍스트 모델(ctx)의 개념을 나타내는 설명도,
도 58은 매크로 블록의 움직임 벡터에 관한 컨텍스트 모델의 예를 나타내는 설명도,
도 59는 실시의 형태 12에 있어서의 가변 길이 복호부(25)의 산술 복호 처리에 관계하는 내부 구성을 나타내는 설명도,
도 60은 실시의 형태 12에 있어서의 가변 길이 복호부(25)의 산술 복호 처리의 흐름을 나타내는 흐름도,
도 61은 실시의 형태 12에 있어서의 컨텍스트 모델(11f)을 나타내는 설명도,
도 62는 실시의 형태 12에 있어서의 커런트 매크로 블록의 모드의 차이를 나타내는 설명도,
도 63은 실시의 형태 13에 있어서의 부호화 장치ㆍ복호 장치의 구성을 나타내는 설명도,
도 64는 실시의 형태 13에 있어서의 영상 부호화 장치의 구성을 나타내는 설명도,
도 65는 실시의 형태 13에 있어서의 영상 복호 장치의 구성을 나타내는 설명도,
도 66은 실시의 형태 14에 있어서의 공통 부호화 처리를 나타내는 설명도,
도 67은 실시의 형태 14에 있어서의 독립 부호화 처리를 나타내는 설명도,
도 68은 실시의 형태 14의 부호화 장치ㆍ복호 장치에 있어서의 픽처 사이의 시간 방향의 움직임 예측 참조 관계를 나타내는 설명도,
도 69는 실시의 형태 14의 부호화 장치에서 생성되어 실시의 형태 14의 복호 장치가 입력ㆍ복호 처리의 대상으로 하는 비트스트림의 구조의 일례를 나타내는 설명도,
도 70은 공통 부호화 처리, 독립 부호화 처리 각각의 경우의 슬라이스 데이터의 비트스트림 구성을 나타내는 설명도,
도 71은 실시의 형태 14의 부호화 장치의 개략 구성을 나타내는 설명도,
도 72는 부호화 장치측에서의 처리 지연을 작게 하는 모습을 나타내는 설명도,
도 73은 제 1 픽처 부호화부의 내부 구성을 나타내는 설명도,
도 74는 제 2 픽처 부호화부의 내부 구성을 나타내는 설명도,
도 75는 실시의 형태 14의 복호 장치의 개략 구성을 나타내는 설명도,
도 76은 제 1 픽처 복호부의 내부 구성을 나타내는 설명도,
도 77은 제 2 픽처 복호부의 내부 구성을 나타내는 설명도,
도 78은 색공간 변환 처리를 실시한 제 1 픽처 부호화부의 내부 구성을 나타내는 설명도,
도 79는 색공간 변환 처리를 실시한 제 1 픽처 부호화부의 내부 구성을 나타내는 설명도,
도 80은 역색공간 변환 처리를 실시한 제 1 픽처 부호화부의 내부 구성을 나타내는 설명도,
도 81은 역색공간 변환 처리를 실시한 제 1 픽처 부호화부의 내부 구성을 나타내는 설명도,
도 82는 종래의 YUV 4:2:0 포맷의 비트스트림에 포함되는 매크로 블록 헤더 정보의 부호화 데이터의 구성을 나타내는 설명도,
도 83은 종래의 YUV 4:2:0 포맷의 비트스트림에 대한 호환성을 확보하는 제 1 픽처 복호부의 예측부(461)의 내부 구성을 나타내는 설명도,
도 84는 실시의 형태 15에 있어서의 다중화하는 부호화 데이터의 비트스트림의 구성을 나타내는 설명도,
도 85는 AUD NAL 유닛으로 시작되는 액세스 유닛 내의 픽처 데이터가 부호화될 때의 픽처 부호화 타입의 정보를 나타내는 설명도,
도 86은 실시의 형태 15에 있어서의 다중화하는 부호화 데이터의 비트스트림의 구성을 나타내는 설명도,
도 87은 실시의 형태 16의 부호화 장치의 개략 구성을 나타내는 설명도,
도 88은 픽처 부호화부의 내부 구성을 나타내는 설명도,
도 89는 색차 성분마다 다른 블록 사이즈를 이용하는 것을 나타내는 설명도,
도 90은 매크로 블록의 단위를 나타내는 설명도,
도 91은 픽처 부호화부로부터의 출력인 비디오 스트림의 데이터 배열을 나타내는 설명도,
도 92는 실시의 형태 16의 복호 장치의 개략 구성을 나타내는 설명도,
도 93은 복호부의 내부 구성을 나타내는 설명도,
도 94는 반화소 예측 화소의 생성 방법을 나타내는 설명도,
도 95는 1/4 화소 MC시의 반화소 예측 화소의 생성 방법의 수평 처리만을 나타내는 설명도,
도 96은 실시의 형태 17의 부호화 장치의 개략 구성을 나타내는 설명도,
도 97은 픽처 부호화부로부터의 출력인 비디오 스트림의 데이터 배열을 나타내는 설명도,
도 98은 실시의 형태 17의 복호 장치의 개략 구성을 나타내는 설명도이다.
실시의 형태 1
본 실시의 형태 1에서는, 4:4:4 포맷으로 입력되는 영상 프레임을 16×16 화소의 직사각형 영역(매크로 블록)으로 균등 분할한 단위로 프레임 내에 닫힌 부호화를 행하는 부호화 장치, 및 대응하는 복호 장치에 대하여 설명한다. 또한, 본 부호화 장치, 복호 장치는 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명의 고유한 특징을 부여한 것으로 한다. 또, 이하, 모든 실시의 형태에 있어서, 매크로 블록은 프레임 화상의 16×16 화소에 한정할 필요는 없고, 예컨대, 인터레이스 신호의 경우와 같이, 필드를 부호화 단위의 화면으로 하는 케이스에서 필드 화상의 16×16 화소 블록을 매크로 블록으로 하더라도 좋고, 프레임 화상으로서 매크로 블록 부호화를 행할지, 필드 화상으로서 매크로 블록 부호화를 행할지에 따라 적응적으로 매크로 블록의 블록 사이즈를 변경하면서 부호화하는 구성을 따르고 있더라도 좋다.
도 1에, 본 실시의 형태 1에 있어서의 영상 부호화 장치의 구성을, 도 2에 본 실시의 형태 1에 있어서의 영상 복호 장치의 구성을 나타낸다. 도 2에 있어서, 도 1의 부호화 장치의 구성 요소와 같은 번호가 붙어있는 요소는 동일한 요소인 것을 나타낸다.
이하, 이들 도면에 근거하여 부호화 장치 및 복호 장치 전체의 동작과, 본 실시의 형태 1의 특징적인 동작인 인트라 예측 모드 판정 처리 및 인트라 예측 복호 처리에 대하여 설명한다.
1. 부호화 장치의 동작 개요
도 1의 부호화 장치에 있어서, 입력 영상 신호(1)는, 개개의 영상 프레임이 4:4:4 포맷으로 입력된다. 입력되는 영상 프레임은, 도 10에 나타내는 바와 같이, 3개의 색성분을 동일 사이즈의 16 화소×16 화소의 블록으로 분할하여 정리한 매크로 블록 단위로 부호화 장치에 입력되는 것으로 한다.
우선, 공간 예측부(2)에 있어서, 메모리(16)에 저장되는 국부 복호 화상(15)을 이용하여, 그 매크로 블록의 단위로, 각 색성분마다 인트라 예측 처리가 행해진다. 메모리는 각 색성분마다 3개면 준비된다(본 실시의 형태에서는 3개면으로 하여 설명하지만, 설계에 따라 적절히 변경하더라도 좋음). 인트라 예측의 모드에는, 도 3에 나타내는 4 화소×4 라인의 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 4×4 예측 모드, 도 4에 나타내는 16 화소×16 라인의 매크로 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 16×16 예측 모드가 있다.
(a) 인트라 4×4 예측 모드
매크로 블록 내의 휘도 신호 16×16 화소 블록을 4×4 화소 블록으로 구성되는 16개의 블록으로 분할하고, 도 3에 나타내는 9개의 모드 중 어느 하나를 4×4 화소 블록 단위로 선택한다. 이미 부호화를 끝내고, 국부 복호 처리되어 메모리(16)에 저장된 주위의 블록(좌측 위, 위, 우측 위, 우측)의 화소를 예측 화상 생성에 이용한다.
Intra4×4_pred_mode = 0 : 인접하는 상부의 화소를 그대로 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 1 : 인접하는 좌측의 화소를 그대로 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 2 : 인접하는 8개의 화소의 평균치를 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 3 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(우측 45도 에지에 대응).
Intra4×4_pred_mode = 4 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 45도 에지에 대응).
Intra4×4_pred_mode = 5 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 22.5도 에지에 대응).
Intra4×4_pred_mode = 6 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 67.5도 에지에 대응).
Intra4×4_pred_mode = 7 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(우측 22.5도 에지에 대응).
Intra4×4_pred_mode = 8 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 112.5도 에지에 대응).
인트라 4×4 예측 모드를 선택하는 경우, 매크로 블록당 모드 정보는 16개 필요하게 된다. 따라서, 모드 정보 자체의 부호량을 삭감하기 위해, 모드 정보는 인접하는 블록 사이의 상관이 높은 것을 이용하여, 인접하는 블록의 모드 정보로부터 예측 부호화를 행한다.
(b) 인트라 16×16 예측 모드
매크로 블록 사이즈에 상당하는 16×16 화소 블록을 한 번에 예측하는 모드이며, 도 4에 나타내는 4개의 모드 중 어느 하나를 매크로 블록 단위로 선택한다. 인트라 4×4 예측 모드와 마찬가지로, 이미 부호화를 끝내고, 국부 복호 처리되어 메모리(16)에 저장된 주위의 매크로 블록(좌측 위, 위, 좌측)의 화소를 예측 화상 생성에 이용한다.
Intra16×16_pred_mode = 0 : 상부 매크로 블록의 최하변의 16 화소를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 1 : 좌측 매크로 블록의 최우변의 16 화소를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 2 : 상부 매크로 블록의 최하변의 16 화소(도 4의 A 부분)와 좌측 매크로 블록의 최좌변의 16 화소(도 4의 B 부분)의 합계 32 화소의 평균치를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 3 : 좌측 위의 매크로 블록의 우측 아래 구석의 화소, 상부 매크로 블록의 최하변의 15 화소(흰 화소를 제외한 부분), 좌측 매크로 블록의 최우변의 15 화소(흰 화소를 제외한 부분)의 합계 31 화소를 이용하여 소정의 연산 처리(사용하는 화소와 예측하는 화소 위치에 따른 가중치 부여 가산 처리)에 의해 예측 화상을 얻는다.
본 실시의 형태 1에 있어서의 영상 부호화 장치는, 인트라 예측 모드 공통화 식별 플래그(23)에 근거하여, 3개의 색성분에 대한 인트라 예측 처리 방법을 전환하는 것을 특징으로 한다. 이 점에 대해서는, 하기 2에서 상세히 말한다.
공간 예측부(2)에서는, 도 3이나 도 4에 나타낸 전체 모드 내지는 서브셋에 대하여 예측 처리를 실행하여 감산기(3)에 의해 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 공간 예측부(2)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 예측 모드를 부호화 모드(6)로서 출력한다. 여기서, 부호화 모드(6)는, 인트라 4×4 예측 모드를 이용할지, 인트라 16×16 예측 모드를 이용할지의 판별 정보(도 6의 인트라 부호화 모드에 상당)와 함께, 예측 단위 영역당 사용하는 개개의 예측 모드 정보(상기 Intra4×4_pred_mode 내지는 Intra16×16_pred_mode)도 포함하는 것으로 한다. 예측 단위 영역은, 인트라 4×4 예측 모드의 경우는 4×4 화소 블록, 인트라 16×16 예측 모드의 경우는 16×16 화소 블록에 상당한다. 부호화 모드(6)의 선정에 있어서는, 부호화 제어부(19)의 판단으로 정해지는 각 부호화 모드에 대한 가중 계수(20)가 가미되는 경우도 있다. 부호화 모드 판정부(5)에 있어서 부호화 모드(6)를 이용하여 얻어지는 최적의 예측 차분 신호(4)는, 직교 변환부(8)에 출력된다. 직교 변환부(8)는 입력되는 예측 차분 신호(4)를 변환하여 직교 변환 계수로서 양자화부(9)에 출력한다. 양자화부(9)는 입력되는 직교 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하고, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 가변 길이 부호화부(11)에서 허프만(Huffman) 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역직교 변환부(13)를 지나서 국부 복호 예측 차분 신호(14)로 복원되고, 부호화 모드(6)에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은 이후의 인트라 예측 처리에 이용하기 위해 메모리(16)에 저장된다. 또한, 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블로킹 필터를 실시할지 여부를 나타내는 디블로킹 필터 제어 플래그(24)도 입력된다(공간 예측부(2)에서 실시되는 예측 처리에는, 디블로킹 필터가 실시되기 전의 화소 데이터를 메모리(16)에 저장하여 이용하므로 디블로킹 필터 처리 자체는 부호화 처리에는 필요는 없지만, 복호 장치측에서는 디블로킹 필터 제어 플래그(24)의 지시에 따라 디블로킹 필터를 행하여 최종적인 복호 화상을 얻음).
가변 길이 부호화부(11)에 입력되는 인트라 예측 모드 공통화 식별 플래그(23), 양자화 완료 변환 계수(10), 부호화 모드(6), 양자화 파라미터(21)는 소정의 규칙(신텍스)에 따라 비트스트림으로서 배열ㆍ정형되어, 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞춰 비트스트림을 평활화하여 비디오 스트림(22)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트스트림 축적 상황에 따라 부호화 제어부(19)에 피드백 정보를 출력하여, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
2. 부호화 장치에 있어서의 인트라 예측 모드 판정 처리
본 실시의 형태 1의 부호화 장치의 특징인 인트라 예측 모드 판정 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 1의 부호화 장치에 있어서의 공간 예측부(2), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 5에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2로 한다.
우선, 부호화 모드 판정부(5)는, 인트라 예측 모드 공통화 식별 플래그(23)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 인트라 예측 모드를 사용할지 여부를 판단한다(도 5의 단계 S1). 공통화하는 경우는 단계 S2 이후로, 공통화하지 않는 경우는 단계 S5 이후로 진행한다.
인트라 예측 모드를 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, 선택할 수 있는 모든 인트라 4×4 예측 모드를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통인 최적의 인트라 4×4 예측 모드를 선택한다(단계 S2). 이어서, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, 선택할 수 있는 전부 내지는 일부의 인트라 16×16 예측 모드를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통인 최적의 인트라 16×16 예측 모드를 선택한다(단계 S3). 부호화 모드 판정부(5)는 단계 S2, S3에서 얻은 모드 중 예측 효율상 보다 최적의 모드를 최종적으로 선택하여(단계 S4), 처리를 종료한다.
인트라 예측 모드를 C0, C1, C2에서 공통화하지 않고, C0, C1, C2에서 각각 가장 좋은 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, Ci(i≤0<3) 성분에서 선택할 수 있는 전부 내지는 일부의 인트라 4×4 예측 모드를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, Ci(i≤0<3) 성분에 있어서의 최적의 인트라 4×4 예측 모드를 선택한다(단계 S6). 마찬가지로 최적의 인트라 16×16 예측 모드를 선택한다(단계 S7). 마지막으로 단계 S8에서 Ci(i≤0<3) 성분에 있어서의 최적의 인트라 예측 모드를 판정한다.
공간 예측부(2)에서 행해지는 예측 모드의 예측 효율 평가의 규범으로서는, 예컨대, Jm = Dm + λRm(λ : 정수)으로 주어지는 비트율 왜곡 비용(rate distortion cost)을 이용할 수 있다. 여기서, Dm은 인트라 예측 모드 m을 적용한 경우의 부호화 왜곡 또는 예측 오차량이다. 부호화 왜곡이란, 인트라 예측 모드 m을 적용하여 예측 오차를 얻고, 예측 오차를 변환ㆍ양자화한 결과로부터 영상을 복호하여 부호화 전의 신호에 대한 오차를 계측하는 것이다. 예측 오차량은, 인트라 예측 모드 m을 적용한 경우의 예측 화상과 부호화 전의 신호의 차분을 얻고, 그 차분의 크기를 정량화한 것으로, 예컨대, 차분 절대치 합(Sum of Absolute Distance : SAD) 등이 이용된다. Rm은 인트라 예측 모드 m을 적용한 경우의 발생 부호량이다. 다시 말해, Jm은 인트라 예측 모드 m을 적용한 경우의 부호량과 열화도의 트레이드오프(trade off)를 규정하는 값이며, 최소의 Jm을 제공하는 인트라 예측 모드 m이 최적해(optimal solution)를 제공한다.
부호화 장치가 단계 S2 이후의 처리를 행한 경우, 인트라 예측 모드의 정보는, 3개의 색성분을 포함하는 매크로 블록에 대하여 하나 할당된다. 한편, 단계 S5 이후의 처리를 행한 경우는, 각 색성분에 대하여 각각 인트라 예측 모드 정보가 할당된다. 따라서, 매크로 블록에 대하여 할당되는 인트라 예측 모드의 정보가 다르므로, 부호화 장치가 S2 이후의 처리 과정을 행했는지, S5 이후의 처리 과정을 행했는지는 인트라 예측 모드 공통화 식별 플래그(23)를 비트스트림에 다중화하여 복호 장치측에서 인식할 수 있도록 할 필요가 있다. 이러한 비트스트림의 데이터 배열을 도 6에 나타낸다.
동 도면은 매크로 블록의 레벨에 있어서의 비트스트림의 데이터 배열을 나타내고 있고, 인트라 부호화 모드(28)는 intra4×4인지, intra16×16인지를 판별하는 정보, 기본 인트라 예측 모드(29)는 인트라 예측 모드 공통화 식별 플래그(23)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는 공통 인트라 예측 모드 정보를 나타내고, 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우는 C0에 대한 인트라 예측 모드 정보를 나타낸다. 확장 인트라 예측 모드(30)는, 인트라 예측 모드 공통화 식별 플래그(23)가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우에만 다중화되고, C1, C2에 대한 인트라 예측 모드 정보를 나타낸다. 이어서 양자화 파라미터(21), 양자화 완료 변환 계수(10)가 다중화된다. 도 1에 있어서의 부호화 모드(6)는, 상기 인트라 부호화 모드(28)와 인트라 예측 모드(기본ㆍ확장)를 총칭한 것이다(도 6에는 도 1에서 가변 길이 부호화부(11)에 입력되고 있는 디블로킹 필터 제어 플래그(24)가 포함되어 있지 않지만, 본 실시의 형태 1의 특징을 설명하기 위해 필요한 구성 요소가 아니므로 할애하고 있음).
종래의 영상 부호화 표준으로 채용되어 온 4:2:0 포맷에서는, 색공간의 정의가 Y, Cb, Cr로 고정되어 있었지만, 4:4:4 포맷에서는 Y, Cb, Cr에 한정되지 않고 다양한 색공간을 이용할 수 있다. 도 6과 같이 인트라 예측 모드 정보를 구성함으로써, 입력 영상 신호(1)의 색공간의 정의가 여러 가지에 미치는 경우에도 최적의 부호화 처리를 행할 수 있다. 예컨대, 색공간이 RGB로 정의되는 경우는 R, G, B의 각 성분에는 균등하게 영상 텍스처의 구조가 잔존하고 있으므로, 공통의 인트라 예측 모드 정보를 이용함으로써 인트라 예측 모드 정보 자체의 용장성을 삭감하여 부호화 효율을 높일 수 있다. 한편, Y, Cb, Cr로 색공간이 정의되는 경우, 영상 텍스처의 구조는 Y에 집약되므로, 반드시 공통의 인트라 예측 모드가 최적의 결과를 주는 것은 아니다. 그래서, 확장 인트라 예측 모드(30)를 적응적으로 이용함으로써 최적의 부호화 효율을 얻을 수 있다.
3. 복호 장치의 동작 개요
도 2의 복호 장치는, 도 1의 부호화 장치로부터 출력되는 도 6의 배열에 따르는 비디오 스트림(22)을 수신하여, 3개의 색성분이 동일 사이즈(4:4:4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다.
우선, 가변 길이 복호부(25)는 스트림(22)을 입력으로 하여, 소정의 규칙(신텍스)에 따라 스트림(22)을 해독하여, 인트라 예측 모드 공통화 식별 플래그(23), 양자화 완료 변환 계수(10), 부호화 모드(6), 양자화 파라미터(21) 등의 정보를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 함께 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 역직교 변환부(13)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다. 한편, 공간 예측부(2)에 대해서는 부호화 모드(6)와 인트라 예측 모드 공통화 식별 플래그(23)가 입력되어, 이들의 정보에 따라 예측 화상(7)을 얻는다. 예측 화상(7)을 얻는 구체적인 순서에 대해서는 후술한다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 잠정 복호 화상(15)을 얻는다(이것은 부호화 장치에 있어서의 국부 복호 화상(15)과 완전히 같은 신호임). 잠정 복호 화상(15)은 이후의 매크로 블록의 인트라 예측에 이용되기 위해 메모리(16)에 돌려보내진다. 메모리는 각 색성분마다 3개면 준비된다(본 실시의 형태에서는 3개면으로서 설명하지만, 설계에 따라 적절히 변경하더라도 좋음). 또한, 가변 길이 복호부(25)에 의해 해독된 디블로킹 필터 제어 플래그(24)의 지시에 근거하여 디블로킹 필터(26)를 잠정 복호 화상(15)에 대하여 작용시켜, 최종적인 복호 화상(27)을 얻는다.
4. 복호 장치에 있어서의 인트라 예측 복호 처리
본 실시의 형태 1의 복호 장치의 특징인 인트라 예측 화상 생성 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 2의 복호 장치에 있어서의 가변 길이 복호부(25), 공간 예측부(2)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 7에 나타낸다.
도 7의 흐름도 중, S10~S14는 가변 길이 복호부(25)에 있어서 행해진다. 가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 6의 데이터 배열에 따르는 것으로 한다. 단계 S10에서는 도 6의 데이터 중 인트라 부호화 모드(28)가 우선 복호되고, 이어서 인트라 예측 모드 공통화 식별 플래그(23)가 복호된다(단계 S11). 또한 기본 인트라 예측 모드(29)가 복호된다(단계 S12). 단계 S13에서는, 인트라 예측 모드 공통화 식별 플래그(23)의 결과를 이용하여 인트라 예측 모드를 C0, C1, C2에서 공통화할지 여부를 판단하고, 공통화의 경우는 C0, C1, C2의 모두에 대하여 기본 인트라 예측 모드(29)를 이용하는 것으로 하고, 공통화하지 않는 경우는 기본 인트라 예측 모드(29)를 C0의 모드로서 사용하고, 확장 인트라 예측 모드(30)를 더 복호하여(단계 S14), C1, C2의 모드 정보를 얻는다. 이상의 처리 과정을 지나서 각 색성분의 부호화 모드(6)가 확정되므로, 이것을 공간 예측부(2)에 출력하고, 단계 S15~S17에 따라 각 색성분의 인트라 예측 화상을 얻는다. 인트라 예측 화상을 얻는 프로세스는 도 3, 도 4의 순서에 따르는 것으로 도 1의 부호화 장치에서 행하는 처리와 같다.
도 8에, 도 6의 비트스트림 데이터 배열의 변형을 나타낸다. 도 7에서는, 인트라 예측 모드 공통화 식별 플래그(23)는, 매크로 블록 레벨의 플래그로서가 아닌, 슬라이스, 픽처, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되고, 또한, 확장 인트라 예측 모드(30)의 부호어를 정의하는 복수의 부호 테이블 중 하나를 선택할 수 있도록, 확장 인트라 예측 모드 테이블 지시 플래그(31)를 구비하도록 했다. 이에 따라, 슬라이스 이상의 상위 레이어에서의 전환으로 충분한 예측 효율을 확보할 수 있는 경우는, 매크로 블록 레벨에서 인트라 예측 모드 공통화 식별 플래그(23)를 일일이 다중화하지 않고 오버헤드 비트를 삭감할 수 있다. 또한, 확장 인트라 예측 모드(30)에 대해서는, 확장 인트라 예측 모드 테이블 지시 플래그(31)를 마련함으로써, 기본 인트라 예측 모드(29)와 동일한 정의가 아닌, C1, C2 성분에 특화된 예측 모드의 정의를 선택하는 것이 가능해져, 색공간의 정의에 적응한 부호화 처리를 행하는 것이 가능해진다. 예컨대, AVC의 4:2:0 포맷의 부호화에서는, 색차 성분(Cb, Cr)에 대해서는, 휘도(Y)와는 다른 인트라 예측 모드 세트가 정의되어 있다. 4:2:0 포맷에서는 매크로 블록 내의 색차 신호는 8 화소×8 라인이며, 도 9에 나타내는 4개의 모드 중 하나를 매크로 블록 단위로 선택하여 복호 처리를 행한다. 색차 신호는 Cb와 Cr의 2종류가 있지만, 같은 모드를 사용한다. intra_chroma_pred_mode = 0의 DC 예측을 제외하고는, 도 4의 intra16×16 예측 모드와 같은 예측 처리가 되지만, DC 예측에서는 8×8 블록을 4개의 4×4 블록으로 분할하고, 각각의 블록마다 평균치를 구하는 화소의 위치를 변경하여 처리를 행한다. 동 도면에서 「a + x, a or x」라고 되어 있는 블록은, 화소 a와 화소 x가 모두 이용 가능한 경우에는 a와 x의 8 화소, a만이 이용 가능한 경우에는 a의 4 화소, x만 이용 가능한 경우에는 x의 4 화소만을 이용하여 평균치를 구하여, 예측 화상(7)으로서 사용한다. a와 x 모두 이용 불가능한 경우에는 값 128을 예측 화상(7)으로서 사용한다. 「b or x」라고 되어 있는 블록은, 화상 b가 이용 가능한 경우에는 b의 4 화소를, 화소 x만이 이용 가능한 경우에는 x의 4 화소를 이용하여 평균치를 구한다.
이와 같이, 색성분의 성질에 따라 인트라 예측 모드의 세트에 변경을 요하는 경우, 도 8의 신텍스와 같은 구성에 의해, 보다 최적의 부호화 효율을 얻을 수 있다.
실시의 형태 2
본 실시의 형태 2에서는, 4:4:4 포맷으로 입력되는 영상 프레임을 16×16 화소의 직사각형 영역(매크로 블록)으로 균등 분할한 단위로 프레임 내에 닫힌 부호화를 행하는 다른 부호화 장치, 및 대응하는 복호 장치에 대하여 설명한다. 본 부호화 장치, 복호 장치는 실시의 형태 1과 마찬가지로, 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명의 고유한 특징을 부여한 것으로 한다.
도 11에, 본 실시의 형태 2에 있어서의 영상 부호화 장치의 구성을, 도 12에 본 실시의 형태 2에 있어서의 영상 복호 장치의 구성을 나타낸다. 도 11에 있어서, 도 1의 부호화 장치의 구성 요소와 같은 번호가 부여되어 있는 요소는 동일한 요소인 것을 나타낸다. 도 12에 있어서, 도 11의 부호화 장치의 구성 요소와 같은 번호가 부여되어 있는 요소는 동일한 요소인 것을 나타낸다. 도 11에 있어서의 32는 변환 블록 사이즈 식별 플래그이며, 33은 인트라 부호화 모드 공통화 식별 플래그이다.
이하, 이들 도면에 근거하여 본 실시의 형태 2의 부호화 장치 및 복호 장치 전체의 동작과, 본 실시의 형태 2의 특징적인 동작인 인트라 부호화ㆍ예측 모드 판정 처리 및 인트라 예측 복호 처리에 대하여 설명한다.
1. 부호화 장치의 동작 개요
도 11의 부호화 장치에 있어서, 입력 영상 신호(1)는, 개개의 영상 프레임이 4:4:4 포맷이고, 또한 3개의 색성분이 도 10에 나타내는 바와 같이 동일 사이즈의 매크로 블록으로 분할하여 정리된 단위로 부호화 장치에 입력되는 것으로 한다.
공간 예측부(2)에 있어서는, 메모리(16)에 저장되는 국부 복호 화상(15)을 이용하여, 그 매크로 블록의 단위로, 각 색성분마다 인트라 예측 처리가 행해진다. 인트라 예측의 모드에는, 도 3에 나타내는 4 화소×4 라인의 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 4×4 예측 모드, 도 13에 나타내는 8 화소× 8 라인의 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 8×8 예측 모드, 도 4에 나타내는 16 화소×16 라인의 매크로 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 16×16 예측 모드가 있다. 본 실시의 형태 2에 있어서의 부호화 장치에서는, 변환 블록 사이즈 식별 플래그(32)의 상태에 따라 인트라 4×4 예측 모드와 인트라 8×8 예측 모드를 전환하여 이용한다. 한 매크로 블록을 4×4 예측, 8×8 예측, 16×16 예측 중 어느 인트라 예측 모드를 이용하여 부호화할지는, 도 6과 마찬가지로 인트라 부호화 모드로 표현할 수 있다. 본 실시의 형태 2에 있어서의 부호화 장치에서는, 인트라 부호화 모드로서, 인트라 4×4 예측 모드나 인트라 8×8 예측 모드 중 하나를 이용하여 부호화를 행하는 인트라 N×N 예측 부호화 모드(N은 4 내지는 8)와, 인트라 16×16 예측 모드를 이용하여 부호화를 행하는 인트라 16×16 예측 부호화 모드의 2종류를 마련한다. 이하, 인트라 부호화 모드별로 설명을 진행한다.
(a) 인트라 N×N 예측 부호화 모드
매크로 블록 내의 휘도 신호 16×16 화소 블록을 4×4 화소 블록으로 구성되는 16개의 블록으로 분할하고, 각 4×4 화소 블록에 대하여 개별적으로 예측 모드를 선택하는 인트라 4×4 예측 모드와, 매크로 블록 내의 휘도 신호 16×16 화소 블록을 8×8 화소 블록으로 구성되는 4개의 블록으로 분할하고, 각 8×8 화소 블록에 대하여 개별적으로 예측 모드를 선택하는 인트라 8×8 예측 모드를 선택적으로 전환하면서 부호화를 행하는 모드이다. 인트라 4×4 예측 모드와 인트라 8×8 예측 모드의 전환은, 변환 블록 사이즈 식별 플래그(32)의 상태에 연동한다. 이 점은 후술한다. 인트라 4×4 예측 모드에 대해서는, 실시의 형태 1에서 설명한 바와 같이, 도 3에 나타내는 9개의 모드 중 하나를 4×4 화소 블록 단위로 선택한다. 이미 부호화를 끝내고, 국부 복호 처리되어 메모리(16)에 저장된 주위의 블록(좌측 위, 위, 우측 위, 좌측)의 화소를 예측 화상 생성에 이용한다.
한편, 인트라 8×8 예측 모드는, 도 13에 나타내는 9개의 모드 중 하나를 8×8 화소 블록 단위로 선택한다. 도 3과의 대비로 분명하듯이, 인트라 4×4 예측 모드의 예측 방법을 8×8 화소 블록에 적합하도록 변경을 가한 것이다.
Intra8×8_pred_mode = 0 : 인접하는 상부의 화소를 그대로 예측 화상으로서 사용한다.
Intra8×8_pred_mode = 1 : 인접하는 좌측의 화소를 그대로 예측 화상으로서 사용한다.
Intra8×8_pred_mode = 2 : 인접하는 8개의 화소의 평균치를 예측 화상으로서 사용한다.
Intra8×8_pred_mode = 3 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(우측 45도 에지에 대응).
Intra8×8_pred_mode = 4 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 45도 에지에 대응).
Intra8×8_pred_mode = 5 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 22.5도 에지에 대응).
Intra8×8_pred_mode = 6 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 67.5도 에지에 대응).
Intra8×8_pred_mode = 7 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(우측 22.5도 에지에 대응).
Intra8×8_pred_mode = 8 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 112.5도 에지에 대응).
인트라 4×4 예측 모드를 선택하는 경우, 매크로 블록당 모드 정보는 16개 필요하게 된다. 따라서, 모드 정보 자체의 부호량을 삭감하기 위해, 모드 정보는 인접하는 블록 사이의 상관이 높은 것을 이용하여, 인접하는 블록의 모드 정보로부터 예측 부호화를 행한다. 마찬가지로 인트라 8×8 예측 모드를 선택하는 경우도 인접하는 블록 사이에서 인트라 예측 모드의 상관이 높은 것을 이용하여, 인접하는 블록의 모드 정보로부터 예측 부호화를 행한다.
(b) 인트라 16×16 예측 부호화 모드
매크로 블록 사이즈에 상당하는 16×16 화소 블록을 한 번에 예측하는 모드이며, 도 4에 나타내는 4개의 모드 중 하나를 매크로 블록 단위로 선택한다. 인트라 4×4 예측 모드와 마찬가지로, 이미 부호화를 끝내고, 국부 복호 처리되어 메모리(16)에 저장된 주위의 매크로 블록(좌측 위, 위, 좌측)의 화소를 예측 화상 생성에 이용한다. 모드 종별은 실시의 형태 1에 있어서의 도 4의 설명과 같다. 인트라 16×16 예측 부호화 모드에서는, 변환 블록 사이즈는 항상 4×4로 한다. 단, 우선 4×4 블록 단위의 DC(직류 성분, 평균치)를 16개분 모아, 그 단위로 4×4 블록 변환을 행하고, DC분을 제외한 나머지의 교류 성분을 4×4 블록마다 변환하는 2단계의 변환을 실시한다.
본 실시의 형태 2에 있어서의 영상 부호화 장치는, 인트라 부호화 모드 공통화 식별 플래그(33)에 근거하여, 3개의 색성분에 대한 인트라 예측ㆍ변환ㆍ부호화 방법을 전환하는 것을 특징으로 한다. 이 점에 대해서는, 하기 2에서 상세히 말한다.
공간 예측부(2)에서는, 입력되는 3개의 색성분의 신호에 대하여, 인트라 부호화 모드 공통화 식별 플래그(33)의 지시에 근거하여 인트라 예측 모드의 평가를 행한다. 인트라 부호화 모드 공통화 식별 플래그(33)는, 입력되는 3개의 색성분 각각에 대하여 개별적으로 인트라 부호화 모드를 할당할지, 3 성분 모두에 같은 인트라 부호화 모드를 할당할지를 지시한다. 이것은 이하의 배경에 따른다.
4:4:4 포맷에서는, 종래부터 부호화에 이용되어 온 Y, Cb, Cr 색공간 이외에, RGB를 직접 이용하는 것도 가능하다. Y, Cb, Cr 색공간은, Cb, Cr의 신호로부터 영상의 텍스처 구조에 의존하는 성분이 제거된다. Y 성분과 Cb, Cr 2 성분의 사이에서는 최적의 인트라 부호화 방법이 변화할 확률이 높다(실제로, 하이 4:2:0 프로파일 등, AVC/H.264의 4:2:0 포맷을 대상으로 하는 부호화 방식에서는, Y 성분과 Cb, Cr 성분에서 이용하는 인트라 예측 모드의 설계가 다름). 한편, RGB 색공간에서 부호화를 행하는 경우는, Y, Cb, Cr 색공간과 같이 색성분 사이에서의 텍스처 구조의 제거를 행하지 않고, 동일 공간상의 신호 성분은 상관이 높아지므로, 인트라 부호화 모드를 공통적으로 선택할 수 있도록 구성함으로써 부호화 효율을 높일 수 있는 가능성이 있다. 이 점은, 색공간의 정의뿐만 아니라, 어떤 특정한 색공간을 사용했다고 하더라도 영상의 성질에 따라 좌우되는 점이며, 부호화 방식 자체는, 그러한 영상 신호의 성질에 적응적으로 대응할 수 있는 것이 바람직하다. 그래서, 본 실시의 형태에서는 인트라 부호화 모드 공통화 식별 플래그(33)를 마련하여, 4:4:4 포맷 영상에 대한 유연한 부호화를 행할 수 있도록 부호화 장치를 구성했다.
공간 예측부(2)에서는, 이상과 같이 설정되는 인트라 부호화 모드 공통화 식별 플래그(33)의 상태에 따라, 도 3이나 도 4, 도 13에 나타낸 전체 인트라 예측 모드 내지는 소정의 서브셋에 대하여 각 색성분에 대한 예측 처리를 실행하여 감산기(3)에 의해 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 공간 예측부(2)에서 실행한 예측 처리 중에서, 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 인트라 예측 모드를 선택한다. 여기서, 인트라 N×N 예측이 선택된 경우, 부호화 모드(6)로서 인트라 N×N 예측 부호화 모드를 출력함과 아울러, 예측 모드가 인트라 4×4 예측인 경우는, 변환 블록 사이즈 식별 플래그(32)를 「4×4 블록 사이즈에서의 변환」으로 설정한다. 또한, 예측 모드가 인트라 8×8 예측인 경우는, 변환 블록 사이즈 식별 플래그(32)를 「8×8 블록 사이즈에서의 변환」으로 설정한다. 변환 블록 사이즈 식별 플래그(32)의 결정 방법에 대해서는 다양한 방법을 생각할 수 있지만, 본 실시의 형태 2에 있어서의 부호화 장치에서는, 인트라 N×N 예측에 의해 얻어지는 잔차(residue)에 대하여 변환을 행하는 경우의 블록 사이즈를 정하기 위해, 부호화 모드 판정부(5)에 있어서 최적의 인트라 N×N 예측 모드가 정해진 후, 그 N값에 맞춰 결정하는 방법을 일례로서 들 수 있다. 예컨대, 인트라 4×4 예측 모드를 이용하는 경우에 변환 블록 사이즈를 8×8 화소 블록으로 하면, 예측의 결과로 얻어지는 예측 차분 신호(4)에 있어서 4×4 블록의 단위로 예측 신호의 공간적 연속성이 단절될 가능성이 높아져, 필요 없는 고주파 성분이 발생하므로, 변환에 의한 신호 전력 집중화의 효과가 줄어든다. 변환 블록 사이즈를 예측 모드에 맞춰 4×4 화소 블록으로 하여 놓으면, 이러한 문제는 발생하지 않는다.
부호화 모드 판정부(5)에 있어서 인트라 16×16 예측이 선택된 경우, 부호화 모드(6)로서 인트라 16×16 예측 부호화 모드를 출력한다. 또, 부호화 모드(6)의 선정에 있어서는, 부호화 제어부(19)의 판단으로 정해지는 각 부호화 모드에 대한 가중 계수(20)가 가미되는 경우도 있다.
부호화 모드(6)에 의해 얻어지는 예측 차분 신호(4)는 직교 변환부(8)에 출력된다. 직교 변환부(8)는 입력되는 예측 차분 신호를 변환하여 직교 변환 계수로서 양자화부(9)에 출력한다. 양자화부(9)는 입력되는 직교 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하여, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다.
변환 블록 사이즈가 4×4 블록 단위인 경우, 직교 변환부(8)에 입력되는 예측 차분 신호(4)는, 4×4 블록 단위로 분할되어 직교 변환되어, 양자화부(9)에서 양자화가 행해진다. 변환 블록 사이즈가 8×8 블록 단위인 경우, 직교 변환부(8)에 입력되는 예측 차분 신호(4)는, 8×8 블록 단위로 분할되어 직교 변환되어, 양자화부(9)에서 양자화가 행해진다.
양자화 완료 변환 계수(10)는, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 변환 블록 사이즈 식별 플래그(32) 등에 근거하는 블록 사이즈로써 역양자화부(12), 역직교 변환부(13)를 지나 국부 복호 예측 차분 신호(14)로 복원되고, 부호화 모드(6)에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은 이후의 인트라 예측 처리에 이용하기 위해 메모리(16)에 저장된다. 또한, 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블로킹 필터를 실시할지 여부를 나타내는 디블로킹 필터 제어 플래그(24)도 입력된다(공간 예측부(2)에서 실시되는 예측 처리에는, 디블로킹 필터가 실시되기 전의 화소 데이터를 메모리(16)에 저장하여 이용하므로 디블로킹 필터 처리 자체는 부호화 처리에는 필요는 없지만, 복호 장치측에서는 디블로킹 필터 제어 플래그(24)의 지시에 따라 디블로킹 필터를 행하여 최종적인 복호 화상을 얻음).
가변 길이 부호화부(11)에 입력되는 인트라 부호화 모드 공통화 식별 플래그(33), 양자화 완료 변환 계수(10), 부호화 모드(6), 양자화 파라미터(21)는 소정의 규칙(신텍스)에 따라 비트스트림으로서 배열ㆍ정형되어, 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞춰 비트스트림을 평활화하여 비디오 스트림(22)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트스트림 축적 상황에 따라 부호화 제어부(19)에 피드백 정보를 출력하여, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
2. 부호화 장치에 있어서의 인트라 부호화 모드 ㆍ예측 모드 판정 처리
본 실시의 형태 2의 부호화 장치의 특징인 인트라 부호화 모드 및 인트라 예측 모드의 판정 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 11의 부호화 장치에 있어서의 공간 예측부(2), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 14에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2로 한다.
우선, 부호화 모드 판정부(5)는, 인트라 부호화 모드 공통화 식별 플래그(33)를 수취하여, 그 값에 근거하여 C0, C1, C2에서 공통의 인트라 부호화 모드를 사용할지 여부를 판단한다(도 14의 단계 S20). 공통화하는 경우는 단계 S21 이후로, 공통화하지 않는 경우는 단계 S22 이후로 진행한다.
인트라 부호화 모드를 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, 선택할 수 있는 전부 내지는 일부의 인트라 예측 모드(인트라 N×N 예측, 인트라 16×16 예측)를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, 전체 성분에 최적인 인트라 부호화 모드 및 인트라 예측 모드를 선택한다(단계 S21).
한편, C0, C1, C2에서 각각 최적의 인트라 부호화 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, Ci(i≤0<3) 성분에서 선택할 수 있는 전부 내지는 일부의 인트라 예측 모드(인트라 N×N 예측, 인트라 16×16 예측)를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, Ci(i≤0<3) 성분에 있어서의 최적의 인트라 4×4 예측 모드를 선택한다(단계 S23).
상기 단계 S21, S23에 있어서, 공간 예측부(2)가 인트라 4×4 예측 모드를 최적의 예측 효율을 제공하는 모드로서 선택한 경우, 변환 블록 사이즈 식별 플래그(32)는 「4×4 블록 사이즈에서의 변환」으로 설정되고, 공간 예측부(2)가 인트라 8×8 예측 모드를 최적의 예측 효율을 제공하는 모드로서 선택한 경우, 변환 블록 사이즈 식별 플래그(32)는 「8×8 블록 사이즈에서의 변환」으로 설정된다.
공간 예측부(2)에서 행해지는 예측 모드의 예측 효율 평가의 규범으로서는, 예컨대, Jm = Dm + λRm(λ : 정수)으로 주어지는 비트율 왜곡 비용을 이용할 수 있다. 여기서, Dm은 인트라 예측 모드 m을 적용한 경우의 부호화 왜곡 또는 예측 오차량이다. 부호화 왜곡이란, 인트라 예측 모드 m을 적용하여 예측 오차를 얻고, 예측 오차를 변환ㆍ양자화한 결과로부터 영상을 복호하여 부호화 전의 신호에 대한 오차를 계측하는 것이다. 예측 오차량은, 인트라 예측 모드 m을 적용한 경우의 예측 화상과 부호화 전의 신호의 차분을 얻고, 그 차분의 크기를 정량화한 것으로, 예컨대, 차분 절대치 합(Sum of Absolute Distance : SAD) 등이 이용된다. Rm은 인트라 예측 모드 m을 적용한 경우의 발생 부호량이다. 다시 말해, Jm은 인트라 예측 모드 m을 적용한 경우의 부호량과 열화도의 트레이드오프를 규정하는 값이며, 최소의 Jm을 제공하는 인트라 예측 모드 m이 최적해를 제공한다.
부호화 장치가 단계 S21 이후의 처리를 행한 경우, 인트라 부호화 모드의 정보는, 3개의 색성분을 포함하는 매크로 블록에 대하여, 하나 할당된다. 한편, 단계 S22 이후의 처리를 행한 경우는, 각 색성분에 대하여 각각 인트라 부호화 모드 정보(총 3개)가 할당된다. 따라서, 매크로 블록에 대하여 할당되는 인트라 예측 모드의 정보가 다르므로, 부호화 장치가 S21 이후의 처리 과정을 행했는지, S23 이후의 처리 과정을 행했는지는 인트라 부호화 모드 공통화 식별 플래그(23)를 비트스트림에 다중화하여 복호 장치측에서 인식할 수 있도록 할 필요가 있다. 이러한 비트스트림의 데이터 배열을 도 15에 나타낸다.
도 15에 있어서, 매크로 블록 레벨에서 비트스트림에 다중화되는 인트라 부호화 모드 0(34a), 1(34b), 2(34c)는 각각, C0, C1, C2 성분에 대한 부호화 모드(6)를 나타낸다. 인트라 부호화 모드가 인트라 N×N 예측 부호화 모드인 경우에는, 변환 블록 사이즈 식별 플래그(32), 인트라 예측 모드의 정보가 비트스트림에 다중화된다. 한편, 인트라 부호화 모드가 인트라 16×16 예측 부호화 모드인 경우에는, 인트라 예측 모드의 정보는 인트라 부호화 모드 정보의 일부로서 부호화되고, 변환 블록 사이즈 식별 플래그(32), 인트라 예측 모드의 정보는 비트스트림에 다중화되지 않는다. 인트라 부호화 모드 공통화 식별 플래그(33)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우에는, 인트라 부호화 모드 1(34b)ㆍ2(34c), 변환 블록 사이즈 식별 플래그 1(32b)ㆍ2(32c), 인트라 예측 모드 1(35b)ㆍ2(35c)는 비트스트림에 다중화되지 않는다(도 15 중의 점선의 원 부분이 그 분기를 나타냄). 이때는, 인트라 부호화 모드 0(34a), 변환 블록 사이즈 식별 플래그 0(32a), 인트라 예측 모드 0(35a)이 각각 전체 색성분 공통의 부호화 정보로서 기능한다. 인트라 부호화 모드 공통화 식별 플래그(33)는, 도 15에 있어서는 슬라이스, 픽처, 시퀀스 등, 매크로 블록보다 상위 레벨의 비트스트림 데이터로서 다중화되는 예를 나타낸다. 특히, 본 실시의 형태 2에 든 예와 같이 이용하는 경우는, 시퀀스를 통하여 색공간이 변화하지 않는 경우가 많으므로, 시퀀스 레벨에 인트라 부호화 모드 공통화 식별 플래그(33)를 다중화하여 놓음으로써 목적을 달성할 수 있다.
본 실시의 형태 2에서는, 인트라 부호화 모드 공통화 식별 플래그(33)를 「전체 성분에서 공통인지 아닌지」라는 의미로 이용했지만, 이것은 입력 영상 신호(1)의 색공간 정의에 따라, 예컨대, 「C1, C2 등 특정한 2 성분에서 공통인지 아닌지」라는 의미로 사용하더라도 좋다(Y, Cb, Cr과 같은 경우, Cb와 Cr에서는 공통화할 수 있는 가능성이 높음). 또한, 인트라 부호화 모드 공통화 식별 플래그(33)의 공통화 범위를 인트라 부호화 모드에만 한정하고, 인트라 N×N 예측 모드를 사용하는 경우에는, 각 색성분에서 독립적으로 변환 블록 사이즈나 N×N 예측 모드를 선택할 수 있도록 구성하더라도 좋다(도 16). 도 16과 같은 신텍스 구성에 의해, N×N 예측을 필요로 하는 복잡한 패턴의 영상에 대하여, 부호화 모드 정보를 공통화하면서도, 색성분마다 예측 방법을 변경할 수 있어, 예측 효율을 높일 수 있다.
또, 인트라 부호화 모드 공통화 식별 플래그(33)의 정보는, 부호화 장치와 복호 장치의 양쪽에서 미리 어떠한 수단에 의해 알려져 있으면, 비디오의 비트스트림 중에 실어 전송하지 않더라도 좋다. 그 경우, 예컨대, 부호화 장치는 인트라 부호화 모드 공통화 식별 플래그(33)를 어느 하나의 값에 고정화하여 부호화를 행하도록 구성하더라도 좋고, 비디오의 비트스트림과는 별도로 전송하더라도 좋다.
3. 복호 장치의 동작 개요
도 12의 복호 장치는, 도 11의 부호화 장치로부터 출력되는 도 15의 배열에 따르는 비디오 스트림(22)을 수신하여, 3개의 색성분이 동일 사이즈(4:4:4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다.
우선, 가변 길이 복호부(25)는 스트림(22)을 입력으로 하여, 소정의 규칙(신텍스)에 따라 스트림(22)을 해독하여, 인트라 부호화 모드 공통화 식별 플래그(33), 양자화 완료 변환 계수(10), 부호화 모드(6), 양자화 파라미터(21) 등의 정보를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 함께 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 역직교 변환부(13)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다. 한편, 공간 예측부(2)에 대해서는 부호화 모드(6)와 인트라 부호화 모드 공통화 식별 플래그(33)가 입력되고, 이들 정보에 따라 예측 화상(7)을 얻는다. 예측 화상(7)을 얻는 구체적인 순서에 대해서는 후술한다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 잠정 복호 화상(15)을 얻는다(이것은 부호화 장치에 있어서의 국부 복호 화상(15)과 완전히 같은 신호임). 잠정 복호 화상(15)은 이후의 매크로 블록의 인트라 예측에 이용되기 위해 메모리(16)에 돌려보내진다. 메모리는 각 색성분마다 3개면 준비된다. 또한, 가변 길이 부호화부(25)에 의해 해독된 디블로킹 필터 제어 플래그(24)의 지시에 근거하여 디블로킹 필터(26)를 잠정 복호 화상(15)에 대하여 작용시켜, 최종적인 복호 화상(27)을 얻는다.
4. 복호 장치에 있어서의 인트라 예측 복호 처리
본 실시의 형태 2의 복호 장치의 특징인 인트라 예측 화상 생성 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 12의 복호 장치에 있어서의 가변 길이 복호부(25), 공간 예측부(2)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 17에 나타낸다.
도 17의 흐름도 중, S25~S38은 가변 길이 복호부(25)에 있어서 행해진다. 가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 15의 데이터 배열에 따르는 것으로 한다. 단계 S25에서는 도 15의 데이터 중 인트라 부호화 모드 0(34a)(C0 성분 대응)이 우선 복호된다. 결과, 인트라 부호화 모드 0(34a)이 「인트라 N×N 예측」인 경우는, 변환 블록 사이즈 식별 플래그 0(32a)과 인트라 예측 모드 0(35a)이 복호된다(단계 S26, S27). 이어서, 인트라 부호화 모드 공통화 식별 플래그(33)의 상태에 근거하여, 인트라 부호화ㆍ예측 모드 정보가 전체 색성분에서 공통이라고 판단된 경우는, 인트라 부호화 모드 0(34a), 변환 블록 사이즈 식별 플래그 0(32a), 인트라 예측 모드 0(35a)을, C1 및 C2 성분에서 이용하는 부호화 정보로서 설정한다(단계 S29, S30). 도 17은 매크로 블록 단위의 처리를 도시하고 있고, 단계 S29의 판단에 이용하는 인트라 부호화 모드 공통화 식별 플래그(33)는, 도 17의 시작의 프로세스에 들어가기 전에, 슬라이스 이상의 레이어 레벨에서 가변 길이 복호부(25)에 의해 비트스트림(22)으로부터 판독되고 있는 것으로 한다.
도 17에 있어서의 단계 S29에서 인트라 부호화ㆍ예측 모드 정보가 각 색성분마다 부호화라고 판단된 경우는, 계속되는 단계 S31~S38의 프로세스에 있어서, C1 및 C2 성분용의 인트라 부호화ㆍ예측 모드 정보를 복호한다. 이상의 처리 과정을 지나 각 색성분의 부호화 모드(6)가 확정되고, 이것을 공간 예측부(2)에 출력하여, 단계 S39~S41에 따라 각 색성분의 인트라 예측 화상을 얻는다. 인트라 예측 화상을 얻는 프로세스는 도 3, 도 4, 도 13의 순서에 따르는 것으로 도 11의 부호화 장치에서 행하는 처리와 같다.
또, 전술한 바와 같이, 인트라 부호화 모드 공통화 식별 플래그(33)의 정보는, 부호화 장치와 복호 장치의 양쪽에서 미리 어떠한 수단에 의해 알려져 있으면, 복호 장치는, 비디오의 비트스트림 중에서 그 값을 해석하는 것이 아니고, 예컨대, 미리 고정 값으로 복호를 행하도록 구성하더라도 좋고, 비디오의 비트스트림과는 별도로 전송하더라도 좋다.
종래의 영상 부호화 표준으로 채용되어 온 4:2:0 포맷에서는, 색공간의 정의가 Y, Cb, Cr로 고정되어 있었지만, 4:4:4 포맷에서는 Y, Cb, Cr에 한정되지 않고 다양한 색공간을 이용할 수 있다. 도 15나 도 16과 같이 인트라 매크로 블록의 부호화 정보를 구성함으로써, 입력 영상 신호(1)의 색공간의 정의나 영상 신호의 성질에 따라 최적의 부호화 처리를 행할 수 있고 또한, 상술한 부호화 처리의 결과 얻어지는 비트스트림을 일의에 해석하여 영상 복호 재생 처리를 행할 수 있다.
실시의 형태 3
본 실시의 형태 3에서는, 도 11의 부호화 장치, 도 12의 복호 장치의 다른 구성예를 나타낸다. 본 부호화 장치, 복호 장치는 실시의 형태 1과 마찬가지로, 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명의 고유한 특징을 부여한 것으로 한다. 본 실시의 형태 3에 있어서의 영상 부호화 장치는, 도 11에서 설명한 실시의 형태 2의 부호화 장치 중, 가변 길이 부호화부(11)만이 다르다. 본 실시의 형태 3에 있어서의 영상 복호 장치는, 도 12에서 설명한 실시의 형태 2의 복호 장치 중, 가변 길이 복호부(25)만이 다르다. 다른 것은 실시의 형태 2와 마찬가지의 동작으로 하고, 여기서는 차이 부분만을 설명한다.
1. 부호화 장치에 있어서의 인트라 예측 모드 정보의 부호화 순서
실시의 형태 2의 부호화 장치에 있어서는, 그 가변 길이 부호화부(11)에서는, 인트라 N×N 예측 모드의 정보에 대하여, 비트스트림상의 데이터 배열은 나타냈지만, 특별히 그 부호화 순서를 나타내지 않았다. 본 실시의 형태에서는, 그 부호화 순서의 구체적인 방법을 나타낸다. 본 실시의 형태에서는 특히, 인트라 N×N 예측 모드의 값이 색성분 사이에서 높은 상관을 갖는 경우를 고려하여, 각 색성분에서 얻어진 인트라 N×N 예측 모드에 대하여, 색성분 사이에서의 값의 상관을 이용한 엔트로피 부호화를 행하는 점에 특징이 있다.
이하의 설명에서는, 도 16의 형식의 비트스트림 배열을 전제로 한다. 또한, 설명의 간략화를 위해, 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정하고, 인트라 부호화 모드를 인트라 N×N 예측 모드, 변환 블록 사이즈 0~2를 4×4 블록으로 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 모두 인트라 4×4 예측 모드가 된다. 도 18~도 20에 있어서, 부호화의 대상이 되는 커런트 매크로 블록은 X로 한다. 또한, 그 좌측 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B로 한다.
C0, C1, C2의 각 색성분의 부호화 순서의 설명도로서, 도 18~도 20을 이용한다. 또한, 순서의 흐름도를 도 21, 도 22에 나타낸다.
도 18은 매크로 블록 X의 C0 성분의 모습을 나타내고 있다. 여기서, 부호화 대상의 4×4 블록을 블록 X, 블록 X의 좌측, 위의 4×4 블록을 각각 블록 A, 블록 B라고 부르기로 한다. 매크로 블록 X 중, 부호화 대상의 4×4 블록의 위치에 따라 2개의 케이스가 있다. 케이스 1은, 부호화 대상의 4×4 블록에 대하여, 그 좌측, 위의 4×4 블록이 커런트 매크로 블록 X의 밖, 즉, 매크로 블록 A 내지는 매크로 블록 B에 속하는 경우이다. 케이스 2는, 부호화 대상의 4×4 블록에 대하여, 그 좌측, 위의 4×4 블록이 커런트 매크로 블록 X의 내부, 즉, 매크로 블록 X에 속하는 경우이다. 어느 경우이든, 인트라 4×4 예측 모드는 매크로 블록 X 내의 개개의 4×4 블록 X에 대하여 하나씩 할당되고, 이것을 CurrIntraPredMode로 한다. 또한, 블록 A의 인트라 4×4 예측 모드를 IntraPredModeA, 블록 B의 인트라 4×4 예측 모드를 IntraPredModeB로 한다. IntraPredModeA, IntraPredModeB는 모두, 블록 X를 부호화하는 시점에서는 이미 부호화가 완료된 정보이다. 어떤 블록 X의 인트라 4×4 예측 모드를 부호화함에 있어서, 우선 이들 파라미터의 할당을 행한다(도 21에 있어서의 단계 S50).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측치 predCurrIntraPredMode를 하기 식으로 정한다(단계 S51).
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB)
다음으로, C0 성분의 CurrIntraPredMode의 부호화를 행한다. 여기서는, CurrIntraPredMode = predCurrIntraPredMode이면, 예측치와 같은 것을 나타내는 1비트의 플래그(prev_intra_pred_mode_flag)를 부호화한다. CurrIntraPredMode != predCurrIntraPredMode이면, CurrIntraPredMode와 predCurrIntraPredMode를 비교하여 CurrIntraPredMode 쪽이 작은 경우, CurrIntraPredMode를 그대로 부호화한다. CurrIntraPredMode 쪽이 큰 경우, CurrIntraPredMode - 1을 부호화한다(단계 S52).
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
else
{
prev_intra_pred_mode_flag = 0;
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
다음으로, 도 19에 의해, C1 성분의 부호화 순서를 나타낸다. 우선, C0 성분과 마찬가지로, 블록 X의 위치에 따라, IntraPredModeA, IntraPredModeB 등의 근방의 부호화 파라미터를 설정한다(단계 S53).
다음으로 블록 X의 CurrIntraPredMode에 대한 예측치 후보 1 predCurrIntraPredMode1을 하기 식으로 정한다(단계 S54).
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB)
만약 C0 성분에 있어서, prev_intra_pred_mode_flag = 1이면, 이 predCurrIntraPredMode1을 그대로 C1 성분의 블록 X에 있어서의 predCurrIntraPredMode에 채용한다. 이것은 이하의 이유에 따른다. C0 성분의 동일 블록 위치에서 prev_intra_pred_mode_flag = 1이 채용되었다는 것은, C0 성분에 있어서는 근방 화상 영역에서 예측 모드 사이의 상관이 높았던 것을 의미하고 있다. C0 성분과 C1 성분의 사이에서 텍스처 구조의 상관을 완전히 제거하고 있지 않는 RGB 신호 등의 경우에 있어서는, 이러한 경우, C1 성분에 있어서도 C0 성분과 마찬가지로, 근방 화상 영역 사이에 상관이 높을 가능성이 있다. 따라서, C1 성분의 예측치는 C0 성분의 인트라 4×4 예측 모드에 의존하지 않는다고 판단한다.
한편, C0 성분에 있어서, prev_intra_pred_mode_flag = 0, 즉, rem_intra_pred_mode를 부호화한 경우(단계 S55)는, C0 성분의 CurrIntraPredMode를 예측치 후보 2로 한다(단계 S56). 즉,
predCurrIntraPredMode2 = CurrIntraPredMode_C0
이것을 예측치 후보로 하는 배경은 이하와 같다. C0 성분에서 rem_intra_pred_mode를 부호화한다는 것은, C0 성분에 있어서는 근방 화상 영역 사이에서의 인트라 예측의 상관이 낮은 것을 의미한다. 그 경우, C1 성분에서도 마찬가지로 근방 화상 영역 사이에서의 상관이 낮은 것이 예상되고, 다른 색성분에 있어서의 동일 블록 위치의 인트라 예측 모드 쪽이, 보다 좋은 예측치를 제공할 가능성이 있다.
C1 성분의 블록 X에서의 CurrIntraPredMode의 예측치는 최종적으로, predCurrIntraPredMode1이나, predCurrIntraPredMode2 중 어느 한쪽의 값으로서 정한다(단계 S57). 어느 쪽의 값을 이용할지는 1비트의 플래그(pred_flag)로 추가 부호화한다. 단, pred_flag는, CurrIntraPredMode가 예측치와 일치할 때만 부호화하고, 일치하지 않는 경우(rem_intra_pred_mode를 부호화하는 경우) 예측치는 predCurrIntraPredMode1을 이용한다.
이상의 순서를 식으로 기재하면
if(prev_intra_pred_mode_flag_C0 == 1)
{
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if(CurrIntraPredMode == predCurrIntraPredMode1)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 예측치 후보 1을 사용함
}
else if(CurrIntraPredMode == predCurrIntraPredMode2)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 예측치 후보 2를 사용함
}
else
{
prev_intra_pred_mode_flag = 0;
if(CurrIntraPredMode < predCurrIntraPredMode1)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
Encode pred_flag;
else // If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
가 된다. 결과, prev_intra_pred_mode_flag, pred_flag, rem_intra_pred_mode가 부호화 데이터로서 부호화된다(단계 S58).
다음으로, 도 20에 의해, C2 성분의 부호화 순서를 나타낸다. 우선, C0, C1 성분과 마찬가지로, 블록 X의 위치에 따라, IntraPredModeA, IntraPredModeB 등의 근방의 부호화 파라미터를 설정한다(단계 S59).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측치 후보 1 predCurrIntraPredMode1을 하기 식으로 정한다(단계 S60).
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB)
만약 C0, C1 성분의 양쪽에 있어서, prev_intra_pred_mode_flag = 1이면, 이 predCurrIntraPredMode1을 그대로 C1 성분의 블록 X에 있어서의 predCurrIntraPredMode에 채용한다. 이것은 이하의 이유에 따른다. C0, C1 성분의 동일 블록 위치에서 prev_intra_pred_mode_flag = 1이 채용되었다는 것은, C0, C1 성분에 있어서는 근방 화상 영역에서 예측 모드 사이의 상관이 높았던 것을 의미하고 있다. C0, C1 성분과 C2 성분의 사이에서 텍스처 구조의 상관을 완전히 제거하고 있지 않는 RGB 신호 등의 경우에 있어서는, 이러한 경우, C2 성분에 있어서도 C0, C1 성분과 마찬가지로, 근방 화상 영역 사이에 상관이 높을 가능성이 있다. 따라서, C2 성분의 예측치는 C0, C1 성분의 인트라 4×4 예측 모드에 의존하지 않는다고 판단한다.
한편, C0 내지는 C1 성분에 있어서, prev_intra_pred_mode_flag = 0, 즉, rem_intra_pred_mode를 부호화한 경우(단계 S61)는, C0 내지는 C1 성분의 CurrIntraPredMode를 예측치 후보 2로 한다(단계 S62). 즉,
If(prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1)
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0)
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
이것을 예측치 후보로 하는 배경은 이하와 같다. C0 내지는 C1 성분에서 rem_intra_pred_mode를 부호화한다는 것은, C0 내지는 C1 성분에 있어서는 근방 화상 영역 사이에서의 인트라 예측의 상관이 낮은 것을 의미한다. 그 경우, C2 성분에서도 마찬가지로 근방 화상 영역 사이에서의 상관이 낮은 것이 예상되고, 다른 색성분에 있어서의 동일 블록 위치의 인트라 예측 모드 쪽이, 보다 좋은 예측치를 제공할 가능성이 있다. 또한, 이 사고 방식에 의하면, C0, C1 성분 모두 rem_intra_pred_mode를 부호화하는 경우에는, C0, C1의 양쪽의 커런트 인트라 예측 모드가 예측치의 후보가 될 수 있지만, 여기서는, C1 성분의 커런트 인트라 예측 모드를 예측치로서 채용한다. 그 이유는, YUV 색공간이 입력되는 경우, C0은 휘도, C1/C2는 색차로서 취급될 가능성이 높고, 그 경우, C0보다 C1 쪽이 보다 C2의 예측 모드에 가깝다고 생각되기 때문이다. RGB 색공간 입력의 경우에 있어서는, C0을 선택할지 C1을 선택할지는 그다지 큰 요인으로는 되지 않아, 일반적으로 C1 성분을 예측치로 채용하는 것은 타당하다고 생각할 수 있다(설계에 따라 C2 성분을 예측치로 채용하더라도 좋음).
C2 성분의 블록 X에 있어서의 CurrIntraPredMode의 예측치는 최종적으로, predCurrIntraPredMode1이나, predCurrIntraPredMode2 중 어느 한쪽의 값으로서 정한다(단계 S63). 어느 쪽의 값을 이용할지는 1비트의 플래그(pred_flag)로 추가 부호화한다.
이상의 순서를 식으로 기재하면
If(prev_intra_pred_mode_flag_C0 == 1 && prev_intra_pred_mode_flag == 1)
{
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
If(prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1)
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0)
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
if(CurrIntraPredMode == predCurrIntraPredMode1)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 예측치 후보 1을 사용함
}
else if(CurrIntraPredMode == predCurrIntraPredMode2)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 예측치 후보 2를 사용함
}
else
{
prev_intra_pred_mode_flag = 0;
if(CurrIntraPredMode < predCurrIntraPredMode1)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
Encode pred_flag;
else // If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
가 된다. 결과, prev_intra_pred_mode_flag, pred_flag, rem_intra_pred_mode가 부호화 데이터로서 부호화된다(단계 S64).
이상 말한 부호화 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 부호화함으로써, 다른 색성분에 있어서 선택되는 예측 모드와의 사이의 상관을 이용할 수 있어, 예측 모드 자체의 부호량을 삭감하여, 부호화 효율을 향상시킬 수 있다.
도 21과 도 22의 차이는, MB당 인트라 예측 모드의 부호화 처리를 각 색성분마다 분리하여 행할지, 정리하여 행할지의 차이이다. 도 21의 경우는 4×4 블록의 단위로 각 색성분의 부호화가 행해지고, 그들을 16패턴 모은 것이 비트스트림에 배열된다(단계 S65). 도 22의 경우는, 각 색성분의 16개의 4×4 블록이 정리하여 부호화되고, 그것을 색성분별로 비트스트림에 배열한 형태가 된다(단계 S66, S67, S68).
또, 상기 말한 순서에서는, pred_flag는, prev_intra_pred_mode_flag가 1일 때만 유효한 정보로 하고 있지만, prev_intra_pred_mode_flag가 0인 경우도 포함하도록 정하더라도 좋다. 즉, 예컨대, C1 성분의 예를 들면,
If(prev_intra_pred_mode_flag_C0 == 1)
{
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
Else{
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if(CurrIntraPredMode == predCurrIntraPredMode1)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 예측치 후보 1을 사용함
}
else if(CurrIntraPredMode == predCurrIntraPredMode2)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 예측치 후보 2를 사용함
}
else
{
prev_intra_pred_mode_flag = 0;
if(｜CurrIntraPredMode - predCurrIntraPredMode1｜ < ｜CurrIntraPredMode - predCurrIntraPredMode2｜)
{
pred_flag = 0;
predCurrIntraPredMode = predCurrIntraPredMode1;
}
Else
{
pred_flag = 1;
predCurrIntraPredMode = predCurrIntraPredMode2;
}
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag_C0 == 0)
Encode pred_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
와 같은 순서로 부호화하도록 구성하더라도 좋다. 이 방법에서는, C0 성분의 동일 위치의 블록에 있어서의 인트라 예측 모드에 있어서 rem_intra_pred_mode를 부호화하는 경우에는 상시 pred_flag를 부호화하게 되지만, prev_intra_pred_mode_flag = 0인 경우라도 보다 정밀도가 좋은 예측치를 사용할 수 있어, 부호화 효율의 개선을 기대할 수 있다. 또한, 더욱 나아가, C0 성분의 동일 위치의 블록에 있어서의 인트라 예측 모드에 있어서 rem_intra_pred_mode를 부호화할지 여부에 의존하지 않고, pred_flag를 부호화하도록 구성하더라도 좋다. 이 경우는 상시 C0 성분의 인트라 예측 모드를 예측치 후보로서 사용하게 된다.
즉, 이 경우의 식은 이하와 같이 된다.
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if(CurrIntraPredMode == predCurrIntraPredMode1)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 예측치 후보 1을 사용함
}
else if(CurrIntraPredMode == predCurrIntraPredMode2)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 예측치 후보 2를 사용함
}
else
{
prev_intra_pred_mode_flag = 0;
if(｜CurrIntraPredMode - predCurrIntraPredMode1｜ < ｜CurrIntraPredMode - predCurrIntraPredMode2｜)
{
pred_flag = 0;
predCurrIntraPredMode = predCurrIntraPredMode1;
}
Else
{
pred_flag = 1;
predCurrIntraPredMode = predCurrIntraPredMode2;
}
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag;
Encode pred_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
또, pred_flag는, 4×4 블록 단위가 아니고, 매크로 블록이나 시퀀스의 단위로 설정하도록 하더라도 좋다. 매크로 블록 단위로 설정하는 경우는, 매크로 블록 내의 모든 4×4 블록에 대하여, 예측치 후보 1 내지는 예측치 후보 2 중 어느 쪽을 사용할지를 공통화하므로, pred_flag로서 전송하는 오버헤드 정보를 더욱 삭감할 수 있다. 또한, 입력 색공간 정의에 따라 예측치 후보 1 내지는 예측치 후보 2 중 어느 쪽을 사용할지를 정하기 위해, 시퀀스의 단위로 정하도록 할 수도 있다. 이 경우는 매크로 블록마다 pred_flag를 전송할 필요가 없어져, 오버헤드 정보를 더욱 삭감할 수 있다.
2. 복호 장치에 있어서의 인트라 예측 모드 정보의 복호 순서
실시의 형태 2의 복호 장치에 있어서는, 그 가변 길이 복호부(25)에서는, 인트라 N×N 예측 모드의 정보에 대하여, 비트스트림상의 데이터 배열은 나타냈지만, 특별히 그 복호 순서를 나타내지 않았다. 본 실시의 형태 3에서는, 그 복호 순서의 구체적인 방법을 나타낸다. 본 실시의 형태 3에서는 특히, 인트라 N×N 예측 모드의 값이 색성분 사이에서 높은 상관을 갖는 경우를 고려하여, 각 색성분에서 얻어진 인트라 N×N 예측 모드에 대하여, 색성분 사이에서의 값의 상관을 이용한 엔트로피 부호화가 행해진 비트스트림을 복호하는 점에 특징이 있다.
이하의 설명에서는, 도 16의 형식의 비트스트림 배열을 전제로 한다. 또한, 설명을 인트라 예측 모드의 복호 순서에 한정하므로, 비트스트림 중의 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정되어 있는 것으로 한다. 또한, 인트라 부호화 모드는 인트라 N×N 예측 모드, 변환 블록 사이즈 0~2는 4×4 블록이 지정되어 있는 것으로 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 모두 인트라 4×4 예측 모드가 된다. 부호화 장치와 마찬가지로, 복호 장치에 있어서도, 도 18~도 20의 관계를 이용한다. 복호 장치에서는, 복호의 대상이 되는 커런트 매크로 블록을 X로 한다. 또한, 그 좌측 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B로 한다. 복호 순서의 흐름도를 도 23에 나타낸다. 도 23에 있어서, 도 21, 도 22와 같은 번호를 부여한 단계는 부호화 장치의 처리와 같은 처리를 실행하는 것을 나타낸다.
도 18은 매크로 블록 X의 C0 성분의 모습을 나타내고 있다. 매크로 블록 X 중, 복호 대상의 4×4 블록의 위치에 따라 2개의 케이스가 있다. Case 1은, 복호 대상의 4×4 블록에 대하여, 그 좌측, 위의 4×4 블록이 커런트 매크로 블록 X의 밖, 즉, 매크로 블록 A 내지는 매크로 블록 B에 속하는 경우이다. Case 2는, 복호 대상의 4×4 블록에 대하여, 그 좌측, 위의 4×4 블록이 커런트 매크로 블록 X의 내부, 즉, 매크로 블록 X에 속하는 경우이다. 여기서, 복호 대상의 4×4 블록을 블록 X, 블록 X의 좌측, 위의 4×4 블록을 각각 블록 A, 블록 B라고 부르는 것으로 한다. 어느 경우이든, 인트라 4×4 예측 모드는 매크로 블록 X 내의 개개의 4×4 블록 X에 대하여 하나씩 할당되고, 이것을 CurrIntraPredMode로 한다. 또한, 블록 A의 인트라 4×4 예측 모드를 IntraPredModeA, 블록 B의 인트라 4×4 예측 모드를 IntraPredModeB로 한다. IntraPredModeA, IntraPredModeB는 모두, 블록 X를 부호화하는 시점에서는 이미 복호가 완료된 정보이다. 어떤 블록 X의 인트라 4×4 예측 모드를 복호함에 있어서, 우선 이들 파라미터의 할당을 행한다(단계 S50).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측치 predCurrIntraPredMode를 하기 식으로 정한다(단계 S51).
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB)
다음으로, CurrIntraPredMode = predCurrIntraPredMode인지 여부를 나타내는 1비트의 플래그(prev_intra_pred_mode_flag)를 복호한다. prev_intra_pred_mode_flag = 1은, CurrIntraPredMode = predCurrIntraPredMode인 것을 의미한다. 그렇지 않으면(prev_intra_pred_mode_flag = 0), rem_intra_pred_mode의 정보를 비트스트림 중에서 복호한다. rem_intra_pred_mode와 predCurrIntraPredMode를 비교하여 rem_intra_pred_mode 쪽이 작은 경우, CurrIntraPredMode = rem_intra_pred_mode로 한다. CurrIntraPredMode 쪽이 큰 경우, CurrIntraPredMode = rem_intra_pred_mode + 1로 한다(단계 S65).
이들의 순서를 정리하면 이하와 같이 된다.
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
다음으로, 도 19에 의해, C1 성분의 복호 순서를 나타낸다. 우선, C0 성분과 마찬가지로, 블록 X의 위치에 따라, IntraPredModeA, IntraPredModeB 등의 근방의 부호화 파라미터를 설정한다(단계 S53).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측치 후보 1 predCurrIntraPredMode1을 하기 식으로 정한다(단계 S54).
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB)
만약 C0 성분에 있어서, prev_intra_pred_mode_flag = 1이면, 이 predCurrIntraPredMode1을 그대로 C1 성분의 블록 X에 있어서의 predCurrIntraPredMode에 채용한다. 이것은 부호화 장치에 있어서 설명한 이유와 마찬가지이다.
한편, C0 성분에 있어서, prev_intra_pred_mode_flag = 0, 즉, rem_intra_pred_mode를 복호한 경우(단계 S55)는, C0 성분의 CurrIntraPredMode를 예측치 후보 2로 한다(단계 S56). 즉,
predCurrIntraPredMode2 = CurrIntraPredMode_C0
이것을 예측치 후보로 하는 배경도 부호화 장치에 있어서 설명한 이유와 마찬가지이다.
C1 성분의 블록 X에 있어서의 CurrIntraPredMode의 예측치는 최종적으로, predCurrIntraPredMode1이나, predCurrIntraPredMode2 중 어느 한쪽의 값으로서 정한다(단계 S57). 어느 쪽의 값을 이용할지는 1비트의 플래그(pred_flag)를 복호하여 정한다. 단, pred_flag는, CurrIntraPredMode가 예측치와 일치할 때만 복호하고, 일치하지 않는 경우(rem_intra_pred_mode를 복호하는 경우) 예측치는 predCurrIntraPredMode1을 이용한다.
예측치 후보 1, 예측치 후보 2, prev_intra_pred_mode_flag, pred_flag, rem_intra_pred_mode가 주어진 뒤에, 이하의 순서에 의해, CurrIntraPredMode를 복호한다(단계 S66).
if(prev_intra_pred_mode_flag_C0 == 1 )
{
pred_flag = 0; // 이때는 pred_flag는 비트스트림에는 포함되지 않음
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
Decode pred_flag;
If(pred_flag == 0)
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
predCurrIntraPredMode = predCurrIntraPredMode1;
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
다음으로, 도 20에 의해, C2 성분의 복호 순서를 나타낸다. 우선, C0, C1 성분과 마찬가지로, 블록 X의 위치에 따라, IntraPredModeA, IntraPredModeB 등의 근방의 부호화 파라미터를 설정한다(단계 S59).
다음으로 블록 X의 CurrIntraPredMode에 대한 예측치 후보 1 predCurrIntraPredMode1을 하기 식으로 정한다(단계 S60).
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB)
만약 C0, C1 성분의 양쪽에 있어서, prev_intra_pred_mode_flag = 1이면, 이 predCurrIntraPredMode1을 그대로 C1 성분의 블록 X에 있어서의 predCurrIntraPredMode에 채용한다. 이것은 부호화 장치에 있어서 설명한 이유와 마찬가지이다.
한편, C0 내지는 C1 성분에 있어서, prev_intra_pred_mode_flag = 0, 즉, rem_intra_pred_mode를 복호한 경우(단계 S61)는, C0 내지는 C1 성분의 CurrIntraPredMode를 예측치 후보 2로 한다(단계 S62).
즉,
If(prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1)
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0)
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
이것을 예측치 후보로 하는 배경도 부호화 장치에 있어서 설명한 이유와 마찬가지이다.
C2 성분의 블록 X에 있어서의 CurrIntraPredMode의 예측치는 최종적으로, predCurrIntraPredMode1이나, predCurrIntraPredMode2 중 어느 한쪽의 값으로서 정한다(단계 S63). 어느 쪽의 값을 이용할지는 1비트의 플래그(pred_flag)를 복호하여 정한다. 단, pred_flag는, CurrIntraPredMode가 예측치와 일치할 때만 복호하고, 일치하지 않는 경우(rem_intra_pred_mode를 복호하는 경우)는, 예측치는 predCurrIntraPredMode1을 이용한다.
예측치 후보 1, 예측치 후보 2, prev_intra_pred_mode_flag, pred_flag, rem_intra_pred_mode가 주어진 뒤에, 이하의 순서에 의해, CurrIntraPredMode를 복호한다(단계 S71).
if(prev_intra_pred_mode_flag_C0 == 1 && prev_intra_pred_mode_flag_C1 == 1)
{
pred_flag = 0; // 이때는 pred_flag는 비트스트림에는 포함되지 않음
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
If(prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1)
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0)
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
Decode pred_flag;
If(pred_flag == 0)
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
predCurrIntraPredMode = predCurrIntraPredMode1;
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
이상 말한 복호 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 복호함으로써, 다른 색성분에 있어서 선택되는 예측 모드와의 사이의 상관을 이용하여, 예측 모드 자체의 부호량을 삭감하여, 부호화 효율을 향상시킨 비트스트림을 복호할 수 있다.
또, 상기 말한 순서에서는, pred_flag는, prev_intra_pred_mode_flag가 1로 되어 있는 경우에만 복호되는 정보로 하고 있지만, prev_intra_pred_mode_flag가 0인 경우도 포함하는 정보로 하여 복호하도록 하더라도 좋다.
즉, 예컨대, C1 성분의 예를 들면,
if(prev_intra_pred_mode_flag_C0 == 1)
{
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
Decode pred_flag;
If(pred_flag == 0)
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
}
와 같은 순서로 복호하도록 구성하더라도 좋다. 이 방법의 효과는 대응하는 부호화 장치측에서의 부호화 순서의 기재 중에 말한 것과 같다. 또한, 더욱 나아가, C0 성분의 동일 위치의 블록에 있어서의 인트라 예측 모드에 있어서 rem_intra_pred_mode를 복호하는지 여부에 의존하지 않고, pred_flag를 복호하도록 구성하더라도 좋다. 이 경우는 상시 C0 성분의 인트라 예측 모드를 예측치 후보로서 사용하게 된다.
즉,
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
Decode pred_flag;
If(pred_flag == 0)
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
가 된다.
또, 부호화 장치의 설명에서 말한 바와 같이, pred_flag는, 4×4 블록 단위가 아니고, 매크로 블록이나 시퀀스의 단위로 비트스트림에 포함되어 있더라도 좋다. 매크로 블록 단위로 설정하는 경우는, 매크로 블록 내의 모든 4×4 블록에 대하여, 예측치 후보 1 내지는 예측치 후보 2 중 어느 쪽을 사용하는지를 공통화하므로, 복호하는 pred_flag의 오버헤드 정보가 삭감된다. 또한, 입력 색공간 정의에 따라 예측치 후보 1 내지는 예측치 후보 2 중 어느 쪽을 사용하는지를 정하기 위해, 시퀀스의 단위로 정하도록 할 수도 있다. 이 경우는 매크로 블록마다 pred_flag를 전송할 필요가 없어져, 오버헤드 정보가 더욱 삭감된다.
실시의 형태 4
실시의 형태 2에서 도 16의 형식의 비트스트림에 대하여 설명했다. 실시의 형태 2에서는, 인트라 부호화 모드가 「인트라 N×N 예측」을 나타내고 있는 경우, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)의 값에 따라, C0, C1, C2 각 색성분의 인트라 예측 모드가 인트라 4×4 예측 모드나, 인트라 8×8 예측 모드로 인식되는 것을 말했다. 본 실시의 형태 4에서는, 이 비트스트림 배열을 변경하여 도 24에 나타내는 바와 같이, C1, C2 성분에 대하여, 인트라 예측 모드 지시 플래그 1, 2(36a, 36b)를 시퀀스 레벨에서 전송하도록 구성한다. 인트라 예측 모드 지시 플래그는, 인트라 부호화 모드에 있어서 인트라 N×N 예측 모드가 선택되는 경우에, 또한 변환 블록 사이즈 식별 플래그가 4×4 변환을 지시하고 있는 경우, 즉, 인트라 4×4 예측 모드의 경우에 유효하고, 이 값에 따라, 이하의 두 상태를 전환하는 것을 가능하게 한다.
상태 1 : C1 내지는 C2 성분에 대해서도, 사용하는 인트라 4×4 예측 모드는 도 3의 9개로부터 개별적으로 선택하여 부호화한다.
상태 2 : C1 내지는 C2 성분에 대해서는, 사용하는 인트라 4×4 예측 모드를 DC 예측, 다시 말해, 도 3의 intra4×4_pred_mode = 2에 한정하고, 인트라 예측 모드 정보를 부호화하지 않는다.
예컨대, Y, Cb, Cr과 같은 색공간에서 부호화를 행하는 경우에, HDTV 이상 등의 고해상도 영상의 경우, 4×4 블록은 대단히 작은 화상 영역에 대응한다. 이때, 특별히 Cb, Cr 성분이라고 하는 화상의 텍스처 구조를 유지하지 않고 있는 성분에 대하여 9개쯤의 예측 모드를 선택할 여지를 주는 것보다, 예측 모드 정보 자체를 하나로 고정화하여 오버헤드가 되는 예측 모드 정보를 전송하지 않는 쪽이 효율적인 경우가 있다. 이러한 비트스트림 배열을 행함으로써, 입력 색공간의 성질이나 영상의 특성에 따른 최적의 부호화가 가능하게 된다.
도 24의 형식의 비트스트림을 받는 복호 장치는, 가변 길이 복호부(25)에 있어서 인트라 예측 모드 지시 플래그(36a, 36b)를 복호하고, 그 값에 따라, 비트스트림이 상태 1로 부호화되어 있는지, 상태 2로 부호화되어 있는지를 식별하도록 구성하여 둔다. 이에 따라, C1 내지는 C2 성분에 대하여, 비트스트림으로부터 인트라 4×4 예측 모드를 복호하여 사용할지, DC 예측, 다시 말해, 도 3의 intra4×4_pred_mode = 2를 고정적으로 적용할지를 판단한다.
또한, 본 실시의 형태 4에서는, 상태 2는, C1 내지는 C2 성분에 대하여, intra4×4_pred_mode = 2에 한정된다고 했지만, 예측 모드 정보를 하나로 고정하면 좋고, 다른 예측 모드라도 좋다. 또한, 상태 2는, C1 내지는 C2 성분에 대하여, C0과 같은 인트라 4×4 예측 모드를 사용하도록 정하더라도 좋다. 이 경우도, C1 내지는 C2 성분에 대해서는 인트라 4×4 예측 모드를 부호화할 필요가 없으므로 오버헤드 비트를 삭감할 수 있다.
실시의 형태 5
본 실시의 형태 5에서는, 도 11의 부호화 장치, 도 12의 복호 장치의 다른 구성예를 나타낸다. 본 실시의 형태 5에 있어서의 부호화 장치, 복호 장치는 상기의 다른 실시의 형태와 마찬가지로, 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명의 고유한 특징을 부여한 것으로 한다. 본 실시의 형태 5에 있어서의 영상 부호화 장치는, 실시의 형태 2, 3에서 설명한 도 11의 부호화 장치의 구성 중, 가변 길이 부호화부(11)의 동작만이 다르다. 본 실시의 형태 5에 있어서의 영상 복호 장치는, 실시의 형태 2, 3에서 설명한 도 12의 복호 장치의 구성 중, 가변 길이 복호부(25)의 동작만이 다르다. 그 밖은 실시의 형태 2, 3과 같은 동작으로 하고, 여기서는 차이 부분만을 설명한다.
1. 부호화 장치에 있어서의 인트라 예측 모드 정보의 부호화 순서
실시의 형태 3의 부호화 장치에 있어서는, 그 가변 길이 부호화부(11)에서는, 도 16의 형식에 의한 비트스트림에 있어서, 인트라 N×N 예측 모드 정보의 구체적인 부호화 방법에 대하여 나타냈다. 본 실시의 형태 5에서는, 그 부호화 순서의 다른 구체적인 방법을 나타낸다. 본 실시의 형태 5에서는 특히, 인트라 N×N 예측 모드의 값이 화상 패턴으로서의 텍스처의 구조를 반영하는 것에 착안하여, 동일 색성분 중의 근방 화소 영역 내에서 적응적인 예측을 행하는 방법을 제공하는 점에 특징이 있다. 이하의 설명에서는, 도 16의 형식의 비트스트림 배열을 전제로 한다. 또한, 본 실시의 형태 5에서는, C0, C1, C2의 각 성분의 인트라 N×N 예측 모드 정보의 부호화는 색성분마다 독립적으로 부호화하는 것으로 하고, C0 성분의 부호화 방법을 C1, C2에도 마찬가지로 적용하는 것으로 하고, 설명의 간략화를 위해, C0 성분에 대해서만 설명한다. 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정하고, 인트라 부호화 모드를 인트라 N×N 예측 모드, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)를 4×4 블록이라고 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 모두 인트라 4×4 예측 모드가 된다. C0 성분의 인트라 N×N 예측 모드 정보의 부호화 순서의 설명도로서, 도 18을 이용한다. 도 18에 있어서, 부호화의 대상이 되는 커런트 매크로 블록은 X로 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B로 한다. 또한, 부호화 순서의 흐름도를 도 25에 나타낸다.
실시의 형태 3에서는, 도 18에 있어서 개개의 4×4 블록 X에 대하여 하나씩 할당되고 있는 인트라 4×4 예측 모드 CurrIntraPredMode에 대한 예측치 predCurrIntraPredMode를, IntraPredModeA, IntraPredModeB 중 작은 쪽의 값을 일의(一意)하게(uniquely) 할당했다. 이것은, 현재의 AVC/H.264 규격에서도 채용되어 있는 방법이며, 인트라 N×N 예측 모드의 값이 커질수록, 예측 화상 생성 방식이 화상 패턴의 방향성을 가미한 화소 보간을 따르는 복잡한 모드로 되어 있고, 일반적인 화상 패턴으로의 적합성이 높은 모드에는 작은 값이 배당되는 것에 기인한다. 비트 레이트가 낮은 경우에는, 왜곡의 증가분보다 예측 모드의 부호량 증가분 쪽이 모드 선택에 큰 영향을 미치므로, 이 방식에서도 전체의 부호화 효율에 있어서는 유익하지만, 반대로, 비트 레이트가 비교적 높은 경우는, 예측 모드의 부호량의 증가분보다 왜곡의 증가분 쪽이 모드 선택에 큰 영향을 주므로, 반드시 IntraPredModeA, IntraPredModeB 중 작은 쪽의 값이 최적이라고는 말할 수 없게 된다. 이러한 관찰에 근거하여, 본 실시의 형태 5에서는, 이 예측치 설정을, 이하에서 설명하는 바와 같이 IntraPredModeA, IntraPredModeB의 상태에 따라 적응화함으로써 예측치의 정밀도를 향상시킨다. 이 순서에서는, 화상 패턴으로서 본 경우에 CurrIntraPredMode를 가장 잘 추정할 수 있다고 판단되는 값으로서, IntraPredModeA, IntraPredModeB의 상태를 바탕으로 predCurrIntraPredMode를 정한다(단계 S73, S74, S75).
(1) IntraPredModeA, IntraPredModeB가 모두 0으로부터 2의 범위에 있을 때는, MIN(IntraPredModeA, IntraPredModeB)를 predCurrIntraPredMode로 한다.
(2) IntraPredModeA, IntraPredModeB 중 어느 하나가 3 이상일 때로, IntraPredModeA, IntraPredModeB의 예측의 방향이 완전히 다를 때(예 : IntraPredModeA가 3이고, IntraPredModeB가 4일 때)는, DC 예측(intra4×4_pred_mode = 2)을 predCurrIntraPredMode로 한다.
(3) IntraPredModeA, IntraPredModeB 중 어느 하나가 3 이상일 때로, 예측의 방향이 같을 때(예 : IntraPredModeA가 3이고 IntraPredModeB가 7일 때(모두 우측 위에서의 예측))는, 화소를 보간하는 예측 모드(상술한 예에서는 7)를 predCurrIntraPredMode로 한다.
또, 실시의 형태 3과 마찬가지로, IntraPredModeA, IntraPredModeB 등 부호화를 위한 준비 처리는 사전에 행하여 둔다(단계 S50, S53, S59). 결과, predCurrIntraPredMode는, IntraPredModeA, IntraPredModeB의 값으로부터 일의하게 유도된다. 이 예측치 설정의 규칙을 테이블화한 것을 도 26에 나타낸다. 도 26에 있어서 그물이 지워진 부분은, 종래의 MIN(IntraPredModeA, IntraPredModeB)의 규칙에는 따르지 않는 케이스로, 화상 패턴의 연속성으로부터 보다 좋은 예측치가 판단되는 케이스이다. 상기 순서 (1)에서는, 클래스 0의 테이블이 사용된다. (2), (3)에서는 클래스 1의 테이블이 사용된다.
이상의 결과, predCurrIntraPredMode가 정해진 후는, 실시의 형태 3에서 말한 C0 성분의 나머지의 부호화 순서를 실행함으로써 부호화를 완료한다(단계 S52, S58, S64).
다시 말해,
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
else
{
prev_intra_pred_mode_flag = 0;
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode - 1;
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
가 된다.
이상 말한 부호화 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 부호화함으로써, 동일 색성분의 근방 화소 영역에서의 예측 모드의 상관을 보다 좋게 이용할 수 있어, 예측 모드 자체의 부호량을 삭감하여, 부호화 효율을 향상시킬 수 있다.
2. 복호 장치에 있어서의 인트라 예측 모드 정보의 복호 순서
실시의 형태 3의 복호 장치에 있어서는, 도 16의 형식에 의한 비트스트림에 대하여, 가변 길이 복호부(25)에서의 인트라 N×N 예측 모드의 정보의 구체적인 복호 순서의 하나를 나타냈다. 본 실시의 형태 5에서는, 복호 순서의 다른 구체적인 방법을 나타낸다. 본 실시의 형태 5에서는 특히, 인트라 N×N 예측 모드의 값이 화상 패턴으로서의 텍스처의 구조를 반영하는 것에 착안하여, 동일 색성분 중의 근방 화소 영역 내에서 적응적인 예측을 행하여 부호화가 행해진 비트스트림을 복호하는 점에 특징이 있다.
이하의 설명에서는, 도 16의 형식의 비트스트림 배열을 전제로 한다. 또한, 설명의 간략화를 위해, 비트스트림 중의 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정되어 있는 것으로 한다. 또한, 인트라 부호화 모드는 인트라 N×N 예측 모드, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)는 4×4 블록이 지정되어 있는 것으로 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 모두 인트라 4×4 예측 모드가 된다. 부호화 장치와 마찬가지로, 복호 장치에 있어서도, 도 18의 관계를 이용하여 C0 성분에 대해서만 설명한다(C1, C2는 동등한 순서로 C0과는 독립적으로 복호함). 복호 장치에서는, 복호의 대상이 되는 커런트 매크로 블록을 X로 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B로 한다.
실시의 형태 3에서는, 부호화 장치의 설명에도 기재했듯이, 도 18에 있어서 개개의 4×4 블록 X에 대하여 하나씩 할당되어 있는 인트라 4×4 예측 모드 CurrIntraPredMode에 대한 예측치 predCurrIntraPredMode를, IntraPredModeA, IntraPredModeB 중 작은 쪽의 값을 일의하게 할당했다. 이에 대하여, 본 실시의 형태 5에 있어서의 복호 장치에서는, predCurrIntraPredMode를 부호화 순서에 나타낸 순서와 완전히 같은 순서로, 도 26의 테이블을 이용하여 결정한다. IntraPredModeA, IntraPredModeB는 이미 복호되어 기지(旣知)이므로, 부호화 순서와 완전히 같은 처리를 행하는 것이 가능하다.
그 후의 순서는, 실시의 형태 3에 말한 C0 성분의 복호 순서와 등가이다. 정리하면 이하와 같이 된다.
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode + 1;
}
이상 말한 복호 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 복호함으로써, 동일 색성분의 근방 화소 영역에서의 예측 모드의 상관을 보다 좋게 이용하여, 예측 모드 자체의 부호량을 삭감한 부호화 비트스트림을 복호할 수 있다.
또한, 상술한 예에서는 도 26의 테이블을 고정적으로 사용하여 predCurrIntraPredMode를 정하여 부호화ㆍ복호를 행했지만, 도 26의 테이블을 초기치로 하고, IntraPredModeA, IntraPredModeB의 상태에 대하여 가장 발생하기 쉬운 인트라 예측 모드를 predCurrIntraPredMode로 하여 차차 갱신하면서 부호화ㆍ복호하도록 구성하더라도 좋다. 예컨대, 도 26의 「클래스 = 0, IntraPredModeA = 0, IntraPredModeB = 0, predCurrIntraPredMode = 0」이 되는 조합에 있어서, 상술한 실시의 형태에서는 IntraPredModeA = 0, IntraPredModeB = 0의 경우에는, 항상 predCurrIntraPredMode를 0으로 했다. 그러나, 영상 신호 자체는 비정상 신호이므로, 영상의 내용에 따라서는, 이 조합이 반드시 최고라는 보증은 없다. 최악의 경우, 영상 전체를 통하여, 대부분의 케이스에서 predCurrIntraPredMode가 예측치로서 히트하지 않을 가능성도 없지 않다. 따라서, 예컨대, IntraPredModeA = 0, IntraPredModeB = 0의 경우에 발생하는 CurrIntraPredMode의 빈도를 카운트하여 두고, CurrIntraPredMode의 부호화ㆍ복호가 끝날 때마다, IntraPredModeA, IntraPredModeB의 상태에 대하여 가장 발생 빈도가 높은 예측 모드를 갖고 predCurrIntraPredMode를 갱신하도록 구성한다. 이러한 구성에 의해, CurrIntraPredMode의 부호화ㆍ복호에 이용하는 예측치를 영상 내용에 비추어 최적의 값으로 설정할 수 있다.
실시의 형태 6
본 실시의 형태 6에서는, 도 11의 부호화 장치, 도 12의 복호 장치의 다른 구성예를 나타낸다. 본 실시의 형태 6에 있어서의 부호화 장치, 복호 장치는 상기의 다른 실시의 형태와 마찬가지로, 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명의 고유한 특징을 부여한 것으로 한다. 본 실시의 형태 6에 있어서의 영상 부호화 장치는, 실시의 형태 2, 3, 5에서 설명한 도 11의 부호화 장치의 구성 중, 가변 길이 부호화부(11)의 동작만이 다르다. 본 실시의 형태 6에 있어서의 영상 복호 장치는, 실시의 형태 2, 3, 5에서 설명한 도 12의 복호 장치의 구성 중, 가변 길이 복호부(25)의 동작만이 다르다. 그 밖은 실시의 형태 2, 3, 5와 같은 동작으로 하고, 여기서는 차이 부분만을 설명한다.
1. 부호화 장치에 있어서의 인트라 예측 모드 정보의 부호화 순서
실시의 형태 3이나 실시의 형태 5의 부호화 장치에 있어서는, 도 16의 형식에 의한 비트스트림에 대하여, 인트라 N×N 예측 모드 정보의 구체적인 부호화 방법에 대하여 나타냈다. 본 실시의 형태 6에서는, 그 부호화 순서의 다른 구체적인 방법을 나타낸다. 본 실시의 형태 6에서는 특히, 인트라 N×N 예측 모드의 값이 화상 패턴으로서의 텍스처의 구조를 반영하는 것에 착안하여, 동일 색성분 중의 근방 화소 영역 내에서 적응적인 산술 부호화를 행하는 방법을 제공하는 점에 특징이 있다. 이하의 설명에서는, 도 16의 형식의 비트스트림 배열을 전제로 한다. 또한, 본 실시의 형태 6에서는, C0, C1, C2의 각 성분의 인트라 N×N 예측 모드 정보의 부호화는 색성분마다 독립적으로 부호화하는 것으로 하여, C0 성분의 부호화 방법을 C1, C2에도 마찬가지로 적용하는 것으로 하고, 설명의 간략화를 위해, C0 성분에 대해서만 설명한다. 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정하고, 인트라 부호화 모드를 인트라 N×N 예측 모드, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)를 4×4 블록이라고 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 모두 인트라 4×4 예측 모드가 된다. C0 성분의 인트라 N×N 예측 모드 정보의 부호화 순서의 설명도로서, 도 18을 이용한다. 도 18에 있어서, 부호화의 대상이 되는 커런트 매크로 블록은 X로 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B로 한다. 부호화 순서의 흐름도를 도 27에 나타낸다.
실시의 형태 3, 5에서는, 도 18에 있어서 개개의 4×4 블록 X에 대하여 하나씩 할당되고 있는 인트라 4×4 예측 모드 CurrIntraPredMode에 대한 예측치 predCurrIntraPredMode를, IntraPredModeA, IntraPredModeB 중 작은 쪽의 값을 일의하게 할당하고, 그것과 같은 경우에는 prev_intra_pred_mode_flag를 1로 하여 블록 X에 대한 인트라 4×4 예측 모드의 부호화를 중단하고, 다른 경우에, rem_intra_pred_mode에 의해 부호를 전송하도록 구성했다. 본 실시의 형태에서는, IntraPredModeA, IntraPredModeB의 상태를 이용하여 CurrIntraPredMode를 직접 산술 부호화한다. 이때, AVC/H.264 규격에 채용되어 있는 컨텍스트 적응 2치 산술 부호화에 따르는 부호화 순서를 이용한다.
우선, 부호화 대상의 CurrIntraPredMode를 도 28에 나타내는 형식에 따라 2치 표현화한다(단계 S76). 2치 계열의 제 1 빈(bin)은, CurrIntraPredMode가 세로 방향 예측인지, 가로 방향 예측인지를 분류하는 부호로 되어 있다(도 3 참조). 이 예에서는, DC 예측(intra4×4_pred_mode = 2)을 가로 방향 예측으로 분류하고 있지만, 이것은 세로 방향 예측으로 분류하도록 구성하더라도 좋다. 제 2 빈은, 세로 방향, 가로 방향의 각각에서 출현 빈도가 가장 높다고 생각되는 예측 모드치에 대하여 종료(Terminate) 비트를 준다. 제 3 빈 이후는, 잔존하는 예측 모드치 중에서 출현 빈도가 높은 것으로부터 순차적으로 종료(Terminate)되도록 부호 구성한다(도 28에 있어서의 2치 계열 구성의 제 2 빈 이후는 실제의 화상 데이터 부호화의 과정에서의 심볼 발생 확률에 따라 설정되는 것이 바람직함).
산술 부호화는, 2치 계열의 각 빈에 대하여, 순차적으로, 사용하는 (0,1) 발생 확률 테이블을 선택하면서 실행한다. 제 1 빈의 부호화에서는, 산술 부호화에 이용하는 컨텍스트를 이하와 같이 정한다(단계 S78).
컨텍스트 A(CA) : 인트라 예측 모드가 세로 방향 예측인지, 가로 방향 예측인지를 바이너리 표현하는 플래그 intra_pred_direction_flag를 IntraPredModeA, IntraPredModeB에 대하여 정의하고, 이하의 4 상태를 컨텍스트 값으로 한다.
CA = (intra_pred_direction_flag for IntraPredModeA == 1) + (intra_pred_direction_flag for IntraPredModeB == 1);
여기서, intra_pred_direction_flag는, 예컨대, 도 3에서, intra4×4_pred_mode가 값 0, 3, 5, 7을 취하는 경우는 세로 방향 예측(= 0), 값 1, 2, 4, 6, 8을 취하는 경우는 가로 방향 예측(= 1)으로 분류한다. CA의 4 상태에는, 각각, 미리 IntraPredModeA, IntraPredModeB의 상태를 전제로 하는 CurrIntraPredMode의 조건부 확률을 구하여 두고, 그것에 근거하여 정해지는 (0,1)의 초기 발생 확률 테이블을 할당하여 둔다. 이와 같이 컨텍스트를 구성함으로써, 제 1 빈의 조건부 발생 확률을 보다 좋게 추정하는 것이 가능해져, 산술 부호화의 효율을 높일 수 있다. CA의 값에 따라 제 1 빈의 발생 확률 테이블을 선택하여 산술 부호화를 실행한다. 또한, 부호화값을 갖고 발생 확률 테이블을 갱신한다(단계 S79).
제 2 빈 이후에 대해서는, 미리 각 예측 모드치의 발생 확률에 따라 정해지는 (0,1)의 초기 발생 확률 테이블을 할당하여 둔다(단계 S80). 이어서, 제 1 빈과 마찬가지로 2치 산술 부호화, 발생 확률 테이블 갱신을 행한다(단계 S81).
이상 말한 부호화 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 부호화함으로써, 동일 색성분의 근방 화소 영역에서의 예측 모드의 상관을 이용하여, 예측 모드 정보의 부호화에 적응 산술 부호화를 적용할 수 있으므로, 부호화 효율을 향상할 수 있다.
2. 복호 장치에 있어서의 인트라 예측 모드 정보의 복호 순서
실시의 형태 3, 5의 복호 장치에 있어서는, 도 16의 형식에 의한 비트스트림에 대하여, 가변 길이 복호부(25)에서의 인트라 N×N 예측 모드의 정보의 구체적인 복호 순서의 하나를 나타냈다. 본 실시의 형태 6에서는, 복호 순서의 다른 구체적인 방법을 나타낸다. 본 실시의 형태 6에서는 특히, 인트라 N×N 예측 모드의 값이 화상 패턴으로서의 텍스처의 구조를 반영하는 것에 착안하여, 동일 색성분 중의 근방 화소 영역 내에서 적응적인 산술 부호화를 이용하여 부호화가 행해진 비트스트림을 복호하는 점에 특징이 있다.
이하의 설명에서는, 도 16의 형식의 비트스트림 배열을 전제로 한다. 또한, 설명의 간략화를 위해, 비트스트림 중의 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정되어 있는 것으로 한다. 또한, 인트라 부호화 모드는 인트라 N×N 예측 모드, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)는 4×4 블록이 지정되어 있는 것으로 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 모두 인트라 4×4 예측 모드가 된다. 부호화 장치와 마찬가지로, 복호 장치에 있어서도, 도 18의 관계를 이용하여 C0 성분에 대해서만 설명한다(C1, C2는 동등한 순서로 C0과는 독립적으로 복호함). 복호 장치에서는, 복호의 대상이 되는 커런트 매크로 블록을 X로 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B로 한다.
실시의 형태 3, 5에서는, 부호화 장치의 설명에도 기재했듯이, 도 18에 있어서 개개의 4×4 블록 X에 대하여 하나씩 할당되고 있는 인트라 4×4 예측 모드 CurrIntraPredMode에 대한 예측치 predCurrIntraPredMode를, IntraPredModeA, IntraPredModeB 중 작은 쪽의 값을 일의하게 할당하고, prev_intra_pred_mode_flag를 복호하여 그 값이 1인 경우에는 CurrIntraPredMode로서 predCurrIntraPredMode를 채용하고, prev_intra_pred_mode_flag가 0인 경우는, rem_intra_pred_mode를 복호함으로써 블록 X의 인트라 4×4 예측 모드를 복원하도록 구성했다. 이에 대하여, 본 실시의 형태 6에서는, IntraPredModeA, IntraPredModeB의 상태를 이용하여 CurrIntraPredMode를 직접 산술 복호한다. 이때, AVC/H.264 규격에 채용되어 있는 컨텍스트 적응 2치 산술 복호에 따르는 복호 순서를 이용한다.
복호 대상의 CurrIntraPredMode는, 도 28에 나타내는 형식에 따라 2치 계열로서 부호화되어 있는 것으로 하고, 이 계열을 좌측 단으로부터 순차적으로 2치 산술 복호하여 간다. 본 실시의 형태 6의 부호화 순서에서 설명한 대로, 2치 계열의 제 1 빈은, CurrIntraPredMode가 세로 방향 예측인지, 가로 방향 예측인지를 분류하는 부호로 되어 있고(도 3 참조), 제 2 빈 이후는 예측 모드치 중에서 출현 빈도가 높은 것으로부터 순차적으로 Terminate 되도록 부호 구성되어 있다. 이 부호 구성의 이유에 대해서는 부호화 순서에서 말한 대로이다.
복호 프로세스에서는, 우선, 제 1 빈의 복호에 있어서, 부호화 순서에서 이용한 컨텍스트와 같은 CA를 정한다. CA의 값에 따라 제 1 빈의 발생 확률 테이블을 선택하여 산술 복호를 실행하여 제 1 빈을 복원한다. 또한, 복호치를 갖고 발생 확률 테이블을 갱신한다.
제 2 빈 이후에 대해서는, 미리 각 예측 모드치의 발생 확률에 따라 정해지는 (0,1)의 초기 발생 확률 테이블을 할당하여 둔다. 이어서, 제 1 빈과 마찬가지로 2치 산술 복호, 발생 확률 테이블 갱신을 행한다. 도 28의 2치 계열은 각 예측 모드치를 일의하게 특정할 수 있도록 구성되어 있으므로, 소정의 수만큼 빈을 복원하면 바로 순차적으로 CurrIntraPredMode가 복호된다.
이상 말한 복호 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 복호함으로써, 동일 색성분의 근방 화소 영역에서의 예측 모드의 상관을 이용한 산술 부호화에 의해 예측 모드 자체의 부호량을 삭감한 부호화 비트스트림을 복호할 수 있다.
상술한 예에 있어서, 도 28의 테이블은 그 외에도 변형을 생각할 수 있다. 예컨대, 도 29와 같은 2치 계열을 구성하는 방법이라도 좋다. 여기서는, 제 1 빈에는 이하의 컨텍스트 B를 이용한다.
컨텍스트 B(CB) : 인트라 예측 모드가 DC 예측인지, DC 예측이 아닌지를 바이너리 표현하는 플래그 intra_dc_pred_flag를 IntraPredModeA, IntraPredModeB에 대하여 정의하고, 이하의 4 상태를 컨텍스트 값으로 한다.
CA = (intra_dc_pred_flag for IntraPredModeA == 1) + (intra_dc_pred_flag for IntraPredModeB == 1);
여기서, intra_dc_pred_flag는 도 3에서, intra4×4_pred_mode가 값 2를 취하는 경우는 1, 그 밖의 값을 취하는 경우는 0으로 설정한다. CB의 4 상태에는, 각각, 미리 IntraPredModeA, IntraPredModeB의 상태를 전제로 하는 CurrIntraPredMode의 조건부 확률을 구하여 두고, 그것에 근거하여 정해지는 제 1 빈의 값 (0,1)의 초기 발생 확률 테이블을 할당하여 둔다. 도 29에서는, CurrIntraPredMode가 DC 예측인 경우에, 제 1 빈은 값 0을, DC 예측 이외의 경우는 제 1 빈은 값 1을 취하도록 설계하고 있다. 또한, 제 2 빈에는, 상술한 컨텍스트 A(CA)를 이용하는 것으로 했다. 이와 같이 컨텍스트를 구성함으로써, 제 1 빈 및 제 2 빈의 모두에 대해서 조건부 발생 확률을 보다 좋게 추정하는 것이 가능해져, 산술 부호화의 효율을 높일 수 있다.
실시의 형태 7
본 실시의 형태 7에서는, 4:4:4 포맷으로 입력되는 영상 프레임을 16×16 화소의 직사각형 영역(매크로 블록)으로 균등 분할한 단위로 프레임간 예측을 이용하여 부호화를 행하는 부호화 장치, 및 대응하는 복호 장치에 대하여 설명한다. 또한, 본 부호화 장치, 복호 장치는 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격(이하, AVC)에서 채용되는 부호화 방식을 베이스로 하여, 본 발명의 고유한 특징을 부여한 것으로 한다.
도 30에, 본 실시의 형태 7에 있어서의 영상 부호화 장치의 구성을, 도 31에 본 실시의 형태 7에 있어서의 영상 복호 장치의 구성을 나타낸다. 도 31에 있어서, 도 30의 부호화 장치의 구성 요소와 같은 번호가 붙어 있는 요소는 동일한 요소인 것을 나타낸다.
이하, 이들 도면에 근거하여 부호화 장치 및 복호 장치 전체의 동작과, 본 실시의 형태 7의 특징적인 동작인 인터 예측 모드 판정 처리와 움직임 보상 예측 복호 처리에 대하여 설명한다.
1. 부호화 장치의 동작 개요
도 30의 부호화 장치에 있어서, 입력 영상 신호(1)는, 개개의 영상 프레임이 4:4:4 포맷이고, 또한 3개의 색성분을 동일 사이즈의 매크로 블록으로 분할하여 정리한 단위로 부호화 장치에 입력되는 것으로 한다.
우선, 움직임 보상 예측부(102)에 있어서, 메모리(16)에 저장되는 1 프레임 이상의 움직임 보상 예측 참조 화상 데이터 중에서 1 프레임의 참조 화상을 선택하여, 그 매크로 블록의 단위로, 각 색성분마다 움직임 보상 예측 처리가 행해진다. 메모리는 각 색성분마다 3개면 준비된다(본 실시의 형태에서는 3개면으로 하여 설명하지만, 설계에 따라 적절히 변경하더라도 좋음). 움직임 보상 예측을 행하는 블록 사이즈로는, 7종류 준비되어 있고, 우선 매크로 블록 단위로, 도 32(a)로부터 (d)에 나타내는 바와 같이, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택할 수 있다. 또한 8×8이 선택된 경우에는, 각 8×8 블록마다, 도 32(e)로부터 (h)에 나타내는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택할 수 있다. 선택한 사이즈 정보는, 매크로 블록 단위의 사이즈 정보는 매크로 블록 타입으로서, 8×8 블록 단위의 사이즈 정보는 서브매크로 블록 타입으로서 출력된다. 또, 각각의 블록마다 선택한 참조 화상의 식별 번호와 움직임 벡터 정보가 출력된다.
본 실시의 형태 7에 있어서의 영상 부호화 장치는, 인터 예측 모드 공통화 식별 플래그(123)에 근거하여, 3개의 색성분에 대한 움직임 보상 예측 처리 방법을 전환하는 것을 특징으로 한다. 이 점에 대해서는, 하기 2에서 상세히 말한다.
움직임 보상 예측부(102)에서는, 도 32에 나타낸 전체 블록 사이즈 내지는 서브블록 사이즈, 및 소정의 탐색 범위의 모든 움직임 벡터(137) 및 선택 가능한 1매 이상의 참조 화상에 대하여 움직임 보상 예측 처리를 실행하여, 움직임 벡터(137)와 1매의 참조 화상과 감산기(3)에 의해 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 움직임 보상 예측부(102)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 매크로 블록 타입/서브매크로 블록 타입(106)과 움직임 벡터(137)와 참조 화상의 식별 번호를 출력한다. 매크로 블록 타입/서브매크로 블록 타입(106)의 선정에 있어서는, 부호화 제어부(19)의 판단으로 정해지는 각 타입에 대한 가중 계수(20)가 가미되는 경우도 있다. 또한, 선정된 타입과 움직임 벡터(137)와 참조 화상에 근거하는 움직임 보상 예측에 의해 얻어지는 예측 차분 신호(4)를 직교 변환부(8)에 출력한다. 직교 변환부(8)는 입력되는 예측 차분 신호(4)를 변환하여 직교 변환 계수로서 양자화부(9)에 출력한다. 양자화부(9)는 입력되는 직교 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하여, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역직교 변환부(13)를 지나 국부 복호 예측 차분 신호(14)로 복원되고, 선정된 매크로 블록 타입/서브매크로 블록 타입(106)과 움직임 벡터(137)와 참조 화상에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(16)에 저장된다. 또한, 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블로킹 필터를 실시할지 여부를 나타내는 디블로킹 필터 제어 플래그(24)도 입력된다(움직임 보상 예측부(102)에서 실시되는 예측 처리에는, 디블로킹 필터가 실시되기 전의 화소 데이터를 메모리(16)에 저장하여 이용하므로 디블로킹 필터 처리 자체는 부호화 처리에는 필요는 없지만, 복호 장치측에서는 디블로킹 필터 제어 플래그(24)의 지시에 따라 디블로킹 필터를 행하여 최종적인 복호 화상을 얻음).
가변 길이 부호화부(11)에 입력되는 인터 예측 모드 공통화 식별 플래그(123), 양자화 완료 변환 계수(10), 매크로 블록 타입/서브매크로 블록 타입(106), 움직임 벡터(137), 참조 화상 식별 번호, 양자화 파라미터(21)는 소정의 규칙(신텍스)에 따라 비트스트림으로서 배열ㆍ정형되어, 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞춰 비트스트림을 평활화하여 비디오 스트림(22)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트스트림 축적 상황에 따라 부호화 제어부(19)에 피드백을 걸어, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
2. 부호화 장치에 있어서의 인터 예측 모드 판정 처리
본 실시의 형태 7의 부호화 장치의 특징인 인터 예측 모드 판정 처리에 대하여 상술한다. 또 이하의 기술에서 인터 예측 모드란, 상술한 움직임 보상 예측의 단위가 되는 블록 사이즈, 즉, 매크로 블록 타입/서브매크로 블록 타입을 가리키고, 인터 예측 모드 판정 처리란, 매크로 블록 타입/서브매크로 블록 타입과 움직임 벡터와 참조 화상을 선정하는 처리이다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 30의 부호화 장치에 있어서의 움직임 보상 예측부(102), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 33에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2로 한다.
우선, 부호화 모드 판정부(5)는, 인터 예측 모드 공통화 식별 플래그(123)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 인터 예측 모드와 공통의 움직임 벡터(137) 및 공통의 참조 화상을 사용할지 여부를 판단한다(도 33의 단계 S100). 공통화하는 경우는 단계 S101 이후로, 그렇지 않으면 단계 S102 이후로 진행한다.
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S101).
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C0, C1, C2에서 공통화하지 않고, C0, C1, C2에서 각각 가장 좋은 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, Ci(i≤0<3) 성분에서 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, Ci(i≤0<3) 성분에 있어서의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S102, S103, S104).
움직임 보상 예측부(102)에서 행해지는 예측 모드의 예측 효율 평가의 규범으로서는, 예컨대, Jm,v,r = Dm,v,r + λRm,v,r(λ : 정수)
로 주어지는 비트율 왜곡 비용을 이용할 수 있다. 여기서, Dm,v,r은 인터 예측 모드 m과 소정 범위의 움직임 벡터 v와 참조 화상 r을 적용한 경우의 부호화 왜곡 또는 예측 오차량이다. 부호화 왜곡이란, 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용하여 예측 오차를 얻고, 예측 오차를 변환ㆍ양자화한 결과로부터 영상을 복호하여 부호화 전의 신호에 대한 오차를 계측하는 것이다. 예측 오차량은, 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용한 경우의 예측 화상과 부호화 전의 신호의 차분을 얻고, 그 차분의 크기를 정량화한 것으로, 예컨대, 차분 절대치 합(Sum of Absolute Distance : SAD) 등이 이용된다. Rm,v,r은 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용한 경우의 발생 부호량이다. 다시 말해, Jm,v,r은 인터 예측 모드 m 및 움직임 벡터 v와 참조 화상 r을 적용한 경우의 부호량과 열화도의 트레이드오프를 규정하는 값이며, 최소의 Jm,v,r을 제공하는 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r이 최적해를 제공한다.
부호화 장치가 단계 S101 이후의 처리를 행한 경우, 인터 예측 모드와 움직임 벡터(137) 및 참조 화상의 정보는, 3개의 색성분을 포함하는 매크로 블록에 대하여 1조 할당된다. 한편, 단계 S102 이후의 처리를 행한 경우는, 각 색성분에 대하여 각각 인터 예측 모드 정보와 움직임 벡터(137) 및 참조 화상이 할당된다. 따라서, 매크로 블록에 대하여 할당되는 인터 예측 모드와 움직임 벡터(137)와 참조 화상의 정보가 다르므로, 부호화 장치가 S101 이후의 처리 과정을 행했는지, S102 이후의 처리 과정을 행했는지는 인터 예측 모드 공통화 식별 플래그(123)를 비트스트림에 다중화하여 복호 장치측에서 인식할 수 있도록 할 필요가 있다. 이러한 비트스트림의 데이터 배열을 도 34에 나타낸다.
도 34는 매크로 블록의 레벨에 있어서의 비트스트림의 데이터 배열을 나타내고 있으며, 매크로 블록 타입은, 인트라인지 인터인지를 나타내고, 인터 모드일 때에는 움직임 보상의 단위가 되는 블록 사이즈를 나타내는 정보를 포함한다. 서브매크로 블록 타입은, 매크로 블록 타입에서 8×8 블록 사이즈가 선택된 경우에만 다중화되고, 각 8×8 블록마다의 블록 사이즈 정보를 포함한다. 기본 매크로 블록 타입(128)과 기본 서브매크로 블록 타입(129)은 인터 예측 모드 공통화 식별 플래그(123)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는 공통 매크로 블록 타입 및 공통 서브매크로 블록 타입을 나타내고, 그렇지 않으면 C0에 대한 매크로 블록 타입 및 서브매크로 블록 타입을 나타낸다. 확장 매크로 블록 타입(130) 및 확장 서브매크로 블록 타입(131)은, 인터 예측 모드 공통화 식별 플래그(123)가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우에만 C1, C2 각각에 대하여 다중화되어, C1, C2에 대한 매크로 블록 타입 및 서브매크로 블록 타입을 나타낸다.
참조 화상 식별 번호는, 움직임 보상 단위가 되는 8×8 블록 사이즈 이상의 블록마다 선택하는 참조 화상을 특정하기 위한 정보이다. 인터 프레임일 때에는, 선택할 수 있는 참조 화상은 1 프레임이므로, 1 블록마다 하나의 참조 화상 식별 번호가 다중화된다. 움직임 벡터 정보는, 움직임 보상 단위가 되는 블록마다 1조의 움직임 벡터 정보를 다중화한다. 참조 화상 식별 번호 및 움직임 벡터 정보는, 매크로 블록에 포함되는 움직임 보상의 단위가 되는 블록의 개수만큼 다중화될 필요가 있다. 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)는 인터 예측 모드 공통화 식별 플래그(123)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는, 공통의 참조 화상 식별 번호 및 공통의 움직임 벡터 정보를 나타내고, 그렇지 않으면 C0에 대한 참조 화상 식별 번호 및 움직임 벡터 정보를 나타낸다. 확장 참조 화상 식별 번호(134) 및 확장 움직임 벡터 정보(135)는, 인터 예측 모드 공통화 식별 플래그(123)가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우에만 C1, C2 각각에 대하여 다중화되어, C1, C2에 대한 참조 화상 식별 번호 및 움직임 벡터 정보를 나타낸다.
이어서 양자화 파라미터(21), 양자화 완료 변환 계수(10)가 다중화된다(도 34에는 도 30에서 가변 길이 부호화부(11)에 입력되고 있는 디블로킹 필터 제어 플래그(24)가 포함되어 있지 않지만, 본 실시의 형태 7의 특징을 설명하기 위해 필요한 구성 요소가 아니므로 할애하고 있음).
종래의 영상 부호화 표준에서 채용되어 온 4:2:0 포맷에서는, 색공간의 정의가 Y, Cb, Cr로 고정되어 있었지만, 4:4:4 포맷에서는 Y, Cb, Cr에 한정되지 않고 다양한 색공간을 이용할 수 있다. 도 34와 같이 인터 예측 모드 정보를 구성함으로써, 입력 영상 신호(1)의 색공간의 정의가 여러 가지에 미치는 경우에도 최적의 부호화 처리를 행할 수 있다. 예컨대, 색공간이 RGB로 정의되는 경우에 R, G, B의 각 성분에 균등하게 영상 텍스처의 구조가 잔존하고 있는 영역에서는, 공통의 인터 예측 모드 정보와 공통의 움직임 벡터 정보를 이용함으로써 인터 예측 모드 정보와 움직임 벡터 정보 자체의 용장성을 삭감하여 부호화 효율을 높일 수 있다. 이에 대하여, 예컨대, 붉은 기가 완전히 없는 영역(R 성분이 0)에서는, R 성분에 최적인 인터 예측 모드와 움직임 벡터 정보와 G, B 성분에 최적인 인터 예측 모드와 움직임 벡터 정보는 다를 것이다. 그래서, 확장 인터 예측 모드와 확장 참조 화상 식별 정보 및 확장 움직임 벡터 정보를 적응적으로 이용함으로써 최적의 부호화 효율을 얻을 수 있다.
3. 복호 장치의 동작 개요
도 31의 복호 장치는, 도 30의 부호화 장치로부터 출력되는 도 34의 배열에 따르는 비디오 스트림(22)을 수신하여, 3개의 색성분이 동일 사이즈(4:4:4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다.
우선, 가변 길이 복호부(25)는 스트림(22)을 입력으로 하여, 소정의 규칙(신텍스)에 따라 비디오 스트림(22)을 해독하여, 인터 예측 모드 공통화 식별 플래그(123), 양자화 완료 변환 계수(10), 매크로 블록 타입/서브매크로 블록 타입(106), 참조 화상 식별 번호, 움직임 벡터 정보, 양자화 파라미터(21) 등의 정보를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 함께 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 역직교 변환부(13)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다. 한편, 움직임 보상 예측부(102)에 대해서는 매크로 블록 타입/서브매크로 블록 타입(106)과 인터 예측 모드 공통화 식별 플래그(123)와 움직임 벡터(137)와 참조 화상 식별 번호가 입력되어, 이들 정보에 따라 예측 화상(7)을 얻는다. 예측 화상(7)을 얻는 구체적인 순서에 대해서는 후술한다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 잠정 복호 화상(15)을 얻는다(이것은 부호화 장치에 있어서의 국부 복호 화상(15)과 완전히 같은 신호임). 잠정 복호 화상(15)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해 메모리(16)에 돌려보내진다. 메모리는 각 색성분마다 3개면 준비된다(본 실시의 형태에서는 3개면으로서 설명하지만, 설계에 따라 적절히 변경하더라도 좋음). 또한, 가변 길이 복호부(25)에 의해 해독된 디블로킹 필터 제어 플래그(24)의 지시에 근거하여 디블로킹 필터(26)를 잠정 복호 화상(15)에 대하여 작용시켜, 최종적인 복호 화상(27)을 얻는다.
4. 복호 장치에 있어서의 인터 예측 복호 처리
도 31의 복호 장치는, 도 30의 부호화 장치로부터 출력되는 도 34의 배열에 따르는 비디오 스트림(22)을 수신하여, 3개의 색성분이 동일 사이즈(4:4:4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다.
본 실시의 형태 7의 복호 장치의 특징인 인터 예측 화상 생성 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 31의 복호 장치에 있어서의 가변 길이 복호부(25), 움직임 보상 예측부(102)에 의해 행해진다. 또한, 본 처리 중 가변 길이 복호부(25)에서 행해지는 처리의 흐름을 나타내는 흐름도를 도 35에 나타낸다.
가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 34의 데이터 배열에 따르는 것으로 한다. 단계 S110에서는 도 34의 데이터 중 인터 예측 모드 공통화 식별 플래그(123)가 복호된다(단계 S110). 또한 기본 매크로 블록 타입(128) 및 기본 서브매크로 블록 타입(129)이 복호된다(단계 S111). 단계 S112에서는, 인터 예측 모드 공통화 식별 플래그(123)의 결과를 이용하여 인터 예측 모드를 C0, C1, C2에서 공통화할지 여부를 판단하여, 공통화의 경우는(단계 S112에서 예) C0, C1, C2의 모두에 대하여 기본 매크로 블록 타입(128) 및 기본 서브매크로 블록 타입(129)을 이용하는 것으로 하고, 그렇지 않으면(단계 S112에서 아니오) 기본 매크로 블록 타입(128) 및 기본 서브매크로 블록 타입(129)은 C0의 모드로서 사용하고, 또한 C1, C2의 각각에 대하여 확장 매크로 블록 타입(130) 및 확장 서브매크로 블록 타입(131)을 복호하여(단계 S113), C1, C2의 인터 예측 모드 정보를 얻는다. 다음으로 기본 참조 화상 식별 번호(132)와 기본 움직임 벡터 정보(133)를 복호하고(단계 S114), 인터 예측 모드 공통화 식별 플래그(123)가, 「C0, C1, C2에서 공통화」하는 것을 나타내는 경우에는(단계 S115에서 예), C0, C1, C2의 모두에 대하여 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)를 이용하는 것으로 하고, 그렇지 않으면(단계 S115에서 아니오) 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)는 C0의 정보로서 사용하고, 또한 C1, C2의 각각에 대하여 확장 참조 화상 식별 번호(134) 및 확장 움직임 벡터 정보(135)를 복호한다(단계 S116). 이상의 처리 과정을 지나 각 색성분의 매크로 블록 타입/서브매크로 블록 타입(106), 참조 화상 식별 번호 및 움직임 벡터 정보가 확정되므로, 이들을 움직임 보상 예측부(102)에 출력하여, 각 색성분의 움직임 보상 예측 화상을 얻는다.
도 36에, 도 34의 비트스트림 데이터 배열의 변형을 나타낸다. 도 36에서는, 인터 예측 모드 공통화 식별 플래그(123)는, 매크로 블록 레벨의 플래그로서가 아니라, 슬라이스, 픽처, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되도록 했다. 이에 따라, 슬라이스 이상의 상위 레이어에서의 전환으로 충분한 예측 효율을 확보할 수 있는 경우는, 매크로 블록 레벨에서 예측 모드 공통화 식별 플래그(123)를 일일이 다중화하지 않고 오버헤드 비트를 삭감할 수 있다.
도 34, 도 36에서는, 인터 예측 모드 공통화 식별 플래그(123)를 매크로 블록마다 또는 슬라이스, 픽처, 시퀀스 등의 상위 데이터 레이어에 다중화했지만, 인터 예측 모드 공통화 식별 플래그(123)를 다중화하지 않고서 4:4:4 포맷으로 부호화하는 경우에는 항상 각 성분에 다른 인터 예측 모드와 움직임 벡터 정보를 이용하도록 하더라도 좋다. 그 경우의 비트스트림 데이터의 배열을 도 37에 나타낸다. 도 37에서는, 인터 예측 모드 공통화 식별 플래그(123)는 존재하지 않고, 시퀀스 등의 상위 데이터 레이어에 4:4:4 포맷의 입력 화상을 취급하는 것을 지시하는 프로파일 정보(136)가 다중화되고, 이 프로파일 정보의 복호 결과에 따라, 확장 매크로 블록 타입(130), 확장 서브매크로 블록 타입(131), 확장 참조 화상 식별 번호(134), 확장 움직임 벡터 정보(135)가 다중화된다.
실시의 형태 8
실시의 형태 7에서는, 매크로 블록 타입/서브매크로 블록 타입, 움직임 벡터, 참조 화상의 각각을 색성분마다 다른 것으로 할 수 있도록 했지만, 본 실시의 형태 8에서는 매크로 블록 타입/서브매크로 블록 타입과 참조 화상을 각 성분에서 공통으로 하고, 움직임 벡터만을 각 성분에서 다른 것으로 할 수 있는 것을 특징으로 하는 영상 부호화 장치, 영상 복호 장치에 대하여 기술한다. 본 실시의 형태 8에 있어서의 영상 부호화 장치 및 영상 복호 장치의 구성은 실시의 형태 7에 있어서의 도 30 및 도 31과 같지만, 인터 예측 모드 공통화 식별 플래그(123) 대신에 움직임 벡터 공통화 식별 플래그(123b)를 사용하고 있는 점이 다르다.
1. 부호화 장치에 있어서의 인터 예측 모드 판정 처리
본 실시의 형태 8의 부호화 장치의 특징인 인터 예측 모드 판정 처리에 대하여 실시의 형태 7과 다른 처리를 중심으로 상술한다.
본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 30의 부호화 장치에 있어서의 움직임 보상 예측부(102), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 38에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2로 한다.
우선, 부호화 모드 판정부(5)는, 움직임 벡터 공통화 식별 플래그(123b)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 움직임 벡터(137)를 사용할지 여부를 판단한다(도 37의 단계 S120). 공통화하는 경우는 단계 S121 이후로, 그렇지 않으면 단계 S122 이후로 진행한다.
움직임 벡터(137)를 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S121).
움직임 벡터(137)를 C0, C1, C2에서 공통화하지 않고, C0, C1, C2에서 각각 가장 좋은 움직임 벡터를 선택하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통의 최적의 인터 예측 모드와 참조 화상을 선택하고(단계 S122), 또한 Ci(i≤0<3) 성분에 있어서 최적의 움직임 벡터를 선택한다(단계 S123, S124, S125).
움직임 벡터 공통화 식별 플래그(123b)는, 비트스트림에 다중화하여 복호 장치측에서 인식할 수 있도록 할 필요가 있다. 이러한 비트스트림의 데이터 배열을 도 39에 나타낸다.
도 39는 매크로 블록의 레벨에 있어서의 비트스트림의 데이터 배열을 나타내고 있다. 매크로 블록 타입(128b)과 서브매크로 블록 타입(129b) 및 참조 화상 식별 번호(132b)는, 「C0, C1, C2에서 공통」이다. 기본 움직임 벡터 정보(133)는, 움직임 벡터 공통화 식별 플래그(123b)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는, 공통의 움직임 벡터 정보를 나타내고, 그렇지 않으면 C0에 대한 움직임 벡터 정보를 나타낸다. 확장 움직임 벡터 정보(135)는, 움직임 벡터 공통화 식별 플래그(123b)가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우에만 C1, C2 각각에 대하여 다중화되어, C1, C2에 대한 움직임 벡터 정보를 나타낸다. 또, 도 30, 31에 있어서의 매크로 블록 타입/서브매크로 블록 타입(106)은, 도 39에 있어서의 매크로 블록 타입(128b)과 서브매크로 블록 타입(129b)의 총칭이다.
2. 복호 장치에 있어서의 인터 예측 복호 처리
본 실시의 형태 8의 복호 장치는, 본 실시의 형태 8의 부호화 장치로부터 출력되는 도 39의 배열에 따르는 비디오 스트림(22)을 수신하여, 3개의 색성분이 동일 사이즈(4:4:4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다.
본 실시의 형태 8의 복호 장치의 특징인 인터 예측 화상 생성 처리에 대하여 실시의 형태 7과 다른 처리를 중심으로 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 31의 복호 장치에 있어서의 가변 길이 복호부(25), 움직임 보상 예측부(102)에 의해 행해진다. 또한, 본 처리 중 가변 길이 복호부(25)에서 행해지는 처리의 흐름을 나타내는 흐름도를 도 40에 나타낸다.
가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 39의 데이터 배열에 따르는 것으로 한다. 단계 S126에서는, C0, C1, C2에서 공통의 매크로 블록 타입(128b), 서브매크로 블록 타입(129b)을 복호한다. 복호한 매크로 블록 타입(128b) 또는 서브매크로 블록 타입(129b)에 의해, 움직임 보상의 단위가 되는 블록 사이즈가 결정되므로, 다음으로 움직임 보상의 단위가 되는 블록마다 C0, C1, C2에 공통의 참조 화상 식별 번호(132b)를 복호한다(단계 S127). 단계 S128에서는, 움직임 벡터 공통화 식별 플래그(123b)를 복호한다. 다음으로 움직임 보상의 단위가 되는 블록마다 기본 움직임 벡터 정보(133)를 복호한다(단계 S129). 단계 S130에서는, 움직임 벡터 공통화 식별 플래그(123b)의 결과를 이용하여 움직임 벡터(137)를 C0, C1, C2에서 공통화할지 여부를 판단하고, 공통화의 경우는(단계 S130에서 예) C0, C1, C2의 모두에 대하여 기본 움직임 벡터 정보를 이용하는 것으로 하고, 그렇지 않으면(단계 S130에서 아니오) 기본 움직임 벡터 정보(133)는 C0의 모드로서 사용하고, 또한 C1, C2의 각각에 대하여 확장 움직임 벡터 정보(135)를 복호한다(단계 S131). 이상의 처리 과정을 지나 각 색성분의 매크로 블록 타입/서브매크로 블록 타입(106), 참조 화상 식별 번호 및 움직임 벡터 정보가 확정되므로, 이들을 움직임 보상 예측부(102)에 출력하여, 각 색성분의 움직임 보상 예측 화상을 얻는다.
도 41에, 도 39의 비트스트림 데이터 배열의 변형을 나타낸다. 도 39에서는, 움직임 벡터 공통화 식별 플래그(123b)는, 매크로 블록 레벨의 플래그로서가 아니라, 슬라이스, 픽처, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되도록 했다. 이에 따라, 슬라이스 이상의 상위 레이어에서의 전환으로 충분한 예측 효율을 확보할 수 있는 경우는, 매크로 블록 레벨에서 움직임 벡터 공통화 식별 플래그(123b)를 일일이 다중화하지 않고 오버헤드 비트를 삭감할 수 있다.
도 39, 도 41에서는 움직임 벡터 공통화 식별 플래그(123b)를 매크로 블록마다 또는 슬라이스, 픽처, 시퀀스 등의 상위 데이터 레이어에 다중화했지만, 움직임 벡터 공통화 식별 플래그(123b)를 다중화하지 않고서 4:4:4 포맷으로 부호화하는 경우에는 항상 각 성분에 다른 움직임 벡터 정보를 이용하도록 하더라도 좋다. 그 경우의 비트스트림 데이터의 배열을 도 42에 나타낸다. 도 42에서는, 움직임 벡터 공통화 식별 플래그(123b)가 존재하지 않고, 시퀀스 등의 상위 데이터 레이어에 4:4:4 포맷의 입력 화상을 취급하는 것을 지시하는 프로파일 정보(136)가 다중화되고, 이 프로파일 정보(136)의 복호 결과에 따라, 확장 움직임 벡터 정보(135)가 다중화된다.
본 실시의 형태 8에서는, 매크로 블록 타입/서브매크로 블록 타입(106)과 참조 화상을 각 색성분에 대하여 공통으로 하고, 움직임 벡터(137)만을 색성분마다 다른 것으로 할 수 있도록 했다. 이에 따라, 각 색성분에 대하여 움직임 벡터(137)만을 적응화함으로써 충분한 예측 효율을 얻을 수 있는 경우에는 매크로 블록 타입/서브매크로 블록 타입(106)이나 참조 화상 식별 번호는 색성분마다 다중화하지 않고 오버헤드 비트를 삭감할 수 있다.
실시의 형태 9
실시의 형태 7에서는, 인터 예측 모드 공통화 식별 플래그(123) 또는 프로파일 정보(136)에 의해, 매크로 블록 타입/서브매크로 블록 타입(106), 움직임 벡터(137), 참조 화상의 각각을 3 성분에서 공통으로 할지, 색성분마다 다른 것으로 할지를 전환할 수 있도록 했지만, 본 실시의 형태 9에서는, Y, Cb, Cr 형식 등의 4:4:4 포맷 화상을 상정하여, 휘도 성분(Y)과 색차 성분(Cb, Cr)에 대하여 다른 것으로 할지를 전환할 수 있도록 했다(이 경우, 색차 성분의 2 성분에 대해서는 공통의 모드를 사용함). 즉, 3 성분에서 공통으로 할지, 각 성분마다 다른 것으로 할지, 혹은 휘도 성분과 색차 성분에 대하여 다른 것으로 할지를 전환할 수 있도록 한 것을 특징으로 하는 영상 부호화 장치 및 영상 복호 장치에 대하여 설명한다. 본 실시의 형태 9에 있어서의 영상 부호화 장치 및 영상 복호 장치의 구성은 실시의 형태 7에 있어서의 도 30 및 도 31과 같다.
1. 부호화 장치에 있어서의 인터 예측 모드 판정 처리
본 실시의 형태 9의 부호화 장치의 특징인 인터 예측 모드 판정 처리에 대하여 실시의 형태 7과 다른 처리를 중심으로 상술한다.
본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 30의 부호화 장치에 있어서의 움직임 보상 예측부(102), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 43에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2로 한다.
우선, 부호화 모드 판정부(5)는, 인터 예측 모드 공통화 식별 플래그(123)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 인터 예측 모드와 공통의 움직임 벡터(137) 및 공통의 참조 화상을 사용할지 여부를 판단한다(도 43의 단계 S132). 공통화하는 경우는 단계 S133 이후로, 그렇지 않으면 단계 S134 이후 또는 단계 S137 이후로 진행한다.
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S133).
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C0, C1, C2에서 공통화하지 않고, C0, C1, C2에서 각각 가장 좋은 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, Ci(i≤0<3) 성분에서 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, Ci(i≤0<3) 성분에 있어서의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S134, S135, S136).
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C1, C2에서 공통화하고, C0(휘도 성분 상당)과 C1, C2(색차 성분 상당)에서 각각 가장 좋은 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, C0 성분에서 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0 성분에 있어서의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S137). 또한 C1, C2 성분에서 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C1, C2에서 공통의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S138).
본 실시의 형태 9에 있어서의 부호화 장치가 출력하는 비트스트림의 데이터 배열은 도 34와 같지만, 인터 예측 모드 공통화 식별 플래그(123)가, 「C1, C2에서 공통」인 것을 나타내는 경우는, 확장 매크로 블록 타입(130), 확장 서브매크로 블록 타입(131), 확장 참조 식별 번호(134), 확장 움직임 벡터 정보(135)는, C1, C2에 대하여 공통의 정보이다.
2. 복호 장치에 있어서의 인터 예측 복호 처리
본 실시의 형태 9의 복호 장치는, 본 실시의 형태 9의 부호화 장치로부터 출력되는 도 34의 배열에 따르는 비디오 스트림(22)을 수신하여, 3개의 색성분이 동일 사이즈(4:4:4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다.
본 실시의 형태 9의 복호 장치의 특징인 인터 예측 화상 생성 처리에 대하여 실시의 형태 7과 다른 처리를 중심으로 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 31의 복호 장치에 있어서의 가변 길이 복호부(25), 움직임 보상 예측부(102)에 의해 행해진다. 또한, 본 처리 중 가변 길이 복호부(25)에서 행해지는 처리의 흐름을 나타내는 흐름도를 도 44에 나타낸다.
가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 34의 데이터 배열에 따르는 것으로 한다. 단계 S140에서는 도 34의 데이터 중 인터 예측 모드 공통화 식별 플래그(123)가 복호된다(단계 S140). 또한 기본 매크로 블록 타입(128) 및 기본 서브매크로 블록 타입(129)이 복호된다(단계 S141). 단계 S142에서는, 인터 예측 모드 공통화 식별 플래그(123)의 결과를 이용하여 인터 예측 모드를 C0, C1, C2에서 공통화할지 여부를 판단하고, 공통화의 경우는 C0, C1, C2의 모두에 대하여 기본 매크로 블록 타입(128) 및 기본 서브매크로 블록 타입(129)을 이용하는 것으로 하고, 그렇지 않으면 기본 매크로 블록 타입(128) 및 기본 서브매크로 블록 타입(129)은 C0의 모드로서 사용한다. 또한 C1, C2에서 공통의 경우에는, C1, C2 성분에서 공통의 확장 매크로 블록 타입(130) 및 확장 서브매크로 블록 타입(131)을 복호한다(단계 S143). C0, C1, C2에 대하여 다른 모드를 사용하는 경우에는, C1, C2의 각각에 대하여 확장 매크로 블록 타입(130) 및 확장 서브매크로 블록 타입(131)을 복호하여(단계 S144, S145, S146), C1, C2의 모드 정보를 얻는다. 다음으로 기본 참조 화상 식별 번호(132)와 기본 움직임 벡터 정보(133)를 복호하고(단계 S147), 인터 예측 모드 공통화 식별 플래그(123)가, 「C0, C1, C2에서 공통화」하는 것을 나타내는 경우에는, C0, C1, C2의 모두에 대하여 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)를 이용하는 것으로 하고, 그렇지 않으면 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)는 C0의 정보로서 사용하고, 또한 C1, C2에서 공통의 경우에는, C1, C2 성분에서 공통의 확장 참조 화상 식별 번호(134) 및 확장 움직임 벡터 정보(135)를 복호한다(단계 S149). C0, C1, C2에 대하여 다른 모드를 사용하는 경우에는, C1, C2의 각각에 대하여 확장 참조 화상 식별 번호(134) 및 확장 움직임 벡터 정보(135)를 복호한다(단계 S150, S151, S152). 이상의 처리 과정을 지나 각 색성분의 매크로 블록 타입/서브매크로 블록 타입(106), 참조 화상 식별 번호 및 움직임 벡터 정보가 확정되므로, 이들을 움직임 보상 예측부(102)에 출력하여, 각 색성분의 움직임 보상 예측 화상을 얻는다.
또 비트스트림의 데이터 배열이, 도 36의 경우도 마찬가지로, 인터 예측 모드 공통화 식별 플래그(123)가, 「C1, C2에서 공통」인 것을 나타내는 경우는, 확장 매크로 블록 타입(130), 확장 서브매크로 블록 타입(131), 확장 참조 식별 번호(134), 확장 움직임 벡터 정보(135)는, C1, C2에 대하여 공통의 정보이며, 도 36에 나타내는 데이터의 배열에 따르는 비디오 스트림을 입출력으로 하는 영상 부호화 장치 및 영상 복호 장치의 동작은 도 34의 경우와 마찬가지이다.
본 실시의 형태 9에서는, 매크로 블록 타입/서브매크로 블록 타입(106), 움직임 벡터(137), 참조 화상의 각각을 색성분마다 다른 것으로 할 수 있도록 했지만, 매크로 블록 타입/서브매크로 블록 타입(106)과 참조 화상은 각 성분에서 공통으로 하고, 움직임 벡터(137)만 3 성분에서 공통으로 할지, 각 성분마다 다른 것으로 할지, 혹은 C1, C2에서 공통화하고, C0과 C1, C2에서 각각 최적인 것을 선택할지를 전환하더라도 좋다. 이 경우의 비트스트림의 데이터 배열은 도 39 또는 도 41에 따르고, 이 경우도, 인터 예측 모드 공통화 식별 플래그(123)가, 「C1, C2에서 공통」인 것을 나타내는 경우는, 확장 움직임 벡터 정보(135)는, C1, C2에 대하여 공통의 정보이다.
실시의 형태 10
본 실시의 형태 10에서는, 실시의 형태 7에서 말한 부호화 장치의 가변 길이 부호화부(11)에 있어서, 입력되는 움직임 벡터(137)를 부호화하여, 비트스트림에 다중화하는 방법과, 대응하는 복호 장치의 가변 길이 복호부(25)에 있어서, 비트스트림으로부터 움직임 벡터(137)를 복호하는 방법을 말한다.
도 45는 도 30에 나타내는 부호화 장치의 가변 길이 부호화부(11)의 일부로, 움직임 벡터(137)를 부호화하는 움직임 벡터 부호화부의 구성이다.
3개의 색성분(C0, C1, C2)의 움직임 벡터(137)를 C0, C1, C2의 순서로 비트스트림에 다중화하는 방법에 대하여 말한다.
C0의 움직임 벡터(137)를 mv0으로 한다. 움직임 벡터 예측부(111)에서, C0의 움직임 벡터(137)의 예측 벡터(mvp0)를 구한다. 도 46에 나타내는 바와 같이, 부호화 대상의 움직임 벡터(mv0)가 위치하는 블록에 인접하는 블록(도 46의 A, B, C)의 움직임 벡터(mvA0, mvB0, mvC0)를 메모리에서 취득한다. 또 A, B, C의 움직임 벡터(137)는 이미 비트스트림에 다중화되어 있는 것으로 한다. mvA0, mvB0, mvC0의 중간값(median value)을 mvp0으로서 산출한다. 산출한 예측 벡터 mvp0과 부호화 대상의 움직임 벡터 mv0을 차분 움직임 벡터 산출부(112)에 입력한다. 차분 움직임 벡터 산출부(112)에서는 mv0과 mvp0의 차분 벡터(mvd0)를 산출한다. 산출한 mvd0은 차분 움직임 벡터 가변 길이 부호화부(113)에 입력되어, 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.
다음으로 C1의 움직임 벡터(mv1)를 부호화한다. 움직임 벡터 예측부(111)에서, C1의 움직임 벡터(137)의 예측 벡터(mvp1)를 구한다. 도 46에 나타내는 바와 같이, 부호화 대상의 움직임 벡터(mv1)가 위치하는 블록에 인접하는 블록의 움직임 벡터(mvA1, mvB1, mvC1)와 mv1이 위치하는 블록과 동일 위치의 C0의 움직임 벡터(mv0)를 메모리(16)에서 취득한다. 또 A, B, C의 움직임 벡터(137)는 이미 비트스트림에 다중화되어 있는 것으로 한다. mvA1, mvB1, mvC1, mv0의 중간값을 mvp1로서 산출한다. 산출한 예측 벡터 mvp1과 부호화 대상의 움직임 벡터 mv1을 차분 움직임 벡터 산출부(112)에 입력하여, mv1과 mvp1의 차분 움직임 벡터(mvd1 = mv1 - mvp1)를 산출한다. 산출한 mvd1은 차분 움직임 벡터 가변 길이 부호화부(113)에 입력되어, 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.
다음으로 C2의 움직임 벡터(mv2)를 부호화한다. 움직임 벡터 예측부(111)에서, C2의 움직임 벡터(137)의 예측 벡터(mvp2)를 구한다. 도 46에 나타내는 바와 같이, 부호화 대상의 움직임 벡터(mv2)가 위치하는 블록에 인접하는 블록의 움직임 벡터(mvA2, mvB2, mvC2)와 mv2가 위치하는 블록과 동일 위치의 C0 및 C1의 움직임 벡터(mv1, mv2)를 메모리에서 취득한다. mvA2, mvB2, mvC2, mv0, mv1의 중간값을 mvp2로서 산출한다. 산출한 예측 벡터 mvp2와 부호화 대상의 움직임 벡터 mv2를 차분 움직임 벡터 산출부(112)에 입력하여, mv2와 mvp2의 차분 움직임 벡터(mvd2 = mv2 - mvp2)를 산출한다. 산출한 mvd2는 차분 움직임 벡터 가변 길이 부호화부(113)에 입력되어, 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.
도 47에 도 31에 나타내는 복호 장치의 가변 길이 복호부(25)의 일부로, 움직임 벡터(137)를 복호하는 움직임 벡터 복호부(250)의 구성을 나타낸다.
움직임 벡터 복호부(250)에서는 C0, C1, C2의 순서로 비디오 스트림(22)에 다중화된 3개의 색성분의 움직임 벡터(137)를 복호한다.
차분 움직임 벡터 가변 길이 복호부(251)에서, 비디오 스트림(22)에 다중화된 3개의 색성분(C0, C1, C2)의 차분 움직임 벡터(mvd0, mvd1, mvd2)를 추출하여 가변 길이 복호한다.
움직임 벡터 예측부(252)에서, C0, C1, C2의 움직임 벡터(137)의 예측 벡터(mvp0, mvp1, mvp2)를 산출한다. 예측 벡터의 산출 방법은 부호화 장치의 움직임 벡터 예측부(111)와 같다.
다음으로 움직임 벡터 산출부(253)에서 차분 움직임 벡터와 예측 벡터를 가산하여 움직임 벡터(mvi = mvdi + mvpi(i = 0, 1, 2))를 산출한다. 산출한 움직임 벡터(137)는 예측 벡터 후보로서 이용하기 위해 메모리(16)에 저장한다.
본 실시의 형태 10에 의하면, 움직임 벡터를 부호화 및 복호할 때에, 부호화 대상의 움직임 벡터가 위치하는 블록에 인접하는 동일 색성분 블록의 움직임 벡터와, 부호화 대상의 움직임 벡터가 위치하는 블록과 동일 위치에 있는 다른 색성분 블록의 움직임 벡터를 예측 벡터 후보로서 이용하기로 했으므로, 물체의 경계 영역 등에서 동일 색성분 내의 인접하는 블록의 움직임 벡터와 연속성이 없는 경우 등에, 다른 색성분의 동일 위치의 블록의 움직임 벡터를 예측 벡터 후보로서 이용함으로써 움직임 벡터의 예측 효율을 높여, 움직임 벡터의 부호량을 삭감하는 효과를 얻을 수 있다.
실시의 형태 11
본 실시의 형태 11에서는, 실시의 형태 7에서 말한 부호화 장치 및 복호 장치로부터 파생되는 다른 부호화 장치, 복호 장치의 실시예에 대하여 말한다. 본 실시의 형태 11에 있어서의 부호화 장치ㆍ복호 장치는, 매크로 블록 중의 C0, C1, C2 성분을 개별의 헤더 정보에 따라 부호화할지 여부를 소정의 제어 신호에 따라 판단하고, 그 제어 신호의 정보를 비디오 스트림(22)에 다중화한다. 또한, 당해 제어 신호에 따라 C0, C1, C2 성분의 복호에 필요한 헤더 정보를 비디오 스트림(22)에 다중화함과 아울러, 당해 제어 신호에 따라 전송해야할 움직임 벡터나 변환 계수의 정보가 없는 경우의 스킵(또는 not coded) 매크로 블록을 효율적으로 부호화하는 수단을 제공하는 점을 특징으로 한다.
AVC도 포함하여 종래의 MPEG 영상 부호화 방식에서는, 부호화 대상의 매크로 블록에 대하여 전송해야할 부호화 정보가 존재하지 않는 케이스를 특별히 시그널링함으로써, 당해 매크로 블록의 부호량을 최소한으로 억제한 고능률 부호화를 실현하고 있다. 예컨대, 어떤 매크로 블록을 부호화하고자 하는 경우, 움직임 보상 예측에 이용하는 참조 화상상에서 완전히 같은 위치의 화상 데이터를 예측 화상으로서 사용하고(즉, 움직임 벡터가 0), 또 얻어진 예측 오차 신호를 변환, 양자화한 결과, 매크로 블록 내의 양자화 후의 모든 변환 계수가 0이 되는 경우, 복호측에서는 역양자화를 행하더라도 얻어지는 예측 오차 신호는 진폭이 0이 되어, 복호 장치측에 전송해야할 변환 계수 데이터가 없어진다. 또한, 움직임 벡터가 0인 것도 결합 가정하면, 「움직임 벡터 0, 변환 계수 데이터 없음」이라고 하는 특별한 매크로 블록 타입을 정의할 수 있다. 이러한 매크로 블록은 종래, 스킵 매크로 블록 또는 not coded 매크로 블록이라고 불리고, 특별한 시그널링을 행함으로써 여분의 정보를 전송하지 않도록 하는 고안이 이루어져 있다. AVC에서는, 움직임 벡터의 가정을, 「도 32(a)의 16×16 예측을 행하는 경우이고, 또한 움직임 벡터의 부호화에 이용하는 예측치(예측 벡터 mvp0, mvp1, mvp2가 해당)가 실제의 움직임 벡터와 같은 경우」라는 조건으로 하여, 그 조건에 합치하고, 또한 전송해야할 변환 계수 데이터가 없는 경우에, 스킵 매크로 블록이라고 간주한다. 종래의 AVC에서는, 이 스킵 매크로 블록을 부호화하는 경우에, 사용하는 가변 길이 부호화 방식에 따라 이하의 2개의 방법 중 하나를 선택하게 되어 있다.(단락 0220)
방법 1 : 슬라이스 내에서 연속하는 스킵 매크로 블록의 수(RUN 길이)를 카운트하여, RUN 길이를 가변 길이 부호화한다.
방법 2 : 매크로 블록마다, 스킵 매크로 블록인지 여부의 지시 플래그를 부호화한다.
각 방법에 따른 비트스트림 신텍스를 도 48에 나타낸다. 도 48(a)는 가변 길이 부호화 방식으로서 적응 허프만 부호화를 이용한 경우(방법 1), 도 48(b)는 적응 산술 부호화를 이용한 경우(방법 2)이다. 방법 1의 경우는 mb_skip_run, 방법 2의 경우는 mb_skip_flag에 의해 스킵 매크로 블록의 시그널링을 행하고 있다. MB(n)은 n번째의(skip이 아님) 매크로 블록의 부호화 데이터를 가리킨다. 여기서, mb_skip_run이나 mb_skip_flag는, C0, C1, C2 성분을 일괄한 매크로 블록을 단위로 하여 할당되어 있는 것에 주의할 필요가 있다.
이에 대하여, 본 실시의 형태 11에 있어서의 부호화 장치ㆍ복호 장치에서는, 상기 제어 신호, 즉, 실시의 형태 7에서 말한 인터 예측 모드 공통화 식별 플래그(123) 상당의 신호의 상태에 따라, C0, C1, C2의 각 성분마다 움직임 벡터 등을 포함하는 헤더 정보를 변경하여, 스킵 매크로 블록의 시그널링을 C0, C1, C2의 각 성분마다 행하는 방법을 제공한다. 구체적인 비트스트림 신텍스의 예를 도 49, 도 50에 나타낸다.
도 49는 본 실시의 형태 11의 부호화 장치가 출력하여, 본 실시의 형태 11의 복호 장치의 입력이 되는 매크로 블록 부호화 데이터의 구성을, 도 50은 도 49 중의 Cn 성분 헤더 정보의 부호화 데이터의 상세 구성을 나타낸다. 이하에서는, 이 비트스트림 구성의 효과를 설명하기 위해, 비트스트림을 수신하여 영상 신호를 복원하는 복호 장치측의 동작을 중심으로 설명한다. 복호 장치의 동작 설명에는 도 31을 참조한다.
실시의 형태 7에 있어서의 인터 예측 모드 공통화 식별 플래그(123)는, 정의를 확장하여, 매크로 블록 헤더 공통화 식별 플래그(123c)로 표현한다. 매크로 블록 헤더 공통화 식별 플래그(123c)는 C0 성분 헤더 정보(139a)를 기본 매크로 블록 헤더 정보로 간주하고, C0 성분 헤더 정보(139a)만을 C1, C2 성분에도 공통으로 이용하는 헤더 정보로서 다중화할지, C1 성분 헤더 정보(139b), C2 성분 헤더 정보(139c)를 각각 개별적으로 확장 헤더 정보로서 다중화할지를 지시하는 플래그로 한다. 매크로 블록 헤더 공통화 식별 플래그(123c)는 비디오 스트림(22)으로부터 가변 길이 복호부(25)에 의해 추출ㆍ복호된다. 동 플래그가, C0 성분 헤더 정보(139a)만을 C1, C2 성분에도 공통으로 이용하는 헤더 정보로서 다중화하는 것을 나타내는 경우는, 매크로 블록 중의 C0, C1, C2의 전체 성분에 대하여, C0 성분 헤더 정보(139a)를 이용한 복호를 행하고, C1 성분 헤더 정보(139b), C2 성분 헤더 정보(139c)를 각각 개별적으로 확장 헤더 정보로서 다중화하는 것을 나타내는 경우는, 매크로 블록 중의 C0, C1, C2 각각의 성분에 고유의 헤더 정보(139a~139c)를 이용한 복호를 행하는 것으로 한다. 이하에서는 이 점을 더욱 상세히 매크로 블록 단위의 처리로서 설명한다.
1. C0 성분 헤더 정보만이 다중화되는 경우
매크로 블록 헤더 공통화 식별 플래그(123c)가 C0 성분 헤더 정보(139a)만을 C1, C2 성분에도 공통으로 이용하는 헤더 정보로서 다중화하는 것을 나타내고 있는 경우는, C0, C1, C2의 전체 성분에 대하여, C0 성분 헤더 정보(139a)에 포함되어 있는 각종 매크로 블록 헤더 정보에 근거하여 매크로 블록의 복호를 행한다. 이 경우는, C0 성분 스킵 지시 정보(138a)와 C0 성분 헤더 정보(139a)를 C1, C2 성분에 대해서도 공통으로 적용하는 것으로 하므로, C1, C2 성분에 대한 스킵 지시 정보(138b, 138c), 헤더 정보(139b, 139c)는 비트스트림 중에 다중화되지 않는다.
가변 길이 복호부(25)는 우선 C0 성분 스킵 지시 정보(138a)를 복호, 평가한다. 여기서 C0 성분 스킵 지시 정보(138a)가 「스킵」인 것을 나타내는 경우는, C0 성분 헤더 정보(139a)는 부호화되어 있지 않은 것으로 간주하고, C0 성분 헤더 정보(139a) 중의 변환 계수 유효 무효 지시 정보(142)는 0(부호화되어 있는 변환 계수가 완전히 없음)으로 간주한다. 이에 따라, C0~C2 성분 변환 계수 데이터(140a~140c)는 모두 부호화되어 있지 않은 것으로 간주되어, 매크로 블록 중의 양자화 완료 변환 계수(10)를 모두 0으로서 출력한다. 또한, 스킵 매크로 블록의 정의에 따라, C0, C1, C2 전체 성분의 움직임 벡터(137)를 동일 값으로 설정하여 출력한다.
C0 성분 스킵 지시 정보(138a)가 「스킵」이 아닌 것을 나타내는 경우는, C0 성분 헤더 정보(139a)가 존재하는 것으로 하여, 그 복호를 행한다. C0 성분 헤더 정보(139a) 내에서, 매크로 블록 타입(128b)이 인트라 부호화를 나타내고 있으면, 인트라 예측 모드(141), 변환 계수 유효 무효 지시 정보(142), (변환 계수 유효 무효 지시 정보(142)가 0이 아니면) 양자화 파라미터를 복호한다. 여기서 변환 계수 유효 무효 지시 정보(142)가 0이 아니면, C0~C2 성분 변환 계수 데이터(140a~140c)를 복호하여 양자화 완료 변환 계수(10)의 형식으로 출력한다. 변환 계수 유효 무효 지시 정보(142)가 0인 경우는, C0~C2 성분 변환 계수 데이터(140a~140c)는 모두 0인 것으로 하고, 매크로 블록 중의 양자화 완료 변환 계수(10)를 모두 0으로서 출력한다. 매크로 블록 타입(128b)이 인터 부호화를 나타내고 있으면, 필요에 따라 서브매크로 블록 타입(129b)을 복호하고, 또한 참조 화상 식별 번호(132b), 움직임 벡터 정보(133b), 변환 계수 유효 무효 지시 정보(142), (변환 계수 유효 무효 지시 정보(142)가 0이 아니면) 양자화 파라미터(21)를 복호한다. 여기서 변환 계수 유효 무효 지시 정보(142)가 0이 아니면, C0~C2 성분 변환 계수 데이터(140a~140c)를 복호하여 양자화 완료 변환 계수(10)의 형식으로 출력한다. 변환 계수 유효 무효 지시 정보(142)가 0인 경우는, C0~C2 성분 변환 계수 데이터(140a~140c)는 모두 0인 것으로 하고, 매크로 블록 중의 양자화 완료 변환 계수(10)를 모두 0으로서 출력한다. 이상의 동작에 의한 가변 길이 복호부(25)로부터의 출력을 이용하여 소정의 처리 순서에 따라 매크로 블록의 복호를 행하는 점은 실시의 형태 7과 마찬가지이다.
2. C0 , C1 , C2 성분에 대하여 각 대응 헤더 정보가 다중화되는 경우
매크로 블록 헤더 공통화 식별 플래그(123c)가 C1 성분 헤더 정보(139b), C2 성분 헤더 정보(139c)를 C0 성분 헤더 정보(139a)와는 별도로 각각 개별적으로 확장 헤더 정보로서 다중화하는 것을 나타내고 있는 경우는, C0, C1, C2의 각 성분에 대하여, 각각 대응하는 헤더 정보(139a~139c)에 포함되는 각종 매크로 블록 헤더 정보에 근거하여 각 성분 화상의 복호를 행한다. 이 경우는, C1, C2 성분에 대한 스킵 지시 정보(138b, 138c), 헤더 정보(139b, 139c)가 비트스트림에 다중화된다.
가변 길이 복호부(25)는 우선 C0 성분 스킵 지시 정보(138a)를 복호, 평가한다. 여기서 C0 성분 스킵 지시 정보(138a)가 「스킵」인 것을 나타내는 경우는, C0 성분 헤더 정보(139a)는 부호화되어 있지 않은 것으로 간주하고, C0 성분 헤더 정보(139a) 내의 변환 계수 유효 무효 지시 정보(142)는 0(부호화되어 있는 변환 계수가 완전히 없음)으로 간주한다. 이에 따라, C0 성분 변환 계수 데이터(140a)는 부호화되어 있지 않은 것으로 간주되어, C0 성분에 있어서의 양자화 완료 전체 변환 계수를 0으로 한다(다시 말해, 매크로 블록 헤더 공통화 식별 플래그(123c)의 값에 따라, C0 성분 스킵 지시 정보(138a)와 변환 계수 유효 무효 지시 정보(142)의 관계가 변화됨). 또한, C0 성분의 움직임 벡터(137)를 C0 성분 스킵의 경우의 정의에 따라 설정하여 출력한다.
C0 성분 스킵 지시 정보(138a)가 「스킵」이 아닌 것을 나타내는 경우는, C0 성분 헤더 정보(139a)가 존재하는 것으로 하고, 그 복호를 행한다. C0 성분 헤더 정보(139a) 내에서, 매크로 블록 타입(128b)이 인트라 부호화를 나타내고 있으면, 인트라 예측 모드(141)(프레임 내의 피예측 대상 화소의 근방 화소를 예측치로서 이용하기로 하는 공간 화소 예측의 모드)와, 변환 계수 유효 무효 지시 정보(142), (변환 계수 유효 무효 지시 정보(142)가 0이 아니면) 양자화 파라미터(21)를 복호한다. 여기서 변환 계수 유효 무효 지시 정보(142)가 0이 아니면, C0 성분 변환 계수 데이터를 복호하여 양자화 완료 변환 계수(10)의 형식으로 출력한다. 변환 계수 유효 무효 지시 정보가 0인 경우는, C0 성분 변환 계수 데이터는 모두 0인 것으로 한다. 매크로 블록 타입이 인터 부호화를 나타내고 있으면, 필요에 따라 서브매크로 블록 타입을 복호하고, 또한 참조 화상 식별 번호, 움직임 벡터 정보, 변환 계수 유효 무효 지시 정보, (변환 계수 유효 무효 지시 정보가 0이 아니면) 양자화 파라미터를 복호한다. 여기서 변환 계수 유효 무효 지시 정보가 0이 아니면, C0 성분 변환 계수 데이터를 복호하여 양자화 완료 변환 계수(10)의 형식으로 출력한다. 변환 계수 유효 무효 지시 정보가 0인 경우는, C0 성분 변환 계수 데이터는 모두 0인 것으로 한다. 이상의 처리 순서를, C1, C2에 대해서도 마찬가지로 행한다.
이상의 동작에 의한 가변 길이 복호부(25)로부터의 출력을 이용하여 소정의 처리 순서에 따라 매크로 블록 중의 C0, C1, C2의 각 성분의 복호를 행하는 점은 실시의 형태 7과 마찬가지이다.
이상은 복호 장치측에서의 동작을 중심으로 말했지만, 이와 같이 비트스트림을 구성함으로써, 이하의 효과를 얻을 수 있다. 우선, 종래의 AVC에서는 매크로 블록당 이용 가능한 헤더 정보(도 50)는 1조밖에 없고, 이 헤더 정보에 따라 C0~C2의 전체 성분을 일괄하여 인트라ㆍ인터 판정을 행하여 부호화를 행할 필요가 있었다. 한편, 4:4:4 포맷과 같이, 화상 신호의 내용을 전하는 휘도 신호 상당의 신호 성분이 3개의 색성분에 등가로 포함되는 경우에 대해서는, 각 성분으로의 입력 영상 신호로의 노이즈의 중첩 등에 기인하는 신호 특성의 격차가 생기는 경우가 있어, 반드시 C0~C2의 전체 성분을 일괄하여 부호화하는 것이 최적이 아닌 경우가 있다. 본 실시의 형태 11에 있어서의 도 49, 도 50의 비트스트림 구성을 전제로 함으로써, 부호화 장치는, 매크로 블록 헤더 공통화 식별 플래그(123c)에 의해, C0~C2의 각 성분마다 신호 특성에 따른 최적의 부호화 모드(인트라ㆍ인터 부호화 종별을 포함하는 매크로 블록 타입), 움직임 벡터 등을 선택하여 부호화를 행할 수 있어, 부호화 효율을 높일 수 있다. 또한, 종래는 C0~C2의 전체 성분을 일괄한 매크로 블록의 단위로 부호화를 행하고 있었으므로, 전체 성분의 부호화 정보가 모두 존재하지 않는 것을 조건으로 스킵이라 판정을 행하고 있었지만, 본 실시의 형태 11에서는, 각 성분마다 부호화 정보의 유무를 스킵 지시 정보(138)로 판별할 수 있도록 구성했으므로, 어떤 성분만이 스킵이지만, 다른 성분은 스킵이 아닌 경우에, 전체 성분을 스킵이 아닌 것으로 할 필요가 없어, 보다 효율적으로 부호량의 할당을 행하는 것이 가능해진다. 또, 부호화 장치에 있어서, 스킵 지시 정보(138)의 값은, 가변 길이 부호화부(11)에서, 양자화 완료 변환 계수 데이터(10)와 움직임 벡터(137)ㆍ참조 화상 식별 번호(132b), 매크로 블록 타입/서브매크로 블록 타입(106)에 근거하여, 단락 0220에서 말한 바와 같은 부호화 장치ㆍ복호 장치의 쌍방에서 일의하게 규정되는 스킵 매크로 블록의 정의에 따라 결정된다.
또, 본 실시의 형태 11에 의한 부호화 장치ㆍ복호 장치가 취급하는 비트스트림의 구성은, 도 51과 같이 하더라도 좋다. 이 예에서는, C0, C1, C2의 각 성분의 스킵 지시 정보(138), 헤더 정보(139a~139c), 변환 계수 데이터(140a~140c)를 각각 정리하여 배치하도록 했다. 이때, 스킵 지시 정보(138)는, C0, C1, C2의 각 상태를 각각 1비트의 부호 심볼로 늘어놓아도 좋고, 8 상태를 하나의 부호 심볼로 정리하여 부호화하도록 하더라도 좋다. 색성분 사이에서 스킵 상태에 상관이 높은 경우는, 부호 심볼을 정리하여 적절히 산술 부호화의 컨텍스트 모델(실시의 형태 12에서 후술)을 정의함으로써, 스킵 지시 정보(138) 그 자체의 부호화 효율을 높일 수도 있다.
또, 매크로 블록 헤더 공통화 식별 플래그(123c)는, 매크로 블록, 슬라이스, 픽처, 시퀀스 등의 임의의 데이터 레이어의 단위로 비트스트림에 다중하더라도 좋다. 입력 신호에 있어서 정상적으로 색성분 사이의 신호의 성질의 차이가 있는 경우에는, 매크로 블록 헤더 공통화 식별 플래그(123c)를 시퀀스의 단위로 다중화하도록 구성하면, 보다 적은 오버헤드 정보로 효율적인 부호화를 행할 수 있다. 매크로 블록 헤더 공통화 식별 플래그(123c)를 픽처의 단위로 다중화하도록 구성하면, 매크로 블록 타입의 변형이 적은 I픽처에서는 헤더를 공통화하고, 매크로 블록 타입의 변형이 많은 P, B픽처에서는 색성분마다 개별 헤더를 사용함으로써 부호화 효율과 연산 부하의 밸런스를 개선하는 등의 효과를 기대할 수 있다. 또한 픽처 레이어에서의 전환은, 장면 변화(scene change) 등, 픽처마다 신호의 성질이 변화하는 영상 신호의 부호화 제어의 관점에서도 바람직하다고 할 수 있다. 매크로 블록 헤더 공통화 식별 플래그(123c)를 매크로 블록의 단위로 다중화하기로 하면, 매크로 블록당 부호량이 증가하는 반면, 매크로 블록의 단위로 각 색성분의 신호 상태를 근거로 하여 헤더 정보의 공통화를 행할지 여부를 제어하는 것이 가능해져, 화상의 국소적인 신호의 변동에 보다 잘 추종하여 압축 효율을 향상시키는 부호화 장치를 구성할 수 있다.
AVC와 같이 픽처 타입 상당의 부호화 타입이 슬라이스 레벨에서 전환되는 경우는, 매크로 블록 헤더 공통화 식별 플래그(123c)를 슬라이스마다 다중하여, 동 플래그가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는 당해 슬라이스는 3개의 색성분의 부호화 정보를 모두 포함하도록 비트스트림을 구성하고, 또한, 동 플래그가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우는, 하나의 슬라이스가 하나의 색성분의 정보를 포함하도록 비트스트림을 구성하는 방법을 생각할 수 있다. 이 모습을 도 52에 나타낸다. 도 52에 있어서, 매크로 블록 헤더 공통화 식별 플래그(123c)에는, 「커런트 슬라이스는 3개의 색성분의 부호화 정보를 모두 포함하고 있음」이나 「커런트 슬라이스는 어느 특정한 색성분의 부호화 정보를 포함하고 있음」의 슬라이스 구성 식별 정보로서의 의미를 갖게 하고 있다. 물론, 이러한 슬라이스 구성 식별 정보를 매크로 블록 헤더 공통화 식별 플래그(123c)와는 별도로 준비하더라도 좋다. 「커런트 슬라이스는 어느 특정한 색성분의 부호화 정보를 포함하고 있다」고 식별되는 경우에는, 그것이 「C0, C1, C2 중 어느 것인지」하는 식별을 포함하는 것으로 한다. 또한, 이렇게 하여 슬라이스 단위로, 하나의 매크로 블록 헤더를 C0, C1, C2 성분에서 공통으로 이용할지(C0, C1, C2 혼재 슬라이스), C0, C1, C2 성분마다 매크로 블록 헤더를 개별적으로 다중할지(C0 슬라이스, C1 슬라이스, C2 슬라이스)를 전환하는 경우, 1 픽처 내에서 이들 2종류의 슬라이스가 혼재하는 경우에 있어서는, C0 슬라이스, C1 슬라이스, C2 슬라이스는 항상 화면 내의 동일 위치의 매크로 블록을 부호화한 데이터로서 조(組)로 하여 비트스트림에 다중하는 제약을 마련한다. 즉, 슬라이스 헤더에 포함되어 슬라이스의 선두 매크로 블록의 픽처 내 위치를 나타내는 first_mb_in_slice의 값은, 1조의 C0 슬라이스, C1 슬라이스, C2 슬라이스에서 항상 동일한 값을 취하고, 또한, 1조의 C0 슬라이스, C1 슬라이스, C2 슬라이스에 포함되는 매크로 블록의 개수는 같은 수로 한다. 이 모습을 도 53에 나타낸다. 비트스트림의 구성에 이러한 제약을 마련함으로써, 부호화 장치에서는, 픽처 내의 국소적인 신호의 성질에 따라, C0, C1, C2 혼재 슬라이스와, C0 슬라이스, C1 슬라이스, C2 슬라이스의 조 중, 부호화 효율이 높은 부호화 방법을 적응적으로 선택하여 부호화할 수 있고, 복호 장치는 그와 같이 하여 효율적으로 부호화된 비트스트림을 수신하여 영상 신호를 재생할 수 있다. 예컨대, 도 31의 복호 장치에 입력되는 비트스트림(22)이 이러한 구성이라고 하면, 가변 길이 복호부(25)에서는 슬라이스 데이터가 입력될 때마다 슬라이스 구성 식별 정보를 비트스트림으로부터 복호하고, 앞으로 복호하고자 하는 슬라이스가 도 52의 어느 슬라이스인지를 식별한다. 슬라이스 구성 식별 정보로부터, C0 슬라이스, C1 슬라이스, C2 슬라이스의 조로서 부호화 데이터가 구성된다고 판단되는 경우는, 인터 예측 모드 공통화 식별 플래그(123)(또는 매크로 블록 헤더 공통화 식별 플래그(123c))의 상태를 「C0, C1, C2에서 개별 인터 예측 모드(또는 매크로 블록 헤더)를 사용」한다고 정하여 복호 동작을 행하도록 하면 좋다. 각 슬라이스의 first_mb_in_slice의 값과 슬라이스 중의 매크로 블록 개수가 같은 것이 보증되므로, 이에 근거하여 C0, C1, C2 혼재 슬라이스와 픽처상에서의 오버랩이나 갭을 발생시키지 않고 복호 처리가 가능하다.
또한, C0, C1, C2의 각 슬라이스의 신호의 성질이 크게 다른 경우에 이러한 제약을 마련하는 것에 의한 부호화 효율의 저하를 회피하기 위해, 픽처 내에서 다른 슬라이스 구성 식별 정보의 값을 갖는 슬라이스의 혼재를 허가할지 하지 않을지를 픽처 레벨 또는 시퀀스 레벨에서 선택 가능하게 하는 식별 정보를 부여하도록 구성하더라도 좋다.
실시의 형태 12
본 실시의 형태 12에서는, 실시의 형태 11에서 말한 부호화 장치 및 복호 장치로부터 파생되는 다른 부호화 장치, 복호 장치의 실시예에 대하여 말한다. 본 실시의 형태 12에 있어서의 부호화 장치ㆍ복호 장치는, 매크로 블록 중의 C0, C1, C2 각 성분의 부호화를, 적응 산술 부호화 방식을 이용하여 행하는 경우에, 산술 부호화에 이용하는 심볼 발생 확률 및 그 학습 과정을 전체 성분에서 공유할지, 각 성분마다 분리할지를, 비트스트림 중에 다중되는 지시 정보에 따라 적응적으로 전환하는 것을 특징으로 한다.
본 실시의 형태 12는, 부호화 장치에서는 도 30의 가변 길이 부호화부(11), 복호 장치에서는 도 31의 가변 길이 복호부(25) 내의 처리만이 실시의 형태 11과 다르고, 그 이외의 동작은 실시의 형태 11에 따른다. 이하, 본 실시의 형태 12의 포인트인 산술 부호화 및 복호 처리에 대하여 상세히 설명한다.
1. 부호화 처리
도 54는 가변 길이 부호화부(11)에 있어서의 산술 부호화 처리에 관한 내부 구성을, 도 55 및 도 56은 그 동작 흐름을 나타낸다.
본 실시의 형태 12에 있어서의 가변 길이 부호화부(11)는, 부호화 대상 데이터인 움직임 벡터(137), 참조 화상 식별 번호(132b), 매크로 블록 타입/서브매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등의 개개의 데이터 타입에 대하여 정의되는 컨텍스트 모델(후술)을 정하는 컨텍스트 모델 결정부(11a), 각 부호화 대상 데이터 타입에 대하여 정해지는 2치화 규칙에 따라 다치(多値) 데이터를 2치 데이터로 변환하는 2치화부(11b), 2치화 후의 개개의 bin의 값(0 or 1)의 발생 확률을 제공하는 발생 확률 생성부(11c), 생성된 발생 확률에 근거하여 산술 부호화를 실행하는 부호화부(11d), 발생 확률 정보를 기억하는 메모리(11g)로 구성된다. 컨텍스트 모델 결정부(11a)로의 입력은, 움직임 벡터(137)ㆍ참조 화상 식별 번호(132b), 매크로 블록 타입/서브매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등, 가변 길이 부호화부(11)에 부호화 대상 데이터로서 입력되는 각종 데이터이고, 부호화부(11d)로부터의 출력은 비디오 스트림(22)의 매크로 블록에 관한 정보에 상당한다.
(1) 컨텍스트 모델 결정 처리(도 55에 있어서의 단계 S160)
컨텍스트 모델이란, 정보원 심볼의 발생 확률의 변동 요인이 되는 다른 정보와의 의존 관계를 모델화한 것이며, 이 의존 관계에 대응하여 발생 확률의 상태를 전환함으로써, 심볼의 실제의 발생 확률에 보다 적응한 부호화를 행하는 것이 가능해진다. 도 57에 컨텍스트 모델(ctx)의 개념을 나타낸다. 또, 도 57에서는 정보원 심볼은 2치로 했지만, 다치라도 상관없다. 도 57의 0~2라는 ctx의 선택지는, 이 ctx를 이용하는 정보원 심볼의 발생 확률의 상태가, 상황에 따라 변화할 것을 상정하여 정의되어 있다. 본 실시의 형태 12에 있어서의 영상 부호화로 말하면, 어느 매크로 블록에 있어서의 부호화 데이터와 그 주변의 매크로 블록의 부호화 데이터 사이의 의존 관계에 따라 ctx의 값이 전환된다. 예컨대, 도 58에, D. Marpe 외, 「Video Compression Using Context-Based Adaptive Arithmetic Coding」, International Conference on Image Processing 2001에 개시되는 매크로 블록의 움직임 벡터에 관한 컨텍스트 모델의 예를 나타낸다. 도 58에 있어서, 블록 C의 움직임 벡터가 부호화 대상이며(정확히는, 블록 C의 움직임 벡터를 근방으로부터 예측한 예측 차분치 mvdk(C)가 부호화됨), ctx_mvd(C,k)가 컨텍스트 모델을 나타낸다. mvdk(A)는 블록 A에서의 움직임 벡터 예측 차분치, mvdk(B)는 블록 B에서의 움직임 벡터 예측 차분치를 각각 나타내고, 컨텍스트 모델의 전환 평가치 ek(C)의 정의에 이용된다. 평가치 ek(C)는, 근방의 움직임 벡터의 격차 상태를 나타내게 되고, 일반적으로는 이 격차가 작은 경우에는 mvdk(C)는 작고, 반대로 ek(C)가 큰 경우는 mvdk(C)도 커지는 경향이 있다. 따라서, mvdk(C)의 심볼 발생 확률은, ek(C)에 근거하여 적응화되는 것이 바람직하다. 이 발생 확률의 변형 세트가 컨텍스트 모델이며, 이 케이스에서는 3종류의 발생 확률 변형이 있다고 할 수 있다.
이밖에, 매크로 블록 타입/서브매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등의 부호화 대상 데이터 각각에 대하여 미리 컨텍스트 모델이 정의되어, 부호화 장치와 복호 장치에서 공유된다. 컨텍스트 모델 결정부(11a)에서는, 이러한 부호화 대상 데이터의 종별에 근거하여 미리 정해진 모델을 선택하는 처리를 행한다(컨텍스트 모델 중의 어떤 발생 확률 변형을 선택할지는 하기 (3)의 발생 확률 생성 처리에 해당함).
(2) 2치화 처리(도 55에 있어서의 단계 S161)
컨텍스트 모델은, 부호화 대상 데이터를 2치화부(11b)에서 2치 계열화하여, 2치 계열의 각 bin(바이너리 위치)에 따라 정해진다. 2치화의 규칙은, 각 부호화 데이터가 취할 수 있는 값의 어림잡은 분포에 따라, 가변 길이의 2치 계열로의 변환을 행한다. 2치화는, 원래 다치를 취할 수 있는 부호화 대상 데이터를 그대로 산술 부호화하는 것보다 bin 단위로 부호화함으로써 확률수 직선 분할수를 삭감할 수 있어 연산을 간략화할 수 있어, 컨텍스트 모델의 슬림화가 가능하게 되는 등의 이점이 있다.
(3) 발생 확률 생성 처리(도 55에 있어서의 단계 S162(단계 S162의 상세는 도 56))
상기 (1), (2)의 프로세스에서, 다치의 부호화 대상 데이터의 2치화와, 각 bin에 적용하는 컨텍스트 모델의 설정이 완료되어, 부호화 준비가 갖추어진다. 이어서 발생 확률 생성부(11c)에서 산술 부호화에 이용하는 발생 확률 상태의 생성 처리가 행해진다. 각 컨텍스트 모델에는, 0/1의 각 값에 대한 발생 확률의 변형이 포함되어 있으므로, 도 54에 나타내는 바와 같이, 단계 S160에서 결정된 컨텍스트 모델(11f)을 참조하여 처리를 행한다. 도 58의 ek(C)에 나타낸 바와 같은 발생 확률 선택을 위한 평가치를 정하고, 이에 따라, 참조하는 컨텍스트 모델의 선택지 중에서 어떤 발생 확률 변형을 현재의 부호화에 이용할지를 결정한다(도 56의 단계 S162a). 또한, 본 실시의 형태 12에 있어서의 가변 길이 부호화부(11)는, 발생 확률 정보 기억 메모리(11g)를 구비하고, 부호화의 과정에서 순차적으로 갱신되는 발생 확률 상태(11h)를 색성분별로 기억하는 기구를 구비한다. 발생 확률 생성부(11c)는, 발생 확률 상태 파라미터 공통화 식별 플래그(143)의 값에 따라, 현재의 부호화에 이용하는 발생 확률 상태(11h)를 C0~C2의 색성분별로 유지된 것으로부터 선택할지, C0 성분용인 것을 C1, C2에서 공유할지를 선택하여, 실제로 부호화에 이용하는 발생 확률 상태(11h)를 결정한다(도 56의 S162b~S162d).
발생 확률 상태 파라미터 공통화 식별 플래그(143)는, 복호 장치에서 같은 선택을 행하는 것을 가능하게 하기 위해, 비트스트림에 다중화할 필요가 있다. 이러한 구성으로 함으로써, 이하의 효과가 있다. 예컨대, 도 58을 예로 들면, 매크로 블록 헤더 공통화 식별 플래그(123c)가 C0 성분 헤더 정보(139a)를 다른 성분에서도 사용하는 것을 나타내는 경우, 매크로 블록 타입(128b)이 16×16 예측 모드를 나타내고 있으면, 도 58의 ek(C)는 매크로 블록당 하나만 정해진다. 이때는, C0 성분용으로 준비된 발생 확률 상태를 상시 사용한다. 한편, 매크로 블록 헤더 공통화 식별 플래그(123c)가 각 성분에 대응하는 헤더 정보(139a~139c)를 사용하는 것을 나타내는 경우, 매크로 블록 타입(128b)이 C0, C1, C2 어느 것에 있어서도 16×16 예측 모드를 나타내고 있으면, 도 58의 ek(C)는 매크로 블록당 3개의 변형이 있을 수 있다. 후단의 부호화부(11d)에서는, 각각의 변형에 대하여, C0 성분에서 준비되는 발생 확률 상태(11h)를 공통적으로 사용, 갱신할지, 또는, 각 색성분별로 준비되는 발생 확률 상태(11h)를 개별로 사용, 갱신할지라고 하는 2개의 선택지를 취할 수 있다. 전자는, C0, C1, C2 각 성분에서 거의 같은 움직임 벡터 분포를 갖는 경우, 발생 확률 상태(11h)를 공통적으로 사용ㆍ갱신함으로써 학습 횟수가 늘어나, 보다 좋게 움직임 벡터의 발생 확률을 학습할 수 있을 가능성이 있다. 후자는, 반대로 C0, C1, C2 각 성분에서 따로따로의 움직임 벡터 분포를 갖는 경우, 발생 확률 상태(11h)를 개별적으로 사용ㆍ갱신함으로써 학습에 의한 미스매치를 삭감할 수 있어, 보다 좋게 움직임 벡터의 발생 확률을 학습할 수 있을 가능성이 있다. 영상 신호는 비정상이므로, 이러한 적응 제어가 가능하게 됨으로써, 산술 부호화의 효율을 높일 수 있다.
(4) 부호화 처리
(3)에 의해, 산술 부호화 프로세스에 필요한 확률수 직선상의 0/1 각 값의 발생 확률이 얻어지므로, 종래예에 든 프로세스에 따라 부호화부(11d)에서 산술 부호화를 행한다(도 55의 단계 S163). 또한, 실제의 부호화값(0 or 1)(11e)은, 발생 확률 생성부(11c)에 피드백되어, 사용한 발생 확률 상태(11h)의 갱신을 위해, 0/1 발생 빈도의 카운트가 행해진다(단계 S164). 예컨대, 어떤 특정한 발생 확률 상태(11h)를 이용하여 100개의 bin의 부호화 처리가 행해진 시점에서, 당해 발생 확률 변형에 있어서의 0/1의 발생 확률이 0.25, 0.75였다고 한다. 여기서, 같은 발생 확률 변형을 이용하여 1이 부호화되면, 1의 출현 빈도가 갱신되고, 0/1의 발생 확률은 0.247, 0.752로 변화한다. 이 메커니즘에 의해, 실제의 발생 확률에 적응한 효율적인 부호화를 행하는 것이 가능해진다. 부호화값(11e)은 가변 길이 부호화부(11)로부터의 출력이 되어, 비디오 스트림(22)으로서 부호화 장치로부터 출력된다.
도 59는 가변 길이 복호부(25)에 있어서의 산술 복호 처리에 관한 내부 구성을, 도 60은 그 동작 흐름을 나타낸다.
본 실시의 형태 12에 있어서의 가변 길이 복호부(25)는, 움직임 벡터(137)ㆍ참조 화상 식별 번호(132b), 매크로 블록 타입/서브매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등의 개개의 복호 대상 데이터의 타입을 특정하여, 각각에 부호화 장치와 공통 정의되는 컨텍스트 모델을 정하는 컨텍스트 모델 결정부(11a), 복호 대상 데이터의 타입에 근거하여 정해지는 2치화 규칙을 생성하는 2치화부(11b), 2치화 규칙과 컨텍스트 모델에 따라, 개개의 bin(0 or 1)의 발생 확률을 제공하는 발생 확률 생성부(11c), 생성된 발생 확률에 근거하여 산술 복호를 실행하고, 그 결과 얻어지는 2치 계열과, 상기 2치화 규칙으로부터, 움직임 벡터(137)ㆍ참조 화상 식별 번호(132b), 매크로 블록 타입/서브매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등의 데이터를 복호하는 복호부(25a), 발생 확률 정보를 기억하는 메모리(11g)로 구성된다. 11a~11c 및 11g는 도 54의 가변 길이 부호화부(11)의 내부 구성 요소와 동일한 것이다.
(5) 컨텍스트 모델 결정 처리, 2치화 처리, 발생 확률 생성 처리
이들 프로세스는 부호화 장치측의 프로세스 (1)~(3)에 준한다. 또, 도시하지 않고 있지만, 발생 확률 상태 파라미터 공통화 식별 플래그(143)는, 비디오 스트림(22)으로부터 미리 추출되어 있는 것으로 한다.
(6) 산술 복호 처리
앞으로 복호하고자 하는 bin의 발생 확률이 (6)까지의 프로세스에서 확정되므로, 복호부(25a)에서, 소정의 산술 복호 처리 프로세스에 따라, bin의 값을 복원한다(도 60에 있어서의 단계 S166). bin의 복원값(25b)은, 발생 확률 생성부(11c)에 피드백되어, 사용한 발생 확률 상태(11h)의 갱신을 위해, 0/1 발생 빈도의 카운트가 행해진다(단계 S164). 복호부(25a)에서는, 각 bin의 복원값이 확정될 때마다, 2치화 규칙으로 정해지는 2치 계열 패턴과의 합치를 확인하여, 합치한 패턴이 지시하는 데이터값을 복호 데이터값으로서 출력한다(단계 S167). 복호 데이터가 확정되지 않는 한은, 단계 S166으로 되돌아가 복호 처리를 계속한다.
이상의 구성에 의한, 산술 부호화 및 산술 복호 처리를 구비한 부호화ㆍ복호 장치에 의하면, 매크로 블록 헤더 공통화 식별 플래그(123c)에 따라 적응적으로 색성분마다의 부호화 정보를 산술 부호화하는 경우에 있어서, 보다 효율적인 부호화가 가능해진다.
또, 특별히 도시하지 않고 있지만, 발생 확률 상태 파라미터 공통화 식별 플래그(143)를 다중하는 단위는 매크로 블록 단위, 슬라이스 단위, 픽처 단위, 시퀀스 단위의 어느 것이라도 좋다. 슬라이스, 픽처, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되도록 함으로써, 슬라이스 이상의 상위 레이어에서의 전환으로 충분한 부호화 효율을 확보할 수 있는 경우는, 매크로 블록 레벨에서 발생 확률 상태 파라미터 공통화 식별 플래그(143)를 일일이 다중화하지 않고 오버헤드 비트를 삭감할 수 있다.
또한, 발생 확률 상태 파라미터 공통화 식별 플래그(143)는, 그 자체와는 별도의 비트스트림 중에 포함되는 관련 정보에 근거하여 복호 장치의 내부에서 정해지는 정보이더라도 좋다.
본 실시의 형태 12에 있어서, 매크로 블록 헤더 공통화 식별 플래그(123c)를 매크로 블록 단위로 산술 부호화할 때는, 컨텍스트 모델(11f)에 대하여 도 61에 나타내는 모델을 이용한다. 도 61에 있어서, 매크로 블록 X에서의 매크로 블록 헤더 공통화 식별 플래그(123c)의 값을 IDCX로 한다. 매크로 블록 C에서의 매크로 블록 헤더 공통화 식별 플래그(123c)의 부호화를 행하는 경우는, 매크로 블록 A의 매크로 블록 헤더 공통화 식별 플래그(123c)의 값 IDCA와, 매크로 블록 B의 매크로 블록 헤더 공통화 식별 플래그(123c)의 값 IDCB의 값에 근거하여, 동 도면의 식에 근거하여, 이하의 3개의 상태를 취한다.
ㆍ값 0 : A, B의 양쪽 모두 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드이다.
ㆍ값 1 : A, B 중 어느 하나가 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드이고, 다른 쪽이 「C0, C1, C2에서 개별 매크로 블록 헤더를 사용하는」 모드이다.
ㆍ값 2 : A, B의 양쪽 모두 「C0, C1, C2에서 개별 매크로 블록 헤더를 사용하는」 모드이다.
이와 같이 매크로 블록 헤더 공통화 식별 플래그(123c)를 부호화함으로써, 근방의 매크로 블록의 부호화 상태에 적합하게 산술 부호화를 행할 수 있어, 부호화 효율을 높일 수 있다. 또, 부호화측에서도 복호측에서도 같은 순서로 컨텍스트 모델을 정의하여 산술 복호하는 것은, 상기 본 실시의 형태 12의 복호 장치의 동작 설명으로부터 자명하다.
또한, 본 실시의 형태 12에 있어서, 매크로 블록 헤더 중에 포함되는 도 50의 헤더 정보(매크로 블록 타입, 서브매크로 블록 타입, 인트라 예측 모드, 참조 화상 식별 번호, 움직임 벡터, 변환 계수 유효 무효 지시 정보, 양자화 파라미터)에 대해서는, 각각 각 정보 종별마다 정의되는 컨텍스트 모델로 산술 부호화를 행하지만, 어느 컨텍스트 모델이라도 도 62에 나타내는 바와 같이, 커런트 매크로 블록 C에 대하여, 매크로 블록 A, B의 대응하는 정보를 참조하여 정의된다. 여기서, 도 62(a)와 같이, 매크로 블록 C가 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드이고, 매크로 블록 B가 「C0, C1, C2에서 개별 매크로 블록 헤더를 사용하는」 모드인 경우에는, 컨텍스트 모델 정의상의 참조 정보로서, C0, C1, C2 중 어느 하나의 특정한 색성분의 정보를 이용한다.
예컨대, C0, C1, C2가, R, G, B 색성분에 대응하는 경우는, 화상의 구조를 잘 표현하는 신호로서 종래로부터 부호화에 이용되어 온 휘도 신호에 가장 가까운 성분을 갖는 G 성분을 선택한다고 하는 방법을 생각할 수 있다. 그것은 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드에서도, G 성분을 기준으로 하여 매크로 블록 헤더의 정보를 정하여 부호화를 행하는 케이스가 많다고 생각할 수 있기 때문이다.
한편, 반대의 케이스로, 도 62(b)와 같이, 매크로 블록 C가 「C0, C1, C2에서 개별 매크로 블록 헤더를 사용하는」 모드이고, 매크로 블록 B가 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드가 존재하는 경우에는, 매크로 블록 C에서는, 3개의 색성분의 헤더 정보를 부호화ㆍ복호할 필요가 있지만, 그 때, 각 색성분의 헤더 정보의 컨텍스트 모델 정의상의 참조 정보로서, 매크로 블록 B에 대해서는 3 성분 공통의 헤더 정보를 3 성분 같은 값으로서 이용하는 것으로 한다. 또한, 자명하지만, 매크로 블록 A도 B도 C도 모두 매크로 블록 헤더 공통화 식별 플래그(123c)가 같은 값을 나타내는 경우는, 각각 대응하는 참조 정보가 항상 존재하므로 그들을 이용하는 것으로 한다.
또, 부호화측에서도 복호측에서도 같은 순서로 컨텍스트 모델을 정의하여 산술 복호하는 것은, 상기 본 실시의 형태 12의 복호 장치의 동작 설명으로부터 자명하다. 또한, 어떤 성분의 정보를 참조한 컨텍스트 모델을 이용할지가 결정된 후는, 그 컨텍스트 모델에 대응되어 있는 발생 확률 상태의 갱신은 발생 확률 상태 파라미터 공통화 식별 플래그(143)의 상태에 근거하여 실행한다.
또한, 본 실시의 형태 12에 있어서, C0, C1, C2 성분의 각 변환 계수 데이터에 대해서도 각 부호화 대상 데이터의 발생 확률 분포에 따른 산술 부호화가 행해진다. 이들 데이터는 매크로 블록 헤더를 공통화하고 하지 않는 것에 관계없이, 항상 3 성분분의 부호화 데이터가 비트스트림에 포함된다. 본 실시의 형태 12에서는, 부호화 입력 신호의 색공간상에서 인트라 예측, 인터 예측이 행해져 예측 차분 신호가 얻어지므로, 예측 차분 신호를 정수 변환하여 얻어지는 변환 계수 데이터의 분포는, 도 62와 같은 매크로 블록 헤더를 공통화하고 하지 않는 주변의 상태에 관계없이, 같은 발생 확률 분포가 된다고 생각할 수 있다. 그래서, 본 실시의 형태 12에서는, C0, C1, C2의 각 성분마다, 매크로 블록 헤더를 공통화하고 하지 않는 것에 관계없이, 공통의 컨텍스트 모델을 정의하여 부호화ㆍ복호에 이용한다.
또, 부호화측에서도 복호측에서도 같은 순서로 컨텍스트 모델을 정의하여 산술 복호하는 것은, 상기 본 실시의 형태 12의 복호 장치의 동작 설명으로부터 자명하다. 또한, 어떤 성분의 정보를 참조한 컨텍스트 모델을 이용할지가 결정된 후는, 그 컨텍스트 모델에 대응되어 있는 발생 확률 상태의 갱신은 발생 확률 상태 파라미터 공통화 식별 플래그(143)의 상태에 근거하여 실행한다.
실시의 형태 13
본 실시의 형태 13에서는, 실시의 형태 7~12에서 말한 부호화 장치 및 복호 장치로부터 파생되는 다른 부호화 장치, 복호 장치의 실시 형태에 대하여 말한다. 본 실시의 형태 13에 있어서의 부호화 장치ㆍ복호 장치는, 실시의 형태 7~12에 기재된 부호화 장치의 입력단에서 색공간 변환 처리를 행하여, 촬상 후에 부호화 장치에 입력되는 영상 신호의 색공간을 부호화에 적합한 임의의 색공간으로 변환하고, 복호측에서 촬상시의 색공간으로 되돌리기 위한 역변환 처리를 지정하는 정보를 비트스트림에 다중화하는 부호화 장치와, 역변환 처리를 지정하는 정보를 비트스트림으로부터 추출하여, 실시의 형태 7~12에 기재된 복호 장치에 의해 복호 화상을 얻은 후, 역변환 처리를 지정하는 정보에 근거하여 역색공간 변환을 행하는 구성을 특징으로 한다.
본 실시의 형태 13에 있어서의 부호화 장치ㆍ복호 장치의 구성을 도 63에 나타낸다. 도 63에 의해 본 실시의 형태 13의 부호화 장치ㆍ복호 장치에 대하여 설명한다.
본 실시의 형태 13의 부호화 장치는, 실시의 형태 7~12의 부호화 장치(303)에 더하여, 그 전단에 색공간 변환부(301)를 구비한다. 색공간 변환부(301)는, 하나 또는 복수의 색공간 변환 처리를 구비하고, 입력되는 영상 신호의 성질이나 시스템의 설정 등에 따라 사용하는 색공간 변환 처리를 선택하여 입력 영상 신호에 대한 색공간 변환 처리를 행하고, 그 결과 얻어지는 변환 영상 신호(302)를 부호화 장치(303)에 보낸다. 또한, 동시에 사용한 색공간 변환 처리를 식별하는 정보를 색공간 변환 방법 식별 정보(304)로서 부호화 장치(303)에 출력한다. 부호화 장치(303)는, 변환 영상 신호(302)를 부호화 대상 신호로서 실시의 형태 7~12에 나타내는 방법으로 압축 부호화한 비트스트림(305)에, 색공간 변환 방법 식별 정보(304)를 다중하여 전송로에 송출, 또는 기록 미디어로의 기록을 행하는 기록 장치에 출력한다.
여기서, 준비되는 색공간 변환 방법은, 예컨대, 종래 표준으로 이용되고 있는 RGB로부터 YUV로의 변환
C0 = Y = 0.299 × R + 0.587 × G + 0.114 × B
C1 = U = -0.169 × R - 0.3316 × G + 0.500 × B
C2 = V = 0.500 × R - 0.4186 × G - 0.0813 × B
나, 색성분 사이의 예측,
C0 = G' = G
C1 = B' = B - f(G) (단, f(G) : G 성분에 대한 필터 처리 결과)
C2 = R' = R - f(G)
나, RGB로부터 YCoCg로의 변환
C0 = Y = R/2 + G/2 + B/4
C1 = Co = R/2 - B/2
C2 = Cg = -R/4 + G/2 - B/4
와 같은 변환이 있다. 색공간 변환부(301)에 대한 입력은 RGB에 한정할 필요는 없고, 또한 변환 처리도 상기 3종에 한정하는 것이 아니다.
본 실시의 형태 13의 복호 장치는, 실시의 형태 7~12의 복호 장치(306)에 더하여, 그 후단에 역색공간 변환부(308)를 구비한다. 복호 장치(306)는 비트스트림(305)을 입력으로 하여, 색공간 변환 방법 식별 정보(304)를 비트스트림(305)으로부터 추출하여 출력함과 아울러, 실시의 형태 7~12에 기재된 복호 장치의 동작에 의해 얻어지는 복호 화상(307)을 출력한다. 역색공간 변환부(308)는, 상기 색공간 변환부(301)에서 선택 가능한 색공간 변환 방법의 각각에 대하여 대응하는 역변환 처리를 구비하고, 복호 장치(306)로부터 출력되는 색공간 변환 방법 식별 정보(304)에 근거하여 색공간 변환부(301)에서 실행된 변환을 특정하여, 복호 화상(307)에 대하여 역변환 처리를 실시하고, 본 실시의 형태 13의 부호화 장치에 대한 입력 영상 신호의 색공간에 되돌리는 처리를 행한다.
본 실시의 형태 13과 같은 부호화 장치ㆍ복호 장치에 의하면, 부호화의 전단과 복호 처리의 후단에서 부호화되는 영상 신호에 대하여 최적의 색공간의 변환 처리를 행함으로써, 3개의 색성분으로 구성되는 화상 신호 중에 포함되는 상관을 부호화 전에 제거하여, 용장도를 적게 한 상태에서 부호화를 행할 수 있어, 압축 효율을 높일 수 있다. 종래의 MPEG 등의 표준 부호화 방식에서는, 부호화 대상의 신호의 색공간을 YUV의 1종류로 한정하고 있었지만, 색공간 변환부(301), 역색공간 변환부(308)를 구비하고, 색공간 변환 방법 식별 정보(304)를 비트스트림(305)에 포함시킴으로써, 부호화 입력되는 영상 신호의 색공간에 관한 제한을 없앨 수 있고, 또한 색성분 사이의 상관을 제거하는 복수의 종류의 수단 중에서 최적의 변환을 이용하여 부호화하는 것이 가능해진다. 색공간 변환 방법 식별 정보(304)는 픽처, 슬라이스, 매크로 블록이라고 하는 레벨에서 다중하도록 구성하더라도 좋다. 예컨대, 매크로 블록 단위로 다중함으로써, 3개의 색성분 사이의 국소적인 상관을 가장 잘 제거할 수 있는 변환을 선택적으로 사용할 수 있어, 부호화 효율을 높일 수 있다.
본 실시의 형태 13에서는, 색공간 변환부(301), 역색공간 변환부(308)를 항상 동작시킨다고 하는 전제로 기재했지만, 이들 처리부를 동작시키지 않고, 종래의 규격과의 호환성을 확보하는 것을 지시하는 정보를, 시퀀스 등의 상위의 레이어에서 부호화하는 구성을 취하는 것도 가능하다.
또한, 본 실시의 형태 13의 색공간 변환부(301), 역색공간 변환부(308)를, 본 실시의 형태 7~12의 부호화 장치, 복호 장치의 내부 구성에 도입하도록 하여, 예측 차분 신호 레벨에서의 색공간 변환을 행하도록 구성할 수도 있다. 이와 같이 구성한 부호화 장치를 도 64에, 복호 장치를 도 65에 나타낸다. 도 64의 부호화 장치에서는, 직교 변환부(8) 대신에 변환부(310)가, 역직교 변환부(13) 대신에 역변환부(312)가 구비되고, 도 65의 복호 장치에서는, 역직교 변환부(13) 대신에 역변환부(312)가 구비되어 있다.
변환부(310)는, 부호화 모드 판정부(5)로부터 출력되는 C0, C1, C2 성분의 예측 차분 신호(4)에 대하여, 상기 색공간 변환부(301)의 처리로서 나타낸 바와 같이, 복수의 색공간 변환 처리 중에서 최적의 변환 처리를 선택하여 색공간 변환을 우선 실행한다. 그 후, 색공간 변환의 결과에 대하여 직교 변환부(8) 상당의 변환을 실행한다. 어떤 변환을 선택했는지를 나타내는 색공간 변환 방법 식별 정보(311)는 가변 길이 부호화부(11)에 보내어, 비트스트림에 다중하여 비디오 스트림(22)으로서 출력한다. 또한, 역변환부(312)에서는, 우선 역직교 변환부(13) 상당의 역변환을 행한 후, 색공간 변환 방법 식별 정보(311)에서 지정되는 색공간 변환 처리를 이용하여 역색공간 변환 처리를 실행한다.
복호 장치에서는, 가변 길이 복호부(25)에서 비트스트림으로부터 색공간 변환 방법 식별 정보(311)를 추출하여, 그 결과를 역변환부(312)에 보냄으로써, 상술한 부호화 장치에 있어서의 역변환부(312)와 같은 처리를 행한다. 이와 같이 구성함으로써, 색성분의 사이에 잔존하는 상관이 예측 차분 영역에서 충분히 제거될 수 있는 경우는, 그것을 부호화 처리의 일부로서 실행하도록 할 수 있어, 부호화 효율을 높이는 효과가 있다. 단, C0, C1, C2 성분에서 개별 매크로 블록 헤더를 이용하는 경우에는, 처음부터 C0 성분은 인트라 예측, C1 성분은 인터 예측이라고 했듯이, 성분마다 예측의 방법이 변화할 수 있으므로, 예측 차분 신호(4)의 영역에서의 상관이 유지되기 어려운 경우도 있다. 따라서, C0, C1, C2 성분에서 개별 매크로 블록 헤더를 이용하는 경우는, 변환부(310), 역변환부(312)는 색공간 변환을 실행하지 않도록 동작시키도록 하더라도 좋고, 예측 차분 신호(4)의 영역에서 색공간 변환을 실행할지 하지 않을지를 식별 정보로서 비트스트림에 다중하도록 구성하더라도 좋다. 또, 색공간 변환 방법 식별 정보(311)는 시퀀스, 픽처, 슬라이스, 매크로 블록의 어느 단위로 전환되도록 하더라도 좋다.
도 64, 도 65의 부호화 장치, 복호 장치의 구성에서는, C0, C1, C2 성분의 각 변환 계수 데이터는, 색공간 변환 방법 식별 정보(311)에 따라 부호화 대상 신호의 신호 정의 도메인이 다르게 된다. 따라서, 색공간 변환 방법 식별 정보(311)에 따라, 변환 계수 데이터의 분포는, 다른 발생 확률 분포가 되는 것이 일반적이라고 생각된다. 그래서, 도 64, 65와 같이 부호화 장치, 복호 장치를 구성하는 경우는, C0, C1, C2의 각 성분마다, 색공간 변환 방법 식별 정보(311)의 상태마다 개별 발생 확률 상태가 대응된 컨텍스트 모델을 이용하여 부호화ㆍ복호를 행한다.
또, 부호화측에서도 복호측에서도 같은 순서로 컨텍스트 모델을 정의하여 산술 복호하는 것은, 상기 본 실시의 형태 12의 복호 장치의 동작 설명으로부터 자명하다. 또한, 어떤 성분의 정보를 참조한 컨텍스트 모델을 이용할지가 결정된 후는, 그 컨텍스트 모델에 대응되어 있는 발생 확률 상태의 갱신은 발생 확률 상태 파라미터 공통화 식별 플래그(143)의 상태에 근거하여 실행한다.
실시의 형태 14
본 실시의 형태 14에서는, 상기 실시의 형태에서 말한 부호화 장치ㆍ복호 장치에 대하여, 또한 구체적인 장치 구성에 대하여 언급한다.
상기 실시의 형태에서는, 부호화 장치ㆍ복호 장치의 동작 설명을, 예컨대, 도 1, 도 2, 도 30, 도 31 등에 준하는 도면을 이용하여 실시했다. 이들 도면에서는, 3개의 색성분으로 이루어지는 입력 영상 신호를 부호화 장치에 일괄 입력하여, 장치 내부에서 3개의 색성분을 공통의 예측 모드나 매크로 블록 헤더에 근거하여 부호화할지 개개의 예측 모드나 매크로 블록 헤더에 근거하여 부호화할지를 선택하면서 부호화를 행하고, 그 결과 얻어지는 비트스트림을 복호 장치에 입력하여, 복호 장치 내부에서 3개의 색성분이 예측 모드나 매크로 블록 헤더에 근거하여 부호화되어 있는지 개개의 예측 모드나 매크로 블록 헤더에 근거하여 부호화되어 있는지를, 비트스트림으로부터 복호하여 추출한 플래그(예컨대, 인트라 예측 모드 공통화 식별 플래그(23), 인터 예측 모드 공통화 식별 플래그(123) 등)에 근거하여 선택하면서 복호 처리를 행하여 재생 영상을 얻는 동작을 설명했다. 상기 플래그는 매크로 블록, 슬라이스, 픽처, 시퀀스 등의 임의의 데이터 레이어의 단위로 부호화ㆍ복호하더라도 좋은 취지는 이미 명기했지만, 본 실시의 형태 14에서는, 특히, 3개의 색성분 신호를 공통의 매크로 블록 헤더로 부호화할지, 개별 매크로 블록 헤더로 부호화할지를 1 프레임(내지는 1 필드)의 단위로 나누면서 부호화ㆍ복호하는 장치 구성ㆍ동작을 구체적인 도면을 바탕으로 설명한다. 이하, 특별히 말해두지 않는 한, 「1 프레임」이라고 기재한 경우는 1 프레임 내지는 1 필드의 데이터 단위라고 간주한다.
본 실시의 형태 14에 있어서의 매크로 블록 헤더는, 도 15와 같은 변환 블록 사이즈 식별 플래그, 도 50과 같은 매크로 블록 타입ㆍ서브매크로 블록 타입ㆍ인트라 예측 모드 등의 부호화ㆍ예측 모드 정보, 참조 화상 식별 번호ㆍ움직임 벡터 등의 움직임 예측 정보, 변환 계수 유효 무효 지시 정보, 변환 계수에 대한 양자화 파라미터 등, 변환 계수 데이터 이외의 매크로 블록 오버헤드 정보를 포함하는 것으로 한다.
이후, 1 프레임의 3개의 색성분 신호를 공통의 매크로 블록 헤더로 부호화하는 처리를 「공통 부호화 처리」, 1 프레임의 3개의 색성분 신호를 개별적인 독립된 매크로 블록 헤더로 부호화하는 처리를 「독립 부호화 처리」라고 적는다. 마찬가지로, 1 프레임의 3개의 색성분 신호가 공통의 매크로 블록 헤더로 부호화된 비트스트림으로부터 프레임 화상 데이터를 복호하는 처리를 「공통 복호 처리」, 1 프레임의 3개의 색성분 신호가 개별적인 독립된 매크로 블록 헤더로 부호화된 비트스트림으로부터 프레임 화상 데이터를 복호하는 처리를 「독립 복호 처리」라고 적는다. 본 실시의 형태 14에 있어서의 공통 부호화 처리에서는, 도 66에 나타내는 바와 같이, 1 프레임분의 입력 영상 신호를 3개의 색성분을 정리한 형태의 매크로 블록으로 분할한다. 한편, 독립 부호화 처리에서는, 도 67에 나타내는 바와 같이, 1 프레임분의 입력 영상 신호를 3개의 색성분으로 분리하고, 그들을 단일 색성분으로 이루어지는 매크로 블록으로 분할한다. 다시 말해, 공통 부호화 처리의 대상이 되는 매크로 블록은, C0, C1, C2의 3개의 색성분의 샘플을 포함하지만, 독립 부호화 처리의 대상이 되는 매크로 블록은, C0 또는 C1 또는 C2 성분 중 어느 하나의 성분의 샘플만을 포함한다.
도 68은 본 실시의 형태 14의 부호화 장치ㆍ복호 장치에 있어서의, 픽처 사이의 시간 방향의 움직임 예측 참조 관계를 나타내는 설명도이다. 이 예에서는, 굵은 세로의 막대선으로 표시되는 데이터 단위를 픽처로 하고, 픽처와 액세스 유닛의 관계를 점선으로 둘러싸 나타내고 있다. 공통 부호화ㆍ복호 처리의 경우, 1 픽처는, 3개의 색성분이 혼재한 1 프레임분의 영상 신호를 나타내는 데이터이고, 독립 부호화ㆍ복호 처리의 경우, 1 픽처는 어느 하나의 색성분의 1 프레임분의 영상 신호로 한다. 액세스 유닛은, 영상 신호에 대하여 오디오ㆍ음성 정보 등과의 동기 등을 목적으로 하는 타임스탬프를 부여하는 최소 데이터 단위이며, 공통 부호화ㆍ복호 처리의 경우, 하나의 액세스 유닛에는 1 픽처분의 데이터를 포함한다(도 68의 427a). 한편, 독립 부호화ㆍ복호 처리의 경우는 하나의 액세스 유닛에 3개의 픽처가 포함된다(도 68의 427b). 이것은 독립 부호화ㆍ복호 처리의 경우, 3개의 색성분 모두의 동일 표시 시각의 픽처가 얻어져야 비로소 1 프레임분의 재생 영상 신호가 얻어지기 때문이다. 또, 각 픽처의 상부에 부여한 번호는, 픽처의 시간 방향의 부호화ㆍ복호 처리 순서(AVC의 frame_num)를 나타낸다. 도 68에서는, 픽처 사이의 화살표는 움직임 예측의 참조 방향을 나타내고 있다. 즉, 독립 부호화ㆍ복호 처리의 경우, 동일 액세스 유닛에 포함되는 픽처의 사이에서의 움직임 예측 참조, 및 다른 색성분 사이에서의 움직임 예측 참조는 행하지 않는 것으로 하고, C0, C1, C2의 각 색성분의 픽처를 동일 색성분의 신호에 한정하여 예측 참조하면서 부호화ㆍ복호한다. 이러한 구성으로 함으로써, 본 실시의 형태 14에 있어서의 독립 부호화ㆍ복호 처리의 경우는, 각 색성분의 부호화ㆍ복호를, 다른 색성분의 부호화ㆍ복호 처리에 전혀 의존하지 않고 실행할 수 있어, 병렬 처리가 용이해진다.
또, AVC에서는, 자신은 인트라 부호화를 행함과 아울러, 움직임 보상 예측에 이용하는 참조 화상 메모리의 내용을 리셋하는 IDR(instantaneous decoder refresh) 픽처가 정의되어 있다. IDR 픽처는 다른 어떠한 픽처에도 의존하지 않고서 복호가 가능하므로 랜덤 액세스 포인트로서 이용된다. 공통 부호화 처리의 경우의 액세스 유닛은, 1 액세스 유닛 = 1 픽처이지만, 독립 부호화 처리의 경우의 액세스 유닛에서는 1 액세스 유닛이 복수 픽처로 구성되므로, 어떤 색성분 픽처가 IDR 픽처인 경우는 다른 나머지의 색성분 픽처도 IDR 픽처로 하여, IDR 액세스 유닛을 정의하고, 랜덤 액세스 기능을 확보한다.
이하, 공통 부호화 처리에 의한 부호화를 행했는지, 독립 부호화 처리에 의한 부호화를 행했는지를 나타내는 식별 정보를, 본 실시의 형태 14에서는, 공통 부호화ㆍ독립 부호화 식별 신호라고 부른다.
도 69는 본 실시의 형태 14의 부호화 장치에서 생성되어, 본 실시의 형태 14의 복호 장치가 입력ㆍ복호 처리의 대상으로 하는 비트스트림의 구조의 일례를 나타내는 설명도이다. 도 69는 시퀀스로부터 프레임 레벨까지의 비트스트림 구성을 나타낸 것으로, 우선, 시퀀스 레벨의 상위 헤더(AVC의 경우, 시퀀스 파라미터 세트 등)에, 공통 부호화ㆍ독립 부호화 식별 신호(423)를 다중하여 둔다. 개개의 프레임은 액세스 유닛의 단위로 부호화된다. AUD란, AVC에서 액세스 유닛의 경계를 식별하기 위한 유니크한 NAL 유닛인 Access Unit Delimiter NAL 유닛을 나타낸다. 공통 부호화ㆍ독립 부호화 식별 신호(423)가 「공통 부호화 처리에 의한 픽처 부호화」를 나타내는 경우는, 액세스 유닛에는 1 픽처분의 부호화 데이터가 포함된다. 이때의 픽처는, 전술한 바와 같이 3개의 색성분이 혼재한 1 프레임분의 영상 신호를 나타내는 데이터인 것으로 한다. 이때, i번째의 액세스 유닛의 부호화 데이터는 슬라이스 데이터 Slice(i,j)의 집합으로서 구성된다. j는, 1 픽처 내의 슬라이스 데이터의 인덱스이다.
한편, 공통 부호화ㆍ독립 부호화 식별 신호(423)가 「독립 부호화 처리에 의한 픽처 부호화」를 나타내는 경우는, 1 픽처는 어느 하나의 색성분의 1 프레임분의 영상 신호이다. 이때, p번째의 액세스 유닛의 부호화 데이터는, 액세스 유닛 내의 q번째의 픽처의 슬라이스 데이터 Slice(p,q,r)의 집합으로서 구성된다. r은 1 픽처 내의 슬라이스 데이터의 인덱스이다. RGB와 같이 색성분이 3 성분으로 구성되는 영상 신호의 경우, q가 취할 수 있는 값의 개수는 3이다. 또한, 3원색으로 이루어지는 영상 신호에 더하여, 예컨대, 알파블렌딩을 위한 투과도 정보와 같은 부가 데이터를 동일 액세스 유닛으로 하여 부호화ㆍ복호하는 경우나, 4 성분 이상의 색성분(예컨대, 컬러 인쇄에서 사용되는 YMCK 등)으로 구성되는 영상 신호를 부호화ㆍ복호하는 경우 등은, q가 취할 수 있는 값의 개수는 4 이상이 되도록 설정한다. 본 실시의 형태 14에 있어서의 부호화 장치, 복호 장치는, 독립 부호화 처리를 선택하면, 영상 신호를 구성하는 각 색성분을 완전히 독립적으로 부호화하므로, 원리적으로 부호화ㆍ복호 처리를 변경하지 않고, 색성분의 매수(枚數)를 자유로이 변경할 수 있다. 장래, 영상 신호의 색표현을 행하기 위한 신호 형식이 변경된 경우에도, 본 실시의 형태 14에 있어서의 독립 부호화 처리로 대응 가능해지는 효과가 있다.
이러한 구성을 실현하기 위해, 본 실시의 형태 14에서는, 공통 부호화ㆍ독립 부호화 식별 신호(423)는 「1 액세스 유닛 내에 포함되어, 각각이 서로 움직임 예측 참조하지 않고 독립적으로 부호화되는 픽처의 수」라는 형태로 표현한다. 이때, 공통 부호화ㆍ독립 부호화 식별 신호(423)는 상기 파라미터 q가 취할 수 있는 값의 개수로 표현할 수 있게 되고, 이 파라미터가 취할 수 있는 값의 개수를 이후, num_pictures_in_au라고 부른다. 다시 말해, num_pictures_in_au = 1은 「공통 부호화 처리」를 나타내고, num_pictures_in_au = 3은 본 실시의 형태 14에 있어서의 「독립 부호화 처리」를 나타낸다. 색성분이 4 이상이 되는 경우, num_pictures_in_au > 3이 되는 값으로 설정하면 좋다. 이러한 시그널링을 행함으로써, 복호 장치는 num_pictures_in_au를 복호, 참조하면 공통 부호화 처리에 의한 부호화 데이터와 독립 부호화 처리에 의한 부호화 데이터의 구별을 할 수 있을 뿐만 아니라, 하나의 액세스 유닛 내에 몇 매의 단일 색성분 픽처가 존재하는지를 동시에 알 수 있어, 장래의 영상 신호의 색표현 확장에 대한 대응도 가능하게 하면서, 공통 부호화 처리와 독립 부호화 처리를 비트스트림 중에서 매끄럽게 취급하는 것이 가능하다.
도 70은 공통 부호화 처리, 독립 부호화 처리 각각의 경우의 슬라이스 데이터의 비트스트림 구성을 나타내는 설명도이다. 독립 부호화 처리에 의해 부호화된 비트스트림에서는, 후술하는 효과를 달성하기 위해, 복호 장치에서 수신한 슬라이스 데이터가 액세스 유닛 내의 어떤 색성분의 픽처에 속하는 슬라이스인지를 식별 가능하도록, 슬라이스 데이터의 선두의 헤더 영역에 색성분 식별 플래그(color_channel_idc)를 부여한다. color_channel_idc는, 그 값이 같은 슬라이스를 그룹화한다. 다시 말해, color_channel_idc의 값이 다른 슬라이스 사이에서는, 어떠한 부호화ㆍ복호의 의존성(예컨대, 움직임 예측 참조, CABAC의 컨텍스트 모델링ㆍ발생 확률 학습 등)도 갖게 하지 않는 것으로 한다. 이와 같이 규정함으로써, 독립 부호화 처리의 경우의 액세스 유닛 내의 개개의 픽처의 독립성이 확보된다. 또한, 각 슬라이스 헤더에 다중되는 frame_num(슬라이스가 속하는 픽처의 부호화ㆍ복호 처리 순서)에 대해서는, 1 액세스 유닛 내의 전체 색성분 픽처에 있어서 동일한 값으로 한다.
도 71은 본 실시의 형태 14의 부호화 장치의 개략 구성을 나타내는 설명도이다. 도 71에 있어서, 공통 부호화 처리는 제 1 픽처 부호화부(503a)에서 실행되고, 독립 부호화 처리는 제 2 픽처 부호화부(503b0, 503b1, 503b2)(3개의 색성분분을 준비)에 있어서 실행된다. 입력 영상 신호(1)는, 스위치(SW)(501)에 의해 제 1 픽처 부호화부(503a)나, 색성분 분리부(502) 및 제 2 픽처 부호화부(503b0~503b2) 중 하나에 공급된다. 스위치(501)는, 공통 부호화ㆍ독립 부호화 식별 신호(423)에 의해 구동되어, 입력 영상 신호(1)를 지정된 경로에 공급한다. 이하에서는, 공통 부호화ㆍ독립 부호화 식별 신호(num_pictures_in_au)(423)는, 입력 영상 신호가 4:4:4 포맷인 경우에 시퀀스 파라미터 세트에 다중되고, 시퀀스의 단위로 공통 부호화 처리와 독립 부호화 처리를 선택하는 신호로 하는 경우에 대하여 설명한다. 이것은 상기 실시의 형태 7에서 말한 인터 예측 모드 공통화 식별 플래그(123)나, 상기 실시의 형태 11에서 말한 매크로 블록 헤더 공통화 식별 플래그(123c)와 개념적으로 동일하다. 공통 부호화 처리를 이용한 경우는 복호 장치측에서는 공통 복호 처리를 실행하고, 독립 부호화 처리를 이용한 경우는 복호 장치측에서는 독립 복호 처리를 실행할 필요가 있으므로, 공통 부호화ㆍ독립 부호화 식별 신호(423)는 그것을 지정하는 정보로서 비트스트림에 다중할 필요가 있다. 그 때문에, 공통 부호화ㆍ독립 부호화 식별 신호(423)는 다중화부(504)에 입력된다. 이 공통 부호화ㆍ독립 부호화 식별 신호(423)의 다중화 단위는, 시퀀스 내의 몇 개의 픽처군으로 이루어지는 GOP(Group Of Picture)의 단위 등, 픽처보다 상위 레이어이면 어떠한 단위이더라도 좋다.
제 1 픽처 부호화부(503a)에서는, 공통 부호화 처리를 실행하기 위해, 입력 영상 신호(1)를 도 66에 나타내는 바와 같이 3개의 색성분의 샘플을 정리한 형식의 매크로 블록으로 분할하여, 그 단위로 부호화 처리를 진행시킨다. 제 1 픽처 부호화부(503a)에서의 부호화 처리는 후술한다. 독립 부호화 처리가 선택된 경우는, 입력 영상 신호(1)는 색성분 분리부(502)에서 C0, C1, C2의 1 프레임분의 데이터로 분리되어, 각각 대응하는 제 2 픽처 부호화부(503b0~503b2)에 공급된다. 제 2 픽처 부호화부(503b0~503b2)에서는, 색성분마다 분리된 1 프레임분의 신호를 도 67에 나타내는 형식의 매크로 블록으로 분할하여, 그 단위로 부호화 처리를 진행시킨다. 제 2 픽처 부호화부에서의 부호화 처리는 후술한다.
제 1 픽처 부호화부(503a)에는, 3개의 색성분으로 이루어지는 1 픽처분의 영상 신호가 입력되고, 부호화 데이터는 비디오 스트림(422a)으로서 출력된다. 제 2 픽처 부호화부(503b0~503b2)에는, 단일 색성분으로 이루어지는 1 픽처분의 영상 신호가 입력되고, 부호화 데이터는 비디오 스트림(422b0~422b2)으로서 출력된다. 이들 비디오 스트림은, 공통 부호화ㆍ독립 부호화 식별 신호(423)의 상태에 근거하여 다중화부(504)에서 비디오 스트림(422c)의 형식으로 다중화되어, 출력된다.
비디오 스트림(422c)의 다중화에 있어서는, 독립 부호화 처리되는 경우의 액세스 유닛 중에서는, 슬라이스 데이터의 비트스트림 중에서의 다중화순, 전송순을, 액세스 유닛 내의 픽처(각 색성분) 사이에서 인터리브 가능하게 한다(도 72). 이 경우, 복호 장치측에서는, 수신한 슬라이스 데이터가, 액세스 유닛 내의 어떤 색성분에 속하는 슬라이스인지를 식별할 필요가 있다. 그 때문에, 슬라이스 데이터의 선두의 헤더 영역에 도 70과 같이 다중하는 색성분 식별 플래그를 이용한다.
이러한 구성으로 함으로써, 부호화 장치에서는, 도 71의 부호화 장치와 같이 3개의 색성분의 픽처를 각각 독립한 제 2 픽처 부호화부(503b0~503b2)의 3 세트 사용하여, 병렬 처리에 의해 부호화를 행하는 경우에, 다른 색성분 픽처의 부호화 데이터의 완성을 기다리지 않고서, 자신의 픽처의 슬라이스 데이터가 준비되면 곧 부호화 데이터를 송출 가능해진다. AVC에서는 1 픽처를 복수의 슬라이스 데이터로 분할하여 부호화할 수 있어, 슬라이스 데이터 길이나 슬라이스 내에 포함되는 매크로 블록의 개수에 대해서는, 부호화 조건에 따라 유연하게 변화시킬 수 있다. 화상 공간상에서 이웃하는 슬라이스의 사이에서는, 슬라이스의 복호 처리의 독립성을 확보하기 위해, 인트라 예측이나 산술 부호화 등의 근방 컨텍스트를 이용할 수 없으므로, 슬라이스 데이터 길이는 가능한 한 긴 쪽이 부호화 효율은 높다. 한편, 전송이나 기록의 과정에서 비트스트림에 오류가 혼입된 경우는, 슬라이스 데이터 길이가 짧을수록 오류로부터의 복귀가 빨라져, 품질 열화를 억제하기 쉬워진다. 색성분 식별 플래그를 다중화하지 않고, 슬라이스의 길이나 구성, 색성분의 순서 등을 고정적으로 해버리면, 부호화 장치에 있어서 비트스트림의 생성 조건이 고정화되어버려, 다양한 부호화 요구 조건에 유연하게 대응할 수 없게 된다.
또한, 도 72와 같이 비트스트림을 구성할 수 있으면, 부호화 장치에서는 전송에 필요한 송신 버퍼 사이즈, 즉, 부호화 장치측에서의 처리 지연을 작게 할 수 있다. 그 모습을 도 72에 나타낸다. 만약 픽처에 걸친 슬라이스 데이터의 다중이 허용되지 않는 경우, 부호화 장치는, 어떤 특정한 색성분의 픽처의 부호화가 종료되기까지의 사이, 다른 픽처의 부호화 데이터를 버퍼링시킬 필요가 있다. 이것은 픽처 레벨에서의 지연이 발생하는 것을 의미한다. 한편, 도 72 최하부에 나타내는 바와 같이, 슬라이스 레벨에서 인터리브 가능하게 하면, 어떤 특정한 색성분의 픽처 부호화부는 슬라이스 데이터의 단위로 부호화 데이터를 다중화부에 출력할 수 있어, 지연을 억제할 수 있다.
또, 하나의 색성분 픽처 내에서는, 그것에 포함되는 슬라이스 데이터는 매크로 블록의 래스터 스캔순으로 전송하도록 하더라도 좋고, 하나의 픽처 내에서도 인터리브 전송을 가능하게 하도록 구성하더라도 좋다.
이하, 제 1 및 제 2 픽처 부호화부의 동작을 상세히 설명한다.
제 1 픽처 부호화부의 동작 개요
제 1 픽처 부호화부(503a)의 내부 구성을 도 73에 나타낸다. 도 73에 있어서, 입력 영상 신호(1)는, 4:4:4 포맷이고, 또한 도 66의 형식의 3개의 색성분을 정리한 매크로 블록의 단위로 입력되는 것으로 한다.
우선, 예측부(461)에 있어서, 메모리(16a)에 저장되는 움직임 보상 예측 참조 화상 데이터 중에서 참조 화상을 선택하고, 그 매크로 블록의 단위로 움직임 보상 예측 처리가 행해진다. 메모리(16a)에는, 복수 시각에 걸친, 3개의 색성분으로 구성되는 복수매의 참조 화상 데이터가 저장되고, 예측부(461)에서는, 이들 중에서 매크로 블록의 단위로 최적인 참조 화상을 선택하여 움직임 예측을 행한다. 메모리(16a) 내의 참조 화상 데이터의 배치는, 색성분마다 면순차적으로 나누어 저장하더라도 좋고, 각 색성분의 샘플을 점순차적으로 저장하더라도 좋다. 움직임 보상 예측을 행하는 블록 사이즈는 7종류 준비되어 있고, 우선 매크로 블록 단위로, 도 32(a)~(d)에 나타내는 바와 같이, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택할 수 있다. 또한 8×8이 선택된 경우에는, 각 8×8 블록마다, 도 32(e)~(h)에 나타내는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택할 수 있다.
예측부(461)에서는, 도 32의 전부 또는 일부의 블록 사이즈ㆍ서브블록 사이즈, 및 소정의 탐색 범위의 움직임 벡터 및 이용 가능한 1매 이상의 참조 화상에 대하여 매크로 블록마다 움직임 보상 예측 처리를 실행하여, 움직임 벡터 정보와 예측에 이용하는 참조 화상 식별 번호(463)와 감산기(3)에 의해, 움직임 보상 예측 단위가 되는 블록마다의 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 예측부(461)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율이 얻어지는 매크로 블록 타입/서브매크로 블록 타입(106)과 움직임 벡터 정보ㆍ참조 화상 식별 번호(463)를 출력한다. 매크로 블록 타입, 서브매크로 블록 타입, 참조 화상 인덱스, 움직임 벡터 등의 매크로 블록 헤더 정보는 전부, 3개의 색성분에 대하여 공통의 헤더 정보로서 결정되어, 부호화에 사용되고, 비트스트림에 다중화된다. 예측 효율의 최적성의 평가에 있어서는, 연산량을 억제할 목적으로, 어떤 소정의 색성분(예컨대, RGB 중의 G 성분, YUV 중의 Y 성분 등)에 대한 예측 오차량만을 평가하더라도 좋고, 연산량은 커지지만 최적의 예측 성능을 얻도록 모든 색성분에 대한 예측 오차량을 종합 평가하도록 하더라도 좋다. 또한, 최종적인 매크로 블록 타입/서브매크로 블록 타입(106)의 선정에 있어서는, 부호화 제어부(19)의 판단으로 정해지는 각 타입에 대한 가중 계수(20)가 가미되는 경우도 있다.
마찬가지로, 예측부(461)에서는, 인트라 예측도 실행한다. 인트라 예측 실행시는, 출력 신호(463)에는, 인트라 예측 모드 정보가 출력된다. 이후, 특별히 인트라 예측, 움직임 보상 예측을 구별하지 않는 경우에는, 출력 신호(463)는 인트라 예측 모드 정보, 움직임 벡터 정보, 참조 화상 식별 번호를 정리하여 예측 오버헤드 정보라고 부른다. 인트라 예측에 대해서도 소정의 색성분만의 예측 오차량을 평가하더라도 좋고, 모든 색성분에 대한 예측 오차량을 종합 평가하도록 하더라도 좋다. 마지막으로, 매크로 블록 타입을 인트라 예측으로 할지, 인터 예측으로 할지를, 부호화 모드 판정부(5)에 있어서 예측 효율 또는 부호화 효율로 평가하여 선정한다.
선정된 매크로 블록 타입/서브매크로 블록 타입(106)과, 예측 오버헤드 정보(463)에 근거한 인트라 예측ㆍ움직임 보상 예측에 의해 얻어지는 예측 차분 신호(4)를 변환부(310)에 출력한다. 변환부(310)는 입력되는 예측 차분 신호(4)를 변환하여 변환 계수로서 양자화부(9)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 중 하나에서 선택하도록 하더라도 좋다. 변환 블록 사이즈를 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(464)의 값에 반영하고, 동 플래그를 비트스트림에 다중화한다. 양자화부(9)는 입력되는 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하여, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 3개의 색성분분의 정보를 포함하고, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역변환부(312)를 지나 국부 복호 예측 차분 신호(14)로 복원되고, 선정된 매크로 블록 타입/서브매크로 블록 타입(106)과 예측 오버헤드 정보(463)에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은, 디블로킹 필터(462)에서 블록 왜곡 제거 처리를 실시한 후, 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(16a)에 저장된다. 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블로킹 필터를 실시할지 여부를 나타내는 디블로킹 필터 제어 플래그(24)도 입력된다.
가변 길이 부호화부(11)에 입력되는 양자화 완료 변환 계수(10), 매크로 블록 타입/서브매크로 블록 타입(106), 예측 오버헤드 정보(463), 양자화 파라미터(21)는 소정의 규칙(신텍스)에 따라 비트스트림으로서 배열ㆍ정형되고, 도 66의 형식의 매크로 블록이 하나 내지는 복수개 정리된 슬라이스 데이터의 단위로 NAL 유닛화된 부호화 데이터로서 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞춰 비트스트림을 평활화하여 비디오 스트림(422a)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트스트림 축적 상황에 따라 부호화 제어부(19)에 피드백을 걸어, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
또, 제 1 픽처 부호화부(503a)의 출력은, 3 성분을 정리한 단위의 슬라이스이고 액세스 유닛을 정리한 단위에서의 부호량과 등가이므로, 송신 버퍼(17)는 그대로 다중화부(504) 내에 배치하더라도 좋다.
본 실시의 형태 14에 있어서의 제 1 픽처 부호화부(503a)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(423)에 의해 시퀀스 중의 모든 슬라이스 데이터가 C0, C1, C2 혼재 슬라이스(즉, 3개의 색성분의 정보가 혼재하는 슬라이스)인 것을 식별 가능하므로, 슬라이스 헤더에 색성분 식별 플래그는 다중화하지 않는다.
제 2 픽처 부호화부의 동작 개요
제 2 픽처 부호화부(503b0)(503b1, 503b2)의 내부 구성을 도 74에 나타낸다. 도 74에 있어서, 입력 영상 신호(1)는, 도 67의 형식의 단일 색성분의 샘플로 이루어지는 매크로 블록의 단위로 입력되는 것으로 한다.
우선, 예측부(461)에 있어서, 메모리(16b)에 저장되는 움직임 보상 예측 참조 화상 데이터 중에서 참조 화상을 선택하고, 그 매크로 블록의 단위로 움직임 보상 예측 처리를 행한다. 메모리(16b)에는, 복수 시각에 걸친, 단일 색성분으로 구성되는 복수매의 참조 화상 데이터를 저장할 수 있고, 예측부(461)에서는, 이들 중에서 매크로 블록의 단위로 최적의 참조 화상을 선택하여 움직임 예측을 행한다. 메모리(16b)는 3개의 색성분분을 정리한 단위로 메모리(16a)와 공용하도록 하더라도 좋다. 움직임 보상 예측을 행하는 블록 사이즈로는 7종류 준비되어 있고, 우선 매크로 블록 단위로, 도 32(a)~(d)에 나타내는 바와 같이, 16×16, 16×8, 8×16, 8×8 중 하나의 사이즈를 선택할 수 있다. 또한 8×8이 선택된 경우에는, 각 8×8 블록마다, 도 32(e)~(h)에 나타내는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 하나의 사이즈를 선택할 수 있다.
예측부(461)에서는, 도 32의 전부 또는 일부의 블록 사이즈ㆍ서브블록 사이즈, 및 소정의 탐색 범위의 움직임 벡터 및 이용 가능한 1매 이상의 참조 화상에 대하여 매크로 블록마다 움직임 보상 예측 처리를 실행하여, 움직임 벡터 정보와 예측에 이용하는 참조 화상 식별 번호(463)와 감산기(3)에 의해, 움직임 보상 예측 단위가 되는 블록마다의 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 예측부(461)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율이 얻어지는 매크로 블록 타입/서브매크로 블록 타입(106)과 움직임 벡터 정보ㆍ참조 화상 식별 번호(463)를 출력한다. 매크로 블록 타입, 서브매크로 블록 타입, 참조 화상 인덱스, 움직임 벡터 등의 매크로 블록 헤더 정보는 전부, 입력 영상 신호(1)의 단일 색성분의 신호에 대한 헤더 정보로서 결정되어, 부호화에 사용되고, 비트스트림에 다중화된다. 예측 효율의 최적성의 평가에 있어서는, 부호화 처리 대상이 되는 단일 색성분에 대한 예측 오차량만을 평가한다. 또한, 최종적인 매크로 블록 타입/서브매크로 블록 타입(106)의 선정에 있어서는, 부호화 제어부(19)의 판단으로 정해지는 각 타입에 대한 가중 계수(20)가 가미되는 경우도 있다.
마찬가지로, 예측부(461)에서는, 인트라 예측도 실행한다. 인트라 예측 실행시는, 출력 신호(463)에는, 인트라 예측 모드 정보가 출력된다. 이후, 특별히 인트라 예측, 움직임 보상 예측을 구별하지 않는 경우에는, 출력 신호(463)는 인트라 예측 모드 정보, 움직임 벡터 정보, 참조 화상 식별 번호를 정리하여 예측 오버헤드 정보라고 부른다. 인트라 예측에 대해서도 부호화 처리 대상이 되는 단일 색성분에 대한 예측 오차량만을 평가한다. 마지막으로, 매크로 블록 타입을 인트라 예측으로 할지, 인터 예측으로 할지를 예측 효율 또는 부호화 효율로 평가하여 선정한다.
선정된 매크로 블록 타입/서브매크로 블록 타입(106)과, 예측 오버헤드 정보(463)에 의해 얻어지는 예측 차분 신호(4)를 변환부(310)에 출력한다. 변환부(310)는 입력되는 단일 색성분분의 예측 차분 신호(4)를 변환하여 변환 계수로서 양자화부(9)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 중에서 선택하도록 하더라도 좋다. 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(464)의 값에 반영하고, 동 플래그를 비트스트림에 다중화한다. 양자화부(9)는 입력되는 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하고, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 단일 색성분분의 정보를 포함하고, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역변환부(312)를 지나 국부 복호 예측 차분 신호(14)로 복원되고, 선정된 매크로 블록 타입/서브매크로 블록 타입(106)과 예측 오버헤드 정보(463)에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은, 디블로킹 필터(462)에서 블록 왜곡 제거 처리를 실시한 후, 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(16b)에 저장된다. 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블로킹 필터를 실시할지 여부를 나타내는 디블로킹 필터 제어 플래그(24)도 입력된다.
가변 길이 부호화부(11)에 입력되는 양자화 완료 변환 계수(10), 매크로 블록 타입/서브매크로 블록 타입(106), 예측 오버헤드 정보(463), 양자화 파라미터(21)는 소정의 규칙(신텍스)에 따라 비트스트림으로서 배열ㆍ정형되고, 도 67의 형식의 매크로 블록이 하나 내지는 복수개 정리된 슬라이스 데이터의 단위로 NAL 유닛화된 부호화 데이터로서 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞춰 비트스트림을 평활화하여 비디오 스트림(422b0)(422b1, 422b2)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트스트림 축적 상황에 따라 부호화 제어부(19)에 피드백을 걸어, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
또, 제 2 픽처 부호화부(503b0~503b2)의 출력은, 단일 색성분의 데이터만으로 이루어지는 슬라이스이고, 액세스 유닛을 정리한 단위에서의 부호량 제어가 필요하게 되는 경우에는, 다중화부(504) 내에 전체 색성분의 슬라이스를 다중한 단위에서의 공통 송신 버퍼를 마련하고, 동 버퍼의 점유량을 바탕으로 각 색성분의 부호화 제어부(19)에 피드백을 걸도록 구성하더라도 좋다. 또한, 이때, 전체 색성분의 발생 정보량만을 이용하여 부호화 제어를 행하도록 하더라도 좋고, 각 색성분의 송신 버퍼(17)의 상태도 가미하여 부호화 제어를 행하도록 하더라도 좋다. 전체 색성분의 발생 정보량만을 이용하여 부호화 제어를 행하는 경우는, 송신 버퍼(17) 상당의 기능을 다중화부(504) 내의 공통 송신 버퍼에서 실현함으로써, 송신 버퍼(17)를 생략하는 구성을 취할 수도 있다.
본 실시의 형태 14에 있어서의 제 2 픽처 부호화부(503b0~503b2)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(423)에 의해 시퀀스 중의 모든 슬라이스 데이터가 단일 색성분 슬라이스(즉, C0 슬라이스 또는 C1 슬라이스 또는 C2 슬라이스)인 것을 식별 가능하므로, 슬라이스 헤더에 항상 색성분 식별 플래그를 다중화하고, 복호 장치측에서 어떤 슬라이스가 액세스 유닛 내의 어떤 픽처 데이터에 해당하는지를 식별할 수 있도록 한다. 이 때문에, 각 제 2 픽처 부호화부(503b0~503b2)는, 각각의 송신 버퍼(17)로부터의 출력을 1 픽처분 모으지 않고, 1 슬라이스분의 데이터가 모인 시점에 송출할 수 있다.
또 공통 부호화ㆍ독립 부호화 식별 신호(num_pictures_in_au)는, 공통 부호화 처리에 의한 부호화 데이터와 독립 부호화 처리에 의한 부호화 데이터를 구별하는 정보(공통 부호화 식별 정보)와, 하나의 액세스 유닛 내에 몇 매의 단일 색성분 픽처가 존재하는지를 나타내는 정보(색성분의 수)를 동시에 표현할 수 있도록 했지만, 상기 2개의 정보를 독립적인 정보로서 부호화하더라도 좋다.
또, 제 1 픽처 부호화부(503a)와 제 2 픽처 부호화부(503b0~503b2)는, 매크로 블록 헤더 정보를 3 성분 공통의 정보로서 취급하는지, 단일 색성분의 정보로서 취급하는지의 차이와, 슬라이스 데이터의 비트스트림 구성이 다를 뿐이다. 도 73이나 도 74에 있어서의 예측부나 변환부ㆍ역변환부, 양자화부ㆍ역양자화부, 디블로킹 필터 등의 기본적인 처리 블록의 대부분은, 3개의 색성분의 정보와 정리하여 처리하는지, 단일 색성분의 정보만을 취급하는지의 차이뿐이고, 제 1 픽처 부호화부(503a)와 제 2 픽처 부호화부(503b0~503b2)에서 공통의 기능 블록으로 실현할 수도 있다. 따라서, 도 71과 같은 완전히 독립적인 부호화 처리부로서 뿐만 아니라, 도 73이나 도 74의 기본 구성 요소를 적절히 조합하여 다양한 부호화 장치의 실장(實裝)을 실현할 수 있다. 또한, 제 1 픽처 부호화부(503a)에서의 메모리(16a)의 배치를 면순차적으로 가지기로 하면, 참조 화상 저장 메모리의 구성을 제 1 픽처 부호화부(503a)와 제 2 픽처 부호화부(503b0~503b2)에서 공통으로 할 수 있다.
또, 도시는 하지 않고 있지만, 본 실시의 형태 14에 있어서의 부호화 장치에서는, 도 69, 도 70의 배열에 따르는 비디오 스트림(422c)을 버퍼링하는 가상적인 스트림 버퍼(부호화 픽처 버퍼)와, 복호 화상(427a, 427b)을 버퍼링하는 가상적인 프레임 메모리(복호 픽처 버퍼)의 존재를 상정하여, 부호화 픽처 버퍼의 오버플로우ㆍ언더플로우나, 복호 픽처 버퍼의 파탄이 없도록 비디오 스트림(422c)을 생성한다. 이 제어는 주로, 부호화 제어부(19)에서 행한다. 이에 따라, 복호 장치에 있어서, 비디오 스트림(422c)을 부호화 픽처 버퍼와 복호 픽처 버퍼의 동작(가상 버퍼 모델)에 따라 복호하는 경우에, 복호 장치에 파탄이 생기지 않도록 하는 것을 보증한다. 가상 버퍼 모델을 이하에 규정한다.
부호화 픽처 버퍼의 동작은 액세스 유닛 단위로 행한다. 상술한대로, 공통 복호 처리를 행하는 경우에는 1 액세스 유닛에는 1 픽처분의 부호화 데이터가 포함되고, 독립 복호 처리를 행하는 경우에는 1 액세스 유닛에는 색성분수만큼의 픽처(3 성분이면 3 픽처분)의 부호화 데이터가 포함되어 있다. 부호화 픽처 버퍼에 대하여 규정되는 동작은, 액세스 유닛의 최초의 비트와 최후의 비트가 부호화 픽처 버퍼에 입력되는 시각과 액세스 유닛의 비트가 부호화 픽처 버퍼로부터 판독되는 시각이다. 또 부호화 픽처 버퍼로부터의 판독은 순간적으로 행해진다고 규정하여, 액세스 유닛의 모든 비트가 같은 시각에 부호화 픽처 버퍼로부터 판독되는 것으로 한다. 액세스 유닛의 비트는 부호화 픽처 버퍼로부터 판독되면, 상위 헤더 해석부에 입력되고, 상술한대로, 제 1 픽처 복호부 또는 제 2 픽처 복호부에서 복호 처리가 행해져, 액세스 유닛 단위로 묶여진 컬러 영상 프레임으로서 출력된다. 또 부호화 픽처 버퍼로부터 비트를 판독하여, 액세스 유닛 단위의 컬러 영상 프레임으로서 출력하기까지의 처리는, 가상 버퍼 모델의 규정상으로는 순간적으로 행해지는 것으로 한다. 액세스 유닛 단위로 구성된 컬러 영상 프레임은 복호 픽처 버퍼에 입력되고, 복호 픽처 버퍼로부터의 출력 시각이 산출된다. 복호 픽처 버퍼로부터의 출력 시각은, 부호화 픽처 버퍼로부터의 판독 시각에 소정의 지연 시간을 더한 값이다. 이 지연 시간은 비트스트림에 다중하여 복호 장치를 제어하는 것이 가능하다. 지연 시간이 0인 경우, 즉, 복호 픽처 버퍼로부터의 출력 시각이 부호화 픽처 버퍼로부터의 판독 시각과 같은 경우에는, 컬러 영상 프레임이 복호 픽처 버퍼에 입력되면서 동시에 복호 픽처 버퍼로부터 출력된다. 그 이외의 경우, 즉, 복호 픽처 버퍼로부터의 출력 시각이 부호화 픽처 버퍼로부터의 판독 시각보다 느린 경우, 복호 픽처 버퍼로부터의 출력 시각이 될 때까지 컬러 영상 프레임은 복호 픽처 버퍼에 보존된다. 상술한대로, 액세스 유닛 단위로 복호 픽처 버퍼로부터의 동작이 규정된다.
도 75는 본 실시의 형태 14의 복호 장치의 개략 구성을 나타내는 설명도이다. 도 75에 있어서, 공통 복호 처리는 제 1 픽처 복호부(603a)에서 실행되고, 독립 복호 처리는 색성분 판정부(602)와 제 2 픽처 복호부(603b0, 603b1, 603b2)(3개의 색성분분을 준비)에 있어서 실행된다.
비디오 스트림(422c)은, 상위 헤더 해석부(610)에서 NAL 유닛 단위로 분할되고, 시퀀스 파라미터 세트나 픽처 파라미터 세트 등의 상위 헤더 정보는, 그대로 복호하여 복호 장치 내의 제 1 픽처 복호부(603a), 색성분 판정부(602), 제 2 픽처 복호부(603b0~603b2)가 참조 가능한 소정의 메모리 영역에 저장하여 둔다. 시퀀스 단위로 다중되는 공통 부호화ㆍ독립 부호화 식별 신호(423)(num_pictures_in_au)는, 상위 헤더 정보의 일부로서 복호ㆍ유지된다.
복호된 num_pictures_in_au는 스위치(SW)(601)에 공급되고, 스위치(601)는 num_pictures_in_au = 1이면, 픽처마다의 슬라이스 NAL 유닛을 제 1 픽처 복호부(603a)에 공급하고, num_pictures_in_au = 3이면, 색성분 판정부(602)에 공급한다. 즉, num_pictures_in_au = 1이면 제 1 픽처 복호부(603a)에 의해, 공통 복호 처리가 행해지고, num_pictures_in_au = 3이면 3개의 제 2 픽처 복호부(603b0~603b2)에 의해, 독립 복호 처리가 행해진다. 제 1 및 제 2 픽처 복호부의 상세한 동작은 후술한다.
색성분 판정부(602)는, 도 70에 나타낸 색성분 식별 플래그의 값에 의해, 슬라이스 NAL 유닛이 현재의 액세스 유닛 내의 어느 색성분 픽처에 상당하는지를 식별하여, 적절한 제 2 픽처 복호부(603b0~603b2)에 분배 공급한다. 이러한 복호 장치의 구성에 의해, 도 72와 같이 액세스 유닛 내에서 슬라이스가 인터리브되어 부호화된 비트스트림을 수신하더라도, 어떤 슬라이스가 어떤 색성분 픽처에 속하는지를 용이하게 판별하여 정확하게 복호할 수 있는 효과가 있다.
제 1 픽처 복호부의 동작 개요
제 1 픽처 복호부(603a)의 내부 구성을 도 76에 나타낸다. 제 1 픽처 복호부(603a)는, 도 71의 부호화 장치로부터 출력되는 도 69, 도 70의 배열에 따르는 비디오 스트림(442c)을, 상위 헤더 해석부(610)에서 NAL 유닛 단위로 분할한 후, C0, C1, C2 혼재 슬라이스의 단위로 수신하고, 도 66에 나타내는 3개의 색성분의 샘플로 이루어지는 매크로 블록을 단위로 하여 복호 처리를 행하여, 출력 영상 프레임을 복원한다.
가변 길이 복호부(25)는 NAL 유닛으로 분할된 비디오 스트림(442c)을 입력으로 하여, 소정의 규칙(신텍스)에 따라 비디오 스트림(442c)을 해독하여, 3 성분분의 양자화 완료 변환 계수(10), 및 3 성분에서 공통하여 이용되는 매크로 블록 헤더 정보(매크로 블록 타입/서브매크로 블록 타입(106), 예측 오버헤드 정보(463), 변환 블록 사이즈 지정 플래그(464), 양자화 파라미터(21))를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 함께, 제 1 픽처 부호화부(503a)와 같은 처리를 행하는 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 제 1 픽처 부호화부(503a)와 같은 처리를 행하는 역변환부(312)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다(변환 블록 사이즈 지정 플래그(464)가 비디오 스트림(422c) 중에 존재하면, 그것을 역양자화, 역변환 처리 과정에서 참조함). 한편, 예측부(461)는, 제 1 픽처 부호화부(503a) 중의 예측부(461) 중, 예측 오버헤드 정보(463)를 참조하여 예측 화상(7)을 생성하는 처리만이 포함되고, 예측부(461)에 대하여 매크로 블록 타입/서브매크로 블록 타입(106), 예측 오버헤드 정보(463)가 입력되어, 3 성분분의 예측 화상(7)을 얻는다. 매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 인트라 예측 모드 정보에 따라 3 성분분의 예측 화상(7)을 얻고, 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 움직임 벡터, 참조 화상 인덱스에 따라 3 성분분의 예측 화상(7)을 얻는다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 3 성분분의 잠정 복호 화상(국부 복호 화상)(15)을 얻는다. 잠정 복호 화상(15)은 이후의 매크로 블록의 움직임 보상 예측에 사용되므로, 제 1 픽처 부호화부(503a)와 같은 처리를 행하는 디블로킹 필터(462)에서 3 성분분의 잠정 복호 화상 샘플에 대하여 블록 왜곡 제거 처리를 실시한 후, 복호 화상(427a)으로서 출력됨과 아울러, 메모리(16a)에 저장된다. 이때, 가변 길이 복호부(25)에 의해 해독된 디블로킹 필터 제어 플래그(24)의 지시에 근거하여 디블로킹 필터 처리를 잠정 복호 화상(15)에 대하여 작용시킨다. 메모리(16a)에는, 복수 시각에 걸친, 3개의 색성분으로 구성되는 복수매의 참조 화상 데이터가 저장되고, 예측부(461)에서는, 이들 중에서 매크로 블록의 단위로 비트스트림으로부터 추출한 참조 화상 인덱스로 표시되는 참조 화상을 선택하여 예측 화상 생성을 행한다. 메모리(16a) 내의 참조 화상 데이터의 배치는, 색성분마다 면순차적으로 나누어 저장하더라도 좋고, 각 색성분의 샘플을 점순차적으로 저장하더라도 좋다. 복호 화상(427a)은 3개의 색성분을 포함하고, 그대로 공통 복호 처리에 있어서의 액세스 유닛(427a0)을 구성하는 컬러 영상 프레임이 된다.
제 2 픽처 복호부의 동작 개요
제 2 픽처 복호부(603b0~603b2)의 내부 구성을 도 77에 나타낸다. 제 2 픽처 복호부(603b0~603b2)는, 도 71의 부호화 장치로부터 출력되는 도 69, 도 70의 배열에 따르는 비디오 스트림(442c)이, 상위 헤더 해석부(610)에서 NAL 유닛 단위로 분할되어, 색성분 판정부(602)에서 분류된 C0 내지는, C1 내지는, C2 슬라이스 NAL 유닛 단위로 수신하여, 도 67에 나타내는 단일 색성분의 샘플로 이루어지는 매크로 블록을 단위로 하여 복호 처리를 행하여, 출력 영상 프레임을 복원한다.
가변 길이 복호부(25)는 비디오 스트림(422c)을 입력으로 하여, 소정의 규칙(신텍스)에 따라 비디오 스트림(422c)을 해독하여, 단일 색성분의 양자화 완료 변환 계수(10), 및 단일 색성분에 적용하는 매크로 블록 헤더 정보(매크로 블록 타입/서브매크로 블록 타입(106), 예측 오버헤드 정보(463), 변환 블록 사이즈 지정 플래그(464), 양자화 파라미터(21))를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 함께 제 2 픽처 부호화부(503b0)(503b1, 503b2)와 같은 처리를 행하는 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 제 2 픽처 부호화부(503b0)(503b1, 503b2)와 같은 처리를 행하는 역변환부(312)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다(변환 블록 사이즈 지정 플래그(464)가 비디오 스트림(422c) 중에 존재하면, 그것을 역양자화, 역직교 변환 처리 과정에서 참조함). 한편, 예측부(461)는, 제 2 픽처 부호화부(503b0)(503b1, 503b2) 중의 예측부(461) 중, 예측 오버헤드 정보(463)를 참조하여 예측 화상(7)을 생성하는 처리만이 포함되고, 예측부(461)에 대하여 매크로 블록 타입/서브매크로 블록 타입(106), 예측 오버헤드 정보(463)가 입력되어, 단일 색성분의 예측 화상(7)을 얻는다. 매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 인트라 예측 모드 정보에 따라 단일 색성분의 예측 화상(7)을 얻고, 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 움직임 벡터, 참조 화상 인덱스에 따라 단일 색성분의 예측 화상(7)을 얻는다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 단일 색성분 매크로 블록의 잠정 복호 화상(15)을 얻는다. 잠정 복호 화상(15)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해, 제 2 픽처 부호화부(503b0)(503b1, 503b2)와 같은 처리를 행하는 디블로킹 필터(26)에서 단일 색성분의 잠정 복호 화상 샘플에 대하여 블록 왜곡 제거 처리를 실시한 후, 복호 화상(427b)으로서 출력됨과 아울러, 메모리(16b)에 저장된다. 이때, 가변 길이 복호부(25)에 의해 해독된 디블로킹 필터 제어 플래그(24)의 지시에 근거하여 디블로킹 필터 처리를 잠정 복호 화상(15)에 대하여 작용시킨다. 복호 화상(427b)은 단일 색성분의 샘플만을 포함하고, 도 75에 있어서의 다른 병렬 처리되는 제 2 픽처 복호부(603b0~603b2)의 각각의 출력인 복호 화상(427b)을 액세스 유닛(427b0)의 단위로 묶음으로써 컬러 영상 프레임으로서 구성된다.
이상으로부터 분명하듯이, 제 1 픽처 복호부(603a)와 제 2 픽처 복호부(603b0~603b2)는, 매크로 블록 헤더 정보를 3 성분 공통의 정보로서 취급하는지, 단일 색성분의 정보로서 취급하는지의 차이와, 슬라이스 데이터의 비트스트림 구성이 다를 뿐이고, 도 73이나 도 74에 있어서의 움직임 보상 예측 처리나 역변환, 역양자화 등의 기본적인 복호 처리 블록의 대부분은 제 1 픽처 복호부(603a)와 제 2 픽처 복호부(603b0~603b2)에서 공통의 기능 블록으로 실현할 수 있다. 따라서, 도 75와 같은 완전히 독립적인 복호 처리부로서 뿐만 아니라, 도 76이나 도 77의 기본 구성 요소를 적절히 조합하여 다양한 복호 장치의 실장을 실현할 수 있다. 또한, 제 1 픽처 복호부(603a)에서의 메모리(16a)의 배치를 면순차적으로 가지기로 하면, 메모리(16a), 메모리(16b)의 구성을 제 1 픽처 복호부(603a)와 제 2 픽처 복호부(603b0~603b2)에서 공통으로 할 수 있다.
또, 도 75의 복호 장치는, 도 71의 부호화 장치의 다른 형태로서, 공통 부호화ㆍ독립 부호화 식별 신호(423)를 항상 「독립 부호화 처리」로 고정화하여, 제 1 픽처 부호화부(503a)를 일체 사용하지 않고 전체 프레임을 독립 부호화하도록 구성된 부호화 장치로부터 출력되는 비트스트림을 수신하여 복호하는 것도 물론 가능하다. 또한, 도 75의 복호 장치의 다른 형태로서, 항상 공통 부호화ㆍ독립 부호화 식별 신호(423)가 「독립 부호화 처리」에 고정화되는 것을 전제로 하는 이용 형태에서는, 스위치(601)나 제 1 픽처 복호부(603a)를 생략한 독립 복호 처리만을 행하는 복호 장치로서 구성하더라도 좋다.
또 공통 부호화ㆍ독립 부호화 식별 신호(num_pictures_in_au)는, 공통 부호화 처리에 의한 부호화 데이터와 독립 부호화 처리에 의한 부호화 데이터를 구별하는 정보(공통 부호화 식별 정보)와, 하나의 액세스 유닛 내에 몇 매의 단일 색성분 픽처가 존재하는지를 나타내는 정보(색성분의 수)를 포함하도록 했지만, 상기 2개의 정보가 독립적인 정보로서 부호화되어 있더라도 좋다.
또한, 제 1 픽처 복호부(603a)에, 종래의 YUV 4:2:0 포맷을 대상으로 하여 3 성분 정리하여 부호화된 AVC 하이 프로파일 준거의 비트스트림의 복호 기능을 구비하도록 하고, 상위 헤더 해석부(610)에 있어서, 비디오 스트림(422c)으로부터 복호하는 프로파일 식별자를 참조하여 어느 포맷으로 부호화된 비트스트림인지를 판정하여, 판정 결과를 공통 부호화ㆍ독립 부호화 식별 신호(423)의 신호선의 정보의 일부로서 스위치(601)와 제 1 픽처 복호부(603a)에 전하는 구성을 취하면, 종래의 YUV 4:2:0 포맷의 비트스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수도 있다.
또, 본 실시의 형태 14에 있어서의 제 1 픽처 부호화부(503a)에서는, 슬라이스 데이터에 3개의 색성분의 정보가 혼재하고, 또한 3개의 색성분에 대하여 완전히 같은 인트라ㆍ인터 예측 처리를 실시하므로, 예측 오차 신호 공간에서, 색성분 사이에서의 신호 상관이 잔존하는 경우가 있다. 이것을 제거하는 고안으로서, 예컨대, 예측 오차 신호에 대하여, 상기 실시의 형태 13에 말한 색공간 변환 처리를 실시하도록 구성하더라도 좋다. 이러한 구성을 갖는 제 1 픽처 부호화부(503a)의 예를 도 78, 도 79에 나타낸다. 도 78은 색공간 변환 처리를, 변환 처리를 행하기 전의 화소 레벨에서 실시하는 예이며, 색공간 변환부(465)를 변환부(310)의 앞에, 역색공간 변환부(466)를 역변환부(312)의 뒤에 배치한다. 도 79는 색공간 변환 처리를, 변환 처리를 행한 후에 얻어진 계수 데이터에 대하여 처리 대상의 주파수 성분을 적절히 선택하면서 실시하는 예이며, 색공간 변환부(465)를 변환부(310)의 뒤에, 역색공간 변환부(466)를 역변환부(312)의 앞에 배치한다. 색공간 변환을 실시하는 주파수 성분을 한정함으로써, 특정한 색성분에 포함되는 고주파 노이즈 성분이 노이즈를 그다지 포함하지 않는 다른 색성분에 전파되는 것을 억제할 수 있는 효과가 있다. 색공간 변환 처리의 대상이 되는 주파수 성분을 적응 선택 가능하게 하는 경우에는, 복호측에서 부호화시의 선택을 판단하기 위한 시그널링 정보(467)를 비트스트림에 다중화한다.
색공간 변환 처리는, 부호화 대상의 화상 신호의 성질에 따라 상기 실시의 형태 13에서 말한 복수의 변환 방식을 매크로 블록 단위로 전환하여 사용하도록 하더라도 좋고, 매크로 블록의 단위로 변환 유무를 판정하도록 구성하더라도 좋다. 선택 가능한 변환 방식의 종별을 시퀀스 레벨 등으로 지정하여 두고, 그들 중에서 어느 것을 선택하는지를 픽처, 슬라이스, 매크로 블록 등의 단위로 지정하도록 구성할 수도 있다. 또한, 직교 변환 전에 실시할지, 후에 실시할지를 선택 가능하도록 구성하더라도 좋다. 이들 적응 부호화 처리를 행하는 경우는, 선택 가능한 모든 선택지에 대하여, 부호화 모드 판정부(5)에서 부호화 효율의 평가를 행하여 가장 부호화 효율이 높은 것을 선택하도록 구성할 수 있다. 이들 적응 부호화 처리를 실시하는 경우는, 복호측에서 부호화시의 선택을 판단하기 위한 시그널링 정보(467)를 비트스트림에 다중화한다. 이러한 시그널링은, 슬라이스, 픽처, GOP, 시퀀스 등 매크로 블록과는 다른 레벨에서 지정하더라도 좋다.
도 78, 도 79의 부호화 장치에 대응하는 복호 장치를 도 80, 도 81에 나타낸다. 도 80은 도 78의 부호화 장치에 의해, 변환 처리 전에 색공간 변환이 행해져 부호화된 비트스트림을 복호하는 복호 장치이다. 가변 길이 복호부(25)는 비트스트림으로부터, 역색공간 변환부(466)에 있어서 변환을 행할지 행하지 않을지를 선택하는 변환 유무의 정보나, 역색공간 변환부(466)에 있어서 실행 가능한 변환 방식을 선택하는 정보인 시그널링 정보(467)를 복호하여, 역색공간 변환부(466)에 공급한다. 도 80의 복호 장치는, 역색공간 변환부(466)에 있어서, 이들 정보에 근거하여 역변환 후의 예측 오차 신호에 대한 색공간 변환 처리를 실시한다. 또한, 도 81은 도 79의 부호화 장치에 의해, 변환 처리 후에 처리 대상의 주파수 성분을 선택하여 색공간 변환을 행함으로써 부호화된 비트스트림을 복호하는 복호 장치이다. 가변 길이 복호부는 비트스트림으로부터, 역색공간 변환부(466)에 있어서 변환을 행할지 행하지 않을지를 선택하는 변환 유무의 정보나, 역색공간 변환부에서 실행되는 변환 방식을 선택하는 정보나, 색공간 변환을 실시하는 주파수 성분을 특정하는 정보 등을 포함하는 식별 정보인 시그널링 정보(467)를 복호하여 역색공간 변환부(466)에 공급한다. 도 81의 복호 장치는, 역색공간 변환부(466)에 있어서, 이들 정보에 근거하여 역양자화 후의 변환 계수 데이터에 대하여 색공간 변환 처리를 실시한다.
도 80, 도 81의 복호 장치는, 도 75의 복호 장치와 마찬가지로, 제 1 픽처 복호부(603a)에, 종래의 YUV 4:2:0 포맷을 대상으로 하여 3 성분 정리하여 부호화된 AVC 하이 프로파일 준거의 비트스트림의 복호 기능을 구비하도록 하고, 상위 헤더 해석부(610)에 있어서, 비디오 스트림(422c)으로부터 복호하는 프로파일 식별자를 참조하여 어느 포맷으로 부호화된 비트스트림인지를 판정하고, 판정 결과를 공통 부호화ㆍ독립 부호화 식별 신호(423)의 신호선의 정보의 일부로서 스위치(601)와 제 1 픽처 복호부(603a)에 전하는 구성을 취하면, 종래의 YUV 4:2:0 포맷의 비트스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수도 있다.
도 82에 종래의 YUV 4:2:0 포맷의 비트스트림에 포함되는 매크로 블록 헤더 정보의 부호화 데이터의 구성을 나타낸다. 도 50에 나타낸 Cn 성분 헤더 정보와 다른 점은, 매크로 블록 타입이 인트라 예측일 때에, 인트라 색차 예측 모드(144)의 부호화 데이터가 포함되어 있는 점뿐이다. 또 매크로 블록 타입이 인터 예측일 때에는, 매크로 블록 헤더 정보의 부호화 데이터의 구성은, 도 50에 나타낸 Cn 성분 헤더 정보와 같지만, 매크로 블록 헤더 정보에 포함되는 참조 화상 식별 번호, 움직임 벡터 정보를 이용하여 휘도 성분과는 다른 방법으로 색차 성분의 움직임 벡터가 생성된다.
종래의 YUV 4:2:0 포맷의 비트스트림에 대한 호환성을 확보하는 복호 장치의 동작에 대하여 설명한다. 상술한대로, 제 1 픽처 복호부(603a)가 종래의 YUV 4:2:0 포맷의 비트스트림의 복호 기능을 구비하는 것으로 한다. 제 1 픽처 복호부의 내부 구성은 도 76과 같다.
종래의 YUV 4:2:0 포맷의 비트스트림의 복호 기능을 구비한 제 1 픽처 복호부의 가변 길이 복호부(25)의 동작을 설명한다. 비디오 스트림(422c)이 가변 길이 복호부에 입력되면, 색차 포맷 지시 플래그를 복호한다. 색차 포맷 지시 플래그는 비디오 스트림(422c)의 시퀀스 파라미터 헤더에 포함되어, 입력 영상 포맷이 4:4:4인지, 4:2:2인지, 4:2:0인지, 4:0:0인지를 나타내는 플래그이다. 비디오 스트림(422c)의 매크로 블록 헤더 정보의 복호 처리는 색차 포맷 지시 플래그의 값에 따라 전환된다. 매크로 블록 타입이 인트라 예측을 나타내고 있는 경우이고, 색차 포맷 지시 플래그가 4:2:0 또는 4:2:2를 나타내고 있는 경우에는 인트라 색차 예측 모드(144)를 비트스트림으로부터 복호한다. 색차 포맷 지시 플래그가 4:4:4를 나타내고 있는 경우에는 인트라 색차 예측 모드(144)의 복호를 스킵한다. 색차 포맷 지시 플래그가 4:0:0을 나타내고 있는 경우, 입력 영상 신호는 휘도 신호만으로 구성되는 포맷(4:0:0 포맷)이므로, 인트라 색차 예측 모드(144)의 복호를 스킵한다. 인트라 색차 예측 모드(144) 이외의 매크로 블록 헤더 정보의 복호 처리는, 종래의 YUV 4:2:0 포맷의 비트스트림의 복호 기능을 구비하고 있지 않은 제 1 픽처 복호부(603a)의 가변 길이 복호부와 같다. 이상에 의해 비디오 스트림(422c)이 가변 길이 복호부(25)에 입력되면, 색차 포맷 지시 플래그(도시하지 않음), 3 성분분의 양자화 완료 변환 계수(10), 매크로 블록 헤더 정보(매크로 블록 타입/서브매크로 블록 타입(106), 예측 오버헤드 정보(463), 변환 블록 사이즈 지정 플래그(464), 양자화 파라미터(21))를 추출한다. 예측부(461)에는, 색차 지시 포맷 지시 플래그(도시하지 않음)와 예측 오버헤드 정보(463)가 입력되어, 3 성분분의 예측 화상(7)을 얻는다.
도 83에 종래의 YUV 4:2:0 포맷의 비트스트림에 대한 호환성을 확보하는 제 1 픽처 복호부의 예측부(461)의 내부 구성을 나타내고, 그 동작을 설명한다.
전환부(4611a)는, 매크로 블록 타입을 판별하고, 매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 전환부(4611b)에서 색차 포맷 지시 플래그의 값을 판별한다. 색차 포맷 지시 플래그의 값이, 4:2:0 또는 4:2:2 중 하나를 나타내는 경우에는, 예측 오버헤드 정보(463)로부터 인트라 예측 모드 정보와 인트라 색차 예측 모드 정보에 따라 3 성분분의 예측 화상(7)을 얻는다. 3 성분 중, 휘도 신호의 예측 화상은, 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부(4612)에서 생성된다. 색차 신호 2 성분의 예측 화상은, 인트라 색차 예측 모드 정보에 따라, 휘도 성분과는 다른 처리를 행하는 색차 신호 인트라 예측부(4613)에서 생성된다. 색차 포맷 지시 플래그의 값이, 4:4:4를 나타내는 경우에는, 3 성분 모든 예측 화상이 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부(4612)에서 생성된다. 색차 포맷 지시 플래그의 값이, 4:0:0을 나타내는 경우에는, 4:0:0 포맷은 휘도 신호(1 성분)만으로 구성되므로, 휘도 신호의 예측 화상만이 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부(4612)에서 생성된다.
전환부(4611a)에서 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 전환부(4611c)에서 색차 포맷 지시 플래그의 값을 판별한다. 색차 포맷 지시 플래그의 값이 4:2:0 또는 4:2:2 중 하나를 나타내는 경우에는, 휘도 신호에 대해서는, 휘도 신호 인터 예측부(4614)에서 예측 오버헤드 정보(463)로부터 움직임 벡터, 참조 화상 인덱스에 따라, AVC 규격이 정하는 휘도 신호의 예측 화상 생성 방법에 따라 예측 화상이 생성된다. 색차 신호 2 성분의 예측 화상에 대해서는, 색차 신호 인터 예측부(4615)에서, 예측 오버헤드 정보(463)로부터 얻어지는 움직임 벡터를 색차 포맷에 근거하여 스케일링하여 색차 움직임 벡터를 생성하고, 예측 오버헤드 정보(463)로부터 얻어지는 참조 화상 인덱스가 지시하는 참조 화상으로부터, 상기 색차 움직임 벡터에 근거하여 AVC 규격이 정하는 방법에 따라 예측 화상이 생성된다. 색차 포맷 지시 플래그의 값이, 4:0:0을 나타내는 경우에는, 4:0:0 포맷은 휘도 신호(1 성분)만으로 구성되므로, 휘도 신호의 예측 화상만이 움직임 벡터, 참조 화상 인덱스에 따라 휘도 신호 인터 예측부(4614)에서 생성된다.
이상과 같이, 종래의 YUV 4:2:0 포맷의 색차 신호의 예측 화상을 생성하는 수단을 마련하고, 비트스트림으로부터 복호한 색차 포맷 지시 플래그의 값에 따라 3 성분의 예측 화상의 생성에 이용하는 수단을 전환하도록 했으므로, 종래의 YUV 4:2:0 포맷의 비트스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수 있다.
또, 도 80, 도 81의 복호 장치에 공급하는 비디오 스트림(422c)에, 도 75의 복호 장치와 같이 색공간 변환 처리를 지원하지 않는 복호 장치에서도 복호가 가능한 비트스트림인지 여부를 나타내는 정보를 시퀀스 파라미터 세트 등의 단위로 부여하여 두면, 도 80, 도 81과 도 75의 모든 복호 장치에서 각각의 복호 성능에 따른 비트스트림의 복호가 가능하여, 비트스트림의 호환성을 확보하기 쉬운 효과가 있다.
실시의 형태 15
본 실시의 형태 15에서는, 도 71이나 도 75 등 상기 실시의 형태 14의 부호화 장치ㆍ복호 장치에 있어서, 그 입출력 대상이 되는 비트스트림의 구성만이 다른 별도의 실시의 형태에 대하여 말한다. 본 실시의 형태 15에 있어서의 부호화 장치는, 도 84에 나타내는 비트스트림 구성으로 부호화 데이터의 다중화를 행한다.
도 69의 구성의 비트스트림에 있어서, AUD NAL 유닛은, 그 요소로서 primary_pic_type라는 정보를 포함한다. 이것은, AUD NAL 유닛으로 시작되는 액세스 유닛 내의 픽처 데이터가 부호화될 때의 픽처 부호화 타입의 정보를 도 85에 나타낸다.
예컨대, primary_pic_type = 0인 경우는, 픽처 내 전부가 인트라 부호화되어 있는 것을 나타낸다. primary_pic_type = 1인 경우는, 인트라 부호화되는 슬라이스와, 참조 픽처 리스트를 하나만 사용하여 움직임 보상 예측을 행하는 것이 가능한 슬라이스가 픽처 내에서 혼재할 수 있는 것을 나타낸다. primary_pic_type는 하나의 픽처를 어떤 부호화 모드를 사용하여 부호화할 수 있는지를 규정하는 정보이므로, 부호화 장치측에서는 이 정보를 조작함으로써, 입력 영상 신호의 성질이나 랜덤 액세스 기능 등의 여러 가지의 조건에 적합한 부호화를 행할 수 있다. 상기 실시의 형태 14에서는, primary_pic_type가 액세스 유닛당 하나밖에 없으므로, 독립 부호화 처리를 행하는 경우의 액세스 유닛에서는 3개의 색성분 픽처에서 primary_pic_type는 공통으로 한다. 본 실시의 형태 15에서는, 각 색성분 픽처의 독립 부호화를 행하는 경우에, 도 69의 AUD NAL 유닛 내에, num_pictures_in_au의 값에 따라, 추가로 나머지 2개의 색성분 픽처분의 primary_pic_type를 삽입하거나, 도 84의 비트스트림 구성과 같이, 각 색성분 픽처의 부호화 데이터를, 색성분 픽처의 개시를 나타내는 NAL 유닛(Color Channel Delimiter)으로부터 시작하도록 구성하고, 이 CCD NAL 유닛 중에, 대응하는 픽처의 primary_pic_type 정보를 포함하도록 구성한다. 이 구성에서는, 각 색성분 픽처의 부호화 데이터는 1 픽처분 정리하여 다중되므로, 상기 실시의 형태 14에서 말한 색성분 식별 플래그(color_channel_idc)는 슬라이스 헤더가 아니라, CCD NAL 유닛에 포함시키도록 한다. 이에 따라, 각 슬라이스로의 다중이 필요했던 색성분 식별 플래그의 정보를 픽처 단위의 데이터에 집약할 수 있으므로, 오버헤드 정보를 삭감할 수 있는 효과가 있다. 또한, 바이트열로서 구성되는 CCD NAL 유닛을 검출하여 color_channel_idc를 색성분 픽처당 1번만 검증하면 좋고, 가변 길이 복호 처리를 행하지 않고 색성분 픽처의 선두를 신속하게 찾아 낼 수 있으므로, 복호 장치측에서, 색성분마다 복호 대상의 NAL 유닛을 분리하기 위해 슬라이스 헤더 중의 color_channel_idc를 축일 검증하지 않더라도 좋게 되어, 제 2 픽처 복호부로의 데이터 공급을 원활히 행할 수 있다.
한편으로, 이러한 구성에서는, 상기 실시의 형태 14의 도 72에서 말한, 부호화 장치의 버퍼 사이즈, 처리 지연을 저감하는 효과가 줄어들기 때문에, 색성분 식별 플래그는 슬라이스 단위로 다중할지, 색성분 픽처 단위로 다중할지를 보다 상위의 레벨(시퀀스나 GOP)에서 시그널링하도록 구성하더라도 좋다. 이러한 비트스트림 구성을 취함으로써, 부호화 장치는 그 이용 형태에 따라 유연한 실장을 행하는 것이 가능해진다.
또 다른 실시의 형태로서, 도 86에 나타내는 비트스트림 구성으로 부호화 데이터의 다중화를 행하더라도 좋다. 도 86에 있어서, 도 84에서는 CCD NAL 유닛에 포함하도록 한 color_channel_idc, primary_pic_type는 각 AUD에 포함하도록 한다. 본 실시의 형태 15에 있어서의 비트스트림 구성에서는, 독립 부호화 처리의 경우에도, 하나의 액세스 유닛에 하나의(색성분) 픽처가 포함되도록 구성한다. 이러한 구성에서도, 색성분 식별 플래그의 정보를 픽처 단위의 데이터에 집약할 수 있는 것에 따른 오버헤드 정보의 삭감 효과, 또한, 바이트열로서 구성되는 AUD NAL 유닛을 검출하여 color_channel_idc를 픽처당 1번만 검증하면 좋고, 가변 길이 복호 처리를 행하지 않고 색성분 픽처의 선두를 신속하게 찾아 낼 수 있으므로, 복호 장치측에서, 색성분마다 복호 대상의 NAL 유닛을 분리하기 위해 슬라이스 헤더 중의 color_channel_idc를 축일 검증하지 않고 제 2 픽처 복호부로의 데이터 공급을 원활히 행할 수 있다. 한편, 1 프레임 내지는 1 필드의 화상은 3개의 액세스 유닛으로 구성되므로, 3개의 액세스 유닛이 동일 시각의 화상 데이터인 것을 지정할 필요가 있다. 이 때문에, 도 86의 비트스트림 구성에서는, AUD 내에, 각 픽처의 시퀀스 번호(시간 방향의 부호화ㆍ복호 순서 등)를 더 부여하도록 구성할 수도 있다. 이러한 구성에 의해, 복호 장치측에서는 각 픽처의 복호ㆍ표시순이나 색성분 속성, IDR의 시비(是非) 등을, 슬라이스 데이터를 일절 복호하지 않고 검증 가능해져, 비트스트림 레벨의 편집이나 특수 재생을 효율적으로 행하는 것이 가능해진다.
또한, 도 69, 도 84 내지는 도 86의 비트스트림 구성에 있어서, AUD나 CCD의 영역에, 하나의 색성분 픽처에 포함되는 슬라이스 NAL 유닛의 개수를 지정하는 정보를 저장하도록 구성하더라도 좋다.
또, 상기 모든 실시예에 대하여, 변환 처리, 역변환 처리는, DCT와 같이 직교성을 보증하는 변환이라도 좋고, AVC와 같은, 엄밀하게는 DCT와 같은 직교 변환이 아닌, 양자화ㆍ역양자화 처리와 조합하여 직교성을 근사하는 변환이더라도 좋다. 또한, 변환을 행하지 않고서, 예측 오차 신호를 화소 레벨의 정보로서 부호화하는 구성이더라도 좋다.
실시의 형태 16
본 실시의 형태 16에서는, 4:4:4 포맷으로 입력되는 영상 프레임을, 각 색성분 독립으로 Mi×Mi 화소(i = 0, 1, 2)의 직사각형 영역으로 분할한 단위로 프레임 내, 프레임간 적응 예측을 이용하여 부호화를 행하는 부호화 장치, 및 대응하는 복호 장치에 대하여 설명한다. Mi는, 영상 프레임의 i번째의 색성분의 신호를 분할하는 영역의 사이즈를 나타낸다.
1. 부호화 장치의 동작 개요
도 87에, 본 실시의 형태 16에 있어서의 영상 부호화 장치의 구성을 나타낸다. 4:4:4 포맷의 입력 영상 신호(1)는, 색성분 분리부(502)에 있어서, 각 색성분의 화면 성분(505b0, 505b1, 505b2)으로 분리되고, 각각 같은 구성으로 이루어지는 픽처 부호화부(503b0, 503b1, 503b2)에 입력된다. 또한, 이때, 색성분 분리부(502)로부터는, 각 픽처 부호화부(503b0, 503b1, 503b2)에 있어서의 부호화 단위의 직사각형 영역의 사이즈 Mi를 지정하는 정보(506b0, 506b1, 506b2)를 각각 대응하는 픽처 부호화부(503b0, 503b1, 503b2)에 입력한다. 이에 따라, 색성분 Ci를 부호화하는 픽처 부호화부(503b0, 503b1, 503b2)는, 각 화면 성분(505b0, 505b1, 505b2)을 직사각형 영역 사이즈 Mi에 근거하여 분할하고, 그 단위로 부호화를 행한다.
이하, 픽처 부호화부(503b0, 503b1, 503b2)의 상세 동작 설명을 행한다. 본 실시의 형태 16의 픽처 부호화부(503b0, 503b1, 503b2)의 설명은, 도 74의 구성을 변형하는 형태로 설명을 행한다. 도 88에 픽처 부호화부(503b0, 503b1, 503b2)의 내부 구성을 나타낸다. 동 도면 중, 도 74의 픽처 부호화부와 같은 번호를 부여한 기능 블록이나 신호선은, 특별히 언급하지 않는 한, 도 74의 것과 동일한 것으로 한다. 이하, 픽처 부호화부(503b0, 503b1, 503b2)의 설명에 있어서는, 각 색성분의 화면 성분(505b0, 505b1, 505b2)을 대표하여 입력 신호(505)로 하고, 부호화 단위의 직사각형 영역의 사이즈 Mi를 지정하는 정보(506b0, 506b1, 506b2)는 대표하여 부호화 블록 사이즈 지시 정보(506)로 하여 기재한다. 입력 신호(505)는, 부호화 블록 사이즈 지시 정보(506)에 근거하여 블록 분할부(40)에 의해 직사각형 블록으로 분할된다. 또한, 색성분 Ci에 대응하는 입력 신호(505)를, 이후의 설명에서는 부호화 처리의 데이터 단위로서 픽처라고 부르는 경우가 있다.
입력 신호(505)는, 입력 영상 신호(1)가 휘도ㆍ색차 신호(예컨대, Y, Cb, Cr이나 Y, Co, Cg 등)의 색공간이 표현된 신호인 경우, 505b0으로서 휘도 성분을, 505b1, 505b2로서 색차 성분을 할당한다고 하는 부호화 방법이 있다. 이 경우, 휘도 성분은 화상 신호가 갖는 텍스처 정보를 집약한 신호가 되고, 색차 신호는 반대로 텍스처 성분에 관계되는 휘도 성분과의 상관이 제외되어, 시각적으로는 모노크롬 화상에 대한 착색의 의미를 갖는 신호 성분이 된다. 따라서, 텍스처의 구조를 근거로 하는 프레임간의 움직임 보상 예측이나, AVC에서 채용되는 프레임 내의 공간 예측이라고 하는 신호 예측에 있어서, 예측의 단위로 하는 블록의 사이즈는 반드시 휘도 성분과 같을 필요는 없다. 반대로, 색차 신호에 대하여 말하면, 반드시 휘도 성분과 동일한 블록 사이즈로 예측을 행하는 것은 아니고, 색차 신호의 화면 내에서의 상관을 최대한 활용 가능한 개별적인 블록 사이즈로 예측을 행하는 쪽이 부호화 효율을 높일 수 있다고 생각된다. 예컨대, Y 성분을 C0, Cb 성분을 C1, Cr 성분을 C2로 한 경우, M0 = 16, M1 = M2 = 32로 하여, 색차 성분의 블록 사이즈를 휘도보다 크게 잡으면, 3개 중 2개의 성분에 대해서는, 부호화 단위당 오버헤드 정보(예측 모드, 움직임 벡터 등)를 휘도 성분의 4분의 1 정도까지 저감할 수 있다. 이 모습을 도 89에 나타낸다.
또한, Mi는, 화상 사이즈에 따라 정하도록 구성하더라도 좋다. 예컨대 HDTV 신호(1920 화소×1080 라인)의 영상과 의미적으로 같은 내용을 갖는 CIF 신호(352 화소×288 라인) 등의 저해상도 영상을 비교한 경우, HDTV 신호의 4 화소×4 라인 블록은 CIF 신호에서는 1 화소 영역의 사이즈밖에 갖지 않는다. 따라서, 화상 해상도가 높아질수록, 화소당 커버하는 실질적인 화상 텍스처 영역은 작아져 간다. 프레임간의 움직임 보상 예측이나 프레임 내 공간 예측에서는, 원래의 화상의 텍스처 구조의 유사도를 검출하여 가장 유사도가 높은 신호 부분을 예측치로서 이용하므로, 예측의 단위가 되는 블록 내의 신호에 어느 정도 텍스처 구조가 보존되어 있지 않으면, 예측이 잘 되지 않는다(예측 성능이 잡음 성분에 저해됨). 따라서, 해상도가 높은 영상에서는 블록 사이즈를 크게 잡아 저해상도시에 커버되는 텍스처 영역을 커버할 수 있도록 구성하는 것이 바람직하다. 따라서, 화상 사이즈가 커질수록 Mi를 크게 한다고 하는 등의 구성을 취하는 것도 가능하다. 이후, Mi×Mi 화소로 이루어지는 직사각형 영역을 매크로 블록이라 부른다.
블록 분할부(40)에 의해 매크로 블록으로 분할된 입력 신호(505)에 대하여, 우선, 예측부(461)에 있어서, 커런트 픽처의 국소 복호 완료의 메모리(16b)에 저장되는 주변 화소로부터 공간 예측을 행하는 인트라 예측 처리, 내지는, 메모리(16b)에 저장되는 1 프레임분 이상의 예측 참조 화상 데이터 중에서 참조 화상을 이용하여 각 색성분마다 움직임 보상 예측 처리가 행해진다. 본 실시의 형태 16에 있어서의 예측부(461)의 처리는 도 74의 예측부(461)와 동작이 다르므로, 이하 설명한다.
1.1 인트라 예측 처리
예측부(461)에 있어서, 메모리(16b)에 저장되는 참조 화상(701)을 이용하여, 그 매크로 블록의 단위로 인트라 예측 처리가 행해진다. 인트라 예측의 모드에는, N 화소×N 라인의 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 N×N 예측 모드, 도 89에 나타내는 매크로 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 매크로 블록 단위 인트라 예측 모드가 있다.
(a) 인트라 N×N 예측 모드
매크로 블록 내를 N×N 화소 블록으로 구성되는 블록으로 분할하고, 각 블록에 대하여 공간 예측을 행한다. 인트라 N×N 예측을 행하는 단위가 되는 블록 사이즈 N으로서는, 매크로 블록의 사이즈 Mi에 대하여 균등 분할이 가능한 사이즈를 선택하는 것으로 한다. 예컨대, Mi = 16이면 N = 4, 8, Mi = 32이면 N = 4, 8, 16 중 하나를 이용한다. 예측치로서는, 이미 부호화를 끝내고, 국부 복호 처리되어 메모리(16b)에 저장된 커런트 픽처의 주위의 블록(좌측 위, 위, 우측 위, 좌측)의 화소를 이용한다. 예측 모드로서, 예컨대, 도 3에 나타내는 복수의 모드를 준비한다. 상기 실시의 형태 1과 마찬가지로, 도 3은 N = 4인 경우의 예측 모드 종별을 도시하고 있고, 9개의 예측 모드가 있는 것을 나타낸다. 이 9개 중 하나를 4×4 화소 블록 단위로 선택한다.
Intra4×4_pred_mode = 0 : 인접하는 상부의 화소를 그대로 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 1 : 인접하는 좌측의 화소를 그대로 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 2 : 인접하는 8개의 화소의 평균치를 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 3 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(우측 45도 에지에 대응).
Intra4×4_pred_mode = 4 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 45도 에지에 대응).
Intra4×4_pred_mode = 5 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 22.5도 에지에 대응).
Intra4×4_pred_mode = 6 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 67.5도 에지에 대응).
Intra4×4_pred_mode = 7 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(우측 22.5도 에지에 대응).
Intra4×4_pred_mode = 8 : 인접하는 화소로부터 2~3 화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(좌측 112.5도 에지에 대응).
N = 4로 하는 경우, 매크로 블록당 모드 정보는 16개 필요하게 된다. 모드 정보 자체의 부호량을 억제하기 위해, 모드 정보는 인접하는 블록 사이의 상관이 높은 것을 이용하여, 인접하는 블록의 모드 정보로부터 예측 부호화를 행한다. N이 8, 16이라고 하는 사이즈가 되는 경우는, 도시는 하지 않지만, N = 4인 경우와 마찬가지의, 화상 텍스처의 방향성을 가미한 공간 예측 모드를 정의하여, Mi×Mi의 매크로 블록 가운데를 균등하게 N×N으로 분할한 서브블록의 단위로 인트라 예측 처리를 행한다.
(b) 매크로 블록 단위 인트라 예측 모드
매크로 블록 사이즈에 상당하는 Mi×Mi 화소 블록을 한 번에 예측하는 모드이며, Mi = 16인 경우, 도 4에 나타내는 4개의 모드 중 하나를 매크로 블록 단위로 선택한다. 인트라 N×N 예측 모드와 마찬가지로, 이미 부호화를 끝내고, 국부 복호 처리되어 메모리(16b)에 저장된 주위의 매크로 블록(좌측 위, 위, 좌측)의 화소를 예측 화상 생성에 이용한다.
Intra16×16_pred_mode = 0 : 위 매크로 블록의 최하변의 16 화소를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 1 : 좌측 매크로 블록의 최우변의 16 화소를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 2 : 위 매크로 블록의 최하변의 16 화소(도 4의 A 부분)와 좌측 매크로 블록의 최좌변의 16 화소(도 4의 B 부분)의 합계 32 화소의 평균치를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 3 : 좌측 위의 매크로 블록의 좌측 아래 구석의 화소, 위 매크로 블록의 최하변의 15 화소(흰 화소를 제외한 부분), 좌측 매크로 블록의 최우변의 15 화소(흰 화소를 제외한 부분)의 합계 31 화소를 이용하여 소정의 연산 처리(사용하는 화소와 예측하는 화소 위치에 따른 가중 부가 가산 처리)에 의해 예측 화상을 얻는다. Mi가 16이 아닌 경우도, Mi = 16인 경우와 마찬가지의, 화상 텍스처의 방향성을 가미한 매크로 블록 단위의 공간 예측 모드를 정의하는 것으로 한다.
예측부(461)에서 행해지는 인트라 예측 모드 선택을 위한 예측 효율 평가의 규범으로서는 예컨대,
Jm = Dm + λRm(λ : 정수)로 주어지는 비트율 왜곡 비용을 이용할 수 있다. 여기서, Dm은 인트라 예측 모드 m을 적용한 경우의 부호화 왜곡 또는 예측 오차량이다. 부호화 왜곡이란, 인트라 예측 모드 m을 적용하여 예측 차분 신호를 얻고, 예측 차분 신호를 변환ㆍ양자화한 결과로부터 영상을 복호하여 부호화 전의 신호에 대한 오차를 계측하는 것이다. 예측 오차량은, 인트라 예측 모드 m을 적용한 경우의 예측 화상과 부호화 전의 신호의 차분을 얻고, 그 차분의 크기를 정량화한 것으로, 예컨대, 차분 절대치 합(Sum of Absolute Distance : SAD) 등이 이용된다. Rm은 인트라 예측 모드 m을 적용한 경우의 발생 부호량이다. 다시 말해, Jm은 인트라 예측 모드 m을 적용한 경우의 부호량과 열화도의 트레이드오프를 규정하는 값이며, 최소의 Jm을 제공하는 인트라 예측 모드 m이 최적해를 제공한다.
1.2 움직임 보상 예측 처리
예측부(461)에 있어서는, 또한, 메모리(16b)에 저장되는 부호화 완료의 국부 복호 화상(15)을 이용하여, 그 매크로 블록의 단위로 프레임간 움직임 보상 예측 처리가 행해진다. 움직임 보상 예측을 행하는 블록 사이즈로서, 도 90(a)~(d)에 나타내는 바와 같이, 매크로 블록 단위로, Mi×Mi 화소, Mi×(Mi/2), (Mi/2)×Mi, (Mi/2)×(Mi/2) 중 하나의 분할 형상 타입을 선택할 수 있는 것으로 한다. 또한 (Mi/2)×(Mi/2)가 선택된 경우에는, 각 (Mi/2)×(Mi/2) 블록마다, 도 90(e)~(h)에 나타내는 바와 같이, (Mi/2)×(Mi/2), (Mi/2)×(Mi/4), (Mi/4)×(Mi/2), (Mi/4)×(Mi/4) 중 어느 하나의 사이즈를 선택할 수 있다.
또한, 도 90(i)~(l)에 나타내는 바와 같이, 매크로 블록 내를 불균등 분할한 영역을 움직임 보상 예측 단위로 하도록 구성하더라도 좋다. 화상 신호에는 일반적으로 윤곽을 갖는 피사체가 포함되어, 윤곽을 경계로 움직임의 불연속이 발생하는 경우가 많다. 매크로 블록이나 그 서브셋으로서의 직사각형 블록만이 움직임 검출의 단위이면, 블록 내에 물체 경계가 존재하여 움직임의 불연속이 생기는 경우는, 블록 분할을 상세하게 하여 움직임 벡터의 개수를 늘리지 않으면 예측 효율이 높아지지 않는다고 하는 상황이 발생한다. 도 90(i)~(l)과 같이, 매크로 블록을 불균등 분할한 영역을 움직임 보상 예측 단위로서 준비하여 두면, 보다 적은 움직임 벡터로 물체 윤곽상의 움직임의 불연속성을 커버하여 예측 효율을 높일 수 있다.
또한, 일반적으로는, 매크로 블록 내에 윤곽이 존재하는 경우의 매크로 블록 중에 있어서의 윤곽의 위치나 형상은 다양하며, 그들을 전부 정의하기 위해서는 도 90(i)~(l)과 같은 형상에 머물지 않고 모든 블록 내 분할을 정의할 필요가 있지만, 본 실시의 형태 16의 도 90(i)~(l)과 같이, (Mi/2)×(Mi/2)까지의 블록까지라는 형태로 불균일 분할의 형상을 구성하는 단위 영역을 한정함으로써, 분할 패턴을 표현하기 위해 부호화가 필요하게 되는 부가 정보의 부호량을 억제하거나, 각 분할 패턴에 대하여 움직임 검출을 행하기 위해 필요한 연산량의 억제, 또한 예측치를 생성하기 위한 메모리(16b)로의 액세스를 효율화할 수 있어 메모리 밴드폭을 억제하는 효과가 있다.
도 90의 어느 분할을 움직임 보상 예측에 이용할지는 인터 예측 모드로서 결정되고, 각 분할에 할당되는 움직임 벡터가 생성ㆍ출력된다. 어떤 픽처에 있어서 이용 가능한 인터 예측 모드의 종류에 대해서는, 도 90의 모든 분할 패턴을 지정 가능하도록 인터 예측 모드를 정의하더라도 좋고, 최적의 인터 예측 모드의 선택에 필요한 연산량이나 인터 예측 모드를 지정하는 정보의 부호량을 삭감하기 위해, 조건에 따라 인터 예측 모드로서 선택 가능한 분할 패턴을 제한하도록 구성하더라도 좋다. 예컨대, 매크로 블록 내의 분할을 많게 하면 할수록, 부호화가 필요한 움직임 벡터의 정보가 늘어나므로, 낮은 비트레이트로 부호화를 행하는 경우, 도 90(e)~(h)에 나타내는 (Mi/2)×(Mi/2) 화소 이하로의 재분할을 행하는 패턴은 사용하지 않고, 대신에 움직임 벡터의 부호량이 적게 끝나는 도 90(i)~(l)에 나타내는 분할 패턴을 선택하도록 구성할 수 있다. 예컨대, 비트레이트의 고저의 판단 기준으로서 양자화 파라미터의 크기를 이용할 수 있으므로, 픽처의 부호화를 행함에 있어서의 양자화 파라미터의 초기 상태의 값에 따라 인터 예측 모드의 정의를 전환하도록 구성할 수 있다. 내지는 인터 예측 모드의 정의를 정하는 전용 식별 비트를 비트스트림에 다중하도록 구성하더라도 좋다.
또한, MPEG-2의 B 픽처나, AVC의 쌍방향 예측 등과 같이, 복수의 참조 화상으로부터의 예측 화상을 사용하는 픽처에 있어서, 각 참조 화상에 대한 움직임 벡터를 개별적으로 부호화하지 않으면 안 되는 케이스가 있는 경우, 움직임 벡터의 정보량을 삭감하기 위해, 도 90(e)~(h)에 나타내는 (Mi/2)×(Mi/2) 화소 이하로의 재분할을 행하는 패턴은 사용하지 않고, 대신에 움직임 벡터의 부호량이 적게 끝나는 도 90(i)~(l)에 나타내는 분할 패턴을 선택하도록 구성할 수도 있다. 이외에, 화면 전체의 움직임의 모습을 미리 추정하여, 내지는 직전에 부호화를 행한 픽처의 부호화 과정을 나타내는 정보에 근거하여 인터 예측 모드의 정의를 전환하도록 구성하더라도 좋다. 예컨대, 움직임이 복잡한 신(scene)이면, 보다 상세한 분할 패턴이 이용 가능하도록 인터 예측 모드의 정의를 정하고, 움직임이 균일하고 큰 블록의 단위로도 충분히 예측이 가능하다고 판단되는 상황에서는 상세한 분할 패턴을 사용하지 않는 인터 예측 모드의 정의로 한다고 하는 방법이 있다. 또한, 매크로 블록 내의 각각의 분할 블록마다 예측치 생성에 이용하는 참조 화상을 지정할 수 있도록 구성하여, 참조 화상의 식별 번호를 부호화하도록 구성하더라도 좋다.
움직임 보상 예측 처리에 있어서의 인터 예측 모드 선택을 위한 예측 효율 평가의 규범으로서는, 예컨대,
Jm,v,r = Dm,v,r + λRm,v,r(λ : 정수)
로 주어지는 부호율 왜곡 비용을 이용할 수 있다. 여기서, Dm,v,r은 인터 예측 모드 m과 그에 따라 정해지는 움직임 벡터 v, 참조 화상 r을 적용한 경우의 부호화 왜곡 또는 예측 오차량이다. 부호화 왜곡이란, 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용하여 예측 차분 신호를 얻고, 예측 차분 신호를 변환ㆍ양자화한 결과로부터 영상을 복호하여 부호화 전의 신호에 대한 오차를 계측하는 것이다. 예측 오차량은, 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용한 경우의 예측 화상과 부호화 전의 신호의 차분을 얻고, 그 차분의 크기를 정량화한 것으로, 예컨대, 차분 절대치 합(Sum of Absolute Distance : SAD) 등이 이용된다. Rm,v,r은 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용한 경우의 발생 부호량이다. 다시 말해, Jm,v,r은 인터 예측 모드 m 및 움직임 벡터 v와 참조 화상 r을 적용한 경우의 부호량과 열화도의 트레이드오프를 규정하는 값이며, 최소의 Jm,v,r을 제공하는 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r이 최적해를 제공한다.
1.3 픽처 부호화 처리
예측부(461)에서는, 도 3이나 도 4에 나타낸 인트라 예측의 전체 모드 내지는 그 서브셋에 대하여, 인트라 예측 처리를 실행하여 매크로 블록 단위의 인트라 예측 화상을 생성함과 아울러, 도 90에 나타낸 움직임 보상 예측의 전체 모드 내지는 그 서브셋에 대하여, 움직임 보상 예측 처리를 실행하여, Mi×Mi 블록의 예측 화상(7)을 출력한다. 예측 화상(7)은 감산기(3)에 의해 입력 신호(505)로부터 공제되어, 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 예측부(461)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 예측 모드를 부호화 모드(6)로서 출력한다. 즉, 부호화 모드(6)는, 도 3 등의 인트라 N×N 예측 모드를 이용할지, 도 4 등의 매크로 블록 단위 인트라 예측 모드를 이용할지, 도 90에 나타내는 분할 패턴 중 하나를 이용하여 움직임 보상 예측을 행할지를 식별하는 매크로 블록 타입의 정보를 포함한다. 또한, 본 실시의 형태 16에서는, 커런트 픽처에서 선택 가능한 부호화 모드의 종류를, 부호화 제어부(19) 등에서 정해지는 부호화 모드 정의 선택 정보(711)에 따라 전환한다. 부호화 모드 정의 선택 정보(711)로서는, 전용 선택 지시 정보를 사용하는 것 외에, 전용 정보를 사용하지 않고서, 예컨대, 커런트 픽처를 부호화함에 있어서의 양자화 파라미터(21)의 초기치, 블록 분할부(40)에 통지되는 부호화 블록 사이즈 지시 정보(506) 등을 단체(單體)로 대용하거나, 또는 복합적으로 조합하여 이용하도록 구성하더라도 좋다. 부호화 모드(6)의 선정에 있어서는, 부호화 제어부(19)의 판단으로 정해지는 각 부호화 모드에 대한 가중 계수(20)가 가미되는 경우도 있다. 부호화 모드 판정부(5)에 있어서 부호화 모드(6)를 이용하여 얻어지는 최적의 예측 차분 신호(4)는, 변환부(310)에 출력된다.
변환부(310)는 입력되는 Mi×Mi 화소 블록으로 이루어지는 예측 차분 신호(4)를 변환하여 변환 계수로서 양자화부(9)에 출력한다. 변환에 있어서는, Mi×Mi 화소 블록을 L×L 화소 블록(L ≤ Mi이고, 또한 Mi는 L의 배수)으로 분할하여 변환하고, 변환 블록 사이즈 L을 변환 블록 사이즈 지정 플래그(464)에 의해 지정하도록 구성한다. 이와 같이 구성함으로써, Mi×Mi 화소 블록 중의 신호의 국소적 성질에 적응한 변환 처리를 행할 수 있다. 변환 블록 사이즈 L은, 설정 가능한 모든 L의 값에 대하여 변환을 행하여 가장 효율이 좋은 값을 선택하더라도 좋고, 인트라 예측 모드의 블록 사이즈나 움직임 보상 예측 모드의 블록 사이즈에 맞추도록 하더라도 좋다. 후자의 경우는, 부호화 모드(6)에 변환 블록 사이즈 지정 플래그(464) 상당의 정보가 포함되므로, 별도의 변환 블록 사이즈 지정 플래그(464)를 비트스트림에 다중화하지 않더라도 좋다고 하는 효과가 있다. 양자화부(9)는 입력되는 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하여, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역변환부(312)를 지나 국부 복호 예측 차분 신호(14)로 복원되어, 부호화 모드(6)에 대응하는 예측 방법으로 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은 이후의 예측 처리에 이용하기 위해, 디블로킹 필터를 실시할지 여부를 나타내는 디블로킹 필터 제어 플래그(24)에 근거하여, 디블로킹 필터부(462)에서 블록 경계에 왜곡 제거 필터를 실시하거나, 내지는 그대로 메모리(16b)에 저장된다. 또, 디블로킹 필터부(462)에서는, 부호화 블록 사이즈 지시 정보(506), 변환 블록 사이즈 지정 플래그(464)를 참조하여, 매크로 블록 경계, 변환 블록 경계의 각각에 대하여 최적의 블록 왜곡 제거 처리를 행한다. 디블로킹 필터 제어 플래그(24)는, 복호 장치에서도 같은 처리를 행할 필요가 있으므로, 가변 길이 부호화부(11)에 입력되어, 비트스트림에 다중화된다.
가변 길이 부호화부(11)에서는, 매크로 블록 사이즈 Mi를 규정하는 부호화 블록 사이즈 지시 정보(506), 양자화 완료 변환 계수(10), 부호화 모드(6), 예측 오버헤드 정보(463), 양자화 파라미터(21)가 허프만 부호화, 산술 부호화 등에 의해 엔트로피 부호화되고, 소정의 규칙(신텍스)에 따라 비트스트림으로서 배열ㆍ정형되어, 송신 버퍼(17)에 출력된다. 본 실시의 형태 16의 예측 오버헤드 정보(463)에는, 부호화 모드(6)로서 인트라 예측 처리가 선택된 경우에는, 예측 단위 블록당 사용하는 개개의 예측 모드 정보(Intra4×4_pred_mode, Intra16×16_pred_mode 등)가 포함된다. 또한, 부호화 모드(6)로서 움직임 보상 예측 처리가 선택된 경우는, 도 90에 기재된 매크로 블록 타입마다 정해지는 분할 패턴에 맞춘 움직임 벡터 정보나 참조 화상 인덱스가 포함된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞춰 비트스트림을 평활화하여 비디오 스트림(422b0)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트스트림 축적 상황에 따라 부호화 제어부(19)에 피드백 정보를 출력하여, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다. 비디오 스트림(422b0)은, 복수의 매크로 블록을 묶은 슬라이스의 단위로 유닛화되어, 출력된다.
2. 부호화 비트스트림의 구성
이상의 처리를 픽처 부호화부(503)에서 실시함으로써, 부호화 장치로의 입력 영상 신호(1)는, 3개의 독립된 픽처 부호화부(503b0, 503b1, 503b2)에 의해 각각 독립적으로 부호화되어, 복수의 매크로 블록을 묶은 슬라이스의 단위로 비디오 스트림(422b0, 422b1, 422b2)으로서 출력되고, 다중화부(504)에 있어서, 3 성분으로 구성되는 입력 영상 신호(1)로서의 비디오 스트림(422c)의 형태로 배열되어 부호화 장치로부터 출력된다.
픽처 부호화부(503b0, 503b1, 503b2)로부터의 출력인 비디오 스트림(422b0, 422b1, 422b2)의 데이터 배열을 도 91에 나타낸다. 픽처 부호화에 의한 비디오 스트림(422b0, 422b1, 422b2)은, 동 픽처 중에 포함되는 매크로 블록의 수만큼의 부호화 데이터가 모인 것으로 하여 구성되고, 매크로 블록은 복수개 모인 슬라이스라는 데이터 단위로 유닛화된다. 동일 픽처에 속하는 매크로 블록이 공통 파라미터로서 참조하는 픽처 레벨 헤더가 준비되고, 픽처 레벨 헤더에는, 부호화 블록 사이즈 지시 정보(506), 부호화 모드 정의 선택 정보(711)가 저장된다. 픽처 내의 모든 매크로 블록은, 참조하는 픽처 레벨 헤더에 포함되는 부호화 블록 사이즈 지시 정보(506)에 의해 매크로 블록 사이즈 Mi를 정하고, 부호화 모드 정의 선택 정보(711)에 따라 부호화 모드(6)의 가변 길이 부호화 순서를 정한다.
각 슬라이스는 각각 슬라이스 헤더로부터 시작되고, 슬라이스 헤더에는 동 슬라이스에 어떤 색성분의 부호화 데이터를 포함하는지(505b0, 505b1, 505b2의 종별을 정의하는 정보)를 나타내는 색성분 식별 플래그(721)를 포함한다(도 69의 독립 부호화 처리에 의해 얻어지는 슬라이스 부호화 데이터의 경우와 같음). 슬라이스 헤더에 계속하여, 슬라이스 내의 각 매크로 블록의 부호화 데이터가 배열된다(이 예에서는, 1 픽처 내의 제 2 슬라이스에 K개의 매크로 블록이 포함되는 것을 나타냄). 각 매크로 블록의 데이터는, 부호화 모드(6)에 계속하여, 예측 오버헤드 정보(463), 변환 블록 사이즈 지정 플래그(464), (매크로 블록 단위로 양자화 파라미터를 변경하는 경우만) 양자화 파라미터(21), 양자화 완료 변환 계수(10)가 배열된다. 도 87의 부호화 장치의 출력이 되는 비디오 스트림(422c)은, 도 91의 구성의 비디오 스트림(422b0, 422b1, 422b2)의 3 성분분 다중되는 형식을 취한다. 또, 도 91에서는, 부호화 블록 사이즈 지시 정보(506)나 부호화 모드 정의 선택 정보(711)를 픽처 레벨 헤더에 배치하고 있지만, 이들은 3 성분분의 정보를 정리하여 복수매의 영상 프레임을 묶은 시퀀스의 단위로 부여하는 시퀀스 레벨 헤더에 저장하도록 구성하더라도 좋다. 이와 같이 함으로써, 3개의 성분에서 다른 정보를 개별 픽처 레벨 헤더로 부호화ㆍ전송할 필요가 없어져, 헤더의 정보량을 삭감할 수 있다.
3. 복호 장치의 동작 개요
도 92의 복호 장치는, 도 87의 부호화 장치로부터 출력되는 비디오 스트림(422c)을 수신하고, 매크로 블록의 단위로 복호 처리를 행하여, 개개의 영상 프레임을 복원하는 것으로 한다.
도 92에 있어서, 비디오 스트림(422c)은, 상위 헤더 해석부(610)에서, 시퀀스 레벨 헤더나 픽처 레벨 헤더 등의 상위 헤더 정보를 복호하여, 색성분 판정부(602), 픽처 복호부(603b0, 603b1, 603b2)가 참조 가능한 소정의 메모리 영역에 저장하여 둔다.
색성분 판정부(602)는, 도 91에서 나타낸 색성분 식별 플래그(721)의 값에 의해, 슬라이스가 어느 색성분 픽처에 상당하는지를 식별하여, 적절한 픽처 복호부(603b0, 603b1, 603b2)에 분배 공급한다. 이러한 복호 장치의 구성에 의해, 3개의 색성분이 혼재하는 비디오 스트림을 수신하더라도, 어떤 슬라이스가 어떤 색성분 픽처에 속하는지를 용이하게 판별하여 정확하게 복호할 수 있다.
3.1 픽처 복호부(603)의 동작 개요
이하, 픽처 복호부(603b0, 603b1, 603b2)의 상세 동작 설명을 행한다. 본 실시의 형태 16의 픽처 복호부(603b0, 603b1, 603b2)의 설명은, 도 77의 구성을 변형하는 형태로 설명을 행한다. 도 93에 픽처 복호부(603b0, 603b1, 603b2)의 내부 구성을 나타낸다. 동 도면 중, 도 77의 픽처 복호부와 같은 번호를 부여한 기능 블록이나 신호선은, 특별히 언급하지 않는 한, 도 77과 동일한 것으로 한다.
픽처 복호부(603b0, 603b1, 603b2)는, 색성분 판정부(602)에서 분류된 C0 내지는, C1 내지는, C2 슬라이스 부호화 데이터를 수신하고, 단일 색성분의 샘플로 이루어지는 매크로 블록을 단위로 하여 복호 처리를 행하여, 출력 영상 프레임의 해당 색성분의 신호(427b0)(427b1, 427b2)를 복원한다.
가변 길이 복호부(25)는 비디오 스트림(422c)을 입력으로 하여, 소정의 규칙(신텍스)에 따라 비디오 스트림(422c)을 해독하여, 슬라이스 헤더, 각 매크로 블록의 양자화 완료 변환 계수(10), 예측 오버헤드 정보(463), 변환 블록 사이즈 지정 플래그(464), 양자화 파라미터(21), 부호화 모드(6)를 추출한다. 도 92에서는, 시퀀스 내지는 픽처 레벨 헤더를 상위 헤더 해석부(610)에서 복호하도록 기재했지만, 이 경우는, 부호화 블록 사이즈 지시 정보(506), 부호화 모드 정의 선택 정보(711)라는 정보는, 해당하는 색성분을 복호하는 픽처 복호부(603)에 있어서 슬라이스의 복호를 시작하기 전에 참조할 수 있도록 구성한다. 각 픽처 복호부(603) 중의 가변 길이 복호부(25)에서 복호하는 경우는, 슬라이스의 복호를 시작하기 전에 가변 길이 복호부(25)에 있어서 픽처 레벨 헤더의 복호를 행하여, 부호화 블록 사이즈 지시 정보(506), 부호화 모드 정의 선택 정보(711)라는 정보를 비트스트림으로부터 추출한다. 또, 도시는 하지 않고 있지만, 부호화 모드 정의 선택 정보(711)는, 가변 길이 복호부(25) 내에서 부호화 모드(6)를 복호할 때에, 그 가변 길이 복호 순서를 정하기 위해 이용된다.
양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 함께 픽처 부호화부(503b0, 503b1, 503b2)와 같은 처리를 행하는 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 픽처 부호화부(503b0, 503b1, 503b2)와 같은 처리를 행하는 역변환부(312)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다. 이들 과정에서, 역변환 및 역양자화의 단위가 되는 변환 블록 사이즈 L을 제공하는 변환 블록 사이즈 지시 플래그(464), 역변환 출력을 Mi×Mi 화소 블록의 예측 오차 화상으로서 구성하기 위해 부호화 블록 사이즈 지시 정보(506)를 참조한다. 한편, 예측부(461)에는, 픽처 부호화부(503b0, 503b1, 503b2) 중의 예측부(461) 중, 부호화 모드(6), 예측 오버헤드 정보(463)를 참조하여 예측 화상(7)을 생성하는 처리만이 포함된다. 예측부(461)에 대하여 부호화 모드(6), 예측 오버헤드 정보(463)가 입력되어, 예측 화상(7)을 얻는다. 예측부(461)에서는, 매크로 블록 사이즈 Mi에 근거하여 Mi×Mi 화소 블록에 대한 예측 화상을 생성하기 위해, 부호화 블록 사이즈 지시 정보(506)를 통지한다.
부호화 모드(6)가 인트라 N×N 예측, 매크로 블록 단위 인트라 예측 등의 인트라 예측 모드인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 N×N 블록 단위의 인트라 예측 모드 정보나, 매크로 블록 단위의 인트라 예측 모드 정보, 및 매크로 블록 사이즈 Mi에 따라 메모리(16b) 중에 저장되는 참조 화상(701)을 이용하여 예측 화상(7)을 얻는다. 부호화 모드(6)가 인터(움직임 보상) 예측인 것을 나타내는 경우는, 부호화 모드(6)로부터 도 90의 매크로 블록 내 분할 패턴을 식별하여, 예측 오버헤드 정보(463)로부터 얻어지는 움직임 벡터, 참조 화상 인덱스, 및 매크로 블록 사이즈 Mi에 따라 메모리(16b) 중에 저장되는 참조 화상(701)을 이용하여 예측 화상(7)을 얻는다.
국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 복호 화상(427b0)(427b1, 427b2)을 얻는다. 복호 화상(427b0)(427b1, 427b2)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해, 픽처 부호화부(503b0, 503b1, 503b2)와 같이, 디블로킹 필터 제어 플래그(24)에 근거하여, 디블로킹 필터(26)에 있어서 블록 왜곡 제거 처리를 실시하는 경우가 있다. 이때, 디블로킹 필터(26)의 처리 결과는, 메모리(16b)에 저장되어, 이후의 픽처 복호에 참조 화상(701)으로서 참조되기 위해, 부호화시와 마찬가지로, 부호화 블록 사이즈 지시 정보(506), 변환 블록 사이즈 지시 플래그(464)를 참조하여, 매크로 블록, 변환 블록의 각각에 적응한 블록 왜곡 제거 처리를 행한다. 복호 화상(427b0)(427b1, 427b2)은 이후의 움직임 보상 예측 처리에 이용하기 위해, 메모리(16b)에 저장된다. 복호 화상(427b0)(427b1, 427b2)은 단일 색성분의 샘플만을 포함하고, 다른 색성분의 복호를 행하는 픽처 복호부(603b0, 603b1, 603b2)의 각각의 출력인 복호 화상(427b0, 427b1, 427b2)을 영상 프레임의 단위로 묶음으로써, 컬러 영상 프레임으로서 구성된다.
이상 말한 부호화 장치, 복호 장치에 의하면, 4:4:4 포맷의 컬러 영상 신호를 효율적으로 부호화하기 위해, 각 색성분을 독립적으로 예측 부호화하고, 또한 각 색성분의 신호의 성질에 따라 예측이나 부호화를 행하는 매크로 블록의 사이즈를 동적으로 전환하는 것이 가능해지므로, 높은 압축률이 되는 저비트레이트 부호화에 있어서 부호량 전체에 대한 비율이 높아지는, 인트라 예측 모드, 움직임 벡터, 참조 화상 인덱스라는 예측 오버헤드 정보(463)의 부호량을 효과적으로 억제한 부호화를 행하는 것이 가능해진다. 또한, 움직임 보상 예측 처리에 있어서, 예측 오버헤드 정보(463)의 부호량 억제를 위해, 적은 움직임 벡터 개수로 예측 효율을 높이기 위한 매크로 블록 내 불균일 분할의 패턴을 이용함으로써, 예측 효율과 부호량의 밸런스를 개선함과 아울러, 이들 분할 패턴을 나타내는 인터 예측 모드의 종별을 다양화하여 여러 가지 움직임에 대한 예측 효율을 높임과 아울러, 비트레이트나 화상 해상도 등의 부호화 조건에 맞춰 필요하게 되는 인터 예측 모드의 종별을 전환할 수 있도록 구성했으므로, 4:4:4 포맷의 컬러 영상 신호를 효율적으로 부호화하는 부호화 장치, 복호 장치를 제공할 수 있다.
또, 본 실시의 형태 16에서는, 도 74에 블록 분할부(40)를 더한 도 88의 부호화 장치와, 그에 대응하는 복호 장치를 이용하여 설명했지만, 다른 실시의 형태에 있어서의, 색성분마다 개별ㆍ독립 부호화 처리를 행하는 처리 기능에 블록 분할부(40)를 더한 부호화 장치, 및 그에 대응하는 복호 장치를 이용하더라도 같은 효과를 얻을 수 있다. 또한, 도 71의 부호화 장치에 있어서의 개별 부호화 처리 실시 부분을 도 87의 부호화 장치로, 도 75의 복호 장치에 있어서의 개별 복호 처리 실시 부분을 도 92의 복호 장치로 치환함으로써, 4:4:4 포맷의 컬러 영상 신호의 부호화에 대하여 보다 적응성ㆍ효율이 높은 부호화 장치, 복호 장치를 제공할 수 있다.
실시의 형태 17
본 실시의 형태 17에서는, 실시의 형태 16의 부호화 장치, 복호 장치에 대하여, 예측부에서의 움직임 보상 예측 처리를 행할 때에 움직임 벡터 검출 정밀도를 동적으로 전환하는 부호화 장치, 복호 장치에 대하여 말한다.
원래, 디지털 화상인 입력 신호(505)에는, 샘플링에 의해 생성된 이산적인 화소 정보(이후, 정수 화소라고 부름)밖에 존재하지 않지만, 정수 화소의 사이에 내삽 연산에 의해 가상적인 샘플을 만들어내고, 그것을 예측 화상으로서 이용하는 기술이 널리 이용되고 있다. 이 기술에는, 예측의 후보점이 늘어나는 것에 따른 예측 정밀도의 향상과, 내삽 연산에 따르는 필터 효과에 의해 예측 화상의 특이점이 삭감되어 예측 효율이 향상한다고 하는 2개의 효과가 있는 것이 알려져 있다. 한편으로, 가상 샘플의 정밀도가 향상되면, 움직임량을 표현하는 움직임 벡터의 정밀도도 높일 필요가 있으므로, 그 부호량도 증가하는 것에 주의할 필요가 있다.
MPEG-1, MPEG-2 등의 부호화 방식에서는 이 가상 샘플의 정밀도를 1/2 화소 정밀도까지 허용하는 반화소 예측이 채용되고 있다. 도 94에 1/2 화소 정밀도의 샘플의 생성의 모습을 나타낸다. 동 도면에 있어서, A, B, C, D는 정수 화소, e, f, g, h, i는 A~D로부터 생성되는 반화소 정밀도의 가상 샘플을 나타낸다.
e = (A + B) // 2
f = (C + D) // 2
g = (A + C) // 2
h = (B + D) // 2
i = (A + B + C+ D) // 2
(단, //은 반올림 나눗셈을 나타냄)
또한, MPEG-4(ISO/IEC 14496-2)에서는, 1/4 화소 정밀도까지의 가상 샘플을 이용하는 1/4 화소 정밀도 예측이 채용되고 있다. 1/4 화소 정밀도 예측에서는, 반화소 샘플을 생성한 후, 그들을 이용하여 1/4 화소 정밀도의 샘플을 생성한다. 반화소 샘플 생성시의 과도한 평활화를 억제할 목적으로, 탭수가 많은 필터를 이용하여 원래의 신호의 주파수 성분을 가능한 한 유지하도록 설계된다. 예컨대, MPEG-4의 1/4 화소 정밀도 예측에서는, 1/4 화소 정밀도의 가상 샘플 생성을 위해 만들어지는 반화소 정밀도의 가상 샘플 a는, 그 주변 8 화소분을 사용하여, 이하와 같이 생성된다. 또, 하기 식은, 수평 처리의 경우만을 나타내고 있고, 1/4 화소 정밀도의 가상 샘플 생성을 위해 만들어지는 반화소 정밀도의 가상 샘플 a와, 하기 식의 정수 화소의 X 성분 X-4~X4의 관계는, 도 95에 나타내는 위치 관계에 있다.
a = (COE1*X1 + COE2*X2 + COE3*X3 + COE4*X4 + COE-1*X-1 + COE-2*X-2 + COE-3* X-3 + COE-4*X-4) // 256
(단, COEk : 필터 계수(계수 총합이 256). //는 반올림 나눗셈을 나타냄)
AVC(ISO/IEC 14496-10)에서는, 반화소 정밀도의 가상 샘플을 생성할 때에, [1, -5, 20, 20, -5, 1]의 6 필터를 채용하고 있고, 또한 1/4 화소 정밀도의 가상 샘플을 상기 MPEG-1, MPEG-2의 반화소 샘플 생성과 같은 선형 보간 처리에 의해 생성하고 있다.
1. 부호화 장치의 동작
본 실시의 형태 17에 있어서도, 움직임 보상 예측 처리시에 가상 샘플의 정밀도로서 반화소, 1/4 화소 정밀도까지 지정 가능하게 한다. 또한, 본 실시의 형태 17의 부호화 장치, 복호 장치는 각 색성분마다 이용하는 가상 샘플의 정밀도를 지정할 수 있도록 구성한다. 도 96에 본 실시의 형태 17에 있어서의 픽처 부호화부(503b0, 503b1, 503b2)의 구성을 나타낸다. 도 88의 픽처 부호화부(503b0, 503b1, 503b2)에 대하여, 예측부(461), 가변 길이 부호화부(11)의 동작만이 다르다.
본 실시의 형태 17에 있어서의 예측부(461)는, 가상 화소 정밀도 지시 정보(800)를 수취하고, 그것에 근거하여 움직임 벡터 검출을 행하는 가상 화소의 정밀도를 정하여 처리를 행한다. 도시하지 않고 있지만, 가상 화소 정밀도 지시 정보(800)는, 각 색성분의 부호화를 행하는 픽처 부호화부(503)에 각각 색성분 Ci별로 개별적으로 지정되도록 구성한다. 예측부(461)는, 가상 화소 정밀도 지시 정보(800)가 「1/4 화소 정밀도의 움직임 벡터 검출」을 행하는 것을 나타내는 경우는, 상기 MPEG-4 내지는 AVC와 같은 멀티 필터에 근거하는 반화소 정밀도 샘플을 생성한 뒤에 선형 보간에 의해 1/4 화소 정밀도의 샘플을 생성하면서 움직임 벡터 검출을 행한다. 한편, 가상 화소 정밀도 지시 정보(800)가 「반화소 정밀도의 움직임 벡터 검출만」을 행하는 것을 나타내는 경우는, 상기 MPEG-4 내지는 AVC와 같은 멀티 필터에 근거하는 반화소 정밀도 샘플 생성을 행하든지, 또는, 상기 MPEG-1, MPEG-2의 경우와 같은 선형 보간에 의해 반화소 정밀도의 샘플을 생성하면서 움직임 벡터 검출을 행한다. 가상 화소 정밀도 지시 정보(800)는, 복호 장치에서 같은 방법으로 가상 샘플을 생성하여 예측 화상을 얻을 필요가 있으므로, 비트스트림에 다중 출력한다. 또, 반화소 정밀도 샘플의 생성 방법은 하나로 정하여 두어 부호화 장치와 복호 장치에서 같은 순서로 처리를 행하도록 구성하더라도 좋고, 복수의 생성 방법을 준비하여, 어느 것을 이용할지를 가상 샘플 생성 수법 지시 정보(811)로서 비트스트림에 다중하여 복호 장치에 전달하도록 구성하더라도 좋다. 가상 화소 정밀도 지시 정보(800)의 설정 방법으로서는, 예컨대, Y, Cb, Cr과 같은 색공간에서 부호화를 행할 때, 화상의 텍스처 구조를 강하게 반영하는 Y 성분에 대해서는 가상 화소 정밀도 지시 정보(800)를 「1/4 화소 정밀도의 움직임 벡터 검출」로서 상세한 정밀도로 움직임 검출을 행하고, Y 성분 신호에 비하여 텍스처 구조와의 상관이 낮은 색차 성분(Cb, Cr)에 대해서는, 가상 화소 정밀도 지시 정보(800)를 「반화소 정밀도의 움직임 벡터 검출만」으로 한다고 하는 방법을 생각할 수 있다. 이 구성은, 색성분별로 가상 화소 정밀도의 지시를 변화시키는 것뿐만 아니라, RGB 신호와 같이, 모든 성분이 어느 정도의 화상 텍스처 구조를 보존하고 있는 경우에는, 모든 성분에 대하여 가상 화소 정밀도 지시 정보(800)를 「1/4 화소 정밀도의 움직임 벡터 검출」로서 상세한 정밀도로 움직임 검출을 행하도록 구성하는 것도 가능하여, 어떠한 색공간의 신호에 대해서도 각 색성분의 신호의 성질에 맞춰 유연한 움직임 보상 예측 처리를 행할 수 있다고 하는 효과가 있다.
또한, 가상 화소 정밀도 지시 정보(800)는, 가변 길이 부호화부(11)에 보내져, 예측부(461)에서 검출되는 움직임 벡터(예측 오버헤드 정보(463)에 포함됨)의 값의 단위를 식별하기 위해 이용된다. 가변 길이 부호화부(11)에 있어서, 부호화 대상이 되는 움직임 벡터를 MV로 하고, 소정의 예측치 결정 순서에 따라 MV에 대하여 정해진 예측 벡터를 PMV로 한다. PMV는 이미 부호화 완료된 값을 이용한다. 가변 길이 부호화부(11)에서는 MV-PMV의 값을 부호화한다. 이때, 가상 화소 정밀도 지시 정보(800)가 「1/4 화소 정밀도의 움직임 벡터 검출」을 나타내고 있는 경우는, MV의 값의 단위는 1/4 화소로 한다. 한편, 가상 화소 정밀도 지시 정보(800)가 「반화소 정밀도의 움직임 벡터 검출만」을 행하는 것을 나타내는 경우는, MV의 값의 단위는 1/2 화소로 한다. 1/4 화소를 1로 하는 움직임 벡터는, 수평ㆍ수직 성분 함께 1/2 화소를 1로 하는 경우에 비하여 값의 범위가 2배가 된다. 따라서, 1/2 화소 정밀도의 샘플밖에 사용하지 않는 경우는, MV의 값의 단위를 1/2 화소로 함으로써, 1/4 화소를 값의 단위로 하는 경우에 비하여 MV의 부호화에 필요한 정보량을 삭감할 수 있다.
이 성질을 이용함으로써, 색공간에 따르는 신호의 성질의 차이뿐만 아니라, 부호량 전체에 대하여 움직임 벡터 등 예측 오버헤드 정보(463)의 부호량의 비율이 높아지는 고압축 부호화를 행하는 경우에, 가상 화소 정밀도 지시 정보(800)를 조정하여 움직임 벡터의 부호량을 억제한 부호화를 행하도록 하는 것도 가능하다. 가상 화소 정밀도 지시 정보(800)는 색성분마다 독립하여 설정할 수 있으므로, 고압축시의 각 색성분의 상황에 적응한 제어가 가능하여, 보다 적응성이 높은 부호화 처리가 가능해진다.
2. 부호화 비트스트림의 구성
도 97에, 도 96의 부호화 장치로부터 출력되는 비디오 스트림(422b0, 422b1, 422b2)의 데이터 배열을 나타낸다. 도 91의 스트림 배열과 비교하여 다른 점은, 픽처 레벨 헤더 부분에 가상 화소 지시 정보(800)를 다중하고 있는 점이다. 이에 따라, 이 비트스트림을 수취하는 복호 장치는, 색성분마다 예측 오버헤드 정보(463)에 포함되는 움직임 벡터의 값의 단위를 인식하여 부호화 장치와 같이 움직임 벡터를 복호하여, 예측 화상을 생성하는 것이 가능해진다. 또한, 예컨대, 전술한 바와 같이 반화소 정밀도의 샘플을 생성하기 위한 방법을 복수로 준비할 수 있는 경우는, 가상 샘플 생성 수법 지시 정보(811)를 픽처 레벨 헤더에 다중하도록 구성하더라도 좋다. 도 97에서는 가상 화소 지시 정보(800)나 가상 샘플 생성 수법 지시 정보(811)를 픽처 레벨 헤더 영역에 다중하고 있지만, 3개의 색성분분을 정리하여 시퀀스 레벨 헤더 등 보다 상위의 헤더 영역에 다중하는 구성으로 하더라도 좋다.
3. 복호 장치의 동작
도 98에 본 실시의 형태 17에 있어서의 복호 장치(픽처 복호부(603b0, 603b1, 603b2))의 구성을 나타낸다. 도 93의 픽처 복호부(603b0, 603b1, 603b2)에 대하여, 가변 길이 복호부(25), 예측부(461)의 동작만이 다르다. 가변 길이 복호부(25)는, 도 97에 나타내는 비디오 스트림(422b0, 422b1, 422b2)을 복호하고, 픽처 레벨 헤더에 포함되는 가상 화소 정밀도 지시 정보(800)를 비디오 스트림으로부터 추출하여, 예측부(461)에 출력한다. 가상 화소 정밀도 지시 정보(800)의 값이 「1/4 화소 정밀도의 움직임 벡터 검출」을 나타내고 있는 경우는, 예측 오버헤드 정보(463)에 포함되는 움직임 벡터의 값의 단위를 1/4 화소로 설정하여, 예측 오버헤드 정보(463)를 예측부(461)에 보낸다. 예측부(461)는, 예측 오버헤드 정보(463)에 포함되는 움직임 벡터의 값이 1/4 화소 단위인 것을 근거로 하여, 상기 MPEG-4 내지는 AVC와 같은 멀티 필터에 근거한 반화소 정밀도 샘플을 생성한 뒤에 선형 보간에 의해 1/4 화소 정밀도의 샘플을 생성하면서 예측 화상의 생성을 행한다.
한편, 가상 화소 정밀도 지시 정보(800)의 값이 「반화소 정밀도의 움직임 벡터 검출」을 나타내고 있는 경우는, 예측 오버헤드 정보(463)에 포함되는 움직임 벡터의 값의 단위를 1/2 화소로 설정하여, 예측 오버헤드 정보(463)를 예측부(461)에 보낸다. 예측부(461)는, 예측 오버헤드 정보(463)에 포함되는 움직임 벡터의 값이 1/2 화소 단위인 것을 근거로 하여, 상기 MPEG-4 내지는 AVC와 같은 멀티 필터에 근거한 반화소 정밀도 샘플 생성을 행하거나, 또는, 상기 MPEG-1, MPEG-2의 경우와 같은 선형 보간에 의해 반화소 정밀도의 샘플을 생성하면서 예측 화상의 생성을 행한다. 반화소 샘플의 생성 방법을 복수로 선택할 수 있도록 구성하는 경우는, 가변 길이 복호부(25)에 있어서 도 97의 가상 샘플 생성 수법 지시 정보(811)를 비트스트림으로부터 추출하여, 그것을 예측부(461)에 전달하여 부호화 장치와 같은 방법에 의해 반화소 샘플의 생성을 행하도록 구성한다.
이상 말한 본 실시의 형태 17에 있어서의 부호화 장치, 복호 장치에 의하면, 4:4:4 포맷의 컬러 영상 신호를 효율적으로 부호화하기 위해, 각 색성분을 독립적으로 움직임 보상 예측할 때에, 각 색성분의 신호의 성질에 따라, 움직임 벡터 검출ㆍ예측 화상 생성시에 이용하는 가상 샘플의 정밀도를 동적으로 전환하는 것이 가능해지므로, 높은 압축률이 되는 저비트레이트 부호화에 있어서 부호량 전체에 대한 비율이 높아지는, 움직임 벡터의 부호량을 효과적으로 억제한 부호화를 행하는 것이 가능해진다. 또한, 가상 샘플의 생성을 행하는 경우에 사용하는 내삽 필터의 종별 등 가상 샘플 생성의 수법을 복수로 준비하여 선택적으로 전환하여 가상 샘플을 생성함으로써, 각 색성분의 신호의 성질에 따른 최적의 움직임 보상 예측 처리가 가능해져, 4:4:4 포맷의 컬러 영상 신호를 효율적으로 부호화하는 부호화 장치, 복호 장치를 제공할 수 있다.
또, 본 실시의 형태 17에서는, 상기 실시의 형태 16의 도 88에 가상 화소 정밀도 지시 정보(800)를 더한 도 96의 부호화 장치, 도 93에 가상 화소 정밀도 지시 정보(800)를 더한 도 98의 복호 장치를 이용하여 설명했지만, 다른 실시의 형태의 도면에 가상 화소 정밀도 지시 정보(800)를 더한 부호화 장치, 및 가상 화소 정밀도 지시 정보(800)를 더한 복호 장치를 이용하더라도 같은 효과를 얻을 수 있다.
실시의 형태 18
상술한 실시의 형태에 있어서, 단일 색성분을 다른 색성분과는 독립적으로 부호화ㆍ복호하는 개별ㆍ독립 부호화 처리를 행하는 부호화 장치ㆍ복호 장치에 대하여, 다른 실시의 형태에 대하여 말한다. 여기서는, 실시의 형태 16을 예로 하여 말한다. 개별ㆍ독립 부호화 처리에서는, 원리상 비가역 부호화를 할 수 없는 부호화 모드(6)나 움직임 벡터 등의 예측 오버헤드 정보(463)를, 색성분별로 개개로 비트스트림에 다중하므로, 부호량 전체에 대하여 이들 부호량의 비율이 높아지는 고압축 부호화의 경우에는 압축 성능의 방해가 된다. 그래서, 본 실시의 형태 18의 부호화 장치에서는, 어떤 특정한 색성분(예컨대, C0 성분이라고 정함)에서 매크로 블록 부호화를 행한 결과 얻어지는, 부호화 모드(6)나 예측 오버헤드 정보(463) 등의 정보를 참조 정보로서 유지하여 두고, 다른 색성분을 취급하는 픽처 부호화부(503)에 있어서, 참조 정보를 사용하는 C0 성분의 매크로 블록과 화상 공간상에서 동일 위치에 있는 매크로 블록의 부호화를 행할 때, 상기 참조 정보를 유용하여 부호화를 행할지, 혹은 자신의 색성분에서 개별적으로 부호화 모드(6), 예측 오버헤드 정보(463)를 결정하여 부호화를 행할지를 선택할 수 있도록 구성하고, 어느 순서를 선택했는지를 나타내는 예측 정보 부호화 지시 플래그를 매크로 블록 단위로 다중하도록 구성한다. 이와 같이 구성함으로써, 색성분간에서 부호화 모드(6)나 예측 오버헤드 정보(463)에 관계되는 상관이 높은 경우, 이들 부호량을 효과적으로 삭감하여 압축 효율을 높일 수 있다.
자신의 색성분으로 개별적으로 부호화 모드(6), 예측 오버헤드 정보(463)를 결정하여 부호화를 행하는 경우는, 실시의 형태 16이나 17에 말한 부호화ㆍ복호 처리 순서를 그대로 이용할 수 있다. 또한, 참조 정보를 참조하여 부호화를 행하는 경우도, 부호화측에서는 참조 정보를 얻을 때까지 다른 성분의 부호화 처리를 기다리게 할 필요는 있지만, 부호화 모드(6)나 예측 오버헤드 정보(463) 등의 비트스트림으로의 다중 처리를 스킵하는 것만으로, 실시의 형태 16이나 17에 말한 부호화 처리 순서를 거의 그대로 이용할 수 있다. 복호측에 있어서도, 처음에 참조 정보의 복호를 행하여 놓을 필요는 있지만, 상기 예측 정보 부호화 지시 플래그를 복호하여 참조 정보를 사용할지, 자신의 매크로 블록 내의 복호 정보를 사용할지를 판단하는 처리가 행해질 뿐이고, 다음은 실시의 형태 16이나 17에 말한 복호 처리 순서를 그대로 이용할 수 있다.
또한, 상기 예측 정보 부호화 지시 플래그가 매크로 블록 단위로 항상 다중되는지 여부를, 보다 상위의 데이터 계층(슬라이스, 픽처, 시퀀스)에서 결정하여 비트스트림에 다중함으로써, 고압축시만으로 한정하는 등, 상기 예측 정보 부호화 지시 플래그를 필요한 경우에만 매크로 블록 레벨의 부호로서 다중하면 좋아, 부호화 효율을 높일 수도 있다. 또한, 참조 정보를 어떤 특정한 색성분의 정보에 한정하지 않고, 어느 색성분을 참조로서 이용할지를 선택하면서 부호화ㆍ복호하도록 구성하더라도 좋다.
또, 본 실시의 형태 18의 구성은, 실시의 형태 16에 한정하지 않고, 본원 실시의 형태에 있어서의, 단일 색성분을 다른 색성분과는 독립적으로 부호화ㆍ복호하는 개별ㆍ독립 부호화 처리를 행하는 부호화 장치ㆍ복호 장치 전부에 적용 가능하다.

Claims (10)

  1. 복수의 색성분으로 구성되는 컬러 동화상 신호를 압축 부호화한 비트스트림을 입력으로 하여, 그 컬러 동화상 신호의 각 색성분마다, 화면 내 복호 처리 내지는 움직임 보상 예측 복호 처리를 선택적으로 적용함으로써 상기 컬러 동화상 신호를 복호하는 화상 복호 장치로서,
    부호화 단위 영역마다, 소정의 신텍스에 따라, 그 부호화 단위 영역의 부호화에 이용되는 예측 화상 생성 방법을 나타내는 예측 모드, 그 예측 모드에 따른 예측 처리시에 사용되는 정보를 나타내는 예측 오버헤드 정보 및 예측 오차를 부호화한 정보를 비트스트림으로부터 복호하는 복호부와,
    상기 복호된 예측 모드와 상기 예측 오버헤드 정보에 근거하여 상기 부호화 단위 영역의 신호에 대한 예측 화상을 생성하는 예측 화상 생성부와,
    상기 예측 오차를 부호화한 정보에 근거하여 예측 오차 신호를 복호하는 예측 오차 복호부와,
    상기 예측 화상 생성부의 출력과, 상기 예측 오차 복호부의 출력을 가산하는 가산부
    를 구비하고,
    상기 복호부는, 동일 화면을 구성하는 다른 색성분의 동일 화상 위치의 부호화 대상 영역에서 부호화에 이용된 예측 모드 및 그 예측 모드에 따른 예측 처리시에 사용되는 정보를 나타내는 예측 오버헤드 정보를 그대로 사용할지, 자신의 색성분에 있어서 독자의 예측 모드 및 그 예측 모드에 따른 예측 처리시에 사용되는 정보를 나타내는 예측 오버헤드 정보를 복호하여 사용할지를 지시하는 예측 정보 부호화 지시 플래그를 복호하고, 그 예측 정보 부호화 지시 플래그의 값에 근거하여, 예측 화상 생성부에서 이용하는 예측 모드 및 그 예측 모드에 따른 예측 처리시에 사용되는 정보를 나타내는 예측 오버헤드 정보를 정하는 것
    을 특징으로 하는 화상 복호 장치.
  2. 복수의 색성분으로 구성되는 컬러 동화상 신호를 압축 부호화한 비트스트림을 입력으로 하여, 그 컬러 동화상 신호의 각 색성분마다, 화면 내 복호 처리 내지는 움직임 보상 예측 복호 처리를 선택적으로 적용함으로써 상기 컬러 동화상 신호를 복호하는 화상 복호 방법으로서,
    부호화 단위 영역마다, 소정의 신텍스에 따라, 그 부호화 단위 영역의 부호화에 이용되는 예측 화상 생성 방법을 나타내는 예측 모드, 그 예측 모드에 따른 예측 처리시에 사용되는 정보를 나타내는 예측 오버헤드 정보 및 예측 오차를 부호화한 정보를 비트스트림으로부터 복호하는 복호 단계와,
    상기 복호된 예측 모드와 상기 예측 오버헤드 정보에 근거하여 상기 부호화 단위 영역의 신호에 대한 예측 화상을 생성하는 예측 화상 생성 단계와,
    상기 예측 오차를 부호화한 정보에 근거하여 예측 오차 신호를 복호하는 예측 오차 복호 단계와,
    상기 예측 화상 생성 단계의 출력과, 상기 예측 오차 복호 단계의 출력을 가산하는 가산 단계
    를 구비하고,
    상기 복호 단계는, 동일 화면을 구성하는 다른 색성분의 동일 화상 위치의 부호화 대상 영역에서 부호화에 이용된 예측 모드 및 그 예측 모드에 따른 예측 처리시에 사용되는 정보를 나타내는 예측 오버헤드 정보를 그대로 사용할지, 자신의 색성분에 있어서 독자의 예측 모드 및 그 예측 모드에 따른 예측 처리시에 사용되는 정보를 나타내는 예측 오버헤드 정보를 복호하여 사용할지를 지시하는 예측 정보 부호화 지시 플래그를 복호하고, 그 예측 정보 부호화 지시 플래그의 값에 근거하여, 예측 화상 생성 단계에서 이용하는 예측 모드 및 그 예측 모드에 따른 예측 처리시에 사용되는 정보를 나타내는 예측 오버헤드 정보를 정하는 것
    을 특징으로 하는 화상 복호 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020117009137A 2007-06-28 2008-06-25 화상 부호화 장치 및 방법, 그리고 화상 복호 장치 및 방법 KR101379087B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2007-170330 2007-06-28
JP2007170330 2007-06-28
PCT/JP2008/061566 WO2009001864A1 (ja) 2007-06-28 2008-06-25 画像符号化装置および画像復号装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107001743A Division KR101088972B1 (ko) 2007-06-28 2008-06-25 화상 부호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110061627A KR20110061627A (ko) 2011-06-09
KR101379087B1 true KR101379087B1 (ko) 2014-04-11

Family

ID=40160460

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020117009137A KR101379087B1 (ko) 2007-06-28 2008-06-25 화상 부호화 장치 및 방법, 그리고 화상 복호 장치 및 방법
KR1020107001743A KR101088972B1 (ko) 2007-06-28 2008-06-25 화상 부호화 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020107001743A KR101088972B1 (ko) 2007-06-28 2008-06-25 화상 부호화 장치 및 방법

Country Status (10)

Country Link
US (6) US8145002B2 (ko)
EP (2) EP2661088A1 (ko)
JP (2) JP5296679B2 (ko)
KR (2) KR101379087B1 (ko)
CN (2) CN101889449B (ko)
BR (1) BRPI0813996B1 (ko)
CA (1) CA2691742C (ko)
HK (1) HK1148148A1 (ko)
RU (3) RU2430486C1 (ko)
WO (1) WO2009001864A1 (ko)

Families Citing this family (243)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050267750A1 (en) 2004-05-27 2005-12-01 Anonymous Media, Llc Media usage monitoring and measurement system and method
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
KR101441269B1 (ko) * 2005-09-26 2014-09-18 미쓰비시덴키 가부시키가이샤 동화상 복호 장치 및 동화상 복호 방법
CN102611892B (zh) 2006-03-16 2014-10-08 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
KR101403338B1 (ko) * 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8145002B2 (en) * 2007-06-28 2012-03-27 Mitsubishi Electric Corporation Image encoding device and image encoding method
CN103281542B (zh) 2007-06-29 2017-07-14 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
US8238676B2 (en) * 2007-12-14 2012-08-07 Yamaha Corporation Image data compressor and image data decompressor
KR101439847B1 (ko) * 2008-01-02 2014-09-16 삼성전자주식회사 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치
TWI375472B (en) * 2008-02-04 2012-10-21 Ind Tech Res Inst Intra prediction method for luma block of video
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
JP2009218742A (ja) * 2008-03-07 2009-09-24 Canon Inc 画像符号化装置
KR20100105680A (ko) * 2008-03-07 2010-09-29 가부시끼가이샤 도시바 동화상 부호화/복호화 방법 및 장치
US8295356B2 (en) * 2008-03-07 2012-10-23 International Business Machines Corporation Method and system for coding mode selection in video compression systems
KR101375667B1 (ko) * 2008-05-16 2014-03-18 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
FR2933565A1 (fr) * 2008-07-01 2010-01-08 France Telecom Procede et dispositif de codage d'une sequence d'images mettant en oeuvre une prediction temporelle, signal, support de donnees, procede et dispositif de decodage, et produit programme d'ordinateur correspondants
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8942490B2 (en) * 2008-07-08 2015-01-27 Yin-Chun Blue Lan Method of high performance image compression
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101377527B1 (ko) 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101359490B1 (ko) * 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI405469B (zh) * 2009-02-20 2013-08-11 Sony Corp Image processing apparatus and method
EP2230849A1 (en) * 2009-03-20 2010-09-22 Mitsubishi Electric R&D Centre Europe B.V. Encoding and decoding video data using motion vectors
CN102804779A (zh) * 2009-06-09 2012-11-28 索尼公司 图像处理装置和方法
JP5199956B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5199955B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
RU2510592C2 (ru) * 2009-06-19 2014-03-27 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
CN102474601B (zh) * 2009-06-29 2017-06-23 汤姆森特许公司 未编码语法的自适应概率更新的方法和装置
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5375372B2 (ja) * 2009-07-01 2013-12-25 ヤマハ株式会社 圧縮符号化装置、および復号装置
JP5251774B2 (ja) * 2009-07-27 2013-07-31 ソニー株式会社 画像符号化装置および画像符号化方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP4844657B2 (ja) * 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
US8379718B2 (en) * 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
CN104602013B (zh) * 2009-10-01 2017-10-31 Sk电信有限公司 视频编码装置和方法
DK2991356T3 (da) 2009-10-01 2019-12-02 Sk Telecom Co Ltd Fremgangsmåde og indretning til kodning/afkodning af et billede under anvendelse af makroblokke med variabel størrelse
EP2493198B1 (en) * 2009-10-20 2019-04-17 Sharp Kabushiki Kaisha Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
CN104954799B (zh) * 2009-10-21 2018-04-03 Sk电信有限公司 视频编码方法
KR101841783B1 (ko) 2009-12-04 2018-03-23 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 인터 프레임을 위한 개선된 색차 변환을 위한 방법 및 장치
US8654859B1 (en) 2009-12-17 2014-02-18 Ambarella, Inc. Low cost rate-distortion computations for video compression
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
EP3506637A1 (en) * 2010-02-24 2019-07-03 Velos Media International Limited Image encoding device, image decoding device, and data structure
KR101318574B1 (ko) * 2010-03-03 2013-10-16 미쓰비시덴키 가부시키가이샤 데이터 압축 장치 및 데이터 압축 방법 및 컴퓨터 판독 가능한 기록 매체
KR101776809B1 (ko) * 2010-03-09 2017-09-08 스프레드트럼 커뮤니케이션즈 (상하이) 컴퍼니 리미티드 적응적 비디오 디코딩 회로망 및 기술들
US8660177B2 (en) * 2010-03-24 2014-02-25 Sony Computer Entertainment Inc. Parallel entropy coding
WO2011126282A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
WO2011126277A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
US9049450B2 (en) 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
EP2557792A4 (en) * 2010-04-09 2014-08-13 Mitsubishi Electric Corp VIDEO CODING DEVICE AND VIDEO CODING DEVICE
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
KR101789634B1 (ko) * 2010-04-09 2017-10-25 엘지전자 주식회사 비디오 데이터 처리 방법 및 장치
US8306343B2 (en) * 2010-04-09 2012-11-06 Newport Media, Inc. Optimized prediction based image compression
TWI675587B (zh) 2010-04-13 2019-10-21 美商Ｇｅ影像壓縮有限公司 樣本區域合併技術
KR102355155B1 (ko) 2010-04-13 2022-01-24 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
KR101994900B1 (ko) 2010-04-13 2019-06-28 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
PL2559005T3 (pl) * 2010-04-13 2016-01-29 Ge Video Compression Llc Dziedziczenie w tablicy próbki podpodziału drzewa wyższego rzędu
JP2013526199A (ja) * 2010-04-26 2013-06-20 パナソニック株式会社 予測誤差から導出されるブロック形状を用いた予測符号化
KR20110123651A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2011142801A1 (en) * 2010-05-10 2011-11-17 Thomson Licensing Methods and apparatus for adaptive interpolative intra block encoding and decoding
US9083974B2 (en) * 2010-05-17 2015-07-14 Lg Electronics Inc. Intra prediction modes
KR101379188B1 (ko) * 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
US8946046B1 (en) 2012-05-02 2015-02-03 Crossbar, Inc. Guided path for forming a conductive filament in RRAM
US9012307B2 (en) 2010-07-13 2015-04-21 Crossbar, Inc. Two terminal resistive switching device structure and method of fabricating
US9601692B1 (en) 2010-07-13 2017-03-21 Crossbar, Inc. Hetero-switching layer in a RRAM device and method
US9570678B1 (en) 2010-06-08 2017-02-14 Crossbar, Inc. Resistive RAM with preferental filament formation region and methods
US8198144B2 (en) 2010-06-11 2012-06-12 Crossbar, Inc. Pillar structure for memory device and method
KR101673027B1 (ko) * 2010-07-01 2016-11-04 에스케이 텔레콤주식회사 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
US8374018B2 (en) 2010-07-09 2013-02-12 Crossbar, Inc. Resistive memory using SiGe material
US8168506B2 (en) 2010-07-13 2012-05-01 Crossbar, Inc. On/off ratio for non-volatile memory device and method
US8884261B2 (en) 2010-08-23 2014-11-11 Crossbar, Inc. Device switching using layered device structure
US8947908B2 (en) 2010-11-04 2015-02-03 Crossbar, Inc. Hetero-switching layer in a RRAM device and method
US8569172B1 (en) 2012-08-14 2013-10-29 Crossbar, Inc. Noble metal/non-noble metal electrode for RRAM applications
US8879619B2 (en) * 2010-07-15 2014-11-04 Sharp Laboratories Of America, Inc. Method of parallel video coding based on scan order
EP4106331A1 (en) * 2010-07-15 2022-12-21 Velos Media International Limited Image intra-prediction mode estimation device, image encoding device, image decoding device, and encoded image data
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
US8855188B2 (en) * 2010-07-15 2014-10-07 Sharp Laboratories Of America, Inc. Method of parallel video coding based on mapping
KR101562158B1 (ko) * 2010-07-15 2015-10-20 미쓰비시덴키 가부시키가이샤 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
KR101681307B1 (ko) * 2010-07-23 2016-12-01 에스케이 텔레콤주식회사 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
GB2482731B (en) * 2010-08-13 2016-12-21 Advanced Risc Mach Ltd A video decoding apparatus and method
US10123010B2 (en) * 2010-08-17 2018-11-06 M&K Holding Inc. Apparatus for encoding an image
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
US8889521B1 (en) 2012-09-14 2014-11-18 Crossbar, Inc. Method for silver deposition for a non-volatile memory device
US8492195B2 (en) 2010-08-23 2013-07-23 Crossbar, Inc. Method for forming stackable non-volatile resistive switching memory devices
US9401475B1 (en) 2010-08-23 2016-07-26 Crossbar, Inc. Method for silver deposition for a non-volatile memory device
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR101679233B1 (ko) * 2010-09-08 2016-11-24 삼성전자주식회사 디블록킹 필터 및 이를 포함하는 영상 표시 장치
US8995534B2 (en) 2010-09-20 2015-03-31 Bevara Technologies, Llc Systems and methods for encoding and decoding
ES2784198T3 (es) 2010-09-27 2020-09-23 Lg Electronics Inc Método para partición de bloque y dispositivo de decodificación
US8558212B2 (en) 2010-09-29 2013-10-15 Crossbar, Inc. Conductive path in switching material in a resistive random access memory device and control
MX338462B (es) * 2010-09-30 2016-04-15 Mitsubishi Electric Corp Dispositivo de codificacion de imagen en movimiento, dispositivo de decodificacion de imagen en movimiento, metodo de codificacion de imagen en movimiento y metodo de decodificacion de imagen en movimiento.
US9628821B2 (en) * 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US8885704B2 (en) 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
US8502185B2 (en) 2011-05-31 2013-08-06 Crossbar, Inc. Switching device having a non-linear element
USRE46335E1 (en) 2010-11-04 2017-03-07 Crossbar, Inc. Switching device having a non-linear element
US9367932B2 (en) * 2010-11-29 2016-06-14 Thomson Licensing Method and device for reconstructing a self-similar textured region of an image
CA3052608C (en) 2010-12-17 2021-09-21 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
CA2822800C (en) * 2010-12-23 2017-08-29 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US8930174B2 (en) 2010-12-28 2015-01-06 Crossbar, Inc. Modeling technique for resistive random access memory (RRAM) cells
US8815696B1 (en) 2010-12-31 2014-08-26 Crossbar, Inc. Disturb-resistant non-volatile memory device using via-fill and etchback technique
US9153623B1 (en) 2010-12-31 2015-10-06 Crossbar, Inc. Thin film transistor steering element for a non-volatile memory device
CA2823503C (en) * 2011-01-12 2019-03-19 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
JP5781313B2 (ja) 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
WO2012097376A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Spatial block merge mode
US20120183064A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Codeword assignment for intra chroma mode signaling for hevc
US9066097B2 (en) * 2011-02-01 2015-06-23 Sony Corporation Method to optimize the transforms and/or predictions in a video codec
US9001883B2 (en) 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
JP2012186733A (ja) * 2011-03-07 2012-09-27 Honda Elesys Co Ltd 車載カメラシステム
US9848197B2 (en) 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
KR20120103517A (ko) * 2011-03-10 2012-09-19 한국전자통신연구원 인트라 예측 방법 및 그 장치
US8780996B2 (en) * 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US9620206B2 (en) 2011-05-31 2017-04-11 Crossbar, Inc. Memory array architecture with two-terminal memory cells
SI2717574T1 (sl) * 2011-05-31 2021-04-30 JVC Kenwood Corporation Naprava za dekodiranje gibljivih slik, postopek za dekodiranje gibljivih slik, program za dekodiranje gibljivih slik
TWI602421B (zh) * 2011-06-13 2017-10-11 Sun Patent Trust Image decoding method and image decoding apparatus
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
KR101729463B1 (ko) * 2011-06-23 2017-04-21 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
TW201322772A (zh) 2011-06-23 2013-06-01 Panasonic Corp 圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置、及圖像編碼解碼裝置（一）
US8619459B1 (en) 2011-06-23 2013-12-31 Crossbar, Inc. High operating speed resistive random access memory
KR102062283B1 (ko) 2011-06-24 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CA3073053C (en) * 2011-06-24 2021-11-16 Mitsubishi Electric Corporation Intra prediction of a processing block using a predicted value which is proportional to the amount of change in the horizontal direction of the signal value of a pixel adjacent to the left of the processing block
TWI581615B (zh) * 2011-06-24 2017-05-01 Sun Patent Trust A decoding method, a coding method, a decoding device, an encoding device, and a coding / decoding device
RU2601180C2 (ru) * 2011-06-27 2016-10-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования информации движения, а также способ и устройство для ее декодирования
EP4270950A3 (en) 2011-06-27 2024-02-14 Sun Patent Trust Encoding apparatus and decoding apparatus
BR122022013246B1 (pt) 2011-06-28 2022-11-16 Sun Patent Trust Aparelho de decodificação para decodificar um parâmetro de controle para controlar decodificação de uma imagem, e aparelho de codificação para codificar um parâmetro de controle para controlar codificação de uma imagem
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
US9564587B1 (en) 2011-06-30 2017-02-07 Crossbar, Inc. Three-dimensional two-terminal memory with enhanced electric field and segmented interconnects
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
US9166163B2 (en) 2011-06-30 2015-10-20 Crossbar, Inc. Sub-oxide interface layer for two-terminal memory
KR102024516B1 (ko) 2011-06-30 2019-09-24 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US9627443B2 (en) 2011-06-30 2017-04-18 Crossbar, Inc. Three-dimensional oblique two-terminal memory with enhanced electric field
HUE053035T2 (hu) * 2011-06-30 2021-06-28 Jvc Kenwood Corp Képkódoló készülék, képkódoló eljárás, képkódoló program, képdekódoló készülék, képdekódoló eljárás és képdekódoló program
US8946669B1 (en) 2012-04-05 2015-02-03 Crossbar, Inc. Resistive memory device and fabrication methods
AU2012277220B2 (en) 2011-06-30 2016-08-11 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX2013013941A (es) 2011-07-11 2014-01-31 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
WO2013015776A1 (en) 2011-07-22 2013-01-31 Crossbar, Inc. Seed layer for a p + silicon germanium material for a non-volatile memory device and method
US10056907B1 (en) 2011-07-29 2018-08-21 Crossbar, Inc. Field programmable gate array utilizing two-terminal non-volatile memory
US8674724B2 (en) 2011-07-29 2014-03-18 Crossbar, Inc. Field programmable gate array utilizing two-terminal non-volatile memory
US9729155B2 (en) 2011-07-29 2017-08-08 Crossbar, Inc. Field programmable gate array utilizing two-terminal non-volatile memory
US10129556B2 (en) 2014-05-16 2018-11-13 Bevara Technologies, Llc Systems and methods for accessing digital data
US10025787B2 (en) 2011-08-17 2018-07-17 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
RU2713699C2 (ru) 2011-10-17 2020-02-06 Кт Корпорейшен Способ декодирования видеосигнала
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
US9510018B2 (en) 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
CN102509091B (zh) * 2011-11-29 2013-12-25 北京航空航天大学 一种飞机尾号识别方法
WO2013089700A1 (en) * 2011-12-14 2013-06-20 Intel Corporation Methods, systems, and computer program products for assessing a macroblock candidate for conversion to a skipped macroblock
SI2802146T1 (sl) * 2011-12-16 2019-07-31 JVC Kenwood Corporation Naprava za dekodiranje dinamične slike, metoda za dekodiranje dinamične slike in program za dekodiranje dinamične slike
US9503717B2 (en) 2012-01-09 2016-11-22 Texas Instruments Incorporated Context adaptive binary arithmetic coding (CABAC) with scalable throughput and coding efficiency
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
JP2013172323A (ja) * 2012-02-21 2013-09-02 Toshiba Corp 動き検出装置、画像処理装置および画像処理システム
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US11039138B1 (en) * 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
BR122020010110B1 (pt) * 2012-03-28 2021-08-17 JVC Kenwood Corporation Dispositivo de codificação de imagem
US9087576B1 (en) 2012-03-29 2015-07-21 Crossbar, Inc. Low temperature fabrication method for a three-dimensional memory device and structure
US9685608B2 (en) 2012-04-13 2017-06-20 Crossbar, Inc. Reduced diffusion in metal electrode for two-terminal memory
US8658476B1 (en) 2012-04-20 2014-02-25 Crossbar, Inc. Low temperature P+ polycrystalline silicon material for non-volatile memory device
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN104255028A (zh) * 2012-05-02 2014-12-31 索尼公司 图像处理设备及图像处理方法
US8796658B1 (en) 2012-05-07 2014-08-05 Crossbar, Inc. Filamentary based non-volatile resistive memory device and method
EP2670140A1 (en) * 2012-06-01 2013-12-04 Alcatel Lucent Method and apparatus for encoding a video stream
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
WO2014003421A1 (ko) 2012-06-25 2014-01-03 한양대학교 산학협력단 비디오 부호화 및 복호화를 위한 방법
US9185414B1 (en) * 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
GB2503875B (en) * 2012-06-29 2015-06-10 Canon Kk Method and device for encoding or decoding an image
US20150195551A1 (en) * 2012-07-09 2015-07-09 Squid Design Systems Pvt Ltd Programmable variable block size motion estimation processor
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9583701B1 (en) 2012-08-14 2017-02-28 Crossbar, Inc. Methods for fabricating resistive memory device switching material using ion implantation
US10096653B2 (en) 2012-08-14 2018-10-09 Crossbar, Inc. Monolithically integrated resistive memory using integrated-circuit foundry compatible processes
US8946673B1 (en) 2012-08-24 2015-02-03 Crossbar, Inc. Resistive switching device structure with improved data retention for non-volatile memory device and method
US20140072048A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
US9312483B2 (en) 2012-09-24 2016-04-12 Crossbar, Inc. Electrode structure for a non-volatile memory device and method
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9576616B2 (en) 2012-10-10 2017-02-21 Crossbar, Inc. Non-volatile memory with overwrite capability and low write amplification
US8982647B2 (en) 2012-11-14 2015-03-17 Crossbar, Inc. Resistive random access memory equalization and sensing
US9412790B1 (en) 2012-12-04 2016-08-09 Crossbar, Inc. Scalable RRAM device architecture for a non-volatile memory device and method
US9406379B2 (en) 2013-01-03 2016-08-02 Crossbar, Inc. Resistive random access memory with non-linear current-voltage relationship
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9300964B2 (en) * 2013-01-24 2016-03-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
US10234616B2 (en) 2013-01-30 2019-03-19 Cree, Inc. Simplified low profile module with light guide for pendant, surface mount, wall mount and stand alone luminaires
US9869432B2 (en) 2013-01-30 2018-01-16 Cree, Inc. Luminaires using waveguide bodies and optical elements
US9324942B1 (en) 2013-01-31 2016-04-26 Crossbar, Inc. Resistive memory cell with solid state diode
US9112145B1 (en) 2013-01-31 2015-08-18 Crossbar, Inc. Rectified switching of two-terminal memory via real time filament formation
JP6033725B2 (ja) * 2013-03-28 2016-11-30 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9819944B2 (en) * 2013-04-12 2017-11-14 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9967594B2 (en) * 2013-06-28 2018-05-08 Mozilla Corporation Probability modeling of intra prediction modes
JP6265705B2 (ja) * 2013-11-25 2018-01-24 キヤノン株式会社 画像符号化装置及び画像符号化方法
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10290801B2 (en) 2014-02-07 2019-05-14 Crossbar, Inc. Scalable silicon based resistive memory device
BR122022001646B1 (pt) * 2014-03-04 2023-03-07 Microsoft Technology Licensing, Llc Dispositivo de memória ou armazenamento legível por computador, método e sistema de computador
US10182241B2 (en) 2014-03-04 2019-01-15 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
US9948933B2 (en) 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150264374A1 (en) * 2014-03-14 2015-09-17 Vid Scale, Inc. Systems and methods for rgb video coding enhancement
JP6367359B2 (ja) 2014-03-27 2018-08-01 マイクロソフト テクノロジー ライセンシング，エルエルシー 色空間を切り替えるときの量子化／スケーリング及び逆量子化／スケーリングの調整
US9584817B2 (en) 2014-03-31 2017-02-28 Sony Corporation Video transmission system with color prediction and method of operation thereof
CN110996080B (zh) * 2014-04-22 2021-10-08 日本电信电话株式会社 视频呈现装置、视频呈现方法、以及记录介质
WO2015176009A1 (en) 2014-05-16 2015-11-19 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US9386317B2 (en) 2014-09-22 2016-07-05 Sony Interactive Entertainment Inc. Adaptive picture section encoding mode decision control
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
CN105960802B (zh) 2014-10-08 2018-02-06 微软技术许可有限责任公司 切换色彩空间时对编码和解码的调整
RU2579966C1 (ru) * 2014-12-04 2016-04-10 Общество с ограниченной ответственностью "РЭЙДИКС" Способ сжатия изображений (варианты)
US9716889B2 (en) * 2014-12-09 2017-07-25 Sony Corporation Intra and inter-color prediction for Bayer image coding
US10091506B2 (en) * 2015-06-11 2018-10-02 Sony Corporation Data-charge phase data compression architecture
JP6328076B2 (ja) * 2015-06-17 2018-05-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 画像復号装置および方法、記録媒体、並びにプログラム
WO2017011636A1 (en) 2015-07-16 2017-01-19 Dolby Laboratories Licensing Corporation Signal reshaping and coding for hdr and wide color gamut signals
EP3125108A1 (en) * 2015-07-31 2017-02-01 ARM Limited Vector processing using loops of dynamic vector length
JP6212530B2 (ja) * 2015-11-17 2017-10-11 ジーイー ビデオ コンプレッション エルエルシー 平面間予測
JP6632709B2 (ja) * 2016-03-24 2020-01-22 富士ゼロックス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN105939479B (zh) * 2016-06-15 2019-06-21 北京奇艺世纪科技有限公司 一种并行编码方法和装置
US20170366819A1 (en) * 2016-08-15 2017-12-21 Mediatek Inc. Method And Apparatus Of Single Channel Compression
JP2018037936A (ja) * 2016-09-01 2018-03-08 株式会社ドワンゴ 画像符号化装置および画像復号装置
CN109691100B (zh) * 2016-09-16 2021-08-13 索尼公司 图像处理设备和图像处理方法
US10264264B2 (en) * 2016-09-24 2019-04-16 Apple Inc. Multi-bin decoding systems and methods
US11044490B2 (en) * 2017-09-28 2021-06-22 Sharp Kabushiki Kaisha Motion compensation filter apparatus, image decoding apparatus, and video coding apparatus
US10791341B2 (en) * 2017-10-10 2020-09-29 Qualcomm Incorporated Binary arithmetic coding with progressive modification of adaptation parameters
US10694205B2 (en) 2017-12-18 2020-06-23 Google Llc Entropy coding of motion vectors using categories of transform blocks
CN113055691A (zh) * 2017-12-29 2021-06-29 深圳市大疆创新科技有限公司 视频解码器及其制造方法，数据处理电路、系统和方法
US10965780B2 (en) 2018-01-18 2021-03-30 Bevara Technologies, Llc Browser navigation for facilitating data access
US10904555B2 (en) * 2018-07-11 2021-01-26 Tencent America LLC Method and apparatus for video coding
US11113999B2 (en) * 2018-09-03 2021-09-07 Chongqing Hkc Optoelectronics Technology Co., Ltd. Data processing method, display device, and computer-readable storage medium
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
CN110017571B (zh) * 2018-10-31 2020-11-10 徐州轩科农业机械有限公司 柜式空调背景灯控制系统
JP2022016726A (ja) * 2018-11-16 2022-01-25 ソニーグループ株式会社 画像処理装置および方法
US11210813B2 (en) * 2019-05-30 2021-12-28 Tencent America LLC Method and apparatus for point cloud compression
CN114270822A (zh) * 2019-06-24 2022-04-01 Lg电子株式会社 利用色度变换块的最大大小限制编码/解码视频的方法和设备及发送比特流的方法
US11399199B2 (en) * 2019-08-05 2022-07-26 Qualcomm Incorporated Chroma intra prediction units for video coding
MX2022001243A (es) 2019-08-06 2022-02-17 Beijing Bytedance Network Tech Co Ltd Particion de region de video basada en formato de color.
EP4008109A4 (en) * 2019-09-02 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. ENCODING MODE DETERMINATION BASED ON COLOR FORMAT
EP4018662A4 (en) 2019-09-21 2023-05-03 Beijing Bytedance Network Technology Co., Ltd. SIZE LIMITATION BASED ON CHROMA INTRA MODE
CN111193948B (zh) * 2020-01-07 2022-06-24 上海步频电子科技有限公司 一种显示终端的图片传输和显示的方法和系统
WO2021168624A1 (zh) * 2020-02-24 2021-09-02 深圳市大疆创新科技有限公司 视频图像编码方法、设备及可移动平台
CN113329269A (zh) * 2020-02-28 2021-08-31 杭州海康威视数字技术股份有限公司 视频编码、解码方法、装置、电子设备及存储介质
EP4118823A1 (en) * 2020-03-12 2023-01-18 InterDigital VC Holdings France Method and apparatus for video encoding and decoding
US20220107738A1 (en) * 2020-10-06 2022-04-07 Kioxia Corporation Read controller and input/output controller

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007010690A1 (ja) 2005-07-22 2007-01-25 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0139164B1 (ko) * 1994-12-19 1998-06-01 김광호 적응적 직교변환부호화 장치
CN1913425B (zh) * 1996-03-18 2010-12-29 株式会社东芝 译码装置和译码方法
US6775326B2 (en) * 1997-02-13 2004-08-10 Mitsubishi Denki Kabushiki Kaisha Moving image estimating system
KR100511693B1 (ko) * 1997-10-23 2005-09-02 미쓰비시덴키 가부시키가이샤 화상 복호화 장치
JP4264571B2 (ja) * 1998-04-09 2009-05-20 ソニー株式会社 ディジタル画像復号装置及び方法、並びに記録媒体
JP3413720B2 (ja) * 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
FR2783388B1 (fr) * 1998-09-15 2000-10-13 Thomson Multimedia Sa Procede de compression d'images et dispositif pour la mise en oeuvre de ce procede
US6532265B1 (en) * 1999-03-25 2003-03-11 Imec Vzw Method and system for video compression
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
JP2002027477A (ja) * 2000-07-04 2002-01-25 Mitsubishi Electric Corp Ｍｐｅｇ画像処理装置およびそのデータ転送方法
JP2003189312A (ja) * 2001-12-20 2003-07-04 Oki Electric Ind Co Ltd 動画像符号化装置及び動画像復号化装置
CN1312927C (zh) * 2002-07-15 2007-04-25 株式会社日立制作所 动态图像编码方法及解码方法
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US7333544B2 (en) * 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
DE60317670T2 (de) * 2003-09-09 2008-10-30 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung
KR100754388B1 (ko) * 2003-12-27 2007-08-31 삼성전자주식회사 레지듀 영상 다운/업 샘플링 방법 및 장치와 그를 이용한영상 부호화/복호화 방법 및 장치
JP2006074474A (ja) * 2004-09-02 2006-03-16 Toshiba Corp 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR101278324B1 (ko) * 2005-04-13 2013-06-25 톰슨 라이센싱 공용 예측기를 사용하는 루마 및 크로마 인코딩
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
JP2006304102A (ja) * 2005-04-22 2006-11-02 Renesas Technology Corp 画像符号化ユニットと画像符号化方法
EP1753242A2 (en) * 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
US8300700B2 (en) * 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300694B2 (en) * 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
KR101139138B1 (ko) * 2005-09-20 2012-07-02 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법
US8306112B2 (en) * 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
KR101441269B1 (ko) * 2005-09-26 2014-09-18 미쓰비시덴키 가부시키가이샤 동화상 복호 장치 및 동화상 복호 방법
JP4844449B2 (ja) * 2006-04-17 2011-12-28 日本ビクター株式会社 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US7529404B2 (en) * 2007-06-20 2009-05-05 Ahdoot Ned M Digital video filter and image processing
US8145002B2 (en) * 2007-06-28 2012-03-27 Mitsubishi Electric Corporation Image encoding device and image encoding method
US20110032991A1 (en) * 2008-01-09 2011-02-10 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007010690A1 (ja) 2005-07-22 2007-01-25 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
BRPI0813996B1 (pt) 2020-10-20
US20090003716A1 (en) 2009-01-01
BRPI0813996A2 (pt) 2015-01-06
CA2691742C (en) 2015-11-24
EP2661088A1 (en) 2013-11-06
KR101088972B1 (ko) 2011-12-01
WO2009001864A1 (ja) 2008-12-31
US8139875B2 (en) 2012-03-20
HK1148148A1 (en) 2011-08-26
US20090110067A1 (en) 2009-04-30
JP5296679B2 (ja) 2013-09-25
RU2430486C1 (ru) 2011-09-27
RU2012140183A (ru) 2014-05-10
RU2010102711A (ru) 2011-08-10
US20090003441A1 (en) 2009-01-01
EP2169961B1 (en) 2014-03-05
US8422803B2 (en) 2013-04-16
US20090003449A1 (en) 2009-01-01
RU2514787C1 (ru) 2014-05-10
KR20100032438A (ko) 2010-03-25
US20090003448A1 (en) 2009-01-01
US7991237B2 (en) 2011-08-02
CN103327328A (zh) 2013-09-25
KR20110061627A (ko) 2011-06-09
RU2011119591A (ru) 2012-11-27
US8345968B2 (en) 2013-01-01
CN103327328B (zh) 2016-08-17
CA2691742A1 (en) 2008-12-31
RU2470480C1 (ru) 2012-12-20
JPWO2009001864A1 (ja) 2010-08-26
CN101889449A (zh) 2010-11-17
US20090003717A1 (en) 2009-01-01
JP2013176168A (ja) 2013-09-05
US8145002B2 (en) 2012-03-27
CN101889449B (zh) 2013-06-19
EP2169961A1 (en) 2010-03-31
EP2169961A4 (en) 2011-06-15

Similar Documents

Publication Publication Date Title
KR101379087B1 (ko) 화상 부호화 장치 및 방법, 그리고 화상 복호 장치 및 방법
KR100995226B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
RU2426269C2 (ru) Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US8488889B2 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20090034857A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080159641A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080165849A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190306

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 7