KR101213904B1 - 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법 - Google Patents

화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법 Download PDF

Info

Publication number
KR101213904B1
KR101213904B1 KR1020107028571A KR20107028571A KR101213904B1 KR 101213904 B1 KR101213904 B1 KR 101213904B1 KR 1020107028571 A KR1020107028571 A KR 1020107028571A KR 20107028571 A KR20107028571 A KR 20107028571A KR 101213904 B1 KR101213904 B1 KR 101213904B1
Authority
KR
South Korea
Prior art keywords
encoding
intra
delete delete
mode
prediction
Prior art date
Application number
KR1020107028571A
Other languages
English (en)
Other versions
KR20110014656A (ko
Inventor
요시미 모리야
？이치 세키구치
가즈오 스기모토
요시히사 야마다
고우타로우 아사이
도쿠미치 무라카미
유우이치 이데하라
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37668575&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101213904(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20110014656A publication Critical patent/KR20110014656A/ko
Application granted granted Critical
Publication of KR101213904B1 publication Critical patent/KR101213904B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

예측 화상 생성 방법을 나타내는 복수의 예측 모드에 대응하여 예측 화상을 생성하는 예측 화상 생성부와, 상기 예측 화상 생성부로부터 출력되는 예측 화상의 예측 효율을 평가하여 소정의 예측 모드를 판정하는 예측 모드 판정부와, 상기 예측 모드 판정부의 출력을 가변 길이 부호화하는 부호화부를 구비하되, 상기 예측 모드 판정부는, 소정의 제어 신호에 근거하여, 상기 입력 화상 신호를 구성하는 각 색성분에 대하여 공통의 예측 모드를 사용할지, 각 색성분마다 개별의 예측 모드를 사용할지를 판단하여, 상기 제어 신호의 정보를 비트 스트림으로 다중화함과 아울러, 공통의 예측 모드를 사용하는 경우는 공통의 예측 모드 정보를 비트 스트림으로 다중화하고, 공통의 예측 모드를 사용하지 않는 경우는 각 색성분마다의 예측 모드 정보를 비트 스트림으로 다중화한다.

Description

화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법{IMAGE DECODING DEVICE, IMAGE DECODING METHOD, IMAGE ENCODING DEVICE AND IMAGE ENCODING METHOD}
본 발명은, 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용되는 디지털 화상 신호 부호화 장치, 디지털 화상 신호 복호 장치, 디지털 화상 신호 부호화 방법, 및 디지털 화상 신호 복호 방법에 관한 것이다.
종래로부터, MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 주로 4 : 2 : 0 포맷이라 불리는 표준화된 입력 신호 포맷의 사용을 전제로 하여 왔다. 4 : 2 : 0이란, RGB 등의 컬러 동화상 신호를 휘도 성분(Y)과 2개의 색차 성분(Cb, Cr)으로 변환하여, 수평ㆍ수직 함께 색차 성분의 샘플수를 휘도 성분의 절반으로 삭감한 포맷이다. 색차 성분은 휘도 성분에 비해 시인성이 떨어지므로, 종래의 국제 표준 영상 부호화 방식에서는, 이와 같이 부호화를 행하기 전에 색차 성분의 다운샘플을 행함으로써 부호화 대상의 원래 정보량을 삭감하여 두는 것을 전제로 하고 있었다. 한편, 최근의 비디오 디스플레이의 고해상도화, 고계조화에 따라, 색차 성분을 다운샘플하는 일 없이 휘도 성분과 동일 샘플로 부호화하는 방식에 대해서도 검토가 행해지고 있다. 휘도 성분과 색차 성분이 완전히 동일한 샘플수의 포맷은 4 : 4 : 4 포맷이라 불린다. MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격(이하, AVC)에서는, 4 : 4 : 4 포맷을 입력으로 하는 부호화 방식으로서 「하이(high) 4 : 4 : 4 프로파일」이 책정되어 있다. 도 10에 나타내는 바와 같이, 종래의 4 : 2 : 0 포맷이 색차 성분의 다운샘플을 전제로 했으므로 Y, Cb, Cr이라는 색공간 정의에만 한정된 것에 대하여, 4 : 4 : 4 포맷에서는 색성분 사이에 샘플비의 구별이 없으므로, Y, Cb, Cr 외에, R, G, B를 직접 사용하거나, 기타 복수의 색공간 정의를 이용하는 것이 가능하다. 4 : 2 : 0 포맷을 이용한 영상 부호화 방식에서는, 그 색공간은 Y, Cb, Cr로 정해져 있으므로 부호화 처리 중에 색공간의 종별을 고려할 필요는 없었지만, 상기 AVC 하이 4 : 4 : 4 프로파일에 있어서는 색공간 정의가 부호화 처리 그 자체에 영향을 미치는 방식으로 되어 있다. 한편으로, 현재의 하이 4 : 4 : 4 프로파일은, Y, Cb, Cr 공간에서 정의된 4 : 2 : 0 포맷을 부호화 대상으로 하는 기타 프로파일과의 호환성을 고려하므로, 4 : 4 : 4 포맷의 압축 효율을 최적으로 하는 설계로 되어 있다고는 말할 수 없다.
(비특허 문헌 1) MPEG-4 AVC(ISO/IEC14496-10)/ITU-T H.264 규격
예컨대, AVC의 4 : 2 : 0 포맷을 부호화 대상으로 하는 하이 4 : 2 : 0 프로파일에서는, 휘도 성분 16×16화소로 이루어지는 매크로 블록 영역에서, 대응하는 색차 성분은 Cb, Cr 모두 각 8×8화소 블록이 된다. 하이 4 : 2 : 0 프로파일에 있어서의 인트라 매크로 블록 부호화(intra macro block encoding)에는, 동일 픽쳐 중의 주변 샘플값을 이용한 공간 예측(인트라 예측(intra prediction))이 채용되어 있고, 휘도 성분과 색차 성분은 각각의 인트라 예측 모드를 사용하게 되어 있다. 휘도 성분은 도 3의 9종류 중에서 가장 예측 효율이 높은 것을, 색차 성분은 Cb, Cr 공통으로 도 9에 나타내는 4종류 중에서 가장 예측 효율이 높은 것을 인트라 예측 모드로서 선택한다(Cb와 Cr은 각각의 예측 모드를 사용할 수는 없다). 또한, 하이 4 : 2 : 0 프로파일에 있어서의 움직임 보상 예측에서는, 휘도 성분에 대해서만 움직임 보상 예측의 단위가 되는 블록 사이즈 정보와 예측에 이용하는 참조 화상 정보, 각 블록마다의 움직임 벡터 정보를 다중화하고, 색차 성분은 휘도 성분과 같은 정보를 이용하여 움직임 보상 예측을 행하게 되어 있다. 이러한 방식은, 4 : 2 : 0 포맷이 화상의 구조(texture)의 표현에 크게 기여하는 휘도 성분에 비해 색차 성분의 기여가 작다고 하는 색공간 정의의 전제를 기초로 성립하는 것이다. 그러나, 현재의 하이 4 : 4 : 4 프로파일은, 매크로 블록당 색차 신호의 블록 사이즈가 16×16화소로 확장된 상태에 있어서도, 4 : 2 : 0 포맷의 색차용 인트라 예측 모드를 단순히 확장한 방식으로 되어 있을 뿐이고, 또한, 4 : 2 : 0 포맷일 때와 마찬가지로, 1성분을 휘도 성분으로 간주하고, 1성분의 정보밖에 다중화하지 않고서 3성분에 공통의 인터 예측 모드(inter prediction mode), 참조 화상 정보 및 움직임 벡터 정보로 움직임 보상 예측이 행해지게 되어 있어, 화상 신호의 구조 표현에 있어서 각 색성분이 동등하게 기여하는 4 : 4 : 4 포맷에서는 반드시 최적의 예측 방법이라고는 말할 수 없다.
그래서, 본 발명은, 상기 종래 기술에 말했듯이, 4 : 4 : 4 포맷과 같은 색성분 사이에 샘플비의 구별이 없는 동화상 신호를 부호화하는데 있어서, 최적성을 높인 부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 이들을 실행하는 프로그램과 이들 프로그램을 기록한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명에 따른 화상 부호화 장치는, 예측 화상 생성 방법을 나타내는 복수의 예측 모드에 대응하여 예측 화상을 생성하는 예측 화상 생성부와, 그 예측 화상 생성부로부터 출력되는 예측 화상의 예측 효율을 평가하여 소정의 예측 모드를 판정하는 예측 모드 판정부와, 그 예측 모드 판정부의 출력을 가변 길이 부호화하는 부호화부를 구비하되, 그 예측 모드 판정부는, 소정의 제어 신호에 근거하여, 상기 입력 화상 신호를 구성하는 각 색성분에 대하여 공통의 예측 모드를 사용할지, 각 색성분마다 개별적인 예측 모드를 사용할지를 판단하고, 그 제어 신호의 정보를 비트 스트림으로 다중화함과 아울러, 공통의 예측 모드를 사용하는 경우는 공통의 예측 모드 정보를 비트 스트림으로 다중화하고, 공통의 예측 모드를 사용하지 않는 경우는 각 색성분마다의 예측 모드 정보를 비트 스트림으로 다중화하는 것이다.
본 발명의 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 및 이들을 실행하는 프로그램과 이들 프로그램을 기록한 기록 매체에 의하면, Y, Cb, Cr 등의 고정된 색공간에 한정하지 않고 다양한 색공간을 이용하는 부호화를 행하는 경우에 있어서, 각 색성분에서 이용하는 인트라 예측 모드 정보나 인터 예측 모드 정보를 유연하게 선택할 수 있도록 구성할 수 있어, 색공간의 정의가 여러 가지에 미치는 경우에도 최적의 부호화 처리를 행할 수 있다.
도 1은 실시예 1에 있어서의 영상 부호화 장치의 구성을 나타내는 설명도,
도 2는 실시예 1에 있어서의 영상 복호 장치의 구성을 나타내는 설명도,
도 3은 도 1의 공간 예측부(2)에서 평가되는 인트라 4×4 예측 모드의 예측 화상 생성 방법을 설명하는 설명도,
도 4는 도 1의 공간 예측부(2)에서 평가되는 인트라 16×16 예측 모드의 예측 화상 생성 방법을 설명하는 설명도,
도 5는 도 1의 영상 부호화 장치에 있어서 행해지는 인트라 예측 모드 판정 처리의 순서를 설명하는 흐름도,
도 6은 실시예 1에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트 스트림의 데이터 배열을 나타내는 설명도,
도 7은 도 2의 영상 복호 장치에 있어서 행해지는 인트라 예측 복호 처리의 순서를 설명하는 흐름도,
도 8은 실시예 1에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트 스트림의 다른 데이터 배열의 형태를 나타내는 설명도,
도 9는 AVC 규격에 있어서의 색차 성분 대응 인트라 예측 모드의 예측 화상 생성 방법을 설명하는 설명도,
도 10은 종래와 현재의 매크로 블록을 설명하는 설명도,
도 11은 실시예 2에 있어서의 영상 부호화 장치의 구성을 나타내는 설명도,
도 12는 실시예 2에 있어서의 영상 복호 장치의 구성을 나타내는 설명도,
도 13은 도 11의 공간 예측부(2)에서 평가되는 인트라 8×8 예측 모드의 예측 화상 생성 방법을 설명하는 설명도,
도 14는 도 11의 영상 부호화 장치에 있어서 행해지는 인트라 부호화 모드 판정 처리의 순서를 설명하는 흐름도,
도 15는 실시예 2에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트 스트림의 데이터 배열을 나타내는 설명도,
도 16은 실시예 2에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트 스트림의 다른 데이터 배열을 나타내는 설명도,
도 17은 도 12의 영상 복호 장치에 있어서 행해지는 인트라 예측 복호 처리의 순서를 설명하는 흐름도,
도 18은 실시예 3에 있어서의 C0 성분의 인트라 예측 모드 부호화 처리의 파라미터를 설명하는 설명도,
도 19는 실시예 3에 있어서의 C1 성분의 인트라 예측 모드 부호화 처리의 파라미터를 설명하는 설명도,
도 20은 실시예 3에 있어서의 C2 성분의 인트라 예측 모드 부호화 처리의 파라미터를 설명하는 설명도,
도 21은 실시예 3에 있어서의 인트라 예측 모드 부호화 처리의 흐름을 나타내는 흐름도,
도 22는 실시예 3에 있어서의 인트라 예측 모드 부호화 처리의 다른 흐름을 나타내는 흐름도,
도 23은 실시예 3에 있어서의 인트라 예측 모드 복호 처리의 흐름을 나타내는 흐름도,
도 24는 실시예 4에 있어서의 영상 부호화 장치로부터 출력되는 비디오 비트 스트림의 다른 데이터 배열을 나타내는 설명도,
도 25는 실시예 5에 있어서의 인트라 예측 모드 부호화 처리의 다른 흐름을 나타내는 흐름도,
도 26은 실시예 5에 있어서의 테이블화된 예측값 설정의 규칙을 나타내는 설명도,
도 27은 실시예 6에 있어서의 부호화 순서를 나타내는 흐름도,
도 28은 실시예 6에 있어서의 CurrIntraPredMode의 이진 계열(binary sequence) 구성을 나타내는 설명도,
도 29는 실시예 6에 있어서의 CurrIntraPredMode의 다른 이진 계열 구성을 나타내는 설명도,
도 30은 실시예 7에 있어서의 영상 부호화 장치의 구성을 나타내는 설명도,
도 31은 실시예 7에 있어서의 영상 복호 장치의 구성을 나타내는 설명도,
도 32는 매크로 블록의 단위를 나타내는 설명도,
도 33은 실시예 7에 있어서의 인터 예측 모드 판정 처리의 흐름을 나타내는 흐름도,
도 34는 실시예 7에 있어서의 영상 부호화 장치로부터 출력되는 비디오 스트림의 데이터 배열을 나타내는 설명도,
도 35는 실시예 7에 있어서의 가변 길이 복호부(25)에서 행해지는 처리의 흐름을 나타내는 흐름도,
도 36은 실시예 7에 있어서의 영상 부호화 장치로부터 출력되는 비디오 스트림의 다른 데이터 배열을 나타내는 설명도,
도 37은 실시예 7에 있어서의 영상 부호화 장치로부터 출력되는 비디오 스트림의 다른 데이터 배열을 나타내는 설명도,
도 38은 실시예 8에 있어서의 인터 예측 모드 판정 처리의 흐름을 나타내는 흐름도,
도 39는 실시예 8에 있어서의 매크로 블록의 레벨에 있어서의 비트 스트림의 데이터 배열을 나타내는 설명도,
도 40은 실시예 8에 있어서의 인터 예측 화상 생성 처리의 흐름을 나타내는 흐름도,
도 41은 실시예 8에 있어서의 매크로 블록의 레벨에 있어서의 비트 스트림의 다른 데이터 배열을 나타내는 설명도,
도 42는 실시예 8에 있어서의 매크로 블록의 레벨에 있어서의 비트 스트림의 다른 데이터 배열을 나타내는 설명도,
도 43은 실시예 9에 있어서의 인터 예측 모드 판정 처리의 흐름을 나타내는 흐름도,
도 44는 실시예 9에 있어서의 인터 예측 화상 생성 처리의 흐름을 나타내는 흐름도,
도 45는 움직임 벡터 부호화부의 구성을 나타내는 설명도,
도 46은 움직임 벡터 부호화부의 동작을 나타내는 설명도,
도 47은 움직임 벡터 복호부의 구성을 나타내는 설명도,
도 48은 비트 스트림 신택스(syntax)의 모양을 나타내는 설명도,
도 49는 실시예 11에 있어서의 매크로 블록 부호화 데이터의 구성을 나타내는 설명도,
도 50은 실시예 11에 있어서의 도 49 중의 Cn 성분 헤더 정보의 부호화 데이터의 상세 구성을 나타내는 설명도,
도 51은 실시예 11에 있어서의 매크로 블록 부호화 데이터의 다른 구성을 나타내는 설명도,
도 52는 실시예 11에 있어서의 비트 스트림의 구성을 나타내는 설명도,
도 53은 실시예 11에 있어서의 슬라이스의 구성을 나타내는 설명도,
도 54는 실시예 12에 있어서의 가변 길이 부호화부(11)의 산술 부호화 처리에 관계되는 내부 구성을 나타내는 설명도,
도 55는 실시예 12에 있어서의 가변 길이 부호화부(11)의 산술 부호화 처리의 흐름을 나타내는 흐름도,
도 56은 실시예 12에 있어서의 도 55 중의 단계 S162의 처리의 상세한 흐름을 나타내는 설명도,
도 57은 컨텍스트 모델(ctx)의 개념을 나타내는 설명도,
도 58은 매크로 블록의 움직임 벡터에 관한 컨텍스트 모델의 예를 나타내는 설명도,
도 59는 실시예 12에 있어서의 가변 길이 복호부(25)의 산술 복호 처리에 관계되는 내부 구성을 나타내는 설명도,
도 60은 실시예 12에 있어서의 가변 길이 복호부(25)의 산술 복호 처리의 흐름을 나타내는 흐름도,
도 61은 실시예 12에 있어서의 컨텍스트 모델(11f)을 나타내는 설명도,
도 62는 실시예 12에 있어서의 커런트(current) 매크로 블록의 모드의 차이를 나타내는 설명도,
도 63은 실시예 13에 있어서의 부호화 장치ㆍ복호 장치의 구성을 나타내는 설명도,
도 64는 실시예 13에 있어서의 영상 부호화 장치의 구성을 나타내는 설명도,
도 65는 실시예 13에 있어서의 영상 복호 장치의 구성을 나타내는 설명도,
도 66은 실시예 14에 있어서의 공통 부호화 처리를 나타내는 설명도,
도 67은 실시예 14에 있어서의 독립 부호화 처리를 나타내는 설명도,
도 68은 실시예 14의 부호화 장치ㆍ복호 장치에 있어서의 픽쳐 사이의 시간 방향의 움직임 예측 참조 관계를 나타내는 설명도,
도 69는 실시예 14의 부호화 장치에서 생성되고 실시예 14의 복호 장치가 입력ㆍ복호 처리의 대상으로 하는 비트 스트림의 구조의 일례를 나타내는 설명도,
도 70은 공통 부호화 처리, 독립 부호화 처리 각각의 경우의 슬라이스 데이터의 비트 스트림 구성을 나타내는 설명도,
도 71은 실시예 14의 부호화 장치의 개략 구성을 나타내는 설명도,
도 72는 부호화 장치측에서의 처리 지연을 작게 하는 모양을 나타내는 설명도,
도 73은 제 1 픽쳐 부호화부의 내부 구성을 나타내는 설명도,
도 74는 제 2 픽쳐 부호화부의 내부 구성을 나타내는 설명도,
도 75는 실시예 14의 복호 장치의 개략 구성을 나타내는 설명도,
도 76은 제 1 픽쳐 복호부의 내부 구성을 나타내는 설명도,
도 77은 제 2 픽쳐 복호부의 내부 구성을 나타내는 설명도,
도 78은 색공간 변환 처리를 실시한 제 1 픽쳐 부호화부의 내부 구성을 나타내는 설명도,
도 79는 색공간 변환 처리를 실시한 제 1 픽쳐 부호화부의 내부 구성을 나타내는 설명도,
도 80은 역 색공간 변환 처리를 실시한 제 1 픽쳐 부호화부의 내부 구성을 나타내는 설명도,
도 81은 역 색공간 변환 처리를 실시한 제 1 픽쳐 부호화부의 내부 구성을 나타내는 설명도,
도 82는 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림에 포함되는 매크로 블록 헤더 정보의 부호화 데이터의 구성을 나타내는 설명도,
도 83은 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림에 대한 호환성을 확보하는 제 1 픽쳐 복호부의 예측부(461)의 내부 구성을 나타내는 설명도,
도 84는 실시예 15에 있어서의 다중화하는 부호화 데이터의 비트 스트림의 구성을 나타내는 설명도,
도 85는 AUD NAL 유닛으로 시작되는 액세스 유닛 내의 픽쳐 데이터가 부호화될 때의 픽쳐 부호화 타입의 정보를 나타내는 설명도,
도 86은 실시예 15에 있어서의 다중화하는 부호화 데이터의 비트 스트림의 구성을 나타내는 설명도이다.
(실시예 1)
본 실시예 1에서는, 4 : 4 : 4 포맷으로 입력되는 영상 프레임을 16×16화소의 직사각형 영역(매크로 블록)으로 균등 분할한 단위로 프레임 내에 닫힌 부호화를 행하는 부호화 장치, 및 대응하는 복호 장치에 대하여 설명한다. 또한, 본 부호화 장치, 복호 장치는 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명에 고유의 특징을 부여한 것으로 한다.
도 1에, 본 실시예 1에 있어서의 영상 부호화 장치의 구성을, 도 2에 본 실시예 1에 있어서의 영상 복호 장치의 구성을 나타낸다. 도 2에 있어서, 도 1의 부호화 장치의 구성 요소와 같은 번호가 첨부되어 있는 요소는 동일한 요소인 것을 나타낸다.
이하, 이들 도면에 근거하여 부호화 장치 및 복호 장치 전체의 동작과, 본 실시예 1의 특징적인 동작인 인트라 예측 모드 판정 처리 및 인트라 예측 복호 처리에 대하여 설명한다.
1. 부호화 장치의 동작 개요
도 1의 부호화 장치에 있어서, 입력 영상 신호(1)는, 각각의 영상 프레임이 4 : 4 : 4 포맷으로 입력된다. 입력되는 영상 프레임은, 도 10에 나타내는 바와 같이, 3개의 색성분을 동일 사이즈의 16화소×16화소의 블록으로 분할하여 정리한 매크로 블록 단위로 부호화 장치에 입력되는 것으로 한다.
우선, 공간 예측부(2)에 있어서, 메모리(16)에 저장되는 국부 복호 화상(15)을 이용하여, 그 매크로 블록의 단위로, 각 색성분마다 인트라 예측 처리가 행해진다. 메모리는 각 색성분마다 3면씩 준비된다(본 실시예에서는 3면으로서 설명하지만, 설계에 따라 적절히 변경하여도 좋다). 인트라 예측의 모드에는, 도 3에 나타내는 4화소×4라인의 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 4×4 예측 모드, 도 4에 나타내는 16화소×16라인의 매크로 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 16×16 예측 모드가 있다.
(a) 인트라 4×4 예측 모드
매크로 블록 내의 휘도 신호 16×16화소 블록을 4×4화소 블록으로 구성되는 16개의 블록으로 분할하고, 도 3에 나타내는 9개의 모드 중 어느 하나를 4×4화소 블록 단위로 선택한다. 이미 부호화를 마치고, 국부 복호 처리되어 메모리(16)에 저장된 주위의 블록(왼쪽 위, 위, 오른쪽 위, 왼쪽)의 화소를 예측 화상 생성에 이용한다.
Intra4×4_pred_mode = 0 : 인접하는 상부의 화소를 그대로 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 1 : 인접하는 왼쪽 부분의 화소를 그대로 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 2 : 인접하는 8개의 화소의 평균치를 예측 화상으로서 사용한다.
Intra4×4_pred_mode = 3 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(오른쪽 45도 에지에 대응).
Intra4×4_pred_mode = 4 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(왼쪽 45도 에지에 대응).
Intra4×4_pred_mode = 5 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(왼쪽 22.5도 에지에 대응).
Intra4×4_pred_mode = 6 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(왼쪽 67.5도 에지에 대응).
Intra4×4_pred_mode = 7 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(오른쪽 22.5도 에지에 대응).
Intra4×4_pred_mode = 8 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(왼쪽 112.5도 에지에 대응).
인트라 4×4 예측 모드를 선택하는 경우, 매크로 블록당 모드 정보는 16개 필요하게 된다. 따라서, 모드 정보 자체의 부호량을 삭감하기 위해, 모드 정보는 인접하는 블록 사이의 상관이 높은 것을 이용하여, 인접하는 블록의 모드 정보로부터 예측 부호화를 행한다.
(b) 인트라 16×16 예측 모드
매크로 블록 사이즈에 상당하는 16×16화소 블록을 한번에 예측하는 모드이며, 도 4에 나타내는 4개의 모드 중 어느 하나를 매크로 블록 단위로 선택한다. 인트라 4×4 예측 모드와 마찬가지로, 이미 부호화를 마치고, 국부 복호 처리되어 메모리(16)에 저장된 주위의 매크로 블록(왼쪽 위, 위, 왼쪽)의 화소를 예측 화상 생성에 이용한다.
Intra16×16_pred_mode = 0 : 상부 매크로 블록의 가장 아랫변의 16화소를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 1 : 왼쪽 매크로 블록의 가장 우변의 16화소를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 2 : 상부 매크로 블록의 가장 아랫변의 16화소(도 4의 A 부분)와 왼쪽 매크로 블록의 가장 좌변의 16화소(도 4의 B 부분)의 합계 32화소의 평균치를 예측 화상으로서 사용한다.
Intra16×16_pred_mode = 3 : 왼쪽 위의 매크로 블록의 오른쪽 아래 구석의 화소, 상부 매크로 블록의 가장 아랫변의 15화소(빈 화소를 제외한 부분), 왼쪽 매크로 블록의 가장 우변의 15화소(빈 화소를 제외한 부분)의 합계 31화소를 이용하여 소정의 연산 처리(사용하는 화소라고 예측하는 화소 위치에 따른 가중치 부여 가산 처리)에 의해 예측 화상을 얻는다.
본 실시예 1에 있어서의 영상 부호화 장치는, 인트라 예측 모드 공통화 식별 플래그(23)에 근거하여, 3개의 색성분에 대한 인트라 예측 처리 방법을 전환하는 것을 특징으로 한다. 이 점에 대해서는, 하기 2에서 자세히 말한다.
공간 예측부(2)에서는, 도 3이나 도 4에 나타낸 모든 모드 내지는 서브셋(subset)에 대하여 예측 처리를 실행하여 감산기(3)에 의해 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 공간 예측부(2)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 예측 모드를 부호화 모드(6)로서 출력한다. 여기서, 부호화 모드(6)는, 인트라 4×4 예측 모드를 이용할지, 인트라 16×16 예측 모드를 이용할지의 판별 정보(도 6의 인트라 부호화 모드에 상당)와 아울러, 예측 단위 영역당 사용하는 각각의 예측 모드 정보(상기 Intra4×4_pred_mode 내지는 Intra16×16_pred_mode)도 포함하는 것으로 한다. 예측 단위 영역은, 인트라 4×4 예측 모드의 경우는 4×4화소 블록, 인트라 16×16 예측 모드의 경우는 16×16화소 블록에 상당한다. 부호화 모드(6)의 선정에서는, 부호화 제어부(19)의 판단으로 정해지는 각 부호화 모드에 대한 가중 계수(20)가 가미되는 경우도 있다. 부호화 모드 판정부(5)에 있어서 부호화 모드(6)를 이용하여 얻어지는 최적의 예측 차분 신호(4)는, 직교 변환부(8)에 출력된다. 직교 변환부(8)는 입력되는 예측 차분 신호(4)를 변환하여 직교 변환 계수로서 양자화부(9)에 출력한다. 양자화부(9)는 입력되는 직교 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하여, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 가변 길이 부호화부(11)에서 허프만(Huffman) 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역직교 변환부(13)를 지나 국부 복호 예측 차분 신호(14)로 복원되고, 부호화 모드(6)에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은 이후의 인트라 예측 처리에 이용하기 위해 메모리(16)에 저장된다. 또한, 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블록킹 필터를 실시할지 여부를 나타내는 디블록킹 필터 제어 플래그(24)도 입력된다(공간 예측부(2)에서 실시되는 예측 처리에는, 디블록킹 필터가 실시되기 전의 화소 데이터를 메모리(16)에 저장하여 이용하므로 디블록킹 필터 처리 자체는 부호화 처리에는 필요는 없지만, 복호 장치측에서는 디블록킹 필터 제어 플래그(24)의 지시에 의해 디블록킹 필터를 행하여 최종적인 복호 화상을 얻는다).
가변 길이 부호화부(11)에 입력되는 인트라 예측 모드 공통화 식별 플래그(23), 양자화 완료 변환 계수(10), 부호화 모드(6), 양자화 파라미터(21)는 소정의 규칙(syntax)에 따라 비트 스트림으로서 배열ㆍ정형되어, 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞추어 비트 스트림을 평활화(平滑化)하여 비디오 스트림(22)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트 스트림 축적 상황에 따라 부호화 제어부(19)에 피드백 정보를 출력하고, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
2. 부호화 장치에 있어서의 인트라 예측 모드 판정 처리
본 실시예 1의 부호화 장치의 특징인 인트라 예측 모드 판정 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 1의 부호화 장치에 있어서의 공간 예측부(2), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 5에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2라 한다.
우선, 부호화 모드 판정부(5)는, 인트라 예측 모드 공통화 식별 플래그(23)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 인트라 예측 모드를 사용할지 여부를 판단한다(도 5의 단계 S1). 공통화하는 경우는 단계 S2 이후로, 공통화하지 않는 경우는 단계 S5 이후로 진행한다.
인트라 예측 모드를 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, 선택할 수 있는 모든 인트라 4×4 예측 모드를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통인 최적의 인트라 4×4 예측 모드를 선택한다(단계 S2). 이어서, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, 선택할 수 있는 모든 인트라 16×16 예측 모드를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통인 최적의 인트라 16×16 예측 모드를 선택한다(단계 S3). 부호화 모드 판정부(5)는 단계 S2, S3에서 얻은 모드 중에서 예측 효율상 최적의 모드를 최종적으로 선택하고(단계 S4), 처리를 종료한다.
인트라 예측 모드를 C0, C1, C2에서 공통화하지 않고, C0, C1, C2에서 각각 가장 좋은 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, Ci(i≤0<3) 성분에서 선택할 수 있는 모든 인트라 4×4 예측 모드를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, Ci(i≤0<3) 성분에 있어서의 최적의 인트라 4×4 예측 모드를 선택한다(단계 S6). 마찬가지로 최적의 인트라 16×16 예측 모드를 선택한다(단계 S7). 마지막으로 단계 S8에서 Ci(i≤0<3) 성분에 있어서의 최적의 인트라 예측 모드를 판정한다.
공간 예측부(2)에서 행해지는 예측 모드의 예측 효율 평가의 규범으로서는 예컨대,
Jm = Dm + λRm (λ : 양수)
로 인가되는 비트율 왜곡치(rate distortion cost)를 이용할 수 있다. 여기서, Dm은 인트라 예측 모드 m을 적용한 경우의 부호화 왜곡 또는 예측 오차량이다. 부호화 왜곡이란, 인트라 예측 모드 m을 적용하여 예측 오차를 얻고, 예측 오차를 변환ㆍ양자화한 결과로부터 영상을 복호하여 부호화 전의 신호에 대한 오차를 계측하는 것이다. 예측 오차량은, 인트라 예측 모드 m을 적용한 경우의 예측 화상과 부호화 전의 신호의 차분을 얻고, 그 차분의 크기를 정량화한 것으로, 예컨대, 차분 절대값 합(Sum of Absolute Distance : SAD) 등이 이용된다. Rm은 인트라 예측 모드 m을 적용한 경우의 발생 부호량이다. 다시 말해, Jm은 인트라 예측 모드 m을 적용한 경우의 부호량과 열화도의 트레이드오프(trade off)를 규정하는 값이며, 최소의 Jm을 부여하는 인트라 예측 모드 m이 최적의 해(solution)를 부여한다.
부호화 장치가 단계 S2 이후의 처리를 행한 경우, 인트라 예측 모드의 정보는, 3개의 색성분을 포함하는 매크로 블록에 대하여 하나 할당된다. 한편, 단계 S5 이후의 처리를 행한 경우는, 각 색성분에 대하여 각각 인트라 예측 모드 정보가 할당된다. 따라서, 매크로 블록에 대하여 할당되는 인트라 예측 모드의 정보가 다르므로, 부호화 장치가 S2 이후의 처리 과정을 행했는지, S5 이후의 처리 과정을 행했는지는 인트라 예측 모드 공통화 식별 플래그(23)를 비트 스트림으로 다중화하여 복호 장치측에서 인식할 수 있도록 할 필요가 있다. 이러한 비트 스트림의 데이터 배열을 도 6에 나타낸다.
동 도면은 매크로 블록의 레벨에 있어서의 비트 스트림의 데이터 배열을 나타내고 있고, 인트라 부호화 모드(28)는 인트라 4×4인지 인트라 16×16인지를 판별하는 정보, 기본 인트라 예측 모드(29)는 인트라 예측 모드 공통화 식별 플래그(23)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는 공통 인트라 예측 모드 정보를 나타내고, 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우는 C0에 대한 인트라 예측 모드 정보를 나타낸다. 확장 인트라 예측 모드(30)는, 인트라 예측 모드 공통화 식별 플래그(23)가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우에만 다중화되어, C1, C2에 대한 인트라 예측 모드 정보를 나타낸다. 이어서 양자화 파라미터(21), 양자화 완료 변환 계수(10)가 다중화된다. 도 1에 있어서의 부호화 모드(6)는, 상기 인트라 부호화 모드(28)와 인트라 예측 모드(기본ㆍ확장)를 총칭한 것이다(도 6에는 도 1에서 가변 길이 부호화부(11)에 입력되고 있는 디블록킹 필터 제어 플래그(24)가 포함되어 있지 않지만, 본 실시예 1의 특징을 설명하기 위해 필요한 구성 요소가 아니므로 할애하고 있다).
종래의 영상 부호화 표준에서 채용되어 온 4 : 2 : 0 포맷에서는, 색공간의 정의가 Y, Cb, Cr에 고정되어 있었지만, 4 : 4 : 4 포맷에서는 Y, Cb, Cr에 한정하지 않고 다양한 색공간을 이용할 수 있다. 도 6과 같이 인트라 예측 모드 정보를 구성함으로써, 입력 영상 신호(1)의 색공간의 정의가 여러 가지에 미치는 경우에도 최적의 부호화 처리를 행할 수 있다. 예컨대, 색공간이 RGB로 정의되는 경우는 R, G, B의 각 성분에는 균등하게 영상 텍스쳐(texture)의 구조가 잔존하고 있으므로, 공통의 인트라 예측 모드 정보를 이용함으로써 인트라 예측 모드 정보 자체의 용장성(redundancy)을 삭감하여 부호화 효율을 높일 수 있다. 한편, Y, Cb, Cr로 색공간이 정의되는 경우, 영상 텍스쳐의 구조는 Y에 집약되므로, 반드시 공통의 인트라 예측 모드가 최적의 결과를 부여하는 것은 아니다. 그래서, 확장 인트라 예측 모드(30)를 적응적으로 이용함으로써 최적의 부호화 효율을 얻을 수 있다.
3. 복호 장치의 동작 개요
도 2의 복호 장치는, 도 1의 부호화 장치로부터 출력되는 도 6의 배열에 따르는 비디오 스트림(22)을 수신하여, 3개의 색성분이 동일 사이즈(4 : 4 : 4 포맷)인 매크로 블록의 단위로 복호 처리를 행하고, 각각의 영상 프레임을 복원하는 것으로 한다.
우선, 가변 길이 복호부(25)는 스트림(22)을 입력으로 하여, 소정의 규칙(syntax)에 따라 스트림(22)을 해독하고, 인트라 예측 모드 공통화 식별 플래그(23), 양자화 완료 변환 계수(10), 부호화 모드(6), 양자화 파라미터(21) 등의 정보를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 아울러 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 역직교 변환부(13)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다. 한편, 공간 예측부(2)에 대해서는 부호화 모드(6)와 인트라 예측 모드 공통화 식별 플래그(23)가 입력되어, 이들 정보에 따라 예측 화상(7)을 얻는다. 예측 화상(7)을 얻는 구체적인 순서에 대해서는 후술한다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 잠정 복호 화상(15)을 얻는다(이것은 부호화 장치에 있어서의 국부 복호 화상(15)과 완전히 같은 신호이다). 잠정 복호 화상(15)은 이후의 매크로 블록의 인트라 예측에 이용되기 위해 메모리(16)에 저장된다. 메모리는 각 색성분마다 3면씩 준비된다(본 실시예에서는 3면으로서 설명하지만, 설계에 따라 적절히 변경하여도 좋다). 또한, 가변 길이 부호화부(25)에 의해 해독된 디블록킹 필터 제어 플래그(24)의 지시에 근거하여 디블록킹 필터(26)를 잠정 복호 화상(15)에 대하여 작용시켜, 최종적인 복호 화상(27)을 얻는다.
4. 복호 장치에 있어서의 인트라 예측 복호 처리
본 실시예 1의 복호 장치의 특징인 인트라 예측 화상 생성 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 2의 복호 장치에 있어서의 가변 길이 복호부(25), 공간 예측부(2)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 7에 나타낸다.
도 7의 흐름도 중, S10~S14는 가변 길이 복호부(25)에 있어서 행해진다. 가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 6의 데이터 배열에 따르는 것으로 한다. 단계 S10에서는 도 6의 데이터 중 인트라 부호화 모드(28)가 우선 복호되고, 이어서 인트라 예측 모드 공통화 식별 플래그(23)가 복호된다(단계 S11). 또한 기본 인트라 예측 모드(29)가 복호된다(단계 S12). 단계 S13에서는, 인트라 예측 모드 공통화 식별 플래그(23)의 결과를 이용하여 인트라 예측 모드를 C0, C1, C2에서 공통화할지 여부를 판단하여, 공통화의 경우는 C0, C1, C2의 전부에 대하여 기본 인트라 예측 모드(29)를 이용하는 것으로 하고, 공통화하지 않는 경우는 기본 인트라 예측 모드(29)를 C0의 모드로서 사용하고, 또한 확장 인트라 예측 모드(30)를 복호하여(단계 S14), C1, C2의 모드 정보를 얻는다. 이상의 처리 과정을 지나 각 색성분의 부호화 모드(6)가 확정되므로, 이것을 공간 예측부(2)에 출력하여, 단계 S15~S17에 따라 각 색성분의 인트라 예측 화상을 얻는다. 인트라 예측 화상을 얻는 프로세스는 도 3, 도 4의 순서에 따르는 것이고 도 1의 부호화 장치에서 행하는 처리와 동일하다.
도 8에, 도 6의 비트 스트림 데이터 배열의 배리에이션(variation)을 나타낸다. 도 7에서는, 인트라 예측 모드 공통화 식별 플래그(23)는, 매크로 블록 레벨의 플래그로서가 아닌, 슬라이스, 픽쳐, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되고, 또한, 확장 인트라 예측 모드(30)의 부호어(code word)를 정의하는 부호 테이블을 복수의 부호 테이블로부터 선택할 수 있도록, 확장 인트라 예측 모드 테이블 지시 플래그(31)를 구비하도록 했다. 이에 따라, 슬라이스 이상의 상위 레이어에서의 전환으로 충분한 예측 효율을 확보할 수 있는 경우는, 매크로 블록 레벨로 인트라 예측 모드 공통화 식별 플래그(23)를 축일 다중화하는 일 없이 오버헤드 비트를 삭감할 수 있다. 또한, 확장 인트라 예측 모드(30)에 대해서는, 확장 인트라 예측 모드 테이블 지시 플래그(31)를 마련함으로써, 기본 인트라 예측 모드(29)와 동일한 정의가 아닌, C1, C2 성분에 특화한 예측 모드의 정의를 선택하는 것이 가능해져, 색공간의 정의에 적응한 부호화 처리를 행하는 것이 가능해진다. 예컨대, AVC의 4 : 2 : 0 포맷의 부호화에서는, 색차 성분(Cb, Cr)에 대해서는, 휘도(Y)와는 다른 인트라 예측 모드 세트가 정의되어 있다. 4 : 2 : 0 포맷에서는 매크로 블록 내의 색차 신호는 8화소×8라인이며, 도 9에 나타내는 4개의 모드 중 어느 하나를 매크로 블록 단위로 선택하여 복호 처리를 행한다. 색차 신호는 Cb와 Cr의 2종류가 있지만, 같은 모드를 사용한다. intra_chroma_pred_mode = 0의 DC 예측을 제외하고는, 도 4의 인트라 16×16 예측 모드와 동일한 예측 처리가 되지만, DC 예측으로는 8×8블록을 4개의 4×4블록으로 분할하고, 각각의 블록마다 평균치를 구하는 화소의 위치를 변경하여 처리를 행한다. 동 도면에서 「a+x, a or x」라고 되어 있는 블록은, 화소 a와 화소 x가 함께 이용 가능한 경우에는 a와 x의 8화소, a만이 이용 가능한 경우에는 a의 4화소, x만 이용 가능한 경우에는 x의 4화소만을 이용하여 평균치를 구하여, 예측 화상(7)으로서 사용한다. a와 x 모두 이용 불가능한 경우에는 값 128을 예측 화상(7)으로서 사용한다. 「b or x」라고 되어 있는 블록은, 화상 b가 이용 가능한 경우에는 b의 4화소를, 화소 x만이 이용 가능한 경우에는 x의 4화소를 이용하여 평균치를 구한다.
이와 같이, 색성분의 성질에 따라 인트라 예측 모드의 세트에 변경을 요하는 경우, 도 8의 규칙과 같은 구성에 의해, 보다 최적의 부호화 효율을 얻을 수 있다.
(실시예 2)
본 실시예 2에서는, 4 : 4 : 4 포맷으로 입력되는 영상 프레임을 16×16화소의 직사각형 영역(매크로 블록)으로 균등 분할한 단위로 프레임 내에 닫힌 부호화를 행하는 다른 부호화 장치, 및 대응하는 복호 장치에 대하여 설명한다. 본 부호화 장치, 복호 장치는 실시예 1과 마찬가지로, 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명에 고유의 특징을 부여한 것으로 한다.
도 11에, 본 실시예 2에 있어서의 영상 부호화 장치의 구성을, 도 12에 본 실시예 2에 있어서의 영상 복호 장치의 구성을 나타낸다. 도 11에서, 도 1의 부호화 장치의 구성 요소와 같은 번호가 첨부되어 있는 요소는 동일한 요소인 것을 나타낸다. 도 12에 있어서, 도 11의 부호화 장치의 구성 요소와 같은 번호가 첨부되어 있는 요소는 동일한 요소인 것을 나타낸다. 도 11에 있어서의 참조 번호 32는 변환 블록 사이즈 식별 플래그이며, 33은 인트라 부호화 모드 공통화 식별 플래그이다.
이하, 이들 도면에 근거하여 본 실시예 2의 부호화 장치 및 복호 장치 전체의 동작과, 본 실시예 2의 특징적인 동작인 인트라 부호화ㆍ예측 모드 판정 처리 및 인트라 예측 복호 처리에 대하여 설명한다.
1. 부호화 장치의 동작 개요
도 11의 부호화 장치에 있어서, 입력 영상 신호(1)는, 각각의 영상 프레임이 4 : 4 : 4 포맷이고, 또한 3개의 색성분이 도 10에 나타내는 바와 같이 동일 사이즈의 매크로 블록으로 분할하여 정리된 단위로 부호화 장치에 입력되는 것으로 한다.
공간 예측부(2)에 있어서는, 메모리(16)에 저장되는 국부 복호 화상(15)을 이용하여, 그 매크로 블록의 단위로, 각 색성분마다 인트라 예측 처리가 행해진다. 인트라 예측의 모드에는, 도 3에 나타내는 4화소×4라인의 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 4×4 예측 모드, 도 13에 나타내는 8화소×8라인의 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 8×8 예측 모드, 도 4에 나타내는 16화소×16라인의 매크로 블록의 단위로 그 주변 화소를 이용한 공간 예측을 행하는 인트라 16×16 예측 모드가 있다. 본 실시예 2에 있어서의 부호화 장치에서는, 변환 블록 사이즈 식별 플래그(32)의 상태에 따라 인트라 4×4 예측 모드와 인트라 8×8 예측 모드를 전환하여 이용한다. 어떤 매크로 블록을 4×4 예측, 8×8 예측, 16×16 예측 중 어느 쪽의 인트라 예측 모드를 이용하여 부호화할지는, 도 6과 같이 인트라 부호화 모드로 표현할 수 있다. 본 실시예 2에 있어서의 부호화 장치에서는, 인트라 부호화 모드로서, 인트라 4×4 예측 모드나 인트라 8×8 예측 모드 중 어느 하나를 이용하여 부호화를 행하는 인트라 N×N 예측 부호화 모드(N은 4 내지는 8)와, 인트라 16×16 예측 모드를 이용하여 부호화를 행하는 인트라 16×16 예측 부호화 모드의 2종류를 마련한다. 이하, 인트라 부호화 모드별로 설명을 진행한다.
(a) 인트라 N×N 예측 부호화 모드
매크로 블록 내의 휘도 신호 16×16화소 블록을 4×4화소 블록으로 구성되는 16개의 블록으로 분할하고, 각 4×4화소 블록에 대하여 개별적으로 예측 모드를 선택하는 인트라 4×4 예측 모드와, 매크로 블록 내의 휘도 신호 16×16화소 블록을 8×8화소 블록으로 구성되는 4개의 블록으로 분할하고, 각 8×8화소 블록에 대하여 개별적으로 예측 모드를 선택하는 인트라 8×8 예측 모드를 선택적으로 전환하면서 부호화를 행하는 모드이다. 인트라 4×4 예측 모드와 인트라 8×8 예측 모드의 전환은, 변환 블록 사이즈 식별 플래그(32)의 상태에 연동한다. 이 점은 후술한다. 인트라 4×4 예측 모드에 대해서는, 실시예 1에서 설명한 바와 같이, 도 3에 나타내는 9개의 모드 중 어느 하나를 4×4화소 블록 단위로 선택한다. 이미 부호화를 마치고, 국부 복호 처리되어 메모리(16)에 저장된 주위의 블록(왼쪽 위, 위, 오른쪽 위, 왼쪽)의 화소를 예측 화상 생성에 이용한다.
한편, 인트라 8×8 예측 모드는, 도 13에 나타내는 9개의 모드 중 어느 하나를 8×8화소 블록 단위로 선택한다. 도 3과 대비하면 분명하듯이, 인트라 4×4 예측 모드의 예측 방법을 8×8화소 블록에 적합하도록 변경을 가한 것이다.
Intra8×8_pred_mode = 0 : 인접하는 상부의 화소를 그대로 예측 화상으로서 사용한다.
Intra8×8_pred_mode = 1 : 인접하는 왼쪽 부분의 화소를 그대로 예측 화상으로서 사용한다.
Intra8×8_pred_mode = 2 : 인접하는 8개의 화소의 평균치를 예측 화상으로서 사용한다.
Intra8×8_pred_mode = 3 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(오른쪽 45도 에지에 대응).
Intra8×8_pred_mode = 4 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(왼쪽 45도 에지에 대응).
Intra8×8_pred_mode = 5 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(왼쪽 22.5도 에지에 대응).
Intra8×8_pred_mode = 6 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(왼쪽 67.5도 에지에 대응).
Intra8×8_pred_mode = 7 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(오른쪽 22.5도 에지에 대응).
Intra8×8_pred_mode = 8 : 인접하는 화소로부터 2~3화소마다 가중 평균을 구하여 예측 화상으로서 사용한다(왼쪽 112.5도 에지에 대응).
인트라 4×4 예측 모드를 선택하는 경우, 매크로 블록당 모드 정보는 16개 필요하게 된다. 따라서, 모드 정보 자체의 부호량을 삭감하기 위해, 모드 정보는 인접하는 블록 사이의 상관이 높은 것을 이용하여, 인접하는 블록의 모드 정보로부터 예측 부호화를 행한다. 마찬가지로 인트라 8×8 예측 모드를 선택하는 경우도 인접하는 블록 사이에서 인트라 예측 모드의 상관이 높은 것을 이용하여, 인접하는 블록의 모드 정보로부터 예측 부호화를 행한다.
(b) 인트라 16×16 예측 부호화 모드
매크로 블록 사이즈에 상당하는 16×16화소 블록을 한번에 예측하는 모드이며, 도 4에 나타내는 4개의 모드 중 어느 하나를 매크로 블록 단위로 선택한다. 인트라 4×4 예측 모드와 마찬가지로, 이미 부호화를 마치고, 국부 복호 처리되어 메모리(16)에 저장된 주위의 매크로 블록(왼쪽 위, 위, 왼쪽)의 화소를 예측 화상 생성에 이용한다. 모드 종별은 실시예 1에 있어서의 도 4의 설명과 같다. 인트라 16×16 예측 부호화 모드에서는, 변환 블록 사이즈는 항상 4×4로 한다. 단, 우선 4×4블록 단위의 DC(직류 성분, 평균치)를 16개분 모아, 그 단위로 4×4블록 변환을 행하여, DC분을 제외한 나머지의 교류 성분을 4×4블록마다 변환하는 2단계의 변환을 실시한다.
본 실시예 2에 있어서의 영상 부호화 장치는, 인트라 부호화 모드 공통화 식별 플래그(33)에 근거하여, 3개의 색성분에 대한 인트라 예측ㆍ변환ㆍ부호화 방법을 전환하는 것을 특징으로 한다. 이 점에 대해서는, 하기 2에서 자세히 말한다.
공간 예측부(2)에서는, 입력되는 3개의 색성분의 신호에 대하여, 인트라 부호화 모드 공통화 식별 플래그(33)의 지시에 근거하여 인트라 예측 모드의 평가를 행한다. 인트라 부호화 모드 공통화 식별 플래그(33)는, 입력되는 3개의 색성분 각각에 대하여 개별적으로 인트라 부호화 모드를 할당할지, 3성분 모두에 같은 인트라 부호화 모드를 할당할지를 지시한다. 이것은 이하의 배경에 따른다.
4 : 4 : 4 포맷에서는, 종래로부터 부호화에 이용되어 온 Y, Cb, Cr 색공간 이외에, RGB를 직접 이용하는 것도 가능하다. Y, Cb, Cr 색공간은, Cb, Cr의 신호로부터 영상의 텍스쳐 구조에 의존하는 성분이 제거된다. Y 성분과 Cb, Cr2 성분의 사이에서는 최적의 인트라 부호화 방법이 변화할 확률이 높다. (실제로, 하이 4 : 2 : 0 프로파일 등, AVC/H.264의 4 : 2 : 0 포맷을 대상으로 하는 부호화 방식에서는, Y 성분과 Cb, Cr 성분에서 이용하는 인트라 예측 모드의 설계가 다르다). 한편, RGB 색공간에서 부호화를 행하는 경우는, Y, Cb, Cr 색공간과 같이 색성분 사이에서의 텍스쳐 구조의 제거를 행하지 않아, 동일 공간상의 신호 성분은 상관이 높아지므로, 인트라 부호화 모드를 공통적으로 선택할 수 있도록 구성함으로써 부호화 효율을 높일 수 있는 가능성이 있다. 이 점은, 색공간의 정의뿐만 아니라, 어떤 특정한 색공간을 사용했다고 하여도 영상의 성질에 따라 좌우되는 점이며, 부호화 방식 자체는, 그렇게 말한 영상 신호의 성질에 적응적으로 대응할 수 있는 것이 바람직하다. 그래서, 본 실시예에서는 인트라 부호화 모드 공통화 식별 플래그(33)를 마련하여, 4 : 4 : 4 포맷 영상에 대한 유연한 부호화를 행할 수 있도록 부호화 장치를 구성했다.
공간 예측부(2)에서는, 이상과 같이 설정되는 인트라 부호화 모드 공통화 식별 플래그(33)의 상태에 따라, 도 3이나 도 4, 도 13에 나타낸 모든 인트라 예측 모드 내지는 소정의 서브셋에 대하여 각 색성분에 대한 예측 처리를 실행하여 감산기(3)에 의해 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 공간 예측부(2)에서 실행한 예측 처리 중에서, 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 인트라 예측 모드를 선택한다. 여기서, 인트라 N×N 예측이 선택된 경우, 부호화 모드(6)로서 인트라 N×N 예측 부호화 모드를 출력함과 아울러, 예측 모드가 인트라 4×4 예측인 경우는, 변환 블록 사이즈 식별 플래그(32)를 「4×4블록 사이즈에서의 변환」으로 설정한다. 또한, 예측 모드가 인트라 8×8 예측인 경우는, 변환 블록 사이즈 식별 플래그(32)를 「8×8블록 사이즈에서의 변환」으로 설정한다. 변환 블록 사이즈 식별 플래그(32)의 결정 방법에 대해서는 여러 가지 방법을 생각할 수 있지만, 본 실시예 2에 있어서의 부호화 장치에서는, 인트라 N×N 예측에 의해 얻어지는 잔차에 대하여 변환을 행하는 경우의 블록 사이즈를 정하기 위해, 부호화 모드 판정부(5)에 있어서 최적의 인트라 N×N 예측 모드가 정해진 후, 그 N값에 맞추어 결정하는 방법이 기본이다. 예컨대, 인트라 4×4 예측 모드를 이용하는 경우에 변환 블록 사이즈를 8×8화소 블록으로 하면, 예측의 결과 얻어지는 예측 차분 신호(4)에 있어서 4×4블록의 단위로 예측 신호의 공간적 연속성이 단절될 가능성이 높아져, 쓸데없는 고주파 성분이 발생하므로, 변환에 의한 신호 전력 집중화의 효과가 엷어진다. 변환 블록 사이즈를 예측 모드에 맞추어 4×4화소 블록으로 하여 두면, 이러한 문제는 발생하지 않는다.
부호화 모드 판정부(5)에 있어서 인트라 16×16 예측이 선택된 경우, 부호화 모드(6)로서 인트라 16×16 예측 부호화 모드를 출력한다. 또, 부호화 모드(6)의 선정에서는, 부호화 제어부(19)의 판단으로 정해지는 각 부호화 모드에 대한 가중 계수(20)가 가미되는 경우도 있다.
부호화 모드(6)에 의해 얻어지는 예측 차분 신호(4)는 직교 변환부(8)에 출력된다. 직교 변환부(8)는 입력되는 예측 차분 신호를 변환하여 직교 변환 계수로서 양자화부(9)에 출력한다. 양자화부(9)는 입력되는 직교 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하여, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다.
변환 블록 사이즈가 4×4블록 단위인 경우, 직교 변환부(8)에 입력되는 예측 차분 신호(4)는, 4×4블록 단위로 분할되어 직교 변환되고, 양자화부(9)에서 양자화가 행해진다. 변환 블록 사이즈가 8×8블록 단위인 경우, 직교 변환부(8)에 입력되는 예측 차분 신호(4)는, 8×8블록 단위로 분할되어 직교 변환되고, 양자화부(9)에서 양자화가 행해진다.
양자화 완료 변환 계수(10)는, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 변환 블록 사이즈 식별 플래그(32) 등에 근거하는 블록 사이즈로써 역양자화부(12), 역직교 변환부(13)를 지나 국부 복호 예측 차분 신호(14)로 복원되어, 부호화 모드(6)에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은 이후의 인트라 예측 처리에 이용하기 위해 메모리(16)에 저장된다. 또한, 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블록킹 필터를 실시할지 여부를 나타내는 디블록킹 필터 제어 플래그(24)도 입력된다(공간 예측부(2)에서 실시되는 예측 처리에는, 디블록킹 필터가 실시되기 전의 화소 데이터를 메모리(16)에 저장하여 이용하므로 디블록킹 필터 처리 자체는 부호화 처리에는 필요는 없지만, 복호 장치측에서는 디블록킹 필터 제어 플래그(24)의 지시에 의해 디블록킹 필터를 행하여 최종적인 복호 화상을 얻는다).
가변 길이 부호화부(11)에 입력되는 인트라 부호화 모드 공통화 식별 플래그(33), 양자화 완료 변환 계수(10), 부호화 모드(6), 양자화 파라미터(21)는 소정의 규칙(syntax)에 따라 비트 스트림으로서 배열ㆍ정형되어, 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞추어 비트 스트림을 평활화하여 비디오 스트림(22)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트 스트림 축적 상황에 따라 부호화 제어부(19)에 피드백 정보를 출력하고, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
2. 부호화 장치에 있어서의 인트라 부호화 모드ㆍ예측 모드 판정 처리
본 실시예 2의 부호화 장치의 특징인 인트라 부호화 모드 및 인트라 예측 모드의 판정 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 11의 부호화 장치에 있어서의 공간 예측부(2), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 14에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2라 한다.
우선, 부호화 모드 판정부(5)는, 인트라 부호화 모드 공통화 식별 플래그(33)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 인트라 부호화 모드를 사용할지 여부를 판단한다(도 14의 단계 S20). 공통화하는 경우는 단계 S21 이후로, 공통화하지 않는 경우는 단계 S22 이후로 진행한다.
인트라 부호화 모드를 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, 선택할 수 있는 모든 인트라 예측 모드(인트라 N×N 예측, 인트라 16×16 예측)를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, 모든 성분에 최적인 인트라 부호화 모드 및 인트라 예측 모드를 선택한다(단계 S21).
한편, C0, C1, C2에서 각각 최적의 인트라 부호화 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 공간 예측부(2)에 대하여, Ci(i≤0<3) 성분에서 선택할 수 있는 모든 인트라 예측 모드(인트라 N×N 예측, 인트라 16×16 예측)를 통지하고, 공간 예측부(2)는 그 모든 예측 효율을 평가하여, Ci(i≤0<3) 성분에 있어서의 최적의 인트라 4×4 예측 모드를 선택한다(단계 S23).
상기 단계 S21, S23에 있어서, 공간 예측부(2)가 인트라 4×4 예측 모드를 최적의 예측 효율을 부여하는 모드로서 선택한 경우, 변환 블록 사이즈 식별 플래그(32)는 「4×4 블록 사이즈에서의 변환」으로 설정되고, 공간 예측부(2)가 인트라 8×8 예측 모드를 최적의 예측 효율을 부여하는 모드로서 선택한 경우, 변환 블록 사이즈 식별 플래그(32)는 「8×8블록 사이즈에서의 변환」으로 설정된다.
공간 예측부(2)에서 행해지는 예측 모드의 예측 효율 평가의 규범으로서는, 예컨대,
Jm = Dm + λRm (λ : 양수)
로 인가되는 비트율 왜곡치를 이용할 수 있다. 여기서, Dm은 인트라 예측 모드 m을 적용한 경우의 부호화 왜곡 또는 예측 오차량이다. 부호화 왜곡이란, 인트라 예측 모드 m을 적용하여 예측 오차를 얻어, 예측 오차를 변환ㆍ양자화한 결과로부터 영상을 복호하여 부호화 전의 신호에 대한 오차를 계측하는 것이다. 예측 오차량은, 인트라 예측 모드 m을 적용한 경우의 예측 화상과 부호화 전의 신호의 차분을 얻어, 그 차분의 크기를 정량화한 것으로, 예컨대, 차분 절대값 합(Sum of Absolute Distance : SAD) 등을 이용할 수 있다. Rm은 인트라 예측 모드 m을 적용한 경우의 발생 부호량이다. 다시 말해, Jm은 인트라 예측 모드 m을 적용한 경우의 부호량과 열화도의 트레이드오프를 규정하는 값이며, 최소의 Jm을 부여하는 인트라 예측 모드 m이 최적의 해를 부여한다.
부호화 장치가 단계 S21 이후의 처리를 행한 경우, 인트라 부호화 모드의 정보는, 3개의 색성분을 포함하는 매크로 블록에 대하여, 하나 할당된다. 한편, 단계 S22 이후의 처리를 행한 경우는, 각 색성분에 대하여 각각 인트라 부호화 모드 정보(계 3개)가 할당된다. 따라서, 매크로 블록에 대하여 할당되는 인트라 예측 모드의 정보가 다르므로, 부호화 장치가 S21 이후의 처리 과정을 행했을지, S23 이후의 처리 과정을 행했을지는 인트라 부호화 모드 공통화 식별 플래그(23)를 비트 스트림으로 다중화하여 복호 장치측에서 인식할 수 있도록 할 필요가 있다. 이러한 비트 스트림의 데이터 배열을 도 15에 나타낸다.
도 15에 있어서, 매크로 블록 레벨에서 비트 스트림으로 다중화되는 인트라 부호화 모드 0(34a), 1(34b), 2(34c)는 각각, C0, C1, C2 성분에 대한 부호화 모드(6)를 나타낸다. 인트라 부호화 모드가 인트라 N×N 예측 부호화 모드인 경우에는, 변환 블록 사이즈 식별 플래그(32), 인트라 예측 모드의 정보가 비트 스트림으로 다중화된다. 한편, 인트라 부호화 모드가 인트라 16×16 예측 부호화 모드인 경우에는, 인트라 예측 모드의 정보는 인트라 부호화 모드 정보의 일부로서 부호화되어, 변환 블록 사이즈 식별 플래그(32), 인트라 예측 모드의 정보는 비트 스트림으로 다중화되지 않는다. 인트라 부호화 모드 공통화 식별 플래그(33)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우에는, 인트라 부호화 모드 1(34b)ㆍ2(34c), 변환 블록 사이즈 식별 플래그 1(32b)ㆍ2(32c), 인트라 예측 모드 1(35b)ㆍ2(35c)는 비트 스트림으로 다중화되지 않는다(도 15 중의 점선의 원 부분이 그 분기를 나타낸다). 이때는, 인트라 부호화 모드 0(34a), 변환 블록 사이즈 식별 플래그 0(32a), 인트라 예측 모드 0(35a)이 각각 모든 색성분 공통의 부호화 정보로서 기능한다. 인트라 부호화 모드 공통화 식별 플래그(33)는, 도 15에 있어서는 슬라이스, 픽쳐, 시퀀스 등, 매크로 블록보다 상위 레벨의 비트 스트림 데이터로서 다중화되는 예를 나타낸다. 특히, 본 실시예 2에 든 예와 같이 이용하는 경우는, 시퀀스를 통하여 색공간이 변화하지 않는 경우가 많으므로, 시퀀스 레벨에 인트라 부호화 모드 공통화 식별 플래그(33)를 다중화하여 둠으로써 목적을 달성할 수 있다.
본 실시예 2에서는, 인트라 부호화 모드 공통화 식별 플래그(33)를 「모든 성분에서 공통인지 여부」라고 하는 의미로 이용했지만, 이것은 입력 영상 신호(1)의 색공간 정의에 따라, 예컨대, 「C1, C2 등 특정한 2성분에서 공통인지 여부」라고 하는 의미로 사용하더라도 좋다(Y, Cb, Cr과 같은 경우, Cb와 Cr에서는 공통화할 수 있는 가능성이 높다). 또한, 인트라 부호화 모드 공통화 식별 플래그(33)의 공통화 범위를 인트라 부호화 모드에만 한정하여, 인트라 N×N 예측 모드를 사용하는 경우에는, 각 색성분에서 독립적으로 변환 블록 사이즈나 N×N 예측 모드를 선택할 수 있도록 구성하더라도 좋다(도 16). 도 16과 같은 규칙(syntax) 구성에 의해, N×N 예측을 필요로 하는 복잡한 패턴의 영상에 대하여, 부호화 모드 정보를 공통화하면서도, 색성분마다 예측 방법을 변경할 수 있어, 예측 효율을 높일 수 있다.
또, 인트라 부호화 모드 공통화 식별 플래그(33)의 정보는, 부호화 장치와 복호 장치의 쌍방에서 미리 어떠한 수단으로 기지(旣知)가 되어 있다면, 비디오의 비트 스트림 중에 실어 전송하지 않더라도 좋다. 그 경우, 예컨대, 부호화 장치는 인트라 부호화 모드, 공통화 식별 플래그(33)를 어느 한 값에 고정화하여 부호화를 행하도록 구성하더라도 좋고, 비디오의 비트 스트림과는 별도로 전송하더라도 좋다.
3. 복호 장치의 동작 개요
도 12의 복호 장치는, 도 11의 부호화 장치로부터 출력되는 도 15의 배열에 따르는 비디오 스트림(22)을 수신하고, 3개의 색성분이 동일 사이즈(4 : 4 : 4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 각각의 영상 프레임을 복원하는 것으로 한다.
우선, 가변 길이 복호부(25)는 스트림(22)을 입력으로 하여, 소정의 규칙(syntax)에 따라 스트림(22)을 해독하여, 인트라 부호화 모드 공통화 식별 플래그(33), 양자화 완료 변환 계수(10), 부호화 모드(6), 양자화 파라미터(21) 등의 정보를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 아울러 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 역직교 변환부(13)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다. 한편, 공간 예측부(2)에 대해서는 부호화 모드(6)와 인트라 부호화 모드 공통화 식별 플래그(33)가 입력되고, 이들의 정보에 따라 예측 화상(7)을 얻는다. 예측 화상(7)을 얻는 구체적인 순서에 대해서는 후술한다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 잠정 복호 화상(15)을 얻는다(이것은 부호화 장치에 있어서의 국부 복호 화상(15)과 완전히 같은 신호이다). 잠정 복호 화상(15)은 이후의 매크로 블록의 인트라 예측에 이용되기 위해 메모리(16)에 저장된다. 메모리는 각 색성분마다 3면씩 준비된다. 또한, 가변 길이 부호화부(25)에 의해 해독된 디블록킹 필터 제어 플래그(24)의 지시에 근거하여 디블록킹 필터(26)를 잠정 복호 화상(15)에 대하여 작용시켜, 최종적인 복호 화상(27)을 얻는다.
4. 복호 장치에 있어서의 인트라 예측 복호 처리
본 실시예 2의 복호 장치의 특징인 인트라 예측 화상 생성 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 12의 복호 장치에 있어서의 가변 길이 복호부(25), 공간 예측부(2)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 17에 나타낸다.
도 17의 흐름도 중, S25~S38은 가변 길이 복호부(25)에 있어서 행해진다. 가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 15의 데이터 배열에 따르는 것으로 한다. 단계 S25에서는 도 15의 데이터 중 인트라 부호화 모드 0(34a)(C0 성분 대응)이 우선 복호된다. 결과, 인트라 부호화 모드 0(34a)이 「인트라 N×N 예측」인 경우는, 변환 블록 사이즈 식별 플래그 0(32a)과 인트라 예측 모드 0(35a)이 복호된다(단계 S26, S27). 이어서, 인트라 부호화 모드 공통화 식별 플래그(33)의 상태에 근거하여, 인트라 부호화ㆍ예측 모드 정보가 모든 색성분에서 공통이라고 판단된 경우는, 인트라 부호화 모드 0(34a), 변환 블록 사이즈 식별 플래그 0(32a), 인트라 예측 모드 0(35a)을, C1 및 C2 성분에서 이용하는 부호화 정보로서 설정한다(단계 S29, S30). 도 17은 매크로 블록 단위의 처리를 도시하고 있고, 단계 S29의 판단에 이용하는 인트라 부호화 모드 공통화 식별 플래그(33)는, 도 17의 시작의 프로세스로 들어가기 전에, 슬라이스 이상의 레이어 레벨로 가변 길이 복호부(25)에 의해 비트 스트림(22)으로부터 판독되어 있는 것으로 한다.
도 17에 있어서의 단계 S29에서 인트라 부호화ㆍ예측 모드 정보가 각 색성분마다 부호화라고 판단된 경우는, 계속되는 단계 S31~S38의 프로세스에 있어서, C1 및 C2 성분용 인트라 부호화ㆍ예측 모드 정보를 복호한다. 이상의 처리 과정을 지나 각 색성분의 부호화 모드(6)가 확정되고, 이것을 공간 예측부(2)에 출력하여, 단계 S39~S41에 따라 각 색성분의 인트라 예측 화상을 얻는다. 인트라 예측 화상을 얻는 프로세스는 도 3, 도 4, 도 13의 순서에 따르는 것이고 도 11의 부호화 장치에서 행하는 처리와 동일하다.
또, 전술한 바와 같이, 인트라 부호화 모드 공통화 식별 플래그(33)의 정보는, 부호화 장치와 복호 장치의 쌍방에서 미리 어떠한 수단으로 기지가 되어 있으면, 복호 장치는, 비디오의 비트 스트림 중으로부터 그 값을 해석하는 것이 아니고, 예컨대, 미리 고정값으로 복호를 행하도록 구성하더라도 좋고, 비디오의 비트 스트림과는 별도로 전송하더라도 좋다.
종래의 영상 부호화 표준으로 채용되어 온 4 : 2 : 0 포맷에서는, 색공간의 정의가 Y, Cb, Cr에 고정되어 있었지만, 4 : 4 : 4 포맷에서는 Y, Cb, Cr에 한정되지 않고 다양한 색공간을 이용할 수 있다. 도 15나 도 16과 같이 인트라 매크로 블록의 부호화 정보를 구성함으로써, 입력 영상 신호(1)의 색공간의 정의나 영상 신호의 성질에 따라 최적의 부호화 처리를 행할 수 있음과 아울러, 이러한 부호화 처리의 결과 얻어지는 비트 스트림을 일의에 해석하여 영상 복호 재생 처리를 행할 수 있다.
(실시예 3)
본 실시예 3에서는, 도 11의 부호화 장치, 도 12의 복호 장치의 다른 구성예를 나타낸다. 본 부호화 장치, 복호 장치는 실시예 1과 마찬가지로, 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명에 고유의 특징을 부여한 것으로 한다. 본 실시예 3에 있어서의 영상 부호화 장치는, 도 11에서 설명한 실시예 2의 부호화 장치 중, 가변 길이 부호화부(11)만이 다르다. 본 실시예 3에 있어서의 영상 복호 장치는, 도 12에서 설명한 실시예 2의 복호 장치 중, 가변 길이 복호부(25)만이 다르다. 다른 것은 실시예 2와 동일한 동작으로 하여, 여기서는 차이 부분만을 설명한다.
1. 부호화 장치에 있어서의 인트라 예측 모드 정보의 부호화 순서
실시예 2의 부호화 장치에 있어서는, 그 가변 길이 부호화부(11)에서는, 인트라 N×N 예측 모드의 정보에 대하여, 비트 스트림 위의 데이터 배열은 나타냈지만, 특히 그 부호화 순서를 나타내지 않았다. 본 실시예에서는, 그 부호화 순서의 구체적인 방법을 나타낸다. 본 실시예에서는 특히, 인트라 N×N 예측 모드의 값이 색성분 사이에서 높은 상관을 갖는 경우를 고려하여, 각 색성분에서 얻어진 인트라 N×N 예측 모드에 대하여, 색성분 사이에서의 값의 상관을 이용한 엔트로피 부호화를 행하는 점에 특징이 있다.
이하의 설명에서는, 도 16의 형식의 비트 스트림 배열을 전제로 한다. 또한, 설명의 간략화를 위해, 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정하고, 인트라 부호화 모드를 인트라 N×N 예측 모드, 변환 블록 사이즈 0~2를 4×4블록이라고 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 전부 인트라 4×4 예측 모드가 된다. 도 18~도 20에 있어서, 부호화의 대상이 되는 커런트 매크로 블록은 X라 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B라 한다.
C0, C1, C2의 각 색성분의 부호화 순서의 설명도로서, 도 18~도 20을 이용한다. 또한, 순서의 흐름도를 도 21, 도 22에 나타낸다.
도 18은 매크로 블록 X의 C0 성분의 모양을 나타내고 있다. 여기서, 부호화 대상의 4×4블록을 블록 X, 블록 X의 왼쪽, 위의 4×4블록을 각각 블록 A, 블록 B라고 부르는 것으로 한다. 매크로 블록 X 중, 부호화 대상의 4×4블록의 위치에 따라 2개의 케이스가 있다. 케이스 1은, 부호화 대상의 4×4블록에 대하여, 그 왼쪽, 위의 4×4블록이 커런트 매크로 블록 X 밖, 즉, 매크로 블록 A 내지는 매크로 블록 B에 속하는 경우이다. 케이스 2는, 부호화 대상의 4×4블록에 대하여, 그 왼쪽, 위의 4×4블록이 커런트 매크로 블록 X의 내부, 즉, 매크로 블록 X에 속하는 경우이다. 어느 쪽의 경우에도, 인트라 4×4 예측 모드는 매크로 블록 X 내의 각각의 4×4블록 X에 대하여 하나씩 할당되고, 이것을 CurrIntraPredMode라 한다. 또한, 블록 A의 인트라 4×4 예측 모드를 IntraPredModeA, 블록 B의 인트라 4×4 예측 모드를 IntraPredModeB라 한다. IntraPredModeA, IntraPredModeB는 모두, 블록 X를 부호화하는 시점에서는 이미 부호화 완료 정보이다. 어떤 블록 X의 인트라 4×4 예측 모드를 부호화하는데 있어서, 우선 이들의 파라미터의 할당을 행한다(도 21에 있어서의 단계 S50).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측값 predCurrIntraPredMode를 하기 식으로 정한다(단계 S51).
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB)
다음으로, C0 성분의 CurrIntraPredMode의 부호화를 행한다. 여기서는, CurrIntraPredMode = predCurrIntraPredMode이면, 예측값과 같은 것을 나타내는 1비트의 플래그(prev_intra_pred_mode_flag)를 부호화한다. CurrIntraPredMode ! = predCurrIntraPredMode이면, CurrIntraPredMode와 predCurrIntraPredMode를 비교하여 CurrIntraPredMode 쪽이 작은 경우, CurrIntraPredMode를 그대로 부호화한다. CurrIntraPredMode 쪽이 큰 경우, CurrIntraPredMode-1을 부호화한다(단계 S52).
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
else
{
prev_intra_pred_mode_flag = 0;
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode-1;
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
다음으로, 도 19에 의해, C1 성분의 부호화 순서를 나타낸다. 우선, C0 성분과 마찬가지로 블록 X의 위치에 따라, IntraPredModeA, IntraPredModeB 등의 근방의 부호화 파라미터를 설정한다(단계 S53).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측값 후보 1 predCurrIntraPredMode1을 하기 식으로 정한다(단계 S54).
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB)
만약 C0 성분에 있어서, prev_intra_pred_mode_flag = 1이면, 이 predCurrIntraPredMode1을 그대로 C1 성분의 블록 X에서의 predCurrIntraPredMode에 채용한다. 이것은 이하의 이유에 따른다. C0 성분의 동일 블록 위치에서 prev_intra_pred_mode_flag = 1이 채용되었다는 것은, C0 성분에 있어서는 근방 화상 영역에 있어서 예측 모드 사이의 상관이 높은 것을 의미하고 있다. C0 성분과 C1 성분의 사이에서 텍스쳐 구조의 상관을 완전히 제거하지 않은 RGB 신호 등의 경우에 있어서는, 이러한 경우, C1 성분에 있어서도 C0 성분과 마찬가지로, 근방 화상 영역 사이에 상관이 높을 가능성이 있다. 따라서, C1 성분의 예측값은 C0 성분의 인트라 4×4 예측 모드에 의존하지 않는다고 판단한다.
한편, C0 성분에 있어서, prev_intra_pred_mode_flag == 0, 즉, rem_intra_pred_mode를 부호화한 경우(단계 S55)는, C0 성분의 CurrIntraPredMode를 예측값 후보 2로 한다(단계 S56). 즉,
predCurrIntraPredMode2 = CurrIntraPredMode_C0
이것을 예측값 후보로 하는 배경은 이하와 같다. C0 성분에서 rem_intra_pred_mode를 부호화한다는 것은, C0 성분에 있어서는 근방 화상 영역 사이에서의 인트라 예측의 상관이 낮은 것을 의미한다. 그 경우, C1 성분에서도 마찬가지로 근방 화상 영역 사이에서의 상관이 낮은 것이 예상되어, 다른 색성분에 있어서의 동일 블록 위치의 인트라 예측 모드 쪽이, 보다 좋은 예측값을 부여할 가능성이 있다.
C1 성분의 블록 X에서의 CurrIntraPredMode의 예측값은 최종적으로, predCurrIntraPredMode1이나, predCurrIntraPredMode2 중 어느 한쪽의 값으로서 정한다(단계 S57). 어느 쪽의 값을 이용할지는 1비트의 플래그(pred_flag)로 추가 부호화한다. 단, pred_flag는, CurrIntraPredMode가 예측값에 일치할 때만 부호화하고, 일치하지 않는 경우 (rem_intra_pred_mode를 부호화하는 경우) 예측값은 predCurrIntraPredMode1을 이용한다.
이상의 순서를 식으로 기재하면
If(prev_intra_pred_mode_flag_C0 == 1)
{
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if(CurrIntraPredMode == predCurrIntraPredMode1)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 예측값 후보 1을 사용한다
}
else if(CurrIntraPredMode == predCurrIntraPredMode2)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 예측값 후보 2를 사용한다
}
else
{
prev_intra_pred_mode_flag = 0;
if(CurrIntraPredMode < predCurrIntraPredMode1)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode-1;
}
}
Encode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
Encode pred_flag;
else // If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
가 된다. 결과, prev_intra_pred_mode_flag, pred_flag, rem_intra_pred_mode가 부호화 데이터로서 부호화된다(단계 S58).
다음으로, 도 20에 의해, C2 성분의 부호화 순서를 나타낸다. 우선, C0, C1 성분과 마찬가지로, 블록 X의 위치에 따라, IntraPredModeA, IntraPredModeB 등의 근방의 부호화 파라미터를 설정한다(단계 S59).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측값 후보 1 predCurrIntraPredMode1을 하기 식으로 정한다(단계 S60).
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB)
만약 C0, C1 성분의 양쪽에 있어서, prev_intra_pred_mode_flag = 1이면, 이 predCurrIntraPredMode1을 그대로 C1 성분의 블록 X에서의 predCurrIntraPredMode에 채용한다. 이것은 이하의 이유에 따른다. C0, C1 성분의 동일 블록 위치에서 prev_intra_pred_mode_flag = 1이 채용되었다는 것은, C0, C1 성분에 있어서는 근방 화상 영역에 있어서 예측 모드 사이의 상관이 높은 것을 의미하고 있다. C0, C1 성분과 C2 성분의 사이에서 텍스쳐 구조의 상관을 완전히 제거하지 않은 RGB 신호 등의 경우에 있어서는, 이러한 경우, C2 성분에 있어서도 C0, C1 성분과 마찬가지로, 근방 화상 영역 사이에 상관이 높을 가능성이 있다. 따라서, C2 성분의 예측값은 C0, C1 성분의 인트라 4×4 예측 모드에 의존하지 않는다고 판단한다.
한편, C0 내지는 C1 성분에 있어서, prev_intra_pred_mode_flag = 0, 즉, rem_intra_pred_mode를 부호화한 경우(단계 S61)는, C0 내지는 C1 성분의 CurrIntraPredMode를 예측값 후보 2로 한다(단계 S62). 즉,
If(prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1)
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0)predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
이것을 예측값 후보로 하는 배경은 이하와 같다. C0 내지는 C1 성분에서 rem_intra_pred_mode를 부호화한다는 것은, C0 내지는 C1 성분에 있어서는 근방 화상 영역 사이에서의 인트라 예측의 상관이 낮은 것을 의미한다. 그 경우, C2 성분에서도 마찬가지로 근방 화상 영역 사이에서의 상관이 낮은 것이 예상되어, 다른 색성분에 있어서의 동일 블록 위치의 인트라 예측 모드 쪽이, 보다 좋은 예측값을 부여할 가능성이 있다. 또한, 이 사고 방식에 의하면, C0, C1 성분 모두 rem_intra_pred_mode를 부호화하는 경우에는, C0, C1의 양쪽의 커런트 인트라 예측 모드가 예측값의 후보가 될 수 있지만, 여기서는, C1 성분의 커런트 인트라 예측 모드를 예측값으로서 채용한다. 그 이유는, YUV 색공간이 입력되는 경우, C0은 휘도, C1/C2는 색차로서 취급될 가능성이 높고, 그 경우, C0보다 C1 쪽이 보다 C2의 예측 모드에 가깝다고 생각되기 때문이다. RGB 색공간 입력의 경우에 있어서는, C0을 선택할지 C1을 선택할지는 그다지 큰 요인(factor)으로는 되지 않고, 일반적으로 C1 성분을 예측값으로 채용하는 것은 타당하다고 생각된다(설계에 따라 C2 성분을 예측값으로 채용하더라도 좋다).
C2 성분의 블록 X에서의 CurrIntraPredMode의 예측값은 최종적으로, predCurrIntraPredMode1이나, predCurrIntraPredMode2 중 어느 한쪽의 값으로서 정한다(단계 S63). 어느 쪽의 값을 이용할지는 1비트의 플래그(pred_flag)로 추가 부호화한다.
이상의 순서를 식으로 기재하면
If(prev_intra_pred_mode_flag_C0 == 1 && prev_intra_pred_mode_flag == 1)
{
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
If(prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1)
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0)predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
if(CurrIntraPredMode == predCurrIntraPredMode1)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 예측값 후보 1을 사용한다
}
else if(CurrIntraPredMode == predCurrIntraPredMode2)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 예측값 후보 2를 사용한다
}
else
{
prev_intra_pred_mode_flag = 0;
if(CurrIntraPredMode < predCurrIntraPredMode1)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode-1;
}
}
Encode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
Encode pred_flag;
else // If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
가 된다. 결과, prev_intra_pred_mode_flag, pred_flag, rem_intra_pred_mode가 부호화 데이터로서 부호화된다(단계 S64).
이상 말한 부호화 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 부호화함으로써, 다른 색성분에 있어서 선택되는 예측 모드와의 사이의 상관을 이용할 수 있어, 예측 모드 자체의 부호량을 삭감하여, 부호화 효율을 향상할 수 있다.
도 21과 도 22의 차이는, MB당 인트라 예측 모드의 부호화 처리를 각 색성분마다 분리하여 행할지, 정리하여 행할지의 차이이다. 도 21의 경우는 4×4블록의 단위로 각 색성분의 부호화가 행해지고, 그것들을 16패턴 모은 것이 비트 스트림으로 배열된다(단계 S65). 도 22의 경우는, 각 색성분의 16개의 4×4블록이 정리하여 부호화되고, 그것을 색성분별로 비트 스트림으로 배열한 형태가 된다(단계 S66, S67, S68).
또, 상기 말한 순서에서는, pred_flag는, prev_intra_pred_mode_flag가 1일 때만 유효한 정보로 하고 있지만, prev_intra_pred_mode_flag가 0인 경우도 포함하도록 정하더라도 좋다. 즉, 예컨대, C1 성분의 예를 들면,
If(prev_intra_pred_mode_flag_C0 == 1)
{
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
Else{
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode-1;
}
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if(CurrIntraPredMode == predCurrIntraPredMode1)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 예측값 후보 1을 사용한다
}
else if(CurrIntraPredMode == predCurrIntraPredMode2)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 예측값 후보 2를 사용한다
}
else
{
prev_intra_pred_mode_flag = 0;
if(｜CurrIntraPredMode-predCurrIntraPredMode1｜<｜CurrIntraPredMode predCurrIntraPredMode2｜)
{
pred_flag = 0;
predCurrIntraPredMode = predCurrIntraPredMode1;
}
Else
{
pred_flag = 1;
predCurrIntraPredMode = predCurrIntraPredMode2;
}
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode-1;
}
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag_C0 == 0)
Encode pred_flag;
If(prev_intra_pred_mode_flag = 0)
Encode rem_intra_pred_mode;
와 같은 순서로 부호화하도록 구성하더라도 좋다. 이 방법에서는, C0 성분의 동일 위치의 블록에 있어서의 인트라 예측 모드에 있어서 rem_intra_pred_mode를 부호화하는 경우에는 상시 pred_flag를 부호화하게 되지만, prev_intra_pred_mode_flag = 0의 경우라도 보다 정밀도가 좋은 예측값을 사용할 수 있어, 부호화 효율의 개선을 기대할 수 있다. 또한, 더 나아가, C0 성분의 동일 위치의 블록에 있어서의 인트라 예측 모드에 있어서 rem_intra_pred_mode를 부호화할지 여부에 의존하지 않고, pred_flag를 부호화하도록 구성하더라도 좋다. 이 경우는 상시 C0 성분의 인트라 예측 모드를 예측값 후보로서 사용하게 된다.
즉, 이 경우의 식은 이하와 같이 된다.
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
if(CurrIntraPredMode == predCurrIntraPredMode1)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 0; // 예측값 후보 1을 사용한다
}
else if(CurrIntraPredMode == predCurrIntraPredMode2)
{
prev_intra_pred_mode_flag = 1;
pred_flag = 1; // 예측값 후보 2를 사용한다
}
else
{
prev_intra_pred_mode_flag = 0;
if(｜CurrIntraPredMode-predCurrIntraPredMode1｜<｜CurrIntraPredModep predCurrIntraPredMode2｜)
{
pred_flag = 0;
predCurrIntraPredMode = predCurrIntraPredMode1;
}
Else
{
pred_flag = 1;
predCurrIntraPredMode = predCurrIntraPredMode2;
}
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode-1;
}
Encode prev_intra_pred_mode_flag;
Encode pred_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
또, pred_flag는, 4×4블록 단위가 아니고, 매크로 블록이나 시퀀스의 단위로 설정하도록 하더라도 좋다. 매크로 블록 단위로 설정하는 경우는, 매크로 블록 내의 모든 4×4블록에 대하여, 예측값 후보 1 내지는 예측값 후보 2 중 어느 쪽을 사용할지를 공통화하므로, pred_flag로서 전송하는 오버헤드 정보를 더 삭감할 수 있다. 또한, 입력 색공간 정의에 따라 예측값 후보 1 내지는 예측값 후보 2 중 어느 쪽을 사용할지를 정하므로, 시퀀스의 단위로 정하도록 할 수도 있다. 이 경우는 매크로 블록마다 pred_flag를 전송할 필요가 없어져, 더욱 오버헤드 정보를 삭감할 수 있다.
2. 복호 장치에 있어서의 인트라 예측 모드 정보의 복호 순서
실시예 2의 복호 장치에 있어서는, 그 가변 길이 복호부(25)에서는, 인트라 N×N 예측 모드의 정보에 대하여, 비트 스트림 위의 데이터 배열은 나타냈지만, 특히 그 복호 순서를 나타내지 않았다. 본 실시예 3에서는, 그 복호 순서의 구체적인 방법을 나타낸다. 본 실시예 3에서는 특히, 인트라 N×N 예측 모드의 값이 색성분 사이에서 높은 상관을 갖는 경우를 고려하여, 각 색성분에서 얻어진 인트라 N×N 예측 모드에 대하여, 색성분 사이에서의 값의 상관을 이용한 엔트로피 부호화가 행해진 비트 스트림을 복호하는 점에 특징이 있다.
이하의 설명에서는, 도 16의 형식의 비트 스트림 배열을 전제로 한다. 또한, 설명을 인트라 예측 모드의 복호 순서에 한정하기 위해, 비트 스트림 중의 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정되어 있는 것으로 한다. 또한, 인트라 부호화 모드는 인트라 N×N 예측 모드, 변환 블록 사이즈 0~2는 4×4블록이 지정되어 있는 것으로 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 전부 인트라 4×4 예측 모드가 된다. 부호화 장치와 마찬가지로, 복호 장치에 있어서도, 도 18~도 20의 관계를 이용한다. 복호 장치에서는, 복호의 대상이 되는 커런트 매크로 블록을 X라 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B라 한다. 복호 순서의 흐름도를 도 23에 나타낸다. 도 23에 있어서, 도 21, 도 22와 같은 번호를 부여한 단계는 부호화 장치의 처리와 같은 처리를 실행하는 것을 나타낸다.
도 18은 매크로 블록 X의 C0 성분의 모양을 나타내고 있다. 매크로 블록 X 중, 복호 대상의 4×4블록의 위치에 따라 2개의 케이스가 있다. 케이스 1은, 복호 대상의 4×4블록에 대하여, 그 왼쪽, 위의 4×4블록이 커런트 매크로 블록 X 밖, 즉, 매크로 블록 A 내지는 매크로 블록 B에 속하는 경우이다. 케이스 2는, 복호 대상의 4×4블록에 대하여, 그 왼쪽, 위의 4×4블록이 커런트 매크로 블록 X의 내부, 즉, 매크로 블록 X에 속하는 경우이다. 여기서, 복호 대상의 4×4블록을 블록 X, 블록 X의 왼쪽, 위의 4×4블록을 각각 블록 A, 블록 B라고 부르는 것으로 한다. 어느 경우에도, 인트라 4×4 예측 모드는 매크로 블록 X 내의 각각의 4×4블록 X에 대하여 하나씩 할당되고, 이것을 CurrIntraPredMode로 한다. 또한, 블록 A의 인트라 4×4 예측 모드를 IntraPredModeA, 블록 B의 인트라 4×4 예측 모드를 IntraPredModeB로 한다. IntraPredModeA, IntraPredModeB는 모두, 블록 X를 부호화하는 시점에서는 이미 복호 완료의 정보이다. 어떤 블록 X의 인트라 4×4 예측 모드를 복호하는데 있어서, 우선 이들의 파라미터의 할당을 행한다(단계 S50).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측값 predCurrIntraPredMode를 하기 식으로 정한다(단계 S51).
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB)
다음으로, CurrIntraPredMode = predCurrIntraPredMode인지 여부를 나타내는 1비트의 플래그(prev_intra_pred_mode_flag)를 복호한다. prev_intra_pred_mode_flag = 1은, CurrIntraPredMode = predCurrIntraPredMode인 것을 의미한다. 그렇지 않으면(prev_intra_pred_mode_flag = 0), rem_intra_pred_mode의 정보를 비트 스트림 중으로부터 복호한다. rem_intra_pred_mode와 predCurrIntraPredMode를 비교하여 rem_intra_pred_mode 쪽이 작은 경우, CurrIntraPredMode = rem_intra_pred_mode로 한다. CurrIntraPredMode 쪽이 큰 경우, CurrIntraPredMode = rem_intra_pred_mode+1로 한다(단계 S65).
이들의 순서를 정리하면 이하와 같이 된다.
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
다음으로, 도 19에 의해, C1 성분의 복호 순서를 나타낸다. 우선, C0 성분과 마찬가지로, 블록 X의 위치에 따라, IntraPredModeA, IntraPredModeB 등의 근방의 부호화 파라미터를 설정한다(단계 S53).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측값 후보 1 predCurrIntraPredMode1을 하기 식으로 정한다(단계 S54).
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB)
만약 C0 성분에 있어서, prev_intra_pred_mode_flag = 1이면, 이 predCurrIntraPredMode1을 그대로 C1 성분의 블록 X에서의 predCurrIntraPredMode에 채용한다. 이것은 부호화 장치에 있어서 설명한 이유와 마찬가지이다.
한편, C0 성분에 있어서, prev_intra_pred_mode_flag = 0, 즉, rem_intra_pred_mode를 복호한 경우(단계 S55)는, C0 성분의 CurrIntraPredMode를 예측값 후보 2로 한다(단계 S56). 즉,
predCurrIntraPredMode2 = CurrIntraPredMode_C0
이것을 예측값 후보로 하는 배경도 부호화 장치에 있어서 설명한 이유와 마찬가지이다.
C1 성분의 블록 X에서의 CurrIntraPredMode의 예측값은 최종적으로, predCurrIntraPredMode1이나, predCurrIntraPredMode2 중 어느 한쪽의 값으로서 정한다(단계 S57). 어느 쪽의 값을 이용할지는 1비트의 플래그(pred_flag)를 복호하여 정한다. 단, pred_flag는, CurrIntraPredMode가 예측값에 일치할 때만 복호하고, 일치하지 않는 경우 (rem_intra_pred_mode를 복호하는 경우) 예측값은 predCurrIntraPredMode1을 이용한다.
예측값 후보 1, 예측값 후보 2, prev_intra_pred_mode_flag, pred_flag, rem_intra_pred_mode가 인가된 후에, 이하의 순서에 따라, CurrIntraPredMode를 복호한다(단계 S66).
if(prev_intra_pred_mode_flag_C0 == 1)
{
pred_flag = 0; // 이때는 pred_flag는 비트 스트림에는 포함되지 않는다
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
Decode pred_flag;
If(pred_flag == 0)
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
predCurrIntraPredMode = predCurrIntraPredMode1;
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
}
다음으로, 도 20에 의해, C2 성분의 복호 순서를 나타낸다. 우선, C0, C1 성분과 마찬가지로, 블록 X의 위치에 따라, IntraPredModeA, IntraPredModeB 등의 근방의 부호화 파라미터를 설정한다(단계 S59).
다음으로, 블록 X의 CurrIntraPredMode에 대한 예측값 후보 1 predCurrIntraPredMode1을 하기 식으로 정한다(단계 S60).
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB)
만약 C0, C1 성분의 양쪽에 있어서, prev_intra_pred_mode_flag = 1이면, 이 predCurrIntraPredMode1을 그대로 C1 성분의 블록 X에서의 predCurrIntraPredMode에 채용한다. 이것은 부호화 장치에 있어서 설명한 이유와 마찬가지이다.
한편, C0 내지는 C1 성분에 있어서, prev_intra_pred_mode_flag = 0, 즉, rem_intra_pred_mode를 복호한 경우(단계 S61)는, C0 내지는 C1 성분의 CurrIntraPredMode를 예측값 후보 2로 한다(단계 S62).
즉,
If(prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1)
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0)predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
이것을 예측값 후보로 하는 배경도 부호화 장치에 있어서 설명한 이유와 마찬가지이다.
C2 성분의 블록 X에서의 CurrIntraPredMode의 예측값은 최종적으로, predCurrIntraPredMode1이나, predCurrIntraPredMode2 중 어느 한쪽의 값으로서 정한다(단계 S63). 어느 쪽의 값을 이용할지는 1비트의 플래그(pred_flag)를 복호하여 정한다. 단, pred_flag는, CurrIntraPredMode가 예측값에 일치할 때만 복호하고, 일치하지 않는 경우(rem_intra_pred_mode를 복호하는 경우)는, 예측값은 predCurrIntraPredMode1을 이용한다.
예측값 후보 1, 예측값 후보 2, prev_intra_pred_mode_flag, pred_flag, rem_intra_pred_mode가 인가된 후에, 이하의 순서에 따라, CurrIntraPredMode를 복호한다(단계 S71).
if(prev_intra_pred_mode_flag_C0 == 1 && prev_intra_pred_mode_flag_C1 == 1)
{
pred_flag = 0; // 이때는 pred_flag는 비트 스트림에는 포함되지 않는다
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
If(prev_intra_pred_mode_flag_C0 == 0 && pred_intra_pred_mode_flag_C1 == 1)
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
else if(prev_intra_pred_mode_flag_C0 == 1 && pred_intra_pred_mode_flag_C1 == 0)predCurrIntraPredMode2 = CurrIntraPredMode_C1;
else
predCurrIntraPredMode2 = CurrIntraPredMode_C1;
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
Decode pred_flag;
If(pred_flag == 0)
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
predCurrIntraPredMode = predCurrIntraPredMode1;
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
}
이상 말한 복호 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 복호함으로써, 다른 색성분에 있어서 선택되는 예측 모드와의 사이의 상관을 이용하여, 예측 모드 자체의 부호량을 삭감하여, 부호화 효율을 향상시킨 비트 스트림을 복호할 수 있다.
또, 상기 말한 순서에서는, pred_flag는, prev_intra_pred_mode_flag가 1이 되어 있는 경우에만 복호되는 정보로 하고 있지만, prev_intra_pred_mode_flag가 0인 경우도 포함하는 정보로서 복호하도록 하더라도 좋다.
즉, 예컨대, C1 성분의 예를 들면,
if(prev_intra_pred_mode_flag_C0 == 1)
{
predCurrIntraPredMode = Min(IntraPredModeA, IntraPredModeB);
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
}
else
{
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
Decode pred_flag;
If(pred_flag == 0)
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
}
와 같은 순서로 복호하도록 구성하더라도 좋다. 이 방법의 효과는 대응하는 부호화 장치측에서의 부호화 순서의 기재 중에 말한 것과 같다. 또한, 더 나아가, C0 성분의 동일 위치의 블록에 있어서의 인트라 예측 모드에 있어서 rem_intra_pred_mode를 복호할지 여부에 의존하지 않고, pred_flag를 복호하도록 구성하더라도 좋다. 이 경우는 상시 C0 성분의 인트라 예측 모드를 예측값 후보로서 사용하게 된다.
즉,
predCurrIntraPredMode1 = Min(IntraPredModeA, IntraPredModeB);
predCurrIntraPredMode2 = CurrIntraPredMode_C0;
Decode prev_intra_pred_mode_flag;
Decode pred_flag;
If(pred_flag == 0)
predCurrIntraPredMode = predCurrIntraPredMode1;
Else
predCurrIntraPredMode = predCurrIntraPredMode2;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
이 된다.
또, 부호화 장치의 설명에서 말했듯이, pred_flag는, 4×4블록 단위가 아니고, 매크로 블록이나 시퀀스의 단위로 비트 스트림에 포함되어 있더라도 좋다. 매크로 블록 단위로 설정하는 경우는, 매크로 블록 내의 모든 4×4블록에 대하여, 예측값 후보 1 내지는 예측값 후보 2 중 어느 쪽을 사용할지를 공통화하므로, 복호하는 pred_flag의 오버헤드 정보가 삭감된다. 또한, 입력 색공간 정의에 따라 예측값 후보 1 내지는 예측값 후보 2 중 어느 쪽을 사용할지를 정하기 위해, 시퀀스의 단위로 정하도록 할 수도 있다. 이 경우는 매크로 블록마다 pred_flag를 전송할 필요가 없어져, 오버헤드 정보가 더 삭감된다.
(실시예 4)
실시예 2에서 도 16의 형식의 비트 스트림에 대하여 설명했다. 실시예 2에서는, 인트라 부호화 모드가 「인트라 N×N 예측」을 나타내고 있는 경우, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)의 값에 따라, C0, C1, C2 각 색성분의 인트라 예측 모드가 인트라 4×4 예측 모드나, 인트라 8×8 예측 모드로 인식되는 경우를 말했다. 본 실시예 4에서는, 이 비트 스트림 배열을 변경하여 도 24에 나타내는 바와 같이, C1, C2 성분에 대하여, 인트라 예측 모드 지시 플래그 1, 2(36a, 36b)를 시퀀스 레벨로 전송하도록 구성한다. 인트라 예측 모드 지시 플래그는, 인트라 부호화 모드에 있어서 인트라 N×N 예측 모드가 선택되는 경우, 또한 변환 블록 사이즈 식별 플래그가 4×4 변환을 지시하고 있는 경우, 즉, 인트라 4×4 예측 모드의 경우에 유효하며, 이 값에 따라, 이하의 2개의 상태를 전환하는 것을 가능하게 한다.
상태 1 : C1 내지는 C2 성분에 대해서도, 사용하는 인트라 4×4 예측 모드는 도 3의 9개로부터 개별적으로 선택하여 부호화한다.
상태 2 : C1 내지는 C2 성분에 대해서는, 사용하는 인트라 4×4 예측 모드를 DC 예측, 다시 말해, 도 3의 intra4×4_pred_mode = 2에 한정하고, 인트라 예측 모드 정보를 부호화하지 않는다.
예컨대, Y, Cb, Cr과 같은 색공간에서 부호화를 행하는 경우에, HDTV 이상 등의 고해상도 영상의 경우, 4×4블록은 대단히 작은 화상 영역에 대응한다. 이때, 특히 Cb, Cr 성분이라고 하는 화상의 텍스쳐 구조를 유지하지 않는 성분에 대하여 9개의 예측 모드를 선택할 여지를 부여하는 것보다, 예측 모드 정보 자체를 1개로 고정화하여 오버헤드가 되는 예측 모드 정보를 전송하지 않는 쪽이 효율적인 경우가 있다. 이러한 비트 스트림 배열을 행함으로써, 입력 색공간의 성질이나 영상의 특성에 따른 최적의 부호화가 가능하게 된다.
도 24의 형식의 비트 스트림을 받는 복호 장치는, 가변 길이 복호부(25)에 있어서 인트라 예측 모드 지시 플래그(36a, 36b)를 복호하고, 그 값에 따라, 비트 스트림이 상태 1로 부호화되어 있는지, 상태 2로 부호화되어 있는지를 식별하도록 구성하여 둔다. 이에 따라, C1 내지는 C2 성분에 대하여, 비트 스트림으로부터 인트라 4×4 예측 모드를 복호하여 사용할지, DC 예측, 다시 말해, 도 3의 intra4×4_pred_mode = 2를 고정적으로 적용할지를 판단한다.
또한, 본 실시예 4에서는, 상태 2는, C1 내지는 C2 성분에 대하여, intra4×4_pred_mode = 2로 한정한다고 했지만, 예측 모드 정보를 1개로 고정하면 좋고, 다른 예측 모드라도 좋다. 또한, 상태 2는, C1 내지는 C2 성분에 대하여, C0과 같은 인트라 4×4 예측 모드를 사용한다고 하도록 정하더라도 좋다. 이 경우도, C1 내지는 C2 성분에 대해서는 인트라 4×4 예측 모드를 부호화할 필요가 없으므로 오버헤드 비트를 삭감할 수 있다.
(실시예 5)
본 실시예 5에서는, 도 11의 부호화 장치, 도 12의 복호 장치의 다른 구성예를 나타낸다. 본 실시예 5에 있어서의 부호화 장치, 복호 장치는 상기 다른 실시예와 마찬가지로, 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명에 고유의 특징을 부여한 것으로 한다. 본 실시예 5에 있어서의 영상 부호화 장치는, 실시예 2, 3에서 설명한 도 11의 부호화 장치의 구성 중, 가변 길이 부호화부(11)의 동작만이 다르다. 본 실시예 5에 있어서의 영상 복호 장치는, 실시예 2, 3에서 설명한 도 12의 복호 장치의 구성 중, 가변 길이 복호부(25)의 동작만이 다르다. 다른 것은 실시예 2, 3과 동일한 동작으로 하여, 여기서는 차이 부분만을 설명한다.
1. 부호화 장치에 있어서의 인트라 예측 모드 정보의 부호화 순서
실시예 3의 부호화 장치에 있어서는, 그 가변 길이 부호화부(11)에서는, 도 16의 형식에 따른 비트 스트림에 있어서, 인트라 N×N 예측 모드 정보의 구체적인 부호화 방법에 대하여 나타냈다. 본 실시예 5에서는, 그 부호화 순서의 다른 구체적인 방법을 나타낸다. 본 실시예 5에서는 특히, 인트라 N×N 예측 모드의 값이 화상 패턴으로서의 텍스쳐의 구조를 반영하는 것에 착안하여, 동일 색성분 중의 근방 화소 영역 내에서 적응적인 예측을 행하는 방법을 부여하는 점에 특징이 있다. 이하의 설명에서는, 도 16의 형식의 비트 스트림 배열을 전제로 한다. 또한, 본 실시예 5에서는, C0, C1, C2의 각 성분의 인트라 N×N 예측 모드 정보의 부호화는 색성분마다 독립적으로 부호화하는 것으로 하고, C0 성분의 부호화 방법을 C1, C2에도 마찬가지로 적용하는 것으로 하여, 설명의 간략화를 위해, C0 성분에 대해서만 설명한다. 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정하고, 인트라 부호화 모드를 인트라 N×N 예측 모드, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)를 4×4블록이라고 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 전부 인트라 4×4 예측 모드가 된다. C0 성분의 인트라 N×N 예측 모드 정보의 부호화 순서의 설명도로서, 도 18을 이용한다. 도 18에 있어서, 부호화의 대상이 되는 커런트 매크로 블록은 X라 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B라 한다. 또한, 부호화 순서의 흐름도를 도 25에 나타낸다.
실시예 3에서는, 도 18에 있어서 각각의 4×4블록 X에 대하여 하나씩 할당되어 있는 인트라 4×4 예측 모드 CurrIntraPredMode에 대한 예측값 predCurrIntraPredMode를, IntraPredModeA, IntraPredModeB 중 작은 쪽의 값을 일의에 할당했다. 이것은, 현재의 AVC/H.264 규격에도 채용되어 있는 방법이며, 인트라 N×N 예측 모드의 값이 커질수록, 예측 화상 생성 방식이 화상 패턴의 방향성을 가미한 화소 보간을 따르는 복잡한 모드로 되어 있고, 일반적인 화상 패턴에 대한 적합성이 높은 모드에는 작은 값이 배당되는 것에 기인한다. 비트 레이트가 낮은 경우에는, 왜곡의 증가분보다 예측 모드의 부호량 증가분 쪽이 모드 선택에 큰 영향을 미치므로, 이 방식에서도 전체의 부호화 효율에 있어서는 유익하지만, 반대로, 비트 레이트가 비교적 높은 경우는, 예측 모드의 부호량의 증가분보다 왜곡의 증가분 쪽이 모드 선택에 큰 영향을 미치므로, 반드시 IntraPredModeA, IntraPredModeB 중 작은 쪽의 값이 최적이라고는 말할 수 없게 된다. 이러한 관찰에 근거하여, 본 실시예 5에서는, 이 예측값 설정을, 이하에 설명하는 바와 같이 IntraPredModeA, IntraPredModeB의 상태에 따라 적응화함으로써 예측값의 정밀도를 향상시킨다. 이 순서에서는, 화상 패턴으로서 본 경우에 CurrIntraPredMode를 더욱 더 잘 추정할 수 있다고 판단되는 값으로서, IntraPredModeA, IntraPredModeB의 상태를 바탕으로 predCurrIntraPredMode를 정한다(단계 S73, S74, S75).
(1) IntraPredModeA, IntraPredModeB가 모두 0으로부터 2의 범위에 있을 때는, MIN(IntraPredModeA, IntraPredModeB)를 predCurrIntraPredMode로 한다.
(2) IntraPredModeA, IntraPredModeB 중 어느 하나가 3 이상일 때로, IntraPredModeA, IntraPredModeB의 예측의 방향이 완전히 다를 때(예 : IntraPredModeA가 3이고, IntraPredModeB가 4일 때)는, DC 예측(intra4×4_pred_mode = 2)을 predCurrIntraPredMode로 한다.
(3) IntraPredModeA, IntraPredModeB 중 어느 하나가 3 이상일 때로, 예측의 방향이 같을 때(예 : IntraPredModeA가 3이고 IntraPredModeB가 7일 때(모두 오른쪽 위로부터의 예측))는, 화소를 보간하는 예측 모드(상술한 예에서는 7)를 predCurrIntraPredMode로 한다.
또, 실시예 3과 마찬가지로, IntraPredModeA, IntraPredModeB 등 부호화를 위한 준비 처리는 사전에 행하여 둔다(단계 S50, S53, S59). 결과, predCurrIntraPredMode는, IntraPredModeA, IntraPredModeB의 값으로부터 일의에 유도된다. 이 예측값 설정의 규칙을 테이블화한 것을 도 26에 나타낸다. 도 26에 있어서 빗금 부분은, 종래의 MIN(IntraPredModeA, IntraPredModeB)의 규칙에는 따르지 않는 케이스로, 화상 패턴의 연속성으로부터 보다 좋은 예측값이 판단되는 케이스이다. 상기 순서 (1)에서는, 클래스 0의 테이블이 사용된다. (2), (3)에서는 클래스 1의 테이블이 사용된다.
이상의 결과, predCurrIntraPredMode가 정해진 후는, 실시예 3에서 말한 C0 성분의 나머지의 부호화 순서를 실행함으로써 부호화를 완료한다(단계 S52, S58, S64).
다시 말해,
if(CurrIntraPredMode == predCurrIntraPredMode)
{
prev_intra_pred_mode_flag = 1;
}
else
{
prev_intra_pred_mode_flag = 0;
if(CurrIntraPredMode < predCurrIntraPredMode)
rem_intra_pred_mode = CurrIntraPredMode;
else
rem_intra_pred_mode = CurrIntraPredMode-1;
}
Encode prev_intra_pred_mode_flag;
If(prev_intra_pred_mode_flag == 0)
Encode rem_intra_pred_mode;
가 된다.
이상 말한 부호화 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 부호화함으로써, 동일 색성분의 근방 화소 영역에서의 예측 모드의 상관을 보다 잘 이용할 수 있어, 예측 모드 자체의 부호량을 삭감하여, 부호화 효율을 향상할 수 있다.
2. 복호 장치에 있어서의 인트라 예측 모드 정보의 복호 순서
실시예 3의 복호 장치에 있어서는, 도 16의 형식에 따른 비트 스트림에 대하여, 가변 길이 복호부(25)에서의 인트라 N×N 예측 모드의 정보의 구체적인 복호 순서의 하나를 나타냈다. 본 실시예 5에서는, 복호 순서의 다른 구체적인 방법을 나타낸다. 본 실시예 5에서는 특히, 인트라 N×N 예측 모드의 값이 화상 패턴으로서의 텍스쳐의 구조를 반영하는 것에 착안하여, 동일 색성분 중의 근방 화소 영역 내에서 적응적인 예측을 행하여 부호화가 행해진 비트 스트림을 복호하는 점에 특징이 있다.
이하의 설명에서는, 도 16의 형식의 비트 스트림 배열을 전제로 한다. 또한, 설명의 간략화를 위해, 비트 스트림 중의 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정되어 있는 것으로 한다. 또한, 인트라 부호화 모드는 인트라 N×N 예측 모드, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)는 4×4블록이 지정되어 있는 것으로 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 전부 인트라 4×4 예측 모드가 된다. 부호화 장치와 마찬가지로, 복호 장치에 있어서도, 도 18의 관계를 이용하여 C0 성분에 대해서만 설명한다(C1, C2는 동등한 순서로 C0과는 독립적으로 복호한다). 복호 장치에서는, 복호의 대상이 되는 커런트 매크로 블록을 X라 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B라 한다.
실시예 3에서는, 부호화 장치의 설명에도 적은 바와 같이, 도 18에 있어서 각각의 4×4블록 X에 대하여 하나씩 할당되어 있는 인트라 4×4 예측 모드 CurrIntraPredMode에 대한 예측값 predCurrIntraPredMode를, IntraPredModeA, IntraPredModeB 중 작은 쪽의 값을 일의에 할당했다. 이것에 대하여, 본 실시예 5에 있어서의 복호 장치에서는, predCurrIntraPredMode를 부호화 순서에 나타낸 순서와 완전히 같은 순서로, 도 26의 테이블을 이용하여 결정한다. IntraPredModeA, IntraPredModeB는 이미 복호되어 기지이므로, 부호화 순서와 완전히 같은 처리를 행하는 것이 가능하다.
그 후의 순서는, 실시예 3에 말한 C0 성분의 복호 순서와 등가이다. 정리하면 이하와 같이 된다.
Decode prev_intra_pred_mode_flag;
if(prev_intra_pred_mode_flag == 1)
{
CurrIntraPredMode == predCurrIntraPredMode;
}
else
{
Decode rem_intra_pred_mode;
if(rem_intra_pred_mode < predCurrIntraPredMode)
CurrIntraPredMode = rem_intra_pred_mode;
else
CurrIntraPredMode = rem_intra_pred_mode+1;
}
이상 말한 복호 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 복호함으로써, 동일 색성분의 근방 화소 영역에 있어서의 예측 모드의 상관을 보다 잘 이용하여, 예측 모드 자체의 부호량을 삭감한 부호화 비트 스트림을 복호할 수 있다.
또한, 상술한 예에서는 도 26의 테이블을 고정적으로 사용하여 predCurrIntraPredMode를 정하여 부호화ㆍ복호를 행했지만, 도 26의 테이블을 초기값으로 하여, IntraPredModeA, IntraPredModeB의 상태에 대하여 가장 발생하기 쉬운 인트라 예측 모드를 predCurrIntraPredMode로서 축차 갱신하면서 부호화ㆍ복호하도록 구성하더라도 좋다. 예컨대, 도 26의 「클래스 = 0, IntraPredModeA = 0, IntraPredModeB = 0, predCurrIntraPredMode = 0」이 되는 조합에 있어서, 상술한 실시예에서는 IntraPredModeA = 0, IntraPredModeB = 0의 경우에는, 항상 predCurrIntraPredMode를 0으로 했다. 그러나, 영상 신호 자체는 비정상 신호이므로, 영상의 내용에 따라서는, 이 조합이 반드시 최고라는 보증은 없다. 최악의 경우, 영상 전체를 통하여, 대부분의 케이스에서 predCurrIntraPredMode가 예측값으로서 히트하지 않을 가능성도 0이 아니다. 따라서, 예컨대, IntraPredModeA = 0, IntraPredModeB = 0의 경우에 발생하는 CurrIntraPredMode의 빈도를 카운트하여 두고, CurrIntraPredMode의 부호화ㆍ복호가 끝날 때마다, IntraPredModeA, IntraPredModeB의 상태에 대하여 가장 발생 빈도가 높은 예측 모드를 갖고 predCurrIntraPredMode를 갱신하도록 구성한다. 이러한 구성에 의해, CurrIntraPredMode의 부호화ㆍ복호에 이용하는 예측값을 영상 내용에 대조하여 최적의 값으로 설정할 수 있다.
(실시예 6)
본 실시예 6에서는, 도 11의 부호화 장치, 도 12의 복호 장치의 다른 구성예를 나타낸다. 본 실시예 6에 있어서의 부호화 장치, 복호 장치는 상기 다른 실시예와 마찬가지로, 비특허 문헌 1인 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격에서 채용되는 부호화 방식을 베이스로 하여, 본 발명에 고유의 특징을 부여한 것으로 한다. 본 실시예 6에 있어서의 영상 부호화 장치는, 실시예 2, 3, 5에서 설명한 도 11의 부호화 장치의 구성 중, 가변 길이 부호화부(11)의 동작만이 다르다. 본 실시예 6에 있어서의 영상 복호 장치는, 실시예 2, 3, 5에서 설명한 도 12의 복호 장치의 구성 중, 가변 길이 복호부(25)의 동작만이 다르다. 다른 것은 실시예 2, 3, 5와 동일한 동작으로 하여, 여기서는 차이 부분만을 설명한다.
1. 부호화 장치에 있어서의 인트라 예측 모드 정보의 부호화 순서
실시예 3이나 실시예 5의 부호화 장치에 있어서는, 도 16의 형식에 따른 비트 스트림에 대하여, 인트라 N×N 예측 모드 정보의 구체적인 부호화 방법에 대하여 나타냈다. 본 실시예 6에서는, 그 부호화 순서의 다른 구체적인 방법을 나타낸다. 본 실시예 6에서는 특히, 인트라 N×N 예측 모드의 값이 화상 패턴으로서의 텍스쳐의 구조를 반영하는 것에 착안하여, 동일 색성분 중의 근방 화소 영역 내에서 적응적인 산술 부호화를 행하는 방법을 부여하는 점에 특징이 있다. 이하의 설명에서는, 도 16의 형식의 비트 스트림 배열을 전제로 한다. 또한, 본 실시예 6에서는, C0, C1, C2의 각 성분의 인트라 N×N 예측 모드 정보의 부호화는 색성분마다 독립적으로 부호화하는 것으로 하고, C0 성분의 부호화 방법을 C1, C2에도 마찬가지로 적용하는 것으로 하여, 설명의 간략화를 위해, C0 성분에 대해서만 설명한다. 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정하여, 인트라 부호화 모드를 인트라 N×N 예측 모드, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)를 4×4블록이라고 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 전부 인트라 4×4 예측 모드가 된다. C0 성분의 인트라 N×N 예측 모드 정보의 부호화 순서의 설명도로서, 도 18을 이용한다. 도 18에 있어서, 부호화의 대상이 되는 커런트 매크로 블록은 X라 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B라 한다. 부호화 순서의 흐름도를 도 27에 나타낸다.
실시예 3, 5에서는, 도 18에 있어서 각각의 4×4블록 X에 대하여 하나씩 할당되어 있는 인트라 4×4 예측 모드 CurrIntraPredMode에 대한 예측값 predCurrIntraPredMode를, IntraPredModeA, IntraPredModeB 중 작은 쪽의 값을 일의에 할당하고, 그와 같은 경우에는 prev_intra_pred_mode_flag를 1로 하여 블록 X에 대한 인트라 4×4 예측 모드의 부호화를 중단하며, 다른 경우에, rem_intra_pred_mode에 따라 부호를 전송하도록 구성했다. 본 실시예에서는, IntraPredModeA, IntraPredModeB의 상태를 이용하여 CurrIntraPredMode를 직접 산술 부호화한다. 이때, AVC/H.264 규격에 채용되어 있는 컨텍스트 적응 이진 산술 부호화에 따르는 부호화 순서를 이용한다.
우선, 부호화 대상의 CurrIntraPredMode를 도 28에 나타내는 형식에 따라 이진 표현화한다(단계 S76). 이진 계열의 제 1 빈(bin)은, CurrIntraPredMode가 세로 방향 예측인지, 가로 방향 예측인지를 분류하는 부호로 되어 있다(도 3 참조). 이 예에서는, DC 예측(intra4×4_pred_mode = 2)을 가로 방향 예측으로 분류하고 있지만, 이것은 세로 방향 예측으로 분류하도록 구성하더라도 좋다. 제 2 빈은, 세로 방향, 가로 방향의 각각에서 출현 빈도가 가장 높다고 생각되는 예측 모드값에 대하여 터미네이트(terminate) 비트를 부여한다. 제 3 빈 이후는, 잔존하는 예측 모드값 중에서 출현 빈도가 높은 것으로부터 순차적으로 터미네이트되도록 부호 구성한다. (도 28에 있어서의 이진 계열 구성의 제 2 빈 이후는 실제의 화상 데이터 부호화의 과정에서의 심볼 발생 확률에 따라 설정되는 것이 바람직하다)
산술 부호화는, 이진 계열의 각 빈에 대하여, 순차적으로, 사용하는 (0, 1) 발생 확률 테이블을 선택하면서 실행한다. 제 1 빈의 부호화에서는, 산술 부호화에 이용하는 컨텍스트를 이하와 같이 정한다(단계 S78).
컨텍스트 A(CA) : 인트라 예측 모드가 세로 방향 예측인지, 가로 방향 예측인지를 바이너리 표현하는 플래그 intra_pred_direction_flag를 IntraPredModeA, IntraPredModeB에 대하여 정의하고, 이하의 4 상태를 컨텍스트값으로 한다.
CA = (intra_pred_direction_flag for IntraPredModeA == 1)+(intra_pred_direction_flag for IntraPredModeB == 1);
여기서, intra_pred_direction_flag는, 예컨대, 도 3에서, intra4×4_pred_mode가 값 0, 3, 5, 7을 취하는 경우는 세로 방향 예측(= 0), 값 1, 2, 4, 6, 8을 취하는 경우는 가로 방향 예측(= 1)으로 분류한다. CA의 4 상태에는, 각각, 미리 IntraPredModeA, IntraPredModeB의 상태를 전제로 하는 CurrIntraPredMode의 조건부 확률을 구하여 두고, 그에 근거하여 정해지는 (0, 1)의 초기 발생 확률 테이블을 할당하여 둔다. 이와 같이 컨텍스트를 구성함으로써, 제 1 빈의 조건부 발생 확률을 보다 잘 추정하는 것이 가능해져, 산술 부호화의 효율을 높일 수 있다. CA의 값에 따라 제 1 빈의 발생 확률 테이블을 선택하여 산술 부호화를 실행한다. 또한, 부호화값을 갖고 발생 확률 테이블을 갱신한다(단계 S79).
제 2 빈 이후에 대해서는, 미리 각 예측 모드값의 발생 확률에 따라 정해지는 (0, 1)의 초기 발생 확률 테이블을 할당하여 둔다(단계 S80). 이어서, 제 1 빈과 마찬가지로 이진 산술 부호화, 발생 확률 테이블 갱신을 행한다(단계 S81).
이상 말한 부호화 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 부호화함으로써, 동일 색성분의 근방 화소 영역에 있어서의 예측 모드의 상관을 이용하여, 예측 모드 정보의 부호화에 적응 산술 부호화를 적용할 수 있으므로, 부호화 효율을 향상할 수 있다.
2. 복호 장치에 있어서의 인트라 예측 모드 정보의 복호 순서
실시예 3, 5의 복호 장치에 있어서는, 도 16의 형식에 따른 비트 스트림에 대하여, 가변 길이 부호부(25)에서의 인트라 N×N 예측 모드의 정보의 구체적인 복호 순서의 하나를 나타냈다. 본 실시예 6에서는, 복호 순서의 다른 구체적인 방법을 나타낸다. 본 실시예 6에서는 특히, 인트라 N×N 예측 모드의 값이 화상 패턴으로서의 텍스쳐의 구조를 반영하는 것에 착안하여, 동일 색성분 중의 근방 화소 영역 내에서 적응적인 산술 부호화를 이용하여 부호화가 행해진 비트 스트림을 복호하는 점에 특징이 있다.
이하의 설명에서는, 도 16의 형식의 비트 스트림 배열을 전제로 한다. 또한, 설명의 간략화를 위해, 비트 스트림 중의 인트라 부호화 모드 공통화 식별 플래그(33)의 값은, 인트라 부호화 모드를 C0, C1, C2에서 공통화한다고 설정되어 있는 것으로 한다. 또한, 인트라 부호화 모드는 인트라 N×N 예측 모드, 변환 블록 사이즈 식별 플래그 0~2(32a~32c)는 4×4블록이 지정되어 있는 것으로 한다. 이때, 인트라 예측 모드 0~2(35a~35c)는 전부 인트라 4×4 예측 모드가 된다. 부호화 장치와 마찬가지로, 복호 장치에 있어서도, 도 18의 관계를 이용하여 C0 성분에 대해서만 설명한다(C1, C2는 동등한 순서로 C0과는 독립적으로 복호한다). 복호 장치에서는, 복호의 대상이 되는 커런트 매크로 블록을 X라 한다. 또한, 그 왼쪽 옆의 매크로 블록은 매크로 블록 A, 바로 위의 매크로 블록을 매크로 블록 B라 한다.
실시예 3, 5에서는, 부호화 장치의 설명에도 적은 바와 같이, 도 18에 있어서 각각의 4×4블록 X에 대하여 하나씩 할당되어 있는 인트라 4×4 예측 모드 CurrIntraPredMode에 대한 예측값 predCurrIntraPredMode를, IntraPredModeA, IntraPredModeB 중 작은 쪽의 값을 일의에 할당하고, prev_intra_pred_mode_flag를 복호하여 그 값이 1인 경우에는 CurrIntraPredMode로서 predCurrIntraPredMode를 채용하고, prev_intra_pred_mode_flag가 0인 경우는, rem_intra_pred_mode를 복호함으로써 블록 X의 인트라 4×4 예측 모드를 복원하도록 구성했다. 이것에 대하여, 본 실시예 6에서는, IntraPredModeA, IntraPredModeB의 상태를 이용하여 CurrIntraPredMode를 직접 산술 복호한다. 이때, AVC/H.264 규격에 채용되어 있는 컨텍스트 적응 이진 산술 복호에 따르는 복호 순서를 이용한다.
복호 대상의 CurrIntraPredMode는, 도 28에 나타내는 형식에 따라 이진 계열로서 부호화되어 있는 것으로 하고, 이 계열을 좌단으로부터 순차적으로 이진 산술 복호하여 간다. 본 실시예 6의 부호화 순서에서 설명한대로, 이진 계열의 제 1 빈은, CurrIntraPredMode가 세로 방향 예측인지, 가로 방향 예측인지를 분류하는 부호로 되어 있고(도 3 참조), 제 2 빈 이후는 예측 모드값 중에서 출현 빈도가 높은 것으로부터 순차적으로 터미네이트되도록 부호 구성되어 있다. 이 부호 구성의 이유에 대해서는 부호화 순서에서 말한 것과 같다.
복호 프로세스에서는, 우선, 제 1 빈의 복호에 있어서, 부호화 순서에서 이용한 컨텍스트와 같은 CA를 정한다. CA의 값에 따라 제 1 빈의 발생 확률 테이블을 선택하여 산술 복호를 실행하여 제 1 빈을 복원한다. 또한, 복호값을 갖고 발생 확률 테이블을 갱신한다.
제 2 빈 이후에 대해서는, 미리 각 예측 모드값의 발생 확률에 따라 정해지는 (0, 1)의 초기 발생 확률 테이블을 할당하여 둔다. 이어서, 제 1 빈과 마찬가지로 이진 산술 복호, 발생 확률 테이블 갱신을 행한다. 도 28의 이진 계열은 각 예측 모드값을 일의에 특정할 수 있도록 구성되어 있으므로, 소정의 수만 빈을 복원하고 바로 축차적으로 CurrIntraPredMode가 복호된다.
이상 말한 복호 순서는, 인트라 8×8 예측 모드에 대해서도 마찬가지로 정의할 수 있다. 인트라 N×N 예측 모드를 이러한 순서로 복호함으로써, 동일 색성분의 근방 화소 영역에서의 예측 모드의 상관을 이용한 산술 부호화에 의해 예측 모드 자체의 부호량을 삭감한 부호화 비트 스트림을 복호할 수 있다.
상술한 예에 있어서, 도 28의 테이블은 그 외에도 배리에이션을 생각할 수 있다. 예컨대, 도 29와 같은 이진 계열을 구성하는 방법이라도 좋다. 여기서는, 제 1 빈에는 이하의 컨텍스트 B를 이용한다.
컨텍스트 B(CB) : 인트라 예측 모드가 DC 예측인지, DC 예측이 아닌지를 바이너리 표현하는 플래그 intra_dc_pred_flag를 IntraPredModeA, IntraPredModeB에 대하여 정의하고, 이하의 4 상태를 컨텍스트값으로 한다.
CA = (intra_dc_pred_flag for IntraPredModeA == 1)+(intra_dc_pred_flag for IntraPredModeB == 1);
여기서, intra_dc_pred_flag는 도 3에서, intra4×4_pred_mode가 값 2를 취하는 경우는 1, 그 밖의 값을 취하는 경우는 0으로 설정한다. CB의 4 상태에는, 각각, 미리 IntraPredModeA, IntraPredModeB의 상태를 전제로 하는 CurrIntraPredMode의 조건부 확률을 구하여 두고, 그에 근거하여 정해지는 제 1 빈의 값(0, 1)의 초기 발생 확률 테이블을 할당하여 둔다. 도 29에서는, CurrIntraPredMode가 DC 예측인 경우에, 제 1 빈은 값 0을, DC 예측 이외인 경우는 제 1 빈은 값 1을 취하도록 설계하고 있다. 또한, 제 2 빈에는, 상술한 컨텍스트 A(CA)를 이용하는 것으로 했다. 이와 같이 컨텍스트를 구성함으로써, 제 1 빈 및 제 2 빈 어느 쪽에 대해서도 조건부 발생 확률을 보다 잘 추정하는 것이 가능해져, 산술 부호화의 효율을 높일 수 있다.
(실시예 7)
본 실시예 7에서는, 4 : 4 : 4 포맷으로 입력되는 영상 프레임을 16×16화소의 직사각형 영역(매크로 블록)으로 균등 분할한 단위로 프레임 사이의 예측을 이용하여 부호화를 행하는 부호화 장치, 및 대응하는 복호 장치에 대하여 설명한다. 또한, 본 부호화 장치, 복호 장치는 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격(이하, AVC)에서 채용되는 부호화 방식을 베이스로 하여, 본 발명에 고유의 특징을 부여한 것으로 한다.
도 30에, 본 실시예 7에 있어서의 영상 부호화 장치의 구성을, 도 31에 본 실시예 7에 있어서의 영상 복호 장치의 구성을 나타낸다. 도 31에 있어서, 도 30의 부호화 장치의 구성 요소와 같은 번호가 첨부되어 있는 요소는 동일한 요소인 것을 나타낸다.
이하, 이들 도면에 근거하여 부호화 장치 및 복호 장치 전체의 동작과, 본 실시예 7의 특징적인 동작인 인터 예측 모드(inter prediction mode) 판정 처리와 움직임 보상 예측 복호 처리에 대하여 설명한다.
1. 부호화 장치의 동작 개요
도 30의 부호화 장치에 있어서, 입력 영상 신호(1)는, 각각의 영상 프레임이 4 : 4 : 4 포맷이고, 또한 3개의 색성분을 동일 사이즈의 매크로 블록으로 분할하여 정리한 단위로 부호화 장치에 입력되는 것으로 한다.
우선, 움직임 보상 예측부(102)에 있어서, 메모리(16)에 저장되는 1프레임 이상의 움직임 보상 예측 참조 화상 데이터 중에서 1프레임의 참조 화상을 선택하고, 그 매크로 블록의 단위로, 각 색성분마다 움직임 보상 예측 처리가 행해진다. 메모리는 각 색성분마다 3면씩 준비된다(본 실시예에서는 3면으로서 설명하지만, 설계에 따라 적절히 변경하여도 좋다). 움직임 보상 예측을 행하는 블록 사이즈로는, 7종류가 준비되어 있고, 우선 매크로 블록 단위로, 도 32(a)~(d)에 나타내는 바와 같이, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택할 수 있다. 또한 8×8이 선택된 경우에는, 각 8×8블록마다, 도 32(e)~(h)에 나타내는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택할 수 있다. 선택한 사이즈 정보는, 매크로 블록 단위의 사이즈 정보는 매크로 블록 타입으로서, 8×8블록 단위의 사이즈 정보는 서브 매크로 블록 타입으로서 출력된다. 또, 각각의 블록마다 선택한 참조 화상의 식별 번호와 움직임 벡터 정보가 출력된다.
본 실시예 7에 있어서의 영상 부호화 장치는, 인터 예측 모드 공통화 식별 플래그(123)에 근거하여, 3개의 색성분에 대한 움직임 보상 예측 처리 방법을 전환하는 것을 특징으로 한다. 이 점에 대해서는, 하기 2에서 자세히 말한다.
움직임 보상 예측부(102)에서는, 도 32에 나타낸 모든 블록 사이즈 내지는 서브 블록 사이즈, 및 소정의 탐색 범위의 모든 움직임 벡터(137) 및 선택 가능한 1장 이상의 참조 화상에 대하여 움직임 보상 예측 처리를 실행하여, 움직임 벡터(137)와 1장의 참조 화상과 감산기(3)에 의해 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 움직임 보상 예측부(102)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 매크로 블록 타입/서브 매크로 블록 타입(106)과 움직임 벡터(137)와 참조 화상의 식별 번호를 출력한다. 매크로 블록 타입/서브 매크로 블록 타입(106)의 선정에서는, 부호화 제어부(19)의 판단으로 정해지는 각 타입에 대한 가중 계수(20)가 가미되는 경우도 있다. 또한, 선정된 타입과 움직임 벡터(137)와 참조 화상에 근거한 움직임 보상 예측에 의해 얻어지는 예측 차분 신호(4)를 직교 변환부(8)에 출력한다. 직교 변환부(8)는 입력되는 예측 차분 신호(4)를 변환하여 직교 변환 계수로서 양자화부(9)에 출력한다. 양자화부(9)는 입력되는 직교 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하여, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역직교 변환부(13)를 지나 국부 복호 예측 차분 신호(14)로 복원되고, 선정된 매크로 블록 타입/서브 매크로 블록 타입(106)과 움직임 벡터(137)와 참조 화상에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(16)에 저장된다. 또한, 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블록킹 필터를 실시할지 여부를 나타내는 디블록킹 필터 제어 플래그(24)도 입력된다(움직임 보상 예측부(102)에서 실시되는 예측 처리에는, 디블록킹 필터가 실시되기 전의 화소 데이터를 메모리(16)에 저장하여 이용하므로 디블록킹 필터 처리 자체는 부호화 처리에는 필요는 없지만, 복호 장치측에서는 디블록킹 필터 제어 플래그(24)의 지시에 따라 디블록킹 필터를 행하여 최종적인 복호 화상을 얻는다).
가변 길이 부호화부(11)에 입력되는 인터 예측 모드 공통화 식별 플래그(123), 양자화 완료 변환 계수(10), 매크로 블록 타입/서브 매크로 블록 타입(106), 움직임 벡터(137), 참조 화상 식별 번호, 양자화 파라미터(21)는 소정의 규칙(syntax)에 따라 비트 스트림으로서 배열ㆍ정형되어, 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞추어 비트 스트림을 평활화하여 비디오 스트림(22)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트 스트림 축적 상황에 따라 부호화 제어부(19)에 피드백을 걸어, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
2. 부호화 장치에 있어서의 인터 예측 모드 판정 처리
본 실시예 7의 부호화 장치의 특징인 인터 예측 모드 판정 처리에 대하여 상술한다. 또 이하의 기술에서 인터 예측 모드란, 상술한 움직임 보상 예측의 단위가 되는 블록 사이즈, 즉, 매크로 블록 타입/서브 매크로 블록 타입을 가리키고, 인터 예측 모드 판정 처리란, 매크로 블록 타입/서브 매크로 블록 타입과 움직임 벡터와 참조 화상을 선정하는 처리이다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 30의 부호화 장치에 있어서의 움직임 보상 예측부(102), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 33에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2라 한다.
우선, 부호화 모드 판정부(5)는, 인터 예측 모드 공통화 식별 플래그(123)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 인터 예측 모드와 공통의 움직임 벡터(137) 및 공통의 참조 화상을 사용할지 여부를 판단한다(도 33의 단계 S100). 공통화하는 경우는 단계 S101 이후로, 그렇지 않으면 단계 S102 이후로 진행한다.
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통의 최적 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S101).
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C0, C1, C2에서 공통화할 수 없고, C0, C1, C2에서 각각 가장 좋은 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, Ci(i≤0<3) 성분에서 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, Ci(i≤0<3) 성분에 있어서의 최적 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S102, S103, S104).
움직임 보상 예측부(102)에서 행해지는 예측 모드의 예측 효율 평가의 규범으로서는, 예컨대,
Jm,v,r = Dm,v,r+λRm,v,r (λ : 양수)
로 인가되는 비트율 왜곡치를 이용할 수 있다. 여기서, Dm,v,r은 인터 예측 모드 m과 소정 범위의 움직임 벡터 v와 참조 화상 r을 적용한 경우의 부호화 왜곡 또는 예측 오차량이다. 부호화 왜곡이란, 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용하여 예측 오차를 얻고, 예측 오차를 변환ㆍ양자화한 결과로부터 영상을 복호하여 부호화 전의 신호에 대한 오차를 계측하는 것이다. 예측 오차량은, 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용한 경우의 예측 화상과 부호화 전의 신호와의 차분을 얻고, 그 차분의 크기를 정량화한 것으로, 예컨대, 차분 절대값 합(Sum of Absolute Distance : SAD) 등이 이용된다. Rm,v,r은 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r을 적용한 경우의 발생 부호량이다. 다시 말해, Jm,v,r은 인터 예측 모드 m 및 움직임 벡터 v와 참조 화상 r을 적용한 경우의 부호량과 열화도의 트레이드오프를 규정하는 값이며, 최소의 Jm,v,r을 부여하는 인터 예측 모드 m과 움직임 벡터 v와 참조 화상 r이 최적의 해를 부여한다.
부호화 장치가 단계 S101 이후의 처리를 행한 경우, 인터 예측 모드와 움직임 벡터(137) 및 참조 화상의 정보는, 3개의 색성분을 포함하는 매크로 블록에 대하여 1조 할당된다. 한편, 단계 S102 이후의 처리를 행한 경우는, 각 색성분에 대하여 각각 인터 예측 모드 정보와 움직임 벡터(137) 및 참조 화상이 할당된다. 따라서, 매크로 블록에 대하여 할당되는 인터 예측 모드와 움직임 벡터(137)와 참조 화상의 정보가 다르므로, 부호화 장치가 S101 이후의 처리 과정을 행했는지, S102 이후의 처리 과정을 행했는지는 인터 예측 모드 공통화 식별 플래그(123)를 비트 스트림으로 다중화하여 복호 장치측에서 인식할 수 있도록 할 필요가 있다. 이러한 비트 스트림의 데이터 배열을 도 34에 나타낸다.
도 34는 매크로 블록의 레벨에 있어서의 비트 스트림의 데이터 배열을 나타내고 있으며, 매크로 블록 타입은, 인트라인지 인터인지를 나타내고, 인터 모드일 때에는 움직임 보상의 단위가 되는 블록 사이즈를 나타내는 정보를 포함한다. 서브 매크로 블록 타입은, 매크로 블록 타입으로 8×8블록 사이즈가 선택된 경우에만 다중화되고, 각 8×8블록마다의 블록 사이즈 정보를 포함한다. 기본 매크로 블록 타입(128)과 기본 서브 매크로 블록 타입(129)은 인터 예측 모드 공통화 식별 플래그(123)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는 공통 매크로 블록 타입 및 공통 서브 매크로 블록 타입을 나타내고, 그렇지 않으면 C0에 대한 매크로 블록 타입 및 서브 매크로 블록 타입을 나타낸다. 확장 매크로 블록 타입(130) 및 확장 서브 매크로 블록 타입(131)은, 인터 예측 모드 공통화 식별 플래그(123)가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우에만 C1, C2 각각에 대하여 다중화되고, C1, C2에 대한 매크로 블록 타입 및 서브 매크로 블록 타입을 나타낸다.
참조 화상 식별 번호는, 움직임 보상 단위가 되는 8×8블록 사이즈 이상의 블록마다 선택하는 참조 화상을 특정하기 위한 정보이다. 인터 프레임일 때에는, 선택할 수 있는 참조 화상은 1프레임이므로, 1블록마다 하나의 참조 화상 식별 번호가 다중화된다. 움직임 벡터 정보는, 움직임 보상 단위가 되는 블록마다 1조의 움직임 벡터 정보를 다중화한다. 참조 화상 식별 번호 및 움직임 벡터 정보는, 매크로 블록에 포함되는 움직임 보상의 단위가 되는 블록의 개수만큼 다중화될 필요가 있다. 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)는 인터 예측 모드 공통화 식별 플래그(123)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는, 공통의 참조 화상 식별 번호 및 공통의 움직임 벡터 정보를 나타내고, 그렇지 않으면 C0에 대한 참조 화상 식별 번호 및 움직임 벡터 정보를 나타낸다. 확장 참조 화상 식별 번호(134) 및 확장 움직임 벡터 정보(135)는, 인터 예측 모드 공통화 식별 플래그(123)가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우에만 C1, C2 각각에 대하여 다중화되고, C1, C2에 대한 참조 화상 식별 번호 및 움직임 벡터 정보를 나타낸다.
이어서 양자화 파라미터(21), 양자화 완료 변환 계수(10)가 다중화된다. (도 34에는 도 30에서 가변 길이 부호화부(11)에 입력되고 있는 디블록킹 필터 제어 플래그(24)가 포함되어 있지 않지만, 본 실시예 7의 특징을 설명하기 위해 필요한 구성 요소가 아니므로 할애하고 있다)
종래의 영상 부호화 표준에서 채용되어 온 4 : 2 : 0 포맷에서는, 색공간의 정의가 Y, Cb, Cr로 고정되어 있었지만, 4 : 4 : 4 포맷에서는 Y, Cb, Cr로 한정하지 않고 다양한 색공간을 이용할 수 있다. 도 34와 같이 인터 예측 모드 정보를 구성함으로써, 입력 영상 신호(1)의 색공간의 정의가 여러 가지에 미치는 경우에도 최적의 부호화 처리를 행할 수 있다. 예컨대, 색공간이 RGB에서 정의되는 경우에 R, G, B의 각 성분에 균등하게 영상 텍스쳐의 구조가 잔존하고 있는 영역에서는, 공통의 인터 예측 모드 정보와 공통의 움직임 벡터 정보를 이용함으로써 인터 예측 모드 정보와 움직임 벡터 정보 자체의 용장성(redundancy)을 삭감하여 부호화 효율을 높일 수 있다. 이에 대하여, 예컨대, 붉은 빛이 완전히 없는 영역(R성분이 0)에서는, R성분에 최적인 인터 예측 모드와 움직임 벡터 정보와 G, B성분에 최적인 인터 예측 모드와 움직임 벡터 정보는 다를 것이다. 그래서, 확장 인터 예측 모드와 확장 참조 화상 식별 정보 및 확장 움직임 벡터 정보를 적응적으로 이용함으로써 최적의 부호화 효율을 얻을 수 있다.
3. 복호 장치의 동작 개요
도 31의 복호 장치는, 도 30의 부호화 장치로부터 출력되는 도 34의 배열에 따르는 비디오 스트림(22)을 수신하고, 3개의 색성분이 동일 사이즈(4 : 4 : 4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 각각의 영상 프레임을 복원하는 것으로 한다.
우선, 가변 길이 복호부(25)는 스트림(22)을 입력으로 하여, 소정의 규칙(syntax)에 따라 비디오 스트림(22)을 해독하여, 인터 예측 모드 공통화 식별 플래그(123), 양자화 완료 변환 계수(10), 매크로 블록 타입/서브 매크로 블록 타입(106), 참조 화상 식별 번호, 움직임 벡터 정보, 양자화 파라미터(21) 등의 정보를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 아울러 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 역직교 변환부(13)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다. 한편, 움직임 보상 예측부(102)에 대해서는 매크로 블록 타입/서브 매크로 블록 타입(106)과 인터 예측 모드 공통화 식별 플래그(123)와 움직임 벡터(137)와 참조 화상 식별 번호가 입력되고, 이들의 정보에 따라 예측 화상(7)을 얻는다. 예측 화상(7)을 얻는 구체적인 순서에 대해서는 후술한다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 잠정 복호 화상(15)을 얻는다(이것은 부호화 장치에 있어서의 국부 복호 화상(15)과 완전히 같은 신호이다). 잠정 복호 화상(15)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해 메모리(16)에 저장된다. 메모리는 각 색성분마다 3면씩 준비된다(본 실시예에서는 3면으로서 설명하지만, 설계에 따라 적절히 변경하여도 좋다). 또한, 가변 길이 복호부(25)에 의해 해독된 디블록킹 필터 제어 플래그(24)의 지시에 근거하여 디블록킹 필터(26)를 잠정 복호 화상(15)에 대하여 작용시켜, 최종적인 복호 화상(27)을 얻는다.
4. 복호 장치에 있어서의 인터 예측 복호 처리
도 31의 복호 장치는, 도 30의 부호화 장치로부터 출력되는 도 34의 배열에 따르는 비디오 스트림(22)을 수신하고, 3개의 색성분이 동일 사이즈(4 : 4 : 4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 각각의 영상 프레임을 복원하는 것으로 한다.
본 실시예 7의 복호 장치의 특징인 인터 예측 화상 생성 처리에 대하여 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 31의 복호 장치에 있어서의 가변 길이 복호부(25), 움직임 보상 예측부(102)에 의해 행해진다. 또한, 본 처리 중 가변 길이 복호부(25)에서 행해지는 처리의 흐름을 나타내는 흐름도를 도 35에 나타낸다.
가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 34의 데이터 배열에 따르는 것으로 한다. 단계 S110에서는 도 34의 데이터 중 인터 예측 모드 공통화 식별 플래그(123)가 복호된다(단계 S110). 또한 기본 매크로 블록 타입(128) 및 기본 서브 매크로 블록 타입(129)이 복호된다(단계 S111). 단계 S112에서는, 인터 예측 모드 공통화 식별 플래그(123)의 결과를 이용하여 인터 예측 모드를 C0, C1, C2에서 공통화할지 여부를 판단하고, 공통화의 경우는(단계 S112에서 예) C0, C1, C2의 전부에 대하여 기본 매크로 블록 타입(128) 및 기본 서브 매크로 블록 타입(129)을 이용하는 것으로 하고, 그렇지 않으면(단계 S112에서 아니오) 기본 매크로 블록 타입(128) 및 기본 서브 매크로 블록 타입(129)은 C0의 모드로서 사용하고, 또한 C1, C2의 각각에 대하여 확장 매크로 블록 타입(130) 및 확장 서브 매크로 블록 타입(131)을 복호하여(단계 S113), C1, C2의 인터 예측 모드 정보를 얻는다. 다음으로 기본 참조 화상 식별 번호(132)와 기본 움직임 벡터 정보(133)를 복호하고(단계 S114), 인터 예측 모드 공통화 식별 플래그(123)가, 「C0, C1, C2에서 공통화」하는 것을 나타내는 경우에는(단계 S115에서 예), C0, C1, C2의 전부에 대하여 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)를 이용하는 것으로 하고, 그렇지 않으면(단계 S115에서 아니오) 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)는 C0의 정보로서 사용하고, 또한 C1, C2의 각각에 대하여 확장 참조 화상 식별 번호(134) 및 확장 움직임 벡터 정보(135)를 복호한다(단계 S116). 이상의 처리 과정을 지나 각 색성분의 매크로 블록 타입/서브 매크로 블록 타입(106), 참조 화상 식별 번호 및 움직임 벡터 정보가 확정되므로, 이들을 움직임 보상 예측부(102)에 출력하여, 각 색성분의 움직임 보상 예측 화상을 얻는다.
도 36에, 도 34의 비트 스트림 데이터 배열의 배리에이션을 나타낸다. 도 36에서는, 인터 예측 모드 공통화 식별 플래그(123)는, 매크로 블록 레벨의 플래그로서가 아닌, 슬라이스, 픽쳐, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되도록 했다. 이에 따라, 슬라이스 이상의 상위 레이어에서의 전환으로 충분한 예측 효율을 확보할 수 있는 경우는, 매크로 블록 레벨로 예측 모드 공통화 식별 플래그(123)를 축일 다중화하는 일 없이 오버헤드 비트를 삭감할 수 있다.
도 34, 도 36에서는, 인터 예측 모드 공통화 식별 플래그(123)를 매크로 블록마다 또는 슬라이스, 픽쳐, 시퀀스 등의 상위 데이터 레이어로 다중화했지만, 인터 예측 모드 공통화 식별 플래그(123)를 다중화하지 않고서 4 : 4 : 4 포맷으로 부호화하는 경우에는 항상 각 성분에 다른 인터 예측 모드와 움직임 벡터 정보를 이용하도록 하더라도 좋다. 그 경우의 비트 스트림 데이터의 배열을 도 37에 나타낸다. 도 37에서는, 인터 예측 모드 공통화 식별 플래그(123)는 존재하지 않고, 시퀀스 등의 상위 데이터 레이어에 4 : 4 : 4 포맷의 입력 화상을 취급할 것을 지시하는 프로파일 정보(136)가 다중화되고, 이 프로파일 정보의 복호 결과에 따라, 확장 매크로 블록 타입(130), 확장 서브 매크로 블록 타입(131), 확장 참조 화상 식별 번호(134), 확장 움직임 벡터 정보(135)가 다중화된다.
(실시예 8)
실시예 7에서는, 매크로 블록 타입/서브 매크로 블록 타입, 움직임 벡터, 참조 화상의 각각을 색성분마다 다른 것으로 할 수 있도록 했지만, 본 실시예 8에서는 매크로 블록 타입/서브 매크로 블록 타입과 참조 화상을 각 성분에서 공통으로 하고, 움직임 벡터만을 각 성분에서 다른 것으로 할 수 있는 것을 특징으로 하는 영상 부호화 장치, 영상 복호 장치에 대하여 기술한다. 본 실시예 8에 있어서의 영상 부호화 장치 및 영상 복호 장치의 구성은 실시예 7에 있어서의 도 30 및 도 31과 동일하지만, 인터 예측 모드 공통화 식별 플래그(123) 대신에 움직임 벡터 공통화 식별 플래그(123b)를 사용하고 있는 점이 다르다.
1. 부호화 장치에 있어서의 인터 예측 모드 판정 처리
본 실시예 8의 부호화 장치의 특징인 인터 예측 모드 판정 처리에 대하여 실시예 7과 다른 처리를 중심으로 상술한다.
본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 30의 부호화 장치에 있어서의 움직임 보상 예측부(102), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 38에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2라 한다.
우선, 부호화 모드 판정부(5)는, 움직임 벡터 공통화 식별 플래그(123b)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 움직임 벡터(137)를 사용할지 여부를 판단한다(도 37의 단계 S120). 공통화하는 경우는 단계 S121 이후로, 그렇지 않으면 단계 S122 이후로 진행한다.
움직임 벡터(137)를 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통의 최적 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S121).
움직임 벡터(137)를 C0, C1, C2에서 공통화할 수 없고, C0, C1, C2에서 각각 가장 좋은 움직임 벡터를 선택하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통의 최적 인터 예측 모드와 참조 화상을 선택하고(단계 S122), 또한 Ci(i≤0<3) 성분에 있어서 최적의 움직임 벡터를 선택한다(단계 S123, S124, S125).
움직임 벡터 공통화 식별 플래그(123b)는, 비트 스트림으로 다중화하여 복호 장치측에서 인식할 수 있도록 할 필요가 있다. 이러한 비트 스트림의 데이터 배열을 도 39에 나타낸다.
도 39는 매크로 블록의 레벨에 있어서의 비트 스트림의 데이터 배열을 나타내고 있다. 매크로 블록 타입(128b)과 서브 매크로 블록 타입(129b) 및 참조 화상 식별 번호(132b)는, 「C0, C1, C2에서 공통」이다. 기본 움직임 벡터 정보(133)는, 움직임 벡터 공통화 식별 플래그(123b)가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는, 공통의 움직임 벡터 정보를 나타내고, 그렇지 않으면 C0에 대한 움직임 벡터 정보를 나타낸다. 확장 움직임 벡터 정보(135)는, 움직임 벡터 공통화 식별 플래그(123b)가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우에만 C1, C2 각각에 대하여 다중화되고, C1, C2에 대한 움직임 벡터 정보를 나타낸다. 또, 도 30, 31에 있어서의 매크로 블록 타입/서브 매크로 블록 타입(106)은, 도 39에 있어서의 매크로 블록 타입(128b)과 서브 매크로 블록 타입(129b)의 총칭이다.
2. 복호 장치에 있어서의 인터 예측 복호 처리
본 실시예 8의 복호 장치는, 본 실시예 8의 부호화 장치로부터 출력되는 도 39의 배열에 따르는 비디오 스트림(22)을 수신하고, 3개의 색성분이 동일 사이즈(4 : 4 : 4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 각각의 영상 프레임을 복원하는 것으로 한다.
본 실시예 8의 복호 장치의 특징인 인터 예측 화상 생성 처리에 대하여 실시예 7과 다른 처리를 중심으로 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 31의 복호 장치에 있어서의 가변 길이 복호부(25), 움직임 보상 예측부(102)에 의해 행해진다. 또한, 본 처리 중 가변 길이 복호부(25)에서 행해지는 처리의 흐름을 나타내는 흐름도를 도 40에 나타낸다.
가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 39의 데이터 배열에 따르는 것으로 한다. 단계 S126에서는, C0, C1, C2에서 공통의 매크로 블록 타입(128b), 서브 매크로 블록 타입(129b)을 복호한다. 복호한 매크로 블록 타입(128b) 또는 서브 매크로 블록 타입(129b)에 의해, 움직임 보상의 단위가 되는 블록 사이즈가 결정되므로, 다음으로 움직임 보상의 단위가 되는 블록마다 C0, C1, C2에 공통의 참조 화상 식별 번호(132b)를 복호한다(단계 S127). 단계 S128에서는, 움직임 벡터 공통화 식별 플래그(123b)를 복호한다. 다음으로 움직임 보상의 단위가 되는 블록마다 기본 움직임 벡터 정보(133)를 복호한다(단계 S129). 단계 S130에서는, 움직임 벡터 공통화 식별 플래그(123b)의 결과를 이용하여 움직임 벡터(137)를 C0, C1, C2에서 공통화할지 여부를 판단하고, 공통화의 경우는(단계 S130에서 예) C0, C1, C2의 전부에 대하여 기본 움직임 벡터 정보를 이용하는 것으로 하고, 그렇지 않으면(단계 S130에서 아니오) 기본 움직임 벡터 정보(133)는 C0의 모드로서 사용하고, 또한 C1, C2의 각각에 대하여 확장 움직임 벡터 정보(135)를 복호한다(단계 S131). 이상의 처리 과정을 지나 각 색성분의 매크로 블록 타입/서브 매크로 블록 타입(106), 참조 화상 식별 번호 및 움직임 벡터 정보가 확정되므로, 이들을 움직임 보상 예측부(102)에 출력하여, 각 색성분의 움직임 보상 예측 화상을 얻는다.
도 41에, 도 39의 비트 스트림 데이터 배열의 배리에이션을 나타낸다. 도 39에서는, 움직임 벡터 공통화 식별 플래그(123b)는, 매크로 블록 레벨의 플래그로서가 아닌, 슬라이스, 픽쳐, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되도록 했다. 이에 따라, 슬라이스 이상의 상위 레이어에서의 전환으로 충분한 예측 효율을 확보할 수 있는 경우는, 매크로 블록 레벨로 움직임 벡터 공통화 식별 플래그(123b)를 축일 다중화하는 일 없이 오버헤드 비트를 삭감할 수 있다.
도 39, 도 41에서는 움직임 벡터 공통화 식별 플래그(123b)를 매크로 블록마다 또는 슬라이스, 픽쳐, 시퀀스 등의 상위 데이터 레이어로 다중화했지만, 움직임 벡터 공통화 식별 플래그(123b)를 다중화하지 않고서 4 : 4 : 4 포맷으로 부호화하는 경우에는 항상 각 성분에 다른 움직임 벡터 정보를 이용하도록 하더라도 좋다. 그 경우의 비트 스트림 데이터의 배열을 도 42에 나타낸다. 도 42에서는, 움직임 벡터 공통화 식별 플래그(123b)가 존재하지 않고, 시퀀스 등의 상위 데이터 레이어에 4 : 4 : 4 포맷의 입력 화상을 취급할 것을 지시하는 프로파일 정보(136)가 다중화되고, 이 프로파일 정보(136)의 복호 결과에 따라, 확장 움직임 벡터 정보(135)가 다중화된다.
본 실시예 8에서는, 매크로 블록 타입/서브 매크로 블록 타입(106)과 참조 화상을 각 색성분에 대하여 공통으로 하고, 움직임 벡터(137)만을 색성분마다 다른 것으로 할 수 있도록 했다. 이에 따라, 각 색성분에 대하여 움직임 벡터(137)만을 적응화함으로써 충분한 예측 효율을 얻을 수 있는 경우에는 매크로 블록 타입/서브 매크로 블록 타입(106)이나 참조 화상 식별 번호는 색성분마다 다중화하는 일 없이 오버헤드 비트를 삭감할 수 있다.
(실시예 9)
실시예 7에서는, 인터 예측 모드 공통화 식별 플래그(123) 또는 프로파일 정보(136)에 의해, 매크로 블록 타입/서브 매크로 블록 타입(106), 움직임 벡터(137), 참조 화상의 각각을 3성분에서 공통으로 할지, 색성분마다 다른 것으로 할지를 전환할 수 있도록 했지만, 본 실시예 9에서는, Y, Cb, Cr 형식 등의 4 : 4 : 4 포맷 화상을 상정하여, 휘도 성분(Y)과 색차 성분(Cb, Cr)에 대하여 다른 것으로 할지를 전환할 수 있도록 했다(이 경우, 색차 성분의 2성분에 대해서는 공통의 모드를 사용한다). 즉, 3성분에서 공통으로 할지, 각 성분마다 다른 것으로 할지, 혹은 휘도 성분과 색차 성분에 대하여 다른 것으로 할지를 전환할 수 있도록 한 것을 특징으로 하는 영상 부호화 장치 및 영상 복호 장치에 대하여 설명한다. 본 실시예 9에 있어서의 영상 부호화 장치 및 영상 복호 장치의 구성은 실시예 7에 있어서의 도 30 및 도 31과 동일하다.
1. 부호화 장치에 있어서의 인터 예측 모드 판정 처리
본 실시예 9의 부호화 장치의 특징인 인터 예측 모드 판정 처리에 대하여 실시예 7과 다른 처리를 중심으로 상술한다.
본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 30의 부호화 장치에 있어서의 움직임 보상 예측부(102), 부호화 모드 판정부(5)에 의해 행해진다. 또한, 본 처리의 흐름을 나타내는 흐름도를 도 43에 나타낸다. 이하, 블록을 구성하는 3개의 색성분의 화상 데이터를 C0, C1, C2라 한다.
우선, 부호화 모드 판정부(5)는, 인터 예측 모드 공통화 식별 플래그(123)를 수취하고, 그 값에 근거하여 C0, C1, C2에서 공통의 인터 예측 모드와 공통의 움직임 벡터(137) 및 공통의 참조 화상을 사용할지 여부를 판단한다(도 43의 단계 S132). 공통화하는 경우는 단계 S133 이후로, 그렇지 않으면 단계 S134 이후 또는 단계 S137 이후로 진행한다.
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C0, C1, C2에서 공통화하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0, C1, C2에서 공통의 최적 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S133).
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C0, C1, C2에서 공통화할 수 없고, C0, C1, C2에서 각각 가장 좋은 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, Ci(i≤0<3) 성분에서 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, Ci(i≤0<3) 성분에 있어서의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S134, S135, S136).
인터 예측 모드와 움직임 벡터(137) 및 참조 화상을 C1, C2에서 공통화하고, C0(휘도 성분 상당)과 C1, C2(색차 성분 상당)에서 각각 가장 좋은 모드를 선택하는 경우는, 부호화 모드 판정부(5)는 움직임 보상 예측부(102)에 대하여, C0 성분에서 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C0 성분에 있어서의 최적의 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S137). 또한 C1, C2 성분에서 선택할 수 있는 모든 인터 예측 모드와 움직임 벡터 탐색 범위와 참조 화상을 통지하고, 움직임 보상 예측부(102)는 그 모든 예측 효율을 평가하여, C1, C2에서 공통의 최적 인터 예측 모드와 움직임 벡터(137)와 참조 화상을 선택한다(단계 S138).
본 실시예 9에 있어서의 부호화 장치가 출력하는 비트 스트림의 데이터 배열은 도 34와 동일하지만, 인터 예측 모드 공통화 식별 플래그(123)가, 「C1, C2에서 공통」인 것을 나타내는 경우는, 확장 매크로 블록 타입(130), 확장 서브 매크로 블록 타입(131), 확장 참조 식별 번호(134), 확장 움직임 벡터 정보(135)는, C1, C2에 대하여 공통의 정보이다.
2. 복호 장치에 있어서의 인터 예측 복호 처리
본 실시예 9의 복호 장치는, 본 실시예 9의 부호화 장치로부터 출력되는 도 34의 배열에 따르는 비디오 스트림(22)을 수신하여, 3개의 색성분이 동일 사이즈(4 : 4 : 4 포맷)인 매크로 블록의 단위로 복호 처리를 행하여, 각각의 영상 프레임을 복원하는 것으로 한다.
본 실시예 9의 복호 장치의 특징인 인터 예측 화상 생성 처리에 대하여 실시예 7과 다른 처리를 중심으로 상술한다. 본 처리는 상기 3개의 색성분을 정리한 매크로 블록의 단위로 실시되고, 주로, 도 31의 복호 장치에 있어서의 가변 길이 복호부(25), 움직임 보상 예측부(102)에 의해 행해진다. 또한, 본 처리 중 가변 길이 복호부(25)에서 행해지는 처리의 흐름을 나타내는 흐름도를 도 44에 나타낸다.
가변 길이 복호부(25)로의 입력인 비디오 스트림(22)은, 도 34의 데이터 배열에 따르는 것으로 한다. 단계 S140에서는 도 34의 데이터 중 인터 예측 모드 공통화 식별 플래그(123)가 복호된다(단계 S140). 또한 기본 매크로 블록 타입(128) 및 기본 서브 매크로 블록 타입(129)이 복호된다(단계 S141). 단계 S142에서는, 인터 예측 모드 공통화 식별 플래그(123)의 결과를 이용하여 인터 예측 모드를 C0, C1, C2에서 공통화할지 여부를 판단하고, 공통화의 경우는 C0, C1, C2의 전부에 대하여 기본 매크로 블록 타입(128) 및 기본 서브 매크로 블록 타입(129)을 이용하는 것으로 하고, 그렇지 않으면 기본 매크로 블록 타입(128) 및 기본 서브 매크로 블록 타입(129)은 C0의 모드로서 사용한다. 또한 C1, C2에서 공통의 경우에는, C1, C2 성분에서 공통의 확장 매크로 블록 타입(130) 및 확장 서브 매크로 블록 타입(131)을 복호한다(단계 S143). C0, C1, C2에 대하여 다른 모드를 사용하는 경우에는, C1, C2의 각각에 대하여 확장 매크로 블록 타입(130) 및 확장 서브 매크로 블록 타입(131)을 복호하여(단계 S144, S145, S146), C1, C2의 모드 정보를 얻는다. 다음으로 기본 참조 화상 식별 번호(132)와 기본 움직임 벡터 정보(133)를 복호하고(단계 S147), 인터 예측 모드 공통화 식별 플래그(123)가, 「C0, C1, C2에서 공통화」하는 것을 나타내는 경우에는, C0, C1, C2의 전부에 대하여 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)를 이용하는 것으로 하고, 그렇지 않으면 기본 참조 화상 식별 번호(132) 및 기본 움직임 벡터 정보(133)는 C0의 정보로서 사용하고, 또한 C1, C2에서 공통의 경우에는, C1, C2 성분에서 공통의 확장 참조 화상 식별 번호(134) 및 확장 움직임 벡터 정보(135)를 복호한다(단계 S149). C0, C1, C2에 대하여 다른 모드를 사용하는 경우에는, C1, C2의 각각에 대하여 확장 참조 화상 식별 번호(134) 및 확장 움직임 벡터 정보(135)를 복호한다(단계 S150, S151, S152). 이상의 처리 과정을 지나 각 색성분의 매크로 블록 타입/서브 매크로 블록 타입(106), 참조 화상 식별 번호 및 움직임 벡터 정보가 확정되므로, 이들을 움직임 보상 예측부(102)에 출력하여, 각 색성분의 움직임 보상 예측 화상을 얻는다.
또 비트 스트림의 데이터 배열이, 도 36의 경우도 마찬가지로, 인터 예측 모드 공통화 식별 플래그(123)가, 「C1, C2에서 공통」인 것을 나타내는 경우는, 확장 매크로 블록 타입(130), 확장 서브 매크로 블록 타입(131), 확장 참조 식별 번호(134), 확장 움직임 벡터 정보(135)는, C1, C2에 대하여 공통의 정보이며, 도 36에 나타내는 데이터의 배열에 따르는 비디오 스트림을 입출력으로 하는 영상 부호화 장치 및 영상 복호 장치의 동작은 도 34의 경우와 마찬가지이다.
본 실시예 9에서는, 매크로 블록 타입/서브 매크로 블록 타입(106), 움직임 벡터(137), 참조 화상의 각각을 색성분마다 다른 것으로 할 수 있도록 했지만, 매크로 블록 타입/서브 매크로 블록 타입(106)과 참조 화상은 각 성분에서 공통으로 하고, 움직임 벡터(137)만 3성분에서 공통으로 할지, 각 성분마다 다른 것으로 할지, 혹은 C1, C2에서 공통화하고, C0과 C1, C2에서 각각 최적의 것을 선택할지를 전환하더라도 좋다. 이 경우의 비트 스트림의 데이터 배열은 도 39 또는 도 41에 따르고, 이 경우도, 인터 예측 모드 공통화 식별 플래그(123)가, 「C1, C2에서 공통」인 것을 나타내는 경우는, 확장 움직임 벡터 정보(135)는, C1, C2에 대하여 공통의 정보이다.
(실시예 10)
본 실시예 10에서는, 실시예 7에서 말한 부호화 장치의 가변 길이 부호화부(11)에서, 입력되는 움직임 벡터(137)를 부호화하고, 비트 스트림으로 다중화하는 방법과, 대응하는 복호 장치의 가변 길이 복호부(25)에 있어서, 비트 스트림으로부터 움직임 벡터(137)를 복호하는 방법을 말한다.
도 45는 도 30에 나타내는 부호화 장치의 가변 길이 부호화부(11)의 일부에서, 움직임 벡터(137)를 부호화하는 움직임 벡터 부호화부의 구성이다.
3개의 색성분(C0, C1, C2)의 움직임 벡터(137)를 C0, C1, C2의 순서로 비트 스트림으로 다중화하는 방법에 대하여 말한다.
C0의 움직임 벡터(137)를 mv0이라 한다. 움직임 벡터 예측부(111)에서, C0의 움직임 벡터(137)의 예측 벡터(mvp0)를 구한다. 도 46에 나타내는 바와 같이, 부호화 대상의 움직임 벡터(mv0)가 위치하는 블록에 인접하는 블록(도 46의 A, B, C)의 움직임 벡터(mvA0, mvB0, mvC0)를 메모리로부터 취득한다. 또 A, B, C의 움직임 벡터(137)는 이미 비트 스트림으로 다중화되어 있는 것으로 한다. mvA0, mvB0, mvC0의 중앙값을 mvp0으로서 산출한다. 산출한 예측 벡터 mvp0과 부호화 대상의 움직임 벡터 mv0을 차분 움직임 벡터 산출부(112)에 입력한다. 차분 움직임 벡터 산출부(112)에서는 mv0과 mvp0의 차분 벡터(mvd0)를 산출한다. 산출한 mvd0은 차분 움직임 벡터 가변 길이 부호화부(113)에 입력되어, 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.
다음으로 C1의 움직임 벡터(mv1)를 부호화한다. 움직임 벡터 예측부(111)에서, C1의 움직임 벡터(137)의 예측 벡터(mvp1)를 구한다. 도 46에 나타내는 바와 같이, 부호화 대상의 움직임 벡터(mv1)가 위치하는 블록에 인접하는 블록의 움직임 벡터(mvA1, mvB1, mvC1)와 mv1이 위치하는 블록과 동일 위치의 C0의 움직임 벡터(mv0)를 메모리(16)로부터 취득한다. 또 A, B, C의 움직임 벡터(137)는 이미 비트 스트림으로 다중화되어 있는 것으로 한다. mvA1, mvB1, mvC1, mv0의 중앙값을 mvp1로서 산출한다. 산출한 예측 벡터 mvp1과 부호화 대상의 움직임 벡터 mv1을 차분 움직임 벡터 산출부(112)에 입력하여, mv1과 mvp1의 차분 움직임 벡터(mvd1 = mv1-mvp1)를 산출한다. 산출한 mvd1은 차분 움직임 벡터 가변 길이 부호화부(113)에 입력되어, 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.
다음으로 C2의 움직임 벡터(mv2)를 부호화한다. 움직임 벡터 예측부(111)에서, C2의 움직임 벡터(137)의 예측 벡터(mvp2)를 구한다. 도 46에 나타내는 바와 같이, 부호화 대상의 움직임 벡터(mv2)가 위치하는 블록에 인접하는 블록의 움직임 벡터(mvA2, mvB2, mvC2)와 mv2가 위치하는 블록과 동일 위치의 C0 및 C1의 움직임 벡터(mv1, mv2)를 메모리로부터 취득한다. mvA2, mvB2, mvC2, mv0, mv1의 중앙값을 mvp2로서 산출한다. 산출한 예측 벡터 mvp2와 부호화 대상의 움직임 벡터 mv2를 차분 움직임 벡터 산출부(112)에 입력하여, mv2와 mvp2의 차분 움직임 벡터(mvd2 = mv2-mvp2)를 산출한다. 산출한 mvd2는 차분 움직임 벡터 가변 길이 부호화부(113)에 입력되어, 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.
도 47에 도 31에 나타내는 복호 장치의 가변 길이 복호부(25)의 일부에서, 움직임 벡터(137)를 복호하는 움직임 벡터 복호부(250)의 구성을 나타낸다.
움직임 벡터 복호부(250)에서는 C0, C1, C2의 순서로 비디오 스트림(22)으로 다중화된 3개의 색성분의 움직임 벡터(137)를 복호한다.
차분 움직임 벡터 가변 길이 복호부(251)에서, 비디오 스트림(22)으로 다중화된 3개의 색성분(C0, C1, C2)의 차분 움직임 벡터(mvd0, mvd1, mvd2)를 추출하여 가변 길이 복호한다.
움직임 벡터 예측부(252)에서, C0, C1, C2의 움직임 벡터(137)의 예측 벡터(mvp0, mvp1, mvp2)를 산출한다. 예측 벡터의 산출 방법은 부호화 장치의 움직임 벡터 예측부(111)와 동일하다.
다음으로 움직임 벡터 산출부(253)에서 차분 움직임 벡터와 예측 벡터를 가산하여 움직임 벡터(mvi = mvdi+mvpi (i = 0, 1, 2))를 산출한다. 산출한 움직임 벡터(137)는 예측 벡터 후보로서 이용하기 위해 메모리(16)에 저장한다.
본 실시예 10에 의하면, 움직임 벡터를 부호화 및 복호할 때에, 부호화 대상의 움직임 벡터가 위치하는 블록에 인접하는 동일 색성분 블록의 움직임 벡터와, 부호화 대상의 움직임 벡터가 위치하는 블록과 동일 위치에 있는 다른 색성분 블록의 움직임 벡터를 예측 벡터 후보로서 이용하기로 했으므로, 물체의 경계 영역 등에서 동일 색성분 내의 인접하는 블록의 움직임 벡터와 연속성이 없는 경우 등에, 다른 색성분의 동일 위치의 블록의 움직임 벡터를 예측 벡터 후보로서 이용함으로써 움직임 벡터의 예측 효율을 높여, 움직임 벡터의 부호량을 삭감하는 효과를 얻을 수 있다.
(실시예 11)
본 실시예 11에서는, 실시예 7에서 말한 부호화 장치 및 복호 장치로부터 파생하는 다른 부호화 장치, 복호 장치의 실시예에 대하여 말한다. 본 실시예 11에서의 부호화 장치ㆍ복호 장치는, 매크로 블록 중의 C0, C1, C2 성분을 개별 헤더 정보에 따라 부호화할지 여부를 소정의 제어 신호에 따라 판단하고, 그 제어 신호의 정보를 비디오 스트림(22)으로 다중화한다. 또한, 당해 제어 신호에 따라 C0, C1, C2 성분의 복호에 필요한 헤더 정보를 비디오 스트림(22)으로 다중화함과 아울러, 당해 제어 신호에 따라 전송해야할 움직임 벡터나 변환 계수의 정보가 없는 경우의 스킵(또는 not coded) 매크로 블록을 효율적으로 부호화하는 수단을 제공하는 점을 특징으로 한다.
AVC도 포함하는 종래의 MPEG 영상 부호화 방식에서는, 부호화 대상의 매크로 블록에 대하여 전송해야할 부호화 정보가 존재하지 않는 케이스를 특별히 시그널링함으로써, 당해 매크로 블록의 부호량을 최소한으로 억제한 고능률 부호화를 실현하고 있다. 예컨대, 어떤 매크로 블록을 부호화하고자 하는 경우, 움직임 보상 예측에 이용하는 참조 화상상에서 완전히 같은 위치의 화상 데이터를 예측 화상으로서 사용하고(즉, 움직임 벡터가 0), 또한 얻어진 예측 오차 신호를 변환, 양자화한 결과, 매크로 블록 내의 양자화 후의 모든 변환 계수가 0이 되는 경우, 복호측에서는 역양자화를 행하더라도 얻어지는 예측 오차 신호는 진폭이 0이 되어, 복호 장치측에 전송해야할 변환 계수 데이터가 없어진다. 또한, 움직임 벡터가 0인 것도 결합 가정하면, 「움직임 벡터 0, 변환 계수 데이터 없음」이라고 하는 특별한 매크로 블록 타입을 정의할 수 있다. 이러한 매크로 블록은 종래로부터, 스킵 매크로 블록 또는 not coded 매크로 블록이라고 불리고, 특별한 시그널링을 행함으로써 여분의 정보를 전송하지 않도록 하는 고안이 이루어지고 있다. AVC에서는, 움직임 벡터의 가정을, 「도 32(a)의 16×16 예측을 행하는 경우이고, 또한 움직임 벡터의 부호화에 이용하는 예측값(예측 벡터 mvp0, mvp1, mvp2가 해당)이 실제의 움직임 벡터와 같은 경우」라고 하는 조건으로 하여, 그 조건에 합치하고, 또한 전송해야할 변환 계수 데이터가 없는 경우에, 스킵 매크로 블록이라고 간주한다. 종래의 AVC에서는, 이 스킵 매크로 블록을 부호화하는 경우에, 사용하는 가변 길이 부호화 방식에 따라 이하의 2개의 방법 중 어느 하나를 선택하게 되어 있다.
방법 1 : 슬라이스 내에서 연속하는 스킵 매크로 블록의 수(RUN 길이)를 카운트하여, RUN 길이를 가변 길이 부호화한다.
방법 2 : 매크로 블록마다, 스킵 매크로 블록인지 여부의 지시 플래그를 부호화한다.
각 방법에 따른 비트 스트림 규칙을 도 48에 나타낸다. 도 48(a)는, 가변 길이 부호화 방식으로서 적응 허프만 부호화를 이용한 경우(방법 1), 도 48(b)는 적응 산술 부호화를 이용한 경우(방법 2)이다. 방법 1의 경우는 mb_skip_run, 방법 2의 경우는 mb_skip_flag에 의해 스킵 매크로 블록의 시그널링을 행하고 있다. MB(n)은 n번째의(스킵이 아님) 매크로 블록의 부호화 데이터를 가리킨다. 여기서, mb_skip_run이나 mb_skip_flag는, C0, C1, C2 성분을 한 묶음으로 한 매크로 블록을 단위로 하여 할당되어 있는 것에 주의하라.
이에 대하여, 본 실시예 11에 있어서의 부호화 장치ㆍ복호 장치에서는, 상기 제어 신호, 즉, 실시예 7에서 말한 인터 예측 모드 공통화 식별 플래그(123) 상당의 신호의 상태에 따라, C0, C1, C2의 각 성분마다 움직임 벡터 등을 포함하는 헤더 정보를 변경하고, 스킵 매크로 블록의 시그널링을 C0, C1, C2의 각 성분마다 행하는 방법을 제공한다. 구체적인 비트 스트림 규칙의 예를 도 49, 도 50에 나타낸다.
도 49는 본 실시예 11의 부호화 장치가 출력하고, 본 실시예 11의 복호 장치의 입력이 되는 매크로 블록 부호화 데이터의 구성을, 도 50은 도 49 중의 Cn 성분 헤더 정보의 부호화 데이터의 상세 구성을 나타낸다. 이하에서는, 이 비트 스트림 구성의 효과를 설명하기 위해, 비트 스트림을 수신하여 영상 신호를 복원하는 복호 장치측의 동작을 중심으로 설명한다. 복호 장치의 동작 설명에는 도 31을 참조한다.
실시예 7에 있어서의 인터 예측 모드 공통화 식별 플래그(123)는, 정의를 확장하여, 매크로 블록 헤더 공통화 식별 플래그(123c)라 표현한다. 매크로 블록 헤더 공통화 식별 플래그(123c)는 C0 성분 헤더 정보(139a)를 기본 매크로 블록 헤더 정보라 간주하고, C0 성분 헤더 정보(139a)만을 C1, C2 성분에도 공통으로 이용하는 헤더 정보로서 다중화할지, C1 성분 헤더 정보(139b), C2 성분 헤더 정보(139c)를 각각 개별적으로 확장 헤더 정보로서 다중화할지를 지시하는 플래그로 한다. 매크로 블록 헤더 공통화 식별 플래그(123c)는 비디오 스트림(22)으로부터 가변 길이 복호부(25)에 의해 추출ㆍ복호된다. 동 플래그가, C0 성분 헤더 정보(139a)만을 C1, C2 성분에도 공통으로 이용하는 헤더 정보로서 다중화하는 것을 나타내는 경우는, 매크로 블록 중의 C0, C1, C2의 모든 성분에 대하여, C0 성분 헤더 정보(139a)를 이용한 복호를 행하고, C1 성분 헤더 정보(139b), C2 성분 헤더 정보(139c)를 각각 개별적으로 확장 헤더 정보로서 다중화하는 것을 나타내는 경우는, 매크로 블록 중의 C0, C1, C2 각각의 성분에 고유의 헤더 정보(139a~139c)를 이용한 복호를 행하는 것으로 한다. 이하에서는 이 점을 더 자세히 매크로 블록 단위의 처리로서 설명한다.
1. C0 성분 헤더 정보만이 다중화되는 경우
매크로 블록 헤더 공통화 식별 플래그(123c)가 C0 성분 헤더 정보(139a)만을 C1, C2 성분에도 공통으로 이용하는 헤더 정보로서 다중화하는 것을 나타내고 있는 경우는, C0, C1, C2의 모든 성분에 대하여, C0 성분 헤더 정보(139a)에 포함되어 있는 각종 매크로 블록 헤더 정보에 근거하여 매크로 블록의 복호를 행한다. 이 경우는, C0 성분 스킵 지시 정보(138a)와 C0 성분 헤더 정보(139a)를 C1, C2 성분에 대해서도 공통으로 적용하는 것으로 하기 위해, C1, C2 성분에 대한 스킵 지시 정보(138b, 138c), 헤더 정보(139b, 139c)는 비트 스트림 중으로 다중화되지 않는다.
가변 길이 복호부(25)는 우선 C0 성분 스킵 지시 정보(138a)를 복호, 평가한다. 여기서 C0 성분 스킵 지시 정보(138a)가 「스킵」인 것을 나타내는 경우는, C0 성분 헤더 정보(139a)는 부호화되어 있지 않은 것으로 간주하고, C0 성분 헤더 정보(139a) 중의 변환 계수 유효 무효 지시 정보(142)는 0(부호화되어 있는 변환 계수가 완전히 없다)이라고 간주한다. 이에 따라, C0~C2 성분 변환 계수 데이터(140a~140c)는 전부 부호화되어 있지 않은 것으로 간주되어, 매크로 블록 중의 양자화 완료 변환 계수(10)를 모두 0으로서 출력한다. 또한, 스킵 매크로 블록의 정의에 따라, C0, C1, C2 모든 성분의 움직임 벡터(137)를 동일 값으로 설정하여 출력한다.
C0 성분 스킵 지시 정보(138a)가 「스킵」이 아닌 것을 나타내는 경우는, C0 성분 헤더 정보(139a)가 존재하는 것으로 하여, 그 복호를 행한다. C0 성분 헤더 정보(139a) 중에서, 매크로 블록 타입(128b)이 인트라 부호화를 나타내고 있으면, 인트라 예측 모드(141), 변환 계수 유효 무효 지시 정보(142), (변환 계수 유효 무효 지시 정보(142)가 0이 아니면) 양자화 파라미터를 복호한다. 여기서 변환 계수 유효 무효 지시 정보(142)가 0이 아니라면, C0~C2 성분 변환 계수 데이터(140a~140c)를 복호하여 양자화 완료 변환 계수(10)의 형식으로 출력한다. 변환 계수 유효 무효 지시 정보(142)가 0인 경우는, C0~C2 성분 변환 계수 데이터(140a~140c)는 전부 0이라고 하여, 매크로 블록 중의 양자화 완료 변환 계수(10)를 모두 0으로서 출력한다. 매크로 블록 타입(128b)이 인터 부호화를 나타내고 있으면, 필요에 따라 서브 매크로 블록 타입(129b)을 복호하고, 또한 참조 화상 식별 번호(132b), 움직임 벡터 정보(133b), 변환 계수 유효 무효 지시 정보(142), (변환 계수 유효 무효 지시 정보(142)가 0이 아니면) 양자화 파라미터(21)를 복호한다. 여기서 변환 계수 유효 무효 지시 정보(142)가 0이 아니면, C0~C2 성분 변환 계수 데이터(140a~140c)를 복호하여 양자화 완료 변환 계수(10)의 형식으로 출력한다. 변환 계수 유효 무효 지시 정보(142)가 0인 경우는, C0~C2 성분 변환 계수 데이터(140a~140c)는 전부 0이라고 하여, 매크로 블록 중의 양자화 완료 변환 계수(10)를 모두 0으로서 출력한다. 이상의 동작에 의한 가변 길이 복호부(25)로부터의 출력을 이용하여 소정의 처리 순서에 따라 매크로 블록의 복호를 행하는 점은 실시예 7과 마찬가지이다.
2. C0, C1, C2 성분에 대하여 각 대응 헤더 정보가 다중화되는 경우
매크로 블록 헤더 공통화 식별 플래그(123c)가 C1 성분 헤더 정보(139b), C2 성분 헤더 정보(139c)를 C0 성분 헤더 정보(139a)와는 별도로 각각 개별적으로 확장 헤더 정보로서 다중화하는 것을 나타내고 있는 경우는, C0, C1, C2의 각 성분에 대하여, 각각 대응하는 헤더 정보(139a~139c)에 포함되는 각종 매크로 블록 헤더 정보에 근거하여 각 성분 화상의 복호를 행한다. 이 경우는, C1, C2 성분에 대한 스킵 지시 정보(138b, 138c), 헤더 정보(139b, 139c)가 비트 스트림으로 다중화된다.
가변 길이 복호부(25)는 우선 C0 성분 스킵 지시 정보(138a)를 복호, 평가한다. 여기서 C0 성분 스킵 지시 정보(138a)가 「스킵」인 것을 나타내는 경우는, C0 성분 헤더 정보(139a)는 부호화되어 있지 않은 것으로 간주하고, C0 성분 헤더 정보(139a) 중의 변환 계수 유효 무효 지시 정보(142)는 0(부호화되어 있는 변환 계수가 완전히 없음)이라고 간주한다. 이에 따라, C0 성분 변환 계수 데이터(140a)는 부호화되어 있지 않은 것으로 간주되어, C0 성분에 있어서의 모든 양자화 완료 변환 계수를 0으로 한다(다시 말해, 매크로 블록 헤더 공통화 식별 플래그(123c)의 값에 따라, C0 성분 스킵 지시 정보(138a)와 변환 계수 유효 무효 지시 정보(142)의 관계가 변화한다). 또한, C0 성분의 움직임 벡터(137)를 C0 성분 스킵의 경우의 정의에 따라 설정하여 출력한다.
C0 성분 스킵 지시 정보(138a)가 「스킵」이 아닌 것을 나타내는 경우는, C0 성분 헤더 정보(139a)가 존재하는 것으로 하여, 그 복호를 행한다. C0 성분 헤더 정보(139a) 중에서, 매크로 블록 타입(128b)이 인트라 부호화를 나타내고 있으면, 인트라 예측 모드(141)(프레임 내의 피예측 대상 화소의 근방 화소를 예측값으로서 이용하기로 하는 공간 화소 예측의 모드)와, 변환 계수 유효 무효 지시 정보(142), (변환 계수 유효 무효 지시 정보(142)가 0이 아니면) 양자화 파라미터(21)를 복호한다. 여기서 변환 계수 유효 무효 지시 정보(142)가 0이 아니면, C0 성분 변환 계수 데이터를 복호하여 양자화 완료 변환 계수(10)의 형식으로 출력한다. 변환 계수 유효 무효 지시 정보가 0인 경우는, C0 성분 변환 계수 데이터는 전부 0이라고 한다. 매크로 블록 타입이 인터 부호화를 나타내고 있으면, 필요에 따라 서브 매크로 블록 타입을 복호하고, 또한 참조 화상 식별 번호, 움직임 벡터 정보, 변환 계수 유효 무효 지시 정보, (변환 계수 유효 무효 지시 정보가 0이 아니라면) 양자화 파라미터를 복호한다. 여기서 변환 계수 유효 무효 지시 정보가 0이 아니면, C0 성분 변환 계수 데이터를 복호하여 양자화 완료 변환 계수(10)의 형식으로 출력한다. 변환 계수 유효 무효 지시 정보가 0인 경우는, C0 성분 변환 계수 데이터는 전부 0이라고 한다. 이상의 처리 순서를, C1, C2에 대해서도 마찬가지로 행한다.
이상의 동작에 의한 가변 길이 복호부(25)로부터의 출력을 이용하여 소정의 처리 순서에 따라 매크로 블록 중의 C0, C1, C2의 각 성분의 복호를 행하는 점은 실시예 7과 마찬가지이다.
이상은 복호 장치측에서의 동작을 중심으로 말했지만, 이와 같이 비트 스트림을 구성함으로써, 이하의 효과를 얻을 수 있다. 우선, 종래의 AVC에서는 매크로 블록당 이용 가능한 헤더 정보(도 50)는 1조밖에 없고, 이 헤더 정보에 따라 C0~C2의 모든 성분을 한 묶음으로 인트라ㆍ인터 판정을 행하여 부호화를 행할 필요가 있었다. 한편, 4 : 4 : 4 포맷과 같이, 화상 신호의 내용을 전하는 휘도 신호 상당의 신호 성분이 3개의 색성분에 등가로 포함되는 경우에 대해서는, 각 성분으로의 입력 영상 신호에 노이즈가 포함되는 방법 등에 기인하는 신호 특성의 편차가 발생하는 일이 있어, 반드시 C0~C2의 모든 성분을 한 묶음으로 부호화하는 것이 최적이 아닌 경우가 있다. 본 실시예 11에서의 도 49, 도 50의 비트 스트림 구성을 전제로 함으로써, 부호화 장치는, 매크로 블록 헤더 공통화 식별 플래그(123c)에 의해, C0~C2의 각 성분마다 신호 특성에 따른 최적의 부호화 모드(인트라ㆍ인터 부호화 종별을 포함하는 매크로 블록 타입), 움직임 벡터 등을 선택하여 부호화를 행할 수 있어, 부호화 효율을 높일 수 있다. 또한, 종래에는 C0~C2의 모든 성분을 한 묶음으로 한 매크로 블록의 단위로 부호화를 행하고 있었으므로, 모든 성분의 부호화 정보가 전부 존재하지 않는 것을 조건으로 스킵이라 판정을 행하고 있었지만, 본 실시예 11에서는, 각 성분마다 부호화 정보의 유무를 스킵 지시 정보(138)로 판별할 수 있도록 구성했으므로, 어떤 성분만이 스킵이지만, 다른 성분은 스킵이 아니라고 하는 경우에, 모든 성분을 스킵이 아니라고 할 필요가 없고, 보다 효율적으로 부호량의 할당을 행하는 것이 가능해진다. 또, 부호화 장치에 있어서, 스킵 지시 정보(138)의 값은, 가변 길이 부호화부(11)에서, 양자화 완료 변환 계수 데이터(10)와 움직임 벡터(137)ㆍ참조 화상 식별 번호(132b), 매크로 블록 타입/서브 매크로 블록 타입(106)에 근거하여, 부호화 장치ㆍ복호 장치의 쌍방에서 일의적으로 규정되는 스킵 매크로 블록의 정의에 따라 결정된다.
또, 본 실시예 11에 의한 부호화 장치ㆍ복호 장치가 취급하는 비트 스트림의 구성은, 도 51과 같이 하더라도 좋다. 이 예에서는, C0, C1, C2의 각 성분의 스킵 지시 정보(138), 헤더 정보(139a~139c), 변환 계수 데이터(140a~140c)를 각각 정리하여 배치하도록 했다. 이때, 스킵 지시 정보(138)는, C0, C1, C2의 각 상태를 각각 1비트의 부호 심볼로 배열해도 좋고, 8상태를 하나의 부호 심볼로 정리하여 부호화하도록 하더라도 좋다. 색성분 사이에서 스킵 상태에 상관이 높은 경우는, 부호 심볼을 정리하여 적절히 산술 부호화의 컨텍스트 모델(실시예 12에서 후술)을 정의함으로써, 스킵 지시 정보(138) 그 자체의 부호화 효율을 높일 수도 있다.
또, 매크로 블록 헤더 공통화 식별 플래그(123c)는, 매크로 블록, 슬라이스, 픽쳐, 시퀀스 등의 임의의 데이터 레이어의 단위로 비트 스트림으로 다중하더라도 좋다. 입력 신호에 있어서 정상적으로 색성분 사이의 신호의 성질의 차이가 있는 경우에는, 매크로 블록 헤더 공통화 식별 플래그(123c)를 시퀀스의 단위로 다중화하도록 구성하면, 보다 적은 오버헤드 정보로 효율적인 부호화를 행할 수 있다. 매크로 블록 헤더 공통화 식별 플래그(123c)를 픽쳐의 단위로 다중화하도록 구성하면, 매크로 블록 타입의 배리에이션이 적은 I 픽쳐에서는 헤더를 공통화하고, 매크로 블록 타입의 배리에이션이 많은 P, B 픽쳐에서는 색성분마다 개별의 헤더를 사용함으로써 부호화 효율과 연산 부하의 밸런스를 개선하는 등의 효과를 기대할 수 있다. 또한 픽쳐 레이어에서의 전환은, 신 체인지(scene change) 등, 픽쳐마다 신호의 성질이 변화하는 영상 신호의 부호화 제어의 관점으로부터도 바람직하다고 할 수 있다. 매크로 블록 헤더 공통화 식별 플래그(123c)를 매크로 블록의 단위로 다중화하기로 하면, 매크로 블록당 부호량이 증가하는 반면, 매크로 블록의 단위로 각 색성분의 신호 상태를 근거로 하여 헤더 정보의 공통화를 행할지 여부를 제어하는 것이 가능해져, 화상의 국소적인 신호의 변동에 보다 잘 따라 압축 효율을 향상시키는 부호화 장치를 구성할 수 있다.
AVC와 같이 픽쳐 타입 상당의 부호화 타입이 슬라이스 레벨로 전환되는 경우는, 매크로 블록 헤더 공통화 식별 플래그(123c)를 슬라이스마다 다중하고, 동 플래그가 「C0, C1, C2에서 공통」인 것을 나타내는 경우는 당해 슬라이스는 3개의 색성분의 부호화 정보를 전부 포함하도록 비트 스트림을 구성하고, 또한, 동 플래그가 「C0, C1, C2에서 공통」이 아닌 것을 나타내는 경우는, 하나의 슬라이스가 하나의 색성분의 정보를 포함하도록 비트 스트림을 구성하는 방법을 생각할 수 있다. 이 모양을 도 52에 나타낸다. 도 52에 있어서, 매크로 블록 헤더 공통화 식별 플래그(123c)에는, 「커런트 슬라이스는 3개의 색성분의 부호화 정보를 전부 포함하고 있다」인지 「커런트 슬라이스는 어떤 특정한 색성분의 부호화 정보를 포함하고 있다」인지의 슬라이스 구성 식별 정보로서의 의미를 갖게 하고 있다. 물론, 이러한 슬라이스 구성 식별 정보를 매크로 블록 헤더 공통화 식별 플래그(123c)와는 별도로 준비하더라도 좋다. 「커런트 슬라이스는 어떤 특정한 색성분의 부호화 정보를 포함하고 있다」고 식별되는 경우에는, 그것이 「C0, C1, C2 중 어느 것인지」라고 하는 식별을 포함하는 것으로 한다. 또한, 이렇게 하여 슬라이스 단위로, 하나의 매크로 블록 헤더를 C0, C1, C2 성분에서 공통으로 이용할지(C0, C1, C2 혼재 슬라이스), C0, C1, C2 성분마다 매크로 블록 헤더를 개별적으로 다중화할지(C0 슬라이스, C1 슬라이스, C2 슬라이스)를 전환하는 경우, 1픽쳐 내에서 이들 2종류의 슬라이스가 혼재하는 경우에 있어서는, C0 슬라이스, C1 슬라이스, C2 슬라이스는 항상 화면 내의 동일 위치의 매크로 블록을 부호화한 데이터로서 조(組)로 하여 비트 스트림으로 다중하는 제약을 마련한다. 즉, 슬라이스 헤더에 포함되어 슬라이스의 선두 매크로 블록의 픽쳐 내 위치를 나타내는 first_mb_in_slice의 값은, 1조의 C0 슬라이스, C1 슬라이스, C2 슬라이스에서 항상 동일한 값을 취하고, 또한, 1조의 C0 슬라이스, C1 슬라이스, C2 슬라이스에 포함되는 매크로 블록의 개수는 같은 수로 한다. 이 모양을 도 53에 나타낸다. 비트 스트림의 구성에 이러한 제약을 마련함으로써, 부호화 장치에서는, 픽쳐 내의 국소적인 신호의 성질에 따라, C0, C1, C2 혼재 슬라이스와, C0 슬라이스, C1 슬라이스, C2 슬라이스의 조 중, 부호화 효율이 높은 부호화 방법을 적응적으로 선택하여 부호화할 수 있어, 복호 장치는 그와 같이 하여 효율적으로 부호화된 비트 스트림을 수신하여 영상 신호를 재생할 수 있다. 예컨대, 도 31의 복호 장치에 입력되는 비트 스트림(22)이 이러한 구성이라고 하면, 가변 길이 복호부(25)에서는 슬라이스 데이터가 입력될 때마다 슬라이스 구성 식별 정보를 비트 스트림으로부터 복호하고, 앞으로 복호하고자 하는 슬라이스가 도 52의 어느 쪽의 슬라이스인지를 식별한다. 슬라이스 구성 식별 정보로부터, C0 슬라이스, C1 슬라이스, C2 슬라이스의 조로서 부호화 데이터가 구성된다고 판단되는 경우는, 인터 예측 모드 공통화 식별 플래그(123)(또는 매크로 블록 헤더 공통화 식별 플래그(123c))의 상태를 「C0, C1, C2에서 개별의 인터 예측 모드(또는 매크로 블록 헤더)를 사용」이라고 정하여 복호 동작을 행하도록 하면 좋다. 각 슬라이스의 first_mb_in_slice의 값과 슬라이스 중의 매크로 블록 개수가 같은 것이 보증되므로, 이에 근거하여 C0, C1, C2 혼재 슬라이스와 픽쳐상에서의 오버랩(overlap)이나 갭(gap)을 발생시키는 일 없이 복호 처리가 가능하다.
또한, C0, C1, C2의 각 슬라이스의 신호의 성질이 크게 다른 경우에 이러한 제약을 마련함에 따른 부호화 효율의 저하를 피하기 위해, 픽쳐 내에서 다른 슬라이스 구성 식별 정보의 값을 갖는 슬라이스의 혼재를 허가할지 여부를 픽쳐 레벨 또는 시퀀스 레벨에서 선택 가능하게 하는 식별 정보를 부여하도록 구성하더라도 좋다.
(실시예 12)
본 실시예 12에서는, 실시예 11에서 말한 부호화 장치 및 복호 장치로부터 파생하는 다른 부호화 장치, 복호 장치의 실시예에 대하여 말한다. 본 실시예 12에 있어서의 부호화 장치ㆍ복호 장치는, 매크로 블록 중의 C0, C1, C2 각 성분의 부호화를, 적응 산술 부호화 방식을 이용하여 행하는 경우에, 산술 부호화에 이용하는 심볼 발생 확률 및 그 학습 과정을 모든 성분에서 공유할지, 각 성분마다 분리할지를, 비트 스트림 중에 다중되는 지시 정보에 의해 적응적으로 전환하는 것을 특징으로 한다.
본 실시예 12는, 부호화 장치에서는 도 30의 가변 길이 부호화부(11), 복호 장치에서는 도 31의 가변 길이 복호부(25) 내의 처리만이 실시예 11과 다르고, 그 이외의 동작은 실시예 11과 같다. 이하, 본 실시예 12의 포인트인 산술 부호화 및 복호 처리에 대하여 상세히 설명한다.
1. 부호화 처리
도 54는 가변 길이 부호화부(11)에 있어서의 산술 부호화 처리에 관계하는 내부 구성을, 도 55 및 도 56은 그 동작 흐름을 나타낸다.
본 실시예 12에 있어서의 가변 길이 부호화부(11)는, 부호화 대상 데이터인 움직임 벡터(137), 참조 화상 식별 번호(132b), 매크로 블록 타입/서브 매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등의 각각의 데이터 타입에 대하여 정의되는 컨텍스트 모델(후술)을 정하는 컨텍스트 모델 결정부(11a), 각 부호화 대상 데이터 타입에 대하여 정해지는 이진화 규칙에 따라 다치(multi value) 데이터를 이진 데이터로 변환하는 이진화부(11b), 이진화 후의 각각의 bin의 값(0 or 1)의 발생 확률을 부여하는 발생 확률 생성부(11c), 생성된 발생 확률에 근거하여 산술 부호화를 실행하는 부호화부(11d), 발생 확률 정보를 기억하는 메모리(11g)로 구성된다. 컨텍스트 모델 결정부(11a)로의 입력은, 움직임 벡터(137)ㆍ참조 화상 식별 번호(132b), 매크로 블록 타입/서브 매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등, 가변 길이 부호화부(11)에 부호화 대상 데이터로서 입력되는 각종 데이터이고, 부호화부(11d)로부터의 출력은 비디오 스트림(22)의 매크로 블록에 관계하는 정보에 상당한다.
(1) 컨텍스트 모델 결정 처리(도 55에 있어서의 단계 S160)
컨텍스트 모델이란, 정보원 심볼의 발생 확률의 변동 요인이 되는 다른 정보와의 의존 관계를 모델화한 것이고, 이 의존 관계에 대응하여 발생 확률의 상태를 전환함으로써, 보다 심볼의 실제의 발생 확률에 적응한 부호화를 행하는 것이 가능해진다. 도 57에 컨텍스트 모델(ctx)의 개념을 나타낸다. 또, 도 57에서는 정보원 심볼은 이진으로 했지만, 다치라도 상관없다. 도 57의 0~2라는 ctx의 선택지는, 이 ctx를 이용하는 정보원 심볼의 발생 확률의 상태가, 상황에 따라 변화할 것을 상정하여 정의되어 있다. 본 실시예 12에 있어서의 영상 부호화로 말하면, 어떤 매크로 블록에 있어서의 부호화 데이터와 그 주변의 매크로 블록의 부호화 데이터 사이의 의존 관계에 따라 ctx의 값이 전환된다. 예컨대, 도 58에, D. Marpe 외, 「Video Compression Using Context-Based Adaptive Arithmetic Coding」, International Conference on Image Processing 2001에 개시되는 매크로 블록의 움직임 벡터에 관한 컨텍스트 모델이 예를 나타낸다. 도 58에 있어서, 블록 C의 움직임 벡터가 부호화 대상이며(정확히는, 블록 C의 움직임 벡터를 근방으로부터 예측한 예측 차분값 mvdk(C)가 부호화된다), ctx_mvd(C, k)가 컨텍스트 모델을 나타낸다. mvdk(A)는 블록 A에서의 움직임 벡터 예측 차분값, mvdk(B)는 블록 B에서의 움직임 벡터 예측 차분값을 각각 나타내고, 컨텍스트 모델의 전환 평가값 ek(C)의 정의에 이용된다. 평가값 ek(C)는, 근방의 움직임 벡터의 편차 상태를 나타내게 되고, 일반적으로는 이 격차가 작은 경우에는 mvdk(C)는 작고, 반대로 ek(C)가 큰 경우에 mvdk(C)도 커지는 경향이 있다. 따라서, mvdk(C)의 심볼 발생 확률은, ek(C)에 근거하여 적응화되는 것이 바람직하다. 이 발생 확률의 배리에이션 세트가 컨텍스트 모델이며, 이 케이스에서는 3종류의 발생 확률 배리에이션이 있다고 말할 수 있다.
이밖에, 매크로 블록 타입/서브 매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등의 부호화 대상 데이터 각각에 대하여 미리 컨텍스트 모델이 정의되어, 부호화 장치와 복호 장치에서 공유된다. 컨텍스트 모델 결정부(11a)에서는, 이러한 부호화 대상 데이터의 종별에 근거하여 미리 정해진 모델을 선택하는 처리를 행한다(컨텍스트 모델 중 어느 발생 확률 배리에이션(variation)을 선택할지는 하기 (3)의 발생 확률 생성 처리에 해당한다).
(2) 이진화 처리(도 55에 있어서의 단계 S161)
컨텍스트 모델은, 부호화 대상 데이터를 이진화부(11b)에서 이진 계열화하여, 이진 계열의 각 bin(바이너리 위치)에 따라 정해진다. 이진화의 규칙은, 각 부호화 데이터가 취할 수 있는 값의 어림잡은 분포에 따라, 가변 길이의 이진 계열로의 변환을 행한다. 이진화는, 본래 다치를 취할 수 있는 부호화 대상 데이터를 그대로 산술 부호화하는 것보다 bin 단위로 부호화함으로써 확률수 직선 분할수(number of divisions of probability number line)를 삭감할 수 있어 연산을 간략화할 수 있어, 컨텍스트 모델의 슬림화가 가능하게 되는 등의 장점이 있다.
(3) 발생 확률 생성 처리(도 55에 있어서의 단계 S162(단계 S162의 상세한 것은 도 56))
상기 (1), (2)의 프로세스에서, 다치의 부호화 대상 데이터의 이진화와, 각 bin에 적용하는 컨텍스트 모델의 설정이 완료되고, 부호화 준비가 갖추어진다. 이어서 발생 확률 생성부(11c)에서 산술 부호화에 이용하는 발생 확률 상태의 생성 처리가 행해진다. 각 컨텍스트 모델에는, 0/1의 각 값에 대한 발생 확률의 배리에이션이 포함되어 있으므로, 도 54에 나타내는 바와 같이, 단계 S160에서 결정된 컨텍스트 모델(11f)을 참조하여 처리를 행한다. 도 58의 ek(C)에 나타낸 발생 확률 선택을 위한 평가값을 정하고, 이에 따라, 참조하는 컨텍스트 모델의 선택지 중에서 어떤 발생 확률 배리에이션을 현재의 부호화에 이용할지를 결정한다(도 56의 단계 S162a). 또한, 본 실시예 12에 있어서의 가변 길이 부호화부(11)는, 발생 확률 정보 기억 메모리(11g)를 구비하고, 부호화의 과정에서 순차적으로 갱신되는 발생 확률 상태(11h)를 색성분별로 기억하는 기구를 구비한다. 발생 확률 생성부(11c)는, 발생 확률 상태 파라미터 공통화 식별 플래그(143)의 값에 따라, 현재의 부호화에 이용하는 발생 확률 상태(11h)를 C0~C2의 색성분별로 유지된 것으로부터 선택할지, C0 성분용인 것을 C1, C2에서 공유할지를 선택하여, 실제로 부호화에 이용하는 발생 확률 상태(11h)를 결정한다(도 56의 S162b~S162d).
발생 확률 상태 파라미터 공통화 식별 플래그(143)는, 복호 장치에서 동일한 선택을 행하는 것을 가능하게 하기 위해, 비트 스트림으로 다중화할 필요가 있다. 이러한 구성으로 함으로써, 이하의 효과가 있다. 예컨대, 도 58을 예로 들면, 매크로 블록 헤더 공통화 식별 플래그(123c)가 C0 성분 헤더 정보(139a)를 다른 성분에서도 사용하는 것을 나타내는 경우, 매크로 블록 타입(128b)이 16×16 예측 모드를 나타내고 있으면, 도 58의 ek(C)는 매크로 블록당 하나만 정해진다. 이때는, C0 성분용으로 준비된 발생 확률 상태를 상시 사용한다. 한편, 매크로 블록 헤더 공통화 식별 플래그(123c)가 각 성분에 대응하는 헤더 정보(139a~139c)를 사용하는 것을 나타내는 경우, 매크로 블록 타입(128b)이 C0, C1, C2 중 어디에 있어서라도 16×16 예측 모드를 나타내고 있으면, 도 58의 ek(C)는 매크로 블록당 3개의 배리에이션이 있을 수 있다. 후단의 부호화부(11d)에서는, 각각의 배리에이션에 대하여, C0 성분에서 준비되는 발생 확률 상태(11h)를 공통적으로 사용, 갱신할지, 또는, 각 색성분별로 준비되는 발생 확률 상태(11h)를 개별적으로 사용, 갱신할지라고 하는 2개의 선택지를 취할 수 있다. 전자는, C0, C1, C2 각 성분에서 거의 같은 움직임 벡터 분포를 갖는 경우, 발생 확률 상태(11h)를 공통적으로 사용ㆍ갱신함으로써 학습 회수가 늘어나, 보다 잘 움직임 벡터의 발생 확률을 학습할 수 있을 가능성이 있다. 후자는, 반대로 C0, C1, C2 각 성분에서 각각의 움직임 벡터 분포를 갖는 경우, 발생 확률 상태(11h)를 개별적으로 사용ㆍ갱신함으로써 학습에 의한 미스매치(mismatch)를 삭감할 수 있어, 보다 잘 움직임 벡터의 발생 확률을 학습할 수 있을 가능성이 있다. 영상 신호는 비정상이므로, 이러한 적응 제어가 가능하게 됨으로써, 산술 부호화의 효율을 높일 수 있다.
(4) 부호화 처리
(3)에 의해, 산술 부호화 프로세스에 필요한 확률수 직선상의 0/1 각 값의 발생 확률을 얻을 수 있으므로, 종래예에 말한 프로세스에 따라 부호화부(11d)에서 산술 부호화를 행한다(도 55의 단계 S163). 또한, 실제의 부호화값(0 or 1)(11e)은, 발생 확률 생성부(11c)에 피드백되어, 사용한 발생 확률 상태(11h)의 갱신을 위해, 0/1 발생 빈도의 카운트가 행해진다(단계 S164). 예컨대, 어떤 특정한 발생 확률 상태(11h)를 이용하여 100개의 bin의 부호화 처리가 행해진 시점에서, 당해 발생 확률 배리에이션에 있어서의 0/1의 발생 확률이 0.25, 0.75인 것으로 한다. 여기서, 같은 발생 확률 배리에이션을 이용하여 1이 부호화되면, 1의 출현 빈도가 갱신되어, 0/1의 발생 확률은 0.247, 0.752로 변화한다. 이 메커니즘에 의해, 실제의 발생 확률에 적응한 효율적인 부호화를 행하는 것이 가능해진다. 부호화값(11e)은 가변 길이 부호화부(11)로부터의 출력이 되어, 비디오 스트림(22)으로서 부호화 장치로부터 출력된다.
도 59는 가변 길이 복호부(25)에 있어서의 산술 복호 처리에 관계하는 내부 구성을, 도 60은 그 동작 흐름을 나타낸다.
본 실시예 12에 있어서의 가변 길이 복호부(25)는, 움직임 벡터(137)ㆍ참조 화상 식별 번호(132b), 매크로 블록 타입/서브 매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등의 각각의 복호 대상 데이터의 타입을 특정하여, 각각에 부호화 장치와 공통 정의되는 컨텍스트 모델을 정하는 컨텍스트 모델 결정부(11a), 복호 대상 데이터의 타입에 근거하여 정해지는 이진화 규칙을 생성하는 이진화부(11b), 이진화 규칙과 컨텍스트 모델에 따라, 각각의 bin(0 or 1)의 발생 확률을 부여하는 발생 확률 생성부(11c), 생성된 발생 확률에 근거하여 산술 복호를 실행하고, 그 결과 얻어지는 이진 계열과, 상기 이진화 규칙으로부터, 움직임 벡터(137)ㆍ참조 화상 식별 번호(132b), 매크로 블록 타입/서브 매크로 블록 타입(106), 인트라 예측 모드(141), 양자화 완료 변환 계수(10) 등의 데이터를 복호하는 복호부(25a), 발생 확률 정보를 기억하는 메모리(11g)로 구성된다. 11a~11c 및 11g는 도 54의 가변 길이 부호화부(11)의 내부 구성 요소와 동일한 것이다.
(5) 컨텍스트 모델 결정 처리, 이진화 처리, 발생 확률 생성 처리
이들의 프로세스는 부호화 장치측의 프로세스 (1)~(3)에 준한다. 또, 도시하고 있지 않지만, 발생 확률 상태 파라미터 공통화 식별 플래그(143)는, 비디오 스트림(22)으로부터 미리 추출되어 있는 것으로 한다.
(6) 산술 복호 처리
앞으로 복호하고자 하는 bin의 발생 확률이 (6)까지의 프로세스에서 확정되므로, 복호부(25a)에서, 소정의 산술 복호 처리 프로세스에 따라, bin의 값을 복원한다(도 60에 있어서의 단계 S166). bin의 복원값(25b)은, 발생 확률 생성부(11c)에 피드백되어, 사용한 발생 확률 상태(11h)의 갱신을 위해, 0/1 발생 빈도의 카운트가 행해진다(단계 S164). 복호부(25a)에서는, 각 bin의 복원값이 확정될 때마다, 이진화 규칙으로 정해지는 이진 계열 패턴과의 합치를 확인하여, 합치한 패턴이 지시하는 데이터값을 복호 데이터값으로서 출력한다(단계 S167). 복호 데이터가 확정되지 않는 한은, 단계 S166으로 되돌아가 복호 처리를 계속한다.
이상의 구성에 의한, 산술 부호화 및 산술 복호 처리를 구비한 부호화ㆍ복호 장치에 의하면, 매크로 블록 헤더 공통화 식별 플래그(123c)에 따라 적응적으로 색성분마다의 부호화 정보를 산술 부호화하는 경우에 있어서, 보다 효율적인 부호화이 가능해진다.
또, 특히 도시하고 있지 않지만, 발생 확률 상태 파라미터 공통화 식별 플래그(143)를 다중화하는 단위는 매크로 블록 단위, 슬라이스 단위, 픽쳐 단위, 시퀀스 단위 중 어느 것이라도 좋다. 슬라이스, 픽쳐, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되도록 함으로써, 슬라이스 이상의 상위 레이어에서의 전환으로 충분한 부호화 효율을 확보할 수 있는 경우는, 매크로 블록 레벨로 발생 확률 상태 파라미터 공통화 식별 플래그(143)를 축일 다중화하는 일 없이 오버헤드 비트를 삭감할 수 있다.
또한, 발생 확률 상태 파라미터 공통화 식별 플래그(143)는, 그 자체와는 별도의 비트 스트림 중에 포함되는 관련 정보에 근거하여 복호 장치의 내부에서 정해지는 정보이더라도 좋다.
본 실시예 12에 있어서, 매크로 블록 헤더 공통화 식별 플래그(123c)를 매크로 블록 단위로 산술 부호화할 때는, 컨텍스트 모델(11f)에 대하여 도 61에 나타내는 모델을 이용한다. 도 61에 있어서, 매크로 블록 X에서의 매크로 블록 헤더 공통화 식별 플래그(123c)의 값을 IDCx라 한다. 매크로 블록 C에서의 매크로 블록 헤더 공통화 식별 플래그(123c)의 부호화를 행하는 경우는, 매크로 블록 A의 매크로 블록 헤더 공통화 식별 플래그(123c)의 값 IDCA와, 매크로 블록 B의 매크로 블록 헤더 공통화 식별 플래그(123c)의 값 IDCB의 값에 근거하여, 동 도면의 식에 근거하여, 이하의 세 상태를 취한다.
ㆍ값 0 : A, B의 양쪽 모두 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드이다.
ㆍ값 1 : A, B 중 어느 하나가 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드로, 다른 쪽이 「C0, C1, C2에서 개별의 매크로 블록 헤더를 사용하는」 모드이다.
ㆍ값 2 : A, B의 양쪽 모두 「C0, C1, C2에서 개별의 매크로 블록 헤더를 사용하는」 모드이다.
이와 같이 매크로 블록 헤더 공통화 식별 플래그(123c)를 부호화함으로써, 근방의 매크로 블록의 부호화 상태에 적합하게 산술 부호화를 행할 수 있어, 부호화 효율을 높일 수 있다. 또, 부호화측에서도 복호측에서도 같은 순서로 컨텍스트 모델을 정의하여 산술 복호하는 것은, 상기 본 실시예 12의 복호 장치의 동작 설명으로부터 자명하다.
또한, 본 실시예 12에 있어서, 매크로 블록 헤더 중에 포함되는 도 50의 헤더 정보(매크로 블록 타입, 서브 매크로 블록 타입, 인트라 예측 모드, 참조 화상 식별 번호, 움직임 벡터, 변환 계수 유효 무효 지시 정보, 양자화 파라미터)에 대해서는, 각각 각 정보 종별마다 정의되는 컨텍스트 모델로 산술 부호화를 행하지만, 어느 쪽의 컨텍스트 모델도 도 62에 나타내는 바와 같이, 커런트 매크로 블록 C에 대하여, 매크로 블록 A, B의 대응하는 정보를 참조하여 정의된다. 여기서, 도 62(a)와 같이, 매크로 블록 C가 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드이고, 매크로 블록 B가 「C0, C1, C2에서 개별의 매크로 블록 헤더를 사용하는」 모드인 경우에는, 컨텍스트 모델 정의상의 참조 정보로서, C0, C1, C2 중 어느 특정한 색성분의 정보를 이용한다.
예컨대, C0, C1, C2가, R, G, B 색성분에 대응하는 경우는, 화상의 구조를 잘 표현하는 신호로서 종래로부터 부호화에 이용되어 온 휘도 신호에 가장 가까운 성분을 갖는 G성분을 선택한다고 하는 방법을 생각할 수 있다. 그것은 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드에서도, G성분을 기준으로 하여 매크로 블록 헤더의 정보를 정하여 부호화를 행하는 케이스가 많다고 생각되기 때문이다.
한편, 반대의 케이스로, 도 62(b)와 같이, 매크로 블록 C가 「C0, C1, C2에서 개별의 매크로 블록 헤더를 사용하는」 모드이고, 매크로 블록 B가 「C0, C1, C2에서 공통의 매크로 블록 헤더를 사용하는」 모드가 존재하는 경우에는, 매크로 블록 C에서는, 3개의 색성분의 헤더 정보를 부호화ㆍ복호할 필요가 있지만, 그때, 각 색성분의 헤더 정보의 컨텍스트 모델 정의상의 참조 정보로서, 매크로 블록 B에 대해서는 3성분 공통의 헤더 정보를 3성분 같은 값으로서 이용하는 것으로 한다. 또한, 자명하지만, 매크로 블록 A도 B도 C도 전부 매크로 블록 헤더 공통화 식별 플래그(123c)가 같은 값을 나타내는 경우는, 각각 대응하는 참조 정보가 항상 존재하므로 그것들을 이용하는 것으로 한다.
또, 부호화측에서도 복호측에서도 같은 순서로 컨텍스트 모델을 정의하여 산술 복호하는 것은, 상기 본 실시예 12의 복호 장치의 동작 설명으로부터 자명하다. 또한, 어떤 성분의 정보를 참조한 컨텍스트 모델을 이용할지가 결정된 후는, 그 컨텍스트 모델에 대응되어 있는 발생 확률 상태의 갱신은 발생 확률 상태 파라미터 공통화 식별 플래그(143)의 상태에 근거하여 실행한다.
또한, 본 실시예 12에 있어서, C0, C1, C2 성분의 각 변환 계수 데이터에 대해서도 각 부호화 대상 데이터의 발생 확률 분포에 따른 산술 부호화가 행해진다. 이들 데이터는 매크로 블록 헤더를 공통화할지 여부에 관계없이, 항상 3성분몫의 부호화 데이터가 비트 스트림에 포함된다. 본 실시예 12에서는, 부호화 입력 신호의 색공간상에서 인트라 예측, 인터 예측이 행해져 예측 차분 신호를 얻을 수 있으므로, 예측 차분 신호를 정수 변환하여 얻어지는 변환 계수 데이터의 분포는, 도 62와 같은 매크로 블록 헤더를 공통화하는 여부라고 하는 주변의 상태에 관계없이, 동일한 발생 확률 분포가 된다고 생각할 수 있다. 그래서, 본 실시예 12에서는, C0, C1, C2의 각 성분마다, 매크로 블록 헤더를 공통화할지 여부에 관계없이, 공통의 컨텍스트 모델을 정의하여 부호화ㆍ복호에 이용한다.
또, 부호화측에서도 복호측에서도 같은 순서로 컨텍스트 모델을 정의하여 산술 복호하는 것은, 상기 본 실시예 12의 복호 장치의 동작 설명으로부터 자명하다. 또한, 어떤 성분의 정보를 참조한 컨텍스트 모델을 이용할지가 결정된 후는, 그 컨텍스트 모델에 대응되어 있는 발생 확률 상태의 갱신은 발생 확률 상태 파라미터 공통화 식별 플래그(143)의 상태에 근거하여 실행한다.
(실시예 13)
본 실시예 13에서는, 실시예 7~12에서 말한 부호화 장치 및 복호 장치로부터 파생하는 다른 부호화 장치, 복호 장치의 실시예에 대하여 말한다. 본 실시예 13에 있어서의 부호화 장치ㆍ복호 장치는, 실시예 7~12에 기재된 부호화 장치의 입력단에서 색공간 변환 처리를 행하여, 촬상 후에 부호화 장치에 입력되는 영상 신호의 색공간을 부호화에 적합한 임의의 색공간으로 변환하여, 복호측에서 촬상시의 색공간으로 되돌리기 위한 역변환 처리를 지정하는 정보를 비트 스트림으로 다중화하는 부호화 장치와, 역변환 처리를 지정하는 정보를 비트 스트림으로부터 추출하여, 실시예 7~12에 기재된 복호 장치에 의해 복호 화상을 얻은 후, 역변환 처리를 지정하는 정보에 근거하여 역 색공간 변환을 행하는 구성을 특징으로 한다.
본 실시예 13에 있어서의 부호화 장치ㆍ복호 장치의 구성을 도 63에 나타낸다. 도 63에 의해 본 실시예 13의 부호화 장치ㆍ복호 장치에 대하여 설명한다.
본 실시예 13의 부호화 장치는, 실시예 7~12의 부호화 장치(303)에 덧붙여, 그 전단에 색공간 변환부(301)를 구비한다. 색공간 변환부(301)는, 하나 또는 복수의 색공간 변환 처리를 구비하여, 입력되는 영상 신호의 성질이나 시스템의 설정 등에 따라 사용하는 색공간 변환 처리를 선택하여 입력 영상 신호에 대한 색공간 변환 처리를 행하여, 그 결과 얻어지는 변환 영상 신호(302)를 부호화 장치(303)에 보낸다. 또한, 동시에 사용한 색공간 변환 처리를 식별하는 정보를 색공간 변환 방법 식별 정보(304)로서 부호화 장치(303)에 출력한다. 부호화 장치(303)는, 변환 영상 신호(302)를 부호화 대상 신호로서 실시예 7~12에 나타내는 방법으로 압축 부호화한 비트 스트림(305)으로, 색공간 변환 방법 식별 정보(304)를 다중화하여 전송로에 송출, 또는 기록 미디어로의 기록을 행하는 기록 장치에 출력한다.
여기서, 준비되는 색공간 변환 방법은, 예컨대, 종래 표준으로 이용되고 있는 RGB로부터 YUV로의 변환
C0 = Y = 0.299×R + 0.587×G + 0.114×B
C1 = U = -0.169×R - 0.3316×G + 0.500×B
C2 = V = 0.500×R - 0.4186×G - 0.0813×B
나, 색성분 사이의 예측,
C0 = G′ = G
C1 = B′ = Bf(G) (단, f(G) : G성분에 대한 필터 처리 결과)
C2 = R′ = Rf(G)
나, RGB로부터 YCoCg로의 변환
C0= Y = R/2 + G/2 + B/4
C1 = Co = R/2 B/2
C2 = Cg = -R/4 + G/2 B/4
와 같은 변환이 있다. 색공간 변환부(301)에 대한 입력은 RGB에 한정할 필요는 없고, 또한 변환 처리도 상기 3종에 한정하는 것은 아니다.
본 실시예 13의 복호 장치는, 실시예 7~12의 복호 장치(306)에 덧붙여, 그 후단에 역 색공간 변환부(308)를 구비한다. 복호 장치(306)는 비트 스트림(305)을 입력으로 하여, 색공간 변환 방법 식별 정보(304)를 비트 스트림(305)으로부터 추출하여 출력함과 아울러, 실시예 7~12에 기재된 복호 장치의 동작에 의해 얻어지는 복호 화상(307)을 출력한다. 역 색공간 변환부(308)는, 상기 색공간 변환부(301)에서 선택 가능한 색공간 변환 방법의 각각에 대하여 대응하는 역변환 처리를 구비하여, 복호 장치(306)로부터 출력되는 색공간 변환 방법 식별 정보(304)에 근거하여 색공간 변환부(301)에서 실행된 변환을 특정하여, 복호 화상(307)에 대하여 역변환 처리를 실시하고, 본 실시예 13의 부호화 장치에 대한 입력 영상 신호의 색공간으로 되돌리는 처리를 행한다.
본 실시예 13과 같은 부호화 장치ㆍ복호 장치에 의하면, 부호화의 전단과 복호 처리의 후단에서 부호화되는 영상 신호에 대하여 최적의 색공간의 변환 처리를 행함으로써, 3개의 색성분으로 구성되는 화상 신호 중에 포함되는 상관을 부호화 전에 제거하여, 용장도를 적게 한 상태로 부호화를 행할 수 있어, 압축 효율을 높일 수 있다. 종래의 MPEG 등의 표준 부호화 방식에서는, 부호화 대상의 신호의 색공간을 YUV의 1종류로 한정했었지만, 색공간 변환부(301), 역 색공간 변환부(308)를 구비하여, 색공간 변환 방법 식별 정보(304)를 비트 스트림(305)에 포함시킴으로써, 부호화 입력되는 영상 신호의 색공간에 관한 제한을 없앨 수 있고, 또한 색성분 사이의 상관을 제거하는 복수 종류의 수단 중에서 최적의 변환을 이용하여 부호화하는 것이 가능하게 된다.
본 실시예 13에서는, 색공간 변환부(301), 역 색공간 변환부(308)를 항상 동작시킨다고 하는 전제로 기재했지만, 이들 처리부를 동작시키지 않고, 종래의 규격과의 호환성을 확보하는 것을 지시하는 정보를, 시퀀스 등의 상위의 레이어에서 부호화하는 구성을 취하는 것도 가능하다.
또한, 본 실시예 13의 색공간 변환부(301), 역 색공간 변환부(308)를, 본 실시예 7~12의 부호화 장치, 복호 장치의 내부 구성에 도입하도록 하여, 예측 차분 신호 레벨에서의 색공간 변환을 행하도록 구성할 수도 있다. 이와 같이 구성한 부호화 장치를 도 64에, 복호 장치를 도 65에 나타낸다. 도 64의 부호화 장치에서는, 직교 변환부(8) 대신에 변환부(310)가, 역직교 변환부(13) 대신에 역변환부(312)가 구비되고, 도 65의 복호 장치에서는, 역직교 변환부(13) 대신에 역변환부(312)가 구비되어 있다.
변환부(310)는, 부호화 모드 판정부(5)로부터 출력되는 C0, C1, C2 성분의 예측 차분 신호(4)에 대하여, 상기 색공간 변환부(301)의 처리로서 나타낸 바와 같이, 복수의 색공간 변환 처리 중에서 최적의 변환 처리를 선택하여 색공간 변환을 우선 실행한다. 그 후, 색공간 변환의 결과에 대하여 직교 변환부(8) 상당의 변환을 실행한다. 어떤 변환을 선택했는지를 나타내는 색공간 변환 방법 식별 정보(311)는 가변 길이 부호화부(11)에 보내고, 비트 스트림으로 다중하여 비디오 스트림(22)으로서 출력한다. 또한, 역변환부(312)에서는, 우선 역직교 변환부(13) 상당의 역변환을 행한 후, 색공간 변환 방법 식별 정보(311)에서 지정되는 색공간 변환 처리를 이용하여 역 색공간 변환 처리를 실행한다.
복호 장치에서는, 가변 길이 복호부(25)에서 비트 스트림으로부터 색공간 변환 방법 식별 정보(311)를 추출하여, 그 결과를 역변환부(312)에 보냄으로써, 상술한 부호화 장치에 있어서의 역변환부(312)와 동일한 처리를 행한다. 이와 같이 구성함으로써, 색성분의 사이에 잔존하는 상관을 예측 차분 영역에서 충분히 제거할 수 있는 경우는, 그것을 부호화 처리의 일부로서 실행하도록 할 수 있어, 부호화 효율을 높이는 효과가 있다. 단, C0, C1, C2 성분에서 개별의 매크로 블록 헤더를 이용하는 경우에는, 원래 C0 성분은 인트라 예측, C1 성분은 인터 예측이라고 했듯이, 성분마다 예측의 방법이 변화할 수 있으므로, 예측 차분 신호(4)의 영역에서의 상관이 유지되기 어려운 경우도 있다. 따라서, C0, C1, C2 성분에서 개별의 매크로 블록 헤더를 이용하는 경우는, 변환부(310), 역변환부(312)는 색공간 변환을 실행하지 않도록 동작시키도록 하더라도 좋고, 예측 차분 신호(4)의 영역에서 색공간 변환을 실행할지 여부를 식별 정보로서 비트 스트림으로 다중하도록 구성하더라도 좋다. 또, 색공간 변환 방법 식별 정보(311)는 시퀀스, 픽쳐, 슬라이스, 매크로 블록 중 어느 쪽의 단위로 전환되도록 하더라도 좋다.
도 64, 도 65의 부호화 장치, 복호 장치의 구성에서는, C0, C1, C2 성분의 각 변환 계수 데이터는, 색공간 변환 방법 식별 정보(311)에 따라 부호화 대상 신호의 신호 정의 도메인이 다르게 된다. 따라서, 색공간 변환 방법 식별 정보(311)에 따라, 변환 계수 데이터의 분포는, 다른 발생 확률 분포가 되는 것이 일반적이라고 생각된다. 그래서, 도 64, 65와 같이 부호화 장치, 복호 장치를 구성하는 경우는, C0, C1, C2의 각 성분마다, 색공간 변환 방법 식별 정보(311)의 상태마다 개별적인 발생 확률 상태가 대응된 컨텍스트 모델을 이용하여 부호화ㆍ복호를 행한다.
또, 부호화측에서도 복호측에서도 같은 순서로 컨텍스트 모델을 정의하여 산술 복호하는 것은, 상기 본 실시예 12의 복호 장치의 동작 설명으로부터 자명하다. 또한, 어떤 성분의 정보를 참조한 컨텍스트 모델을 이용할지가 결정된 후는, 그 컨텍스트 모델에 대응되어 있는 발생 확률 상태의 갱신은 발생 확률 상태 파라미터 공통화 식별 플래그(143)의 상태에 근거하여 실행한다.
(실시예 14)
본 실시예 14에서는, 상기 실시예에서 말한 부호화 장치ㆍ복호 장치에 대해, 더 구체적인 장치 구성에 대하여 언급한다.
상기 실시예에서는, 부호화 장치ㆍ복호 장치의 동작 설명을, 예컨대, 도 1, 도 2, 도 30, 도 31 등에 준하는 도면을 이용하여 실시했다. 이들 도면에서는, 3개의 색성분으로 이루어지는 입력 영상 신호를 부호화 장치에 일괄 입력하고, 장치 내부에서 3개의 색성분을 공통의 예측 모드나 매크로 블록 헤더에 근거하여 부호화할지 각각의 예측 모드나 매크로 블록 헤더에 근거하여 부호화할지를 선택하면서 부호화를 행하여, 그 결과 얻어지는 비트 스트림을 복호 장치에 입력하여, 복호 장치 내부에서 3개의 색성분이 예측 모드나 매크로 블록 헤더에 근거하여 부호화되어 있는지 각각의 예측 모드나 매크로 블록 헤더에 근거하여 부호화되어 있는지를, 비트 스트림으로부터 복호하여 추출한 플래그(예컨대, 인트라 예측 모드 공통화 식별 플래그(23), 인터 예측 모드 공통화 식별 플래그(123) 등)에 근거하여 선택하면서 복호 처리를 행하여 재생 영상을 얻는 동작을 설명했다. 상기 플래그는 매크로 블록, 슬라이스, 픽쳐, 시퀀스 등의 임의의 데이터 레이어의 단위로 부호화ㆍ복호하더라도 좋은 취지는 이미 명기했지만, 본 실시예 14에서는, 특히, 3개의 색성분 신호를 공통의 매크로 블록 헤더로 부호화할지, 개별의 매크로 블록 헤더로 부호화할지를 1프레임(내지는 1필드)의 단위로 나누면서 부호화ㆍ복호하는 장치 구성ㆍ동작을 구체적인 도면을 바탕으로 설명한다. 이하, 특히 제한하지 않는 한, 「1프레임」이라고 기재한 경우는 1프레임 내지는 1필드의 데이터 단위라고 간주한다.
본 실시예 14에 있어서의 매크로 블록 헤더는, 도 15와 같은 변환 블록 사이즈 식별 플래그, 도 50과 같은 매크로 블록 타입ㆍ서브 매크로 블록 타입ㆍ인트라 예측 모드 등의 부호화ㆍ예측 모드 정보, 참조 화상 식별 번호ㆍ움직임 벡터 등의 움직임 예측 정보, 변환 계수 유효 무효 지시 정보, 변환 계수에 대한 양자화 파라미터 등, 변환 계수 데이터 이외의 매크로 블록 오버헤드 정보를 포함하는 것으로 한다.
이후, 1프레임의 3개의 색성분 신호를 공통의 매크로 블록 헤더로 부호화하는 처리를 「공통 부호화 처리」, 1프레임의 3개의 색성분 신호를 개별의 독립한 매크로 블록 헤더로 부호화하는 처리를 「독립 부호화 처리」라고 적는다. 마찬가지로, 1프레임의 3개의 색성분 신호가 공통의 매크로 블록 헤더로 부호화된 비트 스트림으로부터 프레임 화상 데이터를 복호하는 처리를 「공통 복호 처리」, 1프레임의 3개의 색성분 신호가 개별의 독립한 매크로 블록 헤더로 부호화된 비트 스트림으로부터 프레임 화상 데이터를 복호하는 처리를 「독립 복호 처리」라고 적는다. 본 실시예 14에 있어서의 공통 부호화 처리에서는, 도 66에 나타내는 바와 같이, 1프레임분의 입력 영상 신호를 3개의 색성분을 정리한 형태의 매크로 블록으로 분할한다. 한편, 독립 부호화 처리에서는, 도 67에 나타내는 바와 같이, 1프레임분의 입력 영상 신호를 3개의 색성분으로 분리하고, 그것들을 단일 색성분으로 이루어지는 매크로 블록으로 분할한다. 다시 말해, 공통 부호화 처리의 대상이 되는 매크로 블록은, C0, C1, C2의 3개의 색성분의 샘플을 포함하지만, 독립 부호화 처리의 대상이 되는 매크로 블록은, C0 또는 C1 또는 C2 성분 중 어느 하나의 성분의 샘플만을 포함한다.
도 68은 본 실시예 14의 부호화 장치ㆍ복호 장치에 있어서의, 픽쳐 사이의 시간 방향의 움직임 예측 참조 관계를 나타내는 설명도이다. 이 예에서는, 굵은 세로 막대선으로 표시되는 데이터 단위를 픽쳐라 하고, 픽쳐와 액세스 유닛과의 관계를 점선으로 둘러싸 나타내고 있다. 공통 부호화ㆍ복호 처리의 경우, 1픽쳐는, 3개의 색성분이 혼재한 1프레임분의 영상 신호를 나타내는 데이터이고, 독립 부호화ㆍ복호 처리의 경우, 1픽쳐는 어느 하나의 색성분의 1프레임분의 영상 신호라 한다. 액세스 유닛은, 영상 신호에 대하여 오디오ㆍ음성 정보 등과의 동기 등을 목적으로 하는 타임 스탬프를 부여하는 최소 데이터 단위이며, 공통 부호화ㆍ복호 처리의 경우, 하나의 액세스 유닛에는 1픽쳐분의 데이터를 포함한다(도 68의 427a). 한편, 독립 부호화ㆍ복호 처리의 경우는 하나의 액세스 유닛에 3개의 픽쳐가 포함된다(도 68의 427b). 이것은 독립 부호화ㆍ복호 처리의 경우, 3개의 색성분 모두의 동일 표시 시각의 픽쳐가 갖추어져 처음으로 1프레임분의 재생 영상 신호를 얻을 수 있기 때문이다. 또, 각 픽쳐의 상부에 부여한 번호는, 픽쳐의 시간 방향의 부호화ㆍ복호 처리 순서(AVC의 frame_num)를 나타낸다. 도 68에서는, 픽쳐 사이의 화살표는 움직임 예측의 참조 방향을 나타내고 있다. 즉, 독립 부호화ㆍ복호 처리의 경우, 동일 액세스 유닛에 포함되는 픽쳐의 사이에서의 움직임 예측 참조, 및 다른 색성분 사이에서의 움직임 예측 참조는 행하지 않는 것으로 하고, C0, C1, C2의 각 색성분의 픽쳐를 동일 색성분의 신호에 한정하여 예측 참조하면서 부호화ㆍ복호한다. 이러한 구성으로 함으로써, 본 실시예 14에 있어서의 독립 부호화ㆍ복호 처리의 경우는, 각 색성분의 부호화ㆍ복호를, 다른 색성분의 부호화ㆍ복호 처리에 전혀 의존하는 일 없이 실행할 수 있어, 병렬 처리가 용이해진다.
또, AVC에서는, 자신은 인트라 부호화를 행함과 아울러, 움직임 보상 예측에 이용하는 참조 화상 메모리의 내용을 리셋하는 IDR(instantaneous decoder refresh) 픽쳐가 정의되어 있다. IDR 픽쳐는 다른 어떠한 픽쳐에도 의존하지 않고서 복호 가능하므로 랜덤 액세스 포인트로서 이용된다. 공통 부호화 처리의 경우의 액세스 유닛은, 1액세스 유닛 = 1픽쳐이지만, 독립 부호화 처리의 경우의 액세스 유닛에서는 1액세스 유닛이 복수 픽쳐로 구성되므로, 어떤 색성분 픽쳐가 IDR 픽쳐인 경우는 다른 나머지의 색성분 픽쳐도 IDR 픽쳐로서, IDR 액세스 유닛을 정의하여, 랜덤 액세스 기능을 확보한다.
이하, 공통 부호화 처리에 의한 부호화를 행했는지, 독립 부호화 처리에 의한 부호화를 행했는지를 나타내는 식별 정보를, 본 실시예 14에서는, 공통 부호화ㆍ독립 부호화 식별 신호라 부른다.
도 69는 본 실시예 14의 부호화 장치에서 생성되고, 본 실시예 14의 복호 장치가 입력ㆍ복호 처리의 대상으로 하는 비트 스트림의 구조의 일례를 나타내는 설명도이다. 도 69는 시퀀스로부터 프레임 레벨까지의 비트 스트림 구성을 나타낸 것으로, 우선, 시퀀스 레벨의 상위 헤더(AVC의 경우, 시퀀스 파라미터 세트 등)에, 공통 부호화ㆍ독립 부호화 식별 신호(423)를 다중하여 둔다. 각각의 프레임은 액세스 유닛의 단위로 부호화된다. AUD란, AVC에서 액세스 유닛의 사이를 식별하기 위한 유니크한 NAL 유닛인 Access Unit Delimiter NAL 유닛을 나타낸다. 공통 부호화ㆍ독립 부호화 식별 신호(423)가 「공통 부호화 처리에 의한 픽쳐 부호화」를 나타내는 경우는, 액세스 유닛에는 1픽쳐분의 부호화 데이터가 포함된다. 이때의 픽쳐는, 전술한 바와 같이 3개의 색성분이 혼재한 1프레임분의 영상 신호를 나타내는 데이터라고 한다. 이때, i번째의 액세스 유닛의 부호화 데이터는 슬라이스 데이터 Slice(i, j)의 집합으로서 구성된다. j는, 1픽쳐 내의 슬라이스 데이터의 인덱스이다.
한편, 공통 부호화ㆍ독립 부호화 식별 신호(423)가 「독립 부호화 처리에 의한 픽쳐 부호화」를 나타내는 경우는, 1픽쳐는 어느 하나의 색성분의 1프레임분의 영상 신호이다. 이때, p번째의 액세스 유닛의 부호화 데이터는, 액세스 유닛 내의 q번째의 픽쳐의 슬라이스 데이터 Slice(p, q, r)의 집합으로서 구성된다. r은, 1픽쳐 내의 슬라이스 데이터의 인덱스이다. RGB와 같이 색성분이 3성분으로 구성되는 영상 신호의 경우, q가 취할 수 있는 값의 개수는 3이다. 또한, 3원색으로 이루어지는 영상 신호에 덧붙여, 예컨대, 알파 블렌딩을 위한 투과도 정보와 같은 부가 데이터를 동일 액세스 유닛으로서 부호화ㆍ복호하는 경우나, 4성분 이상의 색성분(예컨대, 컬러 인쇄에서 사용되는 YMCK 등)으로 구성되는 영상 신호를 부호화ㆍ복호하는 경우 등은, q가 취할 수 있는 값의 개수는 4 이상이 되도록 설정한다. 본 실시예 14에 있어서의 부호화 장치, 복호 장치는, 독립 부호화 처리를 선택하면, 영상 신호를 구성하는 각 색성분을 완전히 독립적으로 부호화하므로, 원리적으로 부호화ㆍ복호 처리를 변경하는 일 없이, 색성분의 매수를 자유롭게 변경할 수 있다. 장래, 영상 신호의 색 표현을 행하기 위한 신호 형식이 변경된 경우에도, 본 실시예 14에 있어서의 독립 부호화 처리로 대응 가능해지는 효과가 있다.
이러한 구성을 실현하기 위해, 본 실시예 14에서는, 공통 부호화ㆍ독립 부호화 식별 신호(423)는 「1액세스 유닛 내에 포함되어, 각각이 서로 움직임 예측 참조하는 일 없이 독립적으로 부호화되는 픽쳐의 수」라고 하는 형태로 표현한다. 이때, 공통 부호화ㆍ독립 부호화 식별 신호(423)는 상기 파라미터 q가 취할 수 있는 값의 개수로 표현할 수 있게 되고, 이 파라미터가 취할 수 있는 값의 개수를 이후, num_pictures_in_au라고 부른다. 다시 말해, num_pictures_in_au = 1은 「공통 부호화 처리」를 나타내고, num_pictures_in_au = 3은 본 실시예 14에 있어서의 「독립 부호화 처리」를 나타낸다. 색성분이 4 이상이 되는 경우, num_pictures_in_au > 3이 되는 값으로 설정하면 좋다. 이러한 시그널링을 행함으로써, 복호 장치는 num_pictures_in_au를 복호, 참조하면 공통 부호화 처리에 의한 부호화 데이터와 독립 부호화 처리에 의한 부호화 데이터의 구별을 할 수 있는 것뿐만 아니라, 하나의 액세스 유닛 내에 몇 매의 단일 색성분 픽쳐가 존재하는지를 동시에 알 수 있어, 장래의 영상 신호의 색 표현 확장으로의 대응도 가능하게 하면서, 공통 부호화 처리와 독립 부호화 처리를 비트 스트림 중에서 한결같이(seamless) 취급하는 것이 가능하다.
도 70은 공통 부호화 처리, 독립 부호화 처리 각각의 경우의 슬라이스 데이터의 비트 스트림 구성을 나타내는 설명도이다. 독립 부호화 처리에 의해 부호화된 비트 스트림에서는, 후술하는 효과를 달성하기 위해, 복호 장치에서 수신한 슬라이스 데이터가 액세스 유닛 내의 어떤 색성분의 픽쳐에 속하는 슬라이스인지를 식별 가능하도록, 슬라이스 데이터의 선두의 헤더 영역에 색성분 식별 플래그(color_channel_idc)를 부여한다. color_channel_idc는, 그 값이 같은 슬라이스를 그룹화한다. 다시 말해, color_channel_idc의 값이 다른 슬라이스 사이에서는, 어떠한 부호화ㆍ복호의 의존성(예컨대, 움직임 예측 참조, CABAC의 컨텍스트 모델링ㆍ발생 확률 학습 등)도 갖게 하지 않는 것으로 한다. 이와 같이 규정함으로써, 독립 부호화 처리의 경우의 액세스 유닛 내의 각각의 픽쳐의 독립성이 확보된다. 또한, 각 슬라이스 헤더로 다중되는 frame_num(슬라이스가 속하는 픽쳐의 부호화ㆍ복호 처리 순서)에 대해서는, 1액세스 유닛 내의 모든 색성분 픽쳐에 있어서 동일한 값으로 한다.
도 71은 본 실시예 14의 부호화 장치의 개략 구성을 나타내는 설명도이다. 도 71에 있어서, 공통 부호화 처리는 제 1 픽쳐 부호화부(503a)에서 실행되고, 독립 부호화 처리는 제 2 픽쳐 부호화부(503b0, 503b1, 503b2)(3개의 색성분몫을 준비)에 있어서 실행된다. 입력 영상 신호(1)는, 스위치(SW)(501)에 의해 제 1 픽쳐 부호화부(503a)나, 색성분 분리부(502) 및 제 2 픽쳐 부호화부(503b0~503b2) 중 어느 하나에 공급된다. 스위치(501)는, 공통 부호화ㆍ독립 부호화 식별 신호(423)에 의해 구동되고, 입력 영상 신호(1)를 지정된 경로에 공급한다. 이하에서는, 공통 부호화ㆍ독립 부호화 식별 신호(num_pictures_in_au)(423)는, 입력 영상 신호가 4 : 4 : 4 포맷인 경우에 시퀀스 파라미터 세트로 다중되고, 시퀀스의 단위로 공통 부호화 처리와 독립 부호화 처리를 선택하는 신호로 하는 경우에 대하여 설명한다. 이것은 상기 실시예 7에서 말한 인터 예측 모드 공통화 식별 플래그(123)나, 상기 실시예 11에서 말한 매크로 블록 헤더 공통화 식별 플래그(123c)와 개념적으로 동일하다. 공통 부호화 처리를 이용한 경우는 복호 장치측에서는 공통 복호 처리를 실행하고, 독립 부호화 처리를 이용한 경우는 복호 장치측에서는 독립 복호 처리를 실행할 필요가 있으므로, 공통 부호화ㆍ독립 부호화 식별 신호(423)는 그것을 지정하는 정보로서 비트 스트림으로 다중할 필요가 있다. 그 때문에, 공통 부호화ㆍ독립 부호화 식별 신호(423)는 다중화부(504)에 입력된다. 이 공통 부호화ㆍ독립 부호화 식별 신호(423)의 다중화 단위는, 시퀀스 내의 몇 개의 픽쳐군으로 이루어지는 GOP(Group Of Picture)의 단위 등, 픽쳐보다 상위 레이어라면 어떠한 단위이더라도 좋다.
제 1 픽쳐 부호화부(503a)에서는, 공통 부호화 처리를 실행하기 위해, 입력 영상 신호(1)를 도 66에 나타내는 바와 같이 3개의 색성분의 샘플을 정리한 형식의 매크로 블록으로 분할하고, 그 단위로 부호화 처리를 진행시킨다. 제 1 픽쳐 부호화부(503a)에서의 부호화 처리는 후술한다. 독립 부호화 처리가 선택된 경우는, 입력 영상 신호(1)는 색성분 분리부(502)에서 C0, C1, C2의 1프레임분의 데이터로 분리되어, 각각 대응하는 제 2 픽쳐 부호화부(503b0~503b2)에 공급된다. 제 2 픽쳐 부호화부(503b0~503b2)에서는, 색성분마다 분리된 1프레임분의 신호를 도 67에 나타내는 형식의 매크로 블록으로 분할하여, 그 단위로 부호화 처리를 진행시킨다. 제 2 픽쳐 부호화부에서의 부호화 처리는 후술한다.
제 1 픽쳐 부호화부(503a)에는, 3개의 색성분으로 이루어지는 1픽쳐분의 영상 신호가 입력되고, 부호화 데이터는 비디오 스트림(422a)으로서 출력된다. 제 2 픽쳐 부호화부(503b0~503b2)에는, 단일 색성분으로 이루어지는 1픽쳐분의 영상 신호가 입력되고, 부호화 데이터는 비디오 스트림(422b0~422b2)으로서 출력된다. 이들 비디오 스트림은, 공통 부호화ㆍ독립 부호화 식별 신호(423)의 상태에 근거하여 다중화부(504)에서 비디오 스트림(422c)의 형식으로 다중화되어, 출력된다.
비디오 스트림(422c)의 다중화에 있어서는, 독립 부호화 처리되는 경우의 액세스 유닛 중에서는, 슬라이스 데이터의 비트 스트림 중에서의 다중화순, 전송순을, 액세스 유닛 내의 픽쳐(각 색성분) 사이에서 인터리브(interleave) 가능하게 한다(도 72). 이 경우, 복호 장치측에서는, 수신한 슬라이스 데이터가, 액세스 유닛 내의 어떤 색성분에 속하는 슬라이스인지를 식별할 필요가 있다. 그 때문에, 슬라이스 데이터의 선두의 헤더 영역에 도 70과 같이 다중하는 색성분 식별 플래그를 이용한다.
이러한 구성으로 함으로써, 부호화 장치에서는, 도 71의 부호화 장치와 같이 3개의 색성분의 픽쳐를 각각 독립적인 제 2 픽쳐 부호화부(503b0~503b2)의 3세트 사용하여, 병렬 처리에 의해 부호화를 행하는 경우에, 다른 색성분 픽쳐의 부호화 데이터의 완성을 기다리지 않고서, 자신의 픽쳐의 슬라이스 데이터를 준비할 수 있으면 곧 부호화 데이터가 송출 가능해진다. AVC에서는 1픽쳐를 복수의 슬라이스 데이터로 분할하여 부호화할 수 있어, 슬라이스 데이터 길이나 슬라이스 내에 포함되는 매크로 블록의 개수에 대해서는, 부호화 조건에 따라 유연하게 변화시킬 수 있다. 화상 공간상에서 이웃이 되는 슬라이스의 사이에서는, 슬라이스의 복호 처리의 독립성을 확보하기 위해, 인트라 예측이나 산술 부호화 등의 근방 컨텍스트의 이용을 할 수 없으므로, 슬라이스 데이터 길이는 될 수 있는 한 긴 쪽이 부호화 효율은 높다. 한편, 전송이나 기록의 과정에서 비트 스트림에 오류가 혼입한 경우는, 슬라이스 데이터 길이가 짧을수록 오류로부터의 복귀가 빨라져, 품질 열화를 억제하기 쉬워진다. 색성분 식별 플래그를 다중화하는 일 없이, 슬라이스의 길이나 구성, 색성분의 순서 등을 고정적으로 해버리면, 부호화 장치에 있어서 비트 스트림의 생성 조건이 고정화되어버려, 다양한 부호화 요구 조건에 유연하게 대응할 수 없게 된다.
또한, 도 72와 같이 비트 스트림을 구성할 수 있으면, 부호화 장치에서는 전송에 필요한 송신 버퍼 사이즈, 즉, 부호화 장치측에서의 처리 지연을 작게 할 수 있다. 그 모양을 도 72에 나타낸다. 만약 픽쳐를 거치는 슬라이스 데이터의 다중이 허용되지 않는 경우, 부호화 장치는, 어떤 특정한 색성분의 픽쳐의 부호화가 종료하기까지의 사이, 다른 픽쳐의 부호화 데이터를 버퍼링시킬 필요가 있다. 이것은 픽쳐 레벨에서의 지연이 발생하는 것을 의미한다. 한편, 도 72 최하부에 나타내는 바와 같이, 슬라이스 레벨로 인터리브 가능하다고 하면, 어떤 특정한 색성분의 픽쳐 부호화부는 슬라이스 데이터의 단위로 부호화 데이터를 다중화부에 출력할 수 있어, 지연을 억제할 수 있다.
또, 하나의 색성분 픽쳐 내에서는, 그것에 포함되는 슬라이스 데이터는 매크로 블록의 래스터 스캔(raster scan)순으로 전송하도록 하더라도 좋고, 하나의 픽쳐 내에서도 인터리브 전송을 가능하게 하도록 구성하더라도 좋다.
이하, 제 1 및 제 2 픽쳐 부호화부의 동작을 자세히 설명한다.
제 1 픽쳐 부호화부의 동작 개요
제 1 픽쳐 부호화부(503a)의 내부 구성을 도 73에 나타낸다. 도 73에 있어서, 입력 영상 신호(1)는, 4 : 4 : 4 포맷으로, 또한 도 66의 형식의 3개의 색성분을 정리한 매크로 블록의 단위로 입력되는 것으로 한다.
우선, 예측부(461)에 있어서, 메모리(16a)에 저장되는 움직임 보상 예측 참조 화상 데이터 중에서 참조 화상을 선택하고, 그 매크로 블록의 단위로 움직임 보상 예측 처리가 행해진다. 메모리(16a)에는, 복수 시각에 걸친, 3개의 색성분으로 구성되는 복수의 참조 화상 데이터가 저장되고, 예측부(461)에서는, 이들 중에서 매크로 블록의 단위로 최적의 참조 화상을 선택하여 움직임 예측을 행한다. 메모리(16a) 내의 참조 화상 데이터의 배치는, 색성분마다 면순차로 나누어 저장하더라도 좋고, 각 색성분의 샘플을 점순차로 저장하더라도 좋다. 움직임 보상 예측을 행하는 블록 사이즈는 7종류 준비되어 있고, 우선 매크로 블록 단위로, 도 32(a)~(d)에 나타내는 바와 같이, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택할 수 있다. 또한 8×8이 선택된 경우에는, 각 8×8블록마다, 도 32(e)~(h)에 나타내는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택할 수 있다.
예측부(461)에서는, 도 32의 전부 또는 일부의 블록 사이즈ㆍ서브 블록 사이즈, 및 소정의 탐색 범위의 움직임 벡터 및 이용 가능한 1장 이상의 참조 화상에 대하여 매크로 블록마다 움직임 보상 예측 처리를 실행하여, 움직임 벡터 정보와 예측에 이용하는 참조 화상 식별 번호(463)와 감산기(3)에 의해, 움직임 보상 예측 단위가 되는 블록마다의 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 예측부(461)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 매크로 블록 타입/서브 매크로 블록 타입(106)과 움직임 벡터 정보ㆍ참조 화상 식별 번호(463)를 출력한다. 매크로 블록 타입, 서브 매크로 블록 타입, 참조 화상 인덱스, 움직임 벡터 등의 매크로 블록 헤더 정보는 모두, 3개의 색성분에 대하여 공통의 헤더 정보로서 결정되어, 부호화에 사용되고, 비트 스트림으로 다중화된다. 예측 효율의 최적성의 평가에서는, 연산량을 억제할 목적으로, 어떤 소정의 색성분(예컨대, RGB 중의 G성분, YUV 중의 Y 성분 등)에 대한 예측 오차량만을 평가하더라도 좋고, 연산량은 커지지만 최적의 예측 성능을 얻도록 모든 색성분에 대한 예측 오차량을 총합 평가하도록 하더라도 좋다. 또한, 최종적인 매크로 블록 타입/서브 매크로 블록 타입(106)의 선정에서는, 부호화 제어부(19)의 판단으로 정해지는 각 타입에 대한 가중 계수(20)가 가미되는 경우도 있다.
마찬가지로, 예측부(461)에서는, 인트라 예측도 실행한다. 인트라 예측 실행시는, 출력 신호(463)에는, 인트라 예측 모드 정보가 출력된다. 이후, 특히 인트라 예측, 움직임 보상 예측을 구별하지 않는 경우에는, 출력 신호(463)는 인트라 예측 모드 정보, 움직임 벡터 정보, 참조 화상 식별 번호를 정리하여 예측 오버헤드 정보라고 부른다. 인트라 예측에 대해서도 소정의 색성분만의 예측 오차량을 평가하더라도 좋고, 모든 색성분에 대한 예측 오차량을 총합 평가하도록 하더라도 좋다. 마지막으로, 매크로 블록 타입을 인트라 예측으로 할지, 인터 예측으로 할지를, 부호화 모드 판정부(5)에 있어서 예측 효율 또는 부호화 효율로 평가하여 선정한다.
선정된 매크로 블록 타입/서브 매크로 블록 타입(106)과, 예측 오버헤드 정보(463)에 근거한 인트라 예측ㆍ움직임 보상 예측에 의해 얻어지는 예측 차분 신호(4)를 변환부(310)에 출력한다. 변환부(310)는 입력되는 예측 차분 신호(4)를 변환하여 변환 계수로서 양자화부(9)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 중 어느 하나로부터 선택하도록 하더라도 좋다. 변환 블록 사이즈를 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(464)의 값에 반영하고, 동 플래그를 비트 스트림으로 다중화한다. 양자화부(9)는 입력되는 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하고, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 3개의 색성분몫의 정보를 포함하여, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역변환부(312)를 지나 국부 복호 예측 차분 신호(14)로 복원되고, 선정된 매크로 블록 타입/서브 매크로 블록 타입(106)과 예측 오버헤드 정보(463)에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은, 디블록킹 필터(462)로 블록 왜곡 제거 처리를 실시한 후, 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(16a)에 저장된다. 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블록킹 필터를 실시할지 여부를 나타내는 디블록킹 필터 제어 플래그(24)도 입력된다.
가변 길이 부호화부(11)에 입력되는 양자화 완료 변환 계수(10), 매크로 블록 타입/서브 매크로 블록 타입(106), 예측 오버헤드 정보(463), 양자화 파라미터(21)는 소정의 규칙(syntax)에 따라 비트 스트림으로서 배열ㆍ정형되고, 도 66의 형식의 매크로 블록이 하나 내지는 복수가 종합된 슬라이스 데이터의 단위로 NAL 유닛화된 부호화 데이터로서 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞추어 비트 스트림을 평활화하여 비디오 스트림(422a)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트 스트림 축적 상황에 따라 부호화 제어부(19)에 피드백을 걸어, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
또, 제 1 픽쳐 부호화부(503a)의 출력은, 3성분을 정리한 단위의 슬라이스로서 액세스 유닛을 정리한 단위에서의 부호량과 등가이므로, 송신 버퍼(17)는 그대로 다중화부(504) 내에 배치하더라도 좋다.
본 실시예 14에 있어서의 제 1 픽쳐 부호화부(503a)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(423)에 의해 시퀀스 중의 모든 슬라이스 데이터가 C0, C1, C2혼재 슬라이스(즉, 3개의 색성분의 정보가 혼재하는 슬라이스)인 것이 식별 가능하므로, 슬라이스 헤더에 색성분 식별 플래그는 다중화하지 않는다.
제 2 픽쳐 부호화부의 동작 개요
제 2 픽쳐 부호화부(503b0)(503b1, 503b2)의 내부 구성을 도 74에 나타낸다. 도 74에 있어서, 입력 영상 신호(1)는, 도 67의 형식의 단일 색성분의 샘플로 이루어지는 매크로 블록의 단위로 입력되는 것으로 한다.
우선, 예측부(461)에 있어서, 메모리(16b)에 저장되는 움직임 보상 예측 참조 화상 데이터 중에서 참조 화상을 선택하고, 그 매크로 블록의 단위로 움직임 보상 예측 처리를 행한다. 메모리(16b)에는, 복수 시각에 걸친, 단일 색성분으로 구성되는 복수의 참조 화상 데이터를 저장할 수 있고, 예측부(461)에서는, 이들 중에서 매크로 블록의 단위로 최적의 참조 화상을 선택하여 움직임 예측을 행한다. 메모리(16b)는 3개의 색성분몫을 정리한 단위로 메모리(16a)와 공용하도록 하더라도 좋다. 움직임 보상 예측을 행하는 블록 사이즈로는 7종류 준비되어 있고, 우선 매크로 블록 단위로, 도 32(a)~(d)에 나타내는 바와 같이, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택할 수 있다. 또한 8×8이 선택된 경우에는, 각 8×8블록마다, 도 32(e)~(h)에 나타내는 바와 같이, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택할 수 있다.
예측부(461)에서는, 도 32의 전부 또는 일부의 블록 사이즈ㆍ서브 블록 사이즈, 및 소정의 탐색 범위의 움직임 벡터 및 이용 가능한 1장 이상의 참조 화상에 대하여 매크로 블록마다 움직임 보상 예측 처리를 실행하고, 움직임 벡터 정보와 예측에 이용하는 참조 화상 식별 번호(463)와 감산기(3)에 의해, 움직임 보상 예측 단위가 되는 블록마다의 예측 차분 신호(4)를 얻는다. 예측 차분 신호(4)는 부호화 모드 판정부(5)에 있어서 그 예측 효율이 평가되고, 예측부(461)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 매크로 블록 타입/서브 매크로 블록 타입(106)과 움직임 벡터 정보ㆍ참조 화상 식별 번호(463)를 출력한다. 매크로 블록 타입, 서브 매크로 블록 타입, 참조 화상 인덱스, 움직임 벡터 등의 매크로 블록 헤더 정보는 모두, 입력 영상 신호(1)의 단일 색성분의 신호에 대한 헤더 정보로서 결정되어, 부호화에 사용되고, 비트 스트림으로 다중화된다. 예측 효율의 최적성의 평가에서는, 부호화 처리 대상이 되는 단일 색성분에 대한 예측 오차량만을 평가한다. 또한, 최종적인 매크로 블록 타입/서브 매크로 블록 타입(106)의 선정에서는, 부호화 제어부(19)의 판단으로 정해지는 각 타입에 대한 가중 계수(20)가 가미되는 경우도 있다.
마찬가지로, 예측부(461)에서는, 인트라 예측도 실행한다. 인트라 예측 실행시는, 출력 신호(463)에는, 인트라 예측 모드 정보가 출력된다. 이후, 특히 인트라 예측, 움직임 보상 예측을 구별하지 않는 경우에는, 출력 신호(463)는 인트라 예측 모드 정보, 움직임 벡터 정보, 참조 화상 식별 번호를 정리하여 예측 오버헤드 정보라고 부른다. 인트라 예측에 대해서도 부호화 처리 대상이 되는 단일 색성분에 대한 예측 오차량만을 평가한다. 마지막으로, 매크로 블록 타입을 인트라 예측으로 할지, 인터 예측으로 할지를 예측 효율 또는 부호화 효율로 평가하여 선정한다.
선정된 매크로 블록 타입/서브 매크로 블록 타입(106)과, 예측 오버헤드 정보(463)에 의해 얻어지는 예측 차분 신호(4)를 변환부(310)에 출력한다. 변환부(310)는 입력되는 단일 색성분몫의 예측 차분 신호(4)를 변환하여 변환 계수로서 양자화부(9)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 중 어느 하나로부터 선택하도록 하더라도 좋다. 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(464)의 값에 반영하고, 동 플래그를 비트 스트림으로 다중화한다. 양자화부(9)는 입력되는 변환 계수를, 부호화 제어부(19)에 의해 정해지는 양자화 파라미터(21)에 근거하여 양자화를 행하고, 양자화 완료 변환 계수(10)로서 가변 길이 부호화부(11)에 출력한다. 양자화 완료 변환 계수(10)는, 단일 색성분몫의 정보를 포함하여, 가변 길이 부호화부(11)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다. 또한, 양자화 완료 변환 계수(10)는 역양자화부(12), 역변환부(312)를 지나 국부 복호 예측 차분 신호(14)로 복원되고, 선정된 매크로 블록 타입/서브 매크로 블록 타입(106)과 예측 오버헤드 정보(463)에 근거하여 생성되는 예측 화상(7)과 가산기(18)에서 가산함으로써 국부 복호 화상(15)이 생성된다. 국부 복호 화상(15)은, 디블록킹 필터(462)로 블록 왜곡 제거 처리를 실시한 후, 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(16b)에 저장된다. 가변 길이 부호화부(11)에는, 당해 매크로 블록에 대하여 디블록킹 필터를 실시할지 여부를 나타내는 디블록킹 필터 제어 플래그(24)도 입력된다.
가변 길이 부호화부(11)에 입력되는 양자화 완료 변환 계수(10), 매크로 블록 타입/서브 매크로 블록 타입(106), 예측 오버헤드 정보(463), 양자화 파라미터(21)는 소정의 규칙(syntax)에 따라 비트 스트림으로서 배열ㆍ정형되고, 도 67의 형식의 매크로 블록이 하나 내지는 복수가 종합된 슬라이스 데이터의 단위로 NAL 유닛화된 부호화 데이터로서 송신 버퍼(17)에 출력된다. 송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞추어 비트 스트림을 평활화하여 비디오 스트림(422b0)(422b1, 422b2)으로서 출력한다. 또한, 송신 버퍼(17) 중의 비트 스트림 축적 상황에 따라 부호화 제어부(19)에 피드백을 걸어, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.
또, 제 2 픽쳐 부호화부(503b0~503b2)의 출력은, 단일 색성분의 데이터만으로 이루어지는 슬라이스로서, 액세스 유닛을 정리한 단위에서의 부호량 제어가 필요해지는 경우에는, 다중화부(504) 내에 모든 색성분의 슬라이스를 다중한 단위에서의 공통 송신 버퍼를 마련하고, 동 버퍼의 점유량을 바탕으로 각 색성분의 부호화 제어부(19)에 피드백을 걸도록 구성하더라도 좋다. 또한, 이때, 모든 색성분의 발생 정보량만을 이용하여 부호화 제어를 행하도록 하더라도 좋고, 각 색성분의 송신 버퍼(17)의 상태도 가미하여 부호화 제어를 행하도록 하더라도 좋다. 모든 색성분의 발생 정보량만을 이용하여 부호화 제어를 행하는 경우는, 송신 버퍼(17) 상당의 기능을 다중화부(504) 내의 공통 송신 버퍼로 실현하는 것으로 하여, 송신 버퍼(17)를 생략하는 구성을 취할 수도 있다.
본 실시예 14에 있어서의 제 2 픽쳐 부호화부(503b0~503b2)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(423)에 의해 시퀀스 중의 모든 슬라이스 데이터가 단일 색성분 슬라이스(즉, C0 슬라이스 또는 C1 슬라이스 또는 C2 슬라이스)인 것이 식별 가능하므로, 슬라이스 헤더에 항상 색성분 식별 플래그를 다중화하고, 복호 장치측에서 어떤 슬라이스가 액세스 유닛 내의 어떤 픽쳐 데이터에 해당하는지를 식별할 수 있도록 한다. 이 때문에, 각 제 2 픽쳐 부호화부(503b0~503b2)는, 각각의 송신 버퍼(17)로부터의 출력을 1픽쳐분 모으는 일 없이, 1슬라이스분의 데이터가 쌓인 시점에서 송출할 수 있다.
또 공통 부호화ㆍ독립 부호화 식별 신호(num_pictures_in_au)는, 공통 부호화 처리에 의한 부호화 데이터와 독립 부호화 처리에 의한 부호화 데이터를 구별하는 정보(공통 부호화 식별 정보)와, 하나의 액세스 유닛 내에 몇 매의 단일 색성분 픽쳐가 존재하는지를 나타내는 정보(색성분의 수)를 동시에 표현할 수 있도록 했지만, 상기 2개의 정보를 독립적인 정보로서 부호화하더라도 좋다.
또, 제 1 픽쳐 부호화부(503a)와 제 2 픽쳐 부호화부(503b0~503b2)는, 매크로 블록 헤더 정보를 3성분 공통의 정보로서 취급할지, 단일 색성분의 정보로서 취급할지의 차이와, 슬라이스 데이터의 비트 스트림 구성이 다를 뿐이다. 도 73이나 도 74에 있어서의 예측부나 변환부ㆍ역변환부, 양자화부ㆍ역양자화부, 디블록킹 필터 등의 기본적인 처리 블록의 대부분은, 3개의 색성분의 정보와 정리하여 처리할지, 단일 색성분의 정보만을 취급할지의 차이뿐이고, 제 1 픽쳐 부호화부(503a)와 제 2 픽쳐 부호화부(503b0~503b2)에서 공통의 기능 블록으로 실현할 수도 있다. 따라서, 도 71과 같은 완전히 독립적인 부호화 처리부로서 뿐만 아니라, 도 73이나 도 74의 기본 구성 요소를 적절히 조합하여 다양한 부호화 장치의 실장을 실현할 수 있다. 또한, 제 1 픽쳐 부호화부(503a)에서의 메모리(16a)의 배치를 면순차로 갖게 하면, 참조 화상 저장 메모리의 구성을 제 1 픽쳐 부호화부(503a)와 제 2 픽쳐 부호화부(503b0~503b2)에서 공통으로 할 수 있다.
또, 도시는 하고 있지 않지만, 본 실시예 14에 있어서의 부호화 장치에서는, 도 69, 도 70의 배열에 따르는 비디오 스트림(422c)을 버퍼링하는 가상적인 스트림 버퍼(부호화 픽쳐 버퍼)와, 복호 화상(427a, 427b)을 버퍼링하는 가상적인 프레임 메모리(복호 픽쳐 버퍼)의 존재를 상정하고, 부호화 픽쳐 버퍼의 오버플로우ㆍ언더플로우나, 복호 픽쳐 버퍼의 파탄이 없도록 비디오 스트림(422c)을 생성한다. 이 제어는 주로, 부호화 제어부(19)에서 행한다. 이에 따라, 복호 장치에 있어서, 비디오 스트림(422c)을 부호화 픽쳐 버퍼와 복호 픽쳐 버퍼의 동작(가상 버퍼 모델)에 따라 복호하는 경우에, 복호 장치에 파탄이 발생하지 않도록 하는 것을 보증한다. 가상 버퍼 모델을 이하에 규정한다.
부호화 픽쳐 버퍼의 동작은 액세스 유닛 단위로 행한다. 상술한대로, 공통 복호 처리를 행하는 경우에는 1액세스 유닛에는 1픽쳐분의 부호화 데이터가 포함되고, 독립 복호 처리를 행하는 경우에는 1액세스 유닛에는 색성분 수몫의 픽쳐(3성분이라면 3픽쳐분)의 부호화 데이터가 포함되어 있다. 부호화 픽쳐 버퍼에 대하여 규정되는 동작은, 액세스 유닛의 최초의 비트와 최후의 비트가 부호화 픽쳐 버퍼에 입력되는 시각과 액세스 유닛의 비트가 부호화 픽쳐 버퍼로부터 판독되는 시각이다. 또 부호화 픽쳐 버퍼로부터의 판독은 순간에 행해진다고 규정하고, 액세스 유닛의 모든 비트가 같은 시각에 부호화 픽쳐 버퍼로부터 판독되는 것으로 한다. 액세스 유닛의 비트는 부호화 픽쳐 버퍼로부터 판독되면, 상위 헤더 해석부에 입력되고, 상술한대로, 제 1 픽쳐 복호부 또는 제 2 픽쳐 복호부에서 복호 처리가 행해져, 액세스 유닛 단위로 묶여진 컬러 영상 프레임으로서 출력된다. 또 부호화 픽쳐 버퍼로부터 비트를 판독하여, 액세스 유닛 단위의 컬러 영상 프레임으로서 출력하기까지의 처리는, 가상 버퍼 모델의 규정상은 순간에 행해지는 것으로 한다. 액세스 유닛 단위로 구성된 컬러 영상 프레임은 복호 픽쳐 버퍼에 입력되어, 복호 픽쳐 버퍼로부터의 출력 시각이 산출된다. 복호 픽쳐 버퍼로부터의 출력 시각은, 부호화 픽쳐 버퍼로부터의 판독 시각에 소정의 지연 시간을 가한 값이다. 이 지연 시간은 비트 스트림으로 다중하여 복호 장치를 제어하는 것이 가능하다. 지연 시간이 0인 경우, 즉, 복호 픽쳐 버퍼로부터의 출력 시각이 부호화 픽쳐 버퍼로부터의 판독 시각과 같은 경우에는, 컬러 영상 프레임이 복호 픽쳐 버퍼에 입력됨과 동시에 복호 픽쳐 버퍼로부터 출력된다. 그 이외의 경우, 즉, 복호 픽쳐 버퍼로부터의 출력 시각이 부호화 픽쳐 버퍼로부터의 판독 시각보다 느린 경우, 복호 픽쳐 버퍼로부터의 출력 시각이 될 때까지 컬러 영상 프레임은 복호 픽쳐 버퍼에 보존된다. 상술한대로, 액세스 유닛 단위에 복호 픽쳐 버퍼로부터의 동작이 규정된다.
도 75는 본 실시예 14의 복호 장치의 개략 구성을 나타내는 설명도이다. 도 75에 있어서, 공통 복호 처리는 제 1 픽쳐 복호부(603a)에서 실행되고, 독립 복호 처리는 색성분 판정부(602)와 제 2 픽쳐 복호부(603b0, 603b1, 603b2)(3개의 색성분몫을 준비)에 있어서 실행된다.
비디오 스트림(422c)은, 상위 헤더 해석부(610)에서 NAL 유닛 단위로 분할되고, 시퀀스 파라미터 세트나 픽쳐 파라미터 세트 등의 상위 헤더 정보는, 그대로 복호하여 복호 장치 내의 제 1 픽쳐 복호부(603a), 색성분 판정부(602), 제 2 픽쳐 복호부(603b0~603b2)가 참조 가능한 소정의 메모리 영역에 저장하여 둔다. 시퀀스 단위로 다중되는 공통 부호화ㆍ독립 부호화 식별 신호(423)(num_pictures_in_au)는, 상위 헤더 정보의 일부로서 복호ㆍ유지된다.
복호된 num_pictures_in_au는 스위치(SW)(601)에 공급되고, 스위치(601)는 num_pictures_in_au = 1이면, 픽쳐마다의 슬라이스 NAL 유닛을 제 1 픽쳐 복호부(603a)에 공급하고, num_pictures_in_au = 3이면, 색성분 판정부(602)에 공급한다. 즉, num_pictures_in_au = 1이면 제 1 픽쳐 복호부(603a)에 의해, 공통 복호 처리가 행해지고, num_pictures_in_au = 3이면 3개의 제 2 픽쳐 복호부(603b0~603b2)에 의해, 독립 복호 처리가 행해진다. 제 1 및 제 2 픽쳐 복호부의 상세한 동작은 후술한다.
색성분 판정부(602)는, 도 70에서 나타낸 색성분 식별 플래그의 값에 의해, 슬라이스 NAL 유닛이 현재의 액세스 유닛 내의 어느 쪽의 색성분 픽쳐에 상당하는지를 식별하고, 적절한 제 2 픽쳐 복호부(603b0~603b2)에 분배 공급한다. 이러한 복호 장치의 구성에 의해, 도 72와 같이 액세스 유닛 내에서 슬라이스가 인터리브되어 부호화된 비트 스트림을 수신하더라도, 어떤 슬라이스가 어떤 색성분 픽쳐에 속하는지를 용이하게 판별하여 정확하게 복호할 수 있는 효과가 있다.
제 1 픽쳐 복호부의 동작 개요
제 1 픽쳐 복호부(603a)의 내부 구성을 도 76에 나타낸다. 제 1 픽쳐 복호부(603a)는, 도 71의 부호화 장치로부터 출력되는 도 69, 도 70의 배열에 따르는 비디오 스트림(442c)을, 상위 헤더 해석부(610)에서 NAL 유닛 단위로 분할한 후, C0, C1, C2혼재 슬라이스의 단위로 수신하고, 도 66에 나타내는 3개의 색성분의 샘플로 이루어지는 매크로 블록을 단위로서 복호 처리를 행하여, 출력 영상 프레임을 복원한다.
가변 길이 복호부(25)는 NAL 유닛으로 분할된 비디오 스트림(442c)을 입력으로 하여, 소정의 규칙(syntax)에 따라 비디오 스트림(442c)을 해독하고, 3성분몫의 양자화 완료 변환 계수(10), 및 3성분에서 공통하여 이용되는 매크로 블록 헤더 정보(매크로 블록 타입/서브 매크로 블록 타입(106), 예측 오버헤드 정보(463), 변환 블록 사이즈 지정 플래그(464), 양자화 파라미터(21))를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 아울러, 제 1 픽쳐 부호화부(503a)와 같은 처리를 행하는 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 제 1 픽쳐 부호화부(503a)와 같은 처리를 행하는 역변환부(312)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다(변환 블록 사이즈 지정 플래그(464)가 비디오 스트림(422c) 중에 존재하면, 그것을 역양자화, 역변환 처리 과정에서 참조한다). 한편, 예측부(461)는, 제 1 픽쳐 부호화부(503a) 중의 예측부(461) 중, 예측 오버헤드 정보(463)를 참조하여 예측 화상(7)을 생성하는 처리만이 포함되고, 예측부(461)에 대하여 매크로 블록 타입/서브 매크로 블록 타입(106), 예측 오버헤드 정보(463)가 입력되어, 3성분몫의 예측 화상(7)을 얻는다. 매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 인트라 예측 모드 정보에 따라 3성분몫의 예측 화상(7)을 얻고, 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 움직임 벡터, 참조 화상 인덱스에 따라 3성분몫의 예측 화상(7)을 얻는다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 3성분몫의 잠정 복호 화상(국부 복호 화상)(15)을 얻는다. 잠정 복호 화상(15)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해, 제 1 픽쳐 부호화부(503a)와 같은 처리를 행하는 디블록킹 필터(462)로 3성분몫의 잠정 복호 화상 샘플에 대하여 블록 왜곡 제거 처리를 실시한 후, 복호 화상(427a)으로서 출력됨과 아울러, 메모리(16a)에 저장된다. 이때, 가변 길이 복호부(25)에 의해 해독된 디블록킹 필터 제어 플래그(24)의 지시에 근거하여 디블록킹 필터 처리를 잠정 복호 화상(15)에 대하여 작용시킨다. 메모리(16a)에는, 복수 시각에 걸친, 3개의 색성분으로 구성되는 복수의 참조 화상 데이터가 저장되고, 예측부(461)에서는, 이들 중에서 매크로 블록의 단위로 비트 스트림으로부터 추출한 참조 화상 인덱스로 표시되는 참조 화상을 선택하여 예측 화상 생성을 행한다. 메모리(16a) 내의 참조 화상 데이터의 배치는, 색성분마다 면순차로 나누어 저장하더라도 좋고, 각 색성분의 샘플을 점순차로 저장하더라도 좋다. 복호 화상(427a)은 3개의 색성분을 포함하고, 그대로 공통 복호 처리에 있어서의 액세스 유닛(427a0)을 구성하는 컬러 영상 프레임이 된다.
제 2 픽쳐 복호부의 동작 개요
제 2 픽쳐 복호부(603b0~603b2)의 내부 구성을 도 77에 나타낸다. 제 2 픽쳐 복호부(603b0~603b2)는, 도 71의 부호화 장치로부터 출력되는 도 69, 도 70의 배열에 따르는 비디오 스트림(442c)이, 상위 헤더 해석부(610)에서 NAL 유닛 단위로 분할되고, 색성분 판정부(602)에서 할당된 C0 내지는, C1 내지는, C2 슬라이스 NAL 유닛 단위로 수신하여, 도 67에 나타내는 단일 색성분의 샘플로 이루어지는 매크로 블록을 단위로서 복호 처리를 행하여, 출력 영상 프레임을 복원한다.
가변 길이 복호부(25)는 비디오 스트림(422c)을 입력으로 하여, 소정의 규칙(syntax)에 따라 비디오 스트림(422c)을 해독하여, 단일 색성분의 양자화 완료 변환 계수(10), 및 단일 색성분에 적용하는 매크로 블록 헤더 정보(매크로 블록 타입/서브 매크로 블록 타입(106), 예측 오버헤드 정보(463), 변환 블록 사이즈 지정 플래그(464), 양자화 파라미터(21))를 추출한다. 양자화 완료 변환 계수(10)는 양자화 파라미터(21)와 아울러 제 2 픽쳐 부호화부(503b0)(503b1, 503b2)와 같은 처리를 행하는 역양자화부(12)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 제 2 픽쳐 부호화부(503b0)(503b1, 503b2)와 같은 처리를 행하는 역변환부(312)에 입력되어, 국부 복호 예측 차분 신호(14)로 복원된다(변환 블록 사이즈 지정 플래그(464)가 비디오 스트림(422c) 중에 존재하면, 그것을 역양자화, 역직교 변환 처리 과정에서 참조한다). 한편, 예측부(461)는, 제 2 픽쳐 부호화부(503b0)(503b1, 503b2) 중의 예측부(461) 중, 예측 오버헤드 정보(463)를 참조하여 예측 화상(7)을 생성하는 처리만이 포함되고, 예측부(461)에 대하여 매크로 블록 타입/서브 매크로 블록 타입(106), 예측 오버헤드 정보(463)가 입력되어, 단일 색성분의 예측 화상(7)을 얻는다. 매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 인트라 예측 모드 정보에 따라 단일 색성분의 예측 화상(7)을 얻고, 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(463)로부터 움직임 벡터, 참조 화상 인덱스에 따라 단일 색성분의 예측 화상(7)을 얻는다. 국부 복호 예측 차분 신호(14)와 예측 화상(7)은 가산기(18)에 의해 가산되어, 단일 색성분 매크로 블록의 잠정 복호 화상(15)을 얻는다. 잠정 복호 화상(15)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해, 제 2 픽쳐 부호화부(503b0)(503b1, 503b2)와 같은 처리를 행하는 디블록킹 필터(26)로 단일 색성분의 잠정 복호 화상 샘플에 대하여 블록 왜곡 제거 처리를 실시한 후, 복호 화상(427b)으로서 출력됨과 아울러, 메모리(16b)에 저장된다. 이때, 가변 길이 복호부(25)에 의해 해독된 디블록킹 필터 제어 플래그(24)의 지시에 근거하여 디블록킹 필터 처리를 잠정 복호 화상(15)에 대하여 작용시킨다. 복호 화상(427b)은 단일 색성분의 샘플만을 포함하고, 도 75에 있어서의 다른 병렬 처리되는 제 2 픽쳐 복호부(603b0~603b2)의 각각의 출력인 복호 화상(427b)을 액세스 유닛(427b0)의 단위로 묶음으로써, 컬러 영상 프레임으로서 구성된다.
이상으로부터 분명하듯이, 제 1 픽쳐 복호부(603a)와 제 2 픽쳐 복호부(603b0~603b2)는, 매크로 블록 헤더 정보를 3성분 공통의 정보로서 취급할지, 단일 색성분의 정보로서 취급할지의 차이와, 슬라이스 데이터의 비트 스트림 구성이 다를 뿐이고, 도 73이나 도 74에 있어서의 움직임 보상 예측 처리나 역변환, 역양자화 등의 기본적인 복호 처리 블록의 대부분은 제 1 픽쳐 복호부(603a)와 제 2 픽쳐 복호부(603b0~603b2)에서 공통의 기능 블록으로 실현할 수 있다. 따라서, 도 75와 같은 완전히 독립적인 복호 처리부로서 뿐만 아니라, 도 76이나 도 77의 기본 구성 요소를 적절히 조합하여 다양한 복호 장치의 실장을 실현할 수 있다. 또한, 제 1 픽쳐 복호부(603a)에서의 메모리(16a)의 배치를 면순차로 갖게 하면, 메모리(16a), 메모리(16b)의 구성을 제 1 픽쳐 복호부(603a)와 제 2 픽쳐 복호부(603b0~603b2)에서 공통으로 할 수 있다.
또, 도 75의 복호 장치는, 도 71의 부호화 장치의 다른 형태로서, 공통 부호화ㆍ독립 부호화 식별 신호(423)를 항상 「독립 부호화 처리」에 고정화하여, 제 1 픽쳐 부호화부(503a)를 일절 사용하지 않고 모든 프레임을 독립 부호화하도록 구성된 부호화 장치로부터 출력되는 비트 스트림을 수신하여 복호하는 것도 물론 가능하다. 또한, 도 75의 복호 장치의 다른 형태로서, 항상 공통 부호화ㆍ독립 부호화 식별 신호(423)가 「독립 부호화 처리」에 고정화되는 것을 전제로 하는 이용 형태에서는, 스위치(601)나 제 1 픽쳐 복호부(603a)를 생략한 독립 복호 처리만을 행하는 복호 장치로서 구성하더라도 좋다.
또 공통 부호화ㆍ독립 부호화 식별 신호(num_pictures_in_au)는, 공통 부호화 처리에 의한 부호화 데이터와 독립 부호화 처리에 의한 부호화 데이터를 구별하는 정보(공통 부호화 식별 정보)와, 하나의 액세스 유닛 내에 몇 매의 단일 색성분 픽쳐가 존재하는지를 나타내는 정보(색성분의 수)를 포함하도록 했지만, 상기 2개의 정보가 독립적인 정보로서 부호화되어 있더라도 좋다.
또한, 제 1 픽쳐 복호부(603a)에, 종래의 YUV 4 : 2 : 0 포맷을 대상으로 하여 3성분 정리하여 부호화된 AVC 하이 프로파일 준거의 비트 스트림의 복호 기능을 구비하도록 하고, 상위 헤더 해석부(610)에 있어서, 비디오 스트림(422c)으로부터 복호하는 프로파일 식별자를 참조하여 어떤 포맷으로 부호화된 비트 스트림인지를 판정하여, 판정 결과를 공통 부호화ㆍ독립 부호화 식별 신호(423)의 신호선의 정보의 일부로서 스위치(601)와 제 1 픽쳐 복호부(603a)에 전하는 구성을 취하면, 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수도 있다.
또, 본 실시예 14에 있어서의 제 1 픽쳐 부호화부(503a)에서는, 슬라이스 데이터에 3개의 색성분의 정보가 혼재하고, 또한 3개의 색성분에 대하여 완전히 같은 인트라ㆍ인터 예측 처리를 실시하므로, 예측 오차 신호 공간에서, 색성분 사이에서의 신호 상관이 잔존하는 경우가 있다. 이것을 제거하는 고안으로서, 예컨대, 예측 오차 신호에 대하여, 상기 실시예 13에서 말했던 색공간 변환 처리를 실시하도록 구성하더라도 좋다. 이러한 구성을 갖는 제 1 픽쳐 부호화부(503a)의 예를 도 78, 도 79에 나타낸다. 도 78은 색공간 변환 처리를, 변환 처리를 행하기 전의 화소 레벨로 실시하는 예이며, 색공간 변환부(465)를 변환부(310)의 앞에, 역 색공간 변환부(466)를 역변환부(312)의 뒤에 배치한다. 도 79는, 색공간 변환 처리를, 변환 처리를 행한 후에 얻어진 계수 데이터에 대하여 처리 대상의 주파수 성분을 적절히 선택하면서 실시하는 예이며, 색공간 변환부(465)를 변환부(310)의 뒤에, 역 색공간 변환부(466)를 역변환부(312)의 앞에 배치한다. 색공간 변환을 실시하는 주파수 성분을 한정함으로써, 특정한 색성분에 포함되는 고주파 노이즈 성분이 노이즈를 별로 포함하지 않는 다른 색성분에 전파되는 것을 억제할 수 있는 효과가 있다. 색공간 변환 처리의 대상이 되는 주파수 성분을 적응 선택 가능하게 하는 경우에는, 복호측에서 부호화시의 선택을 판단하기 위한 시그널링 정보(467)를 비트 스트림으로 다중화한다.
색공간 변환 처리는, 부호화 대상의 화상 신호의 성질에 따라 상기 실시예 13에서 말했던 복수의 변환 방식을 매크로 블록 단위로 전환하여 사용하도록 하여도 좋고, 매크로 블록의 단위로 변환 유무를 판정하도록 구성하더라도 좋다. 선택 가능한 변환 방식의 종별을 시퀀스 레벨 등으로 지정하여 두고, 그들 중에서 어느 것을 고르는지를 픽쳐, 슬라이스, 매크로 블록 등의 단위로 지정하도록 구성할 수 있다. 또한, 직교 변환의 전에 실시할지, 후에 실시할지를 선택 가능하도록 구성하더라도 좋다. 이들 적응 부호화 처리를 행하는 경우는, 선택 가능한 모든 선택지에 대하여, 부호화 모드 판정부(5)에서 부호화 효율의 평가를 행하여 가장 부호화 효율이 높은 것을 선택하도록 구성할 수 있다. 이들 적응 부호화 처리를 실시하는 경우는, 복호측에서 부호화시의 선택을 판단하기 위한 시그널링 정보(467)를 비트 스트림으로 다중화한다. 이러한 시그널링은, 슬라이스, 픽쳐, GOP, 시퀀스 등 매크로 블록과는 다른 레벨로 지정하더라도 좋다.
도 78, 도 79의 부호화 장치에 대응하는 복호 장치를 도 80, 도 81에 나타낸다. 도 80은 도 78의 부호화 장치에 의해, 변환 처리 전에 색공간 변환이 행해져 부호화된 비트 스트림을 복호하는 복호 장치이다. 가변 길이 복호부(25)는 비트 스트림으로부터, 역 색공간 변환부(466)에 있어서 변환을 행할지 여부를 선택하는 변환 유무의 정보나, 역 색공간 변환부(466)에 있어서 실행 가능한 변환 방식을 선택하는 정보인 시그널링 정보(467)를 복호하여, 역 색공간 변환부(466)에 공급한다. 도 80의 복호 장치는, 역 색공간 변환부(466)에 있어서, 이들 정보에 근거하여 역변환 후의 예측 오차 신호에 대한 색공간 변환 처리를 실시한다. 또한, 도 81은 도 79의 부호화 장치에 의해, 변환 처리 후에 처리 대상의 주파수 성분을 선택하여 색공간 변환을 행함으로써 부호화된 비트 스트림을 복호하는 복호 장치이다. 가변 길이 복호부는 비트 스트림으로부터, 역 색공간 변환부(466)에 있어서 변환을 행할지 여부를 선택하는 변환 유무의 정보나, 역 색공간 변환부에서 실행되는 변환 방식을 선택하는 정보나, 색공간 변환을 실시하는 주파수 성분을 특정하는 정보 등을 포함하는 식별 정보인 시그널링 정보(467)를 복호하여 역 색공간 변환부(466)에 공급한다. 도 81의 복호 장치는, 역 색공간 변환부(466)에 있어서, 이들 정보에 근거하여 역양자화 후의 변환 계수 데이터에 대하여 색공간 변환 처리를 실시한다.
도 80, 도 81의 복호 장치는, 도 75의 복호 장치와 마찬가지로, 제 1 픽쳐 복호부(603a)에, 종래의 YUV 4 : 2 : 0 포맷을 대상으로 하여 3성분 정리하여 부호화된 AVC 하이 프로파일 준거의 비트 스트림의 복호 기능을 구비하도록 하고, 상위 헤더 해석부(610)에 있어서, 비디오 스트림(422c)으로부터 복호하는 프로파일 식별자를 참조하여 어떤 포맷으로 부호화된 비트 스트림인지를 판정하여, 판정 결과를 공통 부호화ㆍ독립 부호화 식별 신호(423)의 신호선의 정보의 일부로서 스위치(601)와 제 1 픽쳐 복호부(603a)에 전하는 구성을 취하면, 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수도 있다.
도 82에 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림에 포함되는 매크로 블록 헤더 정보의 부호화 데이터의 구성을 나타낸다. 도 50에 나타낸 Cn 성분 헤더 정보와 다른 점은, 매크로 블록 타입이 인트라 예측일 때에, 인트라 색차 예측 모드(144)의 부호화 데이터가 포함되어 있는 점뿐이다. 또 매크로 블록 타입이 인터 예측일 때에는, 매크로 블록 헤더 정보의 부호화 데이터의 구성은, 도 50에 나타낸 Cn 성분 헤더 정보와 동일하지만, 매크로 블록 헤더 정보에 포함되는 참조 화상 식별 번호, 움직임 벡터 정보를 이용하여 휘도 성분과는 다른 방법으로 색차 성분의 움직임 벡터가 생성된다.
종래의 YUV 4 : 2 : 0 포맷의 비트 스트림에 대한 호환성을 확보하는 복호 장치의 동작에 대하여 설명한다. 상술한대로, 제 1 픽쳐 복호부(603a)가 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림의 복호 기능을 구비하는 것으로 한다. 제 1 픽쳐 복호부의 내부 구성은 도 76과 동일하다.
종래의 YUV 4 : 2 : 0 포맷의 비트 스트림의 복호 기능을 구비한 제 1 픽쳐 복호부의 가변 길이 복호부(25)의 동작을 설명한다. 비디오 스트림(422c)이 가변 길이 복호부에 입력되면, 색차 포맷 지시 플래그를 복호한다. 색차 포맷 지시 플래그는 비디오 스트림(422c)의 시퀀스 파라미터 헤더에 포함되고, 입력 영상 포맷이 4 : 4 : 4인지, 4 : 2 : 2인지, 4 : 2 : 0인지, 4 : 0 : 0인지를 나타내는 플래그이다. 비디오 스트림(422c)의 매크로 블록 헤더 정보의 복호 처리는 색차 포맷 지시 플래그의 값에 의해 전환된다. 매크로 블록 타입이 인트라 예측을 나타내고 있는 경우에, 색차 포맷 지시 플래그가 4 : 2 : 0 또는 4 : 2 : 2를 나타내고 있는 경우에는 인트라 색차 예측 모드(144)를 비트 스트림으로부터 복호한다. 색차 포맷 지시 플래그가 4 : 4 : 4를 나타내고 있는 경우에는 인트라 색차 예측 모드(144)의 복호를 스킵한다. 색차 포맷 지시 플래그가 4 : 0 : 0을 나타내고 있는 경우, 입력 영상 신호는 휘도 신호만으로 구성되는 포맷(4 : 0 : 0 포맷)이므로, 인트라 색차 예측 모드(144)의 복호를 스킵한다. 인트라 색차 예측 모드(144) 이외의 매크로 블록 헤더 정보의 복호 처리는, 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림의 복호 기능을 구비하고 있지 않은 제 1 픽쳐 복호부(603a)의 가변 길이 복호부와 동일하다. 이상에 따라 비디오 스트림(422c)이 가변 길이 복호부(25)에 입력되면, 색차 포맷 지시 플래그(도시하지 않음), 3성분몫의 양자화 완료 변환 계수(10), 매크로 블록 헤더 정보(매크로 블록 타입/서브 매크로 블록 타입(106), 예측 오버헤드 정보(463), 변환 블록 사이즈 지정 플래그(464), 양자화 파라미터(21))를 추출한다. 예측부(461)에는, 색차 지시 포맷 지시 플래그(도시하지 않음)와 예측 오버헤드 정보(463)가 입력되어, 3성분몫의 예측 화상(7)을 얻는다.
도 83에 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림에 대한 호환성을 확보하는 제 1 픽쳐 복호부의 예측부(461)의 내부 구성을 나타내고, 그 동작을 설명한다.
전환부(4611a)는, 매크로 블록 타입을 판별하여, 매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 전환부(4611b)에서 색차 포맷 지시 플래그의 값을 판별한다. 색차 포맷 지시 플래그의 값이, 4 : 2 : 0 또는 4 : 2 : 2 중 어느 하나를 나타내는 경우에는, 예측 오버헤드 정보(463)로부터 인트라 예측 모드 정보와 인트라 색차 예측 모드 정보에 따라 3성분몫의 예측 화상(7)을 얻는다. 3성분 중, 휘도 신호의 예측 화상은, 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부(4612)에서 생성된다. 색차 신호 2성분의 예측 화상은, 인트라 색차 예측 모드 정보에 따라, 휘도 성분과는 다른 처리를 행하는 색차 신호 인트라 예측부(4613)에서 생성된다. 색차 포맷 지시 플래그의 값이, 4 : 4 : 4를 나타내는 경우에는, 3성분 모든 예측 화상이 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부(4612)에서 생성된다. 색차 포맷 지시 플래그의 값이, 4 : 0 : 0을 나타내는 경우에는, 4 : 0 : 0 포맷은 휘도 신호(1성분)만으로 구성되므로, 휘도 신호의 예측 화상만이 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부(4612)에서 생성된다.
전환부(4611a)에서 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 전환부(4611c)에서 색차 포맷 지시 플래그의 값을 판별한다. 색차 포맷 지시 플래그의 값이 4 : 2 : 0 또는 4 : 2 : 2 중 어느 하나를 나타내는 경우에는, 휘도 신호에 대해서는, 휘도 신호 인터 예측부(4614)에서 예측 오버헤드 정보(46)로부터 움직임 벡터, 참조 화상 인덱스에 따라, AVC 규격이 정하는 휘도 신호의 예측 화상 생성 방법에 따라 예측 화상이 생성된다. 색차 신호 2성분의 예측 화상에 대해서는, 색차 신호 인터 예측부(4615)에서, 예측 오버헤드 정보(463)로부터 얻어지는 움직임 벡터를 색차 포맷에 근거하여 스케일링하여 색차 움직임 벡터를 생성하고, 예측 오버헤드 정보(463)로부터 얻어지는 참조 화상 인덱스가 지시하는 참조 화상으로부터, 상기 색차 움직임 벡터에 근거하여 AVC 규격이 정하는 방법에 따라 예측 화상이 생성된다. 색차 포맷 지시 플래그의 값이, 4 : 0 : 0 을 나타내는 경우에는, 4 : 0 : 0 포맷은 휘도 신호(1성분)만으로 구성되므로, 휘도 신호의 예측 화상만이 움직임 벡터, 참조 화상 인덱스에 따라 휘도 신호 인터 예측부(4614)에서 생성된다.
이상과 같이, 종래의 YUV 4 : 2 : 0 포맷의 색차 신호의 예측 화상을 생성하는 수단을 마련하여, 비트 스트림으로부터 복호한 색차 포맷 지시 플래그의 값에 따라 3성분의 예측 화상의 생성에 이용하는 수단을 전환하도록 했으므로, 종래의 YUV 4 : 2 : 0 포맷의 비트 스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수 있다.
또, 도 80, 도 81의 복호 장치에 공급하는 비디오 스트림(422c)에, 도 75의 복호 장치와 같이 색공간 변환 처리를 지원하지 않는 복호 장치에서도 복호가 가능한 비트 스트림인지 여부를 나타내는 정보를 시퀀스 파라미터 세트 등의 단위로 부여하여 두면, 도 80, 도 81과 도 75 어느 쪽의 복호 장치에서도 각각의 복호 성능에 따른 비트 스트림의 복호가 가능하여, 비트 스트림의 호환성을 확보하기 쉬운 효과가 있다.
(실시예 15)
본 실시예 15에서는, 도 71이나 도 75 등 상기 실시예 14의 부호화 장치ㆍ복호 장치에 있어서, 그 입출력 대상이 되는 비트 스트림의 구성만이 다른 별도의 실시예에 대하여 말한다. 본 실시예 15에 있어서의 부호화 장치는, 도 84에 나타내는 비트 스트림 구성에서 부호화 데이터의 다중화를 행한다.
도 69의 구성의 비트 스트림에 있어서, AUD NAL 유닛은, 그 요소로서 primary_pic_type이라는 정보를 포함한다. 이것은, AUD NAL 유닛에서 시작되는 액세스 유닛 내의 픽쳐 데이터가 부호화될 때의 픽쳐 부호화 타입의 정보를 도 85에 나타낸다.
예컨대, primary_pic_type = 0인 경우는, 픽쳐 내 전부가 인트라 부호화되어 있는 것을 나타낸다. primary_pic_type = 1인 경우는, 인트라 부호화되는 슬라이스와, 참조 픽쳐 리스트를 하나만 사용하여 움직임 보상 예측을 행하는 것이 가능한 슬라이스가 픽쳐 내에서 혼재할 수 있는 것을 나타낸다. primary_pic_type은 하나의 픽쳐가 어떠한 부호화 모드를 사용하여 부호화할 수 있을지를 규정하는 정보이므로, 부호화 장치측에서는 이 정보를 조작함으로써, 입력 영상 신호의 성질이나 랜덤 액세스 기능 등의 여러 가지의 조건에 적합한 부호화를 행할 수 있다. 상기 실시예 14에서는, primary_pic_type이 액세스 유닛당 하나밖에 없으므로, 독립 부호화 처리를 행하는 경우의 액세스 유닛에서는 3개의 색성분 픽쳐에서 primary_pic_type은 공통으로 한다. 본 실시예 15에서는, 각 색성분 픽쳐의 독립 부호화를 행하는 경우에, 도 69의 AUD NAL 유닛 내에, num_pictures_in_au의 값에 따라, 추가로 나머지 2개의 색성분 픽쳐분의 primary_pic_type을 삽입할지, 도 84의 비트 스트림 구성과 같이, 각 색성분 픽쳐의 부호화 데이터를, 색성분 픽쳐의 개시를 나타내는 NAL 유닛(Color Channel Delimiter)으로부터 개시하도록 구성하고, 이 CCD NAL 유닛 중에, 대응하는 픽쳐의 primary_pic_type 정보를 포함하도록 구성한다. 이 구성에서는, 각 색성분 픽쳐의 부호화 데이터는 1픽쳐분 정리하여 다중되므로, 상기 실시예 14에서 말한 색성분 식별 플래그(color_channel_idc)는 슬라이스 헤더가 아니라, CCD NAL 유닛에 포함시키도록 한다. 이에 따라, 각 슬라이스로의 다중이 필요한 색성분 식별 플래그의 정보를 픽쳐 단위의 데이터로 집약할 수 있으므로, 오버헤드 정보를 삭감할 수 있는 효과가 있다. 또한, 바이트열로서 구성되는 CCD NAL 유닛을 검출하여 color_channel_idc를 색성분 픽쳐당 한 번만 검증하면 좋고, 가변 길이 복호 처리를 행하는 일 없이 색성분 픽쳐의 선두를 재빠르게 찾아 낼 수 있으므로, 복호 장치측에서, 색성분마다 복호 대상의 NAL 유닛을 분리하기 위해 슬라이스 헤더 중의 color_channel_idc를 축일 검증하지 않더라도 좋아져, 제 2 픽쳐 복호부로의 데이터 공급을 원활하게 행할 수 있다.
한편으로, 이러한 구성에서는, 상기 실시예 14의 도 72에서 말했던, 부호화 장치의 버퍼 사이즈, 처리 지연을 저감하는 효과가 작아지므로, 색성분 식별 플래그는 슬라이스 단위로 다중할지, 색성분 픽쳐 단위로 다중할지를 보다 상위의 레벨(시퀀스나 GOP)로 시그널링하도록 구성하더라도 좋다. 이러한 비트 스트림 구성을 취함으로써, 부호화 장치는 그 이용 형태에 따라 유연한 실장을 행하는 것이 가능해진다.
또한 다른 실시예로서, 도 86에 나타내는 비트 스트림 구성으로 부호화 데이터의 다중화를 행하더라도 좋다. 도 86에 있어서, 도 84에서는 CCD NAL 유닛에 포함하도록 한 color_channel_idc, primary_pic_type은 각 AUD에 포함하도록 한다. 본 실시예 15에 있어서의 비트 스트림 구성에서는, 독립 부호화 처리의 경우에도, 하나의 액세스 유닛에 하나의 (색성분) 픽쳐가 포함되도록 구성한다. 이러한 구성에서도, 색성분 식별 플래그의 정보를 픽쳐 단위의 데이터로 집약할 수 있음에 따른 오버헤드 정보의 삭감 효과, 또한, 바이트열로서 구성되는 AUD NAL 유닛을 검출하여 color_channel_idc를 픽쳐당 한 번만 검증하면 좋고, 가변 길이 복호 처리를 행하는 일 없이 색성분 픽쳐의 선두를 재빠르게 찾아 낼 수 있으므로, 복호 장치측에서, 색성분마다 복호 대상의 NAL 유닛을 분리하기 위해 슬라이스 헤더 중의 color_channel_idc를 축일 검증하는 일 없이 제 2 픽쳐 복호부로의 데이터 공급을 원활하게 행할 수 있다. 한편, 1프레임 내지는 1필드의 화상은 3개의 액세스 유닛으로 구성되므로, 3개의 액세스 유닛이 동일 시각의 화상 데이터인 것을 지정할 필요가 있다. 이 때문에, 도 86의 비트 스트림 구성에서는, 또한 AUD 중에, 각 픽쳐의 시퀀스 번호(시간 방향의 부호화ㆍ복호 순서 등)를 부여하도록 구성할 수도 있다. 이러한 구성에 의해, 복호 장치측에서는 각 픽쳐의 복호ㆍ표시순이나 색성분 속성, IDR의 시비 등을, 슬라이스 데이터를 일절 복호하는 일 없이 검증 가능해져, 비트 스트림 레벨의 편집이나 특수 재생을 효율적으로 행하는 것이 가능해진다.
또한, 도 69, 84 내지는 도 86의 비트 스트림 구성에 있어서, AUD나 CCD의 영역에, 한개의 색성분 픽쳐에 포함되는 슬라이스 NAL 유닛의 개수를 지정하는 정보를 저장하도록 구성하더라도 좋다.
또, 상기 모든 실시예에 대하여, 변환 처리, 역변환 처리는, DCT와 같이 직교성을 보증하는 변환이라도 좋고, AVC와 같은, 엄밀히는 DCT와 같은 직교 변환이 아닌, 양자화ㆍ역양자화 처리와 조합하여 직교성을 근사하는 변환이더라도 좋다. 또한, 변환을 행하지 않고서, 예측 오차 신호를 화소 레벨의 정보로서 부호화하는 구성이더라도 좋다.
산업상 이용가능성
본 발명은, 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용되는 디지털 화상 신호 부호화 장치, 디지털 화상 신호 복호 장치에 적용하는 것이 가능하다.
1 : 입력 영상 신호 2 : 공간 예측부
3 : 감산기 4 : 예측 차분 신호
5 : 부호화 모드 판정부 6 : 부호화 모드
7 : 예측 화상 8 : 직교 변환부
9 : 양자화부 10 : 양자화 완료 변환 계수
11 : 가변 길이 부호화부 11a : 컨텍스트 모델 결정부
11b : 이진화부 11c : 발생 확률 생성부
11d : 부호화부 11e : 부호화값
11f : 컨텍스트 모델 11g : 발생 확률 정보 기억 메모리
11h : 발생 확률 상태 12 : 역양자화부
13 : 역직교 변환부 14 : 국부 복호 예측 차분 신호
15 : 국부 복호 화상(잠정 복호 화상)
16 : 메모리 17 : 송신 버퍼
18 : 가산기 19 : 부호화 제어부
20 : 가중 계수 21 : 양자화 파라미터
22 : 비디오 스트림
23 : 인트라 예측 모드 공통화 식별 플래그
24 : 디블록킹 필터 제어 플래그 25 : 가변 길이 복호부
25a : 복호부 25b : bin 복원값
26 : 디블록킹 필터 27 : 복호 화상
28 : 인트라 부호화 모드 29 : 기본 인트라 예측 모드
30 : 확장 인트라 예측 모드
31 : 확장 인트라 예측 모드 테이블 지시 플래그
32 : 변환 블록 사이즈 식별 플래그
33 : 인트라 부호화 모드 공통화 식별 플래그
34 : 인트라 부호화 모드 35 : 인트라 예측 모드
36 : 인트라 예측 모드 지시 플래그 102 : 움직임 보상 예측부
106 : 매크로 블록 타입/서브 매크로 블록 타입
123 : 인터 예측 모드 공통화 식별 플래그
123b : 움직임 벡터 공통화 식별 플래그
123c : 매크로 블록 헤더 공통화 식별 플래그
128 : 기본 매크로 블록 타입 128b : 매크로 블록 타입
129 : 기본 서브 매크로 블록 타입 129b : 서브 매크로 블록 타입
130 : 확장 매크로 블록 타입 131 : 확장 서브 매크로 블록 타입
132 : 기본 참조 화상 식별 번호 132b : 참조 화상 식별 번호
133 : 기본 움직임 벡터 정보 134 : 확장 참조 화상 식별 번호
135 : 확장 움직임 벡터 정보 136 : 프로파일 정보
137 : 움직임 벡터
138, 138a, 138b, 138c : 스킵 지시 정보
139a, 139b, 139c : 헤더 정보
140a, 140b, 140c : 변환 계수 데이터
141 : 인트라 예측 모드
142 : 변환 계수 유효 무효 지시 정보
143 : 발생 확률 상태 파라미터 공통화 식별 플래그
144 : 인트라 색차 예측 모드 111 : 움직임 벡터 예측부
112 : 차분 움직임 벡터 산출부
113 : 차분 움직임 벡터 가변 길이 부호화부
250 : 움직임 벡터 복호부
251 : 차분 움직임 벡터 가변 길이 복호부
252 : 움직임 벡터 예측부 253 : 움직임 벡터 산출부
301 : 색공간 변환부 302 :변환 영상 신호
303 : 부호화 장치
304 : 색공간 변환 방법 식별 정보 305 : 비트 스트림
306 : 복호 장치 307 : 복호 화상
308 : 역 색공간 변환부 310 : 변환부
311 : 색공간 변환 방법 식별 정보 312 : 역변환부
422a, 422b0, 422b1, 422b2, 422c : 비디오 스트림
423 : 공통 부호화ㆍ독립 부호화 식별 신호
427a, 427b : 복호 화상 461 : 예측부
462 : 디블록킹 필터 463 : 예측 오버헤드 정보
464 : 변환 블록 사이즈 지정 플래그
465 : 색공간 변환부 466 : 역 색공간 변환부
467 : 시그널링 정보 501, 601 : 스위치
502 : 색성분 분리부 503a : 제 1 픽쳐 부호화부
503b0, 503b1, 503b2 : 제 2 픽쳐 부호화부
504 : 다중화부 602 : 색성분 판정부
603a : 제 1 픽쳐 복호부
603b0, 603b1, 603b2 : 제 2 픽쳐 복호부
610 : 상위 헤더 해석부 4611a, 4611b, 4611c : 전환부
4612 : 휘도 신호 인트라 예측부 4613 : 색차 신호 인트라 예측부
4614 : 휘도 신호 인터 예측부 4615 : 색차 신호 인터 예측부

Claims (70)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 복수의 색성분으로 구성되는 컬러 화상을 소정의 영역으로 분할한 단위로 압축 부호화함으로써 생성된 비트 스트림을 입력으로 하여, 컬러 화상 신호를 복호하는 화상 복호 장치에 있어서,
    상기 비트 스트림으로부터 색차 포맷 지시 정보와 공통 부호화ㆍ독립 부호화 식별 정보를 추출하는 헤더 해석부와,
    상기 색차 포맷 지시 정보가 4:2:0 또는 4:2:2 포맷을 나타내는 경우는, 상기 비트 스트림으로부터, 상기 영역마다, 휘도 성분에 이용하는 제 1 인트라 예측 모드 및 색차 성분에 이용하는 제 2 인트라 예측 모드를 복호하고, 또한, 상기 색차 포맷 지시 정보가 4:4:4 포맷을 나타내는 경우는, 상기 공통 부호화ㆍ독립 부호화 식별 정보에 근거하여, 각 색성분에 대응하는 제 1 인트라 예측 모드를 복호하여, 상기 영역의 예측 오차 신호를 복호하는 복호부와,
    상기 복호된 제 1 인트라 예측 모드에 근거하여 예측 화상을 생성하는 제 1 예측 화상 생성부와,
    상기 복호된 제 2 인트라 예측 모드에 근거하여 예측 화상을 생성하는 제 2 예측 화상 생성부와,
    상기 복호된 예측 오차 신호와 상기 예측 화상을 가산하여 복호 화상을 생성하는 가산부
    를 구비하고,
    상기 복호부는, 상기 공통 부호화ㆍ독립 부호화 식별 정보가, 상기 부호화 단위로 되는 영역을 각 색성분 공통의 예측 방법에 의해서 부호화하는 것을 나타내는 경우에는, 모든 색성분에 공통으로 이용하는 제 1 인트라 예측 모드를 복호하고, 상기 공통 부호화ㆍ독립 부호화 식별 정보가, 상기 부호화 단위로 되는 영역을 각 색성분 개별의 예측 방법에 의해서 부호화하는 것을 나타내는 경우는, 각 색성분마다 상기 영역의 단위로 제 1 인트라 예측 모드를 복호하고, 상기 색차 포맷 지시 정보에 근거해 상기 제 1 또는 제 2 예측 화상 생성부에 의해서 예측 화상을 생성하여 가산부로의 입력으로 하는 것
    을 특징으로 하는 화상 복호 장치.
  60. 복수의 색성분으로 구성되는 컬러 화상을 소정의 영역으로 분할한 단위로 압축 부호화함으로써 생성된 비트 스트림을 입력으로 하여, 컬러 화상 신호를 복호하는 화상 복호 방법에 있어서,
    상기 비트 스트림으로부터 색차 포맷 지시 정보와 공통 부호화ㆍ독립 부호화 식별 정보를 추출하는 추출 단계와,
    상기 색차 포맷 지시 정보가 4:2:0 또는 4:2:2 포맷을 나타내는 경우는, 상기 비트 스트림으로부터, 상기 영역마다, 휘도 성분에 이용하는 제 1 인트라 예측 모드 및 색차 성분에 이용하는 제 2 인트라 예측 모드를 복호하고, 또한, 상기 색차 포맷 지시 정보가 4:4:4 포맷을 나타내는 경우는, 상기 공통 부호화ㆍ독립 부호화 식별 정보에 근거하여, 각 색성분에 대응하는 제 1 인트라 예측 모드를 복호하여, 상기 영역의 예측 오차 신호를 복호하는 복호 단계와,
    상기 복호된 제 1 인트라 예측 모드에 근거하여 예측 화상을 생성하는 제 1 예측 화상 생성 단계와,
    상기 복호된 제 2 인트라 예측 모드에 근거하여 예측 화상을 생성하는 제 2 예측 화상 생성 단계와,
    상기 복호된 예측 오차 신호와 상기 예측 화상을 가산하여 복호 화상을 생성하는 가산 단계
    를 포함하고,
    상기 복호 단계는, 상기 공통 부호화ㆍ독립 부호화 식별 정보가, 상기 부호화 단위로 되는 영역을 각 색성분 공통의 예측 방법에 의해서 부호화하는 것을 나타내는 경우에는, 모든 색성분에 공통으로 이용하는 제 1 인트라 예측 모드를 복호하고, 상기 공통 부호화ㆍ독립 부호화 식별 정보가, 상기 부호화 단위로 되는 영역을 각 색성분 개별의 예측 방법에 의해서 부호화하는 것을 나타내는 경우는, 각 색성분마다 상기 영역의 단위로 제 1 인트라 예측 모드를 복호하고, 상기 색차 포맷 지시 정보에 근거해 상기 제 1 또는 제 2 예측 화상 생성 단계에 의해서 예측 화상을 생성하여 상기 가산 단계로의 입력으로 하는 것
    을 특징으로 하는 화상 복호 방법.
  61. 복수의 색성분으로 구성되는 컬러 화상을 입력으로 하여, 소정의 영역으로 분할한 단위로 압축 부호화하여 비트 스트림을 생성하는 화상 부호화 장치에 있어서,
    각 색성분의 신호를 독립적으로 부호화를 행할지 여부를 나타내는 식별 정보를 비트 스트림에 다중화하고, 또한,
    상기 식별 정보가, 각 색성분의 신호가 독립적으로 부호화되어 있는 것을 나타내는 경우는, 동일 프레임 또는 필드에 속하는 각 색성분 픽쳐의 부호화시, 부호화 순서를 나타내는 번호를 모든 색성분에 대해서 동일하게 하여 부호화하는 것
    을 특징으로 하는 화상 부호화 장치.
  62. 복수의 색성분으로 구성되는 컬러 화상을 입력으로 하여, 소정의 영역으로 분할한 단위로 압축 부호화하여 비트 스트림을 생성하는 화상 부호화 방법에 있어서,
    각 색성분의 신호를 독립적으로 부호화를 행할지 여부를 나타내는 식별 정보를 비트 스트림에 다중화하고, 또한,
    상기 식별 정보가, 각 색성분의 신호가 독립적으로 부호화되어 있는 것을 나타내는 경우는, 동일 프레임 또는 필드에 속하는 각 색성분 픽쳐의 부호화시, 부호화 순서를 나타내는 번호를 모든 색성분에 대해서 동일하게 하여 부호화하는 것
    을 특징으로 하는 화상 부호화 방법.
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
KR1020107028571A 2005-07-22 2006-06-16 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법 KR101213904B1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2005212601 2005-07-22
JPJP-P-2005-212601 2005-07-22
JP2005294768 2005-10-07
JPJP-P-2005-294768 2005-10-07
JP2005294767 2005-10-07
JPJP-P-2005-294767 2005-10-07
JPJP-P-2005-377638 2005-12-28
JP2005377638 2005-12-28
JP2006085210 2006-03-27
JPJP-P-2006-085210 2006-03-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107013666A Division KR101037855B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020117021863A Division KR101217400B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법

Publications (2)

Publication Number Publication Date
KR20110014656A KR20110014656A (ko) 2011-02-11
KR101213904B1 true KR101213904B1 (ko) 2012-12-20

Family

ID=37668575

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020107013666A KR101037855B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR1020097027351A KR100995226B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
KR1020117021863A KR101217400B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR1020107028571A KR101213904B1 (ko) 2005-07-22 2006-06-16 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR20087001610A KR100957754B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020107013666A KR101037855B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR1020097027351A KR100995226B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
KR1020117021863A KR101217400B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR20087001610A KR100957754B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Country Status (10)

Country Link
US (1) US20090034856A1 (ko)
EP (1) EP1909508A4 (ko)
JP (2) JP4542107B2 (ko)
KR (5) KR101037855B1 (ko)
CN (5) CN102176754B (ko)
BR (1) BRPI0611672A2 (ko)
CA (2) CA2732532C (ko)
HK (2) HK1159913A1 (ko)
RU (1) RU2506714C1 (ko)
WO (1) WO2007010690A1 (ko)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300700B2 (en) 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300694B2 (en) 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
CN101867820B (zh) * 2005-09-20 2013-05-29 三菱电机株式会社 图像解码装置以及图像解码方法
EP1972149B1 (en) 2006-01-10 2017-12-13 Thomson Licensing DTV Methods and apparatus for parallel implementations of 4:4:4 coding
KR101330630B1 (ko) 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
EP2136564A1 (en) * 2007-01-09 2009-12-23 Kabushiki Kaisha Toshiba Image encoding and decoding method and device
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US8565519B2 (en) * 2007-02-09 2013-10-22 Qualcomm Incorporated Programmable pattern-based unpacking and packing of data channel information
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
JP4729118B2 (ja) * 2007-03-30 2011-07-20 富士通株式会社 画像データ圧縮装置及び復号装置
JP2010147508A (ja) * 2007-04-13 2010-07-01 Panasonic Corp 撮影装置及び再生装置
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8139875B2 (en) 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN107105257B (zh) * 2007-06-29 2020-08-28 威勒斯媒体国际有限公司 图像编码装置、图像编码方法、图像译码装置、图像译码方法
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
US8184715B1 (en) * 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
TW200910971A (en) * 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
BRPI0817888A2 (pt) * 2007-10-15 2015-03-31 Mitsubishi Electric Corp Dispositivos e métodos de codificação e de decodificação de imagem.
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
TWI433545B (zh) 2007-10-30 2014-04-01 Nippon Telegraph & Telephone 影像編碼裝置及影像解碼裝置
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
EP2144432A1 (en) * 2008-07-08 2010-01-13 Panasonic Corporation Adaptive color format conversion and deconversion
BRPI0915821A2 (pt) * 2008-07-10 2015-11-10 Mitsubishi Electric Corp dispositivos codificador e decodificador de imagem, e, métodos de codificação e de decodificação de imagem.
US8325801B2 (en) 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
JP5639056B2 (ja) 2008-08-19 2014-12-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 輝度評価
CN102132247B (zh) 2008-08-19 2014-09-10 汤姆森特许公司 传播地图
CN102187583B (zh) * 2008-08-19 2013-09-11 汤姆森特许公司 基于上下文的自适应二进制算术编码（cabac）的视频流兼容性
WO2010021682A1 (en) 2008-08-19 2010-02-25 Thomson Licensing Cabac/avc compliant watermarking of syntax elements in compressed video
WO2010021694A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Selection of watermarks for the watermarking of compressed video
KR101306834B1 (ko) 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
KR20110106402A (ko) * 2009-01-27 2011-09-28 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
EP2230849A1 (en) * 2009-03-20 2010-09-22 Mitsubishi Electric R&D Centre Europe B.V. Encoding and decoding video data using motion vectors
KR101631280B1 (ko) * 2009-07-28 2016-06-16 삼성전자주식회사 스킵 모드에 기초한 영상을 복호화하는 방법 및 장치
KR101631278B1 (ko) * 2009-07-28 2016-06-16 삼성전자주식회사 모드 정보를 부호화, 복호화하는 방법 및 장치
KR101710622B1 (ko) * 2009-07-28 2017-02-28 삼성전자주식회사 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치
KR101633459B1 (ko) 2009-08-10 2016-06-24 삼성전자주식회사 컬러 간의 상관 관계를 이용한 영상 데이터 인코딩 장치 및 방법, 그리고 영상 데이터 디코딩 장치 및 방법
US8861879B2 (en) 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
KR101479129B1 (ko) 2009-10-01 2015-01-06 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
WO2011040796A2 (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
CA2774940C (en) * 2009-10-14 2014-06-10 Sony Corporation Joint scalar embedded graphics coding for color images
KR101487687B1 (ko) 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
CN102804782A (zh) 2010-01-15 2012-11-28 三星电子株式会社 用于预测编码的使用可变分区的视频编码的方法和设备以及用于预测编码的使用可变分区的视频解码的方法和设备
CN106454380B (zh) * 2010-01-15 2019-04-05 三星电子株式会社 对视频进行解码的方法
JP5547301B2 (ja) 2010-01-25 2014-07-09 トムソン ライセンシング 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法
JP5629783B2 (ja) * 2010-01-26 2014-11-26 ヴィディオ・インコーポレーテッド 低計算量の高フレームレートビデオエンコーダ
WO2011100048A1 (en) 2010-02-09 2011-08-18 Thomson Licensing Watermark detection using a propagation map
KR20180028430A (ko) * 2010-02-17 2018-03-16 한국전자통신연구원 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
JPWO2011104993A1 (ja) * 2010-02-24 2013-06-17 シャープ株式会社 画像符号化装置、及び画像復号装置
KR20150013776A (ko) * 2010-04-09 2015-02-05 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치
KR101789634B1 (ko) * 2010-04-09 2017-10-25 엘지전자 주식회사 비디오 데이터 처리 방법 및 장치
CN106231337B (zh) 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
CN106067983B (zh) 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
EP3703369B1 (en) 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
BR122020008249B1 (pt) 2010-04-13 2021-02-17 Ge Video Compression, Llc herança em amostra de arranjo em subdivisão multitree
KR101791242B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101813189B1 (ko) * 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR101791078B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US9510009B2 (en) 2010-05-20 2016-11-29 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
CN105763875B (zh) * 2010-07-15 2019-05-14 三菱电机株式会社 图像解码装置及其方法和图像编码装置及其方法
KR102006443B1 (ko) * 2010-09-30 2019-08-02 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
PL3637778T3 (pl) * 2010-10-06 2024-09-23 Ntt Docomo, Inc. Sposób dwupredykcyjnego dekodowania obrazu
CN103392341A (zh) 2010-12-23 2013-11-13 三星电子株式会社 用于对图像预测单元的帧内预测模式进行编码的方法和装置，以及用于对图像预测单元的帧内预测模式进行解码的方法和装置
CN102595124B (zh) 2011-01-14 2014-07-16 华为技术有限公司 图像编码解码方法、处理图像数据方法及其设备
CN105915903B (zh) * 2011-03-08 2017-09-22 Jvc 建伍株式会社 动图像编码装置以及动图像编码方法
JP5748553B2 (ja) * 2011-05-13 2015-07-15 キヤノン株式会社 撮像装置
CN103119943B (zh) * 2011-06-03 2017-03-08 太阳专利托管公司 图像编码方法及图像解码方法
US8743969B2 (en) 2011-06-23 2014-06-03 Panasonic Corporation Image decoding method and apparatus based on a signal type of the control parameter of the current block
KR101668575B1 (ko) * 2011-06-23 2016-10-21 가부시키가이샤 제이브이씨 켄우드 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR102062283B1 (ko) 2011-06-24 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CA2842646C (en) 2011-06-27 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN106878724B (zh) 2011-06-28 2020-06-05 太阳专利托管公司 图像编码解码装置
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CA2837537C (en) 2011-06-30 2019-04-02 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
CA2838575C (en) 2011-07-11 2018-06-12 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
SG187781A1 (en) * 2011-07-18 2013-03-28 Panasonic Corp Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
EP2736254B1 (en) * 2011-07-22 2018-07-04 Hitachi, Ltd. Video decoding method and image encoding method
CN103636226B (zh) * 2011-09-28 2017-11-24 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置
HUE060954T2 (hu) * 2011-11-07 2023-04-28 Tagivan Ii Llc Képdekódoló eljárás és képdekódoló eszköz
JP2013110517A (ja) 2011-11-18 2013-06-06 Canon Inc 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
CA2825767C (en) * 2011-12-21 2018-11-27 Panasonic Corporation Image coding method, image decoding method, image coding apparatus and image decoding apparatus
TWI720750B (zh) * 2011-12-28 2021-03-01 日商Ｊｖｃ建伍股份有限公司 動態影像編碼裝置及動態影像編碼方法
CN104041032B (zh) * 2012-01-12 2017-10-24 寰发股份有限公司 统一显著性位图上下文选择的方法及装置
CN103220508B (zh) 2012-01-20 2014-06-11 华为技术有限公司 编解码方法和装置
US9591328B2 (en) 2012-01-20 2017-03-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
EP2811743B1 (en) 2012-02-03 2021-03-03 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
CA2866121C (en) 2012-03-06 2018-04-24 Panasonic Intellectual Property Corporation Of America Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JP6066583B2 (ja) * 2012-05-01 2017-01-25 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
JP6132161B2 (ja) 2012-06-08 2017-05-24 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
CN103621088B (zh) 2012-06-27 2018-01-30 太阳专利托管公司 图像解码方法和图像解码装置
JP6137817B2 (ja) * 2012-11-30 2017-05-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
JP6151909B2 (ja) * 2012-12-12 2017-06-21 キヤノン株式会社 動画像符号化装置、方法およびプログラム
US9049442B2 (en) 2013-03-15 2015-06-02 Canon Kabushiki Kaisha Moving image encoding apparatus and method for controlling the same
KR101432769B1 (ko) * 2013-07-19 2014-08-26 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
JP6376130B2 (ja) * 2013-07-19 2018-08-22 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP6265705B2 (ja) * 2013-11-25 2018-01-24 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP6362370B2 (ja) * 2014-03-14 2018-07-25 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2016072744A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 이진 산술 부호화/복호화를 위한 확률 갱신 방법 및 이를 이용한 엔트로피 부호화/복호화 장치
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN107409208B (zh) * 2015-03-27 2021-04-20 索尼公司 图像处理装置、图像处理方法以及计算机可读存储介质
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
WO2017086738A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
CN105407352A (zh) * 2015-11-23 2016-03-16 小米科技有限责任公司 图像压缩方法、装置及服务器
KR101640572B1 (ko) * 2015-11-26 2016-07-18 이노뎁 주식회사 효율적인 코딩 유닛 설정을 수행하는 영상 처리 장치 및 영상 처리 방법
WO2017154563A1 (ja) * 2016-03-07 2017-09-14 ソニー株式会社 符号化装置および符号化方法
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
RU169308U1 (ru) * 2016-11-07 2017-03-14 Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) Устройство для оперативного восстановления видеосигнала RGB-модели
TWI627521B (zh) * 2017-06-07 2018-06-21 財團法人工業技術研究院 時序估算方法與模擬裝置
CN112205022B (zh) * 2018-05-28 2024-04-12 三菱电机株式会社 无线接入网络的管理装置
KR102666666B1 (ko) * 2018-06-01 2024-05-20 삼성전자주식회사 이미지 부호화 장치 및 이미지 복호화 장치
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US11475601B2 (en) * 2019-10-21 2022-10-18 Google Llc Image decoding during bitstream interruptions
EP4118823A1 (en) * 2020-03-12 2023-01-18 InterDigital VC Holdings France Method and apparatus for video encoding and decoding
CN111314703B (zh) * 2020-03-31 2022-03-08 电子科技大学 一种基于失真类型传播分析的时域率失真优化方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JP2683181B2 (ja) * 1992-05-12 1997-11-26 三菱電機株式会社 カラー画像処理装置
JP4326758B2 (ja) * 1995-11-02 2009-09-09 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
JPH1013859A (ja) * 1996-06-26 1998-01-16 Mitsubishi Electric Corp 画像用高能率符号化器及び画像用高能率復号化器及び画像用高能率符号化復号化システム
EP0945022B1 (en) * 1996-12-18 2003-02-26 Thomson Consumer Electronics, Inc. Efficient fixed-length block compression and decompression
EP2173103A3 (en) * 1997-02-13 2010-09-08 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
JP3901287B2 (ja) * 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
WO1998042134A1 (en) * 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JP3573759B2 (ja) * 1997-10-23 2004-10-06 三菱電機株式会社 画像復号化装置、画像符号化装置、画像通信システム、符号化ビットストリーム変換装置及び画像復号化方法
US6493385B1 (en) * 1997-10-23 2002-12-10 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
JP2001285863A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像情報変換装置及び方法
US6757429B2 (en) * 2001-02-21 2004-06-29 Boly Media Communications Inc. Method of compressing digital images
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
EP2860979A1 (en) * 2002-05-28 2015-04-15 Sharp Kabushiki Kaisha Method and systems for image intra-prediction mode estimation, communication, and organization
AU2003281133A1 (en) * 2002-07-15 2004-02-02 Hitachi, Ltd. Moving picture encoding method and decoding method
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
EP1478189A3 (en) * 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
JP4815107B2 (ja) * 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化／復号化方法及び装置
JP4378126B2 (ja) * 2003-07-18 2009-12-02 株式会社ケーティーエス ラチェットレンチ及びその組立て方法
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
DE60317670T2 (de) * 2003-09-09 2008-10-30 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung
KR100964401B1 (ko) * 2003-10-23 2010-06-17 삼성전자주식회사 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
JP2005349775A (ja) 2004-06-14 2005-12-22 Noritsu Koki Co Ltd 写真プリントシステム
US7751478B2 (en) * 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
JP2006304102A (ja) * 2005-04-22 2006-11-02 Renesas Technology Corp 画像符号化ユニットと画像符号化方法
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法

Also Published As

Publication number Publication date
CN101815224A (zh) 2010-08-25
CN101218830A (zh) 2008-07-09
HK1162791A1 (en) 2012-08-31
JPWO2007010690A1 (ja) 2009-01-29
CA2732532A1 (en) 2007-01-25
WO2007010690A1 (ja) 2007-01-25
EP1909508A4 (en) 2011-05-25
CN102281448B (zh) 2014-04-30
KR100995226B1 (ko) 2010-11-17
JP4542107B2 (ja) 2010-09-08
RU2506714C1 (ru) 2014-02-10
JP2010110006A (ja) 2010-05-13
CN101218830B (zh) 2011-10-12
CN102176754A (zh) 2011-09-07
BRPI0611672A2 (pt) 2009-01-13
KR101217400B1 (ko) 2013-01-02
CN102281448A (zh) 2011-12-14
KR101037855B1 (ko) 2011-05-31
KR20100020984A (ko) 2010-02-23
HK1159913A1 (en) 2012-08-03
KR20110014656A (ko) 2011-02-11
KR100957754B1 (ko) 2010-05-12
CA2732532C (en) 2013-08-20
EP1909508A1 (en) 2008-04-09
CA2610276C (en) 2013-01-29
CN102231835A (zh) 2011-11-02
US20090034856A1 (en) 2009-02-05
KR20110124315A (ko) 2011-11-16
JP5138709B2 (ja) 2013-02-06
KR20100083850A (ko) 2010-07-22
CN102176754B (zh) 2013-02-06
CN102231835B (zh) 2013-04-17
KR20080034131A (ko) 2008-04-18
CA2610276A1 (en) 2007-01-25

Similar Documents

Publication Publication Date Title
KR101213904B1 (ko) 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR101379087B1 (ko) 화상 부호화 장치 및 방법, 그리고 화상 복호 장치 및 방법
RU2368095C1 (ru) Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
US8488889B2 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20090034857A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US20080165849A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130989A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 7