KR20160115974A - 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법 - Google Patents

화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법 Download PDF

Info

Publication number
KR20160115974A
KR20160115974A KR1020167024148A KR20167024148A KR20160115974A KR 20160115974 A KR20160115974 A KR 20160115974A KR 1020167024148 A KR1020167024148 A KR 1020167024148A KR 20167024148 A KR20167024148 A KR 20167024148A KR 20160115974 A KR20160115974 A KR 20160115974A
Authority
KR
South Korea
Prior art keywords
picture
unit
image
block
prediction
Prior art date
Application number
KR1020167024148A
Other languages
English (en)
Other versions
KR101785886B1 (ko
Inventor
아키라 미네자와
슌이치 세키구치
šœ이치 세키구치
요시미 모리야
료지 핫토리
가즈유키 미야자와
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20160115974A publication Critical patent/KR20160115974A/ko
Application granted granted Critical
Publication of KR101785886B1 publication Critical patent/KR101785886B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

예측 화상 생성부가, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서 참조 픽쳐를 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고, 가변 길이 부호화부(13)가, 그 참조 픽쳐의 위치를 나타내는 픽쳐 위치 정보와 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 그 픽쳐 위치 정보 및 식별 정보의 부호화 데이터를 비트스트림에 다중화한다.

Description

화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법{IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, ENCODED STREAM CONVERSION DEVICE, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD}
본 발명은, 화상을 고효율로 부호화하는 화상 부호화 장치 및 화상 부호화 방법과, 고효율로 부호화되어 있는 화상을 복호하는 화상 복호 장치 및 화상 복호 방법, 및 부호화 스트림 변환 장치에 관한 것이다.
예컨대, 이하의 비 특허 문헌 1에 기재되어 있는 종래의 화상 부호화 장치에서는, 입력된 컬러 화상을 소정의 크기의 최대 부호화 블록으로 분할하고, 또한, 최대 부호화 블록을 보다 미세한 부호화 블록으로 계층 분할한다.
또한, 그 부호화 블록을 더 미세한 예측 블록으로 분할하고, 그 예측 블록에 대한 화면 내 예측이나 움직임 보상 예측을 실시함으로써 예측 오차를 생성한다.
또한, 그 예측 오차를 부호화 블록 내에서 계층적으로 변환 블록으로 분할하고, 각각의 변환 계수를 엔트로피 부호화함으로써 높은 압축률을 달성하고 있다.
종래의 화상 부호화 장치에서는, 시간적 상관을 이용한 고효율의 부호화를 실현하기 위해, 예컨대 도 30(a)에 나타내는 부호화 구조에 의해, 이미 부호화 완료된 픽쳐로부터 부호화 대상 블록과 상관이 높은 블록을 탐색하고, 그 탐색처의 블록을 예측값으로 하는 움직임 보상 예측을 이용한 부호화를 행하고 있다. 일반적으로, 이때의 움직임 보상 예측을 이용하는 픽쳐를 인터 픽쳐, 움직임 보상 예측의 탐색(참조)처의 픽쳐를 참조 픽쳐, 움직임 보상을 이용하지 않고 부호화 대상 픽쳐 내의 부호화 완료된 화소만으로부터 예측하는 픽쳐를 인트라 픽쳐라고 부른다. 특히 도 30(b)에 나타내는 바와 같이 표시 순서로 과거와 미래의 양쪽의 픽쳐를 참조하는 움직임 보상인 쌍방향 예측은 정밀한 예측을 실현할 수 있는 것으로 알려져 있다. 단, 이들 예와 같이 움직임 보상에 의해 픽쳐 사이에 참조 관계를 갖게 하는 것에 의해 각 픽쳐의 복호에 의존성이 생겨 버려, 부호화 비트스트림(부호화 스트림)의 도중에 존재하는 픽쳐로부터 복호할 수 없고, 영상의 도중 재생을 할 수 없게 되어 버린다.
따라서, 도 30 등의 움직임 보상 예측을 이용한 부호화 구조를 이용하는 경우, 부호화 비트스트림의 도중부터 복호하더라도 올바르게 재생할 수 있도록 하기 위해, 도중 복호 개시 지점을 나타내는 랜덤 액세스 포인트를 준비하는 경우가 있다. 예컨대 도 31에, 랜덤 액세스 가능한 픽쳐(비 특허 문헌 1에 기재된 Intra Random Access Point(IRAP) 픽쳐)를 설정하는 경우의 예를 나타낸다. 인터 픽쳐는 인트라 픽쳐보다 시간적으로 앞의 픽쳐의 참조는 허용되지만, IRAP 픽쳐보다 복호 순서(부호화 순서)도 표시 순서도 뒤가 되는 인터 픽쳐는, 그 IRAP 픽쳐를 넘어 IRAP 픽쳐보다 시간적으로 앞의 픽쳐를 참조할 수 없다. 즉, IRAP 픽쳐보다 복호 순서도 표시 순서도 뒤가 되는 픽쳐는, 움직임 보상 예측의 참조처가 제한된다. 이 경우, 부호화 비트스트림의 도중부터 복호를 개시할 때도 IRAP로부터 복호하면 항상 IRAP 픽쳐보다 표시 순서로 뒤의 픽쳐는 올바르게 복호할 수 있어서, 부호화 시퀀스의 도중 재생을 실현할 수 있다.
비 특허 문헌 1에서는 IRAP 픽쳐로서, IDR(Instantaneous Decoding Refresh) 픽쳐, CRA(Clean Random Access) 픽쳐, BLA(Broken Link Access) 픽쳐가 정의되어 있다. IRAP 픽쳐로부터의 랜덤 액세스시, IDR 픽쳐의 경우는 복호 순서가 뒤인 픽쳐의 정상 복호를 보증하고, CRA 픽쳐 및 BLA 픽쳐의 경우는 복호 순서도 표시 순서도 뒤가 되는 픽쳐의 정상 복호를 보증하고 있다. 또한, IRAP 픽쳐로부터의 랜덤 액세스시에 표시 순서로 IRAP 픽쳐 이후의 픽쳐가 재생 가능하게 되도록, IRAP 픽쳐보다 표시 순서가 뒤인 픽쳐는 반드시 IRAP 픽쳐보다 복호 순서가 뒤가 된다. 즉, 어느 IRAP 픽쳐에 있어서도 표시 순서로 뒤가 되는 픽쳐에 대해서는 정상 복호가 가능한 것은 공통되고 있다.
또한, 비 특허 문헌 2에 있어서도 마찬가지의 랜덤 액세스 기능을 갖고 있다. 단, 비 특허 문헌 2에서는 랜덤 액세스용의 픽쳐로서 IDR 픽쳐만이 정의되어 있다.
(선행 기술 문헌)
(비 특허 문헌)
(비 특허 문헌 1) ISO/IEC 23008-2/ITU-T H.265
(비 특허 문헌 2) ISO/IEC 14496-10/ITU-T H.264
종래의 화상 부호화 장치는 이상과 같이 구성되어 있으므로, 부호화 비트스트림의 도중부터라도 특정한 픽쳐로부터 복호를 개시함으로써 표시 순서에 있어서 그 픽쳐 이후의 픽쳐를 올바르게 복호할 수 있는 랜덤 액세스를 실현할 수 있다. 그러나, 도 32에 나타내는 바와 같이, 랜덤 액세스 간격(IRAP 픽쳐 간격)이 짧은 경우, 움직임 보상 예측에 사용 가능한 인터 픽쳐의 비율이 줄어들고, 부호화 효율이 저하한다. 한편, 부호화 효율을 높이기 위해 인터 픽쳐의 비율을 늘리면, 그만큼 랜덤 액세스 간격이 길어진다. 이와 같이, 부호화 효율과 랜덤 액세스 간격의 사이에는 트레이드오프의 관계가 있어서, 랜덤 액세스 간격을 짧게 한 채로 예측 효율을 높이는 것이 어렵다고 하는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 랜덤 액세스 간격을 유지한 채로 부호화 효율을 높일 수 있는 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법 및 화상 복호 방법을 얻는 것을 목적으로 한다.
본 발명과 관련되는 화상 부호화 장치는, 입력 화상을 부호화 처리 단위의 블록으로 분할하는 블록 분할부와, 블록 분할부에 의해 분할되는 블록에 대한 부호화 모드를 결정하는 부호화 모드 결정부와, 부호화 모드 결정부에 의해 결정된 부호화 모드에 따라서, 블록 분할부에 의해 분할된 블록에 대한 부호화 처리를 실시하여, 그 블록의 압축 데이터를 출력하는 화상 부호화 장치로서, 블록 분할부에 의해 분할된 블록의 예측 화상을 생성하는 예측 화상 생성부와, 블록 분할부에 의해 분할된 블록과 예측 화상 생성부에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성부와, 차분 화상 생성부에 의해 생성된 차분 화상을 압축하고, 그 차분 화상의 압축 데이터를 출력하는 화상 압축부와, 화상 압축부에 의해 압축된 차분 화상을 압축 해제하고, 압축 해제 후의 차분 화상과 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 국소 복호 화상을 생성하는 국소 복호 화상 생성부와, 국소 복호 화상 생성부에 의해 생성된 국소 복호 화상에 대한 필터링 처리를 실시하는 필터링 처리부와, 화상 압축부로부터 출력된 압축 데이터 및 부호화 모드 결정부에 의해 결정된 부호화 모드를 부호화하여, 그 압축 데이터 및 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 부호화부를 구비하고, 예측 화상 생성부가, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서 참조 픽쳐를 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고, 부호화부가, 그 참조 픽쳐의 위치를 나타내는 픽쳐 위치 정보와 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 그 픽쳐 위치 정보 및 식별 정보의 부호화 데이터를 비트스트림에 다중화하도록 한 것이다.
또한, 입력 화상을 부호화 처리 단위의 블록으로 분할하는 블록 분할부와, 블록 분할부에 의해 분할되는 블록에 대한 부호화 모드를 결정하는 부호화 모드 결정부와, 부호화 모드 결정부에 의해 결정된 부호화 모드에 따라서, 블록 분할부에 의해 분할된 블록에 대한 부호화 처리를 실시하여, 그 블록의 압축 데이터를 출력하는 화상 부호화 장치로서, 블록 분할부에 의해 분할된 블록의 예측 화상을 생성하는 예측 화상 생성부와, 블록 분할부에 의해 분할된 블록과 예측 화상 생성부에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성부와, 차분 화상 생성부에 의해 생성된 차분 화상을 압축하고, 그 차분 화상의 압축 데이터를 출력하는 화상 압축부와, 화상 압축부에 의해 압축된 차분 화상을 압축 해제하고, 압축 해제 후의 차분 화상과 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 국소 복호 화상을 생성하는 국소 복호 화상 생성부와, 국소 복호 화상 생성부에 의해 생성된 국소 복호 화상에 대한 필터링 처리를 실시하는 필터링 처리부와, 화상 압축부로부터 출력된 압축 데이터 및 부호화 모드 결정부에 의해 결정된 부호화 모드를 부호화하여, 그 압축 데이터 및 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 부호화부를 구비하고, 예측 화상 생성부가, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 랜덤 액세스 가능한 인터 픽쳐의 부호화 순서에 대하여, 부호화 순서가 앞이고 또한 부호화 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고, 부호화부가, 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 그 식별 정보의 부호화 데이터를 비트스트림에 다중화하도록 한 것이다.
본 발명과 관련되는 화상 복호 장치는, 화상을 블록 단위로 압축 부호화한 비트스트림을 입력하여 복호 화상을 생성하는 화상 복호 장치로서, 비트스트림으로부터 각각의 블록과 관련되는 압축 데이터 및 부호화 모드를 복호하는 복호부와, 복호부에 의해 복호된 부호화 모드에 따라서 복호가 완료된 화소를 참조하여, 각각의 블록에 대한 예측 화상을 생성하는 예측 화상 생성부와, 복호부에 의해 복호된 압축 데이터를 압축 해제하여 차분 화상을 생성하는 차분 화상 생성부와, 차분 화상 생성부에 의해 생성된 차분 화상과 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성부와, 복호 화상 생성부에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 필터링 처리부를 구비하고, 복호부가, 어느 인터 픽쳐가 랜덤 액세스 가능한 인터 픽쳐인지를 나타내는 식별 정보를 복호함과 아울러, 랜덤 액세스 가능한 인터 픽쳐의 예측 화상을 생성할 때에 참조하는 참조 픽쳐의 위치를 나타내는 픽쳐 위치 정보를 복호하고, 예측 화상 생성부가, 그 식별 정보에 의해 식별된 랜덤 액세스 가능한 인터 픽쳐를 복호하는 경우는, 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서 픽쳐 위치 정보가 나타내는 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하도록 한 것이다.
또한, 화상을 블록 단위로 압축 부호화한 비트스트림을 입력하여 복호 화상을 생성하는 화상 복호 장치로서, 비트스트림으로부터 각각의 블록과 관련되는 압축 데이터 및 부호화 모드를 복호하는 복호부와, 복호부에 의해 복호된 부호화 모드에 따라서 복호가 완료된 화소를 참조하여, 각각의 블록에 대한 예측 화상을 생성하는 예측 화상 생성부와, 복호부에 의해 복호된 압축 데이터를 압축 해제하여 차분 화상을 생성하는 차분 화상 생성부와, 차분 화상 생성부에 의해 생성된 차분 화상과 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성부와, 복호 화상 생성부에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 필터링 처리부를 구비하고, 복호부가, 어느 인터 픽쳐가 랜덤 액세스 가능한 인터 픽쳐인지를 나타내는 식별 정보를 복호하고, 예측 화상 생성부가, 그 식별 정보에 의해 식별된 랜덤 액세스 가능한 인터 픽쳐를 복호하는 경우는, 랜덤 액세스 가능한 인터 픽쳐의 복호 순서에 대하여, 복호 순서가 앞이고 또한 복호 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하도록 한 것이다.
본 발명과 관련되는 부호화 스트림 변환 장치는, 화상을 블록 단위로 압축 부호화한 비트스트림을 입력하여 재(再) 부호화한 비트스트림을 출력하는 부호화 스트림 변환 장치로서, 비트스트림을 복호하여 복호 화상을 생성함과 아울러, 랜덤 액세스 가능한 인트라 픽쳐를 특정하는 화상 복호부와, 그 특정한 랜덤 액세스 가능한 인트라 픽쳐 중에서 랜덤 액세스 가능한 인터 픽쳐로 재부호화하는 재부호화 대상 인트라 픽쳐를 설정하는 재부호화 설정부와, 그 재부호화 대상 인트라 픽쳐를 재부호화하는 재부호화부와, 그 비트스트림과 재부호화부에 의해 재부호화된 재부호화 대상 인트라 픽쳐를 합성하여 재부호화 비트스트림을 출력하는 비트스트림 합성부를 구비하고, 재부호화부가, 랜덤 액세스 가능한 인터 픽쳐로 재부호화된 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 그 식별 정보의 부호화 데이터를 재부호화 비트스트림에 다중화하도록 한 것이다.
본 발명과 관련되는 화상 부호화 방법은, 블록 분할부가, 입력 화상을 부호화 처리 단위의 블록으로 분할하고, 부호화 모드 결정부가, 블록 분할부에 의해 분할되는 블록에 대한 부호화 모드를 결정하면, 그 부호화 모드에 따라서, 블록 분할부에 의해 분할된 블록에 대한 부호화 처리를 실시하여, 그 블록의 압축 데이터를 출력하는 화상 부호화 방법으로서, 예측 화상 생성부가, 블록 분할부에 의해 분할된 블록의 예측 화상을 생성하고, 차분 화상 생성부가, 블록 분할부에 의해 분할된 블록과 예측 화상 생성부에 의해 생성된 예측 화상의 차분 화상을 생성하고, 화상 압축부가, 차분 화상 생성부에 의해 생성된 차분 화상을 압축하여, 그 차분 화상의 압축 데이터를 출력하고, 국소 복호 화상 생성부가, 화상 압축부에 의해 압축된 차분 화상을 압축 해제하고, 압축 해제 후의 차분 화상과 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 국소 복호 화상을 생성하고, 필터링 처리부가, 국소 복호 화상 생성부에 의해 생성된 국소 복호 화상에 대한 필터링 처리를 실시하고, 부호화부가, 화상 압축부로부터 출력된 압축 데이터 및 부호화 모드 결정부에 의해 결정된 부호화 모드를 부호화하여, 그 압축 데이터 및 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 것이고, 예측 화상 생성부가, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 랜덤 액세스 가능한 인터 픽쳐의 부호화 순서에 대하여, 부호화 순서가 앞이고 또한 부호화 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고, 부호화부가, 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 그 식별 정보의 부호화 데이터를 비트스트림에 다중화하도록 한 것이다.
본 발명과 관련되는 화상 복호 방법은, 화상을 블록 단위로 압축 부호화한 비트스트림을 입력하여 복호 화상을 생성하는 화상 복호 방법으로서, 복호부가, 비트스트림으로부터 각각의 블록과 관련되는 압축 데이터 및 부호화 모드를 복호하고, 예측 화상 생성부가, 복호부에 의해 복호된 부호화 모드에 따라서 복호가 완료된 화소를 참조하여, 각각의 블록에 대한 예측 화상을 생성하고, 차분 화상 생성부가, 복호부에 의해 복호된 압축 데이터를 압축 해제하여 차분 화상을 생성하고, 복호 화상 생성부가, 차분 화상 생성부에 의해 생성된 차분 화상과 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하고, 필터링 처리부가, 복호 화상 생성부에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 것이고, 복호부가, 어느 인터 픽쳐가 랜덤 액세스 가능한 인터 픽쳐인지를 나타내는 식별 정보를 복호하고, 예측 화상 생성부가, 그 식별 정보에 의해 식별된 랜덤 액세스 가능한 인터 픽쳐를 복호하는 경우는, 랜덤 액세스 가능한 인터 픽쳐의 복호 순서에 대하여, 복호 순서가 앞이고 또한 복호 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하도록 한 것이다.
본 발명과 관련되는 화상 부호화 장치에 의하면, 예측 화상 생성부가, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서 참조 픽쳐를 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고, 부호화부가, 그 참조 픽쳐의 위치를 나타내는 픽쳐 위치 정보와 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 그 픽쳐 위치 정보 및 식별 정보의 부호화 데이터를 비트스트림에 다중화하도록 구성했으므로, 인터 픽쳐에 있어서도 랜덤 액세스가 가능하게 되고, 랜덤 액세스 간격을 유지한 채로 부호화 효율을 높일 수 있는 효과가 있다.
또한, 본 발명과 관련되는 다른 화상 부호화 장치 및 화상 부호화 방법에 의하면, 예측 화상 생성부가, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 랜덤 액세스 가능한 인터 픽쳐의 부호화 순서에 대하여, 부호화 순서가 앞이고 또한 부호화 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고, 부호화부가, 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 그 식별 정보의 부호화 데이터를 비트스트림에 다중화하도록 구성했으므로, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 인트라 픽쳐를 식별하는 정보가 불필요하게 되고, 부호화하는 정보의 부호량을 삭감할 수 있는 효과가 있다.
또한, 본 발명과 관련되는 화상 복호 장치 및 화상 복호 방법에 의하면, 복호부가, 어느 인터 픽쳐가 랜덤 액세스 가능한 인터 픽쳐인지를 나타내는 식별 정보를 복호함과 아울러, 랜덤 액세스 가능한 인터 픽쳐의 예측 화상을 생성할 때에 참조하는 참조 픽쳐의 위치를 나타내는 픽쳐 위치 정보를 복호하고, 예측 화상 생성부가, 그 식별 정보에 의해 식별된 랜덤 액세스 가능한 인터 픽쳐를 복호하는 경우는, 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서 픽쳐 위치 정보가 나타내는 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하도록 구성했으므로, 랜덤 액세스가 가능한 인터 픽쳐를 포함하는 부호화 비트스트림을 올바르게 복호할 수 있는 효과가 있다.
또한, 본 발명과 관련되는 부호화 스트림 변환 장치에 의하면, 재부호화부가, 랜덤 액세스 가능한 인터 픽쳐로 재부호화된 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 그 식별 정보의 부호화 데이터를 재부호화 비트스트림에 다중화하도록 구성했으므로, 화상 부호화 장치 등에 의해 생성된 부호화 비트스트림보다 부호량이 적은 부호화 비트스트림을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 실시의 형태 1에 의한 화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 화상 부호화 장치의 처리 내용(화상 부호화 방법)을 나타내는 플로차트이다.
도 3은 본 발명의 실시의 형태 1에 의한 화상 복호 장치를 나타내는 구성도이다.
도 4는 본 발명의 실시의 형태 1에 의한 화상 복호 장치의 처리 내용(화상 복호 방법)을 나타내는 플로차트이다.
도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 6(a)는 분할 후의 부호화 블록 및 예측 블록의 분포를 나타내고, 도 6(b)는 계층 분할에 의해 부호화 모드 m(Bn)이 할당되는 상황을 나타내는 설명도이다.
도 7은 부호화 블록 Bn 내의 각 예측 블록 Pi n이 선택 가능한 인트라 예측 모드의 일례를 나타내는 설명도이다.
도 8은 li n=mi n=4의 경우의 예측 화상 생성 블록 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 예측 화상 생성 블록 내의 왼쪽 위 화소를 원점으로 하는 상대 좌표를 나타내는 설명도이다.
도 10은 양자화 매트릭스의 일례를 나타내는 설명도이다.
도 11은 본 발명의 실시의 형태 1에 의한 화상 부호화 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 12는 본 발명의 실시의 형태 1에 의한 화상 복호 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 13은 부호화 비트스트림의 일례를 나타내는 설명도이다.
도 14는 화소 적응 오프셋 처리의 클래스 분류 수법의 인덱스를 나타내는 설명도이다.
도 15는 16×16 화소의 사이즈의 직교 변환에 있어서의 변환 계수의 부호화 순서를 나타내는 설명도이다.
도 16은 16×16 화소의 사이즈의 직교 변환에 있어서의 변환 계수의 분포의 일례를 나타내는 설명도이다.
도 17은 평균값 예측시의 필터 처리에 있어서의 필터의 전환 영역을 나타내는 설명도이다.
도 18은 평균값 예측시의 필터 처리의 참조 화소 배치를 나타내는 설명도이다.
도 19는 YUV 4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 20은 YUV 4:2:2 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 21은 YUV 4:4:4 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
도 22는 색차 신호의 인트라 예측 파라미터와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.
도 23은 LM 모드를 이용하지 않는 경우의 색차 신호의 인트라 예측 파라미터와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.
도 24는 YUV 4:4:4 포맷과 YUV 4:2:2 포맷의 관계를 나타내는 설명도이다.
도 25는 YUV 4:4:4 포맷의 신호에 있어서 휘도 신호와 색차 신호에서 동일한 방향성 예측을 이용하는 것과 등가가 되는 YUV 4:2:2 포맷에서의 방향성 예측의 예를 나타내는 설명도이다.
도 26은 YUV 4:2:2 포맷의 신호에서의 방향성 예측의 예측 방향 벡터를 나타내는 설명도이다.
도 27은 방향성 예측과 각도의 관계를 나타내는 설명도이다.
도 28은 YUV 4:2:2 포맷의 신호에 있어서 휘도 신호의 인트라 예측 모드 인덱스와 색차 신호의 인트라 예측 모드 인덱스의 관계를 나타내는 설명도이다.
도 29는 인트라 예측 모드 인덱스와 tanθ의 관계를 나타내는 설명도이다.
도 30은 움직임 보상 예측을 이용한 부호화의 일례를 나타내는 설명도이다.
도 31은 IRAP 픽쳐를 이용한 랜덤 액세스 가능한 부호화의 일례를 나타내는 설명도이다.
도 32는 랜덤 액세스 간격과 부호화 효율의 트레이드오프 관계를 나타내는 설명도이다.
도 33은 비 특허 문헌 1 및 2에 의한 랜덤 액세스 실현예와 실시의 형태 1에 의한 랜덤 액세스 실현예를 나타내는 설명도이다.
도 34는 장기 참조 픽쳐가 아닌 IRAP 픽쳐를 병용한 실시의 형태 1에 의한 랜덤 액세스 실현예를 나타내는 설명도이다.
도 35는 랜덤 액세스 가능한 인터 픽쳐에 의한 랜덤 액세스의 실현예를 나타내는 설명도이다.
도 36은 랜덤 액세스시 사용 참조 픽쳐의 위치를 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보로부터의 이동 바이트 수로 나타내는 경우의 설명도이다.
도 37은 랜덤 액세스시 사용 참조 픽쳐의 위치를 부호화 비트스트림의 선두로부터의 이동 바이트 수로 나타내는 경우의 설명도이다.
도 38은 IRAP 픽쳐를 선두로 랜덤 액세스 가능한 인터 픽쳐를 차례차례로 참조하는 랜덤 액세스의 실현예를 나타내는 설명도이다.
도 39는 본 발명의 실시의 형태 5에 의한 부호화 스트림 변환 장치를 나타내는 구성도이다.
실시의 형태 1.
도 1은 본 발명의 실시의 형태 1에 있어서의 화상 부호화 장치를 나타내는 구성도이다. 또, 본 발명의 특징은, 도 1의 구성 중, 주로 움직임 보상 예측부(5), 움직임 보상 예측 프레임 메모리(12), 및 가변 길이 부호화부(13)를 이용하여, 인터 픽쳐에 있어서도 랜덤 액세스를 가능하게 하는 점에 있다. 여기서, 블록 분할부(1) 및 슬라이스 분할부(14)는, 청구항에 기재된 블록 분할부를 구성하고, 부호화 제어부(2)는 부호화 모드 결정부를 구성하고, 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5) 및 예측 화상 생성부를 구성하고 있다.
또한, 감산부(6)는 차분 화상 생성부를 구성하고, 변환ㆍ양자화부(7)는 화상 압축부를 구성하고, 역양자화ㆍ역변환부(8) 및 가산부(9)는 국소 복호 화상 생성부를 구성하고 있다.
또한, 루프 필터부(11)는 필터링 처리부를 구성하고, 가변 길이 부호화부(13)는 부호화부를 구성하고 있다.
본 실시의 형태 1의 화상 부호화 장치가 처리 대상으로 하는 영상 신호는, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색 공간의 컬러 영상 신호 외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소) 열로 구성되는 임의의 영상 신호이다.
각 화소의 계조는 8비트이더라도 좋고, 10비트, 12비트 등의 계조이더라도 좋다.
또한, 입력 신호는 영상 신호가 아닌 정지 화상 신호이더라도 좋은 것은, 정지 화상 신호를 1프레임만으로 구성되는 영상 신호라고 해석할 수 있는 것으로부터 당연하다.
이하의 설명에 있어서는, 편의상, 특별히 언급하지 않는 한, 입력되는 영상 신호가, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 종횡 모두 2분의 1로 서브샘플된 YUV 4:2:0 포맷, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 횡 방향으로 2분의 1로 서브샘플된 YUV 4:2:2 포맷, 혹은, 2개의 색차 성분 U, V가 휘도 성분 Y와 동일한 샘플 수인 YUV 4:4:4 포맷의 신호인 것으로 한다. 또한, 적색(R), 녹색(G), 청색(B)의 삼원색의 신호로 이루어지는 RGB 4:4:4 포맷의 신호에 대해서는, 각각의 신호를 YUV 4:4:4 포맷의 신호로 간주하여 YUV 4:4:4 포맷과 동일한 부호화를 행한다. 단, RGB 4:4:4 포맷의 각 신호(RGB)의 YUV 4:4:4 포맷의 각 신호(YUV)로의 대응에 대해서는 한정하지 않는다(임의로 설정할 수 있다). 또한, YUV 4:4:4 포맷 신호나 RGB 4:4:4 포맷 신호의 경우, 각 신호를 모노크롬 화상 신호로 간주하여 각각 독립적으로 모노크롬(YUV 4:0:0) 부호화하여 비트스트림을 생성하도록 하더라도 좋다. 이와 같이 함으로써 각 신호를 병렬로 부호화 처리할 수 있다.
또, 영상의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭하고, 본 실시의 형태 1에서는, 「픽쳐」는 순차 주사(프로그레시브 스캔)된 영상 프레임의 신호로서 설명을 행한다. 단, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.
도 1에 있어서, 슬라이스 분할부(14)는 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라서 하나 이상의 "슬라이스"라고 하는 부분 화상으로 분할하는 처리를 실시한다. 슬라이스의 분할 단위는, 후술하는 부호화 블록 단위까지 미세하게 할 수 있다.
블록 분할부(1)는 슬라이스 분할부(14)에 의해 분할된 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록인 최대 부호화 블록으로 분할함과 아울러, 부호화 제어부(2)에 의해 결정된 상한의 계층 수에 이를 때까지, 그 최대 부호화 블록을 계층적으로 각 부호화 블록으로 분할하는 처리를 실시한다.
즉, 블록 분할부(1)는 슬라이스를 부호화 제어부(2)에 의해 결정된 분할에 따라 각 부호화 블록으로 분할하여, 그 부호화 블록을 출력하는 처리를 실시한다. 또한, 각 부호화 블록은 예측 처리 단위가 되는 1개 내지 복수의 예측 블록으로 분할된다.
부호화 제어부(2)는 부호화 처리가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층 수를 결정함으로써, 각각의 부호화 블록의 사이즈를 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 선택 가능한 하나 이상의 부호화 모드(예측 처리 단위를 나타내는 예측 블록의 사이즈 등이 상이한 하나 이상의 인트라 부호화 모드, 예측 블록의 사이즈 등이 상이한 하나 이상의 인터 부호화 모드) 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 적용하는 부호화 모드를 선택하는 처리를 실시한다. 선택 수법의 예로서는, 선택 가능한 하나 이상의 부호화 모드 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 선택하는 수법이 있다.
또한, 부호화 제어부(2)는 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드로 부호화 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 상기 인트라 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드로 부호화 블록에 대한 인터 예측 처리를 실시할 때에 이용하는 인터 예측 파라미터를 상기 인터 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 변환ㆍ양자화부(7) 및 역양자화ㆍ역변환부(8)에 주는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다. 예측 차분 부호화 파라미터에는, 부호화 블록에 있어서의 직교 변환 처리 단위가 되는 변환 블록의 분할 정보를 나타내는 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝 사이즈를 규정하는 양자화 파라미터 등이 포함된다.
여기서, 도 19는 YUV 4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리(변환 처리, 양자화 처리)를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
변환 블록 사이즈는, 도 19에 나타내는 바와 같이, 부호화 블록을 사지 트리(quadtree) 형상으로 계층 분할하는 것에 의해 결정된다.
예컨대, 변환 블록을 분할하는 경우와 변환 블록을 분할하지 않는 경우에서의 부호량이나, 부호화 오차를 가미한 평가 척도 등에 근거하여, 평가값이 최소가 되도록 변환 블록을 분할하는지 아닌지를 결정함으로써, 부호량과 부호화 오차의 트레이드오프의 관점으로부터 최적의 변환 블록의 분할 형상을 결정할 수 있다.
휘도 신호에 대해서는, 예컨대, 도 19에 나타내는 바와 같이, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.
색차 신호에 대해서는, 도 19에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:0 신호인 경우, 휘도 신호와 마찬가지로, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.
이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.
도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호와 마찬가지의 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소 수가 수평 방향의 화소 수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 이분함으로써, YUV 4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.
또한, 도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 마찬가지의 분할을 행하고, 동일한 사이즈의 변환 블록이 되도록 구성한다.
휘도 신호의 변환 블록의 분할 정보는, 예컨대, 계층마다 분할하는지 아닌지를 나타내는 변환 블록 분할 플래그로서 가변 길이 부호화부(13)에 출력한다.
전환 스위치(3)는 부호화 제어부(2)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(2)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.
인트라 예측부(4)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인트라 부호화 모드가 선택된 경우, 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다. 또, 인트라 예측부(4)는 인트라 예측 수단을 구성하고 있다.
즉, 인트라 예측부(4)는, 휘도 신호에 대해서는, 휘도 신호의 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.
한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.
또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.
또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 왼쪽에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.
또, 입력 신호 포맷이 YUV 4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 구성하더라도 좋다.
YUV 4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.
또한, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 도 24에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소 수가 1/2이 되는 장방형의 블록이 된다. 따라서, 도 25에 나타내는 바와 같이, YUV 4:4:4 신호상에서 휘도 신호와 색차 신호가 동일 방향의 예측을 나타내고 있는 경우, YUV 4:4:4 신호를 YUV 4:2:2 신호로 변환함으로써, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.
구체적으로는, 도 26에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 vL=(dxL, dyL)로 한 경우, 색차 신호의 예측 방향 벡터는, vC=(dxL/2, dyL)이 된다. 즉, 도 27에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θL, 색차 신호의 예측 방향의 각도를 θC로 하여, tanθC=2tanθL의 관계가 되는 예측 방향에서 예측할 필요가 있다.
따라서, 휘도 신호와 색차 신호에서 동일 방향의 예측을 행하는 상기 DM 모드를 올바르게 실시할 수 있도록 하기 위해, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다. 구체적으로는, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조함으로써, 인덱스를 변환하도록 구성하더라도 좋고, 미리 변환식을 준비하여, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.
이와 같이 구성함으로써, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로, YUV 4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.
움직임 보상 예측부(5)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인터 부호화 모드가 선택된 경우, 부호화 블록과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 1프레임 이상의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 참조하는 프레임 번호 등의 인터 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
감산부(6)는 블록 분할부(1)에서 출력된 부호화 블록으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 감산하여, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호를 변환ㆍ양자화부(7)에 출력하는 처리를 실시한다.
변환ㆍ양자화부(7)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보를 참조하여, 감산부(6)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 변환 블록 단위로 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력하는 처리를 실시한다.
변환ㆍ양자화부(7)는 변환 계수를 양자화할 때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝 사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여, 변환 계수의 양자화 처리를 실시하도록 하더라도 좋다.
여기서, 도 10은 4×4 DCT의 양자화 매트릭스의 일례를 나타내는 설명도이다.
도면 중의 숫자는, 각 변환 계수의 양자화 스텝 사이즈의 스케일링값을 나타내고 있다.
예컨대, 부호화 비트 레이트를 억제하기 위해, 도 10에 나타내는 바와 같이, 고역의 변환 계수일수록, 양자화 스텝 사이즈를 큰 값으로 스케일링함으로써, 복잡한 화상 영역 등에서 발생하는 고역의 변환 계수를 억제하여 부호량을 억제하면서, 주관 품질에 크게 영향을 주는 저역의 계수의 정보를 줄이지 않고서 부호화할 수 있다.
이와 같이, 변환 계수마다의 양자화 스텝 사이즈를 제어하고 싶은 경우에는 양자화 매트릭스를 이용하면 된다.
또한, 양자화 매트릭스는, 각 직교 변환 사이즈에서 색 신호나 부호화 모드(인트라 부호화나 인터 부호화)마다 독립한 매트릭스를 사용할 수 있고, 초기값으로서 미리 화상 부호화 장치 및 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택할지, 새로운 양자화 매트릭스를 이용할지를 각각 선택할 수 있다.
따라서, 변환ㆍ양자화부(7)는, 각 직교 변환 사이즈에 대하여 색 신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 아닌지를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.
또한, 새로운 양자화 매트릭스를 이용하는 경우에는, 도 10에 나타내는 바와 같은 양자화 매트릭스의 각 스케일링값을 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.
한편, 새로운 양자화 매트릭스를 이용하지 않는 경우에는, 초기값으로서, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 부호화된 양자화 매트릭스 중에서, 사용하는 매트릭스를 특정하는 인덱스를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 단, 참조 가능한 이미 부호화된 양자화 매트릭스가 존재하지 않는 경우, 화상 부호화 장치 및 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스만 선택 가능하게 된다.
역양자화ㆍ역변환부(8)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 변환ㆍ양자화부(7)로부터 출력된 압축 데이터를 역양자화함과 아울러, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다. 또, 변환ㆍ양자화부(7)가 양자화 매트릭스를 이용하여, 양자화 처리를 실시하고 있는 경우에는, 역양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응하는 역양자화 처리를 실시한다.
가산부(9)는 역양자화ㆍ역변환부(8)에 의해 산출된 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 가산하여, 블록 분할부(1)로부터 출력된 부호화 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.
인트라 예측용 메모리(10)는 가산부(9)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다.
루프 필터부(11)는 가산부(9)에 의해 산출된 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리 및 적응 필터 처리의 각각에 대하여, 처리를 행하는지 아닌지를 결정하고, 각 처리의 유효 플래그를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다. 또, 상기의 필터 처리를 복수 사용할 때는, 각 필터 처리를 차례로 실시한다. 도 11은 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.
일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상되지만, 한편으로 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라서 사용하는 필터 처리를 결정하면 된다. 예컨대, 도 11의 구성보다 처리 불가를 삭감하고 싶은 경우, 디블로킹 필터 처리와 화소 적응 오프셋 처리만으로 구성한다고 하는 것을 생각할 수 있다.
여기서, 디블로킹 필터 처리에서는, 블록 경계에 작용시키는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경할 수 있다. 변경하는 경우에는, 그 파라미터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.
화소 적응 오프셋 처리에서는, 최초로, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 미리 준비되어 있는 복수의 클래스 분류 수법 중에서, 1개의 클래스 분류 수법을 선택한다.
다음으로, 선택한 클래스 분류 수법에 의해, 블록 내의 각 화소를 클래스 분류하고, 클래스마다 부호화 왜곡을 보상하는 오프셋값을 산출한다.
마지막으로, 국소 복호 화상의 휘도값에 대하여, 그 오프셋값을 가산하는 처리를 행함으로써 국소 복호 화상의 화상 품질을 개선한다.
따라서, 화소 적응 오프셋 처리에서는, 블록 분할 정보, 각 블록의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 각 클래스의 오프셋값을 특정하는 오프셋 정보를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.
또, 화소 적응 오프셋 처리에 있어서, 예컨대, 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하여, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하더라도 좋다. 이 경우, 상기 블록 분할 정보가 불필요하게 되고, 블록 분할 정보에 요하는 부호량만큼 부호량이 삭감되고, 부호화 효율을 높일 수 있다.
적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하고, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시한다.
그리고, 클래스마다 설계한 필터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.
클래스 분류 수법으로서는, 화상을 공간적으로 등간격으로 나누는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다.
또한, 적응 필터 처리에서 사용하는 클래스 수는, 미리 화상 부호화 장치 및 화상 복호 장치에 공통의 값으로서 설정하더라도 좋고, 부호화해야 할 파라미터로 하더라도 좋다.
전자와 비교하여 후자 쪽이, 사용하는 클래스 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 높아지지만, 한편으로 클래스 수를 부호화하기 때문에, 그만큼의 부호량이 증가한다.
또, 화소 적응 오프셋 처리 및 적응 필터 처리를 행하는 경우에는, 도 11에 나타내는 바와 같이, 영상 신호를 루프 필터부(11)에서 참조할 필요가 있기 때문에, 영상 신호가 루프 필터부(11)에 입력되도록, 도 1의 화상 부호화 장치를 변경할 필요가 있다.
움직임 보상 예측 프레임 메모리(12)는 루프 필터부(11)의 필터 처리 후의 국소 복호 화상을 저장하는 기록 매체이다.
가변 길이 부호화부(13)는 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)의 출력 신호(최대 부호화 블록 내의 블록 분할 정보, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터 또는 인터 예측 파라미터)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여 부호화 데이터를 생성한다.
또한, 가변 길이 부호화부(13)는, 도 13에 예시하는 바와 같이, 부호화 비트스트림의 헤더 정보로서, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더를 부호화하고, 픽쳐 데이터와 함께 부호화 비트스트림을 생성한다.
단, 픽쳐 데이터는 하나 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 해당 슬라이스 내에 있는 상기 부호화 데이터를 합친 것이다.
시퀀스 레벨 헤더는, 화상 사이즈, 색 신호 포맷, 휘도 신호나 색차 신호의 신호값의 비트 심도, 시퀀스 단위에서의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 합친 것이다.
픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐 수, 엔트로피 부호화의 확률 테이블 초기화 플래그, 양자화 매트릭스 파라미터 등, 픽쳐 단위로 설정하는 헤더 정보를 합친 것이다.
슬라이스 레벨 헤더는, 해당 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(인트라 부호화, 인터 부호화 등), 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)를 행하는지 아닌지를 나타내는 플래그 정보 등의 슬라이스 단위의 파라미터를 합친 것이다.
여기서, 비 특허 문헌 1 및 비 특허 문헌 2에서는, 각 헤더 정보와 픽쳐 데이터는 NAL 유닛에 의해 식별된다. 구체적으로는, 시퀀스 파라미터 세트(상기 시퀀스 레벨 헤더에 상당), 픽쳐 파라미터 헤더(상기 픽쳐 레벨 헤더에 상당), 슬라이스 데이터는 각각 고유의 NAL 유닛 타입으로서 정의되고, NAL 유닛 타입의 식별 정보(인덱스)와 함께 부호화된다. 또한, 상기 픽쳐 데이터는 액세스 유닛으로서 정의되고, 하나의 픽쳐의 부호화 데이터를 포함하는 데이터 액세스의 단위를 나타내고 있다.
비 특허 문헌 1에서는, 랜덤 액세스하는 픽쳐에 대하여, 대응하는 액세스 유닛 내의 슬라이스 데이터의 NAL 유닛 타입을 IRAP 픽쳐로서 부호화한다. 이 IRAP 픽쳐는 해당 픽쳐로부터 복호를 개시하더라도 정상적으로 복호할 수 있도록, 인트라 예측만으로 부호화되는 인트라 픽쳐로서 부호화된다. 또, 상술한 바와 같이, IRAP 픽쳐로서는, IDR 픽쳐, CRA 픽쳐, BLA 픽쳐가 정의되어 있다.
비 특허 문헌 2도 마찬가지이지만, 랜덤 액세스 가능한 픽쳐로서 IDR 픽쳐만 정의되어 있는 점이 상이하다. 이하, 비 특허 문헌 1의 IRAP 픽쳐를 전제로 설명하지만, 비 특허 문헌 2에 있어서도 IRAP 픽쳐를 IDR 픽쳐로 대체함으로써 마찬가지의 처리를 실현할 수 있다.
도 32에 나타내는 바와 같이, 랜덤 액세스 간격을 짧게 하기 위해서는 많은 픽쳐를 IRAP 픽쳐로서 부호화할 필요가 있고, 움직임 보상 예측에 의해 고효율의 부호화가 가능한 인터 픽쳐가 적어져 부호화 효율이 낮아진다(도 32(a)). 반대로 인터 픽쳐를 많게 하면 랜덤 액세스 간격은 길어져 버린다(도 32(b)). 이와 같은 트레이드오프 문제의 해소를 위해, 본 실시의 형태에서는, 랜덤 액세스 가능한 인터 픽쳐를 정의한다.
도 33에, 도 32에서 설명한 비 특허 문헌 1 및 2에 의한 종래의 랜덤 액세스 실현예(도 33(a))와 본 실시의 형태에 의한 랜덤 액세스 실현예(도 33(b))를 나타낸다. 도 33(a)에서는 인트라 픽쳐인 IRAP 픽쳐가 1픽쳐 걸러 삽입되어 있다. 한편, 도 33(b)에서는 도 33(a)보다 인터 픽쳐의 수가 많게 되어 있다. 또, 도 33(b)에서는, 백색으로 나타내는 「인터 픽쳐」(랜덤 액세스 불가능한 인터 픽쳐)는 각각 표시 순서가 앞(표시 시각이 과거)이 되는 랜덤 액세스 가능한 인터 픽쳐보다 표시 순서가 앞인 픽쳐를 참조하고 있지 않다. 이와 같이, 랜덤 액세스 불가능한 인터 픽쳐가, 각각 표시 순서가 앞이 되는 랜덤 액세스 가능한 인터 픽쳐를 넘어서 더 앞의 픽쳐를 참조하지 않음으로써, 랜덤 액세스 가능한 인터 픽쳐에 의한 랜덤 액세스를 실현하고 있다. 이것은, 비 특허 문헌 1의 CRA 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로 대체하는 것에 상당한다.
도 33(b)와 같이, 본 실시의 형태에서는, 랜덤 액세스 가능한 인터 픽쳐는 장기 참조(long-term reference) 픽쳐만을 참조하는 인터 픽쳐로 한다. 여기서, 장기 참조 픽쳐란 비 특허 문헌 1 및 2에 정의되어 있는 통상의 참조 픽쳐(비 특허 문헌 1 및 2에 정의되어 있는 단기 참조(short-term reference) 픽쳐)의 버퍼 관리와는 별도로 장기 보존용으로 준비되어 있는 참조 픽쳐 버퍼에 저장되어 있는 참조 픽쳐를 나타내고 있다. 즉, 장기 참조 픽쳐는, 움직임 보상 예측 프레임 메모리(12) 내의 장기 보존용 버퍼에 보존된다. 이하, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 픽쳐를 「랜덤 액세스시 사용 참조 픽쳐」라고 부른다. 랜덤 액세스시 사용 참조 픽쳐는 도 33(b)에 나타내는 바와 같이 랜덤 액세스 가능한 인터 픽쳐 이외의 픽쳐(예컨대 도 33(b)의 인터 픽쳐)도 참조 가능한 픽쳐이다. 본 실시의 형태에 있어서는, 랜덤 액세스시 사용 참조 픽쳐는, 해당 픽쳐 단독으로 정상 복호 가능한 인트라 픽쳐로 한정한다. 또한, 랜덤 액세스시 사용 참조 픽쳐는, 일정한 픽쳐 간격으로 설정하더라도 좋고, 신(scene)마다 어울리는 픽쳐를 선택하더라도 좋다. 또한, 배경 화상을 랜덤 액세스시 사용 참조 픽쳐로서 설정하더라도 좋다. 또한, 어느 인트라 픽쳐를 랜덤 액세스시 사용 참조 픽쳐로서 설정할지는, 부호화 장치에 있어서 미리 결정된 룰에 따라서 결정하는 방법, 부호화의 과정에서 결정하는 방법, 부호화 장치 밖에서 결정하는 방법 등, 용도에 따라 다양한 방법을 생각할 수 있다.
또한, 랜덤 액세스 가능한 인터 픽쳐의 설정에 대해서도, 용도에 따라 다양한 설정 방법을 생각할 수 있다. 예컨대, 상기 랜덤 액세스시 사용 참조 픽쳐와의 사이의 상관을 나타내는 평가값의 크기에 근거하여 미리 설정한다. 다시 말해, 상기 랜덤 액세스시 사용 참조 픽쳐와의 사이의 상관이 큰 인터 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로 한다. 그 외의 예로서는, 일정 픽쳐 간격으로 설정하는 방법도 있다.
랜덤 액세스 가능한 픽쳐로서 설정된 인터 픽쳐는, 움직임 보상 예측부(5)에 있어서, 1개 이상의 장기 참조 픽쳐를 참조하여 움직임 보상 예측을 행하는 것에 의해 예측 화상을 생성한다.
복호측에서, 비트스트림의 도중에 존재하는 랜덤 액세스 가능한 인터 픽쳐로부터 올바르게 복호할 수 있도록, 랜덤 액세스 가능한 인터 픽쳐에 관한 정보를 비트스트림에 다중화할 필요가 있다. 따라서, 실시의 형태 1은, 가변 길이 부호화부(13)에 있어서 랜덤 액세스 가능한 인터 픽쳐에 관한 정보를 부호화한다.
즉, 가변 길이 부호화부(13)는, 랜덤 액세스 가능한 인터 픽쳐의 액세스 유닛 내에, Supplemental Enhancement Information(SEI)으로서 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 보충 정보(식별 정보)를 부호화하고, 그 보충 정보의 부호화 데이터를 비트스트림에 다중화한다. 이 SEI에는, 해당 액세스 유닛의 인터 픽쳐가 참조하는, 단독 복호 가능한 장기 참조 픽쳐(랜덤 액세스시 사용 참조 픽쳐)의 픽쳐 번호를 나타내는 픽쳐 위치 정보가 포함된다. 따라서, 복호측에서는 랜덤 액세스할 때, IRAP 픽쳐 외에, 상기 SEI를 갖는 액세스 유닛의 인터 픽쳐에 대해서도 랜덤 액세스가 가능하게 된다. 이 경우, 상기 SEI가 나타내는 장기 참조 픽쳐를 복호 후에 그 장기 참조 픽쳐만을 참조하는 해당 인터 픽쳐를 복호한다.
즉, 후술하는 도 3의 화상 복호 장치에 있어서, 복호부를 구성하는 가변 길이 복호부(31)가, 비트스트림에 다중화되어 있는 부호화 데이터로부터 SEI를 복호 하면, 화상 복호 장치는, 그 SEI에 포함되어 있는 픽쳐 위치 정보가 나타내는 픽쳐 번호의 장기 참조 픽쳐인 인트라 픽쳐의 복호 화상을 우선 복호하여, 그 인트라 픽쳐의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한 후, 움직임 보상부(35)가, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 인트라 픽쳐의 복호 화상을 참조하여, 그 SEI가 나타내는 랜덤 액세스 가능한 인터 픽쳐의 움직임 보상 예측을 실시함으로써, 그 SEI가 나타내는 랜덤 액세스 가능한 인터 픽쳐로부터의 도중 복호(랜덤 액세스)를 실현할 수 있다.
도 33(b)에 있어서, 랜덤 액세스시 사용 참조 픽쳐인 장기 참조 픽쳐는 IRAP 픽쳐이지만, IRAP 픽쳐가 아닌 인트라 픽쳐를 장기 참조 픽쳐로 하더라도 좋다. 또한, 모든 IRAP 픽쳐를 장기 참조 픽쳐로 할 필요는 없고, 도 34의 예와 같이 장기 참조 픽쳐가 아닌 IRAP 픽쳐를 병용하더라도 좋다. 또한, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 장기 참조 픽쳐 수는 미리 화상 부호화 장치 및 복호 장치에서 공통의 값으로서 결정하여 둔다. 보충 정보로서 부호화하는 장기 참조 픽쳐의 픽쳐 번호의 개수는 이 미리 결정된 장기 참조 픽쳐 수만큼 존재한다. 혹은, 상기 장기 참조 픽쳐 수도 보충 정보로서 부호화하도록 하더라도 좋다. 이와 같이 함으로써, 참조하는 장기 참조 픽쳐 수를 상황에 따라 적응적으로 변경할 수 있고, 랜덤 액세스 가능한 인터 픽쳐의 부호화 효율을 개선할 수 있다.
이와 같이, 픽쳐 내만을 예측에 이용하는 인트라 픽쳐뿐만 아니라, 움직임 보상용 할 수 있는 인터 픽쳐를 랜덤 액세스 포인트로서 이용할 수 있는 것에 의해, 비 특허 문헌 1 및 2와 비교하여 고효율의 부호화를 실현할 수 있다.
도 1의 예에서는, 화상 부호화 장치의 구성 요소인 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8), 가산부(9), 인트라 예측용 메모리(10), 루프 필터부(11), 움직임 보상 예측 프레임 메모리(12), 가변 길이 부호화부(13) 및 슬라이스 분할부(14)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 화상 부호화 장치가 컴퓨터로 구성되는 경우, 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8), 가산부(9), 루프 필터부(11), 가변 길이 부호화부(13) 및 슬라이스 분할부(14)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.
도 2는 본 발명의 실시의 형태 1에 의한 화상 부호화 장치의 처리 내용(화상 부호화 방법)을 나타내는 플로차트이다.
도 3은 본 발명의 실시의 형태 1에 의한 화상 복호 장치를 나타내는 구성도이다. 화상 복호 장치에 있어서도, 인터 픽쳐로부터 랜덤 액세스 가능한 점이 특징이다.
여기서, 가변 길이 복호부(31)는 복호부를 구성하고, 역양자화ㆍ역변환부(32)는 차분 화상 생성부를 구성하고, 전환 스위치(33), 인트라 예측부(34) 및 움직임 보상부(35)는 예측 화상 생성부를 구성하고 있다.
또한, 가산부(36)는 복호 화상 생성부를 구성하고, 루프 필터부(38)는 필터링 처리부를 구성하고 있다.
도 3에 있어서, 가변 길이 복호부(31)는 도 1의 화상 부호화 장치에 의해 생성된 부호화 비트스트림을 입력하면, 그 비트스트림으로부터 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 슬라이스 레벨 헤더 등의 각 헤더 정보를 복호함과 아울러, 그 부호화 비트스트림으로부터, 계층적으로 분할되어 있는 각각의 부호화 블록의 분할 상황을 나타내는 블록 분할 정보를 가변 길이 복호한다. 이때, YUV 4:4:4 포맷 신호나 RGB 4:4:4 포맷 신호의 각 신호를 모노크롬 화상 신호로 간주하여 각각 독립적으로 모노크롬(YUV 4:0:0) 부호화하고 있는 것을 나타내는 정보가 헤더 정보에 포함되는 경우, 각 색 신호의 부호화 비트스트림에 대하여 각각 독립적으로 복호 처리할 수 있다.
여기서, 부호화 비트스트림의 도중부터 복호하는 랜덤 액세스를 행하는 경우, IRAP 픽쳐 또는 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 SEI를 갖는 액세스 유닛의 픽쳐로부터 복호를 개시함으로써, 표시 순서로 해당 픽쳐 이후의 픽쳐를 올바르게 복호할 수 있다. 구체적으로는, 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 SEI를 복호하고, 우선, 이 SEI에 포함되는 장기 참조 픽쳐의 픽쳐 번호, 즉 해당 액세스 유닛의 픽쳐가 참조하는 장기 참조 픽쳐의 픽쳐 번호를 참조하여, 그 가리키는 픽쳐 번호의 픽쳐를 복호한다. 그 후, 움직임 보상부(35)(움직임 보상 예측부)에 있어서, 복호되어 움직임 보상 예측 프레임 메모리(39)(움직임 보상 예측 메모리)에 보존된 장기 참조 픽쳐를 참조하여, 상기 SEI가 포함되어 있던 액세스 유닛의 인터 픽쳐의 움직임 보상 예측을 실시하고, 이 인터 픽쳐를 복호한다. 그리고, 이 인터 픽쳐보다 표시 순서가 뒤가 되는 픽쳐를 복호한다. 이와 같이 함으로써 상기 SEI가 포함되어 있던 액세스 유닛의 픽쳐 이후의 픽쳐를 올바르게 복호할 수 있다.
또한, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 장기 참조 픽쳐 수는 미리 화상 부호화 장치 및 복호 장치에서 공통의 값으로서 결정하여 두고, 그 정한 상기 장기 참조 픽쳐 수만큼의 장기 참조 픽쳐의 픽쳐 번호를 복호한다. 혹은, 상기 장기 참조 픽쳐 수도 보충 정보로서 부호화하도록 화상 부호화 장치를 구성하는 경우, 화상 복호 장치는 참조하는 장기 참조 픽쳐 수를 복호하고, 그 복호한 장기 참조 픽쳐 수만큼의 장기 참조 픽쳐의 픽쳐 번호를 복호하는 복호 장치를 구성한다. 이와 같이 부호화된 장기 참조 픽쳐 수를 복호하도록 구성함으로써, 적응적으로 참조 픽쳐 수를 변경하여 랜덤 액세스 가능한 인터 픽쳐의 부호화 효율을 개선한 화상 부호화 장치에서 생성한 스트림을 올바르게 복호할 수 있다.
이하, 화상 복호 장치의 그 외의 구성에 대하여 설명한다. 이하의 구성은, 부호화 비트스트림의 도중부터 복호하는 랜덤 액세스시에도, 부호화 비트스트림의 처음으로부터 복호하는 경우에도 마찬가지이다.
상기 헤더 정보에 포함되는 양자화 매트릭스의 유효 플래그 정보가 "유효"를 나타내는 경우, 가변 길이 복호부(31)는 양자화 매트릭스 파라미터를 가변 길이 복호하고, 양자화 매트릭스를 특정한다. 구체적으로는, 각 직교 변환 사이즈의 색 신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기값으로서, 화상 부호화 장치 및 화상 복호 장치에서 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인(새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우는, 상기 매트릭스 중 어느 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용하는 양자화 매트릭스로서 특정한다.
또한, 가변 길이 복호부(31)는, 각 헤더 정보를 참조하여, 슬라이스 분할 상태를 특정함과 아울러, 각 슬라이스의 슬라이스 데이터에 포함되는 최대 부호화 블록을 특정하고, 블록 분할 정보를 참조하여, 최대 부호화 블록을 계층적으로 분할하여 복호 처리를 행하는 단위인 부호화 블록을 특정하고, 각각의 부호화 블록과 관련되는 압축 데이터, 부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우) 및 예측 차분 부호화 파라미터를 가변 길이 복호하는 처리를 실시한다.
역양자화ㆍ역변환부(32)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 압축 데이터를 변환 블록 단위로 역양자화함과 아울러, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하여, 도 1의 역양자화ㆍ역변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출하는 처리를 실시한다.
여기서, 상기 변환 블록 분할 정보로부터, 부호화 블록에 있어서의 변환 블록의 분할 상태를 특정한다. 예컨대, YUV 4:2:0 포맷의 신호의 경우, 변환 블록 사이즈는, 도 19에 나타내는 바와 같이, 부호화 블록을 사지 트리 형상으로 계층 분할하는 것에 의해 결정된다.
휘도 신호에 대해서는, 예컨대, 도 19에 나타내는 바와 같이, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.
색차 신호에 대해서는, 도 19에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:0 신호인 경우, 휘도 신호와 마찬가지로, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다. 이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.
도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호와 마찬가지의 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소 수가 수평 방향의 화소 수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 이분함으로써, YUV 4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.
도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 마찬가지의 분할을 행하고, 동일한 사이즈의 변환 블록이 되도록 구성한다.
또한, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보가, 해당 슬라이스에서 양자화 매트릭스를 이용하여, 역양자화 처리를 실시하는 것을 나타내고 있는 경우, 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
구체적으로는, 각 헤더 정보로부터 특정되는 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
전환 스위치(33)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력하고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력하는 처리를 실시한다.
인트라 예측부(34)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 부호화 블록과 관련되는 부호화 모드가 인트라 부호화 모드인 경우, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다. 또, 인트라 예측부(34)는 인트라 예측 수단을 구성하고 있다.
즉, 인트라 예측부(34)는, 휘도 신호에 대해서는, 휘도 신호에 대한 상기 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.
한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.
또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.
또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 왼쪽에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.
또, 입력 신호 포맷이 YUV 4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 화상 부호화 장치가 구성되어 있는 경우, 그 화상 부호화 장치로부터 생성되는 부호화 비트스트림을 복호할 수 있도록 화상 복호 장치도 마찬가지의 구성으로 한다.
YUV 4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.
또한, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 도 24에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소 수가 1/2이 되는 장방형의 블록이 된다. 따라서, 도 25에 나타내는 바와 같이, YUV 4:4:4 신호를 YUV 4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV 4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.
구체적으로는, 도 26에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 vL=(dxL, dyL)로 한 경우, 색차 신호의 예측 방향 벡터는, vC=(dxL/2, dyL)이 된다. 즉, 도 27에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θL, 색차 신호의 예측 방향의 각도를 θC로 하여, tanθC=2tanθL의 관계가 되는 예측 방향에서 예측할 필요가 있다.
따라서, 휘도 신호와 색차 신호에서 동일 방향의 예측을 행하는 상기 DM 모드를 올바르게 실시할 수 있도록 하기 위해, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다. 구체적으로는, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조함으로써, 인덱스를 변환하도록 구성하더라도 좋고, 미리 변환식을 준비하여, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.
이와 같이 구성함으로써, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로, YUV 4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.
움직임 보상부(35)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 부호화 블록과 관련되는 부호화 모드가 인터 부호화 모드인 경우, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
가산부(36)는 역양자화ㆍ역변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상을 가산하여, 도 1의 가산부(9)로부터 출력된 국소 복호 화상과 동일한 복호 화상을 산출하는 처리를 실시한다.
인트라 예측용 메모리(37)는 가산부(36)에 의해 산출된 복호 화상을 인트라 예측 처리에서 이용하는 참조 화상으로서 저장하는 기록 매체이다.
루프 필터부(38)는 가산부(36)에 의해 산출된 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 해당 슬라이스에서 행하는지 아닌지를 특정한다.
이때, 2개 이상의 필터 처리를 행하는 경우에 있어서, 예컨대, 화상 부호화 장치의 루프 필터부(11)가 도 11과 같이 구성되어 있으면, 도 12에 나타내는 바와 같이 루프 필터부(38)가 구성된다. 당연히, 화상 부호화 장치의 루프 필터부(11)가 디블로킹 필터 처리와 화소 적응 오프셋 처리로 구성되어 있으면, 루프 필터부(38)도 디블로킹 필터 처리와 화소 적응 오프셋 처리로 구성된다.
여기서, 디블로킹 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 헤더 정보를 참조하여, 블록 경계에 작용시키는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경하는 정보가 존재하는 경우, 그 변경 정보에 근거하여, 디블로킹 필터 처리를 실시한다. 변경 정보가 없는 경우는, 미리 정해진 수법에 따라서 행한다.
화소 적응 오프셋 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 화소 적응 오프셋 처리의 블록 분할 정보에 근거하여 복호 화상을 분할하고, 그 블록 단위로, 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는다"는 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록 내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라서 클래스 분류한다.
또, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.
그리고, 블록 단위의 각 클래스의 오프셋값을 특정하는 오프셋 정보를 참조하여, 복호 화상의 휘도값에 오프셋을 가산하는 처리를 행한다.
단, 화상 부호화 장치의 루프 필터부(11)의 화소 적응 오프셋 처리에 있어서, 블록 분할 정보는 부호화하지 않고서, 항상 화상을 고정 사이즈의 블록 단위(예컨대, 최대 부호화 블록 단위)로 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록 단위로 화소 적응 오프셋 처리를 실시한다.
적응 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 클래스마다의 필터를 이용하여, 도 1의 화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.
움직임 보상 예측 프레임 메모리(39)는 루프 필터부(38)의 필터 처리 후의 복호 화상을 인터 예측 처리(움직임 보상 예측 처리)에서 이용하는 참조 화상으로서 저장하는 기록 매체이다.
도 3의 예에서는, 화상 복호 장치의 구성 요소인 가변 길이 복호부(31), 역양자화ㆍ역변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36), 인트라 예측용 메모리(37), 루프 필터부(38) 및 움직임 보상 예측 프레임 메모리(39)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로나, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(31), 역양자화ㆍ역변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.
도 4는 본 발명의 실시의 형태 1에 의한 화상 복호 장치의 처리 내용(화상 복호 방법)을 나타내는 플로차트이다.
다음으로 동작에 대하여 설명한다.
본 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 부호화 완료된 근방 화소로부터의 인트라 예측 또는 근접 프레임간에서의 움직임 보상 예측을 실시하여, 얻어진 예측 차분 신호에 대하여 직교 변환ㆍ양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 부호화 비트스트림을 생성하는 화상 부호화 장치와, 그 화상 부호화 장치로부터 출력되는 부호화 비트스트림을 복호하는 화상 복호 장치에 대하여 설명한다.
도 1의 화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 블록으로 분할하여, 프레임 내ㆍ프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.
일반적으로, 영상 신호는, 공간ㆍ시간적으로 신호의 복잡함이 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 영상 프레임상에서는, 예컨대, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 그림도 있는가 하면, 인물이나 미세한 텍스쳐를 포함하는 그림 등, 작은 화상 영역 내에서 복잡한 텍스쳐 패턴을 갖는 그림도 혼재하는 일이 있다.
시간적으로 보더라도, 하늘이나 벽은 국소적으로 시간 방향의 그림의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.
부호화 처리는, 시간ㆍ공간적인 예측에 의해, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하여, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 해당 파라미터의 부호량을 작게 할 수 있다.
한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 오류가 증가하여 버리기 때문에, 예측 차분 신호의 부호량이 증가하여 버린다.
따라서, 시간적ㆍ공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용하여 예측 처리를 행하는 블록 사이즈를 작게 하여, 예측에 이용하는 파라미터의 데이터량을 늘리고, 예측 차분 신호의 전력ㆍ엔트로피를 저감하는 쪽이 바람직하다.
본 실시의 형태 1에서는, 이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 때문에, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하고, 계층적으로 영상 신호의 영역을 분할하고, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.
최초로, 도 1의 화상 부호화 장치의 처리 내용을 설명한다.
우선, 부호화 제어부(2)는, 부호화 대상이 되는 픽쳐(커런트 픽쳐)의 슬라이스 분할 상태를 결정함과 아울러, 픽쳐의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층 수의 상한을 결정한다(도 2의 스텝 ST1).
최대 부호화 블록의 사이즈의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽쳐에 대하여 동일한 사이즈를 정하더라도 좋고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화하여, 움직임이 격렬한 픽쳐에는, 작은 사이즈를 정하는 한편, 움직임이 적은 픽쳐에는, 큰 사이즈를 정하도록 하더라도 좋다.
분할 계층 수의 상한의 결정 방법으로서는, 예컨대, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽쳐에 대하여 동일한 계층 수를 정하는 방법이나, 입력 화상의 영상 신호의 움직임이 격렬한 경우에는, 계층 수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는, 계층 수를 억제하도록 설정하는 방법 등이 있다.
또, 상기 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층 수의 상한은, 시퀀스 레벨 헤더 등에 부호화하더라도 좋고, 부호화하지 않고서 화상 복호 장치측도 동일한 결정 처리를 행하도록 하더라도 좋다.
전자는 헤더 정보의 부호량이 증가하지만, 화상 복호 장치측에서 상기 결정 처리를 행하지 않아도 되기 때문에, 화상 복호 장치의 처리 부하를 억제할 수 있는데다가, 화상 부호화 장치측에서 최적의 값을 탐색하여 보낼 수 있다.
후자는 반대로, 화상 복호 장치측에서 상기 결정 처리를 행하기 때문에, 화상 복호 장치의 처리 부하가 증가하지만, 헤더 정보의 부호량은 증가하지 않는다.
또한, 상기 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층 수의 상한을 시퀀스 레벨 헤더 등에 부호화하는 경우, 분할 계층 수의 상한 대신에, 부호화 블록의 최소 블록 사이즈를 부호화하도록 하더라도 좋다. 즉, 최대 부호화 블록을 분할 계층 수의 상한까지 분할했을 때의 블록의 사이즈가, 부호화 블록의 최소 블록 사이즈이기 때문에, 화상 복호 장치측에 있어서, 최대 부호화 블록의 사이즈와 부호화 블록의 최소 블록 사이즈로부터 분할 계층 수의 상한을 특정할 수 있다.
또한, 부호화 제어부(2)는, 이용 가능한 1개 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(스텝 ST2).
즉, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 먼저 정한 분할 계층 수의 상한에 이를 때까지, 계층적으로 부호화 블록 사이즈를 갖는 부호화 블록으로 분할하여, 각각의 부호화 블록에 대한 부호화 모드를 결정한다.
부호화 모드에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭한다)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭한다)가 있고, 부호화 제어부(2)는, 해당 픽쳐에서 이용 가능한 모든 부호화 모드, 또는, 그 부분집합 중에서, 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다.
단, 후술하는 블록 분할부(1)에 의해 계층적으로 분할되는 각각의 부호화 블록은, 예측 처리를 행하는 단위인 1개 내지 복수의 예측 블록으로 더 분할되고, 예측 블록의 분할 상태도 부호화 모드 중에 정보로서 포함된다. 즉, 부호화 모드는, 어떠한 예측 블록 분할을 갖는 인트라 또는 인터 부호화 모드인지를 식별하는 인덱스이다.
부호화 제어부(2)에 의한 부호화 모드의 선택 방법은, 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.
또한, 부호화 제어부(2)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 분할 상태를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 결정한다.
단, 부호화 블록이 예측 처리를 행하는 예측 블록 단위로 더 분할되는 경우는, 예측 블록마다 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택한다.
여기서, 도 19는 4:2:0 포맷의 신호에 있어서의 휘도 신호 및 색차 신호의 압축 처리(변환 처리, 양자화 처리)를 실시할 때의 변환 블록 사이즈를 나타내는 설명도이다.
변환 블록 사이즈는, 도 19에 나타내는 바와 같이, 부호화 블록을 사지 트리 형상에 계층 분할하는 것에 의해 결정된다.
예컨대, 변환 블록을 분할하는 경우와 변환 블록을 분할하지 않는 경우의 부호량이나, 부호화 오차를 가미한 평가 척도 등에 근거하여, 평가값이 최소가 되도록 변환 블록을 분할하는지 아닌지를 결정함으로써, 부호량과 부호화 오차의 트레이드오프의 관점으로부터 최적의 변환 블록의 분할 형상을 결정할 수 있다.
휘도 신호에 대해서는, 예컨대, 도 19에 나타내는 바와 같이, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다.
색차 신호에 대해서는, 도 19에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:0 신호인 경우, 휘도 신호와 마찬가지로, 부호화 블록이 1개 또는 복수의 정방형의 변환 블록으로 계층적으로 분할되도록 구성한다. 이 경우, 색차 신호의 변환 블록 사이즈는, 대응하는 휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈가 된다.
도 20에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호와 마찬가지의 사지 트리 형상의 계층 분할을 행한다. 또한, 분할한 블록의 형상이, 수직 방향의 화소 수가 수평 방향의 화소 수의 2배가 되는 장방형이 되기 때문에, 분할한 블록을 상하로 이분함으로써, YUV 4:2:0 신호에서의 색차 신호와 동일한 블록 사이즈(휘도 신호의 변환 블록의 종횡 모두 절반의 사이즈)의 변환 블록 2개로 구성하도록 한다.
또한, 도 21에 나타내는 바와 같이, 입력 신호 포맷이 YUV 4:4:4 신호인 경우, 색차 신호의 변환 블록은, 항상 휘도 신호의 변환 블록과 마찬가지의 분할을 행하고, 동일한 사이즈의 변환 블록이 되도록 구성한다.
부호화 제어부(2)는, 부호화 블록에 있어서의 변환 블록의 분할 정보를 나타내는 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝 사이즈를 규정하는 양자화 파라미터 등을 포함하는 예측 차분 부호화 파라미터를 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력한다.
또한, 부호화 제어부(2)는, 인트라 예측 파라미터를 필요에 따라서 인트라 예측부(4)에 출력한다.
또한, 부호화 제어부(2)는, 인터 예측 파라미터를 필요에 따라서 움직임 보상 예측부(5)에 출력한다.
슬라이스 분할부(14)는, 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라서 1개 이상의 부분 화상인 슬라이스로 분할한다.
블록 분할부(1)는, 슬라이스 분할부(14)로부터 각 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로 분할하고, 분할한 최대 부호화 블록을 부호화 제어부(2)에 의해 결정된 부호화 블록으로 계층적으로 더 분할하여, 그 부호화 블록을 출력한다.
여기서, 도 5는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 5에 있어서, 최대 부호화 블록은, 「제 0 계층」이라고 기록되어 있는 휘도 성분이 (L0, M0)의 사이즈를 갖는 부호화 블록이다.
최대 부호화 블록을 출발점으로 하여, 사지 트리 구조로 별도로 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 블록을 얻도록 하고 있다.
깊이 n에 있어서는, 부호화 블록은 사이즈 (Ln, Mn)의 화상 영역이다.
단, Ln과 Mn은, 동일하더라도 좋고, 상이하더라도 좋지만, 도 5에서는, Ln=Mn의 케이스를 나타내고 있다.
이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 블록의 휘도 성분에 있어서의 사이즈 (Ln, Mn)으로 정의한다.
사지 트리 분할을 행하기 때문에, 항상, (Ln +1, Mn+1)=(Ln/2, Mn/2)이 성립한다.
또, RGB 신호 등, 모든 색성분이 동일 샘플 수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색성분의 사이즈가 (Ln, Mn)이 되지만, 4:2:0 포맷을 취급하는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Ln/2, Mn/2)이 된다.
이후, 제 n 계층의 부호화 블록을 Bn으로 나타내고, 부호화 블록 Bn에서 선택 가능한 부호화 모드를 m(Bn)으로 나타내는 것으로 한다.
복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)은, 색성분마다, 각각 개별의 모드를 이용하도록 구성되더라도 좋고, 모든 색성분에 대하여 공통의 모드를 이용하도록 구성되더라도 좋다. 이후, 특별히 언급하지 않는 이상 YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.
부호화 블록 Bn은, 도 5에 나타내는 바와 같이, 블록 분할부(1)에 의해, 예측 처리 단위를 나타내는 1개 내지 복수의 예측 블록으로 분할된다.
이후, 부호화 블록 Bn에 속하는 예측 블록을 Pi n(i는, 제 n 계층에 있어서의 예측 블록 번호)으로 표기한다. 도 5에는 P0 0과 P1 0의 예를 나타내고 있다.
부호화 블록 Bn 내의 예측 블록의 분할이, 어떻게 이루어지고 있는지는, 부호화 모드 m(Bn) 중에 정보로서 포함된다.
예측 블록 Pi n은, 모두 부호화 모드 m(Bn)에 따라서 예측 처리가 행해지지만, 예측 블록 Pi n마다, 개별의 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.
부호화 제어부(2)는, 최대 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록을 특정한다.
도 6(a)의 점선으로 둘러싸인 직사각형이 각 부호화 블록을 나타내고, 각 부호화 블록 내에 있는 사선으로 칠해진 블록이 각 예측 블록의 분할 상태를 나타내고 있다.
도 6(b)는 도 6(a)의 예에 대하여, 계층 분할에 의해 부호화 모드 m(Bn)이 할당되는 상황을 사지 트리 그래프로 나타낸 것이다. 도 6(b)의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bn)이 할당된 노드(부호화 블록)이다.
이 사지 트리 그래프의 정보는 부호화 모드 m(Bn)과 함께 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.
전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)이 인트라 부호화 모드인 경우(m(Bn)∈INTRA의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bn을 인트라 예측부(4)에 출력한다.
한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)이 인터 부호화 모드인 경우(m(Bn)∈INTER의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bn을 움직임 보상 예측부(5)에 출력한다.
인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)이 인트라 부호화 모드이고(m(Bn)∈INTRA의 경우), 전환 스위치(3)로부터 부호화 블록 Bn을 받으면(스텝 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bn 내의 각 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST4).
단, 상세는 후술하지만, 인트라 예측 화상을 생성하는 처리를 행할 때에, 예측 대상 블록에 인접하는 부호화 완료 화소를 이용하기 때문에, 인트라 예측 화상을 생성하는 처리는, 예측 처리에 이용하는 예측 대상 블록에 인접하는 화소가 이미 부호화 완료가 되도록 항상 변환 블록 단위로 행해지지 않으면 안 된다.
따라서, 부호화 모드가 인트라 부호화 모드인 부호화 블록에서는, 선택 가능한 변환 블록의 블록 사이즈는, 예측 블록의 사이즈 이하로 제한되고, 또한, 변환 블록이 예측 블록보다 작은 경우(예측 블록 내에 복수의 변환 블록이 존재하는 경우)에는, 변환 블록 단위로, 해당 예측 블록에서 정해진 인트라 예측 파라미터를 이용한 인트라 예측 처리를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.
또, 화상 복호 장치가 인트라 예측 화상 PINTRAi n과 완전히 동일한 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.
인트라 예측부(4)의 처리 내용의 상세는 후술한다.
움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)이 인터 부호화 모드이고(m(Bn)∈INTER의 경우), 전환 스위치(3)로부터 부호화 블록 Bn을 받으면(스텝 ST3), 그 부호화 블록 Bn 내의 각 예측 블록 Pi n과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록 Bn 내의 각 예측 블록 Pi n에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 PINTERi n을 생성한다(스텝 ST5).
또, 화상 복호 장치가 인터 예측 화상 PINTERi n과 완전히 동일한 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 PINTERi n의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.
또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되어, 비트스트림에 다중화된다.
감산부(6)는, 블록 분할부(1)로부터 부호화 블록 Bn을 받으면, 그 부호화 블록 Bn 내의 예측 블록 Pi n으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n의 어느 한쪽을 감산하여, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호 ei n을 변환ㆍ양자화부(7)에 출력한다(스텝 ST6).
변환ㆍ양자화부(7)는, 감산부(6)로부터 예측 차분 신호 ei n을 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보를 참조하여, 그 예측 차분 신호 ei n에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 변환 블록 단위로 실시하여, 변환 계수를 산출한다.
또한, 변환ㆍ양자화부(7)는, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(스텝 ST7). 이때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝 사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여 양자화 처리를 실시하도록 하더라도 좋다.
양자화 매트릭스는, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화나 인터 부호화)마다 독립하고 있는 매트릭스를 사용할 수 있고, 초기값으로서, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택할지, 새로운 양자화 매트릭스를 이용할지를 각각 선택할 수 있다.
따라서, 변환ㆍ양자화부(7)는, 각 직교 변환 사이즈에 대하여 색 신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 아닌지를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.
또한, 새로운 양자화 매트릭스를 이용하는 경우에는, 도 10에 나타내는 바와 같은 양자화 매트릭스의 각 스케일링값을 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.
한편, 새로운 양자화 매트릭스를 이용하지 않는 경우에는, 초기값으로서, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 부호화된 양자화 매트릭스 중에서, 사용하는 매트릭스를 특정하는 인덱스를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다. 단, 참조 가능한 이미 부호화된 양자화 매트릭스가 존재하지 않는 경우, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스만 선택 가능하게 된다.
그리고, 변환ㆍ양자화부(7)는, 설정한 양자화 매트릭스 파라미터를 가변 길이 부호화부(13)에 출력한다.
역양자화ㆍ역변환부(8)는, 변환ㆍ양자화부(7)로부터 압축 데이터를 받으면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 그 압축 데이터를 역양자화한다.
변환ㆍ양자화부(7)가 양자화 처리에 양자화 매트릭스를 이용하고 있는 경우에는, 역양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응한 역양자화 처리를 실시한다.
또한, 역양자화ㆍ역변환부(8)는, 변환 블록 단위로 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리(예컨대, 역 DCT, 역 DST, 역 KL 변환 등)를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호 ei n에 상당하는 국소 복호 예측 차분 신호를 산출하여 가산부(9)에 출력한다(스텝 ST8).
가산부(9)는, 역양자화ㆍ역변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n의 어느 한쪽을 가산함으로써, 국소 복호 화상을 산출한다(스텝 ST9).
또, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.
이 국소 복호 화상이, 이후의 인트라 예측 처리시에 이용되는 부호화 완료의 화상 신호가 된다.
루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 받으면, 그 국소 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(스텝 ST10).
구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 처리를 행하는지 아닌지를 결정하고, 각 처리의 유효 플래그를 시퀀스 레벨 헤더의 일부 및 슬라이스 레벨 헤더의 일부로서 가변 길이 부호화부(13)에 출력한다. 또, 상기의 필터 처리를 복수 사용할 때는, 각 필터 처리를 차례로 실시한다. 도 11은 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.
일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상되지만, 한편으로 처리 부하는 높아진다. 즉, 화상 품질과 처리 부하는 트레이드오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라서 사용하는 필터 처리를 결정하면 된다.
여기서, 디블로킹 필터 처리에서는, 블록 경계에 작용시키는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경할 수 있다. 변경하는 경우에는, 그 파라미터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.
화소 적응 오프셋 처리에서는, 최초로, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 미리 준비하고 있는 복수의 클래스 분류 수법 중에서, 1개의 클래스 분류 수법을 선택한다.
다음으로, 선택한 클래스 분류 수법에 의해 블록 내의 각 화소를 클래스 분류하고, 클래스마다 부호화 왜곡을 보상하는 오프셋값을 산출한다.
마지막으로, 국소 복호 화상의 휘도값에 대하여, 그 오프셋값을 가산하는 처리를 행함으로써 국소 복호 화상의 화상 품질을 개선한다.
클래스 분류 수법으로서는, 국소 복호 화상의 휘도값의 크기로 분류하는 수법(BO 수법이라고 부른다)이나, 에지의 방향마다 각 화소의 주위의 상황(에지부인지 아닌지 등)에 따라 분류하는 수법(EO 수법이라고 부른다)이 있다.
이들 수법은, 미리 화상 부호화 장치 및 화상 복호 장치에서 공통으로 준비되어 있고, 예컨대 도 14에 나타내는 바와 같이, 오프셋 처리를 행하지 않는 경우도 클래스 분류 방법의 하나로서 정의하여, 이들 수법 중, 어느 수법으로 클래스 분류를 행하는지를 나타내는 인덱스를 상기 블록 단위로 선택한다.
따라서, 화소 적응 오프셋 처리는, 블록의 분할 정보, 블록 단위의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 오프셋 정보를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.
또, 화소 적응 오프셋 처리에 있어서, 예컨대 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하여, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하더라도 좋다. 이 경우, 상기 블록 분할 정보가 불필요하게 되고, 블록 분할 정보에 요하는 부호량만큼 부호량이 삭감되어, 부호화 효율을 높일 수 있다.
또한, 적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하고, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 해당 국소 복호 화상의 필터 처리를 실시한다.
그리고, 클래스마다 설계한 필터를 헤더 정보로서 가변 길이 부호화부(13)에 출력한다.
여기서, 클래스 분류 수법으로서는, 화상을 공간적으로 등간격으로 나누는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다. 또한, 적응 필터 처리에서 사용하는 클래스 수는, 미리 화상 부호화 장치 및 화상 복호 장치에서 공통의 값으로 설정하더라도 좋고, 부호화해야 할 파라미터의 하나로 하더라도 좋다.
전자와 비교하여 후자가, 사용하는 클래스 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 높아지지만, 한편으로 클래스 수를 부호화하기 때문에, 그만큼의 부호량이 증가한다.
스텝 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bn에 대한 처리가 완료될 때까지 반복 실시되고, 모든 부호화 블록 Bn에 대한 처리가 완료되면, 스텝 ST13의 처리로 이행한다(스텝 ST11, ST12).
가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 최대 부호화 블록 내의 블록 분할 정보(도 6(b)을 예로 하는 사지 트리 정보), 부호화 모드 m(Bn) 및 예측 차분 부호화 파라미터와, 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하고, 그들의 부호화 결과를 나타내는 부호화 데이터를 생성한다(스텝 ST13).
그때, 양자화된 직교 변환 계수인 압축 데이터의 부호화 수법으로서, 변환 블록을 Coefficient Group(CG)으로 불리는 4×4 화소 단위의 블록(부호화 서브블록)으로 더 분할하여, CG 단위로 계수의 부호화 처리를 실시한다.
도 15는 16×16 화소의 변환 블록에 있어서의 계수의 부호화 순서(스캔 순서)를 나타내고 있다.
이와 같이, 4×4 화소 단위의 16개의 CG를 오른쪽 아래의 CG로부터 차례로 부호화 처리하고, 또한, 각 CG는 CG 내의 16개의 계수를 오른쪽 아래의 계수로부터 차례로 부호화한다.
구체적으로는, 우선, CG 내의 16개의 계수 중에 유의(0이 아닌) 계수가 존재하는지 아닌지의 플래그 정보를 부호화하고, 다음으로, CG 내에 유의(0이 아닌) 계수가 존재하는 경우만, CG 내의 각 계수가 유의(0이 아닌) 계수인지를 상기 차례로 부호화하고, 마지막으로 유의(0이 아닌) 계수에 대하여, 그 계수값 정보를 차례로 부호화한다. 이것을 CG 단위로 상기 차례로 행한다.
그때, 유의(0이 아닌) 계수가 가능한 한 연속으로 발생하도록 치우치는 스캔 순서로 하는 것이 엔트로피 부호화에 의한 부호화 효율을 높일 수 있다.
직교 변환 후의 계수는, 왼쪽 위에 위치하는 직류 성분을 시작으로 하여, 왼쪽 위에 가까울수록, 낮은 주파수 성분의 낮은 계수를 나타내기 때문에, 도 16에 나타내는 예와 같이, 일반적으로 왼쪽 위에 가까울수록 유의(0이 아닌) 계수가 많이 발생하기 때문에, 도 15에 나타내는 바와 같이, 오른쪽 아래로부터 차례로 부호화함으로써 효율적으로 부호화할 수 있다.
또, 상기에서는 16×16 화소의 변환 블록에 대하여 설명했지만, 8×8 화소나 32×32 화소의 변환 블록 등, 16×16 화소 이외의 블록 사이즈에 있어서도 CG(부호화 서브블록) 단위의 부호화 처리를 실시하는 것으로 한다.
또한, 가변 길이 부호화부(13)는, 도 13에 예시하는 바와 같이, 부호화 비트스트림의 헤더 정보로서, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더를 부호화하고, 픽쳐 데이터와 함께 부호화 비트스트림을 생성한다.
단, 픽쳐 데이터는 1개 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 해당 슬라이스 내에 있는 상기 부호화 데이터를 합친 것이다.
시퀀스 레벨 헤더는, 화상 사이즈, 색 신호 포맷, 휘도 신호나 색차 신호의 신호값의 비트 심도, 시퀀스 단위에서의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보, 필드 부호화인지 아닌가를 나타내는 플래그 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 합친 것이다.
픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐 수, 엔트로피 부호화의 확률 테이블 초기화 플래그 등의 픽쳐 단위로 설정하는 헤더 정보를 합친 것이다.
슬라이스 레벨 헤더는, 해당 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(인트라 부호화, 인터 부호화 등), 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)를 행하는지 아닌지를 나타내는 플래그 정보 등이라고 하는 슬라이스 단위의 파라미터를 합친 것이다.
다음으로, 인트라 예측부(4)의 처리 내용을 상세하게 설명한다.
인트라 예측부(4)는, 상술한 바와 같이, 예측 블록 Pi n의 인트라 예측 파라미터를 참조하여, 그 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성하지만, 여기서는, 휘도 신호에 있어서의 예측 블록 Pi n의 인트라 예측 화상을 생성하는 인트라 처리에 대하여 설명한다.
도 7은 부호화 블록 Bn 내의 각 예측 블록 Pi n이 선택 가능한 인트라 예측 모드의 일례를 나타내는 설명도이고, 인트라 예측 모드의 인덱스값과, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있다. 상기 인트라 예측 모드의 인덱스값이 인트라 예측 파라미터를 나타내고 있다.
또, 인트라 예측 모드 수는, 처리 대상이 되는 블록의 사이즈에 따라 상이하도록 구성하더라도 좋다.
큰 사이즈의 블록에서는, 인트라 예측의 효율이 저하되기 때문에, 선택할 수 있는 인트라 예측 방향 수를 적게 하고, 작은 사이즈의 블록에서는, 선택할 수 있는 인트라 예측 방향 수를 많게 하도록 구성함으로써 연산량을 억제할 수 있다.
우선, 인트라 예측 화상을 생성하는 처리는, 처리 대상의 블록에 인접하는 부호화 완료 화소를 이용하기 때문에, 상술한 바와 같이, 변환 블록 단위로 행해지지 않으면 안 된다.
여기서, 인트라 예측 화상을 생성하는 변환 블록을 예측 화상 생성 블록이라고 부르는 것으로 한다. 따라서, 인트라 예측부(4)는, 예측 화상 생성 블록 단위로 하기에 말하는 인트라 예측 화상 생성 처리를 실시하여, 예측 블록 Pi n의 인트라 예측 화상을 생성한다.
예측 화상 생성 블록의 사이즈를 li n×mi n 화소로 한다.
도 8은 li n=mi n=4의 경우의 예측 화상 생성 블록 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 8에서는, 예측 화상 생성 블록의 위의 부호화 완료 화소 (2×li n+1)개와, 왼쪽의 부호화 완료 화소 (2×mi n)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다 많더라도 적더라도 좋다.
또한, 도 8에서는, 예측 화상 생성 블록의 근방의 1행 또는 1열의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은, 그 이상의 화소를 예측에 이용하더라도 좋다.
예측 화상 생성 블록이 속하는 예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스값이 0(평면(Planar) 예측)인 경우에는, 예측 화상 생성 블록의 위에 인접하는 부호화 완료 화소와, 예측 화상 생성 블록의 왼쪽에 인접하는 부호화 완료 화소를 이용하여, 이들 화소와 예측 화상 생성 블록 내의 예측 대상 화소의 거리에 따라 내삽한 값을 예측값으로 하여 예측 화상을 생성한다.
예측 화상 생성 블록이 속하는 예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스값이 1(평균값(DC) 예측)인 경우에는, 예측 화상 생성 블록의 위에 인접하는 부호화 완료 화소와, 예측 화상 생성 블록의 왼쪽에 인접하는 부호화 완료 화소의 평균값을 예측 화상 생성 블록 내의 화소의 예측값으로 하여 예측 화상을 생성한다.
또한, 예측 화상 생성 블록의 상단 및 좌단에 위치하는 도 17의 영역 A, B, C에 대하여, 블록 경계를 평활화하는 필터 처리를 행하여 최종적인 예측 화상으로 한다. 예컨대, 하기의 식 (1)에 따라서, 도 18의 필터의 참조 화소 배치로, 하기의 필터 계수를 이용하여 필터 처리를 실시한다.
Figure pct00001
ㆍ영역 A(파티션 Pi n의 왼쪽 위의 화소)
a0=1/2, a1=1/4, a2=1/4
ㆍ영역 B(영역 A 이외의 파티션 Pi n의 상단의 화소)
a0=3/4, a2=1/4, (a1=0)
ㆍ영역 C(영역 A 이외의 파티션 Pi n의 좌단의 화소)
a0=3/4, a1=1/4, (a2=0)
단, 식 (1)에 있어서, an(n=0, 1, 2)은 참조 화소에 작용시키는 필터 계수, pn(n=0, 1, 2)은 필터 처리 대상 화소 p0을 포함하는 필터의 참조 화소, S′(p0)은 필터 처리 대상 화소 p0에 있어서의 필터 처리 후의 예측값, S(pn)(n=0, 1, 2)은 필터 처리 대상 화소 p0을 포함하는 참조 화소의 필터 처리 전의 예측값을 나타내고 있다.
또한, 상기 필터 처리를 행하는 예측 화상 생성 블록의 블록 사이즈는 한정하더라도 좋다.
일반적으로 블록단만 필터 처리를 행하여 예측값을 변화시키는 경우, 큰 블록 사이즈의 블록에서는, 필터 처리에 의해 예측값이 변화하는 영역이 차지하는 비율이 작기 때문에, 이 예측값의 변화에 의해 생긴 예측 잔차 신호의 변화가 매우 높은 주파수 성분으로 나타내어지게 되고, 이 고주파수 성분을 부호화하기 위해 부호화 효율의 악화를 일으키게 하여 버리는 경향이 있다. 또한, 부호화 효율을 우선하여, 이 고주파수 성분을 부호화하지 않도록 함으로써, 블록단의 예측 잔차 신호의 변화를 복원할 수 없고, 블록 경계에 왜곡이 생겨 버리는 경향이 있다.
한편, 작은 블록 사이즈의 블록에서는, 필터 처리에 의해 예측값이 변화하는 영역이 차지하는 비율이 크기 때문에, 이 예측값의 변화에 의해 생긴 예측 잔차 신호의 변화가 큰 블록 사이즈의 블록일 때와 같은 높은 주파수 성분으로 나타내어지는 일은 없고, 적절히 잔차 신호를 부호화할 수 있고, 본 필터 처리에 의해, 블록 경계의 연속성을 높인 만큼, 복호 화상의 품질을 높일 수 있다.
따라서, 예컨대, 32×32 화소 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 상기 필터 처리를 적용하지 않고, 32×32 화소보다 작은 블록에만 상기 필터 처리를 적용함으로써, 종래의 평균값 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.
예측 화상 생성 블록이 속하는 예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스값이 26(수직 방향 예측)인 경우, 하기의 식 (2)로부터 예측 화상 생성 블록 내의 화소의 예측값을 산출하여 예측 화상을 생성한다.
Figure pct00002
단, 좌표 (x, y)는 예측 화상 생성 블록 내의 왼쪽 위 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S′(x, y)는 좌표 (x, y)에 있어서의 예측값, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료 화소의 휘도값(복호된 휘도값)이다. 또한, 산출한 예측값이 휘도값이 취할 수 있는 값의 범위를 넘고 있는 경우, 예측값이 그 범위 내에 들어가도록 값을 반올림하도록 한다.
또, 식 (2)의 1행째의 식은, MPEG-4 AVC/H.264에 있어서의 수직 방향 예측의 예측값인 S(x, -1)에 대하여, 인접하는 부호화 완료 화소의 수직 방향의 휘도값의 변화량 S(-1, y)-S(-1, -1)을 1/2로 한 값을 가산함으로써, 블록 경계가 평활화되도록 필터 처리한 것을 예측값으로 하는 것을 의미하고 있고, 식 (2)의 2행째의 식은, MPEG-4 AVC/H.264에 있어서의 수직 방향 예측과 동일한 예측식을 나타내고 있다.
예측 화상 생성 블록이 속하는 예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스값이 10(수평 방향 예측)인 경우, 하기의 식 (3)으로부터 예측 화상 생성 블록 내의 화소의 예측값을 산출하여 예측 화상을 생성한다.
Figure pct00003
단, 좌표 (x, y)는 예측 화상 생성 블록 내의 왼쪽 위 화소를 원점으로 하는 상대 좌표(도 9를 참조)이고, S′(x, y)는 좌표 (x, y)에 있어서의 예측값, S(x, y)는 좌표 (x, y)에 있어서의 부호화 완료 화소의 휘도값(복호된 휘도값)이다. 또한, 산출한 예측값이 휘도값이 취할 수 있는 값의 범위를 넘고 있는 경우, 예측값이 그 범위 내에 들어가도록 값을 반올림하도록 한다.
또, 식 (3)의 1행째의 식은, MPEG-4 AVC/H.264에 있어서의 수평 방향 예측의 예측값인 S(-1, y)에 대하여, 인접하는 부호화 완료 화소의 수평 방향의 휘도값의 변화량 S(x, -1)-S(-1, -1)을 1/2로 한 값을 가산함으로써, 블록 경계가 평활화되도록 필터 처리한 것을 예측값으로 하는 것을 의미하고 있고, 식 (3)의 2행째의 식은, MPEG-4 AVC/H.264에 있어서의 수평 방향 예측과 동일한 예측식을 나타내고 있다.
단, 식 (2)의 수직 방향 예측, 식 (3)의 수평 방향 예측을 행하는 예측 화상 생성 블록의 블록 사이즈를 한정하더라도 좋다.
일반적으로 블록단만 예측 방향의 휘도값의 변화량에 비례하는 값을 가산하는 필터 처리를 행함으로써 예측값을 변화시키는 경우, 큰 블록 사이즈의 블록에서는, 상술한 예측 화상 생성 블록의 블록단의 필터 처리에 의해 예측값이 변화하는 영역이 차지하는 비율이 작기 때문에, 이 예측값의 변화에 의해 생긴 예측 잔차 신호의 변화가 매우 높은 주파수 성분으로 나타내어지게 되고, 이 고주파수 성분을 부호화하기 위해 부호화 효율의 악화를 일으키게 하여 버리는 경향이 있다. 또한, 부호화 효율을 우선하여, 이 고주파수 성분을 부호화하지 않도록 함으로써, 블록단의 예측 잔차 신호의 변화를 복원할 수 없고 블록 경계에 왜곡이 생겨 버리는 경향이 있다.
한편, 작은 블록 사이즈의 블록에서는, 상기 필터 처리에 의해 예측값이 변화하는 영역이 차지하는 비율이 크기 때문에, 이 예측값의 변화에 의해 생긴 예측 잔차 신호의 변화가 큰 블록 사이즈의 블록일 때와 같은 높은 주파수 성분으로 나타내어지는 일은 없고, 적절히 잔차 신호를 부호화할 수 있고, 본 필터 처리에 의해 블록 경계의 연속성을 높인 만큼, 복호 화상의 품질을 높일 수 있다.
따라서, 예컨대, 32×32 화소 이상의 블록 사이즈의 예측 화상 생성 블록에서는, 예측 대상 화소의 좌표에 관계없이, 식 (2) 및 식 (3)의 2행째의 식을 항상 이용하도록 하고(예측 화상 생성 블록의 블록단의 필터 처리를 행하지 않는 것으로 한다), 32×32 화소보다 작은 블록에만, 상기 필터 처리를 행하는 식 (2) 및 식 (3)을 적용함으로써, 종래의 수직 방향 예측, 수평 방향 예측보다 예측 성능을 향상시키면서, 연산량의 증가를 억제할 수 있다.
인트라 예측 모드의 인덱스값이 0(평면 예측), 1(평균값 예측), 26(수직 방향 예측), 10(수평 방향 예측) 이외인 경우에는, 인덱스값이 나타내는 예측 방향 벡터 υp=(dx, dy)에 근거하여, 예측 화상 생성 블록 내의 화소의 예측값을 생성한다.
도 9에 나타내는 바와 같이, 예측 화상 생성 블록의 왼쪽 위 화소를 원점으로 하여, 예측 화상 생성 블록 내의 상대 좌표를 (x, y)로 설정하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점이 된다.
Figure pct00004
단, k는 음의 실수이다.
참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측값으로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측값으로 한다.
도 8의 예에서는, 참조 화소는 정수 화소 위치에 없으므로, 참조 화소에 인접하는 2개의 화소로부터 내삽한 것을 예측값으로 한다. 또, 인접하는 2개의 화소뿐만 아니고, 인접하는 2개의 화소 이상의 화소로부터 보간 화소를 생성하여 예측값으로 하더라도 좋다.
보간 처리에 이용하는 화소를 많게 함으로써 보간 화소의 보간 정밀도를 향상시키는 효과가 있는 한편, 보간 처리에 요하는 연산의 복잡도가 증가하기 때문에, 연산 부하가 크더라도 높은 부호화 성능을 요구하는 화상 부호화 장치의 경우에는, 보다 많은 화소로부터 보간 화소를 생성하도록 하는 것이 좋다.
이상에서 말한 처리에 의해, 예측 화상 생성 블록 단위로 예측 블록 Pi n 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여, 인트라 예측 화상 PINTRAi n을 출력한다.
또, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터(인트라 예측 모드)는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력된다.
또, 앞서 설명한 MPEG-4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측시에 참조 화소에 대하여 실시되는 평활화 처리와 마찬가지로, 인트라 예측부(4)에 있어서, 예측 화상 생성 블록의 예측 화상을 생성할 때의 참조 화소를, 예측 화상 생성 블록에 인접하는 부호화 완료 화소를 평활화 처리한 화소로 하도록 구성한 경우에도, 상술한 예와 마찬가지의 예측 화상에 대한 필터 처리를 행할 수 있다. 이와 같이 함으로써 참조 화소로의 필터 처리에 의한 참조 화소의 노이즈가 제거되고, 이것을 이용하여 예측을 행함으로써 예측의 정밀도를 높일 수 있다.
혹은, 상기 참조 화소로의 필터 처리는 예측 화상으로의 필터 처리를 행하는 평균값 예측, 수직 방향 예측, 수평 방향 예측 이외의 예측일 때만 실시하도록 하더라도 좋다. 이와 같이 함으로써, 각 예측 모드에 대하여 최대 1개의 필터 처리밖에 행하지 않아도 되고, 연산량의 증가를 억제할 수 있다.
상기에서는, 휘도 신호의 예측 화상 생성 처리에 대하여 설명했지만, 색차 성분에 대한 예측 화상은 다음과 같이 생성한다.
예측 블록 Pi n의 색차 신호에 대하여, 색차 신호의 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.
도 22는 색차 신호의 인트라 예측 파라미터(인덱스값)와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.
색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.
또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.
또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 왼쪽에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.
또, 입력 신호 포맷이 YUV 4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 구성하더라도 좋다. YUV 4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.
당연히, YUV 4:4:4 신호의 경우에 있어서도, 색차 신호에 대하여, 휘도 신호와는 상이한 방향성 예측 모드를 선택할 수 있도록 구성하더라도 좋다.
또한, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 도 24에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소 수가 1/2이 되는 장방형의 블록이 된다. 따라서, 도 25에 나타내는 바와 같이, YUV 4:4:4 신호를 YUV 4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV 4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.
구체적으로는, 도 26에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 vL=(dxL, dyL)로 한 경우, 색차 신호의 예측 방향 벡터는, vC=(dxL/2, dyL)이 된다. 즉, 도 27에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θL, 색차 신호의 예측 방향의 각도를 θC로 하여, tanθC=2tanθL의 관계가 되는 예측 방향에서 예측할 필요가 있다.
따라서, 휘도 신호와 색차 신호에서 동일 방향의 예측을 행하는 상기 DM 모드를 올바르게 실시할 수 있도록 하기 위해, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다.
도 28은 도 7의 인트라 예측 모드에 있어서의 인트라 예측 모드 인덱스의 변환예를 나타내고 있다.
도 28의 변환 테이블은, 예측 방향의 각도가 θ일 때(도 27을 참조), 인트라 예측 모드의 방향성 예측이 도 29에 나타내는 tanθ가 되는 각도인 경우, tanθC=2tanθL의 관계에 가장 가까운 각도 θC로 변환하는 테이블의 예이다.
변환 처리의 실현은, 상기와 같이, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조함으로써 인덱스를 변환하도록 구성하더라도 좋고, 변환식을 준비하고, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.
이와 같이 구성함으로써, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로 YUV 4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.
또한, 색차 신호에 대하여 상기 LM 모드를 행하지 않도록 구성하더라도 좋다. 이때의 색차 신호의 인트라 예측 파라미터(인덱스값)와 색차 인트라 예측 모드의 대응예로서, 도 23을 들 수 있다.
이와 같이 LM 모드도 이용하지 않도록 함으로써, 예측 대상 화소의 휘도 신호와 색차 신호의 의존성이 없어지기 때문에, 휘도 신호와 색차 신호의 예측 처리의 병렬화가 가능하게 되고, 고속의 연산 처리를 실현할 수 있다.
또한, 색차 신호에서는, 색차 신호의 수직 방향 예측 및 수평 방향 예측에 대해서는, 블록 경계의 필터 처리를 행하지 않고, MPEG-4 AVC/H.264와 마찬가지의 예측 수법으로 하더라도 좋다. 이와 같이 필터 처리를 행하지 않음으로써, 예측 처리의 저연산화를 도모할 수 있다.
다음으로, 도 3의 화상 복호 장치의 처리 내용을 구체적으로 설명한다.
가변 길이 복호부(31)는, 도 1의 화상 부호화 장치에 의해 생성된 부호화 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여(도 4의 스텝 ST21), 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위의 헤더 정보(시퀀스 레벨 헤더) 및 픽쳐 단위의 헤더 정보(픽쳐 레벨 헤더), 루프 필터부(38)에서 사용하는 필터 파라미터나 양자화 매트릭스 파라미터를 복호한다.
이때, 상기 헤더 정보에 포함되는 양자화 매트릭스의 유효 플래그 정보가 "유효"를 나타내는 경우, 가변 길이 복호부(31)는 양자화 매트릭스 파라미터를 가변 길이 복호하고, 양자화 매트릭스를 특정한다.
구체적으로는, 각 직교 변환 사이즈의 색 신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기값으로서, 화상 부호화 장치 및 화상 복호 장치에서, 미리 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인(새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 상기 매트릭스 중 어느 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용하는 양자화 매트릭스로서 특정한다.
그리고, 픽쳐 단위의 데이터를 구성하는 슬라이스 데이터로부터, 슬라이스 분할 정보 등의 슬라이스 단위의 헤더 정보(슬라이스 레벨 헤더)를 복호하고, 각 슬라이스의 부호화 데이터를 복호한다.
또한, 가변 길이 복호부(31)는, 도 1의 화상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층 수의 상한을 화상 부호화 장치와 마찬가지의 순서로 결정한다(스텝 ST22).
예컨대, 최대 부호화 블록 사이즈나 분할 계층 수의 상한이 영상 신호의 해상도에 따라 결정된 경우에는, 복호한 프레임 사이즈 정보에 근거하여, 화상 부호화 장치와 마찬가지의 순서로 최대 부호화 블록 사이즈를 결정한다.
최대 부호화 블록 사이즈 및 분할 계층 수의 상한이, 화상 부호화 장치측에서 시퀀스 레벨 헤더 등에 다중화되어 있는 경우에는, 상기 헤더로부터 복호한 값을 이용하도록 한다. 단, 분할 계층 수의 상한 대신에, 부호화 블록의 최소 블록 사이즈가 부호화되어 있는 경우, 이것을 복호함으로써 분할 계층 수의 상한을 결정한다. 즉, 최대 부호화 블록을 상기 최소 블록 사이즈까지 분할한 경우가 분할 계층 수의 상한이 된다.
가변 길이 복호부(31)는, 결정된 최대 부호화 블록 단위로, 도 6에서 나타내어지는 바와 같은 최대 부호화 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 부호화 블록을 특정한다(스텝 ST23).
다음으로, 가변 길이 복호부(31)는, 부호화 블록에 할당되어 있는 부호화 모드를 복호한다. 복호한 부호화 모드에 포함되는 정보에 근거하여, 부호화 블록을 1개 내지 복수의 예측 처리 단위인 예측 블록으로 더 분할하고, 예측 블록 단위로 할당되어 있는 예측 파라미터를 복호한다(스텝 ST24).
즉, 가변 길이 복호부(31)는, 부호화 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 부호화 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인트라 예측 파라미터를 복호한다.
한편, 부호화 블록에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 부호화 블록에 포함되어 있고, 예측 처리 단위가 되는 1개 이상의 예측 블록마다 인터 예측 파라미터 및 움직임 벡터를 복호한다(스텝 ST24).
또한, 가변 길이 복호부(31)는, 예측 차분 부호화 파라미터에 포함되는 변환 블록 분할 정보에 근거하여, 변환 블록마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다(스텝 ST24).
그때, 도 1의 화상 부호화 장치의 가변 길이 부호화부(13)에서의 압축 데이터의 부호화 처리와 마찬가지로, CG 단위의 계수의 복호 처리를 실시한다.
따라서, 도 15에 나타내는 바와 같이, 4×4 화소 단위의 16개의 CG를 오른쪽 아래의 CG로부터 차례로 복호 처리하고, 또한, 각 CG는 CG 내의 16개의 계수를 오른쪽 아래의 계수로부터 차례로 복호하여 가게 된다.
구체적으로는, 우선, CG 내의 16개의 계수 중에 유의(0이 아닌) 계수가 존재하는지 아닌지의 플래그 정보를 복호하고, 다음으로 복호한 플래그 정보가 CG 내에 유의(0이 아닌) 계수가 존재하는 것을 나타내는 경우만 CG 내의 각 계수가 유의(0이 아닌) 계수인지를 상기 차례로 복호하고, 마지막으로 유의(0이 아닌) 계수를 나타내는 계수에 대하여, 그 계수값 정보를 차례로 복호한다. 이것을 CG 단위로 상기 차례로 행한다.
전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인트라 부호화 모드이면(m(Bn)∈INTRA의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.
한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인터 부호화 모드이면(m(Bn)∈INTER의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.
인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인트라 부호화 모드(m(Bn)∈INTRA)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 인트라 예측 파라미터를 받아서, 도 1의 인트라 예측부(4)와 마찬가지의 순서로, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 상기 인트라 예측 파라미터를 이용한 부호화 블록 Bn 내의 각 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST26).
또한, 인트라 예측부(34)는, 휘도 신호에 대해서는, 휘도 신호에 대한 상기 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임 내 예측 처리)를 실시하여, 휘도 신호의 예측 화상을 생성한다.
한편, 색차 신호에 대해서는, 색차 신호의 인트라 예측 파라미터에 근거하는 인트라 예측 처리를 실시하여, 색차 신호의 예측 화상을 생성한다.
도 22는 색차 신호의 인트라 예측 파라미터(인덱스값)와 색차 인트라 예측 모드의 대응예를 나타내는 설명도이다.
색차 신호의 인트라 예측 파라미터가, 휘도 신호에 대한 인트라 예측 모드와 동일한 예측 모드를 이용하는 취지를 나타내고 있는 경우(인트라 예측 파라미터가 휘도 색차 공통 인트라 예측 모드(DM 모드)를 나타내고 있는 경우), 휘도 신호와 동일한 프레임 내 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.
또한, 색차 신호의 인트라 예측 파라미터가, 수직 방향 예측 모드 또는 수평 방향 예측 모드를 나타내고 있는 경우, 색차 신호에 대한 방향성 예측을 실시하여, 색차 신호의 예측 화상을 생성한다.
또한, 색차 신호의 인트라 예측 파라미터가, 휘도 상관 이용 색차 신호 예측 모드(LM 모드)를 나타내고 있는 경우, 예측 화상의 생성 대상 블록의 위 및 왼쪽에 인접하고 있는 복수의 화소의 휘도 신호 및 색차 신호를 이용하여, 휘도 신호와 색차 신호의 상관을 나타내는 상관 파라미터를 산출하고, 그 상관 파라미터와 예측 처리 대상의 색차 신호의 블록에 대응하는 휘도 신호를 이용하여, 색차 신호의 예측 화상을 생성한다.
또, 입력 신호 포맷이 YUV 4:4:4 신호인 경우에는, 상기 DM 모드 또는 상기 LM 모드의 처리를 실시하고, 그 외의 예측 모드는 선택하지 않도록 화상 부호화 장치가 구성되어 있는 경우, 그 화상 부호화 장치로부터 생성되는 부호화 비트스트림을 복호할 수 있도록 화상 복호 장치도 마찬가지의 구성으로 한다.
YUV 4:4:4 신호에서는, 휘도 신호와 색차 신호의 에지 위치에 높은 상관 관계가 있기 때문에, 휘도 신호와 상이한 예측 모드를 색차 신호에 적용하는 것을 금지하는 것에 의해, 그 색차 신호의 인트라 예측 모드의 정보량을 삭감하여, 부호화 효율을 높일 수 있다.
또한, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 도 24에 나타내는 바와 같이, 휘도 신호가 정방 블록이면, 색차 신호는 휘도 신호와 비교하여 수평 방향의 화소 수가 1/2이 되는 장방형의 블록이 된다. 따라서, 도 25에 나타내는 바와 같이, YUV 4:4:4 신호를 YUV 4:2:2 신호로 변환했을 때에, 휘도 신호와 색차 신호에서 동일 방향의 예측이 되도록 하기 위해서는, YUV 4:2:2 신호상에서는, 수직 방향 예측과 수평 방향 예측 이외의 방향성 예측의 경우에는, 색차 신호의 예측 방향이 휘도 신호의 예측 방향과 상이하게 된다.
구체적으로는, 도 26에 나타내는 바와 같이, 휘도 신호의 예측 방향 벡터를 vL=(dxL, dyL)로 한 경우, 색차 신호의 예측 방향 벡터는, vC=(dxL/2, dyL)이 된다. 즉, 도 27에 나타내는 바와 같이, 예측 방향의 각도를 θ로 한 경우, 휘도 신호의 예측 방향의 각도를 θL, 색차 신호의 예측 방향의 각도를 θC로 하여, tanθC=2tanθL의 관계가 되는 예측 방향에서 예측할 필요가 있다.
따라서, 휘도 신호와 색차 신호에서 동일 방향의 예측을 행하는 상기 DM 모드를 올바르게 실시할 수 있도록 하기 위해, 입력 신호 포맷이 YUV 4:2:2 신호인 경우, 휘도 신호에 사용한 인트라 예측 모드의 인덱스를 색차 신호의 예측에 이용하는 인트라 예측 모드의 인덱스로 변환하고, 변환 후의 인덱스에 대응하는 인트라 예측 모드에 의한 색차 신호의 예측 처리를 실시한다.
도 28은 도 7의 인트라 예측 모드에 있어서의 인트라 예측 모드 인덱스의 변환예를 나타내고 있다.
도 28의 변환 테이블은, 예측 방향의 각도가 θ일 때(도 27을 참조), 인트라 예측 모드의 방향성 예측이 도 29에 나타내는 tanθ가 되는 각도인 경우, tanθC=2tanθL의 관계에 가장 가까운 각도 θC로 변환하는 테이블의 예이다.
변환 처리의 실현은, 상기와 같이, 인덱스의 변환 테이블을 준비하고, 그 변환 테이블을 참조함으로써 인덱스를 변환하도록 구성하더라도 좋고, 변환식을 준비하고, 그 변환식에 따라서 인덱스를 변환하도록 구성하더라도 좋다.
이와 같이 구성함으로써, 방향성 예측 처리 자체를 변경하는 일 없이, 인덱스의 변환만으로 YUV 4:2:2 신호의 포맷에 따른 색차 신호의 적절한 예측을 실시할 수 있다.
또한, 색차 신호에 대하여, 상기 LM 모드를 행하지 않도록 화상 부호화 장치가 구성되어 있는 경우, 그 화상 부호화 장치로부터 생성되는 부호화 비트스트림을 복호할 수 있도록 화상 복호 장치도 마찬가지의 구성으로 한다.
이때의 색차 신호의 인트라 예측 파라미터(인덱스값)와 색차 인트라 예측 모드의 대응예로서, 도 23을 들 수 있다.
이와 같이 LM 모드도 이용하지 않도록 함으로써, 예측 대상 화소의 휘도 신호와 색차 신호의 의존성이 없어지기 때문에, 휘도 신호와 색차 신호의 예측 처리의 병렬화가 가능하게 되고, 고속의 연산 처리를 실현할 수 있다.
또한, 색차 신호에서는, 색차 신호의 수직 방향 예측 및 수평 방향 예측에 대해서는, 블록 경계의 필터 처리를 행하지 않고, MPEG-4 AVC/H.264와 마찬가지의 예측 수법으로서 화상 부호화 장치가 구성되어 있는 경우, 그 화상 부호화 장치로부터 생성되는 부호화 비트스트림을 복호할 수 있도록 화상 복호 장치도 마찬가지의 구성으로 한다.
이와 같이 필터 처리를 행하지 않음으로써, 예측 처리의 저연산화를 도모할 수 있다.
움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인터 부호화 모드(m(Bn)∈INTER)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 움직임 벡터와 인터 예측 파라미터를 받아서, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터 처리 후의 복호 화상을 참조하면서, 그 움직임 벡터와 인터 예측 파라미터를 이용한 부호화 블록 Bn 내의 각 예측 블록 Pi n에 대한 인터 예측 처리를 실시하여 인터 예측 화상 PINTERi n을 생성한다(스텝 ST27).
역양자화ㆍ역변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 받으면, 도 1의 역양자화ㆍ역변환부(8)와 마찬가지의 순서로, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 변환 블록 분할 정보를 참조하여, 변환 블록 단위로 그 압축 데이터를 역양자화한다.
이때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 헤더 정보가, 해당 슬라이스에서 양자화 매트릭스를 이용하여, 역양자화 처리를 실시하는 것을 나타내고 있는 경우는, 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
이때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화나 인터 부호화)마다 사용하는 양자화 매트릭스를 특정한다.
또한, 역양자화ㆍ역변환부(32)는, 변환 블록 단위로 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하여, 도 1의 역양자화ㆍ역변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출한다(스텝 ST28).
가산부(36)는, 역양자화ㆍ역변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상 PINTERi n의 어느 한쪽을 가산하여 복호 화상을 산출하고, 그 복호 화상을 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(스텝 ST29).
이 복호 화상이, 이후의 인트라 예측 처리시에 이용되는 복호 완료 화상 신호가 된다.
루프 필터부(38)는, 모든 부호화 블록 Bn에 대한 스텝 ST23~ST29의 처리가 완료되면(스텝 ST30), 가산부(36)로부터 출력된 복호 화상에 대하여, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(스텝 ST31).
구체적으로는, 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 해당 슬라이스에서 처리를 행하는지 아닌지를 특정한다.
이때, 2개 이상의 필터 처리를 행하는 경우에, 예컨대, 화상 부호화 장치의 루프 필터부(11)가 도 11과 같이 구성되어 있는 경우에는, 도 12에 나타내는 바와 같이 루프 필터부(38)가 구성된다.
여기서, 디블로킹 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 헤더 정보를 참조하여, 블록 경계에 작용시키는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경하는 정보가 존재하는 경우에는, 그 변경 정보에 근거하여, 디블로킹 필터 처리를 실시한다. 변경 정보가 없는 경우는, 미리 정해진 수법에 따라서 행한다.
화소 적응 오프셋 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 화소 적응 오프셋 처리의 블록 분할 정보에 근거하여 분할하고, 그 블록 단위로, 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는다"는 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록 내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라서 클래스 분류한다.
또, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.
그리고, 루프 필터부(38)는, 블록 단위의 각 클래스의 오프셋값을 특정하는 가변 길이 복호부(31)에 의해 가변 길이 복호된 오프셋 정보를 참조하여, 복호 화상의 휘도값에 오프셋을 가산하는 처리를 행한다.
적응 필터 처리에서는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 클래스마다의 필터를 이용하여, 도 1의 화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.
이 루프 필터부(38)에 의한 필터 처리 후의 복호 화상이, 움직임 보상 예측용의 참조 화상이 되고, 또한, 재생 화상이 된다.
이상에서 분명한 바와 같이, 본 실시의 형태 1에 의하면, 랜덤 액세스 포인트에 장기 참조 픽쳐만을 참조하는 인터 픽쳐를 설정하고, 그 장기 참조 픽쳐의 픽쳐 번호를 식별하는 정보를 보충 정보로서 부호화하는 것에 의해, 상기 보충 정보로부터 판명되는 장기 참조 픽쳐를 먼저 복호하고, 그 후에 상기 장기 참조 픽쳐만을 참조하는 랜덤 액세스 포인트를 나타내는 픽쳐를 복호함으로써 인터 픽쳐에 있어서도 랜덤 액세스가 가능하게 되는 부호화 비트스트림을 생성하도록 구성했으므로, 랜덤 액세스가 가능한 인트라 픽쳐(IRAP 픽쳐)를 상기 보충 정보가 부가된 인터 픽쳐로 변경하는 것에 의해 랜덤 액세스 간격을 유지한 채로 부호화 효율을 개선하는 효과를 갖는다.
또한, 본 실시의 형태 1에 의하면, 보충 정보로부터 판명되는 장기 참조 픽쳐를 먼저 복호하고, 그 후에 상기 장기 참조 픽쳐만을 참조하는 랜덤 액세스 포인트를 나타내는 픽쳐를 복호함으로써 인터 픽쳐에 있어서도 랜덤 액세스가 가능하게 되는 부호화 비트스트림을 올바르게 복호할 수 있는 효과를 갖는다.
실시의 형태 2.
상기 실시의 형태 1의 화상 부호화 장치에 있어서는, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 나타내는 픽쳐 위치 정보를 포함하는 랜덤 액세스 가능한 인터 픽쳐를 나타내는 보충 정보로서 SEI를 새롭게 정의했지만, 본 실시의 형태의 화상 부호화 장치에서는, 새로운 SEI를 정의하지 않고, 비 특허 문헌 1 및 비 특허 문헌 2에 정의되는 Recovery Point SEI Message의 의미를 하기와 같이 해석하도록 변경한다. 즉, Recovery Point SEI Message가 부여되어 있는 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로 하고, 또한 Recovery Point SEI Message의 신택스 recovery_poc_cnt(비 특허 문헌 2에서는, recovery_frame_cnt)를, 복호 개시 위치인 리커버리 포인트가 되는 픽쳐의 위치가 아닌, 랜덤 액세스시 사용 참조 픽쳐의 위치를 나타내는 정보로서 해석하도록 한다. 이와 같은 구성으로 하면, 새로운 SEI를 정의하는 일 없이, 상기 실시의 형태 1의 화상 부호화 장치와 동일한 처리가 가능하게 되고, 마찬가지의 효과를 얻을 수 있다. 단, 랜덤 액세스 가능한 인터 픽쳐를 참조할 수 있는 랜덤 액세스시 사용 참조 픽쳐 수는 1개로 한정된다.
본 실시의 형태의 화상 복호 장치는 Recovery Point SEI Message가 부여되어 있는 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로 해석하고, 또한, Recovery Point SEI Message의 신택스 recovery_poc_cnt(비 특허 문헌 2에서는, recovery_frame_cnt)를, 리커버리 포인트가 되는 픽쳐의 위치가 아닌, 랜덤 액세스시 사용 참조 픽쳐의 위치를 나타내는 정보로서 해석한다. 이와 같은 구성으로 하면, Recovery Point SEI Message가 부여되어 있는 픽쳐로부터 복호를 개시하는 경우는, 우선 recovery_poc_cnt(비 특허 문헌 2에서는, recovery_frame_cnt)가 가리키는 픽쳐를 복호하고, 다음으로 Recovery Point SEI Message가 부여되어 있는 픽쳐를 복호하고, 그 후 Recovery Point SEI Message가 부여되어 있는 픽쳐보다 표시 순서로 뒤의 픽쳐를 복호함으로써 Recovery Point SEI Message가 부여되어 있는 픽쳐로부터 정상적으로 재생 가능하게 된다. 따라서, 본 실시의 형태의 화상 부호화 장치에서 생성되는 부호화 비트스트림에 대하여, 랜덤 액세스 가능한 인터 픽쳐를 식별하고, 그 랜덤 액세스 가능한 인터 픽쳐로부터 복호를 개시한 경우도 올바르게 복호할 수 있기 때문에, 상기 실시의 형태 1의 화상 복호 장치와 마찬가지의 효과를 얻을 수 있다.
실시의 형태 3.
본 실시의 형태에서는, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 랜덤 액세스시 사용 참조 픽쳐를 후술하는 직전의 IRAP 픽쳐로 한정하여, 직전의 IRAP 픽쳐의 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장하고, 움직임 보상 예측부(5)가, 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 직전의 IRAP 픽쳐의 복호 화상을 참조하여, 그 인터 픽쳐의 움직임 보상 예측을 실시하고, 가변 길이 부호화부(13)가, 그 인터 픽쳐가 랜덤 액세스 가능한 픽쳐인 취지를 나타내는 SEI를 부호화하고, 그 SEI의 부호화 데이터를 부호화 비트스트림에 다중화하도록 한다.
여기서, 직전의 IRAP 픽쳐는, 1개 이상의 IRAP 픽쳐 중에서, 랜덤 액세스 가능한 인터 픽쳐의 부호화 순서(복호 순서)에 대하여, 부호화 순서(복호 순서)가 앞이고 또한 부호화 순서(복호 순서)가 가장 가까운(부호화 순서가 보다 가깝다) IRAP 픽쳐를 의미한다.
이 경우, 상기 실시의 형태 1에서 설명한 랜덤 액세스 가능한 인터 픽쳐를 나타내는 SEI에 포함하고 있는 픽쳐 위치 정보, 즉, 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 나타내는 픽쳐 위치 정보를 생략할 수 있다. 이와 같은 구성으로 하면, 상기 실시의 형태 1의 화상 부호화 장치와 동일한 처리가 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보, 즉, 본 SEI를 구성하는 부수 정보 없이 가능하게 되고, 본 SEI에 요하는 부호량을 삭감하는 효과를 얻을 수 있다.
랜덤 액세스 가능한 인터 픽쳐가 참조하는 랜덤 액세스시 사용 참조 픽쳐를 직전의 IRAP 픽쳐로 한정하도록 화상 부호화 장치를 구성한 경우, 화상 복호 장치에서는, 본 SEI를 참조함으로써 직전의 IRAP 픽쳐를 상기 참조하는 랜덤 액세스시 사용 참조 픽쳐인 것으로 식별한다.
따라서, 이와 같은 구성으로 하면, 본 SEI가 부여되어 있는 픽쳐로부터 복호를 개시하는 경우는, 직전의 IRAP 픽쳐를 복호하여, 그 IRAP 픽쳐의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한 후, 움직임 보상부(35)가, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 직전의 IRAP 픽쳐의 복호 화상을 참조하여, 그 SEI가 나타내는 랜덤 액세스 가능한 인터 픽쳐의 움직임 보상 예측을 실시함으로써, 그 인터 픽쳐를 복호한다. 그 후, 본 SEI가 나타내는 랜덤 액세스 가능한 인터 픽쳐보다 표시 순서로 뒤의 픽쳐를 복호함으로써, 이 SEI가 나타내는 랜덤 액세스 가능한 픽쳐로부터 정상적으로 재생하는 것이 가능하게 된다. 따라서, 본 실시의 형태의 화상 부호화 장치에서 생성한 비트스트림의 도중부터 올바르게 복호할 수 있다.
실시의 형태 4.
상기 실시의 형태 1의 화상 부호화 장치에 있어서는, 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 정보를 SEI로 설정하는 경우에 대하여 설명했지만, 상위 헤더에서 설정할 수 있으면, 이것으로 한정되지 않는다. 예컨대, 랜덤 액세스 가능한 인터 픽쳐라고 하는 것을 나타내는 특별한 NAL 유닛 타입을 정의하고, 그 NAL 중에 상기 SEI와 마찬가지의 정보를 갖도록 구성하더라도 좋다.
즉, 이 경우, SEI를 부여함으로써 랜덤 액세스 가능한 인터 픽쳐를 식별하도록 하는 것이 아니고, 랜덤 액세스 가능한 인터 픽쳐를 나타내는 NAL 유닛 타입을 새롭게 정의하여, 본 NAL 유닛 타입을 나타내는 NAL 유닛으로서 랜덤 액세스 가능한 인터 픽쳐를 부호화한다.
랜덤 액세스 가능한 인터 픽쳐라고 하는 것을 나타내는 특별한 NAL 유닛 타입을 정의하는 화상 부호화 장치에서 생성된 부호화 스트림을 올바르게 복호하기 위해서는, 복호 장치에 있어서도, 화상 부호화 장치와 마찬가지로 특별한 NAL 유닛 타입을 정의하고, 이것에 따라서 복호한다. 이 경우, 상기 특별한 NAL 유닛 타입을 갖는 픽쳐로부터 복호함으로써 랜덤 액세스 가능한 인터 픽쳐로부터의 도중 복호를 실현하고 있다. 즉, 우선 상기 특별한 NAL 유닛 타입이 갖는 정보가 가리키는 랜덤 액세스시 사용 참조 픽쳐를 복호하고, 다음으로 본 NAL 유닛 타입을 갖는 랜덤 액세스 가능한 인터 픽쳐를 복호하고, 그 후 본 랜덤 액세스 가능한 인터 픽쳐보다 표시 순서로 뒤의 픽쳐를 복호함으로써 본 NAL 유닛 타입을 갖는 랜덤 액세스 가능한 인터 픽쳐로부터 정상적으로 재생 가능하게 된다. 따라서, 이와 같은 구성으로 하더라도, 상기 실시의 형태 1의 화상 복호 장치와 마찬가지로, 비트스트림의 도중부터 올바르게 복호할 수 있고, 마찬가지의 효과를 얻을 수 있다.
또한, 본 실시의 형태는 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 정보를 상위 헤더에서 설정하는 것을 특징으로 하고 있고, 그 상위 헤더는 랜덤 액세스가 가능하면 어떻게 구성하더라도 좋은 것은 분명하다. 따라서, 예컨대 실시의 형태 3과의 조합으로서, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 랜덤 액세스시 사용 참조 픽쳐는 직전의 IRAP 픽쳐로 한정하고, 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보를 생략하는 것도 가능하다.
실시의 형태 5.
실시의 형태 1~4에서는, 인터 픽쳐에 의한 랜덤 액세스를 실현하는 부호화 스트림을 생성하는 화상 부호화 장치와, 생성한 부호화 스트림을 올바르게 복호할 수 있는 화상 복호 장치에 대하여 설명했다. 본 실시의 형태에서는, 인트라 픽쳐(비 특허 문헌 1의 IRAP 픽쳐 또는 비 특허 문헌 2의 IDR 픽쳐)에 의해서만 랜덤 액세스를 실현하고 있는 부호화 스트림을 부분적으로 변환하는 것만으로, 인터 픽쳐에 의한 랜덤 액세스를 실현하는 부호화 스트림을 생성하는 부호화 스트림 변환 장치와, 생성한 부호화 스트림을 올바르게 복호할 수 있는 화상 복호 장치에 대하여 설명한다.
도 39는 본 발명의 실시의 형태 5에 의한 부호화 스트림 변환 장치를 나타내는 구성도이다.
여기서, 재부호화 제어부(42) 및 입력 영상 신호 제어부(44)는 재부호화 설정부를 구성하고, 복호부(43)는 화상 복호부를 구성하고, 비트스트림 합성부(45)는 비트스트림 합성부를 구성하고 있다.
본 실시의 형태에 있어서의 부호화 스트림 변환 장치는, 변환 대상이 되는 부호화 스트림(비트스트림)의 IRAP 픽쳐(비 특허 문헌 2의 경우, IDR 픽쳐) 중에서, 1개 이상의 임의의 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로서 재부호화하는 재부호화부(41)를 갖는다.
이와 같이 인트라 픽쳐를 인터 픽쳐로 재부호화하는 것에 의해, 원래의 부호화 스트림보다 부호량이 삭감된 부호화 스트림을 생성할 수 있다.
구체적으로는, 변환 대상(재부호화 대상)이 되는 픽쳐를 일단, 복호한다. 그리고, 복호된 영상 신호를 도 1과 마찬가지의 부호화 장치를 이용하여 인터 픽쳐로서 재부호화한다.
즉, 부호화 스트림 변환 장치는, 우선 재부호화 제어부(42)가, 비 특허 문헌 3이나 비 특허 문헌 2 등의 종래의 화상 부호화 장치에 의해 생성된 부호화 스트림으로부터 랜덤 액세스 가능한 인트라 픽쳐(비 특허 문헌 1에서는 IRAP 픽쳐, 비 특허 문헌 2에서는 IDR 픽쳐)를 특정하는 정보를, 복호부(43)를 이용하여 복호한다. 다음으로, 재부호화 제어부(42)는, 복호한 랜덤 액세스 가능한 인트라 픽쳐를 특정하는 정보로부터 특정되는 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서, 임의의 픽쳐를 재부호화 대상의 픽쳐로 설정함과 아울러, 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서, 재부호화 대상의 픽쳐보다 먼저 부호화되어 있는 적어도 1개의 픽쳐(재부호화 참조 픽쳐)를 복호부(43)에서 복호하여 재부호화부(41)의 움직임 보상 예측 프레임 메모리(12)에 저장하도록 제어한다. 그리고 재부호화 제어부(42)에 따라서 재부호화부(41)는, 상기 복호한 적어도 1개의 재부호화 참조 픽쳐를 참조하여, 재부호화 대상의 픽쳐의 움직임 보상 예측을 움직임 보상 예측부(5)에서 실시함으로써 인터 예측 화상을 생성하고, 그 인터 예측 화상을 이용하여, 인터 픽쳐의 부호화 데이터를 생성한다. 이때, 복호부(43)는 상기 부호화 스트림을 생성한 종래의 부호화 장치에 대응하는 복호 장치를 나타낸다(복호부(43)는 상기 부호화 스트림을 올바르게 복호할 수 있다). 또한, 재부호화부(41)는 실시의 형태 1의 화상 부호화 장치(도 1)와 동일한 구성이 된다.
또한, 부호화 스트림 변환 장치는, 상기 부호화 스트림 중의 재부호화 대상의 인트라 픽쳐의 부호화 데이터에 해당되는 부분의 스트림을, 재부호화부(41)에 의해 생성된 인터 픽쳐의 부호화 데이터로 이루어지는 비트스트림으로 대체함으로써 재부호화 후의 스트림(재부호화 스트림)을 생성하는 비트스트림 합성부(45)를 갖는다.
또, 재부호화부(41)의 움직임 보상 예측 프레임 메모리(12)에서는, 변환 대상이 되는 픽쳐가 참조하는 픽쳐를 장기 참조 픽쳐로서 보존한다. 이 장기 참조 픽쳐는 IRAP 픽쳐(상기 부호화 스트림이 비 특허 문헌 2의 부호화 장치에서 생성되고 있는 경우, IDR 픽쳐)로 한정하는 것으로 한다. 이와 같이, 장기 참조 픽쳐로서 특정한 픽쳐를 보존하도록 한 경우, 원래의 부호화 스트림에 대하여, 부호화 순서로 상기 특정한 픽쳐보다 뒤이고 또한 변환 대상이 되는 픽쳐의 앞에 부호화하는 픽쳐의 부호화 데이터에 해당하는 부분을, 상기 특정한 픽쳐가 장기 참조 픽쳐로서 보존되어 있도록 비트스트림 합성부(45)가 부호화 스트림을 변경할 필요가 있다.
움직임 보상 예측부(5)로부터 출력되는 인터 예측 화상은, 통상의 인터 픽쳐와 마찬가지로, 감산부(6), 변환ㆍ양자화부(7)를 거쳐서, 압축 데이터로 변환되어, 가변 길이 부호화부(13)에 출력된다. 이와 같이, 변환 대상이 되는 인트라 픽쳐를 인터 픽쳐로서 재부호화하는 재부호화부(41)에는, 특정한 인트라 픽쳐를 일시적으로 보존하는 버퍼, 움직임 보상 예측부(5), 감산부(6), 및 변환ㆍ양자화부(7)가 포함된다. 또, 이때 생성되는 복호 화상이 재부호화 전의 인트라 픽쳐가 생성하는 복호 화상과 동일하게 되도록, 인터 예측 화상 및 압축 데이터를 생성하지 않으면 안 된다. 따라서 재부호화 제어부(42)는, 입력 영상 신호 제어부(44)에 대하여, 상기 변환 대상이 되는 인트라 픽쳐를 재부호화할 때는, 복호부(43)에 의해 복호된 상기 변환 대상이 되는 인트라 픽쳐의 복호 화상을 영상 신호로서 슬라이스 분할부(14)에 입력하도록 제어한다. 그리고, 상기 변환 대상이 되는 인트라 픽쳐가 생성하는 복호 화상을 참조하여, 상기 변환 대상이 되는 인트라 픽쳐가 생성하는 복호 화상과 재부호화 후의 복호 화상이 동일하게 되도록, 예컨대 로스리스 부호화를 행하도록, 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7)의 처리를 제어하도록 부호화 제어부(2)를 재부호화 제어부(42)가 제어함으로써 가능하게 된다.
재부호화된 인터 픽쳐의 참조 픽쳐 버퍼 관리에 관한 처리에 대해서는, 재부호화 전의 IRAP 픽쳐 또는 IDR 픽쳐의 다음에 부호화되는 픽쳐를 부호화할 때의 버퍼 상황이 본 재부호화 처리에 의해 바뀌지 않도록 할 필요가 있다. 그래서, 부호화 제어부(2)에 포함되는 버퍼 관리부에 의해 버퍼(움직임 보상 예측 프레임 메모리(12))를 제어하고, 재부호화된 픽쳐 이후에 복호하는 픽쳐의 복호 처리에 영향을 주지 않도록 한다.
재부호화된 픽쳐, 즉 인트라 픽쳐를 변환하는 것에 의해 얻어진 인터 픽쳐의 액세스 유닛 내에는, 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 보충 정보(SEI 정보)가 다중화된다. 이 SEI 정보에는, 재부호화된 픽쳐가 참조한 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보가 포함된다. SEI 정보를 부호화하여 비트스트림에 다중화하는 처리는, 상기 실시의 형태 1과 마찬가지로, 가변 길이 부호화부(13)에 의해 행해진다.
혹은, 비트스트림 합성부(45)에서 상기 보충 정보를 생성, 부호화하고, 재부호화 스트림에 다중화하도록 부호화 스트림 변환 장치를 구성하더라도 좋다. 이 경우, 재부호화부(41)는, 상기 보충 정보의 생성ㆍ부호화를 행할 필요가 없기 때문에, 재부호화 전의 부호화 스트림을 생성한 부호화 장치(비 특허 문헌 4나 비 특허 문헌 2 등의 종래의 화상 부호화 장치)와 동일한 부호화 처리로 재부호화를 실현할 수 있다.
실시의 형태 3과 마찬가지로 상기 랜덤 액세스시 사용 참조 픽쳐는 직전의 IRAP 픽쳐(비 특허 문헌 2의 경우, IDR 픽쳐)로 한정하는 것으로 하더라도 좋다. 이 경우, SEI로서, 상기 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보를 생략할 수 있다.
혹은, SEI 정보로서가 아닌, 실시의 형태 2나 실시의 형태 4와 마찬가지의 형태로 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 정보를 부호화하도록 하더라도 좋다.
재부호화된 부호화 스트림을 복호하는 본 실시의 형태 5의 화상 복호 장치는, 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 정보를 어떻게 부호화하도록 구성했는지에 따라, 실시의 형태 1로부터 실시의 형태 4 중의 대응하는 화상 복호 장치로 올바르게 비트스트림을 복호할 수 있다.
또한, 지금까지의 설명에서는 IRAP 픽쳐(IDR 픽쳐) 등의 랜덤 액세스 가능한 인트라 픽쳐만을 재부호화하는 방법에 대하여 말했지만, 랜덤 액세스 가능한 인트라 픽쳐로부터 다음의 랜덤 액세스 가능한 인트라 픽쳐의 1개 전에 복호되는 픽쳐까지의 픽쳐 모두(일반적으로 Group Of Pictures(GOP)로 불리는 단위이고, 단독 복호할 수 있는 픽쳐군을 나타낸다)를 합쳐서 재부호화하도록 하더라도 좋다. 이때의 재부호화하는 랜덤 액세스 가능한 인트라 픽쳐는 상기의 설명과 마찬가지로 랜덤 액세스 가능한 인터 픽쳐로서, 그것을 나타내는 정보(실시의 형태 1로부터 실시의 형태 4에 기재된 어느 하나의 정보)와 함께 재부호화하고, 나머지의 재부호화 대상의 픽쳐는 어떻게 재부호화하더라도 좋다. 이 경우, 상기의 재부호화 수법과는 달리, 랜덤 액세스 가능한 인터 픽쳐가 생성하는 복호 화상은 재부호화 전의 인트라 픽쳐가 생성하는 복호 화상과 상이하더라도, 본 실시의 형태의 화상 복호 장치로 올바르게 복호할 수 있다. 따라서, 재부호화 제어부(42)는, 입력 영상 신호 제어부(44)에 대하여, 각 재부호화 대상 픽쳐를 재부호화할 때는, 상기 재부호화 대상 픽쳐의 원래 화상(영상 신호)을 슬라이스 분할부(14)에 입력하도록 제어한다.
이와 같이 함으로써, 각 재부호화 대상 픽쳐에 대하여, 재부호화 전후의 복호 화상이 동일하게 되도록 제어할 필요가 없고, 재부호화 처리를 간이화할 수 있다.
또한, 실시의 형태 3과 마찬가지로 랜덤 액세스시 사용 참조 픽쳐(재부호화 대상의 랜덤 액세스 가능한 인트라 픽쳐를 재부호화할 때에 참조하는 픽쳐)를 직전의 IRAP 픽쳐(비 특허 문헌 2의 경우, IDR 픽쳐)로 한정하는 경우, 랜덤 액세스 가능한 인터 픽쳐로 하는 픽쳐로부터가 아닌, 직전의 IRAP 픽쳐로부터, 랜덤 액세스 가능한 인터 픽쳐로 하는 픽쳐의 다음의(복호 순서로 뒤가 되는 가장 가까운) 랜덤 액세스 가능한 인트라 픽쳐의 1개 전에 복호되는 픽쳐까지 재부호화하도록 하더라도 좋다. 이와 같이 함으로써, 직전의 IRAP 픽쳐로부터 재부호화 전의 부호화 스트림이 생성하는 복호 화상에 의존하지 않는 자유로운 재부호화가 실시 가능하게 된다. 또, 재부호화된 복수의 픽쳐 중에 직전의 IRAP를 참조하는 복수의 랜덤 액세스 가능한 인터 픽쳐가 포함되어 있더라도 좋다.
상기 설명에서는 랜덤 액세스시 사용 참조 픽쳐를 장기 참조 픽쳐로서 보존하도록 재부호화하는 예에 대하여 설명했지만, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 특별한 버퍼를 준비하여 본 버퍼에 상기 랜덤 액세스시 사용 참조 픽쳐를 저장하고, 랜덤 액세스 가능한 인터 픽쳐를 부호화할 때에 상기 특별한 버퍼에 저장되는 랜덤 액세스시 사용 참조 픽쳐를 참조하여 부호화하도록 부호화 스트림 변환 장치를 구성하더라도 좋다. 이 경우, 화상 복호 장치도 상기 특별한 버퍼를 준비하여 이것을 참조하여 랜덤 액세스 가능한 인터 픽쳐를 복호하도록 구성한다. 상기의 동작 이외의 부호화 스트림 변환 처리 및 복호 처리에 대해서는, 지금까지 설명한 본 실시의 형태의 처리와 동일한 처리를 실시한다.
본 구성의 경우, 상기 랜덤 액세스시 사용 참조 픽쳐를 부호화한 후 또한 랜덤 액세스 가능한 인터 픽쳐를 부호화하기 전까지의 픽쳐의 부호화 데이터를 변경할 필요가 없는 이점이 있다.
또한, 본 실시의 형태에 있어서, 재부호화시에 재부호화 전의 부호화 파라미터를 유용하여 재부호화를 실시하더라도 좋다. 구체적으로는, 재부호화의 전후에 픽쳐 타입(슬라이스 타입)이 바뀌지 않는 픽쳐는 재부호화 전의 부호화 파라미터를 일부 유용한다. 예컨대, 재부호화 전의 블록 분할 정보, 각 블록의 부호화 모드, 예측 파라미터 등의 부호화 파라미터를 그대로 이용하여 재부호화한다. 이와 같이 함으로써 부호화 파라미터의 선택 처리가 불필요하게 되고, 재부호화 처리의 처리 부하를 저감할 수 있다.
본 실시의 형태 5에 있어서의 부호화 스트림 변환 장치에 의하면, 인트라 픽쳐만을 랜덤 액세스 포인트로 하는 부호화 스트림의 인트라 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로 일부 재부호화할 수 있다. 그 때문에, 원래의 부호화 스트림보다 부호량이 삭감된 부호화 스트림을 생성할 수 있다.
또한, 본 실시의 형태 5에 있어서의 화상 복호 장치에 의하면, 인트라 픽쳐만을 랜덤 액세스 포인트로 하는 부호화 스트림의 인트라 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로 일부 재부호화한 부호화 비트스트림을 올바르게 복호할 수 있는 효과를 갖는다.
실시의 형태 6.
상기 실시의 형태 1에서는, 랜덤 액세스 가능한 인터 픽쳐보다 표시 순서가 뒤 (표시 시각이 미래)가 되는 랜덤 액세스 불가능한 인터 픽쳐(도 33(b)의 백색으로 나타내는 「인터 픽쳐」)는 랜덤 액세스 가능한 인터 픽쳐보다 표시 순서가 앞(표시 시각이 과거)이 되는 픽쳐는 참조하지 않도록 함으로써, 랜덤 액세스 가능한 인터 픽쳐에 의한 랜덤 액세스를 실현했다. 본 실시예에서는, 도 35에 나타내는 예와 같이 랜덤 액세스 가능한 인터 픽쳐보다 복호 순서가 뒤가 되는 랜덤 액세스 불가능한 인터 픽쳐는 랜덤 액세스 가능한 인터 픽쳐보다 복호 순서가 앞이 되는 픽쳐는 참조하지 않도록 함으로써, 랜덤 액세스 가능한 인터 픽쳐에 의한 랜덤 액세스를 실현한다. 이 경우, 비 특허 문헌 1, 비 특허 문헌 2의 IDR 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로 대체하는 것에 상당한다.
따라서, 본 실시의 형태의 화상 부호화 장치에서 생성한 부호화 스트림을 복호하는 화상 복호 장치는 실시의 형태 1과 마찬가지로, 랜덤 액세스 가능한 인터 픽쳐를 식별하는 SEI가 부여되어 있는 랜덤 액세스 가능한 인터 픽쳐부터 복호를 개시하는 경우, 우선 랜덤 액세스 가능한 인터 픽쳐를 식별하는 SEI에 포함되는 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보가 가리키는 픽쳐를 복호하고, 다음으로 상기 SEI가 부여되어 있는 픽쳐를 복호하고, 그 후, 상기 SEI가 부여되어 있는 픽쳐보다 표시 순서로 뒤의 픽쳐를 복호함으로써 랜덤 액세스 가능한 인터 픽쳐로부터 정상적으로 재생 가능하게 된다.
또한, 본 실시의 형태는, 실시의 형태 1의 참조 픽쳐의 제한을 변경할 뿐이고, 실시의 형태 1의 화상 부호화 장치 및 화상 복호 장치와 마찬가지의 방법으로 다른 실시의 형태와 조합할 수 있는 것은 분명하다.
실시의 형태 7.
상기 실시의 형태 1의 화상 부호화 장치에 있어서는, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보를 포함하는 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보로서 SEI를 새롭게 정의했지만, 본 실시의 형태의 화상 부호화 장치에서는, 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보로서, 비 특허 문헌 1 및 비 특허 문헌 2에 정의되는 Recovery Point SEI Message를 이용한다. 또한, 상기 실시의 형태 2에 있어서는 Recovery Point SEI Message의 해석을 바꾸어 이용했지만, 본 실시의 형태에 있어서는, Recovery Point SEI Message의 신택스 recovery_poc_cnt(비 특허 문헌 2에서는, recovery_frame_cnt)를, 비 특허 문헌 1 및 비 특허 문헌 2에 정의되는 바와 같이, 복호 개시 위치인 리커버리 포인트가 되는 픽쳐의 위치로 해석한 다음, 그 리커버리 포인트가 되는 픽쳐가 인터 픽쳐인 경우만 상기 실시의 형태 1의 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보를 Recovery Point SEI Message의 신택스로서 부호화하도록 한다.
본 실시의 형태의 화상 복호 장치는 Recovery Point SEI Message를 복호하여, 신택스 recovery_poc_cnt(비 특허 문헌 2에서는, recovery_frame_cnt)가 나타내는 리커버리 포인트가 되는 픽쳐의 픽쳐 타입을 확인하고, 리커버리 포인트가 되는 픽쳐가 인터 픽쳐인 경우만 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보를 복호하여, 랜덤 액세스시 사용 참조 픽쳐를 특정한다. 이와 같은 구성으로 하면, 본 SEI가 부여되어 있는 픽쳐로부터 복호를 개시하는 경우는, 우선 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보가 나타내는 픽쳐를 복호하고, 다음으로 recovery_poc_cnt가 나타내는 랜덤 액세스 가능한 인터 픽쳐를 복호하고, 그 후 본 랜덤 액세스 가능한 인터 픽쳐보다 표시 순서로 뒤의 픽쳐를 복호함으로써 본 랜덤 액세스 가능한 인터 픽쳐로부터 정상적으로 재생 가능하게 된다. 따라서, 상기 실시의 형태 1의 화상 복호 장치와 마찬가지의 효과를 얻을 수 있다.
본 실시의 형태에서는, 리커버리 포인트가 되는 픽쳐가 인트라 픽쳐인 경우는 비 특허 문헌 1및 비 특허 문헌 2로부터의 변경은 없고, 비 특허 문헌 1 및 비 특허 문헌 2 준거의 화상 복호 장치를 이용하여 리커버리 포인트가 되는 인트라 픽쳐로부터의 도중 복호를 정상적으로 행할 수 있다.
실시의 형태 3과 마찬가지로 상기 랜덤 액세스시 사용 참조 픽쳐는 직전의 IRAP 픽쳐(비 특허 문헌 2의 경우, IDR 픽쳐)로 한정하는 것으로 하더라도 좋다. 이 경우, 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호를 식별하는 정보(신택스)를 생략할 수 있다. 따라서, 비 특허 문헌 1 및 비 특허 문헌 2에 기재된 Recovery Point SEI Message로 정의되는 정보(신택스)만으로 랜덤 액세스 가능한 인터 픽쳐로부터의 도중 복호를 실현할 수 있다.
또한, 실시의 형태 5의 부호화 스트림 변환 장치에 대해서도, 본 화상 부호화 장치와 마찬가지로 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보를 비 특허 문헌 1 및 비 특허 문헌 2에 정의되는 Recovery Point SEI Message를 이용하도록 할 수 있다. 이와 같이 한 경우, 본 실시의 형태의 화상 복호 장치에서 복호 가능하게 된다.
실시의 형태 8.
상기 실시의 형태 1, 2, 4~7에서는, 랜덤 액세스시 사용 참조 픽쳐의 위치를 픽쳐 번호로서 부호화하고 있었지만, 본 실시의 형태에서는, 상기 실시의 형태 1, 2, 4~7에 대하여, 도 36에 나타내는 바와 같이 랜덤 액세스시 사용 참조 픽쳐의 위치를, 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보로부터의 이동 바이트 수로 나타내도록 한다. 이와 같이 함으로써, 상기 랜덤 액세스시 사용 참조 픽쳐를 특정하기 위해 부호화된 각 픽쳐 데이터로부터 픽쳐 번호를 복호하여 랜덤 액세스시 사용 참조 픽쳐의 픽쳐 번호와 대조하는 처리를 행하는 일 없이 랜덤 액세스시 사용 참조 픽쳐의 복호 개시 위치를 알 수 있고, 복호 처리의 처리 부하를 저감할 수 있다. 또한, 랜덤 액세스시 사용 참조 픽쳐의 위치를, 도 37과 같이 부호화 비트스트림의 선두로부터의 이동 바이트 수로 나타내도록 하더라도 좋다. 이와 같이 함으로써, 랜덤 액세스시 사용 참조 픽쳐의 복호 개시 위치를 부호화 비트스트림의 상대적 위치(랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보로부터의 이동 바이트 수)가 아닌, 절대적인 위치로서 알 수 있다. 또한, 이동 바이트 수의 개시점은 화상 부호화 장치와 화상 복호 장치의 사이에서 통일하고 있으면, 도 36, 도 37과 상이한 점을 설정하더라도 좋은 것은 분명하다.
실시의 형태 9.
본 실시의 형태에서는, 실시의 형태 1에 있어서 SEI로 나타낸, 랜덤 액세스 가능한 인터 픽쳐의 식별 정보와, 랜덤 액세스시 사용 참조 픽쳐의 위치를 식별하는 정보를, 영상이나 음성의 부호화 비트스트림을 합치는 미디어 파일 포맷 내의 정보로서 부여하도록 한다. 미디어 파일 포맷은, 예컨대 ISO/IEC 23008-1, ISO/IEC 13818-1/ITU-T H.222.0, ISO/IEC 14496-14:2003 등에 규정되어 있다. 이와 같이 함으로써 미디어 파일 중에서 상기 실시의 형태 1~7에서 설명한 화상 부호화 장치에 의해 생성된 부호화 비트스트림을 추출하기 전에 랜덤 액세스 가능한 인터 픽쳐와 그 랜덤 액세스 가능한 인터 픽쳐의 복호에 필요한 랜덤 액세스시 사용 참조 픽쳐를 식별할 수 있고, 고속의 랜덤 액세스를 실현할 수 있다.
구체적으로는, IRAP 픽쳐(비 특허 문헌 2에서는 IDR 픽쳐)로부터 시작되는 복수의 픽쳐를 단독 복호할 수 있는 Group Of Pictures(GOP) 단위의 부호화 비트스트림을 합친 단위(이하, GOP 미디어 데이터라고 부른다)의 기술자 정보를 이용한다. 예컨대, 랜덤 액세스 가능한 인터 픽쳐를 포함하는 GOP 미디어 데이터의 기술자 정보에, 랜덤 액세스 가능한 인터 픽쳐의 식별 정보로서 랜덤 액세스 가능한 인터 픽쳐의 시각 정보(타임 코드에 상당)를 추가하고, 랜덤 액세스시 사용 참조 픽쳐의 위치를 식별하는 정보로서 그 랜덤 액세스시 사용 참조 픽쳐의 시각 정보를 추가한다.
또는, 픽쳐 단위의 부호화 비트스트림을 합친 단위(이하, 픽쳐 미디어 데이터라고 부른다)의 기술자 정보(Movie fragment metadata)를 이용한다. 예컨대, 랜덤 액세스 가능한 인터 픽쳐의 픽쳐 미디어 데이터의 기술자 정보에, 랜덤 액세스 가능한 인터 픽쳐의 식별 정보로서 랜덤 액세스 가능한 인터 픽쳐인지 아닌지의 플래그 정보를 추가하고, 랜덤 액세스시 사용 참조 픽쳐의 위치를 식별하는 정보로서 그 랜덤 액세스시 사용 참조 픽쳐의 시각 정보를 추가한다.
GOP 미디어 데이터의 기술자 정보의 예로서는, ISO/IEC 23008-1의 MPU metadata나 ISO/IEC 14496-14:2003의 moov 박스를 들 수 있다. 픽쳐 미디어 데이터의 기술자 정보로서는, ISO/IEC 23008-1의 Movie fragment metadata나 ISO/IEC 14496-14:2003의 moof 박스를 들 수 있다.
또한, 본 실시의 형태에서는 실시의 형태 3과 마찬가지로, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 랜덤 액세스시 사용 참조 픽쳐는 직전의 IRAP 픽쳐로 한정하고, 랜덤 액세스시 사용 참조 픽쳐의 위치를 식별하는 정보를 생략하는 구성으로 하는 것도 가능하다. 이와 같이 함으로써, 랜덤 액세스시 사용 참조 픽쳐의 위치를 식별하는 정보에 요하는 부호량을 삭감할 수 있다.
실시의 형태 10.
실시의 형태 1~9에서는 랜덤 액세스 가능한 인터 픽쳐가 참조하는 랜덤 액세스시 사용 참조 픽쳐를 장기 보존용 버퍼에 보존되는 장기 참조 픽쳐로 했지만, 본 실시의 형태에서는 랜덤 액세스시 사용 참조 픽쳐를 장기 참조 픽쳐가 아닌 인트라 픽쳐로 한다. 이 경우, 랜덤 액세스시 사용 참조 픽쳐는 그 외의 픽쳐의 부호화ㆍ복호에 있어서의 참조 픽쳐와 동일한 단기 참조(short-term reference) 픽쳐로서 단기 보존용 버퍼에 저장한다. 그러나, 랜덤 액세스 가능한 인터 픽쳐의 부호화ㆍ복호시에 랜덤 액세스시 사용 참조 픽쳐가 단기 보존용 버퍼에 존재하도록 하기 위해, 단기 보존용 버퍼 저장 후의 각 픽쳐의 부호화ㆍ복호시에 상기 랜덤 액세스시 사용 참조 픽쳐가 단기 보존용 버퍼에 보존된 채로 있도록 할 필요가 있다. 그래서, 화상 부호화 장치에 있어서는, 랜덤 액세스 가능한 인터 픽쳐의 부호화ㆍ복호시에 랜덤 액세스시 사용 참조 픽쳐가 단기 보존용 버퍼에 보존된 상태가 되도록 비 특허 문헌 1 및 비 특허 문헌 2에 규정되어 있는 단기 참조 픽쳐의 관리 정보를 부호화한다. 또한, 화상 복호 장치는 부호화 스트림으로부터 상기 관리 정보를 복호하고 본 정보에 따라서 버퍼를 관리함으로써, 랜덤 액세스 가능한 인터 픽쳐의 부호화ㆍ복호시에 상기 랜덤 액세스시 사용 참조 픽쳐가 단기 보존용 버퍼에 보존된 채로 되어서 참조 가능하게 된다. 따라서, 본 실시의 형태의 화상 부호화 장치에서 생성한 부호화 스트림에 대하여, 랜덤 액세스 가능한 인터 픽쳐로부터의 정상 재생이 가능하게 된다.
실시의 형태 11.
실시의 형태 1~10에서는, 랜덤 액세스 가능한 인터 픽쳐는 랜덤 액세스시 사용 참조 픽쳐로서 설정된 픽쳐만을 참조하는 픽쳐로 하고, 비 특허 문헌 1 혹은 비 특허 문헌 2의 장기 보존용 버퍼 혹은 단기 보존용 버퍼에 랜덤 액세스시 사용 참조 픽쳐를 저장하여 실현하고 있다. 즉, 비 특허 문헌 1 혹은 비 특허 문헌 2에 따라서, 부호화측은 장기 보존용 버퍼 및 단기 보존용 버퍼의 참조 픽쳐 관리 정보를 부호화하고, 복호측은 상기 참조 픽쳐 관리 정보를 복호하여 참조할 필요가 있다. 본 실시의 형태에서는, 실시의 형태 3과 실시의 형태 4를 조합함으로써, 랜덤 액세스 가능한 인터 픽쳐에 있어서 상기 참조 픽쳐 관리 정보의 부호화를 불필요하게 한다.
구체적으로는, 실시의 형태 3과 마찬가지로 랜덤 액세스 가능한 인터 픽쳐가 참조하는 픽쳐를 직전의 IRAP 픽쳐로 한정하고, 실시의 형태 4와 마찬가지로 랜덤 액세스 가능한 인터 픽쳐인 것을 나타내는 특별한 NAL 유닛 타입을 정의한다. 부호화측은, 부호화 대상인 픽쳐가 랜덤 액세스 가능한 인터 픽쳐인 경우는, 장기 보존용 버퍼 및 단기 보존용 버퍼에 있어서의 직전의 IRAP 픽쳐 이외를 소거하고, 부호화 대상인 픽쳐를 상기 특별한 NAL 유닛 타입을 갖는 픽쳐로서 부호화한다. 그리고, 랜덤 액세스 가능한 인터 픽쳐를 부호화 후에 이 인터 픽쳐를 장기 보존용 버퍼 혹은 단기 보존용 버퍼에 저장하여, 그 후에 부호화하는 픽쳐에서 참조 가능하게 한다.
복호측은, 실시의 형태 4와 마찬가지로 복호한 NAL 유닛 타입이 상기 특별한 NAL 유닛 타입인 경우에, 부호화 대상인 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로 해석한다. 그리고, 장기 보존용 버퍼 및 단기 보존용 버퍼에 있어서의 직전의 IRAP 픽쳐 이외를 소거한 다음, 직전의 IRAP 픽쳐를 참조하여 랜덤 액세스 가능한 인터 픽쳐를 복호한다. 랜덤 액세스 가능한 인터 픽쳐를 복호 후, 이 인터 픽쳐를 장기 보존용 버퍼 혹은 단기 보존용 버퍼에 저장하여, 그 후에 복호하는 픽쳐에서 참조 가능하게 한다. 이와 같이 함으로써, 랜덤 액세스 가능한 인터 픽쳐(상기 특별한 NAL 유닛 타입을 갖는 픽쳐)로부터 복호를 개시한 경우도, 올바르게 재생 가능하게 된다.
실시의 형태 12.
실시의 형태 1~11에서는, 랜덤 액세스 가능한 인터 픽쳐가 참조하는 랜덤 액세스시 사용 참조 픽쳐를 인트라 픽쳐로 했지만, 본 실시의 형태에서는, 도 38에 나타내는 바와 같이 IRAP 픽쳐를 선두로 랜덤 액세스 가능한 인터 픽쳐를 차례로 참조하도록 한다. 이때, 랜덤 액세스시 사용 참조 픽쳐의 위치를 식별하는 정보로서, 각 랜덤 액세스 가능한 인터 픽쳐가 갖는 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보를 부호화한다. 또한, 상술한 바와 같이 랜덤 액세스 가능한 인터 픽쳐를 차례로 참조 가능하게 하기 위해, 각 랜덤 액세스 가능한 인터 픽쳐를 부호화할 때에 부호화 완료 IRAP 픽쳐 및 랜덤 액세스 가능한 인터 픽쳐 중에서, 직전의 픽쳐(부호화 순서(복호 순서)로 가장 가까운 픽쳐)가 참조 가능하게 되도록, 장기 보존용 버퍼 혹은 단기 보존용 버퍼의 참조 픽쳐를 관리한다.
이와 같이 함으로써, 복호 장치는, 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보를 복호하여 랜덤 액세스 가능한 인터 픽쳐를 특정한 후, 예컨대 그 중의 1개의 랜덤 액세스 가능한 인터 픽쳐(픽쳐 A)로부터 도중 재생하는 경우는, 우선 직전의 IRAP 픽쳐와, IRAP 픽쳐와 픽쳐 A의 사이에 존재하는 랜덤 액세스 가능한 인터 픽쳐를 복호 순서로 차례로 복호하고, 그 인터 픽쳐를 장기 보존용 버퍼 혹은 단기 보존용 버퍼에 저장한다. 이때, IRAP 픽쳐와 픽쳐 A의 사이에 존재하는 랜덤 액세스 가능한 인터 픽쳐는, 복호된 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보로부터 특정할 수 있다. 그리고, 복호된 직전의 랜덤 액세스 가능한 인터 픽쳐(복호 순서로 가장 가까운 랜덤 액세스 가능한 인터 픽쳐)를 참조함으로써 픽쳐 A가 복호 가능하게 되기 때문에, 랜덤 액세스 가능한 인터 픽쳐로부터의 재생을 정상적으로 행할 수 있다. 이와 같은 구성에 의해, 랜덤 액세스 가능한 인터 픽쳐를 IRAP 픽쳐보다 시간적으로 가까운 픽쳐를 참조하여 부호화할 수 있으므로, 부호화 효율을 높일 수 있다.
실시의 형태 13.
실시의 형태 12에 대하여, 본 실시의 형태에서는, 각 랜덤 액세스 가능한 인터 픽쳐는, 직전의 IRAP 픽쳐(부호화 순서(복호 순서)로 가장 가까운 IRAP 픽쳐) 및 직전의 IRAP 픽쳐 이후에 부호화(복호)한 랜덤 액세스 가능한 인터 픽쳐 중에서, 참조하는 픽쳐를 선택하여 부호화하도록 한다.
이때, 실시의 형태 12에 대하여, 각 랜덤 액세스 가능한 인터 픽쳐가 참조하는 픽쳐를 특정하는 정보를 더 부호화하도록 한다. 상기 참조하는 픽쳐를 특정하는 정보의 예로서는, 픽쳐 번호(Picture Ooder Count : POC)가 있다. 또한, 상술한 바와 같이 참조 픽쳐를 선택 가능하게 하기 위해, 각 랜덤 액세스 가능한 인터 픽쳐를 부호화할 때에 직전의 IRAP 픽쳐 및 그 이후의 랜덤 액세스 가능한 인터 픽쳐가 참조 가능하게 되도록, 장기 보존용 버퍼 혹은 단기 보존용 버퍼의 참조 픽쳐를 관리한다.
이와 같이 함으로써, 복호 장치는, 랜덤 액세스 가능한 인터 픽쳐를 식별하는 정보를 복호하여, 랜덤 액세스 가능한 인터 픽쳐를 특정한 후, 예컨대, 그 중의 1개의 랜덤 액세스 가능한 인터 픽쳐(도 38의 픽쳐 A)로부터 도중 재생하는 경우는, 직전의 IRAP 픽쳐와 픽쳐 A의 사이에 존재하는 랜덤 액세스 가능한 인터 픽쳐를 복호 순서로 차례로 복호하고, 그 인터 픽쳐를 장기 보존용 버퍼 혹은 단기 보존용 버퍼에 저장한다. 이때, 각 랜덤 액세스 가능한 인터 픽쳐가 참조하는 픽쳐를 특정하는 정보를 복호하고, 이 정보를 참조하여, 그 인터 픽쳐의 참조 픽쳐를 특정한다. 이와 같이 함으로써, 최종적으로 픽쳐 A가 복호 가능하게 되고, 랜덤 액세스 가능한 인터 픽쳐로부터의 재생을 정상적으로 행할 수 있다. 이와 같은 구성에 의해, 랜덤 액세스 가능한 인터 픽쳐를 복수의 참조 픽쳐로부터 가장 부호화 효율을 개선하는 픽쳐를 선택하여 부호화할 수 있으므로, 부호화 효율을 높일 수 있다.
또한, 본 실시의 형태 13에서는, 직전의 IRAP 픽쳐 및 그 이후의 랜덤 액세스 가능한 인터 픽쳐로부터 참조하도록 화상 부호화 장치 및 화상 복호 장치를 구성했지만, 직전의 IRAP 픽쳐와 직전의 랜덤 액세스 가능한 인터 픽쳐(부호화 순서(복호 순서)로 가장 가까운 랜덤 액세스 가능한 인터 픽쳐)의 어느 한쪽으로부터 선택하도록 하더라도 좋다. 이와 같이 함으로써, 상기 참조하는 픽쳐를 특정하는 정보로서, 직전의 IRAP 픽쳐와 직전의 랜덤 액세스 가능한 인터 픽쳐의 어느 한쪽을 선택하는지의 플래그 정보로 실현할 수 있기 때문에, 상기 픽쳐 번호 등의 경우보다 부호량을 삭감할 수 있다. 또한, 장기 보존용 버퍼 또는 단기 보존용 버퍼에 대해서도, 각 랜덤 액세스 가능한 인터 픽쳐를 부호화할 때에 직전의 IRAP 픽쳐와 직전의 랜덤 액세스 가능한 인터 픽쳐만 참조 가능하게 되도록 관리하면 되기 때문에, 저장하여 두는 픽쳐 수를 삭감할 수 있다.
또, 실시의 형태 1~13에 있어서, 도 31~도 35, 도 38에서는 인터 픽쳐를 참조 픽쳐가 1개의 단방향 움직임 보상 예측을 이용하는 P 픽쳐로서 설명했지만, 본인터 픽쳐는, 도 30(b)의 쌍방향 움직임 보상 예측이나 쌍방향 움직임 보상 예측에 있어서의 시간적 제약을 없애서 표시 순서로 과거의 복수의 픽쳐나 표시 순서로 미래의 복수의 픽쳐를 참조하는 쌍예측을 이용하는 B 픽쳐이더라도 좋은 것은 분명하다.
또한, 상기의 실시의 형태 중, 실시의 형태 4 이외의 실시의 형태에 대해서는, 각각 SEI를 이용하여 인터 픽쳐를 랜덤 액세스 가능한 픽쳐로 설정했다. 그 때문에, 각각의 실시의 형태의 화상 부호화 장치에서 생성한 부호화 비트스트림을 비 특허 문헌 1 및 비 특허 문헌 2 준거의 화상 복호 장치로 복호한 경우에도, 랜덤 액세스 가능한 인터 픽쳐를 식별할 수 없기 때문에 그 인터 픽쳐로부터의 도중 복호를 할 수 없을 뿐이고, 비 특허 문헌 1 및 비 특허 문헌 2에 규정되어 있는 랜덤 액세스 가능한 인트라 픽쳐로부터의 도중 복호나, 부호화 비트스트림의 처음으로부터의 복호이면 올바르게 복호할 수 있다. 이것은, 랜덤 액세스 가능한 인터 픽쳐로부터의 도중 복호를 행하지 않는 경우에도, 랜덤 액세스시 사용 참조 픽쳐를 부호화했을 때에 이 랜덤 액세스시 사용 참조 픽쳐를 장기 보존용 버퍼 혹은 단기 보존용 버퍼에 저장하고, 랜덤 액세스 가능한 인터 픽쳐로서 설정된 픽쳐를 복호할 때에 참조 가능하게 되도록 상기 참조 픽쳐 관리 정보에 의해 버퍼를 관리하기 때문에, 상기 SEI가 없더라도 랜덤 액세스 가능한 인터 픽쳐로서 설정된 픽쳐를 복호할 때에는 이미 랜덤 액세스시 사용 참조 픽쳐가 장기 보존용 버퍼 혹은 단기 보존용 버퍼에 저장되어 있어서 참조 가능하게 되기 때문이다.
또한, 랜덤 액세스 가능한 인터 픽쳐를 이용하는 일례를 이하에 나타낸다. 우선 선두의 인트라 픽쳐를 랜덤 액세스시 사용 참조 픽쳐로 설정한다. 그리고, 일정 간격으로 인트라 픽쳐로서 부호화하는 것을 전제로 하여, 인트라 픽쳐로서 부호화하도록 할당된 각 픽쳐에 대하여, 랜덤 액세스시 사용 참조 픽쳐를 참조하는 인터 픽쳐로서 부호화하는 것이 부호화 효율이 높은 경우는, 그 픽쳐를 인트라 픽쳐가 아닌 랜덤 액세스시 사용 참조 픽쳐를 참조하는 인터 픽쳐(랜덤 액세스 가능한 인터 픽쳐)로서 부호화하도록 하고, 인트라 픽쳐로서 부호화하는 것이 부호화 효율이 높은 경우는, 그 픽쳐를 랜덤 액세스 가능한 인트라 픽쳐로서 부호화함과 아울러 새로운 랜덤 액세스시 사용 참조 픽쳐로 설정한다. 이와 같이 함으로써, 부호화 대상 화상에 대하여 적응적으로 랜덤 액세스 가능한 인터 픽쳐와 랜덤 액세스시 사용 참조 픽쳐를 설정할 수 있다. 또한, 상기는 부호화 효율에 따라서, 인트라 픽쳐로서 부호화하도록 할당된 픽쳐를 랜덤 액세스 가능한 인트라 픽쳐로서 부호화할지 랜덤 액세스시 사용 참조 픽쳐를 참조하는 랜덤 액세스 가능한 인터 픽쳐로서 부호화할지를 결정했지만, 랜덤 액세스시 사용 참조 픽쳐와 상기 인트라 픽쳐로서 부호화하도록 할당된 픽쳐의 특징량을 추출하고, 그 특징량에 근거하여 결정하도록 하더라도 좋다. 예컨대, 특징량에 근거하는 픽쳐 사이의 상관값을 산출하고, 그 상관값에 따라서 인트라 픽쳐로서 부호화하도록 할당된 픽쳐를 랜덤 액세스 가능한 인트라 픽쳐로서 부호화할지 랜덤 액세스시 사용 참조 픽쳐를 참조하는 랜덤 액세스 가능한 인터 픽쳐로서 부호화할지를 결정한다. 상관값의 일례로서, 하기 픽쳐 사이 상관 지표 I를 들 수 있다. 하기의 식 (5)에 나타내는 I에 근거하여 랜덤 액세스 가능한 인터 픽쳐로 하는지 아닌지를 결정한다.
Figure pct00005
여기서, wi(i=0, 1, …, 5)는 가중 계수, E(S)는 픽쳐 내의 화소값 S의 평균, V(S)는 픽쳐 내의 화소값 S의 분산, STX는 부호화 대상 픽쳐(부호화 대상의 상기 인트라 픽쳐로서 부호화하도록 할당된 픽쳐)의 색성분 X의 화소값, SRX는 랜덤 액세스시 사용 참조 픽쳐의 색성분 X의 화소값을 각각 나타내고 있다. 상기 지표 I가 미리 설정한 임계값보다 작은 경우, 픽쳐 사이의 상관이 높다고 판단하여 부호화 대상 픽쳐를 랜덤 액세스 가능한 인터 픽쳐로서 부호화한다. 한편, 상기 지표 I가 상기 임계값 이상인 경우, 픽쳐 사이의 상관이 낮다고 판단하여 부호화 대상 픽쳐를 랜덤 액세스 가능한 인트라 픽쳐로서 부호화한다. 상기 임계값을 적절한 값으로 설정한 다음, 픽쳐 사이 상관 지표에 근거하여 랜덤 액세스 가능한 인터 픽쳐로 하는지 아닌지를 결정하도록 함으로써, 랜덤 액세스 포인트가 되는 픽쳐(상기 인트라 픽쳐로서 부호화하도록 할당된 픽쳐)의 부호화 방법(인트라 부호화나 인터 부호화)을 적응적으로 제어 가능하게 되고, 비트스트림 전체의 부호화 효율을 개선할 수 있다. 또한, 상기의 식 (5)는 YUV 신호의 예를 나타내고 있지만, RGB 신호 등의 다른 색 신호이더라도 물론 좋다.
또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다. 또한, 각 실시의 형태의 화상 부호화 장치에 의해 생성된 부호화 스트림, 또는 부호화 스트림 변환 장치에 의해 생성된 재부호화 스트림을 서버 등의 기억 장치에 파일로서 기억시키는 것도 가능하다. 또한, 부호화 스트림 혹은 재부호화 스트림을 전달하는 장치를 구성하는 것도 가능하다.
(산업상 이용가능성)
본 발명과 관련되는 화상 부호화 장치, 화상 부호화 방법 및 부호화 스트림 변환 장치는, 화상을 고효율로 부호화할 때, 랜덤 액세스 간격을 유지할 필요성이 높은 것에 적합하다.
또한, 본 발명과 관련되는 화상 복호 장치 및 화상 복호 방법은, 랜덤 액세스 간격이 유지되면서, 부호화 효율이 높아져 있는 경우에도, 랜덤 액세스가 가능한 인터 픽쳐를 포함하는 부호화 비트스트림을 올바르게 복호할 필요성이 높은 것에 적합하다.
1 : 블록 분할부
2 : 부호화 제어부(부호화 모드 결정부)
3 : 전환 스위치(예측 화상 생성부)
4 : 인트라 예측부(예측 화상 생성부)
5 : 움직임 보상 예측부(예측 화상 생성부)
6 : 감산부(차분 화상 생성부)
7 : 변환ㆍ양자화부(화상 압축부)
8 : 역양자화ㆍ역변환부(국소 복호 화상 생성부)
9 : 가산부(국소 복호 화상 생성부)
10 : 인트라 예측용 메모리
11 : 루프 필터부(필터링 처리부)
12 : 움직임 보상 예측 프레임 메모리
13 : 가변 길이 부호화부(부호화부)
14 : 슬라이스 분할부(블록 분할부)
31 : 가변 길이 복호부(복호부)
32 : 역양자화ㆍ역변환부(차분 화상 생성부)
33 : 전환 스위치(예측 화상 생성부)
34 : 인트라 예측부(예측 화상 생성부)
35 : 움직임 보상부(예측 화상 생성부)
36 : 가산부(복호 화상 생성부)
37 : 인트라 예측용 메모리
38 : 루프 필터부(필터링 처리부)
39 : 움직임 보상 예측 프레임 메모리
41: 재부호화부
42 : 재부호화 제어부(재부호화 설정부)
43 : 복호부(화상 복호부)
44 : 입력 영상 신호 제어부(재부호화 설정부)
45 : 비트스트림 합성부(비트스트림 합성부)

Claims (7)

  1. 입력 화상을 부호화 처리 단위의 블록으로 분할하는 블록 분할부와, 상기 블록 분할부에 의해 분할되는 블록에 대한 부호화 모드를 결정하는 부호화 모드 결정부와, 상기 부호화 모드 결정부에 의해 결정된 부호화 모드에 따라서, 상기 블록 분할부에 의해 분할된 블록에 대한 부호화 처리를 실시하여, 상기 블록의 압축 데이터를 출력하는 화상 부호화 장치로서,
    상기 블록 분할부에 의해 분할된 블록의 예측 화상을 생성하는 예측 화상 생성부와, 상기 블록 분할부에 의해 분할된 블록과 상기 예측 화상 생성부에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성부와, 상기 차분 화상 생성부에 의해 생성된 차분 화상을 압축하고, 상기 차분 화상의 압축 데이터를 출력하는 화상 압축부와, 상기 화상 압축부에 의해 압축된 차분 화상을 압축 해제하고, 압축 해제 후의 차분 화상과 상기 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 국소 복호 화상을 생성하는 국소 복호 화상 생성부와, 상기 국소 복호 화상 생성부에 의해 생성된 국소 복호 화상에 대한 필터링 처리를 실시하는 필터링 처리부와, 상기 화상 압축부로부터 출력된 압축 데이터 및 상기 부호화 모드 결정부에 의해 결정된 부호화 모드를 부호화하여, 상기 압축 데이터 및 상기 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 부호화부를 구비하고,
    상기 예측 화상 생성부는, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서 참조 픽쳐를 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고,
    상기 부호화부는, 상기 참조 픽쳐의 위치를 나타내는 픽쳐 위치 정보와 상기 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 상기 픽쳐 위치 정보 및 상기 식별 정보의 부호화 데이터를 상기 비트스트림에 다중화하는
    것을 특징으로 하는 화상 부호화 장치.
  2. 입력 화상을 부호화 처리 단위의 블록으로 분할하는 블록 분할부와, 상기 블록 분할부에 의해 분할되는 블록에 대한 부호화 모드를 결정하는 부호화 모드 결정부와, 상기 부호화 모드 결정부에 의해 결정된 부호화 모드에 따라서, 상기 블록 분할부에 의해 분할된 블록에 대한 부호화 처리를 실시하여, 상기 블록의 압축 데이터를 출력하는 화상 부호화 장치로서,
    상기 블록 분할부에 의해 분할된 블록의 예측 화상을 생성하는 예측 화상 생성부와, 상기 블록 분할부에 의해 분할된 블록과 상기 예측 화상 생성부에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성부와, 상기 차분 화상 생성부에 의해 생성된 차분 화상을 압축하고, 상기 차분 화상의 압축 데이터를 출력하는 화상 압축부와, 상기 화상 압축부에 의해 압축된 차분 화상을 압축 해제하고, 압축 해제 후의 차분 화상과 상기 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 국소 복호 화상을 생성하는 국소 복호 화상 생성부와, 상기 국소 복호 화상 생성부에 의해 생성된 국소 복호 화상에 대한 필터링 처리를 실시하는 필터링 처리부와, 상기 화상 압축부로부터 출력된 압축 데이터 및 상기 부호화 모드 결정부에 의해 결정된 부호화 모드를 부호화하여, 상기 압축 데이터 및 상기 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 부호화부를 구비하고,
    상기 예측 화상 생성부는, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 상기 랜덤 액세스 가능한 인터 픽쳐의 부호화 순서에 대하여, 부호화 순서가 앞이고 또한 부호화 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고,
    상기 부호화부는, 상기 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 상기 식별 정보의 부호화 데이터를 상기 비트스트림에 다중화하는
    것을 특징으로 하는 화상 부호화 장치.
  3. 화상을 블록 단위로 압축 부호화한 비트스트림을 입력하여 복호 화상을 생성하는 화상 복호 장치로서,
    상기 비트스트림으로부터 각각의 블록과 관련되는 압축 데이터 및 부호화 모드를 복호하는 복호부와, 상기 복호부에 의해 복호된 부호화 모드에 따라서 복호가 완료된 화소를 참조하여, 각각의 블록에 대한 예측 화상을 생성하는 예측 화상 생성부와, 상기 복호부에 의해 복호된 압축 데이터를 압축 해제하여 차분 화상을 생성하는 차분 화상 생성부와, 상기 차분 화상 생성부에 의해 생성된 차분 화상과 상기 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성부와, 상기 복호 화상 생성부에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 필터링 처리부를 구비하고,
    상기 복호부는, 어느 인터 픽쳐가 랜덤 액세스 가능한 인터 픽쳐인지를 나타내는 식별 정보를 복호함과 아울러, 상기 랜덤 액세스 가능한 인터 픽쳐의 예측 화상을 생성할 때에 참조하는 참조 픽쳐의 위치를 나타내는 픽쳐 위치 정보를 복호하고,
    상기 예측 화상 생성부는, 상기 식별 정보에 의해 식별된 랜덤 액세스 가능한 인터 픽쳐를 복호하는 경우는, 복수의 랜덤 액세스 가능한 인트라 픽쳐 중에서 상기 픽쳐 위치 정보가 나타내는 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하는
    것을 특징으로 하는 화상 복호 장치.
  4. 화상을 블록 단위로 압축 부호화한 비트스트림을 입력하여 복호 화상을 생성하는 화상 복호 장치로서,
    상기 비트스트림으로부터 각각의 블록과 관련되는 압축 데이터 및 부호화 모드를 복호하는 복호부와, 상기 복호부에 의해 복호된 부호화 모드에 따라서 복호가 완료된 화소를 참조하여, 각각의 블록에 대한 예측 화상을 생성하는 예측 화상 생성부와, 상기 복호부에 의해 복호된 압축 데이터를 압축 해제하여 차분 화상을 생성하는 차분 화상 생성부와, 상기 차분 화상 생성부에 의해 생성된 차분 화상과 상기 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성부와, 상기 복호 화상 생성부에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 필터링 처리부를 구비하고,
    상기 복호부는, 어느 인터 픽쳐가 랜덤 액세스 가능한 인터 픽쳐인지를 나타내는 식별 정보를 복호하고,
    상기 예측 화상 생성부는, 상기 식별 정보에 의해 식별된 랜덤 액세스 가능한 인터 픽쳐를 복호하는 경우는, 상기 랜덤 액세스 가능한 인터 픽쳐의 복호 순서에 대하여, 복호 순서가 앞이고 또한 복호 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하는
    것을 특징으로 하는 화상 복호 장치.
  5. 화상을 블록 단위로 압축 부호화한 비트스트림을 입력하여 재부호화한 비트스트림을 출력하는 부호화 스트림 변환 장치로서,
    상기 비트스트림을 복호하여 복호 화상을 생성함과 아울러, 랜덤 액세스 가능한 인트라 픽쳐를 특정하는 화상 복호부와, 상기 특정한 랜덤 액세스 가능한 인트라 픽쳐 중에서 랜덤 액세스 가능한 인터 픽쳐로 재부호화하는 재부호화 대상 인트라 픽쳐를 설정하는 재부호화 설정부와, 상기 재부호화 대상 인트라 픽쳐를 재부호화하는 재부호화부와, 상기 비트스트림과 상기 재부호화부에 의해 재부호화된 재부호화 대상 인트라 픽쳐를 합성하여 재부호화 비트스트림을 출력하는 비트스트림 합성부를 구비하고,
    상기 재부호화부는, 상기 랜덤 액세스 가능한 인터 픽쳐로 재부호화된 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 상기 식별 정보의 부호화 데이터를 상기 재부호화 비트스트림에 다중화하는
    것을 특징으로 하는 부호화 스트림 변환 장치.
  6. 블록 분할부가, 입력 화상을 부호화 처리 단위의 블록으로 분할하고, 부호화 모드 결정부가, 상기 블록 분할부에 의해 분할되는 블록에 대한 부호화 모드를 결정하면, 상기 부호화 모드에 따라서, 상기 블록 분할부에 의해 분할된 블록에 대한 부호화 처리를 실시하여, 상기 블록의 압축 데이터를 출력하는 화상 부호화 방법으로서,
    예측 화상 생성부가, 상기 블록 분할부에 의해 분할된 블록의 예측 화상을 생성하고, 차분 화상 생성부가, 상기 블록 분할부에 의해 분할된 블록과 상기 예측 화상 생성부에 의해 생성된 예측 화상의 차분 화상을 생성하고, 화상 압축부가, 상기 차분 화상 생성부에 의해 생성된 차분 화상을 압축하여, 상기 차분 화상의 압축 데이터를 출력하고, 국소 복호 화상 생성부가, 상기 화상 압축부에 의해 압축된 차분 화상을 압축 해제하고, 압축 해제 후의 차분 화상과 상기 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 국소 복호 화상을 생성하고, 필터링 처리부가, 상기 국소 복호 화상 생성부에 의해 생성된 국소 복호 화상에 대한 필터링 처리를 실시하고, 부호화부가, 상기 화상 압축부로부터 출력된 압축 데이터 및 상기 부호화 모드 결정부에 의해 결정된 부호화 모드를 부호화하여, 상기 압축 데이터 및 상기 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 것이고,
    상기 예측 화상 생성부가, 랜덤 액세스 가능한 인터 픽쳐를 부호화하는 경우는, 상기 랜덤 액세스 가능한 인터 픽쳐의 부호화 순서에 대하여, 부호화 순서가 앞이고 또한 부호화 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하고,
    상기 부호화부가, 상기 랜덤 액세스 가능한 인터 픽쳐가 랜덤 액세스 가능한 것을 나타내는 식별 정보를 부호화하고, 상기 식별 정보의 부호화 데이터를 상기 비트스트림에 다중화하는
    것을 특징으로 하는 화상 부호화 방법.
  7. 화상을 블록 단위로 압축 부호화한 비트스트림을 입력하여 복호 화상을 생성하는 화상 복호 방법으로서,
    복호부가, 상기 비트스트림으로부터 각각의 블록과 관련되는 압축 데이터 및 부호화 모드를 복호하고, 예측 화상 생성부가, 상기 복호부에 의해 복호된 부호화 모드에 따라서 복호가 완료된 화소를 참조하여, 각각의 블록에 대한 예측 화상을 생성하고, 차분 화상 생성부가, 상기 복호부에 의해 복호된 압축 데이터를 압축 해제하여 차분 화상을 생성하고, 복호 화상 생성부가, 상기 차분 화상 생성부에 의해 생성된 차분 화상과 상기 예측 화상 생성부에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하고, 필터링 처리부가, 상기 복호 화상 생성부에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 것이고,
    상기 복호부가, 어느 인터 픽쳐가 랜덤 액세스 가능한 인터 픽쳐인지를 나타내는 식별 정보를 복호하고,
    상기 예측 화상 생성부가, 상기 식별 정보에 의해 식별된 랜덤 액세스 가능한 인터 픽쳐를 복호하는 경우는, 상기 랜덤 액세스 가능한 인터 픽쳐의 복호 순서에 대하여, 복호 순서가 앞이고 또한 복호 순서가 가장 가까운 랜덤 액세스 가능한 인트라 픽쳐를 참조 픽쳐로 설정하고, 그 설정한 참조 픽쳐를 예측 처리에 이용하는 움직임 보상 예측을 실시하는
    것을 특징으로 하는 화상 복호 방법.
KR1020167024148A 2014-02-03 2015-02-02 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법 KR101785886B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014018368 2014-02-03
JPJP-P-2014-018368 2014-02-03
JPJP-P-2014-228604 2014-11-11
JP2014228604 2014-11-11
PCT/JP2015/052855 WO2015115644A1 (ja) 2014-02-03 2015-02-02 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法

Publications (2)

Publication Number Publication Date
KR20160115974A true KR20160115974A (ko) 2016-10-06
KR101785886B1 KR101785886B1 (ko) 2017-10-16

Family

ID=53757209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167024148A KR101785886B1 (ko) 2014-02-03 2015-02-02 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법

Country Status (6)

Country Link
US (1) US10075725B2 (ko)
EP (1) EP3104614A4 (ko)
JP (1) JP6147368B2 (ko)
KR (1) KR101785886B1 (ko)
CN (1) CN105981389B (ko)
WO (1) WO2015115644A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060261A1 (ko) * 2018-09-20 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658014B (zh) 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
CN106464886B (zh) * 2014-06-18 2021-03-30 瑞典爱立信有限公司 视频中的画面的鲁棒编码和解码
US10484711B2 (en) 2014-06-18 2019-11-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
RU2680197C1 (ru) * 2015-06-05 2019-02-18 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование пикселя входной видеопоследовательности
US10063861B2 (en) 2015-10-07 2018-08-28 Qualcomm Incorporated Methods and systems of performing predictive random access using a background picture
CN109661818A (zh) * 2016-09-12 2019-04-19 索尼公司 图像处理设备、图像处理方法和程序
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
KR102412007B1 (ko) * 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
JP7248013B2 (ja) * 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法
US10735745B1 (en) * 2019-06-06 2020-08-04 Tencent America LLC Method and apparatus for video coding
US11825073B2 (en) * 2020-03-20 2023-11-21 Qualcomm Incorporated High level syntax for video with mixed NAL unit types
JP2021164005A (ja) * 2020-03-30 2021-10-11 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN115514967B (zh) * 2022-11-07 2023-03-21 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于二进制块双向编码的图像压缩方法及图像解压方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5023739B1 (ko) 1970-06-16 1975-08-09
EP1069779B1 (en) 1999-02-09 2016-04-13 Sony Corporation Coding system and its method
JP3840895B2 (ja) * 2000-11-22 2006-11-01 日本電気株式会社 動画像符号化データ変換装置及びその方法
DE60310368T2 (de) * 2002-01-22 2007-03-29 Microsoft Corp., Redmond Verfahren zur verhinderung von startkode-emulation und stopfdaten
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
WO2005025225A1 (ja) * 2003-09-04 2005-03-17 Nec Corporation 動画像データ変換方法および装置ならびにプログラム
EP2348710B1 (en) 2004-07-01 2015-07-29 Mitsubishi Electric Corporation Random access video information recording method and apparatus
WO2006038716A1 (en) * 2004-10-07 2006-04-13 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture decoding apparatus
US20060153299A1 (en) * 2005-01-07 2006-07-13 Kabushiki Kaisha Toshiba Coded video sequence conversion apparatus, method and program product for coded video sequence conversion
JP2006246277A (ja) * 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム
US8279928B2 (en) 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
JP4810298B2 (ja) * 2006-05-09 2011-11-09 キヤノン株式会社 画像符号化装置及び符号化方法並びに画像復号化装置及び復号化方法
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
CN101459840B (zh) * 2007-12-13 2010-04-21 华为技术有限公司 视频图像编码和解码方法及装置和系统
US8675979B2 (en) * 2008-12-12 2014-03-18 Panasonic Corporation Transcoder, method of transcoding, and digital recorder
US8929443B2 (en) 2009-01-09 2015-01-06 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over IP networks
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置
SG10202001623RA (en) * 2010-04-09 2020-04-29 Mitsubishi Electric Corp Moving image encoding device and moving image decoding device
KR101578318B1 (ko) * 2010-09-30 2015-12-16 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
CA2961824C (en) * 2011-01-12 2019-07-23 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
RU2577320C1 (ru) * 2012-01-19 2016-03-20 Мицубиси Электрик Корпорейшн Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений
CA2868255C (en) * 2012-04-13 2018-04-17 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US9979958B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
EP2866440B1 (en) * 2012-06-24 2018-08-08 Lg Electronics Inc. Image decoding method and apparatus using same
WO2014051081A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US20150256827A1 (en) * 2012-09-28 2015-09-10 Mitsubishi Electric Corporation Video encoding device, video decoding device, video encoding method, and video decoding method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060261A1 (ko) * 2018-09-20 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11800099B2 (en) 2018-09-20 2023-10-24 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium for storing bitstream

Also Published As

Publication number Publication date
CN105981389B (zh) 2019-03-01
EP3104614A4 (en) 2017-09-13
EP3104614A1 (en) 2016-12-14
JPWO2015115644A1 (ja) 2017-03-23
CN105981389A (zh) 2016-09-28
WO2015115644A1 (ja) 2015-08-06
JP6147368B2 (ja) 2017-06-14
KR101785886B1 (ko) 2017-10-16
US10075725B2 (en) 2018-09-11
US20160330468A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
KR101785886B1 (ko) 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법
JP7055230B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体
JP6863669B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
JP6573689B2 (ja) 画像符号化装置および画像符号化方法
JP6716836B2 (ja) 動画像符号化データ
KR100727969B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR101749855B1 (ko) 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법
KR102113985B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
JP6373008B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2014204311A (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right