KR101752149B1 - 동화상 부호화·복호 장치 및 방법 - Google Patents

동화상 부호화·복호 장치 및 방법 Download PDF

Info

Publication number
KR101752149B1
KR101752149B1 KR1020177005167A KR20177005167A KR101752149B1 KR 101752149 B1 KR101752149 B1 KR 101752149B1 KR 1020177005167 A KR1020177005167 A KR 1020177005167A KR 20177005167 A KR20177005167 A KR 20177005167A KR 101752149 B1 KR101752149 B1 KR 101752149B1
Authority
KR
South Korea
Prior art keywords
picture
unit
base layer
prediction
coding
Prior art date
Application number
KR1020177005167A
Other languages
English (en)
Other versions
KR20170024142A (ko
Inventor
요시미 모리야
가즈오 스기모토
아키라 미네자와
？이치 세키구치
šœ이치 세키구치
노리미치 히와사
유스케 이타니
료지 하토리
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20170024142A publication Critical patent/KR20170024142A/ko
Application granted granted Critical
Publication of KR101752149B1 publication Critical patent/KR101752149B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

시간 계층 부호화된 영상 데이터는, 기본 계층 프레임의 영상 데이터를 포함하지 않으면 안 되고, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 생성할 수 없기 때문에, 일부의 프레임만을 처리하는 경우에도, 반드시 기본 계층 프레임을 포함하지 않으면 안 되고, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 독립하여 처리할 수 없다고 하는 과제가 있었다. 본 발명은, 시퀀스내에 상기 기본 계층이 포함되는지 여부를 나타내는 기본 계층 유무 플래그를 상기 시퀀스 단위로 부호화하는 가변 길이 부호화부를 구비하는 것이다.

Description

동화상 부호화·복호 장치 및 방법{MOVING IMAGE ENCODING AND DECODING DEVICES AND METHODS}
본 발명은, 동화상을 고효율로 부호화를 행하는 동화상 부호화 장치 및 동화상 부호화 방법과, 고효율로 부호화되어 있는 동화상을 복호하는 동화상 복호 장치 및 동화상 복호 방법에 관한 것이다.
스케일러블(scalable) 부호화는, 영상을 거친(coarse) 정보로부터 세세한(fine) 정보로 계층적으로 부호화하는 기술로서, 가장 거친 정보로 구성되는 기본 계층의 부호화 데이터만을 복호하면 가장 저품질의 복호 영상이 얻어지고, 기본 계층과 제 1 계층의 부호화 데이터를 복호하면, 중간 품질의 복호 영상이 얻어지고, 또한 제 2 계층의 부호화 데이터를 복호하면, 고품질의 복호 영상이 얻어지는 바와 같이, 복호하는 계층 수가 많아질수록 고품질의 복호 영상을 얻을 수 있는 부호화 방식이다.
SVC(비특허 문헌 1을 참조)는, MPEG－4 AVC/H.264 부호화 방식의 확장 방식으로서 표준화된 스케일러블 부호화 방식으로서, 시간 계층 부호화, 공간 계층 부호화, SNR 계층 부호화를 지원하고 있다.
도 24에 시간 계층 부호화된 영상 데이터의 일례를 나타낸다. 도 24에 있어서 화살표는 프레임간 예측 부호화시에 참조되는 프레임을 나타내고 있다. 최초로 복호되는 프레임(I0)은, 프레임내의 화소값만을 사용하여 예측하는 프레임이며, 다른 프레임을 참조하지 않는다. 다음에 복호되는 프레임(P1)은, 복호 완료된 I0 프레임을 참조하여 예측 화상을 생성하고, 생성한 예측 화상과의 차분 화상이 부호화되어 있는 것을 나타내고 있다. 다음에 복호되는 프레임(B2)은, 복호 완료된 I0 프레임과 P1 프레임의 2 프레임을 참조하여 예측 화상을 생성하고, 생성한 예측 화상과의 차분 화상이 부호화되어 있는 것을 나타내고 있다. 이하, 마찬가지이다.
또한 도 24에 있어서, I0, P1 프레임을 기본 계층 프레임(T0), B2 프레임을 제 1 계층 프레임, B3, B4 프레임을 제 2 계층 프레임, B5, B6, B7, B8를 제 3 계층 프레임이라고 부르면, 기본 계층 프레임은 동일한 계층에 속하는 프레임만을 참조하여 복호되고, 제 1 계층 프레임은 동일한 계층 또는 기본 계층 프레임에 속하는 프레임만을 참조하여 복호되고, 이하 마찬가지로 동일한 계층 또는 그 이하의 계층 프레임에 속하는 프레임만을 참조하여 복호된다.
모든 계층의 프레임을 복호하면 영상 데이터내의 모든 프레임을 복호할 수 있지만, 기본 계층 프레임에 속하는 프레임만을 복호하면, 전체의 1/8의 프레임이 복호되고, 기본 계층과 제 1 계층에 속하는 프레임을 복호하면, 전체 1/4의 프레임이 복호되고, 복호하는 계층을 늘리면 늘릴수록, 움직임이 완만한 영상이 복호되도록 부호화되어 있다.
이상과 같이 시간 계층 부호화된 영상 데이터는, 일부의 프레임을 추출하여 복호할 수 있도록 구성된 것이므로, 스케일러블 부호화에 대응하고 있지 않은 복호 장치에서도 영상 데이터를 정확하게 복호할 수 있다.
또한 영상 데이터의 선두에 부가되는 상위 헤더의 파라미터 세트로 상기 영상 데이터가 계층적으로 부호화되어 있는 경우의 최대 계층 수나 각 계층에 속하는 프레임이 보다 위의 계층에 속하는 프레임을 참조 화상으로서 사용하는지 여부를 나타내는 플래그를 부호화하여 둠으로써, 스케일러블 부호화에 대응한 복호 장치에서, 영상 데이터가 스케일러블 방식으로 구성되어 있는지 여부, 스케일러블 방식으로 구성되어 있는 경우에 어느 정도의 거칠기로 복호할 수 있는지 여부를 판단할 수 있다.
예를 들면, 비특허 문헌 2에서는, 시간 계층 부호화된 영상 데이터의 최대 계층 수나 계층 간의 참조 관계를 나타내는 플래그를 부호화하기 위한 파라미터 세트(비디오 파라미터 세트)를 시퀀스 레벨의 파라미터 세트보다 상위에서 부호화하도록 하고 있다.
도 25는 종래의 시간 계층 부호화된 영상 데이터를 생성하는 동화상 부호화 장치의 구성을 나타내는 블럭도이다.
비디오 파라미터 세트 부호화부(101)는, 영상 데이터의 최대 계층 수나 각 계층에 속하는 프레임이 보다 위의 계층이 속하는 프레임을 참조 화상으로서 사용하는지 여부를 나타내는 플래그를 부호화한다.
시퀀스 파라미터 세트 부호화부(102)는, 시퀀스가 어느 비디오 파라미터 세트를 참조하는지 여부의 식별 번호와 영상 데이터의 시퀀스 전체에 관한 파라미터(영상 데이터의 해상도 등)를 부호화한다.
기본 계층 프레임 부호화부(103)는, 참조하는 시퀀스 파라미터 세트의 식별 번호와 기본 계층에 속하는 프레임을 부호화한다.
상위 계층 프레임 부호화부(104)는, 기본 계층 프레임 부호화부(103)와 마찬가지로 상위 계층에 속하는 프레임을 부호화한다.
비특허 문헌 1 : Overview of the Scalable Video Coding Extension of the H.264/AVC Standard, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 17, NO. 9, SEPTEMBER 2007 비특허 문헌 2 : Parameter sets modifications for temporal scalability and extension hooks, JCT-VC Document JCTVC-I0230, April 2012, Geneva, CH.
종래의 시간 계층 부호화된 영상 데이터를 생성하는 동화상 부호화 장치는 이상과 같이 구성되어 있으므로, 시간 계층 부호화된 영상 데이터는, 기본 계층 프레임의 영상 데이터를 포함하지 않으면 안 되고, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 생성할 수 없기 때문에, 일부의 프레임만을 처리하는 경우에도, 반드시 기본 계층 프레임을 포함하지 않으면 안 되고, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 독립하여 처리할 수 없다고 하는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 계층화된 부호화 방식이더라도, 복호 장치측에서 스케일러블 방식으로 복호할 수 있는 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법을 얻는 것을 목적으로 한다.
본 발명은, 시퀀스내에 상기 기본 계층이 포함되는지 여부를 나타내는 기본 계층 유무 플래그를 상기 시퀀스 단위로 부호화하는 가변 길이 부호화부를 구비하는 것이다.
본 발명에 의하면, 시퀀스내에 상기 기본 계층이 포함되는지 여부를 나타내는 기본 계층 유무 플래그를 상기 시퀀스 단위로 부호화하는 가변 길이 부호화부를 구비함으로써, 스케일러블 방식으로 부호화, 복호 처리를 행할 수 있는 효과가 있다.
도 1은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 3은 본 발명의 실시 형태 1에 있어서의 부호화 비트스트림의 일례를 나타내는 설명도이다.
도 4는 본 발명의 실시 형태 1에 있어서의 NAL 유닛의 구성을 나타내는 설명도이다.
도 5는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로우차트이다.
도 6은 본 발명의 실시 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 7은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 루프 필터부에서 복수의 루프 필터 처리를 이용하는 경우의 구성예를 나타내는 설명도이다.
도 8은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로우차트이다.
도 9는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 10의 (a)는 분할 후의 부호화 블록 및 예측 블록의 분포를 나타내고, (b)는 계층 분할에 의해 부호화 모드 m(Bn)가 할당되는 상황을 나타내는 설명도이다.
도 11은 본 발명의 실시 형태 1에 있어서의 시간 계층 부호화된 영상 데이터의 일례를 나타내는 설명도이다.
도 12는 본 발명의 실시 형태 1에 있어서의 부호화 비트스트림의 일례를 나타내는 설명도이다.
도 13은 본 발명의 실시 형태 1에 있어서의 시간 계층 부호화된 영상 데이터의 일례를 나타내는 설명도이다.
도 14는 본 발명의 실시 형태 1에 있어서의 부호화 비트스트림의 일례를 나타내는 설명도이다.
도 15는 본 발명의 실시 형태 1에 있어서의 시간 계층 부호화된 영상 데이터의 일례를 나타내는 설명도이다.
도 16은 본 발명의 실시 형태 1에 있어서의 시간 계층 부호화된 영상 데이터의 일례를 나타내는 설명도이다.
도 17은 본 발명의 실시 형태 1에 있어서의 시간 계층 부호화된 영상 데이터의 일례를 나타내는 설명도이다.
도 18은 부호화 블록 Bn내의 각 예측 블록 Pi n을 선택할 수 있는 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 19는 li n=mi n=4인 경우의 예측 블록 Pi n내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 20은 본 발명의 실시 형태 2에 있어서의 서브 비트스트림 생성 장치의 구성을 나타내는 설명도이다.
도 21은 본 발명의 실시 형태 2에 있어서의 서브 비트스트림의 일례를 나타내는 설명도이다.
도 22는 본 발명의 실시 형태 2에 있어서의 서브 비트스트림의 일례를 나타내는 설명도이다.
도 23은 본 발명의 실시 형태 2에 있어서의 서브 비트스트림의 일례를 나타내는 설명도이다.
도 24는 종래의 시간 계층 부호화된 영상 데이터의 일례를 나타내는 설명도이다.
도 25는 종래의 시간 계층 부호화된 영상 데이터를 생성하는 동화상 부호화 장치의 구성을 나타내는 블럭도이다.
(실시 형태 1)
도 1은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 1에 있어서, 슬라이스 분할부(14)는 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라 1 이상의 "슬라이스"라고 하는 부분 화상으로 분할하는 처리를 실시한다. 슬라이스의 분할 단위는, 후술하는 부호화 블록 단위까지 세세하게 할 수 있다. 또한, 슬라이스 분할부(14)는 슬라이스 분할 수단을 구성하고 있다.
블록 분할부(1)는 슬라이스 분할부(14)에 의해 분할된 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 사이즈의 부호화 블록인 최대 부호화 블록으로 분할함과 아울러, 부호화 제어부(2)에 의해 결정된 상한의 계층 수에 이를 때까지, 그 최대 부호화 블록을 계층적으로 각 부호화 블록으로 분할하는 처리를 실시한다.
즉, 블록 분할부(1)는 슬라이스를 부호화 제어부(2)에 의해 결정된 분할에 따라 각 부호화 블록으로 분할하여, 그 부호화 블록을 출력하는 처리를 실시한다. 또한, 각 부호화 블록은 예측 처리 단위로 되는 1개 내지 복수의 예측 블록으로 분할된다.
또한, 블록 분할부(1)는 블록 분할 수단을 구성하고 있다.
부호화 제어부(2)는 부호화 처리가 실시될 때의 처리 단위로 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층 수를 결정함으로써, 각각의 부호화 블록의 사이즈를 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 선택 가능한 1 이상의 부호화 모드(예측 처리 단위를 나타내는 예측 블록의 사이즈 등이 상이한 1 이상의 인트라 부호화 모드, 예측 블록의 사이즈 등이 상이한 1 이상의 인터 부호화 모드) 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 적용하는 부호화 모드를 선택하는 처리를 실시한다. 선택 수법의 예로서는, 선택 가능한 1 이상의 부호화 모드 중에서, 블록 분할부(1)로부터 출력되는 부호화 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 선택하는 수법이 있다.
또한, 부호화 제어부(2)는 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드에서 부호화 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 상기 인트라 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드에서 부호화 블록에 대한 인터 예측 처리를 실시할 때에 이용하는 인터 예측 파라미터를 상기 인터 부호화 모드가 나타내는 예측 처리 단위인 예측 블록마다 결정하는 처리를 실시한다.
또한, 부호화 제어부(2)는 변환·양자화부(7) 및 역양자화·역변환부(8)에 인가하는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다. 예측 차분 부호화 파라미터에는, 부호화 블록에 있어서의 직교 변환 처리 단위로 되는 직교 변환 블록의 분할 정보를 나타내는 직교 변환 블록 분할 정보나, 변환 계수의 양자화를 행할 때의 양자화 스텝 사이즈를 규정하는 양자화 파라미터 등이 포함된다.
또한, 부호화 제어부(2)는 부호화 제어 수단을 구성하고 있다.
전환 스위치(3)는 부호화 제어부(2)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(2)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(1)로부터 출력된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.
인트라 예측부(4)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인트라 부호화 모드가 선택되었을 경우, 그 부호화 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임내 예측 처리)를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.
움직임 보상 예측부(5)는 전환 스위치(3)로부터 출력된 부호화 블록에 대응하는 부호화 모드로서, 부호화 제어부(2)에 의해 인터 부호화 모드가 선택되었을 경우, 부호화 블록과 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 1 프레임 이상의 국소 복호 화상을 예측 처리 단위인 예측 블록 단위와 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 참조하는 프레임 번호 등의 인터 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 예측 블록 단위로 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
또한, 인트라 예측부(4), 인트라 예측용 메모리(10), 움직임 보상 예측부(5) 및 움직임 보상 예측 프레임 메모리(12)로 예측 수단이 구성되어 있다.
감산부(6)는 블록 분할부(1)로부터 출력된 부호화 블록으로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 감산하고, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호를 변환·양자화부(7)에 출력하는 처리를 실시한다. 또한, 감산부(6)는 차분 화상 생성 수단을 구성하고 있다.
변환·양자화부(7)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보를 참조하여, 감산부(6)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예를 들면, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정의 학습 계열에 대해서 기저 설계가 이루어지고 있는 KL 변환 등의 직교 변환 처리)를 직교 변환 블록 단위로 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 직교 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력하는 처리를 실시한다.
또한, 변환·양자화부(7)는 화상 압축 수단을 구성하고 있다.
변환·양자화부(7)는 변환 계수를 양자화할 때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝 사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여, 변환 계수의 양자화 처리를 실시하도록 해도 좋다.
또한, 양자화 매트릭스는, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화나 인터 부호화)마다 독립되어 있는 매트릭스를 사용할 수 있고, 초기값으로서 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스나 이미 부호화된 양자화 매트릭스 중에서 선택할지, 새로운 양자화 매트릭스를 이용할지를 각각 선택할 수 있다.
따라서, 변환·양자화부(7)는, 각 직교 변환 사이즈에 대해서 색 신호나 부호화 모드마다, 새로운 양자화 매트릭스를 이용하는지 여부를 나타내는 플래그 정보를 부호화해야 할 양자화 매트릭스 파라미터로 설정한다.
그리고, 변환·양자화부(7)는, 설정한 양자화 매트릭스 파라미터를 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
역양자화·역변환부(8)는 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 변환·양자화부(7)로부터 출력된 압축 데이터를 역양자화함과 아울러, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 감산부(6)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다. 또한, 변환·양자화부(7)가 양자화 매트릭스를 이용하여, 양자화 처리를 실시하고 있는 경우에는, 역양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응하는 역양자화 처리를 실시한다.
가산부(9)는 역양자화·역변환부(8)에 의해 산출된 국소 복호 예측 차분 신호와 인트라 예측부(4)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상을 가산하고, 블록 분할부(1)로부터 출력된 부호화 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.
또한, 역양자화·역변환부(8) 및 가산부(9)로 국소 복호 화상 생성 수단이 구성되어 있다.
인트라 예측용 메모리(10)는 가산부(9)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다.
루프 필터부(11)는 가산부(9)에 의해 산출된 국소 복호 화상에 대해서, 소정의 필터 처리를 행하고, 필터 처리 후의 국소 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너(Wiener) 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리 및 적응 필터 처리의 각각에 대해, 처리를 행하는지 여부를 결정하고, 각 처리의 유효 플래그를 부호화해야 할 적응 파라미터 세트의 일부 및 슬라이스 레벨 헤더의 일부로서 가변 길이 부호화부(13)에 출력한다. 또한, 상기의 필터 처리를 복수 사용할 때에는, 각 필터 처리를 차례로 실시한다. 도 2는 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.
일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상하지만, 한편으로 처리 부하가 높아진다. 즉, 화상 품질과 처리 부하는 트레이드 오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 동화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라 사용하는 필터 처리를 결정하면 된다.
또한, 루프 필터부(11)는 필터링 수단을 구성하고 있다.
여기서, 디블로킹 필터 처리에서는, 블록 경계에 걸치는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경할 수 있다. 변경할 경우에는, 그 파라미터를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
화소 적응 오프셋 처리에서는, 먼저, 화상을 복수의 블록으로 분할하고, 그 블록 단위로, 오프셋 처리를 행하지 않는 경우에도 클래스 분류 수법의 하나로서 정의하여, 미리 준비되어 있는 복수의 클래스 분류 수법 중에서, 1개의 클래스 분류 수법을 선택한다.
다음에, 선택한 클래스 분류 수법에 따라, 블록내의 각 화소를 클래스 분류하고, 클래스마다 부호화 왜곡을 보상하는 오프셋값을 산출한다.
마지막으로, 국소 복호 화상의 휘도값에 대해서, 그 오프셋값을 가산하는 처리를 행함으로써 국소 복호 화상의 화상 품질을 개선한다.
따라서, 화소 적응 오프셋 처리에서는, 블록 분할 정보, 각 블록의 클래스 분류 수법을 나타내는 인덱스, 블록 단위의 각 클래스의 오프셋값을 특정하는 오프셋 정보를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
또한, 화소 적응 오프셋 처리에 있어서, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록 단위로 항상 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행해도 좋다. 이 경우, 상기의 블록 분할 정보가 불필요하게 되어, 블록 분할 정보에 필요로 하는 부호량분만큼 부호량을 삭감할 수 있다.
적응 필터 처리에서는, 국소 복호 화상을 소정의 수법으로 클래스 분류하고, 각 클래스에 속하는 영역(국소 복호 화상)마다, 중첩되어 있는 왜곡을 보상하는 필터를 설계하고, 그 필터를 이용하여, 상기 국소 복호 화상의 필터 처리를 실시한다.
그리고, 클래스마다 설계한 필터를 부호화해야 할 적응 파라미터 세트의 일부로서 가변 길이 부호화부(13)에 출력한다.
클래스 분류 수법으로서는, 화상을 공간적으로 등간격으로 구획하는 간이한 수법이나, 블록 단위로 화상의 국소적인 특성(분산 등)에 따라 분류하는 수법이 있다.
또한, 적응 필터 처리에서 사용하는 클래스 수는, 미리 동화상 부호화 장치 및 동화상 복호 장치에 공통의 값으로 하여 설정해도 좋고, 부호화해야 할 적응 파라미터 세트의 일부로 해도 좋다.
전자와 비교하여 후자가, 사용하는 클래스 수를 자유롭게 설정할 수 있기 때문에, 화상 품질 개선 효과가 상승하지만, 한편으로 클래스 수를 부호화하기 때문에, 그 만큼의 부호량이 증가한다.
또한, 적응 필터 처리의 클래스 분류 및 필터 설계·처리를 화상 전체에 대해서가 아니라, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록마다 행해도 좋다.
즉, 고정 사이즈의 블록내를 분할한 복수의 소블록 단위로 화상의 국소적인 특성(분산 등)에 따라 클래스 분류하여, 클래스마다 필터 설계 및 필터 처리를 행하도록 하고, 고정 사이즈의 블록마다, 각 클래스의 필터를 적응 파라미터 세트의 일부로 하여 부호화하도록 해도 좋다.
이와 같이 함으로써, 화상 전체에 대해서 클래스 분류 및 필터 설계·처리를 실시하는 경우보다, 국소적인 성질에 따른 고정밀의 필터 처리를 실현할 수 있다.
또한, 화소 적응 오프셋 처리 및 적응 필터 처리를 행하는 경우에는, 영상 신호를 루프 필터부(11)에서 참조할 필요가 있기 때문에, 영상 신호가 루프 필터부(11)에 입력되도록, 도 1의 동화상 부호화 장치를 변경할 필요가 있다.
움직임 보상 예측 프레임 메모리(12)는 루프 필터부(11)의 필터 처리 후의 국소 복호 화상을 저장하는 기록 매체이다.
가변 길이 부호화부(13)는 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)의 출력 신호(최대 부호화 블록내의 블록 분할 정보, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터 또는 인터 예측 파라미터)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여 부호화 데이터를 생성한다.
또한, 가변 길이 부호화부(13)는, 도 3에 예시하는 바와 같이, 부호화 비트스트림의 헤더 정보로서, 비디오 파라미터 세트, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 세트를 부호화하여, 픽쳐 데이터와 함께 부호화 비트스트림을 생성한다.
또한, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.
단, 픽쳐 데이터는 1 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 상기 슬라이스내에 있는 상기 부호화 데이터를 통합한 것이다.
시퀀스 레벨 헤더는, 화상 사이즈, 색 신호 포맷, 휘도 신호나 색차 신호의 신호값의 비트 심도, 시퀀스 단위에서의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 통합한 것이다.
픽쳐 레벨 헤더는, 참조할 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐 수, 엔트로피 부호화의 확률 테이블 초기화 플래그 등, 픽쳐 단위로 설정하는 헤더 정보를 통합한 것이다.
슬라이스 레벨 헤더는, 상기 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(올(all) 인트라 부호화, 인터 부호화 등), 상기 슬라이스에서 사용하는 적응 파라미터 세트의 인덱스 및 상기 인덱스가 나타내는 적응 파라미터 세트를 이용한 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)를 행하는지 여부를 나타내는 플래그 정보 등의 슬라이스 단위의 파라미터를 통합한 것이다.
적응 파라미터 세트는, 적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리에 관한 파라미터(필터 파라미터) 및 양자화 매트릭스에 관한 파라미터(양자화 매트릭스 파라미터)가 존재하는지 여부의 플래그를 각각 갖고, 상기 플래그가 "유효"인 파라미터만 대응하는 파라미터를 가지는 파라미터 세트이다. 또한, 적응 파라미터 세트는 부호화 비트스트림으로 다중화되어 있는 복수의 적응 파라미터 세트를 식별하기 위한 인덱스(aps＿id)도 가진다.
비디오 파라미터 세트는, 시간 계층 부호화에 관한 파라미터나 그 외의 스케일러블 부호화에 관한 파라미터, 멀티뷰(multi-view) 부호화에 관한 파라미터 등 상이한 계층에 속하는 픽쳐에 관한 정보를 통합한 것이다. 또한, 비디오 파라미터 세트는 부호화 비트스트림으로 다중화되어 있는 복수의 비디오 파라미터 세트를 식별하기 위한 인덱스(video＿parameteter＿set＿id)도 가진다.
비디오 파라미터 세트, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 세트, 픽쳐 데이터를 구성하는 1 이상의 슬라이스 데이터 등의 각 부호화 데이터는, NAL(Network Abstraction Layer) 유닛으로 불리는 단위로 부호화 비트스트림을 구성한다.
도 4에 NAL 유닛의 구성을 나타낸다. NAL 유닛은 헤더부와 페이로드 데이터부로 구성되고, 헤더부에는 페이로드 데이터부에 들어가 있는 부호화 데이터의 종류, 즉, 비디오 파라미터 세트, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 세트, 슬라이스 데이터 중 어느 하나의 부호화 데이터인지를 나타내는 타입 정보 등이 포함된다. 페이로드 데이터부에는, 타입 정보로 나타내어진 종류의 부호화 데이터가 포함된다. 헤더부에는 타입 정보 이외에 참조 플래그나 계층 식별 번호 등이 포함된다. 참조 플래그는, 페이로드 데이터에 포함되는 부호화 데이터가 슬라이스 데이터인 경우에, 그 슬라이스 데이터를 복호하여 얻어지는 프레임이 다른 프레임으로부터 참조되는 프레임인지 여부를 나타내는 플래그이다. 계층 식별 번호는 영상 데이터가 시간 계층 부호화되어 있는 경우에 어느 계층에 관련한 부호화 데이터인지를 나타내는 번호이다. 예를 들면, 부호화 데이터가 슬라이스 데이터이며, 그 슬라이스가 기본 계층에 속하는 프레임의 슬라이스 데이터인 경우에는 기본 계층에 관련한 부호화 데이터이므로, 기본 계층을 나타내는 「0」을 계층 식별 번호로서 부호화한다.
도 1의 예에서는, 동화상 부호화 장치의 구성요소인 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 인트라 예측용 메모리(10), 루프 필터부(11), 움직임 보상 예측 프레임 메모리(12) 및 가변 길이 부호화부(13)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로나, 원칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 블록 분할부(1), 부호화 제어부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 좋다.
도 5는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로우차트이다.
도 6은 본 발명의 실시 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 6에 있어서, 가변 길이 복호부(31)는 도 1의 동화상 부호화 장치에 의해 생성된 부호화 비트스트림을 입력하면, 그 비트스트림으로부터 NAL 유닛의 단위로 비디오 파라미터 세트, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 세트, 슬라이스 레벨 헤더 등의 각 헤더 정보를 복호함과 아울러, 그 비트스트림으로부터, 계층적으로 분할되어 있는 각각의 부호화 블록의 분할 상황을 나타내는 블록 분할 정보를 가변 길이 복호한다.
이 때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 적응 파라미터 세트내의 양자화 매트릭스 파라미터로부터, 상기 적응 파라미터 세트의 양자화 매트릭스를 특정한다. 구체적으로는, 각 직교 변환 사이즈의 색 신호나 부호화 모드마다, 양자화 매트릭스 파라미터가 초기값으로서 미리 동화상 부호화 장치 및 동화상 복호 장치에서 공통으로 준비되어 있는 양자화 매트릭스, 또는, 이미 복호된 양자화 매트릭스인(새로운 양자화 매트릭스가 아닌) 것을 나타내는 경우에는, 상기 적응 파라미터 세트에 포함되는 상기 매트릭스 중의 어떤 양자화 매트릭스인지를 특정하는 인덱스 정보를 참조하여 양자화 매트릭스를 특정하고, 양자화 매트릭스 파라미터가 새로운 양자화 매트릭스를 이용하는 것을 나타내는 경우에는, 양자화 매트릭스 파라미터에 포함되는 양자화 매트릭스를 사용할 양자화 매트릭스로서 특정한다.
또한, 가변 길이 복호부(31)는, 각 헤더 정보를 참조하여, 슬라이스 데이터에 포함되는 최대 복호 블록(도 1의 동화상 부호화 장치의 「최대 부호화 블록」에 상당하는 블록)을 특정하고, 블록 분할 정보를 참조하여, 최대 복호 블록을 계층적으로 분할하여 복호 처리를 행하는 단위인 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)을 특정하고, 각각의 복호 블록에 관련되는 압축 데이터, 부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 예측 차분 부호화 파라미터 및 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 복호하는 처리를 실시한다. 또한, 가변 길이 복호부(31)는 가변 길이 복호 수단을 구성하고 있다.
역양자화·역변환부(32)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 가변 길이 복호부(31)에 의해 가변 길이 복호된 압축 데이터를 직교 변환 블록 단위로 역양자화함과 아울러, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 도 1의 역양자화·역변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출하는 처리를 실시한다. 또한, 역양자화·역변환부(32)는 차분 화상 생성 수단을 구성하고 있다.
여기서, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보가, 상기 슬라이스에서 양자화 매트릭스를 이용하여, 역양자화 처리를 실시하는 것을 나타내고 있는 경우, 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
구체적으로는, 각 헤더 정보로부터 특정되는 상기 슬라이스에서 참조하는 적응 파라미터 세트의 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
전환 스위치(33)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(34)에 출력하고, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력하는 처리를 실시한다.
인트라 예측부(34)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 복호 블록에 관련되는 부호화 모드가 인트라 부호화 모드인 경우, 그 복호 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 인트라 예측 파라미터를 이용한 인트라 예측 처리(프레임내 예측 처리)를 실시하고 인트라 예측 화상을 생성하는 처리를 실시한다.
움직임 보상부(35)는 가변 길이 복호부(31)에 의해 가변 길이 복호된 블록 분할 정보로부터 특정되는 복호 블록에 관련되는 부호화 모드가 인터 부호화 모드인 경우, 상기 복호 블록의 예측 처리를 행할 때의 예측 처리 단위인 예측 블록마다, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(33)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용한 인터 예측 처리(움직임 보상 예측 처리)를 실시하고 인터 예측 화상을 생성하는 처리를 실시한다.
또한, 인트라 예측부(34), 인트라 예측용 메모리(37), 움직임 보상부(35) 및 움직임 보상 예측 프레임 메모리(39)로 예측 수단이 구성되어 있다.
가산부(36)는 역양자화·역변환부(32)에 의해 산출된 복호 예측 차분 신호와 인트라 예측부(34)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상을 가산하고, 도 1의 가산부(9)로부터 출력된 국소 복호 화상과 동일한 복호 화상을 산출하는 처리를 실시한다. 또한, 가산부(36)는 복호 화상 생성 수단을 구성하고 있다.
인트라 예측용 메모리(37)는 가산부(36)에 의해 산출된 복호 화상을 저장하는 기록 매체이다.
루프 필터부(38)는 가산부(36)에 의해 산출된 복호 화상에 대해서, 소정의 필터 처리를 실시하고, 필터 처리 후의 복호 화상을 출력하는 처리를 실시한다.
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대해, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 상기 슬라이스에서 행하는지 여부를 특정한다.
또한, 도 1의 동화상 부호화 장치에 있어서, 루프 필터부(38)에서 사용하는 필터 파라미터를 헤더 정보의 하나인 적응 파라미터 세트의 일부로서 부호화하는 것이 아니라, 슬라이스 단위로 사용하는 필터 파라미터를 각각 직접 슬라이스 데이터로 부호화하고 있는 경우에는, 가변 길이 복호부(31)는 슬라이스 데이터로부터 루프 필터부(38)에서 사용하는 필터 파라미터를 복호한다.
이 때, 2개 이상의 필터 처리를 행하는 경우에 있어서, 동화상 부호화 장치의 루프 필터부(11)가 도 2와 같이 구성되어 있으면, 도 7에 나타낸 바와 같이 루프 필터부(38)가 구성된다.
또한, 루프 필터부(38)는 필터링 수단을 구성하고 있다.
여기서, 디블로킹 필터 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 블록 경계에 걸치는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경하는 정보가 존재하는 경우, 그 변경 정보에 근거하여, 디블로킹 필터 처리를 실시한다. 변경 정보가 없는 경우에는, 미리 정해진 수법에 따라 행한다.
화소 적응 오프셋 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 그 적응 파라미터 세트에 포함되는 블록 분할 정보에 근거하여 복호 화상을 분할하고, 그 블록 단위로, 그 적응 파라미터 세트에 포함되는 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는" 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라 클래스 분류한다.
또한, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.
그리고, 블록 단위의 각 클래스의 오프셋값을 특정하는 오프셋 정보(적응 파라미터 세트에 포함되어 있는 오프셋 정보)를 참조하여, 복호 화상의 휘도값에 오프셋을 가산하는 처리를 행한다.
단, 동화상 부호화 장치의 루프 필터부(11)의 화소 적응 오프셋 처리에 있어서, 블록 분할 정보는 부호화하지 않고, 항상 화상을 고정 사이즈의 블록 단위(예를 들면, 최대 부호화 블록 단위)로 분할하고, 그 블록마다 클래스 분류 수법을 선택하여, 클래스마다의 적응 오프셋 처리를 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록 단위로 화소 적응 오프셋 처리를 실시한다.
적응 필터 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하고, 그 적응 파라미터 세트에 포함되는 클래스마다의 필터를 이용하여, 도 1의 동화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.
단, 동화상 부호화 장치의 루프 필터부(11)의 적응 필터 처리에 있어서, 상기의 클래스 분류 및 필터 설계·처리를 화상 전체에 대해서가 아니라, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록마다 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록마다, 각 클래스에서 이용하는 필터를 복호하여 상기 클래스 분류 및 필터 처리를 행한다.
움직임 보상 예측 프레임 메모리(39)는 루프 필터부(38)의 필터 처리 후의 복호 화상을 저장하는 기록 매체이다.
도 6의 예에서는, 동화상 복호 장치의 구성요소인 가변 길이 복호부(31), 역양자화·역변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36), 인트라 예측용 메모리(37), 루프 필터부(38) 및 움직임 보상 예측 프레임 메모리(39)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로나, 원칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(31), 역양자화·역변환부(32), 전환 스위치(33), 인트라 예측부(34), 움직임 보상부(35), 가산부(36) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 좋다.
도 8은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로우차트이다.
다음에 동작에 대해 설명한다.
이 실시 형태 1에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 부호화 완료된 근방 화소로부터의 인트라 예측 또는 근접 프레임간에서의 움직임 보상 예측을 실시하고, 얻어진 예측 차분 신호에 대해서 직교 변환·양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 부호화 비트스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 부호화 비트스트림을 복호하는 동화상 복호 장치에 대해 설명한다.
도 1의 동화상 부호화 장치는, 영상 신호의 공간·시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 블록으로 분할하고, 프레임내·프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.
일반적으로, 영상 신호는, 공간·시간적으로 신호의 복잡성이 국소적으로 변화하는 특성을 가지고 있다. 공간적으로 보면, 임의의 영상 프레임상에서는, 예를 들면, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 가지는 도안도 있으면, 인물이나 세세한 텍스쳐(texture)를 포함하는 회화 등, 작은 화상 영역내에서 복잡한 텍스쳐 패턴을 가지는 도안도 혼재하는 경우가 있다.
시간적으로 보아도, 하늘이나 벽은 국소적으로 시간 방향의 도안의 변화는 작지만, 움직이는 인물이나 물체는, 그 윤곽이 시간적으로 강체·비강체(rigid/non-rigid body)의 운동을 하기 때문에, 시간적인 변화가 크다.
부호화 처리는, 시간·공간적인 예측에 의해, 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성하고, 전체의 부호량을 삭감하는 처리를 행하지만, 예측에 이용하는 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 상기 파라미터의 부호량을 작게 할 수 있다.
한편, 시간적·공간적으로 변화가 큰 화상 신호 패턴에 대해서, 동일한 예측 파라미터를 큰 화상 영역에 적용하면, 예측의 오류가 증가해 버리기 때문에, 예측 차분 신호의 부호량이 증가해 버린다.
따라서, 시간적·공간적으로 변화가 큰 영역에서는, 동일한 예측 파라미터를 적용하여 예측 처리를 행하는 블록 사이즈를 작게 하고, 예측에 이용하는 파라미터의 데이터량을 늘려서, 예측 차분 신호의 전력·엔트로피를 저감하는 쪽이 바람직하다.
이 실시 형태 1에서는, 이러한 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 때문에, 최초로 소정의 최대 블록 사이즈로부터 예측 처리 등을 개시하여, 계층적으로 영상 신호의 영역을 분할하고, 분할한 영역마다 예측 처리나, 그 예측 차분의 부호화 처리를 적응화시키는 구성을 취하도록 하고 있다.
도 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지탈 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색 공간의 컬러 영상 신호 이외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평·수직 2 차원의 디지탈 샘플(화소) 열로 구성되는 임의의 영상 신호로 한다.
단, 각 화소의 계조는, 8 비트라도 좋고, 10 비트나 12 비트 등의 계조라도 좋다.
이하의 설명에서는, 편의상, 특별히 배제하지 않는 한, 입력 화상의 영상 신호는 YUV 신호인 것으로 하고, 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대해서, 서브 샘플된 4： 2： 0 포맷의 신호를 취급하는 경우에 대해 서술한다.
또한, 영상 신호의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭한다.
이 실시 형태 1에서는, 「픽쳐」는 순차적으로 주사(프로그래시브 스캔)된 영상 프레임 신호로서 설명을 행하지만, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이어도 좋다.
먼저, 도 1의 동화상 부호화 장치의 처리 내용을 설명한다.
우선, 부호화 제어부(2)는, 시퀀스내의 픽쳐의 픽쳐 타입, 부호화 순서, 예측에 사용하는 픽쳐의 참조 관계 등의 GOP(Group Of Picture) 구조를 결정한다. 예를 들면, 도 24에 나타내는 바와 같은 GOP 구조로 시간 계층 부호화를 행하는 경우를 예로 하여 부호화 처리의 내용을 설명한다.
부호화 제어부(2)는, 최초의 픽쳐의 픽쳐 타입을 I 픽쳐(I0 픽쳐)로 하고, 다음에 부호화하는 픽쳐의 픽쳐 타입을 P 픽쳐(P1 픽쳐)로 하고, P1 픽쳐는 I0 픽쳐만을 참조하여 예측 부호화한다. I0 픽쳐와 P1 픽쳐를 기본 계층(T0)에 속하는 픽쳐로 한다.
P1 픽쳐의 다음에 부호화하는 픽쳐의 픽쳐 타입은 B 픽쳐(B2 픽쳐)로 하고, B2 픽쳐는 제 1 계층(T1)에 속하는 픽쳐로 한다. B2 픽쳐는 기본 계층 또는 제 1 계층에 속하는 픽쳐를 참조하여 예측 부호화한다. 도 24의 예에서는 I0 픽쳐와 P1 픽쳐를 참조하여 예측 부호화한다.
B2 픽쳐의 다음에 부호화하는 픽쳐의 픽쳐 타입은 B 픽쳐(B3 픽쳐)로 하고, B3 픽쳐는 제 2 계층(T2)에 속하는 픽쳐로 한다. 또한 B3 픽쳐의 다음에 부호화하는 픽쳐도 제 2 계층(T2)에 속하는 픽쳐(B4 픽쳐)로 한다.
제 2 계층(T2)에 속하는 픽쳐는 기본 계층으로부터 제 2 계층에 속하는 픽쳐를 참조하여 예측 부호화한다.
B4 픽쳐의 다음에, B5 픽쳐, B6 픽쳐, B7 픽쳐, B8 픽쳐의 순서로 부호화한다. B5 픽쳐 내지 B8 픽쳐는 제 3 계층(T3)에 속하는 픽쳐로 하고, 기본 계층 내지 제 3 계층에 속하는 픽쳐를 참조하여 예측 부호화한다.
이하, 9매마다 기본 계층에 속하는 픽쳐로 하고, 기본 계층 사이의 8매의 픽쳐를 제 2 계층 내지 제 4 계층의 3 계층으로 나누어 부호화한다.
또한 이상과 같은 GOP 구조로 시간 계층 부호화하는 경우에는, 복호 장치측에서 기본 계층에 속하는 픽쳐만을 정확하게 복호할 수 있다. 마찬가지로 기본 계층과 제 2 계층에 속하는 픽쳐만을 정확하게 복호할 수 있는 바와 같이, 복호 장치측은 스케일러블 방식으로 복호할 수 있다. 그래서 부호화 제어부(2)는 시간 계층 부호화되어 있는지 여부를 나타내는 플래그를 시간 계층 부호화되어 있는 것을 나타내는 값(예를 들면, 1)으로 세트하여 가변 길이 부호화부에 출력한다. GOP 구조가 시간 계층 부호화되어 있지 않은 경우에는, 시간 계층 부호화되어 있는지 여부를 나타내는 플래그를 시간 계층 부호화되어 있지 않은 것을 나타내는 값(예를 들면, 0)으로 세트하여 가변 길이 부호화부에 출력한다.
다음에 최대 계층 수나 계층마다 필요한 픽쳐 버퍼의 사이즈 등의 정보를 가변 길이 부호화부에 출력한다. 도 24의 예에서는, 최대 계층 수는 4, 계층마다 필요한 픽쳐 버퍼의 사이즈는, 참조 프레임 수와 각 계층에 속하는 픽쳐가 표시순으로 될 때까지 버퍼링해 둘 필요가 있는 픽쳐 수에 의해 결정된다.
다음에, 부호화 제어부(2)는, 부호화 대상이 되는 픽쳐(현재의 픽쳐)의 슬라이스 분할 상태를 결정함과 아울러, 픽쳐의 부호화에 이용하는 최대 부호화 블록의 사이즈와, 최대 부호화 블록을 계층 분할하는 계층 수의 상한을 결정한다(도 5의 스텝 ST1).
최대 부호화 블록의 사이즈의 결정 방법으로서는, 예를 들면, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽쳐에 대해서 동일한 사이즈를 정해도 좋고, 입력 화상의 영상 신호의 국소적인 움직임의 복잡성의 차이를 파라미터로서 정량화하고, 움직임이 심한 픽쳐에는, 작은 사이즈를 정하는 한편, 움직임이 적은 픽쳐에는, 큰 사이즈를 정하도록 해도 좋다.
분할 계층 수의 상한의 결정 방법으로서는, 예를 들면, 입력 화상의 영상 신호의 해상도에 따라, 모든 픽쳐에 대해서 동일한 계층 수를 정하는 방법이나, 입력 화상의 영상 신호의 움직임이 심한 경우에는, 계층 수를 깊게 하여, 보다 세세한 움직임을 검출할 수 있도록 설정하고, 움직임이 적은 경우에는, 계층 수를 억제하도록 설정하는 방법 등이 있다.
또한, 상기 최대 부호화 블록의 사이즈와 최대 부호화 블록을 계층 분할하는 계층 수의 상한은 시퀀스 레벨 헤더 등으로 부호화하여도 좋고, 부호화하지 않고 동화상 복호 장치측도 동일한 결정 처리를 행하도록 해도 좋다. 전자는 헤더 정보의 부호량이 증가하지만, 동화상 복호 장치측에서 상기 결정 처리를 행하지 않아도 되기 때문에, 동화상 복호 장치의 처리 부하를 억제할 수 있고 또한, 동화상 부호화 장치측에서 최적인 값을 탐색하여 보낼 수 있다. 후자는 반대로, 동화상 복호 장치측에서 상기 결정 처리를 행하기 때문에, 동화상 복호 장치의 처리 부하가 증가하지만, 헤더 정보의 부호량은 증가하지 않는다.
또한, 부호화 제어부(2)는, 이용 가능한 1 이상의 부호화 모드 중에서, 계층적으로 분할되는 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다(스텝 ST2).
즉, 부호화 제어부(2)는, 최대 부호화 블록 사이즈의 화상 영역마다, 먼저 정한 분할 계층 수의 상한에 이를 때까지, 계층적으로 부호화 블록 사이즈를 가지는 부호화 블록으로 분할하여, 각각의 부호화 블록에 대한 부호화 모드를 결정한다.
부호화 모드에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭함)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭함)가 있고, 부호화 제어부(2)는, 상기 픽쳐에서 이용 가능한 모든 부호화 모드, 또는, 그 서브세트 중에서, 각각의 부호화 블록에 대응하는 부호화 모드를 선택한다.
단, 후술하는 블록 분할부(1)에 의해 계층적으로 분할되는 각각의 부호화 블록은, 예측 처리를 행하는 단위인 1개 내지 복수의 예측 블록으로 더 분할되고, 예측 블록의 분할 상태도 부호화 모드 중에 정보로서 포함된다. 즉, 부호화 모드는, 어떠한 예측 블록 분할을 가지는 인트라 또는 인터 부호화 모드인지를 식별하는 인덱스이다.
부호화 제어부(2)에 의한 부호화 모드의 선택 방법은, 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예를 들면, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.
또한, 부호화 제어부(2)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 직교 변환 블록 분할 상태를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 결정한다.
단, 부호화 블록이 예측 처리를 행하는 예측 블록 단위로 더 분할되는 경우에는, 예측 블록마다 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.
또한, 부호화 모드가 인트라 부호화 모드인 부호화 블록에 대해서는, 상세한 것은 후술하지만, 인트라 예측 처리를 행할 때에 예측 블록에 인접하는 부호화 완료된 화소를 이용하므로, 예측 블록 단위로 부호화를 행할 필요가 있기 때문에, 선택 가능한 변환 블록 사이즈는 예측 블록의 사이즈 이하로 제한된다.
부호화 제어부(2)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 차분 부호화 파라미터를 변환·양자화부(7), 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력한다.
또한, 부호화 제어부(2)는, 인트라 예측 파라미터를 필요에 따라서 인트라 예측부(4)에 출력한다.
또한, 부호화 제어부(2)는, 인터 예측 파라미터를 필요에 따라서 움직임 보상 예측부(5)에 출력한다.
슬라이스 분할부(14)는, 입력 화상으로서 영상 신호를 입력하면, 그 입력 화상을 부호화 제어부(2)에 의해 결정된 슬라이스 분할 정보에 따라 1 이상의 부분 화상인 슬라이스로 분할한다.
블록 분할부(1)는, 슬라이스 분할부(14)로부터 각 슬라이스를 입력할 때마다, 그 슬라이스를 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈로 분할하고, 또한, 분할한 최대 부호화 블록을 부호화 제어부(2)에 의해 결정된 부호화 블록으로 계층적으로 분할하여, 그 부호화 블록을 출력한다.
여기서, 도 9는 최대 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 예를 나타내는 설명도이다.
도 9에 있어서, 최대 부호화 블록은, 「제 0 계층」으로 기재되어 있는 휘도 성분이 (L0, M0)의 사이즈를 가지는 부호화 블록이다.
최대 부호화 블록을 출발점으로 하여, 쿼드트리(quadtree) 구조로 별도로 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 블록을 얻도록 하고 있다.
깊이 n에 있어서는, 부호화 블록은 사이즈(Ln, Mn)의 화상 영역이다.
단, Ln와 Mn은, 동일해도 좋고, 상이해도 좋지만, 도 9에서는, Ln=Mn인 경우를 나타내고 있다.
이후, 부호화 제어부(2)에 의해 결정되는 부호화 블록 사이즈는, 부호화 블록의 휘도 성분에 있어서의 사이즈 (Ln, Mn)라고 정의한다.
쿼드트리 분할을 행하기 때문에, 항상, (Ln ＋1, Mn＋1)=(Ln/2, Mn/2)가 성립한다.
또한, RGB 신호 등, 모든 색 성분이 동일 샘플 수를 가지는 컬러 영상 신호 (4： 4： 4 포맷)에서는, 모든 색 성분의 사이즈가 (Ln, Mn)로 되지만, 4： 2： 0 포맷을 취급하는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Ln/2, Mn/2)로 된다.
이후, 제 n 계층의 부호화 블록을 Bn으로 나타내고, 부호화 블록 Bn에서 선택 가능한 부호화 모드를 m(Bn)로 나타내는 것으로 한다.
복수의 색 성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)는, 색 성분마다, 각각 개별의 모드를 이용하도록 구성되어도 좋고, 모든 색 성분에 대해 공통의 모드를 이용하도록 구성되어도 좋다. 이후, 특별히 배제하지 않는 한, YUV 신호, 4： 2： 0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 나타내는 것으로 하여 설명을 행한다.
부호화 블록 Bn은, 도 9에 나타낸 바와 같이, 블록 분할부(1)에 의해, 예측 처리 단위를 나타내는 1개 내지 복수의 예측 블록으로 분할된다.
이후, 부호화 블록 Bn에 속하는 예측 블록을 Pi n(i는, 제 n 계층에 있어서의 예측 블록 번호)라고 표기한다. 도 9에는 P0 0와 P1 0의 예를 나타내고 있다.
부호화 블록 Bn내의 예측 블록의 분할이, 어떻게 되어 있는지는, 부호화 모드 m(Bn)내에 정보로서 포함된다.
예측 블록 Pi n은, 모두 부호화 모드 m(Bn)에 따라 예측 처리가 행해지지만, 예측 블록 Pi n마다, 개별의 예측 파라미터(인트라 예측 파라미터 또는 인터 예측 파라미터)를 선택할 수 있다.
부호화 제어부(2)는, 최대 부호화 블록에 대해서, 예를 들면, 도 10에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록을 특정한다.
도 10(a)의 점선으로 둘러싸인 직사각형이 각 부호화 블록을 나타내고, 각 부호화 블록내에 있는 사선으로 칠해진 블록이 각 예측 블록의 분할 상태를 나타내고 있다.
도 10(b)는, 도 10(a)의 예에 대해, 계층 분할에 의해 부호화 모드 m(Bn)가 할당되는 상황을 쿼드트리 그래프로 나타낸 것이다. 도 10(b)의 □으로 둘러싸여 있는 노드는, 부호화 모드 m(Bn)가 할당된 노드(부호화 블록)이다.
이 쿼드트리 그래프의 정보는 부호화 모드 m(Bn)와 함께 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되고, 비트스트림으로 다중화된다.
전환 스위치(3)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인트라 부호화 모드인 경우(m(Bn)∈INTRA의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bn을 인트라 예측부(4)에 출력한다.
한편, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인터 부호화 모드인 경우(m(Bn)∈INTER의 경우), 블록 분할부(1)로부터 출력된 부호화 블록 Bn을 움직임 보상 예측부(5)에 출력한다.
인트라 예측부(4)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인트라 부호화 모드이며(m(Bn)∈INTRA의 경우), 전환 스위치(3)로부터 부호화 블록 Bn을 수취하면(스텝 ST3), 인트라 예측용 메모리(10)에 저장되어 있는 국소 복호 화상을 참조하면서, 부호화 제어부(2)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bn내의 각 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST4).
또한, 동화상 복호 장치가 인트라 예측 화상 PINTRAi n과 완전히 동일한 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되고, 비트스트림으로 다중화된다.
인트라 예측부(4)의 처리 내용의 상세한 것은 후술한다.
움직임 보상 예측부(5)는, 부호화 제어부(2)에 의해 결정된 부호화 모드 m(Bn)가 인터 부호화 모드이며(m(Bn)∈INTER의 경우), 전환 스위치(3)로부터 부호화 블록 Bn을 수취하면(스텝 ST3), 그 부호화 블록 Bn내의 각 예측 블록 Pi n와 움직임 보상 예측 프레임 메모리(12)에 저장되어 있는 필터 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(2)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 블록 Bn내의 각 예측 블록 Pi n에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 PINTERi n을 생성한다(스텝 ST5).
또한, 동화상 복호 장치가 인터 예측 화상 PINTERi n과 완전히 동일한 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 PINTERi n의 생성에 이용된 인터 예측 파라미터는, 부호화 제어부(2)로부터 가변 길이 부호화부(13)에 출력되고, 비트스트림으로 다중화된다.
또한, 움직임 보상 예측부(5)에 의해 탐색된 움직임 벡터도 가변 길이 부호화부(13)에 출력되고, 비트스트림으로 다중화된다.
감산부(6)는, 블록 분할부(1)로부터 부호화 블록 Bn을 수취하면, 그 부호화 블록 Bn내의 예측 블록 Pi n로부터, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n 중 어느 한쪽을 감산하고, 그 감산 결과인 차분 화상을 나타내는 예측 차분 신호 ei n을 변환·양자화부(7)에 출력한다(스텝 ST6).
변환·양자화부(7)는, 감산부(6)로부터 예측 차분 신호 ei n을 수취하면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보를 참조하여, 그 예측 차분 신호 ei n에 대한 직교 변환 처리(예를 들면, DCT(이산 코사인 변환)나 DST(이산 사인 변환), 미리 특정의 학습 계열에 대해서 기저 설계가 이루어지고 있는 KL 변환 등의 직교 변환 처리)를 직교 변환 블록 단위로 실시하여, 변환 계수를 산출한다.
또한, 변환·양자화부(7)는, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터를 참조하여, 그 직교 변환 블록 단위의 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(스텝 ST7). 이 때, 상기 양자화 파라미터로부터 산출되는 양자화 스텝 사이즈를 변환 계수마다 스케일링하는 양자화 매트릭스를 이용하여 양자화 처리를 실시하도록 해도 좋다.
역양자화·역변환부(8)는, 변환·양자화부(7)로부터 압축 데이터를 수취하면, 부호화 제어부(2)에 의해 결정된 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 그 압축 데이터를 역양자화한다.
변환·양자화부(7)가 양자화 처리에 양자화 매트릭스를 이용하고 있는 경우에는, 역양자화 처리시에 있어서도, 그 양자화 매트릭스를 참조하여, 대응한 역양자화 처리를 실시한다.
또한, 역양자화·역변환부(8)는, 직교 변환 블록 단위로 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리(예를 들면, 역DCT, 역DST, 역KL 변환 등)를 실시하여, 감산부(6)로부터 출력된 예측 차분 신호 ei n에 상당하는 국소 복호 예측 차분 신호를 산출하여 가산부(9)에 출력한다(스텝 ST8).
가산부(9)는, 역양자화·역변환부(8)로부터 국소 복호 예측 차분 신호를 수취하면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(5)에 의해 생성된 인터 예측 화상 PINTERi n 중 어느 한쪽을 가산함으로써, 국소 복호 화상을 산출한다(스텝 ST9).
또한, 가산부(9)는, 그 국소 복호 화상을 루프 필터부(11)에 출력함과 아울러, 그 국소 복호 화상을 인트라 예측용 메모리(10)에 저장한다.
이 국소 복호 화상이, 이후의 인트라 예측 처리 시에 이용되는 부호화 완료된 화상 신호로 된다.
루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상을 수취하면, 그 국소 복호 화상에 대해서, 소정의 필터 처리를 실시하여, 필터 처리 후의 국소 복호 화상을 움직임 보상 예측 프레임 메모리(12)에 저장한다(스텝 ST10).
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(11)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대해, 처리를 행하는지 여부를 결정하고, 각 처리의 유효 플래그를 부호화해야 할 적응 파라미터 세트의 일부 및 슬라이스 레벨 헤더의 일부로서 가변 길이 부호화부(13)에 출력한다. 또한, 상기의 필터 처리를 복수 사용할 때에는, 각 필터 처리를 차례로 실시한다. 도 2는 복수의 필터 처리를 이용하는 경우의 루프 필터부(11)의 구성예를 나타내고 있다.
일반적으로 사용하는 필터 처리의 종류가 많을수록, 화상 품질은 향상하지만, 한편으로 처리 부하가 높아진다. 즉, 화상 품질과 처리 부하는 트레이드 오프의 관계에 있다. 또한, 각 필터 처리의 화상 품질 개선 효과는 필터 처리 대상 화상의 특성에 따라서 상이하다. 따라서, 동화상 부호화 장치가 허용하는 처리 부하나 부호화 처리 대상 화상의 특성에 따라 사용하는 필터 처리를 결정하면 된다.
스텝 ST3∼ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bn에 대한 처리가 완료할 때까지 반복 실시되고, 모든 부호화 블록 Bn에 대한 처리가 완료하면, 스텝 ST13의 처리로 이행한다(스텝 ST11, ST12).
가변 길이 부호화부(13)는, 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(2)로부터 출력된 최대 부호화 블록내의 블록 분할 정보(도 10(b)를 예로 하는 쿼드트리 정보), 부호화 모드 m(Bn) 및 예측 차분 부호화 파라미터와, 부호화 제어부(2)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(5)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하고, 그러한 부호화 결과를 나타내는 부호화 데이터를 생성한다(스텝 ST13).
또한, 가변 길이 부호화부(13)는, 도 3에 예시하는 바와 같이, 부호화 비트스트림의 헤더 정보로서, 비디오 파라미터 세트, 시퀀스 레벨 헤더, 픽쳐 레벨 헤더, 적응 파라미터 세트를 부호화하고, 픽쳐 데이터와 함께 부호화 비트스트림을 생성한다.
단, 픽쳐 데이터는 1 이상의 슬라이스 데이터로 구성되고, 각 슬라이스 데이터는 슬라이스 레벨 헤더와 상기 슬라이스내에 있는 상기 부호화 데이터를 통합한 것이다.
시퀀스 레벨 헤더는, 화상 사이즈, 색 신호 포맷, 휘도 신호나 색차 신호의 신호값의 비트 심도, 시퀀스 단위에서의 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)의 유효 플래그 정보, 양자화 매트릭스의 유효 플래그 정보 등, 일반적으로 시퀀스 단위로 공통이 되는 헤더 정보를 통합한 것이다.
픽쳐 레벨 헤더는, 참조하는 시퀀스 레벨 헤더의 인덱스나 움직임 보상시의 참조 픽쳐 수, 엔트로피 부호화의 확률 테이블 초기화 플래그 등의 픽쳐 단위로 설정하는 헤더 정보를 통합한 것이다.
슬라이스 레벨 헤더는, 상기 슬라이스가 픽쳐의 어느 위치에 있는지를 나타내는 위치 정보, 어느 픽쳐 레벨 헤더를 참조하는지를 나타내는 인덱스, 슬라이스의 부호화 타입(올 인트라 부호화, 인터 부호화 등), 상기 슬라이스에서 사용하는 적응 파라미터 세트의 인덱스 및 상기 인덱스가 나타내는 적응 파라미터 세트를 이용한 루프 필터부(11)에 있어서의 각 필터 처리(적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리)를 행하는지 여부를 나타내는 플래그 정보 등이라고 하는 슬라이스 단위의 파라미터를 통합한 것이다.
적응 파라미터 세트는, 적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리에 관한 파라미터(필터 파라미터)와, 양자화 매트릭스에 관한 파라미터(양자화 매트릭스 파라미터)를 가지는 파라미터 세트로서, 부호화 비트스트림으로 다중되어 있는 복수의 적응 파라미터 세트를 식별하기 위해서, 각 적응 파라미터 세트는 인덱스(aps＿id)를 가지고 있다.
그리고, 각 적응 파라미터 세트는, 적응 필터 처리, 화소 적응 오프셋 처리, 디블로킹 필터 처리에 관한 각각의 필터 파라미터와, 양자화 매트릭스 파라미터가 각각 존재하고 있는지 여부를 나타내는 플래그(present＿flag)를 가지고 있고, 각 존재 플래그가 "유효"인 경우에는, 그에 대응하는 파라미터를 가지고 있다.
따라서, 적응 파라미터 세트는, 각 파라미터가 있는지 여부를 자유롭게 설정할 수 있다.
각 슬라이스는, 슬라이스 레벨 헤더내에 슬라이스의 복호 처리시에 참조하는 적응 파라미터 세트의 인덱스(aps＿id)를 적어도 1개 이상 가지고 있고, 대응하는 적응 파라미터 세트를 참조하여, 양자화 처리·역양자화 처리나 루프 필터 처리를 실시한다.
또한, 적응 파라미터 세트를 부호화하여 부호화 비트스트림으로 다중화할 때, 동일한 인덱스(aps＿id)를 가지는 적응 파라미터 세트가 이미 부호화 비트스트림에 존재하는 경우에는, 그 인덱스를 가지는 적응 파라미터 세트가, 상기의 부호화 대상의 적응 파라미터 세트로 치환된다.
따라서, 새로운 적응 파라미터 세트를 부호화할 때, 이미 부호화된 적응 파라미터 세트가 불필요한 경우에는, 그 불필요한 적응 파라미터 세트의 인덱스로 부호화함으로써, 적응 파라미터 세트의 오버라이팅(overwriting) 갱신이 가능하게 되어, 보존해야 하는 적응 파라미터 세트의 수를 늘리지 않아도 되기 때문에, 사용할 메모리의 용량을 억제할 수 있다.
다음에 비디오 파라미터 세트에 대해 설명한다.
비디오 파라미터 세트에는, 부호화 제어부(2)로부터 출력된 시간 계층 부호화되어 있는지 여부를 나타내는 플래그와 최대 계층 수, 각 계층의 픽쳐 버퍼의 사이즈가 부호화되어 있다.
비디오 파라미터 세트에는, 그 비디오 파라미터 세트를 참조하는 픽쳐에 기본 계층이 포함되어 있는지 여부의 기본 계층 유무 플래그가 더 부호화되어 있다.
도 3 및 도 11의 예에서는, 비디오 파라미터 세트는 시퀀스의 선두에만 부호화되어 있고, 도 3 및 도 11의 시퀀스는 기본 계층과 제 1 계층의 픽쳐로 구성되어 있고, 기본 계층과 제 1 계층의 픽쳐는 비디오 파라미터 세트 1을 참조하여 부호화되어 있다. 이 경우에는 비디오 파라미터 세트를 참조하는 픽쳐에 기본 계층을 포함하고 있으므로, 이 비디오 파라미터 세트를 참조하는 픽쳐에 기본 계층이 포함되어 있는지 여부의 기본 계층 유무 플래그를 기본 계층이 포함되어 있는 것을 나타내는 값(예를 들면, 1)으로 설정한다.
도 12 및 도 13의 예에서는, 시퀀스는 계층 단위로 구성되어 있고, 시퀀스의 선두에만 부호화되어 있는 비디오 파라미터 세트도 계층마다 부호화되어 있고, 기본 계층의 픽쳐는 비디오 파라미터 세트 1을 참조하여 부호화되어 있다. 제 1 계층의 픽쳐는 비디오 파라미터 세트 2를 참조하여 부호화되어 있다. 이 경우에는 비디오 파라미터 세트 1을 참조하는 픽쳐에는 기본 계층이 포함되어 있으므로, 비디오 파라미터 세트 1을 참조하는 픽쳐에 기본 계층이 포함되어 있는지 여부의 기본 계층 유무 플래그를 기본 계층이 포함되어 있는 것을 나타내는 값(예를 들면, 1)으로 설정한다. 또한 비디오 파라미터 세트 2를 참조하는 픽쳐에는 기본 계층이 포함되지 않기 때문에, 비디오 파라미터 세트 2를 참조하는 픽쳐에 기본 계층이 포함되어 있는지 여부의 기본 계층 유무 플래그를 기본 계층이 포함되지 않은 것을 나타내는 값(예를 들면, 0)으로 설정한다.
또한 기본 계층 유무 플래그가 기본 계층을 포함하지 않은 것을 나타내고 있는 경우에는, 시퀀스는 기본 계층과 1 이상의 계층의 픽쳐로 구성되어 있을 필요가 있으므로, 최대 계층 수는 1 이상의 값으로 되도록 제한되어 있어도 좋다.
또 다른 예로서는 최대 계층 수가 1 이상의 경우에 기본 계층 유무 플래그가 비디오 파라미터 세트로 부호화되도록 해도 좋다.
비디오 파라미터 세트는 부호화 비트스트림으로 다중화되어 있는 복수의 비디오 파라미터 세트를 식별하기 위한 인덱스(video＿parameteter＿set＿id)도 부호화한다.
도 12의 예에서는, 비디오 파라미터 세트 1과 비디오 파라미터 세트 2의 식별 인덱스(video＿parameteter＿set＿id)는, 동일한 값을 가지도록 부호화하여도 좋다. 즉, 동일 시퀀스내에서 시간 계층 부호화된 픽쳐가 참조하는 비디오 파라미터 세트의 식별 인덱스는 동일한 값으로 되도록 부호화해 둔다.
또한, 동일 시퀀스내에서 시간 계층 부호화된 픽쳐가 참조하는 비디오 파라미터 세트의 기본 계층이 포함되어 있는지 여부를 나타내는 기본 계층 유무 플래그 이외의 파라미터의 값(최대 계층 수나 각 계층의 픽쳐 버퍼의 사이즈, 식별 인덱스)은, 동일한 값이 되도록 부호화해 두어도 좋고, 각각 상이한 값이 되도록 부호화해 두어도 좋다.
다음에, 도 12 및 도 13의 부호화 비트스트림을 계층마다 상이한 회선으로 전송하는 경우를 예로 하여 설명한다. 비디오 파라미터 세트 1을 참조하는 기본 계층의 픽쳐에 관한 부호화 데이터를, 예를 들면 전파를 이용하여 전송하고, 비디오 파라미터 세트 2를 참조하는 제 1 계층 이상의 계층의 픽쳐에 관한 부호화 데이터를, 예를 들면 IP 망을 이용하여 전송한다.
전파만을 수신하여 복호하는 복호 장치에서는, 기본 계층의 픽쳐만을 정상적으로 복호할 수 있다.
전파와 IP 망 모두를 사용하여 수신해서 복호하는 복호 장치에서는, 전파로 수신한 비디오 파라미터 세트 1을 참조하는 픽쳐의 부호화 데이터를 수취하였을 경우에는, 기본 계층 유무 플래그는 기본 계층이 포함되어 있는 것을 나타내고 있고, 기본 계층의 픽쳐를 정상적으로 복호할 수 있다. 그 후, IP 망으로 수신한 비디오 파라미터 세트 2를 참조하는 픽쳐의 부호화 데이터를 수취하였을 경우에는, 기본 계층 유무 플래그는 기본 계층이 포함되지 않은 것을 나타내고 있지만, 이미 기본 계층의 픽쳐가 복호 완료된 상태이기 때문에, 제 1 계층 이상의 계층의 픽쳐를 정상적으로 복호할 수 있다. 또한, 비디오 파라미터 세트 1을 참조하는 픽쳐의 부호화 데이터를 전파로 수신하기 전에, IP 망으로 비디오 파라미터 세트 2를 참조하는 픽쳐의 부호화 데이터를 수신했을 경우에는, IP 망으로 수신한 비디오 파라미터 세트 2를 참조하는 픽쳐의 부호화 데이터에는, 비디오 파라미터 세트 2로부터 복호되는 기본 계층 유무 플래그의 값에 의해, 기본 계층의 픽쳐가 포함되지 않은 것을 알 수 있고, 전파로 수신하는 비디오 파라미터 세트 1을 참조하는 픽쳐의 부호화 데이터의 복호가 완료하고 있지 않기 때문에, 그 복호 결과를 대기하여 복호를 개시할 필요가 있는 것을 알 수 있다. 또한, 도 13의 예에서는, 기본 계층과 제 1 계층의 비디오 파라미터 세트에 기본 계층 유무 플래그를 설정했을 경우를 설명하고 있지만, 예를 들면 제 2 계층의 비디오 파라미터 세트 3에 제 1 계층과 마찬가지의 기본 계층 유무 플래그를 설정하고, 비디오 파라미터 세트 3을 참조하는 픽쳐의 부호화 데이터를 먼저 수신했을 경우에는, 비디오 파라미터 세트 1을 참조하는 픽쳐의 부호화 데이터와 비디오 파라미터 세트 2를 참조하는 픽쳐의 부호화 데이터의 복호 결과를 대기하여 복호를 개시할 필요가 있는 것을 알 수 있다.
비디오 파라미터 세트는, 시퀀스 레벨 헤더보다 전에 부호화되어 있고, 시퀀스 레벨 헤더에는 참조할 비디오 파라미터의 식별 인덱스(video＿parameteter＿set＿id)가 부호화된다.
기본 계층 유무 플래그가 없는 종래의 부호화 장치, 복호 장치에서는, 예를 들면, 비디오 파라미터 세트 1을 전파로 수신하기 전에, IP 망으로 비디오 파라미터 세트 2를 수신하는 경우에는 상정되지 않고, 수신한 시퀀스는 복호를 개시하기 때문에, 반드시 기본 계층 프레임의 영상 데이터를 포함하지 않으면 복호가 불가능한 것이었다. 이에 대해서 본 발명의 부호화 장치, 복호 장치는, 상술한 바와 같이, 계층마다 상이한 회선으로 전송하는 등, 복호 장치가 부호화 비트스트림을 반드시 계층순으로 수신하지 않는 경우에도, 비디오 파라미터 세트로서, 그 비디오 파라미터 세트를 참조하는 픽쳐에 기본 계층이 포함되어 있는지 여부의 기본 계층 유무 플래그를 부호화함으로써, 복호 장치에서, 기본 계층의 픽쳐가 포함되어 있는지 여부를 판단할 수 있고, 기본 계층의 픽쳐가 포함되어 있는 경우에는 곧바로 기본 계층의 픽쳐를 복호하고, 기본 계층의 픽쳐가 포함되지 않은 경우에는 기본 계층의 픽쳐의 복호 후에 복호한다고 하는 처리를 행할 수 있기 때문에, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 독립하여 처리 가능한 스케일러블 방식으로 부호화, 복호 처리를 행할 수 있다.
또한, 이 기본 계층 유무 플래그는, 시간 계층 부호화에 한정하지 않고 다른 계층 부호화 방식이나 멀티뷰 부호화 방식에 있어서, 참조할 픽쳐에 기본 계층 혹은 베이스 뷰의 픽쳐가 포함되어 있는지 여부를 나타내는 플래그로 해도 좋다.
또한, 비디오 파라미터 세트의 다른 예로서, 그 비디오 파라미터 세트를 참조하는 계층의 픽쳐가 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하지 않는 것을 나타내는 하위 계층 참조 플래그를 부호화하도록 해도 좋다. 도 14 및 도 15와 같이, 시간 계층 부호화되어 있는 경우로서 이 하위 계층 참조 플래그가 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하지 않는 것을 나타내는 값(예를 들면, 1)으로 설정되어 있는 경우에는, 예측에 이용할 수 있는 참조 픽쳐는 동일한 계층에 속하는 픽쳐 사이로만 되고, 자기 자신보다 아래의 계층의 유무에 관계없이 비디오 파라미터 세트를 참조하는 픽쳐의 단위(서브 비트스트림)를 설정할 수 있다. (하위 계층 참조 플래그가 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하지 않는 것을 나타내지 않은 경우에는, 예를 들면 0으로 설정함.)
예를 들면, 비디오 파라미터 세트 1을 참조하는 기본 계층의 픽쳐에 관한 부호화 데이터를, 예를 들면 전파를 이용하여 전송하고, 비디오 파라미터 세트 2를 참조하는 제 1, 2 계층의 픽쳐에 관한 부호화 데이터와 비디오 파라미터 세트 3을 참조하는 제 3 계층의 픽쳐에 관한 부호화 데이터를, 예를 들면 IP 망을 이용하여 전송하는 경우, 도 15와 같이 어느 비디오 파라미터 세트의 하위 계층 참조 플래그도 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하지 않는 것을 나타내는 값으로 설정되어 있으면, IP 망을 이용하여 전송된 데이터(서브 비트스트림 1, 2)를 수취한 복호 장치는, 자기 자신보다 아래의 계층의 픽쳐가 수신 완료된 상태인지 여부에 관계없이, 곧바로 수신한 데이터를 복호하는 것이 가능해진다.
하위 계층 참조 플래그가 없는 종래의 부호화 장치, 복호 장치에서는, 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 반드시 참조하고 있었기 때문에, 기본 계층을 포함하는 서브 비트스트림만을 정의할 수 있었다. 이에 대해서 본 발명의 부호화 장치, 복호 장치는, 비디오 파라미터 세트로서, 그 비디오 파라미터 세트를 참조하는 계층의 픽쳐가 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하지 않는 것을 나타내는 하위 계층 참조 플래그를 부호화함으로써, 자기 자신보다 아래의 계층의 유무에 관계없이 비디오 파라미터 세트를 참조하는 픽쳐의 단위(서브 비트스트림)를 설정하고, 복호 장치에서, 이러한 서브 비트스트림을 수신했을 경우에 자기 자신보다 아래의 계층의 픽쳐가 수신 완료된 상태인지 여부에 관계없이, 곧바로 수신한 데이터를 복호할 수 있기 때문에, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 독립하여 처리 가능한 스케일러블 방식으로 부호화, 복호할 수 있는 장치를 얻을 수 있다.
또한, 이 하위 계층 참조 플래그는 시간 계층 부호화에 한정하지 않고 다른 계층 부호화 방식이나 멀티뷰 부호화 방식에 있어서, 예측에 이용할 수 있는 픽쳐를 동일한 계층 혹은 동일한 뷰에 속하는 픽쳐 사이로만 하는 것을 나타내는 플래그로 해도 좋다.
또한, 비디오 파라미터 세트하여, 상기 기본 계층 유무 플래그와 상기 하위 계층 참조 플래그를 단독으로 부호화하는 경우에 대해 설명했지만, 상기 기본 계층 유무 플래그와 상기 하위 계층 참조 플래그를 병용하여 부호화하도록 해도 좋다. 예를 들면, 상위 계층이 속하는 프레임만이 부호화된 영상 데이터를 독립하여 처리하고자 하지만, 부호화 효율을 떨어뜨리지 않고 복호하고자 하는 데이터인 경우에는, 도 14 및 도 16과 같이, 상위 계층에 속하는 프레임(서브 비트스트림 1, 2)의 기본 계층 유무 플래그를 0, 하위 계층 참조 플래그를 1로 설정함으로써, 서브 비트스트림 1, 2를 수신한 복호 장치는, 서브 비트스트림 1이 수신되는 것을 대기하고, 서브 비트스트림 1, 2를 복호한다. 그리고, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 독립하여 처리하고자 하지만, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터만으로 처리하고자 하는 데이터인 경우에는, 도 14 및 도 17과 같이, 상위 계층에 속하는 프레임(서브 비트스트림 1, 2)의 기본 계층 유무 플래그를 0, 하위 계층 참조 플래그를 0으로 설정함으로써, 서브 비트스트림 1, 2를 수신한 복호 장치는, 자기 자신보다 아래의 계층의 유무에 관계없이 서브 비트스트림 1, 2를 복호한다. 이와 같이, 상기 기본 계층 유무 플래그와 상기 하위 계층 참조 플래그를 병용함으로써, 요구가 상이한 애플리케이션 데이터마다 처리를 변경하는 것이 가능해진다.
또한, 본 실시 형태 1에서는, 상기 기본 계층 유무 플래그와 상기 하위 계층 참조 플래그가 비디오 파라미터 세트로서 설정되는 경우에 대해 설명했지만, 시퀀스 레벨 헤더로 설정하도록 해도 좋다.
또한, 본 실시 형태 1에서는, 상기 기본 계층 유무 플래그를, 기본 계층이 포함되어 있는 것을 나타내는 경우(예를 들면, 1)와, 기본 계층이 포함되지 않은 것을 나타내는 경우(예를 들면, 0)로 설명했지만, 기본 계층이 포함되지 않은 것을 나타내는 경우(예를 들면, 1)와, 기본 계층이 포함되지 않은 것을 나타내지 않은 경우(예를 들면, 0)로 해도 좋다.
또한, 본 실시 형태 1에서는, 상기 하위 계층 참조 플래그를, 그 비디오 파라미터 세트를 참조하는 계층의 픽쳐가 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하지 않는 것을 나타내는 경우(예를 들면, 1)와, 참조하지 않는 것을 나타내지 않은 경우(예를 들면, 0)로 설명했지만, 그 비디오 파라미터 세트를 참조하는 계층의 픽쳐가 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하지 않는 것을 나타내는 경우(예를 들면, 1)와, 참조하는 것을 나타내는 경우(예를 들면, 0)로 해도 좋다.
또한, 어느 쪽의 플래그도 설정하는 값은, 0과 1이 반대로 되어도 좋다.
다음에 비디오 파라미터 세트를 부호화 데이터로서 포함하는 NAL 유닛의 부호화에 대해 설명한다. 상술한 바와 같이, NAL 유닛은 헤더부와 페이로드 데이터부로 구성되고 헤더부에는 타입 정보, 계층 식별 번호 등이 포함된다. 타입 정보가 비디오 파라미터 세트를 나타내는 경우의 계층 식별 번호의 부호화값에 대해 서술한다. 상술한 바와 같이 계층 식별 번호는 영상 데이터가 시간 계층 부호화되어 있는 경우에 어느 계층에 관련한 부호화 데이터인지를 나타내는 번호이다. 비디오 파라미터 세트와 같이 복수의 계층에 관련하고 있는 경우에는 관련지어져 있는 최소의 계층을 나타내는 번호를 부호화한다. 도 3 및 도 11의 예에서는 비디오 파라미터 세트는 기본 계층과 제 1 계층으로부터 참조되므로, 기본 계층과 제 1 계층에 관련한 부호화 데이터이다. 이 경우에는 비디오 파라미터 세트를 포함하는 NAL 유닛의 계층 식별 번호로서, 최소의 계층, 즉 기본 계층을 나타내는 「0」을 부호화한다. 다음에 도 12 및 도 13의 예에서는, 기본 계층의 픽쳐는 비디오 파라미터 세트 1을 참조하고, 제 1 계층의 픽쳐는 비디오 파라미터 세트 2를 참조하여 부호화되므로, 비디오 파라미터 세트 1을 포함하는 NAL 유닛의 계층 식별 번호는 「0」을 부호화하고, 비디오 파라미터 세트 2를 포함하는 NAL 유닛의 계층 식별 번호는 「1」을 부호화한다.
다음에, 인트라 예측부(4)의 처리 내용을 상세하게 설명한다.
도 18은 부호화 블록 Bn내의 각 예측 블록 Pi n이 선택 가능한 인트라 예측 파라미터인 인트라 예측 모드의 일례를 나타내는 설명도이다. 단, NI는 인트라 예측 모드 수를 나타내고 있다.
도 18에서는, 인트라 예측 모드의 인덱스값과, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있고, 도 18의 예에서는, 선택 가능한 인트라 예측 모드의 개수가 증가함에 따라, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계되어 있다.
인트라 예측부(4)는, 상술한 바와 같이, 예측 블록 Pi n의 인트라 예측 파라미터를 참조하여, 그 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성하지만, 여기에서는, 휘도 신호에 있어서의 예측 블록 Pi n의 인트라 예측 신호를 생성하는 인트라 처리에 대해 설명한다.
예측 블록 Pi n의 사이즈를 li n×mi n 화소로 한다.
도 19는 li n=mi n=4인 경우의 예측 블록 Pi n내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 19에서는, 예측 블록 Pi n상의 부호화 완료된 화소 (2×li n＋1)개와, 왼쪽의 부호화 완료된 화소 (2×mi n)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 19에 나타내는 화소보다 많아도 되고 적어도 된다.
또한, 도 19에서는, 예측 블록 Pi n의 근방의 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은, 그 이상의 화소를 예측에 이용해도 좋다.
예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스값이 0(평면(Planar) 예측)인 경우에는, 예측 블록 Pi n상에 인접하는 부호화가 완료된 화소와 예측 블록 Pi n의 왼쪽에 인접하는 부호화가 완료된 화소를 이용하여, 이들 화소와 예측 블록 Pi n내의 예측 대상 화소의 거리에 따라 내삽한 값을 예측값으로 하여 예측 화상을 생성한다.
예측 블록 Pi n에 대한 인트라 예측 모드의 인덱스값이 2(평균값(DC) 예측)인 경우에는, 예측 블록 Pi n상에 인접하는 부호화가 완료된 화소와 예측 블록 Pi n의 왼쪽에 인접하는 부호화가 완료된 화소의 평균값을 예측 블록 Pi n내의 화소의 예측값으로 하여 예측 화상을 생성한다.
인트라 예측 모드의 인덱스값이 0(평면 예측)과 2(평균값 예측) 이외인 경우에는, 인덱스값이 나타내는 예측 방향 벡터 υp=(dx, dy)에 근거하여, 예측 블록 Pi n내의 화소의 예측값을 생성한다.
도 19에 나타낸 바와 같이, 예측 블록 Pi n의 좌측 상단 화소를 원점으로 하여, 예측 블록 Pi n내의 상대 좌표를 (x, y)로 설정하면, 예측에 이용하는 참조 화소의 위치는, 하기의 L과 인접 화소의 교점으로 된다.
Figure 112017018777002-pat00001
참조 화소가 정수 화소 위치에 있는 경우에는, 그 정수 화소를 예측 대상 화소의 예측값으로 하고, 참조 화소가 정수 화소 위치에 없는 경우에는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측값으로 한다.
도 19의 예에서는, 참조 화소는 정수 화소 위치에 없기 때문에, 참조 화소에 인접하는 2 화소로부터 내삽한 것을 예측값으로 한다. 또한, 인접하는 2 화소만이 아니고, 인접하는 2 화소 이상의 화소로부터 보간 화소를 생성하여 예측값으로 해도 좋다.
보간 처리에 이용하는 화소를 많게 함으로써 보간 화소의 보간 정밀도를 향상시키는 효과가 있는 한편, 보간 처리에 필요로 하는 연산의 복잡도가 증가하므로, 연산 부하가 커도 높은 부호화 성능을 요구하는 동화상 부호화 장치의 경우에는, 보다 많은 화소로부터 보간 화소를 생성하도록 하는 것이 좋다.
이상으로 서술한 처리에 의해, 예측 블록 Pi n내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하여, 인트라 예측 화상 PINTRAi n을 출력한다.
또한, 인트라 예측 화상 PINTRAi n의 생성에 이용된 인트라 예측 파라미터(인트라 예측 모드)는, 비트스트림으로 다중화하기 위해서 가변 길이 부호화부(13)에 출력된다.
또한, 먼저 설명한 MPEG－4 AVC/H.264에 있어서의 8×8 화소의 블록의 인트라 예측시에 참조 화상에 대해서 실시되는 평활화 처리와 마찬가지로, 인트라 예측부(4)에 있어서, 예측 블록 Pi n의 중간 예측 화상을 생성할 때의 참조 화소를, 예측 블록 Pi n에 인접하는 부호화가 완료된 화소를 평활화 처리한 화소로 하도록 구성했을 경우에도, 상술의 예와 마찬가지의 중간 예측 화상에 대한 필터 처리를 행할 수 있다.
예측 블록 Pi n의 색차 신호에 대해서도, 휘도 신호와 마찬가지의 순서로, 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.
단, 색차 신호에서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)는 휘도 신호와 상이해도 좋다. 예를 들면, YUV 신호 4： 2： 0 포맷의 경우, 색차 신호(U, V 신호)는, 휘도 신호(Y신 호)에 대해서 해상도를 수평 방향, 수직 방향 모두 1/2로 축소한 신호이며, 휘도 신호에 비해 화상 신호의 복잡성이 낮고 예측이 용이하므로, 선택 가능한 인트라 예측 파라미터는 휘도 신호보다 적은 수로 하고 인트라 예측 파라미터를 부호화하는 데에 필요로 하는 부호량의 삭감이나, 예측 처리의 저연산화를 도모해도 좋다.
다음에, 도 6의 동화상 복호 장치의 처리 내용을 구체적으로 설명한다.
가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치에 의해 생성된 부호화 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하고(도 8의 스텝 ST21), 비디오 파라미터 세트로서 부호화된 시퀀스내의 픽쳐가 시간 계층 부호화되어 있는지 여부를 나타내는 플래그나 최대 계층 수, 계층마다 필요한 픽쳐 버퍼의 사이즈, 그 비디오 파라미터 세트를 참조하는 픽쳐에 기본 계층이 포함되어 있는지 여부를 나타내는 기본 계층 유무 플래그 등의 정보 및 프레임 사이즈의 정보 등의 1 프레임 이상의 픽쳐로 구성되는 시퀀스 단위의 헤더 정보(시퀀스 레벨 헤더) 및 픽쳐 단위의 헤더 정보(픽쳐 레벨 헤더), 적응 파라미터 세트로서 부호화된 루프 필터부(38)에서 사용하는 필터 파라미터나 양자화 매트릭스 파라미터를 복호한다.
또한, 부호화 장치에서 비디오 파라미터 세트로서, 그 비디오 파라미터 세트를 참조하는 계층의 픽쳐가 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하는지 여부를 나타내는 하위 계층 참조 플래그를 부호화하고 있는 경우에는, 그 플래그를 복호한다.
또한, 최대 계층 수가 1 이상의 경우에 기본 계층 유무 플래그가 비디오 파라미터 세트에 부호화되어 있는 경우에는 최대 계층 수가 1 이상인 경우에만 기본 계층 유무 플래그를 복호하도록 한다.
또한, 기본 계층 유무 플래그나 하위 계층 참조 플래그를 복호했을 경우의 동작이나 그 효과에 대해서는, 상술한 바와 같다.
또한, 가변 길이 복호부(31)는, 도 1의 동화상 부호화 장치의 부호화 제어부(2)에 의해 결정된 최대 부호화 블록 사이즈 및 분할 계층 수의 상한을 동화상 부호화 장치와 마찬가지의 순서로 결정한다(스텝 ST22).
예를 들면, 최대 부호화 블록 사이즈나 분할 계층 수의 상한이 영상 신호의 해상도에 따라 결정되었을 경우에는, 복호한 프레임 사이즈 정보에 근거하여, 동화상 부호화 장치와 마찬가지의 순서로 최대 부호화 블록 사이즈를 결정한다.
최대 부호화 블록 사이즈 및 분할 계층 수의 상한이, 동화상 부호화 장치측에서 시퀀스 레벨 헤더 등으로 다중화되어 있는 경우에는, 상기 헤더로부터 복호한 값을 이용한다.
이후, 동화상 복호 장치에서는, 상기 최대 부호화 블록 사이즈를 최대 복호 블록 사이즈라고 칭하고, 최대 부호화 블록을 최대 복호 블록이라고 칭한다.
가변 길이 복호부(31)는, 결정된 최대 복호 블록 단위로, 도 10에 나타나는 바와 같은 최대 복호 블록의 분할 상태를 복호한다. 복호된 분할 상태에 근거하여, 계층적으로 복호 블록(도 1의 동화상 부호화 장치의 「부호화 블록」에 상당하는 블록)을 특정한다(스텝 ST23).
다음에, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드를 복호한다. 복호한 부호화 모드에 포함되는 정보에 근거하여, 복호 블록을, 1개 내지 복수의 예측 처리 단위인 예측 블록으로 더 분할하고, 예측 블록 단위로 할당되어 있는 예측 파라미터를 복호한다(스텝 ST24).
즉, 가변 길이 복호부(31)는, 복호 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위로 되는 1개 이상의 예측 블록마다 인트라 예측 파라미터를 복호한다.
한편, 복호 블록에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 복호 블록에 포함되어 있고, 예측 처리 단위로 되는 1개 이상의 예측 블록마다 인터 예측 파라미터 및 움직임 벡터를 복호한다(스텝 ST24).
또한, 가변 길이 복호부(31)는, 예측 차분 부호화 파라미터에 포함되는 직교 변환 블록 분할 정보에 근거하여, 직교 변환 블록마다 압축 데이터(변환·양자화 후의 변환 계수)를 복호한다(스텝 ST24).
전환 스위치(33)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인트라 부호화 모드이면(m(Bn)∈INTRA의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인트라 예측 파라미터를 인트라 예측부(34)에 출력한다.
한편, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인터 부호화 모드이면(m(Bn)∈INTER의 경우), 가변 길이 복호부(31)에 의해 가변 길이 복호된 예측 블록 단위의 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(35)에 출력한다.
인트라 예측부(34)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인트라 부호화 모드(m(Bn)∈INTRA)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 인트라 예측 파라미터를 수취하고, 도 1의 인트라 예측부(4)와 마찬가지의 순서로, 인트라 예측용 메모리(37)에 저장되어 있는 복호 화상을 참조하면서, 상기 인트라 예측 파라미터를 이용한 복호 블록 Bn내의 각 예측 블록 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST26).
움직임 보상부(35)는, 가변 길이 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)가 인터 부호화 모드(m(Bn)∈INTER)인 경우(스텝 ST25), 전환 스위치(33)로부터 출력된 예측 블록 단위의 움직임 벡터와 인터 예측 파라미터를 수취하고, 움직임 보상 예측 프레임 메모리(39)에 저장되어 있는 필터 처리 후의 복호 화상을 참조하면서, 그 움직임 벡터와 인터 예측 파라미터를 이용한 복호 블록 Bn내의 각 예측 블록 Pi n에 대한 인터 예측 처리를 실시하여 인터 예측 화상 PINTERi n을 생성한다(스텝 ST27).
역양자화·역변환부(32)는, 가변 길이 복호부(31)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 수취하면, 도 1의 역양자화·역변환부(8)와 마찬가지의 순서로, 그 예측 차분 부호화 파라미터에 포함되는 양자화 파라미터 및 직교 변환 블록 분할 정보를 참조하여, 직교 변환 블록 단위로 그 압축 데이터를 역양자화한다.
이 때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 헤더 정보가, 상기 슬라이스에서 양자화 매트릭스를 이용하여, 역양자화 처리를 실시하는 것을 나타내고 있는 경우에는, 양자화 매트릭스를 이용하여 역양자화 처리를 행한다.
이 때, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 각 직교 변환 사이즈로 색 신호나 부호화 모드(인트라 부호화나 인터 부호화)마다 사용하는 양자화 매트릭스를 특정한다.
구체적으로는, 슬라이스 레벨 헤더로부터 특정되는 상기 슬라이스에서 참조하는 적응 파라미터 세트의 양자화 매트릭스를 상기 슬라이스에서 사용하는 양자화 매트릭스로 설정한다.
또한, 역양자화·역변환부(32)는, 직교 변환 블록 단위로 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 도 1의 역양자화·역변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 동일한 복호 예측 차분 신호를 산출한다(스텝 ST28).
가산부(36)는, 역양자화·역변환부(32)에 의해 산출된 복호 예측 차분 신호와, 인트라 예측부(34)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상부(35)에 의해 생성된 인터 예측 화상 PINTERi n 중 어느 한쪽을 가산하여 복호 화상을 산출하고, 그 복호 화상을 루프 필터부(38)에 출력함과 아울러, 그 복호 화상을 인트라 예측용 메모리(37)에 저장한다(스텝 ST29).
이 복호 화상이, 이후의 인트라 예측 처리 시에 이용되는 복호 완료된 화상 신호로 된다.
루프 필터부(38)는, 모든 복호 블록 Bn에 대한 스텝 ST23∼ST29의 처리가 완료하면(스텝 ST30), 가산부(36)로부터 출력된 복호 화상에 대해서, 소정의 필터 처리를 실시하여, 필터 처리 후의 복호 화상을 움직임 보상 예측 프레임 메모리(39)에 저장한다(스텝 ST31).
구체적으로는, 직교 변환 블록의 경계나 예측 블록의 경계에 발생하는 왜곡을 저감하는 필터(디블로킹 필터) 처리, 화소 단위로 적응적으로 오프셋을 가산하는(화소 적응 오프셋) 처리, 위너 필터 등의 선형 필터를 적응적으로 전환하여 필터 처리하는 적응 필터 처리 등을 행한다.
단, 루프 필터부(38)는, 상기의 디블로킹 필터 처리, 화소 적응 오프셋 처리, 적응 필터 처리의 각각에 대해, 가변 길이 복호부(31)에 의해 가변 길이 복호된 각 헤더 정보를 참조하여, 상기 슬라이스에서 처리를 행하는지 여부를 특정한다.
이 때, 2개 이상의 필터 처리를 행하는 경우에, 동화상 부호화 장치의 루프 필터부(11)가 도 2와 같이 구성되어 있는 경우에는, 도 7에 나타낸 바와 같이 루프 필터부(38)가 구성된다.
여기서, 디블로킹 필터 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 블록 경계에 걸치는 필터 강도의 선택에 이용하는 각종 파라미터를 초기값으로부터 변경하는 정보가 존재하는 경우에는, 그 변경 정보에 근거하여, 디블로킹 필터 처리를 실시한다. 변경 정보가 없는 경우에는, 미리 정해진 수법에 따라 행한다.
화소 적응 오프셋 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 그 적응 파라미터 세트에 포함되는 블록 분할 정보에 근거하여 분할하고, 그 블록 단위로, 그 적응 파라미터 세트에 포함되는 블록 단위의 클래스 분류 수법을 나타내는 인덱스를 참조하여, 그 인덱스가 "오프셋 처리를 행하지 않는" 것을 나타내는 인덱스가 아닌 경우, 블록 단위로 블록내의 각 화소를 상기 인덱스가 나타내는 클래스 분류 수법에 따라 클래스 분류한다.
또한, 클래스 분류 수법의 후보로서, 루프 필터부(11)의 화소 적응 오프셋 처리의 클래스 분류 수법의 후보와 동일한 것이 미리 준비되어 있다.
그리고, 루프 필터부(38)는, 블록 단위의 각 클래스의 오프셋값을 특정하는 적응 파라미터 세트에 포함되는 오프셋 정보를 참조하여, 복호 화상의 휘도값에 오프셋을 가산하는 처리를 행한다.
단, 동화상 부호화 장치의 루프 필터부(11)의 화소 적응 오프셋 처리에 있어서, 블록 분할 정보는 부호화하지 않고, 항상 화상을 고정 사이즈의 블록 단위(예를 들면, 최대 부호화 블록 단위)로 분할하고, 그 블록마다 클래스 분류 수법을 선택하여 클래스마다의 적응 오프셋 처리를 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록 단위로 화소 적응 오프셋 처리를 실시한다.
적응 필터 처리에서는, 상기 슬라이스가 참조하는 적응 파라미터 세트를 참조하여, 그 적응 파라미터 세트에 포함되는 클래스마다의 필터를 이용하여, 도 1의 동화상 부호화 장치와 동일한 수법으로 클래스 분류한 후에, 그 클래스 분류 정보에 근거하여 필터 처리를 행한다.
단, 동화상 부호화 장치의 루프 필터부(11)의 적응 필터 처리에 있어서, 상기의 클래스 분류 및 필터 설계·처리를 화상 전체에 대해서가 아니라, 예를 들면, 최대 부호화 블록이라고 하는 고정 사이즈의 블록마다 행하도록 구성되어 있는 경우, 루프 필터부(38)에 있어서도, 루프 필터부(11)와 동일한 고정 사이즈의 블록마다, 각 클래스에서 이용하는 필터를 복호하여 상기 클래스 분류 및 필터 처리를 행한다.
이 루프 필터부(38)에 의한 필터 처리 후의 복호 화상이, 움직임 보상 예측용의 참조 화상으로 되고, 또한, 재생 화상으로 된다.
이상으로 명백한 바와 같이, 이 실시 형태 1에 의하면, 가변 길이 부호화부(13)가 부호화 비트스트림의 헤더 정보로서, 비디오 파라미터 세트를 부호화하고, 비디오 파라미터 세트에는 시간 계층 부호화되어 있는지 여부를 나타내는 플래그와 최대 계층 수, 각 계층의 픽쳐 버퍼의 사이즈를 부호화함과 아울러, 비디오 파라미터 세트를 참조하는 픽쳐의 부호화 데이터에 기본 계층의 픽쳐의 부호화 데이터가 포함되는지 여부를 나타내는 기본 계층 유무 플래그를 부호화하도록 하고, 가변 길이 복호부(31)가 이 기본 계층 유무 플래그를 복호하도록 했으므로, 복호 장치에서, 기본 계층의 픽쳐가 포함되어 있는지 여부를 판단할 수 있고, 기본 계층의 픽쳐가 포함되어 있는 경우에는 곧바로 기본 계층의 픽쳐를 복호하고, 기본 계층의 픽쳐가 포함되지 않은 경우에는 기본 계층의 픽쳐의 복호 후에 복호한다고 하는 처리를 행할 수 있어, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 독립하여 처리 가능한 스케일러블 방식으로 부호화, 복호 처리를 행할 수 있다.
또한, 가변 길이 부호화부(13)가 부호화 비트스트림의 헤더 정보로서, 비디오 파라미터 세트를 참조하는 픽쳐의 부호화 데이터로 그 비디오 파라미터를 참조하는 계층의 픽쳐가 자기 자신보다 아래의 계층의 픽쳐를 예측 시에 참조하는지 여부를 나타내는 하위 계층 참조 플래그를 복호하도록 했으므로, 자기 자신보다 아래의 계층의 유무에 관계없이 비디오 파라미터 세트를 참조하는 픽쳐의 단위(서브 비트스트림)를 설정하고, 복호 장치에서, 이러한 서브 비트스트림을 수신했을 경우에 자기 자신보다 아래의 계층의 픽쳐가 수신 완료한 상태인지 여부에 관계없이, 곧바로 수신한 데이터를 복호할 수 있고, 상위 계층에 속하는 프레임만이 부호화된 영상 데이터를 독립하여 처리 가능한 스케일러블 방식으로 부호화, 복호할 수 있는 장치를 얻을 수 있다.
(실시 형태 2)
본 실시 형태는, 실시 형태 1에 따른 동화상 부호화 장치가 생성한 부호화 비트스트림으로부터 서브 비트스트림을 추출하는 서브 비트스트림 생성 장치에 대해 서술한다.
도 20에 서브 비트스트림 생성 장치의 구성을 나타낸다.
도 20에 있어서, 도 1의 가변 길이 부호화부(13)의 출력인 부호화된 비트스트림을 입력으로 하고, NAL 유닛 헤더 해석부(51)는, 부호화 비트스트림을 구성하고 있는 NAL 유닛의 헤더부를 해석하여, 타입 정보나 참조 플래그, 계층 식별 번호 등의 헤더 정보를 복호한다. 비디오 파라미터 세트 해석부(52)는 타입 정보가 비디오 파라미터 세트인 것을 나타내고 있는 경우에, NAL 유닛의 페이로드 데이터부에 포함되는 비디오 파라미터 세트를 복호한다. 비디오 파라미터 세트로부터 복호된 시간 계층 부호화되어 있는지 여부를 나타내는 플래그가, 부호화 비트스트림이 시간 계층 부호화되어 있는 것을 나타내는 경우에는, 비디오 파라미터 세트로부터 복호된 최대 계층 수에 근거하여, 서브 비트스트림의 계층 수를 결정한다. 서브 비트스트림의 계층 수의 결정은, 예를 들면 비디오 파라미터 세트로부터 복호된 각 계층을 복호하는 데에 필요한 픽쳐 버퍼의 사이즈로부터 결정할 수 있다. 픽쳐 버퍼의 사이즈가 큰 경우에는, 복호 화상의 지연이 커지기 때문에, 디코더측에서 허용되는 최대 지연에 근거하여 서브 비트스트림의 계층 수를 결정할 수 있다. NAL 유닛 추출부(53)는, 결정된 서브 비트스트림의 계층 수에 근거하여 NAL 유닛을 추출한다. 예를 들면, 3 이상의 계층 수가 있는 부호화 비트스트림에 있어서, 서브 비트스트림의 계층 수를 2로 결정했을 경우에는 기본 계층과 제 1 계층에 속하는 픽쳐의 부호화 데이터를 페이로드 데이터로서 포함하는 NAL 유닛을 추출한다. NAL 유닛 다중화부(54)는 NAL 유닛 추출부(53)에서 추출한 NAL 유닛을 다중화하여 서브 비트스트림을 생성한다.
다음에 동작에 대해 설명한다.
도 3의 부호화 장치에 있어서의 출력인 부호화 비트스트림으로부터 서브 비트스트림을 생성하는 경우를 예로 하여 설명한다.
우선 NAL 유닛 헤더 해석부(51)는, 부호화 비트스트림을 구성하고 있는 NAL 유닛의 헤더부를 해석한다. NAL 유닛의 헤더부로부터 복호된 타입 정보가 비디오 파라미터 세트인 것을 나타내고 있는 경우에는, 비디오 파라미터 세트 해석부(52)로, NAL 유닛의 페이로드 데이터부에 포함되는 비디오 파라미터 세트를 복호한다. 도 3의 예에서는, 비디오 파라미터 세트 해석부(52)는, 비디오 파라미터 세트 1을 복호한다. 비디오 파라미터 세트 1로부터 복호된 시간 계층 부호화되어 있는 것을 나타내는 플래그가, 부호화 비트스트림이 시간 계층 부호화되어 있는 것을 나타내는 경우에는, 비디오 파라미터 세트로부터 복호된 최대 계층 수(도 3에서는 2)에 근거하여 서브 비트스트림 중의 계층 수를 결정한다. NAL 유닛 추출부(53)는, 서브 비트스트림 중의 계층 수를 1로 결정했을 경우에는, 기본 계층에 속하는 픽쳐의 부호화 데이터를 페이로드 데이터로서 포함하는 NAL 유닛을 추출한다. 즉, NAL 유닛 헤더의 계층 식별 번호가 1 이상의 NAL 유닛을 제외하고, 계층 식별 번호가 0인 NAL 유닛만을 추출한다. NAL 유닛 다중화부(54)는 NAL 유닛 추출부(53)에서 추출한 NAL 유닛을 다중화하여 서브 비트스트림을 생성한다. 도 3의 부호화 비트스트림으로부터 기본 계층의 NAL 유닛만을 추출하여 구성되는 서브 비트스트림을 도 21에 나타낸다.
다음에 도 3에 나타내는 부호화 비트스트림으로부터 제 1 계층만을 추출하여 서브 비트스트림을 생성하는 경우를 예로 하여 설명한다. NAL 유닛 헤더 해석부(51)는 기본 계층만을 추출하여 서브 비트스트림을 생성하는 경우와 동일하다. NAL 유닛 추출부(53)는, 제 1 계층에 속하는 픽쳐의 부호화 데이터를 페이로드 데이터 데이터로서 포함하는 NAL 유닛을 추출한다. 도 3의 예에서는 비디오 파라미터 세트 1과 시퀀스 레벨 헤더 1은, 기본 계층과 제 1 계층의 픽쳐로부터 공통으로 참조되므로, 제 1 계층에 속하는 픽쳐에 관한 부호화 데이터로서 추출한다. 픽쳐 데이터(슬라이스 데이터)에 관해서는, NAL 유닛 헤더의 계층 식별 번호가 1인 NAL 유닛만을 추출함으로써 제 1 계층에 속하는 픽쳐의 픽쳐 데이터를 추출할 수 있다. 제 1 계층만을 추출하여 생성되는 서브 비트스트림에는, 기본 계층의 부호화 데이터가 포함되지 않기 때문에, 비디오 파라미터 세트 1의 기본 계층 유무 플래그의 값을 기본 계층이 포함되어 있는 것을 나타내는 값(예를 들면, 1)으로부터 기본 계층이 포함되지 않은 것을 나타내는 값(예를 들면, 0)으로 변경한다. NAL 유닛 다중화부(54)는, 기본 계층 유무 플래그의 값이 변경된 비디오 파라미터 세트 1A와 시퀀스 레벨 헤더 1, 제 1 계층의 픽쳐의 픽쳐 레벨 헤더와 픽쳐 데이터(슬라이스 데이터)를 다중화하여 서브 비트스트림(도 22)을 생성한다.
다음에 도 12에 나타내는 부호화 비트스트림으로부터 서브 비트스트림을 생성하는 경우를 예로 하여 설명한다. 또한 기본 계층을 포함하는 서브 비트스트림을 생성하는 경우에는 도 3의 부호화 비트스트림으로부터 서브 비트스트림을 생성하는 경우와 동일하므로, 기본 계층을 포함하지 않는 서브 비트스트림, 예를 들면 제 1 계층에 속하는 픽쳐의 부호화 데이터만으로 구성되는 서브 비트스트림을 생성하는 경우를 예로 하여 설명한다. NAL 유닛 헤더 해석부(51)의 처리는, 도 3의 부호화 비트스트림으로부터 서브 비트스트림을 생성하는 경우와 동일하다. NAL 유닛 추출부(53)는, 제 1 계층에 속하는 픽쳐의 부호화 데이터를 페이로드 데이터로서 포함하는 NAL 유닛을 추출한다. 도 12의 예에서는 계층마다 비디오 파라미터 세트가 부호화되어 있으므로, 제 1 계층에 속하는 픽쳐는 비디오 파라미터 세트 2를 참조하여 부호화되어 있다. 따라서 도 12의 예에서는, 제 1 계층에 속하는 픽쳐에 관한 부호화 데이터로서, NAL 유닛 헤더의 계층 식별 번호가 1인 NAL 유닛만을 추출함으로써, 비디오 파라미터 세트 2, 시퀀스 레벨 헤더 2와 제 1 계층에 속하는 픽쳐의 픽쳐 데이터를 추출할 수 있다. 또한 비디오 파라미터 세트 2의 기본 계층 유무 플래그는, 기본 계층이 포함되지 않는 것을 나타내는 값으로 되어 있으므로, NAL 유닛 다중화부(54)는 비디오 파라미터 세트 2의 파라미터치를 변경하는 일 없이, 비디오 파라미터 세트 2와 시퀀스 레벨 헤더 2, 제 1 계층의 픽쳐의 픽쳐 레벨 헤더와 픽쳐 데이터(슬라이스 데이터)를 다중화하여 서브 비트스트림(도 23)을 생성한다.
이상과 같이, 비디오 파라미터 세트로 설정된 정보에 근거하여, 서브 비트스트림의 부호화 데이터를 NAL 유닛 단위로 추출함으로써, 각종의 서브 비트스트림을 생성할 수 있기 때문에, 스케일러블 방식으로 부호화, 복호할 수 있는 장치를 얻을 수 있다.
(산업상의 이용 가능성)
이상과 같이, 본 발명에 따른 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법은, 스케일러블 방식으로 부호화, 복호 처리를 행하는 동화상 부호화 장치, 동화상 복호 장치 등에 유용하다.
1 : 블록 분할부(블록 분할 수단)
2 : 부호화 제어부(부호화 제어 수단)
3 : 전환 스위치
4 : 인트라 예측부(예측 수단)
5 : 움직임 보상 예측부(예측 수단)
6 : 감산부(차분 화상 생성 수단)
7 : 변환·양자화부(화상 압축 수단)
8 : 역양자화·역변환부(국소 복호 화상 생성 수단)
9 : 가산부(국소 복호 화상 생성 수단)
10 : 인트라 예측용 메모리(예측 수단)
11 : 루프 필터부(필터링 수단)
12 : 움직임 보상 예측 프레임 메모리(예측 수단)
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
14 : 슬라이스 분할부(슬라이스 분할 수단)
31 : 가변 길이 복호부(가변 길이 복호 수단)
32 : 역양자화·역변환부(차분 화상 생성 수단)
33 : 전환 스위치
34 : 인트라 예측부(예측 수단)
35 : 움직임 보상부(예측 수단)
36 : 가산부(복호 화상 생성 수단)
37 : 인트라 예측용 메모리(예측 수단)
38 : 루프 필터부(필터링 수단)
39 : 움직임 보상 예측 프레임 메모리(예측 수단)
51 : NAL 유닛 헤더 해석부
52 : 비디오 파라미터 세트 해석부
53 : NAL 유닛 추출부
54 : NAL 유닛 다중화부

Claims (7)

  1. 입력된 동화상 신호의 복수의 픽쳐를, 참조할 때에 기본이 되는 픽쳐의 계층인 기본 계층과, 상기 기본 계층 이외의 픽쳐의 계층으로 계층화하고, 부호화하여 비트스트림을 생성하는 동화상 부호화 장치로서,
    상기 비트스트림 내에 상기 기본 계층의 픽쳐가 포함되는지 여부를 나타내는 기본 계층 유무 정보를 상기 비트스트림의 비디오 파라미터 세트에 부호화하는 부호화부를 구비하는
    것을 특징으로 하는 동화상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 부호화부는,
    상기 입력된 동화상 신호의 복수의 픽쳐로부터,
    상기 기본 계층 유무 정보가, 상기 기본 계층의 픽쳐가 포함되는 것을 나타내는 상기 비트스트림과,
    상기 기본 계층 유무 정보가, 상기 기본 계층의 픽쳐가 포함되지 않는 것을 나타내는 상기 비트스트림
    을 생성하는
    것을 특징으로 하는 동화상 부호화 장치.
  3. 입력된 복수의 픽쳐를, 참조할 때에 기본이 되는 픽쳐의 계층인 기본 계층과, 상기 기본 계층 이외의 픽쳐의 계층으로 계층화하여 부호화된 비트스트림을 복호하는 동화상 복호 장치로서,
    상기 비트스트림 내의 상기 기본 계층의 픽쳐가 포함되는지 여부를 나타내는 기본 계층 유무 정보를 상기 비트스트림의 비디오 파라미터 세트로부터 복호하는 복호부를 구비하는
    것을 특징으로 하는 동화상 복호 장치.
  4. 제 3 항에 있어서,
    상기 복호부는,
    상기 기본 계층 유무 정보가, 상기 기본 계층의 픽쳐가 포함되는 것을 나타내는 상기 비트스트림과,
    상기 기본 계층 유무 정보가, 상기 기본 계층의 픽쳐가 포함되지 않는 것을 나타내는 상기 비트스트림
    을 이용하여 상기 복수의 픽쳐를 복호하는
    것을 특징으로 하는 동화상 복호 장치.

  5. 입력된 동화상 신호의 복수의 픽쳐를, 참조할 때에 기본이 되는 픽쳐의 계층인 기본 계층과, 상기 기본 계층 이외의 픽쳐의 계층으로 계층화하고, 부호화하여 비트스트림을 생성하는 동화상 부호화 방법으로서,
    상기 비트스트림 내에 상기 기본 계층의 픽쳐가 포함되는지 여부를 나타내는 기본 계층 유무 정보를 상기 비트스트림의 비디오 파라미터 세트에 부호화하는 부호화 스텝을 구비하는
    것을 특징으로 하는 동화상 부호화 방법.
  6. 입력된 복수의 픽쳐를, 참조할 때에 기본이 되는 픽쳐의 계층인 기본 계층과, 상기 기본 계층 이외의 픽쳐의 계층으로 계층화하여 부호화된 비트스트림을 복호하는 동화상 복호 방법으로서,
    상기 비트스트림 내의 상기 기본 계층의 픽쳐가 포함되는지 여부를 나타내는 기본 계층 유무 정보를 상기 비트스트림의 비디오 파라미터 세트로부터 복호하는 복호 스텝을 구비하는
    것을 특징으로 하는 동화상 복호 방법.
  7. 복수의 픽쳐가, 참조할 때에 기본이 되는 픽쳐의 계층인 기본 계층과, 상기 기본 계층 이외의 픽쳐의 계층으로 계층화되어 부호화된 비트스트림을 기억하는 기억 매체로서,
    비디오 파라미터 세트에, 상기 비트스트림 내에 상기 기본 계층의 픽쳐가 포함되는지 여부를 나타내는 기본 계층 유무 정보를 갖는 비트스트림을 기억하는
    것을 특징으로 하는 기억 매체.
KR1020177005167A 2012-06-26 2013-05-27 동화상 부호화·복호 장치 및 방법 KR101752149B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012142607 2012-06-26
JPJP-P-2012-142607 2012-06-26
PCT/JP2013/003320 WO2014002375A1 (ja) 2012-06-26 2013-05-27 動画像符号化・復号装置及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157001078A Division KR20150027219A (ko) 2012-06-26 2013-05-27 동화상 부호화·복호 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177016887A Division KR20170075802A (ko) 2012-06-26 2013-05-27 동화상 부호화·복호 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170024142A KR20170024142A (ko) 2017-03-06
KR101752149B1 true KR101752149B1 (ko) 2017-07-11

Family

ID=49782577

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157001078A KR20150027219A (ko) 2012-06-26 2013-05-27 동화상 부호화·복호 장치 및 방법
KR1020177016887A KR20170075802A (ko) 2012-06-26 2013-05-27 동화상 부호화·복호 장치 및 방법
KR1020177005167A KR101752149B1 (ko) 2012-06-26 2013-05-27 동화상 부호화·복호 장치 및 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020157001078A KR20150027219A (ko) 2012-06-26 2013-05-27 동화상 부호화·복호 장치 및 방법
KR1020177016887A KR20170075802A (ko) 2012-06-26 2013-05-27 동화상 부호화·복호 장치 및 방법

Country Status (8)

Country Link
US (1) US10264289B2 (ko)
EP (1) EP2866441B1 (ko)
JP (3) JP5984911B2 (ko)
KR (3) KR20150027219A (ko)
CN (1) CN104412592B (ko)
BR (1) BR112014031555B1 (ko)
HK (1) HK1205392A1 (ko)
WO (1) WO2014002375A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010658A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 비디오 포멧 파라미터 전달을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
KR102476207B1 (ko) 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
CN106851274B (zh) * 2017-03-31 2019-08-06 北京奇艺世纪科技有限公司 差分量化参数的确定方法、确定系统及视频编码器
US10290347B2 (en) * 2017-06-30 2019-05-14 Western Digital Technologies, Inc. Compacting operating parameter groups in solid state memory devices
WO2019061475A1 (en) * 2017-09-30 2019-04-04 SZ DJI Technology Co., Ltd. IMAGE PROCESSING
GB201817783D0 (en) 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
JP2020098986A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
WO2020251275A1 (ko) * 2019-06-11 2020-12-17 엘지전자 주식회사 스케일링 리스트 기반 비디오 또는 영상 코딩
KR20210149867A (ko) * 2019-06-11 2021-12-09 엘지전자 주식회사 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
WO2020251279A1 (ko) * 2019-06-11 2020-12-17 엘지전자 주식회사 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩
GB2623003A (en) * 2019-07-05 2024-04-03 V Nova Int Ltd Quantization of residuals in video coding
JP2021052225A (ja) * 2019-09-20 2021-04-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN110582022B (zh) * 2019-09-27 2022-12-30 腾讯科技（深圳）有限公司 视频编解码方法和装置及存储介质
GB2590634A (en) 2019-12-20 2021-07-07 Canon Kk High Level syntax for video coding and decoding
US11516469B2 (en) * 2020-03-02 2022-11-29 Tencent America LLC Loop filter block flexible partitioning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233247A1 (en) 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
FI113124B (fi) * 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
JP2006503517A (ja) * 2002-10-15 2006-01-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｉｐネットワークでスケーラブル符号化映像を伝送するシステム及び方法
KR100965881B1 (ko) 2003-10-10 2010-06-24 삼성전자주식회사 비디오 데이터 인코딩 시스템 및 디코딩 시스템
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
WO2006104357A1 (en) * 2005-04-01 2006-10-05 Samsung Electronics Co., Ltd. Method for compressing/decompressing motion vectors of unsynchronized picture and apparatus using the same
KR100763179B1 (ko) * 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
BRPI0612643A8 (pt) * 2005-07-11 2018-08-14 Thomson Licensing método e aparelho para predição adaptativa intercamada, intratextura de macrobloco
JP2009521174A (ja) * 2005-12-21 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化及び復号化
TWI368443B (en) * 2006-11-09 2012-07-11 Lg Electronics Inc Method and apparatus for decoding/encoding a video signal
KR101349836B1 (ko) 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US20100091840A1 (en) * 2007-01-10 2010-04-15 Thomson Licensing Corporation Video encoding method and video decoding method for enabling bit depth scalability
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
CN101557510A (zh) * 2008-04-09 2009-10-14 华为技术有限公司 视频编码处理方法、系统及装置
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
BR112013004112A2 (pt) * 2010-09-30 2016-06-28 Panasonic Corp método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem, programa, e circuito integrado
US9045967B2 (en) * 2011-07-26 2015-06-02 Schlumberger Technology Corporation System and method for controlling and monitoring a drilling operation using refined solutions from a panistic inversion
US8805098B2 (en) * 2012-01-19 2014-08-12 Sharp Laboratories Of America, Inc. Inter reference picture set signaling and prediction on an electronic device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060233247A1 (en) 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. Boyce, et al. Information for scalable extension high layer syntax. JCT-VC of ITU-T and ISO/IEC. JCTVC-H0386 Ver.3. Jan. 25, 2012, pp.1-8
K. Sugimoto, et al. AHG10: Proposed modification to video parameter set. JCT-VC of ITU-T and ISO/IEC. JCTVC-J0196 Ver.1, Jul. 2, 2012, pp.1-3

Also Published As

Publication number Publication date
JP6580185B2 (ja) 2019-09-25
JP2016220227A (ja) 2016-12-22
CN104412592B (zh) 2017-11-14
US10264289B2 (en) 2019-04-16
JP5984911B2 (ja) 2016-09-06
EP2866441A4 (en) 2016-03-02
BR112014031555A2 (pt) 2017-06-27
JP6716836B2 (ja) 2020-07-01
KR20170024142A (ko) 2017-03-06
EP2866441A1 (en) 2015-04-29
CN104412592A (zh) 2015-03-11
KR20170075802A (ko) 2017-07-03
EP2866441B1 (en) 2021-09-01
JP2018125877A (ja) 2018-08-09
US20150195582A1 (en) 2015-07-09
KR20150027219A (ko) 2015-03-11
WO2014002375A1 (ja) 2014-01-03
JPWO2014002375A1 (ja) 2016-05-30
HK1205392A1 (en) 2015-12-11
BR112014031555B1 (pt) 2023-01-24

Similar Documents

Publication Publication Date Title
KR101752149B1 (ko) 동화상 부호화·복호 장치 및 방법
CN108696755B (zh) 图像编码装置、图像解码装置及其方法
KR102272564B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR101728285B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
KR20150029001A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
WO2013108882A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant