KR20150060676A - 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 - Google Patents

화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 Download PDF

Info

Publication number
KR20150060676A
KR20150060676A KR1020157004659A KR20157004659A KR20150060676A KR 20150060676 A KR20150060676 A KR 20150060676A KR 1020157004659 A KR1020157004659 A KR 1020157004659A KR 20157004659 A KR20157004659 A KR 20157004659A KR 20150060676 A KR20150060676 A KR 20150060676A
Authority
KR
South Korea
Prior art keywords
slice
tile
decoding
image
slices
Prior art date
Application number
KR1020157004659A
Other languages
English (en)
Other versions
KR101918808B1 (ko
Inventor
세미흐 에센릭
마티아스 나로쉬케
토마스 베디
Original Assignee
파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 filed Critical 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Publication of KR20150060676A publication Critical patent/KR20150060676A/ko
Application granted granted Critical
Publication of KR101918808B1 publication Critical patent/KR101918808B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화상이 복수의 타일로 분할됨과 더불어 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법으로서, 상기 부호화 신호를 복호하는 복호 단계를 포함하고, 상기 복수의 슬라이스의 각각은, 해당 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 해당 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않는다.

Description

화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치{IMAGE DECODING METHOD, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, AND IMAGE ENCODING/DECODING DEVICE}
본 발명은 화상 부호화 방법 및 화상 복호 방법에 관한 것이다.
현재의 표준적인 영상 부호화 알고리즘의 대부분은 하이브리드 영상 부호화에 의거한다. 하이브리드 영상 부호화 방법에서는, 원하는 압축 게인을 달성하기 위해서, 몇개의 상이한 가역 압축 방식과 불가역 압축 방식이 이용된다. 하이브리드 영상 부호화는, ISO/IEC 표준 규격(MPEG－1, MPEG－2 및 MPEG－4 등의 MPEG－X 표준 규격)과 마찬가지로, ITU-T 표준 규격(H.261 및 H.263 등의 H.26x 표준 규격)의 기초이다.
최신 영상 부호화 표준 규격은, H.264/MPEG－4 Advanced Vrdeo Coding(AVC)로 불린다. 이 규격은, JVT(Joint CoVedeo Team)와 ITU－T 및 ISO/IEC MPEG 그룹의 합동 팀에 의해 표준화되었다.
또한, 고해상도의 영상 부호화의 효율 개선을 목적으로 하여, HEVC(High－Efficiency Video Coding)로 불리는 영상 부호화 표준 규격이, JCT－VC(Joint Collaborative Team on Video Coding)에 의해 검토되고 있다.
"Wavefront Parallel Processing for HEVC Encoding and Decoding" by C.Gordon et al., no. JCTVC－F274-v2, from the Meeting in Torino, July 2011 "Tiless"by A, Fuldseth et al., no. JCTVC-F355－v1. from the Meeting in Torino, July 2011 JCTVC-J1003_d7. "High efficiency video coding(HEVC) text specification draft8" of July 2012
이러한 화상 부호화 방법 및 화상 복호 방법에서는, 병렬 타일 처리 및 의존 슬라이스를 모두 이용하는 상황에 있어서, 효율성을 향상시킬 수 있는 것이 요망된다.
여기서, 본 발명은, 병렬 타일 처리 및 의존 슬라이스를 함께 이용할 때의 효율성을 개선할 수 있는 화상 부호화 방법 또는 화상 복호 방법을 제공하는 것을 목적으로 한다.
본 발명의 일양태에 관련된 화상 복호 방법은, 화상이 복수의 타일로 분할됨과 더불어 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법으로서, 상기 부호화 신호를 복호하는 복호 단계를 포함하고, 상기 복수의 슬라이스의 각각은, 해당 슬라이스의 슬라이스 헤더에 포함되는 정보가 별도의 슬라이스에 이용되는 통상 슬라이스와, 복호에 별도의 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 해당 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않는다.
또한, 이들 전반적 또는 구체적인 양태는, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD－ROM 등의 기록 매체로 실현되어도 되고, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 및 기록 매체의 임의 조합으로 실현되어도 된다.
본 발명은, 병렬 타일 처리 및 의존 슬라이스를 함께 이용할 때의 효율성을 개선할 수 있는 화상 부호화 방법 또는 화상 복호 방법을 제공할 수 있다.
도 1은 실시의 형태에 관련된 화상 부호화 장치의 블록도이다.
도 2는 실시의 형태에 관련된 화상 복호 장치의 블록도이다.
도 3a는 실시의 형태에 관련된 WPP를 설명하기 위한 개략도이다.
도 3b는 실시의 형태에 관련된 WPP 내의 의존 슬라이스를 설명하기 위한 개략도이다.
도 4a는 실시의 형태에 관련된 WPP를 이용하지 않는 경우의 의존 슬라이스를 설명하기 위한 개략도이다.
도 4b는 실시의 형태에 관련된 WPP를 이용하는 경우의 의존 슬라이스를 설명하기 위한 개략도이다.
도 5는 실시의 형태에 관련된 엔트로피 슬라이스 또는 의존 슬라이스의 슬라이스 헤더를 나타내는 도면이다.
도 6은 실시의 형태에 관련된 WPP를 이용하는 경우의 허가되지 않은 슬라이스 구조의 예를 나타내는 도면이다.
도 7은 실시의 형태에 관련된 WPP를 이용하는 경우의 허가되는 슬라이스 구조의 예를 나타내는 도면이다.
도 8은 실시의 형태에 관련된 CABAC의 초기화 프로세스를 나타내는 개략도이다.
도 9는 실시의 형태에 관련된 선행 슬라이스의 특징에 따른, 의존 슬라이스의 CABAC 초기화 방법의 결정 처리의 플로우차트이다.
도 10은 실시의 형태에 관련된 슬라이스 구조의 일례를 나타내는 도면이다.
도 11은 실시의 형태에 관련된 슬라이스 구조의 일례를 나타내는 도면이다.
도 12는 실시의 형태 1에 관련된 슬라이스 헤더의 신택스예를 나타내는 도면이다.
도 13은 실시의 형태 1에 관련된 의존 슬라이스의 CABAC 초기화 방법의 결정 처리의 플로우차트이다.
도 14는 실시의 형태 2에 관련된 슬라이스로 분할된 픽쳐의 일례를 나타내는 도면이다.
도 15는 실시의 형태 2에 관련된 CABAC 초기화 방법의 결정 처리의 플로우차트이다.
도 16은 실시의 형태 2에 관련된 슬라이스로 분할된 픽쳐의 일례를 나타내는 도면이다.
도 17은 실시의 형태 2에 관련된 슬라이스로 분할된 픽쳐의 일례를 나타내는 도면이다.
도 18은 실시의 형태 3에 관련된 슬라이스로 분할된 픽쳐의 일례를 나타내는 도면이다.
도 19는 실시의 형태 4에 관련된 슬라이스 헤더를 나타내는 도면이다.
도 20은 실시의 형태 4에 관련된 타일로 분할된 픽쳐의 일례를 나타내는 도면이다.
도 21a는 실시의 형태 4에 관련된 주사 순서를 나타내는 도면이다.
도 21b는 실시의 형태 4에 관련된 주사 순서를 나타내는 도면이다.
도 22a는 실시의 형태 4에 관련된 타일과 슬라이스의 관계를 나타내는 도면이다.
도 22b는 실시의 형태 4에 관련된 타일과 슬라이스의 관계를 나타내는 도면이다.
도 22c는 실시의 형태 4에 관련된 타일과 슬라이스의 관계를 나타내는 도면이다.
도 23은 실시의 형태 4에 관련된 타일 및 슬라이스에의 픽쳐의 분할예를 나타내는 도면이다.
도 24는 실시의 형태 4에 관련된 타일로 분할된 픽쳐의 복호 순서를 나타내는 도면이다.
도 25a는 실시의 형태 4에 관련된 허가되지 않은 슬라이스 구조의 예를 나타내는 도면이다.
도 25b는 실시의 형태 4에 관련된 허가되는 슬라이스 구조의 예를 나타내는 도면이다.
도 25c는 실시의 형태 4에 관련된 허가되는 슬라이스 구조의 예를 나타내는 도면이다.
도 26a는 실시의 형태 4에 관련된 허가되지 않은 슬라이스 구조의 예를 나타내는 도면이다.
도 26b는 실시의 형태 4에 관련된 허가되는 슬라이스 구조의 예를 나타내는 도면이다.
도 27a는 실시의 형태 4에 관련된 허가되지 않은 슬라이스 구조의 예를 나타내는 도면이다.
도 27b는 실시의 형태 4에 관련된 허가되는 슬라이스 구조의 예를 나타내는 도면이다.
도 28은 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성도이다.
도 29는 디지털 방송용 시스템의 전체 구성도이다.
도 30은 텔레비전의 구성예를 나타내는 블록도이다.
도 31은 광 디스크인 기록 미디어에 정보의 읽고 쓰기를 행하는 정보 재생/기록부의 구성예를 나타내는 블록도이다.
도 32는 광 디스크인 기록 미디어의 구조예를 나타내는 도면이다.
도 33a는 휴대 전화의 일례를 나타내는 도면이다.
도 33b는 휴대 전화의 구성예를 나타내는 블록도이다.
도 34는 다중화 데이터의 구성을 나타내는 도면이다.
도 35는 각 스트림이 다중화 데이터에 있어서 어떻게 다중화되어 있는지를 모식적으로 나타내는 도면이다.
도 36은 PES 패킷열에, 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 나타낸 도면이다.
도 37은 다중화 데이터에 있어서의 TS 패킷과 소스 패킷의 구조를 나타내는 도면이다.
도 38은 PMT의 데이터 구성을 나타내는 도면이다.
도 39는 다중화 데이터 정보의 내부 구성을 나타내는 도면이다.
도 40은 스트림 속성 정보의 내부 구성을 나타내는 도면이다.
도 41은 영상 데이터를 식별하는 단계를 나타내는 도면이다.
도 42는 각 실시 형태의 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 집적 회로의 구성예를 나타내는 블록도이다.
도 43은 구동 주파수를 전환하는 구성을 나타내는 도면이다.
도 44는 영상 데이터를 식별하여, 구동 주파수를 전환하는 단계를 나타내는 도면이다.
도 45는 영상 데이터의 규격과 구동 주파수를 대응시킨 룩 업 테이블의 일례를 나타내는 도면이다.
도 46a는 신호 처리부의 모듈을 공유화하는 구성의 일례를 나타내는 도면이다.
도 46b는 신호 처리부의 모듈을 공유화하는 구성의 다른 일례를 나타내는 도면이다.
(본 발명의 기초가 된 지견)
본 발명자는, 「배경 기술」의 란에 있어서 기재한, 화상 부호화 방법 및 화상 복호 방법에 관한 것으로, 이하의 문제가 생기는 것을 찾아냈다.
우선, HEVC에 있어서의 화상 부호화 장치 및 화상 복호 장치에 대하여 설명한다.
화상 부호화 장치에 입력되는 영상 신호는, 각각이 프레임(픽쳐)으로 불리는 복수의 화상을 포함한다. 각 프레임은 2차원 행렬상으로 배치된 복수의 화소를 포함한다. 하이브리드 영상 부호화에 의거하는 상술의 모든 표준 규격에서는, 개개의 영상 프레임은, 각각이 복수의 화소를 포함하는 복수의 블록으로 분할된다. 이 블록의 사이즈는, 예를 들면, 화상의 내용에 따라 변경된다. 또한, 블록마다 상이한 부호화 방법을 이용할 수 있다. 예를 들면, HEVC에 있어서, 이 블록의 최대 사이즈는 64×64 화소이다. 이 최대 사이즈는, 최대 부호화 단위(LCU)로 불린다. LCU는, 귀납적으로, 4개의 부호화 단위(CU)로 분할할 수 있다.
H.264/MPEG－4 AVC에 있어서는, 매크로 블록(통상 16×16 화소의 블록) 단위로 부호화가 행해진다. 이 매크로 블록은 서브 블록으로 분할되는 경우도 있다.
전형적으로는, 하이브리드 영상 부호화에 있어서의 부호화 단계에는, 공간 및/또는 시간 예측이 포함된다. 즉, 공간적으로 인접한 블록 또는 시간적으로 인접한 블록을 이용하여, 즉, 부호화가 끝난 영상 프레임을 이용하여, 각 부호화 대상 블록이 예측된다. 다음에, 부호화 대상 블록과, 예측 결과의 차분인 잔차 블록이 산출된다. 다음에, 잔차 블록은, 공간(화소) 도메인으로부터 주파수 도메인으로 변환된다. 이 변환의 목적은, 입력 블록의 상관성을 저하시키는 것이다.
다음에, 변환에 의해 얻어진 변환 계수가 양자화된다. 이 양자화는 불가역 압축이다. 또한, 얻어진 양자화 계수는, 엔트로피 부호화에 의해서 가역 압축된다. 또한, 부호화 영상 신호를 재구축하기 위해서 필요한 보조 정보가 부호화되어, 부호화 영상 신호와 함께 출력된다. 이 정보는, 예를 들면, 공간 예측, 시간 예측, 또는/및 양자화에 관한 정보이다.
도 1은 H.264/MPEG－4 AVC 및/또는 HEVC에 준거한 화상 부호화 장치(100)의 일례를 나타내는 도면이다.
감산기(105)는, 입력 화상 신호(101)의 부호화 대상 블록과, 대응하는 예측 신호(181)(예측 블록)의 차분인 잔차 신호(106)(잔차 블록)를 산출한다. 이 예측 신호(181)는, 예측부(180)에 의한 시간 예측 또는 공간 예측에 의해 생성된다. 예측에 이용되는 예측 타입은, 프레임마다 또는 블록마다 변경될 가능성이 있다. 시간 예측을 이용하여 예측된 블록 및/또는 프레임은 인터 부호화되었다고 불리고, 공간 예측을 이용하여 예측된 블록 및/또는 프레임은, 인트라 부호화되었다고 불린다.
시간 예측을 이용하는 예측 신호는, 메모리에 저장되어 있는 부호화 및 복호가 끝난 화상을 이용해 도출된다. 공간 예측을 이용하는 예측 신호는, 메모리에 저장되어 있는 부호화 및 복호가 끝난 인접 블록의 경계 화소치를 이용해 도출된다. 또한, 인트라 예측 방향의 수는, 부호화 단위의 사이즈에 따라서 결정된다.
잔차 신호(106)는, 예측 오차 또는 예측 잔차로도 불린다. 변환부(110)는, 이 잔차 신호(106)를 변환함으로써 변환 계수(111)를 생성한다. 양자화부(120)는, 변환 계수(111)를 양자화함으로써 양자화 계수(121)를 생성한다. 엔트로피 부호화부(190)는, 저장하는 데이터량을 더욱 삭감하고, 또한 가역적으로 송신하기 위해서, 양자화 계수(121)를 엔트로피 부호화한다. 예를 들면, 엔트로피 부호화는, 가변 길이 부호화이다. 또한, 부호어의 길이는 발생 확률에 의거하여 결정된다.
이상의 처리에 의해 부호화 신호(191)(부호화 비트 스트림)가 생성된다.
또한, 화상 부호화 장치(100)는, 복호 화상 신호(재구축 화상 신호)를 얻기 위한 복호부를 가진다. 구체적으로는, 역변환부(130)는, 양자화 계수(121)를 역양자화 및 역변환함으로써 잔차 신호(131)를 생성한다. 이 잔차 신호(131)는, 양자화 노이즈라고도 불리는 양자화 오차의 영향에 의해, 원래의 잔차 신호(106)와는 엄밀하게는 다르다.
다음에, 가산기(140)는, 잔차 신호(131)와 예측 신호(181)를 가산함으로써 복호 화상 신호(141)를 생성한다. 이와 같이, 화상 부호화 장치와 화상 복호 장치의 호환성을 유지하기 위해, 화상 부호화 장치와 화상 복호 장치의 양쪽에 있어서, 부호화되어 복호된 화상 신호를 이용하여 예측 신호(181)가 생성된다.
또한, 양자화에 의해, 복호 화상 신호(141)에는 양자화 노이즈가 중첩된다. 블록 단위에서의 부호화가 행해지므로, 중첩된 노이즈는 블록마다 상이한 경우가 많다. 이에 따라, 특히 강한 양자화가 행해진 경우는, 복호 화상 신호의 블록 경계가 눈에 띄게 된다. 이러한 블로킹 노이즈는, 인간의 시각 인식에 있어서 화질이 열화하고 있는 것처럼 보인다. 이 블로킹 노이즈를 삭감하기 위해서, 디블로킹 필터(150)는, 복호 화상 신호(141)에 디블로킹 필터 처리를 행한다.
예를 들면, H.264/MPEG－4 AVC에 있어서의 디블로킹 필터 처리에서는, 영역마다, 해당 영역에 적합한 필터 처리가 선택된다. 예를 들면, 블로킹 노이즈가 큰 경우는, 강한(협대역) 로우 패스 필터가 이용되고, 블로킹 노이즈가 작은 경우는, 약한(광대역) 로우 패스 필터가 이용된다. 이 로우 패스 필터의 강도는, 예측 신호(181) 및 잔차 신호(131)에 따라서 결정된다. 이 디블로킹 필터 처리에 의해, 블록의 엣지가 평활화된다. 이에 따라, 복호 화상 신호의 주관적 화질이 개선된다. 또한, 필터 처리가 끝난 화상이 다음 화상의 움직임 보상 예측에 이용된다. 따라서, 이 필터 처리에 의해 예측 오차도 삭감되므로, 부호화 효율을 개선할 수 있다.
적응적 루프 필터(160)는, 디블로킹 필터 처리 후의 복호 화상 신호(151)에, 샘플 적응 오프셋 처리, 및/또는 적응적 루프 필터 처리를 행함으로써 복호 화상 신호(161)를 생성한다. 상술한 것처럼, 디블로킹 필터 처리는 주관적 화질을 개선한다. 한편, 샘플 적응 오프셋(Sample Adaptive Offset : SAO) 처리 및 적응적 루프 필터(Adaptive loop filter : ALF) 처리는, 화소 단위의 신뢰성(객관적 품질)의 개선을 목적으로 한다.
SAO는, 근접 화소에 따라서 화소에 오프셋치를 더하는 처리이다. ALF는, 압축에 의해서 생기는 화상의 일그러짐을 보상하기 위해서 이용된다. 예를 들면, ALF는, 복호 화상 신호(151)와 입력 화상 신호(101)의 평균 제곱 오차(MSE)가 최소화되도록 결정된 필터 계수를 가지는 위너 필터이다. 예를 들면, ALF의 계수는, 프레임 단위로 산출 및 송신된다. 또한, ALF는 프레임 전체(화상) 또는 국소 영역(블록)에 적용되어도 된다. 또한, 필터 처리를 행하는 영역을 나타내는 보조 정보가, 블록 단위, 프레임 단위, 또는 4분목 단위로 송신되어도 된다.
인터 부호화 블록을 복호하기 위해서는, 부호화되어 복호된 화상의 일부를 참조 프레임 버퍼(170)에 저장해 둘 필요가 있다. 참조 프레임 버퍼(170)는, 복호 화상 신호(161)를 복호 화상 신호(171)로서 유지한다. 예측부(180)는, 움직임 보상 예측을 이용하여 인터 예측을 행한다. 구체적으로는, 우선, 움직임 추정기가, 부호화 및 복호가 끝난 영상 프레임에 포함되는 블록 중 대상 블록에 가장 유사한 블록을 탐색한다. 이 유사 블록이 예측 신호(181)로서 이용된다. 대상 블록과 유사 블록 사이의 상대적인 어긋남(움직임)이 움직임 데이터로서 화상 복호 장치에 보내진다. 이 움직임 데이터는, 예를 들면, 부호화 영상 데이터와 함께 제공되는 보조 정보에 포함되는 3차원의 움직임 벡터이다. 여기서 3차원이란, 공간 2차원과 시간 1차원을 포함한다.
또한, 예측 정밀도를 최적화하기 위해, 1/2 화소 해상도 또는 1/4 화소 해상도 등의 공간 서브 픽셀 해상도의 움직임 벡터가 이용되어도 된다. 공간 서브 픽셀 해상도의 움직임 벡터는, 실존하는 화소치가 존재하지 않는, 복호 프레임 내의 공간적 위치, 즉 서브 픽셀의 위치를 나타낸다. 따라서, 움직임 보상 예측을 행하기 위해서는, 화소치의 공간 보간이 필요하다. 이 보간 처리는, 예를 들면, 보간 필터(도 1에 나타내는 예측부(180)에 포함된다)에 의해 달성된다.
인트라 부호화 모드 및 인터 부호화 모드의 양쪽에 있어서, 입력 화상 신호(101)와 예측 신호(181)의 차분인 잔차 신호(106)가 변환 및 양자화됨으로써 양자화 계수(121)가 생성된다. 일반적으로, 변환부(110)는, 이 변환에, 2차원 이산 코사인 변환(DCT) 또는 그 정수판 등의 직교 변환을 사용한다. 이에 따라 자연 영상의 상관을 효율적으로 삭감할 수 있다. 또한, 일반적으로 고주파 성분보다도 저주파 성분이 화질에 있어서 보다 중요하므로, 고주파 성분보다도 저주파 성분에 의해 많은 비트가 사용된다.
엔트로피 부호화부(190)는, 2차원 배열의 양자화 계수(121)를 1차원 배열로 변환한다. 전형적으로는, 이른바 지그재그 스캔이 이용된다. 지그재그 스캔에서는, 2차원 배열의 좌측 상부 구석에 있는 DC 계수로부터 우측 하부 구석에 있는 AC 계수까지, 소정의 순서로 이차원 배열이 주사된다. 통상, 에너지는 저주파에 상당하는 이차원 행렬의 계수의 좌측 상부 부분에 집중하기 때문에, 지그재그 주사를 행하면, 뒷쪽 반의 값이 제로가 되는 경향이 있다. 이에 따라, 엔트로피 부호화의 일부로서, 또는 그 전처리로서, 롱 랭스 부호를 이용함으로써, 효율적인 부호화를 실현할 수 있다.
H.264/MPEG－4 AVC 및 HEVC에서는, 복수 종류의 엔트로피 부호화가 이용된다. 신택스 요소 중에는 고정 길이로 부호화되는 것도 있지만, 대부분의 신택스 요소가 가변 길이 부호화된다. 특히, 예측 잔차의 부호화에는 컨택스트 적응 가변 길이 부호가 이용되고, 다른 신택스 요소의 부호화에는 별도의 다양한 정수 부호가 이용된다. 또한, 컨택스트 적응 산술 부호화(CABAC)가 이용되는 경우도 있다.
가변 길이 부호에 의해, 부호화가 끝난 비트 스트림을 가역 압축할 수 있다. 그러나, 부호어는 가변 길이이므로, 부호어를 연속하여 복호하지 않으면 안된다. 즉, 엔트로피 부호화를 리스타트(초기화) 하지 않고, 또는, 복호 시의 최초의 부호어(개시점)의 위치를 개별로 나타내지 않고, 선행의 부호어를 부호화 또는 복호하기 전에, 뒤의 부호어를 부호화 또는 복호할 수 없다.
소정의 확률 모델에 의거하는 산술 부호화에 의해 피트열이 1개의 부호어로 부호화된다. 소정의 확률 모델은, CABAC의 경우의 영상 시퀀스의 내용에 따라서 결정된다. 따라서, 부호화 대상의 비트 스트림의 길이가 길수록, 산술 부호화 및 CABAC는 보다 효율적으로 행해진다. 즉, 비트열에 적용되는 CABAC는, 보다 큰 블록에 있어서 보다 효율적이라고 할 수 있다. 각 시퀀스의 선두에서 CABAC가 리스타트된다. 즉, 각 영상 시퀀스의 선두에서 확률 모델이 기정치 또는 소정치로 초기화된다.
H.264/MPEG－4, H.264/MPEG－4 AVC, 및, HEVC는, 비디오 부호화층(VCL) 및 네트워크 추상화층(NAL)의 2개의 기능층을 가진다. 비디오 부호화층에 의해 부호화 기능이 제공된다. NAL은, 채널을 넘는 송신 및 기억 장치로의 저장 등의 용도에 따라, NAL 유닛으로 불리는 표준 단위로 정보 요소를 캡슐화한다. 이 정보 요소는, 예를 들면, 부호화 예측 오차 신호, 및, 영상 신호의 복호에 필요한 정보이다. 영상 신호의 복호에 필요한 정보란, 예측 타입, 양자화 파라미터 및 움직임 벡터 등이다.
NAL 유닛에는, 압축 영상 데이터와 관련 정보를 포함하는 VCL NAL 유닛과, 영상 시퀀스 전체에 관련된 파라미터 세트 등의 추가 데이터를 캡슐화하는 non－VCL 유닛과, 복호 정밀도의 개선에 이용하는 것이 가능한 추가 정보를 제공하기 위한 부가 확장 정보(SEI)가 있다.
예를 들면, non－VCL 유닛에는 파라미터 세트가 포함된다. 파라미터 세트란, 일정한 영상 시퀀스의 부호화 및 복호에 관한 복수의 파라미터의 세트이다. 예를 들면, 파라미터 세트에는, 영상 시퀀스(픽쳐 시퀀스) 전체의 부호화 및 복호에 관련된 파라미터를 포함하는 시퀀스 파라미터 세트(SPS)가 있다.
시퀀스 파라미터 세트는, 신택스 요소를 포함하는 신택스 구조를 가진다. 각 슬라이스 헤더에 포함되는 신택스 요소인 pic_parameter＿set＿id에 의해, 참조처의 픽쳐 파라미터 세트(PPS)가 지정된다. 또한, PPS에 포함되는 신택스 요소인 seq_parameter_set＿id에 의해, 참조처의 SPS가 지정된다. 이와 같이, SPS에 포함되는 신택스 요소는, 부호화 영상 시퀀스 전체에 적용된다.
PPS는, 영상 시퀀스에 포함되는 1매의 픽쳐의 부호화 및 복호에 적용되는 파라미터를 정의한 파라미터 세트이다. PPS는, 신택스 요소를 포함한 신택스 구조를 가진다. 각 슬라이스 헤더에 포함되는 신택스 요소인 pic＿parameter＿set＿id에 의해, 참조처의 픽쳐 파라미터 세트(PPS)가 지정된다. 이와 같이, SPS에 포함되는 신택스 요소는, 부호화 픽쳐 전체에 적용된다.
따라서, PPS보다도 SPS의 추적을 계속하는 쪽이 용이하다. 왜냐하면, PPS가 각 픽쳐에 대하여 변화하는데 대하여, SPS는, 몇분 또는 몇시간에 달할 가능성이 있는 영상 시퀀스 전체에 대하여 일정하기 때문이다.
VPS는, 최상위 계층의 파라미터이며, 복수의 영상 시퀀스에 관한 정보를 포함한다. VPS에 포함되는 정보는, 비트 레이트 및 영상 시퀀스의 temporal_layering 구조 등이다. 또한, VPS는, 층간 의존성(상이한 영상 시퀀스간의 의존성)에 관한 정보를 포함한다. 따라서, VPS는, 복수의 영상 시퀀스에 관한 정보로서 간주할 수 있고, VPS에 의해, 각 영상 시퀀스의 개요를 알 수 있다.
도 2는, H.264/MPEG－4 AVC 또는 HEVC 영상 부호화 규격에 준거한 화상 복호 장치(200)의 일례를 나타내는 블록도이다.
화상 복호 장치(200)에 입력된 부호화 신호(201)(비트 스트림)는, 엔트로피 복호부(290)에 이송된다. 엔트로피 복호부(290)는, 부호화 신호(201)를 복호함으로써, 양자화 계수와, 움직임 데이터 및 예측 모드 등의 복호에 필요한 정보 요소를 취득한다. 또한, 엔트로피 복호부(290)는, 얻어진 양자화 계수를, 이차원 행렬을 얻는 목적으로 역주사함으로써 양자화 계수(291)를 생성하여, 양자화 계수(291)를 역변환부(230)에 출력한다.
역변환부(230)는, 양자화 계수(291)를 역양자화 및 역변환함으로써 잔차 신호(231)를 생성한다. 잔차 신호(231)는, 양자화 노이즈가 없고, 오차가 생기지 않는 화상 부호화 장치에 입력된 입력 화상 신호로부터 예측 신호를 감산함으로써 얻어지는 차분에 상당한다.
예측부(280)는, 시간 예측 또는 공간 예측을 이용해 예측 신호(281)를 생성한다. 통상, 복호가 끝난 정보 요소는 인트라 예측의 경우에는 예측 타입 등의, 움직임 보상 예측의 경우에는 움직임 데이터 등의 예측에 필요한 정보를 더 포함한다.
가산기(240)는, 공간 도메인에 있어서의 잔차 신호(231)와, 예측부(280)에서 생성된 예측 신호(281)를 가산함으로써, 복호 화상 신호(241)를 생성한다. 디블로킹 필터(250)는, 복호 화상 신호(241)에 디블로킹 필터 처리를 행함으로써 복호 화상 신호(251)를 생성한다. 적응적인 루프 필터(260)는, 복호 화상 신호(251)에 샘플 적응 오프셋 처리, 및 적응적 루프 필터 처리를 행함으로써 복호 화상 신호(261)를 생성한다. 이 복호 화상 신호(261)는, 표시 화상으로서 출력됨과 더불어, 복호 화상 신호(271)로서 참조 프레임 버퍼(270)에 저장된다. 복호 화상 신호(271)는, 후속의 블록 또는 화상의 시간 또는 공간 예측에 사용된다.
H.264/MPEG－4 AVC와 비교하면, HEVC는, 부호화 및 복호의 고도의 병렬 처리를 보조하는 기능을 가진다. H.264/MPEG－4 AVC와 마찬가지로, HEVC에서는, 프레임을 복수의 슬라이스로 분할할 수 있다. 여기서, 각 슬라이스는, 주사순으로 연속하는 복수의 LCU를 포함한다. H.264/MPEG－4 AVC에 있어서, 슬라이스는 각각, 개개로 복호 가능하고, 슬라이스를 넘은 공간 예측은 행해지지 않는다. 따라서, 슬라이스 단위로, 병렬 처리가 가능하다.
그러나, 슬라이스는 매우 큰 헤더를 가지고 있고, 또한, 슬라이스간에 의존성이 없기 때문에, 압축의 효율이 저하한다. 또한, CABAC 부호화는, 작은 데이터 블록으로 행해지는 경우에 효율성이 손상된다.
이에 대하여, 보다 효율적인 병렬 처리를 가능하게 하기 위해, 파면 병렬 처리(WPP)가 제안되어 있다. WPP에서는, 픽쳐의 각 LCU행(이하, 간단히 「행」으로도 부른다)의 1번째의 LCU(선두의 LCU)의 리셋에 이용하는 CABAC 확률 모델로서, 전행의 2번째 LCU의 처리 후의 확률 모델이 이용된다. 이에 따라, 블록간의 의존성이 유지된다. 따라서, 복수의 LCU행의 병렬 복호가 가능해진다. 또한, 각 행의 처리는, 전행에 대하여, LCU 2개분 지연된다.
또한, LCU행의 복호를 개시하는 위치인 개시점을 나타내는 정보가 슬라이스 헤더에 포함되어 신호 전달된다. 또한, WPP의 상세에 대해서는, 비특허 문헌 1에 기재되어 있다.
병렬화 개선을 위한 별도의 수법으로서 타일을 이용하는 방법이 있다. 프레임(픽쳐)은, 복수의 타일로 분할된다. 각 타일은, 장방형이며, 복수의 LCU를 포함한다. 타일간의 경계는, 행렬상으로 픽쳐를 분할하도록 설정된다. 또한, 복수의 타일은, 래스터 스캔순으로 처리된다.
또한, 각 타일의 경계에 있어서 모든 의존성이 없어진다. CABAC 등의 엔트로피 부호화도, 각 타일의 선두에서 리셋된다. 또한, 디블로킹 필터 처리와 샘플 적응 오프셋 처리만이, 타일간의 경계를 넘어서 적용된다. 따라서, 복수의 타일을 병렬로 부호화 또는 복호할 수 있다. 또한, 타일의 상세에 대해서는, 비특허 문헌 2 및 비특허 문헌 3에 기재되어 있다.
또한, 슬라이스의 개념을, H.264/MPEG－4 AVC에 있어서의 슬라이스 본래의 목적인 오류 내성보다도, 병렬화에 적합한 개념으로 하기 위해, 의존 슬라이스 및 엔트로피 슬라이스의 개념이 제안되어 있다. 즉, HEVC에서는, 통상 슬라이스, 의존 슬라이스, 및, 엔트로피 슬라이스의 3개의 슬라이스가 이용된다.
통상 슬라이스는, H.264/MPEG－4 AVC에 의해 이미 알려져 있는 슬라이스이다. 통상 슬라이스간에서는 공간 예측은 할 수 없다. 즉, 슬라이스간의 경계를 넘은 예측은 할 수 없다. 바꾸어 말하면, 다른 슬라이스를 참조하지 않고, 통상 슬라이스는 부호화된다. 이러한 슬라이스의 복호를 따로 따로 행할 수 있도록, CABAC는 각 슬라이스의 선두에서 리스타트된다.
또한, 프레임의 선두에는, 통상 슬라이스가 이용된다. 즉, 각 프레임은 통상 슬라이스로부터 개시해야 한다. 통상 슬라이스는, 슬라이스 데이터의 복호에 필요한 파라미터를 포함하는 헤더를 가진다.
엔트로피 슬라이스는, 친(親)슬라이스와 엔트로피 슬라이스의 사이에서 공간 예측이 가능한 슬라이스이다. 여기서, 친슬라이스란, 예를 들면, 엔트로피 슬라이스 직전의 통상 슬라이스이다. 친슬라이스 및 엔트로피 슬라이스의 해석은, 독립하여 행해진다.
또한, 슬라이스 데이터의 해석은, 슬라이스 헤더의 신택스 요소를 제외하고는, 친슬라이스와 엔트로피 슬라이스에서 독립하여 행해진다. 즉, 엔트로피 슬라이스의 CABAC 복호 처리에는, 친슬라이스의 슬라이스 헤더에 포함되는 신택스 요소가 필요하다. 예를 들면, 이 신택스 요소는, 슬라이스 데이터가 필터링 파라미터를 포함하는지 여부를 나타내는 전환 정보를 포함한다. 슬라이스 데이터에 필터링 파라미터가 존재하는 경우, CABAC 복호부는 그 정보를 추출한다. 존재하지 않는 경우, CABAC 복호부는, 필터링 데이터를 상정하지 않는다. 즉, 통상 슬라이스의 슬라이스 헤더를 해석 후, CABAC 복호부는, 친슬라이스와 엔트로피 슬라이스를 병렬하여 처리할 수 있다.
그러나, 친슬라이스는, 예를 들면 통상 슬라이스여도 되고, 엔트로피 슬라이스의 화소치의 재구축에 필요해진다. 또한, 엔트로피 슬라이스가 독립 해석할 수 있도록, 슬라이스의 선두에서 CABAC도 리스타트된다.
엔트로피 슬라이스에, 통상 슬라이스의 슬라이스 헤더보다 짧은 슬라이스 헤더를 이용할 수 있다. 슬라이스 헤더에는, 통상 슬라이스의 헤더 내에서 송신되는 정보에 관한 부호화 파라미터 서브 세트가 포함된다. 엔트로피 슬라이스의 헤더에 포함되지 않는 정보는, 친슬라이스의 헤더로부터 카피된다.
의존 슬라이스는, CABAC가 리스타트되지 않는 엔트로피 슬라이스와 유사하다. CABAC의 리스타트란, 컨택스트 테이블(확률 테이블)을 디폴트치로 초기화하는 처리와, 산술 부호화 처리 또는 산술 복호 처리에 있어서의 종단 처리(터미네이트 처리)를 포함한다.
친슬라이스의 헤더는, 의존 슬라이스의 해석 및/또는 복호에 이용된다. 따라서, 친슬라이스없이 의존 슬라이스를 해석할 수 없기 때문에, 친슬라이스를 취득하고 있지 않은 경우, 의존 슬라이스를 복호할 수 없다. 친슬라이스는 통상, 부호화순에 있어서 의존 슬라이스의 선행 슬라이스이며, 완전한 슬라이스 헤더를 포함하는 슬라이스이다. 이는, 엔트로피 슬라이스의 친슬라이스라도 동일하다.
일반적으로, 엔트로피 슬라이스는, 다른 슬라이스의 헤더 파라미터에 의존하고 있다고 간주할 수 있으므로, 의존 슬라이스 및 엔트로피 슬라이스의 양쪽에 본 발명을 적용하는 것이 가능하다.
이상과 같이, 의존 슬라이스 및 엔트로피 슬라이스는, 슬라이스의 부호화순에 있어서의 직전 슬라이스의 슬라이스 헤더(의존 슬라이스의 헤더에 포함되지 않는 정보)를 이용한다. 이 룰은 귀납적으로 적용된다. 대상 의존 슬라이스가 의존하는 친슬라이스가 참조 가능하다고 인식된다. 참조에는, 슬라이스간의 공간 예측 및 공통 CABAC 상태 등의 이용이 포함된다. 의존 슬라이스는, 직전 슬라이스의 종단에서 생성되는 CABAC 컨택스트 테이블을 이용한다. 이와 같이, 의존 슬라이스는, CABAC 테이블을 디폴트치로 초기화하지 않고, 작성이 끝난 테이블을 계속하여 이용한다. 또한, 엔트로피 슬라이스 및 의존 슬라이스에 관해서는, 비특허 문헌 3에 기재되어 있다(예를 들면, 제73페이지의 「dependent＿slice_flag」등을 참조).
WPP가 이용되는 경우, 의존 슬라이스가 LCU행의 선두에서 시작되고, 또한, 해당 선두의 LCU의 우측 상부의 LCU를 포함하는 슬라이스가 참조 가능하게 나타나면, 의존 슬라이스는, 우측 상부의 LCU의 CABAC 컨택스트 테이블을 이용한다.
HEVC는, 몇개의 프로파일을 제시한다. 프로파일은, 특정 어플리케이션에 적합한 화상 부호화 장치 및 화상 복호 장치의 설정을 포함한다. 예를 들면, 「주요 프로파일」은, 통상 슬라이스 및 의존 슬라이스만을 포함하고, 엔트로피 슬라이스를 포함하지 않는다.
상술한 것처럼, 부호화 슬라이스는, NAL 유닛에 캡슐화되고, 또한, 예를 들면 실시간 프로토콜(RTP)에 캡슐화되어, 최종적으로 인터넷 프로토콜(IP) 패킷에 캡슐화된다. 이 프로토콜 스택 또는 다른 프로토콜 스택에 의해, 인터넷 또는 고유 네트워크 등의 패킷 지향형 네트워크에 있어서, 부호화 영상의 송신이 가능해진다.
전형적으로, 네트워크는 적어도 1개 이상의 루터를 포함하고, 루터는 초고속으로 동작하는 전용 하드웨어로 구성된다. 루터는, IP 패킷을 수신하여 IP 패킷의 헤더를 해석하고, 적절히 IP 패킷을 각각의 행선지에 전송하는 기능을 가진다. 루터는, 대부분의 소스로부터의 통신을 처리할 필요가 있으므로, 로직을 제어하는 패킷은 가능한한 심플하지 않으면 안된다. 루터는, 적어도, IP 패킷을 전송하는 경로를 결정하기 위해, IP 헤더에 포함되는 행선지 어드레스 필드를 확인할 필요가 있다. 서비스 품질(QoS)에 대한 서포트를 한층 더 제공하기 위해, 스마트(미디어·어웨어) 루터는, IP 헤더, RTP 헤더, 및 NALU 헤더 등의 네트워크·프로토콜 헤더에 있어서의 전용 필드를 추가적으로 확인한다.
영상 부호화에 관한 상기의 기재로부터 알 수 있듯이, 의존 슬라이스 및 엔트로피 슬라이스 등, 병렬 처리를 위해서 정의된 상이한 타입의 슬라이스는, 데이터가 결핍한 경우의 화질의 저하에 대한 중요성이 다르다. 친슬라이스없이, 의존 슬라이스를 해석 및 복호할 수 없다. 왜냐하면, 의존 슬라이스의 선두에서, 엔트로피 부호화부 또는 엔트로피 복호부를 리스타트 할 수 없기 때문이다. 따라서, 화상 또는 영상을 재구축하는데 있어, 친슬라이스는 보다 중요하다고 할 수 있다.
HEVC에 있어서, 의존 슬라이스 및 엔트로피 슬라이스는, 의존성의 보완적인 측면으로서, 슬라이스간의 의존성(프레임 내의 의존성)을 도입하고 있다. 이 의존성은, 프레임 내의 유일한 의존성은 아니다.
또한, 타일마다 슬라이스의 병렬 처리를 행하기 위해, 산술 부호화부 및 산술 복호부의 컨택스트는, 디폴트의 설정에 의해, 또는, 부호화 완료 혹은 복호가 끝난 슬라이스에 의거하여, 결정된다. 그러나, 헤더의 의존성과, 산술 부호 초기화의 의존성과는 상이하므로, 병렬 처리 및 의존 슬라이스의 메카니즘의 목적에 반하여, 지연이 생기거나 복잡함이 증가할 가능성이 있다.
의존 슬라이스는, WPP 또는 타일 등의 병렬 처리 툴과 함께 이용할 수 있다. 또한, 의존 슬라이스를 이용함으로써, 부호화 손실을 일으키지 않고 전송 지연을 삭감하는 것이 가능한 웨이브 프론트(서브 스트림)를 생성할 수 있다.
또한, 의존 슬라이스에서는 CABAC가 리스타트되지 않기 때문에, 의존 슬라이스를 CABAC 서브 스트림의 개시점으로서 이용할 수 있다. 또한, 독립된 해석의 개시점을 나타내므로, 해당 개시점을 나타내는 정보를 비트 스트림에 포함해 전달해도 된다. 특히, 2개 이상의 CABAC 서브 스트림을 통상 슬라이스 또는 의존 슬라이스에 캡슐화하는 경우, 서브 스트림마다의 바이트수를 이용해 명시적으로 개시점을 신호 전달한다. 여기서, 서브 스트림은, 개시점에 의해 따로 따로 해석 가능한 스트림의 일부분을 나타낸다. 또한, 각 의존 슬라이스는 NAL 유닛의 헤더를 필요로 하므로, 개시점의 「마커」로서 의존 슬라이스를 이용할 수 있다. 즉, 그러한 마커에 대한 개시점을 신호 전달할 수 있다.
신호에 의해 명시적으로 개시점을 통지하는 방법과, 의존 슬라이스를 통하여 개시점을 마킹하는 방법과는 동시에 이용할 수 있다. 여기서, 각 NAL 유닛의 개시점(각 NAL 헤더의 선두)을 특정할 수 있을 필요가 있다. 또한, 특정 방법에 관해서는, 임의의 방법을 이용할 수 있다. 예를 들면, 이하의 2개의 방법을 이용할 수 있다.
첫번째 방법은, 각 NAL 헤더의 선두에, 예를 들면, 3바이트의 스타트 코드를 삽입하는 방법이다. 두번째 방법은, 각 NAL 유닛을 각각 다른 패킷으로 패킷화하는 방법이다. 또한, 슬라이스의 의존성을 위해, 슬라이스 헤더의 사이즈를 축소해도 된다.
이들 방법에 의해, 엔트로피 슬라이스에 대하여 병렬 CABAC 해석이 가능해진다. 이는, 엔트로피 슬라이스의 선두에서 CABAC가 반드시 리스타트되기 때문이다. CABAC의 병렬 처리에서는, 연속하는 화소 구축 처리 후의 병렬 CABAC 해석에 의해 장해를 극복할 수 있다. 구체적으로는, WPP 병렬화 툴에 의해, 각 LCU행의 복호 처리를 1개의 처리 코어에 의해 실현할 수 있다. 또한, 각 코어에의 LCU행의 할당은 상이해도 된다. 예를 들면, 1개의 코어에 2행이 할당되어도 되고, 2개의 코어에 1행이 할당되어도 된다.
도 3a는, 복수의 행으로 분할된 픽쳐(300)를 나타내는 도면이다. 각 행은, 복수의 최대 부호화 단위(LCU)를 포함한다. 행(301)(Wavefront 1) 및 행(302)(Wavefront 2)은, 병렬로 처리되는 대상이다. 도 3a의 CABAC 상태(CABAC states)의 화살표로 나타내는 바와 같이, 행(301)에 있어서 최초의 2개의 LCU가 복호된 후, 행(302)의 처리가 시작된다. 또한, 행(301)의 최초의 2개의 LCU를 부호화 또는 복호한 후의 CABAC 상태가, 행(302)의 CABAC 초기화 시에 이용된다. 따라서, 행(302)의 처리는, 행(301)의 최초의 2개의 LCU의 처리가 종료한 후에 개시 가능하다. 즉, 2개의 처리 코어의 사이에서 LCU 2개분의 지연이 존재한다.
도 3b는, WPP를 이용한 의존 슬라이스의 사용예를 나타내는 도면이다. 도 3b에 나타내는 픽쳐(310)는, 행(311~314)을 포함한다. 여기서, 행(311)(Wavefront 1), 행(312)(Wavefront 2), 및 행(313)(Wavefront 3)은, 별도의 코어로 처리된다.
의존 슬라이스는, 지연을 개선할 수 있는 WPP를 형성한다. 의존 슬라이스에는 완전한 슬라이스 헤더가 없다. 또한, 개시점(또는, 상술한 것과 같은 룰로 알려진, 의존 슬라이스의 개시점)을 알고 있으면, 다른 슬라이스와는 독립하여 의존 슬라이스를 복호할 수 있다. 또한, 의존 슬라이스는, 부호화 손실을 일으키지 않고, 저지연 어플리케이션에도 적합한 WPP를 형성할 수 있다.
서브 스트림(LCU행)을 슬라이스로 캡슐화하는 통상의 케이스에서는, 확실히, 엔트로피 부호화 및 복호를 병렬로 행하기 위해서는 명확한 개시점을 슬라이스 헤더에 삽입할 필요가 있다. 이 때문에, 슬라이스의 최후의 서브 스트림이 완전하게 부호화되고 비로소, 슬라이스의 전송 준비가 완성된다. 또한, 슬라이스 중의 모든 서브 스트림의 부호화가 완료하고 비로소 슬라이스 헤더는 완성된다. 즉, 슬라이스 전체의 처리가 끝날 때까지, RTP/IP층의 패킷 플래그 멘테이션을 통하여 슬라이스 선두의 전송을 개시할 수 없다.
그러나, 의존 슬라이스가 이용되는 경우에는, 의존 슬라이스를 개시점 마커로서 이용할 수 있으므로, 개시점의 명시적인 신호에 의한 통지는 필요없다. 따라서, 부호화 손실없이 통상 슬라이스를 대부분의 의존 슬라이스로 분할할 수 있다. 또한, 캡슐화된 서브 스트림의 부호화가 완료되면 바로(또는, 패킷 플래그 멘테이션의 경우는, 그보다 빨리), 의존 슬라이스를 전송할 수 있다.
또한, 의존 슬라이스는, 공간 예측의 의존성을 약하게 하지 않는다. 또한, 의존 슬라이스는 해석 의존성도 약하게 하지 않는다. 왜냐하면, 대상 의존 슬라이스의 해석에는 통상, 선행 슬라이스의 CABAC 상태를 필요로 하기 때문이다.
의존 슬라이스가 허가되지 않는 경우, 각 LCU행을 슬라이스로 할 수 있다. 그러한 구성은 전송 지연을 개선하지만, 동시에, 상술한 것처럼 큰 부호화 손실이 발생하게 된다.
프레임(픽쳐) 전체를 1개의 슬라이스로 캡슐화하는 경우를 상정한다. 이 경우, 병렬 해석을 가능하게 하기 위해, 슬라이스 헤더에 서브 스트림(LCU행)의 개시점을 신호에 의해 전달할 필요가 있다. 이에 따라 프레임 레벨로 전송 지연이 발생한다. 즉, 프레임 전체를 부호화한 후, 헤더를 수정할 필요가 있다. 픽쳐 전체를 1개의 슬라이스로 캡슐화하는 것 자체는, 전송 지연을 악화시키지 않는다. 예를 들면, 부호화가 완전하게 끝나기 전에, 슬라이스 일부의 전송을 개시해도 된다. 그러나, WPP를 이용하는 경우, 개시점을 기록하기 위해서 슬라이스 헤더를 후에 수정할 필요가 있다. 따라서, 슬라이스 전체의 전송을 지연시킬 필요가 있다.
이와 같이, 의존 슬라이스의 사용에 의해, 지연을 삭감할 수 있다. 도 3B에 나타내는 바와 같이, 픽쳐(310)는, 통상 슬라이스인 행(311), 의존 슬라이스인 행(312, 313 및 314)으로 분할된다. 각 행이 1개의 의존 슬라이스인 경우, 부호화 손실없이, 1개의 행의 전송을 지연시킬 수 있다. 이는, 의존 슬라이스가, 공간 의존을 약하게 하지 않고, 또한 CABAC 엔진을 리스타트하지 않기 때문이다.
도 4a 및 도 4b는, CABAC 초기화의 다른 예를 나타내는 도면이다. 도 4a는, WPP를 이용하지 않는 경우의 CABAC의 초기화가 나타나 있다. 또한, WPP 및 타일의 양쪽이 이용되지 않는다. 또한, 통상 슬라이스 및 의존 슬라이스를 함께 이용하는 것이 인식된다.
의존 슬라이스(3)는, 통상 슬라이스(2)로부터 헤더를 카피한다. 즉, 통상 슬라이스(2)는, 의존 슬라이스(3)의 친슬라이스이다. 의존 슬라이스(3)는, 통상 슬라이스(2)의 종단에서 생성된 컨택스트 테이블을 이용한다. 의존 슬라이스(3)는, 통상 슬라이스(1)가 아니라, 통상 슬라이스(2)에 의존한다. 즉, 통상 슬라이스(1)와 의존 슬라이스(3)의 사이에는, 공간 예측은 존재하지 않는다.
도 4b는, WPP를 이용하는 경우의 CABAC의 초기화를 나타내는 도면이다. 통상 슬라이스, 의존 슬라이스, 및, WPP를 함께 이용하는 것이 인식되고 있다.
의존 슬라이스(3)는, 통상 슬라이스(2)의 헤더를 카피한다. 의존 슬라이스(3)는, 통상 슬라이스(1)의 2번째 LCU의 종단에서 생성된 컨택스트 테이블을 이용하는 것이 예상된다. 그러나, 슬라이스(2)가 통상 슬라이스이므로, 슬라이스(1)의 2번째 LCU는 참조할 수 없는 것이 나타난다. 즉, 슬라이스(1)는, 부호화 순서에 있어서 의존 슬라이스 직전의 선행 슬라이스는 아니므로, 참조되지 않는다.
그러나, 슬라이스(2)는, 슬라이스(3) 및 (4)의 참조 슬라이스로서 이용된다. 즉, 슬라이스(3)의 복호를 개시할 때, CABAC 상태는 디폴트치로 초기화될 필요가 있다(도 4B에, 점선의 화살표로 나타나 있다). 의존 슬라이스(4)는, 상술한 것과 같은 WPP의 조건에 따르는 우측 상부의 제2의 LCU 후의 CABAC 상태(실선의 화살표)를 이용한다.
도 5는, 현재의 HEVC 참조 모델(HM 8.0)에 준거하는 슬라이스 헤더의 신택스예를 나타내는 도면이다. 슬라이스 헤더(320)는, 대상 슬라이스가 의존 슬라이스인지, 통상 슬라이스인지를 나타내는 신택스 요소 dependent_slice_flag를 포함한다.
도 5의 행(321)으로부터 알 수 있듯이, dependent_slice_flag가 0과 동등한 경우, 헤더는 슬라이스 헤더 정보를 포함한다. 즉, 슬라이스가 완전한 헤더를 가진다. 그렇지 않은 경우, 헤더는 슬라이스 헤더 정보를 포함하지 않는다. 즉, 상술한 것처럼, 의존 슬라이스 및 엔트로피 슬라이스는, 완전한 슬라이스 헤더를 가지지 않고, 선행의 통상 슬라이스의 헤더를 참조한다.
병렬 처리를 서포트하기 위해, 개시점이 후에 신호로 전해진다. 엔트로피 부호화부 또는 엔트로피 복호부가 리스타트되지 않는 경우에도, 이 개시점을 이용하여, 개시점간의 영상 스트림(서브 스트림)의 일부에 대하여, 병렬 복호를 독립하여 행할 수 있다. 상술한 것처럼, 의존 슬라이스, 통상 슬라이스, 및, 엔트로피 슬라이스에 대해서도, 개시점이 마크된다.
HEVC에 있어서, 몇 개의 병렬 처리 툴이 있다. 상술한 것처럼, 이 툴은, WPP, 의존 슬라이스, 엔트로피 슬라이스, 및 타일이다. 그러나, 이들 툴은 호환성이 없는 것도 있으므로, 이들을 조합한 이용에는 제한이 있다. 일반적으로, 타일과 슬라이스를 함께 이용하는 것은 인정되고 있다.
다만, 주요 프로파일에 있어서, 1개의 슬라이스를 1이상의 정수개의 타일로 분할하지 않으면 안되고, 또한, 1개의 타일을 1이상의 정수개의 슬라이스로 분할하지 않으면 안된다는 제한이 있다. 전형적으로, 이 제한은 특정 프로파일(또는, 프로파일의 특정 레벨)에 적용된다. 이 제한의 목적은, 하드웨어 실행의 복잡함을 저감시키는 것이다.
PPS의 entropy＿coding＿sync＿enabled＿flag가 1과 동등하고(즉, WPP가 사용되고), 슬라이스에 포함되는 1번째 부호화 블록이, 타일의 부호화 트리 블록으로 구성되는 행의 1번째 부호화 트리 블록의 1번째 부호화 블록이 아닌 경우, 비트 스트림이 규격에 적합하는 조건은, 슬라이스 최후의 부호화 블록이, 슬라이스의 1번째의 부호화 블록과 동일한 부호화 트리 블록행에 속하는 것이다. 부호화 트리는, LCU의 구조, 및, LCU를 각각 다시 4블록으로 귀납적으로 분할하는 것을 나타낸다. 즉, WPP가 가능한 경우, 그리고, 대상 LCU행의 선두로부터 슬라이스가 개시되지 않는 경우, 슬라이스는, 대상 LCU행의 종단 또는 그보다 전에 종료하지 않으면 안된다. 또한, 병렬 처리 수단뿐만 아니라 HEVC 신택스에 관한 상세도, 비특허 문헌 3에 기재되어 있다.
이 제한을, 도 6을 이용하여 설명한다. 도 6에 나타내는 픽처(330)는, 통상 슬라이스인 슬라이스(331, 332 및 333)를 포함한다. 슬라이스(331 및 332)는, 1개의 LCU행에 포함된다. 슬라이스(333)는, 복수의 LCU행(이 예에서는 3행)에 걸쳐져 있기 때문에, 허가되지 않는 슬라이스이다. 상기의 제한에 따라, 슬라이스(333)는, 제1 LCU행의 종단에서 끝나지 않으면 안된다.
도 7은, WPP를 이용하는 경우의, 허가되는 슬라이스 구조를 가지는 픽처(340)를 나타내는 도면이다. 픽처(340)는, 통상 슬라이스인 슬라이스(341, 342 및 343)와, 의존 슬라이스인 슬라이스(344)를 포함한다. 이들 슬라이스(341, 342 및 343)는, 1행째의 LCU행에 포함된다. 슬라이스(344)는, 다음의 2행을 포함한다.
슬라이스(344)는 의존 슬라이스이므로, 슬라이스(344)에 대한 CABAC 초기화는, 다른 슬라이스(341, 342 및/또는 343)에 의존한다. 슬라이스(342 및 343) 중어느 하나가 도 7에 나타내는 바와 같이 통상 슬라이스인 경우, 슬라이스(344)는 디폴트의 CABAC 상태로 초기화된다. 그렇지 않은 경우는, WPP 테이블이 이용된다. 즉, 대상행 위의 LCU행의 2번째 LCU 처리 후의 CABAC 상태가 초기화에 이용된다.
이 예에서는, 도 4B 및 상술한 CABAC 초기화의 관련 기재에 있어서 기술한 것처럼, 의존 슬라이스(344)에 대한 CABAC는, 미리 정해진 디폴트의 CABAC 상태를 이용하여 초기화된다.
이와 같이, CABAC 초기화는, 복수의 선행 슬라이스에 의거한다. 따라서, 대상 슬라이스의 처리, 특히 해석에 대해서는, 복수의 다른 슬라이스에 의존한다. 구체적으로는, 대상 슬라이스의 선행 슬라이스의 종류에 따라, CABAC 텍스트가 디폴트치 및 WPP치의 어느쪽에서 초기화되는지 결정된다. 이와 같이, 선행 슬라이스를 이용 가능한지 여부가 확인되어, 대상 슬라이스에 적용하는 초기화 방법이 결정된다. 즉, 꽤 복잡한 순서의 처리가 필요하다. 이하, 이에 대하여 상세하게 설명한다.
제1의 슬라이스(341)가 적어도 2개의 LCU를 가지므로, 최초의 2개의 LCU를 부호화 또는 복호한 후의 CABAC 상태를 참조하는 것이 가능하다.
또한, 슬라이스(342) 또는 슬라이스(343)를 잃게 된 경우, 슬라이스(344)를 정확하게 복호할 수 없다. 왜냐하면, 슬라이스(342) 또는 슬라이스(343)의 종류를 모르기 때문에, CABAC 초기화할 수 없기 때문이다. 즉, 2개의 선행 슬라이스에 관한 정보만이 결핍하여, 슬라이스(344)를 올바르게 취득할 수 있는 경우라도, 슬라이스(344)에 대한 CABAC의 초기화를 할 수 없기 때문에, 올바르게 취득한 슬라이스(344)의 데이터를 버리게 된다. 따라서, 슬라이스(344)에 대하여, 오류 은폐가 필요해진다. 이에 따라, 불완전한 오류 은폐에 의한 일그러짐이 원인이 되어 화질이 저하할 가능성이 있다.
여기서, 슬라이스 헤더에 있어서, 신택스 요소의 대부분(이들은 주로, 특정 필터링 조작 등의 제어의 전환이다)은, 프레임에 포함되는 모든 슬라이스에 대하여 결정될 필요가 있다. 또한, 그 중에는 슬라이스마다 변경 가능한 신택스 요소도 있지만, 화상 부호화 장치에 의한 대부분의 처리에서는, 프레임 전체에 대하여 결정된 제어 파라미터가 모두 유지된다. 따라서, 오류 은폐하는 방법으로서 이하의 방법을 이용할 수 있다. 이 방법에서는, 잃어버린 슬라이스가 의존 슬라이스였는지, 통상 슬라이스였는지의 정보만이 필요해진다.
또한, 순서가 흐트러져 패킷이 도착하는 경우, 복호 지연은 악화된다. 즉, 패킷의 재배열이 예상되는 경우에는, 복호 지연이 악화될 가능성이 있다. 이는, WPP의 기본적인 목적인, 의존 슬라이스에 의해 초저 지연을 제공하는 것과 모순된다.
도 8은, CABAC 초기화 처리의 다른 예를 나타내는 도면이다. 도 8에서는, 도 7에 나타내는 슬라이스의 구조를 상정하고 있다. 도 8에 나타내는 픽처(350)는, 슬라이스(351)와 슬라이스(354)를 포함한다. 슬라이스(351)는, 통상 슬라이스이며, 프레임 중의 1번째 슬라이스이며, 4개의 LCU를 포함한다. 프레임의 선두에 있어서, 즉, 슬라이스(351)의 선두에 있어서, CABAC는 디폴트 상태치(제로 상태)로 초기화된다. 또한, 복수의 디폴트 상태가 존재해도 되고, 이 경우, 복수의 디폴트 상태로부터, 1개의 디폴트 상태가 선택된다. 또한, 디폴트 상태란, 산술 부호의 확률 모델의 소정치이다.
의존 슬라이스(354)에 속하는 데이터를 취득해도, 결핍 또는 에러에 의해 슬라이스(342) 및 슬라이스(343)(도 7 참조)의 데이터가 없는 경우는, 슬라이스(354)를 복호하는 것은 불가능하다. 왜냐하면, 상술한 것처럼, 슬라이스(342 및 343)의 정보없이, CABAC 엔진을 초기화할 수 없기 때문이다.
도 9는, 의존 슬라이스(354)가 취득되었을 때에 행해지는, 초기화 방법의 결정 처리의 플로우 차트이다. 바꾸어 말하면, 이 플로우 차트는, CABAC 초기화의, 2개 이상의 슬라이스에의 의존 방법을 나타낸다.
슬라이스(4)(의존 슬라이스(354))에 대하여 이하의 조건이 설정되는 것이 상정된다. WPP가 가능하다. SPS의 dependent＿slice＿enabled＿flag가 1에 설정되어 있다. 슬라이스(4)의 위치가 (식 1)을 만족한다.
slice＿address % numLCUinRow=0 …(식 1)
여기서, 「%」는, 모듈로 연산(정수 나눗셈의 나머지)이다. 파라미터 numLCUinRow는, 픽처(350)의 1행당 LCU의 수를 나타낸다. 따라서, (식 1)의 조건은, 행의 선두에서 만족된다. 파라미터 numLCUinRow는, SPS의 설정으로부터 도출할 수 있다.
우선, 슬라이스(4)가 의존 슬라이스인지 여부가 판정된다(S101). 슬라이스(4)가 의존 슬라이스가 아닌 경우(S101에서 No), 디폴트의 초기화가 행해진다.
도 8에 나타내는 바와 같이, 슬라이스(4)가 의존 슬라이스인 경우(S101에서 Yes), i가 3에 설정된다(S102). 즉, 슬라이스(4) 직전의 슬라이스(3)가 슬라이스(i)에 설정된다.
다음에, 슬라이스(i)가, 슬라이스(4)의 1행상으로부터 개시되어 있는지 여부가 판정된다(S103). 여기서는, i가 3에 설정되어 있기 때문에, 슬라이스(i)는, 처리 대상의 의존 슬라이스(슬라이스(4)) 직전의 슬라이스(3)이다.
슬라이스(i)가, 슬라이스(4)의 1행상으로부터 개시하고 있지 않은 경우(S103에서 No), WPP의 초기화(WPP 테이블을 이용한 초기화)가 행해진다(S107).
한편, 슬라이스(i)가, 슬라이스(4)의 1행상으로부터 개시하고 있는 경우(S103에서 Yes), 즉 도 8에 나타내는 케이스인 경우, 슬라이스(i)가 의존 슬라이스인지 여부가 판정된다(S104).
슬라이스(i)가 의존 슬라이스가 아닌 경우(S104No), 다음에, 슬라이스(i)의 개시 위치가 분석된다. 구체적으로는, slice＿address % numLCUinRow가 2보다 작은지 여부가 판정된다(S106). 즉, 슬라이스(i)의 개시 위치가, 행 선두 또는 2번의 LCU인지가 판정된다.
slicea＿ddress % numLCUinRow가 2보다 작은 경우(S106에서 Yes), WPP의 초기화가 행해진다(S107). 한편, slice＿address % numLCUinRow가 2이상인 경우(S106에서 No), 디폴트의 초기화가 행해진다(S108).
또한, 슬라이스(i)가 의존 슬라이스인 경우(S104에서 Yes), 슬라이스(i)의 개시 위치가 분석된다. 구체적으로는, slice＿address % numLCUinRow가 3보다 작은지 여부가 판정된다(S105). 즉, 슬라이스(i)의 개시 위치가, 행 선두, 2번, 또는 3번째의 LCU 인지가 판정된다.
slice＿address % numLCUinRow가 3보다 작은 경우(S105에서 Yes), WPP의 초기화가 행해진다(S107). 한편, slice＿address % numLCUinRow가 3이상인 경우(S105에서 No), 초기화는 행해지지 않고, 인덱스(i)가 1감소한다(S109). 즉, 이 예에서는, 대상 슬라이스(슬라이스(4))의 2개 전의 슬라이스(2)가 슬라이스(i)에 설정된다. 그리고, 슬라이스(2)에 대하여 단계 S103 이후의 처리가 행해진다. 또한, 슬라이스(2)에 대해서도 동일한 판정이 행해진 경우에는, 다음에, 슬라이스(1)가 슬라이스(i)에 설정된다.
도 10은, 픽처(360)를 나타내는 도면이다. 픽처(360)는 5개의 슬라이스(361~365)를 포함한다. 슬라이스(361)는 통상 슬라이스이며, 1행째 전체를 포함한다. 슬라이스(362)는, 의존 슬라이스이며, 2행째 전체를 포함한다. 3행째는, 의존 슬라이스(363) 및 슬라이스(364)를 포함한다. 슬라이스(365)는 의존 슬라이스이며, 4행째 전체를 포함한다.
이하에서는, 슬라이스(364)를 잃어버린 경우, 또는 슬라이스(364)가 지연된 경우에 있어서, 슬라이스(364)가 의존 슬라이스인 경우, 및 슬라이스(364)가 통상 슬라이스인 경우의 각 케이스에 대하여 검토한다. 또한, 여기서는, 슬라이스(363)가 적어도 2개의 LCU를 가진다.
슬라이스(364)를 잃게된 경우, 화상 복호 장치는, 슬라이스(364)의 종별을 판별할 수 없다. 잃게된 슬라이스(364)가 의존 슬라이스인 경우, 재구축 처리에 있어서, 미소한 오차로, 슬라이스(365) 및 그 이후의 슬라이스의 복호를 계속하는 것이 가능하다. 왜냐하면, 도 8 및 9를 이용해 설명한 것처럼, 슬라이스(365)는, 슬라이스(363)의 2번째 LCU의 CABAC 상태를 이용하기 때문이다. 따라서, CABAC 초기화 처리에서는 에러가 발생하지 않는다. 그러나, 슬라이스(365)가 슬라이스(364)로부터의 공간 예측을 이용하므로, 화소 재구축 처리에서는 에러가 발생할 가능성이 있다.
한편, 잃어버린 슬라이스(364)가 통상 슬라이스인 경우, 슬라이스(365)를 복호 할 수 없다. 왜냐하면, 신택스 요소 중에는, 잃어버린 슬라이스(364)의 슬라이스 헤더의 정보를 이용하는 것이 있을 지도 모르기 때문이다. 즉, 통상 슬라이스(364)가 의존 슬라이스(365)의 친슬라이스이며, 의존 슬라이스(365)의 해석 및 복호에 친슬라이스의 정보가 필요하기 때문이다.
잃어버린 슬라이스(364)에 있어서의 슬라이스의 종별을 모르는 경우, 잃어버린 슬라이스(364)가 통상 슬라이스인 경우에 일어날 수 있는 잘못된 복호를 피하기 위해, 화상 복호 장치는 복호 가능한 슬라이스(365)를 버리게 된다. 이는, 올바르게 슬라이스(365)의 데이터를 취득한 경우에도 슬라이스(365)를 버리게 되므로 비효율적이다. 또한, 슬라이스(365)에 계속되는 의존 슬라이스도 모두 버릴 필요가 있다.
슬라이스(364)가 통상 슬라이스인 경우, 슬라이스(365)의 복호를 위해, CABAC 엔진이 디폴트의 CABAC치로 초기화된다(도 9의 S101에서 No인 경우를 참조). 따라서, 슬라이스(365)는 슬라이스(363)에 의존하지 않는다. 또한, 슬라이스(363)와 슬라이스(365) 사이의 공간 예측도 행해지지 않는다. 이와 같이, 슬라이스(365)의 개시 위치에 있어서 CABAC가 디폴트치로 초기화되므로, 의존 슬라이스(365)는 통상 슬라이스와 유사하다.
그러나, 통상 슬라이스는 완전한 슬라이스 헤더를 가지고 있다. 한편, 슬라이스(365)는, 짧은 슬라이스 헤더만을 가지고, 선행의 통상 슬라이스의 슬라이스 헤더에 의해 설정되는 파라미터에 의존한다. 즉, 슬라이스(365)가 의존 슬라이스인 경우, 헤더의 사이즈를 작게 할 수 있다고 하는 이점이 있지만, 이 이점은 그다지 크지 않다. 한편으로, 슬라이스(365)가 통상 슬라이스인 경우에는, 슬라이스(365)를 복호할 수 있다. 이와 같이, 상기 케이스에서는, 슬라이스(365)를 의존 슬라이스로 설정하는 것보다도, 통상 슬라이스로 설정하는 편이 이점이 컸다고 생각된다.
그러나, WPP에 있어서, 의존 슬라이스는, 손실에 대한 로버스트성을 확실하게 하는 것이 목적이 아니라, 초 저지연에서의 WPP 조작을 가능하게 하는 것을 목적으로 하고 있다. 한편, 실시간의 어플리케이션 등 네트워크를 초과한 초 저지연 어플리케이션의 경우에는, 패킷 손실 및 패킷의 재배열이 예상된다. 이러한 경우에는, 최종적으로 슬라이스(364)를 취득할 수 있으면, 슬라이스(365)를 복호할 수 있다. 그러나, 적어도 지연의 악화 및 패킷의 손실을 일으키게 된다. 따라서, 손실이 많은 환경에 있어서는, WPP는 최적이 아닌 상태에서 행해지게 된다.
도 11은, WPP를 이용하는 경우의 CABAC 초기화에 관련된 다른 과제를 나타내기 위한 도면이며, 픽처(370)를 나타내는 도면이다. 픽처(370)는, 4개의 슬라이스(371~374)를 포함한다.
슬라이스(371)는 통상 슬라이스이며, 슬라이스(372)는 의존 슬라이스이다. 여기서, 슬라이스(371)는 적어도 2개의 LCU를 가진다. 픽처(370)의 1행째는, 슬라이스(371 및 372)를 포함한다. 픽처(370)의 2행째는, 의존 슬라이스인 슬라이스(373 및 374)를 포함한다.
이 경우, 화상 부호화 장치는, 적어도 2개의 프로세서 코어를 이용하는 것이 상정된다. 즉, WPP를 사용하는 경우, 화상 부호화 장치는, 2의 LCU행을 병렬로 부호화 및 해석한다. 따라서, 슬라이스(372)가 이용 가능해지기 훨씬 전에, 슬라이스(373)가 이용 가능해진다.
그러나, 슬라이스(373)에 대한 CABAC 초기화는 슬라이스(372)에 의존하고 있으므로, 슬라이스(373)의 복호를 개시할 수 없다. 따라서, 행간에 있어서의 부호화 또는 복호의 개시 지연을, 1개의 LCU행 전체보다 작게 할 수 없다. 이는, 2개의 LCU까지 지연을 작게 한다고 하는 WPP의 목적에 모순된다.
도 11에 나타내는 슬라이스의 부호화 및 전송의 병렬 처리에 대하여, 이하에서 설명한다. 프로세서 코어 또는 프로세서 등의 2개의 처리부는, 각 행의 1번째의 슬라이스(슬라이스(371) 및 슬라이스(373))를 동시에 부호화한다. 부호화가 종료하면, 부호화가 끝난 슬라이스(371 및 373)는, 패킷 번호(packet＿id)가 각각 0과 4의 패킷에 캡슐화된다. 여기서는, 슬라이스(372) 및 가능하면 다른 NALU를 위해서, 작은 번호를 확보하기 위해서, 패킷 번호 4가 선택된다.
슬라이스(372)의 부호화가 완료하면, 슬라이스(372)는, 패킷 번호 1의 패킷에 캡슐화되어 전송된다. 또한, 결핍 패킷 번호 2 및 3이 패킷의 결핍으로 판정되지 않도록, 대응하는 패킷 번호 2와 3, 및, 더미(필러) 데이터를 가지는 2개의 NAL 유닛이 생성된다.
HEVC에 있어서, 이는, filler＿data SEI 메세지, 또는, 필러 데이터용으로 확보한 소정의 NAL 유닛 타입을 이용함으로써 달성된다. 이와 같이, 패킷 ID가 NAL 유닛마다 1씩 증가할 필요가 있는 경우, 필러 타입 NALU가 그 차이를 메우기 위해서 이용된다.
대상행의 초기화는, 그 위의 행의 2번째의 LCU에 의존한다. 또한, 2번째의 LCU의 후에 슬라이스를 삽입한 경우, CABAC 초기화의 결정에 영향을 주기 때문에 문제가 된다. 이 분석 및 문제에 의거하여, 본 발명은, WPP 및 의존 슬라이스 이용의 보다 효율적인 관계를 이끌기 위한 수법을 제공한다. WPP의 효율성을 유지하기 위해 1행에 대한 CABAC 초기화가 다른 행에 의존한다고 하는 상황은 피해야 한다.
또한, 상기와 동일한 과제가, WPP 대신에 타일을 이용하는 경우에도 생긴다.
본 발명의 일양태에 관련된 화상 복호 방법은, 화상이 복수의 타일로 분할됨과 더불어 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법으로서, 상기 부호화 신호를 복호하는 복호 단계를 포함하고, 상기 복수의 슬라이스의 각각은, 해당 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 별도의 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 통상 슬라이스가 제1 타일의 선두 이외부터 시작되는 경우, 해당 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않는다.
이에 의하면, 제2 타일의 선두 슬라이스가, 제1 타일의 선두 이외의 슬라이스를 참조하는 케이스의 발생을 제외할 수 있으므로, 병렬 타일 처리 및 의존 슬라이스를 함께 이용할 때의 효율성을 개선할 수 있다.
예를 들면, 상기 복호 단계에서는, 상기 제1 타일 및 상기 제2 타일을 병렬 복호하고, 상기 제2 타일의 복호를 개시할 때에, 상기 제1 타일에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 상기 제2 타일을 복호해도 된다.
예를 들면, 제3 타일의 선두가 상기 의존 슬라이스인 경우, 해당 의존 슬라이스는 상기 제 3 타일 전체를 포함해도 된다.
예를 들면, 상기 제1 타일이, 상기 제1 타일의 선두 이외로부터 시작되는 슬라이스를 포함하는 경우, 상기 제2 타일은 의존 슬라이스로부터 시작되지 않아도 된다.
예를 들면, 상기 화상 복호 방법은, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더로부터 취득하는 단계를 더 포함해도 된다.
예를 들면, 상기 화상의 선두 슬라이스는 통상 슬라이스이며, 다른 모든 슬라이스는 의존 슬라이스여도 된다.
예를 들면, 상기 화상 복호 방법은, 또한, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림으로부터 취득하는 단계를 포함해도 된다.
예를 들면, 상기 화상 복호 방법은, 상기 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스가 타일 선두로부터 시작되는지 여부를 나타내는 인디케이터를 상기 비트 스트림으로부터 취득하는 단계를 더 포함해도 된다.
또한, 본 발명의 일양태에 관련된 화상 부호화 방법은, 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하여 부호화함으로써 비트 스트림을 생성하는 화상 부호화 방법으로서, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하는 분할 단계와, 분할된 복수의 타일 및 복수의 슬라이스를 부호화하는 부호화 단계를 포함하고, 상기 복수의 슬라이스의 각각은, 해당 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 상기 분할 단계에서는, 통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 해당 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않도록, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할한다.
이에 의하면, 제2 타일의 선두 슬라이스가, 제1 타일의 선두 이외의 슬라이스를 참조하는 케이스의 발생을 제외할 수 있으므로, 병렬 타일 처리 및 의존 슬라이스를 함께 이용할 때의 효율성을 개선할 수 있다.
예를 들면, 상기 분할 단계에서는, 화상 복호 장치에 있어서 상기 제1 타일 및 상기 제2 타일을 병렬 복호하는 경우에 있어서, 해당 화상 복호 장치가 상기 제2 타일의 복호를 개시할 때에, 상기 제1 타일에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 상기 제2 타일을 복호할 수 있도록 상기 화상을 상기 복수의 타일 및 상기 복수의 슬라이스로 분할해도 된다.
예를 들면, 상기 분할 단계에서는, 제3 타일의 선두가 상기 의존 슬라이스인 경우, 해당 의존 슬라이스는 상기 제3 타일 전체를 포함하도록, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할해도 된다.
예를 들면, 상기 분할 단계에서는, 상기 제1 타일이, 상기 제1 타일의 선두 이외로부터 시작되는 슬라이스를 포함하는 경우, 상기 제2 타일은 의존 슬라이스로부터 시작되지 않도록, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할해도 된다.
예를 들면, 상기 화상 부호화 방법은, 또한, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더에 집어넣는 단계를 포함해도 된다.
예를 들면, 상기 화상의 선두 슬라이스는 통상 슬라이스이며, 다른 모든 슬라이스는 의존 슬라이스여도 된다.
예를 들면, 상기 화상 부호화 방법은, 또한, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림에 집어넣는 단계를 포함해도 된다.
예를 들면, 상기 화상 부호화 방법은, 상기 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스가 타일 선두로부터 시작되는지 여부를 나타내는 인디케이터를 상기 비트 스트림에 집어넣는 단계를 더 포함해도 된다.
또한, 본 발명의 일양태에 관련된 화상 복호 장치는, 화상이 복수의 타일로 분할됨과 더불어 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 장치로서, 상기 부호화 신호를 복호하는 복호부를 구비하고, 상기 복수의 슬라이스의 각각은, 해당 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 해당 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않는다.
이에 의하면, 제2 타일의 선두 슬라이스가, 제1 타일의 선두 이외의 슬라이스를 참조하는 케이스의 발생을 제외할 수 있으므로, 병렬 타일 처리 및 의존 슬라이스를 함께 이용할 때의 효율성을 개선할 수 있다.
또한, 본 발명의 일양태에 관련된 화상 부호화 장치는, 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하여 부호화함으로써 비트 스트림을 생성하는 화상 부호화 장치로서, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하는 분할부와, 분할된 복수의 타일 및 복수의 슬라이스를 부호화하는 부호화부를 구비하고, 상기 복수의 슬라이스의 각각은, 해당 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 상기 분할부는, 통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 해당 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않도록, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할한다.
이에 의하면, 제2 타일의 선두 슬라이스가, 제1 타일의 선두 이외의 슬라이스를 참조하는 케이스의 발생을 제외할 수 있으므로, 병렬 타일 처리 및 의존 슬라이스를 함께 이용할 때의 효율성을 개선할 수 있다.
또한, 본 발명의 일양태에 관련된 화상 부호화 복호 장치는, 상기 화상 부호화 장치와, 상기 화상 복호 장치를 구비한다.
또한, 이하에서 설명하는 실시의 형태는, 모두 본 발명의 일구체적인 예를 나타내는 것이다. 이하의 실시의 형태에 나타내는 수치, 형상, 재료, 구성 요소, 구성 요소의 배치 위치 및 접속 형태, 단계, 단계의 순서 등은, 일예이며, 본 발명을 한정하는 주지는 아니다. 또한, 이하의 실시의 형태에 있어서의 구성 요소 중, 최상위 개념을 나타내는 독립 청구항에 기재되지 않은 구성 요소에 대해서는, 임의의 구성 요소로서 설명된다.
(실시의 형태 1)
본 실시의 형태 1에 관련된 화상 부호화 방법 및 화상 복호 방법에서는, CABAC 초기화를 명시하는 인디케이터를 추가한다.
도 12는, 실시의 형태 1에 관련된 슬라이스 헤더의 신택스를 나타내는 도면이다. 슬라이스 헤더(380)는, 새로운 신택스 요소 「entropy＿default＿initialization＿flag」를 가지는 새로운 행(381)을 포함한다.
이 entropy＿default＿initialization＿flag는, 소정치로 설정된 경우에, 슬라이스의 CABAC가 CABAC 디폴트(소정)치로 초기화되는 것을 나타내는 인디케이터이다. 이 플래그는, 슬라이스가 디폴트 CABAC치로 초기화되는 것을 나타내는 「1」등의 제1의 값, 및, 초기화가 다른 방법으로 행해지는 것을 나타내는「0」등의 제2의 값을 가지는, 1비트의 인디케이터이다. 또한, 「1」및 「0」의 값의 할당은 바꿔 넣어도 된다.
초기화 결정의 「다른 방법」은, 선행 슬라이스의 값에 의거하는 초기화 등 소정의 방법이어도 된다. 그러나, 「다른 방법」은, 도 9에 나타내는 플로우와 유사한 다른 결정 플로우를 포함해도 되고, 이에 따라, 디폴트 CABAC치에 의한 초기화 방법도 이끌 가능성이 있다.
본 실시의 형태에 관련된 화상 복호 장치는, 적어도 부분적으로 산술 부호로 부호화되는 화상 슬라이스를 포함하는 부호화 영상 시퀀스의 비트 스트림을 복호한다. 해당 화상 복호 장치는, 슬라이스의 산술 복호의 확률 모델이 소정치로 초기화되는지 여부를 나타내는 초기화 인디케이터를, 상기 슬라이스의 비트 스트림 데이터로부터 추출하는 해석부와, 상기 초기화 인디케이터에 따라, 상기 소정치로 산술 복호용의 상기 확률 모델을 초기화할지 여부를 제어하는 제어부와, 산술 복호를 행함으로써, 상기 슬라이스를 복호하는 산술 복호부를 구비한다.
예를 들면, 산술 부호는, HEVC로 정의되는 컨택스트 적응 산술 부호여도 된다. 그러나, 본 발명은 이에 한정되지 않는다.
소정치란, 화상 부호화 장치 및 화상 복호 장치로 알려진 디폴트치를 말하며, 부호화된 컨텐츠에 의해 변화하지 않는다.
이 초기화 인디케이터는, 바람직하게는, 1비트 플래그를 가리키고, 1비트 플래그에서, 「1」은 산술 복호의 확률 모델이 소정치로 초기화되는 것을 나타내고, 「0」은 산술 복호의 확률 모델이 다른 방법으로 초기화되는 것을 나타낸다.
대상 슬라이스가 의존 슬라이스인 경우만, 이 인디케이터의 존재는 필요하다. 왜냐하면, 통상 슬라이스의 경우, CABAC 디폴트치가 초기화에 이용된다(도 9의 S101에서 No인 경우를 참조). 따라서, 조건 dependent＿slice＿flag==1을 확인함으로써, 대상 슬라이스가 의존 슬라이스인지 여부가 우선 분석된다.
또한, 슬라이스와 다른 슬라이스의 병렬 처리를 행하는 경우에, 초기화 인디케이터(플래그)는 유리하다. 예를 들면, 병렬 처리는 WPP여도 된다. 따라서, 조건의 entropy＿coding＿sync＿enabled＿flag==1이 진실인 경우만, 도 12에 나타내는 슬라이스 헤더의 신택스는, 초기화 인디케이터 entropy＿default＿initialization＿flag를 포함한다.
또한, 슬라이스가 LCU행의 선두에서 시작되는 경우만, 초기화 인디케이터는 적절하다. 왜냐하면, 이 때만, 병렬 처리를 가능하게 하므로, CABAC의 즉시 초기화가 필요하기 때문이다. 이는, 도 12에 나타내는 신택스에 있어서, 조건 slice＿address % PicWidthlnCtbsY==0에 의해 나타난다.
상술한 것처럼, 신택스 요소 「slice＿address」는, 비트 스트림에 포함되는 오프셋에 의해, 슬라이스의 개시를 나타낸다. 「PicWidthlnCtbsY」는, 부호화 트리 블록의 단위(LCU)의 수로 프레임의 폭을 나타낸다.
행 381에 나타내는 바와 같이, 상술한 3개 조건의 논리곱이 판정에 이용된다. 즉, 이하의 (식 2)가 진실인 경우만, 초기화 방법을 명확하게 신호로 전달하기 위해서, entropy＿default＿initialization＿flag가 전달된다.
dependent＿slice＿flag==1 ＆＆ entropy＿coding＿sync＿enabled＿flag==1 ＆＆ slice＿address ％ PicWidthlnCtbsY==0 …(식 2)
(식 2)가 진실이 아닌 경우, 통상의 방법에 의거하여, 즉, WPP 룰에 의거하여 초기화가 행해진다.
즉, 본 실시의 형태에 관련된 화상 부호화 방법 및 화상 복호 방법은, 화상의 화소 블록에 대응하는 부호화 단위로 화상의 슬라이스를 분할하고, 해석부는, 슬라이스가 의존 슬라이스인 경우만, 헤더 데이터에 포함되는 초기화 인디케이터를 추출한다. 의존 슬라이스의 산술 복호부는, 각 의존 슬라이스에 대응하는 친슬라이스의 산술 복호부의 컨택스트에 의거하여 초기화된다.
또한, 부호화 단위로 구성되는 행의 병렬 복호가 가능한 경우만, 해석부는 헤더 데이터의 초기화 인디케이터를 추출해도 된다.
즉, 본 실시의 형태에 따라, 화상의 화소 블록에 대응하는 부호화 단위로 화상의 슬라이스가 분할되고, 해석부는, 화상의 부호화 단위 블록으로 구성되는 행의 선두로부터 슬라이스가 시작되는 경우만, 헤더 데이터의 초기화 인디케이터를 추출한다.
도 13은, 본 실시의 형태에 관련된, 슬라이스의 CABAC 초기화의 결정 방법의 플로우차트이다. 도 13은, 도 8에 나타내는 픽처(350)의 경우를 상정하고 있다. 슬라이스(4)(슬라이스(354))가 슬라이스(1)(슬라이스(351))와 병렬로 해석된다고 상정하면, 이하의 결정이 이루어진다.
우선, 슬라이스(4)가 의존 슬라이스인지 여부가 판정된다(S111). 슬라이스(4)가 의존 슬라이스이며, 또한, 다른 조건(행의 병렬 처리가 행해지고, 또한, LCU행의 선두에 있어서 슬라이스가 개시하고 있다)이 만족되는 경우(S111에서 Yes), 초기화의 실행 방법을 결정하기 위해, 초기화 인디케이터 「entropy＿default＿initialization＿flag」가 확인된다(S112).
entropy＿default＿initialization＿flag에 의해, 디폴트의 초기화가 적용되는 것이 나타나는 경우(S112에서 No), 디폴트의 초기화가 적용된다(S114). 한편, entropy＿default＿initialization＿flag에 의해, 디폴트의 초기화가 적용되는 것이 나타나지 않는 경우(S112에서 Yes), 선행 슬라이스를 참조하는 WPP의 초기화가 적용된다(S113).
또한, 본 실시의 형태는, 슬라이스 헤더 내에서 초기화 인디케이터를 신호 전달하는 것에 한정되지 않는다. 다른 데이터 구조, 예를 들면, 부가 확장 정보 메세지에, 동일한 인디케이터를 집어넣어도 된다.
(실시의 형태 2)
실시의 형태 1에 의해, WPP 및 의존 슬라이스 등의 병렬 LCU행 처리의 효율적인 처리를 실현할 수 있다. 한편, 새로운 신택스 요소가, 슬라이스 헤더에 넣어진다. 이에 대하여, 새로운 신택스 요소의 추가를 피하기 위해, 초기화 룰을 수정함으로써, 병렬 처리 중의 슬라이스에 대한 CABAC 초기화의 독립성도 달성해도 된다.
본 실시의 형태에서는, 의존 슬라이스의 정의, 및, 의존 슬라이스에 대한 화상 부호화 장치 및 화상 복호 장치의 동작을 수정한다. 이는, 비트 스트림의 규격에 제한을 가함으로써 실현될 수 있다.
즉, 본 실시의 형태에 관련된 화상 복호 장치는, 복수의 부호화 단위로 분할되어, 적어도 부분적으로 산술 부호로 부호화되는 복수의 화상 슬라이스를 포함하는 부호화 영상 시퀀스의 비트 스트림을 복호한다. 해당 화상 복호 장치는, 부호화 단위로 구성되는 1행째 및 2행째를 비트 스트림으로부터 추출하는 해석부를 구비하고, 2행째의 제2 슬라이스에 대한 산술 복호부를 초기화할 때, 1행째의 제1 슬라이스의 분할 정보를 참조하지 않아도 되도록, 1행째 및 2행째의 부호화 단위가 슬라이스에 할당된다. 1행째의 제1 슬라이스의 개시 위치는, 2행째의 제2 슬라이스보다 소정의 부호화 단위 몇분후이다. 해당 화상 복호 장치는, 상기 제1 슬라이스 및 상기 제2 슬라이스를 적어도 부분적으로 병렬로 산술 복호함으로써, 상기 각 슬라이스를 복호하는 산술 복호부를 더 구비한다.
도 14는, 본 실시의 형태의 기능을 나타내기 위한 도면이며, 복수의 슬라이스로 분할된 픽처(390)를 나타낸다. 픽처(390)는, 4개의 슬라이스인, 통상 슬라이스(391)와, 통상 슬라이스(392)와, 의존 슬라이스(393)와, 통상 슬라이스(394)를 포함한다.
3개의 슬라이스(391, 392 및 393)는, 부호화 단위(LCU)로 구성되는 1행째에 포함된다. 슬라이스(394)는, 2행째 및 3행째 전체를 포함한다.
슬라이스화, 및, 행 단위의 병렬 처리의 사용에 적용되는 제한의 제1예는, 「entropy＿code＿sync＿enabled＿flag가 1과 동등하고, dependent＿slice＿enabled＿flag가 1과 동등한 경우, 부호화 트리 블록행의 선두에서만 통상 슬라이스는 시작되어도 된다」이다. 또한, entropy＿code＿sync＿enabled＿flag 및 dependent＿slice＿enabled＿flag의 양쪽의 플래그는, 픽처 파라미터 세트에 포함된다. 또한, 부호화 트리 블록(CTB), 및, 최대 부호화 단위(LCU)는, 동일한 단위를 말한다. 표준 텍스트(비특허 문헌 3을 참조)에서는, CTB가 이용되고 있다. 또한, 표준 텍스트의 전 버젼에서는 LCU가 사용되고 있지만, 현재는 CTB가 사용되고 있다.
부호화 단위행(LCU행)의 선두에 있어서만 통상 슬라이스가 시작되는 경우, 다른 행의 해당 통상 슬라이스에 계속되는 의존 슬라이스는, 항상 통상 슬라이스의 CABAC 상태를 참조해도 된다. 여기서 CABAC 상태란, WPP에 의해 실행되는 최초의 LCU 또는 최초의 2개의 LCU 처리 후의 CABAC 상태이다. 또한, 의존 슬라이스의 헤더가 이들에 선행하는 통상 슬라이스의 헤더에 의존하기 때문에, 통상 슬라이스(394)를 잃어버린 경우, 의존 슬라이스를 버릴 필요가 있다.
상기 제1예의 제한은, 엄밀할 필요는 없다. WPP의 초기화의 적용을 가능하게 하기 위해, 전행의 통상 슬라이스의 적어도 1개 또는 2개의 LCU를, 의존 슬라이스를 이용할 수 있도록 하면 된다.
또는, 다른 제한(룰)으로서 제2예를 적용해도 된다. 제2예에서는, 부호화 트리 블록행에 있어서의 2번째의 부호화 트리 블록의 후에, 통상 슬라이스를 개시하지 않는다. 통상 슬라이스는 LCU행의 선두에서 시작되지 않으면 안되기 때문에, 예를 들면, 도 14에 나타내는 바와 같이, 2번째의 슬라이스(392)를 통상 슬라이스로 설정하는 것은 인정되지 않는다.
또한, 상술한 제1 슬라이스란, 개시 위치가 1행째의 2개째의 부호화 단위까지이면 된다. 또한, 제1 슬라이스는 통상 슬라이스이며, 제2 슬라이스는, 통상 슬라이스의 슬라이스 헤더를 이용하는 의존 슬라이스여도 된다. 또한, 제1 슬라이스의 개시 위치는, 1행째의 선두여도 된다.
도 15는, 상술한 룰을 설정한 경우의, CABAC 초기화 방법의 결정 처리의 플로우차트이다. 여기서, 도 8에 나타내는 예를 이용하여 설명한다.
우선, 슬라이스(4)가 의존 슬라이스인지 여부가 판정된다(S111). 슬라이스(4)가 의존 슬라이스인 경우(S111에서 Yes), WPP의 초기화가 행해진다(S113). 한편, 슬라이스(4)가 의존 슬라이스가 아닌 경우(S111에서 No), 디폴트의 초기화가 행해진다(S114).
이와 같이, 본 실시의 형태에 관련된 화상 부호화 방법은, 컨택스트 적응 엔트로피 부호화부를 이용한다. 해당 화상 부호화 방법은, 적어도 2개의 부분으로 분할되는 픽처 프레임에 적용된다. 적어도 2개의 부분이란, 따로 따로, 적어도 부분적으로 병렬로 부호화 및 복호 가능한 제1 부분 및 제2 부분을 말한다.
본 실시의 형태에 의하면, 서브 스트림의 제1 부분을 슬라이스로 분할할 때, 스트림의 제2 부분의 컨택스트 테이블의 초기화가 제1 부분의 분할에 의존하지 않는 방법으로 결정된다. 예를 들면, WPP는 행마다(LCU행마다) 행해지므로, 스트림의 일부분이 LCU행에 대응해도 된다.
또한, 본 발명은, 위에서 예시한 제한에 한정되지 않는다. 또는, 상기의 제한을 다른 방법으로 공식화해도 된다. 이하, 제한의 다른 예를 설명한다.
통상 슬라이스가 이하의 (식 3)의 조건을 만족하는 경우, 후속 LCU행의 선두에서 시작되는 슬라이스는, 의존 슬라이스는 아니다.
slice＿adress % PicWidthlnCtbsY＞ 1 …(식 3)
간략화하기 위해, 상기의 조건을 이하의 (식 4)로 나타내도 된다.
slice＿adress % PicWidthlnCtbsY !=0 …(식 4)
여기서, 「！=」는, 동등하지 않은 것을 나타낸다. entropy＿coding＿sync＿enabled＿flag가 1과 동등한 경우, 즉, LCU행의 병렬 처리가 가능한 경우, 이들 제한은 적용 가능하다. 또한, 「slice＿adress」는, 비트 스트림 내에서 시작되는 슬라이스의 위치를 나타내고, 파라미터 「PicWidthlnCtbsY」는, LCU(부호화 트리 블록)에 있어서의 픽처(프레임)의 폭을 나타낸다.
즉, 통상 슬라이스가 행의 선두에서 시작되지 않는 경우, 그 직후의 행에서 시작되는 슬라이스는 의존 슬라이스는 아니다(제3예). 이 조건에 의해, 2행째의 슬라이스의 복호를, 1행째가 있는 위치의 통상 슬라이스를 해석(복호)할 때까지 기다릴 필요가 없어진다.
상기의 제3예의 제한에 의한 영향을, 도 16을 이용하여 설명한다. 도 16에 나타내는 픽처(400)는, 1행째에 포함되는 3개의 슬라이스(401~403)를 포함한다. 이들 3개의 슬라이스 중 최초의 2개의 슬라이스(401 및 402)는 통상 슬라이스이며, 3개째의 슬라이스(403)는 의존 슬라이스이다.
상기의 조건에 의하면, 4번째의 슬라이스(404)를 의존 슬라이스로 설정할 수 없다. 도 16에 있어서, 슬라이스(404)에 ×표를 붙임으로써, 이를 나타내고 있다.
따라서, 비트 스트림은, 통상 슬라이스 및 의존 슬라이스를 포함해도 되고, 이들 복호는 통상 슬라이스의 슬라이스 헤더에 있어서 신호 전달되는 파라미터에 의거한다. LCU행의 선두보다 뒤의 위치에서 통상 슬라이스가 시작되는 경우, 다음의 LCU행은 의존 슬라이스에서 시작되지 않는다.
도 17을 이용하여, 제4예의 제한을 설명한다. entropy＿coding＿sync＿enabled＿flag가 1과 동등하고, 또한, dependent＿slice＿enabled＿flag가 1과 동등한 경우, 프레임 중의 최초의 슬라이스 이외, 통상 슬라이스는 인정되지 않는다(제4 예).
즉, 병렬 처리가 가능하고, 또한, 의존 슬라이스가 유효한 경우, 통상 슬라이스는, 프레임 중의 최초의 슬라이스로서만 인정된다. 즉, 최초의 슬라이스를 제외하고, 프레임 중의 모든 슬라이스가 의존 슬라이스이다.
도 17에 나타내는 픽처(410)는, 5개의 슬라이스(411~415)를 포함한다. 슬라이스(411, 412, 및 415)는 통상 슬라이스이며, 슬라이스(413 및 414)는 의존 슬라이스이다. 상기의 제4예의 제한에 따라, 1번째의 통상 슬라이스(411)를 제외한, 통상 슬라이스(412 및 415)는 인정되지 않는다. 즉, 슬라이스(412 및 415)는, 의존 슬라이스가 아니면 안된다.
또한, 이 제4예의 제한을 이용한 경우, 패킷 손실에 대한 로버스트성에 관해서 디메리트를 가진다. 의존성을 저감시키기 위해, 또한, 손실이 많은 환경에 있어서의 에러 전파를 저감하기 위해, 일반적으로는 통상 슬라이스가 이용된다. 또한, 1번째의 슬라이스만이 통상 슬라이스의 프레임에서는, 1번째의 슬라이스를 복호할 수 없는 경우, 모든 슬라이스를 복호할 수 없다고 하는 리스크를 안게 된다.
또한, 다른 제한으로서 이하의 제한을 이용해도 된다. 슬라이스(통상 또는 의존 슬라이스)가 LCU행의 한가운데에서(즉, 행의 개시 위치와는 다른 위치에서) 시작되는 경우, 다음의 부호화 단위행은 의존 슬라이스에서 시작되지 않는다(제5예).
또한, 해당 기술 분야의 당업자에게는 명백한 것처럼, 여기서 기재된 복수의 제한을 임의로 조합하는 것이 가능하다. 즉, 상기 제1예~ 제5예를 조합하여 적용해도 된다.
또한, 제한의 다른 예를 이하에 든다. entropy＿coding＿sync＿enabled＿flag가 1과 동등한 경우, 1개의 LCU행을 슬라이스로 분할할 수 없다(제6예). 이 제한을 적용한 경우, 도 17에 나타내는 슬라이스 구조에서는, 슬라이스(412 및 413)는 인정되지 않는다. 즉, 부호화 단위행의 병렬 처리가 가능한 경우, 슬라이스는, 1개의 부호화 단위행 전체, 또는, 복수의 부호화 단위행 전체를 포함하는 것만 인정된다.
이와 같이, 비트 스트림은, 통상 슬라이스 및 의존 슬라이스를 포함한다. 통상 슬라이스 및 의존 슬라이스의 복호는, 통상 슬라이스의 슬라이스 헤더에서 신호 전달되는 파라미터에 의거한다. 화상 중의 1번째의 슬라이스만을 통상 슬라이스로 하고, 나머지 슬라이스를 의존 슬라이스로 한 위에, 화상을 슬라이스로 분할한다.
또한, 각 슬라이스는, m행의 부호화 단위행의 전체를 포함한다. 여기서, m은 1이상의 정수이다.
또한, 상기 제한의 적용에 추가하여, 또는, 그 대신에, 의존 슬라이스가 유효하고, WPP 및 타일 중 어느 하나가 유효한 경우, 상기 제한을 나타내는 인디케이터를 비트 스트림에 집어넣어도 된다. 예를 들면, 이 인디케이터는 SPS 또는 PPS에 넣어진다. 또한, 이 인디케이터는, SEI 메시지 등의 다른 메세지 또는 임의의 비디오·유저빌리티 정보(VUI) 메세지에 넣어져도 된다.
이 인디케이터에 의거하여, 화상 복호 장치는, 적용되는 제한을 파악한다. 예를 들면, 이 제한은, LCU행(WPP)의 선두, 또는, 타일의 선두에서만, 통상 슬라이스가 인정된다고 하는 제한이다. 또한, 이는, 제한의 일례에 불과하고, 상기 제한의 어느 하나, 또는, 이들 제한의 조합, 또는, 명시적으로 기재되지 않은 추가 제한을 적용해도 된다.
예를 들면, 이 인디케이터는, 소정의 제한에 대하여, 해당 제한을 적용할지 여부를 나타내는, 1비트의 플래그여도 된다. 또한, 선택 가능한 복수의 제한이 있어도 되고, 선택된 제한을 나타내는 정보가 비트 스트림에 포함되어 화상 복호 장치에 신호 전달된다. 즉, 상술한 예와 같이 명시적으로 사용을 제한하는 것이 아니라, 화상 부호화 장치가 그러한 제한을 이용하는 것을 화상 복호 장치에 알려도 된다. 따라서, 제한에 관련된 상기 예 중 어느 하나를 적용해도 된다.
또한, 인디케이터를 추가할지 여부를, WPP 또는 타일이 유효화되었는지에 따라서 결정하지 않아도 된다.
이상과 같이, 본 실시의 형태는, 병렬 처리에 있어서, 선행 슬라이스를 고려한 CABAC 초기화에 의해, 의존 슬라이스 처리가, 2이상 또는 3이상의 부호화 단위만큼 지연되는 것을 방지할 수 있다. 이에 따라, 행의 부호화, 복호, 및 해석을 효율적으로 병렬 처리할 수 있다.
또한, 본 발명은, 슬라이스화의 방법을 제한하는 실시의 형태에 한정되지 않는다. 또한, 상기 제한은, CABAC 컨택스트가 얻어지는 슬라이스에 관련되어도 된다.
(실시의 형태 3)
본 실시의 형태에서는, WPP 처리 시의 의존 슬라이스에 대한 CABAC 초기화 방법을 변경한다. 구체적으로는, 의존 슬라이스에 대한 친슬라이스의 할당 룰을 변경한다.
예를 들면, 슬라이스에의 LCU행의 분할(및/또는, 후속 슬라이스의 종별)에 상관없이, 의존 슬라이스가 항상, 동일 슬라이스로부터 슬라이스 헤더 및 CABAC 컨택스트를 취득하는 룰을 정한다.
도 18에 나타내는 픽처(420)는, 슬라이스(421~424)를 포함한다. 현재의 HEVC에서는, 의존 슬라이스(424)의 친슬라이스는 슬라이스(422)이다. 즉, 의존 슬라이스(424)의 슬라이스 헤더는, 선행하는 가장 가까운 통상 슬라이스인 슬라이스(422)로부터 취득한다.
도 9를 이용하여 설명한 것처럼, 의존 슬라이스는, 선행의 LCU행의 선두에 있는 통상 슬라이스를 이용해 CABAC 초기화를 행하는 경우도 있다. 그러나, 슬라이스(422)를 잃어버린 경우, 슬라이스(424)의 CABAC의 초기화를 행할 수 있지만, 슬라이스 헤더 정보가 결핍되므로, 슬라이스(424)를 복호할 수 없다.
이에 대하여, 본 실시의 형태에서는, 의존 슬라이스는, 의존 슬라이스가 포함되는 행과 동일하거나 또는 전의 행부터 개시되는 가장 가까운 통상 슬라이스를 친슬라이스로서 가진다. 이 룰에 따라, 본 실시의 형태에서는, 도 19에 나타내는 바와 같이, 슬라이스(424)의 친슬라이스는 슬라이스(421)로 설정된다. 그리고, 의존 슬라이스(424)는, 슬라이스(421)의 슬라이스 헤더를 이용함과 더불어, 슬라이스(421)의 CABAC 상태를 이용해 CABAC 초기화를 행한다.
또한, 각 의존 슬라이스의 산술 복호부는, 친슬라이스의 산술 복호부의 컨택스트에 의거하여 초기화되도록, 슬라이스의 의존성이 설정된다.
또한, 슬라이스의 초기화에 이용되는 CABAC 컨택스트 테이블을 나타내는 정보가, SEI 메시지 내에서, 명시적으로 신호 전달되어도 된다. 즉, CABAC 엔진의 초기화에 이용된다고 생각되는 모든 초기치를, 명시적으로 SEI 메시지 내에서 신호 전달해도 된다.
(실시의 형태 4)
본 실시의 형태에서는, WPP가 아니라 타일을 이용하는 경우에 대하여 설명한다.
WPP가 아니라 타일의 경우도, WPP에 대하여 기술한 상기의 문제가 발생한다. 그러나, CABAC 컨택스트 테이블의 초기화는, 디폴트 초기치 또는 이전에 기억된 값중 어느 하나에 CABAC 컨택스트 테이블을 설정하는 것을 의미한다. 타일의 경우, (타일이 의존 슬라이스로부터 시작되는 경우에도) CABAC 컨택스트 테이블은 항상 타일의 선두에서, 디폴트치로 초기화된다.
그러나, 통상 슬라이스가 타일의 한가운데에서 나타나는 경우, 그 슬라이스 헤더에 포함되는 신택스 요소의 몇개를 수정하는 경우가 있다. 이 신택스 요소란, 예를 들면, 샘플 적응 오프셋 처리의 온/오프를 나타내는 플래그이다. 이 플래그가 「온」인 경우, CABAC 엔진은, 슬라이스 데이터를 해석하면서, 파라미터를 필터링한다. 이와 같이, 이는 CABAC 엔진의 상태 제어에 관한 것이다. 이에 대해서는, 이하에서 상술하기로 한다.
도 19는, 본 실시의 형태에 관련된 슬라이스 헤더의 신택스를 나타내는 도면이다. 이 슬라이스 헤더는, 의존성에 관한 인디케이터인 dependent＿slice＿flag를 포함한다.
도 20은, 2개의 타일(501 및 502)로 분할된 픽처(500)를 나타내는 도면이다. 도 20에 나타내는 바와 같이, 타일은, 수직선으로 픽처를 분할한다고 하는 점이, 슬라이스와는 다르다. 일반적으로, 픽처를 복수의 타일로 분할할 수 있다. 타일의 분할 정보는, 픽처에 관한 픽처 파라미터 세트(PPS)에 포함되어 신호 전달된다.
상술한 것처럼, 타일은, 병렬 처리를 가능하게 하는 툴의 1개이다. 즉, 복수의 타일을 병렬로 복호해도 된다. 또한, 타일의 재구축 후에 타일 경계에 있어서, 마지막에 루프 필터 처리가 일반적으로 행해진다.
픽처 파라미터 세트는, 픽처 내의 타일의 수 및 위치에 관한 정보를 포함한다. 타일간의 공간 예측이 인정되지 않는다는 점에 있어서, 타일은 슬라이스와 유사하다. 여기서, 「공간 예측」은, 인트라 예측, 움직임 벡터 예측, 또는, 파라미터를 참조하는 것이다. 여기서 파라미터란, 샘플 적응 오프셋 파라미터, 픽처에 관한 다른 파라미터, 또는, 다른 타일에 관련된 파라미터를 말한다.
엔트로피 부호화부 및 엔트로피 복호부는, 각 타일의 선두에서 리스타트된다.
도 21a는, 부호화 트리 블록 또는 최대 부호화 단위 등의 부호화 단위의 처리 순서를 나타내는 도면이다. 이 순서는, Z스캔 또는 래스터 스캔이라고도 불린다. 도 21a는, 타일이 유효하지 않은 경우를 나타낸다. 바꾸어 말하면, 1픽처에 대하여 1타일이 설정되어 있는 경우이다. 또한, WPP를 유효하게 해도 된다.
도 21b는, 경계(513)에 의해 분할된 2개의 타일(511 및 512)을 포함하는 프레임을 나타내는 도면이다. 프레임 내에 2개 이상의 타일이 존재하는 경우의 처리 순서는, 이하와 같이 결정된다.
우선, LCU에 대하여 상술한 통상의 래스터 스캔순에 의해, 모든 타일의 순서를 결정한다. 이는, 도 21b에 있어서, 타일(511)에서 시작되어 타일(512)에서 끝나는 순서이다.
다음에, 도 21b의 화살표로 나타내는 통상의 래스터 스캔순을 이용하여, 각 타일 내의 LCU의 순서를 결정한다. 마지막으로, 각 타일의 최후의 LCU를 후속 타일의 최초의 LCU와 연결한다. 이에 따라, 도 21b에 나타내는 순서가 결정된다. 또한, 처리순의 상세에 대해서는, 예를 들면, 비특허 문헌 3에 기재되어 있다.
슬라이스에서는 LCU 주사순이 이용된다. 따라서, 부호화순에 있어서 슬라이스(A)가 슬라이스(B)에 선행하는 경우, 슬라이스(A)의 모든 LCU가, 슬라이스(B)의 모든 LCU에 선행하는 것을 의미한다.
한편, 타일을 이용한 경우에는, 슬라이스만이 이용되는 경우(타일이 이용되지 않는 경우)에 적용되는 순서와 상이한 순서로 부호화 단위가 주사된다. 구체적으로는, 슬라이스만이 이용되는 경우, 픽처 내의 부호화 단위는, 소위 Z스캔에 의해 주사된다. Z스캔은, 픽처 내의 좌측 상부의 부호화 단위로부터 시작되어, 1행째를 우측 방향으로 주사하고, 1행째의 우측단까지 주사가 끝나면, 2행째의 좌측단의 부호화 단위로부터, 2행째의 우측단의 부호화 단위까지 주사된다. 이러한, 순서에서, 최후 행의 최후의 부호화 단위까지 주사된다.
슬라이스가 Z스캔 순서에 있어서의 연속수의 부호화 단위로서 구성되는 경우에, 이는 효율적이다. 그러나, 타일이 이용되는 경우, 부호화 단위의 부호화 또는 복호순은 이 순서로부터 변경된다. 구체적으로는, 각 타일 내에서 Z스캔순으로 주사가 행해진다. 즉, Z스캔순의 주사가 타일을 걸쳐 행해지는 일은 없다. 따라서, 타일에 포함되는 부호화 단위의 부호화 또는 복호는, 타일의 좌상의 부호화 단위로부터 시작되어, 동 타일의 우측 하부의 부호화 단위에서 끝난다. 또한, 픽처 내의 타일도, 상술한 것처럼 Z스캔순으로 순서지어진다.
현재의 HEVC 표준화에서는, 타일과 슬라이스를 조합하여 사용하는 것에 관한 제한이 설정되어 있다. 구체적으로는, 슬라이스가, 정수의 완전한 타일을 포함하는 것만 인정되고 있다. 또한, 타일이, 정수의 완전한 슬라이스를 포함하는 것만 인정된다.
신택스 요소 tiles＿enabled＿flag는, 시퀀스 파라미터 세트(SPS)의 일부로서의 비트 스트림의 신택스 내에 포함된다. 이 신택스 요소를 논리치 「1」에 설정함으로써, 타일의 사용이 가능해진다.
타일이 이용되는 경우, WPP를 사용할 수 없다. 따라서, 타일을 사용하는 경우에는, WPP의 사용을 제어하는 SPS의 신택스 요소 entropy＿coding＿sync＿enabled＿flag가 논리치 0」에 설정된다.
도 22a~도 22c는, 타일과 슬라이스를 동시에 사용하는 경우의 제한을 설명하기 위한 도면이다. 도 22a에 나타내는 바와 같이, 슬라이스를 2개의 타일로 분할하는 것은 인정된다. 이 예에서, 슬라이스(1)는, 픽처 전체를 포함하고, 크기가 같은 2개의 타일로 분할되어 있다.
도 22b에 나타내는 예에서는, 픽처가 2개의 타일로 분할되어 있다. 또한, 각 타일은 2개의 슬라이스로 분할되어 있다. 구체적으로는, 픽처는, 우선 타일(1) 및 타일(2)로 분할된다. 타일(1)과 타일(2)은 각각 픽처의 왼쪽 반과 오른쪽 반을 포함한다. 타일(1)은, 슬라이스(1)및 슬라이스(2)의 2개의 슬라이스로 분할되고, 타일(2)은, 슬라이스(3) 및 슬라이스(4)의 2개의 슬라이스로 분할된다.
도 22c는, 인정되지 않은 슬라이스 및 타일 구조를 나타내는 도면이다. 이 예에서는, 슬라이스(1)가 타일(1) 및 타일(2)의 양쪽에 포함된다. 한편으로, 슬라이스(2)는 타일(2) 내에만 존재한다. 따라서, 타일(1)이나 타일(2)도, 정수의 완전한 타일을 포함하지 않는다. 마찬가지로, 슬라이스(1)나 슬라이스(2)도 , 정수의 완전한 타일을 포함하지 않는다.
슬라이스와 타일의 동시 사용에는, 이러한 룰이 적용된다. 그러나, 이러한 룰에서는, 상이한 종류의 슬라이스를 이용하는 경우에 대하여 구체적인 검토가 이루어져 있지 않다. 즉, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지는 검토되어 있지 않다.
도 23은, 픽처를 타일 및 슬라이스로 분할하는 예를 나타내는 도면이다. 이 분할은, 상기의 제한에 따라 인정되어 있다. 이 분할은, 도 22b의 예에 상당한다. 또한, 타일(1)에 포함되는 슬라이스(521 및 522)는 통상 슬라이스이다. 타일(2)에 포함되는 슬라이스(523 및 524)는 의존 슬라이스이다.
도 24는, 픽처 내의 부호화 단위의 처리, 특히, 부호화 단위의 복호 또는 부호화에 싱글 코어가 이용되는 경우의 주사 순서를 나타내는 도면이다. 도 24에 나타내는 바와 같이, 타일 분할이 이용되지 않은 경우, 싱글 코어는, Z스캔순으로 부호화 단위를 복호한다.
그러나, 타일의 정의, 즉 타일 경계에 따라, GABAC 엔진은 재초기화된다. 즉, 타일의 경계에 있어서의 CABAC 상태를, 후의 초기화를 위해서 기억해 둘 필요가 있다. 이와 같이, 싱글 코어 복호 순서는, 비트 스트림에 있어서 점프를 필요로 한다. 왜냐하면, 타일 분할은, 부호화 단위의 부호화 순서를 변경하기 때문이다.
또한, 의존 슬라이스가 유효한 경우, 싱글 코어 복호는 보다 복잡해진다. 도 23에서 나타내는 분할된 픽처의 복호를 이하에 예시한다.
제1 단계에서는, 슬라이스(521)의 부호화 단위행 1행째가 복호된다. 제2 단계에서는, 슬라이스(522)의 슬라이스 어드레스가 복호된다. 슬라이스 어드레스는 슬라이스 헤더에 포함되어 신호 전달된다. 슬라이스 어드레스는, LCU수로 표시되고, 슬라이스가 시작되는 비트 스트림 내의 위치를 나타낸다. 또한, 슬라이스 어드레스는, 타일(2)에 포함되는 첫번째 부호화 단위와는 다르다.
제3 단계에서는, 슬라이스(523)가 복호된다. 슬라이스 어드레스는 정확하지만, 이 슬라이스는 의존 슬라이스이다. 따라서, 슬라이스(523)는, 타일(1)에 포함되는 슬라이스(522)의 슬라이스 헤더를 이용한다. 이 때문에, 복호 처리는, 슬라이스(522)에 점프하여 되돌아와, 그 헤더가 복호된다. 그리고, 복호 처리는, 슬라이스(523)의 복호로 되돌아오므로, 점프하여 앞으로 나아간다. 그 후, 슬라이스(523)의 복호가 개시된다.
이 간략한 예로부터 알 수 있듯이, 화상 복호 장치는, 비트 스트림 내에서, 점프하여 뒤로 되돌아가거나 앞으로 나아갈 필요가 있어, 타일(2)의 복호를 개시할 때, 추가 확인을 행할 필요가 있다. 이는, 의존 슬라이스를 사용하기 위해서, 타일간에 의존성이 생기는 것에 의한다.
이에 대하여, 본 실시의 형태에서는, 의존 슬라이스 및 타일의 효과적인 적용을 가능하게 하는 수법을 실현한다. 구체적으로는, 픽처의 슬라이스 및 타일에의 분할에 관해서 제한을 설정함으로써, 통상의 순서에 있어서 확실히 적절한 부호화 및 복호를 행할 수 있도록 한다.
본 실시의 형태에 관련된 화상 복호 장치는, 각각이 복수의 화상 슬라이스 및 화상 타일을 포함하는 복수의 프레임을 포함하는 부호화 영상 시퀀스의 비트 스트림을 복호한다. 각 화상 슬라이스 및 각 화상 타일은, 복수의 부호화 단위를 포함한다. 해당 화상 복호 장치는, 타일(1), 및, 타일(1)의 다음에 부호화되는 타일(2)을, 비트 스트림으로부터 추출(해석)하는 해석부를 구비한다. 산술 복호부에 의한 타일(2)의 복호에 있어서, 타일(1)의 분할 정보를 필요로 하지 않도록, 프레임은 슬라이스 및 타일로 분할된다.
해당 화상 복호 장치는 적어도 부분적으로 병렬로 타일(1) 및 타일(2)을 산술 복호함으로써, 슬라이스를 복호하는 산술 복호부를 더 구비한다.
또한, 본 실시의 형태에 관련된 화상 부호화 장치는, 적어도 부분적으로 산술 부호를 이용하여, 복수의 부호화 단위로 분할된 복수의 화상 슬라이스를 포함하는 영상을 비트 스트림에 부호화한다.
해당 화상 부호화 장치는, 제1 타일 및 상기 제1 타일의 다음에 부호화된 제2 타일을 상기 비트 스트림에 집어넣는 비트 스트림 생성부와, 산술 복호부에 의해 상기 제2 타일을 복호할 때, 상기 제1 타일의 분할 정보를 필요로 하지 않아도 되도록, 상기 각 프레임을 상기 슬라이스 및 상기 타일로 분할하고, 상기 제1 타일 및 상기 제2 타일을 적어도 부분적으로 병렬로 산술 부호화함으로써, 상기 각 슬라이스를 부호화하는 산술 부호화부를 구비한다.
본 실시의 형태의 제1예에서는, 타일이 유효하고, 동시에 의존 슬라이스의 이용이 가능한 경우에는, 통상 슬라이스는 타일의 선두에서만 시작된다. 즉, tiles_enabled_flag가 1과 동등하고, 동시에 dependent_slice_enabled_flag가 1과 동등한 경우, 각 통상 슬라이스는 타일의 개시 위치에서 시작되지 않으면 안된다.
여기서, tiles_enabled_flag 및 dependent_slice_enabled_fIag의 양쪽은, 픽처 파라미터 세트에 포함된다.
또한, dependent_slice_enabled＿flag가 0과 동등한 경우, 통상 슬라이스만이 이용된다. 이에 따라, 상기의 문제는 피할 수 있다. 이는, 도 22B에 나타내는 픽처에 있어서, 모든 슬라이스가 통상 슬라이스인 경우에 대응한다.
이와 같이 제1예에서는, 다른 슬라이스에 헤더가 이용되는 슬라이스(통상 슬라이스)는 항상, 타일의 선두에서 시작된다. 바꾸어 말하면, 화상의 선두 슬라이스는 통상 슬라이스이며, 다른 슬라이스는 의존 슬라이스이다. 즉, 통상 슬라이스는 화상의 선두 슬라이스로서만 인정된다. 또한, 선두 이외의 슬라이스는, 항상 의존 슬라이스이다. 예를 들면, 도 25c에 나타내는 픽처는 인정되지만, 도 25b에 나타내는 픽처는 인정되지 않는다.
본 실시의 형태의 제2예에서는, 타일이 유효하고, 타일의 개시 위치 이외의 위치에서 통상 슬라이스가 시작되는 경우, 다음에 부호화되는 타일은 의존 슬라이스로부터 시작되지 않는다. 즉, tiles＿enabled＿flag가 1과 동등하고, slice＿address가 타일의 개시 어드레스와 동등한 경우, 다음의 타일은 의존 슬라이스로부터 시작되지 않는다.
이에 따라, 도 23을 이용해 설명한 것처럼, 의존 슬라이스(523)를 복호할 때, 통상 슬라이스(522)의 슬라이스 헤더에 점프하여 되돌아온다고 하는 처리가 발생하지 않는다. 즉, 슬라이스(523)는, 의존 슬라이스로서 인정되지 않는다. 왜냐하면, 통상 슬라이스(522)는, 타일의 개시 위치가 아니라, 타일 내에서 시작되기 때문이다.
따라서, 본 실시의 형태에 있어서, 헤더를 다른 슬라이스에 이용되는 슬라이스(통상 슬라이스)가 타일의 선두에서 시작되지 않는 경우, 해당 타일의 다음에 부호화되는 타일은, 복호에 다른 슬라이스의 헤더를 이용하는 슬라이스(의존 슬라이스)로부터 시작되지 않는다.
이와 같이, 제2예에서는, 통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 해당 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않는다. 즉, 제1 타일의 2번째 또는 그 이후의 슬라이스 중 적어도 1개가 통상 슬라이스인 경우, 제2 타일의 선두 슬라이스는 통상 슬라이스이다.
예를 들면, 도 25a에 나타내는 바와 같이, 타일(1)에 포함되는 통상 슬라이스(3)가 존재하는 경우, 타일(2)의 선두 슬라이스(4)를 의존 슬라이스로 설정할 수 없다. 또한, 슬라이스(2) 및 슬라이스(3) 중 적어도 한쪽이 통상 슬라이스인 경우에는, 슬라이스(4)를 의존 슬라이스로 설정할 수 없다. 따라서, 도 25b에 나타내는 바와 같이, 슬라이스(4)를 통상 슬라이스로 설정할 필요가 있다. 또한, 제2예에서는, 도 25c에 나타내는 픽처도 인정된다.
본 실시의 형태의 제3예에서는, 타일이 의존 슬라이스로 시작되는 경우, 완전한 타일이 의존 슬라이스에 포함된다. 즉, 복호에 다른 슬라이스의 헤더를 이용하는 슬라이스로부터 타일이 시작되는 경우, 타일 전체가 해당 슬라이스 내에 포함된다.
이와 같이, 제3예에서는, 제3 타일의 선두가 의존 슬라이스인 경우, 해당 의존 슬라이스는 제3 타일 전체를 포함한다. 바꾸어 말하면, 제3 타일은, 1개의 의존 슬라이스만을 포함한다. 예를 들면, 도 26a에 나타내는 바와 같이, 타일(2)이 의존 슬라이스(4)에서 시작되는 경우, 타일(2)이 복수의 슬라이스를 포함하는 것은 인정되지 않는다. 따라서, 도 26b에 나타내는 바와 같이, 타일(2)은, 1개의 의존 슬라이스(4)만을 포함할 필요가 있다.
본 실시의 형태의 제4예에서는, tiles＿enabled＿flag가 1과 동등하고, 슬라이스(통상 슬라이스 또는 의존 슬라이스)가 타일의 한가운데에서 시작되는 경우, 다음에 부호화되는 타일은 의존 슬라이스로부터 시작되지 않는다. 또한, 여기서, 「타일의 한가운데」는, 실제의 한가운데가 아니라, 슬라이스의 첫번째 CTB가 타일의 첫번째 CTB가 아닌 것을 의미한다. 즉, 「타일의 한가운데」는, 타일 내를 의미한다.
즉, 슬라이스가 타일의 선두에서 시작되지 않는 경우, 다음에 부호화되는 타일은, 다른 슬라이스의 헤더를 이용하는 슬라이스로부터 시작되지 않는다. 바꾸어 말하면, 제1 타일이, 제1 타일의 선두 이외로부터 시작되는 슬라이스를 포함하는 경우(제1 타일이 복수의 슬라이스를 포함하는 경우), 제2 타일은 의존 슬라이스로부터 시작되지 않는다. 예를 들면, 도 27a에 나타내는 바와 같이, 타일(1)이 복수의 타일을 포함하는 경우에는, 타일(2)의 선두 슬라이스(4)를 의존 슬라이스로 설정하는 것은 인정되지 않는다. 따라서, 도 27b에 나타내는 바와 같이, 타일(2)의 선두 슬라이스(4)를 통상 슬라이스로 설정할 필요가 있다.
또한, 타일에 관련된 본 실시의 형태 및 다른 실시의 형태는 조합 가능하고, 특정의 룰 및 제한을 조합해도 된다.
또한, 본 실시의 형태의 다른 예에서는, tiles＿enabled＿flag가 1과 동등한 경우, 의존 슬라이스는 허가되지 않는다. 즉, 의존 슬라이스를, WPP와 함께 이용하는 것은 인정되지만, 타일과 함께 이용하는 것은 인정되지 않는다. 이에 따라, 타일을 이용하는 경우의 추가적인 문제를 회피할 수 있다. 즉, 타일을 이용하는 경우, 슬라이스가, 다른 슬라이스의 헤더를 복호에 이용하지 않는다.
또한, 상기 제한의 적용에 추가하여, 또는, 그 대신에, 의존 슬라이스가 유효하고, WPP 및 타일의 어느 한쪽이 유효한 경우, 상기 제한을 나타내는 인디케이터를 비트 스트림에 집어넣어도 된다. 예를 들면, 이 인디케이터는 SPS 또는 PPS에 넣어진다. 또한, 이 인디케이터는, SEI 메시지 등의 다른 메세지 또는 임의의 비디오·유저빌리티 정보(VUI) 메세지에 넣어져도 된다.
이 인디케이터에 의거하여, 화상 복호 장치는, 적용되는 제한을 파악한다. 예를 들면, 이 제한은, 타일의 선두(또는, WPP의 경우는, LCU행의 선두)만에서 통상 슬라이스가 시작되어도 된다는 제한이다. 또한, 이는, 제한의 일례에 지나지 않고, 상기의 제한 중 어느 하나, 또는, 이들 제한의 조합, 또는, 명시적으로 기재되지 않은 추가 제한을 적용해도 된다.
예를 들면, 이 인디케이터는, 소정의 제한에 대하여, 해당 제한을 적용할지 여부를 나타내는, 1비트의 플래그여도 된다. 또한, 선택 가능한 복수의 제한이 있어도 되고, 선택된 제한을 나타내는 정보가 비트 스트림에 포함되어 화상 복호 장치에 신호 전달된다. 즉, 상술한 예와 같이 명시적으로 사용을 제한하는 것이 아니라, 화상 부호화 장치가 그러한 제한을 이용하는 것을 화상 복호 장치에 알려도 된다. 따라서, 제한에 관련된 상기 예 중 어느 하나를 적용해도 된다.
이와 같이, 본 발명의 일양태에 관련된 화상 복호 방법은, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 피트 스트림으로부터 취득하는 단계를 포함한다. 또한, 본 발명의 일양태에 관련된 화상 부호화 방법은, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 비트 스트림에 집어넣는 단계를 포함한다.
또한, 인디케이터를 추가할지 여부를, WPP 또는 타일이 유효화되었는지 여부에 따라서 결정하지 않아도 된다. 또한, 인디케이터를 추가하는 경우에, 의존 슬라이스를 유효화하지 않아도 된다. 즉, 의존 슬라이스 이용의 유효 및 무효에 상관없이, 인디케이터를 추가해도 된다.
또한, 대상 슬라이스의 친슬라이스가 타일의 선두에서 시작되는 것을 나타내는 인디케이터를 비트 스트림에 추가해도 된다. 즉, 본 발명의 일양태에 관련된 화상 복호 방법은, 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스가 타일 선두로부터 시작되는지 여부를 나타내는 인디케이터를 비트 스트림으로부터 취득하는 단계를 포함한다. 또한, 본 발명의 일양태에 관련된 화상 부호화 방법은, 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스가 타일 선두로부터 시작되는지 여부를 나타내는 인디케이터를 비트 스트림에 집어넣는 단계를 포함한다.
또한, 픽처에 포함되는 모든 슬라이스가 동일한 슬라이스 헤더를 이용하는 것을 나타내는 인디케이터를 비트 스트림에 추가해도 된다. 즉, 이 인디케이터는, 통상 슬라이스의 헤더에 존재하고, 또한 의존 슬라이스의 헤더에 존재하지 않는 신택스 요소 전체가, 픽처에 포함되는 모든 슬라이스에 대해서 동일한 것을 나타낸다.
이와 같이, 픽처의 분할이 소정의 룰에 의해 제한된 것을 나타내는 제한 인디케이터가 비트 스트림에 포함되어도 된다.
또한, 대상 슬라이스의 친슬라이스가 타일의 선두에서 시작되는지 여부를 나타내는 인디케이터가, 비트 스트림에 넣어져도 된다. 여기서, 친슬라이스의 헤더는, 대상 슬라이스에 이용된다.
또한, 본 발명의 일양태에 관련된 화상 복호 방법은, 화상이 복수의 타일로 분할됨과 더불어 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법으로서, 상기 부호화 신호를 복호하는 복호 단계를 포함한다. 또한, 본 발명의 일양태에 관련된 화상 부호화 방법은, 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하여 부호화함으로써 비트 스트림을 생성하는 화상 부호화 방법으로서, 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하는 분할 단계와, 분할된 복수의 타일 및 복수의 슬라이스를 부호화하는 부호화 단계를 포함한다.
또한, 복수의 슬라이스의 각각은, 통상 슬라이스와 의존 슬라이스 중 어느 하나이다. 통상 슬라이스는, 해당 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용될 가능성이 있는 슬라이스이다. 의존 슬라이스는, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보를 이용하는 슬라이스이다. 여기서, 다른 슬라이스란, 예를 들면, 의존 슬라이스의 전에 위치하고, 또한 가장 가까운 통상 슬라이스이다.
또한, 분할 단계에서는, 상술한 제한의 1개 또는 복수가 만족되도록, 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할한다.
또한, 복호 단계에서는, 제1 타일 및 제2 타일을 병렬 복호하고, 제2 타일의 복호를 개시할 때에, 제1 타일에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 제2 타일을 복호해도 된다. 또한, 분할 단계에서는, 화상 복호 장치에 있어서 제1 타일 및 제2 타일을 병렬 복호하는 경우에 있어서, 해당 화상 복호 장치가 제2 타일의 복호를 개시할 때에, 제1 타일에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 제2 타일을 복호할 수 있도록 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할해도 된다.
여기서 분할 정보란, 예를 들면, 슬라이스 위치(선두 위치) 또는 슬라이스 헤더의 위치를 나타내는 정보이다. 화상 복호 장치는, 이 분할 정보를 참조함으로써, 상술한 처리 대상의 타일을 점프하는 처리를 행한다.
또한, 상술한 것처럼 슬라이스 헤더에, 해당 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보(dependent＿slice＿flag)가 포함된다. 즉, 화상 복호 방법은, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더로부터 취득하는 단계를 포함한다. 또한, 화상 부호화 방법은, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더에 집어넣는 단계를 포함한다.
또한, WPP의 경우에 상기에서 검토한 것과 동일한 문제가 타일에도 일어난다. 따라서, 상기의 해결책을 타일에도 적용할 수 있다. WPP 대신에 타일이 유효화되는 경우, 병렬 처리되는 부분은, LCU행이 아니라, LCU로 구성되는 타일이다. 즉, 상술한 해결책은, LCU행을 타일로 치환함으로써, 타일에 그대로 이용 가능하다.
상술한 것처럼, 비트 스트림은, 통상 슬라이스 및 의존 슬라이스를 포함해도 되고, 이들 복호는 통상 슬라이스의 슬라이스 헤더에 있어서 신호 전달되는 파라미터에 의거한다.
본 발명의 일양태에서는, 통상 슬라이스가 타일의 개시 위치에서 시작되지 않는 경우, 통상 슬라이스에 의존하는 의존 슬라이스는, 해당 통상 슬라이스에 계속될 수 없다는 제한이 적용된다.
또한, 본 발명의 일양태에서는, 화상에 포함되는 1번째의 슬라이스만을 통상 슬라이스로 하고, 나머지 슬라이스를 의존 슬라이스로 하도록, 화상을 슬라이스로 분할한다고 하는 제한을 적용한다.
또한, 각 의존 슬라이스의 산술 복호부가 친슬라이스의 슬라이스 헤더를 사용함으로써, 슬라이스의 의존성이 생긴다.
또한, 본 발명의 일양태에서는, 의존 슬라이스의 적용이 가능한 경우, 제한 인디케이터가 비트 스트림에 넣어진다. 해당 의존 슬라이스는, 부호화 화상 데이터를 포함하고, 다른 슬라이스 헤더의 파라미터를 이용하는 슬라이스이다.
또한, 제한은, 상술한 어떠한 제한이나, 그러한 제한의 조합이나, 상기에서 예시한 제한 이외의 제한이어도 된다.
또한, 본 발명의 일양태에 관련된 장치는, 적어도 부분적으로 산술 부호로 부호화된, 복수의 화상 슬라이스 및 복수의 화상 타일을 포함하는 부호화 영상 시퀀스의 비트 스트림을 복호하는 장치이며, 슬라이스의 산술 복호의 확률 모델이 소정치로 초기화되는지 여부를 나타내는 초기화 인디케이터를, 상기 비트 스트림의 상기 슬라이스용 데이터로부터 추출하는 해석부와, 상기 초기화 인디케이터에 따라, 상기 소정치로 산술 복호용의 상기 확률 모델을 초기화할지 여부를 제어하는 제어부와, 산술 복호를 행함으로써, 상기 슬라이스를 복호하는 산술 복호부를 구비한다.
또한, 본 발명의 일양태에 관련된 장치는, 복수의 화상 슬라이스를 포함하는 영상 시퀀스를 적어도 부분적으로 산술 부호로 부호화하여, 비트 스트림을 생성하는 장치이며, 슬라이스의 산술 복호의 확률 모델이 소정치로 초기화되는지 여부를 나타내는 초기화 인디케이터를, 상기 비트 스트림 데이터의 상기 슬라이스용 데이터에 집어넣는 비트 스트림 생성부와, 상기 초기화 인디케이터에 따라, 상기 소정치로 산술 부호화용의 상기 확률 모델을 초기화할지 여부를 제어하는 제어부와, 산술 부호화를 행함으로써, 상기 슬라이스를 부호화하는 산술 부호화부를 구비한다.
예를 들면, 상기 초기화 인디케이터는, 상기 슬라이스의 헤더 데이터에 넣어져도 된다.
예를 들면, 이 초기화 인디케이터는, 1비트 플래그이다. 해당 1비트 플래그에 있어서, 「1」은 산술 복호의 확률 모델이 소정치로 초기화되는 것을 나타내고, 「0」은 산술 복호의 확률 모델이 다른 방법으로 초기화되는 것을 나타낸다.
예를 들면, 화상의 화소 블록에 대응하는 부호화 단위로 화상의 슬라이스를 분할해도 되고, 슬라이스가, 다른 슬라이스 헤더의 파라미터를 이용하는 슬라이스인 의존 슬라이스인 경우에만, 해석부는, 헤더 데이터에 있어서의 초기화 인디케이터를 추출해도 된다.
예를 들면, 타일의 병렬 복호가 가능한 경우만, 해석부는, 헤더 데이터의 초기화 인디케이터를 추출해도 된다. 또는, 슬라이스가 타일의 선두에서 시작되는 경우만, 해석부는, 헤더 데이터의 초기화 인디케이터를 추출해도 된다.
예를 들면, 초기화 인디케이터는, 슬라이스 헤더의 외부의 SEI 메세지에 넣어진다.
또한, 상기 설명에서 이용한 「슬라이스(통상 슬라이스 또는 의존 슬라이스)」는, 「슬라이스 세그먼트(통상 슬라이스 세그먼트 또는 의존 슬라이스 세그먼트)」로 불리는 경우도 있다. 이 경우, 1이상의 연속하는 슬라이스 세그먼트를 포함하는 단위를 「슬라이스」로 부른다. 구체적으로는, 1개의 슬라이스는, 1개의 통상 슬라이스 세그먼트와, 해당 통상 슬라이스 세그먼트의 후에 연속하는 1이상의 의존 슬라이스 세그먼트를 포함한다. 즉, 어느 통상 슬라이스 세그먼트의 직후가 통상 슬라이스 세그먼트인 경우, 슬라이스는 해당 통상 슬라이스 세그먼트만을 포함한다. 또한, 어느 통상 슬라이스 세그먼트의 직후에 1이상의 의존 슬라이스 세그먼트가 연속하는 경우, 슬라이스는, 해당 통상 슬라이스 세그먼트와, 해당 1이상의 의존 슬라이스 세그먼트를 포함한다. 즉, 통상 슬라이스 세그먼트로부터, 다음의 통상 슬라이스 세그먼트 직전의 의존 슬라이스 세그먼트까지가, 1개의 슬라이스에 포함된다.
또한, 이러한 정의를 이용한 경우, 상술한 타일과 슬라이스의 제한은, 이하의 정의에 대응한다고 할 수 있다.
이하의 2개의 조건 중 적어도 한쪽이 만족될 필요가 있다. (1) 어느 슬라이스에 포함되는 모든 부호화 트리 단위는 동일한 타일에 속한다. (2) 어느 타일에 포함되는 모든 부호화 트리 단위는 동일한 슬라이스에 속한다.
여기서 부호화 트리 단위란, 상술한 LCU 및 부호화 트리 블록과 동일한 의미이다.
또한, 이하의 2개의 조건 중 적어도 한쪽이 만족될 필요가 있다.
(1) 어느 슬라이스 세그먼트에 포함되는 모든 부호화 트리 단위는 동일한 타일에 속한다. (2) 어느 타일에 포함되는 모든 부호화 트리 단위는 동일한 슬라이스 세그먼트에 속한다.
이상, 실시의 형태에 관련된 화상 부호화 방법 및 화상 복호 방법에 대하여 설명했는데, 본 발명은, 이 실시의 형태에 한정되는 것은 아니다.
상기 화상 부호화 방법 및 화상 복호 방법은, 화상 부호화 장치 및 화상 복호 장치에 의해 실현된다. 또한, 화상 부호화 장치 및 화상 복호 장치의 구성은, 예를 들면, 도 1 및 도 2에 나타내는 구성과 동일하고, 상기 화상 부호화 방법 및 화상 복호 방법에 포함되는 특징적인 단계는, 도 1 및 도 2에 도시하는 어느 하나의 처리부, 또는, 도시하지 않은 처리부에 의해 실행된다.
또한, 상기 실시의 형태에 관련된 화상 부호화 장치 및 화상 복호 장치에 포함되는 각 처리부는 전형적으로는 집적 회로인 LSI로서 실현된다. 이들은 개별적으로 1칩화되어도 되고, 일부 또는 모두를 포함하도록 1칩화되어도 된다.
또한, 집적 회로화는 LSI에 한정되는 것은 아니고, 전용 회로 또는 범용 프로세서로 실현되어도 된다. LSl 제조 후에 프로그램하는 것이 가능한 FPG A(Field Programmable Gate Array), 또는 LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리콘피규러블·프로세서를 이용해도 된다.
상기 각 실시의 형태에 있어서, 각 구성 요소는, 전용 하드웨어로 구성되거나, 각 구성 요소에 적절한 소프트웨어 프로그램을 실행함으로써 실현되어도 된다. 각 구성 요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 독출하여 실행함으로써 실현되어도 된다.
바꾸어 말하면, 화상 부호화 장치 및 화상 복호 장치는, 제어 회로(control circuitry)와, 해당 제어 회로에 전기적으로 접속된(해당 제어 회로로부터 액세스 가능한) 기억 장치(storage)를 구비한다. 제어 회로는, 전용 하드웨어 및 프로그램 실행부의 적어도 한쪽을 포함한다. 또한, 기억 장치는, 제어 회로가 프로그램 실행부를 포함하는 경우에는, 해당 프로그램 실행부에 의해 실행되는 소프트웨어 프로그램을 기억한다.
또한, 본 발명은 상기 소프트웨어 프로그램이어도 되고, 상기 프로그램이 기록된 비일시적인 컴퓨터 판독 가능한 기록 매체여도 된다. 또한, 상기 프로그램은, 인터넷 등의 전송 매체를 통하여 유통시킬 수 있는 것은 말할 필요도 없다.
또한, 상기에서 이용한 숫자는, 모두 본 발명을 구체적으로 설명하기 위해서 예시하는 것이며, 본 발명은 예시된 숫자에 제한되지 않는다.
또한, 블록도에 있어서의 기능 블록의 분할은 일례이며, 복수의 기능 블록을 1개의 기능 블록으로서 실현하거나, 1개의 기능 블록을 복수로 분할하거나, 일부 기능을 다른 기능 블록으로 옮겨도 된다. 또한, 유사한 기능을 가지는 복수의 기능 블록의 기능을 단일 하드웨어 또는 소프트웨어가 병렬 또는 시분할로 처리해도 된다.
또한, 상기의 화상 부호화 방법 또는 화상 복호 방법에 포함되는 단계가 실행되는 순서는, 본 발명을 구체적으로 설명하기 위해서 예시하기 위한 것이며, 상기 이외의 순서여도 된다. 또한, 상기 단계의 일부가, 다른 단계와 동시(병렬)에 실행되어도 된다.
이상, 본 발명의 하나 또는 복수의 양태에 관련된 화상 부호화 장치 및 화상 복호 장치에 대하여, 실시의 형태에 의거하여 설명했는데, 본 발명은, 이 실시의 형태에 한정되는 것은 아니다. 본 발명의 취지를 일탈하지 않는 한, 당업자가 생각하는 각종 변형을 본 실시의 형태에 실시한 것이나, 다른 실시의 형태에 있어서의 구성 요소를 조합하여 구축되는 형태도, 본 발명의 하나 또는 복수의 양태의 범위 내에 포함되어도 된다.
(실시의 형태 5)
상기 각 실시의 형태에서 나타낸 동화상 부호화 방법(화상 부호화 방법) 또는 동화상 복호화 방법(화상 복호 방법)의 구성을 실현하기 위한 프로그램을 기억 미디어에 기록함으로써, 상기 각 실시의 형태에서 나타낸 처리를 독립된 컴퓨터 시스템에 있어서 간단하게 실시하는 것이 가능해진다. 기억 미디어는, 자기 디스크, 광 디스크, 광학 자기 디스크, IC 카드, 반도체 메모리 등, 프로그램을 기록할 수 있는 것이면 된다.
또한 여기서, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법(화상 부호화 방법)이나 동화상 복호화 방법(화상 복호 방법)의 응용예와 이를 이용한 시스템을 설명한다. 해당 시스템은, 화상 부호화 방법을 이용한 화상 부호화 장치, 및 화상 복호 방법을 이용한 화상 복호 장치로 이루어지는 화상 부호화 복호 장치를 가지는 것을 특징으로 한다. 시스템에 있어서의 다른 구성에 대하여, 경우에 따라 적절히 변경할 수 있다.
도 28은, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 도면이다. 통신 서비스의 제공 에어리어를 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex106, ex107, ex108, ex109, ex110)이 설치되어 있다.
이 컨텐츠 공급 시스템(ex100)은, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104) 및 기지국(ex106)으로부터 (ex110)를 통하여, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 게임기(ex115) 등의 각 기기가 접속된다.
그러나, 컨텐츠 공급 시스템(ex100)은 도 28과 같은 구성에 한정되지 않고, 몇개의 요소를 조합하여 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex106)으로부터 (ex110)를 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다. 또한, 각 기기가 근거리 무선 등을 통하여 직접 서로 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이며, 카메라(ex116)는 디지털 카메라 등의 정지 화상 촬영, 동화상 촬영이 가능한 기기이다. 또한, 휴대 전화(ex114)는, GSM(등록상표)(Gtobal System for Mobile Communication) 방식, CDMA(Code Division Multiple Access) 방식, W－CDMA(Wideband－Code Division Multiple Access) 방식, 혹은 LTE(Long Term Evolution) 방식, HSPA(High Speed Pack et Access)의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이며, 어떠한 것이라도 상관없다.
컨텐츠 공급 시스템(ex100)에서는, 카메라(ex113) 등이 기지국(ex109), 전화망(ex104)을 통하여 스트리밍 서버(ex103)에 접속됨으로써, 라이브 전달 등이 가능해진다. 라이브 전달에서는, 유저가 카메라(ex113)를 이용해 촬영하는 컨텐츠(예를 들면, 음악 라이브 영상 등)에 대하여 상기 각 실시의 형태에서 설명한 것처럼 부호화 처리를 행하여(즉, 본 발명의 일양태에 관련된 화상 부호화 장치로서 기능한다), 스트리밍 서버(ex103)에 송신한다. 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대하여 송신된 컨텐츠 데이터를 스트림 전송한다. 클라이언트로는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114), 게임기(ex115) 등이 있다. 전송된 데이터를 수신한 각 기기에서는, 수신한 데이터를 복호화 처리하여 재생한다(즉, 본 발명의 일양태에 관련된 화상 복호 장치로서 기능한다).
또한, 촬영한 데이터의 부호화 처리는 카메라(ex113)에서 행하거나, 데이터의 송신 처리를 하는 스트리밍 서버(ex103)에서 행해도 되고, 서로 분담하여 행해도 된다. 마찬가지로 전송된 데이터의 복호화 처리는 클라이언트에서 행하거나, 스트리밍 서버(ex103)에서 행해도 되고, 서로 분담하여 행해도 된다. 또한, 카메라(ex113)에 한정되지 않고, 카메라(ex116)에서 촬영한 정지 화상 및/또는 동화상 데이터를, 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 송신해도 된다. 이 경우의 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 스트리밍 서버(ex103) 중 어느 하나에서 행해도 되고, 서로 분담하여 행해도 된다.
또한, 이들 부호화·복호화 처리는, 일반적으로 컴퓨터(ex111)나 각 기기가 가지는 LSI(ex500)에 있어서 처리한다. LSI(ex500)는, 원칩이거나 복수 칩으로 이루어지는 구성이어도 된다. 또한, 동화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 어느 하나의 기록 미디어(CD－ROM, 플렉서블 디스크, 하드 디스크 등)에 집어넣고, 그 소프트웨어를 이용해 부호화·복호화 처리를 행해도 된다. 또한, 휴대 전화(ex114)가 카메라 부착인 경우에는, 그 카메라로 취득한 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대 전화(ex114)가 가지는 LSI(ex500)에서 부호화 처리된 데이터이다.
또한, 스트리밍 서버(ex103)는 복수의 서버나 복수의 컴퓨터이며, 데이터를 분산하여 처리하거나 기록하거나 전달하는 것이어도 된다.
이상과 같이 하여, 컨텐츠 공급 시스템(ex100)에서는, 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있다. 이와 같이 컨텐츠 공급 시스템(ex100)에서는, 유저가 송신한 정보를 실시간으로 클라이언트가 수신하여 복호화하여, 재생할 수 있어, 특별한 권리나 설비를 갖지 않는 유저라도 개인 방송을 실현할 수 있다.
또한, 컨텐츠 공급 시스템(ex100)의 예에 한정되지 않고, 도 29에 나타내는 바와 같이, 디지털 방송용 시스템(ex200)에도, 상기 각 실시의 형태 중 적어도 동화상 부호화 장치(화상 부호화 장치) 또는 동화상 복호화 장치(화상 복호 장치) 중 어느 하나를 집어넣을 수 있다. 구체적으로, 방송국(ex201)에서는 영상 데이터에 음악 데이터 등이 다중화된 다중화 데이터가 전파를 통하여 통신 또는 위성(ex202)에 전송된다. 이 영상 데이터는 상기 각 실시의 형태에서 설명한 동화상 부호화 방법에 의해 부호화된 데이터이다(즉, 본 발명의 일양태에 관련된 화상 부호화 장치에 의해서 부호화된 데이터이다). 이를 받은 방송 위성(ex202)은, 방송용 전파를 발신하고, 이 전파를 위성 방송의 수신이 가능한 가정의 안테나(ex204)가 수신한다. 수신한 다중화 데이터를, 텔레비전(수신기)(ex300) 또는 셋탑 박스(STB)(ex217) 등의 장치가 복호화하여 재생한다(즉, 본 발명의 일양태에 관련된 화상 복호 장치로서 기능한다).
또한, DVD, BD 등의 기록 미디어(ex215)에 기록한 다중화 데이터를 판독하여 복호화하거나, 또는 기록 미디어(ex215)에 영상 신호를 부호화하고, 또한 경우에 따라서는 음악 신호와 다중화하여 기입하는 리더/레코더(ex218)에도 상기 각 실시의 형태에서 나타낸 동화상 복호화 장치 또는 동화상 부호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex219)에 표시되어, 다중화 데이터가 기록된 기록 미디어(ex215)에 의해 다른 장치나 시스템에 있어서 영상 신호를 재생할 수 있다. 또한, 케이블 텔레비젼용의 케이블(ex203) 또는 위성/지상파 방송의 안테나(ex204)에 접속된 셋탑 박스(ex217) 내에 동화상 복호화 장치를 실장하고, 이를 텔레비전의 모니터(ex219)로 표시해도 된다. 이 때 셋탑 박스가 아니라, 텔레비전 내에 동화상 복호화 장치를 집어넣어도 된다.
도 30은, 상기 각 실시의 형태에서 설명한 동화상 복호화 방법 및 동화상 부호화 방법을 이용한 텔레비전(수신기)(ex300)을 나타내는 도면이다. 텔레비전(ex300)은, 상기 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통하여 영상 데이터에 음성 데이터가 다중화된 다중화 데이터를 취득, 또는 출력하는 튜너(ex301)와, 수신한 다중화 데이터를 복조하거나, 또는 외부에 송신하는 다중화 데이터로 변조하는 변조/복조부(ex302)와, 복조한 다중화 데이터를 영상 데이터와 음성 데이터로 분리하거나, 또는 신호 처리부(ex306)에서 부호화된 영상 데이터, 음성 데이터를 다중화하는 다중/분리부(ex303)를 구비한다.
또한, 텔레비전(ex300)은, 음성 데이터, 영상 데이터 각각을 복호화하거나, 또는 각각의 정보를 부호화하는 음성 신호 처리부(ex304), 영상 신호 처리부(ex305)(본 발명의 일양태에 관련된 화상 부호화 장치 또는 화상 복호 장치로서 기능한다)를 가지는 신호 처리부(ex306)와, 복호화한 음성 신호를 출력하는 스피커(ex307), 복호화한 영상 신호를 표시하는 디스플레이 등의 표시부(ex308)를 가지는 출력부(ex309)를 가진다. 또한, 텔레비전(ex300)은, 유저 조작의 입력을 접수하는 조작 입력부(ex312) 등을 가지는 인터페이스부(ex317)를 가진다. 또한, 텔레비전(ex300)은, 각 부를 통괄적으로 제어하는 제어부(ex310), 각 부에 전력을 공급하는 전원 회로부(ex311)를 가진다. 인터페이스부(ex317)는, 조작 입력부(ex312) 이외에, 리더/레코더(ex218) 등의 외부 기기와 접속되는 브릿지(ex313), SD 카드 등의 기록 미디어(ex216)를 장착 가능하게 하기 위한 슬롯부(ex314), 하드 디스크 등의 외부 기록 미디어와 접속하기 위한 드라이버(ex315), 전화망과 접속하는 모뎀(ex316) 등을 가지고 있어도 된다. 또한 기록 미디어(ex216)는, 저장하는 불휘발성/휘발성의 반도체 메모리 소자에 의해 전기적으로 정보의 기록을 가능하게 한 것이다. 텔레비전(ex300)의 각 부는 동기 버스를 통하여 서로 접속되어 있다.
우선, 텔레비전(ex300)이 안테나(ex204) 등에 의해 외부로부터 취득한 다중화 데이터를 복호화하여, 재생하는 구성에 대하여 설명한다. 텔레비전(ex300)은, 리모트 콘트롤러(ex220) 등으로부터의 유저 조작을 받아, CPU 등을 가지는 제어부(ex310)의 제어에 의거하여, 변조/복조부(ex302)에서 복조한 다중화 데이터를 다중/분리부(ex303)에서 분리한다. 또한 텔레비전(ex300)은, 분리한 음성 데이터를 음성 신호 처리부(ex304)에서 복호화하고, 분리한 영상 데이터를 영상 신호 처리부(ex305)에서 상기 각 실시의 형태에서 설명한 복호화 방법을 이용해 복호화한다. 복호화한 음성 신호, 영상 신호는, 각각 출력부(ex309)로부터 외부를 향해서 출력된다. 출력할 때에는, 음성 신호와 영상 신호가 동기하여 재생하도록, 버퍼(ex318, ex319) 등에 일단 이들 신호를 축적하면 좋다. 또한, 텔레비전(ex300)은, 방송 등으로부터가 아니라, 자기/광 디스크, SD 카드 등의 기록 미디어(ex215, ex216)로부터 다중화 데이터를 읽어내도 된다. 다음에, 텔레비전(ex300)이 음성 신호나 영상 신호를 부호화하여, 외부에 송신 또는 기록 미디어 등에 기입하는 구성에 대하여 설명한다. 텔레비전(ex300)은, 리모트 콘트롤러(ex220) 등으로부터의 유저 조작을 받아, 제어부(ex310)의 제어에 의거하여, 음성 신호 처리부(ex304)에서 음성 신호를 부호화하고, 영상 신호 처리부(ex305)에서 영상 신호를 상기 각 실시의 형태에서 설명한 부호화 방법을 이용해 부호화한다. 부호화한 음성 신호, 영상 신호는 다중/분리부(ex303)에서 다중화되어 외부로 출력된다. 다중화할 때, 음성 신호와 영상 신호가 동기하도록, 버퍼(ex320, ex321) 등에 일단 이들 신호를 축적하면 좋다. 또한, 버퍼(ex318, ex319, ex320, ex321)는 도시하고 있는 바와 같이 복수 구비하고 있어도 되고, 1개 이상의 버퍼를 공유하는 구성이어도 된다. 또한, 도시하고 있는 것 외에, 예를 들면 변조/복조부(ex302) 나 다중/분리부(ex303)의 사이 등에서도 시스템의 오버플로우, 언더플로우를 피하는 완충재로서 버퍼에 데이터를 축적하도록 해도 된다.
또한, 텔레비전(ex300)은, 방송 등이나 기록 미디어 등으로부터 음성 데이터, 영상 데이터를 취득하는 이외에, 마이크 나 카메라의 AV 입력을 접수하는 구성을 구비하고, 이들로부터 취득한 데이터에 대해서 부호화 처리를 행해도 된다. 또한, 여기서는 텔레비전(ex300)은 상기의 부호화 처리, 다중화, 및 외부 출력이 가능한 구성으로서 설명했는데, 이들 처리를 행하지 못하고, 상기 수신, 복호화 처리, 외부 출력만이 가능한 구성이어도 된다.
또한, 리더/레코더(ex218)에서 기록 미디어로부터 다중화 데이터를 읽어내거나, 또는 기입하는 경우에는, 상기 복호화 처리 또는 부호화 처리는 텔레비전(ex300), 리더/레코더(ex218) 중 어느 하나에서 행해도 되고, 텔레비전(ex300)과 리더/레코더(ex218)가 서로 분담하여 행해도 된다.
일례로서, 광 디스크로부터 데이터의 읽어들임 또는 기입을 행하는 경우의 정보 재생/기록부(ex400)의 구성을 도 31에 나타낸다. 정보 재생/기록부(ex400)는, 이하에 설명하는 요소(ex401, ex402, ex403, ex404, ex405, ex406, ex407)를 구비한다. 광 헤드(ex401)는, 광 디스크인 기록 미디어(ex215)의 기록면에 레이저 스폿을 조사하여 정보를 기입하고, 기록 미디어(ex215)의 기록면으로부터의 반사광을 검출하여 정보를 읽어들인다. 변조 기록부(ex402)는, 광 헤드(ex401)에 내장된 반도체 레이저를 전기적으로 구동하여 기록 데이터에 따라 레이저 광의 변조를 행한다. 재생 복조부(ex403)는, 광 헤드(ex401)에 내장된 포토디텍터에 의해 기록면으로부터의 반사광을 전기적으로 검출한 재생 신호를 증폭하고, 기록 미디어(ex215)에 기록된 신호 성분을 분리하여 복조하여, 필요한 정보를 재생한다. 버퍼(ex404)는, 기록 미디어(ex215)에 기록하기 위한 정보 및 기록 미디어(ex215)로부터 재생한 정보를 일시적으로 유지한다. 디스크 모터(ex405)는 기록 미디어(ex215)를 회전시킨다. 서보 제어부(ex406)는, 디스크 모터(ex405)의 회전 구동을 제어하면서 광 헤드(ex401)를 소정의 정보 트랙으로 이동시켜, 레이저 스폿의 추종 처리를 행한다. 시스템 제어부(ex407)는, 정보 재생/기록부(ex400) 전체의 제어를 행한다. 상기의 독출이나 기입의 처리는 시스템 제어부(ex407)가, 버퍼(ex404)에 유지된 각종 정보를 이용하고, 또한 필요에 따라서 새로운 정보의 생성·추가를 행함과 더불어, 변조 기록부(ex402), 재생 복조부(ex403), 서보 제어부(ex406)를 협조 동작시키면서, 광 헤드(ex401)를 통하여, 정보의 기록 재생을 행함으로써 실현된다. 시스템 제어부(ex407)는 예를 들면 마이크로 프로세서로 구성되어, 독출 기입의 프로그램을 실행함으로써 이들 처리를 실행한다.
이상에서, 광 헤드(ex401)는 레이저 스폿을 조사하는 것으로서 설명했는데, 근접장 광을 이용해 보다 고밀도의 기록을 행하는 구성이어도 된다.
도 32에 광 디스크인 기록 미디어(ex215)의 모식도를 나타낸다. 기록 미디어(ex215)의 기록면에는 안내 홈(그룹)이 스파이럴상으로 형성되고, 정보 트랙(ex230)에는, 미리 그룹의 형상 변화에 따라서 디스크 상의 절대 위치를 나타내는 번지 정보가 기록되어 있다. 이 번지 정보는 데이터를 기록하는 단위인 기록 블록(ex231)의 위치를 특정하기 위한 정보를 포함하고, 기록이나 재생을 행하는 장치에 있어서 정보 트랙(ex230)을 재생하여 번지 정보를 읽어냄으로써 기록 블록을 특정할 수 있다. 또한, 기록 미디어(ex215)는, 데이터 기록 영역(ex233), 내주 영역(ex232), 외주 영역(ex234)을 포함하고 있다. 유저 데이터를 기록하기 위해서 이용하는 영역이 데이터 기록 영역(ex233)이며, 데이터 기록 영역(ex233)보다 내주 또는 외주에 배치되어 있는 내주 영역(ex232)과 외주 영역(ex234)은, 유저 데이터의 기록 이외의 특정 용도에 이용된다. 정보 재생/기록부(ex400)는, 이러한 기록 미디어(ex215)의 데이터 기록 영역(ex233)에 대하여, 부호화된 음성 데이터, 영상 데이터 또는 이들 데이터를 다중화한 다중화 데이터의 읽고 쓰기를 행한다.
이상에서는, 1층의 DVD, BD 등의 광 디스크를 예로 들어 설명했는데, 이들에 한정된 것은 아니고, 다층 구조이며 표면 이외에도 기록 가능한 광 디스크여도 된다. 또한, 디스크의 동일한 장소에 다양한 다른 파장의 색의 광을 이용해 정보를 기록하거나, 다양한 각도로부터 상이한 정보의 층을 기록하거나, 다차원적인 기록/재생을 행하는 구조의 광 디스크여도 된다.
또한, 디지털 방송용 시스템(ex200)에 있어서, 안테나(ex205)를 가지는 차(ex210)에서 위성(ex202) 등으로부터 데이터를 수신하고, 차(ex210)가 가지는 카 내비게이션(ex211) 등의 표시 장치에 동화상을 재생하는 것도 가능하다. 또한, 카 내비게이션(ex211)의 구성은 예를 들면 도 30에 나타내는 구성 중, GPS 수신부를 추가한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 휴대 전화(ex114) 등에서도 생각할 수 있다.
도 33a는, 상기 실시의 형태에서 설명한 동화상 복호화 방법 및 동화상 부호화 방법을 이용한 휴대 전화(ex114)를 나타내는 도면이다. 휴대 전화(ex114)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex350), 영상, 정지 화상을 찍는 것이 가능한 카메라부(ex365), 카메라부(ex365)에서 촬상한 영상, 안테나(ex350)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex358)를 구비한다. 휴대 전화(ex114)는, 조작 키부(ex366)를 가지는 본체부, 음성을 출력하기 위한 스피커 등인 음성 출력부(ex357), 음성을 입력하기 위한 마이크 등인 음성 입력부(ex356), 촬영한 영상, 정지 화면, 녹음한 음성, 또는 수신한 영상, 정지 화면, 메일 등의 부호화된 데이터 혹은 복호화된 데이터를 보존하는 메모리부(ex367), 또는 마찬가지로 데이터를 보존하는 기록 미디어와의 인터페이스부인 슬롯부(ex364)를 구비한다.
또한, 휴대 전화(ex114)의 구성예에 대하여, 도 33b를 이용하여 설명한다. 휴대 전화(ex114)는, 표시부(ex358) 및 조작 키부(ex366)를 구비한 본체부의 각 부를 통괄적으로 제어하는 주제어부(ex360)에 대하여, 전원 회로부(ex361), 조작 입력 제어부(ex362), 영상 신호 처리부(ex355), 카메라 인터페이스부(ex363), LCD(Liquid Crystal Display) 제어부(ex359), 변조/복조부(ex352), 다중/분리부(ex353), 음성 신호 처리부(ex354), 슬롯부(ex364), 메모리부(ex367)가 버스(ex370)를 통하여 서로 접속되어 있다.
전원 회로부(ex361)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화(ex114)를 동작 가능한 상태로 기동한다.
휴대 전화(ex114)는, CPU, ROM, RAM 등을 가지는 주제어부(ex360)의 제어에 의거하여, 음성 통화 모드시에 음성 입력부(ex356)에서 수음한 음성 신호를 음성 신호 처리부(ex354)에서 디지털 음성 신호로 변환하고, 이를 변조/복조부(ex352)에서 스펙트럼 확산 처리하여, 송신/수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 송신한다. 또한 휴대 전화(ex114)는, 음성 통화 모드시에 안테나(ex350)를 통하여 수신한 수신 데이터를 증폭시켜 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변조/복조부(ex352)에서 스펙트럼 역확산 처리하여, 음성 신호 처리부(ex354)에서 아날로그 음성 신호로 변환한 후, 이를 음성 출력부(ex357)로부터 출력한다.
또한 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키부(ex366) 등의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex362)를 통하여 주제어부(ex360)에 송출된다. 주제어부(ex360)는, 텍스트 데이터를 변조/복조부(ex352)에서 스펙트럼 확산 처리를 하고, 송신/수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 기지국(ex110)에 송신한다. 전자 메일을 수신하는 경우는, 수신한 데이터에 대하여 이 거의 반대의 처리가 행해져, 표시부(ex358)에 출력된다.
데이터 통신 모드시에 영상, 정지 화면, 또는 영상과 음성을 송신하는 경우, 영상 신호 처리부(ex355)는, 카메라부(ex365)로부터 공급된 영상 신호를 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법에 따라 압축 부호화하고(즉, 본 발명의 일양태에 관련된 화상 부호화 장치로서 기능한다), 부호화된 영상 데이터를 다중/분리부(ex353)에 송출한다. 또한, 음성 신호 처리부(ex354)는, 영상, 정지 화면 등을 카메라부(ex365)에서 촬상중에 음성 입력부(ex356)에서 수음한 음성 신호를 부호화하고, 부호화된 음성 데이터를 다중/분리부(ex353)에 송출한다.
다중/분리부(ex353)는, 영상 신호 처리부(ex355)로부터 공급된 부호화된 영상 데이터와 음성 신호 처리부(ex354)로부터 공급된 부호화된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변조/복조부(변조/복조 회로부)(ex352)에서 스펙트럼 확산 처리를 하여, 송신/ 수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 송신한다.
데이터 통신 모드시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 또는 영상 및 혹은 음성이 첨부된 전자 메일을 수신하는 경우, 안테나(ex350)를 통하여 수신된 다중화 데이터를 복호화하기 위해서, 다중/분리부(ex353)는, 다중화 데이터를 분리함으로써 영상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누어, 동기 버스(ex370)를 통하여 부호화된 영상 데이터를 영상 신호 처리부(ex355)에 공급함과 더불어, 부호화된 음성 데이터를 음성 신호 처리부(ex354)에 공급한다. 영상 신호 처리부(ex355)는, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법에 대응한 동화상 복호화 방법에 의해 복호화함으로써 영상 신호를 복호하고(즉, 본 발명의 일양태에 관련된 화상 복호 장치로서 기능한다), LCD 제어부(ex359)를 통하여 표시부(ex358)로부터, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 영상, 정지 화면이 표시된다. 또한 음성 신호 처리부(ex354)는, 음성 신호를 복호하여, 음성 출력부(ex357)로부터 음성이 출력된다.
또한, 상기 휴대 전화(ex114) 등의 단말은, 텔레비전(ex300)과 마찬가지로, 부호화기·복호화기를 양쪽 모두 가지는 송수신형 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말이라고 하는 3가지 실장 형식을 생각할 수 있다. 또한, 디지털 방송용 시스템(ex200)에 있어서, 영상 데이터에 음악 데이터 등이 다중화된 다중화 데이터를 수신, 송신하는 것으로서 설명했는데, 음성 데이터 이외에 영상에 관련된 문자 데이터 등이 다중화된 데이터여도 되고, 다중화 데이터가 아니라 영상 데이터 자체여도 된다.
이와 같이, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호화 방법을 상술한 어느 하나의 기기·시스템에 이용하는 것은 가능하고, 그렇게 함으로써, 상기 각 실시의 형태에서 설명한 효과를 얻을 수 있다.
또한, 본 발명은 이러한 상기 실시의 형태에 한정되는 것은 아니고, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.
(실시의 형태 6)
상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치와, MPEG－2, MPEG4－AVC, VC－1 등 상이한 규격에 준거한 동화상 부호화 방법 또는 장치를, 필요에 따라서 적절히 전환함으로써, 영상 데이터를 생성하는 것도 가능하다.
여기서, 각각 상이한 규격에 준거하는 복수의 영상 데이터를 생성한 경우, 복호할 때에, 각각의 규격에 대응한 복호 방법을 선택할 필요가 있다. 그러나, 복호하는 영상 데이터가, 어느 규격에 준거하는 것인지 식별할 수 없으므로, 적절한 복호 방법을 선택할 수 없다고 하는 과제가 생긴다.
이 과제를 해결하기 위해서, 영상 데이터에 음성 데이터 등을 다중화한 다중화 데이터는, 영상 데이터가 어느 규격에 준거하는 것인지를 나타내는 식별 정보를 포함하는 구성으로 한다. 상기 각 실시의 형태에서 나타내는 동화상 부호화 방법 또는 장치에 의해서 생성된 영상 데이터를 포함하는 다중화 데이터의 구체적인 구성을 이하에 설명한다. 다중화 데이터는, MPEG－2 트랜스포트 스트림 형식의 디지털 스트림이다.
도 34는, 다중화 데이터의 구성을 나타내는 도면이다. 도 34에 나타내는 바와 같이 다중화 데이터는, 비디오 스트림, 오디오 스트림, 프레젠테이션 그래픽스 스트림(PG), 인터랙티브 그래픽스 스트림 중, 1개 이상을 다중화함으로써 얻어진다. 비디오 스트림은 영화의 주영상 및 부영상을, 오디오 스트림(IG)은 영화의 주음성 부분과 그 주음성과 믹싱하는 부음성을, 프리젠테이션 그래픽스 스트림은, 영화의 자막을 각각 나타내고 있다. 여기서 주영상이란 화면에 표시되는 통상의 영상을 나타내고, 부영상이란 주영상 내에 작은 화면으로 표시하는 영상이다. 또한, 인터랙티브 그래픽스 스트림은, 화면 상에 GUI 부품을 배치함으로써 작성되는 대화 화면을 나타내고 있다. 비디오 스트림은, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치, 종래의 MPEG－2, MPEG4－AVC, VC－1 등의 규격에 준거한 동화상 부호화 방법 또는 장치에 의해서 부호화되어 있다. 오디오 스트림은, 돌비 AC－3, Dolby Digital Plus, MLP, DTS, DTS－HC 또는, 리니어 PCM 등의 방식으로 부호화되어 있다.
다중화 데이터에 포함되는 각 스트림은 PID에 의해서 식별된다. 예를 들면, 영화의 영상에 이용하는 비디오 스트림에는 Ox1011이, 오디오 스트림에는 Ox1100부터 Ox111F까지가, 프리젠테이션 그래픽스에는 Ox1200부터 Ox121F까지가, 인터랙티브 그래픽스 스트림에는 Ox1400부터 Ox141F까지가, 영화의 부영상에 이용하는 비디오 스트림에는 Ox1BOO부터 Ox1B1F까지, 주음성과 믹싱하는 부음성에 이용하는 오디오 스트림에는 Ox1AOO부터 Ox1A1F가, 각각 할당되어 있다.
도 35는, 다중화 데이터가 어떻게 다중화되는지를 모식적으로 나타내는 도면이다. 우선, 복수의 비디오 프레임으로 이루어지는 비디오 스트림(ex235), 복수의 오디오 프레임으로 이루어지는 오디오 스트림(ex238)을, 각각 PES 패킷열(ex236 및 ex239)로 변환하고, TS 패킷(ex237 및 ex240)로 변환한다. 마찬가지로 프리젠테이션 그래픽스 스트림(ex241) 및 인터랙티브 그래픽스(ex244)의 데이터를 각각 PES 패킷열(ex242 및 ex245)로 변환하고, 다시 TS 패킷(ex243 및 ex246)으로 변환한다. 다중화 데이터(ex247)는 이들 TS 패킷을 1개의 스트림으로 다중화함으로써 구성된다.
도 36은, PES 패킷열에, 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 나타내고 있다. 도 36에 있어서의 제1단째는 비디오 스트림의 비디오 프레임열을 나타낸다. 제2단째는, PES 패킷열을 나타낸다. 도 36의 화살표 yy1, yy2, yy3, yy4로 나타내는 바와 같이, 비디오 스트림에 있어서의 복수의 Video Presentation Unit인 I 픽처, B 픽처, P 픽처는, 픽처마다 분할되고, PES 패킷의 페이로드에 저장된다. 각 PES 패킷은 PES 헤더를 가지고, PES 헤더에는, 픽처의 표시 시각인 PTS(Presentation Time－Stamp)나 픽처의 복호 시각인 DTS(Decoding Time－Stamp)가 저장된다.
도 37은, 다중화 데이터에 최종적으로 기입되는 TS 패킷의 형식을 나타내고 있다. TS 패킷은, 스트림을 식별하는 PID 등의 정보를 가지는 4Byte의 TS 헤더와 데이터를 저장하는 184Byte의 TS 페이로드로 구성되는 188Byte 고정 길이의 패킷이며, 상기 PES 패킷은 분할되어 TS 페이로드에 저장된다. BD－ROM의 경우, TS 패킷에는, 4Byte의 TP＿Extra＿Header가 부여되고, 192Byte의 소스 패킷을 구성하여, 다중화 데이터에 기입된다. TP＿Extra＿Header에는 ATS(Arrival＿Time＿Stamp) 등의 정보가 기재된다. ATS는 해당 TS 패킷의 디코더의 PID 필터로의 전송 개시 시각을 나타낸다. 다중화 데이터에는 도 37하단에 나타내는 바와 같이 소스 패킷이 배열되게 되고, 다중화 데이터의 선두로부터 인크리먼트하는 번호는 SPN(소스 패킷 넘버)로 불린다.
또한, 다중화 데이터에 포함되는 TS 패킷에는, 영상·음성·자막 등의 각 스트림 이외에도 PAT(Program Association Table), PMT(Program Map Table), PCR(Program Clock Reference) 등이 있다. PAT는 다중화 데이터 중에 이용되는 PMT의 PID가 무엇인지를 나타내고, PAT 자신의 PID는 0으로 등록된다. PMT는, 다중화 데이터 중에 포함되는 영상·음성·자막 등의 각 스트림의 PID와 각 PID에 대응하는 스트림의 속성 정보를 가지고, 또한 다중화 데이터에 관한 각종 디스크립터를 가진다. 디스크립터에는 다중화 데이터의 카피의 허가·불허가를 지시하는 카피 컨트롤 정보 등이 있다. PCR은, ATS의 시간축인 ATC(Arrival Time Clock)와 PTS·DTS의 시간축인 STC(System Time Clock)의 동기를 취하기 위해서, 그 PCR 패킷이 디코더에 전송되는 ATS에 대응하는 STC 시간의 정보를 가진다.
도 38은 PMT의 데이터 구조를 상세하게 설명하는 도면이다. PMT의 선두에는, 그 PMT에 포함되는 데이터의 길이 등을 기록한 PMT 헤더가 배치된다. 그 뒤에는, 다중화 데이터에 관한 디스크립터가 복수 배치된다. 상기 카피 컨트롤 정보 등이, 디스크립터로서 기재된다. 디스크립터의 뒤에는, 다중화 데이터에 포함되는 각 스트림에 관한 스트림 정보가 복수 배치된다. 스트림 정보는, 스트림의 압축 코덱 등을 식별하기 위한 스트림 타입, 스트림의 PID, 스트림의 속성 정보(프레임 레이트, 어스펙트비 등)가 기재된 스트림 디스크립터로 구성된다. 스트림 디스크립터는 다중화 데이터에 존재하는 스트림의 수만큼 존재한다.
기록 매체 등에 기록하는 경우에는, 상기 다중화 데이터는, 다중화 데이터 정보 파일과 함께 기록된다.
다중화 데이터 정보 파일은, 도 39에 나타내는 바와 같이 다중화 데이터의 관리 정보이며, 다중화 데이터와 1대 1로 대응하고, 다중화 데이터 정보, 스트림 속성 정보와 엔트리 맵으로 구성된다.
다중화 데이터 정보는 도 39에 나타내는 바와 같이 시스템 레이트, 재생 개시 시각, 재생 종료 시각으로 구성되어 있다. 시스템 레이트는 다중화 데이터의, 후술하는 시스템 타겟 디코더의 PID 필터에의 최대 전송 레이트를 나타낸다. 다중화 데이터 중에 포함되는 ATS의 간격은 시스템 레이트 이하가 되도록 설정되어 있다. 재생 개시 시각은 다중화 데이터의 선두 비디오 프레임의 PTS이며, 재생 종료 시각은 다중화 데이터 종단의 비디오 프레임의 PTS에 1프레임분의 재생 간격을 더한 것이 설정된다.
스트림 속성 정보는 도 40에 나타내는 바와 같이, 다중화 데이터에 포함되는 각 스트림에 대한 속성 정보가, PID마다 등록된다. 속성 정보는 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림, 인터랙티브 그래픽스 스트림마다 상이한 정보를 가진다. 비디오 스트림 속성 정보는, 그 비디오 스트림이 어떠한 압축 코덱으로 압축되었는지, 비디오 스트림을 구성하는 개개의 픽처 데이터의 해상도가 얼마인지, 어스펙트비는 얼마인지, 프레임 레이트는 얼마인지 등의 정보를 가진다. 오디오 스트림 속성 정보는, 그 오디오 스트림이 어떠한 압축 코덱으로 압축되었는지, 그 오디오 스트림에 포함되는 채널수는 몇인지, 무슨 언어에 대응하는지, 샘플링 주파수가 얼마인지 등의 정보를 가진다. 이들 정보는, 플레이어가 재생하기 전의 디코더의 초기화 등에 이용된다.
본 실시의 형태에 있어서는, 상기 다중화 데이터 중, PMT에 포함되는 스트림 타입을 이용한다. 또한, 기록 매체에 다중화 데이터가 기록되어 있는 경우에는, 다중화 데이터 정보에 포함되는, 비디오 스트림 속성 정보를 이용한다. 구체적으로는, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 있어서, PMT에 포함되는 스트림 타입, 또는, 비디오 스트림 속성 정보에 대하여, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 영상 데이터인 것을 나타내는 고유의 정보를 설정하는 단계 또는 수단을 설정한다. 이 구성에 의해, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 영상 데이터와, 다른 규격에 준거하는 영상 데이터를 식별하는 것이 가능해진다.
또한, 본 실시의 형태에 있어서의 동화상 복호화 방법의 단계를 도 41에 나타낸다. 단계 exS100에 있어서, 다중화 데이터로부터 PMT에 포함되는 스트림 타입, 또는, 다중화 데이터 정보에 포함되는 비디오 스트림 속성 정보를 취득한다. 다음에, 단계 exS101에 있어서, 스트림 타입, 또는, 비디오 스트림 속성 정보가 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 다중화 데이터인 것을 나타내는지 여부를 판단한다. 그리고, 스트림 타입, 또는, 비디오 스트림 속성 정보가 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 것이라고 판단된 경우에는, 단계 exS102에 있어서, 상기 각 실시의 형태에서 나타낸 동화상 복호 방법에 의해 복호를 행한다. 또한, 스트림 타입, 또는, 비디오 스트림 속성 정보가, 종래의 MPEG－2, MPEG4-AV, VC－1 등의 규격에 준거하는 것임을 나타내는 경우에는, 단계 exS103에 있어서, 종래의 규격에 준거한 동화상 복호 방법에 의해 복호를 행한다.
이와 같이, 스트림 타입, 또는, 비디오 스트림 속성 정보에 새로운 고유치를 설정함으로써, 복호할 때에, 상기 각 실시의 형태에서 나타낸 동화상 복호화 방법 또는 장치에서 복호 가능한지를 판단할 수 있다. 따라서, 상이한 규격에 준거하는 다중화 데이터가 입력된 경우에도, 적절한 복호화 방법 또는 장치를 선택할 수 있으므로, 에러를 일으키지 않고 복호하는 것이 가능해진다. 또한, 본 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치, 또는, 동화상 복호 방법 또는 장치를, 상술한 어느 하나의 기기·시스템에 이용하는 것도 가능하다.
(실시의 형태 7)
상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 및 장치, 동화상 복호화 방법 및 장치는, 전형적으로는 집적 회로인 LSI로 실현된다. 일례로서 도 42에 1칩화된 LSI(ex500)의 구성을 나타낸다. LSI(ex500)는, 이하에 설명하는 요소(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, ex509)를 구비하고, 각 요소는 버스(ex510)를 통하여 접속되어 있다. 전원 회로부(ex505)는 전원이 온 상태인 경우에 각 부에 대하여 전력을 공급함으로써 동작 가능한 상태로 기동한다.
예를 들면 부호화 처리를 행하는 경우에는, LSI(ex500)는, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 콘트롤러(ex504), 구동 주파수 제어부(ex512) 등을 가지는 제어부(ex501)의 제어에 의거하여, AV I/O(ex509)에 의해 마이크(ex117)나 카메라(ex113) 등으로부터 AV 신호를 입력한다. 입력된 AV 신호는, 일단 SDRAM 등의 외부 메모리(ex511)에 축적된다. 제어부(ex501)의 제어에 의거하여, 축적된 데이터는 처리량이나 처리 속도에 따라서 적절히 복수회로 나누는 등으로 되어 신호 처리부(ex507)에 보내지고, 신호 처리부(ex507)에 있어서 음성 신호의 부호화 및/또는 영상 신호의 부호화가 행해진다. 여기서 영상 신호의 부호화 처리는 상기 각 실시의 형태에서 설명한 부호화 처리이다. 신호 처리부(ex507)에서는 또한, 경우에 따라 부호화된 음성 데이터와 부호화된 영상 데이터를 다중화하는 등의 처리를 행하여, 스트림 I/O(ex506)로부터 외부로 출력한다. 이 출력된 다중화 데이터는, 기지국(ex107)을 향해서 송신되거나, 또는 기록 미디어(ex215)에 기입되기도 한다. 또한, 다중화할 때 동기하도록, 일단 버퍼(ex508)에 데이터를 축적하면 된다.
또한, 상기에서는, 메모리(ex511)가 LSI(ex500)의 외부 구성으로서 설명했는데, LSI(ex500)의 내부에 포함되는 구성이어도 된다. 버퍼(ex508)도 1개에 한정된 것이 아니라, 복수의 버퍼를 구비하고 있어도 된다. 또한, LSI(ex500)는 1칩화되어도 되고, 복수 칩화되어도 된다.
또한, 상기에서는, 제어부(ex501)가, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 콘트롤러(ex504), 구동 주파수 제어부(ex512) 등을 가지는 것으로 하고 있는데, 제어부(ex501)의 구성은, 이 구성에 한정되지 않는다. 예를 들면, 신호 처리부(ex507)가 CPU를 더 구비하는 구성이어도 된다. 신호 처리부(ex507)의 내부에도 CPU를 설치함으로써, 처리 속도를 보다 향상시키는 것이 가능해진다. 또한, 다른 예로서, CPU(ex502)가 신호 처리부(ex507), 또는 신호 처리부(ex507)의 일부인 예를 들면 음성 신호 처리부를 구비하는 구성이어도 된다. 이러한 경우에, 제어부(ex501)는, 신호 처리부(ex507) 또는 그 일부를 가지는 CPU(ex502)를 구비하는 구성이 된다.
또한, 여기에서는, LSI로 했지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI로 불리기도 한다.
또한, 집적 회로화의 수법은 LSI에 한정되는 것은 아니고, 전용 회로 또는 범용 프로세서로 실현되어도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리콘피규러블·프로세서를 이용해도 된다. 이러한 프로그래머블·로직·디바이스는, 전형적으로는, 소프트웨어 또는 펌 웨어를 구성하는 프로그램을, 로드하는 또는 메모리 등으로부터 읽어들임으로써, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법, 또는 동화상 복호화 방법을 실행할 수 있다.
또한, 반도체 기술의 진보 또는 파생하는 별도 기술에 의해 LSI로 치환되는 집적 회로화의 기술이 등장하면, 당연히, 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.
(실시의 형태 8)
상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 영상 데이터를 복호하는 경우, 종래의 MPEG-2, MPEG4－AVC, VC－1 등의 규격에 준거하는 영상 데이터를 복호하는 경우에 비해, 처리량이 증가하는 것을 생각할 수 있다. 이 때문에, LSI(ex500)에 있어서, 종래의 규격에 준거하는 영상 데이터를 복호할 때의 CPU(ex502)의 구동 주파수보다도 높은 구동 주파수로 설정할 필요가 있다. 그러나, 구동 주파수를 높게 하면, 소비 전력이 높아진다고 하는 과제가 생긴다.
이 과제를 해결하기 위해서, 텔레비전(ex300), LSI(ex500) 등의 동화상 복호화 장치는, 영상 데이터가 어느 규격에 준거하는 것인지를 식별하고, 규격에 따라서 구동 주파수를 전환하는 구성으로 한다. 도 43은, 본 실시의 형태에 있어서의 구성(ex800)을 나타내고 있다. 구동 주파수 전환부(ex803)는, 영상 데이터가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 것인 경우에는, 구동 주파수를 높게 설정한다. 그리고, 상기 각 실시의 형태에서 나타낸 동화상 복호화 방법을 실행하는 복호 처리부(ex801)에 대하여, 영상 데이터를 복호하도록 지시한다. 한편, 영상 데이터가, 종래의 규격에 준거하는 영상 데이터인 경우에는, 영상 데이터가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 것인 경우에 비해, 구동 주파수를 낮게 설정한다. 그리고, 종래의 규격에 준거하는 복호 처리부(ex802)에 대하여, 영상 데이터를 복호하도록 지시한다.
보다 구체적으로는, 구동 주파수 전환부(ex803)는, 도 42의 CPU(ex502)와 구동 주파수 제어부(ex512)로 구성된다. 또한, 상기 각 실시의 형태에서 나타낸 동화상 복호화 방법을 실행하는 복호 처리부(ex801), 및, 종래의 규격에 준거하는 복호 처리부(ex802)는, 도 42의 신호 처리부(ex507)에 해당한다. CPU(ex502)는, 영상 데이터가 어느 규격에 준거하는 것인지를 식별한다. 그리고, CPU(ex502)로부터의 신호에 의거하여, 구동 주파수 제어부(ex512)는, 구동 주파수를 설정한다. 또한, CPU(ex502)로부터의 신호에 의거하여, 신호 처리부(ex507)는, 영상 데이터의 복호를 행한다. 여기서, 영상 데이터의 식별에는, 예를 들면, 실시의 형태 6에서 기재한 식별 정보를 이용하는 것을 생각할 수 있다. 식별 정보에 관해서는, 실시의 형태 6에서 기재한 것에 한정되지 않고, 영상 데이터가 어느 규격에 준거하는지 식별할 수 있는 정보이면 된다. 예를 들면, 영상 데이터가 텔레비전에 이용되는 것인지, 디스크에 이용되는 것인지 등을 식별하는 외부 신호에 의거하여, 영상 데이터가 어느 규격에 준거하는 것인지 식별 가능한 경우에는, 이러한 외부 신호에 의거하여 식별해도 된다. 또한, CPU(ex502)에 있어서의 구동 주파수의 선택은, 예를 들면, 도 45와 같은 영상 데이터의 규격과, 구동 주파수를 대응시킨 룩업 테이블에 의거하여 행하는 것을 생각할 수 있다. 룩업 테이블을, 버퍼(ex508)나, LSI의 내부 메모리에 저장해 두고, CPU(ex502)가 이 룩업 테이블을 참조함으로써, 구동 주파수를 선택하는 것이 가능하다.
도 44는, 본 실시의 형태의 방법을 실시하는 단계를 나타내고 있다. 우선, 단계 exS200에서는, 신호 처리부(ex507)에 있어서, 다중화 데이터로부터 식별 정보를 취득한다. 다음에, 단계 exS201에서는, CPU(ex502)에 있어서, 식별 정보에 의거하여 영상 데이터가 상기 각 실시의 형태에서 나타낸 부호화 방법 또는 장치에 의해서 생성된 것인지 여부를 식별한다. 영상 데이터가 상기 각 실시의 형태에서 나타낸 부호화 방법 또는 장치에 의해서 생성된 것인 경우에는, 단계 exS202에 있어서, 구동 주파수를 높게 설정하는 신호를, CPU(ex502)가 구동 주파수 제어부(ex512)에 보낸다. 그리고, 구동 주파수 제어부(ex512)에 있어서, 높은 구동 주파수로 설정된다. 한편, 종래의 MPEG－2, MPEG4－AVC, VC－1 등의 규격에 준거하는 영상 데이터인 것을 나타내는 경우에는, 단계(exS203)에 있어서, 구동 주파수를 낮게 설정하는 신호를, CPU(ex502)가 구동 주파수 제어부(ex512)에 보낸다. 그리고, 구동 주파수 제어부(ex512)에 있어서, 영상 데이터가 상기 각 실시의 형태에서 나타낸 부호화 방법 또는 장치에 의해서 생성된 것인 경우에 비해, 낮은 구동 주파수로 설정된다.
또한, 구동 주파수의 전환에 연동하여, LSI(ex500) 또는 LSI(ex500)을 포함하는 장치에 주어지는 전압을 변경함으로써, 전력 절감 효과를 보다 높이는 것이 가능하다. 예를 들면, 구동 주파수를 낮게 설정하는 경우에는, 이에 따라, 구동 주파수를 높게 설정하고 있는 경우에 비해, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 주어지는 전압을 낮게 설정하는 것을 생각할 수 있다.
또한, 구동 주파수의 설정 방법은, 복호할 때의 처리량이 큰 경우에, 구동 주파수를 높게 설정하고, 복호할 때의 처리량이 작은 경우에, 구동 주파수를 낮게 설정하면 되고, 상술한 설정 방법에 한정되지 않는다. 예를 들면, MPEG4－AVC 규격에 준거하는 영상 데이터를 복호하는 처리량의 쪽이, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터를 복호하는 처리량보다도 큰 경우에는, 구동 주파수의 설정을 상술한 경우의 반대로 하는 것을 생각할 수 있다.
또한, 구동 주파수의 설정 방법은, 구동 주파수를 낮게 하는 구성에 한정되지 않는다. 예를 들면, 식별 정보가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 영상 데이터인 것을 나타내고 있는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 주어지는 전압을 높게 설정하고, 종래의 MPEG－2, MPEG4－AVC, VC－1 등의 규격에 준거하는 영상 데이터인 것을 나타내는 경우에는, LSI(ex500) 또는 LSI(ex500)을 포함하는 장치에 주어지는 전압을 낮게 설정하는 것도 생각할 수 있다. 또한, 다른 예로서는, 식별 정보가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 영상 데이터인 것을 나타내고 있는 경우에는, CPU(ex502)의 구동을 정지시키지 않고, 종래의 MPEG－2, MPEG4－AVC, VC－1 등의 규격에 준거하는 영상 데이터인 것을 나타내고 있는 경우에는, 처리에 여유가 있으므로, CPU(ex502)의 구동을 일시 정지시키는 것도 생각할 수 있다. 식별 정보가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 영상 데이터인 것을 나타내는 경우에도, 처리에 여유가 있으면, CPU(ex502)의 구동을 일시 정지시키는 것도 생각할 수 있다. 이 경우는, 종래의 MPEG－2, MPEG4－AVC, VC－1 등의 규격에 준거하는 영상 데이터인 것을 나타내고 있는 경우에 비해, 정지 시간을 짧게 설정하는 것을 생각할 수 있다.
이와 같이, 영상 데이터가 준거하는 규격에 따라, 구동 주파수를 전환함으로써, 전력 절감화를 도모하는 것이 가능해진다. 또한, 전지를 이용해 LSI(ex500) 또는 LSI(ex500)를 포함하는 장치를 구동하고 있는 경우에는, 전력 절감화에 따라, 전지의 수명을 길게 하는 것이 가능하다.
(실시의 형태 9)
텔레비전이나, 휴대 전화 등, 상술한 기기·시스템에는, 상이한 규격에 준거하는 복수의 영상 데이터가 입력되는 경우가 있다. 이와 같이, 상이한 규격에 준거하는 복수의 영상 데이터가 입력된 경우에도 복호할 수 있도록 하기 위해서, LSI(ex500)의 신호 처리부(ex507)가 복수의 규격에 대응하고 있을 필요가 있다. 그러나, 각각의 규격에 대응하는 신호 처리부(ex507)를 개별적으로 이용하면, LSI(ex500)의 회로 규모가 커지고, 또한, 비용이 증가한다고 하는 과제가 생긴다.
이 과제를 해결하기 위해서, 상기 각 실시의 형태에서 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리부와, 종래의 MPEG－2, MPEG4－AVC, VC－1 등의 규격에 준거하는 복호 처리부를 일부 공유화하는 구성으로 한다. 이 구성예를 도 46A의 ex900에 나타낸다. 예를 들면, 상기 각 실시의 형태에서 나타낸 동화상 복호 방법과, MPEG4－AVC 규격에 준거하는 동화상 복호 방법은, 엔트로피 부호화, 역양자화, 디블로킹·필터, 움직임 보상 등의 처리에 있어서 처리 내용이 일부 공통된다. 공통되는 처리 내용에 대해서는, MPEG4－AVC 규격에 대응하는 복호 처리부(ex902)를 공유하고, MPEG4－AVC 규격에 대응하지 않는, 본 발명의 일양태에 특유의 다른 처리 내용에 대해서는, 전용 복호 처리부(ex901)를 이용한다고 하는 구성을 생각할 수 있다. 특히, 본 발명의 일양태는, 픽처의 분할 처리에 특징을 가지고 있으므로, 예를 들면, 픽처의 분할 처리에 대해서는 전용 복호 처리부(ex901)를 이용하고, 그 이외의 역양자화, 엔트로피 복호, 디블로킹·필터, 움직임 보상 중 어느 하나, 또는, 모든 처리에 대해서는, 복호 처리부를 공유하는 것을 생각할 수 있다. 복호 처리부의 공유화에 관해서는, 공통되는 처리 내용에 대해서는, 상기 각 실시의 형태에서 나타낸 동화상 복호화 방법을 실행하기 위한 복호 처리부를 공유하고, MPEG4－AVC 규격에 특유의 처리 내용에 대해서는, 전용 복호 처리부를 이용하는 구성이어도 된다.
또한, 처리를 일부 공유화하는 다른 예를 도 46B의 ex1000에 나타낸다. 이 예에서는, 본 발명의 일양태에 특유의 처리 내용에 대응한 전용 복호 처리부(ex1001)와, 다른 종래 규격에 특유의 처리 내용에 대응한 전용 복호 처리부(ex1002)와, 본 발명의 일양태에 관련된 동화상 복호 방법과 다른 종래 규격의 동화상 복호 방법에 공통되는 처리 내용에 대응한 공용 복호 처리부(ex1003)를 이용하는 구성으로 하고 있다. 여기서, 전용 복호 처리부(ex1001), (ex1002)는, 반드시 본 발명의 일양태, 또는, 다른 종래 규격에 특유의 처리 내용으로 특화한 것이 아니라, 다른 범용 처리를 실행할 수 있는 것이어도 된다. 또한, 본 실시의 형태의 구성을, LSI(ex500)로 실장하는 것도 가능하다.
이와 같이, 본 발명의 일양태에 관련된 동화상 복호 방법과, 종래 규격의 동화상 복호 방법에 공통되는 처리 내용에 대하여, 복호 처리부를 공유함으로써, LSI의 회로 규모를 작게 하고, 또한, 비용을 저감시키는 것이 가능하다.
<산업상의 이용 가능성>
본 발명은, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또한, 본 발명은, 화상 부호화 장치를 구비하는, 텔레비전, 디지털 비디오 레코더, 카 내비게이션, 휴대 전화, 디지털 카메라, 및 디지털 비디오 카메라 등의 고해상도의 정보 표시 기기 또는 촬상 기기에 이용 가능하다.
100 : 화상 부호화 장치 101 : 입력 화상 신호
105 : 감산기 106 : 잔차 신호
110 : 변환부 111 : 변환 계수
120 : 양자화부 121, 291 : 양자화 계수
130, 230 : 역변환부 131, 231 : 잔차 신호
140, 240 : 가산기
141, 151, 161, 171, 241, 251, 261, 271 : 복호 화상 신호
150, 250 : 디블로킹 필터 160, 260 : 적응적 루프 필터
170, 270 : 참조 프레임 버퍼 180, 280 : 예측부
181, 281 : 예측 신호 190 : 엔트로피 부호화부
191, 201 : 부호화 신호 200 : 화상 복호 장치
290 : 엔트로피 복호부
300, 310, 330, 340, 350, 360, 370, 390, 400, 410, 420, 500 : 픽처
301, 302, 311, 312, 313, 314, 321, 381 : 행
320, 380 : 슬라이스 헤더
331, 332, 333, 341, 342, 343, 344, 351, 354, 361, 362, 363, 364, 365, 371, 372, 373 , 374, 391, 392, 393, 394, 401, 402, 403, 404, 411, 412, 413, 414, 415, 421, 422, 423, 424, 521, 522, 523, 524 : 슬라이스
501, 502, 511, 512 : 타일 513 : 경계

Claims (19)

  1. 화상이 복수의 타일로 분할됨과 더불어 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법으로서,
    상기 부호화 신호를 복호하는 복호 단계를 포함하고,
    상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며,
    통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 상기 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않는, 화상 복호 방법.
  2. 청구항 1에 있어서,
    상기 복호 단계에서는,
    상기 제1 타일 및 상기 제2 타일을 병렬 복호하고,
    상기 제2 타일의 복호를 개시할 때에, 상기 제1 타일에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 상기 제2 타일을 복호하는, 화상 복호 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    제3 타일의 선두가 상기 의존 슬라이스인 경우, 상기 의존 슬라이스는 상기 제3 타일 전체를 포함하는, 화상 복호 방법.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 제1 타일이, 상기 제1 타일의 선두 이외로부터 시작되는 슬라이스를 포함하는 경우, 상기 제2 타일은 의존 슬라이스로부터 시작되지 않는, 화상 복호 방법.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 화상 복호 방법은, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더로부터 취득하는 단계를 더 포함하는, 화상 복호 방법.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 화상의 선두 슬라이스는 통상 슬라이스이며, 다른 모든 슬라이스는 의존 슬라이스인, 화상 복호 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    상기 화상 복호 방법은, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림으로부터 취득하는 단계를 더 포함하는, 화상 복호 방법.
  8. 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
    상기 화상 복호 방법은,
    상기 의존 슬라이스에 슬라이스 헤더가 이용되는 친(親)슬라이스가 타일 선두로부터 시작되는지 여부를 나타내는 인디케이터를 상기 비트 스트림으로부터 취득하는 단계를 더 포함하는, 화상 복호 방법.
  9. 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하여 부호화함으로써 비트 스트림을 생성하는 화상 부호화 방법으로서,
    상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하는 분할 단계와,
    분할된 복수의 타일 및 복수의 슬라이스를 부호화하는 부호화 단계를 포함하고,
    상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며,
    상기 분할 단계에서는, 통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 상기 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않도록, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하는, 화상 부호화 방법.
  10. 청구항 9에 있어서,
    상기 분할 단계에서는,
    화상 복호 장치에 있어서 상기 제1 타일 및 상기 제2 타일을 병렬 복호하는 경우에 있어서, 상기 화상 복호 장치가 상기 제2 타일의 복호를 개시할 때에, 상기 제1 타일에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 상기 제2 타일을 복호할 수 있도록 상기 화상을 상기 복수의 타일 및 상기 복수의 슬라이스로 분할하는, 화상 부호화 방법.
  11. 청구항 9 또는 청구항 10에 있어서,
    상기 분할 단계에서는, 제3 타일의 선두가 상기 의존 슬라이스인 경우, 상기 의존 슬라이스는 상기 제3 타일 전체를 포함하도록, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하는, 화상 부호화 방법.
  12. 청구항 9 내지 청구항 11 중 어느 한 항에 있어서,
    상기 분할 단계에서는, 상기 제1 타일이, 상기 제1 타일의 선두 이외로부터 시작되는 슬라이스를 포함하는 경우, 상기 제2 타일은 의존 슬라이스로부터 시작되지 않도록, 상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하는, 화상 부호화 방법.
  13. 청구항 9 내지 청구항 12 중 어느 한 항에 있어서,
    상기 화상 부호화 방법은, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더에 내장하는 단계를 더 포함하는, 화상 부호화 방법.
  14. 청구항 9 내지 청구항 13 중 어느 한 항에 있어서,
    상기 화상의 선두 슬라이스는 통상 슬라이스이며, 다른 모든 슬라이스는 의존 슬라이스인, 화상 부호화 방법.
  15. 청구항 9 내지 청구항 14 중 어느 한 항에 있어서,
    상기 화상 부호화 방법은, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림에 내장하는 단계를 더 포함하는, 화상 부호화 방법.
  16. 청구항 9 내지 청구항 15 중 어느 한 항에 있어서,
    상기 화상 부호화 방법은, 상기 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스가 타일 선두로부터 시작되는지 여부를 나타내는 인디케이터를 상기 비트 스트림에 내장하는 단계를 더 포함하는, 화상 부호화 방법.
  17. 화상이 복수의 타일로 분할됨과 더불어 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 장치로서,
    상기 부호화 신호를 복호하는 복호부를 구비하고,
    상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며,
    통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 상기 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않는, 화상 복호 장치.
  18. 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하여 부호화함으로써 비트 스트림을 생성하는 화상 부호화 장치로서,
    상기 화상을 복수의 타일로 분할함과 더불어 복수의 슬라이스로 분할하는 분할부와,
    분할된 복수의 타일 및 복수의 슬라이스를 부호화하는 부호화부를 구비하고,
    상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며,
    상기 분할부는, 통상 슬라이스가 제1 타일의 선두 이외로부터 시작되는 경우, 상기 제1 타일의 다음에 부호화된 제2 타일은 의존 슬라이스로부터 시작되지 않도록, 상기 화상을 복수의 타일을 분할함과 더불어 복수의 슬라이스로 분할하는, 화상 부호화 장치.
  19. 청구항 18에 기재된 화상 부호화 장치와,
    청구항 17에 기재된 화상 복호 장치를 구비하는 화상 부호화 복호 장치.
KR1020157004659A 2012-09-26 2013-09-05 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 KR101918808B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261705891P 2012-09-26 2012-09-26
US61/705,891 2012-09-26
PCT/JP2013/005269 WO2014049980A1 (ja) 2012-09-26 2013-09-05 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置

Publications (2)

Publication Number Publication Date
KR20150060676A true KR20150060676A (ko) 2015-06-03
KR101918808B1 KR101918808B1 (ko) 2018-11-14

Family

ID=50338836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157004659A KR101918808B1 (ko) 2012-09-26 2013-09-05 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치

Country Status (17)

Country Link
US (9) US9036697B2 (ko)
EP (3) EP4224858A1 (ko)
JP (2) JP5608839B2 (ko)
KR (1) KR101918808B1 (ko)
CN (2) CN104584555B (ko)
AR (1) AR092660A1 (ko)
AU (1) AU2013322041B2 (ko)
BR (1) BR112015004216B1 (ko)
CA (1) CA2882731C (ko)
ES (2) ES2915051T3 (ko)
MX (1) MX345003B (ko)
MY (1) MY182530A (ko)
PL (2) PL4033764T3 (ko)
RU (1) RU2639679C2 (ko)
SG (1) SG11201501400QA (ko)
TW (1) TWI580255B (ko)
WO (1) WO2014049980A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045445A1 (ko) * 2017-08-31 2019-03-07 세종대학교 산학협력단 타일 구조의 구성 방법 및 이의 장치
KR20200110415A (ko) * 2018-01-25 2020-09-23 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 서브 픽처 추출

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798188B1 (ko) * 2002-04-16 2008-01-24 도요 세이칸 가부시키가이샤 커버용 밀봉재 및 이를 사용한 커버의 제조방법
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
PL3122048T3 (pl) 2012-09-26 2018-07-31 Velos Media International Limited Sposób kodowania obrazów oraz urządzenie kodujące obrazy
SG11201501400QA (en) * 2012-09-26 2015-04-29 Panasonic Ip Corp America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
GB2519745B (en) * 2013-10-22 2018-04-18 Canon Kk Method of processing disordered frame portion data units
CN106210729A (zh) * 2015-05-06 2016-12-07 扬智科技股份有限公司 视频流解码系统及视频流解码方法
US10027989B2 (en) * 2015-05-06 2018-07-17 Integrated Device Technology, Inc. Method and apparatus for parallel decoding
CN106331722B (zh) * 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
US20170105010A1 (en) * 2015-10-09 2017-04-13 Microsoft Technology Licensing, Llc Receiver-side modifications for reduced video latency
CN107301621B (zh) * 2017-06-13 2020-06-16 东南大学 一种提高数字图像分辨率的方法
JP6982253B2 (ja) * 2018-10-31 2021-12-17 日本電信電話株式会社 復号装置、符号化装置、復号方法、符号化方法、及びプログラム
CN112997502B (zh) * 2018-12-07 2024-04-26 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
EP3868103A4 (en) 2018-12-28 2022-03-23 Huawei Technologies Co., Ltd. APPARATUS AND METHODS FOR ENCODING AN IMAGE BY DIVIDING THE SAME INTO SLICES WITH TILES
WO2020190108A1 (ko) * 2019-03-21 2020-09-24 가온미디어 주식회사 픽쳐 분할을 처리하는 영상 부호화 방법, 영상 복호화 방법 및 그 장치
JPWO2020235659A1 (ko) * 2019-05-21 2020-11-26
CN114616830A (zh) * 2019-11-07 2022-06-10 英特尔公司 超高分辨率视频内容的异构实时流送和解码
KR20220115958A (ko) 2019-12-26 2022-08-19 바이트댄스 아이엔씨 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들
WO2021134018A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Signaling of decoded picture buffer parameters in layered video
JP2023508680A (ja) 2019-12-27 2023-03-03 バイトダンス インコーポレイテッド ビデオコーディングにおけるサブピクチャシグナリング
WO2021142369A1 (en) * 2020-01-09 2021-07-15 Bytedance Inc. Signalling of the wavefront parallel processing
WO2021185311A1 (en) * 2020-03-20 2021-09-23 Mediatek Inc. Method and apparatus for signaling tile and slice partition information in image and video coding
CN111726626B (zh) * 2020-06-18 2022-05-03 格兰菲智能科技有限公司 集成电路及用于视频解码的概率表存储方法
US20220180567A1 (en) * 2020-12-04 2022-06-09 Tencent America LLC Method and apparatus for point cloud coding
US11611775B2 (en) 2021-01-19 2023-03-21 Tencent America LLC Method and apparatus for point cloud coding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12016A (en) * 1854-11-28 Improvement in machinery for making rope and cordage
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
CN101346998B (zh) * 2006-01-05 2012-01-11 日本电信电话株式会社 视频编码方法及解码方法、其装置
BRPI0810213A8 (pt) * 2007-05-16 2018-12-11 Thomson Licensing métodos e aparelho para uso de grupos de fatia na decodificação de informações de codificação de vídeo de múltiplas vistas (mvc).
US8705879B2 (en) * 2009-04-01 2014-04-22 Microsoft Corporation Image compression acceleration using multiple processors
US8344917B2 (en) * 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
US10244239B2 (en) * 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
US9300976B2 (en) * 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
GB2488830B (en) * 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
US9325999B2 (en) * 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
US20120230399A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including a bitstream signal
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
JP2013098735A (ja) * 2011-10-31 2013-05-20 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
SG10201505821WA (en) * 2012-01-30 2015-08-28 Samsung Electronics Co Ltd Method and apparatus for video encoding for each spatial sub-area, and method and apparatus for video decoding for each spatial sub-area
CN108718410B (zh) * 2012-06-26 2022-05-24 Lg 电子株式会社 视频编码方法、视频解码方法和使用其的装置
SG11201501400QA (en) * 2012-09-26 2015-04-29 Panasonic Ip Corp America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045445A1 (ko) * 2017-08-31 2019-03-07 세종대학교 산학협력단 타일 구조의 구성 방법 및 이의 장치
KR20200110415A (ko) * 2018-01-25 2020-09-23 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 서브 픽처 추출
CN111771379A (zh) * 2018-01-25 2020-10-13 弗劳恩霍夫应用研究促进协会 有效子图片提取
US11245898B2 (en) 2018-01-25 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient sub-picture extraction
CN111771379B (zh) * 2018-01-25 2022-10-11 弗劳恩霍夫应用研究促进协会 有效子图片提取
US11838504B2 (en) 2018-01-25 2023-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient sub-picture extraction

Also Published As

Publication number Publication date
CA2882731C (en) 2018-10-09
JP2015005997A (ja) 2015-01-08
TWI580255B (zh) 2017-04-21
RU2639679C2 (ru) 2017-12-21
EP4224858A1 (en) 2023-08-09
TW201419870A (zh) 2014-05-16
EP2903270B1 (en) 2022-04-27
JP6191920B2 (ja) 2017-09-06
US20210211702A1 (en) 2021-07-08
PL2903270T3 (pl) 2022-08-29
EP2903270A4 (en) 2015-10-28
AU2013322041A1 (en) 2015-03-05
RU2015106415A (ru) 2016-11-20
US20170111648A1 (en) 2017-04-20
US20190335188A1 (en) 2019-10-31
US20160142724A1 (en) 2016-05-19
CN104584555A (zh) 2015-04-29
CN108881921A (zh) 2018-11-23
US10397593B2 (en) 2019-08-27
EP2903270A1 (en) 2015-08-05
EP4033764B1 (en) 2023-07-19
US9948942B2 (en) 2018-04-17
BR112015004216B1 (pt) 2023-01-17
MX2015002891A (es) 2015-06-03
BR112015004216A8 (pt) 2017-07-11
ES2962366T3 (es) 2024-03-18
WO2014049980A1 (ja) 2014-04-03
PL4033764T3 (pl) 2023-12-27
MX345003B (es) 2017-01-13
US11871019B2 (en) 2024-01-09
US20140086305A1 (en) 2014-03-27
US20240089480A1 (en) 2024-03-14
US9414077B2 (en) 2016-08-09
AU2013322041B2 (en) 2017-03-09
JPWO2014049980A1 (ja) 2016-08-22
US9277229B2 (en) 2016-03-01
EP4033764A1 (en) 2022-07-27
US10992944B2 (en) 2021-04-27
ES2915051T3 (es) 2022-06-20
BR112015004216A2 (pt) 2017-07-04
US9036697B2 (en) 2015-05-19
CN108881921B (zh) 2021-01-12
SG11201501400QA (en) 2015-04-29
CA2882731A1 (en) 2014-04-03
MY182530A (en) 2021-01-25
US9602825B2 (en) 2017-03-21
KR101918808B1 (ko) 2018-11-14
CN104584555B (zh) 2018-07-17
US20150215628A1 (en) 2015-07-30
JP5608839B2 (ja) 2014-10-15
AR092660A1 (es) 2015-04-29
US20180199049A1 (en) 2018-07-12
US20160142719A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
JP6558784B2 (ja) 方法、装置、および媒体
KR101918808B1 (ko) 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CA2882792C (en) Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant