KR20200013098A - 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치 - Google Patents
화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치 Download PDFInfo
- Publication number
- KR20200013098A KR20200013098A KR1020207002679A KR20207002679A KR20200013098A KR 20200013098 A KR20200013098 A KR 20200013098A KR 1020207002679 A KR1020207002679 A KR 1020207002679A KR 20207002679 A KR20207002679 A KR 20207002679A KR 20200013098 A KR20200013098 A KR 20200013098A
- Authority
- KR
- South Korea
- Prior art keywords
- slice
- dependent
- picture
- header
- decoding
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 213
- 230000001419 dependent effect Effects 0.000 claims abstract description 182
- 230000008569 process Effects 0.000 claims description 76
- 238000010200 validation analysis Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 147
- 238000010586 diagram Methods 0.000 description 63
- 239000010410 layer Substances 0.000 description 30
- 238000013139 quantization Methods 0.000 description 27
- 238000004458 analytical method Methods 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 17
- 230000003044 adaptive effect Effects 0.000 description 16
- 230000005236 sound signal Effects 0.000 description 15
- 239000000872 buffer Substances 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000001413 cellular effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000001824 photoionisation detection Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008054 signal transmission Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
의존성 인디케이션이 패킷의 선두, 즉, 해석 대상인 슬라이스 헤더 또는 파라미터 세트의 근방에 포함되어 신호에 의해 전달된다. 이것은, 예를 들면, 슬라이스 헤더의 선두, 가능하면 파라미터 세트를 식별하는 신택스 엘리먼트 뒤, 또한, 슬라이스 어드레스 앞에 의존성 인디케이션을 포함시킴으로써, 또는, 별개의 메시지를 이용하여, NALU 헤더에 의존성 인디케이션을 제공함으로써, 또는 의존 슬라이스를 유지하는 NALU에 이용되는 특별한 NALU 타입을 이용하여 달성된다.
Description
본 발명은, 화상을 부호화하는 화상 부호화 방법, 및, 화상을 복호하는 화상 복호 방법 등에 관한 것이다.
현재의 표준적인 영상 부호화 알고리즘의 대부분은 하이브리드 영상 부호화에 의거한다. 하이브리드 영상 부호화 방법에서는, 원하는 압축 게인을 달성하기 위해서, 몇 가지 상이한 가역 압축 방식과 불가역 압축 방식이 이용된다. 하이브리드 영상 부호화는, ISO/IEC 표준 규격(MPEG-1, MPEG-2 MPEG-4 등의 MPEG-X 표준 규격)과 동일하게, ITU-T 표준 규격(H.261 및 H.263 등의 H.26x 표준 규격)의 기초이다.
최신의 영상 부호화 표준 규격은, H.264/MPEG-4 Advanced Video Coding(AVC) 이라고 칭해진다. 이 규격은, JVT(Joint CoVedeo Team)와, ITU-T 및 ISO/IEC MPEG 그룹의 합동 팀에 의해 표준화되었다.
또, 고해상도의 영상 부호화의 효율 개선을 목적으로 하여, HEVC(High-Efficiency Video Coding)라고 칭해지는 영상 부호화 표준 규격이, JCT-VC(Joint Collaborative Team on Video Coding)에 의해 검토되고 있다.
C.Gordon 외, "Wavefront Parallel Processing for HEVC Encoding and Decoding", JCTVC-F274-v2, from the Meeting in Torino, July 2011, 인터넷 <URL:http://phenix.int-evry.fr>
A.Fuldseth 외, "Tiles", JCTVC-F355-v1, from the Meeting in Torino, July 2011, 인터넷 <URL:http://phenix.int-evry.fr>
JCTVC-J1003_d7, "High efficiency video coding(HEVC) text specification draft 8", July 2012, 제73페이지 「dependent_slice_flag」, 인터넷 <URL:http://phenix.IT-sudparis.eu/jct/>
그러나, 종래 기술에 따른 화상 부호화 방법 및 화상 복호(복호화) 방법 등에서는, 처리 효율이 충분하지 않다고 하는 문제가 있다.
그래서, 본 발명은, 처리 효율을 향상할 수 있는 화상 부호화 방법 및 화상 복호 방법 등을 제공한다.
본 발명의 일 양태에 따른 화상 부호화 방법은, 픽처를 복수의 슬라이스로 분할하여 부호화 처리를 실행하는 화상 부호화 방법으로서, 처리 대상인 슬라이스 이외의 다른 슬라이스에 대한 상기 부호화 처리의 결과에 의존하여 상기 부호화 처리가 행해지는 의존 슬라이스가 상기 픽처에 포함되는지 아닌지를 나타내는 의존 슬라이스 유효화 플래그와, 상기 처리 대상인 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스와, 상기 처리 대상인 슬라이스가 상기 의존 슬라이스인지 아닌지를 나타내는 의존성 인디케이션을 포함하는 비트 스트림을 송신하는 단계를 포함하고, 상기 의존 슬라이스 유효화 플래그는, 상기 복수의 슬라이스의 공통적인 파라미터 세트 내에 배치되고, 상기 슬라이스 어드레스는, 상기 처리 대상인 슬라이스의 슬라이스 헤더 내에 배치되고, 상기 의존성 인디케이션은, 상기 슬라이스 헤더 내이며, 상기 슬라이스 어드레스 앞, 또한, 상기 파라미터 세트를 식별하는 신택스 엘리먼트 뒤에 배치되어 있다.
또, 본 발명의 일 양태에 따른 화상 복호 방법은, 픽처를 복수의 슬라이스로 분할하여 복호 처리를 실행하는 화상 복호 방법으로서, 처리 대상인 슬라이스 이외의 다른 슬라이스에 대한 상기 복호 처리의 결과에 의존하여 상기 복호 처리가 행해지는 의존 슬라이스가 상기 픽처에 포함되는지 아닌지를 나타내는 의존 슬라이스 유효화 플래그와, 상기 처리 대상인 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스와, 상기 처리 대상인 슬라이스가 상기 의존 슬라이스인지 아닌지를 나타내는 의존성 인디케이션을, 부호화된 비트 스트림으로부터 추출하는 단계를 포함하고, 상기 의존 슬라이스 유효화 플래그는, 상기 복수의 슬라이스의 공통적인 파라미터 세트 내에 배치되고, 상기 슬라이스 어드레스는, 상기 처리 대상인 슬라이스의 슬라이스 헤더 내에 배치되고, 상기 의존성 인디케이션은, 상기 슬라이스 헤더 내이며, 상기 슬라이스 어드레스 앞, 또한, 상기 파라미터 세트를 식별하는 신택스 엘리먼트 뒤에 배치되어 있다.
또한, 이들의 포괄적 또는 구체적인 양태는, 시스템, 방법, 집적회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD-ROM 등의 기록 매체로 실현되어도 되고, 시스템, 방법, 집적회로, 컴퓨터 프로그램 및 기록 매체의 임의의 조합으로 실현되어도 된다.
본 발명의 화상 부호화 방법 및 화상 복호 방법은, 부호화 효율을 향상시킬 수 있다.
도 1은, HEVC에 준거한 인코더의 일례를 나타내는 블럭도이다.
도 2는, HEVC에 준거한 디코더의 일례를 나타내는 블럭도이다.
도 3은, 파면 병렬 처리(WPP)에 있어서의 화상의 구성의 일례를 나타내는 도면이다.
도 4는, 파면 병렬 처리에 있어서의 통상 슬라이스와 의존 슬라이스의 관계의 일례를 나타내는 도면이다.
도 5는, 패킷 헤더의 일례를 나타내는 도면이다.
도 6은, 엔트로피 슬라이스 또는 의존 슬라이스의 슬라이스 헤더의 일례를 나타내는 도면이다.
도 7은, 통상 슬라이스를 이용하는 경우의 의존성과 그 신호 전달을 나타내는 도면이다.
도 8은, 의존 슬라이스 및 엔트로피 슬라이스를 이용하는 경우의 의존성과 그 신호 전달을 나타내는 개략도이다.
도 9a는, HM8.0에 있어서의, 레이어간의 의존성, 시간적 의존성, 및 슬라이스간의 의존성의 신택스의 예를 나타내는 도면이다.
도 9b는, HM8.0에 있어서의, 레이어간의 의존성을 해석하기 위해서 실행되는 해석 단계를 설명하기 위한 도면이다.
도 9c는, HM8.0에 있어서의, 레이어간의 의존성을 해석하기 위해서 실행되는 해석 단계를 설명하기 위한 도면이다.
도 10은, dependent_slice_flag의 위치의 일례를 나타내는 도면이다.
도 11은, 도 10에 있어서의 dependent_slice_enabled_flag에 관한 해석 조건을 삭제한 경우의 신택스의 예를 나타내는 도면이다.
도 12는, first_slice_in_pic_flag 앞으로 dependent_slice_flag를 이동시킨 경우의 신택스의 예를 나타내는 도면이다.
도 13은, slice_address 앞으로 dependent_slice_flag를 이동시킨 경우의 신택스의 예를 나타내는 도면이다.
도 14는, NAL 헤더 내로 dependent_slice_flag를 이동시킨 경우의 신택스의 예를 나타내는 도면이다.
도 15는, NAL 유닛 타입에 새로운 타입을 추가한 경우의 의존 슬라이스의 슬라이스 헤더의 신택스의 예를 나타내는 도면이다.
도 16은, 특정의 NAL 유닛 타입에 대해 dependent_slice_flag가 1로 설정된다고 가정한 경우의 슬라이스 헤더 및 NAL 유닛 헤더의 신택스의 예를 나타내는 도면이다.
도 17은, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성도이다.
도 18은, 디지털 방송용 시스템의 전체 구성도이다.
도 19는, 텔레비전의 구성예를 나타내는 블럭도이다.
도 20은, 광디스크인 기록 미디어에 정보의 읽고 쓰기를 행하는 정보 재생/기록부의 구성예를 나타내는 블럭도이다.
도 21은, 광디스크인 기록 미디어의 구조예를 나타내는 도면이다.
도 22a는, 휴대전화의 일례를 나타내는 도면이다.
도 22b는, 휴대전화의 구성예를 나타내는 블럭도이다.
도 23은, 다중화 데이터의 구성을 나타내는 도면이다.
도 24는, 각 스트림이 다중화 데이터에 있어서 어떻게 다중화되어 있는지를 모식적으로 나타내는 도면이다.
도 25는, PES 패킷열에, 비디오 스트림이 어떻게 저장되는지를 더욱 자세하게 나타낸 도면이다.
도 26은, 다중화 데이터에 있어서의 TS패킷과 소스 패킷의 구조를 나타내는 도면이다.
도 27은, PMT의 데이터 구성을 나타내는 도면이다.
도 28은, 다중화 데이터 정보의 내부 구성을 나타내는 도면이다.
도 29는, 스트림 속성 정보의 내부 구성을 나타내는 도면이다.
도 30은, 영상 데이터를 식별하는 단계를 나타내는 도면이다.
도 31은, 각 실시형태의 동화상 부호화 방법 및 동화상 복호 방법을 실현하는 집적회로의 구성예를 나타내는 블럭도이다.
도 32는, 구동 주파수를 전환하는 구성을 나타내는 도면이다.
도 33은, 영상 데이터를 식별하고, 구동 주파수를 전환하는 단계를 나타내는 도면이다.
도 34는, 영상 데이터의 규격과 구동 주파수를 대응시킨 룩업테이블의 일례를 나타내는 도면이다.
도 35a는, 신호 처리부의 모듈을 공유화하는 구성의 일례를 나타내는 도면이다.
도 35b는, 신호 처리부의 모듈을 공유화하는 구성의 다른 일례를 나타내는 도면이다.
도 2는, HEVC에 준거한 디코더의 일례를 나타내는 블럭도이다.
도 3은, 파면 병렬 처리(WPP)에 있어서의 화상의 구성의 일례를 나타내는 도면이다.
도 4는, 파면 병렬 처리에 있어서의 통상 슬라이스와 의존 슬라이스의 관계의 일례를 나타내는 도면이다.
도 5는, 패킷 헤더의 일례를 나타내는 도면이다.
도 6은, 엔트로피 슬라이스 또는 의존 슬라이스의 슬라이스 헤더의 일례를 나타내는 도면이다.
도 7은, 통상 슬라이스를 이용하는 경우의 의존성과 그 신호 전달을 나타내는 도면이다.
도 8은, 의존 슬라이스 및 엔트로피 슬라이스를 이용하는 경우의 의존성과 그 신호 전달을 나타내는 개략도이다.
도 9a는, HM8.0에 있어서의, 레이어간의 의존성, 시간적 의존성, 및 슬라이스간의 의존성의 신택스의 예를 나타내는 도면이다.
도 9b는, HM8.0에 있어서의, 레이어간의 의존성을 해석하기 위해서 실행되는 해석 단계를 설명하기 위한 도면이다.
도 9c는, HM8.0에 있어서의, 레이어간의 의존성을 해석하기 위해서 실행되는 해석 단계를 설명하기 위한 도면이다.
도 10은, dependent_slice_flag의 위치의 일례를 나타내는 도면이다.
도 11은, 도 10에 있어서의 dependent_slice_enabled_flag에 관한 해석 조건을 삭제한 경우의 신택스의 예를 나타내는 도면이다.
도 12는, first_slice_in_pic_flag 앞으로 dependent_slice_flag를 이동시킨 경우의 신택스의 예를 나타내는 도면이다.
도 13은, slice_address 앞으로 dependent_slice_flag를 이동시킨 경우의 신택스의 예를 나타내는 도면이다.
도 14는, NAL 헤더 내로 dependent_slice_flag를 이동시킨 경우의 신택스의 예를 나타내는 도면이다.
도 15는, NAL 유닛 타입에 새로운 타입을 추가한 경우의 의존 슬라이스의 슬라이스 헤더의 신택스의 예를 나타내는 도면이다.
도 16은, 특정의 NAL 유닛 타입에 대해 dependent_slice_flag가 1로 설정된다고 가정한 경우의 슬라이스 헤더 및 NAL 유닛 헤더의 신택스의 예를 나타내는 도면이다.
도 17은, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성도이다.
도 18은, 디지털 방송용 시스템의 전체 구성도이다.
도 19는, 텔레비전의 구성예를 나타내는 블럭도이다.
도 20은, 광디스크인 기록 미디어에 정보의 읽고 쓰기를 행하는 정보 재생/기록부의 구성예를 나타내는 블럭도이다.
도 21은, 광디스크인 기록 미디어의 구조예를 나타내는 도면이다.
도 22a는, 휴대전화의 일례를 나타내는 도면이다.
도 22b는, 휴대전화의 구성예를 나타내는 블럭도이다.
도 23은, 다중화 데이터의 구성을 나타내는 도면이다.
도 24는, 각 스트림이 다중화 데이터에 있어서 어떻게 다중화되어 있는지를 모식적으로 나타내는 도면이다.
도 25는, PES 패킷열에, 비디오 스트림이 어떻게 저장되는지를 더욱 자세하게 나타낸 도면이다.
도 26은, 다중화 데이터에 있어서의 TS패킷과 소스 패킷의 구조를 나타내는 도면이다.
도 27은, PMT의 데이터 구성을 나타내는 도면이다.
도 28은, 다중화 데이터 정보의 내부 구성을 나타내는 도면이다.
도 29는, 스트림 속성 정보의 내부 구성을 나타내는 도면이다.
도 30은, 영상 데이터를 식별하는 단계를 나타내는 도면이다.
도 31은, 각 실시형태의 동화상 부호화 방법 및 동화상 복호 방법을 실현하는 집적회로의 구성예를 나타내는 블럭도이다.
도 32는, 구동 주파수를 전환하는 구성을 나타내는 도면이다.
도 33은, 영상 데이터를 식별하고, 구동 주파수를 전환하는 단계를 나타내는 도면이다.
도 34는, 영상 데이터의 규격과 구동 주파수를 대응시킨 룩업테이블의 일례를 나타내는 도면이다.
도 35a는, 신호 처리부의 모듈을 공유화하는 구성의 일례를 나타내는 도면이다.
도 35b는, 신호 처리부의 모듈을 공유화하는 구성의 다른 일례를 나타내는 도면이다.
(본 발명의 기초가 된 지견)
본 발명자는, 「배경 기술」 란에 있어서 기재한, 화상 부호화 방법 및 화상 복호 방법에 관하여, 이하와 같은 문제가 발생하는 것을 발견했다.
우선, HEVC에 있어서의 화상 부호화 장치 및 화상 복호 장치에 대해서 설명한다.
화상 부호화 장치에 입력되는 영상 신호는, 각각이 프레임(픽처)으로 불리는 복수의 화상을 포함한다. 각 프레임은 이차원 행렬형상으로 배치된 복수의 화소를 포함한다. 하이브리드 영상 부호화에 의거하는 상술한 모든 표준 규격에서는, 개개의 영상 프레임은, 각각이 복수의 화소를 포함하는 복수의 블록으로 분할된다. 이 블록의 사이즈는, 예를 들면, 화상의 내용에 따라서 변경된다. 또, 블록마다 상이한 부호화 방법을 이용할 수 있다. 예를 들면, HEVC에 있어서, 이 블록의 최대 사이즈는 64×64 화소이다. 이 최대 사이즈는, 최대 부호화 단위(LCU)라 칭해진다. LCU는, 귀납적으로, 4개의 부호화 단위(CU)로 분할할 수 있다.
H.264/MPEG-4 AVC에 있어서는, 매크로 블록(통상 16×16 화소의 블록) 단위로 부호화가 행해진다. 이 매크로 블록은 서브 블록으로 분할되는 경우도 있다. 부호화 방법에 포함되는 부호화 단계 및/또는 복호 방법에 포함되는 복호 단계는, 서브 블록 단위로 실행된다.
[1-1. 하이브리드 영상 부호화]
이하, 하이브리드 부호화에 대해서 간단하게 설명한다.
전형적으로는, 하이브리드 영상 부호화에 있어서의 부호화 단계에는, 공간적 예측(공간 예측) 및/또는 시간적 예측(시간 예측)이 포함된다. 즉, 공간적으로 인접한 블록 또는 시간적으로 인접한 블록을 이용하여, 즉, 부호화가 끝난 영상 프레임을 이용하여, 각 부호화 대상 블록이 예측된다. 다음에, 부호화 대상 블록과, 예측 결과의 차분인 잔차 블록이 산출된다. 다음에, 잔차 블록은, 공간(화소) 도메인으로부터 주파수 도메인으로 변환된다. 이 변환의 목적은, 입력 블록의 상관성을 저하시키는 것이다.
다음에, 변환에 의해 얻어진 변환계수가 양자화된다. 이 양자화는 불가역 압축이다. 또, 얻어진 양자화 계수는, 엔트로피 부호화에 의해서 가역 압축된다. 또, 부호화 영상 신호를 재구축하기 위해서 필요한 보조 정보가 부호화되고, 부호화 영상 신호와 함께 출력된다. 이 정보는, 예를 들면, 공간적 예측, 시간적 예측, 또는/및 양자화에 관한 정보이다.
[1-2. 화상 부호화 장치의 구성]
도 1은, H.264/MPEG-4 AVC 및/또는 HEVC에 준거한 화상 부호화 장치(인코더(100))의 일례를 나타내는 도면이다.
도 1에 나타낸 바와 같이, 인코더(100)는, 감산기(105)와, 변환부(110)와, 양자화부(120)와, 역변환부(130)와, 가산기(140)와, 디블로킹 필터(150)와, 적응 루프 필터(160)와, 프레임 메모리(170)와, 예측부(180)와, 엔트로피 부호화부(190)를 구비하고 있다.
예측부(180)는, 시간적 예측 또는 공간적 예측에 의해, 예측 신호 s2를 도출한다. 예측부(180)에 있어서 이용되는 예측의 타입은, 프레임마다 또는 블록마다 상이해도 된다. 시간적 예측은 인터 예측이라고 칭해지고, 공간적 예측은 인트라 예측이라고 칭해진다. 또, 시간적 예측에 의한 예측 신호 s2를 이용한 부호화는 인터 부호화라고 칭해지고, 공간적 예측에 의한 예측 신호 s2를 이용한 부호화는 인트라 부호화라고 칭해진다. 시간적 예측을 이용한 예측 신호의 도출에서는, 메모리에 저장되어 있는 부호화가 끝난 화상이 이용된다. 공간적 예측을 이용한 예측 신호의 도출에서는, 메모리에 저장된 부호화 또는 복호가 끝난 인접 블록의 경계 화소치가 이용된다. 인트라 예측에 있어서의 예측 방향의 수는, 부호화 단위(CU, Coding Unit)의 사이즈에 의해서 정해진다. 또한, 예측의 상세한 사항에 대해서는 후술한다.
감산기(105)는, 입력 화상의 부호화 대상 블록(=입력 신호 s1)과 대응하는 예측 블록(=예측 신호 s2)의 차분(=예측 오차 신호 e)을 도출한다. 상기 차분은, 부호화 대상 블록의 예측에 이용된다. 또한, 예측 오차 신호 e는, 예측 잔차 신호라고도 불린다.
변환부(110)는, 예측 오차 신호 e를 계수로 변환한다. 일반적으로, 변환부(110)에서는, 2차원 이산 코사인 변환(DCT) 또는 그 정수판 등의 직교 변환이 이용된다. 직교 변환에 의해, 입력 신호 s1(부호화 전의 영상 신호)의 상관을 효율적으로 삭감하는 것이 가능하게 된다. 또, 일반적으로 고주파 성분보다도 저주파 성분이 화질에 있어서 보다 중요하므로, 고주파 성분보다도 저주파 성분에 의해 많은 비트가 사용된다.
양자화부(120)는, 계수를 양자화하여 양자화 계수를 도출한다.
엔트로피 부호화부(190)는, 양자화 계수에 대해 엔트로피 부호화를 행한다. 엔트로피 부호화에 의해, 양자화 계수는 가역적으로 압축된다. 또한, 엔트로피 부호화를 행함으로써, 메모리에 저장하는 데이터의 데이터량 및 송신되는 데이터(비트 스트림)의 데이터량을 더욱 삭감할 수 있다. 엔트로피 부호화는, 주로, 가변길이의 부호어를 이용한 부호화 처리를 적용함으로써 달성된다. 이 부호어의 길이는, 발생 확률에 의거해 선택된다.
엔트로피 부호화부(190)는, 2차원 배열의 양자화 계수를 1차원 배열로 변환한다. 엔트로피 부호화부(190)는, 전형적으로는, 소위 지그재그 스캔에 의해서 변환을 행한다. 지그재그 스캔에 있어서는, 2차원 배열의 좌측 상단 모서리에 있는 DC 계수부터 우측 하단 모서리에 있는 AC 계수까지, 소정의 순서로 2차원 배열이 주사된다. 통상, 2차원 배열의 양자화 계수에 있어서, 에너지는, 좌측 상단 부분에 집중된다. 일반적으로, 보다 좌측 상단측에 위치하는 계수일수록, 저주파수 성분의 계수이며, 보다 우측 하단에 위치하는 계수일수록, 고주파수 성분의 계수이다. 그래서, 지그재그 주사를 행하면, 마지막에 1 또는 복수의 제로가 연속하는 1차원 배열이 된다. 이에 의해, 실제의 엔트로피 부호화의 일부로서, 또는 그 전 처리로서, 런 렝스(run length) 부호를 이용하는 효율적인 부호화가 가능하게 된다.
H.264/MPEG-4 AVC 및 HEVC에서는, 복수 종류의 엔트로피 부호화가 이용된다. 신택스 요소 중에는 고정길이로 부호화되는 것도 있지만, 대부분의 신택스 요소가 가변길이 부호화된다. 특히, 신택스 중, 예측 오차 신호(예측 잔차 신호)의 부호화에는, 컨텍스트 적응 가변길이 부호(CABAC)가 이용된다. 다른 신택스 요소의 부호화에는, 일반적으로, 컨텍스트 적응 가변길이 부호와는 다른 다양한 정수 부호가 이용되지만, 컨텍스트 적응 산술 부호화를 이용해도 된다.
가변길이 부호에 의해, 부호화가 끝난 비트 스트림을 가역적으로 압축할 수 있다. 그러나, 부호어는 가변길이이므로, 부호어를 연속해서 복호해야 한다. 즉, 엔트로피 부호화를 리스타트(초기화)시키지 않고, 또는, 최초로 복호하는 부호어(개시점)의 위치를 개별적으로 나타내지 않고, 선행하는 부호어를 부호화 또는 복호하기 전에, 부호어를 부호화 또는 복호할 수 없다.
소정의 확률 모델에 의거하는 산술 부호화에 의해 비트열이 1개의 부호어로 부호화된다. 소정의 확률 모델은, CABAC의 경우의 영상 시퀀스의 내용에 따라 결정된다. 따라서, 부호화 대상인 비트 스트림의 길이가 길수록, 산술 부호화 및 CABAC는 보다 효율적으로 행해진다. 즉, 비트열에 적용되는 CABAC는, 보다 큰 블록에 있어서 보다 효율적이라고 할 수 있다. 각 시퀀스의 선두에서 CABAC가 리스타트된다. 즉, 각 영상 시퀀스의 선두에서 확률 모델이 기정치 또는 소정치로 초기화된다.
엔트로피 부호화부(190)는, 부호화된 양자화 계수(부호화된 영상 신호)와 부호화된 보조 정보를 포함하는 비트 스트림을, 디코더측에 송신한다.
H.264/MPEG-4, H.264/MPEG-4 AVC, 및, HEVC는, 비디오 부호화층(VCL)과 네트워크 추상화층(NAL)의 2개의 기능층을 갖는다. 상술한 바와 같이, VCL은, 부호화 기능을 제공한다. NAL은, 채널을 이용한 송신 혹은 기억장치로의 저장 등의 용도에 따라, NAL 유닛이라고 칭해지는 표준 단위로 정보(정보 요소)를 캡슐화한다. NAL에 의해 캡슐화되는 정보 요소에는, 예를 들면, (1) 부호화된 예측 오차 신호(압축 영상 데이터), 및, (2) 예측 타입, 양자화 파라미터 및 움직임 벡터 등의 영상 신호의 복호에 필요한 보조 정보(관련 정보)가 포함된다. 보조 정보에는, 영상 시퀀스 전체에 관련되는 파라미터 세트 등의 추가 데이터가 캡슐화된 non-VCL 유닛, 및, 복호 효율의 개선에 이용하는 것이 가능한 추가 정보를 제공하는 부가 확장 정보(SEI)가 포함된다.
non-VCL 유닛에는, 예를 들면, 파라미터 세트가 포함된다. 파라미터 세트란, 일정한 영상 시퀀스의 부호화 및 복호에 관한 복수의 파라미터세트이다. 파라미터 세트에는, 예를 들면, 픽처 시퀀스 전체의 부호화 및 복호에 관련된 파라미터를 포함하는 시퀀스 파라미터 세트(SPS)가 있다. 특히, 시퀀스 파라미터 세트는, 신택스 요소를 포함하는 신택스 구조를 갖는다. 신택스 요소는, seq_parameter_set_id의 내용에 의해 결정되는 제로 이상의 부호화 영상 시퀀스 전체에 적용된다. seq_parameter_set_id는, pic_parameter_set_id에 의해 참조되는(이하에서 설명하는) 픽처 파라미터 세트에 포함되는 신택스 요소이다. pic_parameter_set_id는, 각 슬라이스 헤더에 포함되는 신택스 요소이다.
픽처 파라미터 세트(PPS)는, 픽처 시퀀스(영상 시퀀스)의 픽처의 부호화 및 복호에 적용되는 파라미터를 정의한 파라미터 세트이다. 특히, PPS는, 신택스 요소를 포함하는 신택스 구조를 갖는다. 신택스 요소는, 각 슬라이스 헤더에 포함되는 신택스 요소인 pic_parameter_set_id에 의해 결정되는 제로 이상의 부호화 픽처 전체에 적용된다.
따라서, PPS보다도 SPS의 추적을 계속하는 것이 용이하다. 왜냐하면, PPS가 각 픽처에 대해 변화하는데 반해, SPS는, 몇 분 혹은 수 시간이나 달할 가능성이 있는 영상 시퀀스 전체에 대해 일정하기 때문이다.
인코더(100)에는, 재구축 신호(소위 복호 신호) s3을 도출하기 위해서, 재구축부(소위 복호부)가 편입되어 있다. 재구축부에 의해, 부호화가 끝난 화상을 재구축(복호)한 재구축 화상이 생성되고, 프레임 메모리(170)에 기억된다.
재구축부는, 역변환부(130)와, 가산기(140)와, 디블로킹 필터(150)와, 적응 루프 필터(160)를 포함한다.
역변환부(130)는, 상술한 부호화 단계에 따라, 역양자화 및 역변환을 실행한다. 또한, 역변환부(130)에 의해 도출된 예측 오차 신호 e'는, 양자화 노이즈라고도 칭해지는 양자화 오차가 원인이며, 예측 오차 신호 e와는 상이하다.
가산기(140)는, 역변환부(130)에 의해 재구축된 예측 오차 신호 e'를, 예측 신호 s2에 더함으로써, 재구축 신호 s'를 도출한다.
디블로킹 필터(150)는, 양자화에 기인하여 재구축 신호 s'에 중첩된 양자화 노이즈를 삭감하는 디블로킹 필터 처리를 실행한다. 여기서, 상술한 부호화 단계는, 블록 단위로 행해지므로, 노이즈가 중첩됨으로써, 블록 경계가 눈에 띄는 경우가 있다(노이즈의 블로킹 특성). 중첩된 노이즈는, 블로킹 노이즈라 불린다. 특히, 양자화부(120)에 있어서 강한 양자화가 행해진 경우에는, 재구축 화상(복호 화상)의 블록 경계가 보다 현저하게 눈에 띄게 된다. 이러한 블로킹 노이즈는, 인간의 시각 인식에 있어서, 화질이 열화되어 있는 것처럼 보인다. 이 블로킹 노이즈를 삭감하기 위해서, 디블로킹 필터(150)는, 재구축 신호 s'(재구축 블록)에 대해 디블로킹 필터 처리를 실행한다.
예를 들면, H.264/MPEG-4 AVC에 있어서의 디블로킹 필터 처리에서는, 영역마다, 상기 영역에 적합한 필터 처리가 선택된다. 예를 들면, 블로킹 노이즈가 큰 경우에는, 강한(협대역) 로우 패스 필터가 이용되고, 블로킹 노이즈가 작은 경우에는, 약한(광대역) 로우 패스 필터가 이용된다. 이 로우 패스 필터의 강도는, 예측 신호 s2 및 예측 오차 신호 e'에 따라 결정된다. 이 디블로킹 필터 처리에 의해, 블록의 에지가 평활화된다. 이에 의해, 복호 화상 신호의 주관적 화질이 개선된다. 또, 필터 처리가 끝난 화상이 다음의 화상의 움직임 보상 예측에 이용된다. 따라서, 이 필터 처리에 의해 예측 오차도 삭감되므로, 부호화 효율을 개선할 수 있다.
적응 루프 필터(160)는, 디블로킹 필터(150)에 있어서 디블로킹 필터 처리된 후의 재구축 신호 s"에 대해, 샘플 적응 오프셋(Sample adaptive offset, SAO) 처리 및/또는 적응 루프 필터(Adaptive Loop Filter, ALF) 처리를 적용함으로써, 재구축 신호(복호 신호) s3을 도출한다.
여기서, 디블로킹 필터(150)에 있어서의 디블로킹 필터 처리는, 주관적 품질의 개선을 목적으로 한다. 한편, 적응 루프 필터(160)에 있어서의 ALF 처리 및 SAO 처리는, 화소 단위의 신뢰성(객관적 품질)의 개선을 목적으로 한다. SAO 처리는, 근접 화소의 화소치를 이용하여, 각 화소의 화소치에 오프셋치를 추가하는 처리이다. ALF 처리는, 압축에 의해서 발생하는 화상의 왜곡을 보상하기 위해서 이용되는 처리이다. 통상, ALF 처리에서 이용되는 필터는, 재구축 신호 s'와 입력 신호 s1의 평균 제곱 오차(MSE)가 최소화되도록 결정한 필터 계수를 갖는 위너(Wiener) 필터이다. ALF 처리의 필터 계수는, 예를 들면, 프레임 단위로 산출 및 송신된다. ALF 처리는, 프레임 전체(화상)에 적용되어도 되고, 국소 영역(블록)에 적용되어도 된다. 또, 필터링을 행하는 영역을 나타내는 보조 정보가, 블록 단위, 프레임 단위 또는 사분 트리 단위로 송신되어도 된다.
프레임 메모리(프레임 버퍼)(170)는, 부호화되어 재구축(복호)된 재구축 화상(재구축 신호 s3)의 일부를 저장한다. 저장된 재구축 화상은, 인터 부호화된 블록을 복호하기 위해서 이용된다.
예측부(180)에서는, 인코더측과 디코더측의 호환성을 유지하기 위해서, 인코더측 및 디코더측의 양방에서 이용 가능한(동일한) 신호를 이용하여 예측 신호 s2를 도출한다. 인코더측 및 디코더측의 양방에서 이용 가능한 신호는, 인코더측에서는, 부호화되어 재구축(복호)된 재구축 신호 s3(적응 루프 필터(160)에 의한 필터 처리 후의 영상 신호)이며, 디코더측에서는, 비트 스트림으로부터 복호된 복호 신호 s4(도 2의 적응 루프 필터(260)에 의한 필터 처리 후의 영상 신호)이다.
예측부(180)는, 인터 부호화에 의해 예측 신호 s2를 생성하는 경우, 움직임 보상 예측에 의한 예측을 행한다. 예측부(180)의 움직임 추정기(도시하지 않음)는, 이전에 부호화되어 재구축된 영상 프레임에 포함되는 블록으로부터, 부호화 대상 블록에 가장 적합한 최적 블록을 찾아낸다. 이 최적 블록은 예측 신호가 된다. 또, 부호화 대상 블록과 최적 블록간의 상대적인 어긋남(움직임)은, 3차원의 움직임 벡터의 형태로 보조 정보에 포함되는 움직임 데이터로서 신호에 의해 전달된다. 상기 신호는, 부호화 영상 데이터와 함께, 송신된다. 3차원의 움직임 벡터는, 공간의 2차원의 움직임 벡터와, 시간의 1차원의 움직임 벡터를 포함한다. 예측 정밀도를 최적화하기 위해서, 1/2 화소 해상도 혹은 1/4 화소 해상도 등의 공간적 서브 픽셀 해상도로 움직임 벡터를 구해도 된다. 공간적 서브 픽셀 해상도의 움직임 벡터는, 실존하는 화소치가 없는, 재구축 프레임 내의 공간적 위치, 즉 서브 픽셀의 위치를 나타내도 된다. 따라서, 움직임 보상 예측을 행하기 위해서, 그러한 화소치의 공간적 보간이 필요하다. 이것은, 보간 필터(도 1에 있어서 예측부(180)에 통합되어 있다)에 의해 달성해도 된다.
[1-3. 화상 복호 장치의 구성]
디코더(화상 복호 장치)의 구성에 대해서, 도 2를 기초로 설명한다.
도 2는, H.264/MPEG-4 AVC 또는 HEVC 영상 부호화 규격에 준거한 디코더(200)의 일례를 나타내는 블럭도이다.
도 2에 나타낸 바와 같이, 디코더(200)는, 엔트로피 복호부(290)와, 역변환부(230)와, 가산기(240)와, 디블로킹 필터(250)와, 적응 루프 필터(260)와, 프레임 메모리(270)와, 예측부(280)를 구비하고 있다.
디코더(200)에 입력된 비트 스트림(부호화된 영상 신호)은, 우선, 엔트로피 복호부(290)로 보내진다.
엔트로피 복호부(290)는, 비트 스트림으로부터 부호화된 양자화 계수와, 부호화된 보조 정보를 추출하고, 부호화된 양자화 계수와 부호화된 보조 정보를 복호 한다. 보조 정보는, 상술한 바와 같이, 움직임 데이터(움직임 벡터) 및 예측 모드(예측 타입) 등의 복호에 필요한 정보이다.
엔트로피 복호부(290)는, 복호된 양자화 계수를, 역주사에 의해, 1차원 배열에서 2차원 배열로 변환한다. 엔트로피 복호부(290)는, 2차원 배열로 변환한 후의 양자화 계수를, 역변환부(230)에 입력한다.
역변환부(230)는, 2차원 배열로 변환된 양자화 계수에 대해, 역양자화 및 역변환을 실행하여, 예측 오차 신호 e'를 도출한다. 예측 오차 신호 e'는, 양자화 노이즈가 없고, 오차가 발생하지 않았던 경우에 인코더에 입력된 신호로부터 예측 신호를 감산하여 구한 차분에 상당한다.
예측부(280)는, 시간적 예측 또는 공간적 예측에 의해서 예측 신호 s2를 도출한다. 인트라 예측(공간적 예측)의 경우에는, 보조 정보에 포함되는 예측 타입 등의 정보를 이용한다. 또, 움직임 보상 예측(인터 예측, 시간적 예측)의 경우에는, 보조 정보에 포함되는 움직임 데이터 등의 정보를 이용한다.
가산기(240)는, 역변환부(230)로부터 취득한 예측 오차 신호 e'와 예측부(280)로부터 취득한 예측 신호 s2를 가산하여, 재구축 신호 s'를 도출한다.
디블로킹 필터(250)는, 재구축 신호 s'에 대해, 디블로킹 필터 처리를 적용한다. 적응 루프 필터(260)는, 디블로킹 필터(250)에 의해 디블로킹 필터 처리가 적용된 재구축 신호 s"에 대해, SAO 처리 및 ALF 처리를 적용한다. 적응 루프 필터(260)에 있어서 SAO 처리 및 ALF 처리가 적용된 결과 얻어지는 복호 신호 S4는, 프레임 메모리(270)에 저장된다. 프레임 메모리(270)에 저장된 복호 신호 S4는, 예측부(280)에 있어서, 다음의 복호 대상 블록 혹은 복호 대상 화상의 예측에 사용된다.
[1-4. 처리 효율]
부호화 처리 및 복호 처리에 있어서 처리 효율을 향상시키는 방법으로서, 일반적으로 처리의 병렬화를 생각할 수 있다.
H.264/MPEG-4 AVC와 비교하면, HEVC는, 부호화 처리 및 복호 처리의 고도의 병렬 처리(병렬화 처리)를 보조하는 기능을 갖는다. H.264/MPEG-4 AVC와 마찬가지로, HEVC에서는, 프레임을 복수의 슬라이스로 분할할 수 있다. 여기서, 각 슬라이스는, 주사순으로 연속하는 복수의 LCU를 포함한다. H.264/MPEG-4 AVC에 있어서, 슬라이스는 각각, 개개로 복호 가능하고, 슬라이스에 걸친 공간적 예측은 행해지지 않는다. 따라서, 슬라이스 단위로 병렬 처리가 가능하다.
그러나, 슬라이스는 상당히 큰 헤더를 갖고 있고, 또, 슬라이스간에 의존성이 없기 때문에, 압축의 효율이 저하된다. 또, CABAC 부호화는, 작은 데이터 블록에 행해지는 경우에 효율성이 손상된다.
이에 대해, 보다 효율적인 병렬 처리를 가능하게 하기 위해서, 파면 병렬 처리(WPP)가 제안되고 있다. WPP에서는, 상술한 병렬 처리와 같이 슬라이스 단위로 완전하게 독립시키는 것이 아니라, 일정한 의존성을 갖게 하고 있다.
이하의 설명에서는, 픽처가 행렬형상으로 배치된 복수의 LCU로 구성되고, 각 LCU행이 1개의 슬라이스를 구성하는 경우를 예로 들어 설명한다(도 3 참조). WPP에서는, 처리 대상인 LCU행(32)을 구성하는 LCU 중, 1번째의 LCU(선두의 LCU)의 CABAC 상태를 리셋하기 위한 CABAC 확률 모델로서, 앞 LCU행(31)의 2번째의 LCU에 대한 처리가 종료한 직후에 있어서의 CABAC 확률 모델을 이용한다. 이에 의해, 블록간의 의존성이 유지된다. 또, 복수의 LCU행의 복호 처리의 병렬화가 가능해진다. 단, 각 LCU행의 처리의 개시 타이밍은, 앞 LCU행에 대해, LCU 2개분 지연된다. 슬라이스의 헤더에는, LCU행의 복호를 개시하기 위한 개시점의 정보가 포함된다. WPP의 상세한 사항에 대해서는, 비특허 문헌 1에 기재되어 있다.
병렬화 개선을 위한 다른 수법으로서 타일을 이용하는 방법이 있다. 프레임(픽처)은, 복수의 타일로 분할된다. 각 타일은, 장방형이며, 복수의 LCU를 포함한다. 타일간의 경계는, 행렬형상으로 픽처를 분할하도록 설정된다. 또, 복수의 타일은, 래스터 스캔순으로 처리된다.
또, 각 타일의 경계에 있어서 모든 의존성이 상실된다. CABAC 등의 엔트로피 부호화도, 각 타일의 선두에서 리셋된다. 또한, 디블로킹 필터 처리와 샘플 적응 오프셋 처리만이, 타일간의 경계에 걸쳐서 적용된다. 따라서, 복수의 타일을 병렬로 부호화 또는 복호할 수 있다. 또한, 타일의 상세한 사항에 대해서는, 비특허 문헌 2 및 비특허 문헌 3에 기재되어 있다.
또, 슬라이스의 개념을, H.264/MPEG-4 AVC에 있어서의 슬라이스의 본래의 목적이었던 오류 내성보다도, 병렬화에 적합한 개념으로 하기 위해서, 의존 슬라이스 및 엔트로피 슬라이스의 개념이 제안되고 있다.
즉, HEVC에서는, (1) 통상 슬라이스, (2) 엔트로피 슬라이스, 및, (3) 의존 슬라이스의 3개의 슬라이스가 이용된다.
(1) 통상 슬라이스는, H.264/MPEG-4 AVC에 의해 이미 알려져 있는 슬라이스이다. 통상 슬라이스간에서는 공간적 예측은 할 수 없다. 즉, 슬라이스간의 경계에 걸친 예측은 할 수 없다. 바꾸어 말하면, 다른 슬라이스를 참조하지 않고, 통상 슬라이스는 부호화된다. 이러한 슬라이스의 복호를 따로 따로 행할 수 있도록, CABAC는 각 슬라이스의 선두에서 리스타트된다.
처리 대상인 슬라이스가 통상 슬라이스인 경우, CABAC의 리스타트에는, 선행 슬라이스 종단에서의 산술 부호화 처리 또는 산술 복호 처리의 종단 처리(터미네이트 처리)와, 상기 통상 슬라이스의 선두에 있어서, 컨텍스트 테이블(확률 테이블)을 디폴트치로 초기화하는 처리가 포함된다.
또, 프레임의 선두에는, 통상 슬라이스가 이용된다. 즉, 각 프레임은 통상 슬라이스부터 개시해야 한다. 통상 슬라이스는, 슬라이스 데이터의 복호에 필요한 파라미터를 포함하는 헤더를 갖는다.
(2) 엔트로피 슬라이스는, 친(親)슬라이스와 엔트로피 슬라이스 사이에서 공간적 예측이 가능한 슬라이스이다. 친슬라이스 및 엔트로피 슬라이스의 해석은, 독립하여 행해진다.
또한, 친슬라이스는, 예를 들면, 엔트로피 슬라이스 직전의 통상 슬라이스이다. 친슬라이스는, 엔트로피 슬라이스의 화소치의 재구축에 필요하게 된다. 또, 엔트로피 슬라이스가 독립 해석할 수 있도록, 슬라이스의 선두에서 CABAC도 리스타트된다. 엔트로피 슬라이스의 슬라이스 헤더에는, 통상 슬라이스의 슬라이스 헤더보다 짧은 슬라이스 헤더를 이용할 수 있다. 엔트로피 슬라이스의 슬라이스 헤더에는, 통상 슬라이스의 슬라이스 헤더에 포함되는 정보에 관한 부호화 파라미터 서브 세트가 포함된다. 엔트로피 슬라이스의 슬라이스 헤더에 있어서의 결락 요소는, 친슬라이스의 슬라이스 헤더로부터 카피된다.
처리 대상인 슬라이스가 엔트로피 슬라이스인 경우, CABAC의 리스타트에는, 통상 슬라이스와 마찬가지로, 선행 슬라이스 종단에서의 종단 처리(터미네이트 처리)와, 현행 슬라이스 선두에 있어서 컨텍스트 테이블을 디폴트치로 초기화하는 처리가 포함된다.
(3) 의존 슬라이스는, 엔트로피 슬라이스와 유사하지만, CABAC의 리스타트의 일부 처리에서 상이하다.
처리 대상인 슬라이스가 의존 슬라이스 또한 WPP가 유효하지 않은 경우, CABAC의 리스타트에는, 선행 슬라이스 종단에서의 종단 처리(터미네이터 처리)와, 현행 슬라이스의 선두에 있어서, 선행 슬라이스의 종단 상태치로 컨텍스트 테이블을 초기화하는 처리가 포함된다. 처리 대상인 슬라이스가 의존 슬라이스 또한 WPP가 유효한 경우, CABAC의 리스타트에는, 선행 슬라이스 종단에서의 종단 처리(터미네이트 처리)와, 현행 슬라이스의 선두에 있어서, 선행 슬라이스에 속하고 좌단으로부터 2개째의 LCU 처리 후의 상태치로 컨텍스트 테이블을 초기화하는 처리가 포함된다.
상술한 바와 같이, CABAC의 리스타트에는, 항상, 터미네이트 처리가 포함된다. 이에 대해, CABAC의 리스타트에 있어서, CABAC의 상태는, 이어지는 경우가 있다.
의존 슬라이스는, 친슬라이스없이 해석할 수 없다. 이 때문에, 친슬라이스를 취득하고 있지 않은 경우, 의존 슬라이스를 복호할 수 없다. 친슬라이스는 통상, 부호화순에 있어서 의존 슬라이스의 선행 슬라이스이며, 완전한 슬라이스 헤더를 포함하는 슬라이스이다. 이것은, 엔트로피 슬라이스의 친슬라이스에서도 동일하다.
이상과 같이, 의존 슬라이스 및 엔트로피 슬라이스는, 슬라이스의 부호화순에 있어서의 직전의 슬라이스의 슬라이스 헤더(의존 슬라이스의 헤더에 포함되어 있지 않은 정보)를 이용한다. 이 룰은 귀납적으로 적용된다. 대상 의존 슬라이스가 의존하는 친슬라이스가 참조 가능하다고 인식된다. 참조에는, 슬라이스간의 공간적 예측 및 공통 CABAC 상태 등의 이용이 포함된다. 의존 슬라이스는, 직전의 슬라이스의 종단에서 생성되는 CABAC 컨텍스트 테이블을 이용한다. 이와 같이, 의존 슬라이스는, CABAC의 컨텍스트 테이블을 디폴트치로 초기화하지 않고, 작성이 끝난 컨텍스트 테이블을 계속해서 이용한다. 또, 엔트로피 슬라이스 및 의존 슬라이스에 관해서는, 비특허 문헌 3에 기재되어 있다.
HEVC는, 몇 가지 프로파일을 제시한다. 프로파일은, 특정의 애플리케이션에 적합한 화상 부호화 장치 및 화상 복호 장치의 설정을 포함한다. 예를 들면, 「주요 프로파일」은, 통상 슬라이스 및 의존 슬라이스만을 포함하고, 엔트로피 슬라이스를 포함하지 않는다.
상술한 바와 같이, 부호화 슬라이스는, NAL 유닛에 캡슐화되며, 또한 예를 들면 실시간 프로토콜(RTP)에 캡슐화되고, 최종적으로 인터넷 프로토콜(IP) 패킷에 캡슐화된다. 이 프로토콜 스택 또는 다른 프로토콜 스택에 의해, 인터넷 또는 고유 네트워크 등의 패킷 지향형 네트워크에 있어서, 부호화 영상의 송신이 가능하게 된다.
전형적으로, 네트워크는 적어도 1개 이상의 라우터를 포함하고, 라우터는 초고속으로 동작하는 전용 하드웨어로 구성된다. 라우터는, IP 패킷을 수신하여 IP 패킷의 헤더를 해석하고, 적절히 IP 패킷을 각각의 수신처로 전송하는 기능을 갖는다. 라우터는, 많은 소스로부터의 통신을 처리할 필요가 있으므로, 로직을 제어하는 패킷은 가능한 한 심플해야 한다. 라우터는, 적어도, IP 패킷을 전송하는 경로를 결정하기 위해서, IP 헤더에 포함되는 수신처 어드레스 필드를 확인할 필요가 있다. 서비스 품질(QoS)에 대한 서포트를 더 제공하기 위해서, 스마트(미디어·인지(media-aware)) 라우터는, IP 헤더, RTP 헤더, 및 NALU 헤더 등의 네트워크·프로토콜 헤더에 있어서의 전용 필드를 추가적으로 확인한다.
영상 부호화에 관한 상기 기재로부터 알 수 있듯이, 의존 슬라이스 및 엔트로피 슬라이스 등, 병렬 처리를 위해서 정의된 상이한 타입의 슬라이스는, 데이터가 결락된 경우의 화질의 저하에 대한 중요성이 상이하다. 친슬라이스없이, 의존 슬라이스를 해석 및 복호할 수 없다. 왜냐하면, 의존 슬라이스의 선두에서, 엔트로피 부호화부 또는 엔트로피 복호부를 리스타트할 수 없기 때문이다. 따라서, 화상 또는 영상을 재구축하는데 있어서, 친슬라이스는 보다 중요하다고 할 수 있다.
HEVC에 있어서, 의존 슬라이스 및 엔트로피 슬라이스는, 의존성의 보충적인 측면으로서, 슬라이스간의 의존성(프레임 내의 의존성)을 도입하고 있다. 이런 종류의 의존성은, 라우터에 의해서 고려되는 일은 없다.
즉, 상술한 의존성, 특히, 인터 부호화에 있어서의 슬라이스간의 의존성은, 네트워크 레벨에서는 고려되지 않는다. 그러나, 서비스 품질에 대한 보다 좋은 서포트를 제공하기 위해서는, 네트워크 레벨에 있어서, 상술한 의존성을 고려하는 것이 바람직하다. 각 슬라이스의 의존성을 고려해, 네트워크 레벨에 있어서의 패킷의 취급의 유연성을 개선하는 것이 요구되고 있다.
(과제의 상세)
[1-5. WPP 및 의존 슬라이스]
의존 슬라이스는, WPP 또는 타일 등의 병렬 처리툴과 함께 이용할 수 있다. 또, 의존 슬라이스를 이용함으로써, 부호화 손실을 일으지 않고 전송 지연을 삭감하는 것이 가능한 웨이브 프런트(서브 스트림)를 생성할 수 있다.
또, 의존 슬라이스에서는 CABAC가 리스타트되지 않으므로, 의존 슬라이스를 CABAC 서브 스트림의 개시점으로서 이용할 수 있다. 또, 독립한 해석의 개시점을 나타내기 위해, 상기 개시점을 나타내는 정보를 비트 스트림에 포함시켜 전달해도 된다. 특히, 2개 이상의 CABAC 서브 스트림을 통상 슬라이스 또는 의존 슬라이스에 캡슐화하는 경우, 서브 스트림마다의 바이트 수를 이용하여 명시적으로 개시점을 신호 전달한다. 여기서, 서브 스트림은, 개시점에 의해 따로 따로 해석 가능한 스트림의 일부분을 나타낸다. 또한, 각 의존 슬라이스는 NAL 유닛의 헤더를 필요로 하므로, 개시점의 「마커」로서 의존 슬라이스를 이용할 수 있다. 즉, 그러한 마커에 대한 개시점을 신호 전달할 수 있다.
신호에 의해 명시적으로 개시점을 통지하는 방법과, 의존 슬라이스를 통해 개시점을 마킹하는 방법은 동시에 이용할 수 있다.
여기서, 각 NAL 유닛의 개시점(각 NAL 헤더의 선두)을 특정할 수 있을 필요가 있다. 또한, 특정 방법에 관해서는, 임의의 방법을 이용할 수 있다. 예를 들면, 이하의 2개의 방법을 이용할 수 있다.
첫번째 방법은, 각 NAL 헤더의 선두에, 예를 들면, 3바이트의 스타트 코드를 삽입하는 방법이다. 두번째 방법은, 각 NAL 유닛을 각각 다른 패킷으로 패킷화하는 방법이다. 또, 슬라이스의 의존성 때문에, 슬라이스 헤더의 사이즈를 축소해도 된다.
이들 방법에 의해, 엔트로피 슬라이스에 대해 병렬 CABAC 해석이 가능해진다. 이것은, 엔트로피 슬라이스의 선두에서 CABAC가 반드시 리스타트되기 때문이다. CABAC의 병렬 처리에서는, 연속하는 화소 구축 처리 후의 병렬 CABAC 해석에 의해 장해를 극복할 수 있다. 구체적으로는, WPP 병렬화툴에 의해, 각 LCU행의 복호 처리를 1개의 코어(IP 코어(intellectual property core), 기능 블록)에 의해 실현될 수 있다. 또한, 각 코어로의 LCU행의 할당은 상이해도 된다. 예를 들면, 1개의 코어에 2행이 할당되어도 되고, 2개의 코어에 1행이 할당되어도 된다.
도 3은, 픽처(300)의 구성의 일례를 나타내는 도면이다. 도 3에 있어서, 픽처(300)는, 복수의 LCU행(31~3m)(m은 LCU의 행 수)으로 분할되어 있다. 각 LCU행(3i)(i=1~m)은, 1행으로 배치된 복수의 LCU(3i1~3in)(n은 LCU의 열 수)로 구성되어 있다. LCU행(3i)은, 「웨이브 프런트 i」에 대응하고 있다. 웨이브 프런트끼리는, 병렬 처리가 가능하다. 도 3의 「CABAC 상태」의 화살표는, CABAC 상태를 참조하는 LCU와 그 참조처의 관계를 나타내고 있다.
구체적으로는, 도 3에서는, 먼저, LCU행(31)에 포함되는 LCU 중, 선두의 LCU(311)에 대한 처리(부호화 또는 복호)가 개시된다. LCU에 대한 처리는, LCU(311~31n)의 순으로 실행된다. LCU행(31)에 있어서 최초의 2개의 LCU(311, 312)가 처리된 후, LCU행(32)의 처리가 개시된다. LCU행(32)의 최초의 LCU(321)의 처리에서는, 도 3의 「CABAC 상태」의 화살표에 나타나는 바와 같이, 1행째의 LCU행(31)에 있어서의 LCU(312)에 대한 처리가 종료된 직후의 CABAC 상태가, CABAC 상태의 초기 상태로서 이용된다. 즉, 2개의 병렬 처리 사이에서는, LCU 2개분의 처리 시간에 상당하는 지연이 존재한다.
도 4는, WPP를 이용한 의존 슬라이스의 사용예를 나타내는 도면이다. LCU행(41~43)은, 「웨이브 프런트 1」, 「웨이브 프런트 2」, 및, 「웨이브 프런트 3」에 대응하고 있다. LCU행(41~43)은, 각각 독립한 코어로 처리된다. 도 4에 있어서, LCU행(41)은 통상 슬라이스이며, LCU행(42~4m)은 의존 슬라이스이다.
의존 슬라이스는, 지연을 개선할 수 있는 WPP를 형성한다. 의존 슬라이스에는 완전한 슬라이스 헤더가 없다. 또, 개시점(또는, 상술한 바와 같은 룰로 알려진, 의존 슬라이스의 개시점)을 알고 있으면, 다른 슬라이스와는 독립하여 의존 슬라이스를 복호할 수 있다. 또, 의존 슬라이스는, 부호화 손실을 일으키지 않고, 저지연 애플리케이션에도 적합한 WPP를 형성할 수 있다.
서브 스트림(LCU행)을 슬라이스에 캡슐화하는 통상의 케이스에서는, 확실히, 엔트로피 부호화 및 복호를 병렬로 행하기 위해서는 명확한 개시점을 슬라이스 헤더에 삽입할 필요가 있다. 그 때문에, 슬라이스의 최후의 서브 스트림이 완전하게 부호화되고 나서야, 슬라이스의 전송 준비를 할 수 있다. 또, 슬라이스 중의 모든 서브 스트림의 부호화가 완료되고 나서야 슬라이스 헤더는 완성된다. 즉, 슬라이스 전체의 처리가 끝날 때까지, RTP/IP층의 패킷 단편화를 통해 슬라이스의 선두의 전송을 개시할 수 없다.
그러나, 의존 슬라이스가 이용되는 경우에는, 의존 슬라이스를 개시점 마커로서 이용할 수 있으므로, 개시점의 명시적인 신호에 의한 통지는 필요없다. 따라서, 부호화 손실없이 통상 슬라이스를 많은 의존 슬라이스로 분할할 수 있다. 또, 캡슐화된 서브 스트림의 부호화가 완료되자마자(또는, 패킷 단편화의 경우에는, 그보다 빨리), 의존 슬라이스를 전송할 수 있다.
또, 의존 슬라이스는, 공간적 예측의 의존성을 약화시키지 않는다. 또한, 의존 슬라이스는 해석 의존성도 약화시키지 않는다. 왜냐하면, 대상 의존 슬라이스의 해석에는 통상, 선행 슬라이스의 CABAC 상태를 필요로 하기 때문이다.
의존 슬라이스가 허가되지 않는 경우, 각 LCU행을 슬라이스로 할 수 있다. 그러한 구성은 전송 지연을 개선하지만, 동시에, 상술한 바와 같이 큰 부호화 손실이 발생하게 된다.
프레임(픽처) 전체를 1개의 슬라이스에 캡슐화하는 경우를 상정한다. 이 경우, 병렬 해석을 가능하게 하기 위해서, 슬라이스 헤더에 서브 스트림(LCU행)의 개시점을 신호에 의해 전달할 필요가 있다. 이에 의해 프레임 레벨로 전송 지연이 발생한다. 즉, 프레임 전체를 부호화한 후, 헤더를 수정할 필요가 있다. 픽처 전체를 1개의 슬라이스에 캡슐화하는 것 자체는, 전송 지연을 악화시키지 않는다. 예를 들면, 부호화가 완전히 끝나기 전에, 슬라이스의 일부의 전송을 개시해도 된다. 그러나, WPP를 이용하는 경우, 개시점을 기재하기 위해서 슬라이스 헤더를 나중에 수정할 필요가 있다. 따라서, 슬라이스 전체의 전송을 지연시킬 필요가 있다.
이와 같이, 의존 슬라이스의 사용에 의해, 지연을 삭감할 수 있다. 도 4에 나타난 바와 같이, 픽처(400)는, 통상 슬라이스인 LCU행(41), 의존 슬라이스인 LCU행(42~4m)으로 분할된다. 각 LCU행이 1개의 의존 슬라이스인 경우, 부호화 손실 없이, 1개의 LCU행의 전송을 지연시킬 수 있다. 이것은, 의존 슬라이스가, 공간 의존을 약하게 하지 않고, 또한 CABAC 엔진을 리스타트하지 않기 때문이다.
[1-6. 패킷의 구성]
상술한 바와 같이, 네트워크 라우터는, 서비스 품질의 제공을 가능하게 하기 위해서, 패킷의 헤더를 분석해야 한다. 서비스 품질은, 애플리케이션의 종류, 및/또는, 서비스의 우선도, 및/또는, 패킷 로스에 기인하는 왜곡에 대한 패킷의 관련성의 우선도에 따라서 상이하다.
도 5는, 비트 스트림의 캡슐화(패킷화)의 일례를 나타내는 도면이다.
여기서, 일반적으로, 패킷화에는 실시간 프로토콜(RTP)이 이용된다. RTP는, 통상, 실시간의 미디어 송신에 이용된다. 또, 패킷화에서 이용되는 각 프로토콜의 헤더의 길이는, 기본적으로 고정되어 있다. 각 프로토콜의 헤더는, 확장 필드를 갖는다. 이 확장 필드에 의해, 헤더의 길이를 4바이트 확장할 수 있다. 예를 들면, IP 헤더는, 20바이트까지 확장할 수 있다. 또 IP 헤더, 사용자 데이터그램 프로토콜(UDP) 헤더, 및, RTP 헤더에 포함되는 신택스 엘리먼트의 길이는, 고정되어 있다.
도 5는, IP 패킷에 포함되는 패킷 헤더(500)를 나타낸다. 도 5에 나타낸 패킷 헤더(500)에는, IP 헤더(510), UDP 헤더(530), RTP 헤더(540), RTP H264 페이로드 헤더(560), 및, NAL 헤더(570)가 포함된다. IP 헤더(510)는, 4바이트의 확장 필드(520)를 갖는 20바이트 길이의 헤더이다. IP 패킷의 페이로드는, UDP 패킷이다. UDP 패킷은, 8바이트 길이의 UDP 헤더(530)와, UDP 페이로드를 포함한다. UDP 페이로드는 RTP 패킷에 의해서 형성되어 있다. RTP 패킷은, 선두의 12바이트 길이의 RTP 헤더(540)와, 4바이트의 확장 필드(550)를 갖는다. RTP 패킷은, 확장 필드에 의해, 선택적으로 확장할 수 있다. RTP 패킷의 페이로드는, 0~3바이트 길이의 특별한 RTP H264 페이로드 헤더(560)와 그것에 이어지는 2바이트 길이의 HEVC의 NAL 헤더(570)를 포함한다. 부호화된 영상 패킷을 포함하는 NALU의 페이로드는(도 5에는 도시하지 않음), 패킷 헤더(500) 뒤에 이어진다.
개량된 서비스 품질을 제공할 수 있는 라우터는, 미디어 인지 네트워크 엘리먼트(Media Aware Network Elements, MANE)라 불린다. 미디어 인지 네트워크 엘리먼트는, 도 5에 나타난 패킷 헤더(500)를 구성하는 필드 중 몇 가지를 해석한다. MANE는, 예를 들면, 수신 패킷 컨텐츠의 로스 및 제시 순서를 검출하기 위해서, "temporal_id"라 불리고, NAL 헤더(570)에 포함되는 신택스 엘리먼트, 또는, RTP 헤더(540)에 포함되는 복호 순서 번호를 해석할 수 있다. 라우터(네트워크 요소)는, 네트워크의 스루풋을 보다 높게 하기 위해서, 패킷을 가능한 한 빠르게 처리한다. 이러한 라우터의 논리 회로는, 네트워크 엘리먼트 처리의 복잡성을 낮게 하기 위해서, 패킷 헤더 내의 필드에 빠르고 심플하게 액세스할 필요가 있다. NALU는 패킷 헤더(500) 내에 캡슐화되어 있다. NALU는, 슬라이스 헤더가 존재하는 경우, 슬라이스 데이터를 포함하고 있어도 된다.
NALU는 패킷 헤더(500) 내에 캡슐화되어 있다. NALU는, 슬라이스 헤더가 존재하는 경우, 슬라이스 데이터를 포함하고 있어도 된다.
도 6은, 슬라이스 헤더의 신택스(600)의 일례를 나타내는 도면이다. dependent_slice_flag(601)는, 슬라이스가 의존 슬라이스인지 아닌지를 나타내는 신택스 엘리먼트이다. 이 신택스 엘리먼트는, 슬라이스간의 의존성을 식별하기 위해서 이용할 수 있다. 그러나, 슬라이스 헤더는, NALU의 컨텐츠이다. dependent_slice_flag(601) 앞에 신택스 엘리먼트를 해석하기 위해서는, 꽤 복잡한 논리 회로가 필요하게 된다. 이것은, 하기에 나타난 바와 같이, 통상의 라우터에서는 효율적으로 고려할 수 없는 레벨이다.
상술한 바와 같이, NALU는, 파라미터 세트와 같이, 복수의 슬라이스의 공통적인 정보를 포함하거나, 혹은, 슬라이스 헤더에 포함되는 복호에 필요한 정보를 갖는 부호화된 슬라이스를 직접 포함한다. 도 6에는, 엔트로피 슬라이스 또는 의존 슬라이스에 이용되는 슬라이스 헤더의 신택스의 일례가 나타나 있다. 도 6은, 슬라이스 헤더 구조를 나타내는 테이블이다. 신택스 엘리먼트"dependent_slice_flag"가 1로 설정되는 경우에는, 복호 순서에 있어서 대상 슬라이스에 선행하는 최초의 통상 슬라이스(엔트로피 슬라이스도 아니고 의존 슬라이스도 아닌 슬라이스)까지의 모든 슬라이스가 필요하게 된다. 이들 슬라이스가 복호되어 있지 않은 경우, 일반적으로, 대상 의존 슬라이스는 복호할 수 없다. 단, 특별한 경우, 예를 들면, 신호 전달 또는 도출된 다른 보조 정보를 이용하는 것이 가능한 경우에는, 의존 슬라이스를 복호할 수 있는 경우가 있다. 신택스 엘리먼트 dependent_slice_flag(601)는, 슬라이스 헤더의 중앙의 적절한 위치에 포함되어 있다. 또한, 슬라이스 헤더는, 정보 엘리먼트 num_entry_point_offsets(602)에 의해서 나타나는 대상 슬라이스 내의 CABAC 서브 스트림의 수와, 신택스 엘리먼트 entry_point_offset[i](603)에 의해서 나타나는 서브 스트림의 바이트 수를 포함한다. 여기서, 정보 엘리먼트 num_entry_point_offsets(602)은, 엔트리 포인트의 수에 대응한다. i는, 정수이며, 특정의 엔트리 포인트(엔트리 포인트의 오프셋)를 나타내는 인덱스이다. entry_point_offset[i](603)에 의해 나타나는 서브 스트림의 바이트 수에 의해서, 비트 스트림 내에서의 내비게이션이 간단해진다.
[1-7. 픽처의 의존성]
상술한 바와 같이, HEVC에 의한 부호화에서는, 복수 종류의 의존성이 이용된다.
도 7은, 의존 슬라이스도 아니고 엔트로피 슬라이스도 아닌 통상 슬라이스만이 이용되는 경우의 의존성(의존도)과 그 신호 전달을 나타내는 도면이다. 도 7에서는, 3개의 픽처(710, 720, 및 730)를 나타내고 있다.
픽처(710)는, VCL NAL Unit 1 및 VCL NAL Unit 2의 2개의 VCL NALU에 유지되는 베이스 레이어 픽처이다. POC는, 픽처를 묘화하는 순서를 나타낸다. VCL NALU에는, 각각, 픽처가 베이스 레이어에 속하는지, 인핸스먼트 레이어에 속하는지를 나타내는 신택스 엘리먼트와, 신택스 엘리먼트 temporal_id가 포함된다. 어느 픽처가 베이스 레이어에 속하는지, 인핸스먼트 레이어에 속하는지를 나타내는 신택스 엘리먼트는, 도 5에 나타낸 패킷 헤더(500)의 NAL 헤더(570) 내에 포함된 상태로 송신된다. 또, 신택스 엘리먼트 temporal_id에 대해서도, NAL 헤더(570) 내에 포함된 상태로 송신된다. 신택스 엘리먼트 temporal_id는, 다른 픽처의 의존성을 나타낸다. 예를 들면, temporal_id=0의 부호화된 픽처 또는 슬라이스는, 보다 높은 temporal_id를 갖는 다른 픽처 또는 슬라이스와는 독립하여 복호 가능하다. HEVC에 있어서, temporal_id는, NAL 헤더에 포함시켜 nuh_temporal_id_plus1로서 신호 송신된다(도 9a 참조). 또한, 이들 예에서 이용된 temporal_id와, 신택스 엘리먼트 nuh_temporal_id_plus1 사이에는, 다음의 식 1의 관계가 성립된다.
temporal_id=1인 슬라이스는, temporal_id의 값이 보다 낮은 슬라이스에 의존한다. 즉, 이 경우의 temporal_id의 값은 0이다. 또한, temporal_id는, 픽처의 예측 구조를 가리킨다. 일반적으로, 예를 들면, temporal_id가 특정의 값을 갖는 슬라이스는, temporal_id의 값이 보다 낮은 슬라이스 또는 temporal_id의 값이 같은 슬라이스에만 의존한다.
따라서, 도 7에 있어서의 픽처(710)는, 최초로 복호할 수 있다.
픽처(720)는, 픽처(710)의 베이스 레이어에 대한 인핸스먼트 레이어이다. 따라서, 픽처(720)를 픽처(710)의 복호 후에 복호할 필요가 있다고 하는 의존성이 있다. 픽처(720)는, VCL NAL Unit3 및 VCL NAL Unit4의 2개의 NALU를 갖는다. 픽처(710 및 720)는 모두, POC의 값이 0이다. 이것은, 픽처(710, 720)가, 한번에 표시되는 같은 화상에 속하는 것을 나타낸다. 상기 화상은, 베이스 레이어와 인핸스먼트 레이어를 구비하고 있다.
픽처(730)는, VCL NAL Unit5 및 VCL NAL Unit6의 2개의 NALU를 포함하는 베이스 레이어이다. 픽처(730)의 POC의 값은 1이다. 이것은, 픽처(부분)(730)가, 픽처(720 및 710) 뒤에 표시되는 픽처인 것을 의미한다. 또한, 픽처(730)는, temporal_id의 값이 1이다. 이것은, 픽처(730)가, temporal_id=0의 픽처에 일시적으로 의존하는 것을 의미한다. 따라서, NAL 헤더 내에 포함되어 신호 송신된 의존성에 의거해, 픽처(730)는 픽처(710)에 의존한다.
도 8은, 의존 슬라이스와 엔트로피 슬라이스가 이용되는 경우의 의존성(의존도)과 그 신호 전달을 나타내는 도면이다. 도 8에서는, 3개의 픽처(810, 820, 및 830)를 나타내고 있다. 도 8은, 슬라이스 헤더 내에 포함되어 신호 송신된 의존 슬라이스 및 엔트로피 슬라이스의 의존성이 추가되어 있는 점에서, 상기 도 7과는 상이하다.
여기서, 도 7에서는, 픽처(710 및 720)의 예를 이용하여 레이어간의 의존성을 나타내고 있다. 또한, 픽처(710 및 730)의 예를 이용하여 시간적 의존성을 나타내고 있다. 이러한 의존성은 모두, NAL 헤더 내에 포함되어 신호 송신된다.
이에 대해, 도 8에 나타나는 슬라이스간의 의존성은, 의존 슬라이스 및 엔트로피 슬라이스에 고유의 것이다. 특히, 베이스 레이어의 프레임(810) 및 인핸스먼트 레이어의 프레임(820)은 모두 2개의 슬라이스를 갖는다. 2개의 슬라이스 중 하나는 친슬라이스(통상 슬라이스)이며, 또 다른 하나는 자슬라이스(의존 슬라이스)이다. 프레임(810)에 있어서, VCL NAL Unit1의 슬라이스는, VCL NAL Unit2의 친슬라이스이다. 프레임(820)에 있어서, VCL NAL Unit3의 슬라이스는, VCL NAL Unit4의 친슬라이스이다. 상술한 바와 같이, 의존 슬라이스의 「친슬라이스」란, 상기 의존 슬라이스의 의존처 슬라이스, 즉, 그 슬라이스 헤더 정보가 상기 의존 슬라이스에 의해서 사용되는 슬라이스를 가리킨다. 이것은, 최초의 슬라이스는, 완전한 헤더를 갖는 선행 슬라이스라는 룰에 따르고 있다. 완전한 헤더를 갖는 슬라이스란, 예를 들면, 다른 의존 슬라이스가 아니라, 통상 슬라이스이다.
현재의 HEVC, 특히 HM8.0에 있어서 채용되고 있는 NAL 유닛 헤더 및 슬라이스 헤더에 대응하는 신택스에 대해서, 도 9a를 이용하여 설명한다.
도 9a는, NAL 유닛 헤더(910)의 신택스 및 슬라이스 헤더(920)의 신택스를 나타내는 도면이다. 또한, 레이어간의 의존성은, 신택스 엘리먼트 nuh_reserved_zero_6bits를 이용하여 NAL 유닛 헤더 내에 포함시켜 신호 송신되는 것이(최신 표준화에 있어서) 계획되어 있다. 시간적 의존성은, 신택스 엘리먼트 nuh_temporal_id_plus1을 이용하여 신호 송신된다. 슬라이스 헤더(920)는, 슬라이스간의 의존성의 인디케이터를 나타내는 신호를 포함한다. 슬라이스간의 의존성의 인디케이터는, 신택스 엘리먼트 dependent_slice_flag에 의해서 나타난다. 즉, 슬라이스간의 의존성(예를 들면, 시간적 의존성)은, 슬라이스 헤더 내의 어딘가의 위치에 포함되어 신호 송신된다.
이 신택스 엘리먼트를 해석하기 위해서는, dependent_slice_flag에 선행하는 모든 신택스 엘리먼트가, dependent_slice_flag에 선행하는 슬라이스 헤더의 신택스 엘리먼트의 해석에 필요한 파라미터 세트의 신택스 엘리먼트와 동일하게, 해석되어야 한다.
[1-8. 라우터에 있어서의 처리]
상술한 바와 같이, 트래픽 형성의 결정에 있어서, NAL 헤더 내에 포함되어 신호 송신되는 의존성에 추가해, 의존 슬라이스 및 엔트로피 슬라이스에 의해서 도입되는 의존성을 고려하는 것이 바람직하다. 예를 들면, 미디어 인지 모바일 기지국으로서 라우터를 이용할 수 있다. 하향 링크의 대역은 매우 한정되어 있어, 아주 주의 깊게 관리할 필요가 있다. 이하의 예를 상정한다. 패킷이 업 스트림에 있어서 통상의 라우터에 의해서 랜덤으로 삭제되는 경우를 상정한다. 이 경우에 있어서, 미디어 인지 네트워크 엘리먼트(MAME)는, 패킷 번호를 확인함으로써, 패킷 로스를 확인할 수 있다. 패킷 로스의 확인 후, 삭제된 패킷에 의존하는 후속하는 전체 패킷을 삭제한다. 이것은, 미디어 인지 네트워크 엘리먼트에 적합한 특징이다. 이와 같이 하면, 패킷을 보다 지능적으로 삭제할 수 있다. 라우터는, NAL 유닛의 삭제를 결정하면, 후속하는 의존 슬라이스도 삭제할 필요가 있다고 즉시 추정한다. 도 9a에 있어서 도입된 대상 신택스에 있어서, dependent_slice_flag로의 액세스에는, 상당한 양의 정보 해석이 필요하게 된다. 이것은, 라우터에 있어서의 패킷 루팅 또는 트래픽 형성 처리 중 어느 것에나 필수는 아니다. 레이어간 및 시간간의 관계를 얻기 위해서 필요한 모든 정보는, 영상 파라미터 세트 중에 있다. 영상 파라미터 세트는, 파라미터 세트 계층에 있어서 가장 높은 계층의 파라미터 세트이다.
따라서, 상술한 정보는, NAL 헤더(570) 내에 포함되어 신호 송신된다. 그러나, 도 9a에 나타낸 NAL 헤더 및 슬라이스 헤더의 경우, 슬라이스의 의존성을 나타내는 정보에 액세스하려면 , PPS 및 SPS와 같은 추가적 파라미터 세트의 경과를 추적 기록할 필요가 있다. 한편, 이것은, 미디어 인지 게이트웨이 또는 라우터의 능력을 재이용하게 된다. 도 9a로부터 알 수 있듯이, 슬라이스 헤더(920)는, dependent_slice_flag까지 해석되어야 하며, 해석된 파라미터는 네트워크 동작에는 도움이 되지 않는다.
dependent_slice_flag에 선행하는 슬라이스 어드레스를 해석할 수 있도록 하기 위해서는, 도 9b에 나타나는 SPS(930)에 포함되는 신택스 엘리먼트 중, 다음의 신택스 엘리먼트가 필요하다. 도 9b는, SPS에 포함되는 신택스의 예를 나타내는 도면이다.
·pic_width_in_luma_samples(도 9b의 부호 931)
·pic_height_in_luma_samples(도 9b의 부호 932)
·log2_min_coding_block_size_minus3(도 9b의 부호 933)
·log2_diff_max_min_coding_block_size(도 9b의 부호 934)
이들 파라미터는, 도 9b의 우측의 테이블에 나타나 있으며, slice_address의 파라미터의 취득에 필요하다. 신택스 엘리먼트 slice_adress는, 가변길이 부호화되어 있다(도 9a의 slice_address, 슬라이스 헤더(920)의 제2란(우측 란), 기술자(Descriptors) "v"의 길이를 참조). 가변길이 부호화된 slice_address의 파라미터의 길이를 알기 위해서, SPS에 포함되는 이들 신택스 엘리먼트가 필요하다. 그러나, dependent_slice_flag를 해석하기 위해서는, 신택스 엘리먼트 slice_address의 실제의 값은 필요없다. 해석 처리를 계속하기 위해서는, 가변길이의 신택스 엘리먼트의 길이를 알면 된다.
따라서, 도 9b에 나타낸 SPS(930)에 포함되는 신택스 엘리먼트 중, 포인트(935)의 신택스 엘리먼트까지 해석될 필요가 있다. 4개의 신택스 엘리먼트를 저장할 필요가 있다. 그들은 뒤에서, 신택스 엘리먼트 slice_address의 길이를 계산하는 공식에 이용된다.
또한, dependent_slice_flag에 선행하는 dependent_slice_enabled_flag에 액세스하기 위해서, 도 9c에 나타난 PPS에 포함되는 신택스 엘리먼트 중, 포인트(945)의 신택스 엘리먼트까지 해석될 필요가 있다. 도 9c는, PPS에 포함되는 신택스의 예를 나타내는 도면이다. 또한, 도 9a~9c를 참조하여 해석 방법을 설명한 슬라이스 헤더, SPS 및 PPS 내의 신택스 엘리먼트는, 통상의 라우터의 동작에는 필요없다. 또한, 신택스 엘리먼트 중 몇 개는 가변길이 부호로 부호화되어 있기 때문에, 단순히 스킵할 수 없다. 즉, 비트 스트림 내에서 소정량분의 비트를 점프 해도, dependent_slice_enabled_flag까지 점프할 수는 없다.
요컨데, dependent_slice_flag(의존성 인디케이션)를 독출하기 위해서는, MANE는, 슬라이스 헤더(슬라이스 헤더(920) 참조)의 복잡한 해석을 더욱 진행할 필요가 있다.
구체적으로는, first_slice_in_pic_flag가 해석되어야 한다. first_slice_in_pic_flag는, 슬라이스가 픽처 내의 최초의 슬라이스인지 아닌지를 나타내는 플래그이다.
그 후, NALU 타입에 조건 부여된 no_output_of_prior_pics_flag가 해석되어야 한다.
또한, 가변길이 부호화된 pic_parameter_set_id가 복호되어야 한다. pic_parameter_set_id는, 복수의 파라미터 세트 중, 어느 파라미터 세트를 이용할지를 나타내는 신택스 엘리먼트(파라미터 세트를 식별하는 신택스 엘리먼트)이다. pic_parameter_set_id를 해석함으로써, 이용하는 파라미터 세트를 특정할 수 있다.
마지막으로, slice_address가 필요하다. slice_address는, 슬라이스의 개시 위치를 나타내는 신택스 엘리먼트이다. 이 신택스 엘리먼트는, 추가적 계산과 PPS 및 SPS의 해석을 한층 더 필요로 한다.
최후에, dependent_slice_flag가 비트 스트림 내에 존재하는지 아닌지를 알기 위해서, dependent_slice_enabled_flag(의존 슬라이스 유효화 플래그)의 값이 PPS로부터 취득되어야 한다. dependent_slice_enabled_flag=0은, 의존 슬라이스는 유효하지 않으므로, 대상 슬라이스가 통상 슬라이스인 것을 의미한다. dependent_slice_enabled_flag의 값을 취득하기 위해서, PPS는 한가운데 정도까지 해석될 필요가 있다.
아쉽게도, 데이터 위치가 미리 정해져 있는 RTP 헤더 및 NAL 헤더의 데이터인 경우와는 달리, dependent_slice_flag 앞에 위치하는 신택스 엘리먼트는 스킵할 수 없어, 해석될 필요가 있다. 이것은, 슬라이스 헤더 내의 신택스 엘리먼트가 가변길이 부호화되어 있기 때문이다. 이 때문에, 모든 VCL NAL 유닛에 대해서 엘리먼트의 존재 및 길이가 계산될 필요가 있다. 추가해, 뒤에서 필요하게 되므로(PPS 및 SPS 참조), 추가적 세션 데이터가 저장될 필요가 있다. 또한, 신택스 엘리먼트의 존재가, 다른 파라미터 구조에 포함되는 것이 상정되는 다른 신택스 엘리먼트의 존재 또는 그 값에 의존하는 신택스 엘리먼트도 있다(그 신택스 엘리먼트는 조건부로 부호화된다).
현재의 표준화에 있어서, 비트 스트림 내에 몇 개의 층이 포함되는지를 기술하는 비디오 파라미터 세트(VPS) 내의 비디오 시퀀스 의존성 구성, 및 다양한 레이어간의 의존성을 나타내는 의존성 인디케이터를 신호 송신한다고 하는 제안이 있다. VPS는, 최초의 SPS 앞에, 영상의 선두에 포함되어 신호 송신된다. 복수의 SPS가 1개의 VPS를 참조할 수 있다. 이것은, 1개의 VPS가 복수의 비디오 시퀀스에 유효한 정보를 유지하고 있음을 의미한다. VPS의 주된 목적은, 이하와 같은 정보를 포함하는 영상 컨텐츠를, 라우터 또는 디코더에 통지하는 것이다. 몇 개의 비디오 시퀀스가 포함되고 그들이 어떻게 서로 관계하고 있냐면. SPS는, 비디오 시퀀스 내에서만 유효하고, VPS는, 복수의 비디오 시퀀스에 관련된 정보를 유지한다.
또한, VPS에 유지되는 정보의 특징은, 특히 라우터에 있어서 유익하다. 예를 들면, VPS는, 설계가 파이널라이즈되어 있지 않으므로, 스트리밍 세션의 설정에 필요한 정보를 유지해도 된다. 라우터는 VPS 내의 정보를 해석한다. 또한, 라우터는, 다른 파라미터 세트를 필요로 하지 않고(NAL 헤더를 보는 것만으로), 어떤 데이터 패킷을 디코더에 송신하고, 어떤 패킷을 삭제할지를 결정할 수 있다.
그러나, 현재 유효한 VPS를 발견하기 위해서, 다음과 같은 순서로 이하의 단계를 실행할 필요가 있다.
슬라이스 헤더 내의 PPS_id를 해석하는 단계,
PPS_id에 의해서 결정된 유효 PPS 내의 SPS_id를 해석하는 단계,
SPS_id에 의해서 결정된 유효 SPS 내의 VPS_id를 해석하는 단계.
상술한 문제를 해결하기 위해서, 본 발명의 일 양태에 따른 화상 부호화 방법은, 픽처를 복수의 슬라이스로 분할하여 부호화 처리를 실행하는 화상 부호화 방법이며, 처리 대상인 슬라이스 이외의 다른 슬라이스에 대한 상기 부호화 처리의 결과에 의존하여 상기 부호화 처리가 행해지는 의존 슬라이스가 상기 픽처에 포함되는지 아닌지를 나타내는 의존 슬라이스 유효화 플래그(dependent_slice_enabled_flag)와, 상기 처리 대상인 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스와, 상기 처리 대상인 슬라이스가 상기 의존 슬라이스인지 아닌지를 나타내는 의존성 인디케이션(dependent_slice_flag)을 포함하는 비트 스트림을 송신하는 단계를 포함하고, 상기 의존 슬라이스 유효화 플래그는, 상기 복수의 슬라이스의 공통적인 파라미터 세트 내에 배치되고, 상기 슬라이스 어드레스는, 상기 처리 대상인 슬라이스의 슬라이스 헤더 내에 배치되고, 상기 의존성 인디케이션은, 상기 슬라이스 헤더 내이며, 상기 슬라이스 어드레스 앞, 또한, 상기 파라미터 세트를 식별하는 신택스 엘리먼트(pic_parameter_set_id) 뒤에 배치되어 있다.
상기 구성의 화상 부호화 방법에서는, 슬라이스간의 의존성에 관한 의존성 인디케이션이, 라우터에 의한 해석에 적합한 위치에 배치되어 있다. 이에 의해, 의존성 인디케이션을 다른 신택스 엘리먼트와는 독립시켜, 즉 무조건으로, 부호화하는 것이 가능하게 된다.
예를 들면, 상기 의존성 인디케이션은, 상기 의존 슬라이스 유효화 플래그가 상기 의존 슬라이스를 포함하는 것을 나타내는 경우에, 상기 비트 스트림에 포함되어도 된다.
예를 들면, 상기 의존 슬라이스 유효화 플래그는, 상기 파라미터 세트의 선두에 배치되어 있어도 된다.
예를 들면, 상기 복수의 슬라이스의 각각은, 복수의 매크로 블록을 포함하고, 1개 전의 처리 대상인 슬라이스에 포함되는 복수의 매크로 블록 중, 2개의 매크로 블록에 대한 상기 부호화 처리의 실행 후에, 상기 처리 대상인 슬라이스에 대한 상기 부호화 처리의 실행이 개시되어 있어도 된다.
예를 들면, 상기 의존성 인디케이션은, 상기 복수의 슬라이스 중, 상기 픽처의 최초로 처리되는 슬라이스의 슬라이스 헤더에는 포함되지 않아도 된다.
이러한 문제를 해결하기 위해서, 본 발명의 일 양태에 따른 화상 복호 방법은, 픽처를 복수의 슬라이스로 분할하여 복호 처리를 실행하는 화상 복호 방법이며, 처리 대상인 슬라이스 이외의 다른 슬라이스에 대한 상기 복호 처리의 결과에 의존하여 상기 복호 처리가 행해지는 의존 슬라이스가 상기 픽처에 포함되는지 아닌지를 나타내는 의존 슬라이스 유효화 플래그와, 상기 처리 대상인 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스와, 상기 처리 대상인 슬라이스가 상기 의존 슬라이스인지 아닌지를 나타내는 의존성 인디케이션을, 부호화된 비트 스트림으로부터 추출하는 단계를 포함하고, 상기 의존 슬라이스 유효화 플래그는, 상기 복수의 슬라이스의 공통적인 파라미터 세트 내에 배치되고, 상기 슬라이스 어드레스는, 상기 처리 대상인 슬라이스의 슬라이스 헤더 내에 배치되고, 상기 의존성 인디케이션은, 상기 슬라이스 헤더 내이며, 상기 슬라이스 어드레스 앞, 또한, 상기 파라미터 세트를 식별하는 신택스 엘리먼트의 뒤에 배치되어 있다.
예를 들면, 상기 의존성 인디케이션은, 상기 의존 슬라이스 유효화 플래그가 상기 의존 슬라이스를 포함하는 것을 나타내는 경우에, 상기 비트 스트림으로부터 추출해도 된다.
예를 들면, 상기 의존 슬라이스 유효화 플래그는, 상기 파라미터 세트의 선두에 배치되어 있어도 된다.
예를 들면, 상기 복수의 슬라이스의 각각은, 복수의 매크로 블록을 포함하고, 1개 전의 처리 대상인 슬라이스에 포함되는 복수의 매크로 블록 중, 2개의 매크로 블록에 대한 상기 복호 처리의 실행 후에, 상기 처리 대상인 슬라이스에 대한 상기 복호 처리의 실행을 개시해도 된다.
예를 들면, 상기 의존성 인디케이션은, 상기 복수의 슬라이스 중, 상기 픽처의 최초로 처리되는 슬라이스의 슬라이스 헤더에는 포함되지 않아도 된다.
이러한 문제를 해결하기 위해서, 본 발명의 일 양태에 따른 화상 부호화 장치는, 픽처를 복수의 슬라이스로 분할하여 부호화 처리를 실행하는 화상 부호화 장치이며, 처리 대상인 슬라이스 이외의 다른 슬라이스에 대한 상기 부호화 처리의 결과에 의존하여 상기 부호화 처리가 행해지는 의존 슬라이스가 상기 픽처에 포함되는지 아닌지를 나타내는 의존 슬라이스 유효화 플래그와, 상기 처리 대상인 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스와, 상기 처리 대상인 슬라이스가 상기 의존 슬라이스인지 아닌지를 나타내는 의존성 인디케이션을 포함하는 비트 스트림을 송신하는 부호화부를 포함하고, 상기 의존 슬라이스 유효화 플래그는, 상기 복수의 슬라이스의 공통적인 파라미터 세트 내에 배치되고, 상기 슬라이스 어드레스는, 상기 처리 대상인 슬라이스의 슬라이스 헤더 내에 배치되고, 상기 의존성 인디케이션은, 상기 슬라이스 헤더 내이며, 상기 슬라이스 어드레스 앞, 또한, 상기 파라미터 세트를 식별하는 신택스 엘리먼트 뒤에 배치되어 있다.
이러한 문제를 해결하기 위해서, 본 발명의 일 양태에 따른 화상 복호 장치는, 픽처를 복수의 슬라이스로 분할하여 복호 처리를 실행하는 화상 복호 장치이며, 처리 대상인 슬라이스 이외의 다른 슬라이스에 대한 상기 복호 처리의 결과에 의존하여 상기 복호 처리가 행해지는 의존 슬라이스가 상기 픽처에 포함되는지 아닌지를 나타내는 의존 슬라이스 유효화 플래그와, 상기 처리 대상인 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스와, 상기 처리 대상인 슬라이스가 상기 의존 슬라이스인지 아닌지를 나타내는 의존성 인디케이션을, 부호화된 비트 스트림으로부터 추출하는 복호부를 포함하고, 상기 의존 슬라이스 유효화 플래그는, 상기 복수의 슬라이스의 공통적인 파라미터 세트 내에 배치되고, 상기 슬라이스 어드레스는, 상기 처리 대상인 슬라이스의 슬라이스 헤더 내에 배치되고, 상기 의존성 인디케이션은, 상기 슬라이스 헤더 내이며, 상기 슬라이스 어드레스 앞, 또한, 상기 파라미터 세트를 식별하는 신택스 엘리먼트 뒤에 배치되어 있다.
이러한 문제를 해결하기 위해서, 본 발명의 일 양태에 따른 화상 부호화 복호 장치는, 상술한 화상 부호화 장치와, 상술한 화상 복호 장치를 구비한다.
상기 구성의 화상 부호화 방법 및 화상 복호 방법 등에 의하면, 슬라이스간의 의존성 인디케이션은, 슬라이스에 관련하는 비트 스트림의 신택스 내에 독립하여 배치된다. 의존성 인디케이션은, 다른 엘리먼트를 불필요하게 해석하지 않고, 스트림으로부터 해석할 수 있는 위치에, 다른 엘리먼트와는 분리하여 배치된다. 상기 HEVC의 예에서는, 슬라이스간의 의존성을 나타내는 인디케이터 dependent_slice_flag가, 네트워크 동작에 관계하지 않는 신택스 엘리먼트의 해석이 불필요해지는 위치에서 신호에 의해 전달된다.
구체적으로는, 적어도 부분적으로 가변길이 부호를 이용하여 부호화된 화상에 있어서의 영상 시퀀스의 비트 스트림을 해석하고, 영상 시퀀스의 부호화된 슬라이스를 운반하는 데이터 유닛을 포함하는 장치를 제공한다. 이 장치는, 슬라이스의 가변길이 복호 또는 해석이 다른 슬라이스에 의존하는지 아닌지를 나타내는 신택스 엘리먼트인 의존성 인디케이션을, 비트 스트림으로부터 추출하는 파서를 구비하고, 의존성 인디케이션은, 다른 신택스 엘리먼트를 미리 추출할 필요없이, 다른 신택스 엘리먼트로부터 독립하여, 비트 스트림으로부터 추출된다.
그와 같은 장치는, 예를 들면, 도 2의 엔트로피 디코더(290) 내에 포함되어도 된다. 비트 스트림으로부터의 추출의 지시는, 추출과, 그 추출에 필요한 경우에는, 엔트로피 복호를 포함한다. 엔트로피 부호화는, 가변길이 부호화, 예를 들면 CABAC와 같은 산술 부호화이다. 이것은 HEVC에 있어서 화상 데이터의 부호화에 적용되어 있다. 여기서, 데이터 유닛이란, 예를 들면 NAL 유닛 또는 액세스 유닛이다. 「다른 신택스 엘리먼트를 추출할 필요없이」라는 것은, 의존성 인디케이션에 선행하는 복수의 엘리먼트의 전부가, 존재하고 또한 길이를 알고 있는 엘리먼트, 또는, 이미 해석이 끝난 상태에 있는 엘리먼트, 또는, 조건부로 전혀 부호화되지 않는 엘리먼트인 상황을 가리킨다.
또한, 적어도 부분적으로 가변길이 부호로 부호화된 비디오 시퀀스의 비트 스트림을 생성하고, 비디오 화상의 부호화 슬라이스를 유지하는 데이터 유닛을 포함하는 장치를 제공한다. 이 장치는, 슬라이스의 가변길이 복호가 다른 슬라이스에 의존하는지 아닌지를 나타내는 신택스 엘리먼트인 의존성 인디케이터를, 상기 비트 스트림에 매입하는 비트 스트림 제네레이터를 구비하고, 상기 의존성 인디케이터는, 다른 신택스 엘리먼트를 미리 매입할 필요없고, 상기 다른 신택스 엘리먼트로부터 독립하여, 상기 비트 스트림에 매입된다.
그러한 장치는, 예를 들면, 도 1의 엔트로피 부호화부(190) 내에 포함되어도 된다.
상기 구성의 화상 부호화 방법 및 화상 복호 방법 등에 의하면, 비트 스트림은 부호화된 슬라이스 데이터 및 그 슬라이스에 관한 헤더 데이터를 포함하고, 의존성 인디케이터는, 비트 스트림 내의 슬라이스 헤더의 선두에 위치한다. 이것은, 슬라이스 헤더가 슬라이스의 의존성을 나타내는 신택스 엘리먼트로 시작되는 것을 의미한다.
또한, 의존성 인디케이션은, 슬라이스 헤더의 선두에 위치할 필요는 없다. 그러나, 슬라이스 헤더 내에, 다른 조건부로 부호화된 신택스 엘리먼트, 및/또는, 가변길이 부호화된 신택스 엘리먼트가, 의존성 인디케이터에 선행하는 신택스 엘리먼트에 포함되지 않은 경우에는 유익하다.
예를 들면, 상술한 선행 기술에 있어서의 dependent_slice_flag의 현재 위치를, 슬라이스 헤더의 선두에 위치하도록 변경해도 된다. 이 변경에 의해, 해석될 필요가 있는 신택스 엘리먼트의 양이 삭감된다. 또한, 가변길이 복호나, 추가의 계산 및/또는 다음에 사용하기 위한 추가의 파라미터의 저장 및/또는 다른 파라미터 세트의 해석이 필요한 정보의 해석과 같은, 라우터의 복잡한 해석 처리를 피할 수 있다. 또한, 추적 기록이 필요한 파라미터 세트의 수가 삭감된다.
이하, 실시형태에 대해서, 도면을 참조하면서 구체적으로 설명한다. 또한, 이하에서 설명하는 실시형태는, 모두 포괄적 또는 구체적인 예를 나타내는 것이다. 이하의 실시형태에서 나타나는 수치, 형상, 재료, 구성요소, 구성요소의 배치 위치 및 접속 형태, 단계, 단계의 순서 등은, 일례이며, 본 발명을 한정하는 주지는 아니다. 또, 이하의 실시형태에 있어서의 구성요소 중, 최상위 개념을 나타내는 독립 청구항에 기재되어 있지 않은 구성요소에 대해서는, 임의의 구성요소로서 설명된다.
(실시형태 1)
도 10은, 본 실시형태에 있어서의 비트 스트림의 신택스의 예를 나타내는 도면이다. 도 10에 나타낸 NAL 헤더(1010)는, 도 9a에 나타낸 NAL 헤더(910)와 같다. 즉, 변경되어 있지 않다.
그러나, 슬라이스 헤더(1020)의 신택스 구조는, 도 9a의 슬라이스 헤더(920)의 신택스 구조와는 상이하다. 슬라이스 헤더(1020)에서는, 특히, dependent_slice_flag가, dependent_slice_flag에 선행하는 신택스 엘리먼트가 없도록, 슬라이스 헤더 내에서 상방으로 이동되어 있다. dependent_slice_flag는, 조건부로 부호화되거나, 혹은, 가변길이 부호에 의해 부호화되거나, 혹은, 추가의 계산을 필요로 하는 해석이 행해진다.
신택스 엘리먼트 first_slice_in_pic_flag 및 dependent_slice_flag는 모두, 실질적으로, 공간적 의존성을 결정한다. 그들 신택스 엘리먼트는, 다른 신택스 엘리먼트의 해석이 불필요해지도록, NAL 헤더 직후에 부호화된다. first_slice_in_pic_flag는 또, 슬라이스간 의존성에 관련되는 정보를 유지하기 위해서, dependent_slice_flag에 선행해도 된다. 신택스 엘리먼트 first_slice_in_pic_flag는, 모든 프레임은 통상 슬라이스로 시작해야 한다는 룰에 기인하여 설정된 플래그이다. 즉, first_slice_in_pic_flag 플래그가 설정되는 경우에는, 슬라이스가 통상 슬라이스이며, 독립하고 있음을 의미한다. 따라서, dependent_slice_flag 및 first_slice_in_pic_flag의 양방에서, 슬라이스간의 의존성의 인디케이터로 간주할 수 있다.
바꾸어 말하면, 의존성 인디케이터는, 슬라이스가 픽처의 최초의 슬라이스인지 아닌지를 나타내는 제1 슬라이스 인디케이션, 및, 슬라이스의 가변길이 복호가 다른 슬라이스에 의존하는지 아닌지를 나타내는 의존 슬라이스 플래그를 포함한다고 정의할 수 있다. 픽처의 최초의 슬라이스는, 항상, 가변길이 복호에 있어서 다른 슬라이스에 의존하지 않는 슬라이스이다.
유리하게도, 비트 스트림에는, 상기 비트 스트림이 의존 슬라이스를 포함하고 있을 가능성이 있는지 아닌지를 나타내는 의존 슬라이스 유효화 플래그가 포함되어 있다. 의존 슬라이스 유효화 플래그가 비트 스트림에 의존 슬라이스가 포함되어 있을 가능성이 있음을 나타내는 경우에만, 의존성 인디케이션이 비트 스트림에 포함된다. 의존 슬라이스 유효화 플래그는, 비트 스트림에 있어서, 복수의 슬라이스의 공통적인 파라미터 세트 내, 또한, 상기 파라미터 세트의 선두에 위치한다. 파라미터 세트는, 예를 들면, 단일의 픽처에 이용되는 복수의 파라미터를 유지하는 픽처 파라미터 세트여도 된다. 또는, 의존 슬라이스 유효화 플래그는, 화상(영상) 시퀀스 전체에 이용되는 복수의 파라미터를 유지하는 시퀀스 파라미터 세트 내에 위치해도 된다.
그러나, 본 실시형태에서는, dependent_slice_flag(의존성 인디케이션)가, 신택스 엘리먼트 dependent_slice_enabled_flag(의존 슬라이스 유효화 플래그)를 필요 조건으로 하지 않고 부호화된다. 본 실시형태에서는, 픽처 파라미터 세트 id가 의존성 인디케이션 뒤에 배치되므로, 슬라이스 헤더 내에서 픽처 파라미터 세트 id가 신호에 의해 전달되는 경우에 일어날 수 있는 해석 에러를 피하는데 유리하다.
이 변경은 또, 슬라이스간의 의존성을 결정하기 위해서 해석될 필요가 있는 신택스 엘리먼트의 양을 삭감하는 것을 목적으로 한, 파라미터 세트 또는 헤더에 있어서의 다른 필요한 신택스 엘리먼트의 위치의 변경으로 간주해도 되고, 및/또는, 변경에 의해 보간되어도 된다.
예를 들면, HM8.0의 현재의 신택스의 슬라이스 헤더에 있어서의 신택스 엘리먼트 dependent_slice_flag는, 신택스 엘리먼트 "dependent_slice_enabled_flag"의 값이, 비트 스트림 내의 의존 슬라이스의 사용이 유효한 것을 나타내는 경우에만, 존재한다. 의존 슬라이스를 유효하게 함으로써 신택스 엘리먼트 "dependent_slice_enabled_flag"도 또한, 도 9c에 나타낸 바와 같이, PPS에 포함된다. 따라서, PPS 내의 신택스 엘리먼트 "dependent_slice_enabled_flag"가, dependent_slice_flag의 해석에 필요한 자신의 해석을 단순화하기 위해서, PPS의 신택스 내에서 상방(예를 들면, 파라미터 세트의 선두로)으로 이동된다. 이것은 또, dependent_slice_flag가 pic_parameter_set_id(파라미터 세트를 식별하는 신택스 엘리먼트) 뒤에 부호화되는 경우에도 도움이 될 수 있다. 왜냐하면, 그렇게 함으로써, 의존 슬라이스 유효화 플래그가 의존성 인디케이션의 존재를 필요로 하는 경우에도, 해석 에러가 회피되기 때문이다.
PPS 내에서 "dependent_slice_enabled_flag"를 상방으로 이동시키는 대신에, 계층이 낮은 파라미터 세트를 추적 기록할 필요가 없어지도록, "dependent_slice_enabled_flag"가 PPS로부터 SPS 및/또는 VPS로 이동되어도 된다.
즉, 본 실시형태에 의하면, 필요한 신택스 엘리먼트의 위치는, 추적 기록될 필요가 있는 파라미터 세트의 양을 삭감하는 목적으로 변경된다. 이것은, 해석의 복잡함도 삭감한다. 이 문맥에 있어서, 「필요한 파라미터」는, 슬라이스가 상호의존 슬라이스인지 아닌지를 결정하기 위해서 도움이 되는 파라미터를 의미한다. HEVC에 직접 적용 가능한 제1의 가능성은, 의존 슬라이스의 슬라이스 헤더의 선두에, 슬라이스 헤더와 상이한 파라미터 세트에 포함되는 의존 슬라이스 유효화 플래그를 필요 조건으로 하지 않는 의존성 인디케이션을 부가하는 것이다. HEVC에 직접 적용 가능한 제2의 가능성은, 의존 슬라이스 유효화 플래그가 포함되는 파라미터 세트를 식별하는 신택스 엘리먼트의 인디케이션 뒤에, 의존 슬라이스 헤더에 있어서의 의존성 인디케이션을 제공하는 것이다. 의존성 인디케이션은, 의존 슬라이스 유효화 플래그를 필요 조건으로 해도 된다. PPS 내에서 의존 슬라이스 유효화 플래그를 상방으로 이동시키는 것, 또는 의존 슬라이스 유효화 플래그를 SPS 내로 이동시키는 것은, 이들 가능성 중 어느 것에도 유익하다. 특히, 의존 슬라이스 유효화 플래그가 의존성 인디케이션의 해석에 필요한 제2의 가능성에 관해 유익하다.
도 10으로부터 알 수 있듯이, NAL 유닛 헤더는, 슬라이스 헤더의 관련 부분과 합해, 18비트를 갖는다(NALU 헤더 14비트, 슬라이스 헤더 2비트). 이 예에 의하면, 미디어 인지 네트워크 엘리먼트가 대상 슬라이스 패킷에 대해 다음과 같이 동작해도 된다. 선행하는 통상 슬라이스, 엔트로피 슬라이스, 또는 의존 슬라이스가 삭제되면, 네트워크 엘리먼트는 대상 슬라이스 헤더의 처음의 2비트, 즉 first_slice_in_pic_flag 및(의존 슬라이스가 비트 스트림에 허용되는 경우) dependent_slice_flag를 체크한다.
NAL 유닛 타입이 VCL NAL 유닛 타입이며, 체크된 18비트의 마지막 2비트가 "01"이면, 그 NAL 유닛은 삭제된다. 특히, 슬라이스 헤더의 선두의 비트가 "1"이면, 그것은, (룰에 의하면) 픽처의 선두의 의존 슬라이스가 아닌 슬라이스이다. 슬라이스 헤더의 선두의 비트가 "0"이며, 다음의 비트도 "0"이면, 그 슬라이스는 독립하고 있다. 따라서, 슬라이스 헤더의 선두의 2비트가 "01"인 경우에만, 그 슬라이스는 의존하고 있다. 또한, 상기 슬라이스는, 친슬라이스가 이미 삭제되어 있을 때에는, 복호할 수 없기 때문에, 삭제되어야 한다. 따라서, first_slice_in_pic_flag 및 dependent_slice_flag는, 슬라이스 헤더 신택스에 속하고 있어도, NAL 헤더의 확장이라고 간주할 수 있다.
본 실시형태에서는, 또한, 네트워크 패킷을 수신하여, 분석하고, 목적지에 전송하는 네트워크 라우터를 제공한다. 이 라우터는, 패킷 목적지 어드레스와 부호화 비디오 데이터를 갖는 비트 스트림 부분을 포함하는 네트워크 패킷을 수신하는 수신부와, 다른 패킷으로부터의 상기 부호화 비디오 데이터의 의존성을 판정하기 위해서, 상술한 또는 후술하는 실시형태에 기재한 부호화 비디오 시퀀스의 비트 스트림을 해석하는 상기 장치를 포함하는 파서와, 상기 수신된 패킷의 목적지 어드레스와, 판정된 의존성을 분석하여, 상기 네트워크 패킷의 취급방법을 판단하는 패킷 애널라이저(analyzer)를 구비한다.
(실시형태 2)
본 실시형태 2에 의하면, dependent_slice_enabled_flag가 PPS로부터 삭제되어 있다. 또한, dependent_slice_enabled_flag는, 삭제하는 것이 아니라, SPS로 이동시켜도 된다.
도 11은, first_slice_in_pic_flag 및 dependent_slice_flag에 액세스하기 전에, dependent_slice_enabled_flag를 해석할 필요가 없는 예를 나타내는 도면이다.
이 예에서는, dependent_slice_enabled_flag는, 의존성 인디케이션의 존재를 필요 조건으로 하지 않으므로, 이용되지 않는다. 이 예는, 대상 PPS 세트의 식별을 알 수 없는 것에 기인하는 해석상의 문제를 일으키지 않고, 슬라이스 헤더의 선두에 의존성 인디케이션을 배치할 가능성을 제공한다.
(실시형태 2의 효과 등)
실시형태 1에서는, dependent_slice_flag를 해석하기 위해서는, dependent_slice_enabled_flag를 해석해야 한다. dependent_slice_enabled_flag는, PPS 내에 포함되어 신호에 의해 전달된다. 이것은 상술한 바와 같이, dependent_slice_enabled_flag가 PPS의 처음에서부터 먼 위치에 있고, 또한 선행하는 신택스 엘리먼트가 조건부로 부호화되는 경우에, 해석의 오버헤드를 가져올 가능성이 있다.
또한, PPS에 있어서 신택스 엘리먼트 pic_parameter_set_id가 해석되기 전에 신택스 엘리먼트 dependent_slice_flag를 신호에 의해 전달하면, 다음과 같은 해석 에러가 발생할 수 있다. dependent_slice_flag의 존재는, PPS 내에 포함되어 신호에 의해 전달되는 dependent_slice_enabled_flag에 의존한다. 그러나, 현재 유효한 PPS의 id는, dependent_slice_flag 뒤에 신호에 의해 전달된다. 따라서, 선행하는 엘리먼트에 액세스하기 전에 dependent_slice_flag를 해석할 수 없다.
본 실시형태에서는, dependent_slice_enabled_flag를 필요 조건으로 하는 해석을 제거하므로, 유익하다. 이하의 제한을 적용하면, 더욱, 유익하다. 즉, PPS 내의 dependent_slice_enabled_flag가 제로이면, dependent_slice_flag는 제로가 된다.
그러나, 이들의 유리한 실시형태는, 본 발명의 범위를 한정하는 것은 아니다.
(실시형태 1 및 2의 변형예 1)
dependent_slice_enabled_flag를 제거하는 대신에, 또는, 그것에 추가적으로, dependent_slice_enabled_flag를 PPS로부터 SPS 및/또는 VPS 중 어느 한 곳으로 이동시켜도 된다.
또한, 단순히 dependent_slice_enabled_flag를 이동시키는 대신에, dependent_slice_enabled_flag를 SPS에 복사시켜도 된다. 이 경우, SPS 및 PPS 내의 인디케이터는, 강제적으로 같은 값으로 해도 된다. 혹은, PPS는 SPS 내의 인디케이터의 덮어쓰기가 허가되어도 된다.
예를 들면, sps_dependent_slice_enabled_flag가 1이면, pps_dependent_slice_enabled_flag는 0 또는 1일 가능성이 있다. sps_dependent_slice_enabled_flag는 SPS 내에 포함되어 신호에 의해 전달된 픽처의 시퀀스에 이용되는 의존 슬라이스의 유효화를 나타내는 인디케이션이며, pps_dependent_slice_enabled_flag는, PPS 내에 포함되어 신호에 의해 전달된 픽처에 이용되는 의존 슬라이스의 유효화를 나타내는 인디케이션이다. 그러나, dependent_slice_enabled_flag의 값이 PPS 내에서 변화할 수 있다면, 이것은, PPS의 해석이 여전히 필요함을 의미하고, PPS의 추적 기록 및 해석의 빈도가 낮아진다고 하는 효과가 방지된다.
이들 변형예는, VPS 및 SPS가 의존 구조를 유지한다고 하는 효과를 발휘한다. VPS 및 SPS가 의존 구조를 유지함으로써, 네트워크 엘리먼트가 비트 스트림을 형성할 수 있는, 즉 도저히 복호할 수 없는 의존 패킷을 삭제할 수 있는, 또는 독립 슬라이스가 아닌 의존 슬라이스를 삭제하면 결정할 수 있다. 따라서, VPS 내의 dependent_slice_enabled_flag는, 라우터가 슬라이스 헤더를 추가적으로 확인하거나, 또는 하지 않거나의 트리거가 된다.
이들 변형예는, 도 10 및 11의 예에 있어서 적용된 경우, 해석에 있어서의 복잡함을 더욱 저감하는 것은 아니다. 그러나, 이것은 의존성 구조를 유지하기 위한 더욱 유익한 신택스 구조를 제공한다. 요컨데, 이 예에 의하면, 의존 슬라이스가 비트 스트림에 대해 유효한지 아닌지를 나타내는 인디케이터가, 영상 파라미터 세트 내에 포함되어 신호에 의해 전달된다. 여기서, 영상 파라미터 세트는, 복수의 픽처에 있어서의 복수의 슬라이스에 적용하는 파라미터 세트이다.
dependent_slice_enabled_flag가 VPS 및/또는 SPS에 있어서 신호에 의해 전달되는 경우, 2가지의 효과가 있다. 플래그가 단순히 이동 또는 복사되어 있는 경우에는, PPS는 해석될 필요가 없고, 그 결과, 해석의 오버헤드가 삭감된다. 또 다른 하나의 이점은, 라우터에 영상 시퀀스의 예측 구조를 알릴 수 있는 점이다. 이 효과는 항상 있다. 통상, 라우터는, 무엇을 수신하는지를 알기 위해서, VPS/SPS의 내용을 확인해도 된다.
VPS는, 계층에 있어서 최상위의 파라미터이다. SPS 및 PPS는 각각 1개의 영상 시퀀스 및 1개의 픽처에 대응하는데 반해, VPS는 복수의 영상 시퀀스에 관한 정보를 포함할 수 있다. VPS에 포함되는 정보는, 비트레이트 혹은 영상 시퀀스의 temporal_layering 구조 등이다. 또, 레이어간의 의존성(상이한 영상 시퀀스간의 의존성)에 관한 정보를 포함한다. 따라서, VPS를, 복수의 영상 시퀀스의 컨테이너로 간주할 수 있어, VPS에 의해, 각 시퀀스의 개요를 알 수 있다.
HEVC의 최신판에 있어서, 프레임에 있어서의 슬라이스간의 의존성은, dependent_slice_flag 및 first_slice_in_pic_flag의 양방에 의해서 규정되어 있다. 최신의 사양서에 의하면, 네트워크 엔티티는, 매우 복잡한 해석을 적용하지 않고 슬라이스간의 의존성을 이용할 수는 없다. 단순한 해결법은, 패킷 번호의 결락에 의해서 패킷의 로스가 발견된 경우, 값이 1인 first_slice_in_pic_flag가 발견될 때까지 모든 패킷을 삭제하는 것이다. 왜냐하면, 픽처의 선두의 슬라이스는, 항상 통상 슬라이스이기 때문이다.
그러나, 이 해결법은, 부호화 효율의 저하로 이어진다. 따라서, 상술한 바와 같이, 슬라이스간 의존성의 신호에 의한 전달을 유효하게 하는 효율적인 해석이 채용되어도 된다. 이것은, NAL 헤더의 직후의 슬라이스 헤더 내에 있어서, dependent_slice_flag 및 first_slice_in_pic_flag를 신호에 의해 전달함으로써 달성된다.
그 대신에 또는 그에 추가해, 슬라이스간 의존성에 관련된 신택스 엘리먼트는, 무조건으로, 즉, 슬라이스 헤더 또는 PPS 내에 있는 다른 신택스 엘리먼트와는 독립하여 부호화된다.
(실시형태 1 및 2의 변형예 2)
도 12는, 상기 변형예 1을 대신하는 다른 변형예 2를 나타내는 도면이다. 구체적으로는, NAL 유닛 헤더(1210)는, 도 10에 나타낸 NAL 유닛 헤더(도 9a에 나타낸 NAL 유닛 헤더(910))와 같다. 그러나, 슬라이스 헤더(1220)는, 도 10에 나타낸 슬라이스 헤더(1020)와는, 신택스 엘리먼트 dependent_slice_flag 및 first_slice_in_pic_flag의 순번이 반대로 되어 있다. 특히, 슬라이스 헤더(1220)는, 최초의 신택스 엘리먼트로서 dependent_slice_flag를 포함하고, dependent_slice_flag의 존재를 필요 조건으로 하여, 2번째의 신택스 엘리먼트로서 신택스 엘리먼트 first_slice_in_pic_flag를 포함한다.
이 예로부터 알 수 있듯이, 슬라이스가 픽처에 있어서의 선두의 슬라이스인지 아닌지를 나타내는 제1 슬라이스 인디케이션이, 신택스에 포함된다. 픽처에 있어서의 선두의 슬라이스는, 항상, 가변길이 복호에 있어서 다른 슬라이스에 의존하지 않는 슬라이스이다. 또한, 의존 슬라이스 플래그는, 비트 스트림에 있어서, 제1 슬라이스 인디케이션 앞에 포함된다. 제1 슬라이스 인디케이션은, 의존 슬라이스 플래그가 의존 슬라이스인 것을 나타내지 않는 경우에만 비트 스트림에 포함된다. 이 배치는, 조건부와 같은 효과를 가져온다. 즉, 의존성 플래그는, 제1 슬라이스 인디케이션을 필요 조건으로 한다. 도 12로부터 알 수 있듯이, 양방의 엘리먼트가 의존성 인디케이션으로서 이해되어도 되고, 슬라이스 헤더의 선두에 포함된다.
(실시형태 3)
본 실시형태 3에서는, 실시형태 1 및 실시형태 2에 비해, 불필요한 신택스 엘리먼트의 해석을 줄이기 위해서, 신택스 엘리먼트의 배치 방법이 변경되어 있다.
상기 실시형태에서는, dependent_slice_flag의 존재를 필요 조건으로 하여 first_slice_in_pic_flag가 포함되는 경우에 대해서 설명했는데, first_slice_in_pic_flag 및 dependent_slice_flag는, 함께, 서로의 존재를 필요 조건으로 하지 않고 비트 스트림에 포함되어도 된다. 예를 들면, 상기 변형예 중 1개에 있어서, 신택스 엘리먼트 dependent_slice_enabled_flag로부터 독립시키기 위해서, dependent_slice_flag의 부호화 방법을 변경한다.
도 13은, 본 실시형태의 슬라이스 헤더의 일례를 나타내는 도면이다. 도 13에 나타낸 예에서는, 의존 슬라이스 유효화 플래그에 관한 의존성 인디케이션의 조건부를 여전히 포함하는 경우를 나타내고 있다.
구체적으로는, 본 실시형태의 슬라이스 헤더에서는, 도 6에 나타낸 종래의 슬라이스 헤더에 비해, dependent_slice_flag가, slice_address 앞에 배치되어 있다. 또한, 본 실시형태의 슬라이스 헤더에서는, 도 10~도 12에 나타낸 예에 비해, dependent_slice_flag가, pic_parameter_set_id 뒤에 배치되어 있다.
본 실시형태에서는, dependent_slice_flag가 slice_address 앞에 배치되어 있으므로, dependent_slice_flag를 해석하는데, 적어도 SPS를 해석할 필요가 없다. 상술한 바와 같이, slice_address는, 슬라이스의 개시를 나타내는 신택스 엘리먼트이다. 또한, slice_address는, SPS 내에 포함되어 신호에 의해 전달된 신택스 엘리먼트(pic_parameter_set_id)의 도움에 의해서만 해석할 수 있다.
그 대신에, 또는 그에 추가해, dependent_slice_enabled_flag는 PPS 내에서 상방으로 이동되거나, SPS 및/또는 VPS로 이동된다. 유효화 플래그가 VPS 및/또는 SPS 내에 있는 경우에는, 해석 및 PPS 및 SPS의 추적 기록을 필요로 하지 않아도 된다.
(실시형태 3의 변형예, 효과 등)
(1) 적어도 부분적으로 가변길이 부호로 부호화된 비디오 시퀀스이며, 비디오 화상의 부호화 슬라이스를 유지하는 데이터 유닛을 포함하는 비디오 시퀀스의 비트 스트림을 해석하는 장치에 있어서, 도 13에 나타낸 슬라이스 헤더를 갖는 비트 스트림을 해석하도록 구성해도 된다. 이 경우, 상기 장치를, 비트 스트림으로부터 이하의 신택스 엘리먼트를 추출하는 파서를 구비하도록 구성한다.
- 슬라이스의 가변길이 복호가 다른 슬라이스에 의존하는지 아닌지를 나타내는, 슬라이스 헤더 내의 신택스 엘리먼트인 의존성 인디케이션,
- 복수의 슬라이스에 이용되는 파라미터 세트 내에 포함되고, 의존 슬라이스가 비트 스트림 내에 포함되는지 아닌지를 나타내는 의존 슬라이스 유효화 플래그, 및,
- 비트 스트림 내의 슬라이스가 개시하는 위치를 나타내는 슬라이스 어드레스.
(2) 또, 본 실시형태에서는, 의존성 인디케이션은, 슬라이스 어드레스 앞, 또한, 상기 파라미터 세트를 식별하는 신택스 엘리먼트 뒤에, 슬라이스 헤더 내에 포함되어 신호에 의해 전달된다.
따라서, 본 실시형태에서는, 의존 슬라이스를 비트 스트림에 포함할 수 있는 것을 의존 슬라이스 유효화 플래그가 나타내는 경우에만, 해석 에러를 일으키지 않고, 의존성 인디케이션이 비트 스트림에 포함되도록 구성할 수 있다.
(3) 또한, 본 실시형태에서는, 의존 슬라이스 유효화 플래그는, 비트 스트림 내의, 동일한 픽처 프레임을 형성하는 복수의 슬라이스의 공통적인 파라미터 세트(PPS) 내, 또한, 상기 파라미터 세트의 선두에 배치하고 있는데, 이것에 한정하는 것은 아니다.
그 대신에, (또는 그에 추가해), 의존 슬라이스 유효화 플래그는, 비트 스트림 내의, 동일한 픽처 시퀀스를 형성하는 복수의 슬라이스의 공통적인 파라미터 세트(SPS) 내에 위치해도 된다. 또한 그 대신에, (또는 그에 추가해), 의존 슬라이스 유효화 플래그는, 비트 스트림 내의, 복수의 픽처 프레임 시퀀스를 형성하는 복수의 슬라이스의 공통적인 파라미터 세트(VPS) 내에 위치해도 된다.
(4) 또, 본 실시형태에 있어서, VPS_id 및 SPS_id를, SEI 메시지 내에 포함시켜 명시적으로 신호에 의해 전달하도록 구성해도 된다. dependent_slice_enabled_flag가 SPS 내에 포함되어 신호에 의해 전달되는 경우, dependent_slice_flag는 여전히 pic_parameter_set_id에 후속해야 한다.
그렇게 하지 않으면, SPS_id가 PPS 내에 포함되어 신호에 의해 전달됨으로써, 해석에 있어서 의존성이 도입된다. dependent_slice_enabled_flag를 유지하는 대상 SPS 또는 VPS의 식별을 신호에 의해 전달함으로써, 그 후의 픽처 파라미터 세트의 해석이 불필요하기 때문에, 의존성 인디케이션을 pic_parameter_set_id 앞에 포함해도 된다. 또한, VPS_id 또는 SPS_id를 유지하는 SEI 메시지는, 그들 ID도 PPS를 해석함으로써 결정되므로, 복호 처리에 불필요하다. 따라서, SEI 메시지는, 네트워크 엘리먼트에 사용된 후에, 복호 처리에 영향을 주지 않고 삭제할 수 있다.
(실시형태 4)
본 실시형태 4에서는, 슬라이스간 의존성의 정보가, SEI 메시지와 같은 다른 NAL 유닛에(슬라이스 헤더 및/또는 파라미터 세트 내에 포함되어 신호에 의해 전달된 정보의 보충에) 복사된다.
예를 들면, 모든 액세스 유닛 내의, 또는 각 의존 슬라이스 앞의 슬라이스간 의존성의 정보를 전달하는 SEI 메시지를 정의해도 된다. 「액세스 유닛」이라는 용어는, NAL 유닛 세트로 이루어지는 데이터 유닛을 가리킨다. 액세스 유닛은, 복수의 부호화 픽처 슬라이스, 즉 복수의 VCL NALU를 포함한다. 특히, 액세스 유닛은 랜덤 액세스에 이용되는 포인트를 정의해도 되고, 단일의 픽처의 복수의 NALU를 포함해도 된다. 그러나, 액세스 유닛은 반드시 랜덤 액세스 포인트가 아니어도 된다.
최신의 HEVC 사양서에 있어서, 액세스 유닛은 복호순으로 연속한 NAL 유닛의 세트로서 정의되고, 꼭 1개의 부호화 픽처를 포함한다. 부호화 픽처의 부호화 슬라이스 NAL 유닛에 추가해, 액세스 유닛은, 부호화 픽처의 슬라이스를 포함하지 않는 다른 NAL 유닛도 포함해도 된다. 액세스 유닛의 복호는, 항상, 복호 픽처를 가져온다. 그러나, HEVC의 앞으로의 확장에 있어서(멀티뷰 부호화(MVC) 또는 스케일러블(scalable) 영상 부호화(SVC)와 같이), 액세스 유닛의 정의는 완화/수정되어도 된다. 최신의 사양서에 의하면, 액세스 유닛은, 액세스 유닛 딜리미터, SEI 메시지, 및 VCL NALU에 의해서 형성되어 있다.
따라서, 본 실시형태에 의하면, 의존성 인디케이션은, 비트 스트림에 있어서, 의존성 인디케이션이 관련되는 슬라이스의 헤더의 밖에 위치한다. 또한, 의존성 인디케이션이, 비트 스트림에 있어서, 의존 슬라이스 앞 또는 액세스 유닛마다 비트 스트림 내에 포함되는 SEI 메시지 내에 위치하면, 유익할지도 모르다.
(실시형태 5)
본 실시형태 5에 의하면, 슬라이스간 의존성 정보는, 플래그로서 또는 암시적으로, 관련되는 NAL 유닛 타입으로서 NAL 헤더 내에 포함되어 신호에 의해 전달된다.
규칙으로서, NAL 헤더에 있어서의 신택스 엘리먼트의 해석은, 다른 신택스 엘리먼트의 어느 것에도 의존하지 않는다. 모든 NAL 유닛 헤더는, 독립하여 해석할 수 있다. NAL 헤더는, 통상, 의존성 정보를 신호에 의해 전달시키는 장소이다. 따라서, 본 실시형태에 의하면, 슬라이스간 의존성도, NAL 헤더에 포함되어 신호 송신된다.
바꾸어 말하면, 해석 장치는, 라우터 또는 디코더에 채용되어도 된다. 해석 장치는, 또한, 네트워크 적응 레이어, NAL 헤더를 부호화 영상 데이터의 슬라이스 및 상기 슬라이스의 헤더에 추가하기 위한 네트워크 적응 레이어 유닛을 더 포함한다. 유리한 점은, 의존성 인디케이션은, 비트 스트림에 있어서, NAL 헤더 내에 위치하고, 다른 신택스 엘리먼트와는 독립하여 부호화되는 점이다.
최신의 HEVC 사양서에 있어서의 NAL 헤더는, 그것을 위해 이용할 수 있는 예비의 비트를 상정하고 있기 때문에, 의존성 인디케이터는, NAL 헤더 내에 위치해도 된다. 의존성 인디케이션의 신호에 의한 전달은, 단일의 비트면 충분하다고 생각된다.
또는, 의존성 인디케이션은, NAL 유닛 타입에 의해서 나타나고, 미리 정의된 NAL 유닛 타입은 의존성 정보를 유지하기 위해서 보존된다.
(실시형태 6)
상기 5개의 실시형태는, 네트워크 엘리먼트에 있어서의 의존성의 정보를 효율적으로 해석할 수 있도록 하기 위해서, 임의로 조합해도 된다. 그들의 사용이 중복되더라도, 상기 실시형태는 조합 가능하다. 따라서, 의존성 인디케이션이 슬라이스 헤더의 선두에 포함되어 신호에 의해 전달되고 있는 경우라도, 의존성 인디케이션의 복사는 적용 가능하다.
도 14는, 도 9a에 나타낸 NAL 유닛 헤더(910)를 수정한 NAL 유닛 헤더(1410)의 예를 나타내는 도면이다. NAL 유닛 헤더(1410)는, dependent_slice_flag를 포함한다.
또한, dependent_slice_flag를 NAL 헤더로 이동시키고, 후방 호환성을 위해서 NAL 헤더의 사이즈를 계속 고정하기 때문에, NAL 유닛 헤더의 신택스 엘리먼트 nuh_reserved_zero_6bits로부터 dependent_slice_flag에 필요한 1비트가 취득된다. 따라서, 신택스 엘리먼트 nuh_reserved_zero_6bits는, 현재 5비트만을 갖는다. 신택스 엘리먼트 nuh_reserved_zero_6bits는, 비트의 감소가 전혀 문제를 일으키지 않고, 더 이상 수정을 필요로 하지 않도록, 뒤에서 이용하기 위한 예비의 비트를 갖는다.
일반적으로, 대상 VCL NAL 유닛은, 동일한 temporal_layer_id를 갖는 선행하는 VCL NAL 유닛에 의존한다. dependent_slice_flag가 NAL 헤더 내에 포함되어 신호에 의해 전달되고 있는 경우에는, 픽처 슬라이스 또는 파라미터 세트와 같은 모든 데이터 유닛이 같은 NAL 헤더를 갖기 때문에, VCL 및 비VCL NAL 유닛의 양방에 1비트가 낭비된다. 따라서, dependent_slice_flag도, 파라미터 세트 또는 SEI 메시지에 이용되도록 신호에 의해 전달된다고 생각되지만, 그것은 불필요하다. 또한, 의존 슬라이스가 시퀀스 파라미터 세트 내이고 무효가 되더라도, dependent_slice_flag는, 항상 신호에 의한 전달이 필요하다. 이것은 불필요한 오버헤드로 연결된다.
상기 모든 실시형태에 있어서, 의존성 인디케이션은 1비트의 플래그여도 된다.
(실시형태 7)
본 실시형태 7에 의하면, 의존성 인디케이션은 NAL 유닛 타입에 의해서 나타나고, 미리 정의된 NAL 유닛 타입은, 의존성 정보를 유지하기 위해서 보존된다.
따라서, 새로운(별개의) VCL NAL 타입이, 기존의 VCL NAL 유닛과 같이, 유사한 기호론으로 정의된다. 예를 들면, NAL_unit_type의 값이 15와(또는 다른 미리 정의된 타입, 또는 다른 특정 타입의 NALU를 위해서 보존되어 있지 않은 NALU와) 동일하면, 대상 VCL NAL 유닛은 동일한 temporal_layer_id를 갖는 선행 VCL NAL 유닛에 의존한다. 그 의존성은, 상술한 바와 같이, 선행 슬라이스의 슬라이스 헤더에 대한 대상 슬라이스의 의존성, 즉 해석에 있어서의 의존성에 관련한다.
이들 경우에 있어서, 추가적 NAL 유닛 타입에 NAL 헤더 내의 비트를 포함시키면 유익하다고 생각된다. 이것은, 대상 슬라이스가 의존 슬라이스인지 아닌지를 나타내기 위해서 이용할 수 있다.
의존성 정보가 NAL 헤더 내에 포함된 신호에 의한 전달에 추가해, 슬라이스 헤더 내에 포함된 신호에 의한 전달이 가능한 경우, NAL 헤더 내에 포함된 신호에 의한 전달은 옵션에 의해 선택되게 된다. 구체적으로는, NAL 헤더 내의 NAL_unit_type 필드가, 대상 슬라이스가 의존 슬라이스인 것을 신호에 의해 전달하도록 구성되어 있으면, 다른 「타입」의 정보를 신호에 의해 전달할 수 없다. 예를 들면, 대상 슬라이스가 「시퀀스에 있어서의 선두의 픽처」(10 또는 11과 동일한 NAL_unit_type)라고 하는 정보를 전달하는 것이 보다 유익한 경우가 있다. (슬라이스 헤더 내에 복사되어 있음으로써) NAL 헤더에 있어서의 슬라이스간 의존성 정보 옵션에 의해 선택 가능하면, 보다 가치가 있는 정보를 신호에 의해 전달하는 것이 선택되어도 된다.
또한, (해석에 이용되는) 「의존 슬라이스 RAP 픽처」 또는 「의존 슬라이스 비RAP 픽처」와 같은 2개 이상의 VCL NAL 유닛 타입을 추가하는 것은 유익하다고 생각된다. “RAP"라는 용어는, 랜덤 액세스 픽처를 나타낸다. 랜덤 액세스 픽처는, 다른 픽처와는 (예측에 관해) 독립하여 부호화된 픽처이므로, 부호화 및 복호의 개시점으로서 이용해도 된다. 이에 의해, 랜덤 액세스 포인트로서 적합하다.
의존 슬라이스 헤더에 있어서, 신택스 엘리먼트 RapPicFlag가 해석 처리에 이용된다. 구체적으로는, 신택스 엘리먼트 RapPicFlag는, 대상 픽처가 랜덤 액세스 픽처인지 아닌지를 나타내는 인디케이션이다.
RAPPicFlag의 값은, 이하의 식 2와 같이 NAL 유닛 타입에 의존한다.
즉, 도 15에 나타낸 예에서는, 랜덤 액세스 픽처는, NALU 타입이 7~12의 NALU에 의해서 유지된다. 본 실시형태에서는, 정확한 해석을 가능하게 하고, 랜덤 액세스 픽처에 대한 슬라이스 의존성의 가능성을 제공하기 위해서, 2개의 상이한 NAL 유닛 타입이, 슬라이스 헤더의 정확한 해석을 보증하는 목적으로 정의되고 있다.
전반적인 룰로서, 새로운 VCL NAL 유닛 타입이 정의되었다고 해도, 슬라이스 헤더의 해석은, 여전히 전혀 문제없이 가능하다고 생각된다. 복수의 NAL 타입 중 어느 하나가 상기와 같이 정의되거나, 혹은, 해석에 문제가 발생하지 않는 방법으로 의존 슬라이스 헤더가 변경된다.
새로운 VCL NAL 유닛 타입이 의존 슬라이스인 것을 나타내는 경우, 슬라이스 헤더의 신택스 구조는, 하기와 같이 변경된다.
상술한 예의 NAL 유닛 타입 "DS_NUT"는, 처리 대상 VCL NAL 유닛이 의존 슬라이스인 것을 나타내기 위해서 이용된다. 비특허 문헌 3에 기재되어 있는 최신의 슬라이스 헤더의 신택스 구조와 비교하면, 본 실시형태에서는, 하기의 2개의 변경이 도출된다.
(1) no_output_of_prior_pics_flag가, 의존 슬라이스에 포함되어 있지 않았다. 바꾸어 말하면, no_output_of_prior_pics_flag는, 처리 대상 슬라이스가 의존 슬라이스가 아닌 경우에 존재한다(처리 대상 슬라이스가 의존 슬라이스가 아닌 경우에, no_output_of_prior_pics_flag는 슬라이스 헤더에 존재함).
(2) first_slice_in_pic_flag가, nal_unit_type의 값에 따라 포함된다. nal_unit_type의 값이, 처리 대상 슬라이스가 의존 슬라이스인 것을 나타내는 경우, 신택스의 요소 first_slice_in_pic_flag는 명시적으로 포함되지 않고, 0이 된다고 추측된다. 이것은, 같은 품질로 비트 레이트를 유지한다.
상술한 예에 의하면, 처리 대상 슬라이스가 의존 슬라이스인 경우, no_output_of_prior_pics_flag는 포함되지 않는다. RapPicFlag의 값은, 처리 대상 슬라이스가 의존 슬라이스인 경우, 평가를 위해 필요로 되지 않는다. 이 때문에, 의존 슬라이스의 슬라이스 헤더는, 문제없이 평가할 수 있다. 또한 의존 슬라이스의 슬라이스 헤더는, 선행하는 nal 유닛 헤더의 NAL 유닛 헤더를 참조하지 않고, 해석할 수 있다. 선행하는 nal 유닛 헤더가 복호시에 존재하지 않는 경우에는 문제가 발생한다.
다음에, first_slice_in_pic_flag는, NAL_unit_type의 값에 의거해 포함된다. 이 변경은, 도 12에 나타나는 예와 같다. 도 12에서는, first_slice_in_pic_flag는, 처리 대상 슬라이스가 의존 슬라이스(dependent_slice_flag에 의해 나타남)가 아닌 경우에만, 슬라이스 헤더에 포함된다. 마찬가지로, 처리 대상 슬라이스가 의존 슬라이스는 아닌 것을 의미하는 "DS_NUT"와 nal_unit_type이 동일하지 않은 경우에만, 상술한 예의 first_slice_in_pic_flag가 포함된다.
상술한 2개의 변경은, 동시에 행할 필요는 없다. 또, 슬라이스 헤더에 있어서, 한쪽의 변경만을 행해도 된다. 각 변경의 이점은, 슬라이스가 의존 슬라이스인지 아닌지의 체크 비용에 관련한다. 그러나, 2개의 변경이 동시에 실행된 경우, 2개의 신택스 엘리먼트 first_slice_in_pic_flag 및 no_output_of_prior_pics_flag가 연속하여 코딩(부호화)되어 있는 경우에는, 2개의 변경의 이점은, 개개로 변경한 경우의 개개의 이점과 같아진다. 따라서, 2개의 변경과, 2개의 신택스 엘리먼트가 연속한 코딩을 조합한 애플리케이션에서는, 개개의 변경을 개별적으로 행하는 애플리케이션보다도 이점이 있다.
실시형태의 설명의 전부에 있어서, 의존 슬라이스의 지표가 조건부로 부호화되어 있지 않은 경우에는, 비트 스트림으로부터 dependent_slice_enabled_flag를 삭제하는 것이 가능하다. 바꾸어 말하면, 새로운 NAL 유닛 타입을 처리 대상 슬라이스가 의존 슬라이스인 것을 나타내기 위해서 이용한다면, 비트 스트림으로부터 dependent_slice_enabled_flag를 삭제할 수 있다.
도 15는, 도 9a에 나타낸 NAL 유닛 헤더(910)와 동일한 NAL 유닛 헤더(1510)와, 도 9a에 나타낸 슬라이스 헤더(920)를 변경한 슬라이스 헤더(1520)의 예를 나타내는 도면이다. 슬라이스 헤더(1520)는, NALU의 타입에 따라서 dependent_slice_flag값의 종단을 포함한다. 특히, 15 및 16의 값을 갖는 NAL_unit_type 신택스 엘리먼트는, 의존 슬라이스를 정의한다. NAL_unit_type가 15와 동일한 경우에는, 슬라이스의 타입은 랜덤 액세스 픽처의 의존 슬라이스이다. 한편, NAL_unit_type이 16과 동일하면, 상기 슬라이스는 비랜덤 액세스 픽처의 의존 슬라이스이다. 따라서, 이하의 식 3의 관계가 성립된다.
또한, 값 15 및 16은, 단순히 일례로서 선택되었다. 당업자에게는 명백한 바와 같이, 그 밖에는 이용되지 않은 미리 정의된 임의의 번호를 채용해도 된다. 구체적으로는, NALU의 제1 타입은 랜덤 액세스 픽처의 의존 슬라이스의 내용을 식별하기 위해서 정의되고, NALU의 제2 타입은 비랜덤 액세스 픽처의 의존 슬라이스의 내용을 식별하기 위해서 정의된다.
또한, 의존 슬라이스는 RAP에만 이용되거나, 또는 비RAP에만 이용된다고 하는 제한이 적용되어도 된다. 그 경우, 새로운 NALU 타입은 1개만 필요하다.
(실시형태 8)
도 16은, 대체적인 해결법을 나타내는 도면이다. NAL 유닛 헤더(1610)는, NAL 유닛 헤더(910)와 같다. 슬라이스 헤더(1620)에서는, NAL_unit_type이, 상술한 바와 같은 의존 슬라이스를 정의하는 값 15 및 16을 갖는다고 가정하고 있다.
그러나, NAL_unit_type은 의존 슬라이스 플래그의 해석에 있어서 이용되지 않는다. 이에 의해, 인코더에 의한 NAL_unit_type의 사용은, 옵션화할 수 있다. 따라서, 본 실시형태의 효과는, 인코더가 새로운 NALU 타입의 채용을 결정했을 때에만 달성된다.
그리고, 라우터는 NALU 타입을 검증하는 것만으로 된다. 그러나, 인코더가 상술한 새로운 NALU 타입을 사용하지 않으면, 라우터는 기술 수준대로 의존 슬라이스를 취급한다고 생각된다.
요컨데, 의존성 인디케이션은, NAL 유닛 타입에 의해서 나타나도 된다. 또, 미리 정의된 NAL 유닛 타입은, 슬라이스 헤더가 선행 슬라이스의 슬라이스 헤더에 의존하는 부호화된 슬라이스를 유지하기 위해서 보존되어도 된다. 유리한 점은, 의존성을 나타내는 별개의 NAL 유닛 타입이, 랜덤 액세스 픽처 및 비랜덤 액세스 픽처에 대해 제공되는 점이다.
요컨데, 상술한 실시형태는, 부호화 영상 시퀀스를 유지하는 비트 스트림의 신택스에 관한 것이다. 특히, 상술한 실시형태는, 슬라이스 헤더가 선행 슬라이스의 슬라이스 헤더에 의존하는 의존 슬라이스 및 엔트로피 슬라이스에 관련하는 신택스에 관한 것이다. 미디어 인지 네트워크 요소가, 그 복잡성 및 해석에 의한 지연을 실질적으로 증가시키지 않고 이런 종류의 의존성을 고려할 수 있듯이 하기 위해서, 의존성의 인디케이션이 패킷의 선두, 즉, 해석 대상인 헤더 또는 파라미터의 근방에 포함되어 신호에 의해 전달된다. 이것은, 예를 들면, 슬라이스 헤더의 선두에(도 10~도 12), 가능하면, 파라미터 세트를 식별하는 신택스 뒤, 또한, 슬라이스 어드레스 앞에 의존성 인디케이션을 포함시킴으로써(도 10, 도 11), 또는, 별개의 메시지를 이용하여 NALU 헤더에 의존성 인디케이션을 제공함으로써(도 14), 또는, 의존 슬라이스를 유지하는 NALU에 이용되는 특별한 NALU 타입을 이용하여(도 15, 도 16) 달성된다.
(상기 실시형태 1~8의 변형예, 효과 등)
본 발명은, 이상의 실시예에 한정되지 않고, 다양한 변경이 가능하고, 그들도 본 발명의 범위 내에 포함되는 것임은 말할 필요도 없다.
또한, 상기 각 실시형태에 있어서, 각 구성요소는, 전용 하드웨어(처리 회로)로 구성되거나, 각 구성요소에 적합한 소프트웨어 프로그램을 실행함으로써 실현되어도 된다. 각 구성요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 독출하여 실행함으로써 실현되어도 된다.
또한, 상기 실시형태 1~8에서는, 웨이브 프런트를 전제로 하여 설명했는데, 이에 한정되는 것은 아니다.
단, 웨이브 프런트의 경우, 모든 서브 스트림을 동시에 개시할 수 없다. 상술한 바와 같이, 선두의 서브 스트림 이외의 각 서브 스트림에 대해서는, 처리(부호화 또는 복호)의 개시가, 선행하는 서브 스트림보다도 LCU 2개분 늦어지게 된다. 이 때문에, 웨이브 프런트에서는, 보다 처리의 단축이 요구되고 있다. 본 실시형태에서는, 의존성 인디케이션(dependent_slice_flag)을, PPS를 식별하는 신택스 뒤, 슬라이스 어드레스 앞에 배치함으로써, 해석하는 신택스 엘리먼트의 수를 줄일 수 있어, 처리를 단축하는 것이 가능하게 된다.
또, 상기 실시형태 1~8에서는, 의존성 인디케이션을 슬라이스 헤더 내의 보다 상방에(특히, 선두에) 배치함으로써, 예를 들면, 픽처의 처리의 보다 빠른 단계에서, 각 슬라이스가 의존 슬라이스인지 아닌지를 확인하는 것이 가능하게 된다.
즉, 픽처에 대한 처리(부호화 처리 또는 복호 처리)의 개시시에, 복수의 슬라이스의 각각에 대해서, 의존 슬라이스인지 아닌지를 확인하는 단계를 실행하면, 픽처에 대한 처리의 개시시에, 병렬 처리의 개시점을 추출하는 것이 가능하게 된다. 즉, 픽처에 복수의 통상 슬라이스가 포함되는 경우에, 픽처에 대한 처리의 개시시(혹은, 처리의 빠른 단계에서) 병렬 처리의 개시점을 추출할 수 있다.
여기서, 종래와 같이, 의존성 인디케이션이 슬라이스 어드레스 뒤에 배치되어 있는 경우에는, 상기 슬라이스 어드레스의 해석이 끝날 때까지, 슬라이스가 의존 슬라이스인지 통상 슬라이스인지를 확인할 수 없다. 이 경우, 픽처의 도중에 있는 통상 슬라이스의 처리의 개시는, 픽처의 선두에 있는 통상 슬라이스의 처리의 개시보다 상당히 늦어지게 된다.
이에 대해, 상술한 실시형태 1~8에서는, 픽처의 처리의 보다 빠른 단계에서, 각 슬라이스가 의존 슬라이스인지 아닌지를 확인하는 것이 가능해지므로, 픽처의 도중에 있는 통상 슬라이스의 처리의 개시를, 보다 앞당기는 것이 가능해진다. 바꾸어 말하면, 픽처의 도중에 있는 통상 슬라이스의 처리를, 픽처의 선두에 있는 통상 슬라이스와 거의 동시에 개시하는 것이 가능해진다.
(실시형태 9)
상기 각 실시형태에서 나타낸 동화상 부호화 방법(화상 부호화 방법) 또는 동화상 복호화 방법(화상 복호 방법)의 구성을 실현하기 위한 프로그램을 기억 미디어에 기록함으로써, 상기 각 실시형태에서 나타낸 처리를 독립한 컴퓨터 시스템에 있어서 간단하게 실시하는 것이 가능해진다. 기억 미디어는, 자기 디스크, 광디스크, 광자기 디스크, IC카드, 반도체 메모리 등, 프로그램을 기록할 수 있는 것이면 된다.
또한 여기서, 상기 각 실시형태에서 나타낸 동화상 부호화 방법(화상 부호화 방법)이나 동화상 복호화 방법(화상 복호 방법)의 응용예와 그것을 이용한 시스템을 설명한다. 상기 시스템은, 화상 부호화 방법을 이용한 화상 부호화 장치, 및 화상 복호 방법을 이용한 화상 복호 장치로 이루어지는 화상 부호화 복호 장치를 갖는 것을 특징으로 한다. 시스템에 있어서의 다른 구성에 대해서, 경우에 따라 적절히 변경할 수 있다.
도 17은, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 도면이다. 통신 서비스의 제공 에리어를 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex106, ex107, ex108, ex109, ex110)이 설치되어 있다.
이 컨텐츠 공급 시스템(ex100)은, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex106~ex110)을 통해, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 게임기(ex115) 등의 각 기기가 접속된다.
그러나, 컨텐츠 공급 시스템(ex100)은 도 17과 같은 구성에 한정되지 않고, 어떠한 요소를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex106~ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다. 또, 각 기기가 근거리 무선 등을 통해 직접 서로 접속되어 있어도 된다.
카메라(ex113)는 디지털 비디오카메라 등의 동화상 촬영이 가능한 기기이며, 카메라(ex116)는 디지털 카메라 등의 정지화상 촬영, 동화상 촬영이 가능한 기기이다. 또, 휴대전화(ex114)는, GSM(등록상표)(Global System for Mobile Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 LTE(Long Term Evolution) 방식, HSPA(High Speed Packet Access)의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이며, 어느 것이어도 상관없다.
컨텐츠 공급 시스템(ex100)에서는, 카메라(ex113) 등이 기지국(ex109), 전화망(ex104)을 통해서 스트리밍 서버(ex103)에 접속됨으로써, 라이브 전송 등이 가능하게 된다. 라이브 전송에서는, 사용자가 카메라(ex113)를 이용하여 촬영하는 컨텐츠(예를 들면, 음악 라이브의 영상 등)에 대해 상기 각 실시형태에서 설명한 바와 같이 부호화 처리를 행하고(즉, 본 발명의 일 양태에 따른 화상 부호화 장치로서 기능함), 스트리밍 서버(ex103)에 송신한다. 한편, 스트리밍 서버(ex103)는 요구가 있던 클라이언트에 대해 송신된 컨텐츠 데이터를 스트림 전송한다. 클라이언트로는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114), 게임기(ex115) 등이 있다. 전송된 데이터를 수신한 각 기기에서는, 수신한 데이터를 복호화 처리하여 재생한다(즉, 본 발명의 일 양태에 따른 화상 복호 장치로서 기능함).
또한, 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도 되고, 데이터의 송신 처리를 하는 스트리밍 서버(ex103)로 행해도 되며, 서로 분담하여 행해도 된다. 마찬가지로 전송된 데이터의 복호화 처리는 클라이언트로 행해도 되고, 스트리밍 서버(ex103)로 행해도 되며, 서로 분담하여 행해도 된다. 또, 카메라(ex113)에 한정되지 않고, 카메라(ex116)로 촬영한 정지화상 및/또는 동화상 데이터를, 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신해도 된다. 이 경우의 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 스트리밍 서버(ex103) 중 어느 것으로 행해도 되고, 서로 분담하여 행해도 된다.
또, 이들 부호화·복호화 처리는, 일반적으로 컴퓨터(ex111)나 각 기기가 갖는 LSI(ex500)에서 처리한다. LSI(ex500)는, 원 칩이어도 되고 복수 칩으로 이루어지는 구성이어도 된다. 또한, 동화상 부호화·복호화용 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 어떠한 기록 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 넣고, 그 소프트웨어를 이용하여 부호화·복호화 처리를 행해도 된다. 또한, 휴대전화(ex114)에 카메라가 부착된 경우에는, 그 카메라로 취득한 동화상 데이터를 송신해도 된다. 이때의 동화상 데이터는 휴대전화(ex114)가 갖는 LSI(ex500)에서 부호화 처리된 데이터이다.
또, 스트리밍 서버(ex103)는 복수의 서버나 복수의 컴퓨터이며, 데이터를 분산하여 처리하거나 기록하거나 전송하는 것이어도 된다.
이상과 같이 하여, 컨텐츠 공급 시스템(ex100)에서는 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있다. 이와 같이 컨텐츠 공급 시스템(ex100)에서는 사용자가 송신한 정보를 실시간으로 클라이언트가 수신하여 복호화하고 재생할 수 있어, 특별한 권리나 설비를 갖지 않은 사용자라도 개인 방송을 실현할 수 있다.
또한, 컨텐츠 공급 시스템(ex100)의 예로 한정되지 않고, 도 18에 나타낸 바와 같이 디지털 방송용 시스템(ex200)에도, 상기 각 실시형태의 적어도 동화상 부호화 장치(화상 부호화 장치) 또는 동화상 복호화 장치(화상 복호장치) 중 어느 하나를 넣을 수 있다. 구체적으로는, 방송국(ex201)에서는 영상 데이터에 음악 데이터 등이 다중화된 다중화 데이터가 전파를 통해 통신 또는 위성(ex202)으로 전송된다. 이 영상 데이터는 상기 각 실시형태에서 설명한 동화상 부호화 방법에 의해 부호화된 데이터이다(즉, 본 발명의 일 양태에 따른 화상 부호화 장치에 의해 부호화된 데이터이다). 이를 받은 방송위성(ex202)은 방송용 전파를 발신하고, 이 전파를 위성방송의 수신이 가능한 가정의 안테나(ex204)가 수신한다. 수신한 다중화 데이터를 텔레비전(수신기)(ex300) 또는 셋탑 박스(STB)(ex217) 등의 장치가 복호화하여 재생한다(즉, 본 발명의 일 양태에 따른 화상 복호장치로서 기능한다).
또, DVD, BD 등의 기록 미디어(ex215)에 기록한 다중화 데이터를 판독하여 복호화하거나, 또는 기록 미디어(ex215)에 영상신호를 부호화하고, 또한 경우에 따라서는 음악 신호와 다중화하여 기입하는 리더/레코더(ex218)에도 상기 각 실시형태에서 나타낸 동화상 복호화 장치 또는 동화상 부호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상신호는 모니터(ex219)에 표시되고, 다중화 데이터가 기록된 기록 미디어(ex215)에 의해 다른 장치나 시스템에서 영상신호를 재생할 수 있다. 또, 케이블 텔레비전용 케이블(ex203) 또는 위성/지상파 방송의 안테나(ex204)에 접속된 셋탑 박스(ex217) 내에 동화상 복호화 장치를 실장하고, 이를 텔레비전의 모니터(ex219)에서 표시해도 된다. 이때 셋탑 박스가 아니라 텔레비전 내에 동화상 복호화 장치를 넣어도 된다.
도 19는, 상기 각 실시형태에서 설명한 동화상 복호화 방법 및 동화상 부호화 방법을 이용한 텔레비전(수신기)(ex300)을 나타내는 도면이다. 텔레비전(ex300)은, 상기 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통해 영상 데이터에 음성 데이터가 다중화된 다중화 데이터를 취득 또는 출력하는 튜너(ex301)와, 수신한 다중화 데이터를 복조하거나, 또는 외부로 송신하는 다중화 데이터로 변조하는 변조/복조부(ex302)와, 복조한 다중화 데이터를 영상 데이터와, 음성 데이터로 분리하거나, 또는 신호 처리부(ex306)에서 부호화된 영상 데이터, 음성 데이터를 다중화하는 다중/분리부(ex303)를 구비한다.
또, 텔레비전(ex300)은 음성 데이터, 영상 데이터 각각을 복호화하거나, 또는 각각의 정보를 부호화하는 음성신호 처리부(ex304), 영상신호 처리부(ex305)(본 발명의 일 양태에 따른 화상 부호화 장치 또는 화상 복호장치로서 기능함)를 갖는 신호 처리부(ex306)와, 복호화한 음성신호를 출력하는 스피커(ex307), 복호화한 영상신호를 표시하는 디스플레이 등의 표시부(ex308)를 갖는 출력부(ex309)를 갖는다. 또한, 텔레비전(ex300)은 사용자 조작의 입력을 받아들이는 조작 입력부(ex312) 등을 갖는 인터페이스부(ex317)를 갖는다. 또한, 텔레비전(ex300)은 각 부를 통괄적으로 제어하는 제어부(ex310), 각 부에 전력을 공급하는 전원 회로부(ex311)를 갖는다. 인터페이스부(ex317)는 조작 입력부(ex312) 이외에 리더/레코더(ex218) 등의 외부 기기와 접속되는 브릿지(ex313), SD 카드 등의 기록 미디어(ex216)를 장착 가능하게 하기 위한 슬롯부(ex314), 하드 디스크 등의 외부 기록 미디어와 접속하기 위한 드라이버(ex315), 전화망과 접속하는 모뎀(ex316) 등을 갖고 있어도 된다. 또한 기록 미디어(ex216)는 저장하는 비휘발성/휘발성 반도체 메모리 소자에 의해 전기적으로 정보의 기록을 가능하게 한 것이다. 텔레비전(ex300)의 각 부는 동기 버스를 통해 서로 접속되어 있다.
우선, 텔레비전(ex300)이 안테나(ex204) 등에 의해 외부로부터 취득한 다중화 데이터를 복호화하고, 재생하는 구성에 대해서 설명한다. 텔레비전(ex300)은 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, CPU 등을 갖는 제어부(ex310)의 제어에 의거하여, 변조/복조부(ex302)에서 복조한 다중화 데이터를 다중/분리부(ex303)에서 분리한다. 또한, 텔레비전(ex300)은 분리한 음성 데이터를 음성신호 처리부(ex304)에서 복호화하고, 분리한 영상 데이터를 영상신호 처리부(ex305)에서 상기 각 실시형태에서 설명한 복호화 방법을 이용하여 복호화한다. 복호화한 음성신호, 영상신호는 각각 출력부(ex309)로부터 외부를 향해 출력된다. 출력할 때에는 음성신호와 영상신호가 동기하여 재생하도록 버퍼(ex318, ex319) 등에 일단 이들 신호를 축적하면 된다. 또, 텔레비전(ex300)은 방송 등으로부터가 아니라 자기/광디스크, SD 카드 등의 기록 미디어(ex215, ex216)로부터 다중화 데이터를 독출해도 된다. 다음에, 텔레비전(ex300)이 음성신호나 영상신호를 부호화하고, 외부로 송신 또는 기록 미디어 등에 기입하는 구성에 대해서 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, 제어부(ex310)의 제어에 의거하여 음성신호 처리부(ex304)에서 음성신호를 부호화하고, 영상신호 처리부(ex305)에서 영상신호를 상기 각 실시형태에서 설명한 부호화 방법을 이용하여 부호화한다. 부호화한 음성신호, 영상신호는 다중/분리부(ex303)에서 다중화되어 외부로 출력된다. 다중화할 때에는, 음성신호와 영상신호가 동기하도록 버퍼(ex320, ex321) 등에 일단 이들 신호를 축적하면 된다. 또한, 버퍼(ex318, ex319, ex320, ex321)는 도시하고 있는 바와 같이 복수 구비하고 있어도 되고, 1개 이상의 버퍼를 공유하는 구성이어도 된다. 또한, 도시한 것 이외에, 예를 들면 변조/복조부(ex302)나 다중/분리부(ex303) 사이 등에서도 시스템의 오버플로, 언더플로를 피하는 완충재로서 버퍼에 데이터를 축적하는 것으로 해도 된다.
또, 텔레비전(ex300)은 방송 등이나 기록 미디어 등으로부터 음성 데이터, 영상 데이터를 취득하는 것 이외에, 마이크나 카메라의 AV 입력을 받아들이는 구성을 구비하고, 그들로부터 취득한 데이터에 대해 부호화 처리를 행해도 된다. 또한, 여기에서는 텔레비전(ex300)은 상기 부호화 처리, 다중화 및 외부 출력을 할 수 있는 구성으로서 설명했는데, 이들 처리를 행할 수는 없고, 상기 수신, 복호화 처리, 외부 출력만이 가능한 구성이어도 된다.
또, 리더/레코더(ex218)에서 기록 미디어로부터 다중화 데이터를 독출하거나 또는 기입하는 경우에는, 상기 복호화 처리 또는 부호화 처리는 텔레비전(ex300), 리더/레코더(ex218) 중 어느 것으로 행해도 되고, 텔레비전(ex300)과 리더/레코더(ex218)가 서로 분담하여 행해도 된다.
일례로, 광디스크로부터 데이터의 읽어 들임 또는 기입을 하는 경우의 정보 재생/기록부(ex400)의 구성을 도 20에 나타낸다. 정보 재생/기록부(ex400)는, 이하에서 설명하는 요소(ex401, ex402, ex403, ex404, ex405, ex406, ex407)를 구비한다. 광헤드(ex401)는 광디스크인 기록 미디어(ex215)의 기록면에 레이저 스폿을 조사하여 정보를 기입하고, 기록 미디어(ex215)의 기록면으로부터의 반사광을 검출하여 정보를 읽어 들인다. 변조 기록부(ex402)는, 광헤드(ex401)에 내장된 반도체 레이저를 전기적으로 구동하여 기록 데이터에 따라 레이저광의 변조를 행한다. 재생 복조부(ex403)는 광헤드(ex401)에 내장된 포토 디텍터에 의해 기록면으로부터의 반사광을 전기적으로 검출한 재생 신호를 증폭하고, 기록 미디어(ex215)에 기록된 신호 성분을 분리하여 복조하고, 필요한 정보를 재생한다. 버퍼(ex404)는, 기록 미디어(ex215)에 기록하기 위한 정보 및 기록 미디어(ex215)로부터 재생한 정보를 일시적으로 보유한다. 디스크 모터(ex405)는 기록 미디어(ex215)를 회전시킨다. 서보 제어부(ex406)는 디스크 모터(ex405)의 회전 구동을 제어하면서 광헤드(ex401)를 소정의 정보 트랙으로 이동시키고, 레이저 스폿의 추종 처리를 행한다. 시스템 제어부(ex407)는, 정보 재생/기록부(ex400) 전체의 제어를 행한다. 상기 독출이나 기입의 처리는 시스템 제어부(ex407)가 버퍼(ex404)에 유지된 각종 정보를 이용하고, 또 필요에 따라 새로운 정보의 생성·추가를 행함과 더불어, 변조 기록부(ex402), 재생 복조부(ex403), 서보 제어부(ex406)를 협조 동작시키면서, 광헤드(ex401)를 통해 정보의 기록 재생을 행함으로써 실현된다. 시스템 제어부(ex407)는 예를 들면 마이크로 프로세서로 구성되고, 독출 기입 프로그램을 실행함으로써 이들 처리를 실행한다.
이상에서는, 광헤드(ex401)는 레이저 스폿을 조사하는 것으로 설명했는데, 근접장광을 이용하여 보다 고밀도의 기록을 행하는 구성이어도 된다.
도 21에 광디스크인 기록 미디어(ex215)의 모식도를 나타냈다. 기록 미디어(ex215)의 기록면에는 안내 홈(그루브)이 스파이럴 형상으로 형성되고, 정보 트랙(ex230)에는 미리 그루브의 형상 변화에 따라 디스크 상의 절대 위치를 나타내는 번지 정보가 기록되어 있다. 이 번지 정보는 데이터를 기록하는 단위인 기록 블록(ex231)의 위치를 특정하기 위한 정보를 포함하고, 기록이나 재생을 행하는 장치에 있어서 정보 트랙(ex230)을 재생하여 번지 정보를 판독함으로써 기록 블록을 특정할 수 있다. 또, 기록 미디어(ex215)는 데이터 기록 영역(ex233), 내주 영역(ex232), 외주 영역(ex234)을 포함하고 있다. 사용자 데이터를 기록하기 위해서 이용하는 영역이 데이터 기록 영역(ex233)이고, 데이터 기록 영역(ex233)보다 내주 또는 외주에 배치되어 있는 내주 영역(ex232)과 외주 영역(ex234)은, 사용자 데이터의 기록 이외의 특정 용도로 이용된다. 정보 재생/기록부(ex400)는, 이러한 기록 미디어(ex215)의 데이터 기록 영역(ex233)에 대해 부호화된 음성 데이터, 영상 데이터 또는 그들 데이터를 다중화한 다중화 데이터의 읽고 쓰기를 행한다.
이상에서는, 1층의 DVD, BD 등의 광디스크를 예로 들어 설명했는데, 이들로 한정된 것이 아니라 다층 구조로서 표면 이외에도 기록 가능한 광디스크여도 된다. 또, 디스크의 같은 장소에 여러 상이한 파장의 색의 광을 이용하여 정보를 기록하거나, 다양한 각도에서 상이한 정보의 층을 기록하는 등, 다차원적인 기록/재생을 행하는 구조의 광디스크여도 된다.
또, 디지털 방송용 시스템(ex200)에 있어서 안테나(ex205)를 갖는 차(ex210)에서 위성(ex202) 등으로부터 데이터를 수신하고, 차(ex210)가 갖는 카 내비게이션(ex211) 등의 표시장치에 동화상을 재생하는 것도 가능하다. 또한, 카 내비게이션(ex211)의 구성은 예를 들면 도 19에 나타낸 구성 중, GPS 수신부를 추가한 구성을 생각할 수 있으며, 컴퓨터(ex111)나 휴대전화(ex114) 등에서도 동일하게 생각할 수 있다.
도 22a는, 상기 실시형태에서 설명한 동화상 복호화 방법 및 동화상 부호화 방법을 이용한 휴대전화(ex114)를 나타내는 도면이다. 휴대전화(ex114)는 기지국(ex110) 사이에서 전파를 송수신하기 위한 안테나(ex350), 영상, 정지화상을 찍는 것이 가능한 카메라부(ex365), 카메라부(ex365)로 촬상한 영상, 안테나(ex350)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex358)를 구비한다. 휴대전화(ex114)는 조작키부(ex366)를 갖는 본체부, 음성을 출력하기 위한 스피커 등인 음성 출력부(ex357), 음성을 입력하기 위한 마이크 등인 음성 입력부(ex356), 촬영한 영상, 정지화상, 녹음한 음성, 또는 수신한 영상, 정지화상, 메일 등의 부호화된 데이터 혹은 복호화된 데이터를 보존하는 메모리부(ex367) 또는 마찬가지로 데이터를 보존하는 기록 미디어와의 인터페이스부인 슬롯부(ex364)를 더 구비한다.
또한, 휴대전화(ex114)의 구성예에 대해서 도 22b를 이용하여 설명한다. 휴대전화(ex114)는 표시부(ex358) 및 조작키부(ex366)를 구비한 본체부의 각 부를 통괄적으로 제어하는 주제어부(ex360)에 대해, 전원 회로부(ex361), 조작 입력 제어부(ex362), 영상신호 처리부(ex355), 카메라 인터페이스부(ex363), LCD(Liquid Crystal Display) 제어부(ex359), 변조/복조부(ex352), 다중/분리부(ex353), 음성신호 처리부(ex354), 슬롯부(ex364), 메모리부(ex367)가 버스(ex370)를 통해 서로 접속되어 있다.
전원 회로부(ex361)는, 사용자의 조작에 의해 통화종료 및 전원 키가 온 상태가 되면, 배터리 팩으로부터 각 부에 대해 전력을 공급함으로써 휴대전화(ex114)를 동작 가능한 상태로 기동한다
휴대전화(ex114)는 CPU, ROM, RAM 등을 갖는 주제어부(ex360)의 제어에 의거하여, 음성통화 모드시에 음성 입력부(ex356)에서 수음한 음성신호를 음성신호 처리부(ex354)에서 디지털 음성신호로 변환하고, 이를 변조/복조부(ex352)에서 스펙트럼 확산 처리하고, 송신/수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통해 송신한다. 또 휴대전화(ex114)는 음성통화 모드시에 안테나(ex350)를 통해 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변조/복조부(ex352)에서 스펙트럼 역확산 처리하고, 음성신호 처리부(ex354)에서 아날로그 음성신호로 변환한 후, 이를 음성 출력부(ex357)로부터 출력한다.
또한 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작키부(ex366) 등의 조작에 의해 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex362)를 통해 주제어부(ex360)로 송출된다. 주제어부(ex360)는 텍스트 데이터를 변조/복조부(ex352)에서 스펙트럼 확산 처리를 하고, 송신/수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통해 기지국(ex110)으로 송신한다. 전자 메일을 수신하는 경우에는, 수신한 데이터에 대해 이 거의 반대의 처리가 행해지고, 표시부(ex358)에 출력된다
데이터 통신 모드시에 영상, 정지화상, 또는 영상과 음성을 송신하는 경우, 영상신호 처리부(ex355)는 카메라부(ex365)로부터 공급된 영상신호를 상기 각 실시형태에서 나타낸 동화상 부호화 방법에 의해 압축 부호화하고(즉, 본 발명의 일 양태에 따른 화상 부호화 장치로서 기능함), 부호화된 영상 데이터를 다중/분리부(ex353)로 송출한다. 또, 음성신호 처리부(ex354)는 영상, 정지화상 등을 카메라부(ex365)에서 촬상 중에 음성 입력부(ex356)에서 수음한 음성신호를 부호화하고, 부호화된 음성 데이터를 다중/분리부(ex353)로 송출한다.
다중/분리부(ex353)는, 영상신호 처리부(ex355)로부터 공급된 부호화된 영상 데이터와 음성신호 처리부(ex354)로부터 공급된 부호화된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변조/복조부(변조/복조 회로부)(ex352)에서 스펙트럼 확산 처리를 하고, 송신/수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통해 송신한다.
데이터 통신 모드시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 또는 영상 및 혹은 음성이 첨부된 전자 메일을 수신하는 경우, 안테나(ex350)를 통해 수신된 다중화 데이터를 복호화하기 위해서, 다중/분리부(ex353)는 다중화 데이터를 분리함으로써 영상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex370)를 통해 부호화된 영상 데이터를 영상신호 처리부(ex355)에 공급함과 더불어, 부호화된 음성 데이터를 음성신호 처리부(ex354)에 공급한다. 영상신호 처리부(ex355)는, 상기 각 실시형태에서 나타낸 동화상 부호화 방법에 대응한 동화상 복호화 방법에 의해 복호화함으로써 영상신호를 복호하고(즉, 본 발명의 일 양태에 따른 화상 복호장치로서 기능함), LCD 제어부(ex359)를 통해 표시부(ex358)로부터 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 영상, 정지화상이 표시된다. 또 음성신호 처리부(ex354)는 음성신호를 복호하고, 음성 출력부(ex357)로부터 음성이 출력된다.
또, 상기 휴대전화(ex114) 등의 단말은 텔레비전(ex300)과 마찬가지로, 부호화기·복호화기를 둘 다 갖는 송수신형 단말 외에, 부호화기뿐인 송신 단말, 복호화기뿐인 수신 단말이라는 세 가지 실장 형식을 생각할 수 있다. 또한, 디지털 방송용 시스템(ex200)에 있어서, 영상 데이터에 음악 데이터 등이 다중화된 다중화 데이터를 수신, 송신하는 것으로 설명했는데, 음성 데이터 이외에 영상에 관련된 문자 데이터 등이 다중화된 데이터여도 되며, 다중화 데이터가 아니라 영상 데이터 자체여도 된다.
이와 같이, 상기 각 실시형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호화 방법을 상술한 모든 기기·시스템에 이용하는 것이 가능하며, 그렇게 함으로써 상기 각 실시형태에서 설명한 효과를 얻을 수 있다.
또, 본 발명은 이러한 상기 실시형태에 한정되는 것이 아니라, 본 발명의 범위를 벗어나지 않고 다양한 변형 또는 수정이 가능하다.
(실시형태 10)
상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치와, MPEG-2, MPEG4-AVC, VC-1 등 상이한 규격에 준거한 동화상 부호화 방법 또는 장치를 필요에 따라 적절히 전환함으로써 영상 데이터를 생성하는 것도 가능하다.
여기서, 각각 상이한 규격에 준거하는 복수의 영상 데이터를 생성한 경우, 복호할 때에, 각각의 규격에 대응한 복호 방법을 선택할 필요가 있다. 그러나, 복호하는 영상 데이터가, 어느 규격에 준거하는 것인지 식별할 수 없기 때문에, 적절한 복호 방법을 선택할 수 없다고 하는 과제가 발생한다.
이 과제를 해결하기 위해서 영상 데이터에 음성 데이터 등을 다중화한 다중화 데이터는, 영상 데이터가 어느 규격에 준거하는 것인지를 나타내는 식별 정보를 포함하는 구성으로 한다. 상기 각 실시형태에서 나타내는 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터를 포함하는 다중화 데이터의 구체적인 구성을 이하 설명한다. 다중화 데이터는 MPEG-2 트랜스포트 스트림 형식의 디지털 스트림이다.
도 23은, 다중화 데이터의 구성을 나타내는 도면이다. 도 23에 나타낸 바와 같이, 다중화 데이터는 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림(PG), 인터랙티브 그래픽스 스트림 중, 1개 이상을 다중화함으로써 얻어진다. 비디오 스트림은 영화의 주영상 및 부영상을, 오디오 스트림(IG)은 영화의 주음성 부분과 그 주음성과 믹싱하는 부음성을, 프리젠테이션 그래픽스 스트림은 영화의 자막을 각각 나타내고 있다. 여기서 주영상이란 화면에 표시되는 통상의 영상을 나타내고, 부영상이란 주영상 중에 작은 화면으로 표시하는 영상을 말한다. 또, 인터랙티브 그래픽스 스트림은 화면 상에 GUI 부품을 배치함으로써 제작되는 대화 화면을 나타내고 있다. 비디오 스트림은, 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거한 동화상 부호화 방법 또는 장치에 의해 부호화되어 있다. 오디오 스트림은 돌비 AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD 또는 리니어 PCM 등의 방식으로 부호화되어 있다.
다중화 데이터에 포함되는 각 스트림은 PID에 의해 식별된다. 예를 들면, 영화의 영상에 이용하는 비디오 스트림에는 0x1011이, 오디오 스트림에는 0x1100에서부터 0x111F까지가, 프리젠테이션 그래픽스에는 0x1200에서부터 0x121F까지가, 인터랙티브 그래픽스 스트림에는 0x1400에서부터 0x141F까지가, 영화의 부영상에 이용하는 비디오 스트림에는 0x1B00에서부터 0x1B1F까지, 주음성과 믹싱하는 부음성에 이용하는 오디오 스트림에는 0x1A00에서부터 0x1A1F가 각각 할당되어 있다.
도 24는, 다중화 데이터가 어떻게 다중화되는지를 모식적으로 나타내는 도면이다. 우선, 복수의 비디오 프레임으로 이루어지는 비디오 스트림(ex235), 복수의 오디오 프레임으로 이루어지는 오디오 스트림(ex238)을, 각각 PES 패킷열(ex236 및 ex239)로 변환하고, TS 패킷(ex237 및 ex240)으로 변환한다. 동일하게 프리젠테이션 그래픽스 스트림(ex241) 및 인터랙티브 그래픽스(ex244)의 데이터를 각각 PES 패킷열(ex242 및 ex245)로 변환하고, TS 패킷(ex243 및 ex246)으로 더 변환한다. 다중화 데이터(ex247)는 이들 TS 패킷을 하나의 스트림에 다중화함으로써 구성된다.
도 25는, PES 패킷열에 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 나타내고 있다. 도 25에서의 제1 단은 비디오 스트림의 비디오 프레임열을 나타낸다. 제2 단은 PES 패킷열을 나타낸다. 도 25의 화살표(yy1, yy2, yy3, yy4)로 나타낸 바와 같이, 비디오 스트림에서의 복수의 Video Presentation Unit인 I픽처, B픽처, P픽처는 픽처별로 분할되어 PES 패킷의 페이로드에 저장된다. 각 PES 패킷은 PES 헤더를 갖고, PES 헤더에는 픽처의 표시 시각인 PTS(Presentation Time-Stamp)나 픽처의 복호 시각인 DTS(Decoding Time-Stamp)가 저장된다.
도 26은, 다중화 데이터에 최종적으로 기입되는 TS 패킷의 형식을 나타내고 있다. TS 패킷은, 스트림을 식별하는 PID 등의 정보를 갖는 4Byte의 TS 헤더와 데이터를 저장하는 184Byte의 TS 페이로드로 구성되는 188Byte 고정 길이의 패킷이며, 상기 PES 패킷은 분할되어 TS 페이로드에 저장된다. BD-ROM의 경우, TS 패킷에는 4Byte의 TP_Extra_Header가 부여되어 192Byte의 소스 패킷을 구성하고, 다중화 데이터에 기입된다. TP_Extra_Header에는 ATS(Arrival_Time_Stamp) 등의 정보가 기재된다. ATS는 상기 TS 패킷의 디코더의 PID 필터로의 전송 개시 시각을 나타낸다. 다중화 데이터에는 도 26 하단에 나타낸 바와 같이 소스 패킷이 늘어서게 되고, 다중화 데이터의 선두로부터 증가하는 번호는 SPN(소스 패킷 넘버)이라 불린다.
또, 다중화 데이터에 포함되는 TS 패킷에는 영상·음성·자막 등의 각 스트림 이외에도 PAT(Program Association Table), PMT(Program Map Table), PCR(Program Clock Reference) 등이 있다. PAT는 다중화 데이터 중에 이용되는 PMT의 PID가 무엇인지를 나타내고, PAT 자신의 PID는 0으로 등록된다. PMT는, 다중화 데이터 중에 포함되는 영상·음성·자막 등의 각 스트림의 PID와 각 PID에 대응하는 스트림의 속성 정보를 갖고, 또 다중화 데이터에 관한 각종 디스크립터를 갖는다. 디스크립터에는 다중화 데이터의 카피를 허가·불허가를 지시하는 카피 컨트롤 정보 등이 있다. PCR은, ATS의 시간축인 ATC(Arrival Time Clock)와 PTS·DTS의 시간축인 STC(System Time Clock)의 동기를 취하기 위해서 그 PCR 패킷이 디코더로 전송되는 ATS에 대응하는 STC 시간의 정보를 갖는다.
도 27은 PMT의 데이터 구조를 상세하게 설명하는 도면이다. PMT의 선두에는, 그 PMT에 포함되는 데이터의 길이 등을 기록한 PMT 헤더가 배치된다. 그 뒤에는, 다중화 데이터에 관한 디스크립터가 복수 배치된다. 상기 카피 컨트롤 정보 등이 디스크립터로서 기재된다. 디스크립터의 뒤에는, 다중화 데이터에 포함되는 각 스트림에 관한 스트림 정보가 복수 배치된다. 스트림 정보는, 스트림의 압축 코덱 등을 식별하기 위해 스트림 타입, 스트림의 PID, 스트림의 속성 정보(프레임 레이트, 애스펙트비 등)가 기재된 스트림 디스크립터로 구성된다. 스트림 디스크립터는 다중화 데이터에 존재하는 스트림의 수만큼 존재한다.
기록매체 등에 기록하는 경우에는, 상기 다중화 데이터는 다중화 데이터 정보 파일과 함께 기록된다.
다중화 데이터 정보 파일은 도 28에 나타낸 바와 같이 다중화 데이터의 관리 정보이며, 다중화 데이터와 1 대 1로 대응하고, 다중화 데이터 정보, 스트림 속성 정보와 엔트리 맵으로 구성된다.
다중화 데이터 정보는 도 28에 나타낸 바와 같이 시스템 레이트, 재생 개시 시각, 재생 종료 시각으로 구성되어 있다. 시스템 레이트는 다중화 데이터의, 후술하는 시스템 타깃 디코더의 PID 필터로의 최대 전송 레이트를 나타낸다. 다중화 데이터 중에 포함되는 ATS의 간격은 시스템 레이트 이하가 되도록 설정되어 있다. 재생 개시 시각은 다중화 데이터 선두의 비디오 프레임의 PTS이며, 재생 종료 시각은 다중화 데이터 종단의 비디오 프레임의 PTS에 1프레임분의 재생 간격을 더한 것이 설정된다.
스트림 속성 정보는 도 29에 나타낸 바와 같이, 다중화 데이터에 포함되는 각 스트림에 대한 속성 정보가 PID마다 등록된다. 속성 정보는 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림, 인터랙티브 그래픽스 스트림마다 상이한 정보를 갖는다. 비디오 스트림 속성 정보는, 그 비디오 스트림이 어떠한 압축 코덱으로 압축되었는지, 비디오 스트림을 구성하는 개개의 픽처 데이터의 해상도가 어느 정도인지, 애스펙트비는 어느 정도인지, 프레임 레이트는 어느 정도인지 등의 정보를 갖는다. 오디오 스트림 속성 정보는 그 오디오 스트림이 어떠한 압축 코덱으로 압축되었는지, 그 오디오 스트림에 포함되는 채널수는 몇 개인지, 무슨 언어에 대응하는지, 샘플링 주파수가 어느 정도인지 등의 정보를 갖는다. 이들 정보는, 플레이어가 재생되기 전의 디코더의 초기화 등에 이용된다.
본 실시형태에서는, 상기 다중화 데이터 중, PMT에 포함되는 스트림 타입을 이용한다. 또, 기록매체에 다중화 데이터가 기록되어 있는 경우에는, 다중화 데이터 정보에 포함되는, 비디오 스트림 속성 정보를 이용한다. 구체적으로는, 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 있어서, PMT에 포함되는 스트림 타입 또는 비디오 스트림 속성 정보에 대해, 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터인 것을 나타내는 고유의 정보를 설정하는 단계 또는 수단을 설치한다. 이 구성에 의해, 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성한 영상 데이터와, 다른 규격에 준거하는 영상 데이터를 식별하는 것이 가능해진다.
또, 본 실시형태에서의 동화상 복호화 방법의 단계를 도 30에 나타냈다. 단계 exS100에서, 다중화 데이터로부터 PMT에 포함되는 스트림 타입 또는 다중화 데이터 정보에 포함되는 비디오 스트림 속성 정보를 취득한다. 다음에, 단계 exS101에서, 스트림 타입 또는 비디오 스트림 속성 정보가 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 다중화 데이터인 것을 나타내고 있는지 아닌지를 판단한다. 그리고, 스트림 타입 또는 비디오 스트림 속성 정보가 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 것이라고 판단된 경우에는, 단계 exS102에서, 상기 각 실시형태에서 나타낸 동화상 복호 방법에 의해 복호를 행한다. 또, 스트림 타입 또는 비디오 스트림 속성 정보가 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 것임을 나타내고 있는 경우에는, 단계 exS103에서, 종래의 규격에 준거한 동화상 복호 방법에 의해 복호를 행한다.
이와 같이, 스트림 타입 또는 비디오 스트림 속성 정보에 새로운 고유값을 설정함으로써, 복호시에, 상기 각 실시형태에서 나타낸 동화상 복호화 방법 또는 장치로 복호 가능한지를 판단할 수 있다. 따라서, 상이한 규격에 준거하는 다중화 데이터가 입력된 경우라도 적절한 복호화 방법 또는 장치를 선택할 수 있기 때문에, 에러를 일으키지 않고 복호하는 것이 가능해진다. 또, 본 실시형태에서 나타낸 동화상 부호화 방법 또는 장치 또는 동화상 복호 방법 또는 장치를, 상술한 어떤 기기·시스템에 이용하는 것도 가능하다.
(실시형태 11)
상기 각 실시형태에서 나타낸 동화상 부호화 방법 및 장치, 동화상 복호화 방법 및 장치는, 전형적으로는 집적회로인 LSI로 실현된다. 일례로, 도 31에 1칩화된 LSI(ex500)의 구성을 나타낸다. LSI(ex500)는 이하에 설명하는 요소(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, ex509)를 구비하고, 각 요소는 버스(ex510)를 통해 접속되어 있다. 전원 회로부(ex505)는 전원이 온 상태인 경우에 각 부에 대해 전력을 공급함으로써 동작 가능한 상태로 기동한다.
예를 들면 부호화 처리를 행하는 경우에는, LSI(ex500)는 CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 구동 주파수 제어부(ex512) 등을 갖는 제어부(ex501)의 제어에 의거하여, AV I/O(ex509)에 의해 마이크(ex117)나 카메라(ex113) 등으로부터 AV 신호를 입력한다. 입력된 AV 신호는, 일단 SDRAM 등의 외부 메모리(ex511)에 축적된다. 제어부(ex501)의 제어에 의거하여, 축적한 데이터는 처리량이나 처리 속도에 따라 적절하게 복수회로 나누어져 신호 처리부(ex507)로 보내지고, 신호 처리부(ex507)에서 음성신호의 부호화 및/또는 영상신호의 부호화가 행해진다. 여기서 영상신호의 부호화 처리는 상기 각 실시형태에서 설명한 부호화 처리이다. 신호 처리부(ex507)에서는 또한, 경우에 따라 부호화된 음성 데이터와 부호화된 영상 데이터를 다중화하는 등의 처리를 행하고, 스트림 I/O(ex506)로부터 외부로 출력한다. 이 출력된 다중화 데이터는, 기지국(ex107)을 향해 송신되거나 또는 기록 미디어(ex215)에 기입되거나 한다. 또한, 다중화시에는 동기하도록 일단 버퍼(ex508)에 데이터를 축적하면 된다.
또한, 상기에서는 메모리(ex511)가 LSI(ex500)의 외부 구성으로서 설명했는데, LSI(ex500)의 내부에 포함되는 구성이어도 된다. 버퍼(ex508)도 1개로 한정한 것이 아니라 복수의 버퍼를 구비하고 있어도 된다. 또, LSI(ex500)는 1칩화되어도 되고, 복수칩화되어도 된다.
또, 상기에서는 제어부(ex501)가 CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 구동 주파수 제어부(ex512) 등을 갖는 것으로 했는데, 제어부(ex501)의 구성은 이 구성에 한정되지 않는다. 예를 들면, 신호 처리부(ex507)가 CPU를 더 구비하는 구성이어도 된다. 신호 처리부(ex507)의 내부에도 CPU를 설치함으로써, 처리 속도를 보다 향상시키는 것이 가능해진다. 또, 다른 예로, CPU(ex502)가 신호 처리부(ex507), 또는 신호 처리부(ex507)의 일부인, 예를 들면 음성신호 처리부를 구비하는 구성이어도 된다. 이러한 경우에는, 제어부(ex501)는 신호 처리부(ex507) 또는 그 일부를 갖는 CPU(ex502)를 구비하는 구성이 된다.
또한, 여기에서는 LSI라 했는데, 집적도의 차이에 따라 IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라고 호칭되기도 한다.
또, 집적회로화의 수법은 LSI로 한정되는 것이 아니라 전용 회로 또는 범용 프로세서로 실현해도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블·프로세서를 이용해도 된다. 이러한 프로그램 가능 논리 소자(programmable logic device)는, 전형적으로는, 소프트웨어 또는 펌 웨어를 구성하는 프로그램을, 로드하거나 또는 메모리 등으로부터 읽어들임으로써, 상기 각 실시형태에서 나타낸 동화상 부호화 방법, 또는 동화상 복호화 방법을 실행할 수 있다.
또한, 반도체 기술의 진보 또는 파생하는 다른 기술에 의해 LSI로 치환되는 집적회로화의 기술이 등장하면, 당연히 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.
(실시형태 12)
상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해서 생성된 영상 데이터를 복호하는 경우, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터를 복호하는 경우에 비해 처리량이 증가하는 것을 생각할 수 있다. 그 때문에, LSI(ex500)에서 종래의 규격에 준거하는 영상 데이터를 복호할 때의 CPU(ex502)의 구동 주파수보다도 높은 구동 주파수로 설정할 필요가 있다. 그러나, 구동 주파수를 높게 하면 소비 전력이 높아진다는 문제가 발생한다.
이 과제를 해결하기 위해서, 텔레비전(ex300), LSI(ex500) 등의 동화상 복호화 장치는 영상 데이터가 어느 규격에 준거하는 것인지를 식별하고, 규격에 따라 구동 주파수를 전환하는 구성으로 한다. 도 32는, 본 실시형태에서의 구성(ex800)을 나타내고 있다. 구동 주파수 전환부(ex803)는 영상 데이터가 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 것인 경우에는, 구동 주파수를 높게 설정한다. 그리고, 상기 각 실시형태에서 나타낸 동화상 복호화 방법을 실행하는 복호 처리부(ex801)에 대해 영상 데이터를 복호하도록 지시한다. 한편, 영상 데이터가 종래의 규격에 준거하는 영상 데이터인 경우에는, 영상 데이터가 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 것인 경우에 비해 구동 주파수를 낮게 설정한다. 그리고, 종래의 규격에 준거하는 복호 처리부(ex802)에 대해 영상 데이터를 복호하도록 지시한다.
보다 구체적으로는, 구동 주파수 전환부(ex803)는 도 31의 CPU(ex502)와 구동 주파수 제어부(ex512)로 구성된다. 또, 상기 각 실시형태에서 나타낸 동화상 복호화 방법을 실행하는 복호 처리부(ex801) 및 종래의 규격에 준거하는 복호 처리부(ex802)는, 도 31의 신호 처리부(ex507)에 해당한다. CPU(ex502)는 영상 데이터가 어느 규격에 준거하는 것인지를 식별한다. 그리고, CPU(ex502)로부터의 신호에 의거하여, 구동 주파수 제어부(ex512)는 구동 주파수를 설정한다. 또, CPU(ex502)로부터의 신호에 의거하여, 신호 처리부(ex507)는 영상 데이터의 복호를 행한다. 여기서, 영상 데이터의 식별에는, 예를 들면 실시형태 10에서 기재한 식별 정보를 이용하는 것을 생각할 수 있다. 식별 정보에 관해서는 실시형태 10에서 기재한 것에 한정되지 않고, 영상 데이터가 어느 규격에 준거하는지 식별할 수 있는 정보이면 된다. 예를 들면, 영상 데이터가 텔레비전에 이용되는 것인지, 디스크에 이용되는 것인지 등을 식별하는 외부 신호에 의거하여, 영상 데이터가 어느 규격에 준거하는 것인지 식별 가능한 경우에는, 이러한 외부 신호에 의거하여 식별해도 된다. 또, CPU(ex502)에서의 구동 주파수의 선택은, 예를 들면 도 34와 같은 영상 데이터의 규격과, 구동 주파수를 대응시킨 룩업 테이블에 의거하여 행하는 것을 생각할 수 있다. 룩업 테이블을 버퍼(ex508)나 LSI의 내부 메모리에 저장해 두고, CPU(ex502)가 이 룩업 테이블을 참조함으로써 구동 주파수를 선택하는 것이 가능하다.
도 33은, 본 실시형태의 방법을 실시하는 단계를 나타내고 있다. 우선, 단계 exS200에서는 신호 처리부(ex507)에서, 다중화 데이터로부터 식별 정보를 취득한다. 다음에, 단계 exS201에서는 CPU(ex502)에서, 식별 정보에 의거하여 영상 데이터가 상기 각 실시형태에서 나타낸 부호화 방법 또는 장치에 의해 생성된 것인지 아닌지를 식별한다. 영상 데이터가 상기 각 실시형태에서 나타낸 부호화 방법 또는 장치에 의해 생성된 것인 경우에는, 단계 exS202에서, 구동 주파수를 높게 설정하는 신호를, CPU(ex502)가 구동 주파수 제어부(ex512)로 보낸다. 그리고, 구동 주파수 제어부(ex512)에서, 높은 구동 주파수로 설정된다. 한편, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터인 것을 나타내고 있는 경우에는, 단계 exS203에서, 구동 주파수를 낮게 설정하는 신호를 CPU(ex502)가 구동 주파수 제어부(ex512)로 보낸다. 그리고, 구동 주파수 제어부(ex512)에서, 영상 데이터가 상기 각 실시형태에서 나타낸 부호화 방법 또는 장치에 의해 생성된 것인 경우에 비해 낮은 구동 주파수로 설정된다.
또한, 구동 주파수의 전환에 연동하여 LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 변경함으로써, 전력 절약 효과를 보다 높이는 것이 가능하다. 예를 들면, 구동 주파수를 낮게 설정하는 경우에는, 이에 수반하여 구동 주파수를 높게 설정하고 있는 경우에 비해, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 낮게 설정하는 것을 생각할 수 있다.
또, 구동 주파수의 설정 방법은, 복호시의 처리량이 큰 경우에 구동 주파수를 높게 설정하고, 복호시의 처리량이 작은 경우에 구동 주파수를 낮게 설정하면 되고, 상술한 설정 방법에 한정되지 않는다. 예를 들면, MPEG4-AVC 규격에 준거하는 영상 데이터를 복호하는 처리량이 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터를 복호하는 처리량보다도 큰 경우에는, 구동 주파수의 설정을 상술한 경우의 반대로 하는 것을 생각할 수 있다.
또한, 구동 주파수의 설정 방법은 구동 주파수를 낮게 하는 구성에 한정되지 않는다. 예를 들면, 식별 정보가 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터임을 나타내고 있는 경우에는 LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 높게 설정하고, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터임을 나타내고 있는 경우에는 LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 낮게 설정하는 것도 생각할 수 있다. 또, 다른 예로는, 식별 정보가 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터임을 나타내고 있는 경우에는 CPU(ex502)의 구동을 정지시키지 않고, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터임을 나타내고 있는 경우에는 처리에 여유가 있기 때문에 CPU(ex502)의 구동을 일시정지시키는 것도 생각할 수 있다. 식별 정보가 상기 각 실시형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터임을 나타내고 있는 경우라도, 처리에 여유가 있으면 CPU(ex502)의 구동을 일시정지시키는 것도 생각할 수 있다. 이 경우에는 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터임을 나타내고 있는 경우에 비해 정지시간을 짧게 설정하는 것을 생각할 수 있다.
이와 같이, 영상 데이터가 준거하는 규격에 따라서, 구동 주파수를 전환함으로써 전력 절약화를 도모하는 것이 가능해진다. 또, 전지를 이용하여 LSI(ex500) 또는 LSI(ex500)를 포함하는 장치를 구동하고 있는 경우에는, 전력 절약화에 따라 전지의 수명을 길게 하는 것이 가능하다.
(실시형태 13)
텔레비전이나 휴대전화 등 상술한 기기·시스템에는, 상이한 규격에 준거하는 복수의 영상 데이터가 입력되는 경우가 있다. 이와 같이, 상이한 규격에 준거하는 복수의 영상 데이터가 입력된 경우에도 복호할 수 있도록 하기 위해서, LSI(ex500)의 신호 처리부(ex507)가 복수의 규격에 대응하고 있을 필요가 있다. 그러나, 각각의 규격에 대응하는 신호 처리부(ex507)를 개별적으로 이용하면, LSI(ex500)의 회로 규모가 커지고, 또 비용이 증가한다는 문제가 발생한다.
이 과제를 해결하기 위해서, 상기 각 실시형태에서 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리부와, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 복호 처리부를 일부 공유화하는 구성으로 한다. 이 구성예를 도 35a의 ex900에 나타낸다. 예를 들면, 상기 각 실시형태에서 나타낸 동화상 복호 방법과, MPEG4-AVC 규격에 준거하는 동화상 복호 방법은, 엔트로피 부호화, 역양자화, 디블로킹 필터, 움직임 보상 등의 처리에 있어서 처리 내용이 일부 공통된다. 공통되는 처리 내용에 대해서는, MPEG4-AVC 규격에 대응하는 복호 처리부(ex902)를 공유하고, MPEG4-AVC 규격에 대응하지 않는, 본 발명의 일 양태에 특유의 다른 처리 내용에 대해서는, 전용 복호 처리부(ex901)를 이용한다고 하는 구성을 생각할 수 있다. 복호 처리부의 공유화에 관해서는, 공통되는 처리 내용에 대해서는, 상기 각 실시형태에서 나타낸 동화상 복호화 방법을 실행하기 위한 복호 처리부를 공유하고, MPEG4-AVC 규격에 특유의 처리 내용에 대해서는, 전용 복호 처리부를 이용하는 구성이어도 된다.
또, 처리를 일부 공유화하는 다른 예를 도 35b의 ex1000에 나타낸다. 이 예에서는, 본 발명의 일 양태에 특유의 처리 내용에 대응한 전용 복호 처리부(ex1001)와, 다른 종래 규격에 특유의 처리 내용에 대응한 전용 복호 처리부(ex1002)와, 본 발명의 일 양태에 따른 동화상 복호 방법과 다른 종래 규격의 동화상 복호 방법에 공통되는 처리 내용에 대응한 공용 복호 처리부(ex1003)를 이용하는 구성으로 하고 있다. 여기서, 전용 복호 처리부(ex1001, ex1002)는, 반드시 본 발명의 일 양태, 또는, 다른 종래 규격에 특유의 처리 내용으로 특화된 것이 아니고, 다른 범용 처리를 실행할 수 있는 것이어도 된다. 또, 본 실시형태의 구성을, LSI(ex500)에서 실장하는 것도 가능하다.
이와 같이, 본 발명의 일 양태에 따른 동화상 복호 방법과, 종래의 규격의 동화상 복호 방법에서 공통되는 처리 내용에 대해서, 복호 처리부를 공유함으로써, LSI의 회로 규모를 작게 하고, 또한, 비용을 저감하는 것이 가능하다.
(산업상 이용 가능성)
본 발명에 따른 화상 부호화 방법 및 화상 복호 방법은, 모든 멀티미디어 데이터에 적용할 수 있다. 본 발명에 따른 화상 부호화 방법 및 화상 복호 방법은, 예를 들면, 휴대전화, DVD 장치, 및 퍼스널 컴퓨터 등을 이용한 축적, 전송, 통신 등에 있어서의 화상 부호화 방법 및 화상 복호 방법으로서 유용하다.
100:인코더
105:감산기
110:변환부
120:양자화부
130, 230:역변환부
140, 240:가산기
150, 250:디블로킹 필터
160, 260:적응 루프 필터
170, 270:프레임 메모리
180, 280:예측부
190:엔트로피 부호화부
200:디코더
290:엔트로피 복호부
300, 400, 710:픽처
31, 32, 3i, 41, 42:LCU행
311, 312, 3i1, 321:LCU
500:패킷 헤더
510:IP 헤더
520, 550:확장 필드
530:UDP 헤더
540:RTP 헤더
560:페이로드 헤더
570:NAL 헤더
s1:입력 신호
s2:예측 신호
e, e':예측 오차 신호
s', s", s3:재구축 신호
105:감산기
110:변환부
120:양자화부
130, 230:역변환부
140, 240:가산기
150, 250:디블로킹 필터
160, 260:적응 루프 필터
170, 270:프레임 메모리
180, 280:예측부
190:엔트로피 부호화부
200:디코더
290:엔트로피 복호부
300, 400, 710:픽처
31, 32, 3i, 41, 42:LCU행
311, 312, 3i1, 321:LCU
500:패킷 헤더
510:IP 헤더
520, 550:확장 필드
530:UDP 헤더
540:RTP 헤더
560:페이로드 헤더
570:NAL 헤더
s1:입력 신호
s2:예측 신호
e, e':예측 오차 신호
s', s", s3:재구축 신호
Claims (12)
- 픽처를 복호하는 화상 복호화 방법으로서,
부호화된 비트 스트림으로부터, 의존 슬라이스가 상기 픽처에 대해 유효한지 아닌지 여부를 나타내는 의존 슬라이스 유효화 플래그를 복호하는 단계 - 상기 의존 슬라이스는 상기 의존 슬라이스와 상이한 슬라이스의 헤더에 포함된 제어 정보를 적어도 부분적으로 이용함으로써 복호화 처리가 수행된 슬라이스임 - ;
상기 픽처가 랜덤 액세스 픽처인지 아닌지 여부를 나타내는 값을 결정하는 단계, 및 상기 픽처가 랜덤 액세스 픽처인지 여부를 결정한 다음에, 부호화된 비트 스트림으로부터 ⅰ) 상기 픽처의 현재 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스; 및 ⅱ) 상기 현재 슬라이스가 상기 의존 슬라이스인지 아닌지 여부를 나타내는 의존성 인디케이션을 복호하는 단계
를 포함하고,
상기 의존 슬라이스 유효화 플래그는, 상기 픽처의 모든 슬라이스에 공통적인 파라미터 세트 내에 배치되고,
상기 슬라이스 어드레스는, 상기 현재 슬라이스의 슬라이스 헤더 내에 배치되고,
상기 의존성 인디케이션은, 상기 현재 슬라이스의 슬라이스 헤더 내에서 상기 슬라이스 어드레스 앞, 그리고, 상기 파라미터 세트를 식별하는 신택스 엘리먼트 뒤에 배치되는 것인, 화상 복호화 방법. - 청구항 1에 있어서,
상기 의존성 인디케이션은, 상기 의존 슬라이스 유효화 플래그가 상기 의존 슬라이스가 상기 픽처에 대해 유효하다고 나타낼 때, 상기 비트 스트림으로부터 추출되는 것인, 화상 복호화 방법. - 청구항 1에 있어서,
상기 의존 슬라이스 유효화 플래그는, 상기 파라미터 세트의 선두에 배치되는 것인, 화상 복호화 방법. - 청구항 1에 있어서,
상기 의존성 인디케이션은, 상기 픽처에 대해 최초로 처리되는 슬라이스의 슬라이스 헤더에는 포함되지 않는 것인, 화상 복호화 방법. - 픽처를 복호하는 화상 복호화 장치로서,
적어도 하나의 프로세서;
컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리
를 포함하고,
상기 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 작업할 때,
부호화된 비트 스트림으로부터, 의존 슬라이스가 상기 픽처에 대해 유효한지 아닌지 여부를 나타내는 의존 슬라이스 유효화 플래그를 복호하고 - 상기 의존 슬라이스에 대해 상기 의존 슬라이스와 상이한 슬라이스의 헤더에 포함된 제어 정보를 적어도 부분적으로 이용함으로써 복호화 처리가 수행되는 것임 - ;
상기 픽처가 랜덤 액세스 픽처인지 아닌지 여부를 나타내는 값을 결정하고, 상기 픽처가 랜덤 액세스 픽처인지 여부를 결정한 다음에, 복호된 비트 스트림으로부터 ⅰ) 상기 픽처의 현재 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스; 및 ⅱ) 상기 현재 슬라이스가 상기 의존 슬라이스인지 아닌지 여부를 나타내는 의존성 인디케이션을 복호하도록 구성되고,
상기 의존 슬라이스 유효화 플래그는, 상기 픽처의 모든 슬라이스에 공통적인 파라미터 세트 내에 배치되고,
상기 슬라이스 어드레스는, 상기 현재 슬라이스의 슬라이스 헤더 내에 배치되고,
상기 의존성 인디케이션은, 상기 현재 슬라이스의 슬라이스 헤더 내에서 상기 슬라이스 어드레스 앞, 그리고, 상기 파라미터 세트를 식별하는 신택스 엘리먼트 뒤에 배치되는 것인, 화상 복호화 장치. - 청구항 5에 있어서,
상기 의존성 인디케이션은, 상기 의존 슬라이스 유효화 플래그가 상기 의존 슬라이스가 상기 픽처에 대해 유효하다고 나타낼 때, 상기 비트 스트림으로부터 추출되는 것인, 화상 복호화 장치. - 청구항 5에 있어서,
상기 의존 슬라이스 유효화 플래그는, 상기 파라미터 세트의 선두에 배치되는 것인, 화상 복호화 장치. - 청구항 5에 있어서,
상기 의존성 인디케이션은, 상기 픽처에 대해 최초로 처리되는 슬라이스의 슬라이스 헤더에는 포함되지 않는 것인, 화상 복호화 장치. - 명령어를 저장한 비일시적 컴퓨터-판독 가능 매체로서, 상기 명령어는 프로세서에 의해 실행될 때,
부호화된 비트 스트림으로부터, 의존 슬라이스가 픽처에 대해 유효한지 아닌지 여부를 나타내는 의존 슬라이스 유효화 플래그를 복호하는 것 - 상기 의존 슬라이스에 대해 상기 의존 슬라이스와 상이한 슬라이스의 헤더에 포함된 제어 정보를 적어도 부분적으로 이용함으로써 복호화 처리가 수행되는 것임 - ;
상기 픽처가 랜덤 액세스 픽처인지 아닌지 여부를 나타내는 값을 결정하는 것, 및 상기 픽처가 랜덤 액세스 픽처인지 여부를 결정한 다음에, 복호된 비트 스트림으로부터 ⅰ) 상기 픽처의 현재 슬라이스의 개시 위치를 나타내는 슬라이스 어드레스; 및 ⅱ) 상기 현재 슬라이스가 상기 의존 슬라이스인지 아닌지 여부를 나타내는 의존성 인디케이션을 복호하는 것
의 동작들을 수행하고,
상기 의존 슬라이스 유효화 플래그는, 상기 픽처의 모든 슬라이스에 공통적인 파라미터 세트 내에 배치되고,
상기 슬라이스 어드레스는, 상기 현재 슬라이스의 슬라이스 헤더 내에 배치되고,
상기 의존성 인디케이션은, 상기 현재 슬라이스의 슬라이스 헤더 내에서 상기 슬라이스 어드레스 앞, 그리고, 상기 파라미터 세트를 식별하는 신택스 엘리먼트 뒤에 배치되는 것인, 비일시적 컴퓨터-판독 가능 매체. - 청구항 9에 있어서,
상기 의존성 인디케이션은, 상기 의존 슬라이스 유효화 플래그가 상기 의존 슬라이스가 상기 픽처에 대해 유효하다고 나타낼 때, 상기 비트 스트림으로부터 추출되는 것인, 비일시적 컴퓨터-판독 가능 매체. - 청구항 9에 있어서,
상기 의존 슬라이스 유효화 플래그는, 상기 파라미터 세트의 선두에 배치되는 것인, 비일시적 컴퓨터-판독 가능 매체. - 청구항 9에 있어서,
상기 의존성 인디케이션은, 상기 픽처에 대해 최초로 처리되는 슬라이스의 슬라이스 헤더에는 포함되지 않는 것인, 비일시적 컴퓨터-판독 가능 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261705846P | 2012-09-26 | 2012-09-26 | |
| US61/705,846 | 2012-09-26 | ||
| US201261711892P | 2012-10-10 | 2012-10-10 | |
| US61/711,892 | 2012-10-10 | ||
| PCT/JP2013/005541 WO2014050038A1 (ja) | 2012-09-26 | 2013-09-19 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および、画像符号化復号装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157003160A Division KR102072832B1 (ko) | 2012-09-26 | 2013-09-19 | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200013098A true KR20200013098A (ko) | 2020-02-05 |
| KR102169058B1 KR102169058B1 (ko) | 2020-10-23 |
Family
ID=50385285
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157003160A KR102072832B1 (ko) | 2012-09-26 | 2013-09-19 | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치 |
| KR1020207002679A KR102169058B1 (ko) | 2012-09-26 | 2013-09-19 | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157003160A KR102072832B1 (ko) | 2012-09-26 | 2013-09-19 | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및, 화상 부호화 복호 장치 |
Country Status (21)
| Country | Link |
|---|---|
| US (8) | US9014494B2 (ko) |
| EP (7) | EP2903267B1 (ko) |
| JP (4) | JP6172535B2 (ko) |
| KR (2) | KR102072832B1 (ko) |
| CN (2) | CN104737541B (ko) |
| AU (1) | AU2013322008B2 (ko) |
| BR (1) | BR112015004140A8 (ko) |
| CA (1) | CA2881221C (ko) |
| DK (1) | DK3122048T3 (ko) |
| ES (4) | ES2630359T3 (ko) |
| HK (1) | HK1253286A1 (ko) |
| MX (1) | MX339463B (ko) |
| MY (1) | MY176984A (ko) |
| PH (3) | PH12015500365A1 (ko) |
| PL (3) | PL3122048T3 (ko) |
| PT (1) | PT3122048T (ko) |
| RU (2) | RU2756093C2 (ko) |
| SG (1) | SG11201500846TA (ko) |
| TR (1) | TR201802584T4 (ko) |
| TW (1) | TWI593274B (ko) |
| WO (1) | WO2014050038A1 (ko) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120251012A1 (en) * | 2009-12-18 | 2012-10-04 | Tomohiro Ikai | Image filter, encoding device, decoding device, and data structure |
| CN110035286B (zh) * | 2012-07-09 | 2021-11-12 | Vid拓展公司 | 用于多层视频编码的编解码器架构 |
| SG11201500846TA (en) * | 2012-09-26 | 2015-05-28 | Panasonic Ip Corp America | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| CN104838654B (zh) * | 2012-12-06 | 2018-11-06 | 索尼公司 | 解码装置、解码方法以及程序 |
| PL2986005T3 (pl) * | 2013-01-04 | 2019-08-30 | Samsung Electronics Co., Ltd. | Urządzenie do dekodowania entropijnego segmentów wycinka |
| US9628792B2 (en) | 2013-07-15 | 2017-04-18 | Qualcomm Incorporated | Cross-layer parallel processing and offset delay parameters for video coding |
| US10645404B2 (en) * | 2014-03-24 | 2020-05-05 | Qualcomm Incorporated | Generic use of HEVC SEI messages for multi-layer codecs |
| US10306239B2 (en) * | 2014-05-13 | 2019-05-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods, source device, target device and analyser for managing video coding |
| US10038915B2 (en) * | 2014-05-22 | 2018-07-31 | Qualcomm Incorporated | Escape sample coding in palette-based video coding |
| KR102276854B1 (ko) * | 2014-07-31 | 2021-07-13 | 삼성전자주식회사 | 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
| SG11201609457UA (en) * | 2014-08-07 | 2016-12-29 | Sonic Ip Inc | Systems and methods for protecting elementary bitstreams incorporating independently encoded tiles |
| JP6365102B2 (ja) * | 2014-08-14 | 2018-08-01 | 富士ゼロックス株式会社 | データ処理装置およびプログラム |
| CN105874800B (zh) * | 2014-09-17 | 2019-05-10 | 联发科技股份有限公司 | 句法解析装置和句法解析方法 |
| US10212445B2 (en) * | 2014-10-09 | 2019-02-19 | Qualcomm Incorporated | Intra block copy prediction restrictions for parallel processing |
| US10334248B2 (en) | 2015-05-29 | 2019-06-25 | Qualcomm Incorporated | Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design |
| US20170105010A1 (en) * | 2015-10-09 | 2017-04-13 | Microsoft Technology Licensing, Llc | Receiver-side modifications for reduced video latency |
| CN109565611B (zh) * | 2016-05-26 | 2021-12-21 | 弗劳恩霍夫应用研究促进协会 | 针对交互式客户端的全景视频的广播流 |
| US10827186B2 (en) * | 2016-08-25 | 2020-11-03 | Intel Corporation | Method and system of video coding with context decoding and reconstruction bypass |
| US10805611B2 (en) * | 2016-10-18 | 2020-10-13 | Mediatek Inc. | Method and apparatus of constrained sequence header |
| CN106534137B (zh) * | 2016-11-18 | 2020-01-14 | 浙江宇视科技有限公司 | 媒体流传输方法及装置 |
| US10469876B2 (en) * | 2016-12-22 | 2019-11-05 | Mediatek Inc. | Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel |
| CN115955559A (zh) * | 2017-03-20 | 2023-04-11 | Ge 视频压缩有限责任公司 | 生成视频数据流的装置以及生成视频数据流的方法 |
| JP7300985B2 (ja) * | 2017-04-17 | 2023-06-30 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
| US10291936B2 (en) * | 2017-08-15 | 2019-05-14 | Electronic Arts Inc. | Overcoming lost or corrupted slices in video streaming |
| CN110401836B (zh) * | 2018-04-25 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 一种图像解码、编码方法、装置及其设备 |
| US11216923B2 (en) * | 2018-05-23 | 2022-01-04 | Samsung Electronics Co., Ltd. | Apparatus and method for successive multi-frame image denoising |
| EP4422175A2 (en) | 2018-09-14 | 2024-08-28 | Huawei Technologies Co., Ltd. | Slicing and tiling in video coding |
| US11140403B2 (en) | 2018-12-20 | 2021-10-05 | Tencent America LLC | Identifying tile from network abstraction unit header |
| HUE066902T2 (hu) * | 2018-12-31 | 2024-09-28 | Huawei Tech Co Ltd | Csempecsoport jelzés a videokódolásban |
| WO2020142483A1 (en) * | 2018-12-31 | 2020-07-09 | Futurewei Technologies, Inc. | Explicit address signaling in video coding |
| WO2020185145A1 (en) * | 2019-03-08 | 2020-09-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods providing encoding/decoding of dependent/independent partitions and related devices |
| WO2020218582A1 (ja) * | 2019-04-26 | 2020-10-29 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
| CN113950842A (zh) * | 2019-06-20 | 2022-01-18 | 索尼半导体解决方案公司 | 图像处理装置和方法 |
| JP7017649B2 (ja) * | 2019-06-24 | 2022-02-08 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | 符号化ビデオビットストリーム中に含まれているデータの量を低減するためのパラメータセット中のパラメータ値情報をシグナリングすること |
| EP3977744A4 (en) * | 2019-06-28 | 2022-07-27 | Huawei Technologies Co., Ltd. | METHOD AND APPARATUS FOR LOSSLESS VIDEO AND STILL IMAGE CODING |
| EP3977745A4 (en) * | 2019-06-28 | 2022-08-10 | Huawei Technologies Co., Ltd. | STILL IMAGE AND VIDEO CODING METHOD AND APPARATUS |
| WO2021010135A1 (ja) | 2019-07-17 | 2021-01-21 | 信越化学工業株式会社 | 紫外線硬化型オルガノポリシロキサン組成物 |
| CN114342400B (zh) | 2019-09-02 | 2024-06-28 | 北京字节跳动网络技术有限公司 | 基于色彩格式的编解码模式确定 |
| WO2021045765A1 (en) * | 2019-09-05 | 2021-03-11 | Huawei Technologies Co., Ltd. | Efficient adaptive loop filter parameter signaling in video coding |
| US11758193B2 (en) | 2019-11-04 | 2023-09-12 | Hfi Innovation Inc. | Signaling high-level information in video and image coding |
| CA3163430A1 (en) | 2019-12-31 | 2021-07-08 | Xiang Ma | An encoder, a decoder and corresponding methods for temporal alf application to luma and chroma |
| KR20220109464A (ko) | 2020-01-03 | 2022-08-04 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 유연한 프로파일 구성의 인코더, 디코더 및 대응하는 방법들 |
| JP7473656B2 (ja) * | 2020-01-09 | 2024-04-23 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | ピクチャヘッダ存在 |
| CN115152218A (zh) * | 2020-02-28 | 2022-10-04 | 华为技术有限公司 | 简化条带头语法元素指示的编码器、解码器及对应方法 |
| US20230145618A1 (en) * | 2020-03-20 | 2023-05-11 | Canon Kabushiki Kaisha | High level syntax for video coding and decoding |
| KR20220164549A (ko) * | 2020-04-02 | 2022-12-13 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 효율적인 관심영역, 스트림 액세스 및 파라미터 세트 처리를 허용하는 파일 포맷 체계 |
| CN112822514B (zh) * | 2020-12-30 | 2022-06-28 | 北京大学 | 基于依赖关系的视频流分组传输方法、系统、终端及介质 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7903742B2 (en) * | 2002-07-15 | 2011-03-08 | Thomson Licensing | Adaptive weighting of reference pictures in video decoding |
| EP1753242A2 (en) * | 2005-07-18 | 2007-02-14 | Matsushita Electric Industrial Co., Ltd. | Switchable mode and prediction information coding |
| US8634462B2 (en) * | 2007-03-13 | 2014-01-21 | Matthias Narroschke | Quantization for hybrid video coding |
| EP2147558A2 (en) * | 2007-04-17 | 2010-01-27 | Nokia Corporation | Feedback based scalable video coding |
| US20080317124A1 (en) * | 2007-06-25 | 2008-12-25 | Sukhee Cho | Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access |
| CN101389021B (zh) * | 2007-09-14 | 2010-12-22 | 华为技术有限公司 | 视频编解码方法及装置 |
| US8938009B2 (en) * | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
| EP2215844A2 (en) * | 2007-10-15 | 2010-08-11 | Nokia Corporation | Motion skip and single-loop encoding for multi-view video content |
| US8126054B2 (en) * | 2008-01-09 | 2012-02-28 | Motorola Mobility, Inc. | Method and apparatus for highly scalable intraframe video coding |
| KR101375668B1 (ko) * | 2008-03-17 | 2014-03-18 | 삼성전자주식회사 | 변환 계수의 부호화, 복호화 방법 및 장치 |
| JP5400876B2 (ja) * | 2008-06-16 | 2014-01-29 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化 |
| EP2357825A4 (en) * | 2008-12-08 | 2012-06-20 | Panasonic Corp | APPARATUS AND METHOD FOR IMAGE DECODING |
| US8705879B2 (en) * | 2009-04-01 | 2014-04-22 | Microsoft Corporation | Image compression acceleration using multiple processors |
| EP2237557A1 (en) * | 2009-04-03 | 2010-10-06 | Panasonic Corporation | Coding for filter coefficients |
| JP4957831B2 (ja) * | 2009-08-18 | 2012-06-20 | ソニー株式会社 | 再生装置および再生方法、並びに記録装置および記録方法 |
| KR101698499B1 (ko) * | 2009-10-01 | 2017-01-23 | 에스케이텔레콤 주식회사 | 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치 |
| KR101504887B1 (ko) * | 2009-10-23 | 2015-03-24 | 삼성전자 주식회사 | 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치 |
| US9258573B2 (en) * | 2010-12-07 | 2016-02-09 | Panasonic Intellectual Property Corporation Of America | Pixel adaptive intra smoothing |
| GB2488159B (en) * | 2011-02-18 | 2017-08-16 | Advanced Risc Mach Ltd | Parallel video decoding |
| US9338465B2 (en) * | 2011-06-30 | 2016-05-10 | Sharp Kabushiki Kaisha | Context initialization based on decoder picture buffer |
| ES2789024T3 (es) * | 2012-04-12 | 2020-10-23 | Velos Media Int Ltd | Gestión de datos de extensión |
| DK3481068T3 (da) * | 2012-04-13 | 2020-11-16 | Ge Video Compression Llc | Billedkodning med lav forsinkelse |
| US20130343465A1 (en) * | 2012-06-26 | 2013-12-26 | Qualcomm Incorporated | Header parameter sets for video coding |
| US20140056356A1 (en) * | 2012-08-21 | 2014-02-27 | Motorola Mobility Llc | Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes |
| US20140086328A1 (en) * | 2012-09-25 | 2014-03-27 | Qualcomm Incorporated | Scalable video coding in hevc |
| SG11201500846TA (en) * | 2012-09-26 | 2015-05-28 | Panasonic Ip Corp America | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| AU2013322041B2 (en) * | 2012-09-26 | 2017-03-09 | Sun Patent Trust | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
| US9491457B2 (en) * | 2012-09-28 | 2016-11-08 | Qualcomm Incorporated | Signaling of regions of interest and gradual decoding refresh in video coding |
| US20140092978A1 (en) * | 2012-10-01 | 2014-04-03 | Nokia Corporation | Method and apparatus for video coding |
| GB2521606A (en) * | 2013-12-20 | 2015-07-01 | Canon Kk | Method and apparatus for transition encoding in video coding and decoding |
| GB2531005A (en) * | 2014-10-06 | 2016-04-13 | Canon Kk | Improved encoding process using a palette mode |
| KR102349788B1 (ko) * | 2015-01-13 | 2022-01-11 | 인텔렉추얼디스커버리 주식회사 | 영상의 부호화/복호화 방법 및 장치 |
| HUE066408T2 (hu) * | 2018-09-03 | 2024-07-28 | Huawei Tech Co Ltd | Eljárás és berendezés az intra predikcióra |
| CN118540508A (zh) * | 2018-09-18 | 2024-08-23 | 华为技术有限公司 | 视频编码器、视频解码器及对应方法 |
-
2013
- 2013-09-19 SG SG11201500846TA patent/SG11201500846TA/en unknown
- 2013-09-19 EP EP13841488.3A patent/EP2903267B1/en active Active
- 2013-09-19 CN CN201380045711.4A patent/CN104737541B/zh active Active
- 2013-09-19 PL PL16179058T patent/PL3122048T3/pl unknown
- 2013-09-19 EP EP19217571.9A patent/EP3654649B1/en active Active
- 2013-09-19 ES ES13841488.3T patent/ES2630359T3/es active Active
- 2013-09-19 PT PT161790589T patent/PT3122048T/pt unknown
- 2013-09-19 MX MX2015002889A patent/MX339463B/es active IP Right Grant
- 2013-09-19 ES ES21170281T patent/ES2953336T3/es active Active
- 2013-09-19 EP EP17201617.2A patent/EP3301923B1/en active Active
- 2013-09-19 ES ES17201617T patent/ES2780006T3/es active Active
- 2013-09-19 EP EP21170281.6A patent/EP3876536B1/en active Active
- 2013-09-19 AU AU2013322008A patent/AU2013322008B2/en active Active
- 2013-09-19 KR KR1020157003160A patent/KR102072832B1/ko active IP Right Grant
- 2013-09-19 PL PL13841488T patent/PL2903267T3/pl unknown
- 2013-09-19 PL PL21170281.6T patent/PL3876536T3/pl unknown
- 2013-09-19 KR KR1020207002679A patent/KR102169058B1/ko active IP Right Grant
- 2013-09-19 CN CN201810178793.4A patent/CN108282655B/zh active Active
- 2013-09-19 CA CA2881221A patent/CA2881221C/en active Active
- 2013-09-19 EP EP24158515.7A patent/EP4351137A3/en active Pending
- 2013-09-19 RU RU2018111944A patent/RU2756093C2/ru active
- 2013-09-19 JP JP2014538158A patent/JP6172535B2/ja active Active
- 2013-09-19 EP EP23167880.6A patent/EP4221217B1/en active Active
- 2013-09-19 DK DK16179058.9T patent/DK3122048T3/en active
- 2013-09-19 WO PCT/JP2013/005541 patent/WO2014050038A1/ja active Application Filing
- 2013-09-19 RU RU2015103543A patent/RU2653236C2/ru active
- 2013-09-19 MY MYPI2015000335A patent/MY176984A/en unknown
- 2013-09-19 EP EP16179058.9A patent/EP3122048B1/en active Active
- 2013-09-19 TR TR2018/02584T patent/TR201802584T4/tr unknown
- 2013-09-19 ES ES16179058.9T patent/ES2664361T3/es active Active
- 2013-09-19 BR BR112015004140A patent/BR112015004140A8/pt active Search and Examination
- 2013-09-23 TW TW102134121A patent/TWI593274B/zh active
- 2013-09-23 US US14/033,568 patent/US9014494B2/en active Active
-
2015
- 2015-01-23 US US14/603,961 patent/US9357234B2/en active Active
- 2015-02-06 PH PH12015500365A patent/PH12015500365A1/en unknown
-
2016
- 2016-04-28 US US15/140,754 patent/US9503755B2/en active Active
- 2016-10-17 US US15/295,033 patent/US9872043B2/en active Active
-
2017
- 2017-06-21 JP JP2017121358A patent/JP6317015B2/ja active Active
- 2017-10-06 PH PH12017501838A patent/PH12017501838B1/en unknown
- 2017-11-28 US US15/824,133 patent/US10616605B2/en active Active
-
2018
- 2018-03-28 JP JP2018062121A patent/JP6558784B2/ja active Active
- 2018-10-02 HK HK18112578.5A patent/HK1253286A1/zh unknown
-
2019
- 2019-07-10 JP JP2019128634A patent/JP6758456B2/ja active Active
- 2019-08-28 PH PH12019501972A patent/PH12019501972A1/en unknown
-
2020
- 2020-02-24 US US16/799,591 patent/US11632572B2/en active Active
-
2023
- 2023-03-02 US US18/116,520 patent/US11943484B2/en active Active
-
2024
- 2024-02-23 US US18/585,898 patent/US20240196020A1/en active Pending
Non-Patent Citations (6)
| Title |
|---|
| A.Fuldseth 외, "Tiles", JCTVC-F355-v1, from the Meeting in Torino, July 2011, 인터넷 <URL:http://phenix.int-evry.fr> |
| C.Gordon 외, "Wavefront Parallel Processing for HEVC Encoding and Decoding", JCTVC-F274-v2, from the Meeting in Torino, July 2011, 인터넷 <URL:http://phenix.int-evry.fr> |
| JCTVC-I0229 * |
| JCTVC-J1003_d7, "High efficiency video coding(HEVC) text specification draft 8", July 2012, 제73페이지 「dependent_slice_flag」, 인터넷 <URL:http://phenix.IT-sudparis.eu/jct/> |
| JCTVC-K0183 * |
| Tommy Lee et al., ‘On dependent slices’, (JCTVC-J0217), JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 10th Meeting: Stockholm, SE, 2012.7.02.* * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6758456B2 (ja) | 画像復号方法、画像復号装置、およびコンピュータ読取可能な媒体 | |
| KR102063239B1 (ko) | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 | |
| JP6191920B2 (ja) | 画像符号化方法、及び画像符号化装置 | |
| KR102030211B1 (ko) | 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 및 부호화 복호 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |