KR102160372B1 - 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 - Google Patents

화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 Download PDF

Info

Publication number
KR102160372B1
KR102160372B1 KR1020197038985A KR20197038985A KR102160372B1 KR 102160372 B1 KR102160372 B1 KR 102160372B1 KR 1020197038985 A KR1020197038985 A KR 1020197038985A KR 20197038985 A KR20197038985 A KR 20197038985A KR 102160372 B1 KR102160372 B1 KR 102160372B1
Authority
KR
South Korea
Prior art keywords
slice
row
decoding
slices
dependent
Prior art date
Application number
KR1020197038985A
Other languages
English (en)
Other versions
KR20200003286A (ko
Inventor
세미흐 에센릭
마티아스 나로쉬케
토마스 베디
Original Assignee
벨로스 미디어 인터내셔널 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=50338837&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102160372(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 벨로스 미디어 인터내셔널 리미티드 filed Critical 벨로스 미디어 인터내셔널 리미티드
Publication of KR20200003286A publication Critical patent/KR20200003286A/ko
Application granted granted Critical
Publication of KR102160372B1 publication Critical patent/KR102160372B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화상이, 각각이 복수의 부호화 단위를 포함하는 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법으로서, 상기 부호화 신호를 복호하는 복호 단계를 포함하고, 상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 상기 화상은, 각각이 복수의 부호화 단위를 포함하는 복수의 행을 포함하고, 통상 슬라이스가 제 1행의 선두 이외로부터 시작되는 경우, 상기 제 1행의 다음의 제 2행은 의존 슬라이스로부터 시작되지 않는다.

Description

화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치{IMAGE DECODING METHOD, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, AND IMAGE ENCODING/DECODING DEVICE}
본 발명은, 화상 부호화 방법 및 화상 복호 방법에 관한 것이다.
현재의 표준적인 영상 부호화 알고리즘의 대부분은 하이브리드 영상 부호화에 의거한다. 하이브리드 영상 부호화 방법에서는, 원하는 압축 게인을 달성하기 위해, 몇 가지의 상이한 가역 압축 방식과 비가역 압축 방식이 이용된다. 하이브리드 영상 부호화는, ISO/IEC 표준 규격(MPEG-1, MPEG-2 및 MPEG-4 등의 MPEG-X 표준 규격)과 마찬가지로, ITU-T 표준 규격(H.261 및 H.263 등의 H.26x 표준 규격)의 기초이다.
최신의 영상 부호화 표준 규격은, H.264/MPEG-4 Advanced Video Coding(AVC)으로 칭해진다. 이 규격은, JVT(Joint CoVedeo Team)와, ITU-T 및 ISO/IEC MPEG 그룹의 합동 팀에 의해 표준화되었다.
또, 고해상도의 영상 부호화의 효율 개선을 목적으로 하여, HEVC(High-Efficiency Video Coding)으로 칭해지는 영상 부호화 표준 규격이, JCT-VC(Joint Collaborative Team on Video Coding)에 의해 검토되고 있다.
"Wavefront Parallel Processing for HEVC Encoding and Decoding"by C. Gordon et al., no. JCTVC-F274-v2, from the Meeting in Torino, July 2011 "Tiles"by A. Fuldseth et al., no. JCTVC-F355-v1, from the Meeting in Torino, July 2011 JCTVC-J1003＿d7, "High efficiency video coding(HEVC) text specification draft 8"of July 2012
이러한 화상 부호화 방법 및 화상 복호 방법에서는, 병렬 처리 및 의존 슬라이스를 모두 이용하는 상황에 있어서, 효율성을 향상시킬 수 있는 것이 요망되고 있다.
그래서, 본 발명은, 병렬 처리 및 의존 슬라이스를 모두 이용할 때의 효율성을 개선할 수 있는 화상 부호화 방법 또는 화상 복호 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 양태에 관련된 화상 복호 방법은, 화상이, 각각이 복수의 부호화 단위를 포함하는 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법이며, 상기 부호화 신호를 복호하는 복호 단계를 포함하고, 상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 상기 화상은, 각각이 복수의 부호화 단위를 포함하는 복수의 행을 포함하고, 통상 슬라이스가 제 1행의 선두 이외로부터 시작되는 경우, 상기 제 1행의 다음의 제 2행은 의존 슬라이스로부터 시작되지 않는다.
또한, 이러한 전반적 또는 구체적인 양태는, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD-ROM 등의 기록 매체로 실현되어도 되고, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 및 기록 매체의 임의의 조합으로 실현되어도 된다.
본 발명은, 병렬 처리 및 의존 슬라이스를 모두 이용할 때의 효율성을 개선할 수 있는 화상 부호화 방법 또는 화상 복호 방법을 제공할 수 있다.
도 1은, 실시의 형태에 관련된 화상 부호화 장치의 블럭도이다.
도 2는, 실시의 형태에 관련된 화상 복호 장치의 블럭도이다.
도 3a는, 실시의 형태에 관련된 WPP를 설명하기 위한 개략도이다.
도 3b는, 실시의 형태에 관련된 WPP 내의 의존 슬라이스를 설명하기 위한 개략도이다.
도 4a는, 실시의 형태에 관련된 WPP를 이용하지 않은 경우의 의존 슬라이스를 설명하기 위한 개략도이다.
도 4b는, 실시의 형태에 관련된 WPP를 이용하는 경우의 의존 슬라이스를 설명하기 위한 개략도이다.
도 5는, 실시의 형태에 관련된 엔트로피 슬라이스 또는 의존 슬라이스의 슬라이스 헤더를 나타내는 도이다.
도 6은, 실시의 형태에 관련된, WPP를 이용하는 경우의 허가되지 않는 슬라이스 구조의 예를 나타내는 도이다.
도 7은, 실시의 형태에 관련된, WPP를 이용하는 경우의 허가되는 슬라이스 구조의 예를 나타내는 도이다.
도 8은, 실시의 형태에 관련된 CABAC의 초기화 프로세스를 나타내는 개략도이다.
도 9는, 실시의 형태에 관련된, 선행 슬라이스의 특징에 따른, 의존 슬라이스의 CABAC 초기화 방법의 결정 처리의 플로차트이다.
도 10은, 실시의 형태에 관련된 슬라이스 구조의 일례를 나타내는 도이다.
도 11은, 실시의 형태에 관련된 슬라이스 구조의 일례를 나타내는 도이다.
도 12는, 실시의 형태 1에 관련된 슬라이스 헤더의 신텍스예를 나타내는 도이다.
도 13은, 실시의 형태 1에 관련된 의존 슬라이스의 CABAC 초기화 방법의 결정 처리의 플로차트이다.
도 14는, 실시의 형태 2에 관련된, 슬라이스로 분할된 픽처의 일례를 나타내는 도이다.
도 15는, 실시의 형태 2에 관련된 CABAC 초기화 방법의 결정 처리의 플로차트이다.
도 16은, 실시의 형태 2에 관련된, 슬라이스로 분할된 픽처의 일례를 나타내는 도이다.
도 17a는, 실시의 형태 2에 관련된 허가되지 않는 슬라이스 구조의 예를 나타내는 도이다.
도 17b는, 실시의 형태 2에 관련된 허가되는 슬라이스 구조의 예를 나타내는 도이다.
도 17c는, 실시의 형태 2에 관련된 허가되는 슬라이스 구조의 예를 나타내는 도이다.
도 17d는, 실시의 형태 2에 관련된 허가되는 슬라이스 구조의 예를 나타내는 도이다.
도 18은, 실시의 형태 2에 관련된, 슬라이스로 분할된 픽처의 일례를 나타내는 도이다.
도 19는, 실시의 형태 3에 관련된, 슬라이스로 분할된 픽처의 일례를 나타내는 도이다.
도 20은, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성도이다.
도 21은, 디지털 방송용 시스템의 전체 구성도이다.
도 22는, 텔레비전의 구성예를 나타내는 블럭도이다.
도 23은, 광디스크인 기록 미디어에 정보의 읽고 쓰기를 행하는 정보 재생/기록부의 구성예를 나타내는 블럭도이다.
도 24는, 광디스크인 기록 미디어의 구조예를 나타내는 도이다.
도 25a는, 휴대 전화의 일례를 나타내는 도이다.
도 25b는, 휴대 전화의 구성예를 나타내는 블럭도이다.
도 26은, 다중화 데이터의 구성을 나타내는 도이다.
도 27은, 각 스트림이 다중화 데이터에 있어서 어떻게 다중화되고 있는지를 모식적으로 나타내는 도이다.
도 28은, PES 패킷열에, 비디오 스트림이 어떻게 저장되는지를 더 상세하게 나타낸 도이다.
도 29는, 다중화 데이터에 있어서의 TS 패킷과 소스 패킷의 구조를 나타내는 도이다.
도 30은, PMT의 데이터 구성을 나타내는 도이다.
도 31은, 다중화 데이터 정보의 내부 구성을 나타내는 도이다.
도 32는, 스트림 속성 정보의 내부 구성을 나타내는 도이다.
도 33은, 영상 데이터를 식별하는 단계를 나타내는 도이다.
도 34는, 각 실시의 형태의 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 집적 회로의 구성예를 나타내는 블럭도이다.
도 35는, 구동 주파수를 전환하는 구성을 나타내는 도이다.
도 36은, 영상 데이터를 식별하여, 구동 주파수를 전환하는 단계를 나타내는 도이다.
도 37은, 영상 데이터의 규격과 구동 주파수를 대응지은 룩업 테이블의 일례를 나타내는 도이다.
도 38a는, 신호 처리부의 모듈을 공유화하는 구성의 일례를 나타내는 도이다.
도 38b는, 신호 처리부의 모듈을 공유화하는 구성의 다른 일례를 나타내는 도이다.
(본 발명의 기초가 된 지견)
본 발명자는, 「배경 기술」의 란에 있어서 기재한, 화상 부호화 방법 및 화상 복호 방법에 관한 것으로 이하의 문제가 생기는 것을 발견했다.
우선, HEVC에 있어서의 화상 부호화 장치 및 화상 복호 장치에 대해서 설명한다.
화상 부호화 장치로 입력되는 영상 신호는, 각각이 프레임(픽처)으로 불리는 복수의 화상을 포함한다. 각 프레임은 이차원 행렬형상으로 배치된 복수의 화소를 포함한다. 하이브리드 영상 부호화에 의거하는 상기 서술한 모든 표준 규격에서는, 개개의 영상 프레임은, 각각이 복수의 화소를 포함하는 복수의 블록으로 분할된다. 이 블록의 사이즈는, 예를 들면, 화상의 내용에 따라 변경된다. 또, 블록마다 상이한 부호화 방법을 이용할 수 있다. 예를 들면, HEVC에 있어서, 이 블록의 최대 사이즈는 64×64 화소이다. 이 최대 사이즈는, 최대 부호화 단위(LCU)로 칭해진다. LCU는, 귀납적으로, 4개의 부호화 단위(CU)로 분할할 수 있다.
H.264/MPEG-4 AVC에 있어서는, 매크로 블록(통상 16×16 화소의 블록) 단위로 부호화가 행해진다. 이 매크로 블록은 서브 블록으로 분할되는 경우도 있다.
전형적으로는, 하이브리드 영상 부호화에 있어서의 부호화 단계에는, 공간 및/또는 시간 예측이 포함된다. 즉, 공간적으로 인접한 블록 또는 시간적으로 인접한 블록을 이용하여, 즉, 부호화 완료 영상 프레임을 이용하여, 각 부호화 대상 블록이 예측된다. 다음에, 부호화 대상 블록과, 예측 결과의 차분인 잔차 블록이 산출된다. 다음에, 잔차 블록은, 공간(화소) 도메인으로부터 주파수 도메인으로 변환된다. 이 변환의 목적은, 입력 블록의 상관성을 저하시키는 것이다.
다음에, 변환에 의해 얻어진 변환 계수가 양자화된다. 이 양자화는 비가역 압축이다. 또, 얻어진 양자화 계수는, 엔트로피 부호화에 의해 가역 압축된다. 또, 부호화 영상 신호를 재구축하기 위해 필요한 보조 정보가 부호화되어, 부호화 영상 신호와 함께 출력된다. 이 정보는, 예를 들면, 공간 예측, 시간 예측, 또는/및 양자화에 관한 정보이다.
도 1은, H.264/MPEG-4 AVC 및/또는 HEVC에 준거한 화상 부호화 장치(100)의 일례를 나타내는 도이다.
감산기(105)는, 입력 화상 신호(101)의 부호화 대상 블록과, 대응하는 예측 신호(181)(예측 블록)의 차분인 잔차 신호(106)(잔차 블록)를 산출한다. 이 예측 신호(181)는, 예측부(180)에 의한 시간 예측 또는 공간 예측에 의해 생성된다. 예측에 이용되는 예측 타입은, 프레임마다 또는 블록마다 변경될 가능성이 있다. 시간 예측을 이용하여 예측된 블록 및/또는 프레임은 인터 부호화되었다고 칭해지며, 공간 예측을 이용하여 예측된 블록 및/또는 프레임은, 인트라 부호화되었다고 칭해진다.
시간 예측을 이용하는 예측 신호는, 메모리에 저장되어 있는 부호화 및 복호 완료된 화상을 이용하여 도출된다. 공간 예측을 이용하는 예측 신호는, 메모리에 저장되어 있는 부호화 및 복호 완료된 인접 블록의 경계 화소치를 이용하여 도출된다. 또, 인트라 예측 방향의 수는, 부호화 단위의 사이즈에 따라 결정된다.
잔차 신호(106)는, 예측 오차 또는 예측 잔차라고도 불린다. 변환부(110)는, 이 잔차 신호(106)를 변환함으로써 변환 계수(111)를 생성한다. 양자화부(120)는, 변환 계수(111)를 양자화함으로써 양자화 계수(121)를 생성한다. 엔트로피 부호화부(190)는, 저장하는 데이터량을 더 삭감하고, 또한 가역적으로 송신하기 위해, 양자화 계수(121)를 엔트로피 부호화한다. 예를 들면, 엔트로피 부호화는, 가변길이 부호화이다. 또, 부호어(符號語)의 길이는 발생 확률에 의거하여 결정된다.
이상의 처리에 의해 부호화 신호(191)(부호화 비트 스트림)가 생성된다.
또, 화상 부호화 장치(100)는, 복호 화상 신호(재구축 화상 신호)를 얻기 위한 복호부를 가진다. 구체적으로는, 역변환부(130)는, 양자화 계수(121)를 역양자화 및 역변환함으로써 잔차 신호(131)를 생성한다. 이 잔차 신호(131)는, 양자화 노이즈라고도 칭해지는 양자화 오차의 영향에 의해, 원래의 잔차 신호(106)와는 엄밀하게는 상이하다.
다음에, 가산기(140)는, 잔차 신호(131)와 예측 신호(181)를 가산함으로써 복호 화상 신호(141)를 생성한다. 이와 같이, 화상 부호화 장치와 화상 복호 장치의 호환성을 유지하기 위해, 화상 부호화 장치와 화상 복호 장치의 양쪽에 있어서, 부호화되어 복호된 화상 신호를 이용하여 예측 신호(181)가 생성된다.
또, 양자화에 의해, 복호 화상 신호(141)에는 양자화 노이즈가 중첩된다. 블록 단위에서의 부호화가 행해지기 때문에, 중첩된 노이즈는 블록마다 상이한 경우가 많다. 이것에 의해, 특히 강한 양자화가 행해진 경우는, 복호 화상 신호의 블록 경계가 눈에 띄게 된다. 이러한 블로킹 노이즈는, 인간의 시각 인식에 있어서 화질이 열화되어 있는 것처럼 보인다. 이 블로킹 노이즈를 삭감하기 위해, 디블로킹 필터(150)는, 복호 화상 신호(141)에 디블로킹 필터 처리를 행한다.
예를 들면, H.264/MPEG-4 AVC에 있어서의 디블로킹 필터 처리에서는, 영역마다, 상기 영역에 적절한 필터 처리가 선택된다. 예를 들면, 블로킹 노이즈가 큰 경우는, 강한(협대역) 로우패스 필터가 이용되고, 블로킹 노이즈가 작은 경우는, 약한(광대역) 로우패스 필터가 이용된다. 이 로우패스 필터의 강도는, 예측 신호(181) 및 잔차 신호(131)에 따라 결정된다. 이 디블로킹 필터 처리에 의해, 블록의 엣지가 평활화된다. 이것에 의해, 복호 화상 신호의 주관적 화질이 개선된다. 또, 필터 처리가 완료된 화상이 다음의 화상의 움직임 보상 예측에 이용된다. 따라서, 이 필터 처리에 의해 예측 오차도 삭감되므로, 부호화 효율을 개선할 수 있다.
적응적 루프 필터(160)는, 디블로킹 필터 처리 후의 복호 화상 신호(151)에, 샘플 적응 오프셋 처리, 및/또는 적응적 루프 필터 처리를 행함으로써 복호 화상 신호(161)를 생성한다. 상기 서술한 바와 같이, 디블로킹 필터 처리는 주관적 화질을 개선된다. 한편, 샘플 적응 오프셋(Sample Adaptive Offset： SAO) 처리 및 적응적 루프 필터(Adaptive loop filter： ALF) 처리는, 화소 단위의 신뢰성(객관적 품질)의 개선을 목적으로 한다.
SAO는, 근접 화소에 따라 화소에 오프셋값을 더하는 처리이다. ALF는, 압축에 의해 생기는 화상의 왜곡을 보상하기 위해 이용된다. 예를 들면, ALF는, 복호 화상 신호(151)와 입력 화상 신호(101)의 평균 이승 오차(MSE)가 최소화되도록 결정된 필터 계수를 가지는 위너 필터이다. 예를 들면, ALF의 계수는, 프레임 단위로 산출 및 송신된다. 또, ALF는 프레임 전체(화상) 또는 국소 영역(블록)에 적용되어도 된다. 또, 필터 처리를 행하는 영역을 나타내는 보조 정보가, 블록 단위, 프레임 단위, 또는 쿼드트리 단위로 송신되어도 된다.
인터 부호화 블록을 복호하려면, 부호화되어 복호된 화상의 일부를 참조 프레임 버퍼(170)에 저장해 둘 필요가 있다. 참조 프레임 버퍼(170)는, 복호 화상 신호(161)를 복호 화상 신호(171)로서 유지한다. 예측부(180)는, 움직임 보상 예측을 이용하여 인터 예측을 행한다. 구체적으로는, 우선, 움직임 추정기가, 부호화 및 복호 완료된 영상 프레임에 포함되는 블록 중 대상 블록에 가장 유사한 블록을 탐색한다. 이 유사 블록이 예측 신호(181)로서 이용된다. 대상 블록과 유사 블록 사이의 상대적인 어긋남(움직임)이 움직임 데이터로서 화상 복호 장치로 보내진다. 이 움직임 데이터는, 예를 들면, 부호화 영상 데이터와 함께 제공되는 보조 정보에 포함되는 삼차원의 움직임 벡터이다. 여기서 삼차원이란, 공간 이차원과 시간 일차원을 포함한다.
또한, 예측 정밀도를 최적화하기 위해, 1/2 화소 해상도 또는 1/4 화소 해상도 등의 공간 서브 픽셀 해상도의 움직임 벡터가 이용되어도 된다. 공간 서브 픽셀 해상도의 움직임 벡터는, 실존하는 화소치가 존재하지 않는, 복호 프레임 내의 공간적 위치, 즉 서브 픽셀의 위치를 나타낸다. 따라서, 움직임 보상 예측을 행하기 위해서는, 화소치의 공간 보간이 필요하다. 이 보간 처리는, 예를 들면, 보간 필터(도 1에 나타내는 예측부(180)에 포함된다)에 의해 달성된다.
인트라 부호화 모드 및 인터 부호화 모드 양쪽에 있어서, 입력 화상 신호(101)와 예측 신호(181)의 차분인 잔차 신호(106)가 변환 및 양자화됨으로써 양자화 계수(121)가 생성된다. 일반적으로, 변환부(110)는, 이 변환에, 이차원 이산 코사인 변환(DCT) 또는 그 정수 버전 등의 직교 변환을 사용한다. 이것에 의해 자연 영상의 상관을 효율적으로 삭감할 수 있다. 또, 일반적으로 고주파 성분보다 저주파 성분이 화질에 있어서 더욱 중요하므로, 고주파 성분보다 저주파 성분에 의해 많은 비트가 사용된다.
엔트로피 부호화부(190)는, 이차원 배열의 양자화 계수(121)를 일차원 배열로 변환한다. 전형적으로는, 이른바 지그재그 스캔이 이용된다. 지그재그 스캔에서는, 이차원 배열의 좌측 위 구석에 있는 DC 계수로부터 우측 아래 구석에 있는 AC 계수까지, 소정의 순서로 이차원 배열이 주사된다. 통상, 에너지는 저주파에 상당하는 이차원 행렬의 계수의 좌측 위 부분에 집중하기 때문에, 지그재그 주사를 행하면, 후반의 값이 제로가 되는 경향이 있다. 이것에 의해, 엔트로피 부호화의 일부로서, 또는 그 전처리로서, 런랭스 부호를 이용함으로써, 효율적인 부호화를 실현할 수 있다.
H.264/MPEG-4 AVC 및 HEVC에서는, 복수 종류의 엔트로피 부호화가 이용된다. 신텍스 요소 중에는 고정길이로 부호화되는 것도 있지만, 대부분의 신텍스 요소가 가변길이 부호화된다. 특히, 예측 잔차의 부호화에는 컨텍스트 적응 가변길이 부호가 이용되고, 다른 신텍스 요소의 부호화에는 다른 다양한 정수 부호가 이용된다. 또, 컨텍스트 적응 산술 부호화(CABAC)가 이용되는 경우도 있다.
가변길이 부호에 의해, 부호화 완료 비트 스트림을 가역 압축할 수 있다. 그러나 부호어는 가변길이이기 때문에, 부호어를 연속해서 복호해야 한다. 즉, 엔트로피 부호화를 리스타트(초기화)하지 않거나, 또는, 복호 시의 최초의 부호어(개시점)의 위치를 개별적으로 나타내지 않고, 선행의 부호어를 부호화 또는 복호하기 전에, 다음의 부호어를 부호화 또는 복호할 수는 없다.
소정의 확률 모델에 의거하는 산술 부호화에 의해 비트열이 1개의 부호어로 부호화된다. 소정의 확률 모델은, CABAC의 경우의 영상 시퀀스의 내용에 따라 결정된다. 따라서, 부호화 대상의 비트 스트림의 길이가 길수록, 산술 부호화 및 CABAC는 보다 효율적으로 행해진다. 즉, 비트열에 적용되는 CABAC는, 보다 큰 블록에 있어서 보다 효율적이라고 할 수 있다. 각 시퀀스의 선두에서 CABAC가 리스타트된다. 즉, 각 영상 시퀀스의 선두에서 확률 모델이 기정치 또는 소정치로 초기화된다.
H.264/MPEG-4, H.264/MPEG-4 AVC, 및, HEVC는, 비디오 부호화층(VCL) 및 네트워크 추상화층(NAL)의 2개의 기능층을 가진다. 비디오 부호화층에 의해 부호화 기능이 제공된다. NAL은, 채널을 넘는 송신 및 기억 장치로의 저장 등의 용도에 따라, NAL 유닛으로 칭해지는 표준 단위로 정보 요소를 캡슐화한다. 이 정보 요소는, 예를 들면, 부호화 예측 오차 신호, 및, 영상 신호의 복호에 필요한 정보이다. 영상 신호의 복호에 필요한 정보란, 예측 타입, 양자화 파라미터 및 움직임 벡터 등이다.
NAL 유닛에는, 압축 영상 데이터와 관련 정보를 포함하는 VCL NAL 유닛과, 영상 시퀀스 전체에 관련하는 파라미터 세트 등의 추가 데이터를 캡슐화하는 non-VCL 유닛과, 복호 정밀도의 개선에 이용하는 것이 가능한 추가 정보를 제공하기 위한 부가 확장 정보(SEI)가 있다.
예를 들면, non-VCL 유닛에는 파라미터 세트가 포함된다. 파라미터 세트란, 일정한 영상 시퀀스의 부호화 및 복호에 관한 복수의 파라미터 세트이다. 예를 들면, 파라미터 세트에는, 영상 시퀀스(픽처 시퀀스) 전체의 부호화 및 복호에 관련하는 파라미터를 포함하는 시퀀스 파라미터 세트(SPS)가 있다.
시퀀스 파라미터 세트는, 신텍스 요소를 포함하는 신텍스 구조를 가진다. 각 슬라이스 헤더에 포함되는 신텍스 요소인 pic＿parameter＿set＿id에 의해, 참조처의 픽처 파라미터 세트(PPS)가 지정된다. 또, PPS에 포함되는 신텍스 요소인 seq＿parameter＿set＿id에 의해, 참조처의 SPS가 지정된다. 이와 같이, SPS에 포함되는 신텍스 요소는, 부호화 영상 시퀀스 전체에 적용된다.
PPS는, 영상 시퀀스에 포함되는 1장의 픽처의 부호화 및 복호에 적용되는 파라미터를 정의한 파라미터 세트이다. PPS는, 신텍스 요소를 포함하는 신텍스 구조를 가진다. 각 슬라이스 헤더에 포함되는 신텍스 요소인 pic＿parameter＿set＿id에 의해, 참조처의 픽처 파라미터 세트(PPS)가 지정된다. 이와 같이, SPS에 포함되는 신텍스 요소는, 부호화 픽처 전체에 적용된다.
따라서, PPS보다 SPS의 추적을 계속하는 것이 용이하다. 왜냐하면, PPS가 각 픽처에 대해 변화하는데 반해, SPS는, 수분 또는 수시간에 달할 가능성이 있는 영상 시퀀스 전체에 대해 일정하기 때문이다.
VPS는, 최상위 계층의 파라미터이며, 복수의 영상 시퀀스에 관한 정보를 포함한다. VPS에 포함되는 정보는, 비트 레이트 및 영상 시퀀스의 temporal＿layering 구조 등이다. 또, VPS는, 층간의 의존성(상이한 영상 시퀀스 간의 의존성)에 관한 정보를 포함한다. 따라서, VPS는, 복수의 영상 시퀀스에 관한 정보로서 간주할 수 있으며, VPS에 의해, 각 영상 시퀀스의 개요를 알 수 있다.
도 2는, H.264/MPEG-4 AVC 또는 HEVC 영상 부호화 규격에 준거한 화상 복호 장치(200)의 일례를 나타내는 블럭도이다.
화상 복호 장치(200)에 입력된 부호화 신호(201)(비트 스트림)는, 엔트로피 복호부(290)에 보내진다. 엔트로피 복호부(290)는, 부호화 신호(201)를 복호함으로써, 양자화 계수와, 움직임 데이터 및 예측 모드 등의 복호에 필요한 정보 요소를 취득한다. 또, 엔트로피 복호부(290)는, 얻어진 양자화 계수를, 이차원 행렬을 얻을 목적으로 역주사함으로써 양자화 계수(291)를 생성하고, 양자화 계수(291)를 역변환부(230)에 출력한다.
역변환부(230)는, 양자화 계수(291)를 역양자화 및 역변환함으로써 잔차 신호(231)를 생성한다. 잔차 신호(231)는, 양자화 노이즈가 없고, 오차가 생기지 않은 화상 부호화 장치로 입력된 입력 화상 신호로부터 예측 신호를 감산함으로써 얻어지는 차분에 상당한다.
예측부(280)는, 시간 예측 또는 공간 예측을 이용하여 예측 신호(281)를 생성한다. 통상, 복호 완료 정보 요소는 또한, 인트라 예측의 경우에는 예측 타입 등의, 또, 움직임 보상 예측의 경우에는 움직임 데이터 등의 예측에 필요한 정보를 포함한다.
가산기(240)는, 공간 도메인에 있어서의 잔차 신호(231)와, 예측부(280)에서 생성된 예측 신호(281)를 가산함으로써, 복호 화상 신호(241)를 생성한다. 디블로킹 필터(250)는, 복호 화상 신호(241)에 디블로킹 필터 처리를 행함으로써 복호 화상 신호(251)를 생성한다. 적응적 루프 필터(260)는, 복호 화상 신호(251)에 샘플 적응 오프셋 처리, 및 적응적 루프 필터 처리를 행함으로써 복호 화상 신호(261)를 생성한다. 이 복호 화상 신호(261)는, 표시 화상으로서 출력됨과 함께, 복호 화상 신호(271)로서 참조 프레임 버퍼(270)에 저장된다. 복호 화상 신호(271)는, 후속의 블록 또는 화상의 시간 또는 공간 예측에 사용된다.
H.264/MPEG-4 AVC와 비교하면, HEVC는, 부호화 및 복호의 고도한 병렬 처리를 보조하는 기능을 가진다. H.264/MPEG-4 AVC와 마찬가지로, HEVC에서는, 프레임을 복수의 슬라이스로 분할할 수 있다. 여기서, 각 슬라이스는, 주사 순서에서 연속되는 복수의 LCU를 포함한다. H.264/MPEG-4 AVC에 있어서, 슬라이스는 각각, 개개로 복호 가능하며, 슬라이스에 걸친 공간 예측은 행해지지 않는다. 따라서, 슬라이스 단위로, 병렬 처리가 가능하다.
그러나 슬라이스는 꽤 큰 헤더를 가지고 있으며, 또, 슬라이스 간에서 의존성이 없기 때문에, 압축의 효율이 저하된다. 또, CABAC 부호화는, 작은 데이터 블록으로 행해지는 경우에 효율성이 손상된다.
이에 대해, 보다 효율적인 병렬 처리를 가능하게 하기 위해, 파면 병렬 처리(WPP)가 제안되어 있다. WPP에서는, 픽처의 각 LCU행(이하, 간단히 「행」이라고도 부른다)의 1번째의 LCU(선두의 LCU)의 리세트에 이용하는 CABAC 확률 모델로서, 전행의 2번째의 LCU의 처리 후의 확률 모델이 이용된다. 이것에 의해, 블록 간의 의존성이 유지된다. 따라서, 복수의 LCU행의 병렬 복호가 가능하게 된다. 또, 각 행의 처리는, 전행에 대해, LCU 2개만큼 지연된다.
또, LCU행의 복호를 개시하는 위치인 개시점을 나타내는 정보가 슬라이스 헤더에 포함되어 신호 전달된다. 또한, WPP의 상세에 대해서는, 비특허 문헌 1에 기재되어 있다.
병렬화 개선을 위한 다른 수법으로서 타일을 이용하는 방법이 있다. 프레임(픽처)은, 복수의 타일로 분할된다. 각 타일은, 사각형이며, 복수의 LCU를 포함한다. 타일 간의 경계는, 행렬형상으로 픽처를 분할하도록 설정된다. 또, 복수의 타일은, 래스터 스캔순으로 처리된다.
또, 각 타일의 경계에 있어서 모든 의존성이 소실된다. CABAC 등의 엔트로피 부호화도, 각 타일의 선두에서 리세트된다. 또한, 디블로킹 필터 처리와 샘플 적응 오프셋 처리 만이, 타일 간의 경계에 걸쳐 적용된다. 따라서, 복수의 타일을 병렬로 부호화 또는 복호할 수 있다. 또한, 타일의 상세에 대해서는, 비특허 문헌 2 및 비특허 문헌 3에 기재되어 있다.
또, 슬라이스의 개념을, H.264/MPEG-4 AVC에 있어서의 슬라이스의 본래의 목적인 오류 내성보다, 병렬화에 적절한 개념으로 하기 위해, 의존 슬라이스 및 엔트로피 슬라이스의 개념이 제안되어 있다. 즉, HEVC에서는, 통상 슬라이스, 의존 슬라이스, 및, 엔트로피 슬라이스 3개의 슬라이스가 이용된다.
통상 슬라이스는, H.264/MPEG-4 AVC에 의해 이미 알려져 있는 슬라이스이다. 통상 슬라이스 간에서는 공간 예측은 불가능하다. 즉, 슬라이스 간의 경계에 걸친 예측은 불가능하다. 바꾸어 말하면, 다른 슬라이스를 참조하지 않고, 통상 슬라이스는 부호화된다. 이러한 슬라이스의 복호를 따로따로 행할 수 있도록, CABAC는 각 슬라이스의 선두에서 리스타트된다.
또, 프레임의 선두에는, 통상 슬라이스가 이용된다. 즉, 각 프레임은 통상 슬라이스로부터 개시해야 한다. 통상 슬라이스는, 슬라이스 데이터의 복호에 필요한 파라미터를 포함하는 헤더를 가진다.
엔트로피 슬라이스는, 친(親)슬라이스와 엔트로피 슬라이스의 사이에서 공간 예측이 가능한 슬라이스이다. 여기서, 친슬라이스란, 예를 들면, 엔트로피 슬라이스의 직전의 통상 슬라이스이다. 친슬라이스 및 엔트로피 슬라이스의 해석은, 독립적으로 행해진다.
또, 슬라이스 데이터의 해석은, 슬라이스 헤더의 신텍스 요소를 제외하고는, 친슬라이스와 엔트로피 슬라이스에서 독립적으로 행해진다. 즉, 엔트로피 슬라이스의 CABAC 복호 처리에는, 친슬라이스의 슬라이스 헤더에 포함되는 신텍스 요소가 필요하다. 예를 들면, 이 신텍스 요소는, 슬라이스 데이터가 필터링 파라미터를 포함하는지 어떤지를 나타내는 전환 정보를 포함한다. 슬라이스 데이터에 필터링 파라미터가 존재하는 경우, CABAC 복호부는 그 정보를 추출한다. 존재하지 않는 경우, CABAC 복호부는, 필터링 데이터를 상정하지 않는다. 즉, 통상 슬라이스의 슬라이스 헤더를 해석 후, CABAC 복호부는, 친슬라이스와 엔트로피 슬라이스를 병렬해서 처리할 수 있다.
그러나 친슬라이스는, 예를 들면 통상 슬라이스여도 되며, 엔트로피 슬라이스의 화소치의 재구축에 필요하게 된다. 또, 엔트로피 슬라이스가 독립 해석될 수 있도록, 슬라이스의 선두에서 CABAC도 리스타트된다.
엔트로피 슬라이스에, 통상 슬라이스의 슬라이스 헤더보다 짧은 슬라이스 헤더를 이용할 수 있다. 슬라이스 헤더에는, 통상 슬라이스의 헤더 내에서 송신되는 정보에 관한 부호화 파라미터 서브셋이 포함된다. 엔트로피 슬라이스의 헤더에 포함되지 않는 정보는, 친슬라이스의 헤더로부터 카피된다.
의존 슬라이스는, CABAC가 리스타트되지 않는 엔트로피 슬라이스와 유사하다. CABAC의 리스타트란, 컨텍스트 테이블(확률 테이블)을 디폴트값으로 초기화하는 처리와, 산술 부호화 처리 또는 산술 복호 처리에 있어서의 종단 처리(타미네이트 처리)를 포함한다.
친슬라이스의 헤더는, 의존 슬라이스의 해석 및/또는 복호에 이용된다. 따라서, 친슬라이스 없이 의존 슬라이스를 해석할 수는 없기 때문에, 친슬라이스를 취득하고 있지 않는 경우, 의존 슬라이스를 복호할 수 없다. 친슬라이스는 통상, 부호화 순서에 있어서 의존 슬라이스의 선행 슬라이스이며, 완전한 슬라이스 헤더를 포함하는 슬라이스이다. 이것은, 엔트로피 슬라이스의 친슬라이스에서도 동일하다.
일반적으로, 엔트로피 슬라이스는, 다른 슬라이스의 헤더 파라미터에 의존하고 있다고 간주할 수 있기 때문에, 의존 슬라이스 및 엔트로피 슬라이스 양쪽에 본 발명을 적용하는 것이 가능하다.
이상과 같이, 의존 슬라이스 및 엔트로피 슬라이스는, 슬라이스의 부호화 순서에 있어서의 직전의 슬라이스의 슬라이스 헤더(의존 슬라이스의 헤더에 포함되지 않은 정보)를 이용한다. 이 룰은 귀납적으로 적용된다. 대상 의존 슬라이스가 의존하는 친슬라이스가 참조 가능하다고 인식된다. 참조에는, 슬라이스 간의 공간 예측 및 공통 CABAC 상태 등의 이용이 포함된다. 의존 슬라이스는, 직전의 슬라이스의 종단에서 생성되는 CABAC 컨텍스트 테이블을 이용한다. 이와 같이, 의존 슬라이스는, CABAC 테이블을 디폴트값으로 초기화하지 않고, 작성이 완료된 테이블을 계속해서 이용한다. 또, 엔트로피 슬라이스 및 의존 슬라이스에 관해서는, 비특허 문헌 3에 기재되어 있다(예를 들면, 제73 페이지의 「dependent＿slice＿flag」 등을 참조).
WPP가 이용되는 경우, 의존 슬라이스가 LCU행의 선두에서 시작되며, 또한, 상기 선두의 LCU의 우측 위의 LCU를 포함하는 슬라이스가 참조 가능한 것으로 나타나 있으면, 의존 슬라이스는, 우측 위의 LCU의 CABAC 컨텍스트 테이블을 이용한다.
HEVC는, 몇 가지의 프로파일을 제시한다. 프로파일은, 특정의 어플리케이션에 적절한 화상 부호화 장치 및 화상 복호 장치의 설정을 포함한다. 예를 들면, 「주요 프로파일」은, 통상 슬라이스 및 의존 슬라이스만을 포함하고, 엔트로피 슬라이스를 포함하지 않는다.
상기 서술한 바와 같이, 부호화 슬라이스는, NAL 유닛에 캡슐화되며, 또한, 예를 들면 리얼타임 프로토콜(RTP)에 캡슐화되어, 최종적으로 인터넷 프로토콜(IP) 패킷에 캡슐화된다. 이 프로토콜 스택 또는 다른 프로토콜 스택에 의해, 인터넷 또는 고유 네트워크 등의 패킷 지향형 네트워크에 있어서, 부호화 영상의 송신이 가능하게 된다.
전형적으로, 네트워크는 적어도 1개 이상의 라우터를 포함하고, 라우터는 초고속으로 동작하는 전용 하드웨어로 구성된다. 라우터는, IP 패킷을 수신하여 IP 패킷의 헤더를 해석하고, 적절히 IP 패킷을 각각의 수신처에 전송하는 기능을 가진다. 라우터는, 많은 소스로부터의 통신을 처리할 필요가 있으므로, 로직을 제어하는 패킷은 가능한 한 심플하지 않으면 안 된다. 라우터는, 적어도, IP 패킷을 전송하는 경로를 결정하기 때문에, IP 헤더에 포함되는 수신처 어드레스 필드를 확인할 필요가 있다. 서비스 품질(QoS)에 대한 서포트를 더 제공하기 위해, 스마트(미디어·어웨어) 라우터는, IP 헤더, RTP 헤더, 및 NALU 헤더 등의 네트워크·프로토콜 헤더에 있어서의 전용 필드를 추가적으로 확인한다.
영상 부호화에 관한 상기의 기재로부터 알 수 있는 바와 같이, 의존 슬라이스 및 엔트로피 슬라이스 등, 병렬 처리를 위해 정의된 상이한 타입의 슬라이스는, 데이터가 결락된 경우의 화질의 저하에 대한 중요성이 상이하다. 친슬라이스 없이, 의존 슬라이스를 해석 및 복호할 수는 없다. 왜냐하면, 의존 슬라이스의 선두에서, 엔트로피 부호화부 또는 엔트로피 복호부를 리스타트할 수 없기 때문이다. 따라서, 화상 또는 영상을 재구축하는데, 친슬라이스는 보다 중요하다고 할 수 있다.
HEVC에 있어서, 의존 슬라이스 및 엔트로피 슬라이스는, 의존성의 보완적인 측면으로서, 슬라이스 간의 의존성(프레임 내의 의존성)을 도입하고 있다. 이 의존성은, 프레임 내의 유일한 의존성은 아니다.
또, 타일마다 슬라이스의 병렬 처리를 행하기 때문에, 산술 부호화부 및 산술 복호부의 컨텍스트는, 디폴트의 설정에 의해, 또는, 부호화 완료 혹은 복호 완료 슬라이스에 의거하여 결정된다. 그러나 헤더의 의존성과, 산술 부호 초기화의 의존성과는 상이하므로, 병렬 처리 및 의존 슬라이스의 메카니즘의 목적에 반하며, 지연이 생기거나 복잡함이 늘어날 가능성이 있다.
의존 슬라이스는, WPP 또는 타일 등의 병렬 처리 툴과 함께 이용할 수 있다. 또, 의존 슬라이스를 이용함으로써, 부호화 손실을 일으키지 않고 전송 지연을 삭감하는 것이 가능한 웨이브(WAVE) 프런트(서브 스트림)를 생성할 수 있다.
또, 의존 슬라이스에서는 CABAC가 리스타트되지 않기 때문에, 의존 슬라이스를 CABAC 서브 스트림의 개시점으로서 이용할 수 있다. 또, 독립된 해석의 개시점을 나타내기 위해, 상기 개시점을 나타내는 정보를 비트 스트림에 포함하여 전달해도 된다. 특히, 2개 이상의 CABAC 서브 스트림을 통상 슬라이스 또는 의존 슬라이스에 캡슐화하는 경우, 서브 스트림마다의 바이트 수를 이용하여 명시적으로 개시점을 신호 전달한다. 여기서, 서브 스트림은, 개시점에 의해 따로 따로 해석 가능한 스트림의 일부분을 나타낸다. 또한, 각 의존 슬라이스는 NAL 유닛의 헤더를 필요로 하기 때문에, 개시점의 「마커」로서 의존 슬라이스를 이용할 수 있다. 즉, 그러한 마커에 대한 개시점을 신호 전달할 수 있다.
신호에 의해 명시적으로 개시점을 통지하는 방법과, 의존 슬라이스를 통하여 개시점을 마킹하는 방법은 동시에 이용할 수 있다. 여기서, 각 NAL 유닛의 개시점(각 NAL 헤더의 선두)을 특정할 수 있을 필요가 있다. 또한, 특정 방법에 관해서는, 임의의 방법을 이용할 수 있다. 예를 들면, 이하의 2개의 방법을 이용할 수 있다.
첫 번째의 방법은, 각 NAL 헤더의 선두에, 예를 들면, 3바이트의 스타트 코드를 삽입하는 방법이다. 두 번째의 방법은, 각 NAL 유닛을 따로 따로의 패킷으로 패킷화하는 방법이다. 또, 슬라이스의 의존성을 위해, 슬라이스 헤더의 사이즈를 축소해도 된다.
이러한 방법에 의해, 엔트로피 슬라이스에 대해 병렬 CABAC 해석이 가능하게 된다. 이것은, 엔트로피 슬라이스의 선두에서 CABAC가 반드시 리스타트되기 때문이다. CABAC의 병렬 처리에서는, 연속하는 화소 구축 처리 후의 병렬 CABAC 해석에 의해 장해를 극복할 수 있다. 구체적으로는, WPP 병렬화 툴에 의해, 각 LCU행의 복호 처리를 1개의 처리 코어에 의해 실현할 수 있다. 또한, 각 코어로의 LCU행의 할당은 상이해도 된다. 예를 들면, 1개의 코어에 2행이 할당되어도 되고, 2개의 코어에 1행이 할당되어도 된다.
도 3a는, 복수의 행으로 분할된 픽처(300)를 나타내는 도이다. 각 행은, 복수의 최대 부호화 단위(LCU)를 포함한다. 행(301)(Wavefront1) 및 행(302)(Wavefront2)은, 병렬로 처리되는 대상이다. 도 3a의 CABAC 상태(CABAC states)의 화살표로 나타내는 바와 같이, 행(301)에 있어서 최초의 2개의 LCU가 복호된 후, 행(302)의 처리가 시작된다. 또, 행(301)의 최초의 2개의 LCU를 부호화 또는 복호한 후의 CABAC 상태가, 행(302)의 CABAC 초기화 시에 이용된다. 따라서, 행(302)의 처리는, 행(301)의 최초의 2개의 LCU의 처리가 종료된 후에 개시 가능하다. 즉, 2개의 처리 코어의 사이에서 LCU 2개분의 지연이 존재한다.
도 3b는, WPP를 이용한 의존 슬라이스의 사용예를 나타내는 도이다. 도 3b에 나타내는 픽처(310)는, 행(311~314)을 포함한다. 여기서, 행(311)(Wavefront1), 행(312)(Wavefront2), 및 행(313)(Wavefront3)은, 따로 따로의 코어에서 처리된다.
의존 슬라이스는, 지연을 개선할 수 있는 WPP를 형성한다. 의존 슬라이스에는 완전한 슬라이스 헤더가 없다. 또, 개시점(또는, 상기 서술한 바와 같은 룰에서 알려지는, 의존 슬라이스의 개시점)을 알고 있으면, 다른 슬라이스와는 독립적으로 의존 슬라이스를 복호할 수 있다. 또, 의존 슬라이스는, 부호화 손실을 일으키지 않고, 저(底)지연 어플리케이션에도 적합한 WPP를 형성할 수 있다.
서브 스트림(LCU행)을 슬라이스에 캡슐화하는 통상의 케이스에서는, 확실히, 엔트로피 부호화 및 복호를 병렬로 행하기 위해서는 명확한 개시점을 슬라이스 헤더에 삽입할 필요가 있다. 그 때문에, 슬라이스의 마지막 서브 스트림이 완전하게 부호화되고 비로소, 슬라이스의 전송의 준비를 할 수 있다. 또, 슬라이스 중의 모든 서브 스트림의 부호화가 완료되고 비로소 슬라이스 헤더는 완성된다. 즉, 슬라이스 전체의 처리가 끝날 때까지, RTP/IP층의 패킷 플레그멘테이션을 통하여 슬라이스의 선두의 전송을 개시할 수 없다.
그러나 의존 슬라이스가 이용되는 경우에는, 의존 슬라이스를 개시점 마커로서 이용할 수 있기 때문에, 개시점의 명시적인 신호에 의한 통지는 필요 없다. 따라서, 부호화 손실 없이 통상 슬라이스를 많은 의존 슬라이스로 분할할 수 있다. 또, 캡슐화된 서브 스트림의 부호화가 완료되면 바로(또는, 패킷 플레그멘테이션의 경우는, 그것보다 빨리), 의존 슬라이스를 전송할 수 있다.
또, 의존 슬라이스는, 공간 예측의 의존성을 약하게 하지 않는다. 또한, 의존 슬라이스는 해석 의존성도 약하게 하지 않는다. 왜냐하면, 대상 의존 슬라이스의 해석에는 통상, 선행 슬라이스의 CABAC 상태를 필요로 하기 때문이다.
의존 슬라이스가 허가되지 않는 경우, 각 LCU행을 슬라이스로 할 수 있다. 그러한 구성은 전송 지연을 개선하지만, 동시에, 상기 서술한 바와 같이 큰 부호화 손실이 발생하게 된다.
프레임(픽처) 전체를 1개의 슬라이스에 캡슐화하는 경우를 상정한다. 이 경우, 병렬 해석을 가능하게 하기 위한, 슬라이스 헤더에 서브 스트림(LCU행)의 개시점을 신호에 의해 전달할 필요가 있다. 이것에 의해 프레임 레벨에서 전송 지연이 발생한다. 즉, 프레임 전체를 부호화한 후, 헤더를 수정할 필요가 있다. 픽처 전체를 1개의 슬라이스에 캡슐화하는 것 자체는, 전송 지연을 악화시키지 않는다. 예를 들면, 부호화가 완전하게 끝나기 전에, 슬라이스의 일부의 전송을 개시해도 된다. 그러나 WPP를 이용하는 경우, 개시점을 적기 위해 슬라이스 헤더를 나중에 수정할 필요가 있다. 따라서, 슬라이스 전체의 전송을 지연시킬 필요가 있다.
이와 같이, 의존 슬라이스의 사용에 의해, 지연을 삭감할 수 있다. 도 3b에 나타내는 바와 같이, 픽처(310)는, 통상 슬라이스인 행(311), 의존 슬라이스인 행(312, 313 및 314)으로 분할된다. 각 행이 1개의 의존 슬라이스인 경우, 부호화 손실 없이, 1개의 행의 전송을 지연시킬 수 있다. 이것은, 의존 슬라이스가, 공간 의존을 약하게 하지 않으며, 또한 CABAC 엔진을 리스타트하지 않기 때문이다.
도 4a 및 도 4b는, CABAC 초기화의 다른 예를 나타내는 도이다. 도 4a는, WPP를 이용하지 않은 경우의 CABAC의 초기화가 나타나 있다. 또, WPP 및 타일 양쪽이 이용되지 않았다. 또, 통상 슬라이스 및 의존 슬라이스를 함께 이용하는 것은 인정된다.
의존 슬라이스(3)는, 통상 슬라이스(2)로부터 헤더를 카피한다. 즉, 통상 슬라이스(2)는, 의존 슬라이스(3)의 친슬라이스이다. 의존 슬라이스(3)는, 통상 슬라이스(2)의 종단에서 생성된 컨텍스트 테이블을 이용한다. 의존 슬라이스(3)는, 통상 슬라이스(1)가 아니라, 통상 슬라이스(2)에 의존한다. 즉, 통상 슬라이스(1)와 의존 슬라이스(3)의 사이에는, 공간 예측은 존재하지 않는다.
도 4b는, WPP를 이용하는 경우의 CABAC의 초기화를 나타내는 도이다. 통상 슬라이스, 의존 슬라이스, 및, WPP를 함께 이용하는 것은 인정되고 있다.
의존 슬라이스(3)는, 통상 슬라이스(2)의 헤더를 카피한다. 의존 슬라이스(3)는, 통상 슬라이스(1)의 2번째의 LCU의 종단에서 생성된 컨텍스트 테이블을 이용하는 것이 예상된다. 그러나 슬라이스(2)가 통상 슬라이스이기 때문에, 슬라이스(1)의 2번째의 LCU는 참조할 수 없는 것이 나타난다. 즉, 슬라이스(1)는, 부호화 순서에 있어서 의존 슬라이스의 직전의 선행 슬라이스는 아니기 때문에, 참조되지 않는다.
그러나 슬라이스(2)는, 슬라이스(3) 및 (4)의 참조 슬라이스로서 이용된다. 즉, 슬라이스(3)의 복호를 개시할 때, CABAC 상태는 디폴트값으로 초기화될 필요가 있다(도 4b에, 점선의 화살표로 나타나 있다). 의존 슬라이스(4)는, 상기 서술한 바와 같은 WPP의 조건에 따른 우측 위의 제2 LCU 뒤의 CABAC 상태(실선의 화살표)를 이용한다.
도 5는, 현재의 HEVC 참조 모델(HM8.0)에 준거하는 슬라이스 헤더의 신텍스예를 나타내는 도이다. 슬라이스 헤더(320)는, 대상 슬라이스가 의존 슬라이스인지, 통상 슬라이스인지를 나타내는 신텍스 요소 dependent＿slice＿flag를 포함한다.
도 5의 행(321)으로부터 알 수 있는 바와 같이, dependent＿slice＿flag가 0과 동등한 경우, 헤더는 슬라이스 헤더 정보를 포함한다. 즉, 슬라이스가 완전한 헤더를 가진다. 그렇지 않은 경우, 헤더는 슬라이스 헤더 정보를 포함하지 않는다. 즉, 상기 서술한 바와 같이, 의존 슬라이스 및 엔트로피 슬라이스는, 완전한 슬라이스 헤더를 가지지 않고, 선행의 통상 슬라이스의 헤더를 참조한다.
병렬 처리를 서포트하기 위해, 개시점이 후에 신호로 전해진다. 엔트로피 부호화부 또는 엔트로피 복호부가 리스타트되지 않는 경우에도, 이 개시점을 이용하여, 개시점 간의 영상 스트림(서브 스트림)의 일부에 대해, 병렬 복호를 독립적으로 행할 수 있다. 상기 서술한 바와 같이, 의존 슬라이스, 통상 슬라이스, 및, 엔트로피 슬라이스에 대해서도, 개시점이 마크된다.
HEVC에 있어서, 몇 가지의 병렬 처리 툴이 있다. 상기 서술한 바와 같이, 이 툴은, WPP, 의존 슬라이스, 엔트로피 슬라이스, 및 타일이다. 그러나 이들 툴은 호환성이 없는 것도 있으므로, 이들을 조합한 이용에는 제한이 있다. 일반적으로, 타일과 슬라이스를 함께 이용하는 것은 인정되고 있다.
단, 주요 프로파일에 있어서, 1개의 슬라이스를 1 이상의 정수개의 타일로 분할하지 않으면 안 되며, 또, 1개의 타일을 1 이상의 정수개의 슬라이스로 분할해야 한다는 제한이 있다. 전형적으로는, 이 제한은 특정의 프로파일(또는, 프로파일의 특정의 레벨)에 적용된다. 이 제한의 목적은, 하드웨어 실행의 복잡함을 저감하는 것이다.
PPS의 entropy＿coding＿sync＿enabled＿flag가 1과 동등하고(즉, WPP가 사용되며), 슬라이스에 포함되는 1번째의 부호화 블록이, 타일의 부호화 트리 블록으로 구성되는 행의 1번째의 부호화 트리 블록의 1번째의 부호화 블록이 아닌 경우, 비트 스트림이 규격에 적합한 조건은, 슬라이스의 마지막 부호화 블록이, 슬라이스의 1번째의 부호화 블록과 동일한 부호화 트리 블록행에 속하는 것이다. 부호화 트리는, LCU의 구조, 및, LCU를 각각 또한, 4블록으로 귀납적으로 분할하는 것을 나타낸다. 즉, WPP가 가능한 경우, 그리고, 대상 LCU행의 선두로부터 슬라이스가 개시되지 않는 경우, 슬라이스는, 대상 LCU행의 종단 또는 그것보다 전에 종료해야 한다. 또, 병렬 처리 수단뿐만이 아니라 HEVC 신텍스에 관한 상세도, 비특허 문헌 3에 기재되어 있다.
이 제한을, 도 6을 이용하여 설명한다. 도 6에 나타내는 픽처(330)는, 통상 슬라이스인 슬라이스(331, 332 및 333)를 포함한다. 슬라이스(331 및 332)는, 1개의 LCU행에 포함된다. 슬라이스(333)는, 복수의 LCU행(이 예에서는 3행)에 걸쳐 있기 때문에, 허가되지 않는 슬라이스이다. 상기의 제한에 따라, 슬라이스(333)는, 제1 LCU행의 종단에서 끝나지 않으면 안 된다.
도 7은, WPP를 이용하는 경우의, 허가되는 슬라이스 구조를 가지는 픽처(340)를 나타내는 도이다. 픽처(340)는, 통상 슬라이스인 슬라이스(341, 342 및 343)와, 의존 슬라이스인 슬라이스(344)를 포함한다. 이들 슬라이스(341, 342 및 343)는, 1행째의 LCU행에 포함된다. 슬라이스(344)는, 다음의 2행을 포함한다.
슬라이스(344)는 의존 슬라이스이기 때문에, 슬라이스(344)에 대한 CABAC 초기화는, 다른 슬라이스(341, 342 및/또는 343)에 의존한다. 슬라이스(342 및 343) 중 어느 하나가 도 7에 나타내는 바와 같이 통상 슬라이스인 경우, 슬라이스(344)는 디폴트의 CABAC 상태로 초기화된다. 그렇지 않은 경우는, WPP 테이블이 이용된다. 즉, 대상행의 위의 LCU행의 2번째의 LCU의 처리 후의 CABAC 상태가 초기화에 이용된다.
이 예에서는, 도 4b 및 상기 서술한 CABAC 초기화의 관련 기재에 있어서 서술한 바와 같이, 의존 슬라이스(344)에 대한 CABAC는, 미리 정해진 디폴트의 CABAC 상태를 이용하여 초기화된다.
이와 같이, CABAC 초기화는, 복수의 선행 슬라이스에 의거한다. 따라서, 대상 슬라이스의 처리, 특히 해석에 대해서는, 복수의 다른 슬라이스에 의존한다. 구체적으로는, 대상 슬라이스의 선행 슬라이스의 종류에 따라, CABAC 컨텍스트가 디폴트값 및 WPP값의 어느 쪽에서 초기화되는지 결정된다. 이와 같이, 선행 슬라이스를 이용 가능한지 어떤지가 확인되고, 대상 슬라이스에 적용하는 초기화 방법이 결정된다. 즉, 꽤 복잡한 순서의 처리가 필요하다. 이하, 이것에 대해서 상세하게 설명한다.
제1 슬라이스(341)가 적어도 2개의 LCU를 가지므로, 최초의 2개의 LCU를 부호화 또는 복호한 후의 CABAC 상태를 참조하는 것은 가능하다.
또, 슬라이스(342) 또는 슬라이스(343)가 소실된 경우, 슬라이스(344)를 정확하게 복호할 수는 없다. 왜냐하면, 슬라이스(342) 또는 슬라이스(343)의 종류를 모르기 때문에, CABAC의 초기화를 할 수 없기 때문이다. 즉, 2개의 선행 슬라이스에 관한 정보만이 결락되어, 슬라이스(344)를 올바르게 취득할 수 있었던 경우여도, 슬라이스(344)에 대한 CABAC의 초기화를 할 수 없기 때문에, 올바르게 취득할 수 있었던 슬라이스(344)의 데이터를 버리게 된다. 따라서, 슬라이스(344)에 대해, 오류 은폐가 필요하게 된다. 이것에 의해, 불완전한 오류 은폐에 의한 왜곡이 원인이 되어 화질이 저하될 가능성이 있다.
여기서, 슬라이스 헤더에 있어서, 신텍스 요소의 대부분(이들은 주로, 특정의 필터링 조작 등의 제어의 전환이다)은, 프레임에 포함되는 모든 슬라이스에 대해 결정될 필요가 있다. 또, 그 중에는 슬라이스마다 변경 가능한 신텍스 요소도 있지만, 화상 부호화 장치에 의한 대부분의 처리에서는, 프레임 전체에 대해 결정된 제어 파라미터가 모두 유지된다. 따라서, 오류 은폐하는 방법으로서 이하의 방법을 이용할 수 있다. 이 방법에서는, 소실된 슬라이스가 의존 슬라이스였는지, 통상 슬라이스였는지와 같은 정보만이 필요하게 된다.
또, 순서가 흐트러져 패킷이 도착하는 경우, 복호 지연은 악화된다. 즉, 패킷을 재배열이 예상되는 경우에는, 복호 지연이 악화될 가능성이 있다. 이것은, WPP의 기본적인 목적인, 의존 슬라이스에 의해 초저지연을 제공하는 것과 모순된다.
도 8은, CABAC 초기화 처리의 다른 예를 나타내는 도이다. 도 8에서는, 도 7에 나타내는 슬라이스의 구조를 상정하고 있다. 도 8에 나타내는 픽처(350)는, 슬라이스(351)와 슬라이스(354)를 포함한다. 슬라이스(351)는, 통상 슬라이스이며, 프레임 중의 1번째의 슬라이스이며, 4개의 LCU를 포함한다. 프레임의 선두에 있어서, 즉, 슬라이스(351)의 선두에 있어서, CABAC는 디폴트 상태값(제로 상태)으로 초기화된다. 또한, 복수의 디폴트 상태가 존재해도 되고, 이 경우, 복수의 디폴트 상태로부터, 하나의 디폴트 상태가 선택된다. 또한, 디폴트 상태란, 산술 부호의 확률 모델의 소정치이다.
의존 슬라이스(354)에 속하는 데이터를 취득해도, 결락 또는 에러에 의해 슬라이스(342) 및 슬라이스(343)(도 7 참조)의 데이터가 없는 경우는, 슬라이스(354)를 복호하는 것은 불가능하다. 왜냐하면, 상기 서술한 바와 같이, 슬라이스(342 및 343)의 정보 없이, CABAC 엔진을 초기화할 수는 없기 때문이다.
도 9는, 의존 슬라이스(354)가 취득되었을 때에 행해지는, 초기화 방법의 결정 처리의 플로차트이다. 바꾸어 말하면, 이 플로차트는, CABAC 초기화의, 2개 이상의 슬라이스에 대한 의존의 방법을 나타낸다.
슬라이스(4)(의존 슬라이스(354))에 대해 이하의 조건이 설정되는 것이 상정된다. WPP가 가능하다. SPS의 dependent＿slice＿enabled＿flag가 1로 설정되어 있다. 슬라이스(4)의 위치가 (식 1)을 만족한다.
slice＿address%numLCUinRow=0···(식 1)
여기서, 「%」는, 모듈로 연산(정수 나눗셈의 나머지)이다. 파라미터 numLCUinRow는, 픽처(350)의 1행당 LCU의 수를 나타낸다. 따라서, (식 1)의 조건은, 행의 선두에서 만족된다. 파라미터 numLCUinRow는, SPS의 설정으로부터 도출할 수 있다.
우선, 슬라이스(4)가 의존 슬라이스인지 아닌지가 판정된다(S101). 슬라이스(4)가 의존 슬라이스가 아닌 경우(S101에서 No), 디폴트의 초기화가 행해진다.
도 8에 나타내는 바와 같이, 슬라이스(4)가 의존 슬라이스인 경우(S101에서 Yes), i가 3으로 설정된다(S102). 즉, 슬라이스(4)의 직전의 슬라이스(3)가 슬라이스 i로 설정된다.
다음에, 슬라이스 i가, 슬라이스(4)의 1행 위부터 개시하고 있는지 아닌지가 판정된다(S103). 여기에서는, i가 3으로 설정되어 있기 때문에, 슬라이스 i는, 처리 대상의 의존 슬라이스(슬라이스(4))의 직전의 슬라이스(3)이다.
슬라이스 i가, 슬라이스(4)의 1행 위부터 개시하고 있지 않는 경우(S103에서 No), WPP의 초기화(WPP 테이블을 이용한 초기화)가 행해진다(S107).
한편, 슬라이스 i가, 슬라이스(4)의 1행 위부터 개시하고 있는 경우(S103에서 Yes), 즉 도 8에 나타내는 케이스의 경우, 슬라이스 i가 의존 슬라이스인지 아닌지가 판정된다(S104).
슬라이스 i가 의존 슬라이스가 아닌 경우(S104 No), 다음에, 슬라이스 i의 개시 위치가 분석된다. 구체적으로는, slice＿address%numLCUinRow가 2보다 작은지 아닌지가 판정된다(S106). 즉, 슬라이스 i의 개시 위치가, 행 선두 또는 2번째의 LCU인지가 판정된다.
slice＿address%numLCUinRow가 2보다 작은 경우(S106에서 Yes), WPP의 초기화가 행해진다(S107). 한편, slice＿address%numLCUinRow가 2 이상의 경우(S106에서 No), 디폴트의 초기화가 행해진다(S108).
또, 슬라이스 i가 의존 슬라이스인 경우(S104에서 Yes), 슬라이스 i의 개시 위치가 분석된다. 구체적으로는, slice＿address%numLCUinRow가 3보다 작은지 아닌지가 판정된다(S105). 즉, 슬라이스 i의 개시 위치가, 행 선두, 2번째, 또는 3번째의 LCU인지가 판정된다.
slice＿address%numLCUinRow가 3보다 작은 경우(S105에서 Yes), WPP의 초기화가 행해진다(S107). 한편, slice＿address%numLCUinRow가 3 이상의 경우(S105에서 No), 초기화는 행해지지 않고, 인덱스 i가 1감소한다(S109). 즉, 이 예에서는, 대상 슬라이스(슬라이스(4))의 2개 전의 슬라이스(2)가 슬라이스 i로 설정된다. 그리고 슬라이스(2)에 대해 단계 S103 이후의 처리가 행해진다. 또, 슬라이스(2)에 대해서도 동일한 판정이 행해진 경우에는, 다음에, 슬라이스(1)가 슬라이스 i로 설정된다.
도 10은, 픽처(360)를 나타내는 도이다. 픽처(360)는 5개의 슬라이스(361~365)를 포함한다. 슬라이스(361)는 통상 슬라이스이며, 1행째 전체를 포함한다. 슬라이스(362)는, 의존 슬라이스이며, 2행째 전체를 포함한다. 3행째는, 의존 슬라이스(363) 및 슬라이스(364)를 포함한다. 슬라이스(365)는 의존 슬라이스이며, 4행째 전체를 포함한다.
이하에서는, 슬라이스(364)가 소실된 경우, 또는 슬라이스(364)가 지연된 경우에 있어서, 슬라이스(364)가 의존 슬라이스인 경우, 및 슬라이스(364)가 통상 슬라이스인 경우의 각 케이스에 대해서 검토한다. 또, 여기에서는, 슬라이스(363)가 적어도 2개의 LCU를 가진다.
슬라이스(364)가 소실된 경우, 화상 복호 장치는, 슬라이스(364)의 종별을 판별할 수 없다. 소실된 슬라이스(364)가 의존 슬라이스인 경우, 재구축 처리에 있어서, 약간의 오차로, 슬라이스(365) 및 그 이후의 슬라이스의 복호를 계속하는 것은 가능하다. 왜냐하면, 도 8 및 9를 이용하여 설명한 바와 같이, 슬라이스(365)는, 슬라이스(363)의 2번째의 LCU의 CABAC 상태를 이용하기 때문이다. 따라서, CABAC 초기화 처리에서는 에러가 생기지 않는다. 그러나 슬라이스(365)가 슬라이스(364)로부터의 공간 예측을 이용하기 때문에, 화소 재구축 처리에서는 에러가 발생할 가능성이 있다.
한편, 소실된 슬라이스(364)가 통상 슬라이스인 경우, 슬라이스(365)를 복호할 수 없다. 왜냐하면, 신텍스 요소 중에는, 소실된 슬라이스(364)의 슬라이스 헤더의 정보를 이용하는 것이 있을지도 모르기 때문이다. 즉, 통상 슬라이스(364)가 의존 슬라이스(365)의 친슬라이스며, 의존 슬라이스(365)의 해석 및 복호에 친슬라이스의 정보가 필요하기 때문이다.
소실된 슬라이스(364)에 있어서의 슬라이스의 종별을 모르는 경우, 소실된 슬라이스(364)가 통상 슬라이스인 경우에 일어날 수 있는 잘못된 복호를 피하기 위해, 화상 복호 장치는 복호 가능한 슬라이스(365)를 버리게 된다. 이것은, 올바르게 슬라이스(365)의 데이터를 취득할 수 있었던 경우에도 슬라이스(365)를 버리게 되므로 비효율적이다. 또한, 슬라이스(365)에 이어지는 의존 슬라이스도 모두 버릴 필요가 있다.
슬라이스(364)가 통상 슬라이스인 경우, 슬라이스(365)의 복호 때문에, CABAC 엔진이 디폴트의 CABAC값으로 초기화된다(도 9의 S101에서 No의 경우를 참조). 따라서, 슬라이스(365)는 슬라이스(363)에 의존하지 않는다. 또, 슬라이스(363)와 슬라이스(365)의 사이의 공간 예측도 행해지지 않는다. 이와 같이, 슬라이스(365)의 개시 위치에 있어서 CABAC가 디폴트값으로 초기화되기 때문에, 의존 슬라이스(365)는 통상 슬라이스와 유사하다.
그러나 통상 슬라이스는 완전한 슬라이스 헤더를 가지고 있다. 한편, 슬라이스(365)는, 짧은 슬라이스 헤더만을 가지며, 선행의 통상 슬라이스의 슬라이스 헤더에 의해 설정되는 파라미터에 의존한다. 즉, 슬라이스(365)가 의존 슬라이스인 경우, 헤더의 사이즈를 작게 할 수 있다는 이점이 있지만, 이 이점은 그다지 크지 않다. 한편, 슬라이스(365)가 통상 슬라이스인 경우에는, 슬라이스(365)를 복호할 수 있다. 이와 같이, 상기 케이스에서는, 슬라이스(365)를 의존 슬라이스로 설정하는 것보다도, 통상 슬라이스로 설정하는 것이 이점이 컸다고 생각할 수 있다.
그러나 WPP에 있어서, 의존 슬라이스는, 손실에 대한 로버스트성을 확실히 하는 것이 목적이 아니라, 초저지연에서의 WPP 조작을 가능하게 하는 것을 목적으로 하고 있다. 한편, 실시간의 어플리케이션 등 네트워크를 넘은 초저지연 어플리케이션의 경우에는, 패킷 손실 및 패킷을 재배열이 예상된다. 이러한 경우에는, 최종적으로 슬라이스(364)를 취득할 수 있으면, 슬라이스(365)를 복호할 수는 있다. 그러나 적어도 지연의 악화 및 패킷의 손실을 일으키게 된다. 따라서, 손실이 많은 환경에 있어서는, WPP는 최적이 아닌 상태에서 행해지게 된다.
도 11은, WPP를 이용하는 경우의 CABAC 초기화에 관련하는 다른 과제를 나타내기 위한 도이며, 픽처(370)를 나타내는 도이다. 픽처(370)는, 4개의 슬라이스(371~374)를 포함한다.
슬라이스(371)는 통상 슬라이스이며, 슬라이스(372)는 의존 슬라이스이다. 여기서, 슬라이스(371)는 적어도 2개의 LCU를 가진다. 픽처(370)의 1행째는, 슬라이스(371 및 372)를 포함한다. 픽처(370)의 2행째는, 의존 슬라이스인 슬라이스(373 및 374)를 포함한다.
이 경우, 화상 부호화 장치는, 적어도 2개의 프로세서 코어를 이용하는 것이 상정된다. 즉, WPP를 사용하는 경우, 화상 부호화 장치는, 2개의 LCU행을 병렬로 부호화 및 해석한다. 따라서, 슬라이스(372)가 이용 가능하게 되기 훨씬 전에, 슬라이스(373)가 이용 가능하게 된다.
그러나 슬라이스(373)에 대한 CABAC 초기화는 슬라이스(372)에 의존하고 있기 때문에, 슬라이스(373)의 복호를 개시할 수 없다. 따라서, 행 간에 있어서의 부호화 또는 복호의 개시 지연을, 1개의 LCU행 전체보다 작게 할 수는 없다. 이것은, 2개의 LCU까지 지연을 작게 한다는 WPP의 목적에 모순된다.
도 11에 나타내는 바와 같은 슬라이스의 부호화 및 전송의 병렬 처리에 대해서, 이하에서 설명한다. 프로세서 코어 또는 프로세서 등의 2개의 처리부는, 각 행의 1번째의 슬라이스(슬라이스(371) 및 슬라이스(373))를 동시에 부호화한다. 부호화가 종료되면, 부호화 완료 슬라이스(371 및 373)는, 패킷 번호(packet＿id)가 각각 0과 4의 패킷에 캡슐화된다. 여기에서는, 슬라이스(372) 및 가능하면 다른 NALU를 위해, 작은 번호를 확보하기 때문에, 패킷 번호 4가 선택된다.
슬라이스(372)의 부호화가 완료되면, 슬라이스(372)는, 패킷 번호 1의 패킷에 캡슐화되어 전송된다. 또, 결락 패킷 번호 2 및 3이 패킷의 결락으로 판정되지 않도록, 대응하는 패킷 번호 2와 3, 및, 더미(필러) 데이터를 가지는 2개의 NAL 유닛이 생성된다.
HEVC에 있어서, 이것은, filler＿data SEI 메시지, 또는, 필러 데이터용으로 확보한 소정의 NAL 유닛 타입을 이용함으로써 달성된다. 이와 같이, 패킷 ID가 NAL 유닛마다 1개씩 증가할 필요가 있는 경우, 필러 타입 NALU가 그 차를 메우기 위해 이용된다.
대상행의 초기화는, 그 위의 행의 2번째의 LCU에 의존한다. 또, 2번째의 LCU 뒤에 슬라이스를 삽입한 경우, CABAC 초기화의 결정에 영향을 주므로 문제가 된다. 이 분석 및 문제에 의거하여, 본 발명은, WPP 및 의존 슬라이스의 이용의 보다 효율적인 관계를 유도하기 위한 수법을 제공한다. WPP의 효율성을 유지하기 위해 1행에 대한 CABAC 초기화가 다른 행에 의존한다는 상황은 피해야만 한다.
본 발명의 일 양태에 관련된 화상 복호 방법은, 화상이, 각각이 복수의 부호화 단위를 포함하는 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법이며, 상기 부호화 신호를 복호하는 복호 단계를 포함하고, 상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 상기 화상은, 각각이 복수의 부호화 단위를 포함하는 복수의 행을 포함하고, 통상 슬라이스가 제 1행의 선두 이외로부터 시작되는 경우, 상기 제 1행의 다음의 제 2행은 의존 슬라이스로부터 시작되지 않는다.
이것에 의하면, 제 2행의 선두의 슬라이스가, 제 1행의 선두 이외의 슬라이스를 참조하는 케이스의 발생을 제외시킬 수 있으므로, 병렬 처리 및 의존 슬라이스를 모두 이용할 때의 효율성을 개선할 수 있다.
예를 들면, 상기 복호 단계에서는, 상기 제 1행 및 상기 제 2행을 병렬 복호하고, 상기 제 2행의 복호를 개시할 때에, 상기 제 1행에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 상기 제 2행을 복호해도 된다.
예를 들면, 상기 복호 단계에서는, 상기 제 2행의 산술 복호는, 상기 제 1행의 2번째의 부호화 단위가 산술 복호된 후의 컨텍스트를 이용하여 초기화되어도 된다.
예를 들면, 상기 화상 복호 방법은, 또한, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더로부터 취득하는 단계를 포함해도 된다.
예를 들면, 상기 화상의 선두 슬라이스는 통상 슬라이스이며, 다른 모든 슬라이스는 의존 슬라이스여도 된다.
예를 들면, 각 슬라이스는, 1 이상의 행 모두를 포함해도 된다.
예를 들면, 상기 의존 슬라이스의 산술 복호는, 상기 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스의 컨텍스트를 이용하여 초기화되어도 된다.
예를 들면, 상기 화상 복호 방법은, 또한, 상기 의존 슬라이스가 유효한 경우에, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림으로부터 취득하는 단계를 포함해도 된다.
또, 본 발명의 일 양태에 관련된 화상 부호화 방법은, 화상을, 각각이 복수의 부호화 단위를 포함하는 복수의 슬라이스로 분할하여 부호화함으로써 비트 스트림을 생성하는 화상 부호화 방법이며, 상기 화상을 복수의 슬라이스로 분할하는 분할 단계와, 분할된 복수의 슬라이스를 부호화하는 부호화 단계를 포함하고, 상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 상기 화상은, 각각이 복수의 부호화 단위를 포함하는 복수의 행을 포함하고, 상기 분할 단계에서는, 통상 슬라이스가 제 1행의 선두 이외로부터 시작되는 경우, 상기 제 1행의 다음의 제 2행이 의존 슬라이스로부터 시작되지 않도록, 상기 화상을 복수의 슬라이스로 분할한다.
이것에 의하면, 제 2행의 선두의 슬라이스가, 제 1행의 선두 이외의 슬라이스를 참조하는 케이스의 발생을 제외시킬 수 있으므로, 병렬 처리 및 의존 슬라이스를 모두 이용할 때의 효율성을 개선할 수 있다.
예를 들면, 상기 분할 단계에서는, 화상 복호 장치에 있어서 상기 제 1행 및 상기 제 2행을 병렬 복호하는 경우에 있어서, 상기 화상 복호 장치가 상기 제 2행의 복호를 개시할 때에, 상기 제 1행에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 상기 제 2행을 복호할 수 있도록 상기 화상을 상기 복수의 슬라이스로 분할해도 된다.
예를 들면, 상기 부호화 단계에서는, 상기 제 2행의 산술 부호화는, 상기 제 1행의 2번째의 부호화 단위가 산술 부호화된 후의 컨텍스트를 이용하여 초기화되어도 된다.
예를 들면, 상기 화상 부호화 방법은, 또한, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더에 내장하는 단계를 포함해도 된다.
예를 들면, 상기 화상의 선두 슬라이스는 통상 슬라이스이며, 다른 모든 슬라이스는 의존 슬라이스여도 된다.
예를 들면, 각 슬라이스는, 1 이상의 행 모두를 포함해도 된다.
예를 들면, 상기 의존 슬라이스의 산술 부호화는, 상기 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스의 컨텍스트를 이용하여 초기화되어도 된다.
예를 들면, 상기 화상 부호화 방법은, 또한, 상기 의존 슬라이스가 유효한 경우에, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림에 내장하는 단계를 포함해도 된다.
또, 본 발명의 일 양태에 관련된 화상 복호 장치는, 화상이, 각각이 복수의 부호화 단위를 포함하는 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 장치이며, 상기 부호화 신호를 복호하는 복호부를 구비하고, 상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 상기 화상은, 각각이 복수의 부호화 단위를 포함하는 복수의 행을 포함하고, 통상 슬라이스가 제 1행의 선두 이외로부터 시작되는 경우, 상기 제 1행의 다음의 제 2행은 의존 슬라이스로부터 시작되지 않는다.
이것에 의하면, 제 2행의 선두의 슬라이스가, 제 1행의 선두 이외의 슬라이스를 참조하는 케이스의 발생을 제외시킬 수 있으므로, 병렬 처리 및 의존 슬라이스를 모두 이용할 때의 효율성을 개선할 수 있다.
또, 본 발명의 일 양태에 관련된 화상 부호화 장치는, 화상을, 각각이 복수의 부호화 단위를 포함하는 복수의 슬라이스로 분할하여 부호화함으로써 비트 스트림을 생성하는 화상 부호화 장치이며, 상기 화상을 복수의 슬라이스로 분할하는 분할부와, 분할된 복수의 슬라이스를 부호화하는 부호화부를 구비하고, 상기 복수의 슬라이스의 각각은, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용되는 통상 슬라이스와, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보가 이용되는 의존 슬라이스 중 어느 하나이며, 상기 화상은, 각각이 복수의 부호화 단위를 포함하는 복수의 행을 포함하고, 상기 분할부는, 통상 슬라이스가 제 1행의 선두 이외로부터 시작되는 경우, 상기 제 1행의 다음에 부호화된 제 2행이 의존 슬라이스로부터 시작되지 않도록, 상기 화상을 복수의 슬라이스로 분할한다.
이것에 의하면, 제 2행의 선두의 슬라이스가, 제 1행의 선두 이외의 슬라이스를 참조하는 케이스의 발생을 제외시킬 수 있으므로, 병렬 처리 및 의존 슬라이스를 모두 이용할 때의 효율성을 개선할 수 있다.
또, 본 발명의 일 양태에 관련된 화상 부호화 복호 장치는, 상기 화상 부호화 장치와, 상기 화상 복호 장치를 구비한다.
또한, 이하에서 설명하는 실시의 형태는, 모두 본 발명의 일 구체예를 나타내는 것이다. 이하의 실시의 형태에서 나타내는 수치, 형상, 재료, 구성 요소, 구성 요소의 배치 위치 및 접속 형태, 단계, 단계의 순서 등은, 일례이며, 본 발명을 한정하는 주지는 아니다. 또, 이하의 실시의 형태에 있어서의 구성 요소 중, 최상위 개념을 나타내는 독립 청구항에 기재되지 않은 구성 요소에 대해서는, 임의의 구성 요소로서 설명된다.
(실시의 형태 1)
본 실시의 형태 1에 관련된 화상 부호화 방법 및 화상 복호 방법에서는, CABAC 초기화를 명시하는 인디케이터를 추가한다.
도 12는, 실시의 형태 1에 관련된 슬라이스 헤더의 신텍스를 나타내는 도이다. 슬라이스 헤더(380)는, 새로운 신텍스 요소 「entropy＿default＿initialization＿flag」를 가지는 새로운 행(381)을 포함한다.
이 entropy＿default＿initialization＿flag는, 소정치로 설정된 경우에, 슬라이스의 CABAC가 CABAC 디폴트(소정)값으로 초기화되는 것을 나타내는 인디케이터이다. 이 플래그는, 슬라이스가 디폴트 CABAC값으로 초기화되는 것을 나타내는 「1」 등의 제1 값, 및, 초기화가 다른 방법으로 행해지는 것을 나타내는 「0」 등의 제2 값을 가지는, 1비트의 인디케이터이다. 또한, 「1」 및 「0」의 값의 할당은 바꿔도 된다.
초기화 결정의 「다른 방법」은, 선행 슬라이스의 값에 의거하는 초기화 등 소정의 방법이어도 된다. 그러나 「다른 방법」은, 도 9에 나타내는 플로우와 유사한 다른 결정 플로우를 포함해도 되고, 이것에 의해, 디폴트 CABAC값에 의한 초기화 방법도 유도할 가능성이 있다.
본 실시의 형태에 관련된 화상 복호 장치는, 적어도 부분적으로 산술 부호로 부호화되는 화상 슬라이스를 포함하는 부호화 영상 시퀀스의 비트 스트림을 복호한다. 상기 화상 복호 장치는, 슬라이스의 산술 복호의 확률 모델이 소정치로 초기화되는지 아닌지를 나타내는 초기화 인디케이터를, 상기 슬라이스의 비트 스트림 데이터로부터 추출하는 해석부와, 상기 초기화 인디케이터에 따라, 상기 소정치로 산술 복호용의 상기 확률 모델을 초기화하는지 아닌지를 제어하는 제어부와, 산술 복호를 행함으로써, 상기 슬라이스를 복호하는 산술 복호부를 구비한다.
예를 들면, 산술 부호는, HEVC로 정의되는 컨텍스트 적응 산술 부호여도 된다. 그러나 본 발명은 이것에 한정되지 않는다.
소정치란, 화상 부호화 장치 및 화상 복호 장치에 알려진 디폴트값이며, 부호화된 컨텐츠에 의해 변화하는 경우는 없다.
이 초기화 인디케이터는, 바람직하게는, 1비트 플래그를 가리키며, 1비트 플래그에서는, 「1」은 산술 복호의 확률 모델이 소정치로 초기화되는 것을 나타내고, 「0」은 산술 복호의 확률 모델이 다른 방법으로 초기화되는 것을 나타낸다.
대상 슬라이스가 의존 슬라이스의 경우만, 이 인디케이터의 존재는 필요하다. 왜냐하면, 통상 슬라이스의 경우, CABAC 디폴트값이 초기화에 이용된다(도 9의 S101에서 No의 경우를 참조). 따라서, 조건 dependent＿slice＿flag==1을 확인함으로써, 대상 슬라이스가 의존 슬라이스인지 아닌지가 우선 분석된다.
또, 슬라이스와 다른 슬라이스의 병렬 처리를 행하는 경우에, 초기화 인디케이터(플래그)는 유리하다. 예를 들면, 병렬 처리는 WPP여도 된다. 따라서, 조건의 entropy＿coding＿sync＿enabled＿flag==1이 참인 경우만, 도 12에 나타내는 슬라이스 헤더의 신텍스는, 초기화 인디케이터 entropy＿default＿initialization＿flag를 포함한다.
또, 슬라이스가 LCU행의 선두에서 시작되는 경우만, 초기화 인디케이터는 적절하다. 왜냐하면, 그때만, 병렬 처리를 가능하게 하기 위한, CABAC의 즉시의 초기화가 필요하기 때문이다. 이것은, 도 12에 나타내는 신텍스에 있어서, 조건 slice＿address%PicWidthInCtbsY==0에 의해 나타낸다.
상기 서술한 바와 같이, 신텍스 요소 「slice＿address」는, 비트 스트림에 포함되는 오프셋에 의해, 슬라이스의 개시를 나타낸다. 「PicWidthInCtbsY」는, 부호화 트리 블록의 단위(LCU)의 수로 프레임의 폭을 나타낸다.
행(381)에 나타내는 바와 같이, 상기 서술한 3개의 조건의 논리곱이 판정에 이용된다. 즉, 이하의 (식 2)가 참인 경우만, 초기화 방법을 명확하게 신호로 전하기 때문에, entropy＿default＿initialization＿flag가 전달된다.
dependent＿slice＿flag==1＆＆entropy＿coding＿sync＿enabled＿flag==1＆＆slice＿address%PicWidthInCtbsY==0 ···(식 2)
(식 2)가 참이 아닌 경우, 통상의 방법에 의거하여, 즉, WPP 룰에 의거하여 초기화가 행해진다.
즉, 본 실시의 형태에 관련된 화상 부호화 방법 및 화상 복호 방법은, 화상의 화소 블록에 대응하는 부호화 단위에 화상의 슬라이스를 분할하고, 해석부는, 슬라이스가 의존 슬라이스인 경우만, 헤더 데이터에 포함되는 초기화 인디케이터를 추출한다. 의존 슬라이스의 산술 복호부는, 각 의존 슬라이스에 대응하는 친슬라이스의 산술 복호부의 컨텍스트에 의거하여 초기화된다.
또, 부호화 단위로 구성되는 행의 병렬 복호가 가능한 경우만, 해석부는, 헤더 데이터의 초기화 인디케이터를 추출해도 된다.
즉, 본 실시의 형태에 따라, 화상의 화소 블록에 대응하는 부호화 단위에 화상의 슬라이스가 분할되고, 해석부는, 화상의 부호화 단위 블록으로 구성되는 행의 선두로부터 슬라이스가 시작되는 경우만, 헤더 데이터의 초기화 인디케이터를 추출한다.
도 13은, 본 실시의 형태에 관련된, 슬라이스의 CABAC 초기화의 결정 방법의 플로차트이다. 도 13은, 도 8에 나타내는 픽처(350)의 경우를 상정하고 있다. 슬라이스(4)(슬라이스(354))가 슬라이스(1)(슬라이스(351))와 병렬로 해석된다고 상정하면, 이하의 결정이 이루어진다.
우선, 슬라이스(4)가 의존 슬라이스인지 아닌지가 판정된다(S111). 슬라이스(4)가 의존 슬라이스이며, 또한, 다른 조건(행의 병렬 처리가 행해지고, 또한, LCU행의 선두에 있어서 슬라이스가 개시되고 있다)이 만족되는 경우(S111에서 Yes), 초기화의 실행 방법을 결정하기 위해, 초기화 인디케이터 「entropy＿default＿initialization＿flag」가 확인된다(S112).
entropy＿default＿initialization＿flag에 의해, 디폴트의 초기화가 적용되는 것이 나타나는 경우(S112에서 No), 디폴트의 초기화가 적용된다(S114). 한편, entropy＿default＿initialization＿flag에 의해, 디폴트의 초기화가 적용되는 것이 나타나지 않은 경우(S112에서 Yes), 선행 슬라이스를 참조하는 WPP의 초기화가 적용된다(S113).
또한, 본 실시의 형태는, 슬라이스 헤더 내에서 초기화 인디케이터를 신호 전달하는 것에 한정되지 않는다. 다른 데이터 구조, 예를 들면, 부가 확장 정보 메세지에, 동일한 인디케이터를 내장해도 된다.
(실시의 형태 2)
실시의 형태 1에 의해, WPP 및 의존 슬라이스 등의 병렬 LCU행 처리의 효율적인 처리를 실현할 수 있다. 한편, 새로운 신텍스 요소가, 슬라이스 헤더에 장착된다. 이에 대해, 새로운 신텍스 요소의 추가를 피하기 위해, 초기화 룰을 수정함으로써, 병렬 처리 중의 슬라이스에 대한 CABAC 초기화의 독립성을 달성해도 된다.
본 실시의 형태에서는, 의존 슬라이스의 정의, 및, 의존 슬라이스에 대한 화상 부호화 장치 및 화상 복호 장치의 동작을 수정한다. 이것은, 비트 스트림의 규격에 제한을 더함으로써 실현할 수 있다.
즉, 본 실시의 형태에 관련된 화상 복호 장치는, 복수의 부호화 단위로 분할되며, 적어도 부분적으로 산술 부호로 부호화되는 복수의 화상 슬라이스를 포함하는 부호화 영상 시퀀스의 비트 스트림을 복호한다. 상기 화상 복호 장치는, 부호화 단위로 구성되는 1행째 및 2행째를 비트 스트림으로부터 추출하는 해석부를 구비하고, 2행째의 제2 슬라이스에 대한 산술 복호부를 초기화할 때, 1행째의 제1 슬라이스의 분할 정보를 참조하지 않아도 되도록, 1행째 및 2행째의 부호화 단위가 슬라이스에 할당된다. 1행째의 제1 슬라이스의 개시 위치는, 2행째의 제2 슬라이스보다 소정의 부호화 단위수만큼 뒤이다. 상기 화상 복호 장치는, 상기 제1 슬라이스 및 상기 제2 슬라이스를 적어도 부분적으로 병렬로 산술 복호함으로써, 상기 각 슬라이스를 복호하는 산술 복호부를 더 구비한다.
도 14는, 본 실시의 형태의 기능을 나타내기 위한 도이며, 복수의 슬라이스로 분할된 픽처(390)를 나타낸다. 픽처(390)는, 4개의 슬라이스인, 통상 슬라이스(391)와, 통상 슬라이스(392)와, 의존 슬라이스(393)와, 통상 슬라이스(394)를 포함한다.
3개의 슬라이스(391, 392 및 393)는, 부호화 단위(LCU)로 구성되는 1행째에 포함된다. 슬라이스(394)는, 2행째 및 3행째 전체를 포함한다.
슬라이스화, 및, 행 단위의 병렬 처리의 사용에 적용되는 제한의 제1예는, 「entropy＿code＿sync＿enabled＿flag가 1과 동등하고, dependent＿slice＿enabled＿flag가 1과 동등한 경우, 부호화 트리 블록행의 선두에서만 통상 슬라이스는 시작되어도 된다」이다. 또, entropy＿code＿sync＿enabled＿flag 및 dependent＿slice＿enabled＿flag 양쪽의 플래그는, 픽처 파라미터 세트에 포함된다. 또한, 부호화 트리 블록(CTB), 및, 최대 부호화 단위(LCU)는, 동일한 단위이다. 표준 텍스트(비특허 문헌 3을 참조)에서는, CTB가 이용되고 있다. 또, 표준 텍스트의 전 버젼에서는 LCU가 사용되고 있었지만, 현재는 CTB가 사용되고 있다.
부호화 단위행(LCU행)의 선두에 있어서만 통상 슬라이스가 시작되는 경우, 다른 행의 상기 통상 슬라이스에 이어지는 의존 슬라이스는, 항상 통상 슬라이스의 CABAC 상태를 참조해도 된다. 여기서 CABAC 상태란, WPP에 의해 실행되는 최초의 LCU 또는 최초의 2개의 LCU의 처리 후의 CABAC 상태이다. 또, 의존 슬라이스의 헤더가 그들에 선행하는 통상 슬라이스의 헤더에 의존하기 때문에, 통상 슬라이스(394)가 소실된 경우, 의존 슬라이스를 버릴 필요가 있다.
이와 같이 제1예의 제한에서는, 통상 슬라이스는 항상, LCU행의 선두에서 시작된다. 바꾸어 말하면, LCU행의 선두 슬라이스는 통상 슬라이스이며, 다른 슬라이스는 의존 슬라이스이다. 즉, 통상 슬라이스는 LCU의 선두 슬라이스로서만 인정된다. 또, LCU행의 선두 이외의 슬라이스는, 항상 의존 슬라이스이다.
상기 제1예의 제한은, 엄밀한 필요는 없다. WPP의 초기화의 적용을 가능하게 하기 위한, 전행의 통상 슬라이스의 적어도 1개 또는 2개의 LCU를, 의존 슬라이스를 이용할 수 있도록 하면 된다.
또는, 다른 제한(룰)으로서 제2예를 적용해도 된다. 제2예에서는, 부호화 트리 블록행에 있어서의 2번째의 부호화 트리 블록의 다음에, 통상 슬라이스를 개시하지 않는다. 통상 슬라이스는 LCU행의 선두에서 시작되지 않으면 안 되기 때문에, 예를 들면, 도 14에 나타내는 바와 같이, 2번째의 슬라이스(392)를 통상 슬라이스로 설정하는 것은 인정되지 않는다.
또한, 상기 서술한 제1 슬라이스란, 개시 위치가 1행째의 2번째의 부호화 단위까지이면 된다. 또, 제1 슬라이스는 통상 슬라이스이며, 제2 슬라이스는, 통상 슬라이스의 슬라이스 헤더를 이용하는 의존 슬라이스여도 된다. 또, 제1 슬라이스의 개시 위치는, 1행째의 선두여도 된다.
도 15는, 상기 서술한 룰을 설정한 경우의, CABAC 초기화 방법의 결정 처리의 플로차트이다. 여기서, 도 8에 나타내는 예를 이용하여 설명한다.
우선, 슬라이스(4)가 의존 슬라이스인지 아닌지가 판정된다(S111). 슬라이스(4)가 의존 슬라이스인 경우(S111에서 Yes), WPP의 초기화가 행해진다(S113). 한편, 슬라이스(4)가 의존 슬라이스가 아닌 경우(S111에서 No), 디폴트의 초기화가 행해진다(S114).
이와 같이, 본 실시의 형태에 관련된 화상 부호화 방법은, 컨텍스트 적응 엔트로피 부호화부를 이용한다. 상기 화상 부호화 방법은, 적어도 2개의 부분으로 분할되는 픽처 프레임에 적용된다. 적어도 2개의 부분이란, 따로 따로, 적어도 부분적으로 병렬로 부호화 및 복호 가능한 제1 부분 및 제2 부분이다.
본 실시의 형태에 의하면, 서브 스트림의 제1 부분을 슬라이스로 분할할 때, 스트림의 제2 부분의 컨텍스트 테이블의 초기화가 제1 부분의 분할에 의존하지 않는 방법으로 결정된다. 예를 들면, WPP는 행마다(LCU행마다)에 행해지기 때문에, 스트림의 일부분이 LCU행에 대응해도 된다.
또한, 본 발명은, 위에서 예시한 제한에 한정되지 않는다. 또는, 상기의 제한을 다른 방법으로 공식화해도 된다. 이하, 제한의 다른 예를 설명한다.
통상 슬라이스가 이하의 (식 3)의 조건을 만족하는 경우, 후속 LCU행의 선두에서 시작되는 슬라이스는, 의존 슬라이스는 아니다.
slice＿adress%PicWidthInCtbsY＞1 ···(식 3)
간략화하기 위해, 상기의 조건을 이하의 (식 4)로 표시해도 된다.
slice＿adress%PicWidthInCtbsY!=0 ···(식 4)
여기서, 「!=」는, 동등하지 않은 것을 나타낸다. entropy＿coding＿sync＿enabled＿flag가 1과 동등한 경우, 즉, LCU행의 병렬 처리가 가능한 경우, 이러한 제한은 적용 가능하다. 또, 「slice＿adress」는, 비트 스트림 내에서 시작되는 슬라이스의 위치를 나타내고, 파라미터 「PicWidthInCtbsY」는, LCU(부호화 트리 블록)에 있어서의 픽처(프레임)의 폭을 나타낸다.
즉, 통상 슬라이스가 행의 선두에서 시작되지 않는 경우, 그 직후의 행에서 시작되는 슬라이스는 의존 슬라이스는 아니다(제3예). 이 조건에 의해, 2행째의 슬라이스의 복호를, 1행째가 있는 위치의 통상 슬라이스를 해석(복호)할 때까지 기다릴 필요가 없어진다.
즉, 통상 슬라이스가 제 1행의 선두 이외로부터 시작되는 경우, 상기 제 1행의 다음의 제 2행은 의존 슬라이스로부터 시작되지 않는다. 바꾸어 말하면, 제 1행의 2번째 또는 그 이후의 슬라이스 중 적어도 하나가 통상 슬라이스인 경우, 제 2행의 선두 슬라이스는 통상 슬라이스이다.
상기의 제3예의 제한에 의한 영향을, 도 16을 이용하여 설명한다. 도 16에 나타내는 픽처(400)는, 1행째에 포함되는 3개의 슬라이스(401~403)를 포함한다. 이들 3개의 슬라이스 중 최초의 2개의 슬라이스(401 및 402)는 통상 슬라이스이며, 3번째의 슬라이스(403)는 의존 슬라이스이다.
상기의 조건에 의하면, 4번째의 슬라이스(404)를 의존 슬라이스로 설정할 수는 없다. 도 16에 있어서, 슬라이스(404)에 ×표를 붙임으로써, 이것을 나타내고 있다.
따라서, 비트 스트림은, 통상 슬라이스 및 의존 슬라이스를 포함해도 되고, 이러한 복호는 통상 슬라이스의 슬라이스 헤더에 있어서 신호 전달되는 파라미터에 의거한다. LCU행의 선두보다 뒤의 위치에서 통상 슬라이스가 시작되는 경우, 다음의 LCU행은 의존 슬라이스에서 시작되지 않는다.
또, 구체예를, 도 17a~도 17d를 이용하여 설명한다. 예를 들면, 도 17a에 나타내는 바와 같이, 제 1행에 통상 슬라이스(3)가 존재하는 경우, 제 2행의 선두 슬라이스(4)를 의존 슬라이스로 설정할 수는 없다. 또, 슬라이스(2) 및 슬라이스(3)의 적어도 한쪽이 통상 슬라이스인 경우에는, 슬라이스(4)를 의존 슬라이스로 설정할 수는 없다. 따라서, 도 17b에 나타내는 바와 같이, 슬라이스(4)를 통상 슬라이스로 설정할 필요가 있다. 또, 제3예에서는, 도 17c 및 도 17d에 나타내는 픽처도 인정된다.
또한, 상기 서술한 제1예에서는, 도 17a, 도 17b 및 도 17d에 나타내는 픽처는 인정되지 않지만, 도 17c에 나타내는 픽처는 인정된다. 또, 제2예에서는, 도 17a 및 도 17b에 나타내는 픽처는 인정되지 않지만, 도 17c 및 도 17d에 나타내는 픽처는 인정된다.
도 18을 이용하여, 제4예의 제한을 설명한다. entropy＿coding＿sync＿enabled＿flag가 1과 동등하고, 또한, dependent＿slice＿enabled＿flag가 1과 동등한 경우, 프레임 중의 최초의 슬라이스 이외, 통상 슬라이스는 인정되지 않는다(제4예).
즉, 병렬 처리가 가능하고, 또한, 의존 슬라이스가 유효한 경우, 통상 슬라이스는, 프레임 중의 최초의 슬라이스로서만 인정된다. 즉, 최초의 슬라이스를 제외하고, 프레임 중의 모든 슬라이스가 의존 슬라이스이다. 바꾸어 말하면, 화상의 선두 슬라이스는 통상 슬라이스이며, 다른 모든 슬라이스는 의존 슬라이스이다.
도 18에 나타내는 픽처(410)는, 5개의 슬라이스(411~415)를 포함한다. 슬라이스(411, 412, 및 415)는 통상 슬라이스이며, 슬라이스(413 및 414)는 의존 슬라이스이다. 상기의 제4예의 제한에 따라, 1번째의 통상 슬라이스(411)를 제외한, 통상 슬라이스(412 및 415)는 인정되지 않는다. 즉, 슬라이스(412 및 415)는, 의존 슬라이스가 아니면 안된다. 또, 제4예에서는, 도 17a~도 17d에 나타내는 픽처 중 도 17d에 나타내는 픽처 만이 인정된다.
또한, 이 제4예의 제한을 이용한 경우, 패킷 손실에 대한 로버스트성에 관해서 디메리트를 가진다. 의존성을 저감하기 위해, 또, 손실이 많은 환경에 있어서의 에러 전파를 저감하기 위해, 일반적으로는 통상 슬라이스가 이용된다. 또, 1번째의 슬라이스만이 통상 슬라이스인 프레임에서는, 1번째의 슬라이스를 복호할 수 없는 경우, 모든 슬라이스가 복호할 수 없다는 리스크를 지게 된다.
또, 다른 제한으로서 이하의 제한을 이용해도 된다. 슬라이스(통상 또는 의존 슬라이스)가 LCU행의 한가운데에서(즉, 행의 개시 위치와는 다른 위치에서) 시작되는 경우, 다음의 부호화 단위행은 의존 슬라이스에서 시작되지 않는다(제5예).
또한, 상기 기술 분야의 당업자에는 분명한 바와 같이, 여기서 기재된 복수의 제한을 임의로 조합하는 것이 가능하다. 즉, 상기 제1예~제5예를 조합하여 적용해도 된다.
또한, 제한의 다른 예를 이하에 든다. entropy＿coding＿sync＿enabled＿flag가 1과 동등한 경우, 1개의 LCU행을 슬라이스로 분할할 수는 없다(제6예). 이 제한을 적용한 경우, 도 18에 나타내는 슬라이스 구조에서는, 슬라이스(412 및 413)는 인정되지 않는다. 즉, 부호화 단위행의 병렬 처리가 가능한 경우, 슬라이스는, 1개의 부호화 단위행 전체, 또는, 복수의 부호화 단위행 전체를 포함하는 것만 인정된다.
이와 같이, 비트 스트림은, 통상 슬라이스 및 의존 슬라이스를 포함한다. 통상 슬라이스 및 의존 슬라이스의 복호는, 통상 슬라이스의 슬라이스 헤더에서 신호 전달되는 파라미터에 의거한다. 화상 중의 1번째의 슬라이스 만을 통상 슬라이스로 하고, 나머지의 슬라이스를 의존 슬라이스로 한 다음, 화상을 슬라이스로 분할한다.
또, 각 슬라이스는, m행의 부호화 단위행 모두를 포함한다. 여기서, m은 1 이상의 정수이다. 즉, 각 슬라이스는, 1 이상의 행 모두를 포함한다.
또, 상기 제한의 적용에 더하여, 또는, 그 대신에, 의존 슬라이스가 유효하고, WPP 및 타일 중 어느 하나가 유효한 경우, 상기 제한을 나타내는 인디케이터를 비트 스트림에 내장해도 된다. 예를 들면, 이 인디케이터는 SPS 또는 PPS에 내장된다. 또한, 이 인디케이터는, SEI 메세지 등의 다른 메세지 또는 임의의 비디오·유저빌리티 정보(VUI) 메세지에 내장되어도 된다.
이 인디케이터에 의거하여, 화상 복호 장치는, 적용되는 제한을 파악한다. 예를 들면, 이 제한은, LCU행(WPP)의 선두, 또는, 타일의 선두에서만, 통상 슬라이스가 인정된다는 제한이다. 또한, 이것은, 제한의 일례에 지나지 않고, 상기의 제한 중 어느 하나, 또는, 이들 제한의 조합, 또는, 명시적으로 기재되지 않은 추가의 제한을 적용해도 된다.
예를 들면, 이 인디케이터는, 소정의 제한에 대해, 상기 제한을 적용하는지 아닌지를 나타내는, 1비트의 플래그여도 된다. 또, 선택 가능한 복수의 제한이 있어도 되고, 선택된 제한을 나타내는 정보가 비트 스트림에 포함되어 화상 복호 장치에 신호 전달된다. 즉, 상기 서술한 예와 같이 명시적으로 사용을 제한하는 것이 아니라, 화상 부호화 장치가 그러한 제한을 이용하는 것을 화상 복호 장치에 알려도 된다. 따라서, 제한에 관련하는 상기 예 중 어느 하나를 적용해도 된다.
이와 같이, 본 발명의 일 양태에 관련된 화상 복호 방법은, 의존 슬라이스가 유효한 경우, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 비트 스트림으로부터 취득하는 단계를 포함한다. 또, 본 발명의 일 양태에 관련된 화상 부호화 방법은, 의존 슬라이스가 유효한 경우, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 비트 스트림에 내장하는 단계를 포함한다.
또한, 인디케이터를 추가하는지 아닌지를, WPP, 타일, 또는 의존 슬라이스가 유효한지 어떤지에 따라 결정하지 않아도 된다.
또, 본 발명의 일 양태에 관련된 화상 복호 방법은, 화상이, 각각이 복수의 부호화 단위(LCU)를 포함하는 복수의 슬라이스로 분할되어 부호화된 부호화 신호를 포함하는 비트 스트림을 복호하는 화상 복호 방법이며, 상기 부호화 신호를 복호하는 복호 단계를 포함한다. 또, 본 발명의 일 양태에 관련된 화상 부호화 방법은, 화상을, 각각이 복수의 부호화 단위(LCU)를 포함하는 복수의 슬라이스로 분할하여 부호화함으로써 비트 스트림을 생성하는 화상 부호화 방법이며, 화상을 복수의 슬라이스로 분할하는 분할 단계와, 분할된 복수의 슬라이스를 부호화하는 부호화 단계를 포함한다.
또, 복수의 슬라이스의 각각은, 통상 슬라이스와, 의존 슬라이스 중 어느 하나이다. 통상 슬라이스는, 상기 슬라이스의 슬라이스 헤더에 포함되는 정보가 다른 슬라이스에 이용될 가능성이 있는 슬라이스이다. 의존 슬라이스는, 복호에 다른 슬라이스의 슬라이스 헤더에 포함되는 정보를 이용하는 슬라이스이다. 여기서, 다른 슬라이스란, 예를 들면, 의존 슬라이스 전에 위치하고, 또한 가장 가까운 통상 슬라이스이다.
또, 복호 단계에서는, 의존 슬라이스의 산술 복호는, 상기 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스의 컨텍스트를 이용하여 초기화된다. 또, 부호화 단계에서는, 의존 슬라이스의 산술 부호화는, 상기 의존 슬라이스에 슬라이스 헤더가 이용되는 친슬라이스의 컨텍스트를 이용하여 초기화된다.
또, 화상은, 각각이 복수의 부호화 단위를 포함하는 복수의 행을 포함한다.
또, 분할 단계에서는, 상기 서술한 제한의 하나 또는 복수가 만족되도록, 화상을 복수의 타일로 분할함과 함께 복수의 슬라이스로 분할한다.
또, 복호 단계에서는, 제 1행 및 제 2행을 병렬 복호하고, 제 2행의 복호를 개시할 때에, 제 1행에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 제 2행을 복호해도 된다. 또, 분할 단계에서는, 화상 복호 장치에 있어서 제 1행 및 제 2행을 병렬 복호하는 경우에 있어서, 상기 화상 복호 장치가 제 2행의 복호를 개시할 때에, 제 1행에 있어서의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고, 제 2행을 복호할 수 있도록 화상을 복수의 슬라이스로 분할해도 된다.
여기서 분할 정보란, 예를 들면, 슬라이스 위치(선두 위치) 또는 슬라이스 헤더의 위치를 나타내는 정보이다. 화상 복호 장치는, 이 분할 정보를 참조함으로써, 상기 서술한 CABAC 초기화 방법을 결정하는 처리를 행한다.
또, 병렬 복호란, 예를 들면, 상기 서술한 WPP이다. 즉, 복호 단계에서는, 제 2행의 산술 복호는, 제 1행의 2번째의 부호화 단위가 산술 복호된 후의 컨텍스트를 이용하여 초기화된다. 또, 부호화 단계에서는, 제 2행의 산술 부호화는, 제 1행의 2번째의 부호화 단위가 산술 부호화된 후의 컨텍스트를 이용하여 초기화된다.
또, 상기 서술한 바와 같이 슬라이스 헤더에, 상기 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보(dependent＿slice＿flag)가 포함된다. 즉, 화상 복호 방법은, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더로부터 취득하는 단계를 포함한다. 또, 화상 부호화 방법은, 슬라이스가 통상 슬라이스인지 의존 슬라이스인지를 나타내는 정보를 슬라이스 헤더에 내장하는 단계를 포함한다.
이상과 같이, 본 실시의 형태는, 병렬 처리에 있어서, 선행 슬라이스를 고려한 CABAC 초기화에 의해, 의존 슬라이스 처리가, 2 이상 또는 3 이상의 부호화 단위만큼 지연되는 것을 방지할 수 있다. 이것에 의해, 행의 부호화, 복호, 및 해석을 효율적으로 병렬 처리할 수 있다.
또한, 본 발명은, 슬라이스화의 방법을 제한하는 실시의 형태에 한정되지 않는다. 또, 상기 제한은, CABAC 컨텍스트가 얻어지는 슬라이스에 관련해도 된다.
(실시의 형태 3)
본 실시의 형태에서는, WPP 처리 시의 의존 슬라이스에 대한 CABAC 초기화 방법을 변경한다. 구체적으로는, 의존 슬라이스에 대한 친슬라이스의 할당 룰을 변경한다.
예를 들면, 슬라이스에 대한 LCU행의 분할(및/또는, 후속 슬라이스의 종별)에 관련되지 않고, 의존 슬라이스가 항상, 동일 슬라이스로부터 슬라이스 헤더 및 CABAC 컨텍스트를 취득하는 룰을 정한다.
도 19에 나타내는 픽처(420)는, 슬라이스(421~424)를 포함한다. 현재의 HEVC에서는, 의존 슬라이스(424)의 친슬라이스는 슬라이스(422)이다. 즉, 의존 슬라이스(424)의 슬라이스 헤더는, 선행하는 가장 가까운 통상 슬라이스인 슬라이스(422)로부터 취득한다.
도 9를 이용하여 설명한 바와 같이, 의존 슬라이스는, 선행의 LCU행의 선두에 있는 통상 슬라이스를 이용하여 CABAC 초기화를 행하는 경우도 있다. 그러나 슬라이스(422)가 소실된 경우, 슬라이스(424)의 CABAC의 초기화를 행할 수는 있지만, 슬라이스 헤더 정보가 결락되기 때문에, 슬라이스(424)를 복호할 수 없다.
이에 반해, 본 실시의 형태에서는, 의존 슬라이스는, 의존 슬라이스가 포함되는 행과 동일한 또는 전의 행부터 개시되는 가장 가까운 통상 슬라이스를 친슬라이스로서 가진다. 이 룰에 따라, 본 실시의 형태에서는, 도 19에 나타내는 바와 같이, 슬라이스(424)의 친슬라이스는 슬라이스(421)로 설정된다. 그리고 의존 슬라이스(424)는, 슬라이스(421)의 슬라이스 헤더를 이용함과 함께, 슬라이스(421)의 CABAC 상태를 이용하여 CABAC 초기화를 행한다.
또, 각 의존 슬라이스의 산술 복호부는, 친슬라이스의 산술 복호부의 컨텍스트에 의거하여 초기화되도록, 슬라이스의 의존성이 설정된다.
또한, 슬라이스의 초기화에 이용되는 CABAC 컨텍스트 테이블을 나타내는 정보가, SEI 메세지 내에서, 명시적으로 신호 전달되어도 된다. 즉, CABAC 엔진의 초기화에 이용된다고 생각되는 모든 초기값을, 명시적으로 SEI 메세지 내에서 신호 전달해도 된다.
또한, 상기 설명에서 이용한 「슬라이스(통상 슬라이스 또는 의존 슬라이스)」는, 「슬라이스 세그먼트(통상 슬라이스 세그먼트 또는 의존 슬라이스 세그먼트)」라고 불리는 경우도 있다. 이 경우, 1 이상이 연속하는 슬라이스 세그먼트를 포함하는 단위를 「슬라이스」라고 부른다. 구체적으로는, 하나의 슬라이스는, 하나의 통상 슬라이스 세그먼트와, 상기 통상 슬라이스 세그먼트 뒤에 연속하는 1 이상의 의존 슬라이스 세그먼트를 포함한다. 즉, 어느 통상 슬라이스 세그먼트의 직후가 통상 슬라이스 세그먼트인 경우, 슬라이스는 상기 통상 슬라이스 세그먼트 만을 포함한다. 또, 어느 통상 슬라이스 세그먼트의 직후에 1 이상의 의존 슬라이스 세그먼트가 연속하는 경우, 슬라이스는, 상기 통상 슬라이스 세그먼트와, 상기 1 이상의 의존 슬라이스 세그먼트를 포함한다. 즉, 통상 슬라이스 세그먼트로부터, 다음의 통상 슬라이스 세그먼트의 직전의 의존 슬라이스 세그먼트까지가, 하나의 슬라이스에 포함된다.
또, 이러한 정의를 이용한 경우, 상기 서술한 LCU행과 슬라이스의 제한의 제3예는, 이하의 정의에 대응한다고 할 수 있다.
entropy＿coding＿sync＿enabled＿flag가 1과 동등하고, 또한, 슬라이스에 포함되는 최초의 부호화 트리 블록(LCU)이, 부호화 트리 블록행의 최초의 부호화 트리 블록이 아닌 경우, 상기 슬라이스에 포함되는 마지막 부호화 트리 블록이, 상기 슬라이스에 포함되는 최초의 부호화 트리 블록과 동일한 부호화 트리 블록행에 속하는 것이, 비트 스트림의 규격 적합에 요구된다.
여기서, 슬라이스에 포함되는 최초의 부호화 트리 블록이, 부호화 트리 블록행의 최초의 부호화 트리 블록이 아닌 경우란, 통상 슬라이스 세그먼트가 부호화 트리 블록행의 선두 이외로부터 시작되는 경우이다. 또, 상기 슬라이스에 포함되는 마지막 부호화 트리 블록이, 상기 슬라이스에 포함되는 최초의 부호화 트리 블록과 동일한 부호화 트리 블록행에 속한다는 것은, 다음의 행은 의존 슬라이스로부터 시작되지 않는 것에 대응한다.
예를 들면, 도 17b에 나타내는 예에서는, 슬라이스 세그먼트(1) 및 (2)(도 17b에서는 슬라이스(1) 및 슬라이스(2)로 기재되어 있다. 이하 동일한 기재를 이용한다.)에 의해 하나의 슬라이스가 구성되고, 슬라이스 세그먼트(3)에 의해 하나의 슬라이스가 구성되고, 슬라이스 세그먼트(4) 및 (5)에 의해 하나의 슬라이스가 구성된다. 이 중, 슬라이스의 최초의 부호화 트리 블록이 부호화 트리 블록행의 최초의 부호화 트리 블록이 아닌 슬라이스는, 슬라이스 세그먼트(3)로 구성되는 슬라이스뿐이다. 이 슬라이스의 마지막 부호화 트리 블록은, 상기 슬라이스의 최초의 부호화 트리 블록과 동일한 부호화 트리 블록행(1행째)에 속하고 있다. 따라서, 도 17b에 나타내는 구성은 인정된다.
한편, 도 17a에 나타내는 예에서는, 슬라이스 세그먼트(3)~(5)에 의해 하나의 슬라이스가 구성된다. 이 슬라이스의 최초의 부호화 트리 블록(슬라이스 세그먼트(3)의 최초의 부호화 트리 블록)과, 상기 슬라이스의 마지막 부호화 트리 블록(슬라이스 세그먼트(5)의 마지막 부호화 트리 블록)은, 상이한 부호화 트리 블록행에 속하고 있다. 따라서, 도 17a에 나타내는 구성은 인정되지 않는다.
또, 도 17c에서는, 슬라이스 세그먼트(1)~(3)에 의해 하나의 슬라이스가 구성되고, 슬라이스 세그먼트(4)~(5)에 의해 하나의 슬라이스가 구성된다. 또, 도 17d에서는, 슬라이스 세그먼트(1)~(5)에 의해 하나의 슬라이스가 구성된다. 즉, 도 17c 및 도 17d에서는, 슬라이스의 최초의 부호화 트리 블록이 부호화 트리 블록행의 최초의 부호화 트리 블록이 아닌 슬라이스, 즉, 행의 도중부터 개시되는 슬라이스는 존재하지 않는다. 따라서, 도 17c 및 도 17d에 나타내는 구성은 인정된다.
또, entropy＿coding＿sync＿enabled＿flag가 1과 동등하고, 또한, 슬라이스 세그먼트에 포함되는 최초의 부호화 트리 블록(LCU)이, 부호화 트리 블록행의 최초의 부호화 트리 블록이 아닌 경우, 상기 슬라이스 세그먼트에 포함되는 마지막 부호화 트리 블록이, 상기 슬라이스 세그먼트에 포함되는 최초의 부호화 트리 블록과 동일한 부호화 트리 블록행에 속하는 것이, 비트 스트림의 규격 적합에 요구된다.
이상, 실시의 형태에 관련된 화상 부호화 방법 및 화상 복호 방법 대해서 설명했지만, 본 발명은, 이 실시의 형태에 한정되는 것은 아니다.
상기 화상 부호화 방법 및 화상 복호 방법은, 화상 부호화 장치 및 화상 복호 장치에 의해 실현된다. 또, 화상 부호화 장치 및 화상 복호 장치의 구성은, 예를 들면, 도 1 및 도 2에 나타내는 구성과 동일하며, 상기 화상 부호화 방법 및 화상 복호 방법에 포함되는 특징적인 단계는, 도 1 및 도 2에 도시하는 어느 하나의 처리부, 또는, 도시하지 않는 처리부에 의해 실행된다.
또, 상기 실시의 형태에 관련된 화상 부호화 장치 및 화상 복호 장치에 포함되는 각 처리부는 전형적으로는 집적 회로인 LSI로서 실현된다. 이들은 개별적으로 1칩화되어도 되고, 일부 또는 모두를 포함하도록 1칩화되어도 된다.
또, 집적 회로화는 LSI에 한정되는 것이 아니라, 전용 회로 또는 범용 프로세서로 실현되어도 된다. LSI 제조 후에 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array), 또는 LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블·프로세서를 이용해도 된다.
상기 각 실시의 형태에 있어서, 각 구성 요소는, 전용의 하드웨어로 구성되거나, 각 구성 요소에 적절한 소프트웨어 프로그램을 실행하는 것에 의해 실현되어도 된다. 각 구성 요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 읽어내어 실행함으로써 실현되어도 된다.
바꾸어 말하면, 화상 부호화 장치 및 화상 복호 장치는, 제어 회로(control circuitry)와, 상기 제어 회로에 전기적으로 접속된(당해 제어 회로로부터 액세스 가능한) 기억 장치(storage)를 구비한다. 제어 회로는, 전용의 하드웨어 및 프로그램 실행부의 적어도 한쪽을 포함한다. 또, 기억 장치는, 제어 회로가 프로그램 실행부를 포함하는 경우에는, 상기 프로그램 실행부에 의해 실행되는 소프트웨어 프로그램을 기억한다.
또한, 본 발명은 상기 소프트웨어 프로그램이어도 되고, 상기 프로그램이 기록된 비일시적인 컴퓨터 판독 가능한 기록 매체여도 된다. 또, 상기 프로그램은, 인터넷 등의 전송 매체를 통하여 유통시킬 수 있는 것은 말할 필요도 없다.
또, 상기에서 이용한 숫자는, 모두 본 발명을 구체적으로 설명하기 위해 예시하는 것이며, 본 발명은 예시된 숫자에 제한되지 않는다.
또, 블럭도에 있어서의 기능 블록의 분할은 일례이며, 복수의 기능 블록을 하나의 기능 블록으로서 실현되거나, 하나의 기능 블록을 복수로 분할하거나, 일부의 기능을 다른 기능 블록으로 옮겨도 된다. 또, 유사한 기능을 가지는 복수의 기능 블록의 기능을 단일의 하드웨어 또는 소프트웨어가 병렬 또는 시분할로 처리해도 된다.
또, 상기의 화상 부호화 방법 또는 화상 복호 방법에 포함되는 단계가 실행되는 순서는, 본 발명을 구체적으로 설명하기 위해 예시하기 위한 것이며, 상기 이외의 순서여도 된다. 또, 상기 단계의 일부가, 다른 단계와 동시(병렬)에 실행되어도 된다.
이상, 본 발명의 하나 또는 복수의 양태에 관련된 화상 부호화 장치 및 화상 복호 장치에 대해서, 실시의 형태에 의거하여 설명했지만, 본 발명은, 이 실시의 형태에 한정되는 것은 아니다. 본 발명의 취지를 일탈하지 않는 한, 당업자가 생각할 수 있는 각종 변형을 본 실시의 형태에 실시한 것이나, 상이한 실시의 형태에 있어서의 구성 요소를 조합하여 구축되는 형태도, 본 발명의 하나 또는 복수의 양태의 범위 내에 포함되어도 된다.
(실시의 형태 4)
상기 각 실시의 형태에서 나타낸 동화상 부호화 방법(화상 부호화 방법) 또는 동화상 복호화 방법(화상 복호 방법)의 구성을 실현하기 위한 프로그램을 기억 미디어에 기록함으로써, 상기 각 실시의 형태에서 나타낸 처리를 독립된 컴퓨터 시스템에 있어서 간단하게 실시하는 것이 가능해진다. 기억 미디어는, 자기 디스크, 광디스크, 광자기 디스크, IC카드, 반도체 메모리 등, 프로그램을 기록할 수 있는 것이면 된다.
또한, 여기서, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법(화상 부호화 방법)이나 동화상 복호화 방법(화상 복호 방법)의 응용예와 그것을 이용한 시스템을 설명한다. 상기 시스템은, 화상 부호화 방법을 이용한 화상 부호화 장치, 및 화상 복호 방법을 이용한 화상 복호 장치로 이루어지는 화상 부호화 복호 장치를 가지는 것을 특징으로 한다. 시스템에 있어서의 다른 구성에 대해서, 경우에 따라 적절히 변경할 수 있다.
도 20은, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 도이다. 통신 서비스의 제공 에리어를 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex106, ex107, ex108, ex109, ex110)이 설치되어 있다.
이 컨텐츠 공급 시스템(ex100)은, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex106부터 ex110)을 통하여, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 게임기(ex115) 등의 각 기기가 접속된다.
그러나 컨텐츠 공급 시스템(ex100)은 도 20과 같은 구성에 한정되지 않고, 어느 하나의 요소를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex106부터 ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다. 또, 각 기기가 근거리 무선 등을 통하여 직접 서로 접속되어 있어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이며, 카메라(ex116)는 디지털 카메라 등의 정지화상 촬영, 동화상 촬영이 가능한 기기이다. 또, 휴대 전화(ex114)는, GSM(등록상표)(Global System for Mobile Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-CodeDivision Multiple Access) 방식, 혹은 LTE(Long Term Evolution) 방식, HSPA(High Speed Packet Access)의 휴대 전화기, 또는 PHS(PersonalHandyphone System) 등이며, 그 중 어느 하나여도 상관없다.
컨텐츠 공급 시스템(ex100)에서는, 카메라(ex113) 등이 기지국(ex109), 전화망(ex104)을 통해서 스트리밍 서버(ex103)에 접속됨으로써, 라이브 전송 등이 가능하게 된다. 라이브 전송에서는, 사용자가 카메라(ex113)를 이용하여 촬영하는 컨텐츠(예를 들면, 음악 라이브의 영상 등)에 대해 상기 각 실시의 형태에서 설명한 바와 같이 부호화 처리를 행하여(즉, 본 발명의 일 양태에 관련된 화상 부호화 장치로서 기능한다), 스트리밍 서버(ex103)에 송신한다. 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해 송신된 컨텐츠 데이터를 스트림 전송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114), 게임기(ex115) 등이 있다. 전송된 데이터를 수신한 각 기기에서는, 수신한 데이터를 복호화 처리하여 재생한다(즉, 본 발명의 일 양태에 관련된 화상 복호 장치로서 기능한다).
또한, 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 스트리밍 서버(ex103)로 행해도 되고, 서로 분담해서 행해도 된다. 이와 같이 전송된 데이터의 복호화 처리는 클라이언트로 행해도, 스트리밍 서버( ex103)로 행해도 되고, 서로 분담해서 행해도 된다. 또, 카메라(ex113)에 한정되지 않고, 카메라(ex116)로 촬영한 정지화상 및/또는 동화상 데이터를, 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 송신해도 된다. 이 경우의 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 스트리밍 서버(ex103) 중 어느 하나로 행해도 되고, 서로 분담해서 행해도 된다.
또, 이들 부호화·복호화 처리는, 일반적으로 컴퓨터(ex111)이나 각 기기가 가지는 LSI(ex500)에 있어서 처리한다. LSI(ex500)는, 1칩이어도 복수 칩으로 이루어지는 구성이어도 된다. 또한, 동화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 어떠한 기록 미디어(CD-ROM, 플렉서블 디스크, 하드 디스크 등)에 장착하고, 그 소프트웨어를 이용하여 부호화·복호화 처리를 행해도 된다. 또한, 휴대 전화(ex114)가 카메라가 달린 경우에는, 그 카메라로 취득한 동화상 데이터를 송신해도 된다. 이때의 동화상 데이터는 휴대 전화(ex114)가 가지는 LSI(ex500)로 부호화 처리된 데이터이다.
또, 스트리밍 서버(ex103)는 복수의 서버나 복수의 컴퓨터이며, 데이터를 분산하여 처리하거나 기록하거나 전송하는 것이어도 된다.
이상과 같이 하여, 컨텐츠 공급 시스템(ex100)에서는, 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있다. 이와 같이 컨텐츠 공급 시스템(ex100)에서는, 사용자가 송신한 정보를 실시간으로 클라이언트가 수신하여 복호화하고, 재생할 수 있어, 특별한 권리나 설비를 갖지 않는 사용자여도 개인 방송을 실현할 수 있다.
또한, 컨텐츠 공급 시스템(ex100)의 예에 한정되지 않고, 도 21에 나타내는 바와 같이, 디지털 방송용 시스템(ex200)에도, 상기 각 실시의 형태의 적어도 동화상 부호화 장치(화상 부호화 장치) 또는 동화상 복호화 장치(화상 복호 장치) 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex201)에서는 영상 데이터에 음악 데이터 등이 다중화된 다중화 데이터가 전파를 통하여 통신 또는 위성(ex202)에 전송된다. 이 영상 데이터는 상기 각 실시의 형태에서 설명한 동화상 부호화 방법에 의해 부호화된 데이터이다(즉, 본 발명의 일 양태에 관련된 화상 부호화 장치에 의해 부호화된 데이터이다). 이것을 받은 방송 위성(ex202)은, 방송용의 전파를 발신하고, 이 전파를 위성방송의 수신이 가능한 가정의 안테나(ex204)가 수신한다. 수신한 다중화 데이터를, 텔레비전(수신기)(ex300) 또는 셋탑 박스(STB) (ex217) 등의 장치가 복호화하여 재생한다(즉, 본 발명의 일 양태에 관련된 화상 복호 장치로서 기능한다).
또, DVD, BD 등의 기록 미디어(ex215)에 기록한 다중화 데이터를 판독하여 복호화하거나, 또는 기록 미디어(ex215)에 영상 신호를 부호화하고, 또한 경우에 따라서는 음악 신호와 다중화하여 기입하는 리더/레코더(ex218)에도 상기 각 실시의 형태에서 나타낸 동화상 복호화 장치 또는 동화상 부호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex219)에 표시되어, 다중화 데이터가 기록된 기록 미디어(ex215)에 의해 다른 장치나 시스템에 있어서 영상 신호를 재생할 수 있다. 또, 케이블 텔레비전용의 케이블(ex203) 또는 위성/지상파 방송의 안테나(ex204)에 접속된 셋탑 박스(ex217) 내에 동화상 복호화 장치를 실장하고, 이것을 텔레비전의 모니터(ex219)로 표시해도 된다. 이때 셋탑 박스가 아니라, 텔레비전 내에 동화상 복호화 장치를 장착해도 된다.
도 22는, 상기 각 실시의 형태에서 설명한 동화상 복호화 방법 및 동화상 부호화 방법을 이용한 텔레비전(수신기)(ex300)을 나타내는 도이다. 텔레비전(ex300)은, 상기 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통하여 영상 데이터에 음성 데이터가 다중화된 다중화 데이터를 취득, 또는 출력하는 튜너(ex301)와, 수신한 다중화 데이터를 복조하거나, 또는 외부에 송신하는 다중화 데이터로 변조하는 변조/복조부(ex302)와, 복조한 다중화 데이터를 영상 데이터와, 음성 데이터로 분리하거나, 또는 신호 처리부(ex306)에서 부호화된 영상 데이터, 음성 데이터를 다중화하는 다중/분리부(ex303)를 구비한다.
또, 텔레비전(ex300)은, 음성 데이터, 영상 데이터 각각을 복호화하거나, 또는 각각의 정보를 부호화하는 음성 신호 처리부(ex304), 영상 신호 처리부(ex305)(본 발명의 일 양태에 관련된 화상 부호화 장치 또는 화상 복호 장치로서 기능한다)를 가지는 신호 처리부(ex306)와, 복호화한 음성 신호를 출력하는 스피커(ex307), 복호화한 영상 신호를 표시하는 디스플레이 등의 표시부(ex308)를 가지는 출력부(ex309)를 가진다. 또한, 텔레비전(ex300)은, 사용자 조작의 입력을 받아들이는 조작 입력부(ex312) 등을 가지는 인터페이스부(ex317)를 가진다. 또한, 텔레비전(ex300)은, 각 부를 통괄적으로 제어하는 제어부(ex310), 각 부에 전력을 공급하는 전원 회로부(ex311)를 가진다. 인터페이스부(ex317)는, 조작 입력부(ex312) 이외에, 리더/레코더(ex218) 등의 외부 기기와 접속되는 브릿지(ex313), SD카드 등의 기록 미디어(ex216)를 장착 가능하게 하기 위한 슬롯부(ex314), 하드 디스크 등의 외부 기록 미디어와 접속하기 위한 드라이버(ex315), 전화망과 접속하는 모뎀(ex316) 등을 가지고 있어도 된다. 또한, 기록 미디어(ex216)는, 저장하는 불휘발성/휘발성의 반도체 메모리 소자에 의해 전기적으로 정보의 기록을 가능하게 한 것이다. 텔레비전(ex300)의 각 부는 동기 버스를 통하여 서로 접속되어 있다.
우선, 텔레비전(ex300)이 안테나(ex204) 등에 의해 외부로부터 취득한 다중화 데이터를 복호화하고, 재생하는 구성에 대해서 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, CPU 등을 가지는 제어부(ex310)의 제어에 의거하여, 변조/복조부(ex302)로 복조한 다중화 데이터를 다중/분리부(ex303)에서 분리한다. 또한, 텔레비전(ex300)은, 분리한 음성 데이터를 음성 신호 처리부(ex304)에서 복호화하고, 분리한 영상 데이터를 영상 신호 처리부(ex305)에서 상기 각 실시의 형태에서 설명한 복호화 방법을 이용하여 복호화한다. 복호화한 음성 신호, 영상 신호는, 각각 출력부(ex309)로부터 외부를 향해 출력된다. 출력할 때에는, 음성 신호와 영상 신호가 동기하여 재생하도록, 버퍼(ex318, ex319) 등에 일단 이들 신호를 축적하면 된다. 또, 텔레비전(ex300)은, 방송 등으로부터가 아니라, 자기/광디스크, SD카드 등의 기록 미디어(ex215, ex216)로부터 다중화 데이터를 읽어내도 된다. 다음에, 텔레비전(ex300)이 음성 신호나 영상 신호를 부호화하고, 외부에 송신 또는 기록 미디어 등에 기입하는 구성에 대해서 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, 제어부(ex310)의 제어에 의거하여, 음성 신호 처리부(ex304)에서 음성 신호를 부호화하고, 영상 신호 처리부(ex305)에서 영상 신호를 상기 각 실시의 형태에서 설명한 부호화 방법을 이용하여 부호화한다. 부호화한 음성 신호, 영상 신호는 다중/분리부(ex303)로 다중화되어 외부로 출력된다. 다중화할 때, 음성 신호와 영상 신호가 동기하도록, 버퍼(ex320, ex321) 등에 일단 이들 신호를 축적하면 된다. 또한, 버퍼(ex318, ex319, ex320, ex321)는 도시하고 있는 바와 같이 복수 구비하고 있어도 되고, 1개 이상의 버퍼를 공유하는 구성이어도 된다. 또한, 도시하고 있는 것 이외에, 예를 들면 변조/복조부(ex302)나 다중/분리부(ex303)의 사이 등에서도 시스템의 오버 플로우, 언더 플로우를 피하는 완충재로서 버퍼에 데이터를 축적하는 것으로 해도 된다.
또, 텔레비전(ex300)은, 방송 등이나 기록 미디어 등으로부터 음성 데이터, 영상 데이터를 취득하는 것 이외에, 마이크나 카메라의 AV입력을 받아들이는 구성을 구비하고, 그들로부터 취득한 데이터에 대해 부호화 처리를 행해도 된다. 또한, 여기에서는 텔레비전(ex300)은 상기의 부호화 처리, 다중화, 및 외부 출력이 가능한 구성으로서 설명했지만, 이러한 처리를 행하지는 못하고, 상기 수신, 복호화 처리, 외부 출력만이 가능한 구성이어도 된다.
또, 리더/레코더(ex218)로 기록 미디어로부터 다중화 데이터를 읽어내거나, 또는 기입하는 경우에는, 상기 복호화 처리 또는 부호화 처리는 텔레비전(ex300), 리더/레코더(ex218) 중 어느 하나로 행해도 되고, 텔레비전(ex300)과 리더/레코더(ex218)가 서로 분담해서 행해도 된다.
일례로서 광디스크로부터 데이터의 읽어들임 또는 기입을 하는 경우의 정보 재생/기록부(ex400)의 구성을 도 23에 나타낸다. 정보 재생/기록부(ex400)는, 이하에 설명하는 요소(ex401, ex402, ex403, ex404, ex405, ex406, ex407)를 구비한다. 광헤드(ex401)는, 광디스크인 기록 미디어(ex215)의 기록면에 레이저 스폿을 조사하여 정보를 기입하고, 기록 미디어(ex215)의 기록면으로부터의 반사광을 검출하여 정보를 읽어들인다. 변조 기록부(ex402)는, 광헤드(ex401)에 내장된 반도체 레이저를 전기적으로 구동하여 기록 데이터에 따라 레이저광의 변조를 행한다. 재생 복조부(ex403)는, 광헤드(ex401)에 내장된 포토디텍터에 의해 기록면으로부터의 반사광을 전기적으로 검출한 재생 신호를 증폭하여, 기록 미디어(ex215)에 기록된 신호 성분을 분리하고 복조하여, 필요한 정보를 재생한다. 버퍼(ex404)는, 기록 미디어(ex215)에 기록하기 위한 정보 및 기록 미디어(ex215)로부터 재생한 정보를 일시적으로 유지한다. 디스크 모터(ex405)는 기록 미디어(ex215)를 회전시킨다. 서보 제어부(ex406)는, 디스크 모터(ex405)의 회전 구동을 제어하면서 광헤드(ex401)를 소정의 정보 트랙에 이동시켜, 레이저 스폿의 추종 처리를 행한다. 시스템 제어부(ex407)는, 정보 재생/기록부(ex400) 전체의 제어를 행한다. 상기의 읽어내기나 기입의 처리는 시스템 제어부(ex407)가, 버퍼(ex404)에 유지된 각종 정보를 이용하여, 또 필요에 따라 새로운 정보의 생성·추가를 행함과 함께, 변조 기록부(ex402), 재생 복조부(ex403), 서보 제어부(ex406)를 협조 동작시키면서, 광헤드(ex401)를 통하여, 정보의 기록 재생을 행함으로써 실현된다. 시스템 제어부(ex407)는 예를 들면 마이크로 프로세서로 구성되며, 읽어내기 기입의 프로그램을 실행함으로써 그러한 처리를 실행한다.
이상에서는, 광헤드(ex401)는 레이저 스폿을 조사하는 것으로서 설명했지만, 근접장광을 이용하여 보다 고밀도인 기록을 행하는 구성이어도 된다.
도 24에 광디스크인 기록 미디어(ex215)의 모식도를 나타낸다. 기록 미디어(ex215)의 기록면에는 안내홈(그루브)이 스파이럴형상으로 형성되며, 정보 트랙(ex230)에는, 미리 그루브의 형상의 변화에 따라 디스크 상의 절대 위치를 나타내는 번지 정보가 기록되어 있다. 이 번지 정보는 데이터를 기록하는 단위인 기록 블록(ex231)의 위치를 특정하기 위한 정보를 포함하고, 기록이나 재생을 행하는 장치에 있어서 정보 트랙(ex230)을 재생하여 번지 정보를 판독함으로써 기록 블록을 특정할 수 있다. 또, 기록 미디어(ex215)는, 데이터 기록 영역(ex233), 내주 영역(ex232), 외주 영역(ex234)을 포함하고 있다. 사용자 데이터를 기록하기 위해 이용하는 영역이 데이터 기록 영역(ex233)이며, 데이터 기록 영역(ex233)보다 내주 또는 외주에 배치되어 있는 내주 영역(ex232)과 외주 영역(ex234)은, 사용자 데이터의 기록 이외의 특정 용도로 이용된다. 정보 재생/기록부(ex400)는, 이러한 기록 미디어(ex215)의 데이터 기록 영역(ex233)에 대해, 부호화된 음성 데이터, 영상 데이터 또는 그러한 데이터를 다중화한 다중화 데이터의 읽고 쓰기를 행한다.
이상에서는, 1층의 DVD, BD 등의 광디스크를 예로 들어 설명했지만, 이들에 한정된 것이 아니라, 다층 구조이며 표면 이외에도 기록 가능한 광디스크여도 된다. 또, 디스크의 동일한 장소에 다양한 상이한 파장의 색 광을 이용하여 정보를 기록하거나, 다양한 각도로부터 상이한 정보의 층을 기록하거나, 다차원적인 기록/재생을 행하는 구조의 광디스크여도 된다.
또, 디지털 방송용 시스템(ex200)에 있어서, 안테나(ex205)를 가지는 차(ex210)에서 위성(ex202) 등으로부터 데이터를 수신하여, 차(ex210)가 가지는 카 내비게이션(ex211) 등의 표시 장치에 동화상을 재생하는 것도 가능하다. 또한, 카 내비게이션(ex211)의 구성은 예를 들면 도 22에 나타내는 구성 중, GPS 수신부를 더한 구성을 생각할 수 있으며, 동일한 것을 컴퓨터(ex111)나 휴대 전화(ex114) 등에서도 생각할 수 있다.
도 25a는, 상기 실시의 형태에서 설명한 동화상 복호화 방법 및 동화상 부호화 방법을 이용한 휴대 전화(ex114)를 나타내는 도이다. 휴대 전화(ex114)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex350), 영상, 정지화상을 찍는 것이 가능한 카메라부(ex365), 카메라부(ex365)로 촬상한 영상, 안테나(ex350)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex358)를 구비한다. 휴대 전화(ex114)는, 또한, 조작 키부(ex366)를 가지는 본체부, 음성을 출력하기 위한 스피커 등인 음성 출력부(ex357), 음성을 입력하기 위한 마이크 등인 음성 입력부(ex356), 촬영한 영상, 정지화상, 녹음한 음성, 또는 수신한 영상, 정지화상, 메일 등의 부호화된 데이터 혹은 복호화된 데이터를 보존하는 메모리부(ex367), 또는 마찬가지로 데이터를 보존하는 기록 미디어와의 인터페이스부인 슬롯부(ex364)를 구비한다.
또한, 휴대 전화(ex114)의 구성예에 대해서, 도 25b를 이용하여 설명한다. 휴대 전화(ex114)는, 표시부(ex358) 및 조작 키부(ex366)를 구비한 본체부의 각 부를 통괄적으로 제어하는 주제어부(ex360)에 대해, 전원 회로부(ex361), 조작 입력 제어부(ex362), 영상 신호 처리부(ex355), 카메라 인터페이스부(ex363), LCD(Liquid Crystal Display) 제어부(ex359), 변조/복조부(ex352), 다중/분리부(ex353), 음성 신호 처리부(ex354), 슬롯부(ex364), 메모리부(ex367)가 버스(ex370)를 통하여 서로 접속되어 있다.
전원 회로부(ex361)는, 사용자의 조작에 의해 종화 및 전원 키가 온 상태가 되면, 배터리 팩으로부터 각 부에 대해 전력을 공급함으로써 휴대 전화(ex114)를 동작 가능한 상태로 기동한다.
휴대 전화(ex114)는, CPU, ROM, RAM 등을 가지는 주제어부(ex360)의 제어에 의거하여, 음성 통화 모드 시에 음성 입력부(ex356)에서 수음한 음성 신호를 음성 신호 처리부(ex354)에서 디지털 음성 신호로 변환하고, 이것을 변조/복조부(ex352)로 스펙트럼 확산 처리하여, 송신/수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 송신한다. 또 휴대 전화(ex114)는, 음성 통화 모드 시에 안테나(ex350)를 통하여 수신한 수신 데이터를 증폭시켜 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변조/복조부(ex352)로 스펙트럼 역확산 처리하여, 음성 신호 처리부(ex354)에서 아날로그 음성 신호로 변환한 후, 이것을 음성 출력부(ex357)로부터 출력한다.
또한, 데이터 통신 모드 시에 전자 메일을 송신하는 경우, 본체부의 조작 키부(ex366) 등의 조작에 의해 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex362)를 통하여 주제어부(ex360)에 송출된다. 주제어부(ex360)는, 텍스트 데이터를 변조/복조부(ex352)로 스펙트럼 확산 처리를 하고, 송신/수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 기지국(ex110)으로 송신한다. 전자 메일을 수신하는 경우는, 수신한 데이터에 대해 이 거의 반대의 처리가 행해져, 표시부(ex358)에 출력된다.
데이터 통신 모드 시에 영상, 정지화상, 또는 영상과 음성을 송신하는 경우, 영상 신호 처리부(ex355)는, 카메라부(ex365)로부터 공급된 영상 신호를 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법에 의해 압축 부호화하고(즉, 본 발명의 일 양태에 관련된 화상 부호화 장치로서 기능한다), 부호화된 영상 데이터를 다중/분리부(ex353)에 송출한다. 또, 음성 신호 처리부(ex354)는, 영상, 정지화상 등을 카메라부(ex365)로 촬상 중에 음성 입력부(ex356)에서 수음한 음성 신호를 부호화하고, 부호화된 음성 데이터를 다중/분리부(ex353)에 송출한다.
다중/분리부(ex353)는, 영상 신호 처리부(ex355)로부터 공급된 부호화된 영상 데이터와 음성 신호 처리부(ex354)로부터 공급된 부호화된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변조/복조부(변조/복조 회로부)(ex352)로 스펙트럼 확산 처리를 하고, 송신/수신부(ex351)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 송신한다.
데이터 통신 모드 시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 또는 영상 및 혹은 음성이 첨부된 전자 메일을 수신하는 경우, 안테나(ex350)를 통하여 수신된 다중화 데이터를 복호화하기 위해, 다중/분리부(ex353)는, 다중화 데이터를 분리함으로써 영상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누어, 동기 버스(ex370)를 통하여 부호화된 영상 데이터를 영상 신호 처리부(ex355)에 공급함과 함께, 부호화된 음성 데이터를 음성 신호 처리부(ex354)에 공급한다. 영상 신호 처리부(ex355)는, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법에 대응한 동화상 복호화 방법에 의해 복호화함으로써 영상 신호를 복호하고(즉, 본 발명의 일 양태에 관련된 화상 복호 장치로서 기능한다), LCD 제어부(ex359)를 통하여 표시부(ex358)로부터, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 영상, 정지화상이 표시된다. 또 음성 신호 처리부(ex354)는, 음성 신호를 복호하고, 음성 출력부(ex357)로부터 음성이 출력된다.
또, 상기 휴대 전화(ex114) 등의 단말은, 텔레비전(ex300)과 마찬가지로, 부호화기·복호화기 양쪽을 가지는 송수신형 단말 외에, 부호화기 만의 송신 단말, 복호화기 만의 수신 단말과 같은 3가지의 실장 형식을 생각할 수 있다. 또한, 디지털 방송용 시스템(ex200)에 있어서, 영상 데이터에 음악 데이터 등이 다중화된 다중화 데이터를 수신, 송신하는 것으로서 설명했지만, 음성 데이터 이외에 영상에 관련하는 문자 데이터 등이 다중화된 데이터여도 되고, 다중화 데이터가 아니라 영상 데이터 자체여도 된다.
이와 같이, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호화 방법을 상기 서술한 어느 하나의 기기·시스템에 이용하는 것은 가능하며, 그렇게 함으로써, 상기 각 실시의 형태에서 설명한 효과를 얻을 수 있다.
또, 본 발명은 이와 같은 상기 실시의 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.
(실시의 형태 5)
상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치와, MPEG-2, MPEG4-AVC, VC-1 등 다른 규격에 준거한 동화상 부호화 방법 또는 장치를, 필요에 따라 적절히 전환함으로써, 영상 데이터를 생성하는 것도 가능하다.
여기서, 각각 다른 규격에 준거하는 복수의 영상 데이터를 생성한 경우, 복호할 때에, 각각의 규격에 대응한 복호 방법을 선택할 필요가 있다. 그러나 복호하는 영상 데이터가, 어느 규격에 준거하는 것인지 식별할 수 없기 때문에, 적절한 복호 방법을 선택할 수 없다는 과제를 발생시킨다.
이 과제를 해결하기 위해, 영상 데이터에 음성 데이터 등을 다중화한 다중화 데이터는, 영상 데이터가 어느 규격에 준거하는 것인지를 나타내는 식별 정보를 포함하는 구성으로 한다. 상기 각 실시의 형태에서 나타내는 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터를 포함하는 다중화 데이터의 구체적인 구성을 이하 설명한다. 다중화 데이터는, MPEG-2 트랜스포트 스트림 형식의 디지털 스트림이다.
도 26은, 다중화 데이터의 구성을 나타내는 도이다. 도 26에 나타내는 바와 같이 다중화 데이터는, 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림(PG), 인터랙티브 그래픽스 스트림 중, 1개 이상을 다중화함으로써 얻어진다. 비디오 스트림은 영화의 주영상 및 부영상을, 오디오 스트림(IG)은 영화의 주음성 부분과 그 주음성과 믹싱하는 부음성을, 프리젠테이션 그래픽스 스트림은, 영화의 자막을 각각 나타내고 있다. 여기서 주영상이란 화면에 표시되는 통상의 영상을 나타내고, 부영상이란 주영상 내에 작은 화면으로 표시하는 영상이다. 또, 인터랙티브 그래픽스 스트림은, 화면 상에 GUI 부품을 배치함으로써 작성되는 대화 화면을 나타내고 있다. 비디오 스트림은, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거한 동화상 부호화 방법 또는 장치에 의해 부호화되어 있다. 오디오 스트림은, 돌비 AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, 또는, 리니어 PCM 등의 방식으로 부호화되어 있다.
다중화 데이터에 포함되는 각 스트림은 PID에 의해 식별된다. 예를 들면, 영화의 영상에 이용하는 비디오 스트림에는 0x1011가, 오디오 스트림에는 0x1100에서 0x111F까지가, 프리젠테이션 그래픽스에는 0x1200에서 0x121F까지가, 인터랙티브 그래픽스 스트림에는 0x1400에서 0x141F까지가, 영화의 부영상에 이용하는 비디오 스트림에는 0x1B00에서 0x1B1F까지, 주음성과 믹싱하는 부음성에 이용하는 오디오 스트림에는 0x1A00에서 0x1A1F가, 각각 할당되어져 있다.
도 27은, 다중화 데이터가 어떻게 다중화 되는지를 모식적으로 나타내는 도이다. 우선, 복수의 비디오 프레임으로 이루어지는 비디오 스트림(ex235), 복수의 오디오 프레임으로 이루어지는 오디오 스트림(ex238)을, 각각 PES 패킷열(ex236 및 ex239)로 변환하고, TS 패킷(ex237 및 ex240)으로 변환한다. 마찬가지로 프리젠테이션 그래픽스 스트림(ex241) 및 인터랙티브 그래픽스(ex244)의 데이터를 각각 PES 패킷열(ex242 및 ex245)로 변환하고, 또한 TS 패킷(ex243 및 ex246)으로 변환한다. 다중화 데이터(ex247)는 이들 TS 패킷을 1개의 스트림에 다중화함으로써 구성된다.
도 28은, PES 패킷열에, 비디오 스트림이 어떻게 저장되는지를 더 상세하게 나타내고 있다. 도 28에 있어서의 제1단째는 비디오 스트림의 비디오 프레임열을 나타낸다. 제2단째는, PES 패킷열을 나타낸다. 도 28의 화살표 yy1, yy2, yy3, yy4에 나타내는 바와 같이, 비디오 스트림에 있어서의 복수의 Video Presentation Unit인 I픽처, B픽처, P픽처는, 픽처마다 분할되어, PES 패킷의 페이로드에 저장된다. 각 PES 패킷은 PES 헤더를 가지며, PES 헤더에는, 픽처의 표시 시각인 PTS(Presentation Time-Stamp)나 픽처의 복호 시각인 DTS(Decoding Time-Stamp)가 저장된다.
도 29는, 다중화 데이터에 최종적으로 기입되는 TS 패킷의 형식을 나타내고 있다. TS 패킷은, 스트림을 식별하는 PID 등의 정보를 가지는 4byte의 TS 헤더와 데이터를 저장하는 184byte의 TS 페이로드로 구성되는 188Byte 고정길이의 패킷이며, 상기 PES 패킷은 분할되어 TS 페이로드에 저장된다. BD-ROM의 경우, TS 패킷에는, 4byte의 TP＿Extra＿Header가 부여되며, 192Byte의 소스 패킷을 구성하여, 다중화 데이터에 기입된다. TP＿Extra＿Header에는 ATS(Arrival＿Time＿Stamp) 등의 정보가 기재된다. ATS는 상기 TS 패킷의 디코더의 PID 필터로의 전송 개시 시각을 나타낸다. 다중화 데이터에는 도 29 하단에 나타내는 바와 같이 소스 패킷이 늘어서게 되어, 다중화 데이터의 선두로부터 인크리먼트하는 번호는 SPN(소스 패킷 넘버)로 불린다.
또, 다중화 데이터에 포함되는 TS 패킷에는, 영상·음성·자막 등의 각 스트림 이외에도 PAT(Program Association Table), PMT(Program Map Table), PCR(Program Clock Reference) 등이 있다. PAT는 다중화 데이터 중에 이용되는 PMT의 PID가 무엇인지를 나타내고, PAT 자신의 PID는 0으로 등록된다. PMT는, 다중화 데이터 중에 포함되는 영상·음성·자막 등의 각 스트림의 PID와 각 PID에 대응하는 스트림의 속성 정보를 가지며, 또 다중화 데이터에 관한 각종 디스크립터를 가진다. 디스크립터에는 다중화 데이터의 카피를 허가·불허가를 지시하는 카피 컨트롤 정보 등이 있다. PCR는, ATS의 시간축인 ATC(Arrival Time Clock)와 PTS·DTS의 시간축인 STC(System Time Clock)의 동기를 취하기 위해, 그 PCR 패킷이 디코더에 전송되는 ATS에 대응하는 STC 시간의 정보를 가진다.
도 30은 PMT의 데이터 구조를 상세하게 설명하는 도이다. PMT의 선두에는, 그 PMT에 포함되는 데이터의 길이 등을 적은 PMT 헤더가 배치된다. 그 뒤에는, 다중화 데이터에 관한 디스크립터가 복수 배치된다. 상기 카피 컨트롤 정보 등이, 디스크립터로서 기재된다. 디스크립터 뒤에는, 다중화 데이터에 포함되는 각 스트림에 관한 스트림 정보가 복수 배치된다. 스트림 정보는, 스트림의 압축 코덱 등을 식별하기 위해 스트림 타입, 스트림의 PID, 스트림의 속성 정보(프레임 레이트, 종횡비 등)가 기재된 스트림 디스크립터로 구성된다. 스트림 디스크립터는 다중화 데이터에 존재하는 스트림의 수만큼 존재한다.
기록 매체 등에 기록하는 경우에는, 상기 다중화 데이터는, 다중화 데이터 정보 파일과 함께 기록된다.
다중화 데이터 정보 파일은, 도 31에 나타내는 바와 같이 다중화 데이터의 관리 정보이며, 다중화 데이터와 1대 1로 대응하며, 다중화 데이터 정보, 스트림 속성 정보와 엔트리 맵으로 구성된다.
다중화 데이터 정보는 도 31에 나타내는 바와 같이 시스템 레이트, 재생 개시 시각, 재생 종료 시각으로 구성되어 있다. 시스템 레이트는 다중화 데이터의, 후술하는 시스템 타겟 디코더의 PID 필터로의 최대 전송 레이트를 나타낸다. 다중화 데이터 중에 포함되는 ATS의 간격은 시스템 레이트 이하가 되도록 설정되어 있다. 재생 개시 시각은 다중화 데이터의 선두의 비디오 프레임의 PTS이며, 재생 종료 시각은 다중화 데이터의 종단의 비디오 프레임의 PTS에 1프레임 분의 재생 간격을 더한 것이 설정된다.
스트림 속성 정보는 도 32에 나타내는 바와 같이, 다중화 데이터에 포함되는 각 스트림에 대한 속성 정보가, PID마다 등록된다. 속성 정보는 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림, 인터랙티브 그래픽스 스트림마다 상이한 정보를 가진다. 비디오 스트림 속성 정보는, 그 비디오 스트림이 어떠한 압축 코덱으로 압축되었는지, 비디오 스트림을 구성하는 개개의 픽처 데이터의 해상도가 어느 정도인지, 종횡비는 어느 정도인지, 프레임 레이트는 어느 정도인지 등의 정보를 가진다. 오디오 스트림 속성 정보는, 그 오디오 스트림이 어떠한 압축 코덱으로 압축되었는지, 그 오디오 스트림에 포함되는 채널수는 몇인지, 어떤 언어에 대응하는지, 샘플링 주파수가 어느 정도인지 등의 정보를 가진다. 이러한 정보는, 플레이어가 재생하기 전의 디코더의 초기화 등에 이용된다.
본 실시의 형태에 있어서는, 상기 다중화 데이터 중, PMT에 포함되는 스트림 타입을 이용한다. 또, 기록 매체에 다중화 데이터가 기록되어 있는 경우에는, 다중화 데이터 정보에 포함되는, 비디오 스트림 속성 정보를 이용한다. 구체적으로는, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 있어서, PMT에 포함되는 스트림 타입, 또는, 비디오 스트림 속성 정보에 대해, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터인 것을 나타내는 고유의 정보를 설정하는 단계 또는 수단을 설치한다. 이 구성에 의해, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성한 영상 데이터와, 다른 규격에 준거하는 영상 데이터를 식별하는 것이 가능하게 된다.
또, 본 실시의 형태에 있어서의 동화상 복호화 방법의 단계를 도 33에 나타낸다. 단계(exS100)에 있어서, 다중화 데이터로부터 PMT에 포함되는 스트림 타입, 또는, 다중화 데이터 정보에 포함되는 비디오 스트림 속성 정보를 취득한다. 다음에, 단계(exS101)에 있어서, 스트림 타입, 또는, 비디오 스트림 속성 정보가 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 다중화 데이터인 것을 나타내고 있는지 아닌지를 판단한다. 그리고 스트림 타입, 또는, 비디오 스트림 속성 정보가 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 것이라고 판단된 경우에는, 단계(exS102)에 있어서, 상기 각 실시의 형태에서 나타낸 동화상 복호 방법에 의해 복호를 행한다. 또, 스트림 타입, 또는, 비디오 스트림 속성 정보가, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 것임을 나타내고 있는 경우에는, 단계(exS103)에 있어서, 종래의 규격에 준거한 동화상 복호 방법에 의해 복호를 행한다.
이와 같이, 스트림 타입, 또는, 비디오 스트림 속성 정보로 새로운 고유값을 설정함으로써, 복호할 때에, 상기 각 실시의 형태에서 나타낸 동화상 복호화 방법 또는 장치로 복호 가능한지를 판단할 수 있다. 따라서, 상이한 규격에 준거하는 다중화 데이터가 입력된 경우여도, 적절한 복호화 방법 또는 장치를 선택할 수 있기 때문에, 에러를 일으키지 않고 복호하는 것이 가능해진다. 또, 본 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치, 또는, 동화상 복호 방법 또는 장치를, 상기 서술한 어느 하나의 기기·시스템에 이용하는 것도 가능하다.
(실시의 형태 6)
상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 및 장치, 동화상 복호화 방법 및 장치는, 전형적으로는 집적 회로인 LSI로 실현된다. 일례로서, 도 34에 1칩화된 LSI(ex500)의 구성을 나타낸다. LSI(ex500)는, 이하에 설명하는 요소(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, ex509)를 구비하고, 각 요소는 버스(ex510)를 통하여 접속하고 있다. 전원 회로부(ex505)는 전원이 온 상태인 경우에 각 부에 대해 전력을 공급함으로써 동작 가능한 상태로 기동한다.
예를 들면 부호화 처리를 행하는 경우에는, LSI(ex500)는, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 구동 주파수 제어부(ex512) 등을 가지는 제어부(ex501)의 제어에 의거하여, AV I/O(ex509)에 의해 마이크(ex117)나 카메라(ex113) 등으로부터 AV 신호를 입력한다. 입력된 AV 신호는, 일단 SDRAM 등의 외부의 메모리(ex511)에 축적된다. 제어부(ex501)의 제어에 의거하여, 축적한 데이터는 처리량이나 처리 속도에 따라 적절히 복수회로 나누는 등 하여 신호 처리부(ex507)에 보내지고, 신호 처리부(ex507)에 있어서 음성 신호의 부호화 및/또는 영상 신호의 부호화가 행해진다. 여기서 영상 신호의 부호화 처리는 상기 각 실시의 형태에서 설명한 부호화 처리이다. 신호 처리부(ex507)에서는 또한, 경우에 따라 부호화된 음성 데이터와 부호화된 영상 데이터를 다중화하는 등의 처리를 행하여, 스트림 I/O(ex506)로부터 외부로 출력한다. 이 출력된 다중화 데이터는, 기지국(ex107)을 향해 송신되거나, 또는 기록 미디어(ex215)에 기입된다. 또한, 다중화할 때에는 동기하도록, 일단 버퍼(ex508)에 데이터를 축적하면 된다.
또한, 상기에서는, 메모리(ex511)가 LSI(ex500)의 외부의 구성으로서 설명했지만, LSI(ex500)의 내부에 포함되는 구성이어도 된다. 버퍼(ex508)도 1개에 한정된 것이 아니라, 복수의 버퍼를 구비하고 있어도 된다. 또, LSI(ex500)는 1칩화되어도 되고, 복수칩화되어도 된다.
또, 상기에서는, 제어부(ex501)가, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 구동 주파수 제어부(ex512) 등을 가지는 것으로 하고 있지만, 제어부(ex501)의 구성은, 이 구성에 한정되지 않는다. 예를 들면, 신호 처리부(ex507)가 CPU를 더 구비하는 구성이어도 된다. 신호 처리부(ex507)의 내부에도 CPU를 설치함으로써, 처리 속도를 보다 향상시키는 것이 가능하게 된다. 또, 다른 예로서, CPU(ex502)가 신호 처리부(ex507), 또는 신호 처리부(ex507)의 일부인 예를 들면 음성 신호 처리부를 구비하는 구성이어도 된다. 이러한 경우에는, 제어부(ex501)는, 신호 처리부(ex507), 또는 그 일부를 가지는 CPU(ex502)를 구비하는 구성이 된다.
또한, 여기에서는, LSI로 했지만, 집적도의 차이에 의해, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라고 호칭되는 경우도 있다.
또, 집적 회로화의 수법은 LSI에 한정되는 것이 아니라, 전용 회로 또는 범용 프로세서로 실현되어도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블·프로세서를 이용해도 된다. 이러한 프로그래머블·로직·디바이스는, 전형적으로는, 소프트웨어 또는 펌웨어를 구성하는 프로그램을, 로드하거나 또는 메모리 등으로부터 읽어들임으로써, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법, 또는 동화상 복호화 방법을 실행할 수 있다.
또한, 반도체 기술의 진보 또는 파생하는 다른 기술에 의해 LSI에 치환되는 집적 회로화의 기술이 등장하면, 당연, 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.
(실시의 형태 7)
상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터를 복호하는 경우, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터를 복호하는 경우에 비해, 처리량이 증가하는 것을 생각할 수 있다. 그 때문에, LSI(ex500)에 있어서, 종래의 규격에 준거하는 영상 데이터를 복호할 때의 CPU(ex502)의 구동 주파수보다 높은 구동 주파수로 설정할 필요가 있다. 그러나 구동 주파수를 높게 하면, 소비 전력이 높아진다는 과제가 생긴다.
이 과제를 해결하기 위해, 텔레비전(ex300), LSI(ex500) 등의 동화상 복호화 장치는, 영상 데이터가 어느 규격에 준거하는 것인지를 식별하여, 규격에 따라 구동 주파수를 전환하는 구성으로 한다. 도 35는, 본 실시의 형태에 있어서의 구성(ex800)을 나타내고 있다. 구동 주파수 전환부(ex803)는, 영상 데이터가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 것인 경우에는, 구동 주파수를 높게 설정한다. 그리고 상기 각 실시의 형태에서 나타낸 동화상 복호화 방법을 실행하는 복호 처리부(ex801)에 대해, 영상 데이터를 복호하도록 지시한다. 한편, 영상 데이터가, 종래의 규격에 준거하는 영상 데이터인 경우에는, 영상 데이터가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 것인 경우에 비해, 구동 주파수를 낮게 설정한다. 그리고 종래의 규격에 준거하는 복호 처리부(ex802)에 대해, 영상 데이터를 복호하도록 지시한다.
보다 구체적으로는, 구동 주파수 전환부(ex803)는, 도 34의 CPU(ex502)와 구동 주파수 제어부(ex512)로 구성된다. 또, 상기 각 실시의 형태에서 나타낸 동화상 복호화 방법을 실행하는 복호 처리부(ex801), 및, 종래의 규격에 준거하는 복호 처리부(ex802)는, 도 34의 신호 처리부(ex507)에 해당한다. CPU(ex502)는, 영상 데이터가 어느 규격에 준거하는 것인지를 식별한다. 그리고 CPU(ex502)로부터의 신호에 의거하여, 구동 주파수 제어부(ex512)는, 구동 주파수를 설정한다. 또, CPU(ex502)로부터의 신호에 의거하여, 신호 처리부(ex507)는, 영상 데이터의 복호를 행한다. 여기서, 영상 데이터의 식별에는, 예를 들면, 실시의 형태 5에서 기재한 식별 정보를 이용하는 것을 생각할 수 있다. 식별 정보에 관해서는, 실시의 형태 5에서 기재한 것에 한정되지 않고, 영상 데이터가 어느 규격에 준거하는지 식별할 수 있는 정보이면 된다. 예를 들면, 영상 데이터가 텔레비전에 이용되는 것인지, 디스크에 이용되는 것인지 등을 식별하는 외부 신호에 의거하여, 영상 데이터가 어느 규격에 준거하는 것인지 식별 가능한 경우에는, 이러한 외부 신호에 의거하여 식별해도 된다. 또, CPU(ex502)에 있어서의 구동 주파수의 선택은, 예를 들면, 도 37과 같은 영상 데이터의 규격과, 구동 주파수를 대응지은 룩업 테이블에 의거하여 행하는 것을 생각할 수 있다. 룩업 테이블을, 버퍼(ex508)나, LSI의 내부 메모리에 저장해 두고, CPU(ex502)가 이 룩업 테이블을 참조함으로써, 구동 주파수를 선택하는 것이 가능하다.
도 36은, 본 실시의 형태의 방법을 실시하는 단계를 나타내고 있다. 우선, 단계(exS200)에서는, 신호 처리부(ex507)에 있어서, 다중화 데이터로부터 식별 정보를 취득한다. 다음에, 단계(exS201)에서는, CPU(ex502)에 있어서, 식별 정보에 의거하여 영상 데이터가 상기 각 실시의 형태에서 나타낸 부호화 방법 또는 장치에 의해 생성된 것인지 아닌지를 식별한다. 영상 데이터가 상기 각 실시의 형태에서 나타낸 부호화 방법 또는 장치에 의해 생성된 것인 경우에는, 단계(exS202)에 있어서, 구동 주파수를 높게 설정하는 신호를, CPU(ex502)가 구동 주파수 제어부(ex512)에 보낸다. 그리고 구동 주파수 제어부(ex512)에 있어서, 높은 구동 주파수로 설정된다. 한편, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터인 것을 나타내고 있는 경우에는, 단계(exS203)에 있어서, 구동 주파수를 낮게 설정하는 신호를, CPU(ex502)가 구동 주파수 제어부(ex512)에 보낸다. 그리고 구동 주파수 제어부(ex512)에 있어서, 영상 데이터가 상기 각 실시의 형태에서 나타낸 부호화 방법 또는 장치에 의해 생성된 것인 경우에 비해, 낮은 구동 주파수로 설정된다.
또한, 구동 주파수의 전환에 연동하여, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 변경함으로써, 전력 절약 효과를 더욱 높이는 것이 가능하다. 예를 들면, 구동 주파수를 낮게 설정하는 경우에는, 이것에 수반하여, 구동 주파수를 높게 설정하고 있는 경우에 비해, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 낮게 설정하는 것을 생각할 수 있다.
또, 구동 주파수의 설정 방법은, 복호할 때의 처리량이 큰 경우에, 구동 주파수를 높게 설정하고, 복호할 때의 처리량이 작은 경우에, 구동 주파수를 낮게 설정하면 되며, 상기 서술한 설정 방법에 한정되지 않는다. 예를 들면, MPEG4-AVC 규격에 준거하는 영상 데이터를 복호하는 처리량이, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터를 복호하는 처리량보다 큰 경우에는, 구동 주파수의 설정을 상기 서술한 경우의 반대로 하는 것을 생각할 수 있다.
또한, 구동 주파수의 설정 방법은, 구동 주파수를 낮게 하는 구성에 한정되지 않는다. 예를 들면, 식별 정보가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터인 것을 나타내고 있는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 높게 설정하고, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터인 것을 나타내고 있는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 낮게 설정하는 것도 생각할 수 있다. 또, 다른 예로서는, 식별 정보가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터인 것을 나타내고 있는 경우에는, CPU(ex502)의 구동을 정지시키지 않고, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터인 것을 나타내고 있는 경우에는, 처리에 여유가 있기 때문에, CPU(ex502)의 구동을 일시 정지시키는 것도 생각할 수 있다. 식별 정보가, 상기 각 실시의 형태에서 나타낸 동화상 부호화 방법 또는 장치에 의해 생성된 영상 데이터인 것을 나타내고 있는 경우여도, 처리에 여유가 있으면, CPU(ex502)의 구동을 일시 정지시키는 것도 생각할 수 있다. 이 경우는, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 영상 데이터인 것을 나타내고 있는 경우에 비해, 정지 시간을 짧게 설정하는 것을 생각할 수 있다.
이와 같이, 영상 데이터가 준거하는 규격에 따라, 구동 주파수를 전환함으로써, 전력 절약화를 도모하는 것이 가능하게 된다. 또, 전지를 이용하여 LSI(ex500) 또는 LSI(ex500)을 포함하는 장치를 구동하고 있는 경우에는, 전력 절약화에 수반하여, 전지의 수명을 길게 하는 것이 가능하다.
(실시의 형태 8)
텔레비전이나, 휴대 전화 등, 상기 서술한 기기·시스템에는, 상이한 규격에 준거하는 복수의 영상 데이터가 입력되는 경우가 있다. 이와 같이, 상이한 규격에 준거하는 복수의 영상 데이터가 입력된 경우에도 복호할 수 있도록 하기 위해, LSI(ex500)의 신호 처리부(ex507)가 복수의 규격에 대응하고 있을 필요가 있다. 그러나 각각의 규격에 대응하는 신호 처리부(ex507)를 개별적으로 이용하면, LSI(ex500)의 회로 규모가 커지고, 또, 비용이 증가한다는 과제가 생긴다.
이 과제를 해결하기 위해, 상기 각 실시의 형태에서 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리부와, 종래의 MPEG-2, MPEG4-AVC, VC-1 등의 규격에 준거하는 복호 처리부를 일부 공유화하는 구성으로 한다. 이 구성예를 도 38a의 ex900에 나타낸다. 예를 들면, 상기 각 실시의 형태에서 나타낸 동화상 복호 방법과, MPEG4-AVC 규격에 준거하는 동화상 복호 방법은, 엔트로피 부호화, 역양자화, 디블로킹·필터, 움직임 보상 등의 처리에 있어서 처리 내용이 일부 공통된다. 공통되는 처리 내용에 대해서는, MPEG4-AVC 규격에 대응하는 복호 처리부(ex902)를 공유하고, MPEG4-AVC 규격에 대응하지 않는, 본 발명의 일 양태에 특유의 다른 처리 내용에 대해서는, 전용의 복호 처리부(ex901)를 이용한다는 구성을 생각할 수 있다. 특히, 본 발명의 일 양태는, 픽처의 분할 처리에 특징을 가지고 있기 때문에, 예를 들면, 픽처의 분할 처리에 있어서는 전용의 복호 처리부(ex901)를 이용하고, 그 이외의 역양자화, 엔트로피 복호, 디블로킹·필터, 움직임 보상 중 어느 하나, 또는, 모든 처리에 있어서는, 복호 처리부를 공유하는 것을 생각할 수 있다. 복호 처리부의 공유화에 관해서는, 공통되는 처리 내용에 대해서는, 상기 각 실시의 형태에서 나타낸 동화상 복호화 방법을 실행하기 위한 복호 처리부를 공유하고, MPEG4-AVC 규격에 특유의 처리 내용에 대해서는, 전용의 복호 처리부를 이용하는 구성이어도 된다.
또, 처리를 일부 공유화하는 다른 예를 도 38b의 ex1000에 나타낸다. 이 예에서는, 본 발명의 일 양태에 특유의 처리 내용에 대응한 전용의 복호 처리부(ex1001)와, 다른 종래 규격에 특유의 처리 내용에 대응한 전용의 복호 처리부(ex1002)와, 본 발명의 일 양태에 관련된 동화상 복호 방법과 다른 종래 규격의 동화상 복호 방법에 공통되는 처리 내용에 대응한 공용의 복호 처리부(ex1003)를 이용하는 구성으로 하고 있다. 여기서, 전용의 복호 처리부(ex1001, ex1002)는, 반드시 본 발명의 일 양태, 또는, 다른 종래 규격에 특유의 처리 내용에 특화한 것이 아니라, 다른 범용 처리를 실행할 수 있는 것이어도 된다. 또, 본 실시의 형태의 구성을, LSI(ex500)로 실장하는 것도 가능하다.
이와 같이, 본 발명의 일 양태에 관련된 동화상 복호 방법과, 종래의 규격의 동화상 복호 방법에서 공통되는 처리 내용에 대해서, 복호 처리부를 공유함으로써, LSI의 회로 규모를 작게 하고, 또한, 비용을 저감하는 것이 가능하다.
<산업상의 이용 가능성>
본 발명은, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또, 본 발명은, 화상 부호화 장치를 구비하는, 텔레비전, 디지털 비디오 레코더, 카 내비게이션, 휴대 전화, 디지털 카메라, 및 디지털 비디오 카메라 등의 고해상도의 정보 표시 기기 또는 촬상 기기에 이용 가능하다.
100: 화상 부호화 장치 101: 입력 화상 신호
105: 감산기 106: 잔차 신호
110: 변환부 111: 변환 계수
120: 양자화부 121, 291: 양자화 계수
130, 230: 역변환부 131, 231: 잔차 신호
140, 240: 가산기
141, 151, 161, 171, 241, 251, 261, 271: 복호 화상 신호
150, 250: 디블로킹 필터 160, 260: 적응적 루프 필터
170, 270: 참조 프레임 버퍼 180, 280: 예측부
181, 281: 예측 신호 190: 엔트로피 부호화부
191, 201: 부호화 신호 200: 화상 복호 장치
290: 엔트로피 복호부
300, 310, 330, 340, 350, 360, 370, 390, 400, 410, 420: 픽처
301, 302, 311, 312, 313, 314, 321, 381: 행
320, 380: 슬라이스 헤더
331, 332, 333, 341, 342, 343, 344, 351, 354, 361, 362, 363, 364, 365, 371, 372, 373, 374, 391, 392, 393, 394, 401, 402, 403, 404, 411, 412, 413, 414, 415, 421, 422, 423, 424: 슬라이스

Claims (14)

  1. 부호화된 화상을 포함하는 비트 스트림을 복호하는 화상 복호 방법으로서, 상기 부호화된 화상은 각각이 둘 이상의 부호화 단위들(coding unit)을 포함하는 복수의 행을 포함하고, 상기 방법은:
    상기 부호화된 화상의 복수의 슬라이스를 파면 병렬 처리(wavefront parallel processing)에 의해 복호하는 단계; 및
    상기 파면 병렬 처리의 일부로서, 각각의 행의 선두에서 컨텍스트 및 확률 정보를 동기화하는 단계
    를 포함하고,
    상기 복수의 슬라이스는 통상 슬라이스 및 하나 이상의 의존 슬라이스를 포함하고,
    상기 통상 슬라이스는 슬라이스 헤더에 상기 하나 이상의 의존 슬라이스를 위해 사용되는 정보를 갖고, 상기 통상 슬라이스는 제1 행의 선두 이외의 위치에서 시작되고, 상기 하나 이상의 의존 슬라이스는 상기 제1 행에 전부 포함되고,
    상기 동기화하는 단계 동안, 제2 행의 선두의 슬라이스는 상기 통상 슬라이스의 슬라이스 헤더의 정보를 참조하지 않는 것인, 화상 복호 방법.
  2. 청구항 1에 있어서,
    상기 복호하는 단계 동안, 상기 제1 행과 상기 제2 행은 병렬로 복호되고,
    상기 제2 행의 복호가 개시될 때, 상기 제2 행은 상기 제1 행의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고 복호되는 것인, 화상 복호 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 복호하는 단계 동안, 상기 제2 행의 산술 복호는, 부호화 단위들 중 상기 제1 행의 2번째에 위치된 부호화 단위의 산술 복호 후에 획득된 컨텍스트를 사용하여 초기화되는 것인, 화상 복호 방법.
  4. 청구항 1 또는 청구항 2에 있어서,
    상기 하나 이상의 의존 슬라이스가 유효한 경우에, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림으로부터 획득하는 단계를 더 포함하는, 화상 복호 방법.
  5. 부호화된 화상을 포함하는 비트 스트림을 복호하는 화상 복호 장치로서, 상기 부호화된 화상은 각각이 둘 이상의 부호화 단위들(coding unit)을 포함하는 복수의 행을 포함하고, 상기 장치는 회로를 포함하고, 상기 회로는:
    상기 부호화된 화상의 복수의 슬라이스를 파면 병렬 처리(wavefront parallel processing)에 의해 복호하고,
    상기 파면 병렬 처리의 일부로서, 각각의 행의 선두에서 컨텍스트 및 확률 정보를 동기화하도록 구성되고,
    상기 복수의 슬라이스는 통상 슬라이스 및 하나 이상의 의존 슬라이스를 포함하고,
    상기 통상 슬라이스는 슬라이스 헤더에 상기 하나 이상의 의존 슬라이스를 위해 사용되는 정보를 갖고, 상기 통상 슬라이스는 제1 행의 선두 이외의 위치에서 시작되고, 상기 하나 이상의 의존 슬라이스는 상기 제1 행에 전부 포함되고,
    상기 동기화하는 동안, 제2 행의 선두의 슬라이스는 적어도 하나의 통상 슬라이스의 슬라이스 헤더의 정보를 참조하지 않는 것인, 화상 복호 장치.
  6. 청구항 5에 있어서,
    상기 제1 행과 상기 제2 행은 병렬로 복호되고,
    상기 제2 행의 복호가 개시될 때, 상기 제2 행은 상기 제1 행의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고 복호되는 것인, 화상 복호 장치.
  7. 청구항 5 또는 청구항 6에 있어서,
    상기 복호하는 동안, 상기 제2 행의 산술 복호는, 부호화 단위들 중 상기 제1 행의 2번째에 위치된 부호화 단위의 산술 복호 후에 획득된 컨텍스트를 사용하여 초기화되는 것인, 화상 복호 장치.
  8. 청구항 5 또는 청구항 6에 있어서,
    상기 회로는 또한:
    상기 하나 이상의 의존 슬라이스가 유효한 경우에, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림으로부터 획득하도록 구성되는 것인, 화상 복호 장치.
  9. 청구항 5 또는 청구항 6에 있어서,
    상기 장치는 출력 디스플레이를 더 포함하는 것인, 화상 복호 장치.
  10. 청구항 5 또는 청구항 6에 있어서,
    상기 장치는 셋탑 박스에 구현되는 것인, 화상 복호 장치.
  11. 명령으로 부호화된 적어도 하나의 비일시적인 컴퓨터-판독가능 매체로서, 상기 명령은 프로세서에 의해 실행될 때 부호화된 화상을 포함하는 비트 스트림을 복호하는 동작들을 수행하고, 상기 부호화된 화상은 각각이 둘 이상의 부호화 단위들(coding unit)을 포함하는 복수의 행을 포함하고, 상기 동작들은:
    상기 부호화된 화상의 복수의 슬라이스를 파면 병렬 처리(wavefront parallel processing)에 의해 복호하는 동작; 및
    상기 파면 병렬 처리의 일부로서, 각각의 행의 선두에서 컨텍스트 및 확률 정보를 동기화하는 동작
    을 포함하고,
    상기 복수의 슬라이스는 통상 슬라이스 및 하나 이상의 의존 슬라이스를 포함하고,
    상기 통상 슬라이스는 슬라이스 헤더에 상기 하나 이상의 의존 슬라이스를 위해 사용되는 정보를 갖고, 상기 통상 슬라이스는 제1 행의 선두 이외의 위치에서 시작되고, 상기 하나 이상의 의존 슬라이스는 상기 제1 행에 전부 포함되고,
    상기 동기화하는 동안, 제2 행의 선두의 슬라이스는 적어도 하나의 통상 슬라이스의 슬라이스 헤더의 정보를 참조하지 않는 것인, 비일시적인 컴퓨터-판독가능 매체.
  12. 청구항 11에 있어서,
    상기 복호하는 동안, 상기 제1 행과 상기 제2 행은 병렬로 복호되고,
    상기 제2 행의 복호가 개시될 때, 상기 제2 행은 상기 제1 행의 슬라이스 구조를 나타내는 분할 정보를 참조하지 않고 복호되는 것인, 비일시적인 컴퓨터-판독가능 매체.
  13. 청구항 11 또는 청구항 12에 있어서,
    상기 복호하는 동안, 상기 제2 행의 산술 복호는, 부호화 단위들 중 상기 제1 행의 2번째에 위치된 부호화 단위의 산술 복호 후에 획득된 컨텍스트를 사용하여 초기화되는 것인, 비일시적인 컴퓨터-판독가능 매체.
  14. 청구항 11 또는 청구항 12에 있어서,
    상기 동작들은, 상기 하나 이상의 의존 슬라이스가 유효한 경우에, 픽처의 분할이 제한되어 있는 것을 나타내는 제한 인디케이터를 상기 비트 스트림으로부터 획득하는 동작을 더 포함하는 것인, 비일시적인 컴퓨터-판독가능 매체.
KR1020197038985A 2012-09-26 2013-09-18 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 KR102160372B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261705864P 2012-09-26 2012-09-26
US61/705,864 2012-09-26
PCT/JP2013/005514 WO2014050030A1 (ja) 2012-09-26 2013-09-18 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157004465A Division KR102063239B1 (ko) 2012-09-26 2013-09-18 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치

Publications (2)

Publication Number Publication Date
KR20200003286A KR20200003286A (ko) 2020-01-08
KR102160372B1 true KR102160372B1 (ko) 2020-09-28

Family

ID=50338837

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197038985A KR102160372B1 (ko) 2012-09-26 2013-09-18 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR1020157004465A KR102063239B1 (ko) 2012-09-26 2013-09-18 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157004465A KR102063239B1 (ko) 2012-09-26 2013-09-18 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치

Country Status (14)

Country Link
US (9) US9100634B2 (ko)
EP (3) EP2903269B1 (ko)
JP (1) JP6124221B2 (ko)
KR (2) KR102160372B1 (ko)
CN (2) CN108769698B (ko)
AU (1) AU2013322000B2 (ko)
BR (1) BR112015004246B1 (ko)
CA (1) CA2882792C (ko)
ES (1) ES2716579T3 (ko)
MX (1) MX341067B (ko)
MY (1) MY181830A (ko)
TW (1) TWI581618B (ko)
WO (1) WO2014050030A1 (ko)
ZA (1) ZA201501520B (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
MY181830A (en) * 2012-09-26 2021-01-08 Panasonic Ip Corp America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX364485B (es) * 2013-01-04 2019-04-29 Samsung Electronics Co Ltd Método para segmento de rebanada de codificación por entropía y aparato para el mismo, y método para el segmento de rebanada de decodificación por entropía y aparato para el mismo.
GB2513303B (en) * 2013-04-16 2017-06-07 Canon Kk Method and device for partitioning an image
US9875723B2 (en) * 2013-08-13 2018-01-23 Mediatek Inc. Data processing apparatus for transmitting/receiving randomly accessible compressed pixel data groups over display interface and related data processing method
CA2925183C (en) 2013-10-14 2020-03-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
US9736488B2 (en) * 2013-11-27 2017-08-15 Nxp Usa, Inc. Decoding for high efficiency video transcoding
JP6355744B2 (ja) 2014-01-03 2018-07-11 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化／デコーディングにおけるブロックベクトル予測
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
EP3158734A4 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
WO2016197314A1 (en) 2015-06-09 2016-12-15 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
US10382793B2 (en) * 2015-06-23 2019-08-13 Integrated Device Technology, Inc. Apparatuses and methods for performing information extraction and insertion on bitstreams
US20170105010A1 (en) * 2015-10-09 2017-04-13 Microsoft Technology Licensing, Llc Receiver-side modifications for reduced video latency
WO2017171438A1 (ko) * 2016-03-30 2017-10-05 한국전자통신연구원 픽쳐 분할 정보를 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
US10593015B2 (en) 2016-05-04 2020-03-17 Texas Instruments Incorporated Apparatus and method for efficient motion estimation
CN108063948B (zh) * 2016-11-08 2020-08-04 联发科技股份有限公司 配合多个处理器的影像处理装置及影像处理方法
CN107147916B (zh) * 2017-06-09 2021-01-29 苏州蜗牛数字科技股份有限公司 一种在传输层上传输h.265编码视频数据的方法
CN107197296B (zh) * 2017-06-22 2019-08-13 华中科技大学 一种基于COStream的HEVC并行编码方法和系统
BR112020024566A2 (pt) 2018-06-14 2021-03-09 Panasonic Intellectual Property Corporation Of America Método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais
CN118200562A (zh) * 2018-12-07 2024-06-14 松下电器（美国）知识产权公司 编码装置、解码装置和非暂时性的计算机可读介质
WO2020210511A1 (en) * 2019-04-10 2020-10-15 Futurewei Technologies, Inc. Slice entry points in video coding
CN114223197A (zh) * 2019-08-12 2022-03-22 韩华泰科株式会社 用于高级图像划分和图像编码/解码的方法和装置
CN110933436A (zh) * 2019-12-17 2020-03-27 展讯通信（上海）有限公司 图像编码方法、装置、计算机设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101101965B1 (ko) * 2006-10-16 2012-01-02 노키아 코포레이션 멀티뷰 비디오 코딩에 대한 병렬 디코딩가능 슬라이스들을 이용하기 위한 시스템 및 방법
CN101267564B (zh) * 2008-04-16 2011-06-15 中国科学院计算技术研究所 一种多处理器视频编码芯片装置和方法
WO2010063184A1 (en) * 2008-12-03 2010-06-10 Mediatek Inc. Method for performing parallel cabac processing with ordered entropy slices, and associated apparatus
WO2010100875A1 (ja) 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
CN101656885B (zh) * 2009-09-17 2011-12-07 中兴通讯股份有限公司 多核处理器中并行解码的方法和装置
US20120014431A1 (en) * 2010-07-14 2012-01-19 Jie Zhao Methods and Systems for Parallel Video Encoding and Parallel Video Decoding
US9313514B2 (en) * 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
US20120230399A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including a bitstream signal
US20130003823A1 (en) * 2011-07-01 2013-01-03 Kiran Misra System for initializing an arithmetic coder
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
EP3174295B1 (en) 2012-04-13 2018-12-12 GE Video Compression, LLC Low delay picture coding
CN115442626A (zh) * 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
MY181830A (en) 2012-09-26 2021-01-08 Panasonic Ip Corp America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US20180020222A1 (en) * 2016-07-12 2018-01-18 Mediatek Inc. Apparatus and Method for Low Latency Video Encoding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JCTVC-I0229
JCTVC-K0183
Tommy Lee et al., ‘On dependent slices’, (JCTVC-J0217), JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 10th Meeting: Stockholm, SE, 2012.7.02.*

Also Published As

Publication number Publication date
MY181830A (en) 2021-01-08
US20150245040A1 (en) 2015-08-27
JPWO2014050030A1 (ja) 2016-08-22
KR20150063364A (ko) 2015-06-09
EP3503552B1 (en) 2021-05-12
MX2015002890A (es) 2015-07-06
WO2014050030A1 (ja) 2014-04-03
US9282334B2 (en) 2016-03-08
MX341067B (es) 2016-08-05
US20180255311A1 (en) 2018-09-06
US20160150233A1 (en) 2016-05-26
TWI581618B (zh) 2017-05-01
AU2013322000A1 (en) 2015-03-12
US20220086471A1 (en) 2022-03-17
JP6124221B2 (ja) 2017-05-10
CA2882792A1 (en) 2014-04-03
US9693067B2 (en) 2017-06-27
BR112015004246A2 (pt) 2017-07-04
US9100634B2 (en) 2015-08-04
CN104584554B (zh) 2018-07-31
CA2882792C (en) 2021-08-03
US20240089478A1 (en) 2024-03-14
ES2716579T3 (es) 2019-06-13
US9992505B2 (en) 2018-06-05
EP2903269A1 (en) 2015-08-05
EP2903269A4 (en) 2015-09-30
EP2903269B1 (en) 2019-01-02
AU2013322000B2 (en) 2017-02-09
CN104584554A (zh) 2015-04-29
EP3503552A1 (en) 2019-06-26
US11863772B2 (en) 2024-01-02
US20170244977A1 (en) 2017-08-24
CN108769698B (zh) 2021-07-02
KR102063239B1 (ko) 2020-01-07
ZA201501520B (en) 2016-01-27
US9420297B2 (en) 2016-08-16
BR112015004246A8 (pt) 2023-01-24
BR112015004246B1 (pt) 2023-02-07
US10743010B2 (en) 2020-08-11
EP3876538A1 (en) 2021-09-08
US20160323586A1 (en) 2016-11-03
US20140086306A1 (en) 2014-03-27
KR20200003286A (ko) 2020-01-08
US20200336752A1 (en) 2020-10-22
CN108769698A (zh) 2018-11-06
TW201417583A (zh) 2014-05-01
US11212544B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
JP6558784B2 (ja) 方法、装置、および媒体
KR102160372B1 (ko) 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
JP6191920B2 (ja) 画像符号化方法、及び画像符号化装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant