KR102304687B1 - 정보 처리 장치 및 방법 - Google Patents

정보 처리 장치 및 방법 Download PDF

Info

Publication number
KR102304687B1
KR102304687B1 KR1020167000458A KR20167000458A KR102304687B1 KR 102304687 B1 KR102304687 B1 KR 102304687B1 KR 1020167000458 A KR1020167000458 A KR 1020167000458A KR 20167000458 A KR20167000458 A KR 20167000458A KR 102304687 B1 KR102304687 B1 KR 102304687B1
Authority
KR
South Korea
Prior art keywords
information
subsample
sample
hint
image
Prior art date
Application number
KR1020167000458A
Other languages
English (en)
Other versions
KR20160034889A (ko
Inventor
미츠히로 히라바야시
시노부 핫토리
오지 나카가미
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20160034889A publication Critical patent/KR20160034889A/ko
Application granted granted Critical
Publication of KR102304687B1 publication Critical patent/KR102304687B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Facsimiles In General (AREA)
  • Processing Or Creating Images (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 개시는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있도록 하는 정보 처리 장치 및 방법에 관한 것이다. MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 복수의 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 부분 화상을 mdat에 저장하는 파일을 생성하고, 생성된 파일을 송신한다. 본 개시는, 예를 들어 화상 부호화 장치, 또는 화상 복호 장치 등의 정보 처리 장치에 적용할 수 있다.

Description

정보 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}
본 개시는 정보 처리 장치 및 방법에 관한 것으로, 특히 복호에 필요한 성능을 보다 정확하게 파악할 수 있도록 한 정보 처리 장치 및 방법에 관한 것이다.
최근 들어, MPEG-4 Part10(Advanced Video Coding, 이하 'AVC'라 기재함)보다 더 이상의 부호화 효율의 향상을 목적으로 하여, ITU-T(International Telecommunication Union Telecommunication Standardization Sector)와, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)의 공동의 표준화 단체인 JCTVC(Joint Collaboration Team-Video Coding)에 의해, HEVC(High Efficiency Video Coding)라 불리는 부호화 방식의 표준화가 진행되고 있다(예를 들어, 비특허문헌 1 참조).
HEVC에서는, 타일(Tile) 구조를 이용하고, 애플리케이션에 의해 복호가 필요해지는 영역만을 복호하는 것이 가능하게 되어 있다. 타일 영역이 단독으로 복호 가능한 것을 나타내기 위해서, HEVC 제2판 이후(MV-HEVC, SHVC, Range Ext. 등을 포함함)에서, Motion-constrained tile sets SEI에 의해 서포트된다.
그런데, HTTP(HyperText Transfer Protocol)를 이용한 콘텐츠 배신 기술로서, MPEG-DASH(Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP)가 있다(예를 들어, 비특허문헌 2 참조). MPEG-DASH에서는, 전술한 HEVC와 같은 부호화 방식으로 부호화된 화상 데이터의 비트 스트림이, 예를 들어 MP4 파일 포맷 등과 같은 소정의 파일 포맷으로 파일화되어 배신된다.
Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding(HEVC) text specification draft 10(for FDIS & Last Call)", JCTVC-L1003_V34, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)
그러나, 비트 스트림에 있어서도 파일 포맷에 있어서도, 디코더가, 스트림을 복호할 수 있을지의 판별을 하기 위한 기준이 되고 있는 레벨(Level)이나 버퍼(Buffer) 용량 관련의 정보는, 스트림 전체로서의 값 혹은 레이어(Layer) 단위의 값이 정의되어 있을 뿐이었다.
그로 인해, 전체 화상의 일부만을 복호하는 애플리케이션에 있어서도, 복호 가부의 판단은, 화면 전체를 복호하는 경우의 부하를 상정하여 행해지게 되어, 불필요하게 높은 레벨(Level)의 디코더가 필요하게 되어 버릴 우려가 있었다. 또한, 그 때문에 배신할 수 있는 애플리케이션이 불필요하게 제한되어 버릴 우려도 있었다.
본 개시는, 이와 같은 상황을 감안하여 이루어진 것으로, 복호에 필요한 성능을 보다 정확하게 파악할 수 있도록 하는 것이다.
본 기술의 일 측면은, MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 상기 부분 화상을 mdat에 저장하는 파일을 생성하는 파일 생성부와, 상기 파일 생성부에 의해 생성된 상기 파일을 송신하는 송신부를 구비하는 정보 처리 장치이다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 복수의 NAL unit의 그룹을 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 복수의 NAL unit의 수를 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 상기 NAL unit 중에서, 최초의 NAL unit을 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 모든 상기 NAL unit을 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 moov 중 VisualSampleGroupEntry를 사용하여 정의되도록 할 수 있다.
상기 파일은, 또한 상기 복수의 NAL unit을 맵화하는 정보를 복수 저장하도록 할 수 있다.
상기 부분 화상은, HEVC(High Efficiency Video Coding)에 있어서의 Tile이도록 할 수 있다.
본 기술의 일 측면은, 또한 MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 상기 부분 화상을 mdat에 저장하는 파일을 생성하여, 생성된 상기 파일을 송신하는 정보 처리 방법이다.
본 기술의 다른 측면은, MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 상기 부분 화상을 mdat에 저장하는 파일을 재생하는 파일 재생부를 구비하는 정보 처리 장치이다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 복수의 NAL unit의 그룹을 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 복수의 NAL unit의 수를 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 상기 NAL unit 중에서, 최초의 NAL unit을 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 모든 상기 NAL unit을 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 NAL unit을 특정하는 정보는, 상기 moov 중 VisualSampleGroupEntry를 사용하여 정의되도록 할 수 있다.
상기 파일은, 또한, 상기 복수의 NAL unit을 맵화하는 정보를 복수 저장하도록 할 수 있다.
상기 부분 화상은, HEVC(High Efficiency Video Coding)에 있어서의 Tile이도록 할 수 있다.
상기 파일은, VisualSampleGroupEntry에, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보와, 상기 복수의 NAL unit을 특정하는 정보를 저장하고, 상기 파일 재생부는, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보에 기초하여 재생하고 싶은 부분 화상을 선택하고, 상기 복수의 NAL unit을 특정하는 정보에 기초하여 상기 재생하고 싶은 부분 화상의 데이터를 취득하고, 비트 스트림을 생성할 수 있다.
상기 파일은, VisualSampleGroupEntry에, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보와, 상기 복수의 NAL unit을 특정하는 정보를 저장하고, 상기 파일 재생부는, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보에 기초하여 재생하고 싶은 영역을 선택하고, 상기 복수의 NAL unit을 특정하는 정보에 기초하여 상기 재생하고 싶은 영역에 대응하는 부분 화상의 데이터를 취득하고, 비트 스트림을 생성할 수 있다.
상기 파일은, TileRegionGroupEntry에, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보와, 상기 복수의 NAL unit을 특정하는 정보를 저장하고, 상기 파일 재생부는, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보에 기초하여 재생하고 싶은 타일을 선택하고, 상기 복수의 NAL unit을 특정하는 정보에 기초하여 선택한 상기 재생하고 싶은 타일에 대응하는 트랙을 취득하고, 취득된 상기 트랙에 대응하는 부분 화상의 비트 스트림을 생성할 수 있다.
상기 파일은, TileRegionGroupEntry에, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보와, 상기 복수의 NAL unit을 특정하는 정보를 저장하고, 상기 파일 재생부는, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보에 기초하여 재생하고 싶은 영역을 선택하고, 상기 복수의 NAL unit을 특정하는 정보에 기초하여 선택한 상기 재생하고 싶은 영역에 대응하는 복수의 트랙을 취득하고, 취득된 복수의 상기 트랙에 대응하는 부분 화상의 비트 스트림을 생성할 수 있다.
상기 파일 재생부에 의해 재생되어 생성된 상기 부분 화상의 비트 스트림을 복호하는 복호부를 더 구비할 수 있다.
본 기술의 다른 측면은, 또한 MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 상기 부분 화상을 mdat에 저장하는 파일을 재생하는 정보 처리 방법이다.
본 기술의 일 측면에 있어서는, MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 부분 화상을 mdat에 저장하는 파일이 생성되고, 생성된 파일이 송신된다.
본 기술의 다른 측면에 있어서는, MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 부분 화상을 mdat에 저장하는 파일이 재생된다.
본 개시에 의하면, 화상을 부호화·복호할 수 있다. 특히, 복호에 필요한 성능을 보다 정확하게 파악할 수 있다.
도 1은, 부분 표시를 행하는 애플리케이션의 예를 설명하는 도면이다.
도 2는, 부분 표시를 행하는 애플리케이션의 다른 예를 설명하는 도면이다.
도 3은, 서브 샘플의 정의의 예를 설명하는 도면이다.
도 4는, MP4 파일 포맷의 개요를 설명하는 도면이다.
도 5는, MP4 파일 포맷의 개요를 설명하는 도면이다.
도 6은, MP4 파일 포맷의 개요를 설명하는 도면이다.
도 7은, 샘플 테이블 박스의 확장예를 나타내는 도면이다.
도 8은, 서브 샘플 힌트 인포메이션 박스의 예를 나타내는 도면이다.
도 9는, 인디펜던트의 시맨틱스의 예를 나타내는 도면이다.
도 10은, 서브 샘플의 그룹의 예를 나타내는 도면이다.
도 11은, 서브 샘플 힌트 인포메이션 박스의 다른 예를 나타내는 도면이다.
도 12는, 서브 샘플 힌트 인포메이션 박스의 다른 예를 나타내는 도면이다.
도 13은, 서브 샘플 힌트 인포메이션 박스의, 또 다른 예를 나타내는 도면이다.
도 14는, MP4 파일 포맷의 개요를 설명하는 도면이다.
도 15는, MP4 파일 포맷의 개요를 설명하는 도면이다.
도 16은, 샘플 테이블 박스의 확장예를 나타내는 도면이다.
도 17은, 비주얼 샘플 그룹 엔트리의 확장예를 나타내는 도면이다.
도 18은, 서브 샘플 인덱스의 예를 나타내는 도면이다.
도 19는, 비주얼 샘플 그룹 엔트리의 다른 확장예를 나타내는 도면이다.
도 20은, 비주얼 샘플 그룹 엔트리의, 또 다른 확장예를 나타내는 도면이다.
도 21은, mcts의 예를 나타내는 블록도이다.
도 22는, MCTS SEI의 신택스의 예를 나타내는 도면이다.
도 23은, MP4 파일 포맷의 확장예를 나타내는 도면이다.
도 24는, 비주얼 샘플 그룹 엔트리의 확장예를 나타내는 도면이다.
도 25는, 비주얼 샘플 그룹 엔트리의 다른 확장예를 나타내는 도면이다.
도 26은, 비주얼 샘플 그룹 엔트리의 또 다른 확장예를 나타내는 도면이다.
도 27은, 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 28은, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다.
도 29는, 템포럴 MCTS SEI의 신택스의 예를 나타내는 도면이다.
도 30은, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다.
도 31은, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다.
도 32는, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다.
도 33은, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다.
도 34는, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다.
도 35는, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다.
도 36은, 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 37은, HEVC 타일 익스텐션 박스를 설명하는 도면이다.
도 38은, 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 39는, 화상 부호화 장치의 주된 구성예를 나타내는 블록도이다.
도 40은, 화상 복호 장치의 주된 구성예를 나타내는 블록도이다.
도 41은, 화상 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 42는, 화상 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 43은, 재생 가부 판정 처리의 흐름의 예를 설명하는 흐름도이다.
도 44는, 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 45는, 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 46은, 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 47은, 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 48은, 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 49는, 컴퓨터의 주된 구성예를 나타내는 블록도이다.
이하, 본 개시를 실시하기 위한 형태(이하 실시 형태로 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(서브 샘플의 힌트 정보)
2. 제2 실시 형태(MP4 파일)
3. 제3 실시 형태(화상 부호화 장치)
4. 제4 실시 형태(화상 복호 장치)
5. 제5 실시 형태(컴퓨터)
<1. 제1 실시 형태>
<화상 부호화의 표준화의 흐름>
최근 들어, 화상 정보를 디지털로서 취급하며, 그때 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하여 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 부호화 방식을 채용하여 화상을 압축 부호화하는 장치가 보급되고 있다. 이 부호화 방식에는, 예를 들어 MPEG(Moving Picture Experts Group) 등이 있다.
특히, MPEG2(ISO/IEC 13818-2)는, 범용 화상 부호화 방식으로서 정의되어 있으며, 비월 주사 화상 및 순차 주사 화상의 양쪽과, 표준 해상도 화상 및 고정밀 화상을 망라하는 표준이다. 예를 들어, MPEG2는, 프로페셔널 용도 및 컨슈머 용도가 광범위한 애플리케이션에 현재 널리 사용되고 있다. MPEG2 압축 방식을 이용함으로써, 예를 들어 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4 내지 8Mbps의 부호량(비트 레이트)을 할당할 수 있다. 또한, MPEG2 압축 방식을 이용함으로써, 예를 들어 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18 내지 22Mbps의 부호량(비트 레이트)을 할당할 수 있다. 이에 의해, 높은 압축률과 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 보다 높은 압축률의 부호화 방식에는 대응하지 못하였다. 휴대 단말기의 보급에 의해, 이후 그와 같은 부호화 방식의 요구는 높아지리라 생각되어, 이에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.
또한, 최근 들어, 당초 텔레비전 회의용 화상 부호화를 목적으로 하여, H.26L(ITU-T(International Telecommunication Union Telecommunication Standardization Sector) Q6/16 VCEG(Video Coding Expert Group))이라는 표준의 규격화가 진행되었다. H.26L은 MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비해 그 부호화, 복호화에 보다 많은 연산량이 요구되지만, 더 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 베이스로, H.26L에서는 서포트되지 않는 기능도 도입하여, 더 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행해졌다.
표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG-4 Part10(Advanced Video Coding, 이하 'AVC'라 기재함)이라는 이름 아래 국제 표준으로 되었다.
또한, 이 H.264/AVC의 확장으로서, RGB나 4:2:2, 4:4:4와 같은, 업무용에 필요한 부호화 툴이나, MPEG-2로 규정되어 있는 8×8DCT나 양자화 매트릭스도 포함한 FRExt(Fidelity Range Extension)의 표준화가 2005년 2월에 완료되었다. 이에 의해, H.264/AVC를 사용하여, 영화에 포함되는 필름 노이즈도 양호하게 표현하는 것이 가능한 부호화 방식으로 되어, Blu-Ray Disc(상표) 등의 폭넓은 애플리케이션에 사용되는 단계로 되었다.
그러나, 요즘 하이비전 화상의 4배인, 4000×2000 화소 정도의 화상을 압축하고 싶다거나, 혹은 인터넷과 같은, 한정된 전송 용량의 환경에 있어서, 하이비전 화상을 배신하고 싶다고 하는, 더 이상의 고압축률 부호화에 대한 요구가 높아지고 있다. 이로 인해, 전술한 ITU-T 산하의 VCEG에 있어서, 부호화 효율의 개선에 관한 검토가 계속해서 행해지고 있다.
따라서, 현재, AVC보다 더 이상의 부호화 효율의 향상을 목적으로 하여, ITU-T와, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)의 공동의 표준화 단체인 JCTVC(Joint Collaboration Team-Video Coding)에 의해, HEVC(High Efficiency Video Coding)라 불리는 부호화 방식의 표준화가 진행되고 있다. HEVC 규격에 대해서는, 2013년 1월에 드래프트 판 사양인 Committee draft가 발행되었다(예를 들어, 비특허문헌 1 참조).
<타일 구조와 레이어의 정의>
HEVC에서는, 타일(Tile) 구조를 이용하여, 애플리케이션에 의해 복호가 필요해지는 영역만을 복호하는 것이 가능하게 되어 있다. 타일 영역이 단독으로 복호 가능함을 나타내기 위해서, HEVC 제2판 이후(MV-HEVC, SHVC, Range Ext. 등을 포함함)에서, Motion-constrained tile sets SEI에 의해 서포트된다.
<DASH>
그런데, HTTP(HyperText Transfer Protocol)를 이용한 콘텐츠 배신 기술로서, MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)가 있다(예를 들어, 비특허문헌 2 참조). MPEG-DASH에서는, 전술한 HEVC와 같은 부호화 방식으로 부호화된 화상 데이터의 비트 스트림이, 예를 들어 MP4 등과 같은 소정의 파일 포맷으로 파일화되어 배신된다.
그러나, 이 DASH와 같은 콘텐츠 배신에 있어서는, 전체 화상을 재생(복호)하는 것만이 상정되어 있고, 전체 화상 대신에 그 일부인 부분 화상을 재생(복호)하는 것은 상정되지 않았다.
보다 구체적으로는, 디코더가, 스트림을 복호할 수 있는지의 판별을 하기 위한 기준이 되고 있는 레벨(Level)이나 버퍼(Buffer) 용량 관련의 정보는, HEVC 등의 부호화 방식에 있어서도, MP4와 같은 파일 포맷에 있어서도, 스트림 전체로서의 값 혹은 레이어(Layer) 단위의 값, 즉 전체 화상에 대한 값이 정의되어 있을 뿐이며, 부분 화상만을 재생하기 위한 정보는 없었다.
그 때문에, 예를 들어 전술한 HEVC 등의 부호화 방식으로 서포트되는 타일 구조를 이용하여, 부분 화상(일부의 타일)만을 복호하는 경우(즉, 부분 화상만을 재생하는 경우)이더라도, 복호 가부의 판단은, 화면 전체를 복호하는 경우의 부하를 상정하여 행해지게 되어, 불필요하게 높은 레벨(Level)의 디코더가 필요하게 되어버릴 우려가 있었다. 또한, 그 때문에 배신할 수 있는 애플리케이션이 불필요하게 제한되어 버릴 우려도 있었다.
<애플리케이션 예>
부분 화상을 재생하는 애플리케이션으로서 예를 들어, 이하와 같은 예를 들 수 있다.
서버로부터 단말기로 화상을 배신하는 시스템에 있어서, 예를 들어 도 1에 도시된 바와 같은, 1장의 화면을 복수로 분할하고, 표시 영역을 전환하면서 배신하는 애플리케이션을 상정한다. 또한, 예를 들어 도 2에 도시된 바와 같은, 화상의 애스펙트 비나 해상도를 선택하기 위해서, 표시할(배신할) 부분 영역을 선택하는 애플리케이션을 상정한다.
도 1의 애플리케이션의 경우, 전체 화상이 타일(Tile)을 단위로 하여 복수로 분할 가능하며, 단말기에 있어서, 단수 혹은 복수의 타일로 이루어지는 부분 화상이 전체 화상으로부터 잘라내어져 표시된다. 표시 가능한 부분 화상의 크기(타일의 수)는, 예를 들어 단말기의 성능(처리 능력이나 디스플레이의 크기(표시 해상도)) 등에 의해 결정된다. 또한, 표시하는 부분 화상의 전체 화상에 있어서의 위치는, 유저 등이 지정할 수 있다. 따라서, 단말기에는, 전체 화상 중 원하는 위치의 부분 화상을 표시시킬 수 있다. 즉, 단말기의 유저는, 전체 화상 중 원하는 부분에 주목할 수 있다.
도 2의 애플리케이션 경우, 도 1의 애플리케이션과 기본적으로 마찬가지이지만, 타일이 표시 화상의 애스펙트 비나 해상도를 선택할 수 있도록 설정되어 있으며, 각 타일의 크기는 일정하지 않다. 도 1의 경우와 마찬가지로, 단말기에 있어서, 유저 등의 지시에 따라 단수 혹은 복수의 타일로 이루어지는 부분 화상이 전체 화상으로부터 잘라내어져 표시된다. 이와 같이 표시시킬 타일을 선택하기만 하면, 표시 화상의 해상도를 HD로 하거나, 시네마 사이즈로 하거나, 더 확장된 사이즈로 하거나 할 수 있다.
이 표시 가능한 해상도는, 예를 들어 단말기의 성능(처리 능력이나 디스플레이의 크기(표시 해상도)) 등에 의해 결정된다.
이와 같은, 단말기의 성능이나 유저의 지정 등에 따른 부분 화상의 적응적인 제공(재생)은, 종래에는 상정되지 않았었기 때문에, 독립적으로 복호 가능한 부분 화상을 복호하는 경우이더라도, 복호 가부의 판단은, 화면 전체를 복호하는 경우의 부하를 상정하여 행해지게 되어, 불필요하게 높은 레벨(Level)의 디코더가 필요하게 되어 버릴 우려가 있었다. 또한, 그 때문에 배신할 수 있는 애플리케이션이 불필요하게 제한되어 버릴 우려도 있었다.
<서브 샘플의 힌트 정보의 제공>
따라서, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보를 생성하고, 화상 데이터의 부호화 데이터를 포함하는 파일을 생성하여, 그 파일에 있어서의 부호화 데이터의 관리 정보에, 생성한 서브 샘플 정보를 배치하도록 한다.
이와 같이 함으로써, 단말기는, 그 서브 샘플 정보(힌트 정보)에 따라서, 부분 영역을 복호하는 데 필요한 성능을 파악하여, 자신의 디코더가, 그 부분 영역(서브 샘플)의 복호 처리를 행할 수 있는지 여부의 판단을 보다 정확하게 행할 수 있다. 즉, 복호에 필요한 성능을, 보다 정확하게 파악할 수 있다. 따라서, 이 화상 데이터에 의해 적절한 성능의 디코더를 선택할 수 있다. 이에 의해, 화상 데이터의 복호 부하에 대하여 불필요하게 높은 레벨(Level)의 디코더를 적용하는 사태의 발생을 억제할 수 있다. 또한, 그 때문에 배신할 수 있는 애플리케이션이 불필요하게 제한되어 버리는 일도 억제할 수 있다.
또한, 그 부분 영역(서브 샘플)의 부호화 데이터(비트 스트림)의 헤더 정보를, 전체 화상의 정보로부터 그 부분 영역(서브 샘플)에 대한 정보로 갱신하도록 한다. 그 갱신을 위한 정보를, 파일에 포함하여 전송하도록 한다. 이와 같이 함으로써, 단말기는, 비트 스트림의 헤더 정보를 부분 영역(서브 샘플)에 대한 정보로 갱신하고, 디코더에 건넬 수 있다. 그로 인해, 디코더는, 그 헤더 정보에 기초하여, 자신이 그 비트 스트림을 복호할 수 있는지 여부를 보다 정확하게 판단할 수 있다.
<부호화 방식 및 파일 포맷>
이하에 있어서는, 본 기술을, 부호화·복호 방식이 HEVC, 파일 포맷이 MP4인 경우에 적용하는 예를 설명한다.
<액세스 단위>
이하에 있어서, MP4의 샘플은, HEVC의 액세스 유닛(AU)으로 한다. 또한, AU는, 복수의 타일(Tile)로 구성되도록 한다. 샘플 테이블(Sample Table)에서는, 샘플(Sample) 단위로 관리되도록 한다.
또한, 서브 샘플은, 샘플의 구성 요소로서, 코덱(Codec)마다 예를 들어, 도 3과 같이 정의가 되어 있다. 본 기술은, 서브 샘플이 이들 중 어떠한 것이라도 적용 가능하지만, 이하에 있어서는, 타일(Tile)이 서브 샘플(Tile-based sub-samples)인 경우를 예로 본 기술을 설명한다.
<MP4 파일 포맷>
다음으로, MP4 파일 포맷의 개요에 대하여 설명한다. 도 4의 좌측에 도시된 바와 같이, MPEG-DASH에 준거한 MP4 파일(MP4 file)은, ftyp, moov, 및 mdat를 포함한다. moov에는, 샘플(예를 들어 픽처)마다 관리 정보가 샘플 테이블 박스(Sample Table Box(stbl))에 저장된다.
또한, 도 4에 도시된 바와 같이, 샘플 테이블 박스(Sample Table Box)에는, 샘플 디스크립션 박스(Sample Description Box), 타임 투 샘플 박스(Time To Sample Box), 샘플 사이즈 박스(Sample Size Box), 샘플 투 청크 박스(Sample to Chunk Box), 청크 오프셋 박스(Chunk Offset Box), 및 서브 샘플 인포메이션 박스(Subsample Information Box)가 설치되어 있다.
샘플 디스크립션 박스에는, 코덱이나 화상 사이즈 등에 관한 정보가 저장된다. 예를 들어 HEVC의 비트 스트림의 파라미터 세트(비디오 파라미터 세트(VPS(Video Parameter Set)), 시퀀스 파라미터 세트(SPS(Sequence Parameter Set)), SEI(Supplemental Enhancement Information), 픽처 파라미터 세트(PPS(Picture Parameter Set)) 등)는, 코덱(Codec) 정보로서 이 샘플 디스크립션 박스 내의 HEVC 샘플 엔트리(HEVC sample entry)의 HEVC 디코더 컨피규레이션 레코드(HEVC Decoder Configuration Record)에 저장된다.
또한, 타임 투 샘플 박스에는, 샘플의 시각에 관한 정보가 저장된다. 샘플 사이즈 박스에는, 샘플의 사이즈에 관한 정보가 저장된다. 샘플 투 청크 박스에는, 샘플의 데이터 위치에 관한 정보가 저장된다. 청크 오프셋 박스에는, 데이터의 오프셋에 관한 정보가 저장된다. 서브 샘플 인포메이션 박스에는, 서브 샘플에 관한 정보가 저장된다.
또한, 도 4에 도시된 바와 같이, HEVC의 각 샘플(픽처)의 데이터는, AV 데이터로서, mdat에 저장된다.
도 5에 도시된 바와 같이, 타임 투 샘플 박스, 샘플 사이즈 박스, 샘플 투 청크 박스, 및 청크 오프셋 박스에는, 샘플에 대한 액세스 정보가 저장된다. 이에 반하여, 서브 샘플 인포메이션 박스에는 서브 샘플에 대한 액세스 정보가 저장된다. 이 서브 샘플에 대한 액세스 정보는, 각 서브 샘플의 사이즈(Subsample Size)와 부가 정보(Subsample 부가 정보)로 이루어진다.
예를 들어, 도 5와 같이, 샘플(픽처)이 4개의 서브 샘플(타일)로 이루어지는 경우, 서브 샘플 인포메이션 박스에는, 타일 1(Tile1) 내지 타일 4(Tile4)의 각각에 대한 액세스 정보가 저장된다.
서브 샘플 인포메이션 박스의 기술(記述)예를 도 6에 도시하였다. 도 6에 도시된 바와 같이, 각 타일의 사이즈(subsample_size)가 기술되고, 또한, 각 타일의 위치 정보가 나타나는 리저브드 필드(reserved=0)가 기술되어 있다.
<타일 패턴>
본 기술에서는, 전체 샘플(픽처 등)에서 타일 패턴이 고정인 경우, 전체 샘플에서 타일 패턴이 가변인 경우, 예를 들어 IDR 간격 등, 소정 기간, 타일 패턴이 고정인 경우(소정 기간마다 타일 패턴이 가변인 경우)의 어떠한 경우에도 적용할 수 있도록, 전술한 샘플 테이블 박스를 확장한다.
<서브 샘플 힌트 인포메이션 박스>
예를 들어, 샘플 테이블 박스에, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보를, 샘플 테이블 박스의, 새로운 박스로서 설치하도록 한다.
도 7에 그 예를 나타낸다. 도 7에 도시된 바와 같이, 샘플 테이블 박스에, 서브 샘플 힌트 인포메이션 박스(11: Subsample Hint Information Box)가 새롭게 설치된다.
서브 샘플 힌트 인포메이션 박스(11)는, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보이며, 서브 샘플 인포메이션 박스 등과는 다른 박스이다. 이와 같이 부분 화상의 재생을 위한 정보인 서브 샘플 힌트 인포메이션 박스(11)를, 전체 화상의 재생을 위한 정보인 서브 샘플 인포메이션 박스로 나눔으로써, 전체 화상을 표시하는 통상 재생에 있어서는, 박스마다 무시하도록(참조하지 않도록) 할 수 있어, 제어를 용 이하게 할 수 있다.
서브 샘플 힌트 인포메이션 박스(11)의 기술예를 도 7의 우측에 나타낸다. 이 예에 도시된 바와 같이, 서브 샘플 힌트 인포메이션 박스(11)에는, 힌트 데이터 타입(hint_data_type), 샘플 카운트(sample_count), 힌트 데이터(hint_data) 등의 정보가 저장된다.
힌트 데이터 타입은, 이 박스에서 저장하는 서브 샘플의 힌트 정보의 종별을 나타내는 정보이다. 샘플 카운트는, 이 정보에 관련지어지는 연속되는 샘플 수를 나타내는 정보이다. 힌트 데이터는, 서브 샘플의 힌트 정보이다. 힌트 데이터 타입마다 서로 다른 정보가 저장된다.
<확장 방법>
다음으로, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보를 배치하는 구체예에 대하여 설명한다.
<예 1>
예 1에서는, 전술한 바와 같이 확장 정의한, 서브 샘플 인포메이션 박스에서 액세스 가능한 서브 샘플(타일)마다, 복호(decode)에 필요한 정보를 저장하는 서브 샘플 힌트 인포메이션 박스(11)를 사용한다.
서브 샘플과 힌트 정보는, 서브 샘플 인포메이션 박스의 테이블 인덱스(table-index)와 결부된다.
도 8에 그 서브 샘플 힌트 인포메이션 박스(11)의 기술예를 나타낸다. 도 8에 도시된 서브 샘플 힌트 인포메이션 박스(11-1)는, 예 1의 기술예이다.
도 8에 도시된 바와 같이, 서브 샘플 힌트 인포메이션 박스(11-1)에서는, 힌트 데이터 타입으로서, 예를 들어 서브 샘플마다의 프로파일 정보임을 나타내는 "sspf"가 기술된다(hint_data_type="sspf").
또한, 서브 샘플 힌트 인포메이션 박스(11-1)에서는, 힌트 정보(hint_data)로서, 예를 들어 사각(12) 내에 나타낸 바와 같은 각 예 중, 어느 한쪽 예의 정보가 기술된다. 예를 들어, 예 (A-1)과 같이, 그 서브 샘플(타일)의 복호에 필요한 프로파일 레벨을 나타내는 정보(즉, 서브 샘플의 복호 처리의 부하 크기를 나타내는 레벨)(general_lebel_idc)를 기술하도록 해도 된다. 또한, 예를 들어 예 (A-2)와 같이, 서브 샘플(타일)이 다른 서브 샘플(타일)에 독립적으로 복호할 수 있는지를 나타내는 플래그 정보(independent)를 더 기술하도록 해도 된다.
이 인디펜던트(independent)의 시맨틱스의 예를 도 9에 도시하였다.
또한, 예를 들어 예 (B-1)과 같이, 서브 샘플(타일)의 비트 스트림의 시퀀스 파라미터 세트(SPS)를 갱신할 때 치환하는 정보(즉, 서브 샘플의 부호화 데이터의 헤더 정보)(nalUnitLength, nalUnit)를 기술하도록 해도 된다. 또한, 예를 들어 예 (B-2)와 같이, 서브 샘플(타일)이 다른 서브 샘플(타일)에 독립적으로 복호할 수 있는지를 나타내는 플래그 정보(independent)를 더 기술하도록 해도 된다.
<예 2>
부분 화상의 재생(제공)으로서는, 도 1이나 도 2에 도시한 예와 같이, 복수의 서브 샘플을 대상으로 하는 경우도 있다. 따라서, 예 1에서는, 서브 샘플(타일)마다 힌트 정보를 저장하였지만, 예 2에서는, 이와 같이 복수의 서브 샘플을 그룹으로 하여 그 그룹의 복호에 필요한 정보도 제공한다.
예를 들어, 도 10의 A의 경우, 타일 1(Tile1) 내지 타일 5(Tile5)로 이루어지는 전체 화상(13) 중, 타일 3(Tile3)만이 그룹(14-1)으로서 제공된다. 또한, 도 10의 B의 경우, 타일 2(Tile2) 내지 타일 4(Tile4)가 그룹(14-2)으로서 제공된다. 또한, 도 10의 C의 경우, 전체 화상(13)의 모든 타일(즉, 타일 1(Tile1) 내지 타일 5(Tile5))이 그룹(14-3)으로서 제공된다.
예 2에서도, 전술한 바와 같이 확장 정의한, 서브 샘플 인포메이션 박스에서 액세스 가능한 서브 샘플(타일)마다, 복호(decode)에 필요한 정보를 저장하는 서브 샘플 힌트 인포메이션 박스(11)를 사용한다.
단, 예 2의 경우, 복수의 서브 샘플을 그룹화하는 정보와, 각 그룹화된 타일군의 복호에 필요한 정보(통상은 필요가 없는 정보)를 각각, 서브 샘플 힌트 인포메이션 박스(11)로서 배치한다. 즉, 이들 정보를 서로 다른 박스에 저장한다. 이와 같이 함으로써, 각 그룹화된 타일군의 복호에 필요한 정보의 박스만을 사용하여, 타일군의 부호화 데이터의 시퀀스 파라미터 세트(SPS)를 갱신할 수 있다.
도 11과 도 12에 그 서브 샘플 힌트 인포메이션 박스(11)의 기술예를 나타낸다. 도 11에 도시된 서브 샘플 힌트 인포메이션 박스(11-2-1)는, 예 2의 복수의 서브 샘플을 그룹화하는 정보의 기술예이다.
도 11에 도시된 바와 같이, 서브 샘플 힌트 인포메이션 박스(11-2-1)에서는, 힌트 데이터 타입으로서, 예를 들어 서브 샘플의 그룹 정보임을 나타내는 "ssgp"가 기술된다(hint_data_type="ssgp").
또한, 서브 샘플 힌트 인포메이션 박스(11-2-1)에서는, 서브 샘플이 속하는 그룹을 나타내는 식별 정보인 그룹 인덱스(group_index)가 기술된다. 예를 들어, 도 10의 예의 경우, 이 그룹 인덱스로서, 사각(15) 내에 나타낸 바와 같은 정보가 기술된다.
도 12에 도시된 서브 샘플 힌트 인포메이션 박스(11-2-2)는, 예 2의 각 그룹화된 타일군의 복호에 필요한 정보의 기술예이다.
도 12에 도시된 바와 같이, 서브 샘플 힌트 인포메이션 박스(11-2-2)에서는, 힌트 데이터 타입으로서, 예를 들어 각 그룹화된 타일군의 복호에 필요한 정보임을 나타내는 "sgpf가 기술된다(hint_data_type="sgpf").
또한, 서브 샘플 힌트 인포메이션 박스(11-2-2)에서는, 힌트 정보(hint_data)로서, 예를 들어 사각(12) 내에 나타낸 바와 같은 각 예 중, 어느 한쪽 예의 정보가 기술된다. 즉, 이 경우, 서브 샘플 정보로서, 서브 샘플의 그룹의 복호 처리의 부하 크기를 나타내는 레벨이나, 서브 샘플의 그룹의 부호화 데이터의 헤더 정보를 기술할 수 있다.
또한, 인디펜던트(independent) 대신에, 모션 컨스트레인드 타일 세트ID(motion constrained tile set ID)를 저장할 수도 있다.
<예 3>
예 2의 경우, 복수의 서브 샘플 힌트 인포메이션 박스(11)가 필요하게 되지만, 예 3에서는, 이들을 1개의 박스로 통합한다. 예 3에서는, 서브 샘플(타일)의 그룹마다 서브 샘플 힌트 인포메이션 박스(11)를 설치하고, 그 중에서, 서브 샘플의 인덱스 테이블을 작성한다.
도 13에 그 서브 샘플 힌트 인포메이션 박스(11)의 기술예를 나타낸다. 도 13에 도시된 서브 샘플 힌트 인포메이션 박스(11-3)는, 예 3의 기술예다.
도 13에 도시된 바와 같이, 서브 샘플 힌트 인포메이션 박스(11-3)에서는, 힌트 데이터 타입으로서, 예를 들어 서브 샘플의 그룹마다의 프로파일 정보임을 나타내는 "sgpf"가 기술된다(hint_data_type="sgpf").
또한, 서브 샘플 힌트 인포메이션 박스(11-3)에서는, 힌트 정보(hint_data)로서, 예를 들어 사각(12) 내에 나타낸 바와 같은 각 예 중, 어느 한쪽 예의 정보가 기술된다.
또한, 서브 샘플 힌트 인포메이션 박스(11-3)에서는, 그룹에 속하는 서브 샘플을 나타내는 식별 정보인 서브 샘플 인덱스(subsample_index)가 기술된다. 예를 들어, 도 10의 예의 경우, 이 서브 샘플 인덱스로서, 사각(16) 내에 나타낸 바와 같은 정보가 기술된다.
또한, 엔트리 카운트(entry_count)는, 시퀀스 내에 있어서 힌트 정보가 몇 번 변화하는지를 나타내고, 샘플 카운트(sample_count)는, 동일한 힌트 정보가, 얼마만큼의 샘플(픽처) 수 동안 계속되는지를 나타낸다.
즉, 서브 샘플 힌트 인포메이션 박스(11-3)에서는, 서브 샘플 정보로서, 그룹에 속하는 서브 샘플의 식별 정보, 및 그 그룹의 힌트 정보를 포함하도록 할 수 있다. 그리고, 그 그룹의 힌트 정보로서, 그룹의 복호 처리의 부하 크기를 나타내는 레벨이나 그룹의 부호화 데이터의 헤더 정보를 포함하도록 할 수 있다.
<샘플 그룹 디스크립션 박스와 샘플 투 그룹 박스의 확장>
이상에 있어서는, 샘플 힌트 인포메이션 박스(11)를 설치하는 예를 설명하였지만, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보를 파일에 포함하는 본 기술은, 이 방법으로 한정하지 않는다. 예를 들어, MP4 파일 포맷의 샘플 그룹 디스크립션 박스와 샘플 투 그룹 박스를 확장함으로써, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보를 파일에 포함하도록 해도 된다.
도 14에 도시된 바와 같이, MP4 파일의 샘플 테이블 박스에는, 샘플 그룹 디스크립션 박스(21: Sample Group Description Box)와 샘플 투 그룹 박스(22: Sample To Group Box)를 설치할 수 있다.
도 15에 도시된 바와 같이, 샘플 그룹 디스크립션 박스(21)에는, 비주얼 샘플 그룹 엔트리(23: VisualSampleGroupEntry)로서, 코덱(codec)에 관한 정보나 액세스 정보 등의 샘플 테이블의 기본적인 정보 이외의 정보가 저장된다.
그리고, 샘플 투 그룹 박스(22)에는, 그 비주얼 샘플 그룹 엔트리(23)와, 각 샘플을 결부짓는 정보가 저장된다.
이와 같이 함으로써, 샘플마다 기술하면 용장으로 되는 정보를 하나로 통합할 수 있어, 정보량을 저감시킬 수 있다.
<예 4>
예 4에서는, 이 샘플 그룹 디스크립션 박스(21)와 샘플 투 그룹 박스(22)를 사용하여, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보를 파일에 포함하도록 한다.
도 16에 그 예를 나타낸다. 도 16에 도시된 서브 샘플 힌트 인포메이션 박스(11-4)는, 예 3의 기술예이다. 예 4에서는, 이 기술 중, 힌트 데이터 타입과, 힌트 데이터를 포함하는 하측의 사각으로 둘러싸인 정보를, 샘플 그룹 디스크립션 박스(21)에, 비주얼 샘플 그룹 엔트리(23)로서 저장한다. 또한, 서브 샘플 힌트 인포메이션 박스(11-4) 중, 엔트리 카운트를 포함하는 상측이 사각으로 둘러싸인 정보를, 비주얼 샘플 그룹 엔트리(23)와 샘플을 결부짓는 정보로서 샘플 투 그룹 박스(22)에 저장한다.
즉, 이 예의 경우, 이용되는 패턴만을 저장하여, 샘플 투 그룹 박스(22)로부터 인덱스 참조할 수 있다. 그리고, 힌트 데이터의 테이블을 압축할 수 있어, 정보량을 저감시킬 수 있다.
또한, 이상에 있어서는, 예 4의 방법을, 예 3의 서브 샘플 힌트 인포메이션 박스의 정보에 적용하는 경우에 대하여 설명하였지만, 예 4의 방법은, 예 1 및 예 2의 서브 샘플 힌트 인포메이션 박스의 정보에도 적용할 수 있다. 즉, 예 1이나 예 2에 있어서 설명한 서브 샘플 힌트 인포메이션 박스의 정보도, 전술한 예 3의 경우와 마찬가지로, 샘플 그룹 디스크립션 박스(21)와 샘플 투 그룹 박스(22)에 저장할 수 있다.
<엔트리 예 1>
도 17의 비주얼 샘플 그룹 엔트리(23-1)는, 도 10의 예의 그룹과 마찬가지로 엔트리를 구성하는 경우의, 서브 샘플의 프로파일 정보를 저장하도록 확장한 비주얼 샘플 그룹 엔트리(23)(SubSampleProfileInformationEntry extends VisualSampleGroupEntry('sspi'))의 예를 나타낸다. 이 비주얼 샘플 그룹 엔트리에는, 각 엔트리에 대하여, 힌트 정보(hint_data)와, 그 엔트리가 대응하는 그룹의 식별 정보(GroupID)가 설정된다. 이 경우, 도 17에 도시된 바와 같이, 이 힌트 정보(hint_data)로서는, 예를 들어 사각(12) 내에 나타낸 바와 같은 각 예 중, 어느 한쪽 예의 정보가 기술된다.
또한, 이 경우, 각 엔트리에 속하는 서브 샘플(타일)의 식별 정보인 서브 샘플 인덱스가, 사각(31) 내의 예와 같이 리스트업된다.
<엔트리 예 2>
엔트리의 도 10과 상이한 예를 도 18에 도시하였다. 도 18의 예의 경우, 각서브 샘플(타일)을 각각 엔트리(그룹)이라 하고 있다. 즉, 도 18의 A의 경우, 타일 1(Tile1)이 엔트리(14-4)로서 제공되고, 도 18의 B의 경우, 타일 2(Tile2)가 엔트리(14-5)로서 제공되며, 도 18의 C의 경우, 타일 3(Tile3)이 엔트리(14-6)로서 제공된다. 도시는 생략하였지만, 마찬가지로, 타일 4(Tile4)와 타일 5(Tile5)도, 각각, 서로 다른 엔트리로서 제공된다.
이 도 18의 예와 같이, 복수의 서브 샘플(타일)을 그룹화하지 않는 경우, 다시 말해, 각 서브 샘플(타일)을 각각 엔트리로 하는 경우, 서브 샘플의 프로파일 정보를 저장하도록 확장한 비주얼 샘플 그룹 엔트리(23)(SubSampleProfileInformationEntry extends VisualSampleGroupEntry('sspi'))는, 도 19의 예와 같이 된다.
이 경우, 도 19의 비주얼 샘플 그룹 엔트리(23-2)와 같이, 각 엔트리에 대하여, 힌트 정보(hint_data)로서, 예를 들어 사각(12) 내에 나타낸 바와 같은 각 예 중, 어느 한쪽 예의 정보가 기술된다. 또한, 각 엔트리에 속하는 서브 샘플(타일)의 식별 정보인 서브 샘플 인덱스가, 사각(32) 내의 예와 같이 리스트업된다. 즉, 이 경우, 각 엔트리에 1개씩 서브 샘플 인덱스가 할당된다.
<비주얼 샘플 그룹 엔트리의 다른 예>
이상에 있어서는, 도 20의 비주얼 샘플 그룹 엔트리(23-2)와 같이, 비주얼 샘플 그룹 엔트리에 있어서 서브 샘플 인덱스(subsample_index)를 포함하는 것으로 설명하였지만, 예를 들어 그 서브 샘플 인덱스와 함께 각 서브 샘플에 대하여, 이하와 같이, 서브 샘플(타일)이 다른 서브 샘플(타일)에 독립적으로 복호할 수 있는지를 나타내는 플래그 정보(independent)나, 리저브드 필드(reserved=0) 등의 정보를 저장하도록 해도 된다.
Figure 112016001965237-pct00001
이와 같이 하면, 서브 샘플마다의 의존성을 알 수 있기 때문에, 시스템이 패러렐 디코드 등을 하기 위한 보조 정보로 할 수 있다.
또한, 이상에 있어서는, 도 20의 비주얼 샘플 그룹 엔트리(23-2)와 같이, 힌트 정보(hint_data)로서, 사각(12) 내에 나타낸 바와 같은 각 예 중, 어느 한쪽 예의 정보가 기술되는 것으로 설명하였지만, 또한 그 밖의 힌트 정보를 기술하도록 해도 된다. 예를 들어, 가로 폭(Width)이나 높이(height) 등의, 그룹화된 서브 샘플(타일)의 크기에 관한 정보를 저장하도록 해도 되고, 수평 방향의 오프셋(H_offset)이나 수직 방향의 오프셋(V_offset) 등의, 그룹화된 서브 샘플(타일)의 위치에 관한 정보를 저장하도록 해도 된다.
이와 같은 정보를 저장함으로써, 시스템은, 그룹화된 서브 샘플의 사이즈 정보를, 서브 샘플 인포메이션 박스(subsample information box)로부터 계산하지 않아도 용이하게 취득할 수 있다.
또한, 힌트 정보(hint_data)로서, HEVC의 비트 스트림에 있어서, 독립적으로 복호할 수 있는 부분 영역을 식별하는 정보인 mcts_id를 기술하도록 해도 된다.
HEVC의 MCTS SEI(Motion constrained tile set Supplemental Enhancement Information)에 있어서, 독립적으로 복호할 수 있는 부분 영역은, 직사각형의 세트마다 설정되어 있다. 예를 들어, 도 21의 A의 좌상의 사선 부분이 독립적으로 복호할 수 있는 부분 영역이라고 하면, 그 부분 영역은, MCTS SEI에 있어서, 도 21의 B에 도시된 바와 같이 세트마다 설정되어 있다. 또한, 도 21의 C에 도시된 예와 같이, 세트에 포함되는 타일이 다른 세트와 오버랩해도 된다. 부분 영역의 픽셀 수는, 각 세트의 픽셀 수로부터, 예를 들어 도 21의 D의 예와 같이 산출할 수 있다.
MCTS SEI의 신택스의 예를 도 22에 도시하였다. 도 22에 도시된 바와 같이, 도 21에 도시한 바와 같은 부분 영역에는, 각각 식별 정보(mcts_id)가 할당된다. 이 식별 정보(mcts_id)를 힌트 정보(hint_data)로서 기술함으로써, HEVC의 부분 영역과, MP4 파일 포맷에 있어서의 서브 샘플을 용이하게 대응지을 수 있어, 시스템에 있어서, 예를 들어 시퀀스 파라미터 세트(SPS)의 헤더 정보의 갱신(예를 들어 치환 등)을 용이하게 할 수 있다.
<예 5>
그런데, 예 4의 경우, 비주얼 샘플 그룹 엔트리를 확장하여, 각 엔트리에 속하는 서브 샘플을, 서브 샘플 인덱스를 사용하여 나타내는 것으로 설명하였다. 이 경우, 샘플 내의 타일에 대한 액세스 정보로서 서브 샘플 인포메이션 박스의 정보가 이용되게 된다. 즉, 이 경우, MP4 파일을 파싱하는 레이어에 있어서 서브 샘플의 의미를 해석할 필요가 있다.
예 5에서는, 샘플 내의 타일에 대한 액세스 방법으로서 이와 같은 방법을 대신할만한 방법을 제안한다. 즉, 서브 샘플 인포메이션 박스 대신에, 샘플을 구성하는 비트 스트림의 널 유닛(NAL unit)의 구성을 비주얼 샘플 그룹 엔트리에 기술하도록 한다(Map Group Entry). 예를 들어, 비주얼 샘플 그룹 엔트리를 확장하고, HEVC 비트 스트림의 NAL unit을 그룹화하도록 한다(HEVCNALUUMapGroupEntry).
이와 같이 NAL unit을 그룹화하는 경우, 그룹화된 의미에 따르지 않고, MP4 파일을 파싱하는 레이어에 있어서, 동일한 처리 플로우에 따라 대응할 수 있다.
도 23에 그 예를 도시하였다. 도 23에 도시된 바와 같이, 예를 들어 샘플 내의 NAL units를 맵화하는(예를 들어 타일마다 그룹화하는) 비주얼 샘플 그룹 엔트리를 준비하고, 예를 들어 힌트 정보 등의 비디오 관련 정보를 저장하는 비주얼 샘플 그룹 엔트리에 있어서는, 그 샘플 내의 NAL units를 맵화하는 비주얼 샘플 그룹 엔트리를 참조하도록 한다.
비주얼 샘플 그룹 엔트리 간은, 그룹의 식별 정보(GroupID)에 의해 결부지어진다. 또한, NAL units의 맵 패턴이 모두 동일한 경우, 샘플 투 그룹 박스는 불필요하다.
샘플 내의 NAL units를 맵화하는 비주얼 샘플 그룹 엔트리(HEVCNALUMapGroupEntry() extends VisualSampleGroupEntry('hcnm'))의 신택스의 예를 도 24의 좌상에 도시하였다. 도 24에 도시된 바와 같이, 이 비주얼 샘플 그룹 엔트리에 있어서는, 각 널 유닛(NAL unit)이 속하는 그룹의 식별 정보(GroupID)가 설정된다.
예를 들어, 도 24의 좌하에 도시된 바와 같이 샘플 내에 5개의 서브 샘플(타일(Tile))이 존재하고, 각 서브 샘플이, 각각 2개의 NAL unit에 의해 구성되어 있게 한다. 그 경우, NAL unit와 GroupID의 결부(NAL unit의 맵 패턴)는, 도 24의 우측에 도시된 예와 같이 된다. 따라서, 10개의 NAL unit으로 구성되어 있다. 도 24의 좌상에 도시된 비주얼 샘플 그룹 엔트리(HEVCNALUMapGroupEntry() extends VisualSampleGroupEntry('hcnm'))의 신택스의 NALU_count는, NAL_unit의 수를 나타낸다. 또한, 도 24의 좌하에 도시된 바와 같이, 각 타일(Tile)이 어느 NAL_unit으로부터 시작되는지를 정의지을 수 있다. 이 예에 의하면, Tile1은 NAL1로부터 시작되고, Tile2는 NAL3으로부터 시작되고, Tile3은 NAL5로부터 시작되고, Tile4는 NAL7로부터 시작되며, Tile5는 NAL9로부터 시작된다. 이와 같은 각 Tile이 어느 NAL_unit으로부터 시작되는지를 나타내는 정보가, 도 24의 좌상에 도시된 비주얼 샘플 그룹 엔트리(HEVCNALUMapGroupEntry() extends VisualSampleGroupEntry('hcnm'))의 신택스로서 정의되도록 해도 된다.
그리고, 예 4에 있어서 설명한 서브 샘플의 프로파일 정보를 저장하는 비주얼 샘플 그룹 엔트리(SubSampleProfileInformationEntry extends VisualSampleGroupEntry('sspi'))의 예를 도 25에 도시하였다. 이 비주얼 샘플 그룹 엔트리에는, 각 엔트리에 대하여, 힌트 정보(hint_data)와, 그 엔트리가 대응하는 그룹의 식별 정보(GroupID)가 설정된다.
도 25에 도시된 바와 같이, 이 힌트 정보(hint_data)로서는, 예를 들어 예 1 내지 예 4에 있어서 설명한 사각(12) 내에 나타낸 바와 같은 각 예 중, 어느 한쪽 예의 정보가 설정된다.
단 도 25에 있어서는, 사각(12) 내에 도시된 바와 같이, 힌트 정보로서, 예 (A-1), (A-2), (B-1), (B-2) 이외에, 예 (C)가 추가되어 있다. 여기에서는, 수평 방향의 오프셋(H_offset), 수직 방향의 오프셋(V_offset) 등의, 그룹화된 서브 샘플(타일)의 위치에 관한 정보가 저장된다. 또한, 가로 폭(Width)이나 높이(height) 등의, 그룹화된 서브 샘플(타일)의 크기에 관한 정보가 저장된다. 이들은 도 20을 참조하여 설명한 힌트 정보와 마찬가지이다.
또한, 그룹의 식별 정보(GroupID)에는, 도 24의 예를 이용하여 설명한 샘플 내의 NAL units를 맵화하는 비주얼 샘플 그룹 엔트리(HEVCNALUMapGroupEntry() extends VisualSampleGroupEntry('hcnm'))에 있어서, NAL unit의 맵화에 사용된 그룹의 식별 정보(GroupID) 중 어느 하나가 설정된다. 즉, 이 그룹의 식별 정보(GroupID)는, 도 10의 예와 같은 타일의 그룹을 나타낸다.
또한, 도 18의 예와 같이, 복수의 서브 샘플(타일)을 그룹화하지 않는 경우도, 서브 샘플의 프로파일 정보를 저장하는 비주얼 샘플 그룹 엔트리(SubSampleProfileInformationEntry extends VisualSampleGroupEntry('sspi'))에는, 도 26에 도시한 예와 같이, 도 25의 예와 마찬가지의 정보가 설정되지만, 이 경우, 그룹의 식별 정보(GroupID)는, 각 타일을 나타내게 된다.
이상과 같이 비주얼 샘플 그룹 엔트리를 확장하여, NAL unit의 구성을 설정하도록 함으로써, NAL unit을 그룹화하는 경우, 그룹화된 의미에 따르지 않고, MP4 파일을 파싱하는 레이어에 있어서, 동일한 처리 플로우에 따라 대응할 수 있다.
또한, MAP GROUP에 의한 GROUP을 TILE GROUP화하는 BOX를 SSPI(SubSample Profile Information)와는 다른 BOX로 정의하도록 해도 된다. 즉, 각 엔트리에 대응하는 HEVCNALMapEntry에 의한 그룹의 식별 정보(GroupID)의 정의는, 엔트리에 대응하는 힌트 정보(hint_data)를 정의하는 서브 샘플의 프로파일 정보를 저장하는 비주얼 샘플 그룹 엔트리(SubSampleProfileInformationEntry extends VisualSampleGroupEntry('sspi'))와는 상이한 박스인, 타일 그룹 맵 엔트리를 저장하도록 확장된 비주얼 샘플 그룹 엔트리(TileGroupMapEntry extends VisualSampleGroupEntry('tgpm'))에 있어서 행하도록 해도 된다.
도 25의 예의 경우, TGPM의 신택스를, 예를 들어 이하와 같이 하여도 된다.
Figure 112016001965237-pct00002
이와 같은 신택스에 의해, 도 25의 예의 경우, TileGroupID에, GroupID가 이하와 같이 할당된다.
Figure 112016001965237-pct00003
그리고, 그것과는 다른 박스로서, SSPI의 신택스를, 예를 들어 이하와 같이 하여도 된다.
Figure 112016001965237-pct00004
또한, 이 경우의 힌트 정보(hint_data)의 내용은, 전술한 각 예와 마찬가지이다(사각(12) 내에 나타낸 바와 같은 각 예 중, 어느 한쪽 예의 정보가 설정됨).
이와 같이, GroupID의 그룹화를, 힌트 정보 등을 정의하는 sspi와는 상이한 box에 있어서 행함으로써, 그 그룹화의 다른 정보에 대한 의존도를 저감시킬 수 있어, 다른 정보로부터 독립적으로 행하도록 할 수 있다. 따라서, 보다 범용적인(자유로운) 그룹화를 실현할 수 있고, 그 GroupID의 그룹(TileGroupID)을 보다 범용적인 용도로 이용할 수 있다. 예를 들어, GroupID의 정의의 계층화나 비계층화 등을, 힌트 정보 등의 다른 정보의 구성을 고려할 필요가 없이, 용이하게 실현할 수 있게 된다.
또한, 서브 샘플의 플래그(flag) 정의의 예에 대해서는, 도 3을 참조하여 설명하였지만, 이상으로 설명한 예 5의 경우, 또한 HEVC NAL Map Group Entry에서 group화된 연속한 NAL units를 추가 정의하도록 해도 된다. 예를 들어, 이하와 같이, flag=5에 있어서, HEVC NAL Map Group Entry에서 group화된 연속한 NAL units를 sub-sample로서 추가 정의하도록 해도 된다.
Figure 112016001965237-pct00005
이와 같이 함으로써, NAL units 베이스로, 임의의 Group에 대한 바이트 액세스를 실현할 수 있다.
<2. 제2 실시 형태>
<MP4 파일(1)>
다음으로 MP4 파일의 예에 대하여 설명한다. 도 27은, 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다. 이 MP4 파일은, 타일(Tile) 구조를 갖는 비트 스트림을 하나의 파일로 파일화한 것이다. 도 27에 도시된 바와 같이, 이 MP4 파일은, 5개의 트랙 Track1 내지 Track5를 갖고 있다.
트랙 track1은, 샘플 디스크립션 박스 내의 HEVC 샘플 엔트리(HEVC sample entry)를 갖고 있으며, 그 codec type은, 통상의 HEVC 비트 스트림임을 나타내는 hvc1로 되어 있다. 이 샘플 엔트리(Sample Entry)는, HEVC의 디코드에 필요한 configuration 정보를 저장하는 HEVC 디코더 컨피규레이션 레코드(HEVC Decoder Configuration Record)(hvcC 박스)를 갖고 있다. 비디오 파라미터 세트(VPS(Video Parameter Set)), 시퀀스 파라미터 세트(SPS(Sequence Parameter Set)), SEI(Supplemental Enhancement Information), 픽처 파라미터 세트(PPS(Picture Parameter Set)) 등의 헤더 정보도 이 hvcC 박스에 저장된다. 이 hvcC 박스에 SEI를 저장할지 여부는 임의로 된다.
트랙 track1은 또한, 각 트랙 track2 내지 track5의 타일(slice)에 대한 참조를 위한 익스트랙터(extractor) Track2 내지 Track5를 갖고 있다. 익스트랙터(extractor) Track2는 트랙 Track2의 슬라이스(Tile1)를 참조하고, 익스트랙터(extractor) Track3은 트랙 Track3의 슬라이스(Tile2)를 참조한다. 이하 마찬가지로, 익스트랙터(extractor) Track4는 트랙 Track4의 슬라이스(Tile3)를 참조하고, 익스트랙터(extractor) Track5는 트랙 Track5의 슬라이스(Tile4)를 참조한다.
트랙 track2 내지 track5는, 각각 타일 Tile1 내지 Tile4의 실제 데이터인 슬라이스 slice를 저장하고 있다. 또한 트랙 track2 내지 track5는, 샘플 엔트리(Sample Entry)를 갖지만, 이들은 HEVC Tile만을(단독으로) 저장하기 위해서, codec type은 hvt1로 되어 있다. 이 트랙 track2 내지 track5의 샘플 엔트리(Sample Entry)는, HEVC Tile만의 디코드에 필요한 configuration 정보를 저장하는 HEVC 디코더 컨피규레이션 레코드(HEVC Decoder Configuration Record)(hvtC 박스)를 갖고 있다. 또한, 1개의 트랙에, 그룹화된 타일(Tile)을 저장할 수 있도록 해도 된다.
트랙 track2 내지 track5는 또한, 타일 리전 그룹 엔트리(TileRegionGroupEntry)를 갖고 있다. 이들 트랙 track2 내지 track5의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에는, 각각의 타일을 식별하는 식별 정보인 GroupID, 당해 타일의 수평 방향 위치(오프셋)를 나타내는 H_offset, 당해 타일의 수직 방향의 위치(오프셋)를 나타내는 V_offset, 당해 타일의 수평 방향 크기(폭)를 나타내는 H_width, 당해 타일의 수직 방향의 크기(높이)를 나타내는 V_height의 5개의 파라미터의 값이 정의된다. 또한, 이들은 그룹화된 타일(Tile)에 대하여 정의하도록 해도 된다.
예를 들어, 트랙 Track2(타일 1(Tile1))의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에서는, GroupID=1, H_offset=0, V_offset=0, H_width=960, V_height=540이 정의되어 있다. 또한, 예를 들어 트랙 Track3(타일 2(Tile2))의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에서는, GroupID=2, H_offset=960, V_offset=0, H_width=960, V_height=540이 정의되어 있다. 또한, 예를 들어 트랙 Track4(타일 3(Tile3))의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에서는, GroupID=3, H_offset=0, V_offset=540, H_width=960, V_height=540이 정의되어 있다. 또한, 예를 들어 트랙 Track5(타일 4(Tile4))의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에서는, GroupID=4, H_offset=960, V_offset=540, H_width=960, V_height=540이 정의되어 있다. 이 경우, 전체 화상(1920×1080)은, 세로 2장×가로 2장의 4장의 타일(960×540)로 이루어진다.
또한 트랙 track2 내지 track5에는, 트랙 레퍼런스(Track Reference)로서, 「prnt=1」이 정의되어 있다. 이것은, 이들 트랙 track2 내지 track5가, 트랙 Track1을 참조함을 나타낸다. 즉, 이 트랙 레퍼런스에 의해, 트랙 Track2 내지 Track5의 어느 한쪽(어느 한쪽의 타일)을 재생할 때 트랙 Track1의 정보(파라미터 세트 등)가 참조되게 된다.
<HEVC Tile Decoder Configuration Record의 신택스>
도 27의 샘플 엔트리(Sample Entry)의, HEVC Tile만의 디코드에 필요한 configuration 정보를 저장하는 HEVC 디코더 컨피규레이션 레코드(HEVC Decoder Configuration Record)(hvtC 박스)의 기본적인 신택스는, 다음과 같이 된다.
Figure 112016001965237-pct00006
<HEVCTileDecoderConfigurationRecord의 신택스의 예 1>
다음으로 HEVCTileDecoderConfigurationRecord의 신택스의 구체예에 대하여 설명한다. 도 28은, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다. 예 1의 HEVC 타일 디코더 컨피그레이션 레코드는, 도 28에 도시된 바와 같이 구성된다. configurationVersion, mcts_tier_flag 및 mcts_level_idc의 3개가, 확장적으로 추가되어 있다.
그 configurationVersion은, HEVC 타일 디코더 컨피그레이션 레코드의 버전을 나타낸다. HEVC에 있어서는, 동일한 화상 사이즈에 대하여, tier라 하는, Bitrate가 서로 다른 2종류의 프로파일이 정의되어 있다. 즉 그 2종류란, main tier와 high tier이다. mcts_tier_flag는 그 어느 하나인지를 나타내는 플래그이다. mcts_level_idc는, temporal MCTS SEI(Temporal Motion constrained tile set Supplemental Enhancement Information)에 있어서, 독립적으로 복호할 수 있는 부분 영역의 복호 처리의 부하 크기를 정의하는 복호 부하 정의 정보로서, 그 부분 영역의 복호 처리의 부하 크기를 나타내는 레벨이다.
여기서 템포럴 모션 컨스트레인드 타일 세트SEI(temporal_motion_constrained_tile_sets SEI)에 대하여 설명한다. 도 29는 템포럴 MCTS SEI의 신택스의 예를 나타내는 도면이다. 상기 도면에 도시된 템포럴 MCTS SEI의 신택스에 있어서는, mcts_tier_flag, mcts_level_idc, max_mcts_tier_flag, max_mcts_level_id를 포함하는 다양한 정보가 저장되어 있다.
또한, temporal MCTS SEI는, MCTS SEI와 명칭이 서로 다를 뿐, 실질적으로 동일한 것이다. 또한, 도 28 및 도 29의 mcts_level_idc는, 도 8, 도 12, 도 13, 도 17, 도 19, 도 20, 도 25 및 도 26 등에 있어서의 사각(12) 내에 나타낸 generals_level_idc와 명칭이 서로 다를 뿐, 실질적으로 동일한 것이다.
도 28의 예에서는, HEVC decoder configuration record와 동일한 데이터 구조이며, temporal_motion_constrained_tile_sets SEI에 저장되어 있는 파라미터 중, mcts_tier_flag와 mcts_level_idc라 하는, HEVC Tile의 디코드 판단에 필요한 파라미터만이 설정된다. 도 28의 HEVCTileDecoderConfigurationRecord에서는, 그 이외의 항에는 불필요하므로 제로가 설정된다. 또는 HEVC decoder configuration record와 동일한 값이 설정된다.
즉 이 예 1에서는, numOfArrays에는, 실질적으로 아무것도 저장되지 않는다.
<HEVCTileDecoderConfigurationRecord의 신택스의 예 2>
도 30은, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다. 예 2의 HEVC 타일 디코더 컨피그레이션 레코드는, 도 30에 도시된 바와 같이 구성된다.
도 30의 예 2는, 도 28의 예 1과 기본적으로 마찬가지의 구성이다. 단, 예 1에서는 실질적으로 아무것도 저장되지 않은 numOfArrays에, 예 2에서는, HEVC Title에 대응한 temporal_motion_constrained_tile_sets SEI가 저장되어 있는 점이, 예 1과 상이하다.
<HEVCTileDecoderConfigurationRecord의 신택스의 예 3>
도 31은, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다. 예 3의 HEVC 타일 디코더 컨피그레이션 레코드는, 도 31에 도시된 바와 같이 구성된다.
도 31에 도시된 바와 같이, 예 3에서는, 도 28 및 도 30의 예와 달리, HEVC 타일 디코더 컨피그레이션 레코드를 확장한다기 보다 그 패턴이 독자적으로 규정된다. 즉 예 3에서는, configurationVersion 외에, temporal_motion_constrained_tile_sets SEI에 저장되어 있는 파라미터 중, HEVC Tile의 디코드 판단에 필요한 파라미터인 mcts_tier_flag, mcts_level_idc만이 저장되어 있다.
<HEVCTileDecoderConfigurationRecord의 신택스의 예 4>
도 32는, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다. 예 4의 HEVC 타일 디코더 컨피그레이션 레코드는, 도 32에 도시된 바와 같이 구성된다.
도 32에 도시된 바와 같이, 예 4에서는, configurationVersion 외에, temporal_motion_constrained_tile_sets SEI에 저장되어 있는 HEVC Tile의 디코드 판단에 필요한 파라미터로서, mcts_tier_flag, mcts_level_idc, max_mcts_tier_flag, max_mcts_level_id만이 저장되어 있다. max_mcts_tier_flag, max_mcts_level_id는, 각각 mcts_tier_flag, mcts_level_idc의 최대의 값을 나타내며, 다른 타일을 재생하는 데 필요한 프로파일 정보이다. 즉, 이들은 스트림 전체의, 최대의 Tile을 위한 정보이다. 후술하는 도 36의 예에서는, 이것이 다른 박스(hvte box)에 저장된다.
복수의 Tile이 동일한 stream 내에 존재하는 경우에 있어서, Tile의 크기가 서로 다를 때, 각각의 Tile에 필요한 mcts_tier_flag, mcts_level_idc가 상이한 경우가 있다. 그 경우, 최대의 값인 max_mcts_tier_flag, max_mcts_level_idc를, 각각의 Tile마다의 mcts_tier_flag, mcts_level_idc와 함께 저장함으로써 디코드 처리의 힌트 정보로 한다.
<HEVCTileDecoderConfigurationRecord의 신택스의 예 5>
도 33은, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다. 예 5의 HEVC 타일 디코더 컨피그레이션 레코드는, 도 33에 도시된 바와 같이 구성된다.
도 33에 도시된 바와 같이, 예 5에서는, HEVC Tile의 디코드 판단에 필요한, HEVC Tile에 대응한 temporal_motion_constrained_tile_sets SEI가, nalUnit에 저장되어 있다. 따라서 NAL_unit_type에는, SEI임을 나타내는 NALunit 타입이 저장된다.
<HEVCTileDecoderConfigurationRecord의 신택스의 예 6>
도 34는, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다. 예 6의 HEVC 타일 디코더 컨피그레이션 레코드는, 도 34에 도시된 바와 같이 구성된다.
도 34에 도시된 바와 같이, 예 6은, 도 31의 예 3과 도 33의 예 5가 합성된 구성으로 되어 있다. 즉, configurationVersion으로부터 mcts_level_idc의 행까지의 예 3과, lengthSizeMinusOne 이후의 행의 예 5가 합성되어 있다. 즉, configurationVersion 외에, temporal_motion_constrained_tile_sets SEI에 저장되어 있는 HEVC Tile의 디코드 판단에 필요한 파라미터인 mcts_tier_flag, mcts_level_idc와, HEVC Tile의 디코드 판단에 필요한, HEVC Tile에 대응한 temporal_motion_constrained_tile_sets SEI가 저장된 구성으로 되어 있다.
<HEVCTileDecoderConfigurationRecord의 신택스의 예 7>
도 35는, HEVC 타일 디코더 컨피그레이션 레코드를 설명하는 도면이다. 예 7의 HEVC 타일 디코더 컨피그레이션 레코드는, 도 35에 도시된 바와 같이 구성된다.
도 35에 도시된 바와 같이, 예 7은, 도 32의 예 4와 도 33의 예 5가 합성된 구성으로 되어 있다. 즉, configurationVersion으로부터 max_mcts_level_idc의 행까지의 예 4와, lengthSizeMinusOne 이후의 행의 예 5가 합성되어 있다. 즉, configurationVersion 외에, temporal_motion_constrained_tile_sets SEI에 저장되어 있는 HEVC Tile의 디코드 판단에 필요한 파라미터인 mcts_tier_flag, mcts_level_idc, max_mcts_tier_flag, max_mcts_level_id와, HEVC Tile의 디코드 판단에 필요한, HEVC Tile에 대응한 temporal_motion_constrained_tile_sets SEI가 저장된 구성으로 되어 있다.
<MP4 파일(2)>
도 36은, 도 27과는 상이한 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다. 도 36의 MP4 파일은, 기본적으로 도 27의 MP4 파일과 마찬가지의 구성이지만, 도 36의 MP4 파일에 있어서는, 트랙 Track1의 샘플 엔트리가 hvcCbox 이외에, hvte box를 갖고 있는 점이 도 27의 MP4 파일과 상이하다.
도 36의 MP4 파일에 있어서는, 도 32에서 설명한, 스트림 전체의, 최대의 Tile을 위한 정보인 max_mcts_tier_flag, max_mcts_level_id가, 베이스 트랙인 트랙 Track1의 hvte box에 저장된다.
도 37은, HEVC 타일 익스텐션 박스를 설명하는 도면이다. 도 37의 A는, 도 36의 트랙 Track1의 샘플 엔트리가 갖는 비주얼 샘플 그룹 엔트리의 확장을 나타내고 있으며, HEVCConfigurationBox(hvcC box) 외에, HEVCTileExtensionBox()(hvte box)가 추가되어 있다. 그리고 도 37의 B가, 그 HEVCTileExtensionBox()의 신택스를 나타내고 있다. 도 37의 B에 도시된 바와 같이, max_mcts_tier_flag, max_mcts_level_id가 저장되어 있다.
max_mcts_tier_flag, max_mcts_level_id는, 스트림 전체의, 최대의 Tile을 위한 정보이기 때문에, Tile Track(트랙 Track2 내지 Track5)에 저장하지 않고, 베이스 트랙인 트랙 Track1에 저장한다. 이에 의해, 임의의 Tile을 단독으로 디코드하는 데 필요한 최댓값을 간단하게 취득하는 것이 가능해진다.
<MP4 파일(3)>
도 38은, 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다. 도 38의 MP4 파일은, 기본적으로 도 27의 MP4 파일과 마찬가지의 구성이지만, 도 27의 MP4 파일에 있어서는, 트랙 Track2 내지 Track5의 샘플 엔트리의 hvtC box에, HEVC Tile만의 디코드에 필요한 configuration 정보를 저장하도록 하였다. 이에 반하여, 도 38의 MP4 파일에 있어서는, hvtC box에, 도 30, 도 33, 도 34, 및 도 35의 예에 나타낸 바와 같이, temporal_motion_constrained_tile_sets SEI가 저장될 뿐만 아니라, 또한, HEVC Tile만의 디코드에 필요한 VPS, SPS, PPS가 저장된다.
이와 같이 함으로써, Tile2 내지 Tile5 중 어느 하나를 재생하는 경우, 그들의 파라미터 세트를 얻기 위해 베이스 트랙인 트랙 Track1의 정보에 액세스할 필요가 없어진다.
<3. 제3 실시 형태>
<화상 부호화 장치>
다음으로, 이상과 같은 본 기술을 실현하는 장치와 그 방법에 대하여 설명한다. 도 39는, 본 기술을 적용한 화상 처리 장치의 일 형태인, 화상 부호화 장치를 나타내는 도면이다. 도 39에 도시한 화상 부호화 장치(100)는, 입력된 화상 데이터를 HEVC 부호화 방식으로 부호화하여 MP4 파일 포맷으로 파일화하는 장치이다.
도 39에 도시된 바와 같이, 화상 부호화 장치(100)는, 화상 부호화부(101), 서브 샘플 정보 생성부(102), 및 MP4 파일 생성부(103)를 갖는다.
화상 부호화부(101)는, 입력된 화상 데이터의 전체 화상을 타일(Tile)이라 칭하는 부분 화상으로 분할하고, 각 타일을 HEVC 부호화 방식이 서포트하는 타일(Tile)로서, 전체 화상의 화상 데이터를 그 타일마다 부호화한다. 즉, 타일마다 독립적으로 복호할 수 있는 HEVC 부호화 방식의 비트 스트림(HEVC 비트 스트림)이 생성된다.
화상 부호화부(101)는, 얻어진 HEVC 비트 스트림을 MP4 파일 생성부(103)에 공급한다. 또한, 화상 부호화부(101)는, 전체 화상을 어떻게 분할하였는지에 관한 타일(Tile) 정보나, 각타일의 프로파일 정보를 서브 샘플 정보 생성부(102)에 공급한다.
서브 샘플 정보 생성부(102)는, 화상 부호화부(101)로부터 공급되는 타일 정보나 타일의 프로파일 정보를 이용하여, MP4 파일 포맷에 대응한, 그들 정보를 포함하는, 즉, 전체 화상 중, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보(확장 서브 샘플 정보)를 생성한다. 서브 샘플 정보 생성부(102)는, 생성한 확장 서브 샘플 정보를, MP4 파일 생성부(103)에 공급한다.
MP4 파일 생성부(103)는, 화상 부호화부(101)로부터 공급된 HEVC 비트 스트림을 MP4 파일 포맷으로 파일화하고, 그 HEVC 비트 스트림을 포함하는 파일의, HEVC 비트 스트림을 관리하는 관리 정보에, 서브 샘플 정보 생성부(102)로부터 공급되는 확장 서브 샘플 정보를 저장한다.
그때, MP4 파일 생성부(103)는, 그 확장 서브 샘플 정보를, 전술한 관리 정보의 샘플 테이블 박스(Sample Table Box)의 서브 샘플 인포메이션 박스(Subsample Information Box)와는 상이한 서브 샘플 힌트 인포메이션 박스(Subsample Hint Information Box)로서 배치한다.
또는, MP4 파일 생성부(103)는, 그 확장 서브 샘플 정보를, 전술한 관리 정보의 샘플 테이블 박스(Sample Table Box)의 샘플 그룹 디스크립션 박스(Sample Group Description Box)에 비주얼 샘플 그룹 엔트리(VisualSampleGroupEntry)로서 배치하고, 그 서브 샘플 정보를 적용하는 샘플을 지정하는 정보를, 샘플 투 그룹 박스(Sample To Group Box)에 배치한다.
또한, 서브 샘플 정보의 내용은, 제1 실시 형태에 있어서 설명한 각 예 중 어느 하나와 마찬가지이다. 예를 들어, 예 5의 경우, 서브 샘플 정보 생성부(102)가 생성하는 확장 서브 샘플 정보에는, 전체 화상 중의, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보뿐만 아니라, NAL unit을 그룹화하는 map group 정보(Map Group Entry)도 포함된다.
그리고, MP4 파일 생성부(103)는, 이상과 같이 생성한 MP4 파일을 출력하고, 네트워크, 기록 매체 등, 혹은 정보 처리 장치 등을 통하여, 예를 들어 복호측으로 전송한다.
이와 같이 함으로써, 화상 부호화 장치(100)는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있도록 할 수 있다.
<화상 부호화 처리의 흐름>
다음으로, 이상과 같은 화상 부호화 장치(100)에 의해 실행되는 각 처리의 흐름에 대하여 설명한다. 도 40의 흐름도를 참조하여, 화상 부호화 처리의 흐름의 예를 설명한다.
화상 부호화 처리가 개시되면, 화상 부호화부(101)는, 스텝 S101에 있어서, 화상 데이터를 서브 샘플(타일)마다 복호할 수 있도록 부호화한다.
스텝 S102에 있어서, 화상 부호화부(101)는, 예를 들어 타일 정보나 각 타일의 프로파일 정보 등, 타일에 관한 정보를 추출한다.
스텝 S103에 있어서, 서브 샘플 정보 생성부(102)는, 스텝 S102에 있어서 추출된 타일에 관한 정보를 이용하여, 타일의 힌트 정보를 포함하는 확장 서브 샘플 정보를 생성한다.
스텝 S104에 있어서, MP4 파일 생성부(103)는, 확장 서브 샘플 정보를 이용하여, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 moov의 샘플 테이블 박스에 포함하도록 MP4 파일을 생성한다.
스텝 S104의 처리가 종료되면 화상 부호화 처리가 종료된다.
이상과 같이 화상 부호화 처리를 실행함으로써, 화상 부호화 장치(100)는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있도록 할 수 있다.
<4. 제4 실시 형태>
<화상 복호 장치>
다음으로, 이상과 같이 부호화된 부호화 데이터의 복호에 대하여 설명한다. 도 41은, 본 기술을 적용한 화상 처리 장치의 일 형태인, 화상 부호화 장치(100)에 대응하는 화상 복호 장치의 주된 구성예를 나타내는 블록도이다. 도 41에 도시한 화상 복호 장치(200)는, 화상 부호화 장치(100)가 생성한 부호화 데이터를, 그 부호화 방법에 대응하는 복호 방법으로 복호한다. 즉, 화상 복호 장치(200)는, MP4 파일로부터 HEVC 비트 스트림을 추출하고, 그 HEVC 비트 스트림을 복호하여 화상 데이터를 출력한다. 그 때, 화상 복호 장치(200)는, 예를 들어 HEVC가 서포트하는 타일 구조를 이용하여, 단수 또는 복수의 타일(Tile)로 이루어지는 부분 화상을 다른 부분과는 독립적으로 복호할 수 있다. 그 때, 화상 복호 장치(200)는, 그 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보에 기초하여, 복호 가부 판단을 행할 수 있다.
도 41에 도시된 바와 같이, 화상 복호 장치(200)는, MP4 파일 재생부(201), 서브 샘플 정보 처리부(202), 및 화상 복호부(203)를 갖는다.
MP4 파일 재생부(201)는, 입력되는 MP4 파일의 재생 가부 판정 처리를 행하거나, 그 MP4 파일의 재생 처리를 행하거나, 에러 처리를 행하거나 한다. MP4 파일 재생부(201)는, 서브 샘플 정보 처리부(202)를 이용하여 그들 처리를 행하고, 단수 또는 복수의 타일로 이루어지는 부분 화상(물론 전체 화상이어도 됨)의 HEVC 비트 스트림을 생성하여, 화상 복호부(203)에 공급한다.
서브 샘플 정보 처리부(202)는, 그 재생 가부 판정 처리나 재생 처리에 있어서, 서브 샘플 정보에 대한 처리를 행한다. 또한, 서브 샘플 정보의 내용은, 제1 실시 형태에 있어서 설명한 각 예 중 어느 하나와 마찬가지이다. 예를 들어, 예 5의 경우, 서브 샘플 정보 생성부(102)가 생성하는 확장 서브 샘플 정보에는, 전체 화상 중, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보뿐만 아니라, NAL unit을 그룹화하는 map group 정보(Map Group Entry)도 포함된다.
화상 복호부(203)는, MP4 파일 재생부(201)에 있어서 생성된 HEVC 비트 스트림을 복호하여, 그 화상 데이터를 출력한다.
이와 같이 함으로써, 화상 복호 장치(200)는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있다.
<화상 복호 처리의 흐름>
다음으로, 이상과 같은 화상 복호 장치(200)에 의해 실행되는 각 처리의 흐름에 대하여 설명한다. 처음에, 도 42의 흐름도를 참조하여, 화상 복호 처리의 흐름의 예를 설명한다.
화상 복호 처리가 개시되면, 화상 복호 장치(200)의 MP4 파일 재생부(201) 및 서브 샘플 정보 처리부(202)는, 스텝 S201에 있어서, 입력된 MP4 파일에 포함되는 HEVC 비트 스트림에 대하여, 유저 등에 의해 지정된 부분 화상의 재생 가부 판정을 행한다.
스텝 S202에 있어서, MP4 파일 재생부(201)는, 스텝 S201의 처리 결과에 기초하여 재생할지 여부를 판정한다. 재생한다고 판정된 경우, 처리는 스텝 S203으로 진행된다.
스텝 S203에 있어서, MP4 파일 재생부(201) 및 서브 샘플 정보 처리부(202)는, 재생 처리를 행한다.
스텝 S204에 있어서, 화상 복호부(203)는, 스텝 S203의 처리에 의해 얻어진, 단수 또는 복수의 타일로 이루어지는 부분 화상의 부호화 데이터(HEVC 비트 스트림)를 복호하여, 단수 또는 복수의 타일로 이루어지는 부분 화상의 화상 데이터를 출력한다.
스텝 S204의 처리가 종료되면 화상 복호 처리가 종료된다.
또한, 스텝 S202에 있어서, 재생하지 않는다고 판정된 경우, 처리는 스텝 S205로 진행한다.
스텝 S205에 있어서, MP4 파일 재생부(201)는, 복호를 정상적으로 할 수 없을 경우의 소정의 처리인 에러 처리를 행한다. 이 에러 처리는 어떠한 처리라도 좋다. 예를 들어, 복호를 강제 종료(중단, 일시 정지 등을 포함함)하여도 되고, 화상이나 음성 등으로 유저에 대하여 경고하도록 해도 된다. 또한, 예를 들어 레벨이 보다 낮은 다른 부호화 스트림을 취득하여 복호를 다시 하도록 해도 된다. 또한, 예를 들어 복호 화상에 흐트러짐이 발생하는 것을 허용하고, 그 부호화 스트림을 강제적으로 복호하도록 해도 된다.
스텝 S205의 처리가 종료되면, 화상 복호 처리가 종료된다.
<재생 가부 판정 처리의 흐름>
다음으로, 도 43의 흐름도를 참조하여, 도 42의 스텝 S201에 있어서 실행되는 재생 가부 판정 처리의 흐름의 예를 설명한다.
재생 가부 판정 처리가 개시되면, 스텝 S221에 있어서, MP4 파일 재생부(201)는, MP4 파일의 샘플 테이블 박스의 샘플 디스크립션 박스의 HEVC 샘플 엔트리로부터, MP4 파일에 포함되는 HEVC 비트 스트림의 시퀀스 파라미터 세트(SPS)를 취득한다.
스텝 S222에 있어서, MP4 파일 재생부(201)는, 그 시퀀스 파라미터 세트(SPS)에 포함되는 프로파일 정보가, 화상 복호부(203)에 대응하는 프로파일 정보인지 여부를 판정한다. 즉, MP4 파일 재생부(201)는, 시퀀스 파라미터 세트(SPS)에 포함되는 정보에 기초하여, 화상 복호부(203)가, 그 MP4 파일에 포함되는 전체 화상의 HEVC 비트 스트림을 복호 가능한지 여부를 판정한다.
복호 가능하다고 판정된 경우, 처리는 스텝 S223으로 진행한다. 스텝 S223에 있어서, MP4 파일 재생부(201)는, 재생을 행하도록 제어한다. 즉, 도 42의 스텝 S202에 있어서 재생한다고 판정된다.
스텝 S223의 처리가 종료되면, 재생 가부 판정 처리가 종료되고, 처리는 도 42로 되돌아간다.
또한, 스텝 S222에 있어서, 프로파일 정보가 화상 복호부(203)에 대응되지 않는다고 판정된 경우, 즉, 화상 복호부(203)가 그 MP4 파일에 포함되는 전체 화상의 HEVC 비트 스트림을 복호 불가능하다고 판정된 경우, 처리는 스텝 S224로 진행한다. 스텝 S224에 있어서, 서브 샘플 정보 처리부(202)는, MP4 파일의 샘플 테이블 박스로부터, 타일(서브 샘플)의 힌트 정보를 취득한다.
스텝 S225에 있어서, 서브 샘플 정보 처리부(202)는, 스텝 S224에 있어서 취득된 힌트 정보에 포함되는 프로파일 정보가, 화상 복호부(203)에 대응하는 프로파일 정보인지 여부를 판정한다. 즉, 서브 샘플 정보 처리부(202)는, 화상 복호부(203)가, 그 MP4 파일에 포함되는, 단수 혹은 복수의 타일로 이루어지는 부분 화상의 HEVC 비트 스트림을 복호 가능한지 여부를 판정한다.
복호 가능하다고 판정된 경우, 처리는 스텝 S223으로 되돌아간다. 즉, 이 경우에도 MP4 파일 재생부(201)는, 재생을 행하도록 제어한다.
또한, 스텝 S225에 있어서, 프로파일 정보가 화상 복호부(203)에 대응되지 않는다고 판정된 경우, 즉, 화상 복호부(203)가 그 MP4 파일에 포함되는 부분 화상의 HEVC 비트 스트림을 복호 불가능하다고 판정된 경우, 처리는 스텝 S226으로 진행한다.
스텝 S226에 있어서, MP4 파일 재생부(201)는, 전술한 바와 같이 에러 처리를 행하도록 제어한다.
스텝 S226의 처리가 종료되면, 재생 가부 판정 처리가 종료되고, 처리는 도 42로 되돌아간다.
<재생 처리의 흐름>
다음으로, 도 42의 스텝 S203에 있어서 실행되는 재생 처리의 흐름의 예를, 도 44의 흐름도를 참조하여 설명한다.
재생 처리가 개시되면, MP4 파일 재생부(201)는, 스텝 S241에 있어서, MP4 파일로부터 시퀀스 파라미터 세트(SPS)와, 픽처 파라미터 세트를 취득한다.
스텝 S242에 있어서, 서브 샘플 정보 처리부(202)는, MP4 파일로부터 재생하는 타일의 힌트 정보를 취득한다.
스텝 S243에 있어서, MP4 파일 재생부(201)는, 스텝 S242에 있어서 얻어진 타일의 힌트 정보를 이용하여, 스텝 S241에 있어서 취득한 시퀀스 파라미터 세트(SPS)를 갱신한다. 예를 들어, 힌트 정보가, 사각(12)의 예 (A-1)이나 (A-2)의 경우, MP4 파일 재생부(201)는, 그 힌트 정보에 포함되는 정보(프로파일 레벨 등)를 이용하여, 시퀀스 파라미터 세트(SPS)의 정보를 재기입한다. 또한, 예를 들어 힌트 정보가, 사각(12)의 예 (B-1)이나 (B-2)의 경우, MP4 파일 재생부(201)는, 그 힌트 정보에 포함되는 정보를, 시퀀스 파라미터 세트(SPS)로 치환한다.
스텝 S244에 있어서, 서브 샘플 정보 처리부(202)는, MP4 파일로부터 재생하는 타일의 데이터를 취득한다. 그때, 예 1 내지 예 4의 경우, 서브 샘플 정보 처리부(202)는, 도 6의 예와 같이, 서브 샘플 인포메이션 박스를 참조하여, 서브 샘플(타일)을 구성하는 NAL unit의 데이터에 액세스하고, 취득한다. 또한, 예 5의 경우, 서브 샘플 정보 처리부(202)는, 도 24의 예와 같이, 샘플 내의 NAL units를 맵화하는 비주얼 샘플 그룹 엔트리(HEVCNALUMapGroupEntry() extends VisualSampleGroupEntry('hcnm'))에 있어서 설정된, NAL unit과 GroupID의 결부(NAL unit의 맵 패턴)(Map Group Entry)를 참조하여, 서브 샘플(타일)을 구성하는 NAL unit의 데이터에 액세스하고, 취득한다.
스텝 S245에 있어서, MP4 파일 재생부(201)는, 스텝 S244에 있어서 얻어진 타일의 데이터나 스텝 S243에 있어서 갱신된 시퀀스 파라미터 세트 등을 사용하여, 재생하는 타일(부분 화상)의 비트 스트림을 생성한다.
스텝 S245의 처리가 종료되면, 처리는 도 42로 되돌아간다. 즉, 생성된 부분 화상의 비트 스트림이 복호된다.
이상과 같이 각 처리를 실행함으로써, 화상 복호 장치(200)는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있다.
<재생 처리의 흐름>
다음으로, 도 42의 스텝 S203에 있어서 실행되는 재생 처리의 흐름의, 다른 예를, 도 45의 흐름도를 참조하여 설명한다.
재생 처리가 개시되면, MP4 파일 재생부(201)는, 스텝 S261에 있어서, 비주얼 샘플 그룹 엔트리로부터, 타일의 위치에 관한 정보(H_offset, V_offset)와, 타일의 크기에 관한 정보(Width, Height)를 취득한다.
스텝 S262에 있어서, MP4 파일 재생부(201)는, 취득된 타일의 위치에 관한 정보와, 타일의 크기에 관한 정보에 기초하여, 재생하고 싶은 타일을 선택한다.
스텝 S263에 있어서, 서브 샘플 정보 처리부(202)는, 비주얼 샘플 그룹 엔트리로부터, 선택된 타일에 대응하는 NAL unit의 맵 패턴에 관한 정보(NALU_count, groupID)를 취득한다.
스텝 S264에 있어서, 서브 샘플 정보 처리부(202)는, 스텝 S263에 있어서 취득된 NAL unit의 맵 패턴에 관한 정보에 기초하여, 타일의 데이터를 취득한다.
스텝 S265에 있어서, MP4 파일 재생부(201)는, 스텝 S264에 있어서 취득된 타일의 비트 스트림을 재생한다.
스텝 S265의 처리가 종료되면, 처리는 도 42로 되돌아간다. 즉, 재생된 부분 화상의 비트 스트림이 복호된다.
이상과 같이 각 처리를 실행함으로써, 화상 복호 장치(200)는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있다.
<재생 처리의 흐름>
다음으로, 도 42의 스텝 S203에 있어서 실행되는 재생 처리의 흐름의, 다른 예를, 도 46의 흐름도를 참조하여 설명한다.
재생 처리가 개시되면, MP4 파일 재생부(201)는, 스텝 S281에 있어서, 비주얼 샘플 그룹 엔트리로부터, 타일의 위치에 관한 정보(H_offset, V_offset)와, 타일의 크기에 관한 정보(Width, Height)를 취득한다.
스텝 S282에 있어서, MP4 파일 재생부(201)는, 취득된 타일의 위치에 관한 정보와, 타일의 크기에 관한 정보에 기초하여, 재생하고 싶은 영역을 선택한다.
스텝 S283에 있어서, 서브 샘플 정보 처리부(202)는, 비주얼 샘플 그룹 엔트리로부터, 재생하고 싶은 영역에 대응하는 TileGroupID를 기초로, 복수의 GroupID를 취득한다.
스텝 S284에 있어서, 서브 샘플 정보 처리부(202)는, 비주얼 샘플 그룹 엔트리로부터, 선택된 복수의 GroupID의 타일에 대응하는 NAL unit의 맵 패턴에 관한 정보(NALU_count, groupID)를 각각 취득한다.
스텝 S285에 있어서, 서브 샘플 정보 처리부(202)는, 스텝 S284에 있어서 취득된 NAL unit의 맵 패턴에 관한 정보에 기초하여, 각각의 타일의 데이터를 취득한다.
스텝 S286에 있어서, MP4 파일 재생부(201)는, 스텝 S285에 있어서 취득된 각 타일의 비트 스트림을 재생한다.
스텝 S286의 처리가 종료되면, 처리는 도 42로 되돌아간다. 즉, 재생된 부분 화상의 비트 스트림이 복호된다.
이상과 같이 각 처리를 실행함으로써, 화상 복호 장치(200)는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있다.
<재생 처리의 흐름>
다음으로, 도 42의 스텝 S203에 있어서 실행되는 재생 처리의 흐름의, 다른 예를, 도 47의 흐름도를 참조하여 설명한다.
재생 처리가 개시되면, MP4 파일 재생부(201)는, 스텝 S301에 있어서, 타일 리전 그룹 엔트리로부터, 타일의 위치에 관한 정보(H_offset, V_offset)와, 타일의 크기에 관한 정보(Width, Height)를 취득한다.
스텝 S302에 있어서, MP4 파일 재생부(201)는, 취득된 타일의 위치에 관한 정보와, 타일의 크기에 관한 정보에 기초하여, 재생하고 싶은 타일을 선택한다.
스텝 S303에 있어서, 서브 샘플 정보 처리부(202)는, 스텝 S302에 있어서 선택된 타일에 대응하는 트랙을 취득한다.
스텝 S304에 있어서, MP4 파일 재생부(201)는, 스텝 S303에 있어서 취득된 복수의 트랙에 대응하는 타일의 비트 스트림을 재생한다.
스텝 S304의 처리가 종료되면, 처리는 도 42로 되돌아간다. 즉, 재생된 부분 화상의 비트 스트림이 복호된다.
이상과 같이 각 처리를 실행함으로써, 화상 복호 장치(200)는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있다.
<재생 처리의 흐름>
다음으로, 도 42의 스텝 S203에 있어서 실행되는 재생 처리의 흐름의, 다른 예를, 도 48의 흐름도를 참조하여 설명한다.
재생 처리가 개시되면, MP4 파일 재생부(201)는, 스텝 S321에 있어서, 타일 리전 그룹 엔트리로부터, 타일의 위치에 관한 정보(H_offset, V_offset)와, 타일의 크기에 관한 정보(Width, Height)를 취득한다.
스텝 S322에 있어서, MP4 파일 재생부(201)는, 취득된 타일의 위치에 관한 정보와, 타일의 크기에 관한 정보에 기초하여, 재생하고 싶은 영역을 선택한다.
스텝 S323에 있어서, 서브 샘플 정보 처리부(202)는, 타일 리전 그룹 엔트리로부터, 재생하고 싶은 영역에 대응하는 TileGroupID에 기초하여, 복수의 GroupID를 취득한다.
스텝 S324에 있어서, 서브 샘플 정보 처리부(202)는, 스텝 S323에 있어서 선택된 복수의 타일에 대응하는 트랙을 취득한다.
스텝 S325에 있어서, MP4 파일 재생부(201)는, 스텝 S324에 있어서 취득된 복수의 트랙에 대응하는 복수의 타일의 비트 스트림을 재생한다.
스텝 S324의 처리가 종료되면, 처리는 도 42로 되돌아간다. 즉, 재생된 부분 화상의 비트 스트림이 복호된다.
이상과 같이 각 처리를 실행함으로써, 화상 복호 장치(200)는, 복호에 필요한 성능을 보다 정확하게 파악할 수 있다.
본 기술의 적용 범위는, 부분 화상을 부호화·복호 가능한 모든 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다.
또한, 본 기술은, 예를 들어 MPEG, H.26x 등과 같이, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축된 화상 정보(비트 스트림)를 위성 방송, 케이블 텔레비전, 인터넷, 또는 휴대 전화기 등의 네트워크 미디어를 통해 수신할 때 사용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또한, 본 기술은, 광, 자기디스크, 및 플래시 메모리와 같은 기억 미디어 상에서 처리할 때 사용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다.
<5. 제5 실시 형태>
<컴퓨터>
전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 49는, 전술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
도 49에 도시한 컴퓨터(900)에 있어서, CPU(901: Central Processing Unit), ROM(902: Read Only Memory), RAM(903: Random Access Memory)은, 버스(904)를 통해 서로 접속되어 있다.
버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는, 입력부(911), 출력부(912), 기억부(913), 통신부(914), 및 드라이브(915)가 접속되어 있다.
입력부(911)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등을 포함한다. 출력부(912)는, 예를 들어 디스플레이, 스피커, 출력 단자 등을 포함한다. 기억부(913)는, 예를 들어 하드디스크, RAM 디스크, 불휘발성의 메모리 등을 포함한다. 통신부(914)는, 예를 들어 네트워크 인터페이스를 포함한다. 드라이브(915)는, 자기디스크, 광디스크, 광자기디스크, 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어 기억부(913)에 기억되어 있는 프로그램을, 입출력 인터페이스(910) 및 버스(904)를 통해 RAM(903)에 로드하여 실행함으로써, 전술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.
컴퓨터(CPU(901))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(921)를 드라이브(915)에 장착함으로써, 입출력 인터페이스(910)를 통해 기억부(913)에 인스톨할 수 있다.
또한, 이 프로그램은, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수도 있다. 그 경우, 프로그램은, 통신부(914)에 의해 수신하고, 기억부(913)에 인스톨할 수 있다.
그 밖에, 이 프로그램은, ROM(902)이나 기억부(913)에, 미리 인스톨해 둘 수도 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 이상에 있어서, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 전술한 이외의 구성을 부가하도록 해도 물론 좋다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 된다.
이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시 형태에 대하여 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술분야에서의 통상의 지식을 갖는 사람이라면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있음은 자명하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
예를 들어, 본 기술은, 하나의 기능을, 네트워크를 통해 복수의 장치로 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 전술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.
전술한 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치는, 예를 들어 위성 방송, 케이블 TV 등의 유선 방송, 인터넷상에서의 배신, 및 셀룰러 통신에 의한 단말기에 대한 배신 등에 있어서의 송신기 또는 수신기, 광디스크, 자기디스크 및 플래시 메모리 등의 매체에 화상을 기록하는 기록 장치, 또는 이들 기억 매체로부터 화상을 재생하는 재생 장치 등의 다양한 전자 기기에 응용될 수 있다.
또한, 본 기술은, 이에 한정하지 않고, 이와 같은 장치 또는 시스템을 구성하는 장치에 탑재하는 모든 구성, 예를 들어 시스템 LSI(Large Scale Integration) 등으로서의 프로세서, 복수의 프로세서 등을 사용하는 모듈, 복수의 모듈 등을 사용하는 유닛, 유닛에 또한 그 밖의 기능을 부가한 세트 등(즉, 장치의 일부 구성)으로서 실시할 수도 있다.
또한, 본 명세서에서는, 각종 정보가, 부호화 스트림에 다중화되어, 부호화측으로부터 복호측으로 전송되는 예에 대하여 설명하였다. 그러나, 이들 정보를 전송하는 방법은 이러한 예에 한정되지 않는다. 예를 들어, 이들 정보는, 부호화 비트 스트림에 다중화되지 않고, 부호화 비트 스트림과 관련지어진 별개의 데이터로서 전송되거나 또는 기록되어도 된다. 여기서, 「관련짓는다」라는 용어는, 비트 스트림에 포함되는 화상(슬라이스 혹은 블록 등, 화상의 일부이어도 됨)과 당해 화상에 대응하는 정보를 복호 시에 링크시킬 수 있도록 함을 의미한다. 즉, 정보는, 화상(또는 비트 스트림)과는 다른 전송로 상에서 전송되어도 된다. 또한, 정보는, 화상(또는 비트 스트림)과는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에리어)에 기록되어도 된다. 또한, 정보와 화상(또는 비트 스트림)은, 예를 들어 복수 프레임, 1프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어져도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 화상 데이터를 부호화하는 부호화부와,
상기 화상 데이터의 화상, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보를 생성하는 서브 샘플 정보 생성부와,
상기 부호화부에 의해 생성된 상기 화상 데이터의 부호화 데이터와, 상기 부호화 데이터의 관리 정보를 포함하는 파일을 생성하고, 상기 서브 샘플 정보 생성부에 의해 생성된 상기 서브 샘플 정보를, 상기 관리 정보에 배치하는 파일 생성부
를 구비하는 화상 부호화 장치.
(2) 상기 서브 샘플 정보 생성부는, 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 상기 힌트 정보를 포함하는 서브 샘플 정보를 생성하는, (1), (3) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(3) 상기 힌트 정보는, 상기 서브 샘플의 복호 처리의 부하 크기를 나타내는 레벨을 포함하는, (1), (2), (4) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(4) 상기 힌트 정보는, 상기 서브 샘플의 부호화 데이터의 헤더 정보를 포함하는, (1) 내지 (3), (5) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(5) 상기 서브 샘플 정보 생성부는, 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 상기 서브 샘플이 속하는 그룹의 식별 정보를 포함하는 서브 샘플 정보를 생성하는, (1) 내지 (4), (6) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(6) 상기 서브 샘플 정보 생성부는, 또한 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 서브 샘플의 그룹의 복호 처리의 부하 크기를 나타내는 레벨을 포함하는 힌트 정보를 포함하는 서브 샘플 정보를 생성하는, (1) 내지 (5), (7) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(7) 상기 서브 샘플 정보 생성부는, 또한 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 서브 샘플의 그룹의 부호화 데이터의 헤더 정보를 포함하는 힌트 정보를 포함하는 서브 샘플 정보를 생성하는, (1) 내지 (6), (8) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(8) 상기 서브 샘플 정보 생성부는, 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트, 그룹에 속하는 서브 샘플의 식별 정보와, 상기 그룹의 힌트 정보를 포함하는 서브 샘플 정보를 생성하는, (1) 내지 (7), (9) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(9) 상기 힌트 정보는, 상기 그룹의 복호 처리의 부하 크기를 나타내는 레벨을 포함하는, (1) 내지 (8), (10) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(10) 상기 힌트 정보는, 상기 그룹의 부호화 데이터의 헤더 정보를 포함하는, (1) 내지 (9), (11) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(11) 상기 서브 샘플 정보 생성부는, 서브 샘플의 크기와 위치를 나타내는 정보를 포함하는 서브 샘플 정보를 생성하는, (1) 내지 (10), (12) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(12) 상기 서브 샘플 정보 생성부는, 서브 샘플이 독립적으로 복호할 수 있음을 나타내는 정보를 포함하는 서브 샘플 정보를 생성하는, (1) 내지 (11), (13) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(13) 상기 서브 샘플 정보 생성부는, 샘플을 구성하는 널 유닛을 그룹화하는 정보를 포함하는 서브 샘플 정보를 생성하는, (1) 내지 (12), (14), (15) 중 어느 하나에 기재된 화상 부호화 장치.
(14) 상기 파일 생성부는, 상기 서브 샘플 정보를, 상기 관리 정보의 샘플 테이블 박스(Sample Table Box)의 서브 샘플 인포메이션 박스(Subsample Information Box)와는 상이한 서브 샘플 힌트 인포메이션 박스(Subsample Hint Information Box)로서 배치하는, (1) 내지 (13), (15) 중 어느 하나에 기재된 화상 부호화 장치.
(15) 상기 파일 생성부는, 상기 서브 샘플 정보를, 상기 관리 정보의 샘플 테이블 박스(Sample Table Box)의 샘플 그룹 디스크립션 박스(Sample Group Description Box)에 비주얼 샘플 그룹 엔트리(VisualSampleGroupEntry)로서 배치하고, 상기 서브 샘플 정보를 적용하는 샘플을 지정하는 정보를, 샘플 투 그룹 박스(Sample To Group Box)에 배치하는, (1) 내지 (14) 중 어느 하나에 기재된 화상 부호화 장치.
(16) 상기 파일 생성부는, 상기 부분 화상만의 디코드에 필요한 상기 서브 샘플 정보를, 부분 화상을 갖는 트랙의, 상기 관리 정보의 샘플 테이블 박스(Sample Table Box)의 샘플 그룹 디스크립션 박스(Sample Group Description Box)의 샘플 엔트리(Sample Entry)에 배치하는, (1) 내지 (15) 중 어느 하나에 기재된 화상 부호화 장치.
(17) 상기 서브 샘플 정보는, HEVC decoder configuration record와 동일한 데이터 구조에서, 템포럴 모션 컨스트레인드 타일 세트 SEI (temporal_motion_constrained_tile_sets SEI)에 저장되어 있는 HEVC Tile의 디코드 판단에 필요한 파라미터인, (1) 내지 (16) 중 어느 하나에 기재된 화상 부호화 장치.
(18) 상기 파라미터는, mcts 티어 플래그(mcts_tear_flag) 및 mcts 레벨 idc(mcts_level_idc)를 포함하는, (1) 내지 (17) 중 어느 하나에 기재된 화상 부호화 장치.
(19) 상기 부분 화상 정보는, HEVC Tile에 대응한 템포럴 모션 컨스트레인드 타일 세트 SEI(temporal_motion_constrained_tile_sets SEI)를 더 포함하는, (1) 내지 (18) 중 어느 하나에 기재된 화상 부호화 장치.
(20) 상기 서브 샘플 정보는, 맥스 mcts 티어 플래그(max_mcts_tear_flag) 및 맥스 mcts 레벨 idc(max_mcts_level_idc)를 더 포함하는, (1) 내지 (19) 중 어느 하나에 기재된 화상 부호화 장치.
(21) HEVC Tile의 디코드의 판단에 필요한 HEVC Tile에 대응한 템포럴 모션 컨스트레인드 타일 세트 SEI(temporal_motion_constrained_tile_sets SEI)를 더 포함하는, (1) 내지 (20) 중 어느 하나에 기재된 화상 부호화 장치.
(22) 상기 맥스 mcts 티어 플래그(max_mcts_tear_flag) 및 맥스 mcts 레벨 idc(max_mcts_level_idc)는, 베이스 트랙에 배치되는, (1) 내지 (21) 중 어느 하나 기재된 화상 부호화 장치.
(23) 화상 데이터를 부호화하고,
상기 화상 데이터의 화상, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보를 생성하고,
생성된 상기 화상 데이터의 부호화 데이터와, 상기 부호화 데이터의 관리 정보를 포함하는 파일을 생성하고, 생성된 상기 서브 샘플 정보를, 상기 관리 정보에 배치하는, 화상 부호화 방법.
(24) 화상 데이터의 부호화 데이터와, 상기 화상 데이터의 화상, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보가 배치되는 상기 부호화 데이터의 관리 정보를 포함하는 파일을 취득하는 취득부와,
상기 취득부에 의해 취득된 상기 파일에 포함되는 상기 서브 샘플 정보를 해석하는 서브 샘플 정보 해석부와,
상기 서브 샘플 정보 해석부에 의한 상기 서브 샘플 정보의 해석 결과에 기초하여, 상기 부호화 데이터의 복호를 제어하는 제어부와,
상기 제어부에 의한 제어에 따라서, 상기 취득부에 의해 취득된 상기 파일에 포함되는 상기 부호화 데이터로부터, 상기 서브 샘플의 부호화 데이터를 생성하는 부호화 데이터 생성부와,
상기 제어부에 의한 제어에 따라서, 상기 부호화 데이터 생성부에 의해 생성된 상기 서브 샘플의 부호화 데이터를 복호하는 복호부
를 구비하는 화상 복호 장치.
(25) 상기 제어부는, 상기 서브 샘플 정보의 상기 힌트 정보에 기초하여, 상기 복호부가 상기 서브 샘플의 부호화 데이터를 복호 가능한지를 판정하고, 복호 가능한 경우, 상기 서브 샘플의 부호화 데이터를 복호하도록 제어하는, (24)에 기재된 화상 복호 장치.
(26) 상기 부호화 데이터 생성부는, 상기 서브 샘플 정보에 기초하여, 상기 서브 샘플의 부호화 데이터의 헤더 정보를 갱신하는, (24) 또는 (25)에 기재된 화상 복호 장치.
(27) 화상 데이터의 부호화 데이터와, 상기 화상 데이터의 화상, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보가 배치되는 상기 부호화 데이터의 관리 정보를 포함하는 파일을 취득하고,
취득된 상기 파일에 포함되는 상기 서브 샘플 정보를 해석하고,
상기 서브 샘플 정보의 해석 결과에 기초하여, 상기 부호화 데이터의 복호를 제어하고,
상기 제어에 따라서, 취득된 상기 파일에 포함되는 상기 부호화 데이터로부터, 상기 서브 샘플의 부호화 데이터를 생성하고,
상기 제어에 따라서, 생성된 상기 서브 샘플의 부호화 데이터를 복호하는, 화상 복호 방법.
(31) MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 상기 부분 화상을 mdat에 저장하는 파일을 생성하는 파일 생성부와,
상기 파일 생성부에 의해 생성된 상기 파일을 송신하는 송신부
를 구비하는 정보 처리 장치.
(32) 상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 복수의 NAL unit의 그룹을 나타내는 정보를 포함하는, (31)에 기재된 정보 처리 장치.
(33) 상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 복수의 NAL unit의 수를 나타내는 정보를 포함하는, (31) 또는 (32)에 기재된 정보 처리 장치.
(34) 상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 상기 NAL unit 중에서, 최초의 NAL unit을 나타내는 정보를 포함하는, (31) 내지 (33) 중 어느 하나에 기재된 정보 처리 장치.
(35) 상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 모든 상기 NAL unit을 나타내는 정보를 포함하는, (31) 내지 (34) 중 어느 하나에 기재된 정보 처리 장치.
(36) 상기 복수의 NAL unit을 특정하는 정보는, 상기 moov 중 VisualSampleGroupEntry를 사용하여 정의되는, (31) 내지 (35) 중 어느 하나에 기재된 정보 처리 장치.
(37) 상기 파일은, 또한 상기 복수의 NAL unit을 맵화하는 정보를 복수 저장하는, (31) 내지 (36) 중 어느 하나에 기재된 정보 처리 장치.
(38) 상기 부분 화상은, HEVC(High Efficiency Video Coding)에 있어서의 Tile인, (31) 내지 (37) 중 어느 하나에 기재된 정보 처리 장치.
(39) MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 상기 부분 화상을 mdat에 저장하는 파일을 생성하고,
생성된 상기 파일을 송신하는, 정보 처리 방법.
(40) MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 상기 부분 화상을 mdat에 저장하는 파일을 재생하는 파일 재생부
를 구비하는 정보 처리 장치.
(41) 상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 복수의 NAL unit의 그룹을 나타내는 정보를 포함하는, (40)에 기재된 정보 처리 장치.
(42) 상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 복수의 NAL unit의 수를 나타내는 정보를 포함하는, (40) 또는 (41)에 기재된 정보 처리 장치.
(43) 상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 상기 NAL unit 중에서, 최초의 NAL unit을 나타내는 정보를 포함하는, (40) 내지 (42) 중 어느 하나에 기재된 정보 처리 장치.
(44) 상기 복수의 NAL unit을 특정하는 정보는, 상기 부분 화상에 대응하는 모든 상기 NAL unit을 나타내는 정보를 포함하는, (40) 내지 (43) 중 어느 하나에 기재된 정보 처리 장치.
(45) 상기 복수의 NAL unit을 특정하는 정보는, 상기 moov 중 VisualSampleGroupEntry를 사용하여 정의되는, (40) 내지 (44) 중 어느 하나에 기재된 정보 처리 장치.
(46) 상기 파일은, 또한 상기 복수의 NAL unit을 맵화하는 정보를 복수 저장하는, (40) 내지 (45) 중 어느 하나에 기재된 정보 처리 장치.
(47) 상기 부분 화상은, HEVC(High Efficiency Video Coding)에 있어서의 Tile인, (40) 내지 (46) 중 어느 하나에 기재된 정보 처리 장치.
(48) 상기 파일은, VisualSampleGroupEntry에, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보와, 상기 복수의 NAL unit을 특정하는 정보를 저장하고,
상기 파일 재생부는,
상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보에 기초하여, 재생하고 싶은 부분 화상을 선택하고,
상기 복수의 NAL unit을 특정하는 정보에 기초하여, 상기 재생하고 싶은 부분 화상의 데이터를 취득하고, 비트 스트림을 생성하는, (40) 내지 (47) 중 어느 하나에 기재된 정보 처리 장치.
(49) 상기 파일은, VisualSampleGroupEntry에, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보와, 상기 복수의 NAL unit을 특정하는 정보를 저장하고,
상기 파일 재생부는,
상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보에 기초하여, 재생하고 싶은 영역을 선택하고,
상기 복수의 NAL unit을 특정하는 정보에 기초하여, 상기 재생하고 싶은 영역에 대응하는 부분 화상의 데이터를 취득하고, 비트 스트림을 생성하는, (40) 내지 (48) 중 어느 하나에 기재된 정보 처리 장치.
(50) 상기 파일은, TileRegionGroupEntry에, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보와, 상기 복수의 NAL unit을 특정하는 정보를 저장하고,
상기 파일 재생부는,
상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보에 기초하여, 재생하고 싶은 타일을 선택하고,
상기 복수의 NAL unit을 특정하는 정보에 기초하여, 선택한 상기 재생하고 싶은 타일에 대응하는 트랙을 취득하고,
취득한 상기 트랙에 대응하는 부분 화상의 비트 스트림을 생성하는, (40) 내지 (49) 중 어느 하나에 기재된 정보 처리 장치.
(51) 상기 파일은, TileRegionGroupEntry에, 상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보와, 상기 복수의 NAL unit을 특정하는 정보를 저장하고,
상기 파일 재생부는,
상기 부분 화상의 상기 전체 화상 내에서의 위치를 나타내는 정보와, 상기 부분 화상의 크기를 나타내는 정보에 기초하여, 재생하고 싶은 영역을 선택하고,
상기 복수의 NAL unit을 특정하는 정보에 기초하여, 선택한 상기 재생하고 싶은 영역에 대응하는 복수의 트랙을 취득하고,
취득한 복수의 상기 트랙에 대응하는 부분 화상의 비트 스트림을 생성하는, (40) 내지 (50) 중 어느 하나에 기재된 정보 처리 장치.
(52) 상기 파일 재생부에 의해 재생되어 생성된 상기 부분 화상의 비트 스트림을 복호하는 복호부를 더 구비하는, (40) 내지 (51) 중 어느 하나에 기재된 정보 처리 장치.
(53) MP4 파일 포맷의 파일로서, 전체 화상 중 독립적으로 복호할 수 있는 부분 화상에 대응하는 복수의 NAL unit을 특정하는 정보를 moov에 저장하고, 부호화된 상기 부분 화상을 mdat에 저장하는 파일을 재생하는, 정보 처리 방법.
100: 화상 부호화 장치
101: 화상 부호화부
102: 서브 샘플 정보 생성부
103: MP4 파일 생성부
200: 화상 복호 장치
201: MP4 파일 재생부
202: 서브 샘플 정보 처리부
203: 화상 복호부

Claims (19)

  1. 화상 데이터의 부호화 데이터와, 상기 화상 데이터의 화상의, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보가 배치되는 상기 부호화 데이터의 관리 정보를 포함하는 파일로부터, 상기 서브 샘플 정보를 취득하는 취득부와,
    상기 취득부에 의해 취득된 상기 서브 샘플 정보에 기초하여, 상기 파일에 포함되는 상기 부호화 데이터로부터, 상기 서브 샘플의 부호화 데이터를 생성하는 부호화 데이터 생성부와,
    상기 부호화 데이터 생성부에 의해 생성된 상기 서브 샘플의 부호화 데이터를 복호하는 복호부를 구비하고,
    상기 취득부는, 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 상기 힌트 정보를 포함하는 서브 샘플 정보를 취득하고,
    상기 힌트 정보는, 상기 서브 샘플의 복호 처리의 부하 크기를 나타내는 레벨을 포함하고,
    상기 레벨은 상기 복호부가 상기 서브 샘플을 복호할 수 있는지 여부를 결정하기 위한 기준으로서 사용되고,
    상기 서브 샘플은, HEVC(High Efficiency Video Coding)에 있어서의 타일(Tile)이고,
    mcts_tier_flag 및 mcts_level_idc는 상기 레벨을 나타내기 위해서 HEVC 디코더 컨피그레이션 레코드에 확장적으로(extensionally) 추가되는, 화상 복호 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 힌트 정보는, 상기 서브 샘플의 부호화 데이터의 헤더 정보를 포함하는, 화상 복호 장치.
  5. 제1항에 있어서,
    상기 취득부는, 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 상기 서브 샘플이 속하는 그룹의 식별 정보를 포함하는 서브 샘플 정보를 취득하는, 화상 복호 장치.
  6. 제5항에 있어서,
    상기 취득부는, 또한 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 서브 샘플의 그룹 복호 처리의 부하 크기를 나타내는 레벨을 포함하는 힌트 정보를 포함하는 서브 샘플 정보를 취득하는, 화상 복호 장치.
  7. 제5항에 있어서,
    상기 취득부는, 또한 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 서브 샘플의 그룹 부호화 데이터의 헤더 정보를 포함하는 힌트 정보를 포함하는 서브 샘플 정보를 취득하는, 화상 복호 장치.
  8. 제1항에 있어서,
    상기 취득부는, 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트, 그룹에 속하는 서브 샘플의 식별 정보와, 상기 그룹의 힌트 정보를 포함하는 서브 샘플 정보를 취득하는, 화상 복호 장치.
  9. 제8항에 있어서,
    상기 힌트 정보는, 상기 그룹의 복호 처리의 부하 크기를 나타내는 레벨을 포함하는, 화상 복호 장치.
  10. 제8항에 있어서,
    상기 힌트 정보는, 상기 그룹의 부호화 데이터의 헤더 정보를 포함하는, 화상 복호 장치.
  11. 제1항에 있어서,
    상기 취득부는, 서브 샘플의 크기와 위치를 나타내는 정보를 포함하는 서브 샘플 정보를 취득하는, 화상 복호 장치.
  12. 제1항에 있어서,
    상기 취득부는, 서브 샘플이 독립하여 복호할 수 있음을 나타내는 정보를 포함하는 서브 샘플 정보를 취득하는, 화상 복호 장치.
  13. 제1항에 있어서,
    상기 취득부는, 샘플을 구성하는 널 유닛을 그룹화하는 정보를 포함하는 서브 샘플 정보를 취득하는, 화상 복호 장치.
  14. 제1항에 있어서,
    상기 취득부는, 상기 파일의 상기 관리 정보의, 샘플 테이블 박스(Sample Table Box)의 서브 샘플 인포메이션 박스(Subsample Information Box)와는 상이한 서브 샘플 힌트 인포메이션 박스(SubsampleHint Information Box)로서 배치된 상기 서브 샘플 정보를 취득하는, 화상 복호 장치.
  15. 제1항에 있어서,
    상기 취득부는, 상기 파일의 상기 관리 정보의, 샘플 테이블 박스(Sample Table Box)의 샘플 그룹 디스크립션 박스(Sample Group Description Box)에 비주얼 샘플 그룹 엔트리(VisualSampleGroupEntry)로서 배치된 상기 서브 샘플 정보와, 샘플 투 그룹 박스(Sample To Group Box)에 배치된 상기 서브 샘플 정보를 적용하는 샘플을 지정하는 정보를 취득하는, 화상 복호 장치.
  16. 제1항에 있어서,
    상기 부호화 데이터 생성부는, 상기 취득부에 의해 취득된 상기 서브 샘플 정보의 상기 힌트 정보에 기초하여, 상기 복호부가 상기 서브 샘플의 부호화 데이터를 복호 가능한 경우, 상기 서브 샘플의 부호화 데이터를 생성하는, 화상 복호 장치.
  17. 제1항에 있어서,
    상기 부호화 데이터 생성부는, 상기 취득부에 의해 취득된 상기 서브 샘플 정보에 기초하여, 상기 서브 샘플의 부호화 데이터의 헤더 정보를 갱신하는, 화상 복호 장치.
  18. 삭제
  19. 화상 데이터의 부호화 데이터와, 상기 화상 데이터의 화상의, 독립적으로 복호할 수 있는 부분 영역인 서브 샘플의 복호 처리의 참고가 되는 힌트 정보를 포함하는 서브 샘플 정보가 배치되는 상기 부호화 데이터의 관리 정보를 포함하는 파일로부터, 상기 서브 샘플 정보를 취득하고,
    취득된 상기 서브 샘플 정보에 기초하여, 상기 파일에 포함되는 상기 부호화 데이터로부터, 상기 서브 샘플의 부호화 데이터를 생성하고,
    생성된 상기 서브 샘플의 부호화 데이터를 복호하는 화상 복호 방법으로서,
    상기 서브 샘플 정보를 취득하는 것은, 당해 서브 샘플 정보에 포함되는 힌트 정보의 종별을 나타내는 힌트 데이터 타입, 당해 서브 샘플 정보에 관련지어지는 연속되는 샘플 수를 나타내는 샘플 카운트와, 상기 힌트 정보를 포함하는 서브 샘플 정보를 취득하는 것이고,
    상기 힌트 정보는, 상기 서브 샘플의 복호 처리의 부하 크기를 나타내는 레벨을 포함하고,
    상기 레벨은 상기 서브 샘플을 복호할 수 있는지 여부를 결정하기 위한 기준으로서 사용되고,
    상기 서브 샘플은, HEVC(High Efficiency Video Coding)에 있어서의 타일(Tile)이고,
    mcts_tier_flag 및 mcts_level_idc는 상기 레벨을 나타내기 위해서 HEVC 디코더 컨피그레이션 레코드에 확장적으로(extensionally) 추가되는, 화상 복호 방법.
KR1020167000458A 2013-07-22 2014-07-18 정보 처리 장치 및 방법 KR102304687B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JPJP-P-2013-152124 2013-07-22
JP2013152124 2013-07-22
JP2013154023 2013-07-24
JPJP-P-2013-154023 2013-07-24
JP2014058763 2014-03-20
JPJP-P-2014-058763 2014-03-20
PCT/JP2014/069215 WO2015012226A1 (ja) 2013-07-22 2014-07-18 情報処理装置および方法

Publications (2)

Publication Number Publication Date
KR20160034889A KR20160034889A (ko) 2016-03-30
KR102304687B1 true KR102304687B1 (ko) 2021-09-27

Family

ID=52393266

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167000458A KR102304687B1 (ko) 2013-07-22 2014-07-18 정보 처리 장치 및 방법
KR1020167000460A KR102229848B1 (ko) 2013-07-22 2014-07-18 정보 처리 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167000460A KR102229848B1 (ko) 2013-07-22 2014-07-18 정보 처리 장치 및 방법

Country Status (13)

Country Link
US (3) US10419801B2 (ko)
EP (3) EP3026901B1 (ko)
JP (4) JP6439981B2 (ko)
KR (2) KR102304687B1 (ko)
CN (4) CN105379255A (ko)
AU (3) AU2014294127B2 (ko)
BR (1) BR112016000920A2 (ko)
CA (2) CA2916881A1 (ko)
MX (2) MX365935B (ko)
MY (2) MY182651A (ko)
RU (3) RU2018135747A (ko)
SG (3) SG10201807579YA (ko)
WO (3) WO2015012226A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6209026B2 (ja) 2013-08-30 2017-10-04 キヤノン株式会社 画像符号化装置及びその制御方法
EP3092796B1 (en) * 2014-01-07 2020-06-17 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies
GB2538998A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
US11336909B2 (en) * 2016-12-27 2022-05-17 Sony Corporation Image processing apparatus and method
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US10687055B2 (en) * 2017-03-03 2020-06-16 Qualcomm Incorporated Coding MCTS-EIS SEI messages of an access unit
GB2594615B (en) * 2017-03-20 2022-11-30 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
WO2018186550A1 (ko) * 2017-04-05 2018-10-11 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
KR102336987B1 (ko) * 2017-07-04 2021-12-08 엘지전자 주식회사 360도 비디오의 영역 기반 처리 방법 및 장치
JP2019054417A (ja) * 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
US11272178B2 (en) * 2018-12-20 2022-03-08 Telefonaktiebolaget Lm Ericsson (Publ) Video encoding and decoding
US11310516B2 (en) * 2018-12-21 2022-04-19 Hulu, LLC Adaptive bitrate algorithm with cross-user based viewport prediction for 360-degree video streaming
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
JPWO2021002142A1 (ko) * 2019-07-04 2021-01-07
CN114128249A (zh) * 2019-07-30 2022-03-01 索尼集团公司 文件处理设备、文件处理方法和程序
US20220312035A1 (en) * 2019-09-11 2022-09-29 Sony Group Corporation Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
WO2021177044A1 (ja) * 2020-03-04 2021-09-10 ソニーグループ株式会社 画像処理装置及び画像処理方法
US20230104640A1 (en) * 2020-03-09 2023-04-06 Sony Group Corporation File processing device, file processing method, and program
US20220086497A1 (en) * 2020-09-17 2022-03-17 Lemon Inc. Subpicture entity group signaling in coded video
KR20220037379A (ko) 2020-09-17 2022-03-24 레몬 인크. 비디오 동작 포인트 레코드 신택스 및 시맨틱스
JP7468391B2 (ja) * 2021-02-09 2024-04-16 株式会社Ｊｖｃケンウッド 撮像装置および撮像処理方法
CN114173075B (zh) * 2021-10-22 2024-01-30 广州市奥威亚电子科技有限公司 用于录制的mp4文件保存方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163781A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929862A (en) * 1996-08-05 1999-07-27 Hewlett-Packard Co. Antialiasing system and method that minimize memory requirements and memory accesses by storing a reduced set of subsample information
KR20020064776A (ko) * 2000-07-13 2002-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-4 인코더 및 그 인코더의 출력 코딩된 신호
KR100929078B1 (ko) * 2001-11-29 2009-11-30 파나소닉 주식회사 코딩 왜곡 제거 방법
EP1481553A1 (en) * 2002-02-25 2004-12-01 Sony Electronics Inc. Method and apparatus for supporting avc in mp4
CN102291585A (zh) * 2002-07-15 2011-12-21 诺基亚有限公司 用于视频序列中错误隐藏的方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
WO2005015907A1 (ja) * 2003-08-08 2005-02-17 Matsushita Electric Industrial Co., Ltd. データ処理装置及びデータ処理方法
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
CN101507281B (zh) * 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
JP2008042566A (ja) * 2006-08-07 2008-02-21 Toshiba Corp 情報処理装置および情報処理装置のデコード制御方法
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
EP2100459B1 (en) * 2007-01-08 2019-04-03 Nokia Technologies Oy System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
KR20100030648A (ko) * 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
FR2932046B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de crypter visuellement les objets mobiles au sein d'un flux video compresse
FR2932045B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de proteger des la compression la confidentialite des donnees d'un flux video lors de sa transmission
JP5298201B2 (ja) * 2008-10-07 2013-09-25 テレフオンアクチーボラゲット エル エム エリクソン（パブル） メディアコンテナファイル
JP5332773B2 (ja) * 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
CN102714715B (zh) * 2009-09-22 2016-01-20 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
WO2011122654A1 (ja) * 2010-03-30 2011-10-06 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム、情報処理装置、空きスペース案内システム、空きスペース案内方法及びプログラム、画像表示システム、画像表示方法及びプログラム
KR20120010089A (ko) * 2010-07-20 2012-02-02 삼성전자주식회사 Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
US8190677B2 (en) * 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
US9215473B2 (en) * 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9325999B2 (en) * 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
CN102217313B (zh) 2011-05-26 2013-10-02 华为技术有限公司 重排、抽取分片中媒体数据的方法、设备及系统
US10244257B2 (en) * 2011-08-31 2019-03-26 Nokia Technologies Oy Video coding and decoding
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US20130114694A1 (en) 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
EA201492098A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Кодирование и декодирование на основании смешивания последовательностей выборок с течением времени
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
KR101835802B1 (ko) * 2012-09-18 2018-03-08 브이아이디 스케일, 인크. 타일 및 타일 그룹을 이용한 관심 영역 비디오 코딩
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
CN103907350B (zh) * 2012-09-29 2018-02-23 华为技术有限公司 视频编码及解码方法、装置及系统
US20140092953A1 (en) * 2012-10-02 2014-04-03 Sharp Laboratories Of America, Inc. Method for signaling a step-wise temporal sub-layer access sample
CN102970544A (zh) * 2012-12-07 2013-03-13 豪威科技(上海)有限公司 Jpeg编码和解码方法及系统
CN116366835A (zh) * 2013-01-04 2023-06-30 Ge视频压缩有限责任公司 高效可伸缩编码概念
GB2509956B (en) * 2013-01-18 2016-05-04 Canon Kk Method, device and computer program for efficient encapsulation of timed tiled media data
RU2654051C1 (ru) * 2013-01-18 2018-05-16 Кэнон Кабусики Кайся Способ, устройство и компьютерная программа для инкапсуляции сегментированных синхронизированных мультимедийных данных
CN110225356B (zh) * 2013-04-08 2024-02-13 Ge视频压缩有限责任公司 多视图解码器
GB2551296B (en) * 2013-04-09 2018-02-28 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data
KR102296853B1 (ko) * 2013-07-12 2021-09-01 소니그룹주식회사 화상 복호 장치 및 방법
EP3092772B1 (en) * 2014-01-07 2019-07-31 Nokia Technologies Oy Media encapsulating and decapsulating

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163781A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files

Also Published As

Publication number Publication date
US10356459B2 (en) 2019-07-16
CN110460858A (zh) 2019-11-15
MX365935B (es) 2019-06-20
MY177309A (en) 2020-09-11
JP6414061B2 (ja) 2018-10-31
CN105379256A (zh) 2016-03-02
CN110460858B (zh) 2021-12-10
JP6439981B2 (ja) 2018-12-19
WO2015012226A1 (ja) 2015-01-29
MX2016000538A (es) 2016-03-16
WO2015012227A1 (ja) 2015-01-29
RU2018135747A (ru) 2018-11-19
EP3026899A4 (en) 2016-12-28
US10701425B2 (en) 2020-06-30
AU2014294127A1 (en) 2016-02-11
JP2019050589A (ja) 2019-03-28
EP3026901B1 (en) 2021-04-14
WO2015012225A1 (ja) 2015-01-29
SG11201600254UA (en) 2016-02-26
JPWO2015012227A1 (ja) 2017-03-02
AU2014294215A1 (en) 2016-02-11
JPWO2015012225A1 (ja) 2017-03-02
CA2916881A1 (en) 2015-01-29
RU2674312C2 (ru) 2018-12-06
AU2018271391A1 (en) 2018-12-20
KR102229848B1 (ko) 2021-03-22
RU2016101176A3 (ko) 2018-05-04
SG10201807579YA (en) 2018-10-30
KR20160034889A (ko) 2016-03-30
EP3026901A4 (en) 2016-12-28
CN105379256B (zh) 2019-11-12
RU2016101199A (ru) 2017-07-18
MX358607B (es) 2018-08-24
JP6587025B2 (ja) 2019-10-09
CN105379255A (zh) 2016-03-02
MY182651A (en) 2021-01-27
EP3026901A1 (en) 2016-06-01
US20160150241A1 (en) 2016-05-26
KR20160034890A (ko) 2016-03-30
RU2016101176A (ru) 2017-07-20
EP3026899A1 (en) 2016-06-01
US20160198207A1 (en) 2016-07-07
CA2916892A1 (en) 2015-01-29
EP3026900A1 (en) 2016-06-01
EP3026900B1 (en) 2021-09-29
AU2014294215B2 (en) 2018-10-04
BR112016000920A2 (pt) 2020-03-10
EP3026900A4 (en) 2016-12-21
CN105393532B (zh) 2019-04-19
JP6414062B2 (ja) 2018-10-31
US10419801B2 (en) 2019-09-17
US20160156928A1 (en) 2016-06-02
MX2016000537A (es) 2016-04-11
AU2014294127B2 (en) 2018-09-13
JPWO2015012226A1 (ja) 2017-03-02
CN105393532A (zh) 2016-03-09
SG11201600260RA (en) 2016-02-26
RU2650181C2 (ru) 2018-04-11

Similar Documents

Publication Publication Date Title
JP6587025B2 (ja) 情報処理装置および方法
CN110036641B (zh) 一种处理视频数据的方法、设备及计算机可读存储介质
TW201838419A (zh) 包含用於視頻寫碼之子圖像位元流之視頻內容之信令傳輸
EP3777220A1 (en) Immersive media metrics for virtual reality content with multiple viewpoints
US20220191471A1 (en) Intra prediction method on basis of mpm list and apparatus therefor
CN106105210B (zh) 管理用于对多层视频进行编码和解码的缓冲器的方法和设备
WO2021117802A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant