WO2013162304A1 - 비디오 데이터를 재생하는 방법 및 장치 - Google Patents

비디오 데이터를 재생하는 방법 및 장치 Download PDF

Info

Publication number
WO2013162304A1
WO2013162304A1 PCT/KR2013/003569 KR2013003569W WO2013162304A1 WO 2013162304 A1 WO2013162304 A1 WO 2013162304A1 KR 2013003569 W KR2013003569 W KR 2013003569W WO 2013162304 A1 WO2013162304 A1 WO 2013162304A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
layer
time
samples
video
Prior art date
Application number
PCT/KR2013/003569
Other languages
English (en)
French (fr)
Inventor
유성열
박경모
쉬이링
박기준
이장원
김규현
박광훈
서덕영
Original Assignee
삼성전자 주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 경희대학교 산학협력단 filed Critical 삼성전자 주식회사
Priority to US14/397,358 priority Critical patent/US10158888B2/en
Priority to CN201380033339.5A priority patent/CN104380718B/zh
Priority to EP13782581.6A priority patent/EP2843940A4/en
Priority to JP2015508869A priority patent/JP6440034B2/ja
Publication of WO2013162304A1 publication Critical patent/WO2013162304A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Definitions

  • the present invention relates to a method and apparatus for reproducing video data, and more particularly, to a method and apparatus for recording access position information for temporal hierarchical expansion of video data and using the position information to reproduce video data.
  • the general media file format basically includes a header part and an image data part.
  • the header portion describes the information of the media and the video data portion stores the compressed media data.
  • the general media file format has defined ISOFF (ISO Base Media File Format), which can be commonly applied to various applications in the international standard organization MPEG.
  • ISOFF ISO Base Media File Format
  • the ISO Base Media File Format is designed so that data such as compressed media streams and configuration information related to the compressed media streams can be stored hierarchically in a plurality of container boxes.
  • a picture for temporal layer access is defined as one of a network abstraction layer (NAL) unit type, and a network abstract layer header Include that information in the.
  • NAL network abstraction layer
  • a temporal layer ID indicating the layer information about the temporal layer is defined in a sample group description box. Through this time layer identification value, hierarchical information about a corresponding sample can be expressed.
  • time layer access position information of a sample that is capable of temporal layer extension by only expressing layer information of a corresponding sample through a time layer identification value. This is because network abstraction layer header information corresponding to each sample needs to be analyzed to recognize time layer access location information.
  • the problem to be solved by the present invention is to provide a storage file format based on the ISO Base Media File Format that can store the time layer access position information for the time-layer accessible samples for efficient time layer expansion.
  • a method of reproducing video data when a video file is received, storing the received video file in a storage format, and a video data stream and video data attribute information encoded from the stored video file. Extracting a sample corresponding to an extended temporal layer from the extracted video data stream, based on the extracting of the extracted data and positional information of a time-layer accessible sample included in the video data property information; Restoring the reproduced samples.
  • the apparatus for reproducing video data includes a receiving unit for receiving a video file, a storage unit for storing the received video file in a storage format, and a video data stream encoded from the stored video file.
  • the extracted video data extracting unit, a video property extracting unit extracting video data property information from the stored video file, and location information of a time-layer accessible sample included in the video data property information; And a time layer extractor for extracting samples corresponding to the extended time layer from the video data stream, and a playback unit for reconstructing and reproducing the extracted samples.
  • the present invention provides time hierarchical access position information for temporal hierarchical expansion through a box of a file format, so that the time hierarchical access position information is recognizable when reconstructing video data stored in a high efficiency video encoding file format.
  • samples may be selectively extracted from a sample of a position at which time layer extension is possible, and delivered to a reconstructor.
  • FIG. 1 is a block diagram showing a media data reproducing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a media data playback process according to an embodiment of the present invention.
  • 3 is a syntax illustrating position information of a sample having time hierarchy access according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a box structure of an ISO Base Media File Format based video file stored including time layer access sample information according to an embodiment of the present invention.
  • FIG. 5 illustrates a scene in which samples are selectively extracted according to an embodiment of the present invention.
  • the file format includes hierarchical boxes defined in ISO Base Media File Format, and each box is configured in a form containing encoded media data and attribute information about the media data. .
  • the embodiment of the present invention adds a box indicating a sample number corresponding to a temporal layer access picture to a file format in a high efficiency video encoding technique, so that position information capable of temporal layer expansion is provided through a file storage format.
  • FIG. 1 is a block diagram illustrating a series of processes for receiving, storing, extracting, and restoring media data based on a high-efficiency video encoding compression technique according to an embodiment of the present invention.
  • the receiver 110 receives the media data through network streaming and stores the media data in the storage 120 in the form of a storage format.
  • the storage 120 stores media data composed of a basic box structure defined in the ISO Base Media File Format.
  • the video file included in the media data stored in the storage 120 includes a video stream encoded by a high efficiency video encoding compression technique, and according to an embodiment of the present invention, a high efficiency video encoding file format based on an ISO Base Media File Format. Coding File Format).
  • the video data extractor 130 extracts the encoded video data stream from the 'mdat' box of the video file stored in the storage 120 in the form of a high efficiency video encoding file format.
  • the video property extractor 140 extracts video data property information from a 'moov' box of a video file stored in a high efficiency video encoding file format.
  • the video data attribute information extracted from the moov box includes sample number information provided in a 'stbl (sample table)' box and time layer access position information of a sample capable of accessing a time layer according to an embodiment of the present invention.
  • the temporal hierarchical extracting unit 150 is a video data extracting unit 130 based on sample number information capable of extracting the temporal hierarchies extracted from the video property extracting unit 140 at the time when temporal hierarchical expansion is required while playing a video file. Extract samples for the extended time layer from the extracted video stream.
  • the time hierarchy access information that may be obtained in the video stream restoration process by the restoration unit 160 may be recognized before the restoration process. .
  • Samples of the extended temporal layer extracted by the temporal layer extraction unit 150 are transferred to the decompression unit 160 and decompressed and then reproduced through the reproducing unit 170.
  • FIG. 2 is a flowchart illustrating a series of processes for receiving, storing, extracting, and restoring media data based on a high efficiency video encoding compression technique according to an embodiment of the present invention.
  • the received video file is stored in the storage in a storage format based on the ISO Base Media File Format in step 220.
  • the video data stream is extracted from the mdat box of the encoded video file from the video file having the high efficiency video encoding file format.
  • video data attribute information is extracted from a moov box of a video file having a high efficiency video encoding file format.
  • the extracted video data attribute information according to an embodiment of the present invention includes time-layer access position information of a sample that allows time-layer access to a video file.
  • step 250 based on the time-layer access position information of the time-layer accessible sample extracted in step 240, samples corresponding to the basic time layer and samples corresponding to the extended time layer are extracted after the sample.
  • step 260 the extracted samples are restored and reproduced.
  • FIG. 3 illustrates syntax of sample information included in a temporal layer access sample ('tlas') box providing time layer access location information of a sample having time layer access according to an embodiment of the present invention. will be.
  • the tlas box according to an embodiment of the present invention is included in a sample table ('stbl') box based on an ISO Base Media File Format, and provides a sample number for accessing a time layer for temporal layer expansion in a video stream.
  • the time layer access position information according to an embodiment of the present invention is 'entry_count' representing total number information of samples accessible in a time layer within a video stream, and a time layer according to the number of entry_counts. It includes a 'sample_number' indicating an accessible sample number.
  • the receiver may recognize information about a sample number that can be extended in time hierarchy through a sample_number value, and start point of extraction of extended time hierarchy samples according to time hierarchy extension in a video file stored in a file format based on the recognized sample number. Sampling is possible.
  • FIG. 4 is a diagram illustrating a box structure of an ISO Base Media File Format based video file stored including time layer access sample information according to an embodiment of the present invention.
  • the box structure of a video file includes an ftyp box 410 indicating file type information, a moov box 420 containing video data attribute information, and encoded video data. It is configured to include an mdat box 430.
  • the trak box 421 included in the box of moov 420 provides information for searching for a track representing a set of correlated samples among a presentation, which is one or more motion sequences that can be combined with audio. Include.
  • the track header (tkhd) box 422 included in the trak box 421 includes all information about the current track.
  • mdia box 423 contains declaration information for the media of the current track.
  • the minf box 424 included in the mdia box 423 contains characteristic information about the media of the current track, and in the minf box 424 a stbl box containing indexing information about the time, data, and location of the samples in the track. 425 is included.
  • the tlas box 426 according to an embodiment of the present invention is located in the stbl box 425 to provide indexing information for samples that are time-layer accessible.
  • FIG. 5 illustrates a scene in which samples are selectively extracted through a sample number corresponding to a temporal layer access picture indicating a time layer access point according to an embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

본 발명은 비디오 데이터를 재생하는 방법 및 장치를 제공한다. 본 발명에 따른 방법은 비디오 파일이 수신되면, 상기 수신된 비디오 파일을 저장 포맷으로 저장하는 과정과, 상기 저장된 비디오 파일로부터 부호화된 비디오 데이터 스트림과 비디오 데이터 속성 정보를 추출하는 과정과, 상기 비디오 데이터 속성 정보에 포함된 시간 계층 접근이 가능한 샘플의 위치 정보를 바탕으로, 상기 추출된 비디오 데이터 스트림으로부터 확장된 시간 계층에 해당하는 샘플들을 추출하는 과정과, 상기 추출된 샘플들을 복원하여 재생하는 과정을 포함한다.

Description

비디오 데이터를 재생하는 방법 및 장치
본 발명은 비디오 데이터를 재생하는 방법 및 장치에 관한 것으로, 특히 비디오 데이터의 시간 계층 확장에 대한 접근 위치 정보를 기록하고, 상기 위치 정보를 이용하여 비디오 데이터를 재생하는 방법 및 장치에 관한 것이다.
비디오 압축기술의 발달로 인하여 현재 고효율 비디오 압축기술(High Efficiency Video Coding)이 개발되고, 국제표준 기구인 MPEG(Moving Picture Experts Group)에서 고효율 비디오 압축기술에 대한 표준화가 진행 중에 있다. 이에 따라, 압축된 비디오 데이터를 저장하는 형식인 파일 포맷에 관한 표준화도 MPEG에서 진행 중이다.
일반적인 미디어 파일 포맷은 기본적으로 헤더 부분과 영상 데이터 부분을 포함한다. 헤더 부분은 해당 미디어의 정보를 기술하는 부분이고 영상 데이터 부분은 압축된 미디어 데이터를 저장하는 부분이다. 일반적인 미디어 파일 포맷은 국제표준 기구인 MPEG에서 다양한 어플리케이션에 공통으로적용될 수 있는 ISOFF(ISO Base Media File Format)을 정의하였다. ISO Base Media File Format은 압축된 미디어 스트림 및 상기 압축된 미디어 스트림에관련된 구성정보 등의 데이터를 복수의 콘테이너(container) 박스에 계층적으로 저장될 수 있도록 설계되었다.
한편, 종래의 고효율 비디오 압축기술에서는 시간 계층 접근(Temporal Layer Access)에 대한 픽처(picture)를 네트워크 추상계층(Network Abstraction Layer: NAL) 단위 유형(unit type) 중 하나로 정의하고 있으며, 네트워크 추상계층헤더에 그 정보를 포함시킨다. 해당 정보를 통하여 시간 계층 접근이 가능한 픽처를 인지할 수 있으며 이를 바탕으로시간 계층 확장이 가능하다.
고효율 비디오 압축기술에 따른 비디오 파일 포맷에서는 상기 시간 계층에 관한 계층 정보를 나타내는 시간 계층 식별 값(temporal layer ID)을 샘플 그룹 기술 박스(sample group description box) 안에서 정의하고 있다. 이러한 시간 계층 식별 값을 통하여 해당 샘플에 관한 계층 정보의 표현이 가능하다.
하지만, 시간 계층 식별 값을 통한 해당 샘플의 계층 정보의 표현만으로는 시간 계층 확장이 가능한 샘플의 시간 계층 접근 위치 정보를 나타내기에는 어려움이 있다. 이는 시간 계층 접근 위치 정보를 인지하기 위해서는 각 샘플들에 해당하는 네트워크추상계층 헤더 정보를 분석하여야 하기 때문이다.
따라서 효율적인 시간 계층 확장을 위해서는종래의 고효율 비디오 압축 파일 포맷에 시간 계층 접근이 가능한 샘플에 대한 시간 계층 접근 위치 정보를 저장해야 한다.
본 발명이 해결하고자 하는 과제는 효율적인 시간 계층 확장을 위하여 시간 계층 접근이 가능한 샘플에 대한 시간 계층 접근 위치 정보를 저장할 수 있는 ISO Base Media File Format 기반의 저장 파일 포맷을 제공하는 것이다.
본 발명의 실시예에 따른 비디오 데이터를 재생하는 방법은, 비디오 파일이 수신되면, 상기 수신된 비디오 파일을 저장 포맷으로 저장하는 과정과, 상기 저장된 비디오 파일로부터 부호화된 비디오 데이터 스트림과 비디오 데이터 속성 정보를 추출하는 과정과, 상기 비디오 데이터 속성 정보에 포함된 시간 계층 접근이 가능한 샘플의 위치 정보를 바탕으로, 상기 추출된 비디오 데이터 스트림으로부터 확장된 시간 계층에 해당하는 샘플들을 추출하는 과정과, 상기 추출된 샘플들을 복원하여 재생하는 과정을 포함한다.
또한 본 발명의 실시예에 따른 비디오 데이터를 재생하는 장치는, 비디오 파일을 수신하는 수신부와, 상기 수신된 비디오 파일을 저장 포맷으로 저장하는 저장부와, 상기 저장된 비디오 파일로부터 부호화된 비디오 데이터 스트림을 추출하는 비디오 데이터추출부와, 상기 저장된 비디오 파일로부터 비디오 데이터 속성 정보를 추출하는 비디오 속성 추출부와, 상기 비디오 데이터 속성 정보에 포함된 시간 계층 접근이 가능한 샘플의 위치 정보를 바탕으로, 상기 추출된 비디오 데이터 스트림으로부터 확장된 시간 계층에 해당하는 샘플들을 추출하는 시간 계층 추출부와, 상기 추출된 샘플들을 복원하여 재생하는 재생부를 포함한다.
본 발명은 시간 계층 확장을 위한 시간 계층 접근 위치 정보를 파일 포맷의 박스를 통해 제공함으로써, 고효율 비디오 부호화 파일 포맷 형식으로 저장된 비디오 데이터의 복원 시, 시간 계층 접근 위치 정보를 인지하기 위하여 각 샘플들에 해당하는 네트워크 추상계층 헤더 정보를 분석하지 않고, 시간 계층 확장이 가능한 위치의 샘플로부터 선택적으로 샘플들을 추출하여 복원기로 전달할 수 있다.
도 1은 본 발명의 실시예에 따른 미디어 데이터 재생 장치를 도시하고 있는 블록 구성도
도 2는 본 발명의 실시예에 따른 미디어 데이터 재생 과정을 도시하고 있는 순서도
도 3은 본 발명의 실시예에 따라 시간 계층 접근이 가능한 샘플의 위치 정보를 나타낸 신택스
도 4는 본 발명의 일 실시 예에 따른 시간 계층 접근 샘플 정보를 포함하여 저장된 ISO Base Media File Format 기반 비디오 파일의 박스 구조를 도시한 도면
도 5는 본 발명의 실시예에 따라 선택적으로 샘플들이 추출되는 장면을 도시한 도면
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
하기에서 설명하는 본 발명의 실시 예에서 파일 포맷은 ISO Base Media File Format에 정의된 계층적인 박스를 포함하고 있으며, 각 박스들은 부호화된 미디어 데이터 및 미디어 데이터에 대한 속성정보를 담고 있는 형태로 구성된다.
본 발명의 실시예는 고효율 비디오 부호화 기술에서 시간 계층 접근 픽처에 해당하는 샘플 번호를 나타내는 박스를 파일 포맷에 추가함으로써, 시간 계층 확장이 가능한 위치 정보가 파일 저장 포맷을 통하여 제공되도록 한다.
도 1은 본 발명의 실시예에 따른 고효율 비디오 부호화 압축 기술을 바탕으로 하여 미디어 데이터를 수신하고 저장 및 추출하여 복원되는 일련의 과정을 도시하고 있는 블록 구성도이다.
수신부(110)는 네트워크 스트리밍을 통해 미디어 데이터를 수신하여 저장 포맷의 형태로 저장소(120)에 저장한다. 저장소(120)는 ISO Base Media File Format에 정의된 기본적인 박스 구조로 구성된 미디어 데이터를 저장한다. 저장소(120)에 저장된 미디어 데이터에 포함된 비디오 파일은 고효율 비디오 부호화 압축 기술로 부호화된 비디오 스트림을 포함하며, 본 발명의 실시예에서는 ISO Base Media File Format 기반의 고효율 비디오 부호화 파일 포맷(High Efficiency Video Coding File Format) 형태의 파일임을 가정한다.
비디오 데이터 추출부(130)는 고효율 비디오 부호화 파일 포맷 형태로 저장소(120)에 저장된 비디오 파일의 'mdat' 박스로부터 부호화된 비디오 데이터 스트림을 추출한다. 비디오 속성 추출부(140)는 고효율 비디오 부호화 파일 포맷 형태로 저장된 비디오 파일의 'moov' 박스로부터 비디오 데이터 속성 정보를 추출한다. moov 박스로부터 추출된 비디오 데이터 속성 정보에는 'stbl(sample table)' 박스에서 제공하는 샘플 번호 정보 및 본 발명의 실시예에 따른 시간 계층 접근이 가능한 샘플의 시간 계층 접근 위치 정보가 포함되어 있다.
시간 계층 추출부(150)는 비디오 파일을 재생하는 도중에 시간 계층 확장이 요구되는 시점에 비디오 속성 추출부(140)에서 추출된 시간 계층 확장이 가능한 샘플 번호 정보를 바탕으로, 비디오 데이터 추출부(130)에서 추출된 비디오 스트림 중에서 확장된 시간 계층에 대한 샘플들을 추출한다. 이와 같이 본 발명의 실시예에서는 상기 시간 계층 확장이 가능한 샘플 번호 정보를 제공함으로써, 복원부(160)에서의 비디오 스트림 복원 과정에서 획득할 수 있는 시간 계층 접근 정보를 복원 과정 이전에 인지할 수 있다.
시간 계층 추출부(150)를 통해 추출된 확장된 시간 계층에 대한 샘플들은 복원부(160)로 전달되어 복원된 후 재생부(170)를 통해 재생된다.
도 2는 본 발명의 실시예에 따른 고효율 비디오 부호화 압축 기술을 바탕으로 하여 미디어 데이터를 수신하고 저장 및 추출하여 복원되는 일련의 과정을 나타내는 흐름도이다.
210 단계에서 비디오 파일을 포함하는 미디어 데이터가 수신되면, 220 단계에서 상기 수신된 비디오 파일을 ISO Base Media File Format 기반의 저장 포맷으로 저장소에 저장한다. 230 단계에서는 고효율 비디오 부호화 파일 포맷 형태의 비디오 파일로부터 부호화된 비디오 파일의 mdat 박스로부터 비디오 데이터 스트림을 추출한다. 240 단계에서는 고효율 비디오 부호화 파일 포맷 형태의 비디오 파일의 moov 박스로부터 비디오 데이터 속성 정보를 추출한다. 본 발명의 일 실시 예에 따라 추출된 비디오 데이터 속성 정보에는 비디오 파일에 대한 시간 계층 접근이 가능한 샘플의 시간 계층 접근 위치 정보가 포함된다. 250 단계에서는 240 단계에서 추출된 시간 계층 접근 가능 샘플의 시간 계층 접근 위치 정보를 바탕으로 해당 샘플 이후부터 기본 시간 계층에 해당하는 샘플들과, 확장된 시간 계층에 해당하는 샘플들을 추출한다. 260 단계에서는 추출된 샘플들을 복원하여 재생한다.
도 3은 본 발명의 실시예에 따라 시간 계층 접근이 가능한 샘플의 시간 계층 접근 위치 정보를 제공하는 시간 계층 접근 샘플(Temporal layer access sample: 'tlas') 박스에 포함된 샘플 정보의 신택스를 도시한 것이다.
본 발명의 일 실시 예에 따른tlas 박스는 ISO Base Media File Format 기반의 샘플 테이블('stbl') 박스에 포함되며, 비디오 스트림 내의 시간 계층 확장을 위한 시간 계층 접근이 가능한 샘플 번호를 제공한다. 도 3의 신택스를 참조하면, 본 발명의 실시예에 따른 시간 계층 접근 위치 정보는 비디오 스트림 내에서 시간 계층 접근이 가능한 샘플의 총 개수 정보를 나타내는 'entry_count'와, 상기 entry_count의 수에 따라 시간 계층 접근이 가능한 샘플 번호를 나타내는 'sample_number'를 포함한다. 수신기는 sample_number 값을 통하여 시간 계층 확장이 가능한 샘플 번호에 관한 정보를 인지할 수 있고, 상기 인지한 샘플 번호를 토대로 파일 포맷 형태로 저장된 비디오 파일에서 시간 계층 확장에 따라 확장된 시간 계층 샘플들의 추출 시작점부터 샘플 추출이 가능하다.
도 4는 본 발명의 일 실시 예에 따른 시간 계층 접근 샘플 정보를 포함하여 저장된 ISO Base Media File Format 기반 비디오 파일의 박스 구조를 도시한 것이다.
도4를 참조하면, 본 발명의 실시예에 따른 비디오 파일의 박스 구조는 파일의 타입 정보를 나타내는 ftyp 박스(410)와 비디오 데이터 속성 정보를 담고 있는 moov 박스(420), 부호화된 비디오 데이터를 담고 있는 mdat 박스(430)를 포함하여 구성된다.
moov(420)박스에 포함되는 trak 박스(421)는, 오디오와 결합될 수 있는 하나 이상의 모션 시퀀스인 프리젠테이션(presentation) 중에서 상호 관련된 샘플들의 집합을 나타내는 트랙(track) 하나를 검색하기 위한 정보를 포함한다. trak 박스(421)에 포함되는 tkhd(track header) 박스(422)는 현재 트랙에 대한 모든 정보를 포함한다.
mdia 박스(423)는 현재 트랙의 미디어에 대한 선언 정보를 포함한다. mdia 박스(423)에 포함되는 minf 박스(424)는 현재 트랙의 미디어에 대한 특성 정보를 포함하고, minf 박스(424) 안에는 트랙 내 샘플들의 시간, 데이터, 위치에 대한 인덱싱 정보를 포함하는 stbl 박스(425)가 포함되어 있다. 본 발명의 실시예에 따른 tlas 박스(426)는 stbl 박스(425) 안에 위치하여 시간 계층 접근이 가능한 샘플에 대한 인덱싱 정보를 제공한다.
도 5는 본 발명의 실시예에 따라 시간 계층 접근 지점을 나타내는 시간 계층 접근 픽처(temporal layer access picture)에 해당하는 샘플의 번호를 통해, 선택적으로 샘플들이 추출되는 장면을 도시한 것이다.
도 5를 참조하면, 비디오 트랙에 포함된 시간 계층 접근 샘플(TLA sample, 501)을 시작점(temporal switching point)으로 해서, 시간 계층 접근 샘플(501)의 시간 계층의 시간 계층 식별 값(temporal_id=1)보다 시간 계층 식별 값이 큰 샘플들(도 5에서는 temporal_id=2인 샘플들)을 추출할 수 있으며, 이를 통해 시간 계층 접근 샘플(501) 이후부터는 프레임 율(frame rate)이 증가한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며. 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 비디오 데이터를 재생하는 방법에 있어서,
    비디오 파일이 수신되면, 상기 수신된 비디오 파일을 저장 포맷으로 저장하는 과정과,
    상기 저장된 비디오 파일로부터 부호화된 비디오 데이터 스트림과 비디오 데이터 속성 정보를 추출하는 과정과,
    상기 비디오 데이터 속성 정보에 포함된 시간 계층 접근이 가능한 샘플의 위치 정보를 바탕으로, 상기 추출된 비디오 데이터 스트림으로부터 확장된 시간 계층에 해당하는 샘플들을 추출하는 과정과,
    상기 추출된 샘플들을 복원하여 재생하는 과정을 포함하는 비디오 데이터 재생 방법.
  2. 제1항에 있어서,
    상기 위치 정보는, 상기 비디오 데이터 스트림 내에서 시간 계층 접근이 가능한 샘플의 총 개수와, 상기 시간 계층 접근이 가능한 샘플들의 번호를 포함하는 비디오 데이터 재생 방법.
  3. 제1항에 있어서,
    상기 추출하는 과정은,
    상기 시간 계층 접근이 가능한 샘플 중 첫 번째 샘플부터 기본 시간 계층에 해당하는 샘플들과 상기 확장된 시간 계층에 해당하는 샘플들을 함께 추출하는 비디오 데이터 재생 방법.
  4. 제1항에 있어서,
    상기 저장 포맷은 ISOFF(ISO Base Media File Format)이며, 상기 위치 정보는 stbl 박스에 포함되는 비디오 데이터 재생 방법.
  5. 제4항에 있어서,
    상기 위치 정보는 상기 stbl 박스 내에 새로운 박스로 삽입되는 비디오 데이터 재생 방법.
  6. 비디오 데이터를 재생하는 장치에 있어서,
    비디오 파일을 수신하는 수신부와,
    상기 수신된 비디오 파일을 저장 포맷으로 저장하는 저장부와,
    상기 저장된 비디오 파일로부터 부호화된 비디오 데이터 스트림을 추출하는 비디오 데이터 추출부와,
    상기 저장된 비디오 파일로부터 비디오 데이터 속성 정보를 추출하는 비디오 속성 추출부와,
    상기 비디오 데이터 속성 정보에 포함된 시간 계층 접근이 가능한 샘플의 위치 정보를 바탕으로, 상기 추출된 비디오 데이터 스트림으로부터 확장된 시간 계층에 해당하는 샘플들을 추출하는 시간 계층 추출부와,
    상기 추출된 샘플들을 복원하여 재생하는 재생부를 포함하는 비디오 데이터 재생 장치.
  7. 제6항에 있어서,
    상기 위치 정보는, 상기 비디오 데이터 스트림 내에서 시간 계층 접근이 가능한 샘플의 총 개수와, 상기 시간 계층 접근이 가능한 샘플들의 번호를 포함하는 비디오 데이터 재생 장치.
  8. 제6항에 있어서,
    상기 시간 계층 추출부는,
    상기 시간 계층 접근이 가능한 샘플 중 첫 번째 샘플부터 기본 시간 계층에 해당하는 샘플들과 상기 확장된 시간 계층에 해당하는 샘플들을 함께 추출하는 비디오 데이터 재생 장치.
  9. 제6항에 있어서,
    상기 저장 포맷은 ISOFF(ISO Base Media File Format)이며, 상기 위치 정보는 stbl 박스에 포함되는 비디오 데이터 재생 장치.
  10. 제9항에 있어서,
    상기 위치 정보는 상기 stbl 박스 내에 새로운 박스로 삽입되는 비디오 데이터 재생 장치.
PCT/KR2013/003569 2012-04-25 2013-04-25 비디오 데이터를 재생하는 방법 및 장치 WO2013162304A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/397,358 US10158888B2 (en) 2012-04-25 2013-04-25 Method and apparatus for reproducing video data
CN201380033339.5A CN104380718B (zh) 2012-04-25 2013-04-25 再现视频数据的方法和装置
EP13782581.6A EP2843940A4 (en) 2012-04-25 2013-04-25 METHOD AND DEVICE FOR PLAYING VIDEO DATA
JP2015508869A JP6440034B2 (ja) 2012-04-25 2013-04-25 ビデオデータを再生する方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0043182 2012-04-25
KR1020120043182A KR101995270B1 (ko) 2012-04-25 2012-04-25 비디오 데이터를 재생하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2013162304A1 true WO2013162304A1 (ko) 2013-10-31

Family

ID=49483520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003569 WO2013162304A1 (ko) 2012-04-25 2013-04-25 비디오 데이터를 재생하는 방법 및 장치

Country Status (6)

Country Link
US (1) US10158888B2 (ko)
EP (1) EP2843940A4 (ko)
JP (1) JP6440034B2 (ko)
KR (1) KR101995270B1 (ko)
CN (1) CN104380718B (ko)
WO (1) WO2013162304A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815194B1 (ko) 2015-11-18 2018-01-30 삼성전자주식회사 의료 영상 데이터 처리 방법 및 장치
EP4156688A4 (en) * 2020-05-22 2024-05-15 LG Electronics, Inc. IMAGE CODING METHOD AND ASSOCIATED DEVICE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100030648A (ko) * 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
JP2011528868A (ja) * 2008-07-16 2011-11-24 ノキア コーポレイション トラックおよびトラックサブセットグループ化の方法および装置
US20120082237A1 (en) * 2010-10-04 2012-04-05 Wonkap Jang Automatic Temporal Layer Bit Allocation
KR20120033289A (ko) * 2010-09-29 2012-04-06 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20120038367A (ko) * 2010-10-06 2012-04-23 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074531A (ja) * 2004-09-03 2006-03-16 Canon Inc データ記録再生装置及び方法
US7280734B2 (en) * 2004-09-09 2007-10-09 Micro Optics, Inc. Expanding single mode fiber mode field for high power applications by fusion with multimode fiber
US8184153B2 (en) 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
US9635396B2 (en) 2005-10-11 2017-04-25 Nokia Technologies Oy System and method for efficient scalable stream adaptation
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US8930562B2 (en) * 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
JP5752268B2 (ja) * 2011-01-14 2015-07-22 ヴィディオ・インコーポレーテッド 時間スケーラビリティのための高いレイヤのシンタックス

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100030648A (ko) * 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
JP2011528868A (ja) * 2008-07-16 2011-11-24 ノキア コーポレイション トラックおよびトラックサブセットグループ化の方法および装置
KR20120033289A (ko) * 2010-09-29 2012-04-06 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US20120082237A1 (en) * 2010-10-04 2012-04-05 Wonkap Jang Automatic Temporal Layer Bit Allocation
KR20120038367A (ko) * 2010-10-06 2012-04-23 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법

Also Published As

Publication number Publication date
JP6440034B2 (ja) 2018-12-19
EP2843940A1 (en) 2015-03-04
EP2843940A4 (en) 2015-10-14
CN104380718B (zh) 2017-10-27
KR20130120147A (ko) 2013-11-04
KR101995270B1 (ko) 2019-07-03
US20150085940A1 (en) 2015-03-26
US10158888B2 (en) 2018-12-18
CN104380718A (zh) 2015-02-25
JP2015520553A (ja) 2015-07-16

Similar Documents

Publication Publication Date Title
US11128901B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN103069812B (zh) 提供基于分段的多媒体流服务的方法及装置、接收基于分段的多媒体流服务的方法及装置
KR101516325B1 (ko) Ｉｓｏ 기반 미디어 파일 포맷으로 ｍｐｅｇ－２전송스트림을 저장 및 재생하는 방법 및 장치
CN113170239B (zh) 将媒体数据封装到媒体文件的方法、装置和存储介质
EP2523461A1 (en) Image processing device, information recording medium, image processing method, and program
CN101971639B (zh) 用于生成和显示媒体文件的装置和方法
US10283167B2 (en) Image decoding device, image decoding method, image encoding device, and image encoding method
WO2013157898A1 (en) Method and apparatus of providing media file for augmented reality service
KR20130084345A (ko) Ｍｐ4 파일 구성 장치 및 복구 장치, ｍｐ4 파일 구성 방법 및 복구 방법
WO2013162304A1 (ko) 비디오 데이터를 재생하는 방법 및 장치
US11006173B2 (en) Information processing device, information recording medium, and information processing method, and program
EP3148181B1 (en) Information processing device, information generation device, information recording medium, information processing method, and program
KR101051063B1 (ko) 영상 수록 재생 장치, 영상 수록 방법, 영상 재생 방법 및 영상 수록 재생 방법
KR20080064399A (ko) Ｍｐ4 역다중화 장치 및 그의 동작 방법
CN114205649B (zh) 图像数据处理方法、装置、设备及存储介质
JP4436617B2 (ja) 逆多重化装置
Hall MPEG-4 video authentication using file structure and metadata
CN101247519A (zh) 一种数据存储的方法和装置
JP4383721B2 (ja) 多重化分離装置
WO2005006330A1 (en) Method and apparatus for addressing media resource, and recording medium thereof
JP4378157B2 (ja) データ処理方法および装置
EP3429217B1 (en) Information processing device, information processing method, and program
JP2004112095A (ja) 多重化装置、多重化分離装置及びその方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13782581

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015508869

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14397358

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013782581

Country of ref document: EP