KR101099784B1 - Ｈ.264 ｓｖｃ 데이터의 계층적 부호화를 이용한 ｍｐｅｇ-2 ｔｓ 파일 포맷 장치 및 그 방법 - Google Patents

Ｈ.264 ｓｖｃ 데이터의 계층적 부호화를 이용한 ｍｐｅｇ-2 ｔｓ 파일 포맷 장치 및 그 방법 Download PDF

Info

Publication number
KR101099784B1
KR101099784B1 KR1020090023123A KR20090023123A KR101099784B1 KR 101099784 B1 KR101099784 B1 KR 101099784B1 KR 1020090023123 A KR1020090023123 A KR 1020090023123A KR 20090023123 A KR20090023123 A KR 20090023123A KR 101099784 B1 KR101099784 B1 KR 101099784B1
Authority
KR
South Korea
Prior art keywords
mpeg
layer
svc
packet
information
Prior art date
Application number
KR1020090023123A
Other languages
English (en)
Other versions
KR20100065017A (ko
Inventor
전형국
김선태
이정우
조창식
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20100065017A publication Critical patent/KR20100065017A/ko
Application granted granted Critical
Publication of KR101099784B1 publication Critical patent/KR101099784B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 MPEG-2 TS 파일 포맷 장치는, H.264 SVC 데이터의 계층 정보에 포함된 공간적 요소, 시간적 요소, SNR 요소를 이용하여 H.264 SVC 데이터의 계층을 정렬하고, 각 계층에 따른 DTQ 값을 설정한 후 DTQ 값을 기준으로 H.264 SVC 데이터의 계층을 분리하는 계층 분리부; 계층 분리된 H.264 SVC 데이터를 입력받아 PES 패킷을 생성하는 PES 패킷 생성부; PES 패킷을 입력받아 MPEG-2 TS 패킷을 생성하고, 동일한 계층의 MPEG-2 TS 패킷에 동일한 프로그램 식별자를 할당하는 TS 패킷 생성부; MPEG-2 TS 패킷의 프로그램 식별자를 바탕으로 H.264 SVC MPEG-2 TS 스트림에 사용될 프로그램 정보를 생성하는 PAT/PMT 생성부; 및 프로그램 정보와 MPEG-2 TS 패킷을 통합하여 H.264 SVC MPEG-2 TS 스트림을 생성하는 TS 패킷 다중화부를 구비한다. 본 발명에 의하면, 사용자 단말이 송신단으로부터 수신한 MPEG-2 TS 파일을 이용하여 무선 환경 및 네트워크의 제약 조건에 따라 적응적이고 선택적으로 H.264 SVC 데이터를 추출하여 재생할 수 있게 된다.
H.264 SVC, MPEG-2 TS, 코덱, 계층, 포맷, PAT, PMT

Description

Ｈ.264 ＳＶＣ 데이터의 계층적 부호화를 이용한 ＭＰＥＧ-2 ＴＳ 파일 포맷 장치 및 그 방법{Apparatus for MPEG-2 TS file format using layered encoding of H.264 SVC multimedia data and method thereof}
본 발명은 파일 포맷 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, H.264 SVC 데이터의 계층적 부호화를 이용한 MPEG-2 TS 파일 포맷 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2005-S-022-04, 과제명:임베디드 S/W 기반 SmarTown 솔루션 기술].
무선 네트워크의 발달과 다양한 휴대용 디바이스들의 등장으로 무선망에서의 멀티미디어 데이터 서비스의 요구가 계속해서 증가하고 있다. 하지만 아직까지 무선망에서 멀티미디어 데이터 서비스를 이용하는 데에는 각 디바이스의 파워, 네트워크 대역폭 제약, 패킷 손실 등 해결해야할 문제들이 많이 존재한다. 따라서 무선 망에서 멀티미디어 서비스가 원할하게 이루어질 수 있도록 하기 위해서는 전술한 바와 같은 문제점 및 무선 망 환경 등을 고려해야만 한다.
현재 스트리밍 서비스에서 가장 중점을 두고 있는 분야는 코덱을 위한 인코딩 기술이다. 특히 무선 망에서 스트리밍 서비스가 원활하게 수행될 수 있도록 멀티미디어 데이터에 대한 스케일러블(Scalable) 코덱 기술들이 많이 개발되고 있다.
스케일러블 코덱 기술은 하나의 멀티미디어 데이터를 여러 개의 계층(layer)으로 분리하여 네트워크 QoS 및 사용자 단말의 특성에 따라 적응적이고 선택적으로 재생될 수 있도록 한다. 따라서, 스트리밍 서비스에서의 스케일러블 코덱 기술은 유무선 네트워크 환경을 위한 핵심 기술이 된다. 현재 가장 관심의 대상이 되고 있는 스케일러블 코덱 기술은 H.264 SVC 기술이다. 이러한 H.264 SVC 기술은 유무선 환경, 특히, 무선 환경과 같이 경로 손실이 크고 사용 가능한 대역폭의 변화가 큰 네트워크에서 적응적으로 잘 동작할 수 있는 멀티미디어 코덱 기술이라 할 수 있다.
H.264는 기존의 비디오 압축 표준보다 획기적인 화질 개선 수단의 제공을 목적으로 개발되었으며, 기본적인 개념 자체는 H.263과 유사하나, 세부적인 내부 구현에 있어 상당 부분 변경된 방식을 채택하고 있다. 그리고, SVC(Scalable Video Coding) 기술은 다양한 통신망과 단말에 대응하여 동영상 정보의 양을 적절히 조정, 전송하기 위한 동영상 압축표준으로 MPEG-21 Part13 SVC 표준화가 시작되었다. 현재 H.264 SVC 기술은 공간적(Dimensional) 스케일러빌러티, 시간적(Temporal) 스케일러빌러티, SNR(quality) 스케일러빌러티와 같은 다양한 스케일러빌러티(Scalability)를 제공하고 있다.
H.264 SVC 기술은 VoD 서비스, IPTV 서비스, 지상파 DMB 서비스, 위성 DMB 서비스 등에서 다양하게 사용될 수 있다. 전술한 서비스에서 MPEG-2 TS 파일 포맷은 다양한 형태의 비디오/오디오 멀티미디어 데이터를 전송하기 위한 표준으로서 사용된다.
하지만, 종래 MPEG-2 TS 파일 포맷 장치들에서는 상기한 H.264 SVC 미디어 데이터를 전송하기 위한 효율적인 파일 포맷 방법을 제공하고 있지 않다. 즉, 사용자 단말이 송신단으로부터 수신한 MPEG-2 TS 파일을 이용하여 무선 환경, 네트워크의 제약 조건, 및 사용자 단말의 사양에 따라 적응적이고 선택적으로 H.264 SVC 데이터를 추출하여 재생할 수가 없다는 문제점이 있다.
본 발명은 전술한 문제점을 해결하고자 제안된 것으로서,
사용자 단말이 MPEG-2 TS 파일을 수신하여 무선 환경, 네트워크의 제약 조건, 및 사용자 단말의 사양에 따라 적응적이고 선택적으로 H.264 SVC 데이터를 추출하여 재생할 수 있도록, H.264 SVC 미디어 데이터를 MPEG-2 TS 파일로 포맷할 수 있는 장치 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 MPEG-2 TS 파일 포맷 장치는, H.264 SVC 데이터의 계층 정보에 포함된 공간적 요소, 시간적 요소, SNR 요소를 이용하여 H.264 SVC 데이터의 계층을 정렬하고, 각 계층에 따른 DTQ 값을 설정한 후 DTQ 값을 기준으로 H.264 SVC 데이터의 계층을 분리하는 계층 분리부; 계층 분리된 H.264 SVC 데이터를 입력받아 PES 패킷을 생성하는 PES 패킷 생성부; PES 패킷을 입력받아 MPEG-2 TS 패킷을 생성하고, 동일한 계층의 MPEG-2 TS 패킷에 동일한 프로그램 식별자를 할당하는 TS 패킷 생성부; MPEG-2 TS 패킷의 프로그램 식별자를 바탕으로 H.264 SVC MPEG-2 TS 스트림에 사용될 프로그램 정보를 생성하는 PAT/PMT 생성부; 및 프로그램 정보와 MPEG-2 TS 패킷을 통합하여 H.264 SVC MPEG-2 TS 스트림을 생성하는 TS 패킷 다중화부를 구비한다.
특히, 계층 분리부는, 공간적 요소, 시간적 요소, 화질 요소 중 한 가지를 우선순위로 하여 계층을 정렬하는 것을 특징으로 한다.
또한, 계층 분리부는, H.264 SVC 데이터의 SEI의 헤더 정보를 이용하여 계층 정보를 획득하는 것을 특징으로 한다.
또한, DTQ 값은 계층의 공간적 스케일러빌러티, 시간적 스케일러빌러티, SNR 스케일러빌러티로 구성되는 것을 특징으로 한다.
또한, PES 패킷은 속성 정보, 디코딩 시간 정보, 및 재생 시간 정보를 포함하는 것을 특징으로 한다.
한편, 본 발명에 따른 MPEG-2 TS 파일 포맷 방법은, H.264 SVC 데이터의 계층 정보에 포함된 공간적 요소, 시간적 요소, SNR 요소를 이용하여 H.264 SVC 데이터의 계층을 정렬하는 단계; 각 계층에 따른 DTQ 값을 설정한 후 DTQ 값을 기준으로 H.264 SVC 데이터의 계층을 분리하는 단계; 계층 분리된 H.264 SVC 데이터를 입력받아 PES 패킷을 생성하는 단계; PES 패킷을 입력받아 MPEG-2 TS 패킷을 생성하고, 동일한 계층의 MPEG-2 TS 패킷에 동일한 프로그램 식별자를 할당하는 단계; MPEG-2 TS 패킷의 프로그램 식별자를 바탕으로 H.264 SVC MPEG-2 TS 스트림에 사용될 프로그램 정보를 생성하는 단계; 및 프로그램 정보와 MPEG-2 TS 패킷을 통합하여 H.264 SVC MPEG-2 TS 스트림을 생성하는 단계를 포함한다.
특히, 프로그램 정보를 생성하는 단계는, PAT/PMT를 생성하는 단계를 포함하고, PMT의 상세란에는 H.264 SVC 데이터의 SEI가 계층에 따라 기록되는 것을 특징으로 한다.
또한, PES 패킷을 생성하는 단계는, 계층 분리된 H.264 SVC 데이터의 각 계 층을 액서스 유닛으로 분리하고, 각 액서스 유닛을 PES 패킷으로 생성하는 것을 특징으로 한다.
또한, H.264 SVC 데이터의 계층을 정렬하는 단계는, H.264 SVC 데이터의 SEI의 헤더 정보를 이용하여 계층 정보를 획득하는 것을 특징으로 한다.
또한, H.264 SVC 데이터의 계층을 정렬하는 단계는, 공간적 요소, 시간적 요소, 화질 요소 중 한 가지를 우선순위로 하여 계층을 정렬하는 것을 특징으로 한다.
본 발명에 의하면, 사용자 단말이 송신단으로부터 수신한 MPEG-2 TS 파일을 이용하여 무선 환경 및 네트워크의 제약 조건에 따라 적응적이고 선택적으로 H.264 SVC 데이터를 추출하여 재생할 수 있게 된다. 보다 상세하게는, 사용자 단말은 PMT의 상세란에 기록되어 있는 계층 정보를 바탕으로 자신에게 필요하거나 적합한 H.264 SVC 계층의 프로그램 ID를 획득함으로써 MPEG-2 TS 파일로부터 효율적이고 선택적으로 H.264 SVC 데이터를 추출해낼 수가 있다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서 동일한 구성에 대해서는 동일부호를 사용하며, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당업자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명의 실시예에 따른 H.264 SVC의 계층적 부호화를 이용한 MPEG-2 TS 파일 포맷 장치를 설명하기 위한 블록도이다.
도 1을 참고하면, 본 발명에 따른 MPEG-2 TS 파일 포맷 장치는 수신부(102), 계층 분리부(104), PES 패킷 생성부(106), TS 패킷 생성부(108), PAT/PMT 생성부(110), 및 TS 패킷 다중화부(112)를 구비한다.
수신부(102)는 계층화된 H.264 SVC 데이터를 입력받아 계층 분리부(104)에 전달한다.
계층 분리부(104)는 수신부(103)로부터 계층화된 H.264 SVC 데이터를 입력받아 H.264 SVC 데이터의 계층(layer)을 정렬 및 분리한다. 보다 상세하게는, 계층 분리부(104)는 계층화된 H.264 SVC 데이터의 SEI(Supplemental Enhancement Information)의 헤더 정보를 이용하여 H.264 SVC 데이터의 계층 정보를 획득하고, 이 계층 정보를 이용하여 계층을 정렬한다. 이때, 사용자 단말의 요구에 따라 각 계층의 계층 정보에 포함된 해상도(Resolution), 프레임 레이트(Frame rate), 비트 레이트(Bit rate)와 같은 공간적(dimensional) 요소, 시간적(temporal) 요소, SNR(quality) 요소 중 한 가지를 우선순위로 하여 계층을 정렬한다. 여기서 계층은 네트워크 상황이나 사용자 단말의 상황을 고려하여 QoS(Quality of Service)를 수행하기 위해 하나의 비디오 스트림을 여러 개의 서브 스트림으로 만들어 놓아 네트워크에 따라 적응적으로 보내질 수 있는 비디오 스트림의 계층을 의미한다. 그리고, 계층 분리부(104)는 정렬된 각 계층에 따라 DTQ 값을 설정하고, DTQ 값에 따라 H.264 SVC 데이터의 계층을 분리한다. DTQ 값은 계층의 공간적 스케일러빌러티, 시간적 스케일러빌러티, SNR 스케일러빌러티로 구성된다. 공간적 스케일러빌러티는 크기가 작거나 해상도가 낮은 픽처의 크기를 늘리거나 해상도를 높이기 위해 사용되며, 시간적 스케일러빌러티는 시간적 해상도를 높이기 위한 방법으로 향상계층을 추가하여 시간 해상도를 높여주기 위한 것이다. 예컨대, 초당 30프레임 영상을 초당 60프레임의 영상으로 만들어 줄 경우 사용된다. 마지막으로, SNR 스케일러빌러 티는 화질을 좋게하는 방법으로 기본계층에 가변길이 복호화 역스캔, 그리고 역양자화를 한 값에 향상계층의 값을 결합하면 된다.
한편, H.264 SVC 데이터의 SEI는 H.264 SVC 데이터의 헤더 정보로부터 추출이 가능하다.
계층 분리부(104)에서 H.264 SVC 데이터의 SEI로부터 획득한 계층 정보를 이용하여 H.264 SVC 데이터의 계층을 분리하는 과정에 대해서는 도 2를 통해 보다 상세하게 후술하기로 한다.
PES 패킷 생성부(106)는 계층 분리부(104)를 거쳐 분리된 H.264 SVC 데이터를 입력받아, 각 계층을 액서스 유닛(Acess Unit)으로 분리하고, 각 액서스 유닛을 PES(Packetized Elementary Stream) 패킷으로 생성한다. PES 패킷은 H.264 SVC 데이터를 패킷화하기 위한 기본 단위로 데이터의 속성 정보, 디코딩 시간(DTS:Decoding Time Stamp), 및 재생 시간(PTS:Presentation Time Stamp)의 값을 갖으며, 이러한 값들은 계층에서의 패킷의 순서에 따라 적절히 기록된다.
TS 패킷 생성부(108)는 PES 패킷 생성부(106)에서 생성된 PES 패킷을 입력받아 프로그램 ID를 할당한다. 이때, 동일 계층의 PES 패킷에는 동일한 프로그램 ID를 할당한다. 그리고, TS 패킷 생성부(108)는 입력받은 PES 패킷을 H.264 SVC MPEG-2 TS 패킷(이하, 'MPEG-2 TS 패킷')으로 생성한다. MPEG-2 TS 패킷은 PES 패킷을 188byte 단위로 분리한 것이며, 프로그램 ID와 PCR(Program Clock Reference)를 가지고 있어서, 하나의 프로그램에 필요한 MPEG-2 TS 패킷을 프로그램 ID를 통해서 획득하고 PCR을 통해서 각 프로그램의 시간 동기화를 이룰 수 있다.
PAT/PMT 생성부(110)는 MPEG-2 TS 패킷에 포함된 정보를 바탕으로 H.264 SVC MPEG-2 TS 스트림에 사용될 프로그램 정보(PAT/PMT)를 생성한다. 여기서, PAT(Program Association Table)는 TV에서와 같이 TV의 채널과 그 채널에 필요한 프로그램 정보(예컨대, 프로그램 ID)를 포함하고 있고(도 7 참조), 종래 공지된 PAT 생성 방법과 동일한 방법으로 생성된다. PMT(Program Map Table)는 PAT의 프로그램 정보(예컨대, 프로그램 ID)를 바탕으로 그 프로그램을 구성하고 있는 비디오/오디오와 같은 멀티미디어 데이터의 식별정보(예컨대, PID)를 포함하고 있다. 그리고, PMT에 있는 상세란에는 계층에 따른 SEI 정보(예컨대, DTQ 값)가 기록된다(도 8 참조).
따라서, TS 패킷 생성부(108)에 의해서 생성된 MPEG-2 TS 패킷의 식별정보를 확인하여 각 프로그램에 필요한 MPEG-2 TS 패킷을 선택적으로 추출하여 프로그램을 구성할 수 있다. 또한, 사용자 단말은 PMT의 상세란에 기록되어 있는 SEI 정보를 통해서 계층 정보를 획득할 수 있고, 이 계층 정보를 바탕으로 자신에게 필요하거나 적합한 H.264 SVC 계층의 프로그램 ID를 획득함으로써 MPEG-2 TS 파일로부터 효율적이고 선택적으로 H.264 SVC 데이터를 추출해낼 수가 있다.
PAT/PMT 생성부(110)에서 생성된 PAT/PMT와 TS 패킷 생성부(108)에서 생성된 MPEG-2 TS 패킷은 TS 패킷 다중화부(112)를 통해 최종적으로 H.264 SVC MPEG-2 TS 스트림으로 생성된다. 즉, TS 패킷 다중화부(112)는 PAT/PMT 생성부(110)에서 생성된 PAT/PMT와 TS 패킷 생성부(108)에서 생성된 각 MPEG-2 TS 패킷을 통합하여 H.264 SVC MPEG-2 TS 스트림을 생성한다.
도 2 및 도 3은 본 발명의 실시예에 따른 H.264 SVC의 계층적 부호화를 이용한 MPEG-2 TS 파일 포맷 방법을 설명하기 위한 흐름도이다.
도 2 및 도 3을 참고하면, H.264 SVC 데이터를 입력받아(S100) H.264 SVC 데이터의 SEI(Supplemental Enhancement Information)를 추출한다(S105). H.264 SVC 데이터의 SEI는 입력받은 H.264 SVC 데이터의 헤더(header)로부터 추출 가능하다.
그리고, H.264 SVC 데이터의 SEI 헤더 정보를 통해서 H.264 SVC 데이터의 계층 정보를 획득한다(S110). 도 4는 H.264 SVC 데이터의 SEI 정보를 통해서 획득한 계층 정보의 일예를 나타낸다. H.264 SVC 데이터의 SEI는 모든 H.264 SVC 데이터에 기록된다. 따라서, 모든 H.264 SVC 데이터로부터 SEI 정보를 추출하는 것이 가능하고, 추출한 SEI 정보에서 계층 정보를 획득하여 H.264 SVC 데이터를 제어하는 것이 가능하다.
다음으로, H.264 SVC 데이터의 SEI 헤더 정보를 통해서 획득한 H.264 SVC 데이터의 계층 정보를 이용하여 계층을 정렬한다(S115). 이때, 사용자 단말의 요구에 따라 각 계층의 계층 정보에 포함된 해상도(resolution), 프레임 레이트(frame rate), 비트 레이트(bit rate)와 같은 공간적(dimensional) 요소, 시간적(temporal) 요소, SNR(quality) 요소 중 한 가지를 우선순위로 하여 계층을 정렬한다. 여기서 계층은 네트워크 상황이나 사용자 단말의 상황을 고려하여 QoS를 수행하기 위해 하나의 비디오 스트림을 여러 개의 서브 스트림으로 만들어 놓아 네트워크에 따라 적응적으로 보내질 수 있는 비디오 스트림의 계층을 의미한다.
S115 단계에서 H.264 SVC 데이터의 계층을 정렬한 다음, 각 계층의 공간적, 시간적, 화질 요소에 상응하도록 스케일러빌러티(DTQ 값)를 설정한다(S120).
도 4를 참조하여 설명하면, layer 0은 해상도(resolution)가 176*144이고, 프레임 레이트(frame rate)가 7.5 FPS의 비디오를 재생하기 위해서는 비트 레이트(bit rate)가 120이 필요하다는 것을 의미한다. 그리고, 'DTQ'는 DTQ 값을 나타내는 것으로 공간적 스케일러빌러티가 0, 시간적 스케일러빌러티가 1, 화질 스케일러빌러티가 0 임을 나타낸다.
예를 들어, 도 4와 같은 계층 정보를 획득한 후 공간적 요소-시간적 요소-화질 요소 순으로 우선순위를 두어 계층을 분리하고, 각 계층에 따라 DTQ 값을 설정하면 도 5에 도시한 바와 같이 표현될 수 있다.
계층에 따라 DTQ 값을 설정한 다음, DTQ 값에 따라 H.264 SVC 데이터의 계층을 분리한다(S125). DTQ 값은 H.264 SVC NAL(Network Abstraction Layer)의 확장 필드에 기록되기 때문에, S125 단계에서 DTQ 값을 이용하여 원하는 계층만을 추출하여 분리하는 것이 가능하다. 예를 들어, 비트 레이트가 205인 layer 1을 추출하여 분리하고 싶으면 H.264 SVC 패킷 중 DTQ 값이 0,1,1이하[(0,0,0),(0.0.1),(0,1,0),(0,1,1)]인 모든 패킷을 추출하면 된다.
다음으로, S125 단계를 통해 계층화된 H.264 SVC 데이터의 각 계층을 액서스 유닛(Access Unit)으로 분리하고(S130), 각각의 액서스 유닛을 PES 패킷으로 생성한다(S135). PES 패킷에는 PTS(Presentation Time Stamp)/DTS(Decoding Time Stamp)가 기록되는데, 이는 계층의 패킷의 순서에 따라 적절히 기록된다.
그리고, 동일 계층의 PES 패킷에 같은 프로그램 ID를 할당하고(S140), H.264 SVC MPEG-2 TS 패킷(이하, 'MPEG-2 TS 패킷')을 생성한다(S145). MPEG-2 TS 패킷은 PES 패킷을 188바이트 단위로 분리한 것이다. MPEG-2 TS 패킷은 프로그램 ID와 PCR을 가지고 있어서, 하나의 프로그램에 필요한 MPEG-2 TS 패킷을 프로그램 ID를 통해 획득하고 각 프로그램의 동기화를 이룰 수 있다.
다음으로, 생성된 MPEG-2 TS 패킷 정보(예컨대, 프로그램 ID)를 바탕으로 PAT/PMT 정보를 생성한다(S150).
S150 단계에서 MPEG-2 TS 패킷 정보를 이용하여 PAT/PMT를 생성과정에 대해서는 도 6을 참조하여 자세하게 설명하기로 한다.
먼저, MPEG-2 TS 패킷 정보를 이용하여 PAT(Program Association Table)를 생성한다(S200). MPEG-2 TS 패킷에 포함된 프로그램 ID를 바탕으로 PAT를 생성하는 과정은 공지의 방법을 통해 달성될 수 있으므로, 이에 대한 상세한 설명은 생략하기로 한다. 예컨대, 공지의 국제 표준인 ISO/IEC 13818-1 표준에 따라 생성될 수 있으며, 도 7은 그 일예를 나타낸다.
다음으로, PMT(Program Map Table)를 초기화 후(S210) 프로그램과 비디오/오디오 데이터의 연결 관계를 알려주는 PMT의 N loop table에 각 계층의 프로그램 ID를 기록한다(S210). 도 8의 PID는 MPEG-2 TS 패킷의 식별정보(Packet Identification)를 나타낸다. 그리고, PMT의 N loop table에 있는 상세란(description)에는 H.264 SVC SEI 정보를 계층에 따라 기록한다(S215).
마지막으로, S150 단계에서 생성된 PAT/PMT와 S145 단계에서 생성된 각 MPEG-2 TS 패킷을 통합하여 H.264 SVC MPEG-2 TS 스트림을 생성한다(S155).
본 발명에 따른 포맷 방법을 통해 포맷된 MPEG-2 TS 파일을 수신한 사용자 단말은, PMT의 상세란에 있는 기록되어 있는 DTQ 값을 통해서 자신에게 알맞은 계층에 대한 정보를 획득할 수 있고, 이 정보를 바탕으로 자신에게 필요하거나 적합한 H.264 SVC 계층의 프로그램 ID를 획득함으로써, MPEG-2 TS 파일로부터 효율적이고 선택적으로 H.264 SVC 데이터를 추출해 낼 수 있게 된다.
본 발명은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광 데이터 저장장치 등이 있을 수 있다. 또한, 캐리어 웨이브(예컨대, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상, 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
도 1은 본 발명의 실시예에 따른 MPEG-2 TS 파일 포맷 장치를 설명하기 위한 블록도이다.
도 2 및 도 3은 본 발명의 실시예에 따른 MPEG-2 TS 파일 포맷 방법을 설명하기 위한 흐름도이다.
도 4는 H.264 SVC 데이터의 계층 정보를 이용하여 계층을 분리한 일실시예를 나타낸다.
도 5는 H.264 SVC 데이터의 계층 정보를 이용하여 계층을 분리한 다른 실시예를 나타낸다.
도 6은 MPEG-2 TS 패킷 정보를 바탕으로 PAT/PMT 정보를 생성하는 과정을 설명하기 위한 흐름도이다.
도 7은 MPEG-2 TS 패킷 정보를 이용하여 생성된 PAT의 일실시예를 나타내는 도면이다.
도 8은 PMT의 일실시예를 나타내는 도면이다.

Claims (10)

  1. H.264 SVC 데이터의 계층 정보에 포함된 공간적 요소, 시간적 요소, SNR 요소를 이용하여 H.264 SVC 데이터의 계층을 정렬하고, 각 계층에 따른 DTQ 값을 설정한 후 상기 DTQ 값을 기준으로 상기 H.264 SVC 데이터의 계층을 분리하는 계층 분리부;
    계층 분리된 상기 H.264 SVC 데이터를 입력받아 PES 패킷을 생성하는 PES 패킷 생성부;
    상기 PES 패킷을 입력받아 MPEG-2 TS 패킷을 생성하고, 동일한 계층의 MPEG-2 TS 패킷에 동일한 프로그램 식별자를 할당하는 TS 패킷 생성부;
    상기 MPEG-2 TS 패킷의 프로그램 식별자를 바탕으로 H.264 SVC MPEG-2 TS 스트림에 사용될 프로그램 정보를 생성하는 PAT/PMT 생성부; 및
    상기 프로그램 정보와 상기 MPEG-2 TS 패킷을 통합하여 H.264 SVC MPEG-2 TS 스트림을 생성하는 TS 패킷 다중화부를 구비하는 MPEG-2 TS 파일 포맷 장치.
  2. 청구항 1에 있어서,
    상기 계층 분리부는,
    상기 공간적 요소, 상기 시간적 요소, 및 상기 SNR 요소 중 한 가지를 우선순위로 하여 계층을 정렬하는 것을 특징으로 하는 MPEG-2 TS 파일 포맷 장치.
  3. 청구항 1에 있어서,
    상기 계층 분리부는,
    상기 H.264 SVC 데이터의 SEI의 헤더 정보를 이용하여 상기 계층 정보를 획득하는 것을 특징으로 하는 MPEG-2 TS 파일 포맷 장치.
  4. 청구항 1에 있어서,
    상기 DTQ 값은 계층의 공간적 스케일러빌러티, 시간적 스케일러빌러티, 및 SNR 스케일러빌러티로 구성되는 것을 특징으로 하는 MPEG-2 TS 파일 포맷 장치.
  5. 청구항 1에 있어서,
    상기 PES 패킷은 속성 정보, 디코딩 시간 정보, 및 재생 시간 정보를 포함하는 것을 특징으로 하는 MPEG-2 TS 파일 포맷 장치.
  6. H.264 SVC 데이터의 계층 정보에 포함된 공간적 요소, 시간적 요소, SNR 요소를 이용하여 상기 H.264 SVC 데이터의 계층을 정렬하는 단계;
    각 계층에 따른 DTQ 값을 설정한 후 상기 DTQ 값을 기준으로 상기 H.264 SVC 데이터의 계층을 분리하는 단계;
    계층 분리된 상기 H.264 SVC 데이터를 입력받아 PES 패킷을 생성하는 단계;
    상기 PES 패킷을 입력받아 MPEG-2 TS 패킷을 생성하고, 동일한 계층의 MPEG-2 TS 패킷에 동일한 프로그램 식별자를 할당하는 단계;
    상기 MPEG-2 TS 패킷의 프로그램 식별자를 바탕으로 H.264 SVC MPEG-2 TS 스트림에 사용될 프로그램 정보를 생성하는 단계; 및
    상기 프로그램 정보와 상기 MPEG-2 TS 패킷을 통합하여 H.264 SVC MPEG-2 TS 스트림을 생성하는 단계를 포함하는 MPEG-2 TS 파일 포맷 방법.
  7. 청구항 6에 있어서,
    상기 프로그램 정보를 생성하는 단계는,
    PAT/PMT를 생성하는 단계를 포함하고,
    상기 PMT의 상세란에는 상기 H.264 SVC 데이터의 SEI가 계층에 따라 기록되는 것을 특징으로 하는 MPEG-2 TS 파일 포맷 방법.
  8. 청구항 6에 있어서,
    상기 PES 패킷을 생성하는 단계는,
    계층 분리된 상기 H.264 SVC 데이터의 각 계층을 액서스 유닛으로 분리하고, 각 액서스 유닛을 PES 패킷으로 생성하는 것을 특징으로 하는 MPEG-2 TS 파일 포맷 방법.
  9. 삭제
  10. 삭제
KR1020090023123A 2008-12-05 2009-03-18 Ｈ.264 ｓｖｃ 데이터의 계층적 부호화를 이용한 ｍｐｅｇ-2 ｔｓ 파일 포맷 장치 및 그 방법 KR101099784B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080123482 2008-12-05
KR20080123482 2008-12-05

Publications (2)

Publication Number Publication Date
KR20100065017A KR20100065017A (ko) 2010-06-15
KR101099784B1 true KR101099784B1 (ko) 2011-12-28

Family

ID=42364525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090023123A KR101099784B1 (ko) 2008-12-05 2009-03-18 Ｈ.264 ｓｖｃ 데이터의 계층적 부호화를 이용한 ｍｐｅｇ-2 ｔｓ 파일 포맷 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101099784B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012011732A2 (ko) * 2010-07-20 2012-01-26 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
EP2606649A4 (en) 2010-08-19 2016-05-04 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING AND DECODING MULTILAYER VIDEOS
CN102595203A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 一种多媒体数据的传输、接收方法及其传输、接收设备
US9553912B2 (en) 2011-01-19 2017-01-24 Electronics And Telecommunications Research Institute Method and apparatus for transmitting media content via a single port or multiple ports
US9848217B2 (en) 2012-01-20 2017-12-19 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
WO2013162292A1 (ko) * 2012-04-24 2013-10-31 한국전자통신연구원 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
WO2015060560A1 (ko) * 2013-10-23 2015-04-30 한국전자통신연구원 Ｍｍｔ 오버헤드 감축형 페이로딩 장치 및 방법
KR20150098435A (ko) * 2014-02-20 2015-08-28 삼성전자주식회사 멀티미디어 콘텐츠 처리 방법 및 장치
KR101687115B1 (ko) 2015-09-09 2016-12-15 한국과학기술원 통신 시스템의 암호화 패킷 전송 방법

Also Published As

Publication number Publication date
KR20100065017A (ko) 2010-06-15

Similar Documents

Publication Publication Date Title
KR101099784B1 (ko) Ｈ.264 ｓｖｃ 데이터의 계층적 부호화를 이용한 ｍｐｅｇ-2 ｔｓ 파일 포맷 장치 및 그 방법
US11368744B2 (en) Device and associated method for using layer description and decoding syntax in multi-layer video
JP6040282B2 (ja) 拡張されたビデオストリームを復号するための方法および装置
JP5378599B2 (ja) Ｍｐｅｇ−２システムにおけるマルチビュービデオコーディング
US11722702B2 (en) Method and apparatus for decoding an enhanced video stream
US9392256B2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
KR101227029B1 (ko) 방송 송신 방법 및 장치와 방송 수신 방법 및 장치
JP5450810B2 (ja) Ｍｐｅｇ−２システムにおけるマルチビュービデオ符号化サブビットストリームのアセンブル
CN105453574B (zh) 发送设备、发送方法、接收设备以及接收方法
JP2017034664A (ja) 送信方法、受信方法、送信装置及び受信装置。
KR20110101099A (ko) 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
KR20090112684A (ko) 방송 송신 방법 및 장치와 방송 수신 방법 및 장치
JP7054780B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP6950802B2 (ja) 送信方法および送信装置
JP5905147B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR101941781B1 (ko) Mmt 기반 8k 방송 수신 방법 및 장치
JP7306527B2 (ja) 復号装置
JP6773205B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR101964649B1 (ko) 미디어 전송 방법 및 그 장치
JP7230981B2 (ja) 受信装置および受信方法
JP2018011341A (ja) 送信装置、送信方法、受信装置および受信方法
JP6648811B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20080285679A1 (en) Broadcasting service transmission/reception method and apparatus for providing fast access to broadcasting service
JP2015092746A (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170307

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171019

Year of fee payment: 7