KR20210051033A - Mmt 기반 mpu 전송 장치가 컨텐츠를 전송하는 방법 - Google Patents

Abstract

본 개시는 MMT(MPEG Media Transport) 기반 ISOBMFF 규격으로 전송된 컨텐츠의 처리시간 지연을 최소화하기 위한 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법에 관한 것으로, MPU 메타데이터, 무비 프래그먼트 메타데이터 및 미디어 프래그먼트 유닛으로 컨텐츠를 분류하는 단계, 미디어 프래그먼트 유닛의 movie_fragment_sequence_number 필드 값을 제거하는 단계, 및 movie_fragment_sequence_number 필드 값이 제거된 미디어 프래그먼트 유닛을 수신기로 전송하는 단계를 포함할 수 있다.

Description

MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법{A method for transmitting contents of MPU transmitting device based on MMT}

본 발명은 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법에 관한 것이다.

MPEG Media Transport(MMT) 기술은 ISO/IEC　3008-1 표준에 기술된 미디어(Media) 전송 기술로, MPEG2-TS로 대표되는 기존 DTV 전송 방식에 대한 각종 제약사항들을 극복하기 위한 대안으로서 부상하고 있다.

기존의 MPEG2-TS는 고정 188byte 길이의 전송 방식으로서, 스트림내의 컨텐츠(contents)가 드문 구간에서도 고정적인 사이즈(size)를 전송해야 하기 때문에 대역폭(bandwidth)의 사용에 있어 효율성이 떨어지는 문제가 있었다. 그리고, 인터넷을 통한 스트리밍 서비스(streaming service)에 대한 니즈(needs)가 증가함에 따라 스트리밍에 적합한 컨텐츠를 전송할 수 있는 미디어 전송(media transport) 기술에 대한 니즈도 함께 증가하였는데, 기존의 MPEG2-TS에서는 스트리밍 서비스에 적합한 컨텐츠를 전송하기에 부족한 면이 있었다.

이런 이유로, 신규로 구축되는 UHD 방송 규격에서는 기존 MPEG2-TS를 대신하여 MMT 기술이 기술의 기반을 이루는 경우가 지속적으로 생기고 있다. 구체적으로, 한국/북미에 대한 지상파 UHD 전송 기술에도 MMT가 사용되고 있고, 일본 위성방송에서의 UHD 방송 전송 기술에서도 MMT를 기반으로 한 전송 프로토콜이 만들어졌다.

MMT(MPEG Media Transport) 기술은 가변 길이를 가진 패킷으로 구성이 되며, 인터넷 스트리밍 서비스도 포함할 수 있도록 ISO IEC14496-12 : ISOBMFF(ISO Base Media File Format) 기반의 컨텐츠를 효율적으로 전송하도록 규격이 구성되어져 있다.

MPU(Media Processing Unit)라 불리는 ISOBMFF 기반 컨텐츠를 MPU metadata / Movie fragment metadata / MFU 라는 3가지 카테고리로 단편화(fragmentation) 한 후 이들이 개별형식을 갖고 전송된다.

하지만, MMT 기술은 전송하는 컨텐츠가 ISOBMFF 기반이어서, 이를 디코딩하기 위하여 추가적인 ISOBMFF 컨테이너에 대한 파싱(parsing)이 이루어져야 하고, 특히 Movie Fragment 박스(moof box)와 같이 순서가 뒤바뀐 형태로 전송이 될 수 있는 경우에는 다시 순서를 정리해야 하므로 처리시간의 지연이 발생할 가능성이 있다.

그리하여, 일본 위성 방송에서의 UHD 전송 규격에서는 처리시간 지연의 최소화를 달성하기 위하여 ISOBMFF 형태의 전체 컨텐츠에 해당하는 3가지 카테고리를 모두 전송하는 대신, MFU만을 선별적으로 전송하는 방식을 사용하는 등 방송 환경에 맞게 운용의 변형이 발생하게 되었다.

본 개시는 MMT 기반 ISOBMFF 규격으로 전송된 컨텐츠의 처리시간 지연을 최소화하기 위한 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법을 제공하고자 한다.

본 개시는 MMT 기반 ISOBMFF 규격에서 MFU만 전송할 때 불필요한 데이터 전송을 최소화하기 위한 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법을 제공하고자 한다.

본 개시에 따른 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법은 MPU 메타데이터, 무비 프래그먼트 메타데이터 및 미디어 프래그먼트 유닛으로 컨텐츠를 분류하는 단계, 미디어 프래그먼트 유닛의 movie_fragment_sequence_number 필드 값을 제거하는 단계, 및 movie_fragment_sequence_number 필드 값이 제거된 미디어 프래그먼트 유닛을 수신기로 전송하는 단계를 포함할 수 있다.

movie_fragment_sequence_number 필드 값이 제거된 미디어 프래그먼트 유닛을 수신기로 전송하는 단계는 MMT 프로토콜 페이로드의 미디어 프래그먼트 유닛을 ES(Element Stream)로 대체하는 단계를 포함할 수 있다.

본 개시에 따른 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법은 미디어 프래그먼트 유닛에 multilayerInfo를 추가하는 단계를 더 포함할 수 있다.

multilayerInfo를 추가하는 단계는 제거된 movie_fragment_sequence_number 필드 값을 multilayerInfo로 대체하는 단계를 포함할 수 있다.

multilayerInfo를 추가하는 단계는 MMTP 페이로드의 데이터 유닛의 헤더에 multilayerInfo를 추가하는 단계를 포함할 수 있다.

본 개시에 따른 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법은 MMT 프로토콜 페이로드를 포함하는 MMTP 패킷 헤더의 타입 필드 값을 ES를 의미하는 값으로 설정하는 단계를 더 포함할 수 있다.

컨텐츠를 분류하는 단계는 MPU 메타데이터, 무비 프래그먼트 메타데이터, 미디어 프래그먼트 유닛 및 샘플 데이터로 컨텐츠를 분류하는 단계를 포함할 수 있다.

movie_fragment_sequence_number 필드 값이 제거된 미디어 프래그먼트 유닛을 수신기로 전송하는 단계는 MMT 프로토콜 페이로드의 미디어 프래그먼트 유닛을 샘플 값으로 대체하는 단계를 포함할 수 있다.

본 개시에 따른 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법은 MMT 프로토콜 페이로드의 FT 필드 값을 샘플 데이터임을 나타내는 값으로 설정하는 단계를 더 포함할 수 있다.

본 개시에 따르면, MMT 기반 MPU 전송 장치에 의해 전송된 컨텐츠의 디코딩 처리시간의 지연이 최소화되는 이점이 있다.

또한, MFU 대시 ES를 전송할 때 불필요한 필드 값을 제거함으로써, 필요 정보만을 전송 가능한 이점이 있다.

도 1은 MMT 기술에서의 미디어 전송 방식을 설명하기 위한 도면이다.
도 2는 MPU를 프래그멘테이션하여 MTP 패킷을 생성하는 방법을 설명하기 위한 도면이다.
도 3은 MPU metadata 또는 Movie fragment metadata를 전송하는 경우 MMTP 페이로드 헤더 및 MMTP 페이로드 데이터를 도시한 예시도이다.
도 4는 MPF를 전송하는 경우 MMTP 페이로드 헤더 및 MMTP 페이로드 데이터를 도시한 예시도이다.
도 5는 본 개시의 일 실시 예에 따른 MMT 기술에서의 미디어 전송 방식을 도시한 예시 도면이다.
도 6은 MMTP 패킷 헤더를 도시한 예시도이다.
도 7은 본 개시의 일 실시 예에 따른 MMTP 패킷 헤더의 타입 필드에 설정되는 값과 그 의미가 도시된 예시도이다.
도 8은 본 개시의 일 실시 예에 따른 MMT 기술 기반 ES를 전송하기 위한 MMTP 페이로드 헤더 및 MMTP 페이로드 데이터를 도시한 예시도이다.
도 9는 본 개시의 다른 실시 예에 따른 MMT 기반 MPU 전송 장치가 샘플 데이터를 별도의 MPU 프래그먼트의 타입으로 전송하는 경우 MMTP 페이로드 헤더 및 MMTP 페이로드 데이터를 도시한 예시도이다.
도 10은 본 개시의 다른 실시 예에 따른 MMTP 페이로드 데이터의 FT 필드에 설정되는 값과 그 의미가 도시된 예시도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 개시에서 기술되는 용어의 의미는 다음과 같이 정의될 수 있다.

컨텐츠(content)는 컨텐츠 컴포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.

넌 타임드 데이터(Non-timed data)는 시간을 명시하지 않고 소비되는 모든 데이터 요소를 정의한다. 넌 타임드 데이터는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가지지 않는 데이터다.

타임드 데이터(timed data)는 그의 미디어 유닛의 디코딩 및/또는 표현을 위한 고유의 동기화 정보를 가는 데이터로, 디코딩 및 프리젠테이션되는 특정한 시간과 연관된 데이터 요소를 정의한다.

미디어 프래그먼트 유닛(Media Fragment Unit: MFU)는 어떠한 특정 코덱에도 독립된 일반적인 컨테이너로, 미디어 디코더에 의해 독립적으로 소비될 수 있는 부호화된 미디어 데이터를 수용한다.

MMTP 패킷은 MMT 프로토콜에 따라 생성 또는 소비되는 데이터의 형식화된 유닛(formatted unit)이다.

MMTP 페이로드는 패키지를 나르거나 MMT 프로토콜이나 인터넷 응용 계층 전송 프로토콜(예를 들어 RTP(Real-Time Transport Protocol)가 있다)을 사용하여 메시지를 시그널링하는 데이터의 형식화된 유닛이다.

MMT 프로토콜은 MMT 페이로드를 IP 네트워크를 통해 전달하기 위한 응용 계층 전송 프로토콜이다.

도 1은 MMT 기술에서의 미디어 전송 방식을 설명하기 위한 도면이다.

도 1을 참조하면, MMT 기술은 시스템의 동작 및 제어를 위한/ 시그널링 메시지를 다루는 시그널링 기능 영역(10), 전송 및 저장 주체인 미디어 데이터의 논리적 구조와 물리적 파일 포맷에 대해 다루는 미디어 프로세싱 유닛(MPU) 기능 영역(20), 미디어 데이터와 시그널링 메시지를 포함하는 모든 종류의 데이터를 전송하기 위한 방법을 처리하는 전달 기능 영역(30) 및 미디어 데이터의 재생을 처리하는 표현 영역(40)을 포함할 수 있다. 다만, MMT 표준에서는 표현 영역(40)을 제외한 시그널링 기능 영역(10), 미디어 프로세싱 유닛 기능 영역(20) 및 전달 기능 영역(30)(MMT 프로토콜을 포함함)에 대하여 정의한다.

시그널링 기능 영역(10)은 미디어 소비(Consumption)와 전달(Delivery)과 관련된 메시지 포맷을 정의하고 있다. 미디어 소비와 관련된 메시지들은 전송되는 미디어 데이터를 소비하기 위해 필요한 정보를 제공할 수 있다. 소비 관리를 위한 시그널링 메시지들은 패키지의 구조를 시그널링하는데 사용될 수 있고, 전달 관리를 위한 시그널링 메시지는 페이로드 포맷 및 프로토콜 설정(configuration)의 구조를 시그널링하는데 사용될 수 있다.

AL-FEC 메시지는 애셋의 전송 과정에서 애셋의 손실에 따른 품질 저하를 방지하기 위해 사용되는 AL-FEC에 대한 구성 정보를 제공할 수 있다. 또한, 시그널링 메시지에는, AC(ARQ Configuration) 메시지와 AF(ARQ Feedback) 메시지가 포함될 수 있고, 이는 각각 수신측의 ARQ 동작 방법을 설정하고 손실된 MMTP 패킷의 재전송을 요청하기 위해 사용될 수 있다. MC(Measurement) 메시지는 미디어 데이터의 수신 상태 측정 및 측정 결과 보고 방법을 설정하는데 사용되고, RQF(Reception Quality Feedback) 메시지는 단-대-단 관점의 수신 상태 측정 결과를 보고 하기 위해 사용될 수 있다. HRBM(Hypothetical Receiver Buffer Model) 메시지는 단방향 방송 환경에서 효율적인 동작을 위한 단-대-단 전송 지연 및 메모리 요구사항 정보를 전달하여 HRBM 동작을 설정하기 위해 사용될 수 있다.

전달 기능 영역(30)은 송수신측 간의 데이터 전송에 필요한 MMT 프로토콜(MMTP)과 데이터 복구를 위한 AL-FEC 동작(31), 효율적인 데이터 전송을 위한 CLI(Cross-Layer Interface)를 정의하고 있다. MMT 프로토콜은 UDP나 IP와 같은 종래 프로토콜 상위에서 동작하는 응용 계층 프로토콜로서 다양한 다종류의 패킷 교환망을 통해 패키지를 전송하기 위한 기능을 제공할 수 있다. 특히, MMTP 페이로드(33)와 MMTP 패킷의 구조를 정의하고 애셋간의 다중화, 다양한 네트워크를 통한 전송시 동기화를 위한 네트워크 지터 계산, 패킷 재전송(ARQ) 등을 위한 기능을 제공할 수 있다. 다른 기능 영역(10, 20)과 전달 기능 영역(30)의 교두보 역할을 하는 MMTP 페이로드(33)는 시그널링 메시지나 미디어 데이터를 캡슐화한다. MMTP 페이로드(33)의 구조는 전송되는 데이터의 종류 또는 전송 방법에 따라 달라질 수 있고, MPU 모드와 GFD(Generic File Delivery) 모드 및 시그널링 메시지 모드로 구분될 수 있다.

먼저, MPU 모드는 ISOBMFF 기반의 파일(25), 즉, MPU를 스트리밍하기 위한 기능을 제공할 수 있다. MPU 모드에서는 효율적인 전송을 위해, 크기가 작은 여러 MPU를 하나의 MMTP 페이로드(33)로서 취합(Aggregation)할 수 있고, 크기가 큰 MPU를 메타데이터와 데이터로 분할하여 프래그멘테이션함으로써 별도의 MMTP 페이로드(33)로서 생성할 수 있다. MPU의 프래그멘테이션은 미디어 인지 프래그멘테이션(media-aware fragmentation)이라고 하며, 미디어 인지 프래그멘테이션은 이하 도 2를 통해 상세히 설명한다.

GFD 모드는 일반적인 파일 다운로드 기능을 제공하며, 전송되는 파일의 종류와 크기에 상관없이 개별 객체로서 전송한다. 시그널링 메시지 모드는 바이너리 형태 또는 XML 형태의 시그널링 메시지를 전송하기 위한 기능을 제공할 수 있다.

표현 영역(40)은 전송되는 애셋 또는 MPU가 재생되는 시간과 위치 정보인 표현 정보(PI)를 처리하는 기능을 제공한다. 기본적인 표현 정보로서 NTP 기반의 MPU의 재생 시간 정보를 담고 있는 MPU 타임스탬프 디스크립터가 제공될 수 있고, 시간 정보뿐 아니라 애셋의 재생 공간에 대한 정보를 포함하는 고수준 표현 정보인 구성 정보(CI: Composition Information)이 MMT CI를 통해 정의될 수 있다.

MPU 기능 영역(20)은 패키지와 애셋 등의 데이터 모델을 정의할 수 있다. 패키지는 MPU 기능 영역(20)에서 정의하는 데이터 모델 중 가장 큰 개체로서 영화 한편과 같은 하나의 독립적 콘텐츠를 의미할 수 있다. 패키지는 도 3을 통해 보다 상세히 설명한다.

다음으로, 도 2를 참조하여 전달 기능 영역에서의 미디어 인지 프래그멘테이션을 설명한다. 도 2는 MPU를 프래그멘테이션하여 MTP 패킷을 생성하는 방법을 설명하기 위한 도면이다.

ISOBMFF 규격의 MPU는 세 가지 MPU 프래그먼트의 타입으로 나뉘어 전송된다.

세 가지 MPU 프래그먼트의 타입은 MPU 파일의 ftyp, mmpu, moov box를 포함하는 MPU 메타데이터(MPU metadata), moof box와 mdat box의 미디어 데이터를 제외한 나머지를 포함하는 무비 프래그먼트 메타데이터(Movie fragment metadata), 그리고 미디어 데이터를 포함하는 mdat box로 구성되는 미디어 프래그먼트 유닛(media fragment unit)를 포함한다. 수신기에서는 이러한 MPU metadata, Movie fragment metadata 및 MFU을 모아 다시 원본 MPU를 구성할 수 있다.

MMTP 패킷은 MMTP 패킷 헤더(MMTP Packet Header), MMTP 페이로드(MMTP

Payload)로 구성되며, MMTP 페이로드는 MMTP 페이로드 헤더(MMTP Payload Header) 및 MMTP 페이로드 데이터(Data Unit)로 구성될 수 있다.

MMTP 페이로드는 MMT 패키지의 논리적인 구조인 애셋을 구성하는 MPU로 표현될 수 있다. 여기서, MPU는 어떠한 특정 미디어 코덱에도 독립된, 타임드 또는 넌 타임드 데이터에 대한 포괄적인 컨테이너일 수 있다. 이러한 MPU는 완전하고 독립적으로 처리될 수 있는 부호화된 미디어 데이터로, MPU의 프로세싱은 패키지로의 인캡슐레이션 또는 전달을 위한 패킷화를 의미할 수 있다. 이러한, MPU는 타임드 데이터를 위한 하나 이상의 액세스 유닛들을 포함할 수 있다. 액세스 유닛(AU; Access Unit)은 시간 정보를 가질 수 있는 가장 작은 데이터 개체이다. 또한, MPU는 넌 타임드 데이터를 위한 액세스 유닛 경계들이 없는 데이터의 부분을 포함하여 구성될 수 있다.

이와 같이, MPU는 완전하고 독립적으로 처리될 수 있는 코드된 미디어 데이터 유닛으로, MPU로 표현될 수 있는 MMTP 페이로드는 전술한 바와 같이 MMTP 페이로드 헤더와 MMTP 페이로드 데이터로 구성되며, MMTP 페이로드 데이터는 MPU metadata, Movie fragment metadata 및 복수 개의 MFU로 구성될 수 있다. MFU는 MFU 헤더 및 MFU 데이터로 구성될 수 있다.

이러한 구조의 MMTP 패킷에 있어서, MMTP 패킷 헤더는 MMTP 페이로드를 기반으로 MMTP 패킷을 구성하기 위한 헤더 정보를 포함한다. 이때, MMTP 패킷 헤더은 MMTP 패킷을 구분하는 패킷 식별자 등을 포함할 수 있다. 한편, MMTP 페이로드 헤더은 MMTP 페이로드 데이터를 기반으로 MMTP 페이로드를 구성하기 위한 정보를 포함할 수 있다.

도 3은 MPU metadata 또는 Movie fragment metadata를 전송하는 경우 MMTP 페이로드 헤더 및 MMTP 페이로드 데이터를 도시한 예시도이고, 도 4는 MPF를 전송하는 경우 MMTP 페이로드 헤더 및 MMTP 페이로드 데이터를 도시한 예시도이다.

MMT 기술 기반 ISOBMFF 규격의 처리로 인한 지연을 최소화하기 위해 MPU metadata 및 Movie fragment metadata를 전송하지 않고, MFU만 전송하는 방안이 고려될 수 있다. 즉, 필요한 Audio/Video만 최대한 ES(Element Stream)형태로 전송하는 방안이 고려될 수 있다. 그러나, ISOBMFF 규격에 의해 도 4의 'movie_fragment_sequence_number'와 같은 불필요한 정보도 함께 전송해야 하는 문제가 있다.

'movie_fragment_sequence_number'는 4byte 정보로, MPU를 구성해 내기 위해서 필요한 값이기 때문에, MPU metadata 및 Movie fragment metadata를 전송할 때에만 의미가 있는 값으로, MFU만 전송할 경우에는 불필요한 정보가 될 수 있다.

본 개시의 일 실시 예에 따르면, MMT 기술로 전송하는 미디어 타입에 ISOBMFF 뿐만 아니라 ES(Element Stream)를 포함시킬 수 있다.

도 5는 본 개시의 일 실시 예에 따른 MMT 기술에서의 미디어 전송 방식을 도시한 예시 도면이다.

도 1에서 설명한 내용과 중복되는 내용은 생략하기로 한다.

도 5를 참조하면, 전달 기능 영역(30)은 ISOBMFF 만을 전송 대상으로 하지 않고, ES(Element Stream)도 전송 대상으로 포함할 수 있다. 즉, MMT 기반 MPU 전송 장치는 MMT에서 전송하고자 하는 미디어 타입에 ISOBMFF 에 ES를 추가할 수 있다.

이를 위해, MMTP 패킷 헤더의 타입(type) 값에 ES 타입을 명시적으로 포함시킬 수 있다.

도 6은 MMTP 패킷 헤더를 도시한 예시도이다.

도 6의 예시를 참조하면, 'packet_id' 필드는 패킷의 식별자를 의미할 수 있다. 구체적으로, p'acket_id'는 전송 기본 단위인 페이로드의 구성요소인 MPU, MFU들의 식별값 또는 상위 구성 단위인 Asset을 구분하기 위한 식별값, signaling을 구분하기 위한 식별값, FEC parity data를 식별하기 위한 식별값, User defined data를 구별하기 위한 식별값으로 설정될 수 있다.

'packet_sequence_number'는 패킷의 일련 번호를 나타내며, 해당 일련 번호는 전송되는 전체 멀티미디어 패킷별로 순차적으로 증가하는 번호로 설정될 수 있다.

'type' 필드는 데이터 타입을 나타낼 수 있다. MMT 기반 MPU 전송 장치는 MMTP 패킷의 'type' 필드를 ES 타입을 나타내는 값으로 설정함으로써, MMT 기술 기반 ES의 전송을 제공할 수 있다.

도 7은 본 개시의 일 실시 예에 따른 MMTP 패킷 헤더의 타입 필드에 설정되는 값과 그 의미가 도시된 예시도이다.

도 7에 도시된 바와 같이, MMTP 패킷 헤더의 타입 필드에 설정될 수 있는 값들 각각에 대응하는 데이터 타입과 그 의미가 정의되어 있을 수 있다.

도 7의 예시에 따르면, 'type' 필드가 0x0은 데이터 타입이 MPU임을 나타내고, 'type' 필드가 0x1은 데이터 타입이 generic object임을 나타내고, 'type' 필드가 0x2은 데이터 타입이 signaling message임을 나타내고, 'type' 필드가 0x3은 데이터 타입이 repair symbol임을 나타내고, 'type' 필드가 0xA은 데이터 타입이 ES(Element Stream)임을 나타낼 수 있다.

MMT 기반 MPU 전송 장치는 ES를 전송할 때 MMTP 패킷의 'type' 필드에 0xA 값을 설정함으로써 데이터 타입이 ES임을 알려줄 수 있다.

이와 같이, 본 개시의 일 실시 예에 따르면, MMT 기반 MPU 전송 장치는 ES를 직접 전송 가능하므로, MFU를 ES로 변환하지 않아도 되는 이점이 있다.

도 8은 본 개시의 일 실시 예에 따른 MMT 기술 기반 ES를 전송하기 위한 MMTP 페이로드 헤더 및 MMTP 페이로드 데이터를 도시한 예시도이다.

도 8에 도시된 바와 같이, MMT 기반 MPU 전송 장치는 MFU 대신 ES(Element Stream)을 전송할 수 있고, 이 때 'movie_fragment_sequence_number' 대신 'multilayerInfo'를 전송할 수 있다.

여기서, 'multilayerInfo'는 ES에 대한 정보 중 필요 정보일 수 있다. ISOBMFF 규격에 따르면 'multilayerInfo' 는 MFU 헤더에 포함되는 값이므로, MFU 대신 ES만을 전송할 경우에는 별도의 전송이 필요하기 때문에, MMT 기반 MPU 전송 장치는 MMTP 페이로드 데이터에서 'movie_fragment_sequence_number' 대신 'multilayerInfo'을 포함시킬 수 있다.

MMT 기반 MPU 전송 장치는 데이터 유닛의 헤더에 'multilayerInfo'를 포함시켜 전송할 수 있다.

한편, 'multilayerInfo'가 MFU 헤더에 포함될 경우 최대 5 byte이지만, MMTP 페이로드 데이터에서 'movie_fragment_sequence_number'를 대체하기 위해서는 4 byte로 전송되어야 하기 때문에, MMT 기반 MPU 전송 장치는 reserved field를 줄여 아래와 같이 생성할 수 있다.

class multiLayerInfo extends Box(“muli”) {

bit(1) multilayer_flag;

bit(2) reserved0;

if (multilayer_flag==1) {

bit(3) dependency_id;

bit(1) depth_flag;

bit(1) reserved1;

bit(3) temporal_id;

bit(1) reserved2;

bit(4) quality_id;

bit(6) priority_id;

bit(10) view_id;

}

else{

bit(6) layer_id;

bit(3) temporal_id;

bit(7) reserved3;

}

}

한편, 본 개시의 다른 실시 예에 따르면, MMT 기반 MPU 전송 장치는 ISOBMFF 규격에서 MPU metadata, Movie fragment metadata 및 MFU의 세 가지 카테고리로 MPU를 나누는 대신 MPU metadata, Movie fragment metadata, MFU 및 Sample data의 네 가지 카테고리로 MPU를 나누어 전송함으로써, ISOBMFF에 대한 처리 지연을 최소화하고자 한다.

도 9는 본 개시의 다른 실시 예에 따른 MMT 기반 MPU 전송 장치가 샘플 데이터를 별도의 MPU 프래그먼트의 타입으로 전송하는 경우 MMTP 페이로드 헤더 및 MMTP 페이로드 데이터를 도시한 예시도이다.

본 개시의 다른 실시 예에 따르면, 도 9에 도시된 바와 같이, MMT 기반 MPU 전송 장치는 MFU 헤더 대신 샘플 값만을 포함하고, MFU 헤더에 존재하는 필요 정보(예를 들어, 'multilayerInfo')를 MMTP 페이로드 데이터(Data Unit)의 헤더에 함께 포함시켜 전송하고자 한다.

이 때, MMT 기반 MPU 전송 장치는 전송 타입을 나타내는 'FT' 필드의 값을 도 10에 도시된 표와 같이 확장시킬 수 있다.

도 10은 본 개시의 다른 실시 예에 따른 MMTP 페이로드 데이터의 FT 필드에 설정되는 값과 그 의미가 도시된 예시도이다.

도 10의 예시에 따르면, 'FT' 필드 값은 0 내지 15 중 어느 하나에 해당하는 정수로 설정될 수 있다. 'FT' 필드 값이 0은 데이터 타입이 MPU metadata임을 의미하고, 'FT' 필드 값이 1은 데이터 타입이 Movie fragment metadata임을 의미하고, 'FT' 필드 값이 2는 경우 데이터 타입이 MFU임을 의미하고, 'FT' 필드 값이 3은 경우 데이터 타입이 Sample Data임을 의미할 수 있다. 즉, MMT 기반 MPU 전송 장치는 샘플 값을 전송하는 경우 'FT' 필드 값을 3으로 설정할 수 있다.

이를 통해, MMT 기반 MPU 전송 장치는 샘플 값만을 데이터 유닛의 페이로드로 전송하는 경우, 데이터 유닛의 헤더 값에 'multilayerInfo'를 포함시킴으로써, 정보의 손실을 방지할 수 있다.

위에서 설명한 바와 같이, 본 개시의 다양한 실시 예에 따르면, MMT 기반 MPU 전송 장치는 ES 또는 샘플 데이터를 전송할 경우 'movie_fragement_metadata'와 같은 불필요한 정보를 전송하지 않으므로, 전송 효율을 향상시킬 수 있는 이점이 있다.

게다가, MMT 기반 MPU 전송 장치가 불필요한 정보인 'movie_fragement_metadata' 대신 'multilayerInfo'와 같은 필요 정보를 함께 전송할 경우 HFR(High frame rate) 전송을 위해서 Video sample을 2개의 packet_id로 나눠 보낼 필요가 없이 하나의 packet_id안에 120Hz Video sample을 실어 보내고 'multilayerInfo'의 정보를(ex. temporal_id 값 혹은 view_id 값) 사용하여 적절하게 ES를 추가로 필터링 할 수 있게 되어 HFR 방송을 더욱 쉽게 MMT로 전송이 가능하게 되는 이점이 있다.

도 11은 본 개시의 다양한 실시 예에 따른 MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법을 도시한 순서도이다.

MMT 기반 MPU 전송 장치는 MPU 메타데이터, 무비 프래그먼트 메타데이터 및 미디어 프래그먼트 유닛으로 컨텐츠를 분류할 수 있다(S11).

일 실시 예에 따르면, 기존과 같이 MMT 기반 MPU 전송 장치는 MPU 메타데이터, 무비 프래그먼트 메타데이터 및 미디어 프래그먼트 유닛과 같이 세 가지 카테고리로 컨텐츠를 분류할 수 있다.

다른 실시 예에 따르면, MMT 기반 MPU 전송 장치는 MPU 메타데이터, 무비 프래그먼트 메타데이터, 미디어 프래그먼트 유닛 및 샘플 데이터와 같이 네 가지 카테고리로 컨텐츠를 분류할 수 있다.

MMT 기반 MPU 전송 장치는 미디어 프래그먼트 유닛의 movie_fragment_sequence_number 필드 값을 제거할 수 있다(S13).

MMT 기반 MPU 전송 장치는 미디어 프래그먼트 유닛에 multilayerInfo를 추가할 수 있다(S15).

일 실시 예에 따르면, MMT 기반 MPU 전송 장치는 movie_fragment_sequence_number 필드 값은 하기와 같이 multilayerInfo로 대체할 수 있다.

다른 실시 예의 경우에도 마찬가지로, MMT 기반 MPU 전송 장치는 movie_fragment_sequence_number 필드 값은 하기와 같이 multilayerInfo로 대체할 수 있다.

즉, 본 개시에 따른 MMT 기반 MPU 전송 장치는 MMTP 페이로드의 데이터 유닛의 헤더에 multilayerInfo를 추가할 수 있다.

MMT 기반 MPU 전송 장치는 필드 값을 설정할 수 있다(S17).

일 실시 예에 따르면, MMT 기반 MPU 전송 장치는 ES를 전송하기 위해, MMT 프로토콜 페이로드를 포함하는 MMTP 패킷 헤더의 타입 필드 값을 ES를 의미하는 값으로 설정할 수 있다.

다른 실시 예에 따르면, MMT 기반 MPU 전송 장치는 샘플 데이터를 전송하기 위해, MMT 프로토콜 페이로드의 FT 필드 값을 샘플 데이터임을 나타내는 값으로 설정할 수 있다.

MMT 기반 MPU 전송 장치는 movie_fragment_sequence_number 필드 값이 제거된 미디어 프래그먼트 유닛을 수신기로 전송할 수 있다(S19).

일 실시 예에 따르면, MMT 기반 MPU 전송 장치는 MMT 프로토콜 페이로드의 미디어 프래그먼트 유닛을 ES(Element Stream)로 대체함으로써, ES를 수신기로 전송할 수 있다.

다른 실시 예에 따르면, MMT 기반 MPU 전송 장치는 MMT 프로토콜 페이로드의 미디어 프래그먼트 유닛을 샘플 값으로 대체함으로써, 샘플 데이터를 수신기로 전송할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

1. MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법에 있어서,
   MPU 메타데이터, 무비 프래그먼트 메타데이터 및 미디어 프래그먼트 유닛으로 컨텐츠를 분류하는 단계;
   상기 미디어 프래그먼트 유닛의 movie_fragment_sequence_number 필드 값을 제거하는 단계; 및
   상기 movie_fragment_sequence_number 필드 값이 제거된 미디어 프래그먼트 유닛을 수신기로 전송하는 단계를 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.
2. 제1항에 있어서,
   상기 movie_fragment_sequence_number 필드 값이 제거된 미디어 프래그먼트 유닛을 수신기로 전송하는 단계는
   MMT 프로토콜 페이로드의 미디어 프래그먼트 유닛을 ES(Element Stream)로 대체하는 단계를 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.
3. 제2항에 있어서,
   상기 미디어 프래그먼트 유닛에 multilayerInfo를 추가하는 단계를 더 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.
4. 제3항에 있어서,
   상기 multilayerInfo를 추가하는 단계는
   제거된 상기 movie_fragment_sequence_number 필드 값을 상기 multilayerInfo로 대체하는 단계를 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.
5. 제2항에 있어서,
   상기 multilayerInfo를 추가하는 단계는
   상기 MMTP 페이로드의 데이터 유닛의 헤더에 상기 multilayerInfo를 추가하는 단계를 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.
6. 제2항에 있어서,
   상기 MMT 프로토콜 페이로드를 포함하는 MMTP 패킷 헤더의 타입 필드 값을 상기 ES를 의미하는 값으로 설정하는 단계를 더 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.
7. 제1항에 있어서,
   상기 컨텐츠를 분류하는 단계는
   상기 MPU 메타데이터, 상기 무비 프래그먼트 메타데이터, 상기 미디어 프래그먼트 유닛 및 상기 샘플 데이터로 상기 컨텐츠를 분류하는 단계를 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.
8. 제7항에 있어서,
   상기 movie_fragment_sequence_number 필드 값이 제거된 미디어 프래그먼트 유닛을 수신기로 전송하는 단계는
   MMT 프로토콜 페이로드의 미디어 프래그먼트 유닛을 샘플 값으로 대체하는 단계를 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.
9. 제8항에 있어서,
   상기 MMT 프로토콜 페이로드의 FT 필드 값을 샘플 데이터임을 나타내는 값으로 설정하는 단계를 더 포함하는
   MMT 기반 MPU 전송 장치가 컨텐츠를 전송하는 방법.

Images