KR20130058539A - 하이브리드 전송시 동기화 방법 - Google Patents

Abstract

제1 망(network)을 통하여 제1 MMT 데이터가 전송되고 제2 망(network)을 통하여 제2 MMT 데이터가 전송되는 하이브리드 전송시 수신 단말에서의 동기화 방법이 개시된다. 하이브리드 전송시 수신 단말에서의 동기화 방법은 상기 제1 MMT 데이터 및 상기 제2 MMT 데이터 중 적어도 하나의 전송 지연으로 인하여 상기 수신 단말의 버퍼의 용량 초과가 발생된 경우 상기 버퍼에 저장된 MMT 데이터의 타입을 판단하는 단계와, 상기 버퍼에 저장된 MMT 데이터가 중요도가 높은 MMT 데이터인 경우 상기 중요도가 높은 MMT 데이터를 스토리지(storage)를 활용하여 동기화하는 단계를 포함한다.

Description

하이브리드 전송시 동기화 방법{Methods of Synchronization in Hybrid Delivery}

본 발명은 하이브리드 전송에 관한 것으로, 더욱 상세하게는 하이브리드 전송시 동기화 방법에 관한 것이다.

MPEG-2의 표준화 이후, 비디오 압축 표준(또는 오디오 압축 표준)은 과거 10년간 MPEG-4, H.264/AVC, SVC(Scalable Video Coding) 등으로 꾸준히 새로운 표준이 개발되었고 또한 각각의 새로운 표준들은 새로운 시장을 형성하면서 MPEG 표준의 활용 영역을 넓혀왔으나, MPEG-2 TS(Transport System)와 같은 전송 기술의 경우 20년 가까운 세월이 흐르는 동안 변함없이 시장에서 디지털방송, 모바일 방송(T-DMB, DVB-H등)등에 널리 사용되고 있으며, 심지어 표준 제정 당시 고려하지 않았던 인터넷을 통한 멀티미디어 전송, 즉 IPTV 서비스에도 널리 활용되고 있는 상황이다.

그러나, MPEG-2 TS가 개발될 때의 멀티미디어 전송환경과 오늘날의 멀티미디어 전송환경은 큰 변화를 겪고 있다. 예컨대, MPEG-2 TS 표준은 제정 당시 ATM 망을 통해 멀티미디어 데이터를 전송하는 것을 고려하여 개발되었으나, 오늘날 이러한 목적으로 이용되는 사례는 거의 찾아보기 힘들어졌다. 또한, MPEG-2 TS 표준 제정 당시 인터넷을 이용한 멀티미디어 전송 등의 요구사항(requirement)이 고려되지 않아 최근의 인터넷을 통한 멀티미디어 전송에 효율적이지 못한 요소들이 존재한다. 따라서, MPEG에서는 변화하는 멀티미디어 환경에 걸맞는 인터넷에서의 멀티미디어 서비스를 고려한 새로운 멀티미디어 전송 표준인 MMT(MPEG Multimedia Transport Layer)의 제정이 매우 중요한 과제로 인식되고 있다.

이와 같이, MMT 표준화가 진행되는 중요한 이유는 20 년전에 만들어진 MPEG2-TS 표준이 최근 IPTV 방송 서비스, 인터넷 환경등에 최적화되어 있지 않기 때문에 최근 다양한 이종망(Heterogeneous Network)에서의 멀티미디어 전송 환경에 최적화된 멀티미디어 전송 국제 표준의 시급한 필요에 의해 MPEG에서 MMT를 새로운 전송 기술 표준으로서 표준화를 진행하고 있는 것이다.

AV 스트리밍은 방송망을 통하여 전송되고 부가정보는 광대역망을 통하여 전송되는 하이브리드 전송(Hybrid delivery)의 경우, 서로 다른 망(network)을 통하여 전송되는 패킷들은 수신 단말에서 큰 지연이 발생될 수 있으며, 이 경우 수신 단말에서의 재생시 AV 스트리밍과 상기 AV 스트리밍의 부가정보간에 정확한 동기가 맞지 않아 동기화된 출력을 얻을 수 없는 문제가 있다.

따라서, 본 발명의 목적은 하이브리드 전송시 서로 다른 망(network)을 통하여 전송되는 패킷들간의 동기화를 하기 위한 하이브리드 전송시 동기화 방법을 제공하는 것이다.

전술한 본 발명의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 하이브리드 전송시 동기화 방법은 제1 망(network)을 통하여 제1 MMT 데이터가 전송되고 제2 망(network)을 통하여 제2 MMT 데이터가 전송되는 하이브리드 전송시 수신 단말에서 상기 제1 MMT 데이터 및 상기 제2 MMT 데이터 중 적어도 하나의 전송 지연으로 인하여 상기 수신 단말의 버퍼의 용량 초과가 발생된 경우 상기 버퍼에 저장된 MMT 데이터의 타입을 판단하는 단계와, 상기 버퍼에 저장된 MMT 데이터의 타입이 중요도가 높은 MMT 데이터인 경우 상기 중요도가 높은 MMT 데이터를 스토리지(storage)를 활용하여 동기화하는 단계를 포함한다. 상기 중요도가 높은 MMT 데이터를 스토리지(storage)를 활용하여 동기화하는 단계는 상기 용량 초과가 발생한 버퍼로부터 상기 중요도가 높은 MMT 데이터를 스토리지(storage)에 저장하는 단계와, 중요도가 낮은 MMT 데이터가 상기 수신 단말에 도착시 상기 스토리지에 저장된 상기 중요도가 높은 MMT 데이터를 상기 버퍼로 읽어들이는 단계와, 상기 수신 단말에 도착한 중요도가 낮은 MMT 데이터와 상기 스토리지로부터 버퍼로 읽어들인 중요도가 높은 MMT 데이터를 동기화시키는 단계를 포함할 수 있다. 상기 버퍼에 저장된 MMT 데이터가 중요도가 낮은 MMT 데이터인 경우 소정의 버퍼 관리 정책 테이블에 기초하여 버퍼 관리 정책을 적용하는 단계를 더 포함할 수 있다. 상기 버퍼에 저장된 MMT 데이터가 중요도가 낮은 MMT 데이터인 경우 소정의 버퍼 관리 정책 테이블에 기초하여 버퍼 관리 정책을 적용하는 단계는 상기 중요도가 낮은 MMT 데이터에 지연이 없는 경우 플레이시키는 단계와, 상기 중요도가 낮은 MMT 데이터에 지연이 있는 경우 플레이백(playback)을 중지시키는 단계를 포함하되, 상기 지연된 중요도가 낮은 MMT 데이터를 이용 가능하게 된 때에 플레이시킬 수 있다.

상술한 바와 같은 제1 망(network)을 통하여 제1 MMT 데이터가 전송되고 제2 망(network)을 통하여 제2 MMT 데이터가 전송되는 하이브리드 전송시 수신 단말에서의 동기화 방법에 따르면, 상기 제1 MMT 데이터 및 상기 제2 MMT 데이터 중 적어도 하나의 전송 지연으로 인하여 상기 수신 단말의 버퍼의 용량 초과가 발생된 경우 MMT 데이터 타입을 판별하여 MMT 데이터의 중요도에 따라 스토리지를 활용하거나 버퍼 관리 정책을 적응적으로 적용함으로써 하이브리드 전송시 동기화를 달성할 수 있다.

도 1은 본 발명의 일실시예에 따른 MMT 계층 구조를 나타낸 개념도이다.
도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.
도 3은 하이브리드 전송의 경우 서로 다른 망(network) 및 서로 다른 경로를 통하여 전송된 MMT 애셋들 간에 지연이 발생되는 경우를 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 하이브리드 전송시 MMT 애셋들간에 지연이 발생한 경우 동기화 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 하이브리드 전송시 MMT 애셋들간에 지연이 발생한 경우 동기화 방법을 설명하기 위한 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하, 컨텐츠 콤포넌트(content component), 컨텐츠(content), 하이브리드 전송(hybrid delievery), 표현(presentation), 서비스(service), 서비스 정보(service information)의 용어의 의미를 다음과 같이 정의한다.

컨텐츠 콤포넌트(content component) 또는 미디어 콤포넌트(media component)는 단일 종류의 미디어(media of a single type) 또는 단일 종류의 미디어의 부분 집합(subset of the media of a single type)으로 정의되며, 예를 들어, 비디오 트랙(video track), 영화 자막(movie subtitles), 또는 비디오 향상계층(enhancement layer of video)이 될 수 있다.

컨텐츠(content)는 컨텐츠 콤포넌트의 집합으로 정의하며, 예를 들어 영화(movie), 노래(song)등이 될 수 있다.

하이브리드 전송(hybrid delievery)은 하나 또는 하나 이상의 컨텐츠 컴포넌트들이 하나 이상의 물리적으로 서로 다른 형태의 망(network)을 통하여 동시에 전송되는 것으로 정의한다.

표현(presentation)은 사용자가 하나의 컨텐츠 컴포넌트 또는 하나의 서비스를 경험(예를 들어 영화 감상)할 수 있도록 하나 또는 하나 이상의 장치들에 의해 수행되는 동작(operation)으로 정의한다.

서비스(service)는 표현(presentation) 또는 저장(storage)을 위해 전송되는 하나 또는 하나 이상의 컨텐츠 컴포넌트로 정의한다.

서비스 정보(service information)는 하나의 서비스, 상기 서비스의 특성(characteristics) 및 컴포넌트들을 기술하는 메타 데이터로 정의한다.

이하에서, 제1 망(network) 또는 제2 망(network)는 방송망(broadcast network), 광대역망(broadband network), 케이블망(cable network), 또는 위성통신망(satellite communication network)을 포함하는 다양한 네트워크를 포함한다.

도 1은 본 발명의 일실시예에 따른 MMT 계층 구조를 나타낸 개념도이다.

MMT(Mpeg Media Transport) 계층은 전송 계층(Transport layer)(10) 위에서 동작하며, 도 1을 참조하면, MMT 계층은 전송 계층(10) 위에서부터 순차적으로 전달 계층(Delivery layer), 캡슐화 계층(Encapsulation layer)의 기능 영역을 포함한다. 또한, MMT 계층은 전달(D) 계층 및 캡슐화(E) 계층과 상호 연동하여 계층간(Cross-layer) 제어 동작을 수행하는 제어 계층(Control layer)의 기능 영역을 더 포함할 수 있다.

캡슐화(E) 계층은 스토리지(storage) 장치에 저장되거나 페이로드(payload)로서 전달되도록 하기 위하여 부호화된 미디어 컴포넌트들을 캡슐화하는 포맷을 정의한다. 전달(D) 계층은 상기 캡슐화된 미디어 컴포넌트를 전송하는데 필요한 포맷과 기능을 제공한다. 제어(C) 계층은 미디어의 전달 및 소비를 제어하는 기능을 제공한다.

캡슐화(E) 계층은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 멀티플렉싱(Multiplexing), 동기화(Synchronization)등의 기능을 담당할 수 있다.

다양한 종류의 멀티미디어 컴포넌트들이 캡슐화(E) 계층에서 제공되는 기능에 의하여 전송 및 소비되기 위하여 캡슐화(encapsulated)되고 서로 합해질 수 있다. 캡슐화된 미디어 컴포넌트 및 미디어 컴포넌트들의 구성(configurations) 정보는 캡슐화(E) 계층의 기능 영역에서 제공된다.

캡슐화된 미디어 컴포넌트들에 대한 주된 정보는 통합(aggregation), 우선 순위(prioritization), 미디어 프래그먼트의 의존성, M-유닛(140)의 타이밍 정보 및 구조 정보, MMT 애셋(150)의 식별 정보, 초기화 정보 및 코덱 정보를 포함할 수 있다. 미디어 컴포넌트들의 구성(configurations) 정보는 MMT 패키지(160) 및 MMT 애셋(150)의 식별 정보, MMT 애셋(150)의 리스트를 가지는 구성 정보, MMT 패키지(160)내의 MMT 애셋(150)들의 컴포지션 정보(composition information)(162) 및 전송 특성(transport characteristics) 정보(164)를 포함할 수 있다.

캡슐화(E) 계층은 크게 E.1 계층(230), E.2 계층(232) 및 E.3 계층(234) 3개의 계층으로 세분화될 수 있다.

E.3계층(234)은 미디어 코딩 계층(30)으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)을 캡슐화하여 M-유닛(M-Unit)(140)을 생성한다.

E.2 계층(232)은 E.3계층(234)으로부터 제공된 M-유닛(140)을 캡슐화하여 MMT 애셋(150)을 생성한다.

E.1 계층(E.1 Layer)은 E.2 계층(232)으로부터 제공된 MMT 애셋(150)을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다.

전달(D) 계층은 전송 계층(10)과 캡슐화(E) 계층 사이에서, 네트워크를 통해 전송되는 비디오, 오디오등과 같은 미디어(Media)의 다중화(multiplexing), 패킷 레벨의 통합(aggregation) 및/또는 분할(Fragmentation), 네트워크 패킷화(Network packetization), QoS 제어, 동기화(Synchronization) 기능, 기존의 RTP와 같은 전송 계층(transport layer), 기존의 UDP, TCP와 같은 전송 계층(transport layer), 캡슐화(E) 계층, 제어(C) 계층과의 인터페이스 등을 담당한다.

전달(D) 계층은 캡슐화(E) 계층으로부터의 페이로드(payloads)를 핸들링하기 위하여 캡슐화(E) 계층으로부터의 넘어온 서로 다른 타입의 페이로드를 식별한다.

전달(D) 계층은 서로 다른 망과 서로 다른 채널을 통하여 전달되는 패킷들간의 임시적인 관계(temporal relation)를 다룰 수 있다. 상기 동기화(Synchronization) 기능은 타임스탬프등을 이용한 하이브리드망 동기화를 포함할 수 있다.

전달(D) 계층은 실시간 미디어 전송을 위해 MMT 전달 패킷(MMT delivery packets)의 타이밍 제약(timing constraints)을 다룰 수 있다.

전달(D) 계층은 전방향 에러 보정(Forward Error Correction) 및 재전송과 같은 MMT 미디어 패킷의 에러 제어를 수행할 수 있다.

전달(D) 계층은 MMT 미디어 패킷의 흐름 제어를 수행할 수 있다.

전달(D) 계층은 MMT 미디어 패킷의 전달을 위한 소정 레벨의 QoS를 유지하기 위하여 크로스 레이어 디자인(Cross-layer design)을 통하여 하위 계층(MAC, PHY) 뿐만 아니라 다른 MMT 계층과의 인터랙션(interaction)을 수행할 수 있다.

전달(D) 계층은 크게 D.1 계층(120), D.2 계층(110) 및 D.3 계층(115) 3개의 계층으로 세분화될 수 있다.

D.1 계층(120)은 E.1 계층(150)으로부터 전달된 MMT 패키지(MMT Package)(160)를 받아서 MMT 페이로드 포맷(MMT Payload format)(170)을 생성한다.

D.2 계층(110)은 D.1 계층(120)으로부터 전달된 MMT 페이로드 포맷(170)을 받아서 MMT 패키지(MMT Package)를 생성한다.

D.3 계층(115)은 교차 계층 설계(cross-layer Design)에 의해 계층간에 정보를 교환할 수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어 D.3 계층(115)은 하위 계층인 MAC/PHY의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다. MAC/PHY의 QoS 파라미터는 예를 들어, 비트율(bitrate), 패킷 손실율(packet loss ratio), 예측된 지연(expected delay), 이용 가능한 버퍼 크기 등이 될 수 있다.

제어 계층(Control layer)은 크게 C.1 계층(220), C.2 계층(210) 2개의 계층으로 세분화될 수 있다.

제어 계층(Control layer)은 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및 또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization), 다른 계층, 즉 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 담당할 수 있다. 상기 동기화는 하이브리드망에서의 동기화 제어를 포함할 수 있다.

C.2 계층(210)은 전달 세션 관리(delivery session management)를 수행할 수 있다. 상기 전달 세션 관리는 전달(D) 계층의 엔드-포인트들(end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다. 상기 전달 세션 관리에서 정의되는 제어 메시지는 흐름 제어(flow control), 전달 세션 관리, 전달 세션 모니터링, 에러 제어(error control), 하이브리드망 동기화 제어등에 사용될 수 있다. C.2 계층(210)은 전달(D) 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 상기 전달(D) 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링은 예를 들어 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 관리(모니터링, 흐름 제어, 에러 제어등), 설정된 전달 세션에 대한 리소스 예약, 하이브리드망 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 또한, C.2 계층(210)은 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능을 담당할 수 있다.

C.1 계층(220)은 표현 세션 관리(presentation session management)를 수행할 수 있다. 상기 표현 세션 관리는 미디어 표현, 세션 관리, 미디어 소비에 요구되는 정보 제공을 위하여 애플리케이션간에 교환된 제어 메시지의 포맷을 정의할 수 있다. C.1 계층(220)은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation, control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다.

제어 메시지(control message; 또는 제어 정보(control information))는 제어(C) 계층에서 생성되어 방송망 및/또는 광대역망을 통하여 전송될 수 있다.

방송망 및 광대역망 모두를 통하여 전송되는 경우, 방송망을 통하여 전송되는 제어 메시지의 기능은 광대역망을 통하여 전송되는 제어 메시지의 기능과 동일할 수 있다. 애플리케이션 및 전송(delivery)의 종류에 따라서 제어 메시지의 신택스(syntax) 및 포맷(format)은 달라질 수 있다. 예를 들어, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)과 동일한 공통 포맷(common format)이 방송망 및 광대역망 각각으로 전송되는 제어 메시지에 사용될 수 있다. 또는, 하이브리드 전송의 경우, 동일한 공통 제어 정보(common control information)가 방송망 및 광대역망 각각마다 서로 다른 포맷(different format)으로 전송될 수도 있다. 또는, 하이브리드 전송의 경우, 방송망 및 광대역망 각각마다 서로 다른 제어 정보(different control information)와 서로 다른 포맷(different format)으로 전송될 수도 있다.

도 2는 도 1의 MMT 계층 구조의 각 계층별로 사용되는 단위 정보(또는 데이터 또는 패킷)의 포맷을 나타낸다.

미디어 프래그먼트 유닛(Media Fragment Unit; MFU)(130)는 부호화된 미디어 분할 데이터(coded media fragment data, 132)와 MFUH(Media Fragment Unit Header)(134)로 이루어진다.

미디어 프래그먼트 유닛(130)은 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 미디어 디코더에서 독립적으로 소비될 수 있는 가장 작은 데이터 유닛을 싣는다. MFUH(134)는 미디어 특성-예를 들어 유실 허용한계(loss-tolerance)-과 같은 부가 정보를 포함할 수 있다. MFU)(130)는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.

M-유닛(140)은 복수의 미디어 프래그먼트 유닛(130)을 포함하는 미디어 프래그먼트 유닛의 집합이다. M-유닛(140)은 특정 코덱(codec)에 독립적으로 일반 콘테이너 포맷(general container format)을 가지며 액세스 유닛(Access Unit)과 등가의 미디어 데이터를 포함한다. M-유닛(140)은 타임드 데이터 유닛(timed data unit) 또는 논-타임드 데이터 유닛(non-timed data unit) 을 가질 수 있다. M-유닛(140)은 미디어 분할 유닛 데이터(media fragment unit data, 132)와 동기화를 위한 타임 스탬프와 같은 부가 정보를 가지는 미디어 유닛 헤더(Media Unit Header; MUH)(142)포함할 수 있다.

MMT 애셋(150)은 복수의 M-유닛(M-Unit)들로 이루어진 M-유닛의 집합이다. MMT 애셋(150)은 단일의 데이터 소스로부터의 다수의 M-유닛(140)(타임드(timed) 또는 논-타임드(non-timed) 데이터)으로 이루어진 데이터 엔티티로서, MMT 애셋 정보(152)는 애셋 패키징 메타데이터(Asset packaging metadata) 및 데이터 타입과 같은 부가 정보를 포함한다. MMT 애셋(150)은 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 FF(File Format), PES(packetized elementary streams), M2TS(MPEG transport stream)등을 포함할 수 있다.

서비스 제공자(service provider)는 MMT 애셋들을 통합하여 MMT 애셋들을 공간-시간축상에 두고 멀티미디어 서비스를 생성할 수 있다.

MMT 패키지(160)는 하나 또는 하나 이상의 MMT 애셋(150)을 포함하는 MMT 애셋의 집합이다. MMT 패키지 내의 MMT 애셋들은 다중화되거나 또는 사슬같이 연결(concatenated)될 수 있다. MMT 패키지는 MMT 애셋들의 전달을 위해 정보를 제공할 경우 무슨 전송 방법으로 어떻게 전송해야하는지에 대한 자신의 고유 전송 특성을 가질 수 있다. . MMT 패키지는 캡슐화되어 전달(D) 계층에 의해 전송될 수 있다.

MMT 패키지(160)의 패키지 정보(package information)(165)는 구성 정보(Configuration Information)를 포함할 수 있다. 구성 정보(Configuration Information)는 MMT 애셋들의 리스트, 패키지 식별 정보(package identification information), 콤포지션 정보(composition information)(162) 및 전송 특성(transport characteristics)(164)와 같은 부가 정보를 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 애셋(150)들 사이의 관계(relationship)에 대한 정보를 포함한다.

또한, 콤포지션 정보(composition information)(162)는 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 콤포지션 정보(composition information)(162)는 MMT 패키지내의 시간적, 공간적, 적응적 관계(relationship)에 대한 정보를 포함할 수 있다. 자세한 설명은 후술한다.

전송 특성(transport characteristics) 정보(164)는 전송 특성에 대한 정보를 포함하며, 각각의 MMT 애셋(또는 MMT 패킷)의 전송 조건(delivery condition)을 결정하기 위해 필요한 정보를 제공할 수 있다. 전송 특성 정보는 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다.

트래픽 기술 파라미터는 미디어 프래그먼트 유닛(MFU)(130) 또는 M-유닛(140)에 대한 비트율(bitrate) 정보, 우선 순위(priority) 정보등을 포함할 수 있다. 비트율 정보는 예를 들어 MMT 애셋이 가변 비트율(Variable BitRate; VBR) 또는 고정 비트율(Constant BitRate; CBR)인지 여부에 대한 정보, 미디어 프래그먼트 유닛(MFU)(또는 M-유닛)에 대해 보장된 비트율(guaranteed bitrate), 미디어 프래그먼트 유닛(MFU)(또는 M-유닛)에 대한 최대 비트율을 포함할 수 있다. 상기 트래픽 기술 파라미터는 전달 경로상의 서버, 클라이언트, 기타 다른 구성요소들 간에 리소스 예약(resource reservation)을 위해 사용될 수 있으며, 예를 들어 MMT 애셋내의 미디어 프래그먼트 유닛(MFU)(또는 M-유닛)의 최대 크기 정보를 포함할 수 있다. 상기 트래픽 기술 파라미터는 주기적 또는 비주기적으로 업데이트될 수 있다.

QoS 기술자는 QoS 제어를 위한 정보를 포함하며, 예를 들어 지연(delay) 정보 및 손실 정보(loss information)를 포함할 수 있다. 손실 정보는 예를 들어 MMT 애셋의 전달 손실(delivery loss)이 허용되는지 않되는지에 대한 손실 지시자(loss indicator)를 포함할 수 있다. 예를 들어 손실 지시자가 ‘1’인 경우 ‘lossless’를 나타내고, ‘0’인 경우에는 ‘lossy’를 나타낼 수 있다. 지연(delay) 정보는 MMT 애셋의 전송 지연의 민감도를 구분하는데 사용되는 지연 지시자(delay indicator)를 포함할 수 있다. 지연 지시자는 MMT 애셋의 타입이 대화(conversation), 인터랙티브(interactive), 실시간(real time) 및 비실시간(non-realtime) 인지 여부를 지시할 수 있다.

하나의 컨텐츠(content)는 하나의 MMT 패키지로 이루어질 수 있다. 또는 하나의 컨텐츠(content)는 복수개의 MMT 패키지로 이루어질 수도 있다.

하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 시간적(temporal), 공간적(spatial), 적응적(adaptive) 관계(relationship)를 나타내는 콤포지션 정보(composition information) 또는 구성 정보(configuration information)가 MMT 패키지들 중에 하나의 MMT 패키지 내부에 존재하거나 MMT 패키지 외부에 존재할 수 있다.

예를 들어 하이브리드 전송(hybrid delivery)의 경우 컨텐츠 컴포넌트(content component)들 중 일부는 방송망(broadcast network)을 통해 전송되고 컨텐츠 컴포넌트(content component)들 중 나머지 부분은 광대역망(broadband network)을 통해 전송될 수 있다. 예를 들어 하나의 멀티뷰 서비스를 구성하는 복수의 AV 스트림(audiovisual stream)의 경우 하나의 스트림은 방송망으로 전송되고 다른 스트림은 광대역망으로 전송될 수 있으며, 각각의 AV 스트림은 다중화되고 클라이언트 단말에 개별적으로 수신되어 저장될 수 있다. 또는 예를 들어 위젯(widget)과 같은 애플리케이션 소프트웨어는 광대역망으로 전송되고, AV 스트림(AV 프로그램)은 기존 방송망으로 전달되는 시나리오도 존재할 수 있다.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 복수의 AV 스트림 전체가 하나의 MMT 패키지로 될 수 있으며, 이 경우에는 복수의 스트림 중의 하나는 하나의 클라이언트 단말에만 저장될 수 있고, 스토리지 컨텐츠(storage content)는 MMT 패키지의 부분이 되며, 클라이언트 단말은 콤포지션 정보(composition information) 또는 구성 정보(configuration information)를 재기록 해야하고, 재기록 된 컨텐츠는 서버와 무관한 새로운 MMT 패키지가 된다.

상기와 같은 멀티뷰 서비스 시나리오 및/또는 위젯(widget) 시나리오의 경우, 각각의 AV 스트림이 하나의 MMT 패키지로도 될 수 있으며, 이 경우에는 복수의 MMT 패키지가 하나의 컨텐츠를 구성하게 되며, 스토리지(storage)에는 MMT 패키지 단위로 기록되며, MMT 패키지들간의 관계(relationship)를 나타내는 컴포지션 정보 또는 구성 정보가 필요하다.

하나의 MMT 패키지내에 포함된 컴포지션 정보 또는 구성 정보(configuration information)는 다른 MMT 패키지내의 MMT 애셋을 참조할 수 있으며, 또한 아웃-밴드(out-band) 상황에서 MMT 패키지를 참조하는 MMT 패키지의 외부를 표현할 수 있다.

한편, 서비스 제공자(service provider)에 의해 제공된 MMT 애셋(160)들의 리스트 및 MMT 패키지(160)의 전달을 위해 가능한 경로를 클라이언트 단말에게 알려주기 위하여 MMT 패키지(160)는 제어(C) 계층을 통하여 서비스 디스커버리 정보(Service discovery information)로 번역되어 MMT 제어 메시지에는 서비스 디스커버리를 위한 정보 테이블을 포함할 수 있다.

도 3은 하이브리드 전송의 경우 서로 다른 망(network) 및 서로 다른 경로를 통하여 전송된 MMT 애셋들 간에 지연이 발생되는 경우를 설명하기 위한 개념도이다. 도 4는 본 발명의 일 실시예에 따른 하이브리드 전송시 MMT 애셋들간에 지연이 발생한 경우 동기화 방법을 설명하기 위한 개념도이다. 도 5는 본 발명의 일 실시예에 따른 하이브리드 전송시 MMT 애셋들간에 지연이 발생한 경우 동기화 방법을 설명하기 위한 순서도이다.

먼저, 도 3을 참조하면, 하이브리드 전송(hybrid delivery) 시나리오의 경우 AV 스트림(Audiovisual stream)은 송신장치 1(서버, 310)로부터 방송망(broadcast network, 311)을 통하여 수신 단말(350)에 도착하고, 위젯(widget)은 송신장치 2(서버, 310)로부터 IP 망과 같은 광대역망(broadband network, 313)을 통하여 수신 단말(클라이언트, 350)에 도착한다.

이 경우, AV 스트림과 위젯은 서로 다른 망과 서로 다른 경로를 거치므로 수신 단말(350)에서 큰 지연(delay)가 발생될 수 있다. 특히, 광대역망의 네트워크 혼잡(congestion)으로 인하여 위젯이 제 시간에 도착하지 못하는 경우 방송망을 통하여 도착한 AV 스트림은 도 4에 도시된 바와 같이 수신 단말(350)의 버퍼(410)의 용량을 초과하여 버퍼(410)에 가득 차게 된다. 따라서, 하이브리드 전송을 통해 전송된 MMT 애셋들(비디오, 오디오, 위젯) 중 하나(여기서는 위젯)의 지연으로 인하여 수신 단말(350)에서는 수신된 AV 스트림과 위젯간에 동기화를 맞출 수 없고 그 결과 재생시 동기화된 출력을 얻을 수 없는 문제점이 있다.

이하, 상기와 같은 문제점을 해결하기 위하여 본 발명의 일실시예에 따른 하이브리드 전송(hybrid delivery) 시나리오의 경우 버퍼 관리 정책 및 스토리지(storage)를 활용한 MMT 애셋들 간에 동기화 방법을 도 4 및 도 5를 참조하여 설명한다.

도 5를 참조하면, 하이브리드 전송(hybrid delivery) 시나리오의 경우 송신장치 1(서버, 310)은 제1 MMT 패킷을 방송망(broadcast network)을 통하여 수신 단말(350)로 전송하고(단계 501), 송신장치 2(서버, 315)는 제2 MMT 패킷을 IP 망과 같은 광대역망(broadband network)을 통하여 수신 단말(350)로 전송한다(단계 503). 여기서, 제1 MMT 패킷은 예를 들어 AV 스트림(Audiovisual stream)이 될 수 있다. 제2 MMT 패킷은 위젯(widget)이 될 수 있다.

수신 단말(350)은 수신된 제1 MMT 패킷(예를 들어 AV 스트림)을 도 4에 도시된 바와 같이 버퍼에 Video 1, Audio 1, …, Video N, Audio N과 같이 순차적으로 저장하고, 버퍼(410)의 용량을 초과하여 오버플로우가 발생하는지 판단한다(단계 507). 광대역망의 네트워크 혼잡(congestion)으로 인하여 위젯이 광대역망을 통과하여 늦게 도착하는 경우 방송망을 통하여 도착한 AV 스트림은 도 4에 도시된 바와 같이 수신 단말(350)의 버퍼(410)의 용량을 초과하여 버퍼 오버플로우가 발생된다.

수신 단말(350)은 상기 판단 결과, 버퍼(410)의 오버플로우가 발생된 경우 MMT 애셋의 타입을 판단하여 MMT 애셋의 데이터 타입이 중요한 데이터 인지 여부를 확인한다(단계 509). 여기서, MMT 애셋의 타입은 도 2의 MMT 애셋(150)의 MMT 애셋 정보(152)를 참조하여 MMT 애셋의 데이터 타입을 확인할 수 있다. 예를 들어, MMT 애셋의 데이터 타입이 오디오 또는 비디오인 경우 상대적으로 중요도가 높은 데이터로 판단하고, MMT 애셋의 데이터 타입이 위젯, 방송 프로그램 부가 정보 등인 경우 상대적으로 중요도가 낮은 데이터로 판단할 수 있다.

상기 단계 511에서의 판단 결과 MMT 애셋이 중요도가 높은 MMT 애셋인 경우 상기 중요도가 높은 MMT 애셋을 스토리지를 활용하여 동기화한다. 구체적으로, 상기 단계 511에서의 판단 결과 MMT 애셋이 중요도가 높은 MMT 애셋인 경우 오버플로우가 발생한 버퍼로부터 중요도가 높은 MMT 애셋을 스토리지(storage, 450)에 별도로 저장한다(단계 513). 그리고, 상기 광대역망을 통해 전송되어 지연이 발생한 제2 MMT 애셋이 수신 단말(350)에 도착시 상기 스토리지(450)에 저장된 오디오, 비디오등의 제1 MMT 애셋을 버퍼로 읽어들이고 상기 수신 단말(350)에 도착한 제2 MMT 애셋과 상기 스토리지(450)으로부터 버퍼로 읽어들인 제1 MMT 애셋을 동기화시킨다(단계 515).

한편, 상기 단계 511에서의 판단 결과, MMT 애셋이 중요도가 낮은 MMT 애셋인 경우 하기의 표 1의 버퍼 관리 정책(Buffer Management Policy; BMP) 테이블에 따라서 버퍼 관리 정책(BMP)를 적용한다(단계 517).

표 1을 참조하여, 수신 단말(350)에서의 버퍼 관리 정책(BMP)을 설명하면, 위젯과 같이 중요도가 낮은 MMT 애셋에 지연이 없는 경우 MMT 패키지를 플레이시키고, 위젯과 같이 중요도가 낮은 MMT 애셋이 지연된 경우 MMT 패키지의 플레이백(playback)을 중지시키되, 지연된 MMT 애셋(위젯과 같이 중요도가 낮은 MMT 애셋)을 이용 가능하게 된 때에 플레이시킨다.

0	정책 없음(No policy)
1	본 MMT 애셋이 지연된 경우 MMT 패키지의 플레이백을 중지(Pause Playback of Package if this Asset delayed)
2	본 MMT 애셋의 지연이 없는 경우 MMT 패키지를 플레이시킴(Play Package without this Asset if delayed)
3	지연된 MMT 애셋을 이용 가능하게 된 때에 플레이(Play delayed Asset when it becomes available)

즉, 수신 단말(350)은 중요도가 낮은 MMT 애셋인 경우 버퍼 관리 정책(BMP)를 적용하고, 중요도가 높은 MMT 애셋을 스토리지(450)를 활용하여 동기화 시킨다. 그 이후, 수신 단말(350)은 제1 MMT 애셋과 제2 MMT 애셋을 재생하여 출력한다(단계 521).

전술한 본 발명의 일 실시예에서는 하이브리드 전송(hybrid delivery) 시나리오의 경우 서로 다른 망을 통하여 전송된 제1 MMT 애셋과 제2 MMT 애셋의 지연에 따라 수신 단말에서의 버퍼 용량 초과가 발생된 경우 MMT 애셋의 중요도에 따라 전술한 바와 같이 스토리지를 활용하여 동기화를 수행하거나 버퍼 관리 정책을 적응적으로 적용하여 동기화를 수행하는 예를 설명하였으나, 본 발명의 다른 실시예에서는 버퍼의 용량이 초과된 경우 버퍼 관리 정책만을 적응적으로 수행하여 동기화를 수행할 수도 있다.

본 발명의 다른 실시예에서는 MMT 애셋이 전송되는 망(network)의 상태에 따라 상기 스토리지를 활용하여 동기화를 수행하거나 상기 버퍼 관리 정책을 적응적으로 적용하여 동기화할 수 있다. 상기 망의 상태는 망의 트래픽 상태를 포함할 수 있다.

상기에서는 제1 MMT 애셋과 제2 MMT 애셋으로 하이브리드 전송하는 경우를 설명하였으나, MMT 애셋만이 아닌 서브스트림 단위, MMT 패키지 단위 또는 MMT 패킷 단위 로 전송될수도 있고 또한 비디오 컨텐츠가 제1 레이어, 제2 레이어와 같이 복수의 레이어로 구성된 경우 레이어 단위로 하이브리드 전송할 수도 있다.

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (4)

1. 제1 망(network)을 통하여 제1 MMT 데이터가 전송되고 제2 망(network)을 통하여 제2 MMT 데이터가 전송되는 하이브리드 전송시 수신 단말에서의 동기화 방법에 있어서,
   상기 제1 MMT 데이터 및 상기 제2 MMT 데이터 중 적어도 하나의 전송 지연으로 인하여 상기 수신 단말의 버퍼의 용량 초과가 발생된 경우 상기 버퍼에 저장된 MMT 데이터의 타입을 판단하는 단계; 및
   상기 버퍼에 저장된 MMT 데이터의 타입이 중요도가 높은 MMT 데이터인 경우 상기 중요도가 높은 MMT 데이터를 스토리지(storage)를 활용하여 동기화하는 단계
   를 포함하는 것을 특징으로 하는 하이브리드 전송시 동기화 방법.
2. 제 1항에 있어서, 상기 중요도가 높은 MMT 데이터를 스토리지(storage)를 활용하여 동기화하는 단계는
   상기 용량 초과가 발생한 버퍼로부터 상기 중요도가 높은 MMT 데이터를 스토리지(storage)에 저장하는 단계;
   중요도가 낮은 MMT 데이터가 상기 수신 단말에 도착시 상기 스토리지에 저장된 상기 중요도가 높은 MMT 데이터를 상기 버퍼로 읽어들이는 단계; 및
   상기 수신 단말에 도착한 중요도가 낮은 MMT 데이터와 상기 스토리지로부터 버퍼로 읽어들인 중요도가 높은 MMT 데이터를 동기화시키는 단계를 포함하는 것을 특징으로 하는 하이브리드 전송시 동기화 방법.
3. 제 1항에 있어서,
   상기 버퍼에 저장된 MMT 데이터가 중요도가 낮은 MMT 데이터인 경우 소정의 버퍼 관리 정책 테이블에 기초하여 버퍼 관리 정책을 적용하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 전송시 동기화 방법.
4. 제 1항에 있어서, 상기 버퍼에 저장된 MMT 데이터가 중요도가 낮은 MMT 데이터인 경우 소정의 버퍼 관리 정책 테이블에 기초하여 버퍼 관리 정책을 적용하는 단계는
   상기 중요도가 낮은 MMT 데이터에 지연이 없는 경우 플레이시키는 단계;
   상기 중요도가 낮은 MMT 데이터에 지연이 있는 경우 플레이백(playback)을 중지시키는 단계를 포함하되,
   상기 지연된 중요도가 낮은 MMT 데이터를 이용 가능하게 된 때에 플레이시키는 것을 특징으로 하는 하이브리드 전송시 동기화 방법.

Images