KR20130031767A

KR20130031767A - 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치

Info

Publication number: KR20130031767A
Application number: KR1020120045360A
Authority: KR
Inventors: 황승오; 김용한; 박경모; 유성열
Original assignee: 서울시립대학교 산학협력단; 삼성전자주식회사
Priority date: 2011-09-21
Filing date: 2012-04-30
Publication date: 2013-03-29
Also published as: WO2013042961A1; JP6219826B2; EP2759142A4; CN103891301B; US20130074141A1; JP2014530558A; CN103891301A; EP2759142B1; KR101946861B1; US9877051B2; EP2759142A1

Abstract

본 발명은 멀티미디어 방송 서비스에서 수신기가 방송망 또는 통신망으로부터 수신한 미디어 데이터와 보조 데이터를 동기화하기 위한 방법 및 장치에 관한 것이다. 본 발명에 따르면 방송 서비스를 위해 필수적으로 제공되는 정 미디어 데이터를 수신하고, 상기 정 미디어 데이터에 대한 보조 데이터를 포함하는 부 미디어 데이터에 대한 제어정보를 수신하여 저장하고, 상기 제어정보에 포함된 상기 부 미디어 데이터의 위치 정보를 확인하고, 상기 위치 정보에 따라 상기 부 미디어 데이터를 수신하여 저장하고, 상기 정 미디어 데이터의 헤더에 상기 부 미디어 데이터의 식별자가 포함되어 있는 경우에, 상기 부 미디어 데이터의 식별자에 대응되는 상기 저장된 부 미디어 데이터를 읽어 들여, 상기 헤더에 포함된 동기화 정보에 따라 상기 정 미디어 데이터와 동기화하여 실행한다. 이와 같이 하면, 수신기가 미디어 시간축을 구성하고 유지 관리하지 않아도 되고, 송신 측은 미디어 시간축을 위한 제어 정보를 전송하지 않아도 되며, 수신기가 이러한 제어 정보를 주기적으로 읽어서 처리하여야 하는 부담도 없다.

Description

멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치{METHOD AND APPARATUS FOR SYNCHRONIZING MEDIA DATA OF MULTIMEDIA BROADCAST SERVICE}

본 발명은 멀티미디어 방송 서비스에 관한 것으로, 특히 이종망(heterogeneous network) 환경에서 수신기가 방송망 또는 통신망으로부터 수신한 미디어 데이터와 보조 데이터를 동기화하기 위한 방법 및 장치에 관한 것이다.

일반적으로 멀티미디어 서비스에서는 오디오 또는 오디오가 부수된 비디오(이하, 정 미디어(regular media)라 함)가 기본적으로 제공되며, 경우에 따라 필요한 시점에서 웹 문서, 위젯(widget), 대화형 애플리케이션(interactive application), 오디오 클립, 비디오 클립, 그래픽, 문자, 이미지 등의 보조적인 데이터(이하, 부 미디어(adjunct media)라 함)가 함께 제공된다. 이러한 부 미디어는 정 미디어와 시간적으로 무관하게 제공되기도 하고(이하, 스케줄에 없는 부 미디어(unscheduled adjunct media)라 함), 반드시 정 미디어의 내용과 연계되어야 하는 경우에는 시간적으로 정 미디어의 내용 중 관련 부분에 맞춰서 함께 재생되도록 제공되기도 한다(이하, 스케줄에 있는 부 미디어(scheduled adjunct media)라 함). 후자의 경우에 부 미디어를 정 미디어의 내용 중 이와 관련된 부분에 맞춰 재생하는 것을 미디어 동기화(media synchronization)라 한다.

스케줄에 없는 부 미디어는 정 미디어의 내용과 동기화될 필요가 없으므로, 수신기는 스케줄에 없는 부 미디어를 수신하는 즉시 재생한다. 반면 스케줄에 있는 부 미디어는 정 미디어의 내용 중 이와 관련된 부분에서 재생을 시작하고, 부 미디어의 특성에 따라 다르지만, 사용자의 요청이 있을 때, 채널을 전환하였을 때 또는 부 미디어 데이터를 모두 소진하였을 때 그 재생이 종료된다.

종래의 DVB(Digital Video Broadcasting) 표준 ETSI TS 102 823 V1.1.1 (2005-11)에서는 부 미디어와 유사한 데이터를 보조 데이터(auxiliary data)라 정의하였다. 본 명세서에서는 MMT(MPEG Media Transport) 표준(ISO/IEC JTC1/SC29/WG11)에 맞게, 방송망과 인터넷을 모두 활용하여 데이터를 수신하는 이종망 환경에서의 스마트TV에 적합하도록 보조 데이터의 개념을 확장한다. MMT 표준에서는 스트림과 유사한 개념으로 애셋(asset)이라는 용어를 사용하는데, 본 명세서에서는 종래의 방송 표준에서의 웹 문서, 위젯, 대화형 애플리케이션, 오디오 클립, 비디오 클립, 그래픽, 문자, 이미지 등에, 부분적인 미디어 압축 데이터 스트림을 일컫는 부분 미디어 스트림(partial media stream)을 추가하여 이를 부 애셋(adjunct asset)이라 정의한다. 또한 주 미디어의 압축 데이터 스트림은 정 애셋(regular asset)이라 정의한다.

도 1은 종래의 부분 미디어 스트림의 예를 도시한 것이다.

도 1에 도시한 바와 같이, 스테레오스코픽(stereoscopic) 비디오의 경우 좌안 및 우안 영상을 포함하며, 이 중 좌안 영상(111,113,115)은 정 애셋(110)으로 전송하고, 우안 영상(121)은 일정 기간 동안만(예를 들어, 1 분간) 부 애셋(120)으로서 전송할 수 있다. 이런 경우 수신기는 부 애셋(120)을 인터넷을 통해 미리 다운로드 받은 후, 정 애셋(110)을 방송망을 통해 실시간으로 수신할 때에 서로 프레임 단위로 동기를 맞춰서 재생함으로써 일정 기간 동안의 시구간에서 스테레오스코픽 비디오 서비스를 제공할 수 있다.

한편, 종래의 MPEG-2 DSM-CC 표준(ISO/IEC 13818-6:1998)이나 DVB 표준(ETSI TS 102 823 V1.1.1)에서는 콘텐트 메타데이터 또는 보조 데이터와 오디오 또는 비디오의 동기를 맞추기 위해 미디어 동기화 클록인 MPEG-2의 시스템 타임 클록(STC, System Time Clock)을 사용하지 않고 프로그램 아이템 별 시간축(timeline)을 별도로 구성하여 사용한다. 이는 STC에 기반한 PCR(Program Clock Reference) 값에 불연속점이 존재할 수 있으므로, 프로그램 아이템의 시작부터 마지막까지 고정된 비율로 증가하는 연속적인 시간축을 구성하기 위해 PCR을 사용할 수 없기 때문이다. 이러한 프로그램 아이템별 시간축은 MPEG-2 DSM-CC 표준의 경우, 메타데이터 콘텐트 시간축(metadata content timeline)이라 부르고, DVB 표준의 경우 DVB 방송 시간축(DVB broadcast timeline)이라 부른다. 상기 두 표준에서의 시간축은 구성 방법이나 이름은 다르지만, 정 미디어와 부 미디어의 동기화를 위한 시간축이다(이하, 미디어 시간축(media timeline)이라 함). 종래에는 미디어 시간축을 기준으로 메타데이터를 비디오 세그먼트(segment)와 연관짓거나, 보조 데이터를 비디오에 맞춰 실행시키도록 하였다.

도 2는 종래의 MPEG-2 DSM-CC 표준에서의 메타데이터 콘텐트 시간축에 의해 부 애셋인 애플리케이션을 정 애셋인 비디오에 동기화하는 예를 도시한 것이다.

도 2를 참조하면, (c)는 정규 프로그램의 비디오에 대한 메타데이터 콘텐트 시간축을 도시한 것이다. 이는 비디오 시작부터 끝까지 재생 시간에 따라 연속적인 시간축이지만, 스튜디오 내 편집의 필요성에 따라 새 장면이 분 단위 시각부터 시작하도록 편집한 경우, 1 분 이내의 불연속 구간이 포함될 수 있다. (d)는 방송 시행 시에 (c)의 프로그램 사이에 삽입될 광고의 메타데이터 콘텐트 시간축을 도시한 것이다. 도 2에서는 광고 중 특정 시점에서 광고 저작자가 의도한 바에 따라 시행되어야 할 부 애셋인 애플리케이션이 존재한다. (b)는 (c)와 (d)를 방송망으로 전송할 경우, MPEG-2 시스템 표준의 STC에 따른 시간축을 도시한 것이다. STC에 의한 시간축 상에서는, 스트림 편집, 스트림 이어 붙이기(splicing) 등으로 인해 불연속 구간이 존재할 수 있다. STC 시간축 상에서 특정 시각을 지정하여 애플리케이션이 실행되도록 하려면, 동일 광고를 전송할 때마다 달라지는, 해당 시각에서의 STC 값을 매번 새롭게 읽어서 애플리케이션의 PTS(Presentation TimeStamp)로서 전송하여야 한다. MPEG-2 DSM-CC 표준에서는 이러한 불편함을 해소하는 방법으로서, (a)와 같이 전송하되, 애플리케이션을 실행해야 하는 시점을 메타데이터 콘텐트 시간축 B를 기준으로 지정하도록 하였다. 이 경우 광고 시작 시점에서부터의 상대적인 시간차를 애플리케이션의 실행 시점으로 지정하므로, 광고 전송 시마다 매번 그 값이 변하지 않고 고정된다. 그러나 수신기는 이러한 동기화를 달성하기 위해 메타데이터 콘텐트 시간축 A와 메타데이터 콘텐트 시간축 B를 내부적으로 재구성하고 유지 관리해야 하는 번거로움이 따른다.

또한 도 2와 같이 미디어 시간축을 수신기에서 구성하도록 하기 위해서는, 서버는 미디어 시간축 구성을 위한 제어 정보를 별도의 스트림으로 전송하여야 한다. 이는 별도의 TS 패킷 스트림을 필요로 하며, 별도의 PID(Packet IDentifier)를 이 스트림에 할당하여야 한다. 또한 서버는 이러한 별도의 스트림을 통해 여러 가지 서술자(descriptor)를 주기적으로 전송하여야 하고, 수신기는 이러한 서술자들을 읽어 들여 처리함으로써 미디어 시간축을 구성해야 한다. 또한 서버는 정 미디어와 부 미디어 간의 동기화를 위해, 부 미디어 시작 시점에 대한 미디어 시간축 상의 값을 부 미디어에 부착된 타임스탬프(timestamp)로 전달하여야 하고, 수신기는 이 타임스탬프를 STC 상의 값으로 변환하여야만 미디어 재생 동기를 달성할 수 있다.

도 3은 종래의 DVB 표준(ETSI TS 102 823 V1.1.1)에서의 DVB 방송 시간축에 의한 애플리케이션 동기화의 예를 도시한 것이다.

서버는 DVB 방송 시간축을 수신기로 전달하기 위해, 헤더에 PTS를 포함시켜서 broadcast_timeline_descriptor를 PES(Packetized Elementarty Stream) 패킷으로 전달하고 (DVB 시간축 값, PTS 값) 쌍의 정보를 주기적으로 전송해야 한다. 각 프로그램 세그먼트(segment)의 시간축은 DVB 방송 시간축을 기준으로 정해진다. 각 프로그램 세그먼트의 시간은 반드시 0부터 시작할 필요는 없으며, 도 3에 도시한 예에서는 정규 프로그램과 광고의 DVB 방송 시간축이 연속적으로 이어져 있다. 이는 수신측에서 DVB 방송 시간축 상의 불연속점을 탐지하여 광고만 골라내어 삭제하지 못하도록 하기 위함이다. 애플리케이션이 실행될 시점인 ③ 지점에 해당하는 STC 값은 직전(①과 ② 지점에 해당) 전송된 두 쌍의 (DVB 시간축 값, PTS 값) 정보를 이용하여 외삽법(extrapolation)으로 산정할 수 있다. 도 3의 경우에도 앞서 설명한 바와 같이 수신측에서 미디어 시간축을 구성하고 유지 관리해야 하므로 송신 측은 미디어 시간축을 위한 제어 정보를 전송해야 하고, 수신기는 이러한 제어 정보를 주기적으로 읽어서 처리하여야 하는 부담이 따른다.

본 발명이 해결하고자 하는 과제는 미디어 시간축을 구성하지 않고 정 미디어와 부 미디어간의 동기화를 달성할 수 있는 동기화 방법 및 장치를 제공하는 것이다.

또한 본 발명이 해결하고자 하는 과제는 수신기가 방송망 또는 통신망을 통해 전달 받은, 미디어와 연계된 보조 데이터를 미디어 서비스 제공자가 지정한 시점에서 미디어의 내용과 맞춰서 함께 재생할 수 있도록 하는 동기화 방법 및 장치를 제공하는 것이다.

본 발명의 실시예에 따른 멀티미디어 방송 서비스에서 데이터를 동기화하는 방법은, 방송 서비스를 위해 필수적으로 제공되는 정 미디어 데이터를 수신하는 과정과, 상기 정 미디어 데이터에 대한 보조 데이터를 포함하는 부 미디어 데이터에 대한 제어정보를 수신하여 저장하는 과정과, 상기 제어정보에 포함된 상기 부 미디어 데이터의 위치 정보를 확인하고, 상기 위치 정보에 따라 상기 부 미디어 데이터를 수신하여 저장하는 과정과, 상기 정 미디어 데이터의 헤더에 상기 부 미디어 데이터의 식별자가 포함되어 있는 경우에, 상기 부 미디어 데이터의 식별자에 대응되는 상기 저장된 부 미디어 데이터를 읽어 들여, 상기 헤더에 포함된 동기화 정보에 따라 상기 정 미디어 데이터와 동기화하여 실행하는 과정을 포함한다.

또한 본 발명의 실시예에 따른 멀티미디어 방송 서비스에서 데이터를 동기화하는 수신 장치는, 방송 서비스를 위해 필수적으로 제공되는 정 미디어 데이터를 수신하여 복호화하는 복호기와, 상기 정 미디어 데이터에 대한 보조 데이터를 포함하는 부 미디어 데이터에 대한 제어정보를 수신하여 저장하는 부 미디어 정보 저장소와, 상기 제어정보에 포함된 상기 부 미디어 데이터의 위치 정보를 확인하고, 상기 위치 정보에 따라 상기 부 미디어 데이터를 수신하여 저장하는 부 미디어 데이터 캐시와, 상기 정 미디어 데이터의 헤더에 상기 부 미디어 데이터의 식별자가 포함되어 있는 경우에, 상기 부 미디어 데이터의 식별자에 대응되는 상기 저장된 부 미디어 데이터를 읽어 들여, 상기 헤더에 포함된 동기화 정보에 따라 상기 정 미디어 데이터와 동기화하여 실행하는 실행부를 포함한다.

본 발명에 따르면 수신측에서 미디어 시간축을 구성하지 않고, 간단한 방법을 통해 정 미디어와 부 미디어간의 동기화를 달성할 수 있으므로 수신기가 미디어 시간축을 구성하고 유지 관리하지 않아도 되고, 송신 측은 미디어 시간축을 위한 제어 정보를 전송하지 않아도 되며, 수신기가 이러한 제어 정보를 주기적으로 읽어서 처리하여야 하는 부담도 없다.

도 1은 종래의 부분 미디어 스트림의 예를 도시한 도면
도 2는 종래의 MPEG-2 DSM-CC 표준에서의 메타데이터 콘텐트 시간축에 의해 부 애셋인 애플리케이션을 정 애셋인 비디오에 동기화하는 예를 도시한 도면
도 3은 종래의 DVB 표준(ETSI TS 102 823 V1.1.1)에서의 DVB 방송 시간축에 의한 애플리케이션 동기화의 예를 도시한 도면
도 4는 본 발명의 실시예에 따른 부 애셋 동기화를 위한 수신기의 구성을 도시한 도면
도 5는 본 발명의 실시예에 따른 수신기에서의 동기화 방법을 나타낸 순서도

하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하기로 한다.

먼저 본 발명을 설명하기에 앞서 명세서에서 사용되는 용어를 다음과 같이 정의한다.

미디어 서비스 (media service): 오디오, 비디오, 이미지, 문자, 그래픽, 대화형 애플리케이션 등의 다양한 미디어 중 하나 이상의 미디어를 이용하여 정보를 전달하는 서비스

전면 미디어 서비스 (foreground media service): 비디오 서비스, 오디오 서비스, 전자프로그램안내 서비스, 푸시 VoD(Push Video on Demand) 서비스, 포털(portal) 서비스 등 한 시점에서 한 시청자가 선택하여 즐길 수 있도록 시청자에게 직접 노출된 유료 또는 무료 미디어 상품

후면 미디어 서비스 (background broadcast service): 파일 다운로드를 위한 캐루젤(carousel), 인터넷을 통한 사전 다운로드(pre-download) 등과 같이 전면 미디어 서비스를 보조하지만, 시청자에게 직접 노출되지 않는 미디어 전달 서비스

비디오 서비스 (video service): 비디오가 주가 되는 서비스로서, 이에 부수된 오디오가 반드시 제공되며, 다른 언어의 오디오, 자막, 대화형 애플리케이션, 기타 부가 데이터 등이 함께 제공될 수 있다.

오디오 서비스 (audio service): 오디오가 주가 되는 서비스로서, 이에 관련된 비디오 또는 이미지, 대화형 애플리케이션, 기타 부가 데이터가 함께 제공될 수 있다.

대화형 애플리케이션 (interactive application): 비디오 또는 오디오 서비스 시청 중, 필요에 따라 호출되어 시청자에게 정보를 제공하고, 시청자의 반응을 전달받아 미디어 서비스를 제어하거나, 미디어 사업자의 서버로 정보를 전달하는 소프트웨어로서, 선언형(declarative) 및 절차형(procedural) 언어에 의한 소프트웨어를 통칭한다. 시청중인 비디오 또는 오디오 서비스와 연관되어 미디어 사업자에 의해 호출되기도 하고, 시청중인 미디어 서비스와 무관하게 미디어 사업자에 의해 호출되기도 한다. 또한 수신기 캐시에 이미 저장되어 시청자에게 인지된 대화형 애플리케이션은 시청자의 요구에 의해 호출되기도 한다.

정 미디어 (regular media): 미디어 서비스의 요건 상 반드시 제공하여야 하는 미디어. 예를 들어, 오디오 서비스의 오디오 또는 오디오가 부수된 비디오 서비스의 비디오와 오디오

부 미디어 (adjunct media): 미디어 서비스의 요건 상 반드시 제공하지 않아도 되나 필요에 따라 제공되는 미디어. 예를 들어, 웹 문서, 위젯, 대화형 애플리케이션, 오디오 클립, 비디오 클립, 그래픽, 문자, 이미지, 보조 미디어 구성요소 등을 지칭한다. 부 미디어는 항상 정 미디어와 함께 소비되며, 독자적으로 소비될 수 없다.

미디어 구성요소 (media component): 미디어를 구성하는 요소. 예를 들어, 스테레오스코픽 비디오의 경우, 좌안 영상과 우안 영상이 미디어 구성요소에 해당된다. 또 다른 예로서, 5.1 채널 오디오의 경우, 각 채널 오디오가 미디어 구성요소에 해당된다.

보조 미디어 구성요소 (auxiliary media component): 독립적으로는 하나의 미디어를 구성하지 못하고, 다른 미디어 구성요소와 함께 어떤 미디어를 구성하는 미디어 구성요소. 예를 들어, 2D/3D 시간 혼합형 서비스에서 좌안 및 우안 영상 중, 좌안 영상이 2D 영상으로 항상 제공되는 상황에서, 스테레오스코픽 비디오 구간에서만 제공되는 우안 영상은 보조 미디어 구성요소이다.

애셋 (asset): 미디어 구성요소에 대한 부호화 데이터. 여기서 부호화는 압축 부호화, 표준 형식에 맞춘 부호화 등을 일컫는다.

정 애셋 (regular asset): 정 미디어의 미디어 구성요소에 대한 부호화 데이터. 여기서 부호화는 압축 부호화, 표준 형식에 맞춘 부호화 등을 일컫는다.

부 애셋 (adjunct asset): 부 미디어의 미디어 구성요소 또는 보조 미디어 구성요소에 대한 부호화 데이터. 여기서 부호화는 압축 부호화, 표준 형식에 맞춘 부호화 등을 일컫는다.

프로그램 (program): 미디어 서비스의 한 인스턴스(instance). 예를 들어, 한 방송 채널의 내용 전체를 의미한다.

프로그램 아이템 (program item): 프로그램 중 어떤 시구간 집합의 내용. 예를 들어, 영화 한 편 내에 시작 광고, 중간 광고들, 마지막 광고가 섞여서 전송된다고 할 때, 광고를 포함한 영화에 해당하는 시구간의 내용. 여기서, 각 광고도 개별적인 프로그램 아이템이지만, 다른 프로그램 아이템에 포함된 내포형(embedded) 프로그램 아이템이다. 프로그램은 내포형이 아닌 프로그램 아이템들을 시간 축 상에서 연접한 결과이다.

패키지 (package): 프로그램 아이템에 대한 부호화 데이터로서, 애셋들과 이들에 대한 전송, 복호, 재생 등과 관련된 제어 정보로 구성된다.

주 애셋 (primary asset): 정 애셋 중에서 부 애셋에 대한 동기화 정보가 포함될 수 있는 정 애셋을 의미한다. 예를 들어, 비디오 스트림의 M 유닛의 부착 정보(attached information)로서 부 애셋의 동기화 및 제어 정보를 포함할 수 있다.

부착 정보 (attached information): 애셋에 대한 제어 정보, 설명 정보 등의 부가 정보를 의미한다. 부착 정보는 논리적 용어로서 실제로는 전달 계위 중 여러 계층의 헤더 내에 포함되며, 이 때는 헤더 정보라 불린다.

스트림형 애셋 (stream asset): 비디오 스트림, 오디오 스트림과 같이 시간적으로 무한히 생성될 수 있는 미디어 압축 데이터 형태의 애셋

비스트림형 애셋 (non-stream asset): 스트림형 애셋에 해당하지 않는 애셋

M 유닛 (M-unit): 애셋의 차하위 구성요소. 스트림형 애셋의 M 유닛은 한 번에 미디어 복호기(media decoder)로 입력될 수 있는 최소 데이터 단위로서, 그 복호 결과는 미디어에 따라 한 시점에서 또는 어떤 시구간 동안 시현될 수 있다. 예를 들어, 비디오 스트림의 경우, 한 프레임을 압축한 결과가 한 M 유닛이 될 수 있으며, 오디오 스트림의 경우, 24 ms 동안의 오디오 샘플을 압축한 결과가 한 M 유닛이 될 수 있다.

다음, 도면을 참조하여 본 발명에 따른 동기화 방법에 대해 설명한다.

정 애셋과 부 애셋의 동기화를 제어하기 위해서는 다음의 사항들을 고려해야 한다.

부 애셋의 시작 시점을 주 애셋의 시간 축 상의 원하는 시점과 일치하도록 프레임 단위까지 동기화할 수 있어야 한다. 주 애셋이 비디오인 경우에는 비디오 프레임 단위까지, 또 주 애셋이 오디오인 경우에는 오디오 프레임 단위까지 정밀하게 동기화할 수 있어야 한다. 또한 동기화를 달성하는 메커니즘은 가능한 한 효율적이라야 한다. 즉 동기화를 위해 전송되어야 하는 시그널링 정보의 구성은 가능한 한 간단하고, 그 데이터 양도 가능한 한 적어야 한다. 주 애셋에 동기화할 수 있는 부 애셋으로는 웹 문서, 위젯, 대화형 애플리케이션, 오디오 클립, 비디오 클립, 그래픽, 문자, 이미지 등의 스트림형이 아닌 보조 미디어뿐만 아니라, 스트림형의 보조 미디어 구성요소도 포함되어야 한다. 또한 웹 문서, 위젯, 대화형 애플리케이션, 오디오 클립, 비디오 클립, 그래픽, 문자, 이미지, 보조 미디어 구성요소 등의 부 애셋 종류를 수신기가 구분할 수 있도록 하여야 한다. 부 애셋은 방송사업자가 지정한 시점, 부 애셋이 수신기로 다운로드 완료된 시점, 시청자가 선택한 시점, 또는 다른 부 애셋에서 호출한 시점 중 하나 또는 그 이상에서도 실행될 수 있어야 한다. 부 애셋 식별자는 부 애셋이 실행되기 위해 필요한 일정 기간 동안 어떤 부 애셋을 세계적으로 유일무이하게 구별할 수 있도록 할당되어야 한다. 부 애셋을 읽어 올 위치로서는 같은 방송 사업자가 제공하는 방송 채널 내의 캐루젤 또는 인터넷 URL을 지정할 수 있어야 한다. 부 애셋이 여러 개의 파일로 구성되는 경우, 시작 파일(예를 들어, 웹문서의 경우 시작 페이지)을 지정할 수 있어야 한다. 부 애셋을 읽어 올 위치를 지정할 때에는 가능한 한 효율적인 표현 방법을 사용하여야 한다. 부 애셋이 미디어 서비스에 종속적인지(service-bound) 여부를 수신기로 알려줄 수 있어야 한다. 어떤 미디어 서비스에 종속적인 부 애셋은 해당 미디어 서비스가 종료되면 자동으로 종료된다. 부 애셋을 실행하는 것이 안전한지 여부를 수신기로 알려줄 수 있어야 한다. 방송사업자가 직접 제작하거나 그 안전성 여부를 확인한 부 애셋에 대해서는 안전함을 수신기로 알려줄 수 있어야 한다. 여러 부 애셋을 동시에 실행해야 하는 경우, 부 애셋 간의 우선순위를 수신기로 알려줄 수 있어야 한다. 부 애셋 서술 정보의 구조는 향후 이전 시스템과 호환적으로 확장 가능하여야 한다. 예를 들어, 추후 필요한 서술자를, 이전 시스템을 지원하는 수신기가 오동작함이 없이 추가할 수 있는 구조를 가져야 한다.

다음, 상기와 같은 요구사항들을 충족시키기 위한 동기화 방법을 설명한다.

도 4는 본 발명의 실시예에 따른 부 애셋 동기화를 위한 수신기의 구성을 도시한 것이다.

도 4를 참조하면, 본 발명의 실시예에 따른 수신기는 인터넷 파일 다운로더(401), 캐루젤 핸들러(403), AAT(Adjunct Asset Table) 파서(405), 주 애셋 복호기(407), 부 애셋 캐시(409), 부 애셋 정보 저장소(411), 부 애셋 핸들러(413), 콤포지터(415), 렌더러(417), 표시부(419)를 포함한다.

모든 부 애셋에 대한 서술 정보는 제어 정보로서 정 애셋과 별개인 스트림으로서 수신 측으로 전송된다. 이 제어정보 스트림에는 부 애셋 표(AAT)가 포함된다. AAT 파서(405)는 방송망으로부터 수신된 제어정보 스트림으로부터 AAT를 파싱하여 부 애셋 정보 저장소(411)에 저장한다. AAT에는 각 부 애셋 별로 식별자(adjunct_asset_id), 종류(adjuct_asset_type), 실행 속성(execution_attribute), 수신 가능한 수신기의 요구 능력(handler_capability), 부 애셋 위치(adjuct_asset_locator), 요구되는 저장 공간(required_storage), 유효 기간(expiration), 디스플레이 상의 위치(display_position) 등의 정보가 포함된다. 이 중 adjunct_asset_id는 부 애셋을 식별하기 위한 식별자로서, 글로벌하게 유일무이하게 하거나 미디어 서비스 내에서 유일무이하게 정의할 수 있다. adjunct_asset_locator는 부 애셋에 해당하는 리소스 데이터를 읽어올 곳을 지정한다. 만약 동일한 데이터를 여러 곳에서 읽어올 수 있다면, AAT에는 하나의 부 애셋에 대해 여러 개의 adjunct_asset_locator가 포함될 수 있다. adjunct_asset_locator가 지정하는 위치의 예로서는 여러 가지 형태의 캐루젤(DSM-CC data carousel, DSM-CC object carousel, FLUTE 등)과 인터넷 URL(Uniform Resource Locator) 등을 들 수 있다. 도 4에서 인터넷 파일 다운로더(401)는 부 애셋 정보 저장소(411)에 저장된 adjunct_asset_locator를 참조하여 해당 인터넷 URL로부터 부 애셋 파일을 다운로드 한다. 또한 캐루젤 핸들러(403)는 부 애셋 정보 저장소(411)에 저장된 adjunct_asset_locator를 참조하여 방송망의 해당 객체 캐루젤(object carousel)을 통해 부 애셋을 다운로드 한다. 다운로드 된 부 애셋은 캐시 내부 파일 경로를 지정하여 부 애셋 캐시(409)에 저장하고, 이렇게 지정된 캐시 내부 파일 경로는 부 애셋 정보 저장소(411)의 file_path_in_cache 필드에 저장해 둔다.

부 애셋과 정 애셋을 동기화하기 위해서는 주 애셋의 M 유닛 헤더 내에 adjunct_asset_id를 넣는다. M 유닛 헤더 내에는 PTS(presentation_timestamp)가 포함되기 때문에, M 유닛 헤더 내에 포함된 adjunct_asset_id가 지칭하는 부 애셋의 실행 시점을 가리키는 PTS는 별도의 계산과정 없이 M 유닛 헤더에 포함된 PTS를 사용한다. 비디오 M 유닛은 비디오 프레임 단위 또는 그 하위의 슬라이스 단위로 구성되므로 주 애셋이 비디오인 경우, 이러한 동기화 방법은 비디오 프레임 단위의 동기화를 가능하게 한다. 또 오디오 한 프레임이 24 ms에 해당한다고 하면, 오디오가 주 애셋인 경우, 즉 오디오 M 유닛 헤더에 adjunct_asset_id를 넣는 경우, 24 ms 단위의 동기화가 가능하다. 만약 동시에 실행되어야 하는 부 애셋이 하나 이상이면, 동일한 M 유닛 헤더에 부 애셋의 개수만큼의 adjunct_asset_id가 포함될 수 있다. 또한 M 유닛 헤더는 실행 중인 부 애셋을 제어하기 위한 adjuct_asset_control 필드를 포함한다. adjuct_asset_control은 부 애셋을 실행(run)하거나, 부 애셋의 실행을 중단시키는 명령(kill)을 전달할 수 있다.

수신기가 실시간으로 방송망을 통해 주 애셋 스트림을 수신하면, 주 애셋 복호기(407)는 adjunct_asset_id가 M 유닛 헤더에 포함되어 있는지 검사하고, 실행하여야 하는지 검사한 후, 부 애셋 정보 저장소(411)에서 일치하는 adjunct_asset_id를 찾아 해당 부 애셋의 정보를 참조한다. 해당 부 애셋을 실행하여야 할 경우, 콤포지터(415)는 부 애셋 핸들러(413)를 통해 부 애셋 캐시(409)로부터 해당 부 애셋을 읽어 들여 복호 또는 해독하여 처리한 후, 그 결과를 M 유닛 헤더에서 지정된 시점(PTS)에서 주 미디어와 동기화하며, 부 애셋 정보 저장소(411)로부터 지정된 디스플레이 상의 위치에 부 애셋을 콤포지션한 후 렌더러(417)에서 렌더링한 후 표시부(419)를 통해 디스플레이 한다. 콤포지터(417)에서의 주 애셋과 부 애셋의 동기화는 동일한 presentation_timestamp 값에 의해 달성된다.

한편, 전송 오류에 의해 동기화 정보가 전달되지 못하면, 해당 부 애셋은 시행되지 못한다. 따라서 전송 오류가 있더라고 꼭 실행되도록 하거나, 실행 확률을 높이기 위해, 연속적으로 전송되는 여러 개의 주 애셋 M 유닛 헤더에 동일한 adjunct_asset_id를 포함시킬 수 있다. 예를 들어, 4~5 개의 인접한 주 애셋 M 유닛의 헤더에 어떤 부 애셋에 대한 run 또는 kill 명령을 반복적으로 넣음으로써 시행 확률을 높일 수 있다. 이 경우 처음 adjunct_asset_id가 삽입된 시점이 의도된 시행 시점이라면, 전송 오류에 의해 시행 시점이 조금 지연될 수 있다. 부 애셋이 대화형 애플리케이션이라면, 이 정도의 시행 지연은 시청자의 경험 품질(QoE)에 거의 영향을 미치지 않는다.

만약 부 애셋이 스테레오스코픽 비디오를 위한 부분 미디어 스트림이라면, 프레임 단위의 정확한 동기화가 요구되므로 상기와 같은 방법은 사용할 수 없다. 이 경우에는 M 유닛 헤더에 sync_count를 삽입하여 실제 동기화 시점까지 카운트다운 하도록 한다. 즉 4 개의 연속된 주 애셋 M 유닛 헤더에 sync_count를 3, 2, 1, 0 순으로 실어 보냄으로써 수신기가 정확한 동기화 지점을 알 수 있게 한다. sync_count가 0인 곳이 의도된 동기화 지점이며, 전송 오류로 인해 sync_count가 2인 M 유닛 헤더만 수신하고, 나머지 sync_count가 포함된 M 유닛 헤더를 모두 수신하지 못하였다면, 현재 M 유닛을 기준으로 이후 두 번째 M 유닛의 PTS가 해당 부 애셋의 시행 시점이 된다. 비디오 M 유닛에 이 방법을 적용하기 위해서는 반드시 프레임의 첫 슬라이스를 포함한 M 유닛에만 sync_count를 넣거나 동일 프레임에 속하는 슬라이스로부터 얻어진 M 유닛에는 같은 값의 sync_count를 넣는다. 수신기는 sync_count 만큼 다음 프레임의 PTS 값을 부 애셋의 시행 시점으로 삼는다.

다음, 본 발명의 실시예에 따른 부 애셋 표(AAT)에 대해 설명한다.

AAT의 구문(syntax)은 하기의 <표 1>과 같다. <표 1>의 형식 열에 나오는 내용의 정의는 MPEG-2 시스템 표준(ISO/IEC 13818-1:2007)을 따른다. 또한 <표 1>의 값 열에 표시되지 않은 루프 카운트(loop count)는 길이를 나타내는 값들로부터 유도된 값이다. 본 명세서에서는 다른 표의 경우에도 이러한 원칙이 적용된다.

상기 <표 1>의 각 필드의 의미는 다음과 같다.

table_id: 표의 종류를 나타내는 식별자. AAT에 해당하는 유일무이한 값을 할당한다.

version_id: 이 표의 구성을 나타내는 식별자. 표준 개정에 의해 표의 구성이 바뀌면 이 값도 바뀐다. 수신기는 이 값을 보고, 이 표가 자신이 이해할 수 있도록 구성된 것인지를 판단한다.

sub_table_id: 전체 표를 여러 개의 부표(sub-table)로 나누어 전송하는 경우 각 부표를 구분한다.

update_version: AAT는 주기적으로 전송되므로, AAT의 내용이 직전에 전송된 동일한 sub_table_id를 갖는 AAT의 내용과 다르면, 이 값을 하나 증가시킨다. 최대값 15 이후에는 0으로 바뀐다. 수신기는 이 값이 바뀌면, AAT의 내용을 다시 읽어 들여 해독한다.

table_length: 이 필드 다음부터 AAT 마지막 바이트까지의 바이트 수. 0의 값은 사용하지 않는다.

locator_prefix_count: 다음에 나오는 locator_prefix들의 개수를 나타낸다. locator_prefix는 adjunct_asset_locator에서 제공되는 locator 문자열 앞에 마지막에 '/'이 추가된 상태로 연접되어, URL을 형성한다. adjunct_asset_locator에서는 locator_prefix 등장 순서를 인덱스로 사용하여 locator_prefix를 참조한다. 이 필드의 값으로 0xFF는 사용하지 않는다. 따라서 최대 255 개의 locator_prefix를 포함할 수 있다.

locator_prefix_length: locator_prefix 문자열의 길이를 나타낸다.

locator_prefix_byte: locator_prefix 문자를 나타낸다. 문자열 마지막의 널(null) 바이트는 포함하지 않는다.

adjunct_asset_type: 어떤 형식의 부 애셋인지를 나타낸다. 예를 들어, 웹 문서, 위젯, 대화형 애플리케이션, 오디오 클립, 비디오 클립, 그래픽, 문자, 이미지, 보조 미디어 구성요소 등에 대해 서로 다른 형식 별로 유일무이한 값을 할당한다. 다음에 나오는 구문 루프 내의 부 애셋들에 대해 이 adjuct_asset_type 값이 동일하게 적용된다.

adjunct_asset_count_minus1: 다음에 나오는 구문 루프 내에 서술된 부 애셋의 수 보다 하나 작은 값으로 최대 256 개까지의 부 애셋을 표시할 수 있다. 만약 동일한 adjuct_asset_type을 갖는 부 애셋의 수가 256 개를 초과하면 두 개 이상의 구문 루프를 사용하여 서술한다.

adjunct_asset_id: 부 애셋을 지정하는 48 비트의 유일무이한 글로벌 식별자. 여기서 유일무이성은 일정 기간 동안만 유지되며, 일정 기간 후 식별자 값은 재사용 가능하다. 글로벌한 식별자가 되기 위해서는 이 필드를 32 비트의 제공자 식별자(provider_identifier)와 16 비트의 애셋 식별자(asset_identifier)의 두 부분으로 나누고, 제공자 식별자는 등록 기관을 지정하여 제공자별로 등록하고, 애셋 식별자는 제공자 자체적으로 관리한다.

execution_attribute: 수신기가 해당 부 애셋을 수신하였을 때, 어떻게 실행하여야 하는지를 나타내며, 다음과 같은 여러 필드를 포함한다.

execution_on_reception: 수신기에서 수신한 부 애셋을 부 애셋 캐시에 저장한 후에 "즉시 실행" 할지 여부를 나타내는 플래그. 즉시 실행하지 않는 경우에는, 본 발명에서 제안하는 동기화 방법에 의해 지정된 시점에서 시행되거나, 사용자의 선택이나 다른 부 애셋으로부터의 호출에 의해 실행된다. 이 플래그가 1이면, execution_entry_point도 1로 설정되어야 한다.

media_service_bound: 이 미디어 서비스에 귀속(media_service_bound)되는지 여부를 나타내는 플래그. 이 플래그가 1이면, 이 미디어 서비스에 귀속됨을 나타내며 해당 부 애셋은 방송 채널 전환 시에 자동 종료된다.

execution_entry_point: 직접 시행 가능한 부 애셋임을 나타내는 플래그. 이 플래그 값이 0이면, 해당 부 애셋은 다른 부 애셋에 의해 간접적으로 실행된다.

visible_to_user: 사용자가 부 애셋 내비게이션 기능을 활용해 선택 실행할 수 있는지 여부 또는 다른 부 애셋이 수신기가 제공하는 API를 통해 부 애셋 목록을 검색할 때 보이게 하는지 여부를 나타내는 2 비트 필드. visible_to_user의 의미는 하기의 <표 2>와 같다.

의미
0b00	이 부 애셋은 사용자가 부 애셋 내비게이션 기능을 활용하여 선택 시행할 수도 없고 다른 부 애셋이 수신기가 제공하는 API를 통해 부 애셋 목록을 검색할 때 보이지도 않음
0b01	이 부 애셋은 사용자가 부 애셋 내비게이션 기능을 활용하여 선택 시행할 수는 없으나 다른 부 애셋이 수신기가 제공하는 API를 통해 부 애셋 목록을 검색할 때 보임
0b10	유보된 값(reserved for future use)
0b11	이 부 애셋은 사용자가 부 애셋 내비게이션 기능을 활용하여 선택 시행할 수 있으며 다른 부 애셋이 수신기가 제공하는 API를 통해 부 애셋 목록을 검색할 때 보임

secure_execution: 부 애셋의 안전성 여부를 나타내는 2 비트 정보. secure_execution의 의미는 <표 3>과 같다.

값	의미
0b00	신뢰할 수 있음(trusted)
0b01	신뢰할 수 없음(untrusted)
0b10	특권이 있는 경우만 수행 가능(previliged)
0b11	유보된 값(reserved for future use)

adjunct_asset_priority: 부 애셋의 실행 우선순위를 나타내는 필드. adjunct_asset_priority의 값이 클수록 우선순위가 높다. 부 애셋을 실행시키기 위한 수신기의 자원이 부족한 경우, 현재 실행 중인 부 애셋 중 우선순위가 가장 낮은 것부터 일시 중지시키거나 종료한다.

adjunct_asset_locator_count_minus1: 부 애셋을 읽어올 곳의 수보다 하나 작은 값으로, 2 비트로서 모두 4 곳까지 나타낼 수 있다. 2 곳 이상이 제공된 경우에는, 아래 adjunct_asset_locator가 등장하는 순서에 따라 우선순위를 둔다. adjunct_asset_locator는 반드시 하나 이상 등장한다.

adjunct_asset_locator: 부 애셋을 읽어올 곳의 정보를 알려준다.

adjunct_asset_descriptor_loop_length: 이 필드 다음부터 서술자 구문 루프의 마지막 바이트까지의 바이트 수

adjunct_asset_descriptor: 여러 가지 서술자가 이 서술자 구문 루프에 포함될 수 있다.

CRC_32: MPEG-2 시스템 표준(ISO/IEC 13818-1:2007)의 섹션 구문에서 정의한 CRC_32와 동일한 필드

다음, 부 애셋 위치 정보(adjunct asset locator)에 대해 상세히 설명한다.

리소스 데이터 위치 정보인 adjunct_asset_locator는 부 애셋을 읽어올 곳을 알려준다. 부 애셋은 방송망의 캐루젤을 통해서 전달되거나 인터넷을 통해 다운로드된다. AAT에는 부 애셋 당 반드시 하나 이상의 adjunct_asset_locator가 포함되어야 한다. 수신기는 먼저 등장하는 adjunct_asset_locator가 지정하는 위치로부터 부 애셋을 읽어오며, 만약 오류가 발생하면 다음 adjunct_asset_locator가 지정하는 위치로부터 부 애셋을 읽어온다.

adjunct_asset_locator의 구문은 하기 <표 4>와 같다. <표 4>에는 인터넷의 경우만 포함하였으며, 캐루젤의 경우에는 캐루젤에 따라 달라지므로 본 명세서의 목적 상 구체적인 사항을 포함하지는 않았다.

상기 <표 4>의 각 필드의 의미는 다음과 같다.

locator_type: 부 애셋을 읽어 올 곳이 인터넷인지 아니면 방송망의 캐루젤인지, 또한 캐루젤인 경우에 여러 가지 종류의 캐루젤이 함께 사용된다면 어떤 캐루젤인지를 나타내는 8 비트의 필드.

locator_prefix_index: <표 1>의 locator_prefix 중 하나를 지정하는 인덱스. 이 필드의 값이 0xFF이면 locator_prefix가 없음을 나타낸다.

directory_path_length: 다음에 나오는 디렉토리 경로 문자열의 길이. 문자열 마지막의 널 바이트는 포함하지 않는다. 이 필드의 값이 0이면 디렉토리 경로는 사용하지 않는다.

directory_path_byte: 디렉토리 경로의 바이트. 문자열 마지막의 널 바이트는 포함되지 않는다.

entry_path_length: 다음에 나오는 최초 페이지 파일 경로의 길이. 문자열 마지막의 널 바이트는 포함하지 않는다. 웹 페이지와 같이 여러 개의 파일로 구성된 부 애셋의 경우에만 의미를 갖는다. 단일 파일의 부 애셋의 경우, 이 필드의 값은 0이다.

entry_path_byte: 최초 페이지 파일 경로의 바이트. 문자열 마지막의 널 바이트는 포함되지 않는다.

object_count: 다음에 나오는 파일 경로들의 수. 만약 이 필드 값이 0이면, 디렉토리 전체를 지정한다.

object_path_length: 다음에 나오는 파일 경로 문자열의 길이. 문자열 마지막의 널 바이트는 포함하지 않는다.

object_path_byte: 파일 경로의 바이트. 문자열 마지막의 널 바이트는 포함되지 않는다.

인터넷 부 애셋 위치 정보를 활용한 URL 구성의 예를 설명하면, 다음과 같다. 이 예의 부 애셋은 여러 개의 파일로 구성된 웹 페이지이다.

<표 1>의 locator_prefix가 http://www.example.com이고, directory path가 interactive_applications/app0001이고, entry path가 index.htm이고 object_count가 0이면, 부 애셋에 속하는 모든 리소스는 www.example.com/interactive_applications/app0001 디렉토리 내에 존재하고, 최초 페이지의 URL은 http://www.example.com/interactive_applications/app0001/index.htm이 된다.

다음 부 애셋 서술자(adjunct asset descriptor)에 대해 설명한다.

<표 1>의 adjuct_asset_descriptor에는 여러 가지 서술자가 들어갈 수 있다. 부 애셋을 처리할 수 있는 수신기의 능력을 나타내는 handler_capability_descriptor( ), 부 애셋 캐시 관리를 위한 요구 메모리 양, 유효 기간 등을 나타내는 adjunct_asset_cache_descriptor( ), 화면에 표출될 부 애셋의 디스플레이 상의 위치를 나타내는 display_position_descriptor( ), 사용자에게 보여줄 부 애셋의 이름을 알려주는 adjunct_asset_name_descriptor( ), 사용자에게 보여줄 부 애셋의 아이콘을 알려주는 adjunct_asset_icon_descriptor( ) 등이 여기에 해당된다. 이러한 서술자들은 주 애셋과 부 애셋의 동기화와는 관련이 없으므로, 본 명세서의 목적 상, 이러한 서술자에 대한 구문 및 그 의미는 생략하였다.

다음, M 유닛 헤더의 부 애셋 동기화 정보에 대해 설명한다. MMT에서 정의하고자 하는 M 유닛 헤더의 다른 필드는 생략하고, 본 명세서에서 제안하는 기술과 관련하여 추가되어야 하는 필드들, 즉 부 애셋 동기화 정보(adjunct_asset_sync_info)를 중심으로 M 유닛 헤더의 구문 및 각 필드의 의미를 설명한다. M 유닛 헤더의 구문은 하기 <표 5>와 같다.

상기 <표 5>의 각 필드의 의미는 다음과 같다.

adjunct_asset_count: 이 필드의 값이 0 보다 크면 이 M 유닛과 동기를 맞춰 제어되어야 할 부 애셋이 있음을 나타낸다.

adjunct_asset_id: 이 M 유닛과 동기를 맞춰 제어되어야 하는 부 애셋의 식별자로서, 그 형식은 <표 1>에서 규정한 바와 같다.

adjunct_asset_control: 부 애셋에 대한 제어의 종류를 나타내는 필드로서, 그 값의 의미는 하기의<표 6>과 같다.

값	의미
0b0000	부 애셋 실행(run)
0b0001~0b1110	유보된 값(reserved for future use)
0b1111	부 애셋 종료(kill)

sync_count: 전송 오류에 대한 내성을 높이기 위해 여러 M 유닛 헤더에 연속적으로 부 애셋 동기 정보를 넣을 때, 실제 동기 지점을 알려주는 필드로서, 0부터 15까지의 수를 나타낼 수 있으며, 이 필드의 값이 0인 M 유닛이 실제 해당 부 애셋을 동기화할 지점이 된다. 즉 이 필드의 값이 0인 M 유닛에 포함된 presentation_timestamp가 해당 부 애셋 제어의 시행 시각이 된다. 이 필드를 사용하여 전송 오류로 인한 지연시간 없이 동기화를 정확히 달성하려면, 동기화 지점 전부터 부 애셋 동기화 정보를 넣되 sync_count를 15 이하의 선택된 양의 값에서부터 하나씩 줄여나가 0이 될 때까지 연속적으로 M 유닛 헤더에 부 애셋 동기화 정보를 반복적으로 넣는다. 만약 전송 오류로 다소간의 지연시간이 발생해도 무방한 경우에는 sync_count를 0으로 유지한 채 연속적으로 M 유닛 헤더에 부 애셋 동기화 정보를 반복적으로 넣는다. 어떤 부 애셋을 기준으로 동일한 adjunct_asset_control 값에 대해 sync_count 값이 0인 M 유닛을 반복적으로 수신한 때, 수신기는 처음으로 수신한 해당 제어 명령을 수행하고, 이후 수신한 것들은 무시한다.

도 5는 본 발명의 실시예에 따른 수신기에서의 동기화 방법을 나타낸 순서도이다.

도 5를 참조하면, 수신기는 501 과정에서 송신측으로부터 방송망을 통해 주 애셋 스트림을 수신하고, 주 애셋 스트림과는 별도로 AAT를 포함하는 제어 정보를 수신하고 AAT를 파싱하여 부 애셋 정보 저장소에 저장한다. 503 과정에서는 저장된 AAT로부터 adjunct_asset_locator를 확인하여 그 값에 따라 인터넷 URL 또는 방송망의 객체 캐루젤을 통해 부 애셋 파일을 다운로드 하고 부 애셋 캐시에 저장한다. 505 과정에서는 주 애셋 스트림의 M 유닛 헤더 내에 있는 adjunct_asset_id와 PTS를 확인한다. 그리고 부 애셋 정보 저장소에서 상기 adjunct_asset_id와 일치하는 부 애셋에 관한 정보를 찾아서 부 애셋 캐시에서 해당 부 애셋을 읽어 들여 상기 PTS가 가리키는 시점에 주 애셋과 동기화하여 실행시킨다.

다음, 본 발명의 다른 실시예에 따른 미디어 데이터 동기화 방법에 대해 설명한다.

본 발명의 다른 실시예는 'M24227, Proposed text of Working Draft for MPEG Media Transport, Geneva, Switzerland, April 2012'에 정의된 MPU header의 MPU_Identifier(MMT Processing Unit 식별자)를 사용하는 것이다. 상기 M24227 문서에 따르면 MPU_Identifier는 rap_flag(Ramdom Acess Point Flag)와 mpu_sequency_number로 구성되어 있다. 상기 mpu_sequence_number는 하나의 MMT asset에서 유일한 값이며, MPU의 수가 하나씩 증가할 때 1씩 증가하는 값이다. 따라서 mpu_sequence_number는 서로 다른 Asset들의 동기화를 위한 특정 시점을 가리키는 데 사용될 수 있다. 상기 mpu_sequence_number의 유일성의 범위는 필요에 의해 조절될 수 있으며, 일 예로 1일 단위로 유일한 값을 가질 수 있도록 할 수 있다. 상기 유일성의 범위를 만족시키기 위해 mpu_sequence_number의 길이는 가변될 수 있다. mpu_sequence_number를 부에셋 동기화에 사용할 시에 발생하는 또 다른 장점은 오류에 대한 저항 능력 및 동기화 시점 예측이 가능하다는 것이다. mpu_sequence_number는 MPU의 수가 증가할 때마다 1씩 증가하는 값이므로, 동기 시점을 가리키는 mpu가 손실되더라도 수신기는 적합한 시점을 찾아서 부에셋을 동기화시킬 수 있다. 또한, 수신기는 부에셋 동기 이전에 사전 준비 작업의 필요성으로 인해 동기 시점을 예측할 필요가 있을 때 현재의 mpu_sequence_number를 사용하여 동기 시점을 쉽게 예측할 수 있다. MPEG의 상기 M24227 문서에는 content의 정보, 시공간적 배치 및 동기를 위해 사용하는 CI(Composition Info)가 있는데, 상기 CI에서는 Asset의 동기화를 위해 “begin”속성(attribute)을 사용한다. 본 발명에서는 상기 “begin” 속성값에 “MPU-Sequence-Number-Value”라는 것을 추가하는 것을 제안한다.

MPU-Sequence-Number-Value는 하기와 같이 정의된다.

MPU-Sequence-Number-value ::= Id_value “.MPU(” mpu_sequence_number “)” [“+” | “-” frame_offset “fra” ]

상기 정의에서 사용된 용어들을 정리하면 다음과 같다.

Id_value : 부에셋이 동기화될 정에셋의 XML(Extensible Markup Language) 식별자

Mpu_sequence_number : 동기 시점 정보를 포함하고 있는 MPU의 sequence number.

Frame_offset : 이 필드는 동기화할 정애셋과 부애셋이 모두 비디오 혹은 오디오인 경우에 사용되는 필드이다. 오디오 프레임의 경우, 프레임 내 첫 샘플의 재생 시점이 동기화 기준 시점이 된다. 따라서 비디오의 경우, 프레임 단위까지 정확한 동기가 가능하지만, 오디오의 경우에는 최대 한 오디오 프레임의 1/2 정도까지 오차가 있을 수 있다. 상기 mpu_sequence_number로부터 상대값을 주어 동기 시점을 알려주는 방법으로 +5로 표기될 경우, mpu_sequence_number가 가르키는 MPU 내의 디스플레이 순서상 첫 번째 프레임 다음의 5 번째(즉 디스플레이 순서상 MPU 내의 6번째) 프레임과 동기화를 하라는 것이며, -10일 경우에는 mpu_sequence_number가 가르키는 MPU 내의 디스플레이 순서상 첫 번째 프레임에 동기화시킬 부애셋 내의 프레임은 디스플레이 순서상 첫 번째 프레임 다음의 10 번째(즉 디스플레이 순서상 부애셋 내의 11 번째) 프레임임을 의미한다.

상기 본 발명의 다른 실시예가 CI에 적용되어 사용되는 예는 하기와 같다.

정에셋을 asset1이라 하고 그 XML id를 asset1_id라 하며, 부애셋을 asset2라 할 때, CI에서 asset2의 begin 속성을

begin =“asset1_id.MPU(123) + 5 fra”

라고 기술하면, asset2는 asset1의 MPU 중 mpu_sequence_number가 123인 MPU 내의 6 번째 프레임에서 asset1과 동기되어 사용되어야 함을 나타낸다.

전술한 실시예들은 본 발명의 예시로서 이해될 것이다. 위의 실시예들 중 어느 하나와 연관되어 기술된 모든 특징은 단독으로 이용되거나 기술된 다른 특징들과 조합하여 이용될 수 있으며, 실시예들 중 다른 실시예의 하나 또는 그 이상의 특징들과 조합하여 이용되거나 실시예들 중 다른 실시예들의 조합으로 이용될 수 있음을 이해할 것이다. 본 발명이 특정한 실시예들을 참조하여 도시되고 설명되었지만, 당업자는 첨부된 청구항들 및 그와 동등한 것들에 의해 정의되는 바와 같은 본 발명의 사상 및 범위를 벗어나지 않고 형태 및 세부 사항들에 있어 다양한 변경이 이루어질 수 있음을 이해할 것이다.

Claims

멀티미디어 방송 서비스에서 데이터를 동기화하는 방법에 있어서,
방송 서비스를 위해 필수적으로 제공되는 정 미디어 데이터를 수신하는 과정과,
상기 정 미디어 데이터에 대한 보조 데이터를 포함하는 부 미디어 데이터에 대한 제어정보를 수신하여 저장하는 과정과,
상기 제어정보에 포함된 상기 부 미디어 데이터의 위치 정보를 확인하고, 상기 위치 정보에 따라 상기 부 미디어 데이터를 수신하여 저장하는 과정과,
상기 정 미디어 데이터의 헤더에 상기 부 미디어 데이터의 식별자가 포함되어 있는 경우에, 상기 부 미디어 데이터의 식별자에 대응되는 상기 저장된 부 미디어 데이터를 읽어 들여, 상기 헤더에 포함된 동기화 정보에 따라 상기 정 미디어 데이터와 동기화하여 실행하는 과정을 포함하는 동기화 방법.
제1항에 있어서,
상기 제어정보는 하나 이상의 부 미디어 데이터에 대한 정보를 포함하며, 부 미디어 데이터 별로 데이터의 종류, 실행 속성, 수신기의 요구 능력, 요구되는 저장공간, 유효 기간, 디스플레이 위치 정보를 더 포함함을 특징으로 하는 동기화 방법.
제1항에 있어서,
상기 제어정보는 하나의 부 미디어 데이터에 대해 하나 이상의 위치 정보를 포함함을 특징으로 하는 동기화 방법.
제1항에 있어서,
상기 헤더는 상기 부 미디어 데이터의 실행 여부를 제어하기 위한 부 미디어 데이터 제어 필드를 더 포함함을 특징으로 하는 동기화 방법.
제1항에 있어서,
연속적으로 수신되는 복수 개의 주 미디어 데이터의 헤더는 동일한 부 미디어 데이터의 식별자를 포함함을 특징으로 하는 동기화 방법.
제1항에 있어서,
상기 위치정보는 방송망의 캐루젤 또는 인터넷 URL(Uniform Resource Locator) 정보임을 특징으로 하는 동기화 방법.
멀티미디어 방송 서비스에서 데이터를 동기화하는 수신 장치에 있어서,
방송 서비스를 위해 필수적으로 제공되는 정 미디어 데이터를 수신하여 복호화하는 복호기와,
상기 정 미디어 데이터에 대한 보조 데이터를 포함하는 부 미디어 데이터에 대한 제어정보를 수신하여 저장하는 부 미디어 정보 저장소와,
상기 제어정보에 포함된 상기 부 미디어 데이터의 위치 정보를 확인하고, 상기 위치 정보에 따라 상기 부 미디어 데이터를 수신하여 저장하는 부 미디어 데이터 캐시와,
상기 정 미디어 데이터의 헤더에 상기 부 미디어 데이터의 식별자가 포함되어 있는 경우에, 상기 부 미디어 데이터의 식별자에 대응되는 상기 저장된 부 미디어 데이터를 읽어 들여, 상기 헤더에 포함된 동기화 정보에 따라 상기 정 미디어 데이터와 동기화하여 실행하는 실행부를 포함하는 수신 장치.
제7항에 있어서,
상기 제어정보는 하나 이상의 부 미디어 데이터에 대한 정보를 포함하며, 부 미디어 데이터 별로 데이터의 종류, 실행 속성, 수신기의 요구 능력, 요구되는 저장공간, 유효 기간, 디스플레이 위치 정보를 더 포함함을 특징으로 하는 수신 장치.
제7항에 있어서,
상기 제어정보는 하나의 부 미디어 데이터에 대해 하나 이상의 위치 정보를 포함함을 특징으로 하는 수신 장치.
제7항에 있어서,
상기 헤더는 상기 부 미디어 데이터의 실행 여부를 제어하기 위한 부 미디어 데이터 제어 필드를 더 포함함을 특징으로 하는 수신 장치.
제7항에 있어서,
연속적으로 수신되는 복수 개의 주 미디어 데이터의 헤더는 동일한 부 미디어 데이터의 식별자를 포함함을 특징으로 하는 수신 장치.
제7항에 있어서,
상기 위치정보는 방송망의 캐루젤 또는 인터넷 URL(Uniform Resource Locator) 정보이며,
상기 방송망의 캐루젤로부터 상기 부 미디어 데이터를 수신하여 처리하고 상기 부미디어 데이터 캐시에 저장하는 캐루젤 핸들러와,
상기 URL로부터 상기 부 미디어 데이터를 다운로드하여 상기 부 미디어 데이터 캐시에 저장하는 다운로더를 더 포함함을 특징으로 하는 수신 장치.