KR102163261B1 - 복합 네트워크에서 멀티미디어 데이터를 송수신하기 위한 장치 및 그 방법 - Google Patents

Abstract

본 발명의 일 실시예는 방송 및 인터넷 통신을 동시에 제공하는 복합 네트워크에서 미디어 데이터를 전송하는 방법에 있어서, 미디어 데이터 처리를 위한 미디어 프로세싱 유닛(MPU)을 생성하는 과정과, 상기 생성된 MPU를 전송하는 과정을 포함하며,
상기 MPU는, 상기 MPU에 대한 정보를 포함하는 MMPU 박스와, 상기 미디어 데이터로부터 생성된 적어도 하나의 미디어 데이터 조각을 포함하는 MDAT 박스와, 상기 적어도 하나의 미디어 데이터 조각 별로, 상기 미디어 데이터 조각에 대한 정보를 포함하는 MMFU 박스를 포함한다. 상기 실시예 외에 추가적인 실시예가 가능하다.

Description

복합 네트워크에서 멀티미디어 데이터를 송수신하기 위한 장치 및 그 방법{APPARATUS AND METHOD FOR DELIVERING AND RECEIVING MULTIMEDIA DATA IN HYBRID NETWORK}

본 발명은 복합 네트워크에서 멀티미디어 데이터를 송수신하기 위한 장치 및 그 방법에 관한 것이다.

최근의 멀티미디어 서비스에서는 방송망과 통신망을 동시에 연결하는 복합(Hybrid) 네트워크 망과 멀티미디어 데이터와 어플리케이션, 파일들이 함께 제공되는 복합 컨텐츠의 제공을 위한 MMT(MPEG Media Transport) 기술이 고려되고 있다.

MMT스트림은 MPU(Media Processing Unit)라로 불리는 단위로 분할되어 송신되고, 미디어 재생 장치에서도 MPU 단위로 수신하고 재생한다. MMT 스트림을 MPU로 분할할 때는 무조건 일정한 시간 또는 일정한 크기로 분할하는 것이 아니라, 해당 MPU 내에 포함되는 미디어의 구조를 서술하고, 해당 MMT 스트림에서 요청되는 동작이 수행될 수 있는 단위로 분할된다.

한편, 현재의 MPU 구조 하에서, MMT를 지원하지 않는 재생 장치가 MPU에 포함된 미디어 데이터를 수신하지 못한다. 또한, 현재의 MPU 구조는 특정 시간에 재생되는 데이터인 시간 미디어 데이터의 전송에는 효율적이지만, 비시간 데이터의 전송에는 비효율적이다. 또한, MPU에 포함된 데이터의 일부가 삭제된 경우 수신측에서는 다시 MPU에 대한 정보를 다시 수신해야 하는 비효율이 있다.

본 발명의 일 실시예는 MMT를 지원하지 않는 미디어 재생 장치에서 MMT 미디어 데이터를 수신 및 재생할 수 있도록 하는 MPU의 구조를 제공한다.

본 발명의 일 실시예는, 비시간 미디어 데이터를 전송할 수 있는 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법을 제공한다.

본 발명의 일 실시예는, 네트워크 노드에서 MFU를 삭제 또는 변경하여도 수신측에서 MPU를 다시 업데이트받지 않아도 되며, 서로 다른 AU에 걸친 MFU 관계를 고려해 MFU 단위로 삭제할 수 있는 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법을 제공한다.

본 발명의 일 실시예가 제공하는 방송 및 인터넷 통신을 동시에 제공하는 복합 네트워크에서 미디어 데이터를 전송하는 방법은, 미디어 데이터 처리를 위한 미디어 프로세싱 유닛(MPU)을 생성하는 과정과, 상기 생성된 MPU를 전송하는 과정을 포함하며,

상기 MPU는, 상기 MPU에 대한 정보를 포함하는 MMPU 박스와, 상기 미디어 데이터로부터 생성된 적어도 하나의 미디어 데이터 조각을 포함하는 MDAT 박스와, 상기 적어도 하나의 미디어 데이터 조각 별로, 상기 미디어 데이터 조각에 대한 정보를 포함하는 MMFU 박스를 포함함을 특징으로 한다.

상기 MMPU 박스는, 상기 미디어 데이터가 시간 데이터인지 비시간 데이터인지 여부를 지시하는 제1 플래그 필드, 상기 MPU가 MFU를 포함하는지 여부를 지시하는 제2 플래그와, 상기 MPU가 원본 MPU인지 변경된 MPU인지 여부를 지시하는 제3 플래그 중 적어도 하나를 포함한다.

상기 MMPU 박스는, 상기 MPU가 복수 개의 미디어 데이터 조각들을 포함하는 적어도 하나의 액세스 유닛(AU)를 포함하는 경우, 상기 AU에 대한 정보를 포함하는 AU 구조 박스를 포함한다.

상기 MMPU 박스는, 상기 적어도 하나의 미디어 데이터 조각과 그에 대응하는 MMFU 박스에 대한 정보를 포함하는 MFU 구조 박스를 포함한다.

상기 MFU 구조 박스는, 상기 MPU가 복수 개의 미디어 데이터 조각을 포함하는 적어도 하나의 액세스 유닛(AU)를 포함하는 경우, 상기 미디어 데이터 조각과 상기 AU와의 관계 정보를 포함한다.

상기 MFU 구조 박스는, 상기 미디어 데이터 조각들 상호 간의 참조 정보, 우선 순위 정보, 시간 및 공간적 복합 계층 정보 중 적어도 하나를 포함하며, 상기 정보들은, 서로 다른 AU에 속하는 미디어 데이터 조각들을 고려하여 결정된 것임을 특징으로 한다.

상기 미디어 데이터 조각에 대한 정보는, 상기 미디어 데이터 조각의 시퀀스 번호, 크기, 위치 정보 중 적어도 하나를 포함한다.

상기 제3 플래그는, 상기 MPU에 포함된 미디어 데이터 조각 중 적어도 하나가 삭제된 경우, 상기 미디어 데이터 조각이 삭제된 엔터티에 의하여 변경된 MPU임을 지시하도록 수정됨을 특징으로 한다.

본 발명의 실시예들은, MPU를 이용하여 종래의 미디어 포맷의 데이터를 전송할 수 있으며, 종래의 재생장치와 호환되는 MPU 구조를 가지고, 비시간 미디어 데이터를 전송할 수 있다. 또한, MFU를 삭제해도 MPU를 업데이트하지 않아도 되며, 서로 다른 AU에 걸친 MFU 관계를 고려해 MFU 단위로 삭제할 수 있다.

도 1은 기존의 MPU 구조를 설명하기 위한 도면,
도 2a 및 도 2b는 본 발명의 실시예에 따라 네트워크 노드에서 서로 다른 AU 내의 MFU를 고려하여 MFU를 제거하는 방식을 설명하는 도면,
도 3은 본 발명의 실시예에 따른 MPU의 구조를 설명하는 도면,
도 4a 및 도 4b는 본 발명의 일 실시예에 의한 네트워크 노드 또는 수신 단말 등이 MPU를 수신한 이후 MPU를 수정하거나 MPU를 복원하는 과정을 설명하는 도면,
도 5는 본 발명의 일 실시예에 의한 멀티미디어 데이터를 전송하는 방법을 나타내는 순서도.

이하, 본 발명의 실시예를 도면과 함께 상세히 설명한다. 본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

먼저 본 발명의 실시예에서 사용되는 용어에 대하여, MMT 표준에 기초하여 설명한다.

미디어 프래그먼트 유닛(Media Fragment Unit: MFU)는 미디어 복호기에 의해 독립적으로 소모될 수 있는 부호화된 미디어 데이터를 포함하는, 특정 미디어 코덱에 독립적인, 일반적인 컨테이너이다. 그것은 액세스 유닛(access unit: AU)보다 같거나 작고 전달 계층에 의해 이용될 수 있는 정보를 포함한다.

액세스 유닛(access unit)은 시간 정보가 표시될 수 있는 최소의 데이터 엔터티이다. 복호 및 연관된 프리젠테이션을 위하여 지정된 시간 정보가 없는 부호화된 미디어 데이터, 액세스 유닛은 정의되지 않는다.

MMT 프로세싱 유닛(MMT Processing Unit: MPU)은 특정한 미디에 코덱에 독립적인, 적어도 하나 이상의 액세스 유닛(AU)들과 관련 정보의 추가적인 전달 및 소모를 포함하는 일반적인 컨테이너이다. 비-실시간(non-timed) 데이터에 대하여, MPU는 AU 경계 없는 데이터 부분을 포함한다. MPU는 완전하고 독립적으로 프로세싱될 수 있는 부호화된 미디어 데이터 유닛이다. 여기서 프로세싱은 MMT 패키지 또는 전달을 위한 패키지에의 캡슐화를 의미한다.

비시간 데이터(non-timed data)는 특정되지 않은 시간에 소모되는 데이터 엘리먼트이다. 비시간 데이터는 데이터가 실행될 수 있는 가용한 시간 범위를 가질 수 있다.(any data element that is consumed at non-specified time. It may have timing range when the data is available to be executed or launched)

시간 데이터(timed data)는 복호 및 프리젠테이션을 위하여 특정한 시간과 연관된 데이터 요소로 정의된다.

이하에서 본 발명의 실시예들에 대하여 상세히 설명한다.

도 1은 기존의 MPU의 구조를 설명하는 도면이다.

도 1에서 MPU(100)는 MMPU(105)와 적어도 하나의 MFU들(130, 140, 150)로 구성된다. 상기 MMPU는 MPU 자체 구조에 대한 정보를 포함하여 도 1에서 TFHD(107), TRUN(110), SUBS(120)와 같은 박스가 포함되어 있다. 해당 박스들의 구체적인 내용에 대한 설명은 생략한다. MFU(130, 140, 150)들은 각각 MMFU와 MDAT를 포함한다. 각각의 MMFU는 해당 MFU 자체 구조에 대한 정보를 포함하고, MDAT는 실제 미디어 데이터를 포함한다. 한편, 여기서 MFU들에 포함되는 미디어 데이터는 시간 미디어 데이터들이다. 비시간 미디어 데이터들의 경우 분할되어 전송될 필요가 없기 때문에 MPU 내에서 전송되기는 하지만 MFU의 형태로 분할되어 전송되지 않는다.

또한, 도시되지는 않았지만 복수의 MFU들은 하나의 AU에 포함될 수도 있다. 예를 들어, MPU 내에 5개의 MFU들이 있다면, 5개의 MFU들 중 처음 두 개의 MFU들은 AU 1에 포함되고, 나머지 3개의 MFU들은 AU 2에 속할 수 있다. 이 경우 MMPU는 AU의 구조에 대한 정보를 포함하는 AU 구조(structure)를 포함한다. 구체적으로 AU 구조는 MMPU 내의 TRUN(110) 박스에 포함된다.

<표 1>은 도 1에서 시간 미디어 데이터에 대한 액세스 유닛(access unt: AU)의 구조를 설명한다.

<표 1>처럼 AU에 대한 정보는 TRUN 박스(110)에 포함된다. TRUN 박스(110)는 해당 시간 미디어 데이터 샘플의 기본 길이와 샘플의 개수, 각각 샘플의 길이가 다른 경우 샘플의 길이, 샘플의 재생 시간, 복호 순서, 해당 샘플이 RAP(Random Access Point)인지 여부, 해당하는 MFU의 시작 및 종료 번호 정보 등을 포함한다.

그런데 비시간 데이터의 경우 MPU(100)는 MFU를 포함하지 않을 수도 있으므로, 이러한 경우 MPU에 MFU의 시작 인덱스와 MFU의 종료 인덱스에 대한 정보가 포함되는 것은 불필요하다. 즉, 비시간 미디어 데이터가 MFU에 포함되는 경우 상기 MPU(100)는 AU(Access Unit) 구조 및 시간 정보가 필요하지 않다. 따라서 불필요한 정보는 오버헤드가 된다. 따라서 본 발명의 실시예에서는 이러한 정보들을 AU가 아니라 MFU에 포함되도록 한다. 따라서 본 발명의 실시예에서는 MPU 내에 MFU가 포함되어 있는지 여부를 나타낼 수 있도록 한다.

FUcompleteedial한편, MMT 포맷을 지원하지 않는 기존의 시간 미디어 데이터는 MMT 포맷의 MFU에 의하여 캡슐화(encapsule)되지 못한다. 따라서 상기 MPU(100)가 기존의 미디어 데이터를 포함할 경우, MPU는 MFU에 대한 정보를 포함할 필요가 없다. 또한, 기존의 미디어 재생 장치는 MMT 포맷을 지원하지 않기 때문에 수신한 미디어 데이터 내에 MMT에서 규정된 MPU 내의 박스를 알지 못하여 MMPU 박스나 MMFU 박스를 스킵(skip)하게 된다. 따라서 MPU 내에는 기존의 미디어 재생 장치가 접근할 수 있는 박스가 없게 된다. 결국, 기존의 미디어 재생 장치는 MMFU 내에 포함되어 있는 미디어 데이터를 인식하지 못하며, 따라서 현재의 MPU 구조는 MMT를 지원하지 않는 기존의 미디어 재생 장치와 호환이 되지 않는다. 이러한 점을 고려하여 본 발명의 실시예에 따른 MPU 구조는 MMT를 지원하지 않는 미디어 재생 장치와 호환이 가능하도록 한다. 이를 위하여 MMFU가 MFU의 시퀀스 번호(sequence number), 미디어 데이터의 크기(size) 정보, 미디어 데이터의 위치 정보(offset)를 포함하도록 한다.

한편, 앞서 설명한 바와 같이 MMT 시간 미디어 데이터는 MFU 단위로 송수신된다. 그런데 복수 개의 MFU가 송신 중에 자체적으로 MFU가 손실될 수도 있지만, 임의의 네트워크 노드에서 채널 상황을 고려하여 MFU를 전송하지 않을 수 있다. 예를 들어, 채널 상황이 급격히 나빠진 경우 데이터 전송률을 절반 정도 낮추고 싶다면 전체 전송할 MFU들 중 절반의 MFU들을 전송하지 않는 것이다. 이 경우 수신측에서는 어느 하나의 MFU가 손실된 경우, 전체 MPU에 대한 정보를 다시 수신하여야 한다. 즉, 손실된 MFU에 따라 그 상황을 반영한 MPU를 업데이트 받아야 전체 미디어 데이터를 복원할 수 있다. 본 발명의 실시예에 따른 MPU 구조는 MFU가 손실되더라도 전체 MPU를 재수신하지 않아도 전체 미디어 데이터를 복원할 수 있도록 한다. 이를 위하여 본 발명의 실시예에서는 해당 MPU가 원래의 MPU에서 변경된 부분이 있는지 여부를 나타내는 정보를 포함하도록 하여, 수신측에서 해당 정보를 보고 어느 부분이 변경, 또는 삭제되었는지를 알 수 있도록 한다.

상술한 바에 따라 본 발명의 실시예에 따른 MPU의 구조를 더 상세히 설명한다.

본 발명의 실시예에 따른 MMPU는 “플래그(flag)” 필드, “미디어 정보 테이블(media info table)” 필드, “AU 구조(structure)” 필드, “MPU 구조(structure)” 필드 중 적어도 하나를 포함한다.

먼저 플래그 필드를 설명한다. 본 발명의 실시예에 따른 플래그는 3개의 플래그를 포함한다. “플래그 1”은 해당 MPU에 포함된 데이터가 시간 데이터인지 비시간 데이터인지를 나타내는 플래그이다. “플래그 2”는 해당 MPU가 MFU를 포함하는지 여부를 나타내는 플래그이다. “플래그 3”은 해당 MPU가 원본(original) MPU인지 변경된 MPU인지를 나타내는 플래그이다.

플래그 1을 구체적으로 설명한다. 플래그 1이 “1(true)” 이면 MPU(100)는 시간 미디어 데이터를 가지고 있으며, 플래그 1이 “0(false)” 이면 MPU(100)는 비시간 미디어 데이터를 가지는 것을 지시한다. 그 역도 가능함을 물론이다. 또한, 플래그 1이 “1(true)” 이면, 시간 미디어 데이터에 대한 시간 정보가 제공됨을 표시하고, 플래그 1이 “0(false)” 이면 시간에 대한 정보는 제공되지 않음을 표시할 수 있다. 상기 시간 미디어 데이터에 대한 시간 정보란 시간 미디어 데이터가 재생되는 시간을 의미한다.

“플래그(flag) 2”를 구체적으로 설명한다. 플래그 2가 “1(true)”이면 MPU는 MFU로 인캡슐레이션한 미디어 데이터를 가지고 있으며 플래그 2가 “0(false)” 이면 MPU는 MFU로 인캡슐레이션하지 않은 미디어 데이터를 포함하고 있음을 나타낸다. 그 역도 가능함을 물론이다. 참고로, MFU로 인캡슐레이션하지 않은 미디어 포맷을 가지는 미디어 데이터는, 예를 들어, MPEG-2 TS(Transport Stream)나 ISOFF로 표현한 미디어 데이터가 될 수 있다. 또한, 추가적으로 플래그 2가 “true” 이면 MFU의 구조 정보가 제공됨을 표시하고, 플래그 2가 “false” 이면 MFU의 구조 정보가 제공되지 않음을 표시할 수 있다. 상술한 플래그 2는 MPU가 MFU로 인캡슐레이션 미디어 데이터가 포함되는지 여부를 나타내는 것이므로, 이는 결국 MPU가 MMT를 지원하는 미디어 데이터를 포함하는지 여부를 나타내는 것과 동일한 것이다.

한편, “플래그 3”에 대해서는 뒤에서 상세히 설명할 것이다.

이하에서 MFU 구조에 대하여 설명한다.

MFU 구조는 AU의 존재 여부와 상관없이 독립적으로 존재할 수 있는 것을 가정한다. 이때 AU가 존재하여 MFU가 AU에 포함된 경우, MFU 구조는 AU와 MFU 사이의 관계에 관한 정보를 포함한다. 반면, AU가 존재하지 않아서 MFU가 AU에 포함되지 경우, MFU 구조는 AU와 MFU 사이의 관계에 관한 정보를 포함하지 않는다. 이때, AU와 MFU 사이의 관계에 관한 정보란 각각의 AU에 속하는 MFU의 개수 정보를 포함한다. 이를 위하여 AU의 테이블과 MFU의 테이블을 매핑하기 위한 매핑 정보가 이용할 수 있다.

또한, MFU가 시간 미디어 데이터를 포함하는 경우, MFU는 “시간 미디어” 데이터 타입을 포함하는 것이므로, MFU가 가지는 미디어 데이터의 타입을 소정의 기본값으로 지시하여 MFU가 가지는 미디어 타입을 서술할 수 있다. 한편, 상기 미디어 타입은 미디어 정보 테이블에서 설정된 미디어 타입 중의 하나로 선택될 수 있다. 반면, MFU가 비시간 미디어를 포함하는 경우, 하나의 MFU는 서로 다른 여러 개의 미디어 타입을 가질 수 있다. 따라서 해당 MFU가 미디어 정보 테이블 중 어떤 미디어 타입에 매핑되는지 MFU 별로 각각 지시할 수 있다.

또한, MFU 구조는 MPU 내의 여러 MFU들 간의 연관 관계에 대한 정보를 제공한다. 도 1에서 설명된 기존의 MPU 구조 내에 포함된 MFU에는 서로 다른 MFU들 간에 상호 참조하는 횟수를 표현하는 “dependency_counter” 필드, MFU들 간의 우선순위를 표현하는 “priority” 필드, 시간적 공간적 복합 계층 정보를 표현하는 “multilayer information” 필드를 가지고 있다. 그런데 상기 정보들의 참조 범위는 하나의 AU에 속하는 여러 개의 MFU에 제한되었다. 예를 들어, AU 1은 MFU 1, MFU 2, MFU 3을 포함하고, AU 2는 MFU 3, MFU 4를 포함한다고 가정하면, 기존의 MFU에서 “dependency_counter”, “priority”, “multilayer information” 각각은 AU 1에 속하는 MFU 1, MFU 2, MFU 3 상호 간들과의 참조 관계만을 표시하였다. 동일하게 AU 2에 속하는 MFU 3, MFU 4들 간의 참조 관계만을 표시하였다. 그러나 서로 다른 AU인 AU 1과 AU 2에 속하는 MFU들간의 참조 관계가 존재할 수 있기 때문에, 상기 정보들이 하나의 AU내에 존재하는 MFU들 간의 관계만을 고려하여 표시될 경우 네트워크 노드가 효율적으로 MFU를 삭제 또는 변경하지 못하는 문제가 있다.

본 발명의 실시예에서는 이러한 점을 고려하여 MFU 내의 “dependency_counter”, “priority”, “multilayer information”를 서로 다른 AU 들 내에 존재하는 MFU들 간의 관계를 고려하여 표시한다. 이렇게 하면 네트워크 노드가 채널 상태가 혼잡하여 임의의 MFU를 제거하고자 할때 MFU 제거의 효율성이 높아질 수 있다. 이에 대해서는 도 2a 및 도 2b를 참조하여 설명한다.

도 2a 및 도 2b는 본 발명의 실시예에 따라 네트워크 노드에서 서로 다른 AU 내의 MFU를 고려하여 MFU를 제거하는 방식을 설명하는 도면이다.

도 2a는 서로 다른 AU들 내부에 위치하는 MFU들 간 상호 참조가 유지되는 것을 실선으로 도시한 것이고, 도 2b는 서로 다른 AU들 내부에 위치하는 MFU들 간 상호 참조가 유지되지 않은 것을 점선으로 도시한 것이다.

도 2a에서 서로 다른 AU들(201, 203, 205) 사이에서 서로 다른 MFU들을(211, 213, 215) 상호 참조하고 있다. 그런데 만일 네트워크 노드에서 AU 2(203)의 MFU 2(213)를 삭제하였다고 가정하면, 상기 삭제된 MUF 2(213)가 참조하고 있는 AU 1(201)과 AU 3(205) 내의 MFU 1(211)과 MFU 3(215)도 삭제될 것이다. 반면, 도 2b에서는 AU 2(223) 내의 MFU 2(235)가 MFU 1(231)과 MFU 3(235)과 참조를 유지하지 못하기 때문에 MFU 2(235)가 삭제되어도 MFU 1(231)과 MFU 3(235)은 삭제되지 않을 것이다.

그런데 도 2a와 같이 서로 다른 AU들 내부의 MFU들 간의 참조가 유지된 상태에서, MFU 내의 “dependency_counter”, “priority”, “multilayer information” 이 하나의 AU 내의 MFU들 사이의 관계에 대한 정보만을 고려하여 표시되고 있다면, 네트워크 노드는 해당 MFU가 다른 AU 내의 MFU를 참조하고 있음을 고려하지 않은 상태에서 삭제하고자 하는 MFU를 선택하게 된다. 따라서 네트워크 노드가 MFU를 삭제할 때 하나의 AU 내에 포함된 MFU들만의 우선 순위 등을 고려하기 때문에 효율적으로 MFU를 삭제하기가 어렵다.

예를 들어, 하나의 AU 내에 5개의 MFU가 있을 때, 네트워크 노드가 5개의 MFU들 간의 관계만을 고려하여 삭제할 MFU를 결정한다면, 5개의 MFU 중 중 가장 중요도(priority)가 떨어지는 MFU를 삭제할 것이다. 그런데 삭제된 MFU가 다른 AU에 포함된 MFU들을 참조하고 있다면 해당 MFU의 중요도는 달라질 수 있을 것이다. 따라서 MFU의 중요도를 나타내기 위하여 해당 MFU가 속해 있는 AU 뿐만 아니라 다른 AU들과의 관계를 고려한다. 다른 정보들도 동일하게 다른 AU를 고려하여 해당 정보를 표시하면, 네트워크 노드에서 MFU를 삭제 시 이러한 정보들을 이용하여 효율적으로 MFU를 삭제할 수 있다.

상술한 점을 고려하여 본 발명은 <표 2>의 AU 구조(structrure)와 <표 3>의 MFU 구조(structrure)를 제안한다.

상기 <표 2>의 AU 구조는 본 발명의 실시예에 따른 MPU에 포함된다. MPU에 포함된 AU 구조는 후술되는 도 3에 참조 번호 310으로 도시되어 있다.

상기 <표 3>의 MFU 구조(structure)는 본 발명의 실시예에 따른 MPU에 포함된다. MPU에 포함된 MFU 구조는 후술되는 도 3에 참조 번호 320으로 도시되어 있다. 특히, 상기 <표 3>에서는 “Dependency counter”, “priority”, “multilayer information”가 참조하는 MFU의 범위는 해당 MFU가 현재ㄷ속해 있는 AU 뿐만 아니라 다른 AU 내에 속해 있는 MFU들까지 확장된다. 또한, <표 3>의 MFU 구조는 MFU의 AU 내에서의 시퀀스 번호(number_of_mfu_in_au), 데이터 박스(MDAT)내에 위치하고 있는 실제 미디어 데이터의 크기(size) 정보를 포함한다. 또한, <표 3>에 표시되지는 않았으나 필요한 경우 미디어 데이터가 데이터 박스(MDAT) 내의 위치를 알리기 위하여 위치 정보(offset)를 포함할 수 있다. 한편, 본 발명의 실시예에 따를 경우 실제 미디어 데이터는 기존의 MPU 구조와 달리 미디어 데이터 박스(MDAT) 내에 배치된다.

이하에서는 MMT를 지원하지 않는 기존의 미디어 포맷 재생 장치와의 호환성을 유지하기 위한 방안을 설명한다.

기존의 MPU 구조에 있어서 MMFU는 시간 미디어 데이터를 MMFU내에 포함하고 있으나, 상술한 것처럼 MMT는 지원하지 않는 기존의 미디어 포맷 재생 장치는 MMFU를 인식하지 못하기 때문에 MPU 내에 접근할 수 있는 박스가 없다. 반면, 청크(Chunk) 및 샘플(Sample) 기반의 어드레싱(addressing)을 사용하고 있는 기존의 미디어 포맷에서는 불연속적인 공간 상에 시간 미디어 데이터가 배치되는 것과 같은 문제가 있다. 따라서 기존의 미디어 포맷 재생 장치는 MMT와의 호환이 되지 않는다.

따라서, 본 발명의 실시예에서는 MFU의 시퀀스 번호(sequence number)와 함께 미디어 데이터 박스(MDAT)내의 크기와, 그리고 필요한 경우 시 오프셋(offset)을 부가적으로 서술하고, 실제의 미디어 데이터 조각들을 MDAT 내에 순차적으로 배치한다. 이렇게 하면 네트워크 장치나 저장 장치는 MPU를 읽은 이후 MPU에 포함된 미디어 데이터를 MFU 단위로 삭제하여 효율적으로 MPU를 전송 또는 저장할 수 있다. 예를 들어, 서비스 제공자가 최초에 생성한 MPU를 수신한 네트워크 노드가 네트워크 상태가 나빠져서 임의의 미디어 데이터 조각을 삭제하고 MPU를 전송하고자 하는 경우를 가정하자. 이때 네트워크 노드는 MPU에 포함된 복수의 MMFU 박스 중에서 임의의 MMFU 박스를 삭제하고, 해당 MMFU가 지시하는 위치 정보 및 크기 정보를 이용하여 MDAT 내의 해당 미디어 데이터를 삭제하여 전체 MPU의 크기를 줄일 수 있다.

한편, 상술한 것과 같이 네트워크 노드에서 일부의 미디어 데이터가 삭제된 경우라도 수신측에서 삭제된 미디어 데이터가 반영된 MPU를 재수신하지 않고, 해당 MPU에서 특정 미디어 데이터가 삭제된 것을 알 수 있어야 한다. 이하에서 미디어 데이터가 삭제된 경우에도 수신측에서 이를 알 수 있도록 하는 방안에 대하여 설명한다.

수신측 미디어 재생 장치를 포함한 임의의 네트워크 노드가 MPU를 수신하고 MPU을 읽은 결과 MPU 내부에서 MMFU를 검색하였는데 일부의 MMFU가 누락되었다면, 미디어 포맷 재생 장치는 수신한 MPU가 송신측에서 최초 송신한 원래의(original) MPU가 아니라 수정된 MPU임을 알 수 있을 것이다. 다만, 이는 미디어 재생 장치가 MMFU를 모두 읽은 이후에 판단할 수 있으므로 이 판단을 위한 시간이 필요하다. 따라서 본 발명의 실시예에서는 네트워크 엔터티(entity)들이 수신한 MPU가 원래의 MPU인지 여부를 빨리 알수 있도록 하기 위하여, MPU에 “플래그(flag) 3” 필드가 포함된다.

*“플래그 3”이 “1(true)”이면 해당 MPU는 완전한(complete) 원본임을 나타내며, 최초 생성된 MFU를 전부를 포함하고 있음을 나타낸다. “플래그 3”이 “0(false)”이면 해당 MPU는 일부의 MFU가 삭제 또는 변경된 ”변경된(modified) MPU”임을 나타낸다. 그 역도 가능함은 물론이다. 즉, 해당 MPU가 변경된 MPU임을 지시하여 해당 MPU가 완전한 재생 및 저장을 위하여 추후 원본 MPU로 대체될 수도 있을 것이다.

한편, “플래그 3”은 MPU의 앞쪽에 고정된 오프셋(offset)의 위치에 배치될 수 있다. 또한, MFU를 삭제한 네트워크 엔터티는 MFU를 삭제한 이후 해당 MPU가 변경되었음을 나타내기 위하여 플래그 3의 값을 “1(true)”에서 “0(false)”으로 변경할 수 있다.

지금까지 설명한 본 발명의 일 실시예에 의한 MMFU 구조는 하기 <표 4>에서 예시하였다.

상기 <표 4>의 MMFU는 본 발명의 실시예에 따른 MPU에 포함되며, MFU 시퀀스 넘버, 사이즈, 오프셋이 포함되어 있음을 볼 수 있다. 참고로 MPU에 포함된 MMFU는 후술되는 도 3에 참조 번호 330으로 도시되어 있다.

도 3은 본 발명의 실시예에 따른 MPU(300)의 구조를 설명하는 도면이다.

MMPU(301)는 플래그(305), 미디어 정보 테이블(307), AU 구조(310), MFU 구조(320)를 포함하고, 이들을 이용하여 MPU에 관련된 정보를 포함한다. 또한, MPU는 적어도 하나 이상의 MMFU들(330)을 포함하고, 각각의 MMFU들은 각각의 미디어 데이터 프래그먼트들에 대한 정보를 포함한다. MDAT(340)는 적어도 하나의 미디어 데이터, 즉, 미디어 데이터 프래그먼트를 포함하며, 각각의 미디어 데이터 프래그먼트들은 MMFU들에 포함된 위치 정보(offset)와 크기 정보(size)를 가지고 시퀀스 번호(sequence number)에 따라 순차적으로 배열된다.

상기 플래그(305)는 상술한 바와 같이 본 발명에서 제안하는 “플래그 1”, “플래그 2”, “플래그 3”을 포함할 수 있다. 상기 플래그들의 내용은 앞서 설명된 바와 같다.

상기 미디어 정보 테이블(307)은 MFU가 가지는 미디어 타입의 종류를 미리 설정한 테이블로서, 현재의 MFU가 어느 미디어 타입을 가지는지를 상기 테이블을 통하여 표시할 수 있다.

AU 구조(310)는 앞서 <표 2>에서 설명된 바와 같다. AU 구조는 도 1에서 설명된 AU 구조에서 AU와 MFU에 대한 정보가 제외된 것이다.

MFU 구조(320)는 앞서 <표 3>에서 설명된 바와 같다. 설명된 바와 같이 본 발명의 실시예에서는 MFU 구조(320) 내의 “Dependency counter”, “priority”, “multilayer information”가 참조하는 MFU의 범위는 해당 MFU가 현재 속해 있는 AU 뿐만 아니라 다른 AU 내에 속해 있는 MFU들까지 확장된다.

한편, MPU(300)가 AU 구조(310)를 가지면 AU 구조(310)는 해당 AU가 포함하는 미디어 데이터에 대한 정보를 포함한다. 또한, MPU(300)가 MFU 구조(320)를 가지면 MFU 구조(320)는 AU와 MFU의 관계에 대한 정보를 제공한다.

또한, 임의의 MMFU가 삭제된 경우, 미디어 재생 장치를 포함한 MPU를 수신한 엔터티는 MFU 구조(320)를 이용하여 어떤 MMFU가 삭제되었는지와, MDAT(340) 내에서 삭제된 미디어 데이터 위치와 크기를 알 수 있다. 즉, 상기 MFU 구조(320)는 MMFU 별로 MMFU 식별자와 MMFU의 크기, MMFU(330)의 MDAT(340) 내의 위치에 관한 오프셋(Offset) 정보를 포함하고 있어, 이들 정보를 이용하여 삭제된 MMFU와 MDAT 내에서 삭제된 미디어 데이터의 위치 및 크기를 알 수 있다.

도 4a 및 도 4b는 본 발명의 일 실시예에 의한 네트워크 노드 또는 수신 단말 등이 MPU를 수신한 이후 MPU를 수정하거나 MPU를 복원하는 과정을 설명하는 도면이다.

도 4a에서 3개의 MPU들은 모두 앞서 도 3에서 설명된 본 발명의 실시예에 따른 MPU 구조에 바탕한 것이다. 따라서 구체적인 구성에 대해서는 앞서 설명되었으므로 여기서는 그 설명을 생략한다.

원래의 MPU(400)는 컨텐츠 제공자에 의해 생성된 최초의 MPU를 나타낸다. 원래의 MPU(400)는 MMPU(411)와, 4개의 MMFU(412)와, 각각의 MMFU에 대응하는 4개의 미디어 데이터(413)를 포함하는 것으로 가정하였다. 상기 원래의 MPU(400)는 최초에 전송을 위해 필요한 모든 MMFU와 각각의 MMFU에 해당되는 미디어 데이터를 포함하고 있기 때문에 “원본(Original) MPU”라고 하고 플래그 필드에서 “is_complete”값이 1이 된다. 상기 “is_complete”는 앞서 설명된 “플래그 3”과 동일한 플래그로서 명칭을 직관적으로 표현하기 위한 것이다.

변경된 MPU(410)는 네트워크 노드와 같이 MPU를 변경할 수 있는 네트워크 엔터티가 MPU의 전송 또는 MPU를 효율적으로 저장하기 위하여 원본 MPU(400)에서 일부의 MFU를 삭제 또는 변경한 것이다. 상기 삭제 또는 변경된 MPU(410)는 일부의 MMFU와 해당 미디어가 삭제 또는 변경되었기 때문에 “변경된(Modified) MPU”라고 칭하고, “is_complete” 값이 0으로 설정된다. 상기 “is_complete”은 앞서 설명된 플래그 3과 동일한 플래그이다. 이때, 원본 MPU(400)를 필요에 따라 수정하여 MMFU 및 해당 미디어 데이터를 삭제한 엔터티가 “is_complete” 값을 “1”에서 0으로 변경할 수 있다. 즉, 네트워크 엔터티가 원본 MPU(400)를 수신하였을 때 “is_complete” 값이 1이었으나, 해당 엔터티가 MPU를 수정하였으므로, 수정 MPU임을 나타내기 위하여 “is_complete” 값을 0으로 설정하는 것이다.

복원된 MPU(420)는 미디어 포맷 재생 장치 또는 수신한 MPU를 저장하는 단말에서 수신한 MPU를 복원하여 “복원된(Resored) MPU”를 생성한 것을 나타낸다. ”is_complete” 값이 0인 MPU를 수신한 단말은 MMFU들 내에 포함된 미디어 데이터들에 대한 크기(size) 정보와 위치 정보(즉, offset)를 이용하여 삭제된 미디어 데이터의 크기와 위치를 판단할 수 있다.

이후, 삭제된 미디어 데이터의 크기의 “더미(dummy)” 데이터가 MDAT 내에서 해당 미디어 데이터가 삭제된 위치에 채운다(406). 상기 더미 데이터는 특정한 의미를 가지지 않는 데이터로서, 복호기가 더미 데이터를 복호하는 경우에도 복호 오류가 생기지 않는 특징을 갖는다.

이렇게 더미 데이터를 이용하여 삭제된 MPU를 복원하면 복원된 MPU(420)가 생성된다. 이 MPU(420)는 원본 MPU와 완전히 동일한 것은 아니지만 MPU 및 MMT를 지원하지 않는 기존의 미디어 포맷을 가지는 정보가 지시하는 데이터의 위치에 데이터를 위치시켰기 때문에 “복원된 MPU”라고 한다. 상기 기존의 미디어 포맷을 가지는 정보는, 일 예로 ISO14496-12의 MOOV, MOOF 박스 등이 될 수 있다.

도 4b는 도 4a에서 설명된 MPU에서의 데이터의 위치를 설명하기 위한 도면이다.

원본 MPU(430)의 MMPU(431)와, 4개의 MMFU(432)와, 각각의 MMFU에 대응하는 4개의 미디어 데이터(433)를 포함한다. 원본 MPU(430)에서의 실선 화살표들(435)은 최초 미디어 데이터의 위치를 나타낸다.

수정된 MPU(440)에서는 id=3을 가지는 MMFU가 삭제되었다(441). 따라서 MDAT 내에서도 MMFU id=3에 대응하는 미디어 데이터가 삭제된다. MMFU id=1, 2번에 대응하는 미디어 데이터는 원본 MPU(430)에서의 미디어 데이터와 동일한 위치에 있다. 위쪽 두개의 실선 화살표(443)는 해당 위치에 있는 미디어 데이터의 오류가 없음을 나타낸다. 위로부터 3번째 점선 화살표(445)에 위치한 미디어 데이터는 실제 MMFU id=4에 대응하는 미디어 데이터이므로 원본 MPU에서의 미디어 데이터의 위치와 다르다. 아래 두 개의 점선 화살표(447)는 이처럼 해당 위치의 미디어 데이터가 원본 MPU(430)에서 미디어 데이터 위치와 다른 위치에 존재하여 오류가 있음을 나타내고 있다.

한편, 앞서 설명된 바에 따라 더미 데이터를 이용하여 미디어 재생 장치 또는 단말기가 복원 MPU(450)를 생성하면, 원본 MPU에서의 데이터 위치와 동일한 위치에 데이터가 존재하게 된다. 이렇게 하여 원본 MPU와의 호환성이 보장될 수 있어, 기존 미디어 포맷과 호환성이 보장될 수 있다.

*이하에서는 본 발명의 실시예에서 사용되는 미디어의 타입에 대하여 설명한다.

본 발명의 실시예에서 사용되는 미디어 타입은 시간 미디어 데이터와 비시간 미디어 데이터 모두 적절한 마임 타입(MIME type)과, 미디어 초기화 정보 및 기본 정보를 제공한다.

시간 미디어 데이터와 비시간 미디어 데이터는 하나 또는 복수 개의 미디어 타입 테이블이 제공되고 각각의 마임 타입에 따라 해당 미디어 데이터의 초기화에 필요한 적절한 정보를 제공한다.

시간 미디어 데이터의 대표적인 초기화 정보에는 시퀀스 파라미터 집합(Sequence Parameter Set)과 픽처 파라미터 집합(Picture Parameter Set)과 같은 파라미터 집합(Parameter Set)이 있다.

MPU를 재생하려는 재생장치는 MMT 에셋(Asset) 내에서 연속되는 임의의 MPU 중 하나로부터 재생을 시작하고, 미디어의 타입에 따라 시간 미디어 데이터의 경우 파라미터 집합(Parameter set)을 읽어 디코더 장치를 초기화하고, 이후 시간 미디어 데이터를 디코더에 인가하여 올바른 재생을 수행할 수 있다. 참고로 상기 MMT 에셋이란 적어도 하나의 MPU들의 집합을 말한다.

한편, 비시간 미디어 데이터의 대표적인 예로는 파일이 있을 수 있다. 파일을 초기화하기 위한 정보는 파일의 이름, 크기, CRC(Cyclic Redundancy Check)등의 정보가 될 수 있다. 파일은 하나의 MFU에 매핑되어 제공되며, MFU 구조에서는 어떤 파일이 어디에 위치하고 있는지에 대한 정보가 기술되어 있으므로, 재생 장치는 MPU 내에 여러 개의 파일이 있을 때 파일의 정보와 파일의 위치를 매핑하여 원하는 파일을 추출할 수 있다.

상술한 미디어 타입 테이블의 일 예는 <표 5>와 같을 수 있으며, 이 때의 MMPU는 <표 6>이다.

상기 <표 5>의 미디어 타입 테이블은 MMPU 내에 포함되며, 이는 상술한 도 3에서 참조 번호 307로 도시되었다. 해당 미디어 타입 테이블은 MPU 내의 미디어의 타입에 대한 정보를 제공한다. 즉, 해당 미디어가 어떤 코덱을 사용하고 어떤 압축 방식을 사용하는지에 대한 정보를 제공한다.

상기 <표 6>은 에셋(asset) 정보와 asid 정보와, 본 발명의 실시예에 따른 MPU 박스를 설명한다.

상술한 바와 같이 <표 6>에서 “has timed media”는 플래그 1과 같은 플래그로서 MPU가 시간 또는 비시간 미디어 데이터임을 나타낸다. 또한, “has MFU”는 플래그 2로서 MPU가 MFU 구조를 가지는지 여부를 나타낸다. “is complete”는 플래그 3으로서 MPU가 “원본 플래그”인지 삭제된 MFU를 가지는 “변경된 플래그”인지를 나타낸다.

도 5는 본 발명의 일 실시예에 의한 멀티미디어 데이터를 전송하는 방법을 나타내는 순서도이다.

도 5를 참조하면, 미디어 데이터 전송 장치는 500 단계에서 미디어 데이터에 대한 MFU를 생성하고, 510단계에서 상기 미디어 데이터를 재생하기 정보를 포함하는 MPU를 생성한다. 이후 생성된 MPU를 전송한다.

이때 상기 MPU는 도 3에서 설명된 바와 같이 본 발명에서 제안된 바에 따른 MPU 구조를 갖는다.

한편, 상술한 미디어 데이터 전송 장치 및 방법에 대응하여 미디어 데이터를 수신하는 장치와 방법도 구현 가능함은 당업자에게 자명한 사항이므로 이에 대한 상세한 설명은 생략한다.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.

그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (32)

1. 미디어 데이터를 전송하기 위한 방법으로서,
   미디어 데이터 부분 및 정보 부분을 포함하는 미디어 프로세싱 유닛을 식별하는 단계 ― 상기 미디어 데이터 부분은 상기 미디어 데이터의 적어도 하나의 프래그먼트(fragment)를 포함하고 그리고 상기 정보 부분은 상기 미디어 프로세싱 유닛에 대한 정보 및 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트에 대한 정보를 포함함 ―; 및
   상기 미디어 프로세싱 유닛을 전송하는 단계를 포함하고,
   상기 정보 부분은:
   상기 미디어 프로세싱 유닛 내의 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트가 타임드(timed) 데이터인지 아니면 비-타임드(non-timed) 데이터인지 여부를 나타내는 제 1 정보, 및
   상기 미디어 프로세싱 유닛이 프래그먼트 구조에 의해 기술되는 모든 프래그먼트들을 포함하는지 여부를 나타내는 제 2 정보를 포함하는,
   미디어 데이터를 전송하기 위한 방법.
2. 제 1 항에 있어서,
   상기 정보 부분은 상기 미디어 프로세싱 유닛이 적어도 두 개의 프래그먼트들을 포함하는지 여부를 나타내는 제 3 정보를 포함하는,
   미디어 데이터를 전송하기 위한 방법.
3. 제 1 항에 있어서,
   상기 정보 부분은 오프셋 정보, 길이 정보, 및 시퀀스 번호 중 적어도 하나를 포함하고,
   상기 시퀀스 번호는 상기 미디어 프로세싱 유닛 내의 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트의 시퀀싱 순서를 나타내고,
   상기 오프셋 정보는 상기 미디어 프로세싱 유닛 내의 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트의 위치를 나타내고, 그리고
   상기 길이 정보는 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트의 길이를 나타내는,
   미디어 데이터를 전송하기 위한 방법.
4. 제 3 항에 있어서,
   상기 미디어 데이터의 상기 적어도 하나의 프래그먼트는 상기 시퀀스 번호, 상기 오프셋 정보 또는 상기 길이 정보 중 적어도 하나에 따라 위치되는,
   미디어 데이터를 전송하기 위한 방법.
5. 미디어 데이터를 전송하기 위한 장치로서,
   미디어 데이터 부분 및 정보 부분을 포함하는 미디어 프로세싱 유닛을 식별하도록 구성되는 제어기 ― 상기 미디어 데이터 부분은 상기 미디어 데이터의 적어도 하나의 프래그먼트(fragment)를 포함하고 그리고 상기 정보 부분은 상기 미디어 프로세싱 유닛에 대한 정보 및 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트에 대한 정보를 포함함 ―; 및
   상기 미디어 프로세싱 유닛을 전송하도록 구성되는 송수신기를 포함하고,
   상기 정보 부분은:
   상기 미디어 프로세싱 유닛 내의 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트가 타임드(timed) 데이터인지 아니면 비-타임드(non-timed) 데이터인지 여부를 나타내는 제 1 정보, 및
   상기 미디어 프로세싱 유닛이 프래그먼트 구조에 의해 기술되는 모든 프래그먼트들을 포함하는지 여부를 나타내는 제 2 정보를 포함하는,
   미디어 데이터를 전송하기 위한 장치.
6. 제 5 항에 있어서,
   상기 정보 부분은 상기 미디어 프로세싱 유닛이 적어도 두 개의 프래그먼트들을 포함하는지 여부를 나타내는 제 3 정보를 포함하는,
   미디어 데이터를 전송하기 위한 장치.
7. 제 5 항에 있어서,
   상기 정보 부분은 오프셋 정보, 길이 정보, 및 시퀀스 번호 중 적어도 하나를 포함하고,
   상기 시퀀스 번호는 상기 미디어 프로세싱 유닛 내의 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트의 시퀀싱 순서를 나타내고,
   상기 오프셋 정보는 상기 미디어 프로세싱 유닛 내의 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트의 위치를 나타내고, 그리고
   상기 길이 정보는 상기 미디어 데이터의 상기 적어도 하나의 프래그먼트의 길이를 나타내는,
   미디어 데이터를 전송하기 위한 장치.
8. 제 7 항에 있어서,
   상기 미디어 데이터의 상기 적어도 하나의 프래그먼트는 상기 시퀀스 번호, 상기 오프셋 정보 또는 상기 길이 정보 중 적어도 하나에 따라 위치되는,
   미디어 데이터를 전송하기 위한 장치.
   
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제

Images