KR20160030133A

KR20160030133A - 실시간 전송 프로토콜 기반의 방송 시스템에서 미디어 방송 신호의 송수신 방법 및 장치

Info

Publication number: KR20160030133A
Application number: KR1020157037197A
Authority: KR
Inventors: 박정욱; 문경수; 권우석; 오세진
Original assignee: 엘지전자 주식회사
Priority date: 2013-07-05
Filing date: 2014-07-04
Publication date: 2016-03-16
Also published as: WO2015002500A1; US20160173556A1; CA2917290A1; CA2917290C

Abstract

본 발명은 방송 시스템에서 미디어 방송 신호를 송신하는 방법 및 수신하는 장치에 관한 것이다. 미디어 방송 신호 수신 장치는 실시간 전송을 위한 프로토콜에 의한 패킷을 수신하는 수신부, 여기서, 상기 패킷의 페이로드는 데이터 종류에 따라 분할된 미디어 파일 포맷 (MFF) 파일을 포함하고, 상기 분할된 미디어 파일 포맷 (MFF) 파일은 전체 재생 정보와 초기 재생 정보를 가진 메타데이터를 포함하는 초기 부분 MFF 파일 및 미디어데이터와 상기 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터를 포함하는 미디어 부분 MFF 파일 중 어느 하나에 해당하고, 미디어 파일 포맷 (MFF) 파일을 분석하여 메타데이터와 미디어데이터를 구분하고 재생에 필요한 정보를 추출하는 파싱부, 상기 파싱부로부터 출력된 미디어 파일 포맷 (MFF) 파일을 복호하는 디코더 및 상기 파싱부에서 추출된 정보를 이용하여 복호된 미디어 파일 포맷 (MFF) 파일을 재생하는 재생부를 포함한다.

Description

실시간 전송 프로토콜 기반의 방송 시스템에서 미디어 방송 신호의 송수신 방법 및 장치 {METHOD AND APPARATUS FOR TRANSMITTING/RECEIVING MEDIA BROADCASTING SIGNAL IN REAL TIME TRANSPORT PROTOCOL-BASED BROADCASTING SYSTEM}

본 발명은 방송 시스템에서 미디어 방송 신호를 송수신하는 방법 및/또는 장치에 관한 것이다. 보다 상세하게는, 본 발명은 실시간 전송 프로토콜 기반의 방송 시스템에서 미디어 방송 신호를 송수신하는 방법 및/또는 장치에 관한 것이다.

통신 기술의 발전에 따라, 미디어 방송을 실시간으로 송신 및 수신하고 실시간으로 재생할 수 있게 되었다. 미디어 방송의 실시간 전송을 위해서, 실시간 전송 프로토콜이 사용되는데 실시간 전송 프로토콜은 오디오, 비디오 등의 미디어를 전송하기 위해 사용되는 프로토콜이다.

실시간 전송 프로토콜에 의한 미디어 패킷은 수신입장에서 패킷에 대한 처리가 신속히 이루어 질 수 있도록 간소하게 구성되어 있고, 실시간 재생에 적합하게 설계되어 있다. 또한, 멀티캐스팅 또한 가능하도록 설계되어 있다.

하지만, 실시간 전송 프로토콜은 HTTP (Hyper Text Transfer Protocol)와 같이 손실된 패킷에 대한 재요청과 같은 송신자와 수신자간의 소통이 불가능하다. 따라서, 저장 매체용 미디어 포맷에 적합한 미디어 파일 포맷 (Media File Format; MFF) 파일을 전송하는 데에는 어려움이 존재한다.

미디어 파일 포맷 (Media File Format; MFF)은 box라고 불리는 데이터 단위로 구성되어 있다. 해당 box들은 ftyp, moov, mdat과 같이 지칭되며 메타데이터와 미디어데이터가 분할되어 계층형태를 이루고 있다. 메타데이터는 주로 파일에 대한 브랜드명과 실제 미디어정보에 대한 구분, 복호화 및 재생 시점과 같은 정보를 포함하고 있다. 그리고, 미디어데이터는 디코더에서 처리될 실제 미디어데이터들을 포함하고 있다. 미디어 파일 포맷 (Media File Format; MFF) 파일의 경우에 수신단에서는 메타데이터뿐만 아니라 미디어데이터도 모두 수신해야 해당 미디어를 재생할 수 있다.

따라서, 실시간 전송 프로토콜은 데이터의 수신과 동시에 재생이 되어야 하는 특성을 가지고 있고, 미디어 파일 포맷 (Media File Format; MFF) 파일은 재생관련 모든 데이터가 수신이 완료되어야 재생이 가능한 특성을 가지고 있다. 따라서, 미디어 파일 포맷 (Media File Format; MFF) 파일을 실시간으로 전송하기 위하여 실시간 전송 프로토콜을 이용하는 경우에는 위와 같은 상이한 특성에 의한 어려움이 존재한다.

또한, 수신기는 MFF 파일이 실시간 전송 프로토콜을 통하여 전송되는 경우에 패킷 레벨에서 전송되는 파일이 MFF 파일인 지를 인지할 수 있는 방법이 없어 해당 파일을 실시간 수신 및 재생함에 있어 문제점이 존재한다.

본 발명이 이루고자 하는 과제는, 전술한 문제점을 해결하기 위한 것으로, 실시간 전송 프로토콜을 기반으로 미디어 파일 포맷 파일을 송수신하는 방법 및/또는 장치를 제공하는 것이다.

나아가, 본 발명이 이루고자 하는 과제는, 실시간 전송 프로토콜 기반의 미디어 파일 포맷 파일의 전송에 적합한 시그널링 정보를 제공하는 것이다.

나아가, 본 발명이 이루고자 하는 과제는, 실시간 전송 포로토콜 상에서 전송되는 데이터가 미디어 파일 포맷 (Media File Format; MFF)임을 구분할 수 있는 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른, 미디어 방송 신호 수신 장치는 실시간 전송을 위한 프로토콜에 의한 패킷을 수신하는 수신부, 여기서, 상기 패킷의 페이로드는 데이터 종류에 따라 분할된 미디어 파일 포맷 (MFF) 파일을 포함하고, 상기 분할된 미디어 파일 포맷 (MFF) 파일은 전체 재생 정보와 초기 재생 정보를 가진 메타데이터를 포함하는 초기 부분 MFF 파일 및 미디어데이터와 상기 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터를 포함하는 미디어 부분 MFF 파일 중 어느 하나에 해당하고, 여기서, 상기 패킷의 헤더는 페이로드에 포함된 상기 분할된 미디어 파일 포맷 (MFF) 파일이 초기 부분 MFF 파일인지 미디어 부분 MFF 파일인지를 식별하는 미디어 파일 포맷 (MFF) 타입 정보를 포함하고, 미디어 파일 포맷 (MFF) 파일을 분석하여 메타데이터와 미디어데이터를 구분하고 재생에 필요한 정보를 추출하는 파싱부, 상기 파싱부로부터 출력된 미디어 파일 포맷 (MFF) 파일을 복호하는 디코더 및 상기 파싱부에서 추출된 정보를 이용하여 복호된 미디어 파일 포맷 (MFF) 파일을 재생하는 재생부를 포함한다.

바람직하게는, 상기 미디어 방송 신호 수신 장치는 상기 수신된 패킷의 페이로드에 포함된 데이터를 저장하는 버퍼 및 초기 부분 MFF 파일을 포함한 패킷을 수신하는 경우 상기 초기 부분 MFF 파일이 버퍼에 저장되도록 제어하고, 미디어 부분 MFF 파일을 포함한 패킷을 수신하는 경우 초기 부분 MFF 파일이 버퍼에 저장되어 있는지 확인하여 버퍼에 저장되어 있으면 미디어 부분 MFF 파일을 버퍼에 저장된 초기 부분 MFF 파일과 함께 파싱부로 출력되도록 제어하고, 버퍼에 저장되어 있지 않으면 수신부로 하여금 새로운 패킷을 수신하도록 제어하는 제어부를 더 포함하는 것을 특징으로 한다.

바람직하게는, 상기 패킷의 헤더는 페이로드에 포함된 데이터의 포맷을 나타내는 페이로드 타입 정보를 포함하고, 상기 페이로드 타입 정보는 페이로드에 포함된 데이터가 미디어 파일 포맷 (Media File Format; MFF)임을 식별하는 것을 특징으로 한다.

바람직하게는, 상기 패킷의 헤더는 페이로드에 포함된 미디어 파일 포맷 (MFF) 파일이 재생되는 시작점을 나타내는 타임스탬프 정보를 더 포함하고, 상기 초기 부분 MFF 파일이 포함된 패킷은 상기 미디어 부분 MFF 파일이 포함된 패킷과 같거나 더 빠른 타임스탬프 정보를 갖는 것을 특징으로 한다.

바람직하게는, 상기 초기 부분 MFF 파일이 포함된 패킷은 주기적으로 계속하여 수신되는 것을 특징으로 한다.

바람직하게는, 상기 실시간 전송을 위한 프로토콜은 RTP (Real time Transport Protocol)을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 미디어 파일 포맷 (Media File Format)은 ISOBMFF (ISO Base Media File Format)을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 일 실시예에 따른, 미디어 방송 신호 송신 방법은 오디오데이터 및/또는 비디오데이터를 포함하는 미디어데이터를 미디어 파일 포맷 (Media File Format; MFF)으로 인코딩하는 단계, 상기 인코딩된 미디어 파일 포맷 (MFF) 파일을 데이터 종류에 따라 전체 재생 정보 및 초기 재생 정보를 가진 메타데이터를 포함하는 초기 부분 MFF 파일과 미디어데이터 및 상기 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터를 포함하는 미디어 부분 MFF 파일로 분할하는 단계, 실시간 전송을 위한 프로토콜에 따라 상기 분할된 미디어 파일 포맷 (MFF) 파일을 포함하는 패킷을 생성하는 단계, 여기서, 상기 생성된 패킷의 헤더는 페이로드에 포함된 상기 분할된 미디어 파일 포맷 (MFF) 파일이 초기 부분 MFF 파일인지 미디어 부분 MFF 파일인지를 식별하는 미디어 파일 포맷 (MFF) 타입 정보를 포함하고, 상기 생성된 패킷을 전송하는 단계를 포함한다.

바람직하게는, 상기 생성된 패킷의 헤더는 페이로드에 포함된 데이터의 포맷을 나타내는 페이로드 타입 정보를 포함하고, 상기 페이로드 타입 정보는 페이로드에 포함된 데이터가 미디어 파일 포맷 (MFF)임을 식별하는 것을 특징으로 한다.

바람직하게는, 상기 생성된 패킷의 헤더는 페이로드에 포함된 미디어 파일 포맷 (MFF) 파일이 재생되는 시작점을 나타내는 타임스탬프 정보를 더 포함하고, 상기 초기 부분 MFF 파일이 포함된 패킷은 상기 미디어 부분 MFF 파일이 포함된 패킷과 같거나 더 빠른 타임스탬프 정보를 갖는 것을 특징으로 한다.

바람직하게는, 상기 초기 부분 MFF 파일이 포함된 패킷은 주기적으로 계속하여 전송되는 것을 특징으로 한다.

본 발명에 따르면, 실시간 전송 프로토콜 기반의 방송 시스템에서 미디어 파일 포맷 (Media File Format; MFF) 파일을 실시간으로 전송할 수 있는 효과가 있다.

본 발명에 따르면, 실시간 전송 프로토콜 기반의 방송 시스템에서 미디어 파일 포맷 (Media File Format; MFF) 파일을 실시간으로 수신 및 재생할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 RTP (Real time Transport Protocol) 패킷의 헤더 구조를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 미디어 파일 포맷 (Media File Format; MFF)의 구조를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 실시간 전송 프로토콜을 이용하여 미디어 파일 포맷 (Media File Format; MFF) 파일을 스트림 형식으로 재생하는 미디어 방송 신호 수신 장치를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷의 고정 헤더의 Syntax를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 실시간 전송 프로토콜에 사용되는 페이로드 타입 정보 (Payload Type)를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷의 확장 헤더에 미디어 파일 포맷 (MFF)타입 정보 (MFF Type)가 포함된 Syntax를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 미디어 파일 포맷 타입 정보 (MFF Type) 값과 의미를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 Completed MFF의 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 Initial Partial MFF의 구조를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 Media Partial MFF의 구조를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 MFF 파일이 데이터의 종류별로 분할되어 전송되는 경우에 수신 장치에서 데이터의 처리과정을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷의 확장 헤더에 프래그먼트 인디케이터 정보 (Fragment Indicator)가 포함된 Syntax를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 프래그먼트 인디케이터 정보 (Fragment Indicator)값과 의미를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 MFF 파일이 데이터 종류 및 데이터 크기에 따라 분할되어 전송되는 경우에 수신 장치에서 데이터의 처리과정을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 Completed MFF를 포함한 RTP 패킷의 헤더를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 MFF 파일이 Initial Partial MFF 파일과 Media Partial MFF 파일로 분할되어 RTP 패킷을 통해 전송되는 경우 RTP 패킷의 헤더를 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 RTP 패킷의 페이로드에 Completed MFF가 포함되어 전송되는 경우에 RTP 패킷 및 Completed MFF의 구조를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 RTP 패킷의 페이로드에 Initial Partial MFF가 포함되어 전송되는 경우에 RTP 패킷 및 Initial Partial MFF의 구조를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 RTP 패킷의 페이로드에 Media Partial MFF가 포함되어 전송되는 경우에 RTP 패킷 및 Media Partial MFF의 구조를 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 MFF 파일이 데이터 종류 및 데이터 크기에 따라 분할되어 RTP 패킷을 통해 전송되는 경우 RTP 패킷의 헤더를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 지상파 방송망과 인터넷 프로토콜망 연동 기반의 하이브리드 방송 서비스 수신 장치의 동작 흐름을 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 미디어 방송 신호의 송신 방법의 흐름을 나타낸 도면이다.

발명의 실시를 위한 최선의 형태

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다

본 발명에 대한 이해와 설명의 편의를 위하여, 용어 및 약어에 대하여 아래와 같이 정의한다.

발명의 상세한 설명에서 사용되는 용어 중, 미디어 파일 포맷 (Media File Format; MFF)은 오디오 파일이나 비디오 파일과 같은 미디어 파일의 데이터 포맷을 의미하고, 예를 들어, MP4 (MPEG-4), 3GP (3GPP file format), ASF (Advanced Streaming Format), WMV (Windows Media Video), ISOBMFF (ISO Base Media File Format) 등이 미디어 파일 포맷에 해당될 수 있다. 또한, 미디어 파일 포맷은 MFF라고 약칭될 수 있다.

ISOBMFF (ISO Base Media File Format)은 오디오나 비디오와 같은 시간 기반의 멀티미디어 파일들을 위한 일반적인 구조를 정의하고 있고, MP4나 3GP 와 같이 다른 미디어 파일 포맷의 기본 구조로서 사용될 수 있다.

Payload Type은 페이로드 타입 정보라고 명명될 수 있다.

MFF Type은 미디어 파일 포맷 (MFF)타입 정보라고 명명될 수 있다.

Fragment Indicator는 프래그먼트 인디케이터 정보라고 명명될 수 있다.

Timestamp는 타임스탬프 정보라고 명명될 수 있다.

Initial Partial MFF는 초기 부분 MFF 파일 또는 초기 부분 MFF 파일 (Initial Partial MFF)이라고 명명될 수 있다.

Media Partial MFF는 미디어 부분 MFF 파일 또는 미디어 부분 MFF 파일 (Media Partial MFF)이라고 명명될 수 있다.

본 명세서에서 사용될 본 발명의 일 실시예에 따른 실시간 전송 프로토콜은 실시간으로 비디오나 오디오 스트리밍을 하기 위한 프로토콜로서 RTP (Real time Transport Protocol), RTCP (RTP Control Protocol), RTSP (Real Time Streaming Protocol), RTMP (Real Time Messaging Protocol) 등이 해당될 수 있다. 이하, 본 발명은 실시간 전송 프로토콜 중 RTP를 일 실시예로 설명하지만, 본 발명의 사상이 이에 국한되는 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 RTP (Real time Transport Protocol) 패킷의 헤더 구조를 나타낸 도면이다.

RTP (Real time Transport Protocol) 프로토콜은 오디오와 비디오 같은 미디어를 전송하기 위한 프로토콜이다.

당해 도면에 도시된 바와 같이, RTP 패킷의 헤더는 비교적 간소화되어 있어 수신단에서 패킷에 대해 신속하게 처리할 수 있다. RTP 패킷의 헤더에 순서 번호 (Sequence Number), 타임스탬프 (TimeStamp) 등의 미디어 재생에 필요한 정보를 정의하여 실시간 재생에 적합하게 설계될 수 있다. 또한, 당해 도면의 RTP 패킷의 헤더를 이용하면, 멀티캐스팅이 가능하여 하나의 송신자로부터 다수의 수신자가 동시에 정보를 수신할 수 있다. 또한, RTP 패킷의 헤더는 확장 헤더 (Extension Type)를 구비함으로써 앞으로의 서비스 개발에 대한 확장성을 대비할 수 있다.

하지만, 실시간 전송 프로토콜의 경우에는 HTTP(Hyper Text Transfer Protocol)와 같이 손실된 패킷에 대한 재요청과 같은 송신자와 수신자간의 소통은 불가능할 수 있다.

본 발명의 일 실시예에 따른 RTP 패킷의 헤더는, V (Version), P (Padding), X (Extension), CC (CSRC Count), M (Marker), PT (Payload Type), Sequence Number, TimeStamp, SSRC Identifier (Syncrhronization Source Identifier), CSRC Identifier (Contributing Source Identifier), Extension Type, Length, Reserved 및/또는 Classifier를 포함한다.

V (Version)은 프로토콜의 버전을 나타낸다.

P (Padding)은 패딩 바이트가 존재하는 지를 나타낸다. 이 필드가 세트되면 RTP 패킷의 끝에 패딩바이트들이 포함된다. 이 패딩 바이트들은 암호화 알고리즘에 사용되거나 패킷 길이를 맞추는 데 사용된다.

X (Extension)는 고정 헤더와 페이로드 사이에 확장 헤더가 존재하는 지를 나타낸다.

CC (CSRC Count)는 고정 헤더 뒤에 CSRC identifier가 몇 개 포함되어 있는 지를 나타낸다.

M (Marker)는 미디어의 프레임 경계등을 표시하기 위해 사용된다.

PT (Payload Type)는 페이로드의 형식을 나타낸다. 오디오나 비디오의 인코딩 타입을 나타낼 수 있다.

Sequence Number는 패킷의 순서 번호를 나타낸다. 전송되는 RTP 패킷마다 1씩 증가한다. 수신측은 이 필드를 통해 패킷 손실을 감지할 수 있고 패킷 순서를 복원할 수 있다. Sequence Number의 초기 값은 무작위로 설정되어야 한다.

TimeStamp는 RTP 데이터 패킷의 첫 번째 샘플링 시점을 나타낸다. 수신자는 이 필드를 이용해서 수신된 미디어의 동기적인 재생이 가능하게 할 수 있다.

SSRC Identifier (Syncrhronization Source Identifier)는 RTP 스트림의 소스를 식별한다.

CSRC Identifier (Contributing Source Identifier)는 패킷에 포함된 미디어를 구성하는 소스들을 식별한다.

도 2는 본 발명의 일 실시예에 따른 미디어 파일 포맷 (Media File Format; MFF)의 구조를 나타낸 도면이다.

당해 도면에 도시된 바와 같이, MFF은 box라고 불리는 데이터 단위로 구성되어 있다. 해당 box들은 ftyp, moov, mdat로 지칭되며 MFF는 메타데이터와 미디어데이터가 분할된 계층형태로 구성되어 있다. 메타데이터는 주로 파일에 대한 브랜드명과 실제 미디어정보에 대한 구분, 복호화 및 재생 시점과 같은 정보를 포함할 수 있다. 그리고, 미디어데이터는 디코더에서 처리될 실제 미디어데이터들을 포함할 수 있다. 여기서, 수신기는 메타데이터뿐만 아니라 미디어데이터도 모두 수신해야 해당 미디어를 재생할 수 있다.

당해 도면에 도시된 바와 같이, MFF는 ftyp (file type box), moov (movie box) 및/또는 mdat (media data box)를 포함할 수 있다.

ftyp (file type box)는 파일 타입 (file type)과 파일의 호환성 (compatibility)을 나타내는 박스이고 파일 타입 박스로 지칭될 수 있다.

moov (movie box)는 미디어데이터에 관련한 모든 메타데이터를 저장하는 박스이고 무비 박스로 지칭될 수 있다. moov (movie box)는 mvhd (movie header box) 및/또는 trak (track box)을 포함할 수 있고, trak (track box)는 tkhd (trak header box) 및/또는 mdia (media box)를 포함할 수 있다. mvhd (movie header box)는 movie header를 나타내는 박스이다. trak (track box)는 각각의 트랙 또는 스트림을 나타내는 박스이다. tkhd (track header box)는 트랙에 관한 전반적인 정보를 포함하는 박스이고 트랙 헤더 박스로 지칭될 수 있다. mdia (media box)는 트랙 안의 미디어데이터에 대한 정보를 나타내는 박스이다.

mdat (media data box)는 실제 미디어데이터를 저장하는 박스이고 미디어데이터 박스로 지칭될 수 있다.

도 3은 본 발명의 일 실시예에 따른 실시간 전송 프로토콜을 이용하여 미디어 파일 포맷 (Media File Format; MFF) 파일을 스트림 형식으로 재생하는 미디어 방송 신호 수신 장치를 나타낸 도면이다.

본 발명의 일 실시예에 따른 미디어 방송 신호 수신 장치는 서버 (Server; 3010), 수신부 (RTP Receiving; 3020), 버퍼 (RTP buffer; 3030), 제어부 (3040), 파싱부 (MFF Parser; 3050), 디코더 (Decoder; 3060) 및/또는 재생부 (Renderer; 3070)를 포함할 수 있다.

서버 (Server; 3010)는 수신할 MFF 파일이 저장되어 있는 위치를 나타낸다.

수신부 (RTP Receiving; 3020)는 서버 (3010)로부터 실시간 전송 프로토콜에 의한 패킷을 수신할 수 있다.

버퍼 (RTP buffer; 3030)는 수신부 (3020)에서 수신한 패킷을 분석하여 수신된 패킷의 순서, 데이터의 재생 시점 및 필요 버퍼량을 분석하고 페이로드 데이터를 버퍼에 저장할 수 있다.

제어부 (3040)는 수신된 패킷의 헤더에 포함된 페이로드 타입 정보를 분석하여 페이로드 타입이 MFF인 경우, 버퍼 (3030)에 저장된 페이로드 데이터를 파싱부 (3050)로 출력되도록 제어할 수 있다. 제어부 (3040)는 MFF 파일이 데이터 종류 또는 데이터 크기에 따라 분할되어 전송되는 경우, 버퍼 (3030)에 저장된 데이터의 패킷의 미디어 파일 포맷 타입 정보 (MFF Type) 값을 확인하여 값이 "00"이면 Completed MFF로 판단하여 파싱부 (3050)로 출력되도록 제어할 수 있다. 제어부 (3040)는 저장된 패킷의 미디어 파일 포맷 타입 정보 (MFF Type) 값을 확인하여 값이 "00"이 아니면 재생이 가능한 지 여부를 판단할 수 있다. 제어부 (3040)는 패킷의 프래그먼트 인디케이터 정보 (fragment indicator) 값을 확인하여 "01" 및 "11"인 패킷을 수신한 경우에는 분할된 데이터의 처음부터 끝까지 다 수신한 것이므로 패킷을 파싱부 (3050)에 출력되도록 제어하고, 프래그먼트 인디케이터 정보 (fragment indicator) 값이 "11"인 패킷을 수신하기 전까지는 지속적으로 패킷을 수신하도록 제어할 수 있다. 제어부 (3040)는 저장된 패킷의 미디어 파일 포맷 타입 정보 (MFF Type) 값을 확인하여 값이 "01"이면 상기 패킷에 포함되어 수신된 초기 부분 MFF 파일 (Initial Partial MFF)이 버퍼에 저장되도록 제어할 수 있다. 제어부는 저장된 패킷의 미디어 파일 포맷 타입 정보 (MFF Type) 값을 확인하여 값이 "10"이면 즉, 상기 패킷에 포함되어 수신된 파일이 미디어 부분 MFF 파일 (Media Partial MFF)임을 나타내면, 먼저 초기 부분 MFF 파일 (Initial Partial MFF)이 버퍼에 저장되어 있는지 확인하고 버퍼에 저장되어 있으면 미디어 부분 MFF 파일을 버퍼에 저장된 초기 부분 MFF 파일과 함께 파싱부 (3050)로 출력되도록 제어하고, 초기 부분 MFF 파일이 버퍼에 저장되어 있지 않으면 수신부 (3020)로 하여금 새로운 패킷을 수신하도록 제어할 수 있다. 상기 전술한 Completed MFF, 초기 부분 MFF 파일 (Initial Partial MFF), 미디어 부분 MFF 파일 (Media Partial MFF)에 대한 상세한 설명은 후술한다.

파싱부 (MFF Parser; 3050)는 MFF 파일을 분석하여 메타데이터와 미디어데이터를 구분하여 재생에 필요한 기타 정보를 추출할 수 있다.

디코더 (Decoder; 3060)는 파싱부 (3050)로부터 디코딩 시점마다 해당 미디어 정보를 전달 받고 이를 참조하여 수신한 데이터를 디코딩할 수 있다.

재생부 (Renderer; 3070)는 디코더 (3060)로부터 디코딩된 데이터를 파싱부 (3050)가 추출한 재생 시점마다 재생하는 기능을 수행할 수 있다.

도 4는 본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷의 고정 헤더의 Syntax를 나타낸 도면이다.

본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷의 고정 헤더는, Version 필드, Padding 필드, eXtension 필드, CSRC Count 필드, Marker 필드, Payload Type 필드, Sequence Number 필드, Timestamp 필드, SSRC 필드 및/또는 CSRC 필드를 포함할 수 있다.

Version 필드는 RTP의 버전을 나타내며 이는 2로 고정되어 있다.

Padding 필드는 패딩 바이트가 존재하는 지를 나타낸다. 이 필드가 세트되면 RTP 패킷의 끝에 패딩바이트들이 포함된다. 이 패딩 바이트들은 암호화 알고리즘에 사용되거나 패킷 길이를 맞추는 데 사용된다.

eXtension 필드는 고정 헤더와 페이로드 사이에 확장 헤더가 존재하는 지를 나타낸다. 본 발명의 일 실시예에서는 ISO Base Media File Format 파일의 전송에 필요한 추가 정보를 위해 1로 표시된다.

CSRC count 필드는 고정 헤더 뒤에 CSRC identifier가 몇 개 포함되어 있는 지를 나타낸다.

Marker 필드는 프로파일에 따라 달리 해석되며 프레임 경계와 같은 중요한 이벤트를 표시하기 위해 사용된다.

Payload Type 필드는 패킷이 전송하고자 하는 데이터의 포맷을 나타낸다. 해당 정보를 통해 패킷단에서 데이터의 종류를 파악하여 복호화에 대한 준비를 할 수 있다. RTP에 사용되는 Payload Type은 RFC 3551에 정의되어 있으며 도 5와 같이 기술된다. 본 발명에서는 일 실시예로써 임시적으로 Payload Type 값 "71"이 MFF 파일의 전송을 위한 패킷 종류로 정의되었으나 "35~71" 혹은 "77~127"의 값으로 정의될 수 있다.

Sequence Number 필드는 전송하는 패킷의 순서를 나타내는 정보로 시작점은 임의의 숫자로 시작된다. 그리고 한 패킷이 전송될 때마다 1씩 증가하게 된다.

Timestamp 필드는 해당 패킷이 샘플링 된 시점을 나타낸다. 이 필드의 값으로 이 패킷의 페이로드 데이터가 재생되어야 하는 타이밍을 알 수 있다. 페이로드에 기술된 데이터에 따라 시간 단위 정보의 값이 달라지게 된다. 본 발명의 일 실시예에서는 MFF 파일이 재생되는 시작점을 나타낸다.

SSRC 필드는 수신되는 각각의 미디어 스트림 소스를 구별하는데 사용된다. 하나의 세션에서 여러 개의 미디어가 동시에 스트림 될 수 있으며 이들을 구분하기 위해 이 필드의 값을 사용한다. 하나의 세션에서는 미디어 소스마다 서로 다른 SSEC 값을 가져야 한다. 또한, SSRC 필드는 동기화를 위한 데이터 구분자로 사용되며 이 값은 임의적으로 생성될 수 있다.

CSRC 필드는 전송 공헌자에 대한 구분자로 사용된다. 이 값은 임의적으로 생성되며 최대 15개까지 값을 가질 수 있다.

Payload 필드는 MFF로 인코딩된 데이터 바이트를 포함한다. 본 발명의 일 실시예에서 Payload에 포함되는 MFF는 Mandatory Box가 포함되는 것을 전제로 하며 필요에 따라 Optional Box가 더 포함되면서 MFF에 대한 확장성을 갖출 수 있다.

도 5는 본 발명의 일 실시예에 따른 실시간 전송 프로토콜에 사용되는 페이로드 타입 정보 (Payload Type)를 나타낸 도면이다.

PT는 페이로드 타입의 값을 나타내고, Encoding Name은 페이로드에 포함된 데이터의 인코딩 종류를 나타낸다. 또한, A/V는 해당 데이터가 오디오인지 비디오인지를 나타낸다.

본 발명의 일 실시예에서 페이로드 타입 정보 (Payload Type) 값 "71"이 MFF 파일의 전송을 위한 값으로 정의되었으나, "35~71" 혹은 "77~127"의 값으로 정의될 수 있다.

기존 RTP 프로토콜의 Payload Type의 값은 MFF에 대한 값이 정의 되지 않아 기존의 수신기는 RTP 패킷 레벨에서 MFF가 전송 시 해당 포맷을 인지할 수 없었다. 하지만, 본 발명의 일 실시예에 따라 MFF에 대한 RTP 패킷의 Payload Type 값을 추가함으로써 수신기는 전달되는 RTP 패킷 레벨에서 데이터를 구분할 수 있다. 이에 따라서, 수신기는 데이터 처리에 대한 효율성을 증가 시킬 수 있다.

즉, 본 발명의 일 실시예에 따르면, 실시간 전송 프로토콜 상에서 페이로드에 포함된 데이터가 MFF임을 구분할 수 있는 방법을 제공할 수 있다.

본 발명의 일 실시예에 따르면, 페이로드 타입 정보는 페이로드에 포함된 데이터가 미디어 파일 포맷 (MFF)임을 식별할 수 있다.

도 6은 본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷의 확장 헤더에 미디어 파일 포맷 (MFF)타입 정보 (MFF Type)가 포함된 Syntax를 나타낸 도면이다.

본 발명의 일 실시예에 따르면 실시간 전송 프로토콜 패킷을 확장하여 MFF 파일을 데이터 종류에 따라 분할하여 전송할 수 있다.

본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷은 RTP 고정 헤더 (Real time Transport Protocol fixed header), RTP 확장 헤더 (Real time Transport Protocol extension header) 및 페이로드를 포함할 수 있다. RTP 고정 헤더에 타임스탬프 (Timestamp) 필드가 포함될 수 있고, RTP 확장 헤더에 미디어 파일 포맷 타입 정보 (MFF Type)가 포함될 수 있다.

Timestamp 필드는 해당 패킷이 샘플링 된 시점을 나타낸다. 이 필드의 값으로 이 패킷의 페이로드 데이터가 재생되어야 하는 타이밍을 알 수 있다. 페이로드에 기술된 데이터에 따라 시간 단위 정보의 값이 달라지게 된다. 본 발명의 일 실시예에서는 MFF 파일이 재생되는 시작점을 나타낸다. 그리고, MFF 파일이 분할되어 전송되는 경우에 분할된 데이터를 포함한 패킷은 모두 동일한 Timestamp 값을 가질 수 있다.

MFF Type 필드는 전송되는 MFF 파일을 구분하기 위한 정보이다. 해당 필드를 통해 수신자는 해당 패킷으로만 독립적으로 재생이 가능한지, 또는 다른 종류의 데이터 패킷과 함께 수신되어야 재생이 가능한지 여부에 대해 분석이 가능할 수 있다. 해당 필드의 값에 대한 의미는 후술한다.

본 발명의 일 실시예에 따르면, MFF 파일이 데이터의 종류별로 분할되어 전송되는 경우, 수신기는 RTP 패킷의 확장 헤더에 포함된 MFF Type 필드를 통해 패킷을 구분할 수 있다.

MFF는 포맷 하나 그 자체만으로 독립적 재생이 가능한 Completed MFF, 전송률의 효율성을 고려해 전체 재생 정보와 초기 재생 정보를 가진 메타데이터만을 포함한 Initial Partial MFF 및 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터와 미디어데이터를 포함한 Media Partial MFF 중 어느 하나로 분할되어 전송될 수 있다.

예를 들어, 20초짜리 콘텐트가 Initial Partial MFF, Media Partial MFF(5초), Media Partial MFF(5초), Media Partial MFF(10초)로 분할되어 전송될 경우, 20초에 대한 전체 재생시간, 트랙을 구분할 수 있는 정보 및 다른 공통된 메타데이터들은 Initial Partial MFF에 포함되어 송신자에 의해 주기적으로 전송될 수 있다. 그리고, 각 해당 시점의 샘플(비디오 프레임) 경계에 대한 정보와 복호화 시간 정보와 같은 메타데이터 및 실제 미디어 데이터는 Media Partial MFF에 포함되어 순차적으로 전송될 수 있다. 이때, Initial Partial MFF가 먼저 수신 되어야 수신기에서 미디어 재생이 가능하므로 송신 측에서 Initial Partial MFF를 주기적으로 전송해야 Media Partial MFF에 대한 미디어 재생을 시작할 수 있다.

도 7은 본 발명의 일 실시예에 따른 미디어 파일 포맷 타입 정보 (MFF Type) 값과 의미를 나타낸 도면이다.

MFF Type의 값이 "00"이면, 분할된 MFF가 Complete MFF임을 나타낸다. Complete MFF는 메타데이터 전부와 미디어데이터를 포함하여 그 자체만으로 독립적 재생이 가능한 파일을 의미할 수 있다.

MFF Type의 값이 "01"이면, 분할된 MFF가 초기 부분 MFF 파일 (Initial Partial MFF)임을 나타낸다. 초기 부분 MFF 파일 (Initial Partial MFF)은 미디어 파일에 관한 전체 재생 정보와 초기 재생 정보를 가진 메타데이터를 포함하는 파일을 의미할 수 있다.

MFF Type의 값이 "10"이면, 분할된 MFF가 미디어 부분 MFF 파일 (Media Partial MFF)임을 나타낸다. 미디어 부분 MFF 파일 (Media Partial MFF)은 미디어데이터와 상기 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터를 포함한 파일을 의미할 수 있다.

MFF Type의 값 "11"은 reserved 된 값을 의미한다.

도 8은 본 발명의 일 실시예에 따른 Completed MFF의 구조를 나타낸 도면이다.

발명의 일 실시예에 따른 Complete MFF는 RTP 페이로드에 삽입되어 전송되며, 재생에 필요한 모든 메타데이터와 미디어데이터를 모두 포함하고 있으므로 독자적으로 미디어 재생이 가능하다.

당해 도면에 도신된 바와 같이, 본 발명의 일 실시예에 따른 Complete MFF는 분할되지 않은 미디어 파일 포맷 (MFF)과 동일한 구조를 가지고 있다. 따라서, 당해 도면에 관한 상세한 설명은 전술한 미디어 파일 포맷 (Media File Format; MFF)의 구조를 나타낸 도면에 관한 설명으로 대체한다.

도 9는 본 발명의 일 실시예에 따른 Initial Partial MFF의 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따른 Initial Partial MFF는 미디어 전체 재생 정보를 나타내는 공용적인 Mandatory box와 전체적 초기 재생 관련 정보가 담긴 메타데이터로 구성되어 있다. 여기서, Initial Partial MFF에 포함된 정보들은 본 발명의 일 실시예에 따른 미디어 방송 신호 수신 장치의 파싱부 (3050)에 의하여 분석될 수 있다. 또한, Initial Partial MFF 파일은 수신자에게 주기적으로 전송되어야 하고, 그래야만 수신자가 미디어 재생에 대한 준비를 할 수 있다.

본 발명의 일 실시예에 따른 Initial Partial MFF를 구성하는 각 박스에 대한 설명은 전술한 미디어 파일 포맷 (Media File Format; MFF)의 구조를 나타낸 도면에 관한 설명으로 대체한다.

도 10은 본 발명의 일 실시예에 따른 Media Partial MFF의 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따른 Media Partial MFF에는 분할된 미디어데이터와 상기 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터를 포함할 수 있다. Media Partial MFF에 포함되어 전송되는 미디어데이터는 Initial Partial MFF을 전송 받은 후 재생이 가능하다.

본 발명의 일 실시예에 따른 RTP에 의해 전송되는 미디어데이터는 Initial Partial MFF과 Media Partial MFF가 모두 수신되어야만 미디어 재생이 가능하다. Initial Partial MFF 및 Media Partial MFF 중 어느 하나만 수신되는 경우에는 미디어 재생이 불가능하다.

본 발명의 일 실시예에 따른 Media Partial MFF는 styp (segment type box), sidx (segment index box), moof (movie fragment box) 및/또는 mdat (media data box)를 포함할 수 있다.

styp (segment type box)는 미디어 세그먼트의 파일 타입 (file type)과 파일의 호환성 (compatibility)을 나타내는 박스이다.

sidx (segment index box)는 각 미디어 세그먼트를 인덱스 (index)하는 박스이다. sidx 박스에는 track 정보, 분할된 sequence number, 분할된 미디어의 총 길이 등의 기타 정보들이 포함될 수 있다.

moof (movie fragment box)는 후술할 mdat 박스에 어떤 미디어 샘플들이 포함되어 있는지를 나타내는 박스이다. moof (movie fragment box)는 mfhd 및/또는 traf를 포함할 수 있고, traf (track fragment box)는 tfhd (movie fragment header box) 및/또는 trun (track fragment run box)을 포함할 수 있다. mfhd (movie fragment header box)는 movie fragment header를 나타내는 박스이다. traf (track fragment box)는 각 트랙 프래그먼트에 관련한 메타데이터를 포함하는 박스이다. tfhd는 track fragment header를 나타내는 박스이다. trun (track fragment run box)는 트랙 프래그먼트 런스를 나타내며, traf는 0 또는 그 이상의 trun을 포함할 수 있다. 수신기는 trun 박스를 통해 mdat 박스의 샘플에 대한 경계 및 재생 시점 샘플의 개수 등의 정보를 알 수 있다.

mdat (media data box)는 실제 미디어데이터를 저장하는 박스이다.

도 11은 본 발명의 일 실시예에 따른 MFF 파일이 데이터의 종류별로 분할되어 전송되는 경우에 수신 장치에서 데이터의 처리과정을 나타낸 도면이다.

본 발명의 일 실시예에 따른 MFF 파일이 데이터의 종류별로 분할되어 전송되는 경우 수신 장치에서 데이터의 처리과정은 RTP 패킷을 수신하는 단계 (S11010), RTP 패킷의 Payload Type이 MFF 임을 나타내는 값과 동일한지 확인하는 단계 (S11020), Payload Type이 MFF 임을 나타내는 값이 아닌 경우 기존의 RTP 표준 권고 방식에 따라 페이로드의 데이터를 처리하는 단계 (S11110), Payload Type이 MFF 임을 나타내는 값인 경우 MFF Type이 "00"인지 확인하는 단계 (S11030), MFF Type이 "01"인지 확인하는 단계 (S11040), MFF Type이 "01"인 경우 해당 패킷을 RTP 버퍼에 저장하는 단계 (S11050), MFF Type이 "01"이 아닌 경우 MFF Type이 "10"인지 확인하는 단계 (S11060), MFF Type이 "10"인 경우 RTP 버퍼에 MFF Type이 "10"인 패킷이 저장되어 있는지 확인하는 단계 (S11070), MFF Type이 "00"이거나 MFF Type이 "10"이고 이전에 RTP 버퍼에 MFF Type이 "01"인 패킷이 저장되어 있는 경우에 해당 패킷에 포함된 MFF를 분석하는 단계 (S11080), MFF를 복호화하는 단계 (S11090) 및/또는 MFF를 재생하는 단계 (S11100)를 포함할 수 있다.

RTP 패킷을 수신 받은 수신 장치는 일반적인 RTP 분석을 진행하여 버전, 확장여부, CSRC 개수, 패킷 순서, 데이터 재생시점, SSRC 및/또는 CSRC를 확인할 수 있다 (S11010). 이 때 RTP 패킷의 Payload Type이 MFF 임을 나타내는 값과 동일한 경우, 본 발명의 일 실시예에 따른 MFF 파일의 처리 방식을 따르며 (S11020), Payload Type이 MFF 임을 나타내는 값이 아닌 경우, 기존의 RTP 표준 권고 방식에 따라 페이로드의 데이터를 처리할 수 있다 (S11110).

RTP 패킷의 Payload Type이 MFF 임을 나타내는 값과 동일한 경우, 본 발명의 일 실시예에 따른 RTP 패킷의 확장헤더에 포함된 MFF Type을 확인할 수 있다 (S11030).

MFF Type이 "00"인 경우 (S11030), 해당 Payload는 독립적으로 재생이 가능한 MFF이므로 바로 파싱부 (MFF Parser; 3050)에 전달되어 복호화 및 재생이 이루어 질 수 있다 (S11080, S11090, S11100).

하지만, MFF Type이 "01"인 경우 (S11040), 해당 Payload가 Initial Partial MFF임을 인지할 수 있고, MFF Type이 "01"인 값을 가진 패킷이 올 때까지 버퍼에 저장시키며 새로운 RTP 패킷을 수신한다 (S11050). 이 때 만약 처음 수신된 RTP 패킷의 MFF Type이 "00"과 "01"이 아닐 경우 수신기는 새로운 패킷을 수신한다.

MFF Type이 "10"인 경우 (S11060), 기존에 MFF Type 값이 "01"인 RTP 패킷이 수신되었는 지 여부를 판단하고 (S11070), MFF Type이 "10"인 패킷과 "01"인 패킷 모두가 존재할 경우, 버퍼에 저장된 패킷들에 대해 파싱, 복호화 및 재생을 진행한다 (S11080, S11090, S11100).

도 12는 본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷의 확장 헤더에 프래그먼트 인디케이터 정보 (Fragment Indicator)가 포함된 Syntax를 나타낸 도면이다.

본 발명의 일 실시예에 따르면 실시간 전송 프로토콜 패킷을 확장하여 MFF 파일을 데이터 크기에 따라 분할하여 전송할 수 있다.

본 발명의 일 실시예에 따른 실시간 전송 프로토콜 패킷은 RTP 고정 헤더 (Real time Transport Protocol fixed header), RTP 확장 헤더 (Real time Transport Protocol extension header) 및 페이로드를 포함할 수 있다. RTP 고정 헤더에 타임스탬프 (Timestamp) 필드가 포함될 수 있고, RTP 확장 헤더에 미디어 파일 포맷 타입 정보 (MFF Type) 및 프래그먼트 인디케이터 정보 (Fragment Indicator)가 포함될 수 있다.

MFF Type 필드는 전송되는 MFF 파일을 구분하기 위한 정보이다. 해당 필드를 통해 수신자는 해당 패킷으로만 독립적으로 재생이 가능한지, 또는 다른 종류의 데이터 패킷과 함께 수신되어야 재생이 가능한지 여부에 대해 분석이 가능할 수 있다. 해당 필드의 값에 대한 의미는 도 7과 같이 나타낼 수 있다.

Fragment Indicator 필드는 MFF가 데이터 크기에 따라 분할되고 RTP 패킷에 쌓여 전송이 이루어질 경우, 데이터의 경계에 대한 정보를 나타낼 수 있다. 해당 필드의 값에 따른 의미는 후술한다.

본 발명의 일 실시예에 따르면, 송신측에서는 패킷의 크기가 제한되어 있는 상황에서 전송 효율을 증가시키기 위하여 MFF 파일을 데이터의 크기에 따라 분할하여 전송할 수 있다. 수신기는 RTP 패킷의 확장 헤더에 포함된 Fragment Indicator 필드를 통해 분할된 데이터에 대한 경계를 구분할 수 있다. 즉, Fragment Indicator 필드를 통해 수신된 패킷에 포함된 데이터가 MFF 파일의 분할된 첫 번째 데이터, 중간 데이터 및 마지막 데이터 중 어느 하나로 구분될 수 있고 이로써 다른 MFF 파일과 경계를 구분할 수 있다.

예를 들어, 송신자가 용량이 큰 MFF 파일 두 개를 연속적으로 수신자에게 전달하고자 하는 경우, 수신자는 MFF 파일을 포함한 RTP 패킷을 수신하고 RTP의 Sequence Number를 확인하여 패킷의 순서를 정렬할 수 있다. 그리고 Payload Type, SSRC, CCRC를 확인하고 Payload Type 값을 통해 전송되는 파일이 MFF 파일임을 인지할 수 있다. 이 때, 수신기는 RTP 패킷 내 확장 헤더의 Fragment Indicator 값을 통해 분할된 첫 번째 데이터와 분할된 마지막 데이터가 수신되었음을 확인할 수 있고, 이를 이용하여 데이터에 대한 경계를 확인하고 하나의 재생 가능한 데이터가 모두 수신 되었음을 알 수 있다.

도 13은 본 발명의 일 실시예에 따른 프래그먼트 인디케이터 정보 (Fragment Indicator)값과 의미를 나타낸 도면이다.

Fragment Type의 값이 "00"이면, 해당 패킷의 페이로드는 분할되지 않은 데이터를 포함하고 있음을 나타낼 수 있다.

Fragment Type의 값이 "01"이면, 해당 패킷의 페이로드는 분할된 첫 번째 데이터를 포함하고 있음을 나타낼 수 있다.

Fragment Type의 값이 "10"이면, 해당 패킷의 페이로드는 분할된 중간 데이터를 포함하고 있음을 나타낼 수 있다.

Fragment Type의 값이 "11"이면, 해당 패킷의 페이로드는 분할된 마지막 데이터를 포함하고 있음을 나타낼 수 있다.

도 14는 본 발명의 일 실시예에 따른 MFF 파일이 데이터 종류 및 데이터 크기에 따라 분할되어 전송되는 경우에 수신 장치에서 데이터의 처리과정을 나타낸 도면이다.

본 발명의 일 실시예에 따른 MFF 파일이 데이터의 종류 및 데이터 크기에 따라 분할되어 전송되는 경우 수신 장치에서 데이터의 처리과정은 RTP 패킷을 수신하는 단계 (S14010), RTP 패킷의 Payload Type이 MFF 임을 나타내는 값과 동일한지 확인하는 단계 (S14020), Payload Type이 MFF 임을 나타내는 값이 아닌 경우 기존의 RTP 표준 권고 방식에 따라 페이로드의 데이터를 처리하는 단계 (S14110), Payload Type이 MFF 임을 나타내는 값인 경우 MFF Type이 "00"인지 확인하는 단계 (S14030), MFF Type이 "01"인지 확인하는 단계 (S14040), MFF Type이 "01"인 경우 해당 패킷을 RTP 버퍼에 저장하는 단계 (S14050), MFF Type이 "01"이 아닌 경우 MFF Type이 "10"인지 확인하는 단계 (S14060), MFF Type이 "10"인 경우 RTP 버퍼에 MFF Type이 "10"인 패킷이 저장되어 있는지 확인하는 단계 (S14070), MFF Type이 "00"이거나 MFF Type이 "10"이고 이전에 RTP 버퍼에 MFF Type이 "01"인 패킷이 저장되어 있는 경우에 해당 패킷의 Fragment Indicator이 "00"인지 확인하는 단계 (S14120), 해당 패킷의 Fragment Indicator이 "00"이 아닌 경우 "01"인지 확인하는 단계 (S14130), 해당 패킷의 Fragment Indicator이 "01"이 아닌 경우 "11"인지 확인하는 단계 (S14140), 해당 패킷의 Fragment Indicator이 "00"이거나 "11"인 경우 해당 패킷에 포함된 MFF를 분석하는 단계 (S14080), MFF를 복호화하는 단계 (S14090) 및/또는 MFF를 재생하는 단계 (S14100)를 포함할 수 있다.

RTP 패킷을 수신 받은 수신 장치는 일반적인 RTP 분석을 진행하여 버전, 확장여부, CSRC 개수, 패킷 순서, 데이터 재생시점, SSRC 및/또는 CSRC를 확인할 수 있다 (S14010). 이 때 RTP 패킷의 Payload Type이 MFF 임을 나타내는 값과 동일한 경우, 본 발명의 일 실시예에 따른 MFF 파일의 처리 방식을 따르며, Payload Type이 MFF 임을 나타내는 값이 아닌 경우, 기존의 RTP 표준 권고 방식에 따라 페이로드의 데이터를 처리할 수 있다 (S14110).

RTP 패킷의 Payload Type이 MFF 임을 나타내는 값과 동일한 경우, 본 발명의 일 실시예에 따른 RTP 패킷의 확장헤더에 포함된 MFF Type을 확인할 수 있다 (S14020).

MFF Type이 "00"인 경우, 해당 Payload는 독립적으로 재생이 가능한 MFF이므로, 이 경우 이어서 RTP 패킷의 확장헤더에 포함된 Fragment Indicator 값을 확인하여 MFF 파일이 데이터 크기에 따라 분할되었는지 여부를 알 수 있다 (S14030).

Fragment Indicator 값이 "00"인 경우, 해당 패킷의 페이로드에 포함된 데이터는 분할되지 않은 데이터임을 나타내므로 해당 패킷은 MFF Parser로 바로 전달되고 복호화 및 재생이 이루어 진다 (S14120).

Fragment Indicator 값이 "01"인 경우, 해당 패킷은 분할된 데이터의 첫 번째 부분을 포함하고 있으므로 해당 패킷은 버퍼에 저장되고 분할된 데이터의 마지막 부분이 수신될 때까지 새로운 패킷을 수신 받을 수 있다 (S14130).

Fragment Indicator 값이 "10"인 경우, 해당 패킷은 분할된 데이터의 중간 부분을 포함하고 있으므로 해당 패킷은 버퍼에 저장되고 분할된 데이터의 마지막 부분이 수신될 때까지 새로운 패킷을 수신 받을 수 있다.

Fragment Indicator 값이 "11"인 경우, 해당 패킷은 분할된 데이터의 마지막 부분을 포함하고 있으므로 버퍼에 저장된 이전 순서의 데이터들과 함께 MFF Parser로 전달되고 복호화 및 재생이 이루어 진다 (S14140, S14080, S14090, S14100).

하지만, MFF Type이 "01"인 경우, 해당 Payload가 Initial Partial MFF임이 인지될 수 있고 (S14040), 해당 패킷은 MFF Type이 "01"인 값을 가진 패킷이 수신될 때까지 버퍼에 저장되며 새로운 RTP 패킷을 수신 받을 수 있다 (S14050). 이 때 만약 처음 수신된 RTP 패킷의 MFF Type이 "00"과 "01"이 아닐 경우 수신기는 새로운 패킷을 수신 받을 수 있다.

MFF Type이 "10"인 경우, 기존에 MFF Type 값이 "01"인 RTP 패킷이 수신되었는지 여부를 판단하고 (S14060, S14070), 버퍼에 MFF Type이 "10"인 패킷과 "01"인 패킷 모두가 존재할 경우, 이어서 RTP 패킷의 확장헤더에 포함된 Fragment Indicator 값을 확인하여 MFF 파일이 데이터 크기에 따라 분할되었는지 여부를 알 수 있다 (S14120).

Fragment Indicator 값이 "00"인 경우, 해당 패킷의 페이로드에 포함된 데이터는 분할되지 않은 데이터임을 나타내므로 해당 패킷은 MFF Parser로 바로 전달되고 복호화 및 재생이 이루어 진다 (S14120, S14080, S14090, S14100).

Fragment Indicator 값이 "01"인 경우, 해당 패킷은 분할된 데이터의 첫 번째 부분을 포함하고 있으므로 해당 패킷은 버퍼에 저장되고 분할된 데이터의 마지막 부분이 수신될 때까지 새로운 패킷을 수신 받을 수 있다 (S14130, S14050).

도 15는 본 발명의 일 실시예에 따른 Completed MFF를 포함한 RTP 패킷의 헤더를 나타낸 도면이다.

당해 도면에서 도시된 바와 같이, 20초짜리 미디어 콘텐트는 10초짜리 Completed MFF 파일 두 개로 분할되어 인코딩 될 수 있다.

1st RTP 패킷은 0초부터 시작하는 데이터를 포함하므로 Timestamp 값이 0으로 표시될 수 있으며, Payload Type은 "71"로 표시되어 MFF 파일임을 나타낼 수 있다. Sequence Number는 임의의 숫자로 시작될 수 있으며, 도 15의 일 실시예의 경우 "10"부터 시작되었음을 알 수 있다. MFF Type이 "00"이므로 해당 패킷의 페이로드에 Completed MFF 파일이 포함됨을 알 수 있다.

2nd RTP 패킷은 11초부터 시작하는 데이터를 포함하므로 Timestamp 값이 11000으로 표시될 수 있으며, Sequence Number 값은 "11"로 표시될 수 있다. 그리고 나머지 필드 값들은 1st RTP 패킷과 동일한 값을 가질 수 있다..

도 16은 본 발명의 일 실시예에 따른 MFF 파일이 Initial Partial MFF 파일과 Media Partial MFF 파일로 분할되어 RTP 패킷을 통해 전송되는 경우 RTP 패킷의 헤더를 나타낸 도면이다.

당해 도면에서 도시된 바와 같이, 20초짜리 미디어 콘텐트는 Initial Partial MFF 파일 한 개, 10초짜리 Media Partial MFF 파일 두 개로 분할되어 인코딩 될 수 있다.

1st RTP 패킷은 Initial Partial MFF 파일을 포함하므로 가장 먼저 분석이 이루어져야 한다. 따라서, 추후에 수신되는 Media Partial MFF 파일과 같거나 더 빠른 Timestamp 값을 가져야 한다. 해당 패킷의 Timestamp는 0을 가질 수 있으며 Payload Type은 "71"으로 표시되어 MFF 파일임을 나타낼 수 있다. Sequence Number는 임의의 숫자로 시작될 수 있으며, 도 16의 일 실시예의 경우 "10"부터 시작되었음을 알 수 있다. MFF Type은 "01"이므로 해당 패킷의 페이로드에 Initial Partial MFF 파일이 포함됨을 알 수 있다.

2nd RTP 패킷은 0초부터 시작되는 Media Partial MFF 파일을 포함하므로 Timestamp 값이 0으로 표시될 수 있으며, Payload Type은 "71"로 표시되어 MFF 파일임을 나타낼 수 있다. Sequence Number는 "11"로 표시되며, MFF Type이 "10"이므로 해당 패킷의 페이로드에 Media Partial MFF 파일이 포함됨을 알 수 있다.

3rd RTP 패킷은 11초부터 시작되는 Media Partial MFF 파일을 포함하므로 Timestamp 값이 11000으로 표시될 수 있으며, Payload Type은 "71"로 표시되어 MFF 파일임을 나타낼 수 있다. Sequence Number는 "12"로 표시되며, MFF Type이 "10"이므로 해당 패킷의 페이로드에 Media Partial MFF 파일이 포함됨을 알 수 있다.

도 17은 본 발명의 일 실시예에 따른 RTP 패킷의 페이로드에 Completed MFF가 포함되어 전송되는 경우에 RTP 패킷 및 Completed MFF의 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따른 수신 장치는 당해 도면에서 도시된 바와 같은 패킷을 수신 받으면 RTP 패킷의 헤더를 분석하여 패킷의 순서, 데이터의 종류와 재생 시작점 등에 대한 정보를 파악한 뒤 Payload 안의 MFF를 분석할 수 있다.

당해 도면에서 도시된 바와 같이, MFF는 계층 형태의 데이터 구조를 갖출 수 있다. 해당 MFF에서 최상위 계층 정보는 moov 박스와 mdat 박스로 분할되어 구성될 수 있다.

moov 박스에는 파일 재생에 관련된 메타 데이터가 포함될 수 있으며, mdat 박스에는 복호화가 이루어져야 하는 미디어 데이터가 비트열로 나열되어 포함될 수 있다.

수신기는 먼저 moov 박스 내부의 mvhd 박스에 포함된 @timescale 값을 통해 재생에 사용되는 시간규격 즉, 초당 몇 번의 tic이 발생 하는지를 알 수 있고, mvhd 박스에 포함된 @duration 값을 통해 해당 미디어 콘텐트의 총 길이와 다른 기타 정보들을 알 수 있다.

그리고, 수신기는 moov 박스 내부의 trak 박스의 하위 계층인 tkhd 박스를 분석하여 @track ID, @width, @height 등의 기타 정보들을 알 수 있으며, 수신기는 trak 박스의 또 다른 하위 계층인 minf 박스의 아래에 위치한 vmhd 박스의 존재를 통해 해당 track이 비디오에 대한 정보임을 알 수 있다. 또한, 수신기는 minf 박스의 하위 계층인 stbl 박스 아래에 위치한 stts의 값을 통해 해당 MFF에 포함된 전체 샘플(비디오 프레임)의 개수와 샘플 별 duration 값 등의 정보들을 알 수 있다. 그리고, stco 박스에 포함된 정보를 통해 실제 미디어 정보들이 비트열로 나열되어 있는 mdat 박스 안에서의 샘플 별 경계를 알 수 있다.

본 발명의 일 실시예에 따른 Completed MFF를 구성하는 각 박스에 대한 설명은 전술한 미디어 파일 포맷 (Media File Format; MFF)의 구조를 나타낸 도면에 관한 설명으로 대체한다.

본 발명의 일 실시예에 따른 RTP 패킷의 헤더에 포함된 각 필드에 대한 설명은 전술한 RTP (Real time Transport Protocol) 패킷의 헤더 구조를 나타낸 도면에 관한 설명으로 대체한다.

도 18은 본 발명의 일 실시예에 따른 RTP 패킷의 페이로드에 Initial Partial MFF가 포함되어 전송되는 경우에 RTP 패킷 및 Initial Partial MFF의 구조를 나타낸 도면이다.

당해 도면에서 도시된 바와 같이, MFF는 계층 형태의 데이터 구조를 갖출 수 있다. 해당 MFF에서 최상위 계층 정보로 파일 재생에 관련된 메타 데이터를 포함하는 moov 박스가 존재할 수 있다.

그리고, 수신기는 moov 박스 내부의 trak 박스의 하위 계층인 tkhd 박스를 분석하여 @track ID, @width, @height 등의 기타 정보들을 알 수 있으며, 수신기는 trak 박스의 또 다른 하위 계층인 minf 박스에 포함된 stbl 박스 아래에 위치한 stts의 값을 통해 해당 MFF에 포함된 전체 샘플(비디오 프레임)의 개수와 샘플 별 duration 값 등의 정보들을 알 수 있다. 그리고, stco 박스에 포함된 정보를 통해 실제 미디어 정보들이 비트열로 나열되어 있는 mdat 박스 안에서의 샘플 별 경계를 알 수 있다. mdat 박스는 Initial Partial MFF 파일을 포함하는 패킷에 이어서 수신되는 Media Partial MFF 파일에 포함될 수 있다.

본 발명의 일 실시예에 따른 수신 장치는 Initial Partial MFF의 각각의 박스에 포함된 정보를 통하여 수신되는 전체 콘텐트에 대한 정보를 알 수 있다.

도 19는 본 발명의 일 실시예에 따른 RTP 패킷의 페이로드에 Media Partial MFF가 포함되어 전송되는 경우에 RTP 패킷 및 Media Partial MFF의 구조를 나타낸 도면이다.

당해 도면에서 도시된 바와 같이, MFF는 계층 형태의 데이터 구조를 갖출 수 있다. 해당 MFF에서 최상위 계층 정보는 sidx 박스, moof 박스 및 mdat 박스로 분할되어 구성될 수 있다.

sidx 박스에는 track 정보, 분할된 sequence number, 분할된 미디어의 총 길이 등의 기타 정보들이 포함될 수 있다.

moof 박스의 하위에 위치한 traf 박스에 포함된 tfhd 박스를 통해 수신기는 해당 Media Partial MFF 파일이 분할된 미디어의 몇 번째 데이터 인지를 알 수 있다.

그리고, 수신기는 trun 박스를 통해 mdat 박스의 샘플에 대한 경계 및 재생 시점 샘플의 개수 등의 정보를 알 수 있다.

전술한 데이터 처리 과정을 거쳐 본 발명의 일 실시예에 따른 수신 장치는 Media Partial MFF의 분할된 미디어에 대한 재생 정보 및 재생 파일을 알 수 있다.

본 발명의 일 실시예에 따른 Media Partial MFF를 구성하는 각 박스에 대한 설명은 전술한 Media Partial MFF의 구조를 나타낸 도면에 관한 설명으로 대체한다.

도 20은 본 발명의 일 실시예에 따른 MFF 파일이 데이터 종류 및 데이터 크기에 따라 분할되어 RTP 패킷을 통해 전송되는 경우 RTP 패킷의 헤더를 나타낸 도면이다.

당해 도면에서 도시된 바와 같이, 20초짜리 미디어 콘텐트는 먼저 데이터의 종류에 따라 Initial Partial MFF와 5초, 5초, 10초짜리 Media Partial MFF로 분할되고 그 다음에 데이터의 크기에 따라 수 개의 MFF로 분할되어 RTP 패킷으로 패킷화될 수 있다.

방송 시스템과 같이, 수신 측에서는 데이터를 언제 수신 받을지 예측할 수 없으므로 송신 측은 Initial Partial MFF를 주기적으로 전송할 수 있다.

첫 번째 Initial Partial MFF가 데이터 크기에 따라 2개의 데이터로 분할되어 전송되는 경우, 1st RTP 패킷의 Timestamp는 0이며, Payload Type 값은 "71", Sequence Number 값은 임의의 숫자 "10"으로 시작할 수 있다. 1st RTP 패킷은 Initial Partial MFF 파일의 분할된 첫 번째 데이터를 포함하는 패킷이므로 Fragment Indicator의 값은 "01"을 가지며, MFF Type 값은 "01"을 가질 수 있다. 2nd RTP 패킷은 1st RTP 패킷과 동일한 Timestamp, Payload Type 값을 가지며, Sequence Number는 "11"을 가질 수 있다. 2nd RTP 패킷은 Initial Partial MFF 파일의 분할된 마지막 데이터를 포함하는 패킷이므로 Fragment Indicator의 값은 "11"을 가지며, MFF Type 값은 "01"을 가질 수 있다.

두 번째 Media Partial MFF가 3rd RTP 패킷에 포함되어 전송되는 경우, 3rd RTP 패킷은 미디어의 첫 재생 시점을 포함하고 있으므로 Timestamp는 "0"을 가지며, Payload Type은 "71", Sequence Number는 "12"를 가질 수 있다. 그리고, 3rd RTP 패킷은 분할되지 않은 Media Partial MFF 파일을 포함하는 패킷이므로 Fragment Indicator의 값은 "00"을 가지며, MFF Type 값은 "10"을 가질 수 있다.

세 번째 Media Partial MFF가 2개의 RTP 패킷으로 분할되어 전송되는 경우, 4th RTP 패킷의 Timestamp는 "6000"으로 표시되어 해당 콘텐트가 6초부터 시작됨을 알 수 있으며, Sequence Number는 "13"을 가질 수 있다. 4th RTP 패킷은 Media Partial MFF 파일의 분할된 첫 번째 데이터를 포함하는 패킷이므로 Fragment Indicator의 값은 "01"을 가지며, MFF Type 값은 "10"을 가질 수 있다. 5th RTP 패킷은 4th RTP 패킷과 동일한 Timestamp, Payload Type 값을 가지며, Sequence Number는 "14"를 가질 수 있다. 5th RTP 패킷은 Media Partial MFF 파일의 분할된 마지막 데이터를 포함하는 패킷이므로 Fragment Indicator의 값은 "11"를 가지며, MFF Type 값은 "10"을 가질 수 있다.

네 번째 Initial Partial MFF가 6th RTP 패킷에 포함되어 전송되는 경우, 6th RTP 패킷은 1st RTP 패킷과 동일한 Payload Type, Fragment Indicator, MFF Type 값을 가질 수 있고, Sequence Number 값은 "15"로, Timestamp 값은 이후에 전송되는 Media Partial MFF보다 빠른 값인 "10000"을 가질 수 있다.

다섯 번째 Media Partial MFF가 3개의 RTP 패킷으로 분할되어 전송되는 경우, 7th RTP 패킷의 Payload Type은 "71", Sequence Number는 "16"을 가질 수 있고, Timestamp 값은 "11000"으로 표시되어 해당 미디어가 11초에 대한 시간정보를 가지고 있음을 나타낼 수 있다. 7th RTP 패킷은 Media Partial MFF 파일의 분할된 첫 번째 데이터를 포함하는 패킷이므로 Fragment Indicator의 값은 "01"을 가지며, MFF Type 값은 "10"을 가질 수 있다. 8th RTP 패킷은 7th RTP 패킷과 동일한 Timestamp, Payload Type 값을 가질 수 있고 Sequence Number는 "17"을 가질 수 있다. 8th RTP 패킷은 Media Partial MFF 파일의 분할된 중간 데이터를 포함하는 패킷이므로 Fragment Indicator값은 "10"을 가지며, MFF Type 값은 "10"을 가질 수 있다. 9th RTP 패킷의 Timestamp, Payload Type은 8th RTP 패킷과 동일하며, Sequence Number는 "18"을 가질 수 있다. 9th RTP 패킷은 Media Partial MFF 파일의 분할된 마지막 데이터를 포함하는 패킷이므로 Fragment Indicator의 값은 "11"를 가지며, MFF Type 값은 "10"을 가질 수 있다.

도 21은 본 발명의 일 실시예에 따른 지상파 방송망과 인터넷 프로토콜망 연동 기반의 하이브리드 방송 서비스 수신 장치의 동작 흐름을 나타낸 도면이다.

본 발명의 일 실시예에 따른 하이브리드 방송 서비스 수신 장치는, 채널 동기부 (Channel Synchronizer; 21010), 채널 이퀄라이저 (Channel Equalizer; 21020), 채널 디코더 (Channel Decoder; 21030), 시그널링 디코더 (Signaling Decoder; 21040), 베이스밴드 작동 제어부 (Baseband Operation Controller; 21050), 트랜스포트 패킷 인터페이스 (Transport Packet Interface; 21060), 브로드밴드 패킷 인터페이스 (Broadband Packet Interface; 21070), 공통 프로토콜 스택 (Common Protocol Stack; 21080), 어플리케이션 처리부 (Application Processor; 21090), 서비스 가이드 처리부 (Service Guide Processor; 21100), 오디오/비디오 처리부 (A/V Processor; 21110), 서비스 시그널링 채널 처리 버퍼 및 파서 (Service Signaling Channel Processing Buffer and Parser; 21120), 서비스 맵 데이터베이스 (Service Map DB; 21130) 및/또는 서비스 가이드 데이터 베이스 (Service Guide DB; 21140)를 포함한다.

채널 동기부 (Channel Synchronizer; 21010)는 베이스밴드에서 적절한 디코딩이 가능하도록 심볼 주파수와 시간(timing)을 동기화하는 기능을 수행할 수 있다.

채널 이퀄라이저 (Channel Equalizer; 21020)는 수신된 신호가 Multipath, Doppler effect 등으로 인해 왜곡되었을 경우 이를 보상하는 기능을 수행할 수 있다.

채널 디코더 (Channel Decoder; 21030)는 수신된 신호를 의미를 가지는 데이터로 복구하는 기능을 수행할 수 있다. 또한, FEC (Forward Error Correction)를 수행할 수 있다.

시그널링 디코더 (Signaling Decoder; 21040)는 채널로부터 전달되는 시그널링 데이터를 추출하고 디코딩하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 지상파 방송망을 통해 전송되는 시그널링 데이터는 시그널링 디코더 (21040)에서 추출 및 디코딩될 수도 있고, 후술할 서비스 시그널링 채널 처리 버퍼 및 파서 (Service Signaling Channel Processing Buffer and Parser; 21120)에서 추출 및 디코딩될 수도 있다.

베이스밴드 작동 제어부 (Baseband Operation Controller; 21050)는 베이스밴드에 관련된 여러 가지 처리 과정을 제어하는 기능을 수행할 수 있다.

트랜스포트 패킷 인터페이스 (Transport Packet Interface; 21060)는 채널 디코더 (21030)로부터 수신한 방송 스트림에서 트랜스포트 패킷 (Transport Packet)을 추출하는 기능을 수행할 수 있다. 또한, 추출된 트랜스 포트 패킷으로부터 시그널링 또는 IP 데이터그램 (IP datagram)등을 조합하는 기능을 수행할 수 있다.

브로드밴드 패킷 인터페이스 (Broadband Packet Interface; 21070)는 인터넷 프로토콜망을 통해 획득된 패킷 (Packet)을 추출하고 해당 패킷으로부터 시그널링 또는 A/V 데이터 등을 조합하는 기능을 수행할 수 있다.

공통 프로토콜 스택 (Common Protocol Stack; 21080)은 도 1의 프로토콜 스택에 해당할 수 있다. 공통 프로토콜 스택 (21080)에서 패킷 단위로 묶인 데이터들은 프로토콜의 각 계층을 거치면서 시그널링, 오디오 데이터, 비디오 데이터, 서비스 가이드 데이터 등으로 구분될 수 있다.

어플리케이션 처리부 (Application Processor; 21090)는 수신 신호로부터 어플리케이션 관련 정보를 추출하고 처리하는 기능을 수행할 수 있다.

서비스 가이드 처리부 (Service Guide Processor; 21100)는 수신 신호로부터 어나운스먼트 (Announcement) 정보를 추출할 수 있고, 후술할 서비스 가이드 데이터 베이스 (Service Guide Database; 21140)를 관리할 수 있으며, 서비스 가이드를 제공하는 기능을 수행할 수 있다.

오디오/비디오 처리부 (A/V Processor; 21110)는 수신된 오디오 및 비디오 데이터를 디코딩하고 재생 (Presentation)하는 기능을 수행할 수 있다.

서비스 시그널링 채널 처리 버퍼 및 파서 (Service Signaling Channel Processing Buffer and Parser; 21120)는 IP 데이터그램 등으로부터 서비스 또는 컨텐츠의 스캔 및 획득 등과 관련된 시그널링 정보를 추출하고 파싱하는 기능을 수행할 수 있다. 또한, 서비스 시그널링 채널 처리 버퍼 및 파서 (21120)는 전술한 시그널링 디코더 (21040)를 포함할 수 있다. 또한, 시그널링 디코더 (21040)다 포함된 서비스 시그널링 채널 처리 버퍼 및 파서 (21120)는 시그널링 정보 처리부라고 명명될 수 있으며, 시그널링 디코더 (21040, 시그널링 채널 처리 버퍼 및 파서 (21120) 각각을 시그널링 정보 처리부라고 명명할 수 있다. 본 발명의 일 실시예에 따른 서비스 정보 테이블에 포함된 컴포넌트 식별 정보, 전송 네트워크 타입 정보, 데이터 경로 정보, ISO base media file format 규격의 버전 정보 및/또는 ISO base media file format 스트림의 프로파일 정보는 방송 서비스의 획득과 관련된 시그널링 정보로서 시그널링 정보 처리부에 의해서 추출되고 파싱될 수 있다.

서비스 맵 데이터베이스 (Service Map DB; 21130)는 시그널링 디코더 (21040), 서비스 시그널링 채널 처리 버퍼 및 파서 (21120)또는 시그널링 정보 처리부에 의해 디코딩된 시그널링 정보를 저장하는 기능을 수행할 수 있다.

서비스 가이드 데이터베이스 (Service Guide DB; 21140)는 서비스 가이드 처리부 (21100)를 통해 추출 및 처리된 서비스 가이드를 저장하는 기능을 수행할 수 있다.

도 22는 본 발명의 일 실시예에 따른 미디어 방송 신호의 송신 방법의 흐름을 나타낸 도면이다.

본 발명의 일 실시예에 따르면, 미디어 방송 신호는 다음과 같은 과정을 거쳐 송신될 수 있다. 먼저, 데이터를 미디어 파일 포맷 (Media File Format; MFF)으로 인코딩한다(S22010). 여기서, 데이터는 오디오 데이터나 비디오 데이터와 같은 미디어 데이터를 포함할 수 있다. 그리고 미디어 파일 포맷에 대한 설명은 전술한 용어 및 약어에 대한 설명 부분에서 기술하였다. 다음 과정으로, 인코딩된 미디어 파일 포맷 파일을 데이터 종류에 따라 초기 부분 MFF 파일과 미디어 부분 MFF 파일로 분할할 수 있다(S22020). 이 때, 초기 부분 MFF 파일은 미디어 파일 전체의 재생 정보 및 초기 재생 정보를 가진 메타데이터를 포함할 수 있고, 미디어 부분 MFF 파일은 미디어데이터와 상기 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터를 포함할 수 있다. 이에 대한 설명은 도 6 내지 11의 설명 부분에서 전술하였다. 다음 과정으로, 실시간 전송을 위한 프로토콜에 따라 상기 분할된 미디어 파일 포맷 파일을 포함하는 패킷을 생성한다(S22030). 여기서, 전송 프로토콜은 실시간 전송 프로토콜, 비실시간 전송 프로토콜 등을 포함할 수 있고, 이와 같은 전송 프로토콜에 따라 상기 단계에서 미디어 파일 포맷으로 인코딩된 미디어 파일을 패킷화한다. 이 때, 상기 생성된 패킷의 헤더는 페이로드에 포함된 상기 분할된 미디어 파일 포맷 파일이 초기 부분 MFF 파일인지 미디어 부분 MFF 파일인지를 식별하는 미디어 파일 포맷 (MFF) 타입 정보를 포함할 수 있다. 이에 대한 내용은 도 6 내지 11 및 도 15 내지 20에서 전술하였다. 다음 과정으로, 상기 생성된 패킷을 전송한다(S22040). 여기서, 상기 전송 프로토콜에 의해 패킷화된 데이터들은 지상파 방송망, 케이블망 및 인터넷 프로토콜망 중 적어도 어느 하나를 통해 전송될 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 상기 패킷을 생성하는 단계(S22030)에서 생성된 패킷의 헤더에는 페이로드에 포함된 데이터의 포맷을 나타내는 페이로드 타입 정보가 포함될 수 있고 페이로드 타입 정보에 대한 내용은 도 4에 대한 설명 부분에서 전술하였다. 또한, 상기 페이로드 타입 정보에는 여러 종류의 파일 포맷들이 정의되어 있다. 상기 페이로드 타입 정보는 페이로드에 포함된 데이터가 미디어 파일 포맷 (MFF)임을 식별할 수 있다. 이에 대한 내용은 도 5에 대한 설명 부분에서 전술하였다.

본 발명의 또 다른 일 실시예에 따르면, 상기 패킷을 생성하는 단계(S22030)에서 생성된 패킷의 헤더는 페이로드에 포함된 미디어 파일 포맷 (MFF) 파일이 재생되는 시작점을 나타내는 타임스탬프 정보를 포함할 수 있다. 그리고, 상기 초기 부분 MFF 파일이 포함된 패킷은 상기 미디어 부분 MFF 파일이 포함된 패킷과 같거나 더 빠른 타임스탬프 정보를 가질 수 있다. 이에 대한 설명은 도 6 및 16의 설명 부분에서 전술하였다.

본 발명의 또 다른 일 실시예에 따르면, 상기 초기 부분 MFF 파일이 포함된 패킷은 주기적으로 계속하여 전송될 수 있다. 이에 대한 설명은 도 6 및 9의 설명 부분에서 전술하였다.

본 발명의 또 다른 일 실시예에 따르면, 인코딩된 미디어 파일 포맷 파일을 데이터의 종류에 따라 분할하는 단계 대신 데이터의 크기에 따라 분할하는 단계를 포함할 수 있다. 당해 실시예와 같이 미디어 파일 포맷 파일을 데이터의 크기에 따라 분할하여 전송하는 경우, 상기 분할된 미디어 파일 포맷 파일을 전송하는 패킷의 헤더에는 당해 패킷의 페이로드에 포함된 분할된 미디어 파일 포맷 파일을 데이터의 순서에 따라 구분하는 프래그먼트 인디케이터 정보가 포함될 수 있다. 이에 대한 내용은 도 12 내지 14 및 도 20에서 전술하였다.

본 발명의 또 다른 일 실시예에 따르면, 인코딩된 미디어 파일 포맷 파일은 데이터의 순서에 따라서 전체 미디어 파일을 구성하는, 첫 번째 데이터, 중간 데이터 및 마지막 데이터 중 어느 하나로 분할될 수 있다. 그리고, 미디어 파일 포맷 파일이 데이터 크기에 따라 분할되어 전송되는 경우, 상기 분할된 미디어 파일 포맷 파일을 전송하는 패킷의 헤더에는 당해 패킷의 페이로드에 포함된 미디어 파일 포맷 파일의 재생 시작점을 나타내는 타임스탬프 정보를 포함할 수 있다. 그리고, 데이터 순서에 따라 구분되는 미디어 파일 포맷 파일을 전송하는 각 패킷은 모두 동일한 타임스탬프 정보를 가질 수 있다. 이에 대한 설명은 도 12 내지 14의 설명 부분에서 전술하였다.

본 발명의 또 다른 일 실시예에 따르면, 데이터의 종류에 따라서 분할된 미디어 파일 포맷 파일은 데이터의 크기에 따라서 또 다시 분할되어 전송될 수 있다. 이에 대한 설명은 도 20의 설명 부분에서 전술하였다.

본 발명의 또 다른 일 실시예에 따르면, 미디어 파일 포맷 파일을 전송하는 프로토콜은 실시간 전송을 위한 프로토콜이 사용될 수 있고, 실시간 전송을 위한 프로토콜 중에 RTP (Real time Transport Protocol)이 사용될 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 전송되는 미디어 파일 포맷 파일은 ISOBMFF (ISO Base Media File Format)을 포함할 수 있다.

설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.

본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.

발명의 실시를 위한 형태

발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.

본 발명은 방송 산업 전반에서 이용 가능하다.

Claims

실시간 전송을 위한 프로토콜에 의한 패킷을 수신하는 수신부,
여기서, 상기 패킷의 페이로드는 데이터 종류에 따라 분할된 미디어 파일 포맷 (MFF) 파일을 포함하고, 상기 분할된 미디어 파일 포맷 (MFF) 파일은 전체 재생 정보와 초기 재생 정보를 가진 메타데이터를 포함하는 초기 부분 MFF 파일 및 미디어데이터와 상기 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터를 포함하는 미디어 부분 MFF 파일 중 어느 하나에 해당하고,
여기서, 상기 패킷의 헤더는 페이로드에 포함된 상기 분할된 미디어 파일 포맷 (MFF) 파일이 초기 부분 MFF 파일인지 미디어 부분 MFF 파일인지를 식별하는 미디어 파일 포맷 (MFF) 타입 정보를 포함하고;
미디어 파일 포맷 (MFF) 파일을 분석하여 메타데이터와 미디어데이터를 구분하고 재생에 필요한 정보를 추출하는 파싱부;
상기 파싱부로부터 출력된 미디어 파일 포맷 (MFF) 파일을 복호하는 디코더;
상기 파싱부에서 추출된 정보를 이용하여 복호된 미디어 파일 포맷 (MFF) 파일을 재생하는 재생부;
를 포함하는 미디어 방송 신호 수신 장치.
제 1 항에 있어서
상기 미디어 방송 신호 수신 장치는 상기 수신된 패킷의 페이로드에 포함된 데이터를 저장하는 버퍼; 및 초기 부분 MFF 파일을 포함한 패킷을 수신하는 경우 상기 초기 부분 MFF 파일이 버퍼에 저장되도록 제어하고, 미디어 부분 MFF 파일을 포함한 패킷을 수신하는 경우 초기 부분 MFF 파일이 버퍼에 저장되어 있는지 확인하여 버퍼에 저장되어 있으면 미디어 부분 MFF 파일을 버퍼에 저장된 초기 부분 MFF 파일과 함께 파싱부로 출력되도록 제어하고, 버퍼에 저장되어 있지 않으면 수신부로 하여금 새로운 패킷을 수신하도록 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 미디어 방송 신호 수신 장치.
제 1 항에 있어서
상기 패킷의 헤더는 페이로드에 포함된 데이터의 포맷을 나타내는 페이로드 타입 정보를 포함하고, 상기 페이로드 타입 정보는 페이로드에 포함된 데이터가 미디어 파일 포맷 (Media File Format; MFF)임을 식별하는 것을 특징으로 하는 미디어 방송 신호 수신 장치.
제 1 항에 있어서,
상기 패킷의 헤더는 페이로드에 포함된 미디어 파일 포맷 (MFF) 파일이 재생되는 시작점을 나타내는 타임스탬프 정보를 더 포함하고,
상기 초기 부분 MFF 파일이 포함된 패킷은 상기 미디어 부분 MFF 파일이 포함된 패킷과 같거나 더 빠른 타임스탬프 정보를 갖는 것을 특징으로 하는 미디어 방송 신호 수신 장치.
제 1 항에 있어서,
상기 초기 부분 MFF 파일이 포함된 패킷은 주기적으로 계속하여 수신되는 것을 특징으로 하는 미디어 방송 신호 수신 장치.
제 1 항에 있어서,
상기 실시간 전송을 위한 프로토콜은 RTP (Real time Transport Protocol)을 포함하는 것을 특징으로 하는 미디어 방송 신호 수신 장치.
제 1 항에 있어서,
상기 미디어 파일 포맷 (Media File Format)은 ISOBMFF (ISO Base Media File Format)을 포함하는 것을 특징으로 하는 미디어 방송 신호 수신 장치.
오디오데이터 및/또는 비디오데이터를 포함하는 미디어데이터를 미디어 파일 포맷 (Media File Format; MFF)으로 인코딩하는 단계;
상기 인코딩된 미디어 파일 포맷 (MFF) 파일을 데이터 종류에 따라 전체 재생 정보 및 초기 재생 정보를 가진 메타데이터를 포함하는 초기 부분 MFF 파일과 미디어데이터 및 상기 미디어데이터에 관련된 부분적 재생 정보를 가진 메타데이터를 포함하는 미디어 부분 MFF 파일로 분할하는 단계;
실시간 전송을 위한 프로토콜에 따라 상기 분할된 미디어 파일 포맷 (MFF) 파일을 포함하는 패킷을 생성하는 단계,
여기서, 상기 생성된 패킷의 헤더는 페이로드에 포함된 상기 분할된 미디어 파일 포맷 (MFF) 파일이 초기 부분 MFF 파일인지 미디어 부분 MFF 파일인지를 식별하는 미디어 파일 포맷 (MFF) 타입 정보를 포함하고;
상기 생성된 패킷을 전송하는 단계;
를 포함하는 미디어 방송 신호 송신 방법.
제 8 항에 있어서,
상기 생성된 패킷의 헤더는 페이로드에 포함된 데이터의 포맷을 나타내는 페이로드 타입 정보를 포함하고, 상기 페이로드 타입 정보는 페이로드에 포함된 데이터가 미디어 파일 포맷 (MFF)임을 식별하는 것을 특징으로 하는 미디어 방송 신호 송신 방법.
제 8 항에 있어서,
상기 생성된 패킷의 헤더는 페이로드에 포함된 미디어 파일 포맷 (MFF) 파일이 재생되는 시작점을 나타내는 타임스탬프 정보를 더 포함하고,
상기 초기 부분 MFF 파일이 포함된 패킷은 상기 미디어 부분 MFF 파일이 포함된 패킷과 같거나 더 빠른 타임스탬프 정보를 갖는 것을 특징으로 하는 미디어 방송 신호 송신 방법.
제 8 항에 있어서,
상기 초기 부분 MFF 파일이 포함된 패킷은 주기적으로 계속하여 전송되는 것을 특징으로 하는 미디어 방송 신호 송신 방법.
제 8 항에 있어서,
상기 실시간 전송을 위한 프로토콜은 RTP (Real time Transport Protocol)을 포함하는 것을 특징으로 하는 미디어 방송 신호 송신 방법.
제 8 항에 있어서,
상기 미디어 파일 포맷 (Media File Format)은 ISOBMFF (ISO Base Media File Format)을 포함하는 것을 특징으로 하는 미디어 방송 신호 송신 방법.