KR102320670B1

KR102320670B1 - Data synchronization system and method

Info

Publication number: KR102320670B1
Application number: KR1020200056683A
Authority: KR
Inventors: 장준기; 김성호; 조성택; 강인철; 김정기; 정영진; 이종혁; 안재철; 정윤호; 최정오; 최인균; 김정명; 아지훈
Original assignee: 네이버 주식회사
Priority date: 2020-05-12
Filing date: 2020-05-12
Publication date: 2021-11-02

Abstract

An object of the present invention is to provide a system and method for data synchronization capable of synchronizing media data photographed in different production environments or transmitted from different transmission servers. According to the present invention, a system for data synchronization comprises: a receiving unit for receiving media data; a synchronization information generating unit for generating synchronization information by using visual information corresponding to the reception time of the received media data; a multiplexing unit for multiplexing the received media data and the synchronization information, so transmission target media data including the synchronization information is generated; and a transmitting unit that transmits the transmission target media data to an external server.

Description

DATA SYNCHRONIZATION SYSTEM AND METHOD

본 발명은 데이터 동기화 시스템 및 데이터 동기화 방법에 관한 것이다.The present invention relates to a data synchronization system and a data synchronization method.

기술이 발전함에 따라, 디지털 디바이스의 활용도가 높아지고 있으며, 특히, 디지털 디바이스는 컨텐츠를 재생하는 용도로 적극 활용되고 있다. As technology develops, the utilization of digital devices is increasing, and in particular, digital devices are being actively used for reproducing content.

일 예로서, 스마트폰, 태블릿 PC 등은 종래의 전화나 문자 메시지와 같은 통신 기능은 물론, 음악 재생, 동영상 재생 등과 같은 컨텐츠 중심의 다양한 기능을 제공하고 있다.As an example, smartphones and tablet PCs provide various content-oriented functions, such as music reproduction and video reproduction, as well as communication functions such as conventional phone calls and text messages.

한편 이러한 디지털 디바이스의 활용도가 점차 높아짐에 따라, 다양한 컨텐츠가 생산되고 있으며, 특히, 멀티 미디어로 이루어진 콘텐츠에 대한 소비가 급증하고 있다. Meanwhile, as the utilization of these digital devices is gradually increasing, various contents are being produced, and in particular, the consumption of contents made of multi-media is rapidly increasing.

특히, 최근에는 실시간 스트리밍에 기반한 콘텐츠(예를 들어, 실시간 방송, 라이브 방송 등)에 대한 선호도가 점차적으로 높아지고 있으며, 이에 따라, 실시간 콘텐츠를 제작 및 제공하는 플랫폼 또한 다양화되고 있다.In particular, in recent years, preference for content (eg, real-time broadcasting, live broadcasting, etc.) based on real-time streaming is gradually increasing, and accordingly, platforms for producing and providing real-time content are also diversifying.

한편, 최근에는 단일의 콘텐츠 송출서버가 아닌, 복수의 송출서버로부터 송출되는 복수의 콘텐츠가 하나의 실시간 스트리밍 콘텐츠로서 제공되고 있다.On the other hand, recently, instead of a single content transmission server, a plurality of contents transmitted from a plurality of transmission servers are provided as one real-time streaming content.

이러한 복수의 콘텐츠는, 하나로 통합되어 사용자(또는 시청자)에게 제공되게 되며, 통합의 과정에서 복수의 콘텐츠 간의 정확한 동기화에 대한 니즈가 있다.Such a plurality of contents is integrated into one and provided to a user (or a viewer), and there is a need for accurate synchronization between the plurality of contents in the process of integration.

이러한, 콘텐츠 동기화 방법으로서, 대한민국 공개특허 10-2010-0124909호는, 음성 데이터와 영상 데이터 각각의 PTS 정보와 무선 기기 사이의 지연시간을 고려하여 데이터를 동기화하는 기술이 공개되어 있다. 다만, 이러한 방법은 데이터의 재생시각을 나타내는 상대적인 시각 정보를 이용하여, 음성 데이터와 영상 데이터를 동기화하는 것으로서, 정확도에 한계가 있다.As such a content synchronization method, Korean Patent Laid-Open Patent Publication No. 10-2010-0124909 discloses a technology for synchronizing data in consideration of a delay time between PTS information of audio data and video data, respectively, and a wireless device. However, this method synchronizes audio data and image data using relative time information indicating the reproduction time of data, and has a limitation in accuracy.

이에, 실시간 스트리밍을 통한 콘텐츠 제공 환경에서, 서로 다른 콘텐츠들 간의 동기화를 정확하게 수행함으로써, 보다 자연스러운 콘텐츠를 사용자에게 제공하고자 하는 니즈가 여전히 존재한다.Accordingly, in a content providing environment through real-time streaming, there is still a need to provide more natural content to users by accurately performing synchronization between different content.

본 발명은, 서로 다른 제작 환경에서 촬영되거나, 서로 다른 송출 서버에서 송출되는 미디어 데이터들을 동기화 할 수 있는 데이터 동기화 시스템 및 방법을 제공하는 것이다.An object of the present invention is to provide a data synchronization system and method capable of synchronizing media data photographed in different production environments or transmitted from different transmission servers.

특히, 본 발명은, 서로 다른 송출 서버에서 실시간으로 스트리밍 되는 미디어 데이터 간에 동기화를 수행할 수 있는 데이터 동기화 시스템 및 방법을 제공하는 것이다.In particular, the present invention provides a data synchronization system and method capable of performing synchronization between media data streamed in real time from different transmission servers.

나아가, 본 발명은, 미디어 데이터에 대한 동기화 정보를 생성할 수 있는 데이터 동기화 시스템 및 방법을 제공하는 것이다. Furthermore, the present invention provides a data synchronization system and method capable of generating synchronization information for media data.

또한, 본 발명은, 기존의 촬영 장비, 송출 장비 및 미디어 데이터 수신장비를 그대로 사용하면서 미디어 데이터에 대한 동기화를 수행할 수 있는 데이터 동기화 시스템 및 방법을 제공하는 것이다.Another object of the present invention is to provide a data synchronization system and method capable of performing synchronization of media data while using existing photographing equipment, transmitting equipment, and media data receiving equipment as they are.

위에서 살펴본 과제를 해결하기 위하여 본 발명에 따른 데이터 동기화 시스템은, 미디어 데이터를 수신하는 수신부, 상기 수신된 미디어 데이터의 수신 시점에 대응되는 시각 정보를 이용하여, 동기화 정보를 생성하는 동기화 정보 생성부, 상기 동기화 정보를 포함하는 전송 대상 미디어 데이터가 생성되도록, 상기 수신된 미디어 데이터와 상기 동기화 정보를 다중화하는 다중화부 및 상기 전송 대상 미디어 데이터를 외부 서버로 전송하는 전송부를 포함할 수 있다.In order to solve the above problems, the data synchronization system according to the present invention includes a receiver for receiving media data, a synchronization information generator for generating synchronization information by using time information corresponding to a reception time of the received media data; and a multiplexer for multiplexing the received media data and the synchronization information so as to generate the transmission target media data including the synchronization information, and a transmission unit for transmitting the transmission target media data to an external server.

위에서 살펴본, 동기화 정보 생성부는, 상기 수신 시점에 대응되며, 기준 시간체계를 따르는 절대 시각 정보를 상기 동기화 정보로서 생성할 수 있다.As described above, the synchronization information generating unit may generate, as the synchronization information, absolute time information corresponding to the reception time and conforming to a reference time system.

한편, 본 발명에서 수신된 미디어 데이터는, 기 설정된 시간 간격으로 분할된 복수의 샘플들로 구성되며, 상기 동기화 정보 생성부는, 상기 수신된 미디어 데이터를 구성하는 상기 복수의 샘플들 중, 상기 수신부에 가장 첫번째로 수신된 샘플의 수신 시점에 대응되는 절대 시각 정보를 이용하여 상기 동기화 정보를 생성할 수 있다.On the other hand, in the present invention, the received media data is composed of a plurality of samples divided at a preset time interval, and the synchronization information generating unit includes the receiving unit among the plurality of samples constituting the received media data. The synchronization information may be generated using absolute time information corresponding to the reception time of the first received sample.

다른 예로서, 본 발명에 따른 미디어 데이터 동기화 시스템은, 미디어 데이터를 수신하는 미디어 데이터 수신부, 상기 수신된 미디어 데이터와 관련된 시각 정보를 수신하는 시각 정보 수신부, 상기 시각 정보를 기 특정된 기준 시간체계에 따라 변환하여, 동기화 정보를 생성하는 동기화 정보 생성부, 상기 동기화 정보를 포함하는 전송 대상 미디어 데이터가 생성되도록, 상기 수신된 미디어 데이터와 상기 동기화 정보를 다중화하는 다중화부 및 상기 전송 대상 미디어 데이터를 외부 서버로 전송하는 전송부를 포함할 수 있다.As another example, the media data synchronization system according to the present invention includes a media data receiving unit for receiving media data, a time information receiving unit for receiving time information related to the received media data, and a predetermined reference time system for the time information. a synchronization information generating unit generating synchronization information by converting according to the above; a multiplexing unit multiplexing the received media data and the synchronization information so as to generate transmission target media data including the synchronization information; It may include a transmitter for transmitting to the server.

나아가, 본 발명에 따른 미디어 데이터 동기화 방법은, 미디어 데이터를 수신하는 단계, 상기 미디어 데이터의 수신 시점에 대응되는 시간 정보를 이용하여, 동기화 정보를 생성하는 단계, 상기 동기화 정보를 포함하는 전송 대상 미디어 데이터가 생성되도록, 상기 미디어 데이터와 상기 동기화 정보를 다중화하는 단계 및 상기 전송 대상 미디어 데이터를 외부 서버로 전송하는 단계를 포함하고, 상기 동기화 정보를 생성하는 단계에서는, 상기 수신 시점에 대응되며, 기준 시간체계를 따르는 절대 시각 정보를 상기 동기화 정보로서 생성할 수 있다.Furthermore, the method for synchronizing media data according to the present invention includes the steps of: receiving media data; generating synchronization information by using time information corresponding to the reception time of the media data; and transmission target media including the synchronization information multiplexing the media data and the synchronization information so as to generate data, and transmitting the transmission target media data to an external server. Absolute time information according to the time system may be generated as the synchronization information.

한편, 본 발명에 다른 실시 예에 따른, 데이터 동기화 시스템은, 미디어 데이터를 생성하는 촬영부, 상기 생성된 미디어 데이터의 생성 시점에 대응되는 시각 정보를 이용하여, 동기화 정보를 생성하는 동기화 정보 생성부, 상기 동기화 정보를 포함하는 전송 대상 미디어 데이터가 생성되도록, 상기 생성된 미디어 데이터와 상기 동기화 정보를 다중화하는 다중화부 및 상기 전송 대상 미디어 데이터를 외부 서버로 전송하는 전송부를 포함할 수 있다.On the other hand, according to another embodiment of the present invention, a data synchronization system includes a photographing unit generating media data, and a synchronization information generating unit generating synchronization information by using time information corresponding to a generation time of the generated media data. , a multiplexer for multiplexing the generated media data and the synchronization information so as to generate the transmission target media data including the synchronization information, and a transmission unit for transmitting the transmission target media data to an external server.

위에서 살펴본 것과 같이, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 미디어 데이터가 수신된 시점의 시각 정보를 이용하여, 동기화 정보를 생성하고, 생성된 동기화 정보와 미디어 데이터를 다중화 함으로써, 미디어 데이터에 대해 동기화 정보를 부가할 수 있다. As described above, the data synchronization system and method according to the present invention generates synchronization information using time information at the time when the media data is received, and multiplexes the generated synchronization information and media data for media data. Synchronization information can be added.

이때, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 절대 시각 정보를 이용하여, 동기화 정보를 생성함으로써, 서로 다른 주체로부터 촬영되거나, 수신된 미디어 데이터에 대해 서로 동일한 기준의 동기화 정보를 포함시킬 수 있다. In this case, the data synchronization system and method according to the present invention may include synchronization information of the same standard for media data photographed or received from different subjects by generating synchronization information using absolute time information. .

따라서, 본 발명에 따른 동기화 시스템 및 방법에 의해 생성된 동기화 정보를 갖는 서로 다른 미디어 데이터들을 동기화 하는 경우, 동일한 기준인 절대 시각 정보를 기준으로 동기화가 수행되므로, 상대 시간 또는 시차 등에 의하여 발생되는 미디어 데이터 간의 불일치를 최소화할 수 있다. 예를 들어, 본 발명에 따른 동기화 시스템 및 방법에 의하면, 영상에 해당하는 미디어 데이터와, 음악에 해당하는 미디어 데이터가, 절대 시각 정보를 기준으로 동기화되어 송출되므로, 실시간 스트리밍 시, 서로 동일한 내용이 사용자에게 송출될 수 있다.Therefore, when synchronizing different media data having synchronization information generated by the synchronization system and method according to the present invention, the synchronization is performed based on the same absolute time information, which is the same reference, so that the media generated by relative time or time difference, etc. Discrepancies between data can be minimized. For example, according to the synchronization system and method according to the present invention, media data corresponding to an image and media data corresponding to music are synchronized and transmitted based on absolute time information. can be sent to the user.

이와 같이, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 미디어 데이터에 절대 시각 정보를 기반으로 생성된 동기화 정보를 반영함으로써, 서로 다른 미디어 데이터에 대해 보다 정확도 높은 동기화를 수행할 수 있다.As described above, in the data synchronization system and method according to the present invention, by reflecting the synchronization information generated based on absolute time information in the media data, it is possible to perform high-accuracy synchronization with respect to different media data.

한편, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 미디어 데이터를 송출하는 송출서버로부터 미디어 데이터를 수신하고, 수신된 미디어 데이터에 동기화 정보를 부가하는 방식으로 미디어 데이터에 대한 다중화를 수행할 수 있다, 따라서, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 미디어 데이터를 송출하는 송출서버에서 추가적인 작업을 수행함이 없이, 동기화 정보를 생성하는 것이 가능하므로, 기존의 미디어 데이터 송출 시스템을 그대로 유지하면서 정확도 높은 데이터 동기화 시스템 및 방법을 제공할 수 있다.On the other hand, the data synchronization system and method according to the present invention can receive media data from a transmission server that transmits media data, and perform multiplexing on media data by adding synchronization information to the received media data. Therefore, in the data synchronization system and method according to the present invention, it is possible to generate synchronization information without performing an additional operation in the transmission server that transmits media data, so that data with high accuracy while maintaining the existing media data transmission system Synchronization systems and methods may be provided.

나아가, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 미디어 데이터가 생성된 시점의 시각 정보를 이용하여, 동기화 정보를 생성하고, 생성된 동기화 정보와 미디어 데이터를 다중화 함으로써, 미디어 데이터에 대해 동기화 정보를 부가할 수 있다. Furthermore, the data synchronization system and method according to the present invention generates synchronization information using time information at the time when media data is generated, and multiplexes the generated synchronization information and media data to generate synchronization information for media data. can be added

도 1은 본 발명에 따른 데이터 동기화 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 데이터 동기화 방법을 설명하기 위한 흐름도이다.
도 3a, 도 3b, 도 3c, 도 4 및 도 5는 본 발명에 따른 동기화 시스템에 의해 생성된 동기화 정보를 반영하는 방법을 설명하기 위한 개념도들이다.
도 6은 본 발명의 다른 예에 따른 동기화 시스템을 설명하기 위한 개념도이다.
도 7은 본 발명의 다른 예에 따른 데이터 동기화 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 다른 예에 따른 동기화 시스템에 의해 생성된 동기화 정보를 반영하는 방법을 설명하기 위한 개념도이다.
도 9는 본 발명의 다른 실시 예에 따른 데이터 동기화 시스템을 설명하기 위한 개념도이다.
도 10은 도 9에서 살펴본 데이터 동기화 시스템에 의한 데이터 동기화 방법을 설명하기 위한 흐름도이다.1 is a conceptual diagram for explaining a data synchronization system according to the present invention.
2 is a flowchart illustrating a data synchronization method according to the present invention.
3A, 3B, 3C, 4 and 5 are conceptual diagrams for explaining a method of reflecting synchronization information generated by the synchronization system according to the present invention.
6 is a conceptual diagram illustrating a synchronization system according to another example of the present invention.
7 is a flowchart illustrating a data synchronization method according to another example of the present invention.
8 is a conceptual diagram illustrating a method of reflecting synchronization information generated by a synchronization system according to another example of the present invention.
9 is a conceptual diagram illustrating a data synchronization system according to another embodiment of the present invention.
FIG. 10 is a flowchart illustrating a data synchronization method by the data synchronization system shown in FIG. 9 .

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components will be given the same reference numbers regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including an ordinal number, such as first, second, etc., may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is mentioned that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as "comprises" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

콘텐츠 및 매체의 발달로 인하여, 실시간 방송 또는 라이브 방송이 대중화되고 있다. 이러한 실시간 방송의 경우, 콘텐츠 생산자로부터 생산된 미디어 데이터는 스트리밍의 방식으로 콘텐츠 소비자에게 전달되고 있다. 특히, 실시간 방송의 경우, 콘텐츠 생산자에 의해 미디어 데이터가 생산되는 즉시, 콘텐츠 소비자에게 실시간으로 전달되는 특징을 갖는다.Due to the development of content and media, real-time broadcasting or live broadcasting has become popular. In the case of such real-time broadcasting, media data produced by a content producer is delivered to a content consumer in a streaming manner. In particular, in the case of real-time broadcasting, as soon as media data is produced by a content producer, it is delivered to a content consumer in real time.

한편, 최근에는, 단일의 콘텐츠 생산자가 아닌, 복수의 콘텐츠 생산자로부터 미디어 데이터가 생산되고, 이러한 복수의 미디어 데이터가 하나로 조합되어, 콘텐츠 소비자에게 전달되고 있다.Meanwhile, in recent years, media data is produced not from a single content producer but from a plurality of content producers, and the plurality of media data is combined into one and delivered to a content consumer.

여기에서, 복수의 미디어 데이터를 하나로 조합하는 과정은 “동기화(synchronization)”과정이라고 명명될 수 있다. 한편, 복수의 미디어 데이터를 동기화 하는 데에 있어서, 가장 중요한 요소는, 미디어 데이터 간에 시차가 발생하지 않도록, 또는 최소화되도록 동기화를 수행해야 한다는 점이다.Here, the process of combining a plurality of media data into one may be called a “synchronization” process. Meanwhile, in synchronizing a plurality of media data, the most important factor is that the synchronization should be performed so that a time difference does not occur or is minimized between the media data.

예를 들어, 복수의 콘텐츠 생산자로부터 생산된 복수의 미디어 데이터(예를 들어, 영상 데이터 및 음성 데이터) 간에 시차가 발생하도록 동기화된 경우, 조합된 콘텐츠를 재생하는 전자기기에서는, 영상과 음성 간에 콘텐츠 상의(내용 상의) 불일치가 발생하게 되며, 이는, 시청자로 하여금 콘텐츠에 대한 몰입도 및 이해도를 저하시키는 요인으로 작용할 수 있다.For example, when a plurality of media data (eg, image data and audio data) produced by a plurality of content producers are synchronized to generate a time difference, in an electronic device that reproduces the combined content, the content is between the image and the audio. Inconsistency in content (content) occurs, which may act as a factor that lowers the viewer's immersion and understanding of the content.

따라서, 실시간 방송의 경우, 서로 다른 콘텐츠 생산자에 의해 생성된 미디어 데이터 간에 시차가 발생하지 않도록 동기화 하는 것이 필요하며, 본 발명에서는 이를 해결하기 위한 동기화 시스템 및 방법을 제안한다.Therefore, in the case of real-time broadcasting, it is necessary to synchronize the media data generated by different content producers so that a time difference does not occur, and the present invention proposes a synchronization system and method for solving this problem.

먼저, 이하 본 발명에 대한 이해를 돕기 위하여, 본 명세서에서 사용되는 용어에 대해 정의한다.First, in order to help the understanding of the present invention, the terms used herein are defined.

먼저, 콘텐츠는 전자기기 상에서 출력가능한 각종 정보 또는 제작물로서, 문자, 부호, 음성, 음향, 음악, 이미지, 영상 등과 같이 다양한 형식의 정보 중 적어도 하나를 포함한 것을 의미한다.First, the contents are various types of information or products that can be output on an electronic device, and include at least one of various types of information such as text, code, voice, sound, music, image, and video.

다음으로, 미디어 데이터는, 콘텐츠를 구성하는 데이터로서, 문자, 부호, 음성, 음향, 음악, 이미지, 및 영상 중 적어도 하나를 포함하는 데이터를 의미한다.Next, media data is data constituting content, and means data including at least one of text, code, voice, sound, music, image, and video.

여기에서, 미디어 데이터는, “멀티 미디어 데이터”라고도 명명될 수 있으며, 본 명세서에서는, “미디어 데이터”로 통용하기로 한다.Here, media data may also be referred to as “multi-media data”, and in this specification, it will be commonly referred to as “media data”.

다음으로, 콘텐츠 생산자는, 미디어 데이터를 획득하는 주체로서, 영상(정적인 영상 및 동적인 영상을 모두 포함하는 개념임) 및 음성 중 적어도 하나에 해당하는 미디어 데이터를 획득 가능한 전자기기(또는 촬영 장비)를 의미할 수 있다.Next, the content producer, as a subject for acquiring media data, is an electronic device (or photographing equipment) capable of acquiring media data corresponding to at least one of an image (a concept including both a static image and a dynamic image) and a voice ) can mean

나아가, 콘텐츠 소비자는, 미디어 데이터 최종 목적지로서, 시청자의 전자기기(예를 들어, 스마트폰, PC, 태블릿 PC 등)를 의미할 수 있다.Furthermore, the content consumer may refer to a viewer's electronic device (eg, a smart phone, PC, tablet PC, etc.) as a final destination of media data.

한편, 본 발명에서 복수의 미디어 데이터는, 동일 장소에서 서로 다른 콘텐츠 생산자(또는 촬영 장비)에 의해 촬영됨에 의하여 생산될 수 있다(예를 들어, 다수의 촬영 장비로, 서로 다른 시점(view point)에 대한 미디어 데이터 생산). 또한 이와 다르게 복수의 미디어 데이터는, 별개의 장소에서 서로 다른 콘텐츠 생산자(또는 촬영 장비)에 의해 생산될 수 있다. 이와 같이, 동일 시점에서 복수의 미디어 데이터가 생산되는 방법은 매우 다양하므로, 본 발명에서는 이에 대한 별도의 한정을 두지 않는다.Meanwhile, in the present invention, a plurality of media data may be produced by being photographed by different content producers (or photographing equipment) at the same place (eg, different viewpoints with a plurality of photographing equipment). for media data production). Also, differently from this, a plurality of media data may be produced by different content producers (or photographing equipment) in separate places. As described above, there are many different methods for generating a plurality of media data at the same time, and therefore, the present invention does not specifically limit the method.

이하, 위에서 살펴본 내용을 기반으로, 본 발명에 따른 데이터 동기화 시스템 및 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 1은 본 발명에 따른 데이터 동기화 시스템을 설명하기 위한 개념도이다.Hereinafter, based on the above, a data synchronization system and method according to the present invention will be described in more detail with accompanying drawings. 1 is a conceptual diagram for explaining a data synchronization system according to the present invention.

도 1에 도시된 것과 같이, 본 발명에 따른 데이터 동기화 시스템은(100)은, 수신부(110), 동기화 정보 생성부(120), 다중화부(130) 및 전송부(140) 중 적어도 하나를 포함하도록 구성되며, 비록 도시되지는 않았지만, 제어부를 더 포함할 수 있다. 1 , the data synchronization system 100 according to the present invention includes at least one of a receiver 110 , a synchronization information generator 120 , a multiplexer 130 , and a transmitter 140 . and, although not shown, may further include a control unit.

먼저, 수신부(110)는 유선 또는 무선 통신 방식을 통해 제1 서버(200)로부터 미디어 데이터를 수신할 수 있다. First, the receiver 110 may receive media data from the first server 200 through a wired or wireless communication method.

여기에서, 제1 서버(200)는 앞서 살펴본 콘텐츠 생산자(또는 촬영 장비, 촬영 기기)에 의해 획득된 미디어 데이터를 전송 또는 송출하는 역할을 수행할 수 있다.Here, the first server 200 may serve to transmit or transmit media data obtained by the above-described content producer (or photographing equipment, photographing device).

제1 서버(200)는 인코더(encoder) 또는 미디어 인코더(media encoder)로 구성될 수 있다. 제1 서버(200)는 콘텐츠 생산자로부터 미디어 데이터가 획득되는 것에 근거하여, 본 발명에 따른 미디어 데이터 동기화 시스템으로, 획득된 미디어 데이터를 전송하도록 이루어질 수 있다.The first server 200 may be configured as an encoder or a media encoder. The first server 200 may be configured to transmit the obtained media data to the media data synchronization system according to the present invention based on the media data obtained from the content producer.

한편, 수신부(110)에는, 복수의 콘텐츠 생산자로부터 각각 생산된 복수의 미디어 데이터가 수신될 수 있다. 이 경우, 복수의 미디어 데이터는, 서로 다른 제1 서버(200)로부터 송출되거나 또는 단일의 제1 서버(200)로부터 송출되는 것이 가능하다. Meanwhile, the receiving unit 110 may receive a plurality of media data respectively produced by a plurality of content producers. In this case, a plurality of media data may be transmitted from different first servers 200 or transmitted from a single first server 200 .

다음으로, 동기화 정보 생성부(120)는, 수신부(110)에 수신된 미디어 데이터의 수신 시점에 대응되는 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다.Next, the synchronization information generating unit 120 may generate the synchronization information by using the time information corresponding to the reception time of the media data received by the receiving unit 110 .

동기화 정보 생성부(120)는, 수신부(110)에 서로 다른 콘텐츠 생산자에 의해 획득된 복수의 미디어 데이터가 수신되는 경우, 각각의 미디어 데이터에 대한 동기화 정보를 생성할 수 있다.When a plurality of media data obtained by different content producers are received by the receiver 110 , the synchronization information generator 120 may generate synchronization information for each media data.

즉, 동기화 정보 생성부(120)는, 수신부(110) 상에, 복수의 미디어 데이터가 수신되는 경우라도, 복수의 미디어 데이터 각각에 대한 동기화 정보를 별도로 생성하도록 이루어질 수 있다. 이에, 이하에서는, 각각의 미디어 데이터에 대해 동기화 정보를 생성하는 방법에 대하여 살펴보도록 한다.That is, the synchronization information generating unit 120 may be configured to separately generate synchronization information for each of the plurality of media data even when a plurality of media data is received on the receiving unit 110 . Accordingly, hereinafter, a method of generating synchronization information for each media data will be described.

한편, 동기화 정보 생성부(120)는, 미디어 데이터가, i)수신부(110)에 수신된 수신 시점에 대응되며, ii)기준 시간체계를 따르는 절대 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다(즉, i), ii)의 조건을 모두 만족하는 동기화 정보 생성). 이때, 동기화 정보 생성부(120)는, 절대 시각 정보를 동기화 정보로서 생성할 수 있다.On the other hand, the synchronization information generating unit 120, the media data, i) corresponding to the reception time received by the receiving unit 110, ii) using absolute time information that follows a reference time system, it is possible to generate synchronization information There is (ie, synchronization information that satisfies both conditions i) and ii)). In this case, the synchronization information generating unit 120 may generate absolute time information as synchronization information.

여기에서, 기준 시간체계는, 다양할 수 있으며 예를 들어, 만국 표준시(UT, Universal Time), 협정세계시(UTC, Coordinated Universal Time), 대한민국 표준시(KST, Korea Standard Time), 그리니치 평균시(GMT, Greenwich Mean Time), 유닉스 시간(Unix time) 및 GPS 시간(GPS Time) 중 적어도 하나일 수 있다. 또한, 기준 시간체계는 위에서 열거한 예들 외에도, 다양한 다른 예들이 존재할 수 있다.Here, the reference time system may be various, for example, Universal Time (UT), Coordinated Universal Time (UTC), Korea Standard Time (KST), Greenwich Mean Time ( It may be at least one of GMT, Greenwich Mean Time), Unix time, and GPS Time. In addition, various other examples may exist for the reference time system in addition to the examples listed above.

즉, 본 발명에서, 동기화 정보의 생성에 활용되는 절대 시각 정보는, 기준 시간 체계를 따르는, 미디어 데이터가 수신된 수신 시점의 시각 정보를 의미한다.That is, in the present invention, absolute time information used for generation of synchronization information refers to time information at a reception time point at which media data is received, according to a reference time system.

이와 같이, 동기화 정보 생성부(120)는, 절대 시각 정보를 이용하여, 동기화 정보를 생성함으로써, 미디어 데이터들이 서로 동일한 기준 시간체계에 근거하여 동기화 될 수 있도록 할 수 있다. As such, the synchronization information generating unit 120 may use absolute time information to generate synchronization information so that media data may be synchronized based on the same reference time system.

다음으로, 다중화부(multiplexer, 130)는, 동기화 정보를 포함하는 전송 대상 미디어 데이터가 생성하도록 이루어질 수 있다.Next, the multiplexer 130 may be configured to generate transmission target media data including synchronization information.

보다 구체적으로, 다중화부(130)는, 수신부(110)를 통해 수신된 미디어 데이터와 동기화 정보 생성부(120)를 통해 생성된 동기화 정보를 다중화하여, 전송 대상 미디어 데이터를 생성할 수 있다.More specifically, the multiplexer 130 may generate media data to be transmitted by multiplexing the media data received through the receiver 110 and the synchronization information generated through the synchronization information generator 120 .

이때, 다중화부(130)는, 수신부(110)를 통해 수신된 미디어 데이터에, 동기화 정보 생성부(120)를 통해 생성된 동기화 정보를 반영함으로써, 전송 대상 미디어 데이터를 생성할 수 있다.In this case, the multiplexer 130 may generate the transmission target media data by reflecting the synchronization information generated through the synchronization information generating unit 120 to the media data received through the receiving unit 110 .

다음으로, 전송부(140)는, 다중화부(130)를 통해 생성된 전송 대상 미디어 데이터를, 제2 서버(300)로 전송하는 역할을 수행할 수 있다.Next, the transmission unit 140 may serve to transmit the transmission target media data generated through the multiplexer 130 to the second server 300 .

여기에서, 제2 서버(300)는, 전송 대상 미디어 데이터를 동기화 하는 역할을 수행할 수 있다. 즉, 제2 서버(300)는 본 발명에 따른 미디어 데이터 동기화 시스템(100)으로부터 수신된 복수의 미디어 데이터에 대한 동기화를 수행할 수 있다. 이때, 제2 서버(300)는, 상기 복수의 미디어 데이터 각각에 포함된 동기화 정보를 이용하여, 복수의 미디어 데이터에 대한 동기화를 수행할 수 있다.Here, the second server 300 may perform a role of synchronizing the transmission target media data. That is, the second server 300 may synchronize a plurality of media data received from the media data synchronization system 100 according to the present invention. In this case, the second server 300 may perform synchronization on the plurality of media data by using the synchronization information included in each of the plurality of media data.

이때, 상기 동기화 정보는, 절대 시각 정보로 구성되어 있으므로, 서로 동일한 기준 시간체계에 따라 미디어 데이터 간에 동기화가 수행될 수 있어, 미디어 데이터 간의 시차가 최소화될 수 있다. 이때, 제2 서버(300)는, 라이브 인코더 서버(live encoder server)로 이루어질 수 있다. In this case, since the synchronization information is composed of absolute time information, synchronization between the media data can be performed according to the same reference time system, so that the time difference between the media data can be minimized. In this case, the second server 300 may be configured as a live encoder server.

이하에서는, 이상에서 살펴본 데이터 동기화 시스템에 근거하여, 데이터 동기화를 수행하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 2는 본 발명에 따른 데이터 동기화 방법을 설명하기 위한 흐름도이고, 도 3a, 도 3b, 도 3c, 도 4 및 도 5는 본 발명에 따른 동기화 시스템에 의해 생성된 동기화 정보를 반영하는 방법을 설명하기 위한 개념도들이다.Hereinafter, a method of performing data synchronization based on the data synchronization system described above will be described in more detail with accompanying drawings. 2 is a flowchart for explaining a data synchronization method according to the present invention, and FIGS. 3A, 3B, 3C, 4 and 5 illustrate a method of reflecting synchronization information generated by the synchronization system according to the present invention concepts for doing so.

도 2에 도시된 것과 같이, 본 발명에 따른 데이터 동기화 방법에서는, 미디어 데이터를 수신하는 과정이 진행된다(S210). As shown in FIG. 2 , in the data synchronization method according to the present invention, a process of receiving media data is performed ( S210 ).

미디어 데이터는, 앞서 살펴본 것과 같이, 수신부(110)를 통해 수신될 수 있다.As described above, the media data may be received through the receiver 110 .

수신부(110)를 통해 수신되는 미디어 데이터는, 기 설정된 시간 간격으로 분할된 복수의 샘플들로 구성될 수 있다. 즉, 미디어 데이터를 수신하는 과정은, 도 3에 도시된 것과 같이 복수의 샘플을 수신하는 과정을 의미할 수 있다.The media data received through the receiver 110 may be composed of a plurality of samples divided at preset time intervals. That is, the process of receiving media data may refer to a process of receiving a plurality of samples as shown in FIG. 3 .

한편, 미디어 데이터는, 시간의 흐름에 따라 분할(시분할)되며, 예를 들어, 영상에 해당하는 미디어 데이터는, 1/24초 단위로 분할된 복수의 샘플로 구성될 수 있다. 또 다른 예로서, 음성(또는 음악, 또는 소리)에 해당하는 미디어 1/48,000초 단위로 분할된 복수의 샘플로 구성될 수 있다.Meanwhile, media data is divided (time division) according to the passage of time, and for example, media data corresponding to an image may be composed of a plurality of samples divided by 1/24 second units. As another example, media corresponding to voice (or music, or sound) may be composed of a plurality of samples divided into 1/48,000 second units.

이와 같이, 본 발명에서는, 복수의 샘플들로 구성된 미디어 데이터가 수신되면, 동기화 정보를 생성하는 과정이 진행된다(S220).As described above, in the present invention, when media data composed of a plurality of samples is received, a process of generating synchronization information is performed ( S220 ).

보다 구체적으로, 동기화 정보 생성부(120)는, 미디어 데이터가 수신부(110)에 수신된 수신 시점에 대응되는 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다.More specifically, the synchronization information generating unit 120 may generate the synchronization information by using the time information corresponding to the reception time when the media data is received by the receiving unit 110 .

이때, 동기화 정보 생성부(120)는, 미디어 데이터를 구성하는 상기 복수의 샘플들 중, 상기 수신부(110)에 가장 첫번째로 수신된 샘플의 수신 시점을 이용하여, 동기화 정보를 생성할 수 있다.In this case, the synchronization information generating unit 120 may generate the synchronization information by using the reception time of the first sample received by the receiving unit 110 among the plurality of samples constituting the media data.

한편, 본 발명에서, “가장 첫번째로 수신된 샘플”은, 시간의 흐름을 따라 순차적으로 시분할된 복수의 샘플들 중 가장 첫번째 시점에 배치된 샘플로 이해되어 질 수 있다. 즉, 미디어 데이터를 구성하는 복수의 샘플들은, 시간의 흐름에 따라 순차적으로 배치되며, 이러한 배치 순서에 따라, 순차적으로 수신부(110)에 수신될 수 있다. 따라서, 수신부(110)에 가장 처음으로 도착한 샘플은, 미디어 데이터를 구성하는 복수의 샘플들 중 가장 처음에 배치된 샘플일 수 있다.Meanwhile, in the present invention, the “first received sample” may be understood as a sample disposed at the first time among a plurality of samples sequentially time-divided along the passage of time. That is, the plurality of samples constituting the media data are sequentially arranged according to the passage of time, and according to the arrangement order, the plurality of samples may be sequentially received by the receiver 110 . Accordingly, a sample that first arrives at the receiver 110 may be a sample that is disposed first among a plurality of samples constituting the media data.

한편, 동기화 정보 생성부(120)는, 도 3a의 (a)에 도시된 미디어 데이터(310)중 가장 첫번째 수신된 샘플(311)이 수신부(110)에 수신된 수신 시점의 절대 시각 정보를 이용하여, 상기 동기화 정보를 생성할 수 있다.On the other hand, the synchronization information generating unit 120, the first received sample 311 of the media data 310 shown in (a) of FIG. 3A is received by the receiving unit 110 using absolute time information Thus, the synchronization information may be generated.

예를 들어, 도 3a의 (a)에 도시된 미디어 데이터(310)중 가장 첫번째 수신된 샘플(311)이, UCT 기준 시간체계에 근거하여, 2020년 4월 29일 오전 11시 00분 00처(절대 시각 정보에 해당함)에 수신된 경우, 동기화 정보 생성부(120)는, 상기 첫번째 샘플(311)이 수신된 절대 시간의 정보를 동기화 정보로서 생성될 수 있다. 이때, 동기화 정보는 절대 시각 정보를 포함하며, 예를 들어, “UTC 2020-04-29 11:00”와 같은 형식을 가질 수 있다. 한편, 동기화 정보에 포함된 절대 시각 정보를 표현하는 형식은 매우 다양하므로, 이에 대한 구체적인 설명은 생략하기로 한다.For example, the first received sample 311 among the media data 310 shown in (a) of FIG. 3A is, based on the UCT reference time system, on April 29, 2020 at 11:00 AM 00 (corresponding to absolute time information), the synchronization information generating unit 120 may generate information of the absolute time at which the first sample 311 is received as synchronization information. In this case, the synchronization information includes absolute time information, and may have a format such as “UTC 2020-04-29 11:00”, for example. Meanwhile, since there are many different formats for expressing the absolute time information included in the synchronization information, a detailed description thereof will be omitted.

한편, 동기화 정보 생성부(120)는, 미디어 데이터의 가장 첫번째 수신된 샘플의 수신 시점만을 이용하여, 동기화 정보를 생성할 수 있는데, 이는, 첫번째 샘플 이후의 샘플들에 대한 절대 시각 정보는, 제2 서버(300)에서 정확한 추정이 가능하기 때문이다. Meanwhile, the synchronization information generating unit 120 may generate synchronization information by using only the reception time of the first received sample of the media data, which is that absolute time information for samples after the first sample is the second This is because accurate estimation is possible in the 2 server 300 .

즉, 미디어 데이터는, 기 설정된 시간 간격으로 시분할 되므로, 첫번째 샘플의 절대 시각 정보가 획득되면, 두번째 이후의 샘플들의 절대 시각 정보는 추정이 가능하다. 예를 들어, 1/24초로 시분할 되는 미디어 데이터의 경우, 첫 번째 샘플의 절대 시각 정보가 “UTC 2020-04-29 11:00:00”인 경우, 두 번째 샘플의 절대 시각 정보는, “UTC 2020-04-29 11:00:04167”일 수 있다.That is, since the media data is time-divided at preset time intervals, when absolute time information of the first sample is obtained, absolute time information of the second and subsequent samples can be estimated. For example, in the case of media data time-divided in 1/24 seconds, if the absolute time information of the first sample is “UTC 2020-04-29 11:00:00”, the absolute time information of the second sample is “UTC 2020-04-29 11:00:04167”.

따라서, 본 발명에 따른 데이터 동기화 시스템은, 첫번째 수신된 샘플의 수신 시점만을 이용하여, 절대 시각 정보를 동기화 정보로서 생성할 수 있다.Accordingly, the data synchronization system according to the present invention may generate absolute time information as synchronization information using only the reception time of the first received sample.

한편, 본 발명에서, 동기화 정보 생성부(120)는, 가장 첫번째 수신된 샘플(311) 이후로, 수신된 샘플들 각각의 수신 시점 대한 절대 시각 정보를 이용하여, 동기화 정보를 생성하는 것 또한 가능하다.On the other hand, in the present invention, the synchronization information generating unit 120, after the first received sample 311, it is also possible to generate the synchronization information by using the absolute time information for the reception time of each of the received samples. do.

한편, 비록 도시되지는 않았지만, 미디어 데이터가 수신되는 과정(S210) 이후, 동기화 정보를 생성할지 여부를 판단하는 과정을 더 포함할 수 있다.Meanwhile, although not shown, after the process of receiving media data ( S210 ), the process of determining whether to generate synchronization information may be further included.

본 발명에 따른 데이터 동기화 시스템은, 제어부를 더 포함하고, 상기 제어부는, 수신부(110)에 수신된 미디어 데이터에, 기준 시간체계를 따르는 절대 시각 정보가 포함되어 있는지 판단할 수 있다. The data synchronization system according to the present invention may further include a controller, and the controller may determine whether the media data received by the receiver 110 includes absolute time information according to a reference time system.

그리고, 제어부는, 판단 결과에 근거하여, 상기 수신된 미디어 데이터에 대한 동기화 정보를 생성할지 여부를 결정할 수 있다.In addition, the controller may determine whether to generate synchronization information for the received media data, based on the determination result.

보다 구체적으로, 제어부는, 수신부(110)에 수신된 미디어 데이터(또는 미디어 데이터를 구성하는 복수의 샘플들)에 절대 시각 정보가 포함된 경우, 동기화 정보가 생성되지 않도록 상기 동기화 정보 생성부(120)를 제어할 수 있다. More specifically, when absolute time information is included in the media data (or a plurality of samples constituting the media data) received by the receiver 110 , the controller is configured to prevent the synchronization information from being generated. ) can be controlled.

이때의 절대 시각 정보는, 본 발명에 따른 데이터 동기화 시스템의 전송 규약에 해당하는 기 특정된 기준 시간체계에 해당하는 절대 시각 정보를 의미한다. 예를 들어, 본 발명에 따른 데이터 동기화 시스템의 전송 규약에 해당하는 기 특정된 기준 시간체계가 UTC에 해당하고, 미디어 데이터에 포함된 절대 시각 정보가 UTC에 따른 절대 시각 정보인 경우, 동기화 정보 생성부(120')는 동기화 정보를 생성하지 않을 수 있다.In this case, the absolute time information means absolute time information corresponding to a predetermined reference time system corresponding to the transmission protocol of the data synchronization system according to the present invention. For example, when the predetermined reference time system corresponding to the transmission protocol of the data synchronization system according to the present invention corresponds to UTC, and absolute time information included in the media data is absolute time information according to UTC, synchronization information is generated Unit 120' may not generate synchronization information.

이 경우, 제어부는, 동기화 정보를 생성하는 과정을 생략하고, 수신된 미디어 데이터가, 전송부(140)를 통해 전송될 수 있도록, 전송 대상 미디어 데이터를 생성할 수 있다. In this case, the controller may omit the process of generating the synchronization information and generate the transmission target media data so that the received media data can be transmitted through the transmission unit 140 .

이때에도, 다중화부(130)는, 미디어 데이터에 대한 다중화를 수행할 수 있으며, 이는 전송부(140)의 전송 규약에 따른 전송 대상 미디어 데이터를 생성하기 위함이다.Even at this time, the multiplexing unit 130 may perform multiplexing on the media data, in order to generate the transmission target media data according to the transmission protocol of the transmission unit 140 .

한편, 다른 예로서, 수신부(110)에 수신된 미디어 데이터(또는 미디어 데이터를 구성하는 복수의 샘플들)에 절대 시각 정보가 포함된 경우, 제어부는, 동기화 정보가 생성되지 않도록 상기 동기화 정보 생성부(120)를 제어하고, 다중화 또한 수행되지 않도록 다중화부(130)를 제어할 수 있다. 이 경우, 수신부(110)에 수신된 미디어 데이터는, 전송부(140)를 통해 제2 서버(300)로 바로 전송될 수 있다.On the other hand, as another example, when absolute time information is included in the media data (or a plurality of samples constituting the media data) received by the receiver 110 , the controller may include the synchronization information generator so that the synchronization information is not generated. By controlling 120 , the multiplexing unit 130 may be controlled so that multiplexing is also not performed. In this case, the media data received by the receiving unit 110 may be directly transmitted to the second server 300 through the transmitting unit 140 .

한편, 제어부는, 수신부(110)에 수신된 미디어 데이터에 절대 시각 정보가 포함되지 않은 경우, 동기화 정보가 생성되도록 동기화 정보 생성부를 제어할 수 있다. 이 경우, 위에서 살펴본 방식으로, 동기화 정보가 생성될 수 있다.Meanwhile, when absolute time information is not included in the media data received by the receiver 110 , the controller may control the synchronization information generator to generate the synchronization information. In this case, synchronization information may be generated in the manner described above.

한편, 위에서 살펴본 것과 같이, 수신된 미디어 데이터에 대한 동기화 정보가 생성되면, 본 발명에서는, 미디어 데이터에 동기화 정보를 반영하는 과정이 수행된다(S230).Meanwhile, as described above, when synchronization information for the received media data is generated, in the present invention, a process of reflecting the synchronization information to the media data is performed (S230).

이 과정에서, 다중화부(130)는, 수신부(110)를 통해 수신된 미디어 데이터와 동기화 정보 생성부(120)를 통해 생성된 동기화 정보를 다중화하여, 전송 대상 미디어 데이터를 생성할 수 있다.In this process, the multiplexer 130 may generate media data to be transmitted by multiplexing the media data received through the receiver 110 and the synchronization information generated through the synchronization information generator 120 .

즉, 다중화부(130)는, 수신부(110)를 통해 수신된 미디어 데이터에, 동기화 정보 생성부(120)를 통해 생성된 동기화 정보를 반영함으로써, 전송 대상 미디어 데이터를 생성할 수 있다.That is, the multiplexing unit 130 may generate the transmission target media data by reflecting the synchronization information generated through the synchronization information generating unit 120 to the media data received through the receiving unit 110 .

한편, 다중화부(130)는 다양한 방식으로, 동기화 정보를 수신된 미디어 데이터에 반영할 수 있다.Meanwhile, the multiplexer 130 may reflect the synchronization information to the received media data in various ways.

일 예로서, 도 3a의 (a)에 도시된 것과 같이, 수신된 미디어 데이터(310)의 가장 첫번째 샘플(311)보다 앞선 위치에, 동기화 정보(321, 도 3a의 (b) 참조)를 배치시킬 수 있다. 이 경우, 전송 대상 미디어 데이터(320)에 포함된 동기화 정보(321)는, 도 3a의 (b)에 도시된 것과 같이, 미디어 데이터를 구성하는 샘플들(322, 323) 보다 앞선 위치에(또는 가장 처음)에 배치될 수 있다. 이때, 동기화 정보(321)는 하나의 단일 샘플로 구성될 수 있다. 즉, 다중화부(130)는, 동기화 정보(321)가 전송 대상 미디어 데이터(320)의 샘플로서 포함되도록, 수신부(110)를 통해 수신된 미디어 데이터와 동기화 정보 생성부(120)를 통해 생성된 동기화 정보를 다중화할 수 있다.As an example, as shown in (a) of FIG. 3A, synchronization information 321 (refer to (b) of FIG. 3A) is disposed at a position earlier than the first sample 311 of the received media data 310 can do it In this case, the synchronization information 321 included in the transmission target media data 320, as shown in (b) of FIG. 3A, is located at a position earlier than the samples 322 and 323 constituting the media data (or first) can be placed. In this case, the synchronization information 321 may consist of one single sample. That is, the multiplexer 130 generates the media data received through the receiver 110 and the synchronization information generator 120 so that the synchronization information 321 is included as a sample of the transmission target media data 320 . Synchronization information can be multiplexed.

이때, 다중화부(130)는, 도시와 같이, 상기 동기화 정보(321)에 해당하는 샘플을 전송 대상 미디어 데이터(320)의 가장 첫번째 샘플로서 배치시킬 수 있다.In this case, the multiplexer 130 may arrange the sample corresponding to the synchronization information 321 as the first sample of the transmission target media data 320 as shown.

나아가, 동기화 정보(321)는, 전송 대상 미디어 데이터(320)의 헤더 정보에 포함될 수 있다.Furthermore, the synchronization information 321 may be included in header information of the transmission target media data 320 .

나아가, 도 3b에 도시된 것과 같이. 동기화 정보는, 전송 대상 미디어 데이터(330)의 메타 데이터(331)로서 포함될 수 있다.Further, as shown in Fig. 3b. The synchronization information may be included as metadata 331 of the transmission target media data 330 .

즉, 다중화부(130)는, 전송 대상 미디어 데이터(330)의 메타 데이터(331)에 동기화 정보가 포함되도록, 수신부(110)를 통해 수신된 미디어 데이터와 동기화 정보 생성부(120)를 통해 생성된 동기화 정보를 다중화할 수 있다.That is, the multiplexer 130 generates the media data received through the receiving unit 110 and the synchronization information generating unit 120 so that the synchronization information is included in the metadata 331 of the transmission target media data 330 . Synchronization information can be multiplexed.

이때, 메타 데이터는, 수신부(110)에 수신된 미디어 데이터에 포함되어 존재할 수 있다. 이 경우, 다중화부(130)는, 수신부(110)를 통해 수신된 미디어 데이터에, 동기화 정보를 더 포함시킬 수 있다.In this case, the metadata may be included in the media data received by the receiver 110 . In this case, the multiplexer 130 may further include synchronization information in the media data received through the receiver 110 .

이때, 메타 데이터는, 수신부(110)에 수신된 미디어 데이터에 대한 속성 정보를 포함할 수 있다. 여기에서, 속성 정보는, 미디어 데이터에 대응되는 영상 또는 음원 등의 해상도 정보, 음원 품질 정보, 코덱 정보 등과 같이, 미디어 데이터에 대한 속성과 관련된 정보를 포함할 수 있다. In this case, the metadata may include attribute information on the media data received by the receiver 110 . Here, the attribute information may include information related to attributes of the media data, such as resolution information of an image or sound source corresponding to the media data, sound quality information, and codec information.

또 다른 예로서, 다중화부(130)는, 도 3c에 도시된 것과 같이, 수신부(110)에 수신된 미디어 데이터를 구성하는 복수의 샘플 마다 동기화 정보를 포함시킬 수 있다. 이 경우, 다중화부(130)는, 도 3c의 (a)에 도시된 것과 같이, 수신된 미디어 데이터(340)를 구성하는 복수의 샘플들(341, 342) 각각에 포함된 헤더마다 동기화 정보를 포함시킬 수 있다. 그 결과, 도 3의 (b)에 도시된 것과 같이, 전송 대상 미디어 데이터(350)에는, 복수의 샘플들(351, 354)의 헤더 마다(351, 353) 동기화 정보가 포함될 수 있다.As another example, as shown in FIG. 3C , the multiplexer 130 may include synchronization information for each of a plurality of samples constituting the media data received by the receiver 110 . In this case, as shown in (a) of FIG. 3C , the multiplexer 130 provides synchronization information for each header included in each of the plurality of samples 341 and 342 constituting the received media data 340 . can be included As a result, as shown in (b) of FIG. 3 , synchronization information for each header 351 and 353 of the plurality of samples 351 and 354 may be included in the transmission target media data 350 .

한편, 위에서 살펴본 것과 같이, 각각의 샘플의 헤더마다, 동기화 정보가 포함되는 경우, 동기화 정보에 포함된 절대 시각 정보는, 수신부(110)에 수신된 미디어 데이터를 구성하는 복수의 샘플 중 가장 첫번째 수신된 샘플의 절대 시각 정보일 수 있다.Meanwhile, as described above, when synchronization information is included in the header of each sample, absolute time information included in the synchronization information is the first received among a plurality of samples constituting the media data received by the receiver 110 . It may be absolute visual information of the sample.

또한, 이와 다르게, 각각의 샘플의 헤더마다 포함된 동기화 정보는, 각각의 샘플이 수신부(110)에 수신된 수신 시점에 대응되는 절대 시각 정보를 포함할 수 있다. 예를 들어, 제1 샘플(352)의 헤더에 포함된 동기화 정보(351)는 제1 샘플(352)이 수신부(110)에 수신된 수신 시점의 절대 시각 정보를 포함하고, 제2 샘플(354)의 헤더에 포함된 동기화 정보(353)는 제2 샘플(354)이 수신부(110)에 수신된 수신 시점의 절대 시각 정보를 포함할 수 있다.Alternatively, the synchronization information included in each header of each sample may include absolute time information corresponding to a reception time at which each sample is received by the receiver 110 . For example, the synchronization information 351 included in the header of the first sample 352 includes absolute time information of when the first sample 352 is received by the receiver 110 , and the second sample 354 includes absolute time information. ), the synchronization information 353 included in the header may include absolute time information of a reception time when the second sample 354 is received by the receiver 110 .

또 다른 예로서, 다중화부(130)는, 미디어 데이터를 구성하는 복수의 샘플들 중 적어도 두개의 샘플 사이에 포함된 추가 정보(예를 들어, 영상, 음성(사운드) 정보 외의 정보로서, 광고 시작 시점, 종료 시점 등을 알리는 정보 등)에 동기화 정보가 포함되도록, 수신부(110)를 통해 수신된 미디어 데이터와 동기화 정보 생성부(120)를 통해 생성된 동기화 정보를 다중화할 수 있다.As another example, the multiplexer 130 is additional information included between at least two samples among a plurality of samples constituting the media data (eg, as information other than video and audio (sound) information, advertisement start The media data received through the receiving unit 110 and the synchronization information generated through the synchronization information generating unit 120 may be multiplexed so that the synchronization information is included in the information indicating the starting time, the ending time, etc.).

한편, 미디어 데이터를 구성하는 복수의 샘플들 각각은 상대 시각 정보를 포함할 수 있으며, 다중화부(130)는 이러한 상대 시각 정보를 이용하여, 동기화 정보와 미디어 데이터에 대한 다중화를 수행할 수 있다.Meanwhile, each of the plurality of samples constituting the media data may include relative time information, and the multiplexer 130 may multiplex the synchronization information and the media data by using the relative time information.

여기에서, 상대 시각 정보는 PTS(Presentation Timestamp)라고도 표현될 수 있으며, 이는 각각의 샘플들이 획득된 시각 정보와 관련된 정보일 수 있다.Here, the relative time information may also be expressed as a presentation timestamp (PTS), which may be information related to time information obtained from each sample.

본 명세서에서는, 상대 시각 정보를 “재생 시점 정보”라고도 명명할 수 있다.In this specification, relative time information may also be referred to as “playback time information”.

이러한, 상대 시각 정보는, 콘텐츠 생산자(예를 들어, 촬영 장비)에 의해, 해당 샘플이 획득된(또는 취득된) 시점의 정보를 포함할 수 있다.Such relative time information may include information on a time point at which a corresponding sample was obtained (or obtained) by a content producer (eg, photographing equipment).

나아가, 이러한 상대 시각 정보는, i) 미디어 데이터를 구성하는 복수의 샘플들 중 가장 첫번째 샘플이 획득된 시점 또는 ii) 라이브 방송의 경우, 가장 첫번째 샘플이 송출된 시점(또는 촬영된 시점)을 기준으로 하는 상대시간 정보일 수 있다.Furthermore, this relative time information is based on i) a time point at which the first sample is obtained among a plurality of samples constituting the media data, or ii) a time point at which the first sample is transmitted (or photographed) in the case of live broadcasting. It may be relative time information.

이러한 상대 시각 정보는, 곧 미디어 데이터의 재생 시간 정보(또는 재생 시점 정보)를 의미할 수 있으며, 이는 각 샘플들이 기 설정된 시간 간격으로 시분할 되기 때문이다.Such relative time information may mean reproduction time information (or reproduction time information) of media data, since each sample is time-divided at preset time intervals.

이와 같이, 각각의 샘플들은 도 4의 (a)에 도시된 것과 같이, 각각의 샘플마다(432, 434), 시각정보(431, 433)를 포함할 수 있다.As such, each sample may include visual information 431 and 433 for each sample 432 and 434 as shown in FIG. 4A .

이때, 동기화 정보 생성부(120)는, 위에서 살펴본 것과 같이, 미디어 데이터를 구성하는 복수의 샘플들(432, 433) 중 가장 첫번째 샘플이 수신부(110)에 수신된 수신 시점에 대응되는 절대 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다. 그리고, 동기화 정보 생성부(120)는, 각각의 샘플에 포함된 상대 시각 정보(431, 434) 또한 절대 시각 정보로 변환하여, 도 4의 (b)에 도시된 것과 같이, 각각의 샘플에 해당하는 동기화 정보(441, 443)를 생성할 수 있다.At this time, the synchronization information generating unit 120, as described above, absolute time information corresponding to the reception time point at which the first sample among the plurality of samples 432 and 433 constituting the media data is received by the receiving unit 110 . can be used to generate synchronization information. In addition, the synchronization information generating unit 120 converts the relative time information 431 and 434 included in each sample into absolute time information, and corresponds to each sample as shown in FIG. 4 ( b ). synchronization information 441 and 443 may be generated.

이 경우, 동기화 정보 생성부(120)는, 가장 첫번째 샘플에 대한 동기화 정보 및 각각의 샘플에 포함된 상대 시각 정보(431, 432)를 이용하여, 나머지 샘플들에 대한 동기화 정보를 생성할 수 있다.In this case, the synchronization information generator 120 may generate synchronization information for the remaining samples by using the synchronization information for the first sample and the relative time information 431 and 432 included in each sample. .

즉, 이 경우, 동기화 정보 생성부(120)는, 나머지 샘플들이 수신부(110)에 수신된 수신 시점을 이용하지 않더라도, 동기화정보를 생성할 수 있다.That is, in this case, the synchronization information generation unit 120 may generate the synchronization information even if the remaining samples do not use the reception time point received by the reception unit 110 .

이는, 나머지 샘플들에 포함된 상대 시각 정보가, 첫번째 수신된 샘플에 대한 상대 시간으로 구성되었기 때문이다. 예를 들어, 첫번째 샘플의 상대 시각 정보가 10시 00분 00초를 의미하고, 두번째 샘플의 상대 시각 정보가 10시 00분 05초를 의미한다면, 두번째 샘플은, 첫번째 샘플이 재생된 후, 5초 후에 재생되어야 함을 의미할 수 있다.This is because the relative time information included in the remaining samples consists of a relative time with respect to the first received sample. For example, if the relative time information of the first sample means 10: 00: 00 and the relative time information of the second sample means 10: 00: 05, the second sample is 5 after the first sample is played. This may mean that it should be played in seconds.

따라서, 동기화 정보 생성부(120)에서, 첫번째 샘플에 대한 절대 시각 정보를 포함하는 동기화 정보가 생성된 경우, 두번째 샘플에 대한 절대 시각 정보는, 첫번째 샘플에 대한 절대 시각 정보에서 5초가 지연된 절대 시각 정보일 수 있다.Accordingly, when the synchronization information generating unit 120 generates synchronization information including absolute time information for the first sample, the absolute time information for the second sample is an absolute time delayed by 5 seconds from the absolute time information for the first sample may be information.

이와 같이, 동기화 정보 생성부(120)는, 첫번째 샘플에 대한 동기화 정보가 생성되면, 나머지 샘플들이 수신부(110)에 수신된 수신 시점을 이용하지 않더라도, 동기화 정보를 생성할 수 있다.As such, when the synchronization information for the first sample is generated, the synchronization information generator 120 may generate the synchronization information even if the remaining samples do not use the reception times received by the receiver 110 .

이와 같이, 복수의 샘플들 각각은, 복수의 샘플들 중 기준 샘플(예를 들어, 가장 첫번째 샘플)의 취득 시점을 기준으로 하는 재생 시점 정보(예를 들어, 위에서 살펴본 상대 시각 정보)를 포함할 수 있다. 그리고, 동기화 정보 생성부(120)는, 수신부(110)에 수신된 기준 샘플(예를 들어, 가장 첫번째 샘플)의 수신 시점에 대응되는 절대 시각 정보를 이용하여, 상기 복수의 샘플들 각각에 포함된 재생 시점 정보(예를 들어, 위에서 살펴본 상대 시각 정보)를 절대 시각 정보로 변환할 수 있다.As such, each of the plurality of samples may include reproduction time information (eg, relative time information as described above) based on the acquisition time of the reference sample (eg, the first sample) among the plurality of samples. can Then, the synchronization information generating unit 120 includes in each of the plurality of samples by using absolute time information corresponding to the reception time of the reference sample (eg, the first sample) received by the receiving unit 110 . The reproduced playback time information (eg, the relative time information described above) may be converted into absolute time information.

한편, 다중화부(130)는, 도 4의 (b)에 도시된 것과 같이, 각각의 샘플들(442, 444)에 해당하는 상대 시각 정보를, 각각의 샘플들에 해당하는 동기화 정보(441, 443)로 변경할 수 있다.On the other hand, the multiplexer 130, as shown in (b) of Figure 4, the relative time information corresponding to each of the samples (442, 444), the synchronization information (441, 443) can be changed.

따라서, 도시와 같이, 각각의 샘플들(442, 444)에 포함된 상대 시각 정보(431, 433)는, 동기화 정보(441, 443)로 교체될 수 있다.Accordingly, as illustrated, the relative time information 431 and 433 included in each of the samples 442 and 444 may be replaced with the synchronization information 441 and 443 .

이와 같이, 다중화부(130)는 복수의 샘플들 각각에 대응되도록 변환된 절대 시각 정보가 복수의 샘플들 각각에 포함되도록, 복수의 샘플들 각각에 포함된 재생 시점 정보(예를 들어, 위에서 살펴본 상대 시각 정보)를 위에서 살펴본 변환된 절대 시각 정보로 변경할 수 있다.In this way, the multiplexer 130 controls the reproduction point information included in each of the plurality of samples (for example, the above-described absolute time information, for example, Relative time information) can be changed to the converted absolute time information described above.

한편, 다중화(130)는, 도 5의 (a)에 도시된 것과 같이, 각각의 샘플들(532, 534)에 해당하는 상대 시각 정보(531, 533)를 변경하는 것이 아니라, 도 5의 (b)에 도시된 것과 같이, 각각의 샘플들(543, 546)에 해당하는 상대 시각 정보(541, 544)와 함께, 동기화 정보(542, 545)를 더 포함시킬 수 있다.On the other hand, the multiplexing 130 does not change the relative time information 531 and 533 corresponding to each of the samples 532 and 534 as shown in FIG. As shown in b), the synchronization information 542 and 545 may be further included along with the relative time information 541 and 544 corresponding to each of the samples 543 and 546 .

이 경우, 전송 대상 미디어 데이터(540)는, 각각의 샘플들(543, 546)에 해당하는 상대 시각 정보(541, 544) 및 각각의 샘플들(543, 546)에 대응되는 동기화 정보(542, 545)를 포함하도록 구성될 수 있다.In this case, the transmission target media data 540 includes relative time information 541 and 544 corresponding to each of the samples 543 and 546 and synchronization information 542 corresponding to each of the samples 543 and 546, 545).

한편, 이와 같이, 전송 대상 미디어 데이터가 생성되면, 본 발명에서는 전송 대상 미디어 데이터를 전송하는 과정이 진행된다(S240).Meanwhile, when the transmission target media data is generated as described above, in the present invention, the process of transmitting the transmission target media data is performed (S240).

전송부(140)는, 다중화부(130)를 통해 생성된 전송 대상 미디어 데이터를, 제2 서버(300)로 전송하는 역할을 수행할 수 있다.The transmission unit 140 may serve to transmit the transmission target media data generated through the multiplexer 130 to the second server 300 .

앞서 살펴본 것과 같이, 제2 서버(300)는, 전송 대상 미디어 데이터를 동기화 하는 역할을 수행할 수 있다. 즉, 제2 서버(300)는 본 발명에 따른 미디어 데이터 동기화 시스템(100)으로부터 수신된 복수의 미디어 데이터에 대한 동기화를 수행할 수 있다. 이때, 제2 서버(300)는, 상기 복수의 미디어 데이터 각각에 포함된 절대 시각 정보에 해당하는 동기화 정보를 이용하여, 복수의 미디어 데이터에 대한 동기화를 수행할 수 있다. 이때, 제2 서버(300)는 동일한 시간 기준을 따르는 절대 시각 정보에 근거하여 미디어 데이터에 대한 동기화를 수행하므로, 미디어 데이터 간의 시차를 줄일 수 있다.As described above, the second server 300 may perform a role of synchronizing transmission target media data. That is, the second server 300 may synchronize a plurality of media data received from the media data synchronization system 100 according to the present invention. In this case, the second server 300 may synchronize the plurality of media data using synchronization information corresponding to absolute time information included in each of the plurality of media data. In this case, since the second server 300 synchronizes the media data based on absolute time information that follows the same time reference, the time difference between the media data can be reduced.

위에서 살펴본 것과 같이, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 미디어 데이터가 수신된 시점의 시각 정보를 이용하여, 동기화 정보를 생성하고, 생성된 동기화 정보와 미디어 데이터를 다중화 함으로써, 미디어 데이터에 대해 동기화 정보를 부가할 수 있다. 이때, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 절대 시각 정보를 이용하여, 동기화 정보를 생성함으로써, 서로 다른 주체로부터 촬영되거나, 수신된 미디어 데이터에 대해 서로 동일한 기준의 동기화 정보를 포함시킬 수 있다. As described above, the data synchronization system and method according to the present invention generates synchronization information using time information at the time when the media data is received, and multiplexes the generated synchronization information and media data for media data. Synchronization information can be added. In this case, the data synchronization system and method according to the present invention may include synchronization information of the same standard for media data photographed or received from different subjects by generating synchronization information using absolute time information. .

한편, 이상의 실시 예에서는, 제1 서버(200)로부터, 별도로 시각 정보를 수신하는 것이 아닌, 미디어 데이터만을 수신하고, 이를 이용하여 동기화 정보를 생성하는 방법에 대하여 살펴보았다.Meanwhile, in the above embodiment, a method of receiving only media data, not separately receiving time information, from the first server 200 and generating synchronization information using the received media data has been described.

본 발명에 따른 동기화 정보 시스템에서는, 위에서 살펴본 예와 다르게, 제1 서버(200)로부터, 시각 정보를 수신하는 것이 가능하며, 이하에서는, 제1 서버(200)로부터 수신된 시각 정보를 이용하여 동기화 정보를 생성하는 방법에 대해 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 6은 본 발명의 다른 예에 따른 동기화 시스템을 설명하기 위한 개념도이고, 도 7은 본 발명의 다른 예에 따른 데이터 동기화 방법을 설명하기 위한 흐름도이다. 나아가, 도 8은 본 발명의 다른 예에 따른 동기화 시스템에 의해 생성된 동기화 정보를 반영하는 방법을 설명하기 위한 개념도이다.In the synchronization information system according to the present invention, unlike the example described above, it is possible to receive time information from the first server 200 . Hereinafter, synchronization is performed using the time information received from the first server 200 . A method of generating information will be described in more detail with accompanying drawings. 6 is a conceptual diagram illustrating a synchronization system according to another example of the present invention, and FIG. 7 is a flowchart illustrating a data synchronization method according to another example of the present invention. Furthermore, FIG. 8 is a conceptual diagram for explaining a method of reflecting synchronization information generated by a synchronization system according to another example of the present invention.

도 6에 도시된 것과 같이, 본 발명에 따른 데이터 동기화 시스템(100')은, 제1 서버(200, 도 1 참조)로부터, 미디어 데이터(610)와 함께, 시각 정보(620)를 수신할 수 있다. 이때, 시각 정보(620)는, 미디어 데이터(610)와 별도의 채널로 수신되는 것이 가능하다. 제1 서버(200)는, 데이터 채널을 통해, 미디어 데이터(610)를 송출하고, 제어 채널 등을 통해 시각 정보(620)를 전송할 수 있다.As shown in FIG. 6 , the data synchronization system 100 ′ according to the present invention may receive the time information 620 together with the media data 610 from the first server 200 (see FIG. 1 ). have. In this case, the time information 620 may be received through a channel separate from the media data 610 . The first server 200 may transmit media data 610 through a data channel and transmit visual information 620 through a control channel or the like.

또한, 제1 서버(200)는 본 발명에 따른 데이터 동기화 시스템(100')으로부터의 질의에 의한 응답으로서 시각 정보를 제공할 수 있다. 이 경우, 시각 정보는, 대역외(Out of band)방식으로 본 발명에 따른 데이터 동기화 시스템(100)으로 수신될 수 있다.Also, the first server 200 may provide visual information as a response to a query from the data synchronization system 100' according to the present invention. In this case, the time information may be received by the data synchronization system 100 according to the present invention in an out of band method.

이와 같이, 제1 서버(200)로부터 시각 정보를 별도로 수신하는 경우, 본 발명에 따른 데이터 동기화 시스템(100')은 도 6에 도시된 것과 같이, 수신부(110'), 동기화 정보 생성부(120'), 다중화부(130') 및 전송부(140') 중 적어도 하나를 포함하도록 구성되며, 비록 도시되지는 않았지만, 제어부를 더 포함할 수 있다. In this way, when the time information is separately received from the first server 200, the data synchronization system 100 ′ according to the present invention includes a receiving unit 110 ′ and a synchronization information generating unit 120 as shown in FIG. 6 . '), the multiplexer 130' and the transmitter 140' are configured to include at least one, and although not shown, may further include a control unit.

이때, 수신부(110')는 미디어 데이터를 수신하는 미디어 데이터 수신부(111) 및 시각 정보를 수신하는 시각 정보 수신부(112)를 포함하도록 이루어질 수 있다.In this case, the receiving unit 110 ′ may include a media data receiving unit 111 receiving media data and a visual information receiving unit 112 receiving visual information.

이때, 시각 정보 수신부(112)는, 상기 수신된 미디어 데이터와 관련된 시각 정보(예를 들어, 미디어 데이터가 촬영된 시점에 해당하는 시각 정도 등)를 수신할 수 있다.In this case, the time information receiver 112 may receive time information related to the received media data (eg, a degree of time corresponding to a time point at which the media data was captured, etc.).

본 발명에 따른 데이터 동기화 시스템(100')의 구성 요소는, 앞서 도 1에서 살펴본 동기화 시스템(100)과 동일한 명칭을 갖는 구성 요소와 동일한 기능을 수행하므로, 각각의 구성요소에 대한 구체적인 설명은 도 1의 설명으로 대체하며, 이하에서는, “시각 정보 수신부”를 통해 수신되는 시각 정보 및 이를 이용한 동기화 정보 생성 방법에 대해 중점적으로 살펴본다.Since the components of the data synchronization system 100 ′ according to the present invention perform the same functions as the components having the same names as those of the synchronization system 100 described in FIG. 1 above, a detailed description of each component is shown in FIG. 1, and hereinafter, the time information received through the “time information receiving unit” and a method of generating synchronization information using the same will be focused on.

도 7에 도시된 것과 같이, 본 발명에 따른 데이터 동기화 방법에서는, 미디어 데이터를 수신하는 과정(S710)과 시각 정보를 수신하는 과정(S720)이 진행된다. 미디어 데이터와 시각 정보가 수신되는 시점은 동일하거나, 시차가 존재할 수 있다.7 , in the data synchronization method according to the present invention, a process of receiving media data (S710) and a process of receiving time information (S720) are performed. The time points at which the media data and the time information are received may be the same or there may be a time difference.

한편, 수신된 시각 정보는, 미디어 데이터를 구성하는 복수의 샘플 중 가장 첫번째 샘플이 획득된 시점에 해당하는 절대 시각 정보 일 수 있다.Meanwhile, the received time information may be absolute time information corresponding to a time point at which the first sample among a plurality of samples constituting the media data is obtained.

이와 같이, 시각 정보가 수신되면, 수신된 시각 정보를 이용하여, 동기화 정보를 생성하는 과정이 진행된다(S730).In this way, when the time information is received, a process of generating synchronization information is performed using the received time information (S730).

이때, 제어부는, 수신된 시각 정보에 대해 동기화 정보를 별도로 생성하는 것이 필요한지 여부를 판단할 수 있다. 제어부는, 상기 시각 정보가 기 특정된 기준 시간체계에 해당하는 절대 시각 정보에 해당하는 경우, 수신된 미디어 데이터에 대한 절대 시각 정보가 생성되지 않도록 동기화 정보 생성부(120')를 제어할 수 있다.In this case, the controller may determine whether it is necessary to separately generate synchronization information for the received time information. When the time information corresponds to absolute time information corresponding to a pre-specified reference time system, the controller may control the synchronization information generator 120 ′ so that absolute time information for the received media data is not generated. .

수신된 시각 정보에 대해 별도로 동기화 정보의 생성이 필요하지 않는 경우는, 수신된 시각 정보 자체가 절대 시각 정보를 포함한 경우일 수 있다. 이와 같이, 수신된 시각 정보 자체가 본 발명에 따른 데이터 동기화 시스템의 전송 규약에 해당하는 기 특정된 기준 시간체계인 경우, 제어부는, 동기화 정보가 생성되지 않도록, 동기화 정보 생성부(120')를 제어할 수 있다.A case in which separate generation of synchronization information is not required for the received time information may be a case in which the received time information itself includes absolute time information. In this way, when the received time information itself is a predetermined reference time system corresponding to the transmission protocol of the data synchronization system according to the present invention, the control unit generates the synchronization information generation unit 120' so that the synchronization information is not generated. can be controlled

예를 들어, 본 발명에 따른 데이터 동기화 시스템의 전송 규약에 해당하는 기 특정된 기준 시간체계가 UTC에 해당하고, 수신된 시각 정보가 UTC에 따른 절대 시각 정보인 경우, 동기화 정보 생성부(120')는 동기화 정보를 생성하지 않을 수 있다.For example, when the predetermined reference time system corresponding to the transmission protocol of the data synchronization system according to the present invention corresponds to UTC and the received time information is absolute time information according to UTC, the synchronization information generating unit 120' ) may not generate synchronization information.

한편, 이때, 수신된 시각 정보는, 미디어 데이터를 구성하는 복수의 샘플들 각각에 대응되는 절대 시각 정보일 수 있다. Meanwhile, in this case, the received time information may be absolute time information corresponding to each of a plurality of samples constituting the media data.

한편, 제어부는, 위에서 살펴본 경우가 아닌 경우, 시각 정보 수신부(112)를 통해 수신된 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다.Meanwhile, in a case other than the case described above, the controller may generate synchronization information by using the time information received through the time information receiver 112 .

일 예로서, 본 발명에 따른 데이터 동기화 시스템의 전송 규약에 해당하는 기 특정된 기준 시간체계(예를 들어, UTC)와, 수신된 시각 정보에 해당하는 절대 시각의 기준 시간체계(예를 들어, 대한민국 표준시)가 서로 상이한 경우, 동기화 정보 생성부(120')는 수신된 시각 정보를 이용하여, 절대 시각 정보를 생성할 수 있다.As an example, a predetermined reference time system (eg, UTC) corresponding to the transmission protocol of the data synchronization system according to the present invention and a reference time system of absolute time corresponding to the received time information (eg, Korean standard time), the synchronization information generating unit 120 ′ may generate absolute time information by using the received time information.

이 경우, 동기화 정보 생성부(120')는, 수신된 시각 정보를, 본 발명에 따른 데이터 동기화 시스템의 전송 규약에 해당하는 기 특정된 기준 시간체계에 따른 절대 시각 정보로 변환함으로써, 동기화 정보를 생성할 수 있다.In this case, the synchronization information generating unit 120' converts the received time information into absolute time information according to a predetermined reference time system corresponding to the transmission protocol of the data synchronization system according to the present invention, thereby generating synchronization information. can create

다른 예로서, 시각 정보 수신부(112)를 통해 수신된 시각 정보를 이용하여, 동기화 정보를 생성하는 방법에 대해 살펴보면, 본 발명에 따른 동기화 정보 시스템은, 미디어 데이터를 송출하는 서버(예를 들어, 제1 서버(도 1 a참조))와의 질의를 통해 시각 정보를 수신하는 것을 통하여, 동기화 정보를 생성할 수 있다.As another example, looking at a method of generating synchronization information by using the time information received through the time information receiving unit 112, the synchronization information system according to the present invention provides a server (eg, Synchronization information may be generated by receiving time information through a query with the first server (refer to FIG. 1A ).

일 예로서, 제어부는, 제1 서버(200)로부터, 미디어 데이터가 수신되었을 때, 즉, 미디어 데이터를 구성하는 복수의 샘플 중 어느 하나가 처음으로 수신되었을 때, 제1 서버(200)에 현재 시간을 질의할 수 있다. 그리고, 질의에 대한 응답으로, 제1 서버(200)로부터 현재 시각에 해당하는 시각 정보가 수신되면, 수신된 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다. 이때, 시각 정보는, 앞서 살펴본 시각 정보 수신부(112)를 통해 수신될 수 있다.As an example, when media data is received from the first server 200 , that is, when any one of a plurality of samples constituting the media data is first received, the control unit sends the current data to the first server 200 . You can ask the time. Then, when time information corresponding to the current time is received from the first server 200 in response to the query, synchronization information may be generated using the received time information. In this case, the time information may be received through the above-described time information receiving unit 112 .

동기화 정보 생성부(120')는, 서버(200)로부터 수신된 현재 시각에 해당하는 시간 정보를, 기 특정된 기준 체계에 해당하는 절대 시각 정보로 변환함으로써, 동기화 정보를 생성할 수 있다.The synchronization information generator 120 ′ may generate synchronization information by converting time information corresponding to the current time received from the server 200 into absolute time information corresponding to a predetermined reference system.

이 경우, 동기화 정보 생성부(120')는 질의에 대한 응답으로서 수신된 현재 시각에 해당하는 시각 정보 뿐만 아니라, 질의를 전송한 시점과 시각 정보를 수신한 시점 사이의 시차를 추가적으로 고려하여, 동기화 정보를 생성할 수 있다. 이 경우, 동기화 정보 생성부(120')는, 통계적 기법을 활용하여, 시각 정보 수신부(112)와 제1 서버(200) 간의 전송 지연을 추정할 수 있다. 그리고, 동기화 정보 생성부(120')는, 추정된 전송 지연을 이용하여, 상기 질의에 대한 응답으로서 수신한 시각 정보(현재 시각 정보)를 보정할 수 있다. 나아가, 동기화 정보 생성부(120')는 이와 같이, 보정된 시각 정보를 기 특정된 기준 체계에 해당하는 절대 시각 정보로 변환함으로써, 동기화 정보를 생성할 수 있다.In this case, the synchronization information generating unit 120 ′ additionally considers not only the time information corresponding to the current time received as a response to the query, but also the time difference between the time when the query is transmitted and the time when the time information is received, information can be generated. In this case, the synchronization information generating unit 120 ′ may estimate a transmission delay between the time information receiving unit 112 and the first server 200 by using a statistical technique. In addition, the synchronization information generator 120' may correct the time information (current time information) received as a response to the query by using the estimated transmission delay. Furthermore, the synchronization information generating unit 120' may generate the synchronization information by converting the corrected time information into absolute time information corresponding to a predetermined reference system as described above.

또 다른 예로서, 제어부는, 제1 서버(200)로부터, 미디어 데이터가 수신되었을 때, 즉, 미디어 데이터를 구성하는 복수의 샘플 중 어느 하나가 처음으로 수신되었을 때, 제1 서버(200)에 임의의 질의를 전송할 수 있다. 위 실시 예는, 제1 서버(200)에서 현재 시각에 대한 정보를 제공하지 않는 경우 활용될 수 있다. 이때, 임의의 질의에 대한 응답 정보는, 앞서 살펴본 시각 정보 수신부(112)를 통해 수신될 수 있다. 여기에서, 임의의 질의에 대한 내용 및 종류는 제한이 없다.As another example, when media data is received from the first server 200 , that is, when any one of a plurality of samples constituting the media data is first received, the control unit sends the data to the first server 200 . Any query can be sent. The above embodiment may be utilized when the first server 200 does not provide information on the current time. In this case, response information to an arbitrary query may be received through the aforementioned visual information receiving unit 112 . Here, the content and type of any query are not limited.

한편, 동기화 정보 생성부(120')는 임의의 질의에 대한 응답이 수신되면, 질의를 전송한 시점와 응답이 수신된 시점 간의 전송 지연을 추정할 수 있다.Meanwhile, when a response to an arbitrary query is received, the synchronization information generator 120 ′ may estimate a transmission delay between the time when the query is transmitted and the time when the response is received.

그리고, 동기화 정보 생성부(120')는, 제1 서버(200)로부터, 미디어 데이터가 수신되었을 때, 즉, 미디어 데이터를 구성하는 복수의 샘플 중 어느 하나가 처음으로 수신되었을 때의 절대 시각 정보와 상기 추정된 전송 지연을 고려하여 동기화 정보를 생성할 수 있다. 이와 같은 전송지연이 고려되는 경우, 동기화 정보는, 미디어 데이터가 제1 서버(100)로부터 송출된 시점의 절대 시각 정보를 포함할 수 있다.And, the synchronization information generating unit 120', absolute time information when media data is received from the first server 200, that is, when any one of a plurality of samples constituting the media data is received for the first time. and synchronization information may be generated in consideration of the estimated transmission delay. When such a transmission delay is considered, the synchronization information may include absolute time information of when the media data is transmitted from the first server 100 .

한편, 이와 같이, 동기화 정보가 생성되는 경우, 미디어 데이터에 동기화 정보를 반영하는 과정이 수행된다(S740).Meanwhile, when the synchronization information is generated as described above, a process of reflecting the synchronization information to the media data is performed (S740).

이 과정에서, 다중화부(130')는, 미디어 데이터 수신부(111)를 통해 수신된 미디어 데이터와 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 다중화하여, 전송 대상 미디어 데이터를 생성할 수 있다.In this process, the multiplexing unit 130' multiplexes the media data received through the media data receiving unit 111 and the synchronization information generated through the synchronization information generating unit 120' to generate transmission target media data. can

한편, 앞서 살펴본 것과 같이, 시각 정보 수신부(112)에 수신된 시각 정보에 대해 별도로 동기화 정보의 생성이 필요하지 않은 경우, 다중화부(130')는, 수신된 시각 정보와, 미디어 데이터에 대한 다중화를 수행할 수 있다. 이하의 설명에서는, 동기화 정보의 생성이 필요하지 않은 시각 정보를 별도로 구분하지 않으며, 모두 “동기화 정보”와 미디어 데이터가 다중화되는 방법이 동일하게 적용되는 것으로 이해되어 질 것이다.Meanwhile, as described above, when it is not necessary to separately generate synchronization information for the time information received by the time information receiving unit 112 , the multiplexing unit 130 ′ multiplexes the received time information with the media data. can be performed. In the following description, visual information that does not require generation of synchronization information is not separately distinguished, and it will be understood that the method of multiplexing “synchronization information” and media data is equally applied to all.

다중화부(130)는, 미디어 데이터에, 동기화 정보를 반영함으로써, 전송 대상 미디어 데이터를 생성하는데, 이때, 다중화부(130)는 다양한 방식으로, 동기화 정보를 수신된 미디어 데이터에 반영할 수 있다.The multiplexer 130 generates the transmission target media data by reflecting the synchronization information in the media data. In this case, the multiplexer 130 may reflect the synchronization information to the received media data in various ways.

일 예로서, 다중화부(130')는 도 8의 (a)에 도시된 것과 같이, 미디어 데이터를 구성하는 샘플들(sample1, sample2)보다 앞선 위치에, 동기화 정보를 배치시킬 수 있다. 이 경우, 전송 대상 미디어 데이터(310)는, 도 8a의 (a)에 도시된 것과 같이, 동기화 정보가 미디어 데이터를 구성하는 샘플들(sample1, sample2)의 가장 처음에 배치될 수 있다.As an example, the multiplexer 130' may arrange the synchronization information at a position preceding the samples (sample1, sample2) constituting the media data, as shown in FIG. 8A . In this case, as shown in (a) of FIG. 8A , the transmission target media data 310 may be disposed at the beginning of the samples (sample1, sample2) having synchronization information constituting the media data.

일 예로서, 이때, 동기화 정보는 하나의 단일 샘플로 구성될 수 있다. 즉, 다중화부(130')는, 동기화 정보가 전송 대상 미디어 데이터의 샘플로서 포함될 수 있다. 다른 예로서, 동기화 정보는, 전송 대상 미디어 데이터의 헤더 정보에 포함될 수 있다. 또 다른 예로서, 동기화 정보는, 전송 대상 미디어 데이터의 메타 데이터로서 포함될 수 있다(도 3a, 도 3b 및 3c의 실시 예에 대응).As an example, in this case, the synchronization information may consist of one single sample. That is, the multiplexer 130' may include the synchronization information as a sample of the transmission target media data. As another example, the synchronization information may be included in header information of media data to be transmitted. As another example, the synchronization information may be included as metadata of the transmission target media data (corresponding to the embodiments of FIGS. 3A, 3B and 3C ).

동기화 정보가, 단일 샘플, 헤더, 또는 메타 데이터로 구성되는 경우, 동기화 정보는, 전송 대상 미디어 데이터의 가장 처음에 배치되어, 제2 서버(300) 측에 가장 처음으로 전송될 수 있다(도 3a, 도 3b 및 3c의 실시 예에 대응).When the synchronization information is composed of a single sample, a header, or meta data, the synchronization information may be disposed at the beginning of the transmission target media data and transmitted first to the second server 300 side ( FIG. 3A ). , corresponding to the embodiment of Figures 3b and 3c).

또 다른 예로서, 다중화부(130')는, 도 8의 (b)에 도시된 것과 같이, 전송 대상 미디어 데이터를 복수의 샘플 마다 동기화 정보를 포함시킬 수 있다. 이 경우, 다중화부(130')는, 전송 대상 미디어 데이터를 구성하는 복수의 샘플들의 헤더 마다 동기화 정보가 포함시킬 수 있다(도 3a, 도 3b 및 3c의 실시 예에 대응).As another example, the multiplexer 130 ′ may include synchronization information for each of a plurality of samples in the transmission target media data, as shown in FIG. 8B . In this case, the multiplexer 130' may include synchronization information for each header of a plurality of samples constituting the transmission target media data (corresponding to the embodiments of FIGS. 3A, 3B, and 3C).

한편, 위에서 살펴본 것과 같이, 각각의 샘플의 헤더마다, 동기화 정보가 포함되는 경우, 동기화 정보에 포함된 절대 시각 정보는, 미디어 데이터를 구성하는 복수의 샘플 중 가장 첫번째 수신된 샘플의 절대 시각 정보일 수 있다(도 3a, 도 3b 및 3c의 실시 예에 대응).Meanwhile, as described above, when synchronization information is included in the header of each sample, the absolute time information included in the synchronization information is absolute time information of the first received sample among a plurality of samples constituting the media data. (corresponding to the embodiments of FIGS. 3A, 3B and 3C).

또한, 이와 다르게, 각각의 샘플의 헤더마다 포함된 동기화 정보는, 각각의 샘플에 대응되는 절대 시각 정보를 포함할 수 있다(도 3a, 도 3b 및 3c의 실시 예에 대응). Alternatively, the synchronization information included in each header of each sample may include absolute time information corresponding to each sample (corresponding to the embodiments of FIGS. 3A, 3B and 3C ).

또 다른 예로서, 다중화부(130')는, 미디어 데이터를 구성하는 복수의 샘플들 중 적어도 두개의 샘플 사이에 포함된 추가 정보(예를 들어, 영상, 음성(사운드) 정보 외의 정보로서, 광고 시작 시점, 종료 시점 등을 알리는 정보 등)에 동기화 정보를 포함시킬 수 있다(도 3a, 도 3b 및 3c의 실시 예에 대응).As another example, the multiplexer 130 ′ includes additional information (eg, video and audio (sound) information other than information included between at least two samples among a plurality of samples constituting the media data. Synchronization information may be included in information indicating a start time, an end time, etc.) (corresponding to the embodiments of FIGS. 3A, 3B, and 3C).

또 다른 예로서, 다중화부(130')는, 각각의 샘플들에 포함된 상대 시각 정보를, 각각의 샘플들에 해당하는 동기화 정보로 변경할 수 있다(도 4의 실시 예에 대응).As another example, the multiplexer 130 ′ may change relative time information included in each sample into synchronization information corresponding to each sample (corresponding to the embodiment of FIG. 4 ).

또 다른 예로서, 다중화부(130')는, 도 8의 (c)에 도시된 것과 같이, 수신된 미디어 데이터에 대해, 수신된 미디어 데이터를 구성하는 각각의 샘플들에 해당하는 상대 시각 정보와 함께, 동기화 정보를 더 포함시킬 수 있다(도 5의 실시 예에 대응).As another example, the multiplexer 130', as shown in FIG. Together, synchronization information may be further included (corresponding to the embodiment of FIG. 5 ).

한편, 위에서 살펴본 동기화 정보를 다중화 하는 방법은 앞서 도 3a, 도 3b, 도 3c, 도 4 및 도 5에서 살펴본 다중화 방법과 동일 유사 하므로, 이에 대한 구체적인 설명은 앞선 설명으로 대체하도록 한다.On the other hand, since the method of multiplexing the synchronization information described above is similar to the multiplexing method described in FIGS. 3A, 3B, 3C, 4 and 5 above, a detailed description thereof will be replaced with the previous description.

이상에서 살펴본 것과 같이, 다중화부(130')는, 미디어 데이터 수신부(111')를 통해 수신된 미디어 데이터와 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 다중화하여, 전송 대상 미디어 데이터를 생성할 수 있다.As described above, the multiplexing unit 130' multiplexes the media data received through the media data receiving unit 111' and the synchronization information generated through the synchronization information generating unit 120' to transmit target media data. can create

이와 같이, 전송 대상 미디어 데이터가 생성되면, 전송 대상 미디어 데이터를 전송하는 과정이 진행된다(S750).In this way, when the transmission target media data is generated, a process of transmitting the transmission target media data is performed (S750).

전송부(140')는, 다중화부(130')를 통해 생성된 전송 대상 미디어 데이터를, 제2 서버(300, 도 1 참조)로 전송하는 역할을 수행할 수 있다.The transmission unit 140 ′ may serve to transmit the transmission target media data generated through the multiplexer 130 ′ to the second server 300 (refer to FIG. 1 ).

한편, 위의 실시 예에서는, 데이터 동기화 시스템(100)에서, 제1 서버(200)로부터 미디어 데이터를 수신하고, 이에 대한 동기화 정보를 생성하는 방법에 대하여 살펴보았다. 위의 실시 예에 의하면, 데이터 동기화 시스템(100)과 미디어 데이터를 생산하는 촬영 기기(또는 촬영 장비)가 서로 독립으로 구성될 수 있다. 이때, 제1 서버(200)는 촬영 기기에 구비될 수 있으며, 이 경우, 촬영 기기에서 생성된 미디어 데이터는, 촬영 기기에 구비된 제1 서버(200)로부터 데이터 동기화 시스템(100)으로 전송될 수 있다.Meanwhile, in the above embodiment, in the data synchronization system 100 , a method of receiving media data from the first server 200 and generating synchronization information therefor has been described. According to the above embodiment, the data synchronization system 100 and the photographing device (or photographing equipment) for producing media data may be configured independently of each other. In this case, the first server 200 may be provided in the photographing device. In this case, the media data generated by the photographing device is transmitted from the first server 200 provided in the photographing device to the data synchronization system 100 . can

한편, 본 발명에서는, 도 9에 도시된 것과 같이, 제1 서버(200)와 데이터 동기화 시스템(100')은 별도로 존재하는 것이 아닌, 하나의 데이터 동기화 시스템(100')으로서 존재할 수 있다. Meanwhile, in the present invention, as shown in FIG. 9 , the first server 200 and the data synchronization system 100 ′ may exist as one data synchronization system 100 ′, rather than separately.

이 경우, 데이터 동기화 시스템(100')은 촬영 기기에 구비될 수 있다. 즉, 이 경우, 촬영 기기는, 미디어 데이터를 생성하고, 생성된 미디어 데이터에 대한 동기화 정보를 생성할 수 있다. 그리고, 데이터 동기화 시스템(100')은, 생성된 동기화 정보를 미디어 데이터에 반영하고, 동기화 정보가 반영된 미디어 데이터를, 특정 서버(300')로 전송할 수 있다.In this case, the data synchronization system 100 ′ may be provided in the photographing device. That is, in this case, the photographing device may generate media data and may generate synchronization information for the generated media data. In addition, the data synchronization system 100 ′ may reflect the generated synchronization information to the media data, and transmit the media data reflecting the synchronization information to the specific server 300 ′.

이하, 데이터 동기화 시스템(100')이 촬영 기기에 구비되는 경우에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 9는 본 발명의 다른 실시 예에 따른 데이터 동기화 시스템을 설명하기 위한 개념도이고, 도 10은 도 9에서 살펴본 데이터 동기화 시스템에 의한 데이터 동기화 방법을 설명하기 위한 흐름도이다.Hereinafter, a case in which the data synchronization system 100 ′ is provided in a photographing device will be described in more detail with accompanying drawings. 9 is a conceptual diagram illustrating a data synchronization system according to another embodiment of the present invention, and FIG. 10 is a flowchart illustrating a data synchronization method by the data synchronization system shown in FIG. 9 .

본 발명에 따른 데이터 동기화 시스템(100')은, 도 9에 도시된 것과 같이, 미디어 데이터를 생성하는 촬영부(110'), 촬영부(110')에 의해 생성된 미디어 데이터에 대한 동기화 정보를 생성하는 동기화 정보 생성부(120')를 포함할 수 있다. 그리고, 데이터 동기화 시스템(100')은, 동기화 정보와 미디어 데이터를 다중화하여 전송 대상 미디어 데이터를 생성하는 다중화부(130') 및 전송 대상 미디어 데이터를 특정 서버(300')로 전송하는 전송부(140') 중 적어도 하나를 더 포함하도록 구성될 수 있다.Data synchronization system 100' according to the present invention, as shown in FIG. 9, the photographing unit 110' for generating media data, synchronization information for the media data generated by the photographing unit 110' It may include a synchronization information generating unit 120' that generates it. In addition, the data synchronization system 100' includes a multiplexer 130' that multiplexes synchronization information and media data to generate transmission target media data and a transmission unit that transmits the transmission target media data to a specific server 300'. 140') may be configured to further include at least one of.

여기에서, 특정 서버(300')는, 전송 대상 미디어 데이터를 동기화 하는 역할을 수행할 수 있다. 즉, 특정 서버(300')는 본 발명에 따른 미디어 데이터 동기화 시스템(100')으로부터 수신된 복수의 미디어 데이터에 대한 동기화를 수행할 수 있다. 이때, 특정 서버(300')는, 상기 복수의 미디어 데이터 각각에 포함된 동기화 정보를 이용하여, 복수의 미디어 데이터에 대한 동기화를 수행할 수 있다.Here, the specific server 300 ′ may perform a role of synchronizing transmission target media data. That is, the specific server 300' may synchronize a plurality of media data received from the media data synchronization system 100' according to the present invention. In this case, the specific server 300 ′ may perform synchronization on a plurality of media data by using synchronization information included in each of the plurality of media data.

한편, 도 9에 따른 실시 예는, 도 1에서 살펴본 수신부(110)에서 수신된 미디어 데이터가 아닌, 촬영부(110')에서 생성된 미디어 데이터에 대한 동기화 정보를 생성하는 점에 있어서 상이할 뿐, 미디어 데이터에 대한 동기화 정보를 생성하는 방법에 있어서는, 도1에서 살펴본 방법과 동일 또는 유사 할 수 있다.Meanwhile, the embodiment according to FIG. 9 is different only in that synchronization information is generated for the media data generated by the photographing unit 110 ′, not the media data received by the receiving unit 110 illustrated in FIG. 1 . , a method of generating synchronization information for media data may be the same as or similar to the method illustrated in FIG. 1 .

먼저, 촬영부(110')는, 미디어 데이터를 생성하는 역할을 수행하며, 카메라를 포함할 수 있다.First, the photographing unit 110 ′ serves to generate media data and may include a camera.

한편, 촬영부(110')는, 카메라 뿐만 아니라, 마이크를 더 포함하는 것 또한 가능하다. 나아가, 촬영부(110')는 '미디어 데이터 생성부'라고도 명명될 수 있으며, 이 경우, 미디어 데이터 생성부는, 카메라 및 마이크 중 적어도 하나를 포함하도록 구성될 수 있다.Meanwhile, the photographing unit 110 ′ may further include a microphone as well as a camera. Furthermore, the photographing unit 110' may also be referred to as a 'media data generating unit', and in this case, the media data generating unit may be configured to include at least one of a camera and a microphone.

다음으로, 동기화 정보 생성부(120')는, 촬영부(110')에 의해 생성된 미디어 데이터의 촬영 시점(또는 생성 시점)에 대응되는 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다.Next, the synchronization information generating unit 120' may generate the synchronization information by using the time information corresponding to the photographing time (or the generation time) of the media data generated by the photographing unit 110'.

동기화 정보 생성부(120')는, 미디어 데이터가, i)미디어 데이터의 촬영 시점 또는 생성 시점)에 대응되며, ii)기준 시간체계를 따르는 절대 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다(즉, i), ii)의 조건을 모두 만족하는 동기화 정보 생성). 이때, 동기화 정보 생성부(120')는, 절대 시각 정보를 동기화 정보로서 생성할 수 있다.The synchronization information generation unit 120' may generate synchronization information using absolute time information in which media data corresponds to i) a shooting time or generation time of the media data, and ii) a reference time system. (ie, generating synchronization information that satisfies both conditions i) and ii)). In this case, the synchronization information generating unit 120 ′ may generate absolute time information as synchronization information.

즉, 본 발명에서, 동기화 정보의 생성에 활용되는 절대 시각 정보는, 기준 시간 체계를 따르는, 미디어 데이터가 촬영된(또는 생성된) 시점의 시각 정보를 의미한다.That is, in the present invention, absolute time information used for generation of synchronization information refers to time information at a time point at which media data is captured (or generated) according to a reference time system.

이와 같이, 동기화 정보 생성부(120')는, 절대 시각 정보를 이용하여, 동기화 정보를 생성함으로써, 미디어 데이터들이 서로 동일한 기준 시간체계에 근거하여 동기화 될 수 있도록 할 수 있다. As described above, the synchronization information generating unit 120 ′ may use absolute time information to generate synchronization information so that media data may be synchronized based on the same reference time system.

다음으로, 다중화부(multiplexer, 130')는, 동기화 정보를 포함하는 전송 대상 미디어 데이터가 생성하도록 이루어질 수 있다.Next, the multiplexer 130' may be configured to generate transmission target media data including synchronization information.

보다 구체적으로, 다중화부(130')는, 촬영부 (110')를 통해 생성된 미디어 데이터와 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 다중화하여, 전송 대상 미디어 데이터를 생성할 수 있다.More specifically, the multiplexing unit 130' multiplexes the media data generated through the photographing unit 110' and the synchronization information generated through the synchronization information generation unit 120' to generate transmission target media data. can

이때, 다중화부(130')는, 촬영부(110')를 통해 생성된 미디어 데이터에, 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 반영함으로써, 전송 대상 미디어 데이터를 생성할 수 있다.At this time, the multiplexing unit 130' reflects the synchronization information generated through the synchronization information generation unit 120' in the media data generated through the photographing unit 110', thereby generating the transmission target media data. have.

다음으로, 전송부(140')는, 다중화부(130')를 통해 생성된 전송 대상 미디어 데이터를, 특정 서버(300')로 전송하는 역할을 수행할 수 있다.Next, the transmission unit 140 ′ may serve to transmit the transmission target media data generated through the multiplexer 130 ′ to the specific server 300 ′.

도 10에 도시된 것과 같이, 본 발명에 따른 데이터 동기화 방법에서는, 미디어 데이터를 생성하는 과정이 진행된다(S1010). As shown in FIG. 10 , in the data synchronization method according to the present invention, a process of generating media data is performed ( S1010 ).

여기에서, 미디어 데이터는, 촬영부(110')를 통해, 생성된다. 미디어 데이터의 생성은, 카메라 및 오디오 중 적어도 하나를 통하여 생성될 수 있다. Here, the media data is generated through the photographing unit 110'. Media data may be generated through at least one of a camera and audio.

촬영부(110')는 인코더 또는 미디어 인코더를 더 포함하도록 구성될 수 있다.The photographing unit 110' may be configured to further include an encoder or a media encoder.

미디어 데이터는, 기 설정된 시간 간격으로 분할된 복수의 샘플들로 구성될 수 있다.The media data may be composed of a plurality of samples divided at a preset time interval.

이와 같이, 본 발명에서는, 복수의 샘플들로 구성된 미디어 데이터가 생성되면, 동기화 정보를 생성하는 과정이 진행된다(S1020).As described above, in the present invention, when media data composed of a plurality of samples is generated, a process of generating synchronization information is performed ( S1020 ).

보다 구체적으로, 동기화 정보 생성부(120')는, 미디어 데이터가 촬영부(110')에 의해 생성된(또는 촬영된) 시점에 대응되는 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다.More specifically, the synchronization information generating unit 120 ′ may generate the synchronization information by using time information corresponding to a point in time when the media data is generated (or photographed) by the photographing unit 110 ′.

이때, 동기화 정보 생성부(120')는, 미디어 데이터를 구성하는 상기 복수의 샘플들 중, 상기 촬영부(110')에서 가장 첫번째로 생성된 샘플의 생성 시점을 이용하여, 동기화 정보를 생성할 수 있다.At this time, the synchronization information generating unit 120', among the plurality of samples constituting the media data, generates the synchronization information using the generation time of the first sample generated by the photographing unit 110'. can

한편, 본 발명에서, “가장 첫번째로 생성된 샘플”은, 시간의 흐름을 따라 순차적으로 시분할 된 복수의 샘플들 중 가장 첫번째 시점에 배치된 샘플로 이해되어 질 수 있다. 즉, 미디어 데이터를 구성하는 복수의 샘플들은, 시간의 흐름에 따라 순차적으로 배치될 수 있다.Meanwhile, in the present invention, the “first generated sample” may be understood as a sample disposed at the first time among a plurality of samples sequentially time-divided over time. That is, the plurality of samples constituting the media data may be sequentially arranged according to the passage of time.

한편, 동기화 정보 생성부(120')는, 도 3a의 (a)에 도시된 미디어 데이터(310)중 가장 첫번째 생성된 샘플(311)이 촬영부(110')에 의해 생성된 생성 시점의 절대 시각 정보를 이용하여, 상기 동기화 정보를 생성할 수 있다.On the other hand, the synchronization information generating unit 120', the first generated sample 311 of the media data 310 shown in (a) of FIG. The synchronization information may be generated using the time information.

예를 들어, 도 3a의 (a)에 도시된 미디어 데이터(310)중 가장 첫번째 생성된 샘플(311)이, UCT 기준 시간체계에 근거하여, 2020년 4월 29일 오전 11시 00분 00처(절대 시각 정보에 해당함)에 생성된 경우, 동기화 정보 생성부(120')는, 상기 첫번째 샘플(311)이 생성된 절대 시간의 정보를 동기화 정보로서 생성될 수 있다. 이때, 동기화 정보는 절대 시각 정보를 포함하며, 예를 들어, “UTC 2020-04-29 11:00”와 같은 형식을 가질 수 있다. 한편, 동기화 정보에 포함된 절대 시각 정보를 표현하는 형식은 매우 다양하므로, 이에 대한 구체적인 설명은 생략하기로 한다.For example, the first generated sample 311 among the media data 310 shown in (a) of FIG. 3A is, based on the UCT reference time system, on April 29, 2020 at 11: 00 am (corresponding to absolute time information), the synchronization information generating unit 120 ′ may generate information of the absolute time at which the first sample 311 is generated as synchronization information. In this case, the synchronization information includes absolute time information, and may have a format such as “UTC 2020-04-29 11:00”, for example. Meanwhile, since there are many different formats for expressing the absolute time information included in the synchronization information, a detailed description thereof will be omitted.

한편, 동기화 정보 생성부(120')는, 미디어 데이터의 가장 첫번째 생성된 샘플의 생성 시점만을 이용하여, 동기화 정보를 생성할 수 있는데, 이는, 첫번째 샘플 이후의 샘플들에 대한 절대 시각 정보는, 특정 서버(300')에서 정확한 추정이 가능하기 때문이다. On the other hand, the synchronization information generating unit 120' may generate synchronization information by using only the generation time of the first generated sample of the media data, which is absolute time information for samples after the first sample, This is because accurate estimation is possible in a specific server 300'.

즉, 미디어 데이터는, 기 설정된 시간 간격으로 시분할 되므로, 첫번째 샘플의 절대 시각 정보가 획득되면, 두번째 이후의 샘플들의 절대 시각 정보는 추정이 가능하다. 예를 들어, 1/24초로 시분할 되는 미디어 데이터의 경우, 첫 번째 샘플의 절대 시각 정보가 “UTC 2020-04-29 11:00:00”인 경우, 두 번째 샘플의 절대 시각 정보는, “2020-04-29 11:00:04167”일 수 있다.That is, since the media data is time-divided at preset time intervals, when absolute time information of the first sample is obtained, absolute time information of the second and subsequent samples can be estimated. For example, in the case of media data time-divided in 1/24 seconds, if the absolute time information of the first sample is “UTC 2020-04-29 11:00:00”, the absolute time information of the second sample is “2020 -04-29 11:00:04167”.

따라서, 본 발명에 따른 데이터 동기화 시스템(100')은, 첫번째 생성된 샘플의 생성 시점만을 이용하여, 절대 시각 정보를 동기화 정보로서 생성할 수 있다.Accordingly, the data synchronization system 100 ′ according to the present invention may generate absolute time information as synchronization information using only the generation time of the first generated sample.

한편, 본 발명에서, 동기화 정보 생성부(120')는, 가장 첫번째 생성된 샘플(311) 이후로, 생성된 샘플들 각각의 생성 시점 대한 절대 시각 정보를 이용하여, 동기화 정보를 생성하는 것 또한 가능하다.On the other hand, in the present invention, the synchronization information generating unit 120', after the first generated sample 311, by using the absolute time information for the generation time of each of the generated samples, to generate the synchronization information possible.

한편, 비록 도시되지는 않았지만, 미디어 데이터가 생성되는 과정(S910) 이후, 동기화 정보를 생성할지 여부를 판단하는 과정을 더 포함할 수 있다.Meanwhile, although not shown, after the process of generating media data ( S910 ), a process of determining whether to generate synchronization information may be further included.

본 발명에 따른 데이터 동기화 시스템(100')은, 제어부를 더 포함하고, 상기 제어부는, 촬영부(110')에 의해 생성된 미디어 데이터에, 기준 시간체계를 따르는 절대 시각 정보가 포함되어 있는지 판단할 수 있다. The data synchronization system 100 ′ according to the present invention further includes a control unit, wherein the control unit determines whether absolute time information according to a reference time system is included in the media data generated by the photographing unit 110 ′ can do.

그리고, 제어부는, 판단 결과에 근거하여, 촬영부(110')에 의해 생성된 미디어 데이터에 대한 동기화 정보를 생성할지 여부를 결정할 수 있다.And, based on the determination result, the controller may determine whether to generate synchronization information for the media data generated by the photographing unit 110 ′.

보다 구체적으로, 제어부는, 촬영부(110')에 의해 생성된 미디어 데이터(또는 미디어 데이터를 구성하는 복수의 샘플들)에 절대 시각 정보가 포함된 경우, 동기화 정보가 생성되지 않도록 상기 동기화 정보 생성부(120')를 제어할 수 있다. More specifically, when absolute time information is included in the media data (or a plurality of samples constituting the media data) generated by the photographing unit 110 ′, the controller generates the synchronization information so that the synchronization information is not generated. The unit 120' can be controlled.

이때의 절대 시각 정보는, 본 발명에 따른 데이터 동기화 시스템(100')의 전송 규약에 해당하는 기 특정된 기준 시간체계에 해당하는 절대 시각 정보를 의미한다. 예를 들어, 본 발명에 따른 데이터 동기화 시스템의 전송 규약에 해당하는 기 특정된 기준 시간체계가 UTC에 해당하고, 미디어 데이터에 포함된 절대 시각 정보가 UTC에 따른 절대 시각 정보인 경우, 동기화 정보 생성부(120')는 동기화 정보를 생성하지 않을 수 있다.In this case, the absolute time information means absolute time information corresponding to a predetermined reference time system corresponding to the transmission protocol of the data synchronization system 100' according to the present invention. For example, when the predetermined reference time system corresponding to the transmission protocol of the data synchronization system according to the present invention corresponds to UTC, and absolute time information included in the media data is absolute time information according to UTC, synchronization information is generated Unit 120' may not generate synchronization information.

이 경우, 제어부는, 동기화 정보를 생성하는 과정을 생략하고, 촬영부(110')에 의해 생성된 미디어 데이터가, 전송부(140')를 통해 전송될 수 있도록, 전송 대상 미디어 데이터를 생성할 수 있다. In this case, the controller omits the process of generating the synchronization information, and generates the transmission target media data so that the media data generated by the photographing unit 110' can be transmitted through the transmission unit 140'. can

이때에도, 다중화부(130')는, 미디어 데이터에 대한 다중화를 수행할 수 있으며, 이는 전송부(140')의 전송 규약에 따른 전송 대상 미디어 데이터를 생성하기 위함이다.Even at this time, the multiplexer 130' may perform multiplexing on the media data, in order to generate the media data to be transmitted according to the transmission protocol of the transmitter 140'.

한편, 다른 예로서, 촬영부(110')에 의해 생성된 미디어 데이터(또는 미디어 데이터를 구성하는 복수의 샘플들)에 절대 시각 정보가 포함된 경우, 제어부는, 동기화 정보가 생성되지 않도록 상기 동기화 정보 생성부(120')를 제어하고, 다중화 또한 수행되지 않도록 다중화부(130')를 제어할 수 있다. 이 경우, 촬영부(110')에 의해 생성된 미디어 데이터는, 전송부(140')를 통해 특정 서버(300')로 바로 전송될 수 있다.On the other hand, as another example, when absolute time information is included in the media data (or a plurality of samples constituting the media data) generated by the photographing unit 110 ′, the controller is configured to prevent the synchronization information from being generated. The information generating unit 120' may be controlled, and the multiplexing unit 130' may be controlled so that multiplexing is also not performed. In this case, the media data generated by the photographing unit 110 ′ may be directly transmitted to the specific server 300 ′ through the transmitting unit 140 ′.

한편, 제어부는, 촬영부(110')에 의해 생성된 미디어 데이터에 절대 시각 정보가 포함되지 않은 경우, 동기화 정보가 생성되도록 동기화 정보 생성부를 제어할 수 있다. 이 경우, 위에서 살펴본 방식으로, 동기화 정보가 생성될 수 있다.Meanwhile, when absolute time information is not included in the media data generated by the photographing unit 110 ′, the controller may control the synchronization information generating unit to generate the synchronization information. In this case, synchronization information may be generated in the manner described above.

한편, 위에서 살펴본 것과 같이, 미디어 데이터에 대한 동기화 정보가 생성되면, 본 발명에서는, 미디어 데이터에 동기화 정보를 반영하는 과정이 수행된다(S1030).Meanwhile, as described above, when synchronization information for media data is generated, in the present invention, a process of reflecting the synchronization information to the media data is performed (S1030).

이 과정에서, 다중화부(130')는, 촬영부(110')에 의해 생성된 미디어 데이터와 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 다중화하여, 전송 대상 미디어 데이터를 생성할 수 있다.In this process, the multiplexing unit 130' multiplexes the media data generated by the photographing unit 110' and the synchronization information generated through the synchronization information generating unit 120' to generate transmission target media data. can

즉, 다중화부(130')는, 촬영부(110')에 의해 생성된 미디어 데이터에, 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 반영함으로써, 전송 대상 미디어 데이터를 생성할 수 있다.That is, the multiplexing unit 130' reflects the synchronization information generated through the synchronization information generation unit 120' in the media data generated by the photographing unit 110', thereby generating the transmission target media data. have.

한편, 다중화부(130')는 다양한 방식으로, 동기화 정보를, 촬영부(110')에 의해 생성된 미디어 데이터에 반영할 수 있다.Meanwhile, the multiplexing unit 130' may reflect the synchronization information to the media data generated by the photographing unit 110' in various ways.

일 예로서, 도 3a의 (a)에 도시된 것과 같이, 촬영부(110')에 의해 생성된 미디어 데이터(310)의 가장 첫번째 샘플(311)보다 앞선 위치에, 동기화 정보(321, 도 3a의 (b) 참조)를 배치시킬 수 있다. 이 경우, 전송 대상 미디어 데이터(320)에 포함된 동기화 정보(321)는, 도 3a의 (b)에 도시된 것과 같이, 미디어 데이터를 구성하는 샘플들(322, 323) 보다 앞선 위치에(또는 가장 처음)에 배치될 수 있다. 이때, 동기화 정보(321)는 하나의 단일 샘플로 구성될 수 있다. 즉, 다중화부(130')는, 동기화 정보(321)가 전송 대상 미디어 데이터(320)의 샘플로서 포함되도록, 촬영부(110')에 의해 생성된 미디어 데이터와 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 다중화할 수 있다.As an example, as shown in (a) of FIG. 3A , at a position earlier than the first sample 311 of the media data 310 generated by the photographing unit 110 ′, the synchronization information 321 ( FIG. 3A ) of (b)) can be placed. In this case, the synchronization information 321 included in the transmission target media data 320, as shown in (b) of FIG. 3A, is located at a position earlier than the samples 322 and 323 constituting the media data (or first) can be placed. In this case, the synchronization information 321 may consist of one single sample. That is, the multiplexing unit 130 ′ includes the media data generated by the photographing unit 110 ′ and the synchronization information generating unit 120 ′ such that the synchronization information 321 is included as a sample of the transmission target media data 320 . Synchronization information generated through can be multiplexed.

이때, 다중화부(130')는, 도시와 같이, 상기 동기화 정보(321)에 해당하는 샘플을 전송 대상 미디어 데이터(320)의 가장 첫번째 샘플로서 배치시킬 수 있다.In this case, the multiplexer 130 ′ may arrange the sample corresponding to the synchronization information 321 as the first sample of the transmission target media data 320 as shown.

즉, 다중화부(130')는, 전송 대상 미디어 데이터(330)의 메타 데이터(331)에 동기화 정보가 포함되도록, 촬영부(110')에 의해 생성된 미디어 데이터와 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 다중화할 수 있다.That is, the multiplexing unit 130' includes the media data generated by the photographing unit 110' and the synchronization information generating unit 120' so that the synchronization information is included in the metadata 331 of the transmission target media data 330. ), the generated synchronization information can be multiplexed.

이때, 메타 데이터는, 촬영부(110')에 의해 생성된 미디어 데이터에 포함되어 존재할 수 있다. 이 경우, 다중화부(130')는, 촬영부(110')에 의해 생성된 미디어 데이터에, 동기화 정보를 더 포함시킬 수 있다.In this case, the metadata may be included in the media data generated by the photographing unit 110 ′. In this case, the multiplexing unit 130 ′ may further include synchronization information in the media data generated by the photographing unit 110 ′.

이때, 메타 데이터는, 촬영부(110')에 의해 생성된 미디어 데이터에 대한 속성 정보를 포함할 수 있다. 여기에서, 속성 정보는, 미디어 데이터에 대응되는 영상 또는 음원 등의 해상도 정보, 음원 품질 정보, 코덱 정보 등과 같이, 미디어 데이터에 대한 속성과 관련된 정보를 포함할 수 있다. In this case, the metadata may include attribute information on the media data generated by the photographing unit 110 ′. Here, the attribute information may include information related to attributes of the media data, such as resolution information of an image or sound source corresponding to the media data, sound quality information, and codec information.

또 다른 예로서, 다중화부(130')는, 도 3c에 도시된 것과 같이, 촬영부(110')에 의해 생성된 미디어 데이터를 구성하는 복수의 샘플 마다 동기화 정보를 포함시킬 수 있다. 이 경우, 다중화부(130')는, 도 3c의 (a)에 도시된 것과 같이, 미디어 데이터(340)를 구성하는 복수의 샘플들(341, 342) 각각에 포함된 헤더마다 동기화 정보를 포함시킬 수 있다. 그 결과, 도 3의 (b)에 도시된 것과 같이, 전송 대상 미디어 데이터(350)에는, 복수의 샘플들(351, 354)의 헤더 마다(351, 353) 동기화 정보가 포함될 수 있다.As another example, the multiplexer 130 ′ may include synchronization information for each of a plurality of samples constituting the media data generated by the photographing unit 110 ′, as shown in FIG. 3C . In this case, the multiplexer 130' includes synchronization information for each header included in each of the plurality of samples 341 and 342 constituting the media data 340, as shown in (a) of FIG. 3C . can do it As a result, as shown in (b) of FIG. 3 , synchronization information for each header 351 and 353 of the plurality of samples 351 and 354 may be included in the transmission target media data 350 .

한편, 위에서 살펴본 것과 같이, 각각의 샘플의 헤더마다, 동기화 정보가 포함되는 경우, 동기화 정보에 포함된 절대 시각 정보는, 촬영부(110')에 의해 생성된 미디어 데이터를 구성하는 복수의 샘플 중 가장 첫번째 생성된 샘플의 절대 시각 정보일 수 있다.Meanwhile, as described above, when synchronization information is included in the header of each sample, absolute time information included in the synchronization information is one of a plurality of samples constituting the media data generated by the photographing unit 110 ′. It may be absolute visual information of the first generated sample.

또한, 이와 다르게, 각각의 샘플의 헤더마다 포함된 동기화 정보는, 각각의 샘플이 촬영부(110')에 의해 생성된 생성 시점에 대응되는 절대 시각 정보를 포함할 수 있다. 예를 들어, 제1 샘플(352)의 헤더에 포함된 동기화 정보(351)는 제1 샘플(352)이 촬영부(110')에 의해 생성된 생성 시점의 절대 시각 정보를 포함하고, 제2 샘플(354)의 헤더에 포함된 동기화 정보(353)는 제2 샘플(354)이 촬영부(110')에 의해 생성된 생성 시점의 절대 시각 정보를 포함할 수 있다.Alternatively, the synchronization information included in each header of each sample may include absolute time information corresponding to a time at which each sample is generated by the photographing unit 110 ′. For example, the synchronization information 351 included in the header of the first sample 352 includes absolute time information of a time when the first sample 352 is generated by the photographing unit 110', and the second The synchronization information 353 included in the header of the sample 354 may include absolute time information of a time when the second sample 354 is generated by the photographing unit 110 ′.

또 다른 예로서, 다중화부(130')는, 미디어 데이터를 구성하는 복수의 샘플들 중 적어도 두개의 샘플 사이에 포함된 추가 정보(예를 들어, 영상, 음성(사운드) 정보 외의 정보로서, 광고 시작 시점, 종료 시점 등을 알리는 정보 등)에 동기화 정보가 포함되도록, 촬영부(110')에 의해 생성된 미디어 데이터와 동기화 정보 생성부(120')를 통해 생성된 동기화 정보를 다중화할 수 있다.As another example, the multiplexer 130 ′ includes additional information (eg, video and audio (sound) information other than information included between at least two samples among a plurality of samples constituting the media data. It is possible to multiplex the media data generated by the photographing unit 110 ′ and the synchronization information generated through the synchronization information generating unit 120 ′ so that synchronization information is included in the start time, end time, etc.). .

한편, 미디어 데이터를 구성하는 복수의 샘플들 각각은 상대 시각 정보를 포함할 수 있으며, 다중화부(130')는 이러한 상대 시각 정보를 이용하여, 동기화 정보와 미디어 데이터에 대한 다중화를 수행할 수 있다.Meanwhile, each of the plurality of samples constituting the media data may include relative time information, and the multiplexer 130 ′ may multiplex the synchronization information and the media data by using the relative time information. .

이러한, 상대 시각 정보는, 촬영부(110')에 의해 미디어 데이터를 구성하는 샘플이 획득된(또는 취득된) 시점의 정보를 포함할 수 있다.Such relative time information may include information on a time point at which a sample constituting the media data is acquired (or acquired) by the photographing unit 110 ′.

나아가, 이러한 상대 시각 정보는, 미디어 데이터를 구성하는 복수의 샘플들 중 가장 첫번째 샘플이 획득된 시점을 기준으로 하는 상대시간 정보일 수 있다.Furthermore, this relative time information may be relative time information based on a time point at which the first sample among a plurality of samples constituting the media data is obtained.

이때, 동기화 정보 생성부(120')는, 위에서 살펴본 것과 같이, 미디어 데이터를 구성하는 복수의 샘플들(432, 433) 중 가장 첫번째 샘플이 촬영부(110')에 의해 생성된 생성 시점에 대응되는 절대 시각 정보를 이용하여, 동기화 정보를 생성할 수 있다. 그리고, 동기화 정보 생성부(120')는, 각각의 샘플에 포함된 상대 시각 정보(431, 434) 또한 절대 시각 정보로 변환하여, 도 4의 (b)에 도시된 것과 같이, 각각의 샘플에 해당하는 동기화 정보(441, 443)를 생성할 수 있다.In this case, the synchronization information generating unit 120 ′ corresponds to the generation time point at which the first sample among the plurality of samples 432 and 433 constituting the media data is generated by the photographing unit 110 ′, as described above. Synchronization information may be generated using the absolute time information. In addition, the synchronization information generating unit 120' converts the relative time information 431 and 434 included in each sample into absolute time information, and as shown in FIG. Corresponding synchronization information 441 and 443 may be generated.

이 경우, 동기화 정보 생성부(120')는, 가장 첫번째 샘플에 대한 동기화 정보 및 각각의 샘플에 포함된 상대 시각 정보(431, 432)를 이용하여, 나머지 샘플들에 대한 동기화 정보를 생성할 수 있다.In this case, the synchronization information generator 120 ′ may generate synchronization information for the remaining samples by using the synchronization information for the first sample and the relative time information 431 and 432 included in each sample. have.

즉, 이 경우, 동기화 정보 생성부(120')는, 나머지 샘플들이 촬영부(110')에 의해 생성된 생성 시점을 이용하지 않더라도, 동기화정보를 생성할 수 있다.That is, in this case, the synchronization information generating unit 120 ′ may generate the synchronization information even if the remaining samples do not use the generation time generated by the photographing unit 110 ′.

이는, 나머지 샘플들에 포함된 상대 시각 정보가, 첫번째 생성된 샘플에 대한 상대 시간으로 구성되었기 때문이다. 예를 들어, 첫번째 샘플의 상대 시각 정보가 10시 00분 00초를 의미하고, 두번째 샘플의 상대 시각 정보가 10시 00분 05초를 의미한다면, 두번째 샘플은, 첫번째 샘플이 재생된 후, 5초 후에 재생되어야 함을 의미할 수 있다.This is because the relative time information included in the remaining samples is composed of the relative time with respect to the first generated sample. For example, if the relative time information of the first sample means 10: 00: 00 and the relative time information of the second sample means 10: 00: 05, the second sample is 5 after the first sample is played. This may mean that it should be played in seconds.

따라서, 동기화 정보 생성부(120')에서, 첫번째 샘플에 대한 절대 시각 정보를 포함하는 동기화 정보가 생성된 경우, 두번째 샘플에 대한 절대 시각 정보는, 첫번째 샘플에 대한 절대 시각 정보에서 5초가 지연된 절대 시각 정보일 수 있다.Accordingly, when the synchronization information generating unit 120 ′ generates synchronization information including absolute time information for the first sample, the absolute time information for the second sample is an absolute time delayed by 5 seconds from the absolute time information for the first sample. It may be visual information.

이와 같이, 동기화 정보 생성부(120')는, 첫번째 샘플에 대한 동기화 정보가 생성되면, 나머지 샘플들이 촬영부(110')에 의해 생성된 생성 시점을 이용하지 않더라도, 동기화 정보를 생성할 수 있다.As such, when the synchronization information for the first sample is generated, the synchronization information generating unit 120 ′ may generate the synchronization information even if the remaining samples do not use the generation time generated by the photographing unit 110 ′. .

이와 같이, 복수의 샘플들 각각은, 복수의 샘플들 중 기준 샘플(예를 들어, 가장 첫번째 샘플)의 취득 시점(또는 생성 시점)을 기준으로 하는 재생 시점 정보(예를 들어, 위에서 살펴본 상대 시각 정보)를 포함할 수 있다. 그리고, 동기화 정보 생성부(120')는, 촬영부(110')에 의해 생성된 기준 샘플(예를 들어, 가장 첫번째 샘플)의 생성 시점에 대응되는 절대 시각 정보를 이용하여, 상기 복수의 샘플들 각각에 포함된 재생 시점 정보(예를 들어, 위에서 살펴본 상대 시각 정보)를 절대 시각 정보로 변환할 수 있다.In this way, each of the plurality of samples includes reproduction time information (for example, the relative time viewed above) based on the acquisition time (or generation time) of the reference sample (eg, the first sample) among the plurality of samples. information) may be included. In addition, the synchronization information generating unit 120' uses the absolute time information corresponding to the generation time of the reference sample (eg, the first sample) generated by the photographing unit 110', the plurality of samples The reproduction time information (eg, the relative time information described above) included in each of them may be converted into absolute time information.

한편, 다중화부(130')는, 도 4의 (b)에 도시된 것과 같이, 각각의 샘플들(442, 444)에 해당하는 상대 시각 정보를, 각각의 샘플들에 해당하는 동기화 정보(441, 443)로 변경할 수 있다.On the other hand, the multiplexer 130', as shown in FIG. , 443).

이와 같이, 다중화부(130')는 복수의 샘플들 각각에 대응되도록 변환된 절대 시각 정보가 복수의 샘플들 각각에 포함되도록, 복수의 샘플들 각각에 포함된 재생 시점 정보(예를 들어, 위에서 살펴본 상대 시각 정보)를 위에서 살펴본 변환된 절대 시각 정보로 변경할 수 있다.In this way, the multiplexer 130 ′ configures the reproduction time information included in each of the plurality of samples (for example, above The above-described relative time information) can be changed to the converted absolute time information described above.

한편, 다중화(130')는, 도 5의 (a)에 도시된 것과 같이, 각각의 샘플들(532, 534)에 해당하는 상대 시각 정보(531, 533)를 변경하는 것이 아니라, 도 5의 (b)에 도시된 것과 같이, 각각의 샘플들(543, 546)에 해당하는 상대 시각 정보(541, 544)와 함께, 동기화 정보(542, 545)를 더 포함시킬 수 있다.On the other hand, the multiplexing 130' does not change the relative time information 531 and 533 corresponding to each of the samples 532 and 534, as shown in FIG. As shown in (b), the synchronization information 542 and 545 may be further included along with the relative time information 541 and 544 corresponding to each of the samples 543 and 546 .

한편, 이와 같이, 전송 대상 미디어 데이터가 생성되면, 본 발명에서는 전송 대상 미디어 데이터를 전송하는 과정이 진행된다(S1040).Meanwhile, when the transmission target media data is generated as described above, in the present invention, a process of transmitting the transmission target media data is performed ( S1040 ).

전송부(140')는, 다중화부(130')를 통해 생성된 전송 대상 미디어 데이터를, 특정 서버(300')로 전송하는 역할을 수행할 수 있다.The transmission unit 140 ′ may serve to transmit the transmission target media data generated through the multiplexer 130 ′ to the specific server 300 ′.

앞서 살펴본 것과 같이, 특정 서버(300')는, 전송 대상 미디어 데이터를 동기화 하는 역할을 수행할 수 있다. 즉, 특정 서버(300')는 본 발명에 따른 미디어 데이터 동기화 시스템(100')으로부터 수신된 복수의 미디어 데이터에 대한 동기화를 수행할 수 있다. 이때, 특정 서버(300')는, 상기 복수의 미디어 데이터 각각에 포함된 절대 시각 정보에 해당하는 동기화 정보를 이용하여, 복수의 미디어 데이터에 대한 동기화를 수행할 수 있다. 이때, 특정 서버(300')는 동일한 시간 기준을 따르는 절대 시각 정보에 근거하여 미디어 데이터에 대한 동기화를 수행하므로, 미디어 데이터 간의 시차를 줄일 수 있다.As described above, the specific server 300 ′ may perform a role of synchronizing transmission target media data. That is, the specific server 300' may synchronize a plurality of media data received from the media data synchronization system 100' according to the present invention. In this case, the specific server 300 ′ may synchronize the plurality of media data using synchronization information corresponding to absolute time information included in each of the plurality of media data. In this case, since the specific server 300 ′ synchronizes the media data based on absolute time information that follows the same time reference, the time difference between the media data can be reduced.

이상에서 살펴본 것과 같이, 본 발명에 따른 데이터 동기화 시스템 및 방법은, 절대 시각 정보를 이용하여, 동기화 정보를 생성함으로써, 서로 다른 주체로부터 촬영되거나, 수신된 미디어 데이터에 대해 서로 동일한 기준의 동기화 정보를 포함시킬 수 있다. As described above, the data synchronization system and method according to the present invention generates synchronization information using absolute time information, thereby providing synchronization information of the same standard for media data photographed or received from different subjects. can be included

Claims

a receiver for receiving media data;
a synchronization information generator configured to generate synchronization information by using time information corresponding to a reception time point of the received media data;
a multiplexing unit multiplexing the received media data and the synchronization information to generate transmission target media data including the synchronization information;
a transmission unit for transmitting the transmission target media data to an external server; and
including a control unit;
The control unit is
It is determined whether the received media data includes absolute time information following a reference time system,
and determining whether to generate synchronization information for the received media data based on a determination result.

According to claim 1,
The synchronization information generating unit,
and generating, as the synchronization information, absolute time information corresponding to the reception time point and conforming to the reference time system.

3. The method of claim 2,
The received media data is
It consists of a plurality of samples divided at a preset time interval,
The synchronization information generating unit,
Among the plurality of samples constituting the received media data,
and generating the synchronization information by using absolute time information corresponding to the reception time of the first sample received by the receiver.

4. The method of claim 3,
The received media data is
Further comprising metadata including attribute information on the received media data,
The multiplexing unit,
multiplexing the received media data and the synchronization information so that the synchronization information is included in the metadata;
The transmission unit,
and transmitting metadata including the synchronization information and the plurality of samples to the external server.

4. The method of claim 3,
The multiplexing unit,
and including the synchronization information for each header included in each of the plurality of samples.

3. The method of claim 2,
The received media data is
Consists of a plurality of samples divided at a preset time interval,
Each of the plurality of samples,
and reproduction time information based on the acquisition time of the reference sample among the plurality of samples,
The synchronization information generating unit,
The data synchronization system of claim 1, wherein the reproduction time information included in each of the plurality of samples is converted into absolute time information by using the absolute time information corresponding to the reception time of the reference sample received by the receiver.

7. The method of claim 6,
The multiplexing unit,
so that the transformed absolute visual information is included in each of the plurality of samples,
The data synchronization system of claim 1, wherein the reproduction time information included in each of the plurality of samples is changed to the converted absolute time information.

3. The method of claim 2,
The reference time system is
Universal Time (UT), Coordinated Universal Time (UTC), Korea Standard Time (KST), Greenwich Mean Time (GMT), Unix time and GPS time (GPS Time) data synchronization system, characterized in that any one.

delete

According to claim 1,
The control unit is
When the absolute time information is included in the received media data, controlling the synchronization information generation unit so that the synchronization information is not generated,
and controlling the multiplexer to perform multiplexing on the received media data.

11. The method of claim 10,
The control unit is
When the absolute time information is not included in the received media data, controlling the synchronization information generation unit to generate the synchronization information,
and controlling the multiplexer to perform multiplexing on the received media data and the synchronization information.

a media data receiver for receiving media data;
a visual information receiver configured to receive visual information related to the received media data;
a control unit for determining whether the time information includes absolute time information following a predetermined reference time system;
a synchronization information generating unit that converts the time information according to the specified reference time system to generate synchronization information;
a multiplexing unit multiplexing the received media data and the synchronization information to generate transmission target media data including the synchronization information; and
and a transmission unit for transmitting the transmission target media data to an external server,
The control unit is
and determining whether to generate synchronization information for the received media data based on a determination result.

13. The method of claim 12,
The control unit is
If the time information corresponds to the absolute time information corresponding to the specified reference time system, control the synchronization information generation unit so that the synchronization information is not generated,
and controlling the multiplexer to generate the transmission target media data by multiplexing the received media data and the time information.

receiving media data;
generating synchronization information by using time information corresponding to a reception time of the received media data;
multiplexing the received media data and the synchronization information to generate transmission target media data including the synchronization information; and
Transmitting the transmission target media data to an external server,
The received media data is
It consists of a plurality of samples divided at a preset time interval,
In the step of generating the synchronization information,
Among the plurality of samples constituting the received media data,
The data synchronization method of claim 1, wherein the synchronization information is generated by using absolute time information corresponding to the reception time of the first received sample and following a reference time system.

delete

a photographing unit generating media data;
a synchronization information generation unit generating synchronization information by using the time information corresponding to the generation time of the generated media data;
a multiplexing unit multiplexing the generated media data and the synchronization information so as to generate transmission target media data including the synchronization information; and
and a transmission unit for transmitting the transmission target media data to an external server,
The generated media data is
It consists of a plurality of samples divided at a preset time interval,
The synchronization information generating unit,
and generating, as the synchronization information, absolute time information corresponding to a generation time of the first generated sample among the plurality of samples and conforming to a reference time system.

delete

a receiver for receiving media data;
a synchronization information generator configured to generate synchronization information by using time information corresponding to a reception time point of the received media data;
a multiplexing unit multiplexing the received media data and the synchronization information to generate transmission target media data including the synchronization information; and
and a transmission unit for transmitting the transmission target media data to an external server,
The received media data is
It consists of a plurality of samples divided at a preset time interval,
The synchronization information generating unit,
Among the plurality of samples constituting the received media data,
and generating the synchronization information by using absolute time information corresponding to the reception time of the first sample received by the receiver.

a media data receiver for receiving media data;
a visual information receiver configured to receive visual information related to the received media data;
a synchronization information generating unit that converts the time information according to a predetermined reference time system to generate synchronization information;
a multiplexing unit multiplexing the received media data and the synchronization information to generate transmission target media data including the synchronization information; and
A transmission unit for transmitting the transmission target media data to an external server,
The received media data is
It consists of a plurality of samples divided at a preset time interval,
The synchronization information generating unit,
Among the plurality of samples constituting the received media data,
and generating the synchronization information by using absolute time information corresponding to the reception time of the first sample received by the receiver.

receiving media data;
generating synchronization information by using time information corresponding to a reception time of the received media data;
multiplexing the received media data and the synchronization information to generate transmission target media data including the synchronization information; and
Transmitting the transmission target media data to an external server,
In the step of generating the synchronization information,
It is determined whether the received media data includes absolute time information following a reference time system,
Based on the determination result, it is determined whether to generate synchronization information for the received media data,
and generating absolute time information corresponding to the reception time point and conforming to the reference time system as the synchronization information.