KR102673213B1

KR102673213B1 - Method for synchronizing audio data and contents data and cloud server thereof

Info

Publication number: KR102673213B1
Application number: KR1020220128027A
Authority: KR
Inventors: 구성민
Original assignee: 구성민
Priority date: 2022-10-06
Filing date: 2022-10-06
Publication date: 2024-06-05
Also published as: KR20240048348A

Abstract

본 발명은 (a) 클라우드 서버가, 제1 장치로 하여금 오디오 데이터의 생성을 시작하도록 지시하는 제1 시작 지시 메시지를 상기 제1 장치에 전달하고, 제2 장치로 하여금 콘텐츠 데이터의 생성을 시작하도록 지시하는 제2 시작 지시 메시지를 상기 제2 장치에 전달하는 단계; (b) 상기 클라우드 서버가, 상기 제1 장치로 하여금 상기 오디오 데이터의 생성을 종료하도록 지시하는 제1 종료 지시 메시지를 상기 제1 장치에 전달하고, 상기 제2 장치로 하여금 상기 콘텐츠 데이터의 생성을 종료하도록 지시하는 제2 종료 지시 메시지를 상기 제2 장치에 전달하는 단계; (c) 상기 클라우드 서버가, 상기 제1 장치로부터 상기 오디오 데이터를 수신하고, 상기 제2 장치로부터 상기 콘텐츠 데이터를 수신하는 단계; 및 (d) 상기 클라우드 서버가, 상기 오디오 데이터와 상기 콘텐츠 데이터를 결합하여 하나의 타임라인을 가지는 통합 데이터를 생성하는 단계;를 포함하는, 오디오 데이터와 콘텐츠 데이터를 동기화하는 방법 및 그 클라우드 서버를 제공한다.The present invention provides (a) a cloud server to transmit to the first device a first start instruction message instructing the first device to start generating audio data, and to cause the second device to start generating content data. delivering a second start instruction message to the second device; (b) The cloud server transmits to the first device a first termination instruction message instructing the first device to terminate generation of the audio data, and causes the second device to terminate generation of the content data. transmitting a second termination instruction message instructing termination to the second device; (c) the cloud server receiving the audio data from the first device and receiving the content data from the second device; and (d) the cloud server combining the audio data and the content data to generate integrated data with one timeline; a method for synchronizing audio data and content data and the cloud server. to provide.

Description

Method for synchronizing audio data and content data and its cloud server {METHOD FOR SYNCHRONIZING AUDIO DATA AND CONTENTS DATA AND CLOUD SERVER THEREOF}

본 발명은 오디오 데이터와 콘텐츠 데이터를 동기화하는 방법 및 그 클라우드 서버에 관한 것으로서, 보다 상세하게는, 각각 다른 장치를 통해서 동시에 생성된 오디오 데이터와 콘텐츠 데이터의 타임라인을 매칭하여 하나의 통합 데이터로 생성하는, 오디오 데이터와 콘텐츠 데이터를 동기화하는 방법 및 그 클라우드 서버에 관한 것이다.The present invention relates to a method for synchronizing audio data and content data and a cloud server thereof. More specifically, the present invention relates to a method for synchronizing audio data and content data and to a cloud server thereof. More specifically, the timeline of audio data and content data generated simultaneously through different devices are matched to create one integrated data. It relates to a method of synchronizing audio data and content data and a cloud server thereof.

일반적으로 강의를 수강하는 수강생들은 강의와 관련된 다양한 내용을 노트에 필기하거나 노트북과 같은 전자 단말에 내용을 입력할 수 있다. 또한, 강의를 수강하는 동안 강의의 내용을 녹음하여 음성 데이터를 생성할 수도 있다. 그 이후, 수강생들은 강의의 내용을 복습하기 위하여 강의 녹음 파일을 재생할 수 있고, 필기한 사항을 함께 확인할 수 있다.In general, students taking a lecture can write down various contents related to the lecture in notes or enter the contents on an electronic terminal such as a laptop. Additionally, while taking a lecture, you can record the contents of the lecture and generate voice data. Afterwards, students can play the lecture recording file to review the lecture content and check their notes together.

그러나, 녹음한 강의 파일을 듣고 필기한 사항을 확인하는 과정에서, 수강생들은 필기한 사항이 강의의 어떠한 부분에 대응되는지 쉽게 확인하지 못하거나, 필기한 사항과 녹음 파일을 서로 매칭시키는데 많은 시간과 노력을 소비할 수 있다.However, in the process of listening to the recorded lecture file and checking the notes, students are unable to easily check which part of the lecture their notes correspond to, or they spend a lot of time and effort matching the notes and the recorded file. can be consumed.

이에, 강의를 실시간으로 녹음하여 음성 데이터를 생성하고, 이와 동시에 필기 내용을 사용자가 작성하는 경우, 동시에 생성되는 각각의 데이터를 서로 매칭시켜 하나의 데이터로 통합시킬 수 있는 시스템에 대한 필요성이 증대되고 있다.Accordingly, when lectures are recorded in real time to generate voice data and the user writes handwritten notes at the same time, the need for a system that can match each data generated simultaneously and integrate them into one data is increasing. there is.

국내공개특허공보 제10-2007-0005781호Domestic Patent Publication No. 10-2007-0005781 국내공개특허공보 제10-2016-0086031호Domestic Patent Publication No. 10-2016-0086031

본 발명이 해결하고자 하는 과제는 하나의 장치에서 오디오 데이터를 생성하고, 다른 장치에서 콘텐츠 데이터를 생성한 상태에서, 오디오 데이터와 콘텐츠 데이터 각각의 데이터 싱크를 서로 매칭시켜 하나의 통합 데이터로 생성하는 제공하는 클라우드 서버를 제공하는데 그 목적이 있다.The problem to be solved by the present invention is to generate audio data in one device and content data in another device, and to generate one integrated data by matching the data sinks of each audio data and content data. The purpose is to provide a cloud server that

본 발명이 해결하고자 하는 과제는 생성 시작 시점이나 생성 종료 시점이 다른 두 데이터의 싱크를 서로 매칭시켜 하나의 통합 데이터로 생성하는 클라우드 서버를 제공하는데 그 목적이 있다.The purpose of the present invention is to provide a cloud server that generates one integrated data by matching the sinks of two data with different generation start or end times.

본 발명의 다양한 실시 예를 통하여 해결하려는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved through various embodiments of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

본 발명의 일 실시 예에 따르면, (a) 클라우드 서버가, 오디오 데이터의 생성을 시작하도록 지시하는 제1 시작 지시 메세지를 제1 장치에 전달하고, 콘텐츠 데이터의 생성을 시작하도록 지시하는 제2 시작 지시 메세지를 제2 장치에 전달하는 단계; (b) 상기 클라우드 서버가, 상기 오디오 데이터의 생성을 종료시키는 제1 종료 지시 메세지를 상기 제1 장치에 전달하고, 상기 콘텐츠 데이터의 생성을 종료하도록 지시하는 제2 종료 지시 메세지를 상기 제2 장치에 전달하는 단계; (c) 상기 클라우드 서버가, 상기 제1 장치로부터 상기 오디오 데이터를 수신하고, 상기 제2 장치로부터 상기 콘텐츠 데이터를 수신하는 단계; 및 (d) 상기 클라우드 서버가, 상기 오디오 데이터와 상기 콘텐츠 데이터를 결합하여 하나의 타임라인을 가지는 통합 데이터를 생성하는 단계;를 포함하는, 오디오 데이터와 콘텐츠 데이터를 동기화하는 방법을 제공할 수 있다.According to an embodiment of the present invention, (a) the cloud server transmits a first start instruction message to the first device instructing to start generating audio data, and sends a second start instruction message to start generating content data. transmitting an instruction message to a second device; (b) The cloud server transmits a first end instruction message to end generation of the audio data to the first device, and sends a second end instruction message to the second device to end generation of the content data. passing on; (c) the cloud server receiving the audio data from the first device and receiving the content data from the second device; and (d) the cloud server combining the audio data and the content data to create integrated data with one timeline. A method of synchronizing audio data and content data can be provided, including: .

상기 (a) 단계에서, 상기 클라우드 서버가 상기 제1 장치로부터 상기 오디오 데이터의 생성 시작을 위한 입력에 대응하는 시작 알림 메시지를 수신하거나, 또는 상기 제2 장치로부터 상기 콘텐츠 데이터의 생성 시작을 위한 입력에 대응하는 시작 알림 메시지를 수신한 경우, 상기 클라우드 서버는, 상기 제1 시작 지시 메시지를 상기 제1 장치에 전달하고, 및 상기 제2 시작 지시 메시지를 제2 장치에 전달할 수 있다.In step (a), the cloud server receives a start notification message corresponding to an input for starting generation of the audio data from the first device, or an input for starting generation of the content data from the second device. When receiving a start notification message corresponding to , the cloud server may deliver the first start instruction message to the first device and the second start instruction message to the second device.

상기 (b) 단계에서, 상기 클라우드 서버가 상기 제1 장치로부터 상기 오디오 데이터의 생성 종료를 위한 입력에 대응하는 종료 알림 메시지를 수신하거나, 또는 상기 제2 장치로부터 상기 콘텐츠 데이터의 생성 종료를 위한 입력에 대응하는 종료 알림 메시지를 수신한 경우, 상기 클라우드 서버는, 상기 제1 종료 지시 메시지를 상기 제1 장치에 전달하고, 및 상기 제2 종료 지시 메시지를 제2 장치에 전달할 수 있다.In step (b), the cloud server receives a termination notification message corresponding to an input for terminating the generation of the audio data from the first device, or an input for terminating the generation of the content data from the second device. When receiving a termination notification message corresponding to , the cloud server may deliver the first termination instruction message to the first device and the second termination instruction message to the second device.

여기서, 상기 클라우드 서버가 수신하는 시작 알림 메시지 및 종료 알림 메시지를 송신하는 장치는 동일한 장치일 수 있다.Here, the device that transmits the start notification message and the end notification message received by the cloud server may be the same device.

여기서, 상기 (c) 단계는, 상기 클라우드 서버가, 상기 제1 장치로부터 수신한 상기 오디오 데이터의 오디오 타임라인 데이터를 추출하고, 상기 제2 장치로부터 수신한 상기 콘텐츠 데이터의 콘텐츠 타임라인 데이터를 추출하는 단계;를 더 포함할 수 있다.Here, in step (c), the cloud server extracts audio timeline data of the audio data received from the first device and extracts content timeline data of the content data received from the second device. It may further include a step of doing so.

여기서, 상기 클라우드 서버, 상기 제1 장치, 및 상기 제2 장치는 지정된 시간대로 시각이 동기화된 상태이고, 상기 (d) 단계는, 상기 클라우드 서버가, 상기 오디오 데이터 및 상기 콘텐츠 데이터 각각에 표시된 적어도 하나의 태그에 기반하여 상기 오디오 데이터 및 상기 콘텐츠 데이터의 타임라인을 일치시켜 상기 하나의 타임라인을 가지도록 처리하는 단계;를 포함할 수 있다.Here, the cloud server, the first device, and the second device are synchronized in time in a designated time zone, and in step (d), the cloud server is configured to It may include processing the audio data and the content data to have one timeline by matching the timelines based on one tag.

여기서, 상기 적어도 하나의 태그는, 상기 제1 장치 및 상기 제2 장치가 상기 클라우드 서버로부터 수신한 태그 생성 메시지에 기반하여 상기 제1 장치 및 상기 제2 장치 각각이 상기 오디오 데이터 또는 상기 콘텐츠 데이터의 타임라인에서 특정 시점을 표시한 것일 수 있다.Here, the at least one tag is, based on a tag creation message received by the first device and the second device from the cloud server, each of the first device and the second device It may indicate a specific point in time in the timeline.

상기 (a) 단계에서, 상기 클라우드 서버는, 상기 제1 시작 지시 메시지 및 상기 제2 시작 지시 메시지를 생성하는 시점으로부터 제1 시간 후의 시각에 제1 태그를 생성하도록 지시하는 제1 태그 생성 메시지를 생성하고, i) 상기 제1 장치가 저장하는 상기 오디오 데이터의 타임라인에 상기 제1 태그를 생성하도록 상기 제1 태그 생성 메시지를 상기 제1 시작 지시 메시지와 함께 송신하고, ii) 상기 제2 장치가 저장하는 상기 콘텐츠 데이터의 타임라인에 상기 제1 태그를 생성하도록 상기 제1 태그 생성 메시지를 상기 제2 시작 지시 메시지와 함께 송신할 수 있다.In step (a), the cloud server sends a first tag creation message instructing to generate the first tag at a first time after the time of generating the first start instruction message and the second start instruction message. Generate, i) transmit the first tag creation message together with the first start instruction message to create the first tag in the timeline of the audio data stored by the first device, and ii) the second device The first tag creation message may be transmitted together with the second start instruction message to create the first tag in the timeline of the content data stored.

상기 (b) 단계에서, 상기 클라우드 서버는, 상기 제1 종료 지시 메시지 및 상기 제2 종료 지시 메시지를 생성하는 시점으로부터 적제2 시간 전의 시각에 제2 태그를 생성하도록 지시하는 제2 태그 생성 메시지를 생성하고, i) 상기 제1 장치가 저장하는 상기 오디오 데이터의 타임라인에 상기 제2 태그를 생성하도록 상기 제2 태그 생성 메시지를 상기 제1 종료 지시 메시지와 함께 송신하고, ii) 상기 제2 장치가 저장하는 상기 콘텐츠 데이터의 타임라인에 상기 제2 태그를 생성하도록 상기 제2 태그 생성 메시지를 상기 제2 종료 지시 메시지와 함께 송신할 수 있다.In step (b), the cloud server sends a second tag creation message instructing to generate a second tag at a time 2 hours before the time of generating the first termination instruction message and the second termination instruction message. Generate, i) transmit the second tag creation message together with the first end instruction message to create the second tag in the timeline of the audio data stored by the first device, and ii) the second device The second tag creation message may be transmitted together with the second end instruction message to create the second tag in the timeline of the content data stored by.

본 발명의 다양한 실시 예에 따르면, 제1 장치 및 제2 장치와 데이터를 송수신하는 통신부; 상기 제1 장치 및 상기 제2 장치와 송수신하는 데이터를 저장하는 저장부; 및 오디오 데이터의 생성을 시작하도록 지시하는 제1 시작 지시 메세지를 제1 장치에 전달 및 콘텐츠 데이터의 생성을 시작하도록 지시하는 제2 시작 지시 메세지를 제2 장치에 전달하고, 상기 오디오 데이터의 생성을 종료하도록 지시하는 제1 종료 지시 메세지를 상기 제1 장치에 전달 및 상기 콘텐츠 데이터의 생성을 종료하도록 지시하는 제2 종료 지시 메세지를 상기 제2 장치에 전달하며, 상기 제1 장치로부터 상기 오디오 데이터를 수신하고, 상기 제2 장치로부터 상기 콘텐츠 데이터를 수신하고, 및 상기 오디오 데이터와 상기 콘텐츠 데이터를 결합하여 하나의 타임라인을 가지는 통합 데이터를 생성하도록 처리하는 처리부;를 포함하는, 오디오 데이터와 콘텐츠 데이터를 동기화하는 클라우드 서버를 제공할 수 있다.According to various embodiments of the present invention, a communication unit for transmitting and receiving data with a first device and a second device; a storage unit that stores data transmitted and received between the first device and the second device; and transmitting a first start instruction message instructing to start generation of audio data to the first device and transmitting a second start instruction message instructing to start generation of content data to the second device, and generating the audio data. A first termination instruction message instructing to terminate is transmitted to the first device and a second termination instruction message instructing to terminate generation of the content data is transmitted to the second device, and the audio data is received from the first device. A processing unit that receives the content data from the second device, and processes the audio data and the content data to generate integrated data with one timeline; including audio data and content data. A cloud server that synchronizes can be provided.

본 발명의 다양한 실시 예에 따르면, (a) 클라우드 서버가, 제1 장치로부터 제1 미디어 데이터의 생성 시작을 위한 입력에 대응하는 시작 알림 메시지를 수신하면, 제2 미디어 데이터의 생성을 시작하도록 지시하는 제1 시작 지시 메세지를 제1 장치에 전달하는 단계; (b) 상기 클라우드 서버가, 상기 제1 장치로부터 상기 제1 미디어 데이터의 생성 종료를 위한 입력에 대응하는 종료 알림 메시지를 수신하면, 상기 제2 미디어 데이터의 생성을 종료시키는 제1 종료 지시 메세지를 상기 제1 장치에 전달하는 단계; (c) 상기 클라우드 서버가, 상기 제1 장치로부터 상기 제1 미디어 데이터 및 상기 제2 미디어 데이터를 수신하는 단계; 및 (d) 상기 클라우드 서버가, 상기 제1 미디어 데이터와 상기 제2 미디어 데이터를 결합하여 하나의 타임라인을 가지는 통합 데이터를 생성하는 단계;를 포함하는, 복수의 미디어 데이터를 동기화하는 방법을 제공할 수 있다.According to various embodiments of the present invention, (a) when the cloud server receives a start notification message corresponding to an input for starting the generation of the first media data from the first device, it instructs the cloud server to start generating the second media data. transmitting a first start instruction message to the first device; (b) When the cloud server receives a termination notification message corresponding to an input for terminating the generation of the first media data from the first device, it sends a first termination instruction message to terminate the generation of the second media data. delivering to the first device; (c) receiving, by the cloud server, the first media data and the second media data from the first device; and (d) the cloud server combining the first media data and the second media data to generate integrated data with one timeline; providing a method for synchronizing a plurality of media data, including can do.

본 발명의 다양한 실시 예에 따르면, 클라우드 서버(100)는 하나의 셋(set)을 이루는 오디오 데이터와 콘텐츠 데이터 각각에 생성 시점이 일치하는 적어도 하나의 태그를 생성함으로써, 오디오 데이터와 콘텐츠 데이터의 생성 시작 시점과 생성 종료 시점이 일치하지 않더라도 오디오와 콘텐츠의 싱크를 정교하게 맞출 수 있다.According to various embodiments of the present invention, the cloud server 100 generates audio data and content data by generating at least one tag whose creation time matches each of the audio data and content data forming one set. Even if the start point and creation end point do not match, audio and content can be precisely synchronized.

본 발명의 다양한 실시 예에 따르면, 클라우드 서버(100)는 오디오 데이터에 포함된 태그와 콘텐츠 데이터에 포함된 태그 중 매칭되는 태그들에 기반하여 오디오와 콘텐츠가 결합된 통합 미디어 데이터를 생성함으로써, 통합 미디어 데이터의 재생 시 오디오와 콘텐츠의 싱크를 정확하게 맞출 수 있고, 따라서, 생성하는 콘텐츠의 품질을 향상시킬 수 있다.According to various embodiments of the present invention, the cloud server 100 generates integrated media data in which audio and content are combined based on matching tags among the tags included in the audio data and the tags included in the content data, thereby integrating the data. When playing media data, the audio and content can be accurately synchronized, and thus the quality of the generated content can be improved.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일 실시 예에 따른 클라우드 서버의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 클라우드 서버에서 둘 이상의 장치들로부터 수신한 데이터를 동기화 하는 동작의 흐름을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 클라우드 서버 및 클라우드 서버를 포함하는 시스템의 동작을 설명하는 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 제1 장치가 생성한 오디오 데이터, 제2 장치가 생성한 콘텐츠 데이터, 클라우드 서버가 생성한 통합 미디어 데이터 및 각각의 타임라인을 도시한다.1 is a diagram showing the configuration of a cloud server according to an embodiment of the present invention.
Figure 2 shows a flow of operations for synchronizing data received from two or more devices in a cloud server according to an embodiment of the present invention.
Figure 3 is a flowchart explaining the operation of a cloud server and a system including the cloud server according to an embodiment of the present invention.
Figure 4 shows audio data generated by a first device, content data generated by a second device, integrated media data generated by a cloud server, and respective timelines according to an embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 실시 예들을 상세하게 설명한다. 그러나, 실시 예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 실시 예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the attached drawings. However, since various changes can be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes for the embodiments are included in the scope of rights.

실시 예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are for descriptive purposes only and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the embodiments belong. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless clearly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성요소는 동일한 참조부호를 부여하고 이에 대해 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시 예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, when describing with reference to the accompanying drawings, identical components will be assigned the same reference numerals regardless of the drawing symbols, and overlapping descriptions thereof will be omitted. When describing an embodiment, if it is determined that a detailed description of related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.

또한, 실시 예의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. Additionally, when describing components of the embodiment, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the component is not limited by the term. When a component is described as being “connected,” “coupled,” or “connected” to another component, that component may be directly connected or connected to that other component, but there is no need for another component between each component. It should be understood that may be “connected,” “combined,” or “connected.”

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components including common functions will be described using the same names in other embodiments. Unless stated to the contrary, the description given in one embodiment may be applied to other embodiments, and detailed description will be omitted to the extent of overlap.

본 발명은, 다양한 타입의 미디어 데이터를 동기화 하는 방법 및 그 장치에 대하여 설명한다. 보다 상세하게는, 제1 미디어 데이터(예: 오디오 데이터)와 제2 미디어 데이터(예: 콘텐츠 데이터)를 동기화하는 방법과 관련하여 클라우드 서버를 통하여 설명한다.The present invention describes a method and device for synchronizing various types of media data. In more detail, a method of synchronizing first media data (eg, audio data) and second media data (eg, content data) will be described using a cloud server.

클라우드 서버는, 복수의 장치로부터 오디오 데이터 및 콘텐츠 데이터를 수신하고, 수신한 오디오 데이터와 콘텐츠 데이터를 동기화할 수 있다. 클라우드 서버는 오디오 데이터와 콘텐츠 데이터를 동기화 하는 과정에서 오디오와 콘텐츠가 하나의 파일로서 결합된 통합 미디어 데이터를 생성할 수 있다.The cloud server can receive audio data and content data from a plurality of devices and synchronize the received audio data and content data. In the process of synchronizing audio data and content data, the cloud server can create integrated media data that combines audio and content as one file.

이하, 도면들을 참조하여 본 발명의 바람직한 실시 예들을 설명하며, 본 명세서에 첨부되는 도면들은 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정하여 해석되어서는 아니 될 것이다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. The drawings attached to this specification serve to further understand the technical idea of the present invention along with the detailed description of the invention, so the present invention is described in the drawings. It should not be interpreted as limited to the specifics.

도 1은 본 발명의 일 실시 예에 따른 클라우드 서버의 구성을 나타내는 도면이다.Figure 1 is a diagram showing the configuration of a cloud server according to an embodiment of the present invention.

도 1을 참조하면, 클라우드 서버(100)는 처리부(110), 저장부(120), 및 통신부(130)를 포함할 수 있다.Referring to FIG. 1, the cloud server 100 may include a processing unit 110, a storage unit 120, and a communication unit 130.

처리부(110)는 적어도 하나의 프로그램(앱, 어플, 툴, 플러그인 등, 이하 데이터 처리 프로그램)을 통하여 송수신(송신 또는 수신)하는 데이터를 처리할 수 있다. 이때, 처리부(110)는 적어도 하나의 데이터 처리 프로그램을 통하여 클라우드 서버(100)의 동작을 설정 및/또는 제어할 수 있다.The processing unit 110 can process data transmitted and received (transmitted or received) through at least one program (app, application, tool, plug-in, etc., hereinafter referred to as a data processing program). At this time, the processing unit 110 may set and/or control the operation of the cloud server 100 through at least one data processing program.

또한, 처리부(110)는 적어도 하나의 데이터 처리 프로그램을 통하여 외부 장치(예: 사용자 장치)와 데이터를 공유할 수 있다. 이때, 처리부(110)는 통신부(130)를 통하여 데이터를 송수신할 수 있다.Additionally, the processing unit 110 may share data with an external device (eg, user device) through at least one data processing program. At this time, the processing unit 110 can transmit and receive data through the communication unit 130.

이하, 다양한 실시 예들에서, 클라우드 서버(100)가 제어명령과 관련된 이벤트를 수행하거나 제공하는 것은, 클라우드 서버(100)의 적어도 하나의 제어명령 처리 관련 프로그램을 통하여 지정된 이벤트들을 제공하는 것으로 이해될 수 있다.Hereinafter, in various embodiments, the cloud server 100 performing or providing an event related to a control command may be understood as providing designated events through at least one control command processing-related program of the cloud server 100. there is.

여기서, 제어명령 처리는 클라우드 서버(100)에 설치된 데이터 처리 프로그램을 통해서 제공되는 것으로 설명하고 있지만, 이에 한정하지 않고, 기 설치된 다른 프로그램 또는 임시 설치 프로그램을 통하여 제공될 수도 있다.Here, the control command processing is described as being provided through a data processing program installed in the cloud server 100, but is not limited to this and may be provided through another pre-installed program or a temporary installation program.

일 실시 예에 따르면, 제어명령 처리는 클라우드 서버(100)의 외부 장치에서 무료 또는 유로로 제공되는 데이터베이스의 프로그램들 중 적어도 일부를 통하여 수행될 수 있다.According to one embodiment, control command processing may be performed through at least some of the database programs provided free of charge or for a fee on an external device of the cloud server 100.

클라우드 서버(100)의 동작은 처리부(110)의 데이터 처리 및 처리부(110)의 장치 제어에 기반하여 수행되며, 처리부(110)는 입출력부(미도시)를 통하여 획득하는 제어명령에 기반하여 사용자를 식별할 수 있다.The operation of the cloud server 100 is performed based on the data processing of the processing unit 110 and the device control of the processing unit 110, and the processing unit 110 is operated by the user based on a control command obtained through an input/output unit (not shown). can be identified.

저장부(120)는 클라우드 서버(100)의 처리부(110) 및/또는 통신부(130) 등의 구성요소에 의하여 처리되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 데이터 처리 프로그램(또는 소프트웨어) 및 이와 관련된 제어명령에 대한 출력 데이터를 포함할 수 있다.The storage unit 120 may store various data processed by components such as the processing unit 110 and/or the communication unit 130 of the cloud server 100. Data may include, for example, output data for a data processing program (or software) and control commands related thereto.

저장부(120)는 적어도 하나의 외부 장치로부터 수신되는 데이터를 저장할 수 있다. 예를 들면, 저장부(120)는 제1 장치(10) 및 제2 장치(20) 각각이 송신하는 오디오 데이터 또는 콘텐츠 데이터를 저장부(120)에 저장할 수 있다.The storage unit 120 may store data received from at least one external device. For example, the storage unit 120 may store audio data or content data transmitted by each of the first device 10 and the second device 20 in the storage unit 120 .

저장부(120)는 제어명령을 처리하기 위한 인공신경망 알고리즘, 블록체인 알고리즘, 딥러닝 알고리즘, 회귀분석 알고리즘, 및 이와 관련된 메커니즘, 연산자, 언어모델, 빅데이터 중 적어도 일부를 포함하는 인공지능 알고리즘을 포함할 수 있다.The storage unit 120 uses an artificial intelligence algorithm including at least some of an artificial neural network algorithm, a blockchain algorithm, a deep learning algorithm, a regression analysis algorithm, and related mechanisms, operators, language models, and big data for processing control commands. It can be included.

저장부(120)에 데이터를 저장하는 동작 및/또는 저장된 데이터를 처리하는 동작은 처리부(110)에 의하여 수행되며, 관련된 동작들을 처리하기 위한 데이터, 처리 중인 데이터, 처리된 데이터, 기 저장된 데이터 등은 저장부(120)에 저장될 수 있다.The operation of storing data in the storage unit 120 and/or processing the stored data is performed by the processing unit 110, and includes data for processing related operations, data in process, processed data, previously stored data, etc. may be stored in the storage unit 120.

저장부(120)에 저장된 데이터는 클라우드 서버(100)의 관리자 입력 또는 사용자 장치의 사용자 입력에 기반하여 처리부(110)를 통하여 변경, 수정, 삭제, 또는 생성될 수 있다.Data stored in the storage unit 120 may be changed, modified, deleted, or created through the processing unit 110 based on administrator input of the cloud server 100 or user input of the user device.

저장부(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함하여 구성될 수 있다.The storage unit 120 may be configured to include volatile memory or non-volatile memory.

통신부(130)는 클라우드 서버(100)과 적어도 하나의 다른 전자장치(예: 사용자 장치, 또는 서버)의 유선 통신 채널의 수립, 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.The communication unit 130 supports establishment of a wired communication channel between the cloud server 100 and at least one other electronic device (e.g., a user device, or a server), establishment of a wireless communication channel, and performance of communication through the established communication channel. You can.

통신부(130)는 처리부(110)에 종속적 또는 독립적으로 운영되고, 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다.The communication unit 130 operates dependently or independently of the processing unit 110 and may include one or more communication processors that support wireless communication.

일 실시 예에 따르면, 통신부(130)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다.According to one embodiment, the communication unit 130 is a wireless communication module (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (e.g., a local area network (LAN)) may include a communication module, or a power line communication module).

통신부(130)는 블루투스, BLE(Bluetooth Low Energy), WiFi, WiFi direct, IrDA(infrared data association), ZigBee, UWB, RF(Radio Frequency) 같은 근거리 통신 네트워크 및/또는 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자장치와 통신할 수 있다.The communication unit 130 is a short-range communication network such as Bluetooth, BLE (Bluetooth Low Energy), WiFi, WiFi direct, IrDA (infrared data association), ZigBee, UWB, and RF (Radio Frequency) and/or a cellular network, the Internet, or a computer network. It can communicate with external electronic devices through a long-distance communication network (e.g. LAN or WAN).

통신부(130)를 구성하는 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다.Various types of communication modules constituting the communication unit 130 may be integrated into one component (e.g., a single chip) or may be implemented as a plurality of separate components (e.g., multiple chips).

클라우드 서버(100)는 통신부(130)를 통하여 적어도 하나의 사용자 장치, 예를 들면, 제1 장치(10) 및/또는 제2 장치(20)와 통신할 수 있다. 이때, 적어도 하나의 사용자 장치는 지정된 작업을 수행하기 위한 그룹(이하, 워크그룹)을 구성할 수 있다.The cloud server 100 may communicate with at least one user device, for example, the first device 10 and/or the second device 20, through the communication unit 130. At this time, at least one user device may form a group (hereinafter referred to as a workgroup) to perform a designated task.

예를 들면, 제1 장치(10)와 제2 장치(20)는 각각의 장치에서 생성한 데이터를 동기화하기 위하여 하나의 워크그룹을 구성할 수 있다. 이때, 워크그룹 및 워크그룹에 포함된 장치에 대한 정보는 클라우드 서버(100)의 저장부(120)j에 저장될 수 있다.For example, the first device 10 and the second device 20 may form a workgroup to synchronize data generated by each device. At this time, information about the workgroup and devices included in the workgroup may be stored in the storage unit 120j of the cloud server 100.

도면에 도시하지는 않지만, 클라우드 서버(100)는 입출력부를 더 포함할 수 있다.Although not shown in the drawing, the cloud server 100 may further include an input/output unit.

입출력부(미도시)는 키보드, 마우스 등 데이터를 입력하기 위한 입력장치 중 적어도 하나를 포함하여 구성될 수 있다.The input/output unit (not shown) may be configured to include at least one input device for inputting data, such as a keyboard or mouse.

또한, 입출력부(미도시)는 스크린, 스피커 등 데이터를 출력하기 위한 출력장치 중 적어도 하나를 포함하여 구성될 수 있다.Additionally, the input/output unit (not shown) may be configured to include at least one output device for outputting data, such as a screen or speaker.

본 발명의 다양한 실시 예에 따르면, 클라우드 서버(100) 및/또는 사용자 장치는 이동통신단말기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 internet protocol(IP) 단말기 등을 비롯한 모든 정보통신기기가 수행 가능한 범위의 기능 적어도 일부를 포함할 수 있다.According to various embodiments of the present invention, the cloud server 100 and/or the user device is within a range that all information and communication devices, including mobile communication terminals, multimedia terminals, wired terminals, fixed terminals, and internet protocol (IP) terminals, etc. can perform. It may include at least some of the functions of

클라우드 서버(100)는 제어명령 처리를 위한 장치로서 워크스테이션(workstation), 또는 대용량의 데이터베이스(database) 중 적어도 일부 구성을 포함하거나 또는 통신을 통하여 연결되도록 구성될 수 있다.The cloud server 100 is a device for processing control commands and may be configured to include at least part of a workstation or a large-capacity database or to be connected through communication.

클라우드 서버(100)과 연결되는 사용자 장치는 휴대폰, 피씨(personal computer, PC), 피엠피(portable multimedia player, PMP), 엠아이디(mobile internet device, MID), 스마트폰(smartphone), 태블릿 PC, 패블릿 PC, 노트북(notebook) 등을 예시할 수 있다. 본 발명의 다양한 실시 예에 따르면, 사용자 장치는 클라우드 서버(100)의 제어명령 처리를 관리하는 장치로 설명할 수 있다.User devices connected to the cloud server 100 include mobile phones, personal computers (PCs), portable multimedia players (PMPs), mobile internet devices (MIDs), smartphones, tablet PCs, and tablets. Examples include bullet PCs and laptops. According to various embodiments of the present invention, the user device can be described as a device that manages control command processing of the cloud server 100.

여기서, 서버는 네트워크 상에 존재하는 하나의 엔티티로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시 예에 따르면, 서버는 클라우드 서버(100)의 처리에 기반하여 사용자 장치에 다양한 컨텐츠를 사용자 장치에 제공할 수 있다.Here, a server is an entity that exists on a network and performs the roles of a web server, database server, and application server. According to a preferred embodiment, the server may provide various contents to the user device based on processing of the cloud server 100.

도 2를 설명하기에 앞서, 본원발명에 따르면, 클라우드 서버는, 둘 이상의 장치로부터 수신한 데이터를 동기화할 수 있다. 이때, 클라우드 서버는 데이터의 동기화를 수행함에 이어서 복수 개의 데이터를 하나의 데이터로 통합할 수 있다.Before describing FIG. 2, according to the present invention, the cloud server can synchronize data received from two or more devices. At this time, the cloud server can perform data synchronization and then integrate the plurality of data into one data.

예를 들면, 복수 개의 데이터는 적어도 하나의 오디오 데이터와 적어도 하나의 콘텐츠 데이터를 포함할 수 있다. 클라우드 서버(100)는 오디오 데이터와 콘텐츠 데이터를 동기화하여 하나의 통합 미디어 데이터를 생성할 수 있다.For example, the plurality of data may include at least one audio data and at least one content data. The cloud server 100 can synchronize audio data and content data to create one integrated media data.

이때, 오디오 데이터는 오디오를 시간의 흐름에 따라서 재생 가능하도록 저장한 데이터로 설명하고, 콘텐츠 데이터는 오디오 외의 데이터로서 장치에 입력되는 동작들을 시간의 흐름에 따라서 저장한 데이터로 설명할 수 있다.At this time, audio data can be described as data that stores audio so that it can be played over time, and content data can be described as data other than audio that stores operations input to the device over time.

예를 들면, 콘텐츠 데이터는, 지정된 시간 범위 동안 장치의 키 입력부 및/또는 터치 입력부를 통하여 입력되는 정보, 입력된 정보를 시간의 흐름에 따라서 저장한 데이터일 수 있다.For example, content data may be information input through the key input unit and/or touch input unit of the device during a designated time range, or data that stores the input information over time.

보다 상세하게 설명하면, 강의실에서 강의가 진행되는 상황에서, 오디오 데이터는 마이크를 통하여 입력된 강의를 저장한 데이터이고, 콘텐츠 데이터는 강의에 대응하여 사용자가 터치 스크린을 통하여 입력한 필기 내용을 저장한 데이터일 수 있다.To explain in more detail, in a situation where a lecture is taking place in a classroom, audio data is data that stores the lecture input through the microphone, and content data is data that stores the handwriting input by the user through the touch screen in response to the lecture. It could be data.

강의가 저장된 오디오 데이터를 재생하는 경우, 시간의 흐름에 따라서 저장된 강사의 강의 목소리가 스피커를 통해서 출력되며, 필기가 저장된 콘텐츠 데이터를 재생하는 경우, 시간의 흐름에 따라서 사용자가 입력한 필기가 스크린을 통하여 재현될 수 있다.When playing audio data with saved lectures, the instructor's lecture voice saved over time is output through the speaker, and when playing content data with saved notes, the notes entered by the user appear on the screen over time. It can be reproduced through.

콘텐츠 데이터는, 상술한 바와 같이 키 입력부 및/또는 터치 입력부 등의 입력부를 통하여 입력되는 데이터 뿐만 아니라 카메라를 통해서 촬영된 이미지 뿐만 아니라, 편집된 이미지 중 적어도 일부를 포함할 수 있다.As described above, content data may include not only data input through an input unit such as a key input unit and/or a touch input unit, but also images captured through a camera, as well as at least a portion of edited images.

여기서, 이미지는, 1 프레임으로 구성되는 사진 뿐만 아니라, 2 프레임 이상으로 구성되는 영상을 의미하는 것일 수 있다.Here, the image may mean not only a photo consisting of one frame, but also a video consisting of two or more frames.

오디오 데이터 및 콘텐츠 데이터 각각은 재생과 관련하여 러닝타임(running time)을 가질 수 있다. 러닝타임을 가지는 오디오 데이터와 콘텐츠 데이터는 타임라인을 포함하여 구성될 수 있다.Each of audio data and content data may have a running time in relation to playback. Audio data and content data with a running time may be configured to include a timeline.

타임라인은, 오디오 데이터 및 콘텐츠 데이터 각각의 오디오와 콘텐츠를 구성하는 시점들을 시간의 흐름에 따라 시각적으로 표시하기 위한 레이어를 포함하여 구성될 수 있다.The timeline may be configured to include a layer for visually displaying the viewpoints constituting the audio and content of each audio data and content data over time.

여기서, 오디오와 콘텐츠의 각 시점들은 프레임으로 표현될 수 있다. 동일한 러닝타임을 가지는 오디오 데이터와 콘텐츠 데이터라도 각각의 데이터에 포함된 프레임들의 수는 데이터 품질에 따라서 결정될 수 있다. 여기서, 오디오의 프레임은 샘플레이트(sample rate)로서 표현될 수도 있다.Here, each viewpoint of audio and content can be expressed as a frame. Even if audio data and content data have the same running time, the number of frames included in each data can be determined according to data quality. Here, the frame of audio may be expressed as a sample rate.

클라우드 서버(100)는 오디오 데이터 및 콘텐츠 데이터의 타임라인에 기반하여 동기화를 수행할 수 있다. 본 발명의 다양한 실시 예에 따르면, 오디오 데이터 및 콘텐츠 데이터의 동기화는 오디오 데이터와 콘텐츠 데이터를 결합하고, 오디오와 콘텐츠의 싱크를 일치시키는 동작으로 설명할 수 있다.The cloud server 100 may perform synchronization based on the timeline of audio data and content data. According to various embodiments of the present invention, synchronization of audio data and content data can be described as an operation to combine audio data and content data and synchronize the audio and content.

이때, 오디오 데이터 및 콘텐츠 데이터 각각에 데이터 생성 시작 시각 및 생성 종료 시각이 기록되지 않은 경우, 오디오 데이터 및 콘텐츠 데이터 각각의 타임라인에 대하여 타임라인의 시작 시점은 0으로 표시되고 길이는 러닝타임에 대응되도록 구성될 수 있다.At this time, if the data creation start time and creation end time are not recorded in each of the audio data and content data, the start time of the timeline is displayed as 0 for each timeline of audio data and content data, and the length corresponds to the running time. It can be configured as follows.

이때, 오디오 데이터 및 콘텐츠 데이터 각각에 대하여 생성 시작 시각 또는 생성 종료 시각이 기록된 경우, 오디오 데이터 및 콘텐츠 데이터 각각의 타임라인에 대하여 타임라인의 시작 시점은 데이터 생성 시작 시각으로, 타임라인의 종료 시점은 데이터 생성 종료 시각으로 표시되고, 타임라인 시작 시점과 종료 시점 사이의 길이는 러닝타임에 대응될 수 있다.At this time, if the creation start time or creation end time is recorded for each of the audio data and content data, the start time of the timeline for each timeline of audio data and content data is the data creation start time and the end time of the timeline. is displayed as the end time of data generation, and the length between the start and end of the timeline may correspond to the running time.

본 발명의 실시 예에 따른 동작을 수행하기 위하여, 클라우드 서버(100)는 외부 장치들 각각으로부터 오디오 데이터 및/또는 콘텐츠 데이터를 수신할 수 있다.In order to perform operations according to an embodiment of the present invention, the cloud server 100 may receive audio data and/or content data from each of the external devices.

본 발명의 다양한 실시 예에 따르면, 클라우드 서버(100)에 오디오 데이터를 송신하는 장치를 제1 장치(10), 콘텐츠 데이터를 송신하는 장치를 제2 장치(20)로 정의할 수 있다.According to various embodiments of the present invention, a device that transmits audio data to the cloud server 100 may be defined as the first device 10, and a device that transmits content data may be defined as the second device 20.

클라우드 서버(100)는 제1 장치(10)가 오디오 데이터를 클라우드 서버(100)에 전송하고, 제2 장치(20)가 콘텐츠 데이터를 클라우드 서버(100)에 전송하는 것에 대한 정보를 저장부(120)에 저장할 수 있다. 이때, 제1 장치(10) 및 제2 장치(20)는 동일한 워크그룹(workgroup)에 포함되어 구성될 수 있다.The cloud server 100 stores information about the first device 10 transmitting audio data to the cloud server 100 and the second device 20 transmitting content data to the cloud server 100. 120). At this time, the first device 10 and the second device 20 may be included in the same workgroup.

워크그룹은 클라우드 서버(100)에 등록된 사용자에 기반하여 구성될 수 있다. 예를 들면, 클라우드 서버(100)의 저장부(120)는 등록된 사용자에 대한 사용자 정보가 저장될 수 있다.A workgroup may be formed based on users registered in the cloud server 100. For example, the storage unit 120 of the cloud server 100 may store user information about registered users.

사용자 정보는 사용자 장치를 통하여 클라우드 서버(100)에 엑세스(access)하기 위한 식별정보, 및 사용자 설정 정보를 포함할 수 있다. 사용자 식별정보는 사용자의 아이디(identifier) 및/또는 패스워드(password)를 포함할 수 있다.User information may include identification information for accessing the cloud server 100 through a user device, and user setting information. User identification information may include the user's ID and/or password.

사용자 설정 정보는 클라우드 서버(100)가 등록된 사용자들에게 제공하는 서비스와 관련하여 사용자 고유의 설정 정보를 포함하며, 사용자 설정 정보를 통하여 워크그룹이 설정될 수 있다.The user setting information includes user-specific setting information in relation to services provided by the cloud server 100 to registered users, and a workgroup can be set through the user setting information.

더하여, 사용자 정보는 사용자의 신상 정보를 더 포함할 수 있다. 사용자의 신상정보는 사용자의 이름, 나이, 몸무게, 성별 중 적어도 일부 정보를 포함할 수 있다.In addition, the user information may further include the user's personal information. The user's personal information may include at least some of the user's name, age, weight, and gender.

클라우드 서버(100)에 등록된 사용자는 적어도 하나의 사용자 장치를 통하여 클라우드 서버(100)에 엑세스할 수 있다. 클라우드 서버(100)에 엑세스한 사용자는 사용자 설정 정보를 통하여 적어도 하나의 사용자 장치, 예를 들면, 제1 장치(10) 및 제2 장치(20)를 등록하고, 등록된 제1 장치(10) 및 제2 장치(20)를 워크그룹에 포함시킬 수 있다.A user registered with the cloud server 100 may access the cloud server 100 through at least one user device. A user accessing the cloud server 100 registers at least one user device, for example, the first device 10 and the second device 20, through user setting information, and the registered first device 10 And the second device 20 may be included in the workgroup.

사용자는 클라우드 서버(100)의 사용자 설정 정보의 워크그룹에 등록된 사용자 장치들 각각에 대하여 수행할 동작들을 설정할 수 있다.The user can set operations to be performed for each of the user devices registered in the workgroup of the user setting information of the cloud server 100.

예를 들면, 제1 장치(10)는 오디오 데이터를 생성하고, 생성한 오디오 데이터를 클라우드 서버(100)에 송신하는 장치로서 클라우드 서버(100)의 사용자 설정 정보에 설정될 수 있다. 또한, 제2 장치(20)는 콘텐츠 데이터를 생성하고, 생성한 콘텐츠 데이터를 클라우드 서버(100)에 송신하는 장치로서 클라우드 서버(100)의 사용자 설정 정보에 설정될 수 있다.For example, the first device 10 is a device that generates audio data and transmits the generated audio data to the cloud server 100, and may be set in the user setting information of the cloud server 100. Additionally, the second device 20 is a device that generates content data and transmits the generated content data to the cloud server 100, and may be set in the user setting information of the cloud server 100.

이를 통하여, 클라우드 서버(100)는 제1 장치(10)로 하여금 오디오 데이터의 생성을 시작하거나 또는 종료하도록 지시하는 제어명령을 생성하고, 제2 장치(20)로 하여금 콘텐츠 데이터의 생성을 시작하거나 또는 종료하도록 지시하는 제어명령을 생성할 수 있다.Through this, the cloud server 100 generates a control command instructing the first device 10 to start or end the generation of audio data, and causes the second device 20 to start or stop generating content data. Alternatively, a control command instructing to terminate can be generated.

상술한 바와 같이, 클라우드 서버(100)가 다른 장치, 예를 들면, 제1 장치(10), 제2 장치(20)로 하여금 어떠한 동작을 수행하도록 지시하는 제어명령을 이하 설명에서 지시 메시지로 표현할 수 있다.As described above, the control command that the cloud server 100 instructs another device, for example, the first device 10 and the second device 20 to perform a certain operation, will be expressed as an instruction message in the following description. You can.

본 발명의 다양한 실시 예에 따르면, 클라우드 서버(100)가 장치들 각각으로부터 수신한 오디오 데이터 및/또는 콘텐츠 데이터를 동기화하는 동작을 수행함에 있어서, 클라우드 서버(100) 및 사용자의 워크그룹에 포함된 장치들(예: 제1 장치(10) 및 제2 장치(20))는 동일한 국가 또는 지역의 시간대로 시간 동기화가 수행될 수 있다.According to various embodiments of the present invention, when the cloud server 100 performs an operation of synchronizing audio data and/or content data received from each of the devices, the cloud server 100 and the user's workgroup include The devices (eg, the first device 10 and the second device 20) may be time synchronized with the time zone of the same country or region.

예를 들면, 클라우드 서버(100) 및 워크그룹에 포함된 장치들은 지정된 시간 간격마다 또는 지정된 시각에 지정된 network time protocol(NTP) 서버를 통하여 시간동기화를 수행하도록 설정된 상태일 수 있다.For example, the cloud server 100 and devices included in the workgroup may be set to perform time synchronization through a designated network time protocol (NTP) server at designated time intervals or at designated times.

보다 상세하게 설명하면, 클라우드 서버(100)는 지정된 시간 간격마다 또는 지정된 시각에 워크그룹에 포함된 장치들(예: 제1 장치(10) 및 제2 장치(20))로 하여금 지정된 network time protocol(NTP) 서버를 통하여 시간동기화를 수행하도록 제어명령을 송신할 수 있다.In more detail, the cloud server 100 causes devices included in the workgroup (e.g., the first device 10 and the second device 20) to use the specified network time protocol at designated time intervals or at designated times. Control commands can be sent to perform time synchronization through the (NTP) server.

시간동기화가 수행된 클라우드 서버(100) 및 장치들은 동일한 시간대의 시각을 공유하여 데이터를 송수신할 수 있다.The cloud server 100 and devices for which time synchronization has been performed can transmit and receive data by sharing the same time zone.

이하, 도 2 내지 도 6을 참고하여, 클라우드 서버(100)가 오디오 데이터 및 콘텐츠 데이터를 동기화하는 동작을 상세하게 설명한다.Hereinafter, with reference to FIGS. 2 to 6, the operation of the cloud server 100 to synchronize audio data and content data will be described in detail.

도 2는 본 발명의 일 실시 예에 따른 클라우드 서버에서 둘 이상의 장치들로부터 수신한 데이터를 동기화 하는 동작의 흐름을 도시한다.Figure 2 shows a flow of operations for synchronizing data received from two or more devices in a cloud server according to an embodiment of the present invention.

(a) 단계(201)에서, 클라우드 서버(100)의 처리부(110)는 제1 장치(10)로 하여금 오디오 데이터의 생성을 시작하도록 지시하는 제1 시작 지시 메시지를 상기 제1 장치(10)에 전달하고, 제2 장치(20)로 하여금 콘텐츠 데이터의 생성을 시작하도록 지시하는 제2 시작 지시 메시지를 상기 제2 장치(20)에 전달할 수 있다.(a) In step 201, the processing unit 110 of the cloud server 100 sends a first start instruction message to the first device 10 to instruct the first device 10 to start generating audio data. , and a second start instruction message instructing the second device 20 to start generating content data may be transmitted to the second device 20.

여기서, 처리부(110)는 제1 시작 지시 메시지 및/또는 제2 시작 지시 메시지를 송신함에 있어서, 제1 시작 지시 메시지와 제2 시작 지시 메시지를 별도의 데이터로 각각의 해당하는 장치에 전송하거나, 또는 하나의 데이터로서 제1 장치(10) 및 제2 장치(20)에 송신할 수 있다.Here, when transmitting the first start instruction message and/or the second start instruction message, the processing unit 110 transmits the first start instruction message and the second start instruction message as separate data to each corresponding device, or Alternatively, it can be transmitted to the first device 10 and the second device 20 as one piece of data.

예를 들어, 처리부(110)는 제1 시작 지시 메시지를 제1 장치(10)에 송신하고 제2 시작 지시 메시지를 제2 장치(20)에 각각 송신할 수 있을 뿐만 아니라, 제1 시작 지시 메시지와 제2 시작 지시 메시지를 포함하여 구성된 하나의 데이터를 제1 장치(10) 및 제2 장치(20)에 송신할 수 있다.For example, the processing unit 110 may transmit a first start instruction message to the first device 10 and a second start instruction message to the second device 20, respectively, as well as transmit the first start instruction message to the first device 10. and a second start instruction message can be transmitted to the first device 10 and the second device 20.

여기서, 처리부(110)가 제1 시작 지시 메시지 및 제2 시작 지시 메시지를 생성하고 제1 장치(10) 및/또는 제2 장치(20)에 송신하는 동작을 수행함에 있어서, 처리부(110)는 제1 장치(10) 또는 제2 장치(20)로부터 수신하는 데이터 생성 시작과 관련된 알림 메시지(시작 알림 메시지)에 대응하여 수행할 수 있다.Here, when the processing unit 110 performs an operation of generating a first start instruction message and a second start instruction message and transmitting them to the first device 10 and/or the second device 20, the processing unit 110 It can be performed in response to a notification message (start notification message) related to the start of data generation received from the first device 10 or the second device 20.

이와 관련하여, 도 3을 참고하여 클라우드 서버(100)의 동작을 보다 상세하게 설명한다.In this regard, the operation of the cloud server 100 will be described in more detail with reference to FIG. 3.

먼저, 클라우드 서버(100)의 처리부(110)는 상기 제1 장치의 오디오 데이터 생성 시작에 대한 시작 알림 메시지(303)를 상기 제1 장치로부터 수신하거나, 또는 상기 제2 장치의 콘텐츠 데이터 생성 시작에 대한 시작 알림 메시지를 상기 제2 장치로부터 수신할 수 있다.First, the processing unit 110 of the cloud server 100 receives a start notification message 303 regarding the start of audio data generation of the first device from the first device, or upon the start of content data generation of the second device. A start notification message may be received from the second device.

이하 본 발명의 다양한 실시 예들은 클라우드 서버(100)가 제1 장치의 오디오 데이터 생성 시작에 대한 알림 메시지를 수신하는 경우를 예로 설명한다.Hereinafter, various embodiments of the present invention will be described as an example where the cloud server 100 receives a notification message about the start of audio data generation by the first device.

이에 따르면, 제1 장치(10)는 오디오 데이터의 생성을 시작(301)할 수 있다. 예를 들면, 제1 장치(10)는 예약 설정된 동작에 따라서 지정된 시각에 오디오 데이터의 생성을 시작할 수 있다. 다른 예로, 제1 장치(10)는 사용자 입력에 기반하여 오디오 데이터의 생성을 시작할 수 있다.According to this, the first device 10 may start generating audio data (301). For example, the first device 10 may start generating audio data at a designated time according to a reserved operation. As another example, the first device 10 may start generating audio data based on user input.

여기서, 오디오 데이터의 생성은, 상술하여 설명한 바와 같이, 제1 장치에 포함된 적어도 하나의 마이크 및/또는 제1 장치와 연결된 적어도 하나의 외부 마이크를 통하여 입력된 오디오를 저장하는 동작일 수 있다.Here, as described above, the generation of audio data may be an operation of storing audio input through at least one microphone included in the first device and/or at least one external microphone connected to the first device.

제1 장치(10)는 오디오 데이터의 생성 시작을 위한 사용자 입력을 확인하거나, 및/또는 오디오 데이터의 생성을 시작한 것을 확인하면, 이에 대응하여 오디오 데이터 생성 시작에 대한 시작 알림 메시지(303)를 클라우드 서버(100)에 송신할 수 있다.When the first device 10 confirms a user input for starting the generation of audio data and/or confirms that the generation of audio data has started, the first device 10 sends a start notification message 303 for the start of audio data generation to the cloud. It can be transmitted to the server 100.

클라우드 서버(100)가 제1 장치(10)로부터 수신한 시작 알림 메시지는, 제1 장치(10)가 오디오 데이터 생성을 시작한 데이터 생성 시작 시각을 더 포함할 수 있다.The start notification message received by the cloud server 100 from the first device 10 may further include the data generation start time when the first device 10 started generating audio data.

더하여, 클라우드 서버(100)가 제1 장치(10)로부터 수신한 시작 대한 알림 메시지는, 제1 장치(10)가 생성한(생성을 시작한) 데이터의 고유정보(예: 이름, 식별코드 중 적어도 일부)를 더 포함할 수 있다.In addition, the notification message about the start received by the cloud server 100 from the first device 10 includes unique information (e.g., at least one of the name and identification code) of the data generated (started to be generated) by the first device 10. some) may be further included.

클라우드 서버(100)의 처리부(110)는, 상기 시작 알림 메시지를 수신하면 상기 제1 시작 지시 메시지 및 상기 제2 시작 지시 메시지를 생성(305)할 수 있다.When receiving the start notification message, the processing unit 110 of the cloud server 100 may generate the first start instruction message and the second start instruction message (305).

처리부(110)가 생성하는 제1 시작 지시 메시지 및 상기 제2 시작 지시 메시지는, 제1 장치(10) 및 제2 장치(20) 각각이 데이터 생성 시작 시각을 함께 저장하도록 지시하는 제어명령을 더 포함할 수 있다.The first start instruction message and the second start instruction message generated by the processing unit 110 further include a control command instructing each of the first device 10 and the second device 20 to store the data generation start time together. It can be included.

또한, 처리부(110)는 제1 시작 지시 메시지 및 제2 시작 지시 메시지를 생성하는 시점(시각)으로부터 지정된 시간 후의 시각에 제1 장치 및 제2 장치 각각으로 하여금 저장하는 오디오 데이터 또는 콘텐츠 데이터의 타임라인에 태그(tag)를 표시(또는 생성)하도록 지시하는 태그 생성 메시지를 생성할 수 있다.In addition, the processing unit 110 causes each of the first device and the second device to store the audio data or content data at a specified time from the point of time (time) of generating the first start instruction message and the second start instruction message. You can create a tag creation message that instructs to display (or create) a tag on a line.

예를 들면, 처리부(110)는, 제1 시작 지시 메시지 및/또는 상기 제2 시작 지시 메시지를 생성하는 시작 기준시각(13:37:32)으로부터 지정된 시간, 예를 들면 제1 시간(3초) 후인 제1 시각(13:37:35)에 태그를 생성하도록 지시하는 제1 태그 생성 메시지를 생성할 수 있다.For example, the processing unit 110 may select a designated time, for example, a first time (3 seconds) from the start reference time (13:37:32) for generating the first start instruction message and/or the second start instruction message. ) Later, at the first time (13:37:35), a first tag creation message instructing to create a tag may be generated.

시작 기준시각 및 제1 시각 사이의 제1 시간을 결정함에 있어서, 처리부(110)는 제1 장치(10) 및 제2 장치(20)와 연결된 네트워크의 통신 품질, 클라우드 서버(100)의 성능, 제1 장치(10)의 성능, 및/또는 제2 장치(20)의 성능 중 적어도 하나를 고려하여 결정할 수 있다.In determining the first time between the start reference time and the first time, the processing unit 110 determines the communication quality of the network connected to the first device 10 and the second device 20, the performance of the cloud server 100, The decision may be made by considering at least one of the performance of the first device 10 and/or the performance of the second device 20.

예를 들면, 통신 품질은, 속도, 대역폭, 및 지연시간 중 적어도 하나의 조건을 포함할 수 있다. 또한, 클라우드 서버(100)의 성능, 제1 장치(10)의 성능, 제2 장치(20)의 성능은, 처리부의 데이터 처리 속도, 메모리 크기 중 적어도 하나의 조건을 포함할 수 있다.For example, communication quality may include at least one of speed, bandwidth, and delay time. Additionally, the performance of the cloud server 100, the performance of the first device 10, and the performance of the second device 20 may include at least one condition of the data processing speed of the processing unit and the memory size.

처리부(110)는 통신 품질 및 장치들의 성능을 고려하여 지정된 시간 범위 내에서 제1 시간을 결정할 수 있다. 이때, 상술한 바에 따르면, 제1 시간은 태그 생성을 위한 지연 시간(delay time)으로서, 처리부(110)는 통신 품질이 낮을수록, 및/또는 장치의 성능이 낮을수록 제1 시간을 길게 결정할 수 있다.The processing unit 110 may determine the first time within a specified time range by considering communication quality and performance of devices. At this time, according to the above description, the first time is a delay time for tag generation, and the processing unit 110 may determine the first time to be longer as the communication quality is low and/or the performance of the device is low. there is.

예를 들면, 클라우드 서버(100)의 저장부(120)에는 장치들의 성능 및 통신 품질에 대하여 복수의 등급으로 구분된 데이터 테이블이 저장될 수 있다. 데이터 테이블은, 장치들의 성능 및/또는 통신 품질에 대하여 구분된 등급에 따라 지연 시간이 차등적으로 설정된 상태일 수 있다.For example, a data table divided into a plurality of levels regarding the performance and communication quality of devices may be stored in the storage unit 120 of the cloud server 100. In the data table, the delay time may be set differentially according to the classification of the performance and/or communication quality of the devices.

처리부(110)는 연결된 장치와의 통신 품질 및 장치들의 성능을 복수의 등급으로 구분할 수 있고, 클라우드 서버(100)의 성능이 해당되는 등급을 결정할 수 있다. 또한, 처리부(110)는 제1 장치(10) 및/또는 제2 장치(20)로부터 장치 성능에 대한 정보를 수신하고, 수신한 장치 성능에 대한 정보에 기반하여 제1 장치(10) 및/또는 제2 장치(20)의 성능이 해당되는 등급을 결정할 수 있다.The processing unit 110 can classify the quality of communication with connected devices and the performance of the devices into a plurality of grades, and determine the grade to which the performance of the cloud server 100 corresponds. In addition, the processing unit 110 receives information about device performance from the first device 10 and/or the second device 20, and processes the first device 10 and/or based on the received information about device performance. Alternatively, the performance of the second device 20 may determine the corresponding grade.

더하여, 처리부(110)는 통신부(130)와 제1 장치(10) 사이에 연결된 통신 품질을 판단하여 통신 품질에 해당되는 등급을 결정하고, 통신부(130)와 제2 장치(20) 사이에 연결된 통신 품질을 판단하여 통신 품질에 해당되는 등급을 결정할 수 있다.In addition, the processing unit 110 determines the communication quality connected between the communication unit 130 and the first device 10, determines a grade corresponding to the communication quality, and determines the level corresponding to the communication quality connected between the communication unit 130 and the second device 20. By judging the communication quality, the level corresponding to the communication quality can be determined.

처리부(110)는 각각의 장치들의 성능 및 통신 품질에 대하여 결정된 등급에 대응되는 지연 시간에 기반하여 상기 제1 시간을 결정할 수 있다.The processing unit 110 may determine the first time based on the delay time corresponding to the level determined for the performance and communication quality of each device.

상술한 조건들에 기반하여, 처리부(110)는 제1 시작 지시 메시지 및/또는 제2 시작 지시 메시지와 제1 태그 생성 메시지를 생성하는데 소요되는 시간, 클라우드 서버(100)로부터 송신된 시작 지시 메시지와 제1 태그 생성 메시지를 제1 장치(10) 및 제2 장치(20)가 수신하는데 소요되는 시간, 및 제1 장치(10) 및 제2 장치(20) 각각이 오디오 데이터 및 콘텐츠 데이터의 생성을 시작하는데 소요되는 시간 중 적어도 하나의 시간을 예측할 수 있고, 예측된 시간에 기반하여 제1 시간을 결정할 수 있다.Based on the above-mentioned conditions, the processing unit 110 determines the time required to generate the first start instruction message and/or the second start instruction message and the first tag generation message, and the start instruction message transmitted from the cloud server 100. and the time required for the first device 10 and the second device 20 to receive the first tag creation message, and the first device 10 and the second device 20 to generate audio data and content data, respectively. At least one time among the times required to start can be predicted, and the first time can be determined based on the predicted time.

즉, 처리부(110)는 예측한 시간에 기반하여 제1 장치(10)가 오디오 데이터 생성을 시작하고, 및 제2 장치(20)가 제2 시작 지시 메시지를 수신하여 콘텐츠 데이터 생성을 시작한 이후 시점에 제1 시각이 위치하도록 제1 시간을 결정할 수 있다.That is, the processing unit 110 determines the time after the first device 10 starts generating audio data based on the predicted time, and the second device 20 receives the second start instruction message and starts generating content data. The first time may be determined so that the first time is located at .

다시 설명하면, 처리부(110)는 오디오 데이터와 콘텐츠 데이터가 모두 생성 중인 상태에서 타임라인의 동일한 시점에 태그를 생성하도록 태그 생성 메시지를 생성할 수 있다.In other words, the processing unit 110 may generate a tag creation message to create a tag at the same point in the timeline while both audio data and content data are being created.

처리부(110)는, 제1 시작 지시 메시지 및/또는 상기 제2 시작 지시 메시지를 생성하는 시작 기준시각 이전에 제1 시간을 결정하기 위한 연산을 시작할 수 있다.The processing unit 110 may start an operation to determine the first time before the start reference time for generating the first start instruction message and/or the second start instruction message.

더하여, 처리부(110)는 둘 이상의 태그 생성 메시지를 제1 시작 지시 메시지 및 상기 제2 시작 지시 메시지에 포함할 수 있다. 예를 들면, 처리부(110)는 시작 기준시각으로부터 제2 시간(8초) 후인 제2 시각(13:37:40)에 태그를 생성하도록 지시하는 제2 태그 생성 메시지를 생성할 수 있다.In addition, the processing unit 110 may include two or more tag creation messages in the first start instruction message and the second start instruction message. For example, the processing unit 110 may generate a second tag creation message instructing to generate a tag at a second time (13:37:40), a second time (8 seconds) after the start reference time.

처리부(110)는 시작 기준시각 및 제2 시각 사이의 제2 시간을 결정함에 있어서, 제1 시간보다 길고 지정된 시간 범위 이내의 시간으로 결정할 수 있다. 또한, 처리부(110)는 제2 시간을 결정함에 있어서, 제1 시간을 결정하는 동작과 동일 또는 유사한 방법에 기반하여 결정할 수 있다.When determining the second time between the start reference time and the second time, the processing unit 110 may determine it to be longer than the first time and within a specified time range. Additionally, when determining the second time, the processing unit 110 may determine it based on the same or similar method as the operation for determining the first time.

더하여, 처리부(110)는 태그 생성 메시지를 생성함에 있어서, 태그를 생성하는 제1 장치(10) 및 제2 장치로 하여금 태그를 생성한 시각을 함께 저장하도록 구성할 수 있다. In addition, when generating a tag creation message, the processing unit 110 may configure the first device 10 and the second device that generates the tag to store the tag creation time together.

클라우드 서버(100)의 처리부(110)는 상기 제1 시작 지시 메시지를 상기 제1 장치에 전달하고, 및 상기 제2 시작 지시 메시지를 상기 제2 장치에 전달할 수 있다.The processing unit 110 of the cloud server 100 may transmit the first start instruction message to the first device and the second start instruction message to the second device.

처리부(110)는 제1 태그 생성 메시지 및/또는 제2 태그 생성 메시지를 제1 시작 지시 메시지 및 제2 시작 지시 메시지와 함께 제1 장치(10) 및 제2 장치(20)에 송신(307)할 수 있다.The processing unit 110 transmits the first tag creation message and/or the second tag creation message to the first device 10 and the second device 20 along with the first start instruction message and the second start instruction message (307) can do.

더하여, 처리부(110)는 제1 태그 생성 메시지 및/또는 제2 태그 생성 메시지를 제1 시작 지시 메시지 및 제2 시작 지시 메시지에 포함하여 제1 장치(10) 및 제2 장치(20)에 송신할 수 있다. In addition, the processing unit 110 transmits the first tag creation message and/or the second tag creation message to the first device 10 and the second device 20 by including them in the first start instruction message and the second start instruction message. can do.

더하여, 처리부(110)가 제1 시작 지시 메시지 및 상기 제2 시작 지시 메시지를 하나의 통합 시작 지시 메시지로서 송신하는 경우, 처리부(110)는 제1 태그 생성 메시지 및/또는 제2 태그 생성 메시지를 통합 시작 지시 메시지에 포함하여 송신하거나 또는 통합 지시 메시지와 함께 송신할 수 있다.In addition, when the processing unit 110 transmits the first start instruction message and the second start instruction message as one integrated start instruction message, the processor 110 sends the first tag creation message and/or the second tag creation message. It can be transmitted by including it in the integration start instruction message or it can be transmitted together with the integration instruction message.

다시 도 2로 돌아가서, (b) 단계(203)를 설명하면, 클라우드 서버(100)는 상기 제1 장치로 하여금 상기 오디오 데이터의 생성을 종료하도록 지시하는 제1 종료 지시 메시지를 상기 제1 장치에 전달하고, 상기 제2 장치로 하여금 상기 콘텐츠 데이터의 생성을 종료하도록 지시하는 제2 종료 지시 메시지를 상기 제2 장치에 전달할 수 있다.Going back to FIG. 2 and explaining step 203 (b), the cloud server 100 sends a first end instruction message to the first device to instruct the first device to end generation of the audio data. A second termination instruction message instructing the second device to terminate generation of the content data may be transmitted to the second device.

여기서, 처리부(110)는 제1 종료 지시 메시지 및/또는 제2 종료 지시 메시지를 송신함에 있어서, 제1 종료 지시 메시지와 제2 종료 지시 메시지를 별도의 데이터로 각각의 해당하는 장치에 전송하거나, 또는 하나의 데이터로서 제1 장치(10) 및 제2 장치(20)에 송신할 수 있다.Here, when transmitting the first termination instruction message and/or the second termination instruction message, the processing unit 110 transmits the first termination instruction message and the second termination instruction message as separate data to each corresponding device, or Alternatively, it can be transmitted to the first device 10 and the second device 20 as one piece of data.

예를 들어, 처리부(110)는 제1 종료 지시 메시지를 제1 장치(10)에 송신하고 제2 종료 지시 메시지를 제2 장치(20)에 각각 송신할 수 있을 뿐만 아니라, 제1 종료 지시 메시지와 제2 종료 지시 메시지를 포함하여 구성된 하나의 데이터를 제1 장치(10) 및 제2 장치(20)에 송신할 수 있다.For example, the processing unit 110 may transmit a first termination instruction message to the first device 10 and a second termination instruction message to the second device 20, as well as send the first termination instruction message to the second device 20. and a second termination instruction message can be transmitted to the first device 10 and the second device 20.

여기서, 처리부(110)는 제1 종료 지시 메시지 및 제2 종료 지시 메시지를 생성하고 제1 장치(10) 및 제2 장치(20)에 송신하는 동작을 수행함에 있어서, 처리부(110)는 제1 장치(10) 또는 제2 장치(20)로부터 수신하는 데이터 생성 종료와 관련된 알림 메시지(종료 알림 메시지)에 대응하여 수행할 수 있다.Here, the processing unit 110 generates a first termination instruction message and a second termination instruction message and transmits them to the first device 10 and the second device 20. It can be performed in response to a notification message related to the end of data generation (end notification message) received from the device 10 or the second device 20.

먼저, 클라우드 서버(100)의 처리부(110)는 상기 제1 장치의 오디오 데이터 생성 종료에 대한 종료 알림 메시지(313)를 상기 제1 장치로부터 수신하거나, 또는 상기 제2 장치의 콘텐츠 데이터 생성 종료에 대한 종료 알림 메시지를 상기 제2 장치로부터 수신할 수 있다.First, the processing unit 110 of the cloud server 100 receives a termination notification message 313 regarding the termination of audio data generation of the first device from the first device, or upon termination of content data generation of the second device. A termination notification message may be received from the second device.

일 실시 예에 따르면, 제1 장치(10)는 오디오 데이터의 생성을 종료(311)할 수 있다. 예를 들면, 제1 장치(10)는 예약 설정된 동작에 따라서 지정된 시각에 오디오 데이터의 생성을 종료할 수 있다. 다른 예로, 제1 장치(10)는 사용자 입력에 기반하여 오디오 데이터의 생성을 종료할 수 있다.According to one embodiment, the first device 10 may end generation of audio data (311). For example, the first device 10 may end the generation of audio data at a designated time according to a reserved operation. As another example, the first device 10 may end generation of audio data based on user input.

제1 장치(10)는 오디오 데이터의 생성 종료를 위한 사용자 입력을 확인하거나, 및/또는 오디오 데이터의 생성을 종료한 것을 확인하면, 이에 대응하여 오디오 데이터 생성 종료에 대한 종료 알림 메시지(313)를 클라우드 서버(100)에 송신할 수 있다.When the first device 10 confirms a user input for ending generation of audio data and/or confirms that generation of audio data has ended, it sends a termination notification message 313 for ending generation of audio data in response. It can be transmitted to the cloud server 100.

클라우드 서버(100)가 제1 장치(10)로부터 종료 알림 메시지는, 제1 장치(10)가 오디오 데이터 생성을 종료한 데이터 생성 종료 시각을 더 포함할 수 있다.The termination notification message from the cloud server 100 from the first device 10 may further include the data generation end time when the first device 10 ends generating audio data.

더하여, 클라우드 서버(100)가 제1 장치(10)로부터 수신한 종료 알림 메시지는, 제1 장치(10)가 생성한(생성을 종료한) 데이터의 고유정보를 더 포함할 수 있다.In addition, the termination notification message received by the cloud server 100 from the first device 10 may further include unique information about data generated (creation has ended) by the first device 10.

클라우드 서버(100)의 처리부(110)는, 상기 종료 알림 메시지를 수신하면 상기 제1 종료 지시 메시지 및 상기 제2 종료 지시 메시지를 생성(315)할 수 있다.When receiving the termination notification message, the processing unit 110 of the cloud server 100 may generate the first termination instruction message and the second termination instruction message (315).

처리부(110)가 생성하는 제1 종료 지시 메시지 및 상기 제2 종료 지시 메시지는, 제1 장치(10) 및 제2 장치(20) 각각이 데이터 생성 종료 시각을 함께 저장하도록 지시하는 제어명령을 더 포함할 수 있다.The first end instruction message and the second end instruction message generated by the processing unit 110 further include a control command instructing each of the first device 10 and the second device 20 to store the data generation end time together. It can be included.

또한, 처리부(110)는 제1 종료 지시 메시지 및 제2 종료 지시 메시지를 생성하는 시점(시각)으로부터 지정된 시간 전의 시각에 제1 장치 및 제2 장치 각각으로 하여금 저장하는 오디오 데이터 또는 콘텐츠 데이터의 타임라인에 태그(tag)를 표시(또는 생성)하도록 지시하는 태그 생성 메시지를 생성할 수 있다.In addition, the processing unit 110 causes each of the first device and the second device to store the audio data or content data at a specified time before the time point (time) of generating the first end instruction message and the second end instruction message. You can create a tag creation message that instructs to display (or create) a tag on a line.

예를 들면, 처리부(110)는, 제1 종료 지시 메시지 및/또는 상기 제2 종료 지시 메시지를 생성하는 제3 시각(13:47:22)으로부터 지정된 시간, 예를 들면, 제3 시간(2초) 전인 제3 시각(13:47:20)에 태그를 생성하도록 지시하는 제3 태그 생성 메시지를 생성할 수 있다.For example, the processing unit 110 generates the first end instruction message and/or the second end instruction message at a designated time from the third time (13:47:22), for example, the third time (2 A third tag creation message instructing to create a tag can be generated at the third time (13:47:20) seconds before.

제3 시각 및 제3 시각 사이의 제3 시간을 결정함에 있어서, 처리부(110)는 제1 장치(10) 및 제2 장치(20)와 연결된 네트워크의 통신 품질, 클라우드 서버(100)의 성능, 제1 장치(10)의 성능, 및/또는 제2 장치(20)의 성능 중 적어도 하나를 고려하여 결정할 수 있다.In determining the third time between the third time and the third time, the processing unit 110 determines the communication quality of the network connected to the first device 10 and the second device 20, the performance of the cloud server 100, The decision may be made by considering at least one of the performance of the first device 10 and/or the performance of the second device 20.

즉, 상술한 바와 같이, 처리부(110)는 제1 시간 및 제2 시간을 결정하는 동작과 동일 또는 유사한 방법에 기반하여 제3 시간을 결정할 수 있다.That is, as described above, the processing unit 110 may determine the third time based on the same or similar method as the operation for determining the first time and the second time.

예를 들면, 처리부(110)는 제1 장치(10)가 송신한 제1 종료 알림 메시지를 클라우드 서버(100)가 수신하는데 소요된 시간, 제1 종료 지시 메시지 및/또는 제2 종료 지시 메시지와 제3 태그 생성 메시지를 생성하는데 소요되는 시간, 클라우드 서버(100)로부터 송신된 종료 지시 메시지와 제3 태그 생성 메시지를 제1 장치(10) 및 제2 장치(20)가 수신하는데 소요되는 시간, 및 제1 장치(10) 및 제2 장치(20) 각각이 오디오 데이터 및 콘텐츠 데이터의 생성을 종료하는데 소요되는 시간 중 적어도 하나의 시간을 예측할 수 있고, 예측된 시간에 기반하여 제3 시간을 결정할 수 있다.For example, the processing unit 110 may calculate the time taken for the cloud server 100 to receive the first termination notification message transmitted by the first device 10, the first termination instruction message, and/or the second termination instruction message, and The time required to generate the third tag creation message, the time required for the first device 10 and the second device 20 to receive the termination instruction message and the third tag creation message transmitted from the cloud server 100, and each of the first device 10 and the second device 20 can predict at least one time of the time it takes to finish generating audio data and content data, and determine a third time based on the predicted time. You can.

즉, 처리부(110)는 예측한 시간에 기반하여 제1 장치(10)가 오디오 데이터 생성을 종료하고, 및 제2 장치(20)가 제2 종료 지시 메시지를 수신하여 콘텐츠 데이터 생성을 시작한 이전 시점에 제3 시각이 위치하도록 제3 시간을 결정할 수 있다.That is, the processing unit 110 determines the time before the first device 10 ends generating audio data based on the predicted time and the second device 20 receives the second end instruction message and starts generating content data. The third time can be determined so that the third time is located at .

더하여, 제1 장치(10)로부터 수신한 종료 알림 메시지에 제1 장치(10)가 오디오 데이터의 생성을 종료한 시각이 포함된 경우, 처리부(110)는 제1 장치(10)가 오디오 데이터의 생성을 종료한 시각 이전 시점에 제3 시각이 위치하도록 제3 시간을 결정할 수 있다.In addition, when the end notification message received from the first device 10 includes the time when the first device 10 finished generating the audio data, the processing unit 110 determines whether the first device 10 will complete the generation of the audio data. The third time can be determined so that the third time is located before the end time of creation.

더하여, 처리부(110)는 상술한 바와 마찬가지로, 둘 이상의 태그 생성 메시지를 제1 종료 지시 메시지 및 상기 제2 종료 지시 메시지에 포함할 수 있다. 예를 들면, 처리부(110)는 제3 시각으로부터 제4 시간(7초) 전인 제4 시각(13:47:15)에 태그를 생성하도록 지시하는 제4 태그 생성 메시지를 생성할 수 있다.In addition, as described above, the processing unit 110 may include two or more tag creation messages in the first termination instruction message and the second termination instruction message. For example, the processing unit 110 may generate a fourth tag creation message instructing to create a tag at the fourth time (13:47:15), which is a fourth time (7 seconds) before the third time.

처리부(110)는 제4 시간을 결정함에 있어서, 제3 시간보다 길고 지정된 시간 범위 이내의 시간으로 결정할 수 있다. 또한, 처리부(110)는 제4 시간을 결정함에 있어서, 제3 시간을 결정하는 동작과 동일 또는 유사한 방법에 기반하여 결정할 수 있다.When determining the fourth time, the processing unit 110 may determine it to be longer than the third time and within a specified time range. Additionally, when determining the fourth time, the processing unit 110 may determine it based on the same or similar method as the operation for determining the third time.

또한, 처리부(110)는 종료 지시 메시지의 태그 생성 메시지를 생성함에 있어서, 시작 지시 메시지의 태그 생성 메시지의 태그 생성 시각에 기반하여 생성할 수 있다.Additionally, when generating the tag creation message of the end instruction message, the processor 110 may generate it based on the tag creation time of the tag creation message of the start instruction message.

예를 들면, 처리부(110)는 제3 시각에 태그를 생성하도록 지시하는 제3 태그 생성 메시지를 생성함에 있어서, 제1 태그 생성 메시지의 제1 시각으로부터 제3 시각 까지의 시간(제5 시간) 및/또는 제2 태그 생성 메시지의 제2 시각으로부터 제3 시각 까지의 시간(제6 시간)을 제3 태그 생성 메시지에 포함할 수 있다.For example, when the processing unit 110 generates a third tag creation message instructing to generate a tag at a third time, the time from the first time of the first tag creation message to the third time (the fifth time) And/or the time from the second time to the third time of the second tag creation message (sixth time) may be included in the third tag creation message.

처리부(110)는 제4 태그를 추가로 생성하는 경우, 제4 태그 생성 메시지를 생성함에 있어서, 제1 태그 생성 명령의 제1 시각으로부터 제4 시각 까지의 시간(제7 시간) 및/또는 제2 태그 생성 명령의 제2 시각으로부터 제4 시각 까지의 시간(제8 시간)을 제4 태그 생성 메시지에 포함할 수 있다.When additionally generating a fourth tag, the processing unit 110 generates a fourth tag creation message by using the time from the first time to the fourth time of the first tag creation command (the seventh time) and/or the fourth time. 2 The time from the second time of the tag creation command to the fourth time (the eighth time) may be included in the fourth tag creation message.

클라우드 서버(100)의 처리부(110)는 상기 제1 종료 지시 메시지를 상기 제1 장치에 전달하고, 및 상기 제2 종료 지시 메시지를 상기 제2 장치에 전달할 수 있다.The processing unit 110 of the cloud server 100 may transmit the first termination instruction message to the first device and the second termination instruction message to the second device.

처리부(110)는 제3 태그 생성 메시지 및/또는 제4 태그 생성 메시지를 제1 종료 지시 메시지 및 제2 종료 지시 메시지와 함께 제1 장치(10) 및 제2 장치(20)에 송신(317)할 수 있다.The processing unit 110 transmits the third tag creation message and/or the fourth tag creation message to the first device 10 and the second device 20 along with the first termination instruction message and the second termination instruction message (317). can do.

더하여, 처리부(110)는 제3 태그 생성 메시지 및/또는 제4 태그 생성 메시지를 제1 종료 지시 메시지 및 제2 종료 지시 메시지에 포함하여 제1 장치(10) 및 제2 장치(20)에 송신할 수 있다.In addition, the processing unit 110 transmits the third tag creation message and/or the fourth tag creation message to the first device 10 and the second device 20 by including them in the first termination instruction message and the second termination instruction message. can do.

더하여, 처리부(110)가 제1 종료 지시 메시지 및 상기 제2 종료 지시 메시지를 하나의 통합 종료 지시 메시지로서 송신하는 경우, 처리부(110)는 제3 태그 생성 메시지 및/또는 제4 태그 생성 메시지를 통합 종료 지시 메시지에 포함하여 송신하거나 또는 통합 종료 지시 메시지와 함께 송신할 수 있다.In addition, when the processing unit 110 transmits the first termination instruction message and the second termination instruction message as one integrated termination instruction message, the processing unit 110 sends a third tag creation message and/or a fourth tag creation message. It can be transmitted by including it in the integrated end instruction message or it can be transmitted together with the integrated end instruction message.

다시 도 2로 돌아가서, (c) 단계(205)를 설명하면, 클라우드 서버(100)의 처리부(110)는 상기 제1 장치로부터 송신된 상기 오디오 데이터를 수신(321)하고, 상기 제2 장치로부터 송신된 상기 콘텐츠 데이터를 수신(323)할 수 있다.Returning to FIG. 2, explaining step (c) 205, the processing unit 110 of the cloud server 100 receives (321) the audio data transmitted from the first device, and receives (321) the audio data transmitted from the second device. The transmitted content data may be received (323).

이후, (d) 단계(207)에서, 클라우드 서버(100)의 처리부(110)는 상기 오디오 데이터와 상기 콘텐츠 데이터를 결합하여 하나의 타임라인을 가지는 통합 데이터를 생성(325)할 수 있다.Thereafter, in step (d) 207, the processing unit 110 of the cloud server 100 may combine the audio data and the content data to generate integrated data with one timeline (325).

이와 관련하여, 도 4를 참고하여 상세하게 설명한다.In this regard, it will be described in detail with reference to FIG. 4.

도 4는 본 발명의 일 실시 예에 따른 제1 장치가 생성한 오디오 데이터, 제2 장치가 생성한 콘텐츠 데이터, 클라우드 서버가 생성한 통합 미디어 데이터 및 각각의 타임라인을 도시한다.Figure 4 shows audio data generated by a first device, content data generated by a second device, integrated media data generated by a cloud server, and respective timelines according to an embodiment of the present invention.

도 4에서, 클라우드 서버(100), 제1 장치(10), 및 제2 장치(20)가 시간 동기화를 수행함으로써 사용하는 시간대는 T로 표현하고, 시간대 내의 특정 시점을 t로 표현할 수 있다.In FIG. 4, the time zone used by the cloud server 100, the first device 10, and the second device 20 by performing time synchronization can be expressed as T, and a specific point in the time zone can be expressed as t.

이에 따라, 제1 장치(10)가 오디오 데이터(401)의 생성을 시작한 시점은 기준시점(0t, 또는 0)으로 표현할 수 있다. 제2 장치(20)가 콘텐츠 데이터(403)의 생성을 시작한 시점은 제1 시점(1t)으로 표현할 수 있다. 제1 장치(10)가 오디오 데이터(401)에 제1 태그를 생성한 시점 및 제2 장치(20)가 콘텐츠 데이터(403)에 제1 태그를 생성한 시점은 제2 시점(2t)로 표현할 수 있다. 제1 장치(10)가 오디오 데이터(401)에 제3 태그를 생성한 시점 및 제2 장치(20)가 콘텐츠 데이터(403)에 제3 태그를 생성한 시점은 제3 시점(3t)로 표현할 수 있다. 제1 장치(10)가 오디오 데이터(401)의 생성을 종료한 시점은 제4 시점(4t)로 표현할 수 있다. 제2 장치(20)가 콘텐츠 데이터(403)의 생성을 종료한 시점은 제5 시점(5t)로 표현할 수 있다.Accordingly, the time when the first device 10 starts generating the audio data 401 can be expressed as a reference time (0t, or 0). The point in time when the second device 20 starts generating the content data 403 can be expressed as the first point in time (1t). The time when the first device 10 creates the first tag in the audio data 401 and the time when the second device 20 creates the first tag in the content data 403 are expressed as the second time point 2t. You can. The time when the first device 10 creates the third tag in the audio data 401 and the time when the second device 20 creates the third tag in the content data 403 are expressed as the third time point 3t. You can. The point in time when the first device 10 ends generating the audio data 401 can be expressed as the fourth time point 4t. The point in time when the second device 20 ends generating the content data 403 can be expressed as the fifth time point 5t.

상술한 바와 같이 오디오 데이터(401) 및 콘텐츠 데이터(403) 각각은 동일한 시점에 생성된 적어도 하나의 태그(제1 태그 및/또는 제3 태그)를 포함할 수 있다.As described above, each of the audio data 401 and the content data 403 may include at least one tag (a first tag and/or a third tag) created at the same time.

처리부(110)는 오디오 데이터(401)의 타임라인에 표시된 태그들과 콘텐츠 데이터(403)의 타임라인에 표시된 태그들이 일치하도록(또는 일대일(1:1) 대응되도록) 오디오 데이터(401)의 타임라인과 콘텐츠 데이터(403)의 타임라인을 배치하고, 배치된 오디오 데이터(401)의 타임라인과 콘텐츠 데이터(403)의 타임라인 결합하여 하나의 타임라인(이하, 통합된 타임라인)을 생성할 수 있다.The processing unit 110 controls the timing of the audio data 401 so that the tags displayed on the timeline of the audio data 401 and the tags displayed on the timeline of the content data 403 match (or correspond one-to-one (1:1)). The timeline of the line and the content data 403 are placed, and the timeline of the placed audio data 401 and the timeline of the content data 403 are combined to create a single timeline (hereinafter, an integrated timeline). You can.

처리부(110)는 통합된 타입라인에 기반하여 오디오 데이터(401)의 오디오와 콘텐츠 데이터(403)의 콘텐츠를 결합한 통합 미디어 데이터(405)를 생성할 수 있다.The processing unit 110 may generate integrated media data 405 that combines the audio of the audio data 401 and the content of the content data 403 based on the integrated type line.

통합 미디어 데이터(405)의 타임라인을 살펴보면, 오디오 데이터(401)의 기준시점과 콘텐츠 데이터(403)의 제5 시점을 모두 포함하는 것을 확인할 수 있다.Looking at the timeline of the integrated media data 405, it can be seen that it includes both the reference time point of the audio data 401 and the fifth time point of the content data 403.

이때, 처리부(110)는 통합 미디어 데이터(405)의 통합된 타임라인을 추출하여 독립된 데이터(이하, 통합된 타임라인 데이터)로 저장할 수 있다.At this time, the processing unit 110 may extract the integrated timeline of the integrated media data 405 and store it as independent data (hereinafter, integrated timeline data).

뿐만 아니라, 처리부(110)는 오디오 데이터(401)의 오디오 타임라인을 추출하여 오디오 타임라인 데이터로 저장하고, 콘텐츠 데이터(403)의 콘텐츠 타임라인을 추출하여 콘텐츠 타임라인 데이터로 저장할 수 있다.In addition, the processing unit 110 may extract the audio timeline of the audio data 401 and store it as audio timeline data, and extract the content timeline of the content data 403 and store it as content timeline data.

여기서, 처리부(110)가 오디오 데이터(401) 및/또는 콘텐츠 데이터(403)로부터 타임라인 데이터를 추출하는 동작은 (c) 단계(205)에서 수행할 수 있다. 하지만, 이에 한정하지 않고, 타임라인 데이터가 요구되는 때에 선택적으로 수행될 수도 있을 것이다.Here, the processing unit 110 may perform the operation of extracting timeline data from the audio data 401 and/or content data 403 in step 205 (c). However, it is not limited to this, and may be selectively performed when timeline data is required.

처리부(110)는 통합 미디어 데이터(405)를 생성하는 방법과 동일 또는 유사한 동작을 수행하여 오디오 타임라인 데이터와 콘텐츠 타임라인 데이터를 결합한 통합 미디어 타임라인 데이터를 생성할 수도 있다.The processing unit 110 may perform the same or similar operation as the method for generating the integrated media data 405 to generate integrated media timeline data that combines audio timeline data and content timeline data.

통합된 타임라인 데이터는, 통합된 타임라인에 기반하여 오디오 데이터(401)의 타임라인 정보, 콘텐츠 데이터(403)의 타임라인 정보, 통합 미디어 데이터(405)의 러닝타임 중 적어도 일부를 포함하여 구성될 수 있다.The integrated timeline data includes at least a portion of the timeline information of the audio data 401, the timeline information of the content data 403, and the running time of the integrated media data 405 based on the integrated timeline. It can be.

오디오 데이터(401)의 타임라인 정보는 오디오의 러닝타임, 러닝타임에 기반하는 타임라인에서 적어도 하나의 태그가 표시된 시점에 대한 정보 중 적어도 일부를 포함할 수 있다.The timeline information of the audio data 401 may include at least some of the running time of the audio and information about when at least one tag is displayed in the timeline based on the running time.

콘텐츠 데이터(403)의 타임라인 정보는 콘텐츠의 러닝타임, 러닝타임에 기반하는 타임라인에서 적어도 하나의 태그가 표시된 시점에 대한 정보 중 적어도 일부를 포함할 수 있다.The timeline information of the content data 403 may include at least part of the running time of the content and information about when at least one tag is displayed in the timeline based on the running time.

오디오 데이터 및 콘텐츠 데이터 각각에 태그 생성 시각이 기록된 경우, 처리부(110)는 오디오 데이터(401)의 타임라인에 표시된 태그들과 콘텐츠 데이터(403)의 타임라인에 표시된 태그들의 태그 생성 시각을 확인하고, 동일한 태그 생성 시각을 가지는 태그들이 일치하도록 통합 미디어 데이터를 생성할 수 있다.When the tag creation time is recorded in each of the audio data and content data, the processing unit 110 checks the tag creation time of the tags displayed on the timeline of the audio data 401 and the tags displayed on the timeline of the content data 403. And, integrated media data can be generated so that tags with the same tag creation time match.

오디오 데이터(401)의 타임라인과 콘텐츠 데이터(403)의 타임라인 각각에 하나의 태그만 표시된 경우, 처리부(110)는 동일한 시각에 생성된 태그들을 일치하도록 통합 미디어 데이터를 생성함으로써, 오디오와 콘텐츠의 싱크를 맞출 수 있다.When only one tag is displayed in each of the timeline of the audio data 401 and the timeline of the content data 403, the processing unit 110 generates integrated media data to match the tags created at the same time, so that the audio and content can be in sync.

처리부(110)는 (d) 단계(207)를 수행하면, 도 2의 동작을 종료할 수 있다.When the processing unit 110 performs step 207 (d), the operation of FIG. 2 can be completed.

더하여, 도 2를 통하여 도시하지는 않지만, 처리부(110)는 생성된 통합 미디어 데이터(405) 또는 통합된 타임라인 데이터를 제1 장치(10) 및/또는 제2 장치(20)에 송신할 수 있다.In addition, although not shown in FIG. 2, the processing unit 110 may transmit the generated integrated media data 405 or integrated timeline data to the first device 10 and/or the second device 20. .

이때, 통합 미디어 데이터(405) 또는 통합된 타임라인 데이터의 송신은 제1 장치(10) 및/또는 제2 장치(20)의 요청에 대응하여 수행될 수 있다.At this time, transmission of the integrated media data 405 or integrated timeline data may be performed in response to a request from the first device 10 and/or the second device 20.

도 3은 본 발명의 일 실시 예에 따른 클라우드 서버 및 클라우드 서버를 포함하는 시스템의 동작을 설명하는 흐름도이다.Figure 3 is a flowchart explaining the operation of a cloud server and a system including the cloud server according to an embodiment of the present invention.

시스템(300)은 클라우드 서버(100)를 포함하여 구성되며, 클라우드 서버(100)와 통신하는 적어도 하나의 외부 장치를 더 포함하여 구성될 수 있다.The system 300 includes a cloud server 100 and may further include at least one external device that communicates with the cloud server 100.

도 3에 따르면, 시스템(500)은 클라우드 서버(100), 오디오 데이터를 생성하는 제1 장치(10), 및 콘텐츠 데이터를 생성하는 제2 장치(20)를 포함하여 구성될 수 있다.According to FIG. 3, the system 500 may be configured to include a cloud server 100, a first device 10 that generates audio data, and a second device 20 that generates content data.

이하, 도 3을 참고하여, 오디오 데이터를 생성하고 생성한 오디오 데이터를 클라우드 서버(100)에 송신하는 제1 장치(10), 콘텐츠 데이터를 생성하고 생성한 콘텐츠 데이터를 클라우드 서버(100)에 송신하는 제2 장치(20), 및 오디오 데이터와 콘텐츠 데이터를 수신하여 하나의 통합 미디어 데이터를 생성하는 클라우드 서버(100)의 동작들을 시간의 흐름에 따라서 보다 상세하게 설명한다.Hereinafter, with reference to FIG. 3, a first device 10 generates audio data and transmits the generated audio data to the cloud server 100, generates content data, and transmits the generated content data to the cloud server 100. The operations of the second device 20 and the cloud server 100 that receive audio data and content data and generate one integrated media data will be described in more detail over time.

먼저, 제1 장치(10)는 사용자 입력 또는 기 설정된 조건에 따라서 오디오 데이터의 생성을 시작(301)할 수 있다. 제1 장치(10)의 설정 정보에는, 제1 장치(10)가 오디오 데이터 생성을 시작하면 오디오 데이터 생성 시작에 대한 알림 메시지를 생성하고, 생성한 오디오 데이터 생성 시작에 대한 알림 메시지를 지정된 장치(예: 클라우드 서버(100))에 전송하도록 설정된 상태일 수 있다.First, the first device 10 may start generating audio data according to user input or preset conditions (301). The setting information of the first device 10 includes: When the first device 10 starts generating audio data, it generates a notification message about the start of audio data generation, and sends a notification message about the start of generation of the generated audio data to the designated device ( Example: It may be set to transmit to a cloud server 100).

제1 장치(10)는 오디오 데이터의 생성을 시작하면 오디오 데이터 생성 시작에 대한 알림 메시지를 생성하고, 생성한 오디오 데이터 생성 시작에 대한 알림 메시지(303)를 클라우드 서버(100)에 송신할 수 있다.When the first device 10 starts generating audio data, it can generate a notification message about the start of audio data generation and transmit a notification message 303 about the start of generating audio data to the cloud server 100. .

클라우드 서버(100)는 제1 장치(10)로부터 오디오 데이터 생성 시작에 대한 알림 메시지를 수신하면, 수신한 데이터 생성 시작에 대한 알림 메시지에 대응하여 제1 시작 지시 메시지 및 제2 시작 지시 메시지를 생성(305)할 수 있다.When the cloud server 100 receives a notification message about the start of audio data generation from the first device 10, the cloud server 100 generates a first start instruction message and a second start instruction message in response to the received notification message about the start of data generation. (305)You can.

클라우드 서버(100)는, 생성한, 제1 시작 지시 메시지를 제1 장치(10)에 전달하고, 생성한 제2 시작 지시 메시지를 제2 장치(20)에 송신(307)할 수 있다.The cloud server 100 may transmit the generated first start instruction message to the first device 10 and transmit the generated second start instruction message to the second device 20 (307).

시작 지시 메시지를 획득한 제1 장치(10) 및 제2 장치(20)는 각각 오디오 데이터 또는 콘텐츠 데이터의 생성을 시작할 수 있다.The first device 10 and the second device 20 that have obtained the start instruction message may start generating audio data or content data, respectively.

예를 들면, 제1 장치(10)는 수신한 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 기반하여 오디오 데이터의 생성을 시작할 수 있다.For example, the first device 10 may start generating audio data based on the received first start instruction message or integrated start instruction message.

이때, 상술한 바에 따르면, 제1 장치(10)는 이미 오디오 데이터를 생성 중인 상태(오디오 데이터의 생성을 시작하고 오디오 데이터의 생성이 종료되지 않은 상태)로서, 클라우드 서버(100)로부터 수신한 제1 시작 지시 메시지를 무시할(수행하지 않을) 수 있다.At this time, according to the above-mentioned, the first device 10 is already in a state of generating audio data (a state in which the generation of audio data has started and the generation of the audio data has not ended), and the first device 10 is in a state in which the first device 10 is already generating audio data 1 You can ignore (not perform) the startup instruction message.

다른 실시 예에 따르면, 제1 장치(10)가 수신한 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 오디오 데이터(제1 장치(10)가 생성을 시작한 오디오 데이터)의 고유정보가 포함될 수 있다.According to another embodiment, the first start instruction message or the integrated start instruction message received by the first device 10 may include unique information about audio data (audio data that the first device 10 has started generating).

제1 장치(10)는 오디오 데이터의 고유정보를 확인하면, 제1 장치에서 생성 중인 오디오 데이터의 고유정보와 비교할 수 있다.When the first device 10 confirms the unique information of the audio data, it can compare it with the unique information of the audio data being generated by the first device.

제1 장치(10)는 생성 중인 오디오 데이터의 고유정보와 클라우드 서버(100)로부터 수신한 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 포함된 고유정보가 동일하면, 클라우드 서버(100)로부터 수신한 제1 시작 지시 메시지를 무시할(수행하지 않을) 수 있다.If the unique information of the audio data being generated and the unique information included in the first start instruction message or integrated start instruction message received from the cloud server 100 are the same, the first device 10 receives the first device 100 from the cloud server 100. The first start instruction message may be ignored (not performed).

반면, 제1 장치(10)는 생성 중인 오디오 데이터의 고유정보와 클라우드 서버(100)로부터 수신한 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 포함된 고유정보와 동일하지 않으면, 생성 중인 오디오 데이터의 생성을 종료하고, 클라우드 서버(100)로부터 수신한 제1 시작 지시 메시지에 따라서, 오디오 데이터의 생성을 시작할 수 있다.On the other hand, if the unique information of the audio data being generated is not the same as the unique information included in the first start instruction message or the integrated start instruction message received from the cloud server 100, the first device 10 may select the audio data being generated. Generation may be terminated, and generation of audio data may be started according to the first start instruction message received from the cloud server 100.

제1 장치(10)는 오디오 데이터의 생성을 시작하는 경우, 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 포함된 고유정보에 기반하여 오디오 데이터의 이름을 결정할 수 있다.When starting to generate audio data, the first device 10 may determine the name of the audio data based on unique information included in the first start instruction message or the integrated start instruction message.

제2 장치(20)는 수신한 제2 시작 지시 메시지 또는 통합 시작 지시 메시지에 기반하여 콘텐츠 데이터의 생성을 시작(309)할 수 있다.The second device 20 may start generating content data based on the received second start instruction message or integrated start instruction message (309).

이때, 제2 장치(20)는 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 포함된 고유정보에 기반하여 콘텐츠 데이터의 이름을 결정할 수 있다.At this time, the second device 20 may determine the name of the content data based on unique information included in the first start instruction message or the integrated start instruction message.

제1 장치(10) 및 제2 장치(20)는 각각 수신한 시작 지시 메시지로부터 적어도 하나의 태그 생성 메시지를 획득(또는 시작 지시 메시지와 함께 태그 생성 메시지를 수신)하고, 데이터(오디오 데이터 또는 콘텐츠 데이터)의 타임라인에 태그를 생성(및/또는 표시)할 수 있다.The first device 10 and the second device 20 each obtain at least one tag creation message from the received start instruction message (or receive a tag creation message together with the start instruction message) and generate data (audio data or content You can create (and/or display) tags on the timeline of your data.

예를 들면, 제1 장치(10)가 수신한 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 태그 생성 메시지가 포함된 경우, 제1 장치(10)는, 오디오 데이터의 생성 중에 태그 생성 메시지에 기반하여 태그를 생성할 수 있다.For example, if the first start instruction message or the integrated start instruction message received by the first device 10 includes a tag creation message, the first device 10 may generate audio data based on the tag creation message. You can create a tag by doing this.

보다 상세하게 설명하면, 제1 장치(10)가 수신한 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 제1 태그 생성 메시지 및 제2 태그 생성 메시지가 포함될 수 있다.In more detail, the first start instruction message or the integrated start instruction message received by the first device 10 may include a first tag creation message and a second tag creation message.

제1 장치(10)는 오디오 데이터를 생성하는 중에 제1 태그 생성 메시지에 따라서 제1 시각이 도래한 시점에 오디오 데이터의 타임라인에 제1 태그를 생성할 수 있다.While generating audio data, the first device 10 may create a first tag in the timeline of the audio data when the first time arrives according to the first tag creation message.

마찬가지로, 제1 장치(10)는 오디오 데이터를 생성하는 중에 제2 태그 생성 메시지에 따라서 제1 시각 이후 제2 시각이 도래한 시점에 오디오 데이터의 타임라인에 제2 태그를 생성할 수 있다.Similarly, while generating audio data, the first device 10 may create a second tag in the timeline of the audio data when the second time arrives after the first time according to the second tag creation message.

상술한 바에 따르면, 제1 장치(10)가 수신한 제1 시작 지시 메시지 또는 통합 시작 지시 메시지에 태그 생성 메시지가 포함된 경우를 설명하고 있지만, 이에 한정하지 않고, 제1 시작 지시 메시지 또는 통합 시작 지시 메시지와 함께 태그 생성 메시지를 수신하는 경우에도 제1 장치(10)는 수신한 태그 생성 메시지에 따라서 태그를 생성할 수 있다.According to the above, the case where the tag creation message is included in the first start instruction message or the integration start instruction message received by the first device 10 is described, but the case is not limited thereto, and the first start instruction message or the integration start instruction message is not limited thereto. Even when receiving a tag creation message along with an instruction message, the first device 10 can generate a tag according to the received tag creation message.

또한, 제2 장치(20)가 수신한 제2 시작 지시 메시지 또는 통합 시작 지시 메시지에 태그 생성 메시지가 포함된 경우, 제2 장치(20)는, 콘텐츠 데이터의 생성 중에 태그 생성 메시지에 기반하여 태그를 생성할 수 있다.In addition, when the second start instruction message or the integrated start instruction message received by the second device 20 includes a tag creation message, the second device 20 tags the tag based on the tag creation message during generation of content data. can be created.

예를 들어, 제2 장치(20)가 수신한 제2 시작 지시 메시지 또는 통합 시작 지시 메시지에 제1 태그 생성 메시지 및 제2 태그 생성 메시지가 포함될 수 있다.For example, the second start instruction message or the integrated start instruction message received by the second device 20 may include a first tag creation message and a second tag creation message.

제2 장치(20)는 콘텐츠 데이터를 생성하는 중에 제1 태그 생성 메시지에 따라서 제1 시각이 도래한 시점에 콘텐츠 데이터의 타임라인에 제1 태그를 생성할 수 있다.While generating content data, the second device 20 may create a first tag in the timeline of the content data when the first time arrives according to the first tag creation message.

마찬가지로, 제1 장치(10)는 콘텐츠 데이터를 생성하는 중에 제2 태그 생성 메시지에 따라서 제1 시각 이후 제2 시각이 도래한 시점에 콘텐츠 데이터의 타임라인에 제2 태그를 생성할 수 있다.Similarly, while generating content data, the first device 10 may generate a second tag in the timeline of the content data when the second time arrives after the first time according to the second tag creation message.

상술한 바에 따르면, 제2 장치(20)가 수신한 제2 시작 지시 메시지 또는 통합 시작 지시 메시지에 태그 생성 메시지가 포함된 경우를 설명하고 있지만, 이에 한정하지 않고, 제2 시작 지시 메시지 또는 통합 시작 지시 메시지와 함께 태그 생성 메시지를 수신하는 경우에도 제2 장치(20)는 수신한 태그 생성 메시지에 따라서 태그를 생성할 수 있다.According to the above, the case where the tag creation message is included in the second start instruction message or the integration start instruction message received by the second device 20 is described, but the case is not limited thereto, and the second start instruction message or the integration start instruction message is not limited thereto. Even when receiving a tag creation message along with an instruction message, the second device 20 can generate a tag according to the received tag creation message.

이후, 제1 장치(10)는 사용자 입력 또는 기 설정된 조건에 따라서 오디오 데이터의 생성을 종료(311)할 수 있다. 제1 장치(10)의 설정 정보에는, 제1 장치(10)가 오디오 데이터 생성을 종료하면 오디오 데이터 생성 종료에 대한 알림 메시지를 생성하고, 생성한 오디오 데이터 생성 종료에 대한 알림 메시지를 지정된 장치(예: 클라우드 서버(100))에 전송하도록 설정된 상태일 수 있다.Thereafter, the first device 10 may end generation of audio data according to user input or preset conditions (311). In the setting information of the first device 10, when the first device 10 ends the generation of audio data, a notification message about the end of audio data generation is generated, and a notification message about the end of the generated audio data generation is sent to the designated device ( Example: It may be set to transmit to a cloud server 100).

제1 장치(10)는 오디오 데이터의 생성을 종료하면 오디오 데이터 생성 종료에 대한 알림 메시지를 생성하고, 생성한 오디오 데이터 생성 종료에 대한 알림 메시지(313)를 클라우드 서버(100)에 송신할 수 있다.When the first device 10 ends the generation of audio data, it can generate a notification message about the end of audio data generation and transmit a notification message 313 about the end of the generated audio data generation to the cloud server 100. .

클라우드 서버(100)는 제1 장치(10)로부터 오디오 데이터 생성 종료에 대한 알림 메시지를 수신하면, 수신한 데이터 생성 종료에 대한 알림 메시지에 대응하여 제1 종료 지시 메시지 및 제2 종료 지시 메시지를 생성(315)할 수 있다.When the cloud server 100 receives a notification message about the end of audio data generation from the first device 10, it generates a first end instruction message and a second end instruction message in response to the received notification message about the end of data generation. (315)You can.

클라우드 서버(100)는, 생성한, 제1 종료 지시 메시지를 제1 장치에 전달하고, 생성한 제2 종료 지시 메시지를 제2 장치에 송신(317)할 수 있다.The cloud server 100 may deliver the generated first termination instruction message to the first device and transmit the generated second termination instruction message to the second device (317).

종료 지시 메시지를 획득한 제1 장치(10) 및/또는 제2 장치(20)는 각각 오디오 데이터 또는 콘텐츠 데이터의 생성을 종료할 수 있다.The first device 10 and/or the second device 20, which has obtained the termination instruction message, may respectively terminate the generation of audio data or content data.

예를 들면, 제1 장치(10)는 수신한 제1 종료 지시 메시지 또는 통합 종합 지시 메시지에 기반하여 오디오 데이터의 생성을 종료할 수 있다.For example, the first device 10 may end the generation of audio data based on the received first end instruction message or the integrated comprehensive instruction message.

이때, 제1 장치(10)가 수신한 제1 종료 지시 메시지 또는 통합 종료 지시 메시지에 오디오 데이터(제1 장치(10)가 생성한 오디오 데이터)의 고유정보가 포함될 수 있다.At this time, unique information about audio data (audio data generated by the first device 10) may be included in the first termination instruction message or the integrated termination instruction message received by the first device 10.

제1 장치(10)는 생성 중인 오디오 데이터의 고유정보와 클라우드 서버(100)로부터 수신한 제1 종료 지시 메시지 또는 통합 종료 지시 메시지에 포함된 고유정보가 동일하면, 클라우드 서버(100)로부터 수신한 제1 종료 지시 메시지에 따라 생성 중인 오디오 데이터의 생성을 종료할 수 있다.If the unique information of the audio data being generated and the unique information included in the first termination instruction message or integrated termination instruction message received from the cloud server 100 are the same, the first device 10 receives the first termination instruction message from the cloud server 100. The generation of audio data being generated may be terminated according to the first termination instruction message.

반면, 제1 장치(10)는 생성 중인 오디오 데이터의 고유정보와 클라우드 서버(100)로부터 수신한 제1 종료 지시 메시지 또는 통합 종료 지시 메시지에 포함된 고유정보와 동일하지 않으면, 클라우드 서버(100)로부터 수신한 제1 종료 지시 메시지를 무시할(수행하지 않을) 수 있다.On the other hand, if the unique information of the audio data being generated is not the same as the unique information included in the first termination instruction message or the integrated termination instruction message received from the cloud server 100, the first device 10 The first termination instruction message received from may be ignored (not performed).

이때, 상술한 바에 따르면, 제1 장치(10)는 이미 오디오 데이터를 종료한 상태로서, 클라우드 서버(100)로부터 수신한 제1 종료 지시 메시지를 무시할(수행하지 않을) 수 있다.At this time, as described above, the first device 10 has already terminated the audio data and may ignore (not perform) the first termination instruction message received from the cloud server 100.

제2 장치(20)는 수신한 제2 종료 지시 메시지 또는 통합 종료 지시 메시지에 기반하여 콘텐츠 데이터의 생성을 종료(319)할 수 있다.The second device 20 may end generation of content data (319) based on the received second end instruction message or integrated end instruction message.

제1 장치(10) 및 제2 장치(20)는 각각 수신한 종료 지시 메시지로부터 적어도 하나의 태그 생성 메시지를 획득(또는 종료 지시 메시지와 함께 태그 생성 메시지를 수신)하고, 데이터(오디오 데이터 또는 콘텐츠 데이터)의 타임라인에 태그를 생성(및/또는 표시)할 수 있다.The first device 10 and the second device 20 each obtain at least one tag creation message from the received termination instruction message (or receive a tag creation message together with the termination instruction message) and generate data (audio data or content You can create (and/or display) tags on the timeline of your data.

예를 들면, 제1 장치(10)가 수신한 제1 종료 지시 메시지 또는 통합 종료 지시 메시지에 태그 생성 메시지가 포함된 경우, 제1 장치(10)는 오디오 데이터의 타임라인을 호출하고, 태그 생성 메시지에 기반하여 태그를 생성할 수 있다.For example, when the first end instruction message or the integrated end instruction message received by the first device 10 includes a tag creation message, the first device 10 calls the timeline of the audio data and generates the tag. Tags can be created based on messages.

보다 상세하게 설명하면, 제1 장치(10)가 수신한 제1 종료 지시 메시지 또는 통합 종료 지시 메시지에 제3 태그 생성 메시지 및 제4 태그 생성 메시지가 포함될 수 있다.In more detail, the first termination instruction message or the integrated termination instruction message received by the first device 10 may include a third tag creation message and a fourth tag creation message.

제1 장치(10)는 생성이 완료된 오디오 데이터의 타임라인을 호출하고, 제3 태그 생성 메시지에 따라서 제3 시각의 위치에 제3 태그를 생성할 수 있다.The first device 10 may call the timeline of the audio data whose creation has been completed and create a third tag at the location at the third time according to the third tag creation message.

보다 상세하게 설명하면, 제1 장치(10)는 제3 태그 생성 메시지에 포함된 제5 시간 정보 및/또는 제6 시간 정보를 획득할 수 있고, 오디오 데이터의 타임라인에서 제1 태그가 생성된 제1 시각으로부터 제5시간 경과된 시점(제3 시각과 동일한 시점) 또는 제2 태그가 생성된 제2 시각으로부터 제6 시간 경과된 시점(제3 시각과 동일한 시점)에 제3 태그를 생성할 수 있다.In more detail, the first device 10 may obtain the fifth time information and/or the sixth time information included in the third tag creation message, and the first tag is generated in the timeline of the audio data. A third tag may be created at a time when 5 hours have elapsed from the first time (same time as the third time) or at a time when 6 hours have elapsed from the second time when the second tag was created (the same time as the third time). You can.

더하여, 제1 장치(10)는 제4 태그 생성 메시지에 포함된 제7 시간 정보 및/또는 제8 시간 정보를 획득할 수 있고, 오디오 데이터의 타임라인에서 제1 태그가 생성된 제1 시각으로부터 제7시간 경과된 시점(제4 시각과 동일한 시점) 또는 제2 태그가 생성된 제2 시각으로부터 제8 시간 경과된 시점(제4 시각과 동일한 시점)에 제4 태그를 생성할 수 있다.In addition, the first device 10 may obtain the seventh time information and/or the eighth time information included in the fourth tag creation message, from the first time when the first tag was created in the timeline of the audio data. The fourth tag may be created when the 7th time has elapsed (the same time as the 4th time) or the 8th time has elapsed from the second time when the second tag was created (the same time as the 4th time).

상술한 바에 따르면, 제1 장치(10)가 수신한 제1 종료 지시 메시지 또는 통합 종료 지시 메시지에 태그 생성 메시지가 포함된 경우를 설명하고 있지만, 이에 한정하지 않고, 제1 종료 지시 메시지 또는 통합 종료 지시 메시지와 함께 태그 생성 메시지를 수신하는 경우에도 제1 장치(10)는 수신한 태그 생성 메시지에 따라서 태그를 생성할 수 있다.According to the above, the case where the tag creation message is included in the first termination instruction message or integrated termination instruction message received by the first device 10 is described, but the first termination instruction message or integrated termination instruction message is not limited to this. Even when receiving a tag creation message along with an instruction message, the first device 10 can generate a tag according to the received tag creation message.

또한, 제2 장치(20)가 수신한 제2 종료 지시 메시지 또는 통합 종료 지시 메시지에 태그 생성 메시지가 포함된 경우, 제2 장치(20)는, 콘텐츠 데이터의 타임라인을 호출하고, 태그 생성 메시지에 기반하여 태그를 생성할 수 있다.In addition, when the second end instruction message or the integrated end instruction message received by the second device 20 includes a tag creation message, the second device 20 calls the timeline of the content data and sends the tag creation message. You can create tags based on .

보다 상세하게 설명하면, 제2 장치(20)가 수신한 제2 종료 지시 메시지 또는 통합 종료 지시 메시지에 제3 태그 생성 메시지 및 제4 태그 생성 메시지가 포함될 수 있다.In more detail, the second termination instruction message or the integrated termination instruction message received by the second device 20 may include a third tag creation message and a fourth tag creation message.

제2 장치(20)는 생성이 완료된 콘텐츠 데이터의 타임라인을 호출하고, 제3 태그 생성 메시지에 따라서 제3 시각의 위치에 제3 태그를 생성할 수 있다.The second device 20 may call the timeline of content data that has been created and create a third tag at a location at the third time according to the third tag creation message.

보다 상세하게 설명하면, 제2 장치(20)는 제3 태그 생성 메시지에 포함된 제5 시간 정보 및/또는 제6 시간 정보를 획득할 수 있고, 콘텐츠 데이터의 타임라인에서 제1 태그가 생성된 제1 시각으로부터 제5시간 경과된 시점(제3 시각과 동일한 시점) 또는 제2 태그가 생성된 제2 시각으로부터 제6 시간 경과된 시점(제3 시각과 동일한 시점)에 제3 태그를 생성할 수 있다.In more detail, the second device 20 may obtain the fifth time information and/or the sixth time information included in the third tag creation message, and the first tag is generated in the timeline of the content data. A third tag may be created at a time when 5 hours have elapsed from the first time (same time as the third time) or at a time when 6 hours have elapsed from the second time when the second tag was created (the same time as the third time). You can.

더하여, 제2 장치(20)는 제4 태그 생성 메시지에 포함된 제7 시간 정보 및/또는 제8 시간 정보를 획득할 수 있고, 콘텐츠 데이터의 타임라인에서 제1 태그가 생성된 제1 시각으로부터 제7시간 경과된 시점(제4 시각과 동일한 시점) 또는 제2 태그가 생성된 제2 시각으로부터 제8 시간 경과된 시점(제4 시각과 동일한 시점)에 제4 태그를 생성할 수 있다.In addition, the second device 20 may obtain the seventh time information and/or the eighth time information included in the fourth tag creation message, from the first time when the first tag was created in the timeline of the content data. The fourth tag may be created when the 7th time has elapsed (the same time as the 4th time) or the 8th time has elapsed from the second time when the second tag was created (the same time as the 4th time).

상술한 바에 따르면, 제2 장치(20)가 수신한 제2 종료 지시 메시지 또는 통합 종료 지시 메시지에 태그 생성 메시지가 포함된 경우를 설명하고 있지만, 이에 한정하지 않고, 제2 종료 지시 메시지 또는 통합 종료 지시 메시지와 함께 태그 생성 메시지를 수신하는 경우에도 수신한 태그 생성 메시지에 따라서 태그를 생성할 수 있다.According to the above, the case where the tag creation message is included in the second termination instruction message or integrated termination instruction message received by the second device 20 is described, but is not limited to this, and the second termination instruction message or integrated termination instruction message is not limited thereto. Even when a tag creation message is received along with an instruction message, a tag can be created according to the received tag creation message.

제1 장치(10)는 생성된 오디오 데이터를 클라우드 서버(100)에 송신(321)하고, 제2 장치(20)는 생성된 콘텐츠 데이터를 클라우드 서버(100)에 송신(323)할 수 있다.The first device 10 may transmit the generated audio data to the cloud server 100 (321), and the second device 20 may transmit the generated content data to the cloud server 100 (323).

오디오 데이터 및 콘텐츠 데이터를 수신한 클라우드 서버(100)는 상기 오디오 데이터와 상기 콘텐츠 데이터를 결합하여 하나의 타임라인을 가지는 통합 데이터를 생성(325)할 수 있다.The cloud server 100, which has received audio data and content data, may combine the audio data and the content data to generate integrated data with one timeline (325).

상술한 바에 따르면, 클라우드 서버(100)의 사용자 설정 정보에는 사용자 장치들을 포함하는 워크그룹이 설정된 것으로 설명하고 있지만, 이는 본 발명의 구성 및 그 동작을 쉽게 설명하기 위한 것으로서 워크그룹이 반드시 포함되어야 하는 것은 아니다.According to the above, it is explained that a workgroup including user devices is set in the user setting information of the cloud server 100. However, this is for the purpose of easily explaining the configuration and operation of the present invention, and the workgroup must be included. That is not the case.

상술한 바에 따르면, 클라우드 서버(100)가 수신하는 데이터 생성 시작에 대한 알림 메시지 및 데이터 생성 종료에 대한 알림 메시지는 동일한 장치(제1 장치(10))로부터 수신하는 것으로 설명하였지만 이에 한정하지 않고, 다른 장치로부터 수신할 수 있다.According to the above, the notification message for the start of data generation and the notification message for the end of data generation received by the cloud server 100 are described as being received from the same device (the first device 10), but are not limited to this. Can receive from other devices.

예를 들면, 클라우드 서버(100)는 데이터 생성 시작에 대한 알림 메시지를 제1 장치(10)에서 수신한 것에 대응하여 시작 지시 메시지를 생성하고, 이후 데이터 생성 종료에 대한 알림 메시지를 제2 장치(20)로부터 수신하더라도 이에 대응하여 종료 지시 메시지를 생성할 수 있다.For example, the cloud server 100 generates a start instruction message in response to receiving a notification message about the start of data generation from the first device 10, and then sends a notification message about the end of data generation to the second device ( 20), a termination instruction message can be generated in response.

상술한 바에 따르면, 제1 장치(10)는 오디오 데이터를 생성하는 장치로, 제2 장치(20)는 콘텐츠 데이터를 생성하는 장치로 설명하고 있지만, 이에 한정하지 않고, 제1 장치(10)가 콘텐츠 데이터를 생성하는 장치로, 제2 장치(20)가 오디오 데이터를 생성하는 장치로 동작할 수도 있을 것이다.According to the above, the first device 10 is described as a device that generates audio data, and the second device 20 is described as a device that generates content data. However, the first device 10 is not limited to this. As a device that generates content data, the second device 20 may operate as a device that generates audio data.

상술한 바에 따르면, 제1 장치(10) 및 제2 장치(20)와 같이 복수의 장치를 워크그룹에 포함하고, 클라우드 서버(100)는, 워크그룹에 포함된 복수의 장치에 지시 메시지를 송신하고, 복수의 장치 각각으로부터 오디오 데이터 또는 콘텐츠 데이터를 수신하는 것으로 설명하였다.According to the above, a plurality of devices such as the first device 10 and the second device 20 are included in the workgroup, and the cloud server 100 transmits an instruction message to the plurality of devices included in the workgroup. And it was explained that audio data or content data is received from each of a plurality of devices.

하지만, 이에 한정하지 않고 클라우드 서버(100)는, 하나의 장치를 포함하는 워크그룹을 통해서도 본 발명의 다양한 실시 예들에서 설명한 동작들을 수행할 수도 있다.However, the cloud server 100 is not limited to this and may perform the operations described in various embodiments of the present invention through a workgroup including one device.

일 실시 예에 따르면, 워크그룹에 제1 장치(10)가 포함된 상태에서, 제1 장치(10)가 오디오 데이터 및 콘텐츠 데이터를 생성하고, 생성한 오디오 데이터 및 콘텐츠 데이터를 클라우드 서버(100)에 송신하도록 클라우드 서버(100)의 사용자 설정 정보에 설정될 수 있다.According to one embodiment, with the first device 10 included in the workgroup, the first device 10 generates audio data and content data, and sends the generated audio data and content data to the cloud server 100. It can be set in the user setting information of the cloud server 100 to be transmitted to .

예를 들어, 도 3을 참고하여 설명하면, 제1 장치(10) 및 제2 장치(20)의 동작을 모두 제1 장치(10)가 수행할 수 있다. 즉, 제2 장치(20)의 동작들은 제1 장치(10)가 수행할 수 있다. 클라우드 서버(10) 또한 제1 장치(10) 및 제2 장치(20)를 대상으로 수행하는 동작을 모두 제1 장치(10)를 대상으로 수행할 수 있다.For example, if described with reference to FIG. 3, the first device 10 can perform all operations of the first device 10 and the second device 20. That is, the operations of the second device 20 can be performed by the first device 10. The cloud server 10 can also perform all operations performed on the first device 10 and the second device 20 on the first device 10 .

보다 상세하게 설명하면, 제1 장치(10)는 오디오 데이터 생성을 시작(301)하면, 오디오 데이터 생성 시작에 대한 시작 알림 메시지(303)를 클라우드 서버(100)에 송신할 수 있다.In more detail, when the first device 10 starts generating audio data (301), it may transmit a start notification message (303) about the start of audio data generation to the cloud server 100.

클라우드 서버(100)는 시작 알림 메시지(303)를 제1 장치(10)로부터 수신하면, 각각의 장치에 지정된 데이터의 생성을 시작하도록 지시하는 시작 지시 메시지를 생성(305) 및 시작 지시 메시지(307)를 제1 장치(10)에 송신할 수 있다.When the cloud server 100 receives the start notification message 303 from the first device 10, the cloud server 100 generates a start instruction message (305) and a start instruction message (307) instructing each device to start generating specified data. ) can be transmitted to the first device 10.

클라우드 서버(100)로부터 시작 지시 메시지(307)를 수신한 제1 장치(10)는, 콘텐츠 데이터 생성을 시작하고 이후, 오디오 데이터 생성을 종료(301)하면, 오디오 데이터 생성 종료에 대한 종료 알림 메시지(313)를 클라우드 서버(100)에 송신할 수 있다.The first device 10, which has received the start instruction message 307 from the cloud server 100, starts generating content data and then ends the audio data generation (301), sending a termination notification message for the end of audio data generation. (313) can be transmitted to the cloud server 100.

클라우드 서버(100)는 종료 알림 메시지(313)를 제1 장치(10)로부터 수신하면, 각각의 장치에 지정된 데이터의 생성을 종료하도록 지시하는 종료 지시 메시지를 생성(315) 및 종료 지시 메시지(317)를 제1 장치(10)에 송신할 수 있다.When the cloud server 100 receives the termination notification message 313 from the first device 10, the cloud server 100 generates a termination instruction message (315) and a termination instruction message (317) instructing each device to terminate the generation of the specified data. ) can be transmitted to the first device 10.

클라우드 서버(100)로부터 종료 지시 메시지(317)를 수신한 제1 장치(10)는, 콘텐츠 데이터 생성을 종료하고, 생성한 오디오 데이터(321) 및 콘텐츠 데이터(323)를 클라우드 서버(100)에 송신할 수 있다.The first device 10, which has received the termination instruction message 317 from the cloud server 100, ends content data creation and sends the generated audio data 321 and content data 323 to the cloud server 100. Can be sent.

클라우드 서버(100)는, 제1 장치(10)로부터 오디오 데이터(321) 및 콘텐츠 데이터(323)를 수신하고, 수신한 오디오 데이터(321) 및 콘텐츠 데이터(323)를 결합하여 통합 미디어 데이터를 생성(325)할 수 있다.The cloud server 100 receives audio data 321 and content data 323 from the first device 10, and combines the received audio data 321 and content data 323 to generate integrated media data. (325)You can.

여기서, 제1 장치(10) 및 클라우드 서버(100)의 상세한 동작들은 도 1 내지 도 4를 통해서 설명한 동작들 적어도 일부와 동일 또는 유사한 방법으로 수행될 수 있다.Here, detailed operations of the first device 10 and the cloud server 100 may be performed in the same or similar manner as at least some of the operations described with reference to FIGS. 1 to 4.

상술한 바에 따르면, 워크그룹은 제1 장치(10) 및 제2 장치(20)를 포함하고, 적어도 하나의 장치(예: 제1 장치(10))가 복수의 데이터(예: 오디오 데이터 및 콘텐츠 데이터)를 생성하도록 설정될 수도 있을 것이다.As described above, the workgroup includes a first device 10 and a second device 20, and at least one device (e.g., the first device 10) contains a plurality of data (e.g., audio data and content). It may be set to generate data).

이상과 같이 실시 예들이 비록 한정된 도면을 참고하여 설명하였으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.As described above, although the embodiments have been described with reference to limited drawings, those skilled in the art can apply various technical modifications and variations based on the above.

예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다 해야 할 것이다.Therefore, other implementations, other embodiments, and things equivalent to the claims should also fall within the scope of the claims described below.

10: 제1 장치
20: 제2 장치
100: 클라우드 서버
110: 처리부
120: 저장부
130: 통신부10: first device
20: second device
100: Cloud server
110: processing unit
120: storage unit
130: Department of Communications

Claims

(a) The cloud server transmits a first start instruction message instructing to start generation of audio data to the first device, and transmits a second start instruction message instructing to start generation of content data to the second device. step;
(b) The cloud server transmits a first end instruction message to end generation of the audio data to the first device, and sends a second end instruction message to the second device to end generation of the content data. passing on;
(c) the cloud server receiving the audio data from the first device and receiving the content data from the second device; and
(d) the cloud server combining the audio data and the content data to generate integrated data with one timeline;
The step (a) includes audio data stored by each of the first device and the second device at a first predetermined time from the time of generating the first start instruction message and the second start instruction message, or Generating a tag creation message instructing to create a tag in the timeline of the content data;
The first time is set to be longer as the communication quality of the network connected to the first device and the second device, the performance of the cloud server, the performance of the first device, and the performance of the second device are lower,
The cloud server, the first device, and the second device are synchronized in time zone,
In step (d), the cloud server matches the timelines of the audio data and the content data based on at least one tag displayed on each of the audio data and the content data to have the one timeline. Including a processing step;
The at least one tag is configured to create a timeline of the audio data or the content data based on a tag creation message received by the first device and the second device from the cloud server. A method of synchronizing audio data and content data, which indicates a specific point in time.

According to paragraph 1,
In step (a) above,
The cloud server receives a start notification message corresponding to an input for starting generation of the audio data from the first device, or sends a start notification message corresponding to an input for starting generation of the content data from the second device. If received,
The cloud server is,
transmitting the first start instruction message to the first device, and transmitting the second start instruction message to the second device,
In step (b) above,
The cloud server receives a termination notification message corresponding to an input for terminating the creation of the audio data from the first device, or sends a termination notification message corresponding to an input for terminating the creation of the content data from the second device. If received,
The cloud server is,
A method of synchronizing audio data and content data, delivering the first end instruction message to the first device, and delivering the second end instruction message to the second device.

According to paragraph 2,
A method of synchronizing audio data and content data, wherein the device that transmits the start notification message and the end notification message received by the cloud server is the same device.

According to paragraph 1,
The step (c) includes extracting, by the cloud server, audio timeline data of the audio data received from the first device and extracting content timeline data of the content data received from the second device. A method of synchronizing audio data and content data, further comprising ;.

According to paragraph 1,
The cloud server, the first device, and the second device are synchronized in time zone,
In step (d), the cloud server matches the timelines of the audio data and the content data based on at least one tag displayed on each of the audio data and the content data to have the one timeline. Including a processing step;
The at least one tag is configured to create a timeline of the audio data or the content data based on a tag creation message received by the first device and the second device from the cloud server. A method of synchronizing audio data and content data, which indicates a specific point in time.

According to paragraph 1,
In step (a), the cloud server sends a first tag creation message instructing to generate the first tag at a first time after generating the first start instruction message and the second start instruction message. create,
i) transmitting the first tag creation message together with the first start instruction message to create the first tag in the timeline of the audio data stored by the first device,
ii) A method of synchronizing audio data and content data, transmitting the first tag creation message together with the second start instruction message to create the first tag in the timeline of the content data stored by the second device. .

According to paragraph 1,
In step (b), the cloud server sends a second tag creation message instructing to generate a second tag at a time 2 hours before the time of generating the first termination instruction message and the second termination instruction message. create,
i) transmitting the second tag creation message together with the first end instruction message to create the second tag in the timeline of the audio data stored by the first device,
ii) A method of synchronizing audio data and content data, transmitting the second tag creation message together with the second end instruction message to create the second tag in the timeline of the content data stored by the second device. .

a communication unit that transmits and receives data to and from the first and second devices;
a storage unit that stores data transmitted and received between the first device and the second device; and
A first start instruction message instructing to start generation of audio data is transmitted to the first device, a second start instruction message instructing to start generation of content data is transmitted to the second device, and the generation of the audio data is terminated. A first end instruction message instructing to end generation of the content data is transmitted to the first device and a second end instruction message instructing to end generation of the content data is transmitted to the second device, and the audio data is received from the first device. a processing unit that receives the content data from the second device and processes the audio data and the content data to generate integrated data with a single timeline;
The processing unit is configured to cause each of the first device and the second device to store audio data or content data at a first predetermined time from the time of generating the first start instruction message and the second start instruction message. Create a tag creation message instructing the timeline to create a tag,
The first time is further configured to be determined considering the communication quality of the network connected to the first device and the second device, the performance of the cloud server, the performance of the first device, and the performance of the second device,
The cloud server, the first device, and the second device are synchronized in time zone,
The cloud server is further configured to match timelines of the audio data and the content data based on at least one tag displayed on each of the audio data and the content data to process the audio data and the content data to have the single timeline,
The at least one tag is configured to create a timeline of the audio data or the content data based on a tag creation message received by the first device and the second device from the cloud server. A cloud server that synchronizes audio data and content data, which indicates a specific point in time.

delete