KR102056796B1

KR102056796B1 - Broadcasting system for duet mode and concurrent sound mode, and method thereof

Info

Publication number: KR102056796B1
Application number: KR1020180020639A
Authority: KR
Inventors: 김우현
Original assignee: (주)형지엘리트; 주식회사 위싱라이브
Priority date: 2018-02-21
Filing date: 2018-02-21
Publication date: 2019-12-17
Also published as: KR20190100723A

Abstract

본 발명은 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법에 관한 것이다. 본 발명은, 서로 이격된 복수 사용자의 음성 또는 영상 데이터를 믹싱하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, 네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 식별 ID를 인식하는 ID 인식 수단(321a); 식별 ID가 인식된 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에게 같은 화면을 출력하는 UI 동기화 수단(321b); 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)로부터 수신되어 데이터베이스(330)에 저장되는 싱글 데이터, 듀엣 데이터 또는 음향 데이터에 해당하는 디지털 신호에 대한 상대적인 딜레이를 판단하여 딜레이 발생시 딜레이 시간을 측정하는 딜레이 판단 수단(322a); 및 데이터 선택 수단(322b)에 의한 딜레이 발생 데이터 제거에 따라, 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터를 생성하는 데이터 믹싱 수단(322c); 을 포함하는 것이 바람직하다.
이에 의해, 거리상 이격되어 오프라인상에서 듀엣, 협연, 협업이 불가능한 사용자를 온라인상에서 사용자의 음성 데이터의 싱크와 다른 상대방의 싱크를 맞추도록 딜레이 데이터를 버리고 실시간 데이터만 상대방과 믹싱하여 제공하는 효과를 제공한다. The present invention relates to a broadcast transmission system and a method for providing a duet mode and a simultaneous sound mode. The present invention provides a single system apparatus 100 for performing access through a network 200 in a duet mode and a simultaneous sound mode providing-based broadcast transmission system for mixing voice or video data of a plurality of users spaced apart from each other. And at least one duet system device 400 applying for the duet mode or at least one sound system device 500 applying for the simultaneous sound mode by searching for the identification ID of the single system device 100 accessed. ID recognition means 321a for recognizing the identification ID; UI synchronizing means (321b) for outputting the same screen to the single system apparatus 100, duet system apparatus 400, or sound system apparatus 500 in which the identification ID is recognized; Determining the relative delay of the digital signal corresponding to the single data, duet data or sound data received from the single system device 100, duet system device 400 or sound system device 500 and stored in the database 330 Delay determination means (322a) for measuring a delay time when a delay occurs; And data mixing means 322c for collecting and synchronizing only the current data without the delay occurrence and generating the synchronized data according to the removal of the delay generation data by the data selection means 322b. It is preferable to include.
This provides the effect of discarding the delay data so that users who cannot be duet, collaborate, or collaborate offline at a distance, and synchronize the voice data of the user with the other party online and mix only the real time data with the other party are provided. .

Description

Broadcasting system for providing duet mode and simultaneous sound mode and method therefor {Broadcasting system for duet mode and concurrent sound mode, and method}

본 발명은 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는, 거리상 이격되어 오프라인상에서 듀엣, 협연, 협업이 불가능한 사용자를 온라인상에서 사용자의 음성 데이터의 싱크와 다른 상대방의 싱크를 맞추도록 딜레이 데이터를 버리고 실시간 데이터만 상대방과 믹싱하도록 하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법에 관한 것이다.
The present invention relates to a broadcast transmission system and method for providing a duet mode and a simultaneous sound mode, and more specifically, a user who cannot be duet, collaborate, or collaborate in a distance and offline, is different from the sync of the user's voice data online. The present invention relates to a broadcast transmission system and a method for providing a duet mode and a simultaneous sound mode for discarding delay data to synchronize a counterpart and mixing only real-time data with the counterpart.

과거에는 오프라인상에서 거리가 떨어진 사람과 동시에 노래를 부르거나 노래와 연주에 따른 협연을 함께 제공하는 것, 그리고 강의를 협업으로 하는 것은 불가능하였다. In the past, it was not possible to sing along with an off-line person at the same time, provide concerts along with singing and performance, and collaborate on lectures.

그러나 인터넷 속도의 증가와 정보통신기술의 발전으로 가능한 환경에 따라, 동시에 듀엣, 협연, 협업이 가능한 환경이 도래하였지만 이러한 방송 송출을 위한 기술적 요소와 하드웨어적인 환경도 같이 지원이 필요한 실정이다.
However, due to the increase of internet speed and the development of information and communication technology, the environment where duet, collaboration, and collaboration are available at the same time, but the technical elements and hardware environment for broadcasting transmission are also required.

대한민국 특허출원 출원번호 제10-2009-0136272호 "휴대용 전자기기를 이용한 노래반주기 협연방법(METHOD OF PLAYING KARAOKE PLAYER WITH ELECTRONIC DEVICE)"Korean Patent Application No. 10-2009-0136272 "METHOD OF PLAYING KARAOKE PLAYER WITH ELECTRONIC DEVICE"

본 발명은 상기의 문제점을 해결하기 위한 것으로, 거리상 이격되어 오프라인상에서 듀엣, 협연, 협업이 불가능한 사용자를 온라인상에서 사용자의 음성 데이터의 싱크와 다른 상대방의 싱크를 맞추도록 딜레이 데이터를 버리고 실시간 데이터만 상대방과 믹싱하도록 하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법을 제공하기 위한 것이다.The present invention is to solve the above problems, the user can not duet, collaborate, collaborate on a distance apart from the offline to discard the delay data to match the sync of the user's voice data and the other party on-line, only the real-time data The present invention provides a duet mode and a simultaneous sound mode providing broadcast broadcasting system and method for mixing with the same.

또한, 본 발명은 딜레이 저감을 통해 신속 데이터 처리의 전제하에서 싱크 연산 로직을 제공하도록 하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법을 제공하기 위한 것이다.In addition, the present invention is to provide a duet mode and simultaneous sound mode provision based broadcast transmission system and method for providing the sync operation logic under the premise of fast data processing through delay reduction.

또한, 본 발명은 현재까지 불가능 했던 떨어진 사람과 같이 노래 자막을 보고 같이 동시에 노래를 부를 수 있고 노래를 부를 때 기타나 피아노등을 연주가 가능하도록 하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법을 제공하기 위한 것이다.In addition, the present invention is a broadcast transmission system based on the provision of the duet mode and simultaneous sound mode for enabling the user to play the guitar or piano, etc. when watching the song subtitles at the same time as the person who has not been possible to see the song subtitles at the same time, and It is to provide a method.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템은, 서로 이격된 복수 사용자의 음성 또는 영상 데이터를 믹싱하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, 네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 식별 ID를 인식하는 ID 인식 수단(321a); 식별 ID가 인식된 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에게 같은 화면을 출력하는 UI 동기화 수단(321b); 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)로부터 수신되어 데이터베이스(330)에 저장되는 싱글 데이터, 듀엣 데이터 또는 음향 데이터에 해당하는 디지털 신호에 대한 상대적인 딜레이를 판단하여 딜레이 발생시 딜레이 시간을 측정하는 딜레이 판단 수단(322a); 및 데이터 선택 수단(322b)에 의한 딜레이 발생 데이터 제거에 따라, 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터를 생성하는 데이터 믹싱 수단(322c); 을 포함하는 것이 바람직하다.In order to achieve the above object, a duet mode and a simultaneous sound mode provision based broadcast transmission system according to an exemplary embodiment of the present invention provide a duet mode and a simultaneous sound mode provision based broadcast for mixing voice or video data of a plurality of users spaced from each other. In the transmitting system, at least one duet applying for a duet mode through a search for identification IDs of the single system device 100 and the single system device 100 that are accessed through the network 200. ID recognizing means 321a for recognizing an identification ID by the system device 400 or at least one acoustic system device 500 that has applied for the simultaneous acoustic mode; UI synchronizing means (321b) for outputting the same screen to the single system apparatus 100, duet system apparatus 400, or sound system apparatus 500 in which the identification ID is recognized; Determining the relative delay of the digital signal corresponding to the single data, duet data or sound data received from the single system device 100, duet system device 400 or sound system device 500 and stored in the database 330 Delay determination means (322a) for measuring a delay time when a delay occurs; And data mixing means 322c for collecting and synchronizing only the current data without the delay occurrence and generating the synchronized data according to the removal of the delay generation data by the data selection means 322b. It is preferable to include.

이때, 본 발명의 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, UI 동기화 수단(321b)은, 딜레이 판단 수단(322a)에 의한 판단에 따라 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에 의한 딜레이 발생시 각 연동된 시스템 장치 별로 딜레이 타임을 인입하여 50ms 이하의 오차범위 내에서 동기화 시켜서 동일한 영상 또는 자막 UI 화면이 출력되도록 동일한 영상 또는 자막 데이터를 전송하도록 송수신부(310)를 제어하는 것이 바람직하다.At this time, in the duet mode and the simultaneous sound mode providing based broadcast transmission system according to another embodiment of the present invention, the UI synchronization means 321b, in accordance with the determination by the delay determination means 322a and the single system apparatus 100 When a delay occurs by the linked duet system device 400 or the audio system device 500, a delay time is input for each linked system device, and the same video or subtitle UI screen is output by synchronizing within an error range of 50 ms or less. Alternatively, the transceiver 310 may be controlled to transmit the caption data.

또한, 본 발명의 또 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템은, 데이터 믹싱 수단(322c)에 의해 믹싱되는 데이터에 상호 연동된 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500) 중 하나에 의한 사전 딜레이 유입 요청을 수신하는 경우, 데이터 믹싱 수단(322c)으로 영상 또는 음성에 대한 딜레이 유입 정보를 제공하는 딜레이 유입 수단(321c); 을 더 포함하는 것이 바람직하다.In addition, the duet mode and the simultaneous sound mode providing-based broadcast transmission system according to another embodiment of the present invention, the single system device 100, the duet system device (interlocked with the data mixed by the data mixing means 322c) 400, a delay inflow means 321c for providing a delay inflow information for an image or an audio to the data mixing means 322c when receiving a pre-delay inflow request by one of the acoustic system apparatus 500; It is preferable to further include.

또한, 본 발명의 또 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템은, 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)에 의해 생성되는 디지털 신호에 해당하는 데이터의 생성 속도, 송수신 속도, 데이터 압축/해제 속도가 각 파라미터에 대해서 단계별로 구분되어 n(파라미터의 개수)×m(m은 각 파라미터 단계의 개수)(n, m은 서로 같거나 다른 2 이상의 자연수이며, m은 각 파라미터 별로 가변적)의 셀(cell)에 매칭되어 저장된 클라우드(cloud) 기반의 각 장치별 소프트웨어 모듈을 제공하여, 각 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)의 하드웨어 특성을 최소화할 수 있는 소프트웨어적인 교정 과정을 제공하는 SW/HW 복합 지원 모듈(323); 을 더 포함하는 것이 바람직하다.In addition, the duet mode and the simultaneous sound mode providing based broadcast transmission system according to another embodiment of the present invention, the single system device 100, the linked duet system device 400, the acoustic system device 500, the target smart device The generation speed, transmission and reception speed, and data compression / decompression speed of the data corresponding to the digital signal generated by the 600 are divided step by step for each parameter, where n (the number of parameters) × m (m is the number of each parameter step). (n, m are two or more natural numbers that are the same or different from each other, and m is a cloud-based software module for each device that is matched and stored in a cell of each parameter. (100), SW / H providing a software calibration process that can minimize the hardware characteristics of the linked duet system device 400, the acoustic system device 500, the target smart device 600 W composite support module 323; It is preferable to further include.

또한, 본 발명의 또 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, 데이터 믹싱 수단(322c)은, 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터만을 대상 스마트 디바이스(600)로 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어하는 것이 바람직하다.Further, in the duet mode and the simultaneous sound mode providing based broadcast transmission system according to another embodiment of the present invention, the data mixing means 322c collects only the current data without delay and adjusts the sync, It is preferable to control the transceiver 310 to transmit only the matched data to the target smart device 600 through the network 200.

또한, 본 발명의 또 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, 데이터 믹싱 수단(322c)은, 싱크가 맞춰진 데이터에 대해서 싱글 시스템 장치(100)와, 그리고 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에 대해서 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어하는 것이 바람직하다.
In addition, in the duet mode and the simultaneous sound mode providing based broadcasting transmission system according to another embodiment of the present invention, the data mixing means 322c may include a single system apparatus 100 and a single system for synchronized data. It is preferable to control the transceiver 310 to transmit the duet system device 400 or the acoustic system device 500 interworking with the device 100 through the network 200.

본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법은, 거리상 이격되어 오프라인상에서 듀엣, 협연, 협업이 불가능한 사용자를 온라인상에서 사용자의 음성 데이터의 싱크와 다른 상대방의 싱크를 맞추도록 딜레이 데이터를 버리고 실시간 데이터만 상대방과 믹싱하여 제공하는 효과를 제공한다. The broadcast transmission system and method for providing a duet mode and a simultaneous sound mode according to an exemplary embodiment of the present invention provide a user who is unable to duet, collaborate, or collaborate in a distance and off-line. The delay data is discarded so that only the real time data is mixed with the other party to provide the effect.

또한, 본 발명의 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법은, 딜레이 저감을 통해 신속 데이터 처리의 전제하에서 싱크 연산 로직을 제공할 수 있는 효과가 있다. In addition, the duet mode and the simultaneous sound mode provision-based broadcast transmission system and method according to another embodiment of the present invention, there is an effect that can provide the sync operation logic under the premise of rapid data processing through delay reduction.

뿐만 아니라, 본 발명의 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법은, 현재까지 불가능 했던 떨어진 사람과 같이 노래 자막을 보고 같이 동시에 노래를 부를 수 있고 노래를 부를 때 기타나 피아노등을 연주가 가능한 효과를 제공할 수 있다.
In addition, the duet mode and the simultaneous sound mode provision-based broadcast transmission system and method according to another embodiment of the present invention, when it is possible to sing and sing at the same time as watching the song subtitles as far away as impossible It can provide effects that can play guitar or piano.

도 1은 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템을 나타내는 도면이다.
도 2a는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 싱글 시스템 장치(100)의 구성요소를 나타내는 블록도이다.
도 2b는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 듀엣 시스템 장치(400)의 구성요소를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 음향 시스템 장치(500)의 구성요소를 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 방송 송출서버(300)의 구성요소를 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 방법을 나타내는 흐름도이다. 1 is a diagram illustrating a broadcast transmission system based on providing a duet mode and a simultaneous sound mode according to an exemplary embodiment of the present invention.
FIG. 2A is a block diagram illustrating components of a single system apparatus 100 in a duet mode and a simultaneous sound mode providing based broadcast transmission system according to an exemplary embodiment of the present invention.
2B is a block diagram illustrating the components of the duet system apparatus 400 among the duet mode and the simultaneous sound mode providing based broadcast transmission system according to the exemplary embodiment of the present invention.
FIG. 3 is a block diagram illustrating components of an acoustic system apparatus 500 in a duet mode and a simultaneous sound mode providing broadcast broadcasting system according to an exemplary embodiment of the present invention.
4 is a block diagram illustrating the components of the broadcast transmission server 300 in the duet mode and the simultaneous sound mode providing broadcast broadcasting system according to the embodiment of the present invention.
5 is a flowchart illustrating a broadcast transmission method based on providing a duet mode and a simultaneous sound mode according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, the detailed description of the preferred embodiment of the present invention will be described with reference to the accompanying drawings. In the following description of the present invention, detailed descriptions of well-known functions or configurations will be omitted when it is deemed that they may unnecessarily obscure the subject matter of the present invention.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
In the present specification, when one component 'transmits' data or a signal to another component, the component may directly transmit the data or signal to another component, and through at least one other component. This means that data or signals can be transmitted to other components.

도 1은 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템을 나타내는 도면이다. 도 1을 참조하면, 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템은 싱글 시스템 장치(100), 네트워크(200), 방송 송출서버(300), 복수의 듀엣 시스템 장치(400)를 포함하는 듀엣 시스템 장치 집합(400g), 복수의 음향 시스템 장치(500)를 포함하는 음향 시스템 장치 집합(500g)을 포함할 수 있다.1 is a diagram illustrating a broadcast transmission system based on providing a duet mode and a simultaneous sound mode according to an exemplary embodiment of the present invention. Referring to FIG. 1, the duet mode and the simultaneous sound mode providing broadcast broadcasting system may include a single system device 100, a network 200, a broadcast transmission server 300, and a plurality of duet system devices 400. The device set 400g may include a sound system device set 500g including a plurality of sound system devices 500.

여기서, 네트워크(200)는 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 여기서, 네트워크(200)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 네트워크(200)는 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 그 밖의 5G 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(200)는 싱글 시스템 장치(100), 방송 송출서버(300), 복수의 듀엣 시스템 장치(400)를 포함하는 듀엣 시스템 장치 집합(400g), 복수의 음향 시스템 장치(500)를 포함하는 음향 시스템 장치 집합(500g), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.
Here, the network 200 is a communication network that is a high-speed network of a large communication network capable of long-distance voice and data services, and may be a next-generation wired and wireless network for providing an Internet or high-speed multimedia service. Here, when the network 200 is a mobile communication network, it may be a synchronous mobile communication network or an asynchronous mobile communication network. An example of an asynchronous mobile communication network is a communication network of a wideband code division multiple access (WCDMA) scheme. In this case, although not shown in the figure, the network 200 may include a Radio Network Controller (RNC). Meanwhile, although the WCDMA network is taken as an example, it may be an IP network based on a next generation communication network such as 3G LTE network, 4G network, 5G, or other IP. The network 200 includes a single system device 100, a broadcast transmission server 300, a duet system device set 400g including a plurality of duet system devices 400, and a sound including a plurality of acoustic system devices 500. The system device set 500g and other systems serve to mutually communicate signals and data.

도 2a는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 싱글 시스템 장치(100)의 구성요소를 나타내는 블록도이다. 도 2a를 참조하면, 싱글 시스템 장치(100)는 제 1 통신부(110), 싱글 영상 입출력부(120), 싱글 음성 입출력 장치(130), 제 1 중앙 처리 장치부(140)를 포함할 수 있으며, 온라인 강사, 노래를 부르는 사람 등이 운영하는 장치일 수 있다. FIG. 2A is a block diagram illustrating components of a single system apparatus 100 in a duet mode and a simultaneous sound mode providing based broadcast transmission system according to an exemplary embodiment of the present invention. Referring to FIG. 2A, the single system apparatus 100 may include a first communication unit 110, a single image input / output unit 120, a single audio input / output device 130, and a first central processing unit 140. , An online instructor, a song writer, or the like.

제 1 중앙 처리 장치부(140)는 제 1 통신부(110)를 통해 네트워크(200)와 연결된 방송 송출서버(300)로 액세스(Access)하여, 식별 ID를 제공하며, 방송 송출서버(300)로 제공한 식별 ID를 통해 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 적어도 하나 이상의 음향 시스템 장치(500)가 연동된 것을 확인한 뒤 싱크 개시를 수행할 수 있다. The first central processing unit 140 accesses the broadcast transmission server 300 connected to the network 200 through the first communication unit 110 to provide an identification ID, and to the broadcast transmission server 300. After confirming that the at least one duet system device 400 or the at least one sound system device 500 is linked through the provided identification ID, sync start may be performed.

이에 따라, 제 1 중앙 처리 장치부(140)는 싱글 영상 입출력부(120)로 입력되는 영상 데이터, 싱글 음성 입출력 장치(130)로 입력되는 음성 데이터를 수신한 뒤, 네트워크(200)를 통해 방송 송출서버(300)로 전송하도록 제 1 송수신부(110)를 제어할 수 있다. 여기서, 싱글 영상 입출력부(120)는 영상 촬영 장치와 스크린 장치로 구성될 수 있으며, 싱글 음성 입출력 장치(130)는 마이크와 스피커로 구성될 수 있다.
Accordingly, the first central processing unit 140 receives the image data input to the single image input / output unit 120 and the audio data input to the single voice input / output device 130 and then broadcasts the data through the network 200. The first transceiver 110 may be controlled to transmit to the transmission server 300. Here, the single image input / output unit 120 may be composed of an image capturing apparatus and a screen apparatus, and the single voice input / output apparatus 130 may be composed of a microphone and a speaker.

도 2b는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 듀엣 시스템 장치(400)의 구성요소를 나타내는 블록도이다. 도 2b를 참조하면, 듀엣 시스템 장치(400)는 제 2 통신부(410), 듀엣 영상 입출력부(420), 듀엣 음성 입출력 장치(430) 및 제 2 중앙 처리 장치부(440)를 포함할 수 있으며, 온라인 강사를 보조하는 사람, 노래를 듀엣으로 부르고자 하는 사람 등이 운영하는 장치일 수 있다. 2B is a block diagram illustrating the components of the duet system apparatus 400 among the duet mode and the simultaneous sound mode providing based broadcast transmission system according to the exemplary embodiment of the present invention. Referring to FIG. 2B, the duet system device 400 may include a second communication unit 410, a duet image input / output unit 420, a duet voice input / output device 430, and a second central processing unit 440. , A person assisting an online instructor, or a person who wants to sing a song duet.

제 2 중앙 처리 장치부(440)는 제 2 통신부(110)를 통해 네트워크(200)와 연결된 방송 송출서버(300)로 액세스하여, 싱글 시스템 장치(100)의 식별 ID를 검색한 뒤, 연동 신청과 듀엣 시스템 장치(400)의 식별 ID를 제공하며, 싱글 시스템 장치(100)에 대한 연동 신청 뒤에 방송 송출서버(300)에 제공한 듀엣 시스템 장치(400)의 식별 ID를 통해 싱글 시스템 장치(100) 또는 적어도 하나 이상의 음향 시스템 장치(500)가 연동된 것을 확인한 뒤 싱크 개시를 수행할 수 있다. The second central processing unit 440 accesses the broadcast transmission server 300 connected to the network 200 through the second communication unit 110, searches for an identification ID of the single system device 100, and then applies for interworking. And the identification ID of the duet system device 400, and the single system device 100 through the identification ID of the duet system device 400 provided to the broadcast transmission server 300 after the interworking application for the single system device 100. Or after the at least one acoustic system device 500 is interlocked, the sink may be started.

이에 따라, 제 2 중앙 처리 장치부(440)는 듀엣 영상 입출력부(420)로 입력되는 영상 데이터, 듀엣 음성 입출력 장치(430)로 입력되는 음성 데이터를 수신한 뒤, 네트워크(200)를 통해 방송 송출서버(300)로 전송하도록 제 2 송수신부(410)를 제어할 수 있다.
Accordingly, the second central processing unit 440 receives the image data inputted to the duet image input / output unit 420 and the audio data inputted to the duet voice input / output device 430 and then broadcasts the data through the network 200. The second transceiver 410 may be controlled to transmit to the transmission server 300.

도 3은 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 음향 시스템 장치(500)의 구성요소를 나타내는 블록도이다. 도 3을 참조하면, 음향 시스템 장치(500)는 제 3 통신부(510), 보조 영상 입출력부(520), 보조 음성 입출력 장치(530), 제 3 중앙 처리 장치부(540), 음향 I/O IF(550) 및 악기 디바이스(560)를 포함할 수 있으며, 온라인 강사에게 보조 음향 데이터 또는 보조 영상 데이터를 제공하는 사람, 노래를 부르는 사람 또는 부르고자 하는 사람에게 연주를 협연으로 제공하고자 하는 사람 등이 운영하는 장치일 수 있다. FIG. 3 is a block diagram illustrating components of an acoustic system apparatus 500 in a duet mode and a simultaneous sound mode providing broadcast broadcasting system according to an exemplary embodiment of the present invention. Referring to FIG. 3, the acoustic system apparatus 500 includes a third communication unit 510, an auxiliary image input / output unit 520, an auxiliary audio input / output device 530, a third central processing unit 540, and audio I / O. IF 550 and instrument device 560, and may include a person providing auxiliary sound data or auxiliary image data to an online instructor, a person who sings, or a person who wants to provide a performance to a person who wants to sing, and the like. This can be a running device.

제 3 중앙 처리 장치부(540)는 제 3 통신부(110)를 통해 네트워크(200)와 연결된 방송 송출서버(300)로 액세스하여, 싱글 시스템 장치(100)의 식별 ID, 그 밖의 듀엣 시스템 장치(400)의 식별 ID를 검색한 뒤, 연동 신청과 음향 시스템 장치(500)의 식별 ID를 제공하며, 싱글 시스템 장치(100) 또는 듀엣 시스템 장치(400)에 대한 연동 신청 뒤에 방송 송출서버(300)에 제공한 음향 시스템 장치(500)의 식별 ID를 통해 싱글 시스템 장치(100) 또는 적어도 하나 이상의 음향 시스템 장치(500)가 연동된 것을 확인한 뒤 싱크 개시를 수행할 수 있다. The third central processing unit 540 accesses the broadcast transmission server 300 connected to the network 200 through the third communication unit 110 to identify an identification ID of the single system device 100 and other duet system devices ( Search for the identification ID of 400, and provide the identification ID of the interworking request and the sound system device 500, the broadcast transmission server 300 after the interworking request for the single system device 100 or duet system device 400 After confirming that the single system apparatus 100 or the at least one acoustic system apparatus 500 is linked through the identification ID of the acoustic system apparatus 500 provided in FIG.

이에 따라, 제 3 중앙 처리 장치부(540)는 보조 영상 입출력부(520)로 입력되는 영상 데이터, 보조 음성 입출력 장치(530)로 입력되는 음향 데이터, 음향 I/O IF(550)와 연결된 악기 디바이스(560)로 입력되는 악기 음향 데이터를 수신한 뒤, 네트워크(200)를 통해 방송 송출서버(300)로 전송하도록 제 3 송수신부(510)를 제어할 수 있다.
Accordingly, the third CPU 540 may be an image data input to the auxiliary video input / output unit 520, audio data input to the auxiliary audio input / output device 530, and an instrument connected to the audio I / O IF 550. After receiving the instrument sound data input to the device 560, the third transceiver 510 may be controlled to transmit to the broadcast transmission server 300 through the network 200.

이와 같은 구성을 통해 본 발명의 실시예로, 멀리 떨어진 사람과 같이 듀엣으로 노래나 협연을 하고자 사람은 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)를 통해 선택할 수 있으며, 선택한 사람과는 자사 전용 셋톱박스에 해당하는 제 1 내지 제 3 통신부(110, 410, 510)인지를 상호 방송 송출서버(300)의 중계를 통해 확인하고 노래를 시작하면, 떨어진 사람에게도 동시에 노래 자막이나 노래 악보가 출력이 방송 송출서버(300)에 의해 동기화되어 전송되고, 출력된 노래 가사와 악보를 보고 부르면 나와 떨어진 사람과 동시에 노래 또는 연주를 수행할 수 있다. In this embodiment of the present invention through such a configuration, a person who wants to sing or play in a duet, such as a distant person, may select through the duet system device 400 and / or the acoustic system device 500, Check whether the first to third communication unit (110, 410, 510) corresponding to the company's dedicated set-top box through the broadcast of the mutual broadcasting server 300, and start the song, at the same time, the song subtitles or song scores to the person who fell When the output is synchronized and transmitted by the broadcast transmission server 300, and sees the output song lyrics and sheet music can sing or play at the same time with someone away from me.

이에 따라, 개설한 사람과 듀엣으로 연결된 사람과는 자동 싱크 제어 프로그램이 실행이 되어 상대방이 데이터가 늦게 들어오는 경우에는 자동으로 버리고 실시간 데이터만 개설자와 자동 믹서하여 네트워크(200)를 통해 단수의 대상 스마트 디바이스(600) 또는 많은 수의 대상 스마트 디바이스(600)에게 인터넷 방식 형식으로 송출될 수 있다. Accordingly, the automatic sync control program is executed between the establisher and the person connected to the duet, and when the counterpart enters the data late, the discarder automatically discards the data and automatically mixes only the real-time data with the establisher. The device 600 or a large number of target smart devices 600 may be transmitted in an internet format.

한편, 방송 송출서버(300)는 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500)에 의한 1:1 또는 1:N의 실시간 처리를 중계만 할 수 있거나, 개설자에 해당하는 싱글 시스템 장치(100)에서 듀엣 모드 또는 동시 음향 모드 해지 신청시 자동으로 자신에 해당하는 서버 경유방식으로 안정적인 실시간 대화 및 연주 가능 모드로 변경할 수 있다.
Meanwhile, the broadcast transmission server 300 may only relay 1: 1 or 1: N real-time processing by the single system apparatus 100, the duet system apparatus 400, and the acoustic system apparatus 500, or to the founder. When applying for a duet mode or simultaneous sound mode cancellation request from the corresponding single system device 100, it may be automatically changed to a stable real-time conversation and playable mode via a server corresponding to itself.

그리고 도 4는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 방송 송출서버(300)의 구성요소를 나타내는 블록도이다. 도 4를 참조하면, 방송 송출서버(300)는 송수신부(310), 제어부(320), 데이터베이스(330)를 포함할 수 있다.4 is a block diagram illustrating the components of the broadcast transmission server 300 in the duet mode and the simultaneous sound mode providing broadcast broadcasting system according to the embodiment of the present invention. Referring to FIG. 4, the broadcast transmission server 300 may include a transceiver 310, a controller 320, and a database 330.

그리고 제어부(320)는 사용자 관리 모듈(321), 넷 스튜디오 모듈(322), SW/HW 복합 지원 모듈(323)을 포함할 수 있다.The controller 320 may include a user management module 321, a net studio module 322, and a SW / HW composite support module 323.

여기서, 사용자 관리 모듈(321)은 ID 인식 수단(321a), UI 동기화 수단(321b), 딜레이 유입 수단(321c)을 구비할 수 있다.Here, the user management module 321 may include an ID recognition means 321a, a UI synchronization means 321b, and a delay inflow means 321c.

ID 인식 수단(321a)은 네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 연동 신청을 대기하도록 송수신부(310)를 제어한다.At least one of the ID recognizing means 321a has applied for the duet mode by searching for the identification ID of the single system device 100 and the single system device 100 that are accessed through the network 200. The transceiver 310 controls the transmission / reception unit 310 to wait for an interworking request by the at least one duet system device 400 or the at least one sound system device 500 applying for the simultaneous sound mode.

이후, ID 인식 수단(321a)은 네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 식별 ID를 인식한 뒤, 인식된 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500)의 식별 ID를 함께 데이터베이스(330)에 저장할 수 있다. Thereafter, the ID recognizing means 321a applies for the duet mode by searching for identification IDs of the single system device 100 and the single system device 100 that are accessed through the network 200. After recognizing the identification ID by the at least one duet system device 400 or at least one sound system device 500 applying for the simultaneous sound mode, the recognized single system device 100, duet system device 400, The identification ID of the acoustic system apparatus 500 may be stored together in the database 330.

또한, ID 인식 수단(321a)은 연동되는 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500), 그리고 싱글 시스템 장치(100)로 네트워크(200)를 통해 싱크 연동 신호를 전송하도록 송수신부(310)를 제어함으로써, 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 대한 싱크 개시 요청을 수행한다.Also, the ID recognizing means 321a may transmit and receive the sync interworking signal 310 to the duet system device 400 or the acoustic system device 500 and the single system device 100 through the network 200. By performing the control, the sink start request for the duet system device 400 and / or the sound system device 500 interworking with the single system device 100 is performed.

UI 동기화 수단(321b)은 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 대한 동일한 영상, 자막(수업 내용 또는 질의 내용)을 로딩하기 위해 네트워크(200)를 통해 연동된 각 시스템 장치로 싱크 개시 시간을 메타 데이터로 하여 동일한 영상, 자막 정보를 전송하도록 송수신부(310)를 제어함과 동시에, 싱글 시스템 장치(100)와, 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 의한 동일한 영상, 자막에 따른 싱글 시스템 장치(100)에 의한 싱글 데이터, 듀엣 시스템 장치(400)에 의한 듀엣 데이터, 음향 시스템 장치(500)에 의한 음향 데이터를 제공하도록 요청한다.The UI synchronizing means 321b is configured to load the same image, subtitles (class contents or query contents) for the duet system apparatus 400 and / or the acoustic system apparatus 500 interworking with the single system apparatus 100. While controlling the transceiver 310 to transmit the same video and caption information using the sync start time as meta data to each of the system devices linked through the 200, the single system device 100 and the duet system device 400 And / or the same image by the acoustic system apparatus 500, single data by the single system apparatus 100 according to the subtitles, duet data by the duet system apparatus 400, and acoustic data by the acoustic system apparatus 500 Ask to provide.

본 발명에서 싱글 시스템 장치(100)가 노래를 부르는 사람이 운영하는 장치이고, 듀엣 시스템 장치(400)가 듀엣으로 노래를 부르는 사람이 운영하는 장치이고, 음향 시스템 장치(500)가 연주를 하는 사람이 운영하는 장치인 경우, 현재까지 불가능 했던 떨어진 사람과 같이 노래 자막을 보고 같이 동시에 노래를 부를 수 있고 노래를 부를 때 기타나 피아노등을 연주가 가능한 효과를 제공하며, 상술한 동일한 영상, 자막은 노래 자막일 수 있다.In the present invention, the single system device 100 is a device operated by a person who sings, and the duet system device 400 is a device operated by a person who sings as a duet, and the sound system device 500 is a person who plays. In the case of the operating device, it is possible to see the song subtitles and sing songs at the same time as the fallen person who has not been possible until now, and when playing a song, it is possible to play the guitar or the piano. It may be a subtitle.

한편, 싱글 시스템 장치(100)가 온라인 강사가 운영하는 장치이고, 듀엣 시스템 장치(400)가 온라인 강사를 보조하는 사람이 운영하는 장치이고, 음향 시스템 장치(500)가 온라인 강의에서 음향 데이터 또는 보조 영상 데이터를 하는 사람이 운영하는 장치인 경우, 상술한 동일한 영상, 자막은 온라인 강의 진행을 위한 시나리오 정보일 수 있다.Meanwhile, the single system device 100 is a device operated by an online instructor, the duet system device 400 is a device operated by a person who assists the online instructor, and the acoustic system device 500 is an acoustic data or assistant in an online lecture. In the case of a device operated by a person who performs image data, the same image and subtitles described above may be scenario information for an online lecture.

UI 동기화 수단(321b)은 후술하는 딜레이 판단 수단(322a)에 의한 판단에 따라 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 의한 딜레이 발생시 각 연동된 시스템 장치 별로 딜레이 타임을 인입하여 50ms 이하의 오차범위 내에서 동기화 시켜서 동일한 영상 또는 자막 UI 화면이 출력되도록 동일한 영상 또는 자막 데이터를 전송하도록 송수신부(310)를 제어할 수 있다. The UI synchronization means 321b is interlocked when a delay occurs due to the duet system device 400 and / or the sound system device 500 interworking with the single system device 100 according to the determination by the delay determination means 322a described later. The transceiving unit 310 may be controlled to transmit the same image or caption data so that the same image or caption UI screen is output by synchronizing the delay time for each system device and synchronizing within an error range of 50 ms or less.

딜레이 유입 수단(321c)은 넷 스튜디오 모듈(322)에 의해 믹싱되는 데이터에 상호 연동된 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500) 중 하나에 의한 사전 딜레이 유입 요청을 수신하는 경우, 데이터 믹싱 수단(322c)으로 영상 또는 음성에 대한 딜레이 유입 정보를 제공할 수 있다. The delay inflow means 321c may request a pre-delay inflow by one of the single system device 100, the duet system device 400, and the acoustic system device 500 interworked with the data mixed by the net studio module 322. When receiving the data, the data mixing means 322c may provide delay inflow information on the video or audio.

또한, 넷 스튜디오 모듈(322)은 딜레이 판단 수단(322a), 데이터 선택 수단(322b), 데이터 믹싱 수단(322c)을 구비할 수 있다.In addition, the net studio module 322 may include a delay determination means 322a, a data selection means 322b, and a data mixing means 322c.

딜레이 판단 수단(322a)은 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)로부터 수신되어 데이터베이스(330)에 저장되는 싱글 데이터, 듀엣 데이터 및/또는 음향 데이터에 해당하는 디지털 신호에 대한 상대적인 딜레이를 판단하여 딜레이 발생시 딜레이 시간을 측정하여 데이터베이스(330)에 함께 저장할 수 있다.Delay determination means 322a is applied to single data, duet data and / or acoustic data received from single system apparatus 100, duet system apparatus 400 and / or acoustic system apparatus 500 and stored in database 330. By determining the delay relative to the corresponding digital signal, the delay time when the delay occurs may be stored together in the database 330.

본 발명의 일 실시예로, 딜레이 판단 수단(322a)은 영상 타입, 음성 타입의 데이터 중 음성 데이터를 샘플링하고, 샘플링에 따라 음성 인식 발생 시간을 정렬하여 수신된 데이터의 우선 순위를 결정할 수 있고, 우선 순위 중 최우선 순위에 해당하는 음성 데이터를 기준으로 차순위 음성 데이터 간의 딜레이 시간을 타임 라인에서 구간을 설정한 뒤, 정량적 수치인 절대적 크기 정보 1로 설정하고, 차순위 음성 데이터와 차차순위 음성 데이터 뿐만 아니라, 그 이후의 L차순위 음성 데이터 간의 딜레이 시간을 상대적 수치로 연산함으로써, 후술하는 데이터 선택 수단(322b)에 의한 딜레이 발생 데이터를 제거시, 제거 연산의 신속성을 제공할 수 있다. In an embodiment of the present invention, the delay determination unit 322a may sample the voice data among the image type and the voice type data, and determine the priority of the received data by arranging the voice recognition occurrence time according to the sampling. Set the delay time between the next-order voice data on the timeline based on the voice data corresponding to the highest priority among the priorities, and then set the absolute size information 1 as a quantitative value, as well as the next-order voice data and the next-order voice data. By calculating the delay time between subsequent L-order voice data with a relative value, it is possible to provide the speed of the removal operation when removing the delay generation data by the data selection means 322b described later.

여기서, 딜레이 판단 수단(322a)에 의한 음성 데이터의 샘플링은, 각 음성 데이터의 첫 번째 패킷 데이터를 추출하며, 각 음성 데이터의 발생 시간의 우선 순위를 결정시 각 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500)에 대한 질의 요청을 통해 첫 번째 패킷 데이터 압축지연 시간 및 첫 번째 패킷 데이터의 전송 지연 시간을 인입하여 도달 우선 순위를 산정한다. 그리고, 딜레이 판단 수단(322a)은 첫 번째 패킷 데이터의 전송 지연 시간에 대해서는 각 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500)와의 RTT(round trip time) 측정 방식으로 사전에 획득할 수 있다. Here, sampling of the voice data by the delay determination means 322a extracts the first packet data of each voice data, and determines each priority of the generation time of each voice data. Through the query request to the device 400 and the acoustic system device 500, the arrival priority is calculated by receiving the first packet data compression delay time and the transmission delay time of the first packet data. The delay determining unit 322a measures the transmission delay time of the first packet data by measuring a round trip time (RTT) with each of the single system apparatus 100, the duet system apparatus 400, and the acoustic system apparatus 500. Can be obtained in advance.

데이터 선택 수단(322b)은 딜레이 발생 데이터를 제거한다. 즉 데이터 선택 수단(322b)은 딜레이 판단 수단(322a)에 의해 측정되어 데이터베이스(330)에 저장된 딜레이 시간에 대한 절대적 크기 정보 및 상대적 크기 정보를 활용하여 싱글 시스템 장치(100)에서 수신되는 싱글 데이터, 듀엣 시스템 장치(400)에서 수신되는 듀엣 데이터, 음향 시스템 장치에서 수신되는 음향 데이터 각각에 대한 딜레이 시간만큼의 데이터 구간을 제거할 수 있다. The data selecting means 322b removes delay generation data. That is, the data selection means 322b is measured by the delay determination means 322a and uses the absolute size information and the relative size information for the delay time stored in the database 330 to receive the single data received from the single system apparatus 100, The data section corresponding to the delay time for each of the duet data received from the duet system device 400 and the sound data received from the sound system device may be removed.

이후, 데이터 믹싱 수단(322c)은 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터만을 대상 스마트 디바이스(600)로 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어할 수 있다. Thereafter, the data mixing unit 322c collects and synchronizes only current data having no delay, and then transmits and receives the transceiver 310 to transmit only the synchronized data to the target smart device 600 through the network 200. Can be controlled.

또한, 데이터 믹싱 수단(322c)은 싱크가 맞춰진 데이터에 대해서 싱글 시스템 장치(100)와, 그리고 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 대해서도 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어할 수 있다. In addition, the data mixing means 322c also controls the single system apparatus 100 for synchronized data and the duet system apparatus 400 and / or the acoustic system apparatus 500 interworking with the single system apparatus 100. The transceiver 310 may be controlled to be transmitted through the network 200.

SW/HW 복합 지원 모듈(323)은 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)에 의해 생성되는 디지털 신호에 해당하는 데이터의 생성 속도, 송수신 속도, 데이터 압축/해제 속도가 각 파라미터에 대해서 단계별로 구분되어 n(파라미터의 개수)×m(m은 각 파라미터 단계의 개수)(n, m은 서로 같거나 다른 2 이상의 자연수이며, m은 각 파라미터 별로 가변적)의 셀(cell)에 매칭되어 저장된 클라우드(cloud) 기반의 각 장치별 소프트웨어 모듈을 제공함으로써, 각 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)의 하드웨어 특성을 최소화할 수 있는 소프트웨어적인 교정 과정을 제공할 수 있다.
The SW / HW composite support module 323 may include data corresponding to digital signals generated by the single system device 100, the linked duet system device 400, the acoustic system device 500, and the target smart device 600. The generation speed, transmission / reception speed, and data compression / decompression speed are divided step by step for each parameter so that n (number of parameters) × m (m is the number of each parameter step) (n, m are two or more natural numbers equal or different from each other. , m is variable for each parameter) by providing a cloud-based software module for each device that is matched and stored in each cell, so that each single system device 100, duet system device 400 linked, acoustic The system apparatus 500 may provide a software calibration process for minimizing hardware characteristics of the target smart device 600.

도 5는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 방법을 나타내는 흐름도이다. 도 5를 참조하면, ID 인식 수단(321a)은 싱글 시스템 장치(100)에 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 적어도 하나 이상의 음향 시스템 장치(500)가 연동되었는지 확인하여 연동된 각 시스템 장치로 싱크 연동 신호를 제공함으로써, 싱크를 개시한다(S11).5 is a flowchart illustrating a broadcast transmission method based on providing a duet mode and a simultaneous sound mode according to an embodiment of the present invention. Referring to FIG. 5, the ID recognizing means 321a checks whether at least one duet system device 400 or at least one acoustic system device 500 is linked to the single system device 100 to each system device that is linked to each other. By providing the sync interworking signal, the sync is started (S11).

단계(S11) 이후, UI 동기화 수단(321b)은 연동된 시스템 장치에 동일한 영상, 자막(수업 내용 또는 질의 내용)을 로딩하기 위해 네트워크(200)를 통해 연동된 각 시스템 장치로 싱크 개시 시간을 메타 데이터로 하여 동일한 영상, 자막 정보를 제공한다(S12).After the step S11, the UI synchronizing means 321b meta-sinks the sync start time to each of the interlocked system devices via the network 200 in order to load the same video and subtitles (class contents or query contents) into the interlocked system devices. The same video and caption information are provided as data (S12).

단계(S12) 이후 또는 단계(S12)와 동시에, UI 동기화 수단(321b)은 싱글 시스템 장치(100)와, 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 의한 동일한 영상, 자막에 따른 싱글 시스템 장치(100)에 의한 싱글 데이터, 듀엣 시스템 장치(400)에 의한 듀엣 데이터, 음향 시스템 장치(500)에 의한 음향 데이터를 제공하도록 요청한다(S13). After step S12 or at the same time as step S12, the UI synchronizing means 321b is connected to the same image and subtitle by the single system device 100, duet system device 400 and / or sound system device 500. A request is made to provide single data by the single system apparatus 100, duet data by the duet system apparatus 400, and acoustic data by the acoustic system apparatus 500 (S13).

단계(S13) 이후, 딜레이 판단 수단(322a)은 각 시스템 장치로부터 전송된 디지털 신호에 대한 상대적인 딜레이 발생시 딜레이를 측정하여 데이터베이스(330)에 저장한다(S14).After the step S13, the delay determination means 322a measures and stores the delay in the database 330 when a relative delay occurs with respect to the digital signal transmitted from each system device (S14).

단계(S14) 이후, 데이터 선택 수단(322b)에 의한 딜레이 발생 데이터 제거에 따라, 데이터 믹싱 수단(322c)이 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터만을 대상 스마트 디바이스(600)로 네트워크(200)를 통해 전송한다(S15).
After step S14, as the delay generation data is removed by the data selecting means 322b, the data mixing means 322c collects and synchronizes only the current data without the delay occurrence, and then only the synchronized data is targeted. The device 600 transmits the data through the network 200 (S15).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The invention can also be embodied as computer readable code on a computer readable recording medium. Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (eg, transmission over the Internet). It also includes.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, the present specification and drawings have been described with respect to preferred embodiments of the present invention, although specific terms are used, it is only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention. It is not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.

100 : 싱글 시스템 장치
200 : 네트워크
300 : 방송 송출서버
310 : 송수신부
320 : 제어부
321 : 사용자 관리 모듈
321a : ID 인식 수단
321b : UI 동기화 수단
321c : 딜레이 유입 수단
322 : 넷 스튜디오 모듈
322a : 딜레이 판단 수단
322b : 데이터 선택 수단
322c : 데이터 믹싱 수단
323 : SW/HW 복합 지원 모듈
400 : 듀엣 시스템 장치
500 : 음향 시스템 장치
600 : 대상 스마트 디바이스100: single system unit
200: network
300: broadcast transmission server
310: transceiver
320: control unit
321: user management module
321a: ID recognition means
321b: UI synchronization means
321c: delay inflow means
322: Net Studio Module
322a: means for determining delay
322b: data selection means
322c: data mixing means
323: SW / HW composite support module
400: Duet System Unit
500: sound system device
600: target smart device

Claims

A broadcast transmission system based on providing a duet mode and a simultaneous sound mode for mixing voice or video data of multiple users spaced apart from each other,
At least one duet system device 400 applying for a duet mode by searching for an identification ID of the single system device 100 and the accessed single system device 100 performing access through the network 200. Or ID recognizing means 321a for recognizing an identification ID by at least one acoustic system device 500 that has applied for the simultaneous acoustic mode;
UI synchronizing means (321b) for outputting the same screen to the single system apparatus 100, duet system apparatus 400, or sound system apparatus 500 in which the identification ID is recognized;
Determining the relative delay of the digital signal corresponding to the single data, duet data or sound data received from the single system device 100, duet system device 400 or sound system device 500 and stored in the database 330 Delay determination means (322a) for measuring a delay time when a delay occurs; And
Data mixing means 322c for collecting and synchronizing only current data with no delay occurrence and generating the synchronized data according to the delay generation data removed by the data selection means 322b; Including,
The duet mode and the simultaneous sound mode providing broadcast broadcasting system correspond to the digital signal generated by the single system apparatus 100, the linked duet system apparatus 400, the acoustic system apparatus 500, and the target smart device 600. The data generation speed, transmission / reception speed, and data compression / decompression speed are divided step by step for each parameter so that n (the number of parameters) × m (m is the number of each parameter step) (n, m is the same or different from each other. M is the natural number, and m is variable for each parameter to provide a cloud-based software module for each device that is stored and matched with each cell. Each single system device 100 and linked duet system device 400 ), The sound system device 500, the SW / HW composite support module 323 for providing a software calibration process that can minimize the hardware characteristics of the target smart device 600; Providing a duet mode and a simultaneous sound mode, the broadcast transmission system further comprises.

The method according to claim 1, UI synchronization means 321b,
When the delay occurs by the duet system device 400 or the acoustic system device 500 interlocked with the single system device 100 according to the determination by the delay determination means 322a, a delay time is input for each interlocked system device by 50 ms or less. And transmitting and transmitting the same image or caption data such that the same image or caption UI screen is output by synchronizing within an error range of the duet mode and the simultaneous sound mode.

The method according to claim 1,
When receiving a pre-delay inflow request by one of the single system apparatus 100, the duet system apparatus 400, and the acoustic system apparatus 500 interworked with the data mixed by the data mixing means 322c, the data mixing. Delay inlet means 321c for providing delay inlet information for an image or audio to means 322c; Providing a duet mode and a simultaneous sound mode, the broadcast transmission system further comprises.

delete

The method according to claim 1, wherein the data mixing means 322c,
A duet mode, characterized in that the transmitter and receiver are controlled to collect and synchronize only current data without a delay and transmit only the synchronized data to the target smart device 600 through the network 200. Broadcast broadcasting system based on simultaneous sound mode.

The method according to claim 1, wherein the data mixing means 322c,
Transmitting / receiving unit (100) to transmit the synchronized data to the single system device (100) and the duet system device (400) or the acoustic system device (500) linked to the single system device (100) through the network (200). 310 is a duet mode and simultaneous sound mode providing based broadcast transmission system, characterized in that for controlling.