KR20190100723A - 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법 - Google Patents

듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190100723A
KR20190100723A KR1020180020639A KR20180020639A KR20190100723A KR 20190100723 A KR20190100723 A KR 20190100723A KR 1020180020639 A KR1020180020639 A KR 1020180020639A KR 20180020639 A KR20180020639 A KR 20180020639A KR 20190100723 A KR20190100723 A KR 20190100723A
Authority
KR
South Korea
Prior art keywords
duet
data
system device
mode
delay
Prior art date
Application number
KR1020180020639A
Other languages
English (en)
Other versions
KR102056796B1 (ko
Inventor
김우현
Original Assignee
(주)형지엘리트
주식회사 위싱라이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)형지엘리트, 주식회사 위싱라이브 filed Critical (주)형지엘리트
Priority to KR1020180020639A priority Critical patent/KR102056796B1/ko
Publication of KR20190100723A publication Critical patent/KR20190100723A/ko
Application granted granted Critical
Publication of KR102056796B1 publication Critical patent/KR102056796B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/44—Arrangements characterised by circuits or components specially adapted for broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users

Abstract

본 발명은 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법에 관한 것이다. 본 발명은, 서로 이격된 복수 사용자의 음성 또는 영상 데이터를 믹싱하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, 네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 식별 ID를 인식하는 ID 인식 수단(321a); 식별 ID가 인식된 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에게 같은 화면을 출력하는 UI 동기화 수단(321b); 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)로부터 수신되어 데이터베이스(330)에 저장되는 싱글 데이터, 듀엣 데이터 또는 음향 데이터에 해당하는 디지털 신호에 대한 상대적인 딜레이를 판단하여 딜레이 발생시 딜레이 시간을 측정하는 딜레이 판단 수단(322a); 및 데이터 선택 수단(322b)에 의한 딜레이 발생 데이터 제거에 따라, 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터를 생성하는 데이터 믹싱 수단(322c); 을 포함하는 것이 바람직하다.
이에 의해, 거리상 이격되어 오프라인상에서 듀엣, 협연, 협업이 불가능한 사용자를 온라인상에서 사용자의 음성 데이터의 싱크와 다른 상대방의 싱크를 맞추도록 딜레이 데이터를 버리고 실시간 데이터만 상대방과 믹싱하여 제공하는 효과를 제공한다.

Description

듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법{Broadcasting system for duet mode and concurrent sound mode, and method thereof}
본 발명은 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는, 거리상 이격되어 오프라인상에서 듀엣, 협연, 협업이 불가능한 사용자를 온라인상에서 사용자의 음성 데이터의 싱크와 다른 상대방의 싱크를 맞추도록 딜레이 데이터를 버리고 실시간 데이터만 상대방과 믹싱하도록 하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법에 관한 것이다.
과거에는 오프라인상에서 거리가 떨어진 사람과 동시에 노래를 부르거나 노래와 연주에 따른 협연을 함께 제공하는 것, 그리고 강의를 협업으로 하는 것은 불가능하였다.
그러나 인터넷 속도의 증가와 정보통신기술의 발전으로 가능한 환경에 따라, 동시에 듀엣, 협연, 협업이 가능한 환경이 도래하였지만 이러한 방송 송출을 위한 기술적 요소와 하드웨어적인 환경도 같이 지원이 필요한 실정이다.
대한민국 특허출원 출원번호 제10-2009-0136272호 "휴대용 전자기기를 이용한 노래반주기 협연방법(METHOD OF PLAYING KARAOKE PLAYER WITH ELECTRONIC DEVICE)"
본 발명은 상기의 문제점을 해결하기 위한 것으로, 거리상 이격되어 오프라인상에서 듀엣, 협연, 협업이 불가능한 사용자를 온라인상에서 사용자의 음성 데이터의 싱크와 다른 상대방의 싱크를 맞추도록 딜레이 데이터를 버리고 실시간 데이터만 상대방과 믹싱하도록 하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 딜레이 저감을 통해 신속 데이터 처리의 전제하에서 싱크 연산 로직을 제공하도록 하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 현재까지 불가능 했던 떨어진 사람과 같이 노래 자막을 보고 같이 동시에 노래를 부를 수 있고 노래를 부를 때 기타나 피아노등을 연주가 가능하도록 하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템은, 서로 이격된 복수 사용자의 음성 또는 영상 데이터를 믹싱하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, 네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 식별 ID를 인식하는 ID 인식 수단(321a); 식별 ID가 인식된 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에게 같은 화면을 출력하는 UI 동기화 수단(321b); 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)로부터 수신되어 데이터베이스(330)에 저장되는 싱글 데이터, 듀엣 데이터 또는 음향 데이터에 해당하는 디지털 신호에 대한 상대적인 딜레이를 판단하여 딜레이 발생시 딜레이 시간을 측정하는 딜레이 판단 수단(322a); 및 데이터 선택 수단(322b)에 의한 딜레이 발생 데이터 제거에 따라, 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터를 생성하는 데이터 믹싱 수단(322c); 을 포함하는 것이 바람직하다.
이때, 본 발명의 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, UI 동기화 수단(321b)은, 딜레이 판단 수단(322a)에 의한 판단에 따라 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에 의한 딜레이 발생시 각 연동된 시스템 장치 별로 딜레이 타임을 인입하여 50ms 이하의 오차범위 내에서 동기화 시켜서 동일한 영상 또는 자막 UI 화면이 출력되도록 동일한 영상 또는 자막 데이터를 전송하도록 송수신부(310)를 제어하는 것이 바람직하다.
또한, 본 발명의 또 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템은, 데이터 믹싱 수단(322c)에 의해 믹싱되는 데이터에 상호 연동된 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500) 중 하나에 의한 사전 딜레이 유입 요청을 수신하는 경우, 데이터 믹싱 수단(322c)으로 영상 또는 음성에 대한 딜레이 유입 정보를 제공하는 딜레이 유입 수단(321c); 을 더 포함하는 것이 바람직하다.
또한, 본 발명의 또 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템은, 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)에 의해 생성되는 디지털 신호에 해당하는 데이터의 생성 속도, 송수신 속도, 데이터 압축/해제 속도가 각 파라미터에 대해서 단계별로 구분되어 n(파라미터의 개수)×m(m은 각 파라미터 단계의 개수)(n, m은 서로 같거나 다른 2 이상의 자연수이며, m은 각 파라미터 별로 가변적)의 셀(cell)에 매칭되어 저장된 클라우드(cloud) 기반의 각 장치별 소프트웨어 모듈을 제공하여, 각 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)의 하드웨어 특성을 최소화할 수 있는 소프트웨어적인 교정 과정을 제공하는 SW/HW 복합 지원 모듈(323); 을 더 포함하는 것이 바람직하다.
또한, 본 발명의 또 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, 데이터 믹싱 수단(322c)은, 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터만을 대상 스마트 디바이스(600)로 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어하는 것이 바람직하다.
또한, 본 발명의 또 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서, 데이터 믹싱 수단(322c)은, 싱크가 맞춰진 데이터에 대해서 싱글 시스템 장치(100)와, 그리고 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에 대해서 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어하는 것이 바람직하다.
본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법은, 거리상 이격되어 오프라인상에서 듀엣, 협연, 협업이 불가능한 사용자를 온라인상에서 사용자의 음성 데이터의 싱크와 다른 상대방의 싱크를 맞추도록 딜레이 데이터를 버리고 실시간 데이터만 상대방과 믹싱하여 제공하는 효과를 제공한다.
또한, 본 발명의 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법은, 딜레이 저감을 통해 신속 데이터 처리의 전제하에서 싱크 연산 로직을 제공할 수 있는 효과가 있다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법은, 현재까지 불가능 했던 떨어진 사람과 같이 노래 자막을 보고 같이 동시에 노래를 부를 수 있고 노래를 부를 때 기타나 피아노등을 연주가 가능한 효과를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템을 나타내는 도면이다.
도 2a는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 싱글 시스템 장치(100)의 구성요소를 나타내는 블록도이다.
도 2b는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 듀엣 시스템 장치(400)의 구성요소를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 음향 시스템 장치(500)의 구성요소를 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 방송 송출서버(300)의 구성요소를 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 방법을 나타내는 흐름도이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템을 나타내는 도면이다. 도 1을 참조하면, 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템은 싱글 시스템 장치(100), 네트워크(200), 방송 송출서버(300), 복수의 듀엣 시스템 장치(400)를 포함하는 듀엣 시스템 장치 집합(400g), 복수의 음향 시스템 장치(500)를 포함하는 음향 시스템 장치 집합(500g)을 포함할 수 있다.
여기서, 네트워크(200)는 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 여기서, 네트워크(200)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 네트워크(200)는 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 그 밖의 5G 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(200)는 싱글 시스템 장치(100), 방송 송출서버(300), 복수의 듀엣 시스템 장치(400)를 포함하는 듀엣 시스템 장치 집합(400g), 복수의 음향 시스템 장치(500)를 포함하는 음향 시스템 장치 집합(500g), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.
도 2a는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 싱글 시스템 장치(100)의 구성요소를 나타내는 블록도이다. 도 2a를 참조하면, 싱글 시스템 장치(100)는 제 1 통신부(110), 싱글 영상 입출력부(120), 싱글 음성 입출력 장치(130), 제 1 중앙 처리 장치부(140)를 포함할 수 있으며, 온라인 강사, 노래를 부르는 사람 등이 운영하는 장치일 수 있다.
제 1 중앙 처리 장치부(140)는 제 1 통신부(110)를 통해 네트워크(200)와 연결된 방송 송출서버(300)로 액세스(Access)하여, 식별 ID를 제공하며, 방송 송출서버(300)로 제공한 식별 ID를 통해 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 적어도 하나 이상의 음향 시스템 장치(500)가 연동된 것을 확인한 뒤 싱크 개시를 수행할 수 있다.
이에 따라, 제 1 중앙 처리 장치부(140)는 싱글 영상 입출력부(120)로 입력되는 영상 데이터, 싱글 음성 입출력 장치(130)로 입력되는 음성 데이터를 수신한 뒤, 네트워크(200)를 통해 방송 송출서버(300)로 전송하도록 제 1 송수신부(110)를 제어할 수 있다. 여기서, 싱글 영상 입출력부(120)는 영상 촬영 장치와 스크린 장치로 구성될 수 있으며, 싱글 음성 입출력 장치(130)는 마이크와 스피커로 구성될 수 있다.
도 2b는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 듀엣 시스템 장치(400)의 구성요소를 나타내는 블록도이다. 도 2b를 참조하면, 듀엣 시스템 장치(400)는 제 2 통신부(410), 듀엣 영상 입출력부(420), 듀엣 음성 입출력 장치(430) 및 제 2 중앙 처리 장치부(440)를 포함할 수 있으며, 온라인 강사를 보조하는 사람, 노래를 듀엣으로 부르고자 하는 사람 등이 운영하는 장치일 수 있다.
제 2 중앙 처리 장치부(440)는 제 2 통신부(110)를 통해 네트워크(200)와 연결된 방송 송출서버(300)로 액세스하여, 싱글 시스템 장치(100)의 식별 ID를 검색한 뒤, 연동 신청과 듀엣 시스템 장치(400)의 식별 ID를 제공하며, 싱글 시스템 장치(100)에 대한 연동 신청 뒤에 방송 송출서버(300)에 제공한 듀엣 시스템 장치(400)의 식별 ID를 통해 싱글 시스템 장치(100) 또는 적어도 하나 이상의 음향 시스템 장치(500)가 연동된 것을 확인한 뒤 싱크 개시를 수행할 수 있다.
이에 따라, 제 2 중앙 처리 장치부(440)는 듀엣 영상 입출력부(420)로 입력되는 영상 데이터, 듀엣 음성 입출력 장치(430)로 입력되는 음성 데이터를 수신한 뒤, 네트워크(200)를 통해 방송 송출서버(300)로 전송하도록 제 2 송수신부(410)를 제어할 수 있다.
도 3은 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 음향 시스템 장치(500)의 구성요소를 나타내는 블록도이다. 도 3을 참조하면, 음향 시스템 장치(500)는 제 3 통신부(510), 보조 영상 입출력부(520), 보조 음성 입출력 장치(530), 제 3 중앙 처리 장치부(540), 음향 I/O IF(550) 및 악기 디바이스(560)를 포함할 수 있으며, 온라인 강사에게 보조 음향 데이터 또는 보조 영상 데이터를 제공하는 사람, 노래를 부르는 사람 또는 부르고자 하는 사람에게 연주를 협연으로 제공하고자 하는 사람 등이 운영하는 장치일 수 있다.
제 3 중앙 처리 장치부(540)는 제 3 통신부(110)를 통해 네트워크(200)와 연결된 방송 송출서버(300)로 액세스하여, 싱글 시스템 장치(100)의 식별 ID, 그 밖의 듀엣 시스템 장치(400)의 식별 ID를 검색한 뒤, 연동 신청과 음향 시스템 장치(500)의 식별 ID를 제공하며, 싱글 시스템 장치(100) 또는 듀엣 시스템 장치(400)에 대한 연동 신청 뒤에 방송 송출서버(300)에 제공한 음향 시스템 장치(500)의 식별 ID를 통해 싱글 시스템 장치(100) 또는 적어도 하나 이상의 음향 시스템 장치(500)가 연동된 것을 확인한 뒤 싱크 개시를 수행할 수 있다.
이에 따라, 제 3 중앙 처리 장치부(540)는 보조 영상 입출력부(520)로 입력되는 영상 데이터, 보조 음성 입출력 장치(530)로 입력되는 음향 데이터, 음향 I/O IF(550)와 연결된 악기 디바이스(560)로 입력되는 악기 음향 데이터를 수신한 뒤, 네트워크(200)를 통해 방송 송출서버(300)로 전송하도록 제 3 송수신부(510)를 제어할 수 있다.
이와 같은 구성을 통해 본 발명의 실시예로, 멀리 떨어진 사람과 같이 듀엣으로 노래나 협연을 하고자 사람은 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)를 통해 선택할 수 있으며, 선택한 사람과는 자사 전용 셋톱박스에 해당하는 제 1 내지 제 3 통신부(110, 410, 510)인지를 상호 방송 송출서버(300)의 중계를 통해 확인하고 노래를 시작하면, 떨어진 사람에게도 동시에 노래 자막이나 노래 악보가 출력이 방송 송출서버(300)에 의해 동기화되어 전송되고, 출력된 노래 가사와 악보를 보고 부르면 나와 떨어진 사람과 동시에 노래 또는 연주를 수행할 수 있다.
이에 따라, 개설한 사람과 듀엣으로 연결된 사람과는 자동 싱크 제어 프로그램이 실행이 되어 상대방이 데이터가 늦게 들어오는 경우에는 자동으로 버리고 실시간 데이터만 개설자와 자동 믹서하여 네트워크(200)를 통해 단수의 대상 스마트 디바이스(600) 또는 많은 수의 대상 스마트 디바이스(600)에게 인터넷 방식 형식으로 송출될 수 있다.
한편, 방송 송출서버(300)는 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500)에 의한 1:1 또는 1:N의 실시간 처리를 중계만 할 수 있거나, 개설자에 해당하는 싱글 시스템 장치(100)에서 듀엣 모드 또는 동시 음향 모드 해지 신청시 자동으로 자신에 해당하는 서버 경유방식으로 안정적인 실시간 대화 및 연주 가능 모드로 변경할 수 있다.
그리고 도 4는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 중 방송 송출서버(300)의 구성요소를 나타내는 블록도이다. 도 4를 참조하면, 방송 송출서버(300)는 송수신부(310), 제어부(320), 데이터베이스(330)를 포함할 수 있다.
그리고 제어부(320)는 사용자 관리 모듈(321), 넷 스튜디오 모듈(322), SW/HW 복합 지원 모듈(323)을 포함할 수 있다.
여기서, 사용자 관리 모듈(321)은 ID 인식 수단(321a), UI 동기화 수단(321b), 딜레이 유입 수단(321c)을 구비할 수 있다.
ID 인식 수단(321a)은 네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 연동 신청을 대기하도록 송수신부(310)를 제어한다.
이후, ID 인식 수단(321a)은 네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 식별 ID를 인식한 뒤, 인식된 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500)의 식별 ID를 함께 데이터베이스(330)에 저장할 수 있다.
또한, ID 인식 수단(321a)은 연동되는 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500), 그리고 싱글 시스템 장치(100)로 네트워크(200)를 통해 싱크 연동 신호를 전송하도록 송수신부(310)를 제어함으로써, 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 대한 싱크 개시 요청을 수행한다.
UI 동기화 수단(321b)은 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 대한 동일한 영상, 자막(수업 내용 또는 질의 내용)을 로딩하기 위해 네트워크(200)를 통해 연동된 각 시스템 장치로 싱크 개시 시간을 메타 데이터로 하여 동일한 영상, 자막 정보를 전송하도록 송수신부(310)를 제어함과 동시에, 싱글 시스템 장치(100)와, 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 의한 동일한 영상, 자막에 따른 싱글 시스템 장치(100)에 의한 싱글 데이터, 듀엣 시스템 장치(400)에 의한 듀엣 데이터, 음향 시스템 장치(500)에 의한 음향 데이터를 제공하도록 요청한다.
본 발명에서 싱글 시스템 장치(100)가 노래를 부르는 사람이 운영하는 장치이고, 듀엣 시스템 장치(400)가 듀엣으로 노래를 부르는 사람이 운영하는 장치이고, 음향 시스템 장치(500)가 연주를 하는 사람이 운영하는 장치인 경우, 현재까지 불가능 했던 떨어진 사람과 같이 노래 자막을 보고 같이 동시에 노래를 부를 수 있고 노래를 부를 때 기타나 피아노등을 연주가 가능한 효과를 제공하며, 상술한 동일한 영상, 자막은 노래 자막일 수 있다.
한편, 싱글 시스템 장치(100)가 온라인 강사가 운영하는 장치이고, 듀엣 시스템 장치(400)가 온라인 강사를 보조하는 사람이 운영하는 장치이고, 음향 시스템 장치(500)가 온라인 강의에서 음향 데이터 또는 보조 영상 데이터를 하는 사람이 운영하는 장치인 경우, 상술한 동일한 영상, 자막은 온라인 강의 진행을 위한 시나리오 정보일 수 있다.
UI 동기화 수단(321b)은 후술하는 딜레이 판단 수단(322a)에 의한 판단에 따라 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 의한 딜레이 발생시 각 연동된 시스템 장치 별로 딜레이 타임을 인입하여 50ms 이하의 오차범위 내에서 동기화 시켜서 동일한 영상 또는 자막 UI 화면이 출력되도록 동일한 영상 또는 자막 데이터를 전송하도록 송수신부(310)를 제어할 수 있다.
딜레이 유입 수단(321c)은 넷 스튜디오 모듈(322)에 의해 믹싱되는 데이터에 상호 연동된 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500) 중 하나에 의한 사전 딜레이 유입 요청을 수신하는 경우, 데이터 믹싱 수단(322c)으로 영상 또는 음성에 대한 딜레이 유입 정보를 제공할 수 있다.
또한, 넷 스튜디오 모듈(322)은 딜레이 판단 수단(322a), 데이터 선택 수단(322b), 데이터 믹싱 수단(322c)을 구비할 수 있다.
딜레이 판단 수단(322a)은 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)로부터 수신되어 데이터베이스(330)에 저장되는 싱글 데이터, 듀엣 데이터 및/또는 음향 데이터에 해당하는 디지털 신호에 대한 상대적인 딜레이를 판단하여 딜레이 발생시 딜레이 시간을 측정하여 데이터베이스(330)에 함께 저장할 수 있다.
본 발명의 일 실시예로, 딜레이 판단 수단(322a)은 영상 타입, 음성 타입의 데이터 중 음성 데이터를 샘플링하고, 샘플링에 따라 음성 인식 발생 시간을 정렬하여 수신된 데이터의 우선 순위를 결정할 수 있고, 우선 순위 중 최우선 순위에 해당하는 음성 데이터를 기준으로 차순위 음성 데이터 간의 딜레이 시간을 타임 라인에서 구간을 설정한 뒤, 정량적 수치인 절대적 크기 정보 1로 설정하고, 차순위 음성 데이터와 차차순위 음성 데이터 뿐만 아니라, 그 이후의 L차순위 음성 데이터 간의 딜레이 시간을 상대적 수치로 연산함으로써, 후술하는 데이터 선택 수단(322b)에 의한 딜레이 발생 데이터를 제거시, 제거 연산의 신속성을 제공할 수 있다.
여기서, 딜레이 판단 수단(322a)에 의한 음성 데이터의 샘플링은, 각 음성 데이터의 첫 번째 패킷 데이터를 추출하며, 각 음성 데이터의 발생 시간의 우선 순위를 결정시 각 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500)에 대한 질의 요청을 통해 첫 번째 패킷 데이터 압축지연 시간 및 첫 번째 패킷 데이터의 전송 지연 시간을 인입하여 도달 우선 순위를 산정한다. 그리고, 딜레이 판단 수단(322a)은 첫 번째 패킷 데이터의 전송 지연 시간에 대해서는 각 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500)와의 RTT(round trip time) 측정 방식으로 사전에 획득할 수 있다.
데이터 선택 수단(322b)은 딜레이 발생 데이터를 제거한다. 즉 데이터 선택 수단(322b)은 딜레이 판단 수단(322a)에 의해 측정되어 데이터베이스(330)에 저장된 딜레이 시간에 대한 절대적 크기 정보 및 상대적 크기 정보를 활용하여 싱글 시스템 장치(100)에서 수신되는 싱글 데이터, 듀엣 시스템 장치(400)에서 수신되는 듀엣 데이터, 음향 시스템 장치에서 수신되는 음향 데이터 각각에 대한 딜레이 시간만큼의 데이터 구간을 제거할 수 있다.
이후, 데이터 믹싱 수단(322c)은 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터만을 대상 스마트 디바이스(600)로 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어할 수 있다.
또한, 데이터 믹싱 수단(322c)은 싱크가 맞춰진 데이터에 대해서 싱글 시스템 장치(100)와, 그리고 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 대해서도 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어할 수 있다.
SW/HW 복합 지원 모듈(323)은 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)에 의해 생성되는 디지털 신호에 해당하는 데이터의 생성 속도, 송수신 속도, 데이터 압축/해제 속도가 각 파라미터에 대해서 단계별로 구분되어 n(파라미터의 개수)×m(m은 각 파라미터 단계의 개수)(n, m은 서로 같거나 다른 2 이상의 자연수이며, m은 각 파라미터 별로 가변적)의 셀(cell)에 매칭되어 저장된 클라우드(cloud) 기반의 각 장치별 소프트웨어 모듈을 제공함으로써, 각 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)의 하드웨어 특성을 최소화할 수 있는 소프트웨어적인 교정 과정을 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 방법을 나타내는 흐름도이다. 도 5를 참조하면, ID 인식 수단(321a)은 싱글 시스템 장치(100)에 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 적어도 하나 이상의 음향 시스템 장치(500)가 연동되었는지 확인하여 연동된 각 시스템 장치로 싱크 연동 신호를 제공함으로써, 싱크를 개시한다(S11).
단계(S11) 이후, UI 동기화 수단(321b)은 연동된 시스템 장치에 동일한 영상, 자막(수업 내용 또는 질의 내용)을 로딩하기 위해 네트워크(200)를 통해 연동된 각 시스템 장치로 싱크 개시 시간을 메타 데이터로 하여 동일한 영상, 자막 정보를 제공한다(S12).
단계(S12) 이후 또는 단계(S12)와 동시에, UI 동기화 수단(321b)은 싱글 시스템 장치(100)와, 듀엣 시스템 장치(400) 및/또는 음향 시스템 장치(500)에 의한 동일한 영상, 자막에 따른 싱글 시스템 장치(100)에 의한 싱글 데이터, 듀엣 시스템 장치(400)에 의한 듀엣 데이터, 음향 시스템 장치(500)에 의한 음향 데이터를 제공하도록 요청한다(S13).
단계(S13) 이후, 딜레이 판단 수단(322a)은 각 시스템 장치로부터 전송된 디지털 신호에 대한 상대적인 딜레이 발생시 딜레이를 측정하여 데이터베이스(330)에 저장한다(S14).
단계(S14) 이후, 데이터 선택 수단(322b)에 의한 딜레이 발생 데이터 제거에 따라, 데이터 믹싱 수단(322c)이 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터만을 대상 스마트 디바이스(600)로 네트워크(200)를 통해 전송한다(S15).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 싱글 시스템 장치
200 : 네트워크
300 : 방송 송출서버
310 : 송수신부
320 : 제어부
321 : 사용자 관리 모듈
321a : ID 인식 수단
321b : UI 동기화 수단
321c : 딜레이 유입 수단
322 : 넷 스튜디오 모듈
322a : 딜레이 판단 수단
322b : 데이터 선택 수단
322c : 데이터 믹싱 수단
323 : SW/HW 복합 지원 모듈
400 : 듀엣 시스템 장치
500 : 음향 시스템 장치
600 : 대상 스마트 디바이스

Claims (6)

  1. 서로 이격된 복수 사용자의 음성 또는 영상 데이터를 믹싱하기 위한 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템에 있어서,
    네트워크(200)를 통해 액세스(access)를 수행하는 싱글 시스템 장치(100)와 액세스된 싱글 시스템 장치(100)의 식별 ID에 대한 검색을 통해 듀엣 모드를 신청한 적어도 하나 이상의 듀엣 시스템 장치(400) 또는 동시 음향 모드를 신청한 적어도 하나 이상의 음향 시스템 장치(500)에 의한 식별 ID를 인식하는 ID 인식 수단(321a);
    식별 ID가 인식된 싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에게 같은 화면을 출력하는 UI 동기화 수단(321b);
    싱글 시스템 장치(100), 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)로부터 수신되어 데이터베이스(330)에 저장되는 싱글 데이터, 듀엣 데이터 또는 음향 데이터에 해당하는 디지털 신호에 대한 상대적인 딜레이를 판단하여 딜레이 발생시 딜레이 시간을 측정하는 딜레이 판단 수단(322a); 및
    데이터 선택 수단(322b)에 의한 딜레이 발생 데이터 제거에 따라, 딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터를 생성하는 데이터 믹싱 수단(322c); 을 포함하는 것을 특징으로 하는 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템.
  2. 청구항 1에 있어서, UI 동기화 수단(321b)은,
    딜레이 판단 수단(322a)에 의한 판단에 따라 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에 의한 딜레이 발생시 각 연동된 시스템 장치 별로 딜레이 타임을 인입하여 50ms 이하의 오차범위 내에서 동기화 시켜서 동일한 영상 또는 자막 UI 화면이 출력되도록 동일한 영상 또는 자막 데이터를 전송하도록 송수신부(310)를 제어하는 것을 특징으로 하는 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템.
  3. 청구항 1에 있어서,
    데이터 믹싱 수단(322c)에 의해 믹싱되는 데이터에 상호 연동된 싱글 시스템 장치(100), 듀엣 시스템 장치(400), 음향 시스템 장치(500) 중 하나에 의한 사전 딜레이 유입 요청을 수신하는 경우, 데이터 믹싱 수단(322c)으로 영상 또는 음성에 대한 딜레이 유입 정보를 제공하는 딜레이 유입 수단(321c); 을 더 포함하는 것을 특징으로 하는 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템.
  4. 청구항 1에 있어서,
    싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)에 의해 생성되는 디지털 신호에 해당하는 데이터의 생성 속도, 송수신 속도, 데이터 압축/해제 속도가 각 파라미터에 대해서 단계별로 구분되어 n(파라미터의 개수)×m(m은 각 파라미터 단계의 개수)(n, m은 서로 같거나 다른 2 이상의 자연수이며, m은 각 파라미터 별로 가변적)의 셀(cell)에 매칭되어 저장된 클라우드(cloud) 기반의 각 장치별 소프트웨어 모듈을 제공하여, 각 싱글 시스템 장치(100), 연동된 듀엣 시스템 장치(400), 음향 시스템 장치(500), 대상 스마트 디바이스(600)의 하드웨어 특성을 최소화할 수 있는 소프트웨어적인 교정 과정을 제공하는 SW/HW 복합 지원 모듈(323); 을 더 포함하는 것을 특징으로 하는 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템.
  5. 청구항 1에 있어서, 데이터 믹싱 수단(322c)은,
    딜레이 발생이 없는 현재의 데이터만 취합하여 싱크를 맞춘 뒤, 싱크가 맞춰진 데이터만을 대상 스마트 디바이스(600)로 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어하는 것을 특징으로 하는 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템.
  6. 청구항 1에 있어서, 데이터 믹싱 수단(322c)은,
    싱크가 맞춰진 데이터에 대해서 싱글 시스템 장치(100)와, 그리고 싱글 시스템 장치(100)와 연동된 듀엣 시스템 장치(400) 또는 음향 시스템 장치(500)에 대해서 네트워크(200)를 통해 전송하도록 송수신부(310)를 제어하는 것을 특징으로 하는 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템.
KR1020180020639A 2018-02-21 2018-02-21 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법 KR102056796B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180020639A KR102056796B1 (ko) 2018-02-21 2018-02-21 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180020639A KR102056796B1 (ko) 2018-02-21 2018-02-21 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190100723A true KR20190100723A (ko) 2019-08-29
KR102056796B1 KR102056796B1 (ko) 2019-12-17

Family

ID=67775922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180020639A KR102056796B1 (ko) 2018-02-21 2018-02-21 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102056796B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6182394B2 (ja) * 2013-08-29 2017-08-16 株式会社第一興商 デュエット歌唱の歌唱者選択に特徴を有する通信カラオケシステム、及び、その制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
대한민국 특허출원 출원번호 제10-2009-0136272호 "휴대용 전자기기를 이용한 노래반주기 협연방법(METHOD OF PLAYING KARAOKE PLAYER WITH ELECTRONIC DEVICE)"

Also Published As

Publication number Publication date
KR102056796B1 (ko) 2019-12-17

Similar Documents

Publication Publication Date Title
CN110692252B (zh) 具有用于广域广播的延迟管理的视听协作方法
CN105120304B (zh) 信息显示方法、装置及系统
US11901429B2 (en) Real-time wireless synchronization of live event audio stream with a video recording
CN107027050B (zh) 辅助直播的音视频处理方法及装置
US8301790B2 (en) Synchronization of audio and video signals from remote sources over the internet
US10034037B2 (en) Fingerprint-based inter-destination media synchronization
JP2004519713A (ja) ユニキャストの代わりにローカルコンテンツを用いるデータストリーミング配信システム
CN110910860B (zh) 线上ktv实现方法、装置、电子设备及存储介质
CN102959544A (zh) 用于同步媒体的方法和系统
CN110390925B (zh) 人声与伴奏同步方法、终端、蓝牙设备及存储介质
KR101987473B1 (ko) 온라인 노래방 서비스의 반주 및 가창 음성 간 동기화 시스템 및 이를 수행하기 위한 장치
KR20160022307A (ko) 콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법
Carôt et al. Network music performance-problems, approaches and perspectives
CN110856009B (zh) 网络k歌系统、网络k歌的音视频播放方法及相关设备
CN110047497B (zh) 背景音频信号滤除方法、装置及存储介质
US8633369B2 (en) Method and system for remote concert using the communication network
EP2743917A1 (en) Information system, information reproduction device, information generation method, and recording medium
Bosi et al. Experiencing remote classical music performance over long distance: a jacktrip concert between two continents during the pandemic
KR102056796B1 (ko) 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법
JP2023171914A (ja) 追加信号を一次信号に同期させる方法
US6757303B1 (en) Technique for communicating time information
US10666838B2 (en) Control method of operation apparatus configured to control a plurality of content reproduction apparatus to set a preset synchronous state, control method of command processing apparatus, and control method of content reproduction system
KR102171479B1 (ko) 디지털 오디오 공동 재생 서비스 방법 및 시스템
TWI755805B (zh) 多媒體評分系統及方法
CN112584180B (zh) 基于点唱终端设备的直播方法、装置和点唱终端设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant