KR102488838B1 - 악보 기반 다자간 사운드 동기화 시스템 및 방법 - Google Patents
악보 기반 다자간 사운드 동기화 시스템 및 방법 Download PDFInfo
- Publication number
- KR102488838B1 KR102488838B1 KR1020220030461A KR20220030461A KR102488838B1 KR 102488838 B1 KR102488838 B1 KR 102488838B1 KR 1020220030461 A KR1020220030461 A KR 1020220030461A KR 20220030461 A KR20220030461 A KR 20220030461A KR 102488838 B1 KR102488838 B1 KR 102488838B1
- Authority
- KR
- South Korea
- Prior art keywords
- group
- terminals
- data
- latency
- ensemble
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 20
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims description 22
- 239000000872 buffer Substances 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 27
- 238000003672 processing method Methods 0.000 description 11
- 230000003111 delayed effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 239000013589 supplement Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010012186 Delayed delivery Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/365—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/44—Tuning means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
본 발명은, 악기별 연주자들이 서로 다른 시간에 시간차 연주를 하면서도 동일 시간대에 합주를 연주한 것과 동일한 효과를 구현하는 악보 기반 다자간 사운드 동기화 시스템을 제안한다. 이를 위해 본 발명은 복수의 사용자 단말기와 네트워크 연결되며, 선행 그룹과 후행 그룹에 따라 병렬로 연결되는 각 사용자 단말기와의 레이턴시를 파악하는 네트워크 통신부 및 각 사용자 단말기 중 연주데이터를 먼저 생성하는 선행 그룹의 단말기와 후행 그룹의 단말기와의 레이턴시(Latency)를 참조하여 선행 그룹의 단말기에서 후행 그룹의 단말기로 전송될 연주데이터의 시간 인터벌(interval)을 결정하고, 후행 그룹의 단말기에서 생성되는 후행연주데이터를 선행연주데이터와 결합하여 합주 데이터를 생성하여 다음번 연주자의 사용자 단말기로 제공함으로써, 각 사용자 단말기에서 각자가 동기화된 연주를 수행토록 하는 시간차 동기화부를 포함하여 구성될 수 있다.
Description
본 발명은 다수의 연주자가 이전 연주자의 연주데이터를 순차로 받아 동기화된 합주 데이터를 생성하는 악보 기반 다자간 사운드 동기화 시스템 및 방법에 관한 것이다.
여러 악기가 함께 연주되는 연주 형태로서 합주는 각 악기별 특색있는 음색이 어울려 단일 악기로 연주되는 독주와는 다른 느낌의 음을 구현할 수 있다. 합주는 독주와는 달리 개개인이 가진 기량의 총합으로 연주결과가 도출되지 않는다. 합주는 각 연주자가 타 연주자와 호흡을 맞추는 것이 매우 중요하며, 그렇지 못한 경우 각 연주자의 음이 상호 부조화를 이루어 쉽게 거슬리는 특징이 있다. 합주는 박자와 음의 세기, 및 연주자 간 상호 타이밍의 예술이라 할 것이다.
이러한 합주를 위해 많은 음악 동호인들은 각자의 악기를 들고 정해진 날에 모여 연습을 하면서 합주의 호흡을 맞춘다. 이들 음악 동호인들이 가장 중시하는 것 중 하나가 실력이 좋든 나쁘든 일정한 시간에 단원들이 모이는 것을 가장 중요시하는데, 이는 하나의 악보를 다수가 연주하는 합주의 특성 상 연주자들이 팀웍을 이루는데 있어서 가장 중요한 요소이기 때문이다. 연주 실력은 오히려 부차적인 경우로 치부되는 경우도 종종 언급되고 있다.
그러나, 여러 동호인들의 개인적인 스케줄과 업무로 인해 동일 시간에 약속을 하고 모이는 일이 쉽지 않고, 코로나 19와 같은 전염병으로 인해 사람들 간의 모임이 자제되는 사회적 상황은 합주를 연습하거나 연주하기 어려운 환경을 만들기도 한다. 이에 대해, 대한민국 등록특허 제10-1222711호는 다수의 연주 파트 중 연주자가 담당하는 파트만 제외된 연주데이터를 받고, 연주자가 제외된 파트를 연주함으로써 합주의 효과를 얻는 "합주 게임을 제공하는 서버"를 제안한 바 있다. 그러나, 등록특허 제10-1222711호는 이미 정해진 연주데이터가 존재하므로, 여러 연주자가 실제 호흡을 맞추어 연주하는 합주를 구현할 수 없다.
또한, 대한민국 등록특허 제10-1133906호는 합주에 참여하는 각 악기의 연주데이터 중 합주 참여자가 원하는 것만 추출하여 합주 참여자에게 제공함으로써 합주 참여자가 쉽게 합주에 참여할 수 있도록 하며, 각 악기별 연주데이터를 각각의 단말기에서 재생토록 함으로써 오케스트라의 분위기를 내도록 하는 "합주 연주 서비스 제공 법 및 시스템"을 제안한 바 있다.
그러나, 등록특허 제10-1133906호는 데이터베이스에 수록되어 있는 MIDI 파일을 각 사용자 단말에 제공하되, 합주 참여자에게 특정 악기의 음원만 추출하여 제공하므로 연주자들이 실제 합주를 한다는 느낌보다는 악보에 기록된 것에 맞추어 연주를 한다는 측면이 크다. 실제 합주는 연주자 단독의 기량이 좋고 나쁨을 가리는 것이 아니라 타 연주자와의 팀워크가 요구되는 분야임이 간과되고 있다.
또한, 대한민국 등록특허 제10-2294752호는 악기별 연주자들이 서로 다른 시간에 시간차 연주를 하면서도 동일 시간대에 합주를 연주한 것과 동일한 효과를 구현하는 악보 기반 다자간 사운드 동기화 시스템을 제안한 바 있다.
그러나, 등록특허 제10-2294752호는 직렬 구조의 네트워크로 연결되어 있기 때문에, 복수의 단말기중 하나의 연결이 끊기게 되면 연결이 끊어진 단말기와 순차로 연결된 다음 순서의 단말기들의 연결도 전부 끊어지는 문제가 있다.
본 발명의 목적은 네트워크에 접속된 다수의 연주자가 실제 합주에 가까운 형태로 연주를 수행할 수 있도록 하는 악보 기반 다자간 사운드 동기화 시스템을 제공하는데 있다.
또한, 본 발명의 다른 목적은 다수의 연주자가 합주를 진행하면서도 동일 시간의 합주가 아닌 비동기식 합주를 수행토록 하여 네트워크 지연이나 트래픽에 의한 영향을 최소화하는 악보 기반 다자간 사운드 동기화 시스템을 제공하는데 있다.
또한, 본 발명의 다른 목적은 복수의 단말기 중 어느 한 단말기와의 연결이 끊어지더라도 합주가 진행 될 수 있는 악보 기반 다자간 사운드 동기화 시스템을 제공하는데 있다.
상기한 목적은 본 발명에 따라, 복수의 단말기가 복수의 그룹으로 나누어지며, 한 그룹의 단말기는 병렬식으로 네트워크에 연결되며, 연결된 순서에 따라 구분되는 선행 그룹과 후행 그룹이 순차적으로 연결되며, 상기 각 사용자 단말기와의 레이턴시를 파악하는 네트워크 통신부, 및 상기 각 사용자 단말기 중 연주데이터를 먼저 생성하는 선행 그룹의 단말기 및 후행 그룹의 단말기와의 레이턴시를 참조하여 상기 선행 그룹의 단말기에서 상기 후행 그룹의 단말기로 전송될 상기 연주데이터의 시간 인터벌(interval)을 결정하고, 상기 후행 그룹의 단말기에서 생성되는 후행연주데이터를 상기 연주데이터와 결합하여 다음번 그룹의 연주자의 사용자 단말기로 제공함으로써, 상기 각 사용자 단말기에서 각자가 동기화된 연주를 수행토록 하는 시간차 동기화부를 포함하는 악보 기반 다자간 사운드 동기화 시스템에 의해 달성된다.
또한 상기 동기화 시스템은 악보상에서 참여하는 악기 구성에 대응하는 사용자의 단말기에 대한 접속 상태를 모니터링하고, 네트워크 통신부로부터 시간 인터벌을 다른 단말기에 전달하고, 악보 기준 선 후행 순서를 결정하고 사용자에 의한 순서 배열을 통한 연주 전달 구조를 분배하는 역할을 수행하는 모니터링부를 포함하며, 상기 모니터링부는 최선행 단말기와 나머지 단말기에서 수행방식을 달리하며, 최선행 단말기의 모니터링부가 나머지 단말기의 모니터링부에 정보를 전달하고 관제하는 역할을 하도록 할 수 있다.
본 발명에 따르면, 악기별 연주자들은 서로 다른 시간에 시간차 연주를 하면서도 동일 시간대에 합주를 연주한 것과 유사한 효과를 구현할 수 있다. 여기서 동일 시간대에 합주를 연주한다는 것은 동일한 물리적 공간에서 합주를 진행하는 것과 같은 연습효과를 갖는 것을 의미한다. 인간의 단기기억은 수초에서 수분 사이의 일시적 정보를 보유하는 능력이고, 대부분의 작업에서 단기기억을 통해 즉각적으로 평가하고 평가에서 피드백을 받아 실력을 향상시키게 된다. 따라서 원격 합주에서 동일 공간 합주와 마찬가지로 단기기억이 가능한 시간적 범위인 수초에서 수분 내에 합주 후에 연주자들이 합주에 대한 평가를 집단적으로 할 수 있도록 하는 것이 본 발명의 주된 효과이다.
각각의 연주자는 이전 연주자로부터 전달되는 연주데이터에 자신이 연주한 것을 부가하는 순차적이고 비동기적인 연주 형태를 가지면서도 타 연주자의 연주 진행 또는 결과를 이어받아 청취하면서 연주토록 함으로써 동일한 시간대에 합주를 하는 효과를 얻도록 시간차 동기화를 구현한다.
또한, 본 발명은 각 단말기들이 선행 그룹과 후행 그룹에 따라 병렬로 연결되는 구조이며, 이를 통해 종래 기술에 언급했던 바와 같이 합주 진행되는 도중 선행 그룹의 단말기를 제외한 복수의 단말기의 연결이 끊어지더라도 다른 단말기들의 연결은 끊어지지 않아 합주를 진행 할 수 있는 장점이 있다.
또한, 모든 단말기가 순차적으로 연결되는 동기화 방식과 대비하여 최초 연주 단말기와 마지막 연주 단말기 사이의 시간차가 짧아지는 장점이 있다.
또한, 모니터링부에 의해 전체 단말기가 최선행 단말기에 의해 관제기능을 수행할 수 있다.
본 발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템을 구비한 단말기 사이의 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에 대한 개념도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 연주데이터가 전송되는 방법을 설명하기 위한 참조도면을 도시한다.
도 4는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 각 연주자별 연주 타이밍을 설정하는 방법에 대한 개념도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 네트워크의 레이턴시와 패킷에 대한 시간차 동기화 방법 및 녹화 시간 설정 방법에 대한 개념도를 도시한다.
도 6은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 지연 전달되는 패킷을 처리하는 일 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 7은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 지연 전달되는 패킷을 처리하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 8은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 지연 전달되는 패킷을 처리하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 9는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 미도착 패킷의 보충으로 활용될 선행 합주데이터를 선택하는 일 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 10은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 미도착 패킷의 보충으로 활용될 선행 합주데이터를 선택하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 2는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에 대한 개념도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 연주데이터가 전송되는 방법을 설명하기 위한 참조도면을 도시한다.
도 4는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 각 연주자별 연주 타이밍을 설정하는 방법에 대한 개념도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 네트워크의 레이턴시와 패킷에 대한 시간차 동기화 방법 및 녹화 시간 설정 방법에 대한 개념도를 도시한다.
도 6은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 지연 전달되는 패킷을 처리하는 일 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 7은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 지연 전달되는 패킷을 처리하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 8은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 지연 전달되는 패킷을 처리하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 9는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 미도착 패킷의 보충으로 활용될 선행 합주데이터를 선택하는 일 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 10은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 미도착 패킷의 보충으로 활용될 선행 합주데이터를 선택하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의한다. 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에서, “상에”라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상측에 위치하는 것을 의미하는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)을 구비한 단말기 사이의 개념도를 도시한 도면이며, 도 2는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에 대한 개념도를 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 연주데이터가 전송되는 방법을 설명하기 위한 참조도면을 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 각 연주자별 연주 타이밍을 설정하는 방법에 대한 개념도를 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 네트워크의 레이턴시와 패킷에 대한 시간차 동기화 방법 및 녹화 시간 설정 방법에 대한 개념도를 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 지연 전달되는 패킷을 처리하는 일 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 지연 전달되는 패킷을 처리하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한 도면이며, 도 8은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 지연 전달되는 패킷을 처리하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한 도면이며, 도 9는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 미도착 패킷의 보충으로 활용될 선행 합주데이터를 선택하는 일 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한 도면이며, 도 10은 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 미도착 패킷의 보충으로 활용될 선행 합주데이터를 선택하는 다른 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한 도면이다.
본 명세서에 기재되는 사용자 단말기는 스마트폰, 노트북, PC(Personal Computer), 및 기타 네트워크 통신이 가능하고, 스피커 및 마이크를 구비하는 다양한 단말기들 중 어느 하나를 지칭할 수 있다.
본 명세서에 기재되는 "레이턴시"(Latency)는 본 발명에 따른 악보 기반 다자간 사운드 동기화 시스템(100)과 사용자 단말기 사이의 응답지연, 또는 사용자 단말기 사이에 발생하는 응답지연 중 어느 하나를 지칭할 수 있다. 사용자 단말기와 악보 기반 다자간 사운드 동기화 시스템(100) 사이의 레이턴시는 통상적으로 Ping 테스트에 의해 얻어지는 값을 지칭할 수 있다.
본 명세서에 기재되는 선행 그룹과 후행 그룹은 연주 순서에 따라 상대적으로 구분되는 것으로 이해되어야 한다. 선행 그룹의 단말기는 후행 그룹의 단말기 대비 먼저 연주를 시작하여 연주데이터를 생성하여 본 발명에 따른 악보 기반 다자간 사운드 동기화 시스템(100)으로 연주데이터를 전송하는 단말기의 그룹을 지칭할 수 있다.
또한, 후행 그룹은 하나, 둘, 셋 또는 그 이상의 복수개일 수 있다.
이하 도면을 참조하여 본 발명을 상세히 설명하도록 한다.
도1은 다수의 단말기 사이의 관계를, 도 2는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에 대한 개념도를 도시한다.
도1을 참조하면, 본 발명에 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)은 복수의 사용자 단말기(10a 내지 10n)가 네트워크로 연결되며, 연결된 순서에 따라 구분되는 선행 그룹과 후행 그룹이 순차적으로 연결되며, 한 그룹의 단말기는 병렬식으로 네트워크에 연결된 구조이다. 이러한 구조는 상기 악보 기반 다자간 사운드 동기화 시스템(100)으로 합주가 진행되는 도중 복수의 단말기의 연결이 끊어지더라도 각 그룹에서 하나 이상의 단말기의 연결이 유지되면 다른 단말기들의 연결은 끊어지지 않아 합주를 진행 할 수 있는 장점이 있다. 또한, 모든 단말기가 순차적으로 연결되는 동기화 방식과 대비하여 최초 연주 단말기와 마지막 연주 단말기 사이의 시간차가 짧아지는 장점이 있다.
도 2를 참조하면 본 발명에 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)은 네트워크 통신부(110), 시간차 동기화부(120), 버퍼(130) 및 합성부(140)을 포함하여 구성될 수 있다.
네트워크 통신부(110)는 선행 그룹의 사용자 단말기(10a 내지 10(n-1))와 Ping 테스트를 수행하여 레이턴시(Latency)를 측정한다. 레이턴시 측정은 사용자 단말기(10a 내지 10n) 사이에 측정된다.
레이턴시(1 내지 n-1)는 선행 그룹의 사용자 단말기 (10a 내지 10(n-1) 중 어느 하나)와 후행 그룹의 사용자 단말기 ((10(a+1)) 내지 10n 중 다른 하나) 사이에 레이턴시를 의미한다.
예컨대, 레이턴시k는 a<=k<n-1인 k에서 선행 그룹의 단말기 (10k)와 후행 그룹의 단말기 ((10(k+1)) 사이에 측정되는 측정값에 해당한다.
또한, 네트워크 통신부(110)는 시간차 동기화부(120)의 제어에 따라 선행그룹의 단말기와 선행그룹의 단말기에 이어서 연주 데이터를 생성할 후행 그룹의 단말기 사이의 레이턴시를 측정할 수 있다.
예컨대, 선행 그룹의 참조부호가 A이며 그룹A의 단말기의 참조부호가 “10a”이고, 그 다음으로 연주되는 순서인 후행 그룹의 참조부호 B이며 그룹B의 단말기의 참조부호가 “10b” 내지 “10d”이고, 그룹B의 다음으로 연주되는 순서인 후행 그룹의 참조부호가 C이며 그룹C의 단말기의 참조부호가 “10e” 내지 “10h”이고, 그룹C의 다음으로 연주되는 순서인 후행 그룹의 참조부호가 D이며 그룹D의 단말기의 참조부호가 “10i” 내지 “10k”라고 가정하면,
3-1) 선행 그룹(그룹A)의 단말기(10a)와 후행 그룹(그룹B)의 단말기(10b 내지 10d)사이의 레이턴시,
3-2) 후행 그룹(그룹B)의 단말기(10b 내지 10d)와 후행 그룹(그룹C)의 단말기(10e 내지 10h)사이의 레이턴시,
3-3) 후행 그룹(그룹C)의 단말기(10e 내지 10h)와 후행 그룹(그룹D)의 단말기(10i 내지 10k) 사이의 레이턴시를 각각 측정한다.
시간차 동기화부(120)는 합주를 수행할 연주곡에 대해 네트워크 통신부(110)에서 선행 그룹의 단말기와 후행 그룹의 단말기(본 단말기) 사이의 레이턴시(항목 3-1, 항목 3-2, 및 항목 3-3)를 산출한 후 이를 참조하여 단말기 (10a)에서 후행 그룹(그룹B)의 단말기(10b 내지 10d)로 전달해야 할 연주데이터의 시간 인터벌(Interval)을 결정할 수 있다.
시간 인터벌은 선행 그룹(그룹A)의 단말기(10a)에서 연주데이터가 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에 전송된 후, 버퍼(130)에서 버퍼(130)링 후, 후행 그룹(그룹B)의 단말기(10b 내지 10d)로 전달할 때의 시간차를 의미할 수도 있다. 시간차 동기화부(120)는 선행 그룹(그룹A)의 단말기(10a)와 후행 그룹(그룹B)의 단말기(10b 내지 10d)의 사이의 시간 인터벌 만큼 선행 그룹(그룹A)의 단말기(10a)에서 후행 그룹(그룹B)의 단말기(10b 내지 10d)로 전달되는 연주데이터를 지연 전달한다.
마찬가지로 후행 그룹(그룹B)의 단말기(10b 내지 10d)와 후행 그룹(그룹C)의 단말기(10e 내지 10h) 사이에 연주데이터가 전달될 때, 시간차 동기화부(120)는 후행 그룹(그룹B)의 단말기(10b 내지 10d)에서 후행 그룹(그룹C)의 단말기(10e 내지 10h)로 전달되는 연주데이터의 시간 인터벌 만큼 연주데이터(또는 합주 데이터)를 지연 전달할 수 있다.
여기서, 후행 그룹(그룹B)과 후행 그룹(그룹C) 양자간의 관계만 살펴보면,
후행 그룹(그룹B) -> 후행 그룹(그룹C) 대비 선행 그룹에 대응하고,
후행 그룹(그룹C) -> 후행 그룹(그룹D) 대비 후행 그룹에 대응한다.
선행 그룹과 후행 그룹의 관계는 해당 그룹의 단말기가 연주데이터(또는 합주데이터, 이하 생략함)를 전달하는 측이 선행 그룹에 해당하고, 해당 그룹의 단말기가 전달된 연주데이터를 수신하는 측이 후행 그룹에 대응한다. 다만, 본 명세서에서는 설명과 이해
의 편의를 위해 그룹A를 선행 그룹이라 지칭하고, 나머지 그룹을 후행 그룹(그룹B 내지 그룹n)을 후행 그룹이라 지칭하도록 하며, 그룹B 내지 그룹n에 속하는 그룹 또한, 각각의 데이터 전달 순서에 따라 선행 그룹과 후행 그룹으로 구분될 수 있음을 밝혀둔다. 선행 그룹과 후행그룹의 관계는 연주데이터를 전달하는 측과 수신하는 측 사이의 관계에 대한 것이며, 이는 본 명세서 전반에 걸쳐 동일하게 적용되는 바, 이하, 중복되는 설명은 생략하도록 한다.
후행 그룹(그룹B)의 단말기(10b 내지 10d)의 시간차 동기화부(120)은 선행 그룹(그룹A)의 단말기(10a)에서 전달되는 연주자의 연주데이터를 수신하고, 이를 버퍼(130)에 채우고 시간 인터벌에 따라 지연된 시간 후 연주데이터를 재생하여 연주자가 청취할 수 있도록 한다. 후행 그룹(그룹B)의 단말기(10b 내지 10d)는 연주데이터를 재생하고, 후행 그룹(그룹B)의 단말기(10b 내지 10d)의 사용자는 재생된 연주데이터를 청취하면서 자신이 연주해야할 부분에 맞추어 연주를 진행할 수 있다. 이때, 후행 그룹의 단말기의 연주자는 청취된 연주데이터를 실시간으로 인지하고 타이밍과 호흡을 맞추어 자신의 연주를 진행하게 되며, 후행 그룹(그룹B)의 단말기(10b 내지 10d)의 시간차 동기화부(120)는 후행 그룹(그룹B)의 단말기(10b 내지 10d)의 연주자의 후행연주데이터를 제공받는다.
합성부(140)은 후행 그룹(그룹B)의 단말기(10b 내지 10d)에 제공된 후행연주데이터를 선행 그룹(그룹A)의 단말기(10a)에서 생성한 연주데이터 결합하여 합주 데이터를 생성할 수 있다.
도 3을 참조하면, 생성된 합주 데이터는 다음번 순서에 따른 후행 그룹(그룹C)의 단말기(10e 내지 10h)로 전달되며, 후행 그룹(그룹C)의 단말기(10e 내지 10h)의 시간차 동기화부(120)은 마찬가지로 버퍼(130)을 채우고 재생하고 후행 그룹(그룹C)의 단말기(10e 내지 10h)에서 생성된 후행 연주데이터를 제공받은 후 합성부(140)에서 결합하여 2차 합주 데이터를 생성한다. 이런식으로, 시간차 동기화부(120)은 하나의 연구곡과 관련된 연주자 모두의 사용자 단말기(10a 내지 10n)로부터 연주데이터 및 후행연주데이터를 획득하며, 연주 순서에 따라 선행 연주데이터에 후행 연주데이터를 순차로 취합하여 합성부(140)을 통해 최종적인 합주데이터를 생성할 수 있다.
여기서, 합주 데이터는 선행 그룹(그룹A)의 단말기(10a)에서 생성된 선행연주데이터에 후행 그룹(그룹B)의 단말기(10b 내지 10d)에서 전송되는 후행연주데이터를 부가하는 방식이 되므로, 아래에 기재하는 바와 같이 각 자용자 단말기로 제공되는 합주 데이터는 점차로 누적되는 형태를 갖는다.
-아래-
4-1) 사용자 단말기(10a) -> 사용자 단말기(10b 내지 10d) : 선행 그룹(그룹A)의 단말기(10a)의 연주데이터
4-2) 사용자 단말기(10b 내지 10d) -> 사용자 단말기(10e 내지 10h) : 선행 그룹(그룹A)의 단말기(10a)의 연주데이터 + 후행 그룹(그룹B)의 단말기(10b 내지 10d)의 연주데이터
4-3) 사용자 단말기(10e 내지 10h) -> 사용자 단말기(10i 내지 10k) : 선행 그룹(그룹A)의 단말기(10a)의 연주데이터 + 후행 그룹(그룹B)의 단말기(10b 내지 10d)의 연주데이터선행 그룹(그룹C)의 단말기(10e 내지 10h)의 연주데이터
여기서, 항목 4-1)내지 4-3)을 보면, 각 사용자 단말기로 전달되는 선행연주데이터나 합주 데이터는 각 사용자 단말기(10b 내지 10n)에 그룹이 연결된 순서에 따라 상이한 시간에 순차 전달되는 것을 알 수 있다.
시간차 동기화부(120)은 네트워크 통신부(110)에서 수신되는 연주데이터(또는 합주 데이터)를 버퍼(130)에 버퍼(130)링한다.
5-1) 버퍼(130)에 버퍼(130)링되는 연주데이터(또는 합주 데이터)의 재생되는 시간적 간격을 선행 그룹(그룹A)의 단말기(10a)와 후행 그룹(그룹B)의 단말기(10b 내지 10d) 사이의 레이턴시의 최대값에 비례하도록 하며, 본 발명에서는 이를 시간 인터벌이라 지칭한다. 본 발명의 제1실시예에서는 레이턴시 최대값의 1.5배를 시간 인터벌로 하였다.
5-2) 제2실시예에서는 레이턴시의 최대값에 레이턴시 표준편차를 더한 값에 1.2배를 시간 인터벌로 하였다.
5-3) 제3실시예에서는 레이턴시의 표준편차가 설정된 값을 초과하는 경우 총 연주시간을 시간 인터벌로 하였다.
후행 그룹(그룹B)의 단말기(10b 내지 10d)의 시간차 동기화부(120)은 시간 인터벌을 참조하여 선행 그룹(그룹A)의 단말기(10a)에서 전송되는 연주데이터를 버퍼(130)에서 버퍼(130)링 후 재생할 수 있다. 이에 따라, 후행 그룹(그룹B)의 단말기(10b 내지 10d)는 선행 그룹(그룹A)의 단말기(10a)에서 전송되는 연주데이터에 끊김이 발생하지 않으며, 후행 그룹(그룹B)의 단말기(10b 내지 10d)측 연주자는 연주데이터에 대한 재생음을 들으면서 합주를 온전히 수행할 수 있다.
후행 그룹(그룹B)의 단말기(10b 내지 10d)와 후행 그룹(그룹C)의 단말기(10e 내지 10h) 사이의 시간 인터벌도 항목 5-1) 또는 5-2) 또는 5-3)에 기재된 바에 따라 산출되며, 다만, 이때는 후행 그룹(그룹D)의 단말기(10i 내지 10k)가 선행 그룹의 단말기로서 지정되고, 후행 그룹(그룹C)의 단말기(10e 내지 10h)가 후행 그룹의 단말기로 지정되어 산출되는 차이만 존재한다.
한편 또한 상기 동기화 시스템은 악보상에서 참여하는 악기 구성에 대응하는 사용자의 단말기에 대한 접속 상태를 모니터링하고, 네트워크 통신부로부터 시간 인터벌을 다른 단말기에 전달하고, 악보 기준 선 후행 순서를 결정하고 사용자에 의한 순서 배열을 통한 연주 전달 구조를 분배하는 역할을 수행하는 모니터링부(170)를 포함할 수 있다.
모니터링부(170)는 도3에서와 같이 단말기의 접속상태 및 조건 확인을 수행하는 부분으로 상기 모니터링부는 최선행 단말기에서는 사용자로 부터 입력받은 사운드 전달 순서를 나머지 단말기에게 할당하며, 상기 모니터링부는 최선행 단말기가 아닌 단말기에서는 최선행 단말기에서 사운드 전달 순서를 수신하며, 상기 모니터링부는 최선행 단말기에서는 전체 단말기의 그룹의 통제를 수행한다.
따라서 상기 모니터링부는 최선행 단말기와 나머지 단말기에서 수행방식을 달리하며, 최선행 단말기의 모니터링부가 나머지 단말기의 모니터링부에 정보를 전달하고 관제하는 역할을 하도록 할 수 있다.
즉 본 발명인 동기화 시스템은 각각의 단말기에 설치되어 사용되며, 각각의 단말기의 시스템은 다른 단말기의 시스템과 정보를 송수신하면서 연주 데이터를 동기화하게 되는데 이때 모니터링부는 연주의 시작 시점에서 전체 단말기가 원할하게 연결되어 있는지 확인하는 "접속상태 및 조건 확인"과정을 수행하는 것이고, 전체 단말기 중에 가장 먼저 연주를 수행하는 사용자의 단말기인 최선행 단말기의 모니터링부는 나머지 단말기를 관제하는 역할을 수행하게 되는 것이다. 이때 순서 할당과 배분은 다수의 단말기들을 분할하여 각각 그룹화하고, 이를 통해 단말기들은 상호간에 선행 그룹과 후행 그룹 관계를 갖거나 혹은 같은 그룹이 되는 관계를 갖게 된다. 각 단말기가 선후행의 관계를 갖도록 제어하는 것이 순서 할당이며, 연주 개시 시점 등에 대한 제어도 최선행 단말기의 모니터링부에 의해 이루어진다.
도 4는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 각 연주자별 연주 타이밍을 설정하는 방법에 대한 개념도를 도시한다. 도 2에 대한 설명은 도 1을 함께 참조하여 설명하도록 한다.
도 4를 참조하면, 악보 기반 다자간 사운드 동기화 시스템(100)은 선행 그룹(그룹A)의 단말기(10a)와의 레이턴시를 측정한다. 만일 레이턴시가 30ms 라고 가정하였을 때, 선행 그룹(그룹A)의 단말기(10a)를 소유한 선행 연주자가 녹음을 시작하는 시점부터 발생하는 연주 데이터는 악보 기반 다자간 사운드 동기화 시스템(100)에 전송되며, 레이턴시 30ms를 버퍼(130)링 후, 후행 그룹(그룹B)의 단말기(10b 내지 10d)로 전달된다. 후행 그룹(그룹B)의 단말기(10b 내지 10d)는 선행 그룹(그룹A)의 단말기(10a)에서 전달된 연주 데이터를 재생하여 후행 연주자가 청취할 수 있도록 하고, 후행 연주자는 재생된 연주데이터를 청취하면서 합주에 필요한 타이밍과 호흡에 따라 자신의 연주를 진행한다. 후행 연주자의 연주는 후행 그룹(그룹B)의 단말기(10b 내지 10d)에 마련되는 녹음 기능에 의해 녹음되고, 녹음된 연주 데이터는 악보 기반 다자간 사운드 동기화 시스템(100)에 제공된다. 여기서, 선행 연주자와 후행 연주자의 연주데이터는 믹스되어 하나의 합주 데이터를 형성할 수 있다. 형성된 합주 데이터는 다음번 후행 그룹(그룹C)의 단말기(10e 내지 10h)로 전달되고, 후행 그룹(그룹C)의 단말기(10e 내지 10h)는 후행 그룹(그룹B)의 단말기(10b 내지 10d)와 마찬가지로, 합주 데이터에 대한 재생음을 들으면서 자신의 연주 데이터를 생성하고 이를 악보 기반 다자간 사운드 동기화 시스템(100)에 전달한다.
도 5는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템에서 네트워크의 레이턴시와 패킷에 대한 시간차 동기화 방법 및 녹화 시간 설정 방법에 대한 개념도를 도시한다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)은 선행 그룹(그룹A)의 단말기(10a)와의 레이턴시를 주기적으로 체크하여 악보 기반 다자간 사운드 동기화 시스템(100)에 제공하되, 레이턴시에 따라 후행 그룹(그룹B)의 단말기(10b 내지 10d)의 시간 인터벌(Initial Latency)을 결정하는 대신, 시간 인터벌에 버퍼(130)링 시간을 추가한 시간 인터벌(Safe Record delay)을 적용하는 일 예를 나타낸다. 시간 인터벌(Safe Record delay)이 레이턴시에 따른 시간 인터벌(Initial Latency)보다 더 길게 설정되는 이유는 선행 그룹(그룹A)의 단말기(10a)와 후행 그룹(그룹B)의 단말기(10b 내지 10d) 사이에 발생할 수 있는 네트워크 회선 품질 변동이나 시간 지연에 대해 악보 기반 다자간 사운드 동기화 시스템(100)이 이에 대처하는 시간을 확보하고자 하는데 있다.
도 6 내지 8는 본 발명의 일 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)에서 지연 전달되는 패킷을 처리하는 일 예에 따른 처리방법을 설명하기 위한 참조도면을 도시한다.
도 6을 참조하면, 선행 그룹의 단말기(P1)에서 후행 그룹의 단말기(P2)로 전달되는 연주데이터를 구성하는 패킷 중 1, 2, 3 번 패킷은 전달되었으나, 4, 5, 6번 패킷이 지연 전달되는 일 예를 도시한다.
4, 5, 6번 패킷의 레이턴시가 최초 선행 그룹의 단말기(P1)에 대한 기준 레이턴시 이상으로 설정된 시간 인터벌을 초과하는 경우 후행 그룹의 단말기(P2)는 후행 그룹의 단말기의 연주자의 연주데이터를 녹음하여 악보 기반 다자간 사운드 동기화 시스템(100)에 전달하는 과정에 있다. 이 상태에서 선행 그룹의 단말기(P1)와 후행 그룹의 단말기(P2) 사이에 새로이 시간 인터벌을 설정하는데 무리가 있는 바, 악보 기반 다자간 사운드 동기화 시스템(100)은 지연 전달된 패킷에 해당하는 음표를 반복 재생하여 이 문제를 해결할 수 있다.
반복 재생 중인 음표는 4, 5, 6번 패킷에 대응하는 것으로 도 4에서는 "레" 음에 해당하는 것을 예시하고 있다. 6번 패킷 이후 선행 그룹의 단말기(P1)에서 새로운 연주 데이터에 대한 패킷이 도착하면 후행 그룹의 단말기(P2)에 전달하고, 만일 새로운 연주 데이터가 도착하지 않으면, 악보 기반 다자간 사운드 동기화 시스템(100)은 네트워크 오류로 간주하여 서비스 중단을 통지할 수도 있다.
도 7을 참조하면, 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)은 협주를 연주할 악보를 획득하고 이를 토대로 레이턴시 발생에 대응할 수 있다.
선행 그룹의 단말기(P1)에서 악보 기반 다자간 사운드 동기화 시스템(100)로 전송되는 패킷 중S4 영역의 패킷이 시간 인터벌 내에 도착하지 않았을 때, 악보 기반 다자간 사운드 동기화 시스템(100)은 S4 영역에 속하는 미도착 패킷의 음정과 악보에 등록된 음정을 비교하고 S4 영역에 해당하는 음정(B3)으로 S4 영역의 패킷을 재구성할 수 있다. 도면에서, 악보 기반 다자간 사운드 동기화 시스템(100)은 S4 영역의 미도착 패킷을 제거하고, 그 자리에 음정(B3) 정보를 포함하는 새 패킷으로 재구성 후, 이를 후행 그룹의 단말기(P2)로 전달할 수 있다. 이 경우, 후행 그룹의 단말기(P2)에서는 미도착 패킷에 의한 음정 누락을 인지하지 못하며, 전체 합주는 자연스럽게 진행될 수 있다.
도 8을 참조하면, 실시예에 따른 악보 기반 다자간 사운드 동기화 시스템(100)은 사전에 연주된 선행 합주데이터를 구비하고 이를 토대로 레이턴시 발생에 대응할 수 있다.
도 8은 선행 그룹의 단말기(P1)에서 후행 그룹의 단말기(P2)로 전달되는 연주데이터를 구성하는 패킷 중 1, 2, 3번 패킷은 전달되었으나, 4, 5, 6번 패킷이 지연 전달되는 일 예를 도시한다. 4, 5, 6번 패킷의 레이턴시가 최초 선행 그룹의 단말기(P1)에 대해 측정된 레이턴시를 기반으로 설정된 시간 인터벌을 초과하는 경우 후행 그룹의 단말기(P2)는 후행 그룹의 단말기의 연주자의 연주데이터를 녹음하여 악보 기반 다자간 사운드 동기화 시스템(100)에 전달하는 과정에 있다. 이 상태에서 선행 그룹의 단말기(P1)와 후행 그룹의 단말기(P2) 사이에 새로이 시간 인터벌을 설정하는데 무리가 있는 바, 악보 기반 다자간 사운드 동기화 시스템(100)은 미도착 패킷에 해당하는 영역을 상기 선행 합주데이터에서 부가하여 패킷 재구성을 수행하고, 이를 상기 후행 그룹의 단말기로 제공하여 이 문제를 해결할 수 있다.
도 9를 참조하면, 본 발명의 다른 실시예에서 상기 악보 기반 다자간 사운드 동기화 시스템(100)은 다수의 선행 합주데이터 중 사용자가 미도착 패킷의 보충으로 활용될 선행 합주데이터를 선택할 수 있고, 이를 미도착 패킷의 보충으로 활용 할 수 있다.
도 9를 참조하면, 본 발명의 일 실시예에서 사용자가 사전에 연주한 복수의 선행 합주데이터는 각각 고유식별값을 갖고, 상기 악보 기반 다자간 사운드 동기화 시스템(100)에 포함된 선택부(150)은 사용자가 고른 하나의 선행 합주데이터의 고유식별값을 수신한다. 그리고 상기 데이터베이스는 상기 선택부(150)가 수신한 고유식별값에 해당하는 선행 합주데이터를 참조 합주데이터로 구비한다. 상기 선행 그룹의 단말기와 상기 네트워크 통신부(110) 사이에 발생하는 레이턴시가 미리 설정된 기준 레이턴시를 초과하는 경우, 미도착 패킷에 해당하는 영역을 참조 합주데이터에서 부가하여 패킷 재구성을 수행하고, 이를 상기 후행 그룹의 단말기로 제공하여 문제를 해결할 수 있다.
도 10을 참조하면, 본 발명의 다른 실시예에서 상기 악보 기반 다자간 사운드 동기화 시스템(100)은 평가선정부(160)이 다수의 합주데이터 중 미도착 패킷의 보충으로 활용될 하나의 선행 합주데이터를 선정하고, 이를 미도착 패킷의 보충으로 활용 할 수 있다.
도 10을 참조하면, 본 발명의 일 실시예는 사용자가 사전에 연주한 복수의 선행 합주데이터는 각각 고유식별값을 갖으며, 상기 악보 기반 다자간 사운드 동기화 시스템(100)에 포함된 평가선정부(160)는 복수의 선행 합주데이터 중 하나의 선행 합주데이터를 선정하여 선정된 선행 합주데이터의 고유식별값을 저장한다. 이 때, 상기 평가선정부(160)가 복수의 선행 합주데이터 중 하나를 선택하는 기준은 선행 합주데이터를 악보데이터와 비교하여 음정의 정확도, 박자의 정확도, 정확한 연주 세기 등 다양한 기준값과의 근접한 정도가 될 수 있으며, 상기 평가선정부(160)가 선택한 선행 합주데이터는 상기 악보데이터와 가장 유사한 선행 연주데이터가 선택되는 것이 바람직하다. 그리고 상기 데이터베이스는 상기 평가선정부(160)가 선정한 고유식별값에 해당하는 선행 합주데이터를 참조 합주데이터로 구비한다. 상기 시간차 동기화부(120)는 상기 선행 그룹의 단말기와 상기 네트워크 통신부(110) 사이에 발생하는 레이턴시가 미리 설정된 기준 레이턴시를 초과하는 경우, 미도착 패킷에 해당하는 영역을 참조 합주데이터에서 부가하여 패킷 재구성을 수행하고, 이를 상기 후행 그룹의 단말기로 제공하여 문제를 해결할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10(10a 내치 10n): 사용자 단말기
100: 악보 기반 다자간 사운드 동기화 시스템
110: 네트워크 통신부
120: 시간차 동기화부
130: 버퍼
140: 합성부
150: 선택부
160: 평가선정부
170: 모니터링부
100: 악보 기반 다자간 사운드 동기화 시스템
110: 네트워크 통신부
120: 시간차 동기화부
130: 버퍼
140: 합성부
150: 선택부
160: 평가선정부
170: 모니터링부
Claims (13)
- 선행 그룹과 후행 그룹이 순서로 순차적으로 연결되는 선형적 네트워크에서
상기 그룹 내에 포함된 사용자 단말기에 포함되며,
상기 선행 그룹의 단말기와의 레이턴시를 파악하는 네트워크 통신부; 및
상기 사용자 단말기는 연주데이터를 생성하는 순서에 따른 선행 그룹의 단말기와 후행 그룹의 단말기와의 레이턴시(Latency)를 참조하여 상기 선행 그룹의 단말기에서 상기 후행 그룹의 단말기로 전송될 상기 연주데이터의 시간 인터벌(interval)을 결정하고, 상기 후행 그룹의 단말기에서 생성되는 후행연주데이터를 수신하는 시간차 동기화부; 및
상기 후행연주데이터를 상기 연주데이터에 결합하여 합주 데이터를 생성하여 다음번 그룹의 연주자의 사용자 단말기로 제공하는 합성부를 포함하며, 상기 네트워크 통신부, 시간차 동기화부, 합성부에 의해 상기 사용자 단말기에서 동기화된 연주를 수행토록 하며,
상기 선행 그룹의 단말기에서 연주할 곡의 악보데이터를 구비하는 데이터베이스를 포함하며,
상기 시간차 동기화부는 상기 데이터베이스의 악보데이터를 토대로 레이턴시 발생에 대응하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 제1항에 있어서,
상기 네트워크 통신부에서 수신되는 상기 연주데이터 및 후행연주데이터를 상기 시간 인터벌에 따라 버퍼링 후, 상기 시간차 동기화부에 제공하는 버퍼를 더 포함하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 제2항에 있어서,
상기 네트워크 통신부는,
미리 정해진 시간마다 다른 사용자 단말기와의 레이턴시 값을 측정하여 상기 시간차 동기화부에 통지하고,
상기 시간차 동기화부는,
상기 미리 정해진 시간마다 측정된 레이턴시 값에 따라 상기 버퍼의 버퍼링 시간을 조정하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 제1항에 있어서,
상기 시간차 동기화부는,
상기 사용자 단말기에 상기 연주데이터를 순차 공급하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 제1항에 있어서,
상기 시간차 동기화부는,
상기 선행 그룹의 단말기와 상기 네트워크 통신부 사이에 발생하는 레이턴시가 미리 설정된 기준 레이턴시를 초과하는 경우, 상기 기준 레이턴시를 초과하는 패킷의 데이터를 상기 악보 데이터에서 추출하여 상기 연주데이터에 적용하고 이를 상기 후행 그룹의 단말기로 제공하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 제1항에 있어서,
상기 시간차 동기화부는,
상기 선행 그룹의 단말기와 상기 네트워크 통신부 사이에 발생하는 레이턴시가 미리 설정된 기준 레이턴시를 초과하는 경우, 미도착 패킷의 음정과 악보에 등록된 음정을 비교하고 레이턴시 내에 수신된 연주데이터의 패킷 중 미도착 패킷의 영역에 해당하는 음정으로 미도착 패킷 영역의 패킷을 부가하여 패킷 재구성을 수행하고, 이를 상기 후행 그룹의 단말기로 제공하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 삭제
- 삭제
- 제1항에 있어서,
상기 악보 기반 다자간 사운드 동기화 시스템은 모니터링부를 더 포함하며,
상기 모니터링부는 단말기의 접속상태 및 조건 확인을 수행하며,
상기 모니터링부는 최선행 단말기에서는 사용자로 부터 입력받은 사운드 전달 순서를 나머지 단말기에게 할당하며,
상기 모니터링부는 최선행 단말기가 아닌 단말기에서는 최선행 단말기에서 사운드 전달 순서를 수신하며,
상기 모니터링부는 최선행 단말기에서는 전체 단말기의 그룹의 통제를 수행하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 제1항에 있어서,
상기 데이터베이스는 악보데이터와 매칭되는 사전에 연주된 선행 합주데이터를 구비하는 악보 기반 다자간 사운드 동기화 시스템. - 제10항에 있어서,
상기 선행 그룹의 단말기와 상기 네트워크 통신부 사이에 발생하는 레이턴시가 미리 설정된 기준 레이턴시를 초과하는 경우, 미도착 패킷에 해당하는 영역을 상기 선행 합주데이터에서 부가하여 패킷 재구성을 수행하고, 이를 상기 후행 그룹의 단말기로 제공하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 제10항에 있어서,
상기 데이터베이스가 구비하는 선행 합주데이터는 복수의 선행 합주데이터이며,
상기 복수의 선행 합주데이터는 각각 고유식별값을 갖고,
상기 악보 기반 다자간 사운드 동기화 시스템은 복수의 선행 합주데이터 중 하나의 고유식별값을 수신하는 선택부를 포함하며,
상기 데이터베이스는 상기 선택부가 수신한 고유식별값에 해당하는 선행 합주데이터를 참조 합주데이터로 구비하며,
상기 시간차 동기화부는,
상기 선행 그룹의 단말기와 상기 네트워크 통신부 사이에 발생하는 레이턴시가 미리 설정된 기준 레이턴시를 초과하는 경우,
미도착 패킷에 해당하는 영역을
참조 합주데이터에서 부가하여 패킷 재구성을 수행하고, 이를 상기 후행 그룹의 단말기로 제공하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템. - 제10항에 있어서,
상기 데이터베이스가 구비하는 선행 합주데이터는 복수의 선행 합주데이터이며,
상기 복수의 선행 합주데이터는 각각 고유식별값을 갖고,
복수의 선행 합주데이터 중 하나의 선행 합주데이터를 선정하여 선정된 선행 합주데이터의 고유식별값을 저장하는 평가선정부를 포함하며,
상기 데이터베이스는 상기 평가선정부가 선정한 고유식별값에 해당하는 선행 합주데이터를 참조 합주데이터로 구비하며,
상기 시간차 동기화부는,
상기 선행 그룹의 단말기와 상기 네트워크 통신부 사이에 발생하는 레이턴시가 미리 설정된 기준 레이턴시를 초과하는 경우,
미도착 패킷에 해당하는 영역을
참조 합주데이터에서 부가하여 패킷 재구성을 수행하고, 이를 상기 후행 그룹의 단말기로 제공하는 것을 특징으로 하는 악보 기반 다자간 사운드 동기화 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220030461A KR102488838B1 (ko) | 2022-03-11 | 2022-03-11 | 악보 기반 다자간 사운드 동기화 시스템 및 방법 |
| PCT/KR2023/003218 WO2023172084A1 (ko) | 2022-03-11 | 2023-03-09 | 악보 기반 다자간 사운드 동기화 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220030461A KR102488838B1 (ko) | 2022-03-11 | 2022-03-11 | 악보 기반 다자간 사운드 동기화 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102488838B1 true KR102488838B1 (ko) | 2023-01-17 |
Family
ID=85111081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220030461A KR102488838B1 (ko) | 2022-03-11 | 2022-03-11 | 악보 기반 다자간 사운드 동기화 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102488838B1 (ko) |
| WO (1) | WO2023172084A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023172084A1 (ko) * | 2022-03-11 | 2023-09-14 | (주)더바통 | 악보 기반 다자간 사운드 동기화 시스템 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102294752B1 (ko) * | 2020-09-08 | 2021-08-27 | 김형묵 | 원격 사운드 동기화 시스템 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020089665A (ko) * | 2001-05-24 | 2002-11-30 | 홍승천 | 네트워크를 이용한 합주연주 연습방법 및 그 시스템 |
| KR20030092774A (ko) * | 2002-05-31 | 2003-12-06 | 주식회사 훈 커뮤니케이션 | 인터넷 기반의 합주 및 편집 시스템 그리고 그 방법 |
| JP4752425B2 (ja) * | 2005-09-28 | 2011-08-17 | ヤマハ株式会社 | 合奏システム |
| KR101133906B1 (ko) * | 2009-12-24 | 2012-04-12 | 한국전자통신연구원 | 합주 연주 서비스 제공 방법 및 시스템 |
| KR102488838B1 (ko) * | 2022-03-11 | 2023-01-17 | (주)더바통 | 악보 기반 다자간 사운드 동기화 시스템 및 방법 |
-
2022
- 2022-03-11 KR KR1020220030461A patent/KR102488838B1/ko active IP Right Grant
-
2023
- 2023-03-09 WO PCT/KR2023/003218 patent/WO2023172084A1/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102294752B1 (ko) * | 2020-09-08 | 2021-08-27 | 김형묵 | 원격 사운드 동기화 시스템 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023172084A1 (ko) * | 2022-03-11 | 2023-09-14 | (주)더바통 | 악보 기반 다자간 사운드 동기화 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023172084A1 (ko) | 2023-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7096080B2 (en) | Method and apparatus for producing and distributing live performance | |
| US8023663B2 (en) | Music headphones for manual control of ambient sound | |
| US7518051B2 (en) | Method and apparatus for remote real time collaborative music performance and recording thereof | |
| KR102546398B1 (ko) | 레이턴시 없이 라이브에 가까운 라이브 인터넷 음악을 공연하고 녹음하는 방법 및 시스템 | |
| KR102488838B1 (ko) | 악보 기반 다자간 사운드 동기화 시스템 및 방법 | |
| Gu et al. | Network-centric music performance: practice and experiments | |
| JP7456019B2 (ja) | オーディオ波形サンプルを用いてライブ音楽を演奏及び録音するための方法及びシステム | |
| WO2014181773A1 (ja) | 音楽セッション管理方法及び音楽セッション管理装置 | |
| KR102294752B1 (ko) | 원격 사운드 동기화 시스템 및 방법 | |
| JP4422656B2 (ja) | ネットワークを用いた遠隔多地点合奏システム | |
| AU730214B2 (en) | Distributed real-time communications system | |
| KR20210026656A (ko) | 유저 연계 기반 온라인 복합 음악활동 플랫폼 시스템 | |
| JP7026412B1 (ja) | 楽曲制作装置、端末装置、楽曲制作方法、プログラム、および記録媒体 | |
| US20220215819A1 (en) | Methods, systems, apparatuses, and devices for facilitating the interactive creation of live music by multiple users | |
| US20240031636A1 (en) | Systems and methods for synchronizing remote media streams | |
| Just | Digital Symphony: Simulated Live Performance via Distributed System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |