KR20130091358A - 자동 연주 장치 - Google Patents

자동 연주 장치 Download PDF

Info

Publication number
KR20130091358A
KR20130091358A KR1020137017644A KR20137017644A KR20130091358A KR 20130091358 A KR20130091358 A KR 20130091358A KR 1020137017644 A KR1020137017644 A KR 1020137017644A KR 20137017644 A KR20137017644 A KR 20137017644A KR 20130091358 A KR20130091358 A KR 20130091358A
Authority
KR
South Korea
Prior art keywords
performance
unit
performance data
time
information
Prior art date
Application number
KR1020137017644A
Other languages
English (en)
Other versions
KR101554399B1 (ko
Inventor
하루키 우에하라
후쿠타로 오쿠야마
다로 요코야마
겐지 마타히라
Original Assignee
야마하 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 야마하 가부시키가이샤 filed Critical 야마하 가부시키가이샤
Publication of KR20130091358A publication Critical patent/KR20130091358A/ko
Application granted granted Critical
Publication of KR101554399B1 publication Critical patent/KR101554399B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/93—Arrangements characterised by the broadcast information itself which locates resources of other pieces of information, e.g. URL [Uniform Resource Locator]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/031—File merging MIDI, i.e. merging or mixing a MIDI-like file or stream with a non-MIDI file or stream, e.g. audio or video
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056—MIDI or other note-oriented file format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/175—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments for jam sessions or musical collaboration through a network, e.g. for composition, ensemble playing or repeating; Compensation of network or internet delays therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295—Packet switched network, e.g. token ring
    • G10H2240/305—Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes

Abstract

본 발명은 동화상 분배 서버를 통해 통신 경로의 상태의 영향을 제한하면서 동화상 분배 서버의 분배 화상과 동기하여 자동 연주를 제공한다. 악기 단말(10)의 연주 정보 및 연주 정보에 의해 나타낸 연주가 수행될 때의 일시를 지시하는 일시 정보의 그룹인 연주 데이터를 저장하는 서버 장치(20)로부터 동화상 분배 서버(40)를 통하지 않고 송신된 연주 데이터를 수신하는 제2 연주 데이터 수신 유닛(312)과, 동화상 분배 서버(40)로부터 음성 신호의 전송 경로를 통해 송신된 동기 신호를 수신하는 동기 신호 수신 유닛(314)과, 제2 연주 데이터 수신 유닛(312)에 의해 수신된 연주 데이터의 일시 정보에 의해 지시된 일시와 동기 신호 수신 유닛(314)에 의해 수신된 동기 신호에 의해 지시된 일시에 따른 타이밍과 동기 신호의 분배 시간에 분배 이미지와 동기하여 수신된 연주 데이터의 연주 정보를 재생하는 재생 유닛(316)을 구비하는 자동 연주 장치가 개시된다.

Description

자동 연주 장치 {AUTOMATIC MUSICAL PERFORMANCE DEVICE}
본 발명은 영상에 동기하여 자동 연주를 수행하기 위한 기술에 관한 것이다.
자동 연주 장치를 사용하여 자동 연주를 수행함으로써 원격 장소에서 수행된 악기 연주를 재현하는 기술이 이용 가능하다. 특허 문헌 1에는 자동 연주를 위해 사용될 MIDI 데이터와 같은 연주 데이터 및 개별 전송 시스템을 통한 분배 영상 및 분배 음성을 지시하는 음성/영상 신호를 송수신하기 위한 시스템에서, 음성/영상 신호 및 연주 데이터가 수신측 시스템에서 동기적으로 재생되는 개시하고 있다. 더 구체적으로, 클릭 신호가 발생되는 경우에, 송신측 시스템은 타임 스탬프가 송신측 시스템의 내부 시계에 기초하여 클릭 발생 시간을 지시하는 클릭 시간 데이터에 추가되는 동안 음성 신호에 포함되는 상태에서 클릭 신호를 송신한다. 수신측 시스템은 클릭 신호가 수신되었을 때의 시간이 클릭 시간 데이터에 의해 지시된 시간과 일치하게 되도록 그 내부 시계를 보정하고, 보정된 내부 시계에 기초하여 영상에 동기하여 자동 연주를 수행한다.
JP-A-2005-84578호
특허 문헌 1에 개시된 기술에서, 송신측 시스템은 내부 시계에 기초하여 특정된 클릭 발생 시간 및 내부 시계에 무관하게 발생된 클릭 신호를 개별 전송 시스템을 통해 거의 동시에 송신한다. 그러나, 수신측 시스템에서 수신될 때에 클릭 시간 데이터와 클릭 신호 사이의 상대 지연은 특허 문헌 1에 개시된 기술에서는 특히 고려되어 있지 않다. 이 기술에서, 이들 사이의 시간차가 미리 정해진 시간 간격 내에 있는 클릭 신호 및 클릭 시간 데이터는 이들이 동시에 송신되어 있다고 가정함으로써 서로에 대해 대응되지만, 전송 경로 중 하나 내의 통신 지연이 극단적으로 큰 경우에, 예를 들어 거의 동시에 송신되어 있는 클릭 신호 및 클릭 시간 데이터는 서로에 대해 적절하게 대응되지 않고, 이에 의해 수신측 시스템에서의 내부 시계가 몇몇 경우에 적절하게 보정되지 않을 수도 있다.
전술된 문제점을 고려하여, 본 발명의 목적은 동화상 분배 서버를 통해 통과하는 통신 경로의 상태의 영향을 억제하면서 동화상 분배 서버에 의해 분배된 영상과 동기하여 자동 연주를 수행하는 것이다.
전술된 목적을 얻기 위해, 본 발명은 영상 및 음성을 분배하기 위해 동화상 분배 서버에 의해 분배된 영상과 동기하여 연주 정보 출력 장치로부터 자동 연주 장치로서,
동화상 분배 서버를 통해 통과하지 않고 저장 장치로부터 송신된 연주 데이터를 수신하는 연주 데이터 수신 유닛으로서, 저장 장치는 연주 정보와 시간 정보의 조합을 갖는 연주 데이터를 저장하도록 구성되고, 연주 정보는 연주 정보로부터 출력되고, 시간 정보는 연주 정보에 의해 나타낸 연주가 수행된 때의 시간을 나타내며, 시간은 연주 정보 출력 장치의 시계부에 의해 계시되는, 연주 데이터 수신 유닛과,
동화상 분배 서버를 경유하여 음성을 위한 음성 신호 전송 경로를 사용함으로써 연주 정보 출력 장치로부터 송신된 동기 신호를 수신하는 동기 신호 수신 유닛으로서, 동기 신호는 시계부에 의해 계시된 시간을 나타내는 동기 신호 수신 유닛과,
연주 데이터 수신 유닛에 의해 수신된 연주 데이터의 시간 정보에 의해 나타낸 시간 및 동기 신호 수신 유닛에 의해 수신된 동기 신호에 의해 나타낸 시간에 대응하는 타이밍에, 동기 신호가 분배될 때의 시간에 분배된 영상과 동기하여 연주 데이터의 연주 정보를 재생하는 재생 유닛을 포함하는 자동 연주 장치가 제공되는 것을 특징으로 한다.
본 발명에 따르면, 동화상 분배 서버에 의해 분배된 영상과 동기된 자동 연주가 동화상 분배 서버를 통해 통과하는 통신 경로의 상태의 영향을 억제하면서 수행될 수 있다.
본 발명은 이하와 같이 구성될 수도 있다. 자동 연주 장치는 연주 데이터 수신 유닛에 의해 수신된 연주 데이터를 버퍼링 영역에서 버퍼링하도록 구성된 버퍼링 유닛을 더 포함하고, 재생 유닛은 버퍼링 영역으로부터 버퍼링된 연주 데이터의 연주 정보를 판독하고 버퍼링 유닛에 의한 버퍼링에 병행하여 연주 정보를 재생한다.
본 발명에 있어서, 재생 유닛이 연주 정보를 재생하는 동안, 동기 신호 수신 유닛은 미리 정해진 사이클에 동기 신호를 수신하고, 동기 신호가 사이클보다 긴 미리 정해진 기간 이내에 수신되지 않으면, 재생 유닛은 연주 정보를 계속 재생하고, 동기 신호가 기간을 넘어 수신되지 않으면, 연주 정보의 재생이 정지될 수도 있다.
본 발명은 이하와 같이 구성될 수도 있다. 연주 정보 및 시간 정보에 추가하여, 저장 장치는 연주 정보 출력 장치 또는 연주 정보의 그룹으로서 기능하는 연주 정보 그룹을 식별하기 위한 식별자를 저장하고, 동기 신호는 식별자 및 연주가 수행된 때의 시간을 나타내는 신호이고, 재생 유닛은 동기 신호에 의해 나타낸 식별자를 포함하는 연주 데이터의 연주 정보를 재생하고, 다른 식별자를 포함하는 연주 데이터의 연주 정보를 재생하지 않는다.
더욱이, 연주 정보를 출력하기 위한 연주 정보 출력 장치와 영상 및 음성을 분배하기 위해 동화상 분배 서버에 의해 분배된 영상과 동기하여 연주 정보를 재생하기 위한 자동 연주 장치와 통신하는 것이 가능한 저장 장치는
연주 정보가 동화상 분배 서버를 통해 통과하지 않고 연주 정보 출력 장치에 의해 생성될 때마다 연주 정보와 연주 정보 출력 장치로부터의 시간 정보의 조합을 갖는 연주 데이터를 수신하는 연주 데이터 수신 유닛으로서, 시간 정보는 연주 정보에 의해 나타낸 연주가 수행된 때의 시간을 나타내는 연주 데이터 수신 유닛과,
연주 데이터 수신 유닛에 의해 수신된 연주 데이터를 저장하는 저장 유닛과,
저장 유닛에 의해 수신된 연주 데이터의 저장과 병행하여 동화상 분배 서버를 통해 통과하지 않고 저장 유닛에 저장된 연주 데이터를 자동 연주 장치에 송신하는 연주 데이터 송신 유닛을 포함한다.
본 발명에 따르면, 동화상 분배 서버에 의해 분배된 영상과 동기된 자동 연주가 동화상 분배 서버를 통해 통과하는 통신 경로의 상태의 영향을 억제하면서 수행될 수 있다.
더욱이, 영상 및 음성을 분배하기 위해 동화상 분배 서버에 의해 분배된 영상과 동기하여 연주 정보를 재생하기 위해 저장 장치 및 자동 연주 장치와 통신하는 것이 가능한 연주 정보 출력 장치는
연주 정보를 생성하는 연주 정보 생성 유닛과,
시간을 계시하는 시계 유닛과,
연주 정보가 연주 정보 생성 유닛에 의해 생성될 때마다 동화상 분배 서버를 통해 통과하지 않고 시간 정보와 연주 정보의 조합을 갖는 연주 데이터를 저장 장치에 송신하는 연주 데이터 송신 유닛으로서, 시간 정보는 시계 유닛에 의해 계시된 시간을 나타내는 연주 데이터 송신 유닛과,
시계 유닛에 의해 계시되는 시간을 나타내는 동기 신호를, 음성을 위한 음성 신호 전송 경로를 경유하여 동화상 분배 서버에 송신하는 동기 신호 송신 유닛을 포함한다.
또한, 본 발명에 따른 연주 시스템은
연주 정보를 출력하는 연주 정보 출력 장치와,
저장 장치와,
영상 및 음성을 분배하기 위해 동화상 분배 서버에 의해 분배된 영상과 동기하여 연주 정보를 재생하는 자동 연주 장치를 포함하고,
연주 정보 출력 장치는,
연주 정보를 생성하는 연주 정보 생성 유닛과,
시간을 계시하는 시계 유닛과,
연주 정보가 연주 정보 생성 유닛에 의해 생성될 때마다 동화상 분배 서버를 통해 통과하지 않고 시간 정보와 연주 정보의 조합을 갖는 연주 데이터를 저장 장치에 송신하는 제1 연주 데이터 송신 유닛으로서, 시간 정보는 시계 유닛에 의해 계시된 시간을 나타내는 제1 연주 데이터 송신 유닛과,
시계 유닛에 의해 계시되는 시간을 나타내는 동기 신호를 음성을 위한 음성 신호 전송 경로를 사용하여 동화상 분배 서버에 송신하는 동기 신호 송신 유닛을 포함하고,
저장 장치는,
제1 연주 데이터 송신 유닛을 통해 송신된 연주 데이터를 수신하는 제1 연주 데이터 수신 유닛과,
연주 데이터 수신 유닛에 의해 수신된 연주 데이터를 저장하는 저장 유닛과,
저장 유닛에 의한 수신된 연주 데이터의 저장과 병행하여 동화상 분배 서버를 통해 통과하지 않고 저장 유닛에 저장된 연주 데이터를 자동 연주 장치에 송신하는 제2 연주 데이터 송신 유닛을 포함하고,
자동 연주 장치는,
제2 연주 데이터 송신 유닛을 통해 송신된 연주 데이터를 수신하는 제2 연주 데이터 수신 유닛과,
전송 경로를 사용하여 동화상 분배 서버로부터 동기 신호 송신 유닛을 통해 송신된 동기 신호를 수신하는 동기 신호 수신 유닛과,
제2 연주 데이터 수신 유닛에 의해 수신된 연주 데이터의 시간 정보에 의해 나타낸 시간 및 동기 신호 수신 유닛에 의해 수신된 동기 신호에 의해 나타낸 시간에 대응하는 타이밍에, 동기 신호가 분배될 때의 시간에 분배된 영상과 동기하여 연주 데이터의 연주 정보를 재생하는 재생 유닛을 포함한다.
본 발명에 따르면, 동화상 분배 서버에 의해 분배된 영상과 동기된 자동 연주가 동화상 분배 서버를 통해 통과하는 통신 경로의 상태의 영향을 억제하면서 수행될 수 있다.
도 1은 연주 시스템(100)의 개략 구성을 도시하는 도면.
도 2는 송신측 시스템(1)의 구성을 도시하는 블록도.
도 3은 서버 장치(20)의 하드웨어 구성을 도시하는 블록도.
도 4는 수신측 시스템(3)의 구성을 도시하는 블록도.
도 5는 동기 신호의 데이터 구조를 도시하는 도면.
도 6은 연주 데이터 그룹(241)의 데이터 구조를 도시하는 도면.
도 7은 연주 시스템(100)의 기능적 구성을 도시하는 기능 블록도.
도 8은 연주 시스템(100)에 의해 수행될 처리 수순을 도시하는 시퀀스 차트.
도 9는 연주 시스템(100)에 의해 수행될 다른 처리 수순을 도시하는 시퀀스 차트.
도 10은 연주 시스템(100)의 기능적 구성을 도시하는 기능 블록도.
도 11은 연주 테이블의 포맷예를 도시하는 도면.
도 12는 연주 시스템(100)의 다른 기능적 구성을 도시하는 기능 블록도.
도 13은 합성부(105)의 회로 구성을 도시하는 도면.
도 14는 분리부(302)의 회로 구성을 도시하는 도면.
도 15는 동기 신호의 데이터 구조를 도시하는 도면.
<부호의 설명>
1... 송신측 시스템, 10... 악기 단말, 100... 연주 시스템, 101... 비디오 카메라, 102... HDD 레코더, 103... 지연 장치, 104, 301... PC, 105... 합성부, 11... 제어부, 111, 311... 시계부, 112... 연주 정보 발생부, 113... 제2 연주 데이터 송신부, 114... 동기 신호 송신부, 12... 저장부, 13... 악음 생성부, 14... 스피커, 15... 조작부, 16... 표시부, 17... 통신부, 18... 연주부, 19... 신호 송신부, 20... 서버 장치, 21... 제어부, 211... 제1 연주 데이터 수신부, 212... 제2 연주 데이터 송신부, 22... 제1 통신부, 23... 제2 통신부, 24... 저장부, 241... 연주 데이터 그룹, 3... 수신측 시스템, 30... 자동 연주 악기, 302... 분리부, 31... 제어부, 312... 제2 연주 데이터 수신부, 313... 버퍼링부, 314... 동기 신호 수신부, 315... 시계 보정부, 316... 보정부, 32... 저장부, 33... 조작부, 34... 표시부, 35... 신호 수신부, 36... 통신부, 37... 데이터 버퍼, 38... 연주부, 40... 동화상 분배 서버, 90... 통신 네트워크
(연주 시스템(100)의 구성)
본 발명에 따른 실시예가 도면을 참조하여 이하에 설명될 것이다.
도 1은 본 실시예에 따른 연주 시스템(100)의 개략 구성을 도시하는 도면이다. 도 1에 도시된 바와 같이, 연주 시스템(100)은 송신측 시스템(1), 서버 장치(20) 및 수신측 시스템(3)을 포함하고, 이들은 통신 네트워크(90)를 경유하여 접속된다. 통신 네트워크(90)는 이 구성에서 인터넷을 포함하는 통신 네트워크이다. 연주 시스템(100)의 각각의 장치에 추가하여, 동화상 분배 서버(40)는 통신 네트워크(90)에 접속된다. 동화상 분배 서버(40)는 불특정 사용자에 의해 액세스 가능한 영상 및 음성을 포함하는 동화상을 분배하기 위한 소위 동화상 공유 서비스를 제공한다. 동화상 분배 서버(40)는 예를 들어 비디오 스트리밍을 위한 플랫폼을 제공하여, 이에 의해 영상 및 음성을 포함하는 동화상(이하, "라이브 동화상"이라 칭함)을 분배하는 것이 가능하다. 본 실시예에서, 동화상 분배 서버(40)는 송신측 시스템(1) 및 수신측 시스템(3)의 모두와 통신할 수 있어, 이에 의해 송신측 시스템(1)에 의해 제공된 라이브 동화상을 수신측 시스템(3)에 분배하는 기능을 실현한다.
본 실시예에 따른 라이브 동화상은 영상이 촬영된 후에 지연 처리에 의해 미리 정해진 시간만큼 지연되면서 분배되는 동화상을 포함한다.
송신측 시스템(1)은 악기가 연주되는 콘서트 등이 개최되는 장소에 구성된다. 송신측 시스템(1)은 예를 들어 악기 연주의 장면이 촬영되어 동화상 분배 서버(40)에 기록되는 영상 및 음성을 분배하기 위해 요구되는 장치 및 악기 연주가 수신측 시스템(3)에서 자동 연주를 수행함으로써 재현되게 하기 위해 요구되는 장치를 구비한다. 송신측 시스템(3)은 악기 연주의 관객측의 장소에 구성되고, 악기 연주의 장면이 촬영되는 영상을 시청하기 위해 사용자에 요구되는 장치 및 자동 연주를 수행함으로써 악기 연주를 재현하기 위해 요구되는 장치를 구비한다. 서버 장치(20)는 송신측 시스템(1) 및 수신측 시스템(3)의 모두와 통신할 수 있고, 2개의 시스템 사이의 자동 연주를 위해 요구된 데이터를 지연하는 역할을 갖는 저장 장치로서 기능한다.
송신측 시스템(1)은 서로 상이한 2종류의 통신 경로를 통해 수신측 시스템(3)에 데이터를 송신한다. 첫째로, 송신측 시스템(1)은 통신 네트워크(90) 및 서버 장치(20)를 경유하여, 동화상 분배 서버(40)는 통과하지 않고 제1 경로를 통해 연주 데이터를 송신한다. 연주 데이터는 이하에 상세히 설명될 것이다. 둘째로, 송신측 시스템(1)은 서버 장치(20)를 통해 통과하지 않고 통신 네트워크(90) 및 동화상 분배 서버(40)를 경유하여 제2 경로를 통해 라이브 동화상의 방영에 사용을 위해, 영상 신호 및 음성 신호와 같은 데이터를 송신한다. 게다가, 제2 경로를 통해 송신될 데이터는 수신측 시스템(3)측의 영상 신호에 의해 표현된 영상(및 음성)을 연주 데이터에 기초하여 수행되는 자동 연주와 동기시키는데 사용되는 동기 신호를 더 포함한다. 음성 신호 및 동기 신호는 2개의 채널, 즉 L 및 R 채널을 갖는 음성 신호 전송 경로를 경유하여 송수신된다.
제1 경로 및 제2 경로는 이들이 통신 네트워크(90)를 통해 통과하기 때문에 몇몇 부분에서는 공통이지만 다른 부분에서는 상이하게 된다. 제1 경로 및 제2 경로는 전술된 바와 같이 서로 독립적인 전송 시스템이라고 일컬을 수도 있기 때문에, 그 통신 상황(예를 들어, 통신 지연의 정도)은 서로 상이할 수도 있다.
(송신측 시스템(1)의 구성)
도 2는 송신측 시스템(1)의 구성을 도시하는 블록도이다. 도 2에 도시된 바와 같이, 송신측 시스템(1)은 악기 단말(10), 비디오 카메라(101), HDD(하드 디스크 드라이브) 레코더(102) 및 PC(퍼스널 컴퓨터)(104)를 포함한다.
먼저, 악기 단말(10)의 구성이 설명된다. 악기 단말(10)은 이 구성에서 전자 피아노이고, 제어부(11), 저장부(12), 악음 생성부(13), 스피커(14), 조작부(15), 표시부(16), 통신부(17), 연주부(18) 및 신호 송신부(19)를 포함한다. 도 2에 도시된 바와 같이, 스피커(14)를 제외한 악기 단말(10)의 각각의 부분은 버스를 통해 서로 접속되고, 신호 전달은 버스를 경유하여 각각의 부분 사이에 수행된다.
제어부(11)는 CPU(중앙 처리 유닛), 악기 단말(10)의 각각의 부분을 제어하기 위한 프로그램이 저장되어 있는 ROM(판독 전용 메모리) 및 프로그램이 실행될 때 작업 영역으로서 사용될 RAM(랜덤 액세스 메모리)을 포함한다. CPU는 ROM 내에 저장된 프로그램을 실행하고 악기 단말(10)의 각각의 부분을 제어한다. 제어부(11)는 시계부(111)를 포함하고, 시계부(111)를 사용하여 일시(여기서, 현재 일시)를 계시한다. 더욱이, 제어부(11)는 연주부(18)에서 수행된 조작(이하, "연주 조작"이라 칭함)에 따라 MIDI(Musical Instrument Digital Interface: 등록 상표명)를 생성하고, 생성된 MIDI 메시지, 연주가 수행될 때 일시를 지시하는 일시 정보 및 악기 단말(10) 자체를 식별하기 위한 식별자(이하 "악기 ID"라 칭함)의 조합을 갖는 연주 데이터를 생성한다. MIDI 메시지는 악기 단말(10)에 의해 수행된 연주의 내용을 표현하는 MIDI 포맷 연주 정보이다. 일시 정보는 날짜를 지시하는 날짜 정보 및 시간을 지시하는 시간 정보의 모두를 포함하는 정보이다.
연주가 악기 단말(10)에 의해 수행된 때의 일시는 시계부(111)에 의해 계시된 일시에 의해 특정된다.
게다가, 제어부(11)는 동화상 분배 서버(40)에 의해 분배된 영상과 동기하여 자동 연주를 수행하는데 사용된 동기 신호를 생성한다. 도 6은 동기 신호의 데이터 구조를 도시하는 도면이다. 도 6에 도시된 바와 같이, 동기 신호는 "악기 ID" 및 "시간 코드"를 지시하는 신호이다. 시간 코드는 시계부(111)에 의해 계시된 일시이고, 영상 신호, 음성 신호 및 동기 신호가 송신측 시스템(1)으로부터 동화상 분배 서버(40)로 송신될 때의 일시(즉, 절대 시간을 포함함)로서 간주될 수 있다. 시간 코드는 어느 일시의 연주가 동화상 분배 서버(40)로부터 분배된 비디오가 각각의 신호가 수신되어 있는 수신측 시스템(3)에서 대응하는지를 특정하는데 사용된다. 동기 신호는 화이트 노이즈의 것들과 유사한 주파수 성분을 갖도록 생성되어야 하고 인간이 동기 신호에 동등한 신호를 청취할 때 귀에 불쾌하지 않아야 하는 것이 바람직하다.
저장부(12)는 비휘발성 메모리를 갖고, 예를 들어 악기 단말(10)을 식별하기 위한 악기 ID를 저장한다. 저장부(12)는 여기서 악기 단말(10)의 악기 ID로서 "0001"을 저장한다. 악기 ID는 제조 단계에서 미리 결정될 수도 있고, 악기 단말(10)의 사용자에 의해 설정될 수도 있고, 또는 연주 개시 시간에 제어부(11)에 의해 자동으로 설정될 수도 있다. 악음 생성부(13)는 MIDI 메시지에 기초하여 MIDI 메시지에 대응하는 악음 신호를 생성하고, 생성된 악음 신호를 스피커(14)에 공급한다. 스피커(14)는 악음 생성부(13)에 의해 생성된 악음 신호에 따라 악기 단말(10)의 연주음을 출력한다. 조작부(15)는 악기 단말(10)을 조작하기 위한 다양한 버튼을 갖고, 악기 단말(10)을 위한 다양한 지시가 사용자에 의해 입력된다. 표시부(16)는 액정 디스플레이를 갖고, 악기 단말(10)을 조작하기 위해 요구된 다양한 스크린을 표시한다.
통신부(17)는 통신 네트워크(90)에 접속되고, 통신 네트워크(90)를 경유하여 통신을 수행하기 위한 인터페이스를 갖는다. 연주부(18)는 예를 들어 복수의 건(key)을 갖고, 건이 악기 단말(10)의 연주자에 의해 조작될 때, 악기 단말(10)의 연주가 수행된다. 건이 연주자에 의해 조작될 때, 연주부(18)는 건 조작에 대응하는 조작 신호를 제어부(11)에 출력한다. 신호 송신부(19)는 HDD 레코더(102)로의 접속을 위한 오디오 케이블이 접속되어 있는 단자를 갖고, 제어부(11)로부터 공급된 동기 신호를 이 단자에 접속된 오디오 케이블을 경유하여 HDD 레코더(102)로 송신한다.
전술된 구성을 갖는 악기 단말(10)은 연주 정보를 생성하여 출력하기 위한 연주 정보 출력 장치로서 기능한다. 악기 단말(10)의 구성은 상기에 설명되어 있다.
비디오 카메라(101)는 예를 들어 연주자가 악기 단말(10)을 연주하고 있는 장면을 촬영하고, 그 영상을 지시하는 영상 신호 및 악기 단말(10) 주변의 음을 취출함으로써 얻어진 음성 신호를 생성하는데 사용된다. 비디오 카메라(101)는 생성된 영상 신호 및 음성 신호를 HDD 레코더(102)에 송신한다. HDD 레코더(102)는 그 HDD 내에, 비디오 카메라(101)로부터 송신된 영상 신호 및 음성 신호와 신호 송신부(19)로부터 송신된 동기 신호를 기록한다. 이 기록에 있어서, HDD 레코더(102)는 스테레오 채널들 중 하나를 사용하여 음성 신호를 기록하고 다른 채널을 사용하여 동기 신호를 기록한다. 달리 말하면, 비디오 카메라(101)에 의해 생성된 음성 신호는 이 때 모노 형식이 된다.
더욱이, HDD 레코더(102)는 지연 장치(103)를 내장한다. 지연 장치(103)는 HDD에 기록된 영상 신호, 음성 신호 및 동기 신호를 위한 지연 처리를 수행한다. 이 지연 처리는 예를 들어 HDD 레코더(102)로부터 공급된 각각의 신호의 송신 타이밍을 대략 1분 지연하도록 수행된다. 지연 처리가 수행되는 이유는 자동 연주 피아노(30)에서 자동 연주가 더 확실하게 수행될 수 있기 때문이고, 그 작용은 이하에 설명될 것이다.
시간축 상에서의 영상 신호, 음성 신호 및 동기 신호 사이의 관계는 지연 처리 전후에 불변 유지되는 것으로 가정된다. 더욱이, 지연 장치(103)는 HDD 레코더(102) 내에 내장되는 대신에, HDD 레코더(102)와 PC(104) 사이에 외부 접속된다.
PC(104)는 통신 네트워크(90)로의 접속을 위한 인터페이스를 갖고, 이에 의해 HDD 레코더(102)로부터 송신된 영상 신호, 음성 신호 및 동기 신호가 통신 네트워크(90)를 경유하여 동화상 분배 서버(40)에 송신된다. 동화상 분배 서버(40)는 PC(104)로부터 수신된 영상 신호, 음성 신호 및 동기 신호를 분배한다.
예를 들어 동화상 분배 서버(40)가 PC(104)로부터 영상 신호, 음성 신호 및 동기 신호를 수신할 때의 시간으로부터 동화상 분배 서버(40)가 이들 신호를 수신측 시스템(3)에 분배할 때의 시간까지는 대략 1분이 소요된다. 지연은 동화상 분배 서버(40)에 의해 의도적으로 수행된 지연 처리에 기인하고, 몇몇 경우에 일반적인 동화상 공유 서비스에 채택된다.
(서버 장치(20)의 구성)
도 3은 서버 장치(20)의 하드웨어 구성을 도시하는 블록도이다. 도 3에 도시된 바와 같이, 서버 장치(20)는 제어부(21), 제1 통신부(22), 제2 통신부(23) 및 저장부(24)를 포함한다.
제어부(21)는 CPU, 서버 장치(20)의 각각의 부분을 제어하기 위한 프로그램이 저장되어 있는 ROM 및 프로그램이 실행될 때 작업 영역으로서 사용될 RAM을 갖는다. CPU는 ROM 내에 저장된 프로그램을 실행하고, 서버 장치(20)의 각각의 부분을 제어한다. 제1 통신부(22)는 통신 네트워크(90)에 접속을 위한 인터페이스를 갖고, 이에 의해 악기 단말(10)과 통신한다. 제2 통신부(23)는 통신 네트워크(90)에 접속을 위한 인터페이스를 갖고, 이에 의해 자동 연주 피아노(30)와 통신한다. 2개의 통신부, 즉 제1 통신부(22) 및 제2 통신부(23)가 제공되는 이유는 제어부(21)가 악기 단말(10)로부터 연주 데이터를 수신하고 연주 데이터를 저장부(24)에 저장하기 위한 처리와, 저장부(24)로부터 연주 데이터를 판독하고 연주 데이터를 자동 연주 피아노(30)에 송신하기 위한 처리를 병렬로 수행할 수 있도록 하기 때문이다. 따라서, 병렬 처리가 실현될 수 있으면, 각각의 통신부는 서로 독립적인 것으로 요구될 필요는 없을 수도 있다.
저장부(24)는 악기 단말(10)로부터 송신된 연주 데이터를 포함하는 연주 데이터 그룹(241) 및 연주 시스템(100) 내에 서버 기능을 실현하기 위한 서버 프로그램이 저장되어 있는 하드 디스크 장치를 갖는다. 제어부(21)의 CPU는 서버 프로그램을 실행하고, 악기 단말(10)로부터 수신된 연주 데이터를 저장부(24)에 저장하고, 저장부(24)에 저장된 연주 데이터를 자동 연주 피아노(30)에 송신한다.
도 5는 연주 데이터 그룹(241)의 데이터 구조를 도시하는 도면이다. 연주 데이터 그룹(241)에는, 악기 단말(10)에서의 각각의 연주에 대응하는 연주 데이터가 악기 ID, 일시 정보 및 MIDI 메시지의 그룹으로 형성되어 있다. 예를 들어, 건 조작이 악기 단말(10)에서 수행되는 경우에, 도 5의 제1 라인에 도시된 바와 같이, 악기 단말(10)의 악기 ID "0001", 건 조작이 수행된 때의 일시를 지시하는 일시 정보 "2010-12-28T19:00:00:00"(2010년 12월 28일, 19시 00분 00초 00을 지시함) 및 연주 정보 "MIDI 메시지 #1"의 조합을 갖는 연주 데이터가 연주 데이터 그룹(241)에 포함된다. 각각의 다른 라인에 대응하는 연주 데이터는 이 구조와 유사한 데이터 구조를 갖는다.
(수신측 시스템(3)의 구성)
도 4는 수신측 시스템(3)의 구성을 도시하는 블록도이다. 도 4에 도시된 바와 같이, 수신측 시스템(3)은 자동 연주 피아노(30) 및 PC(301)를 포함한다. PC(301)는 통신 네트워크(90)를 경유하여 동화상 분배 서버(40)와 통신하고, 동화상 분배 서버(40)로부터 분배된 영상 신호, 음성 신호 및 동기 신호를 수신한다. PC(301)는 수신된 신호들 중에 영상 신호 및 음성 신호를 재생하고, 그 모니터 또는 외부 모니터를 사용하여 라이브 동화상을 출력한다. 더욱이, PC(301)는 오디오 케이블을 경유하여 그에 접속된 자동 연주 피아노(30)에 동기 신호를 전송한다.
다음에, 자동 연주 피아노(30)의 구성이 설명될 것이다. 자동 연주 피아노(30)는 MIDI 메시지에 기초하여 자동 연주를 수행하는 기능을 갖는다. 자동 연주 피아노(30)는 제어부(31), 저장부(32), 조작부(33), 표시부(34), 신호 수신부(35), 통신부(36), 데이터 버퍼(37) 및 연주부(38)를 포함한다. 자동 연주 피아노(30)의 각각의 부분은 버스를 통해 서로 접속되고, 신호 전달은 버스를 경유하여 각각의 부분 사이에 수행된다.
제어부(31)는 CPU, 자동 연주 피아노(30)의 각각의 부분을 제어하기 위한 프로그램이 저장되어 있는 ROM, RAM 등을 갖는다. 제어부(31)의 CPU는 ROM에 저장된 프로그램을 판독하여 실행하고, 이에 의해 자동 연주 피아노(30)의 각각의 부분을 제어한다. 게다가, 제어부(31)는 시계부(311)를 갖고, 시계부(311)를 사용하여 일시를 계시한다. 더욱이, 제어부(31)는 PC(301)로부터 신호 수신부(35)를 통해 수신된 동기 신호로부터의 악기 ID 및 시간 코드를 복호화하고, 이들을 특정한다. 제어부(31)는 시간 코드에 기초하여 시계부(311)에 의해 계시된 일시를 보정하고, 악기 ID를 사용함으로써 재생될 연주 데이터를 특정한다. 더욱이, 제어부(31)는 통신부(36)를 통해 수신된 연주 데이터를 데이터 버퍼(37)에서 버퍼링하고, 이와 병행하여 제어부(31)는 데이터 버퍼(37) 내에 버퍼링된 연주 데이터를 판독하고, 연주 데이터에 포함된 MIDI 메시지를 재생하고, 연주부(38)가 연주를 수행하게 한다(달리 말하면, 자동 연주가 수행됨).
저장부(32)는 다양한 프로그램 및 악기 ID 등이 저장되어 있는 하드 디스크 장치를 갖는다. 저장부(32)에 저장될 악기 ID는 예를 들어 악기 단말(10)의 악기 ID "0001"과는 상이한 "0002"로 미리 설정된다. 악기 ID는 자동 연주 피아노(30)에 고유하다. 조작부(33)는 자동 연주 피아노(30)를 조작하기 위한 다양한 버튼을 갖고, 자동 연주 피아노(30)를 위한 다양한 지시가 사용자에 의해 입력된다. 표시부(34)는 액정 디스플레이를 갖고, 자동 연주 피아노(30)를 조작하기 위해 요구된 다양한 스크린을 표시한다.
신호 수신부(35)는 PC(301)로의 접속을 위한 오디오 케이블이 접속되어 있는 단자를 갖고, 오디오 케이블을 경유하여 이 단자에 접속된 PC(301)로부터 송신된 동기 신호를 수신한다. 통신부(36)는 통신 네트워크(90)로의 접속을 위한 인터페이스를 갖고, 서버 장치(20)와 통신한다. 데이터 버퍼(37)는 연주 데이터가 제어부(31)의 제어 하에 버퍼링되는 버퍼 영역을 갖는다. 제어부(31)는 데이터 버퍼(37)에서 버퍼링된 연주 데이터를 판독하고, 연주 데이터에 포함된 MIDI 메시지를 연주 데이터에 포함된 일시 정보 및 PC(301)로부터 수신된 동기 신호에 의해 지시된 특정된 시간 코드에 대응하는 타이밍에 연주부(38)에 공급하여, 이에 의해 MIDI 메시지를 재생한다. MIDI 메시지에 따라, 연주음이 자동 연주 피아노(30)로부터 출력된다.
연주부(38)는 연주 데이터로부터 추출된 MIDI 메시지에 따라 연주음을 출력하고, 또한 사용자에 의한 도시되지 않은 건의 누름 조작을 통해 생성된 연주음을 출력한다. 전자는 "자동 연주"라 칭하고, 후자는 "수동 연주"라 칭한다.
연주부(38)는 구동 기구(38a), 건 센서(38b), 페달 센서(38c), 피아노 전자 회로(38d), 피아노 음원(38e), 믹서(38f), 증폭기(38g) 및 스피커(38h)를 갖는다. 구동 기구(38a)는 복수의 건 및 복수의 페달을 갖고, 예를 들어 각각의 건에 대응하도록 제공된 구동 솔레노이드의 그룹을 더 갖는다. 건 센서(38b) 및 페달 센서(38c)는 수동 연주를 위해 사용되고 복수의 건 및 복수의 페달의 각각에 대응하도록 제공된다. 건 센서(38b) 및 페달 센서(38c)는 건 및 페달이 눌러질 때 강도, 깊이 등을 검출하고, 검출된 건 및 페달을 특정하기 위한 건 번호 및 페달 번호, 속도 정보 등을 포함하는 검출의 결과를 피아노 전자 회로(38d)에 공급한다. 자동 연주가 수행되는 경우에, 피아노 전자 회로(38d)는 MIDI 메시지를 피아노 음원(38e)에 공급한다. 피아노 음원(38e)은 MIDI 메시지에 의해 지시된 연주음을 출력하기 위한 음성 신호를 생성한다. 더욱이, 피아노 전자 회로(38d)는 구동 기구(38a)에 제공된 구동 솔레노이드의 그룹을 제어한다. 더 구체적으로, 특정 연주음을 위한 노트 온(건 누름)을 지시하는 MIDI 메시지를 수신할 때, 피아노 전자 회로(38d)는 연주음의 건에 대응하는 솔레노이드에 구동 전류를 인가하고, 이에 의해 건을 누르기 위해 요구된 자력이 솔레노이드에 의해 생성된다. 다른 한편으로는, 특정 연주음을 위한 노트 오프(건 해제)를 지시하는 이벤트를 수신할 때, 피아노 전자 회로(38d)는 연주음의 건에 대응하는 솔레노이드에 구동 전류를 인가하고, 이에 의해 건을 해제하기 위해 요구된 자력이 솔레노이드에 의해 생성된다. 더욱이, 수동 연주가 수행되는 경우에, 피아노 전자 회로(38d)는 건 센서(38b) 및 페달 센서(38c)로부터 공급된 검출의 결과에 기초하여 이벤트를 생성하고, 이 이벤트를 피아노 음원(38e)에 공급한다. 피아노 음원(38e)은 MIDI 메시지에 따라 지정된 연주음을 출력하기 위한 음성 신호를 생성한다.
전술된 바와 같이 피아노 음원(38e)에 의해 생성된 음성 신호는 믹서(38f)에 출력된다. 믹서(38f)는 피아노 음원(38e)으로부터 출력된 음성 신호를 필요에 따라 다른 음성 신호와 혼합하고, 얻어진 신호를 증폭기(38g)에 출력한다. 신호는 증폭기(38g)에 의해 증폭되고 연주음으로서 스피커(38h)로부터 출력된다.
(연주 시스템(100)의 기능적 구성)
도 7은 자동 연주에 관한 연주 시스템(100)의 기능적 구성을 도시하는 기능적 블록 다이어그램이다.
악기 단말(10)은 시계부(111), 연주 정보 생성부(112), 제1 연주 데이터 송신부(113) 및 동기 신호 송신부(114)에 대응하는 기능들을 실현한다. 서버 장치(20)는 제1 연주 데이터 수신부(211) 및 제2 연주 데이터 송신부(212)에 대응하는 기능들을 실현한다. 자동 연주 피아노(30)는 시계부(311), 제2 연주 데이터 수신부(312), 버퍼링부(313), 동기 신호 수신부(314), 시계 보정부(315) 및 재생부(316)에 대응하는 기능들을 실현한다.
시계부(111)는 전술된 바와 같이 일시를 계시한다. 연주 정보 생성부(112)는 연주부(18)의 연주 조작에 따라 악기 단말(10)의 연주 정보로서 기능하는 MIDI 메시지를 생성한다. 연주 정보(MIDI 메시지)가 연주 정보 생성부(112)에 의해 생성될 때마다, 제1 연주 데이터 송신부(113)는 시계부(111)에 의해 계시되는 일시를 지시하는 일시 정보, 연주 정보 및 악기 ID의 조합을 갖는 연주 데이터를 서버 장치(20)에 송신한다. 연주 정보 생성부(112)에 의해 생성된 연주 정보에 의해 표현된 연주가 악기 단말(10)에서 수행될 때, 동기 신호 송신부(114)는 시계부(111)에 의해 계시되는 일시로서 기능하는 시간 코드 및 악기 ID를 지시하는 동기 신호를 생성하고, 생성된 동기 신호를 동화상 분배 서버(40)에 송신한다.
제1 연주 데이터 수신부(211)는 제1 연주 데이터 송신부(113)로부터 송신된 연주 데이터를 수신한다. 제1 연주 데이터 수신부(211)에 의해 수신된 연주 데이터는 연주 데이터 그룹(241)에 포함된다. 저장부(24) 내의 연주 데이터의 저장과 병행하여, 제2 연주 데이터 송신부(212)는 자동 연주 피아노(30)로부터 수신된 연주 데이터 요구 메시지에 대응하고 저장부(24)에 저장된 연주 데이터 그룹(241) 중에서 악기 ID 및 일시 정보를 포함하는 연주 데이터 요구 메시지로서 기능하는 연주 데이터를 자동 연주 피아노(30)에 송신한다. 더 구체적으로, 제2 연주 데이터 송신부(212)는 연주 데이터 요구 메시지에 포함된 일시 정보에 의해 지시된 일시로부터 시작하여 일시의 연대적 순서로 연주 데이터 요구 메시지에 공통인 악기 ID를 포함하는 연주 데이터를 송신한다.
시계부(311)는 전술된 바와 같이 일시를 계시한다. 제2 연주 데이터 수신부(312)는 동화상 분배 서버(40)를 통해 통과하지 않고 제2 연주 데이터 송신부(212)를 통해 송신된 연주 데이터를 수신한다. 제2 연주 데이터 수신부(312)는 시계부(311)에 의해 계시된 일시에 대응하는 연주 데이터를 송신하도록 서버 장치(20)에 요구하고 요구에 따라 송신된 연주 데이터를 수신한다. 버퍼링부(313)는 제2 연주 데이터 수신부(312)를 통해 수신된 연주 데이터를 그 버퍼 영역에서 버퍼링한다. 동기 신호 수신부(314)는 동기 신호 송신부(114)를 통해 송신된 동기 신호를 수신한다. 시계 보정부(315)는 동기 신호를 복호화함으로써 얻어진 시간 코드에 기초하여 시계부(311)에 의해 계시된 일시를 보정한다. 시계 보정부(315)는 예를 들어 시간 코드와 일치하는 일시가 계시되도록 시계부(311)에 의해 계시된 일시를 보정한다.
제2 연주 데이터 수신부(312)에 의해 수신된 연주 데이터의 일시 정보에 의해 지시되는 일시 및 동기 신호 송신부(314)에 의해 수신된 동기 신호에 의해 지시된 일시[달리 말하면, 보정 후에 시계부(311)에 의해 계시된 일시]에 대응하는 타이밍에 그리고 동기 신호가 분배될 때의 시간에 분배된 비디오와 동기하여, 재생부(316)는 수신된 연주 데이터의 MIDI 메시지를 재생한다. 예를 들어, 재생부(316)는 일시 정보에 의해 규정된 길이로부터 MIDI 메시지의 재생 간격을 변경하고, MIDI 메시지가 재생될 때의 시간에 템포를 변경하고, 또는 시계부(311)에 의해 계시된 일시와 연주 데이터에 포함된 일시 정보에 의해 지시된 일시 사이에 미리 정해진 관계가 설정되도록 연동을 제공하고 분배된 영상을 연주음과 동기시키기 위해 재생될 MIDI 메시지를 변경(스킵)한다. 재생부(316)는 여기서, 버퍼링부(313)로부터, 시계부(311)에 의해 계시된 일시로부터 미리 정해진 시간 전에(여기서, 500 ms 전에) 시간을 지시하는 일시를 포함하는 연주 데이터의 MIDI 메시지를 얻고, MIDI 메시지를 재생한다. MIDI 메시지가 연주부(38)에 공급된 후에 그리고 연주부(38)의 각각의 부분이 전술된 바와 같이 동작되고 MIDI 메시지의 재생에 대응하는 연주음이 출력될 때까지 특정 시간이 요구된다[달리 말하면, 처리 지연이 연주부(38)에서 발생함]. 여기서, 재생부(316) 내의 연주 정보의 각각의 부분의 재생 타이밍은 이 처리 지연의 예측시에 결정되고, 이에 의해 라이브 동화상이 재생부(316)를 사용하여 MIDI 메시지를 재생함으로써 출력된 연주음과 동기된다. 재생 타이밍은 PC(301)가 예를 들어 라이브 동화상을 표시할 때의 시간에 처리 지연을 고려하여 결정될 수도 있다.
(실시예의 동작)
다음에, 실시예의 동작이 설명될 것이다. 도 8 및 도 9는 자동 연주 중에 악기 단말(10), 서버 장치(20) 및 자동 연주 피아노(30)에 의해 수행될 처리 수순을 도시하는 시퀀스 차트이다.
사용자가 악기 단말(10)의 전원을 턴온할 때, CPU는 제어부(11)의 ROM에 저장된 프로그램을 실행한다. 다음에, 악기 단말(10)은 전자 피아노의 기능을 실현할 수 있고 통신 네트워크(90)와의 통신을 수행할 수 있다.
연주자가 악기 단말(10)의 건을 누를 때(단계 S1), 제어부(11)는 노트 온 메시지, 눌러진 건에 대응하는 노트 번호 및 건 상의 조작에 대응하는 속도와 같은 연주 조작 정보를 포함하는 메시지를 생성한다. 더욱이, 시계부(111)를 사용함으로써, 제어부(11)는 이 노트 온 MIDI 메시지가 생성될 때의 일시를 지시하는 일시 정보를 생성한다. 제어부(11)는 생성된 연주 정보, 생성된 일시 정보 및 저장부(12)에 저장된 악기 ID "0001"을 포함하는 연주 데이터를 생성하고, 이 연주 데이터를 통신부(17)를 통해 서버 장치(20)로 송신한다(단계 S2). 여기서, 단계 S1에서 처리 시간 중에 제어부(11)에 의해 계시된 일시는 "2010년 12월 28일 19시 00분 00초 00"인 것으로 가정된다.
다른 한편으로, 제어부(11)는 MIDI 메시지를 악음 생성부(13)에 송신한다. MIDI 메시지가 공급될 때, 악음 생성부(13)는 MIDI 메시지에 의해 지정된 노트 번호 및 속도에 대응하는 악음 신호를 생성하고, 생성된 신호를 스피커(14)에 공급한다. 악음 생성부(13)로부터 공급된 신호가 스피커(14)에 공급될 때, 공급된 신호에 대응하는 악음은 스피커(14)로부터 방출된다.
악기 단말(10)로부터 송신된 연주 데이터를 제1 통신부(22)를 통해 수신할 때, 서버 장치(20)의 제어부(21)는 수신된 연주 데이터를 저장부(24)에 저장한다(단계 S3). 제어부(21)는 여기서 일시 정보 "2010-12-28T19:00:00:00", 악기 ID "0001" 및 연주 정보 "MIDI 메시지 #1"의 조합을 갖는 연주 데이터를 저장부(24)에 저장한다.
다음에, 악기 단말(10)의 제어부(11)는 시계부(111)에 의해 계시된 일시를 지시하는 시간 코드 및 저장부(12)에 저장된 악기 ID를 부호화함으로써 동기 신호를 생성하고, 이 동기 신호를 신호 송신부(19)를 통해 HDD 레코더(102)에 송신한다(단계 S4). 동기 신호는 PC(104)에 의해 HDD 레코더(102)로부터 동화상 분배 서버(40)로 송신된다. 이 실시예에서, 제어부(11)는 시계부(111)에 의해 계시된 일시에 기초하여 1초에 단지 1회 동기 신호를 송신하는 것으로 가정된다.
동기 신호는 지연 장치(103)에 의해 수행된 지연 처리를 받게 되고, 동화상 분배 서버(40)를 통해 통과한다. 이 실시예에서, 특정 시간에 생성된 동기 신호가 수신측 시스템(3)에 의해 수신될 때의 시간은 동일한 시간에 생성된 연주 정보를 포함하는 연주 데이터가 서버 장치(20)에 의해 수신될 때의 시간보다 대략 2분 지연된다.
다음에, 악기 ID에서, 사용자가 눌러진 건으로부터 그의 손가락을 해제할 때(단계 S5), 제어부(11)는 노트 오프 메시지, 해제된 건에 대응하는 노트 번호 및 건 상의 조작에 대응하는 속도와 같은 연주 조작 정보를 포함하는 MIDI 메시지를 생성한다. 더욱이, 시계부(111)를 사용함으로써, 제어부(11)는 이 노트 오프 MIDI 메시지가 생성될 때의 일시를 지시하는 일시 정보를 생성한다. 제어부(11)는 생성된 MIDI 메시지, 생성된 일시 정보 및 저장부(12)에 저장된 악기 ID "0001"을 포함하는 연주 데이터를 생성하고, 이 연주 데이터를 통신부(17)를 통해 송신한다(단계 S6). 더욱이, 제어부(11)는 MIDI 메시지를 악음 생성부(13)에 송신한다. 노트 오프 MIDI 메시지가 공급될 때, 악음 생성부(13)는 MIDI 메시지에 의해 지시된 노트 번호에 대응하는 악음 신호의 생성을 정지한다. 그 결과, 악음 스피커(14)로부터의 연주음의 출력이 정지된다.
악기 단말(10)로부터 송신된 연주 데이터를 제1 통신부(22)를 통해 수신할 때, 제어부(21)는 수신된 연주 데이터를 저장부(24)에 저장한다(단계 S7).
여기서, 일시 정보에 의해 지시된 일시가 "2010년 12월 28일 19시 00분 02초 24"인 경우에, 제어부(21)는 일시를 지시하는 일시 정보 "2010-12-28T19:00:02:24"와 악기 ID "0001" 및 "MIDI 메시지 #2"를 갖는 연주 데이터를 저장부(24)에 저장한다.
악기 단말(10)은 이후에 연주 조작이 수행될 때마다 연주 정보를 생성하고 연주 데이터를 통신부(17)를 통해 서버 장치(20)에 송신한다. 서버 장치(20)에서, 악기 단말(10)로부터 제1 통신부(22)를 통해 연주 데이터를 수신할 때, 제어부(21)는 수신된 연주 데이터를 저장부(24)에 저장한다. 더욱이, 악기 단말(10)은 동기 신호를 송신하는 처리를 매초마다 반복한다(단계 S8 및 S9).
전술된 연주 데이터의 송신 및 저장과 병행하여, 자동 연주에 관한 이하의 처리가 서버 장치(20)와 자동 연주 피아노(30) 사이에 수행된다. 그 결과, 도 5에 도시된 바와 같이 이러한 연주 데이터 그룹이 서버 장치(20)에 저장되어 있는 것으로 가정된다.
악기 단말(10)로부터 송신된 동기 신호가 PC(301)에 의해 수신될 때, 자동 연주 피아노(30)의 제어부(31)는 신호 수신부(35)를 통해 동기 신호를 수신한다. 다음에, 제어부(31)는 수신된 동기 신호를 복호화하고 악기 ID 및 시간 코드를 특정한다(단계 S10). 악기 ID 및 시간 코드에 따라, 어느 악기가 사용되고 어느 일시에 PC(301)에서 출력될 라이브 동화상이 촬영되었는지를 특정하는 것이 가능하다.
동기 신호를 수신할 때, 제어부(31)는 저장부(32)가 동기 신호에 의해 지시된 악기 ID를 저장하게 한다. 저장부(32)에 미리 저장된 악기 ID "0002"가 유지되는 동안, 제어부(31)는 여기서 저장부(32)가 전술된 악기 ID와는 상이한 동기 신호에 의해 지시된 악기 ID "0001"을 저장하게 한다. 제어부(31)는 이후에 동기 신호에 기초하여 저장부(32)에 저장된 악기 ID에 따라 서버 장치(20)로부터 재생될 MIDI 메시지를 포함하는 연주 데이터를 얻는다.
다음에, 제어부(31)는 단계 S10에서의 처리에 의해 특정된 시간 코드에 따라 시계부(311)에 의해 계시된 일시를 보정한다(단계 S11). 제어부(31)는 여기서 시간 코드에 의해 지시된 일시에 공통인 일시로 일시를 보정한다. 그 결과, 시계부(311)에 의해 계시된 일시는 PC(301)에서 현재 출력되고 있는 영상의 일시와 일치하게 된다.
다음에, 악기 ID 및 단계 S11에서의 처리에 의해 특정된 시간 코드에 기초하여, 제어부(31)는 악기 ID 및 일시 정보를 포함하는 연주 데이터 요구 메시지를 송신한다(단계 S12). 제어부(31)는 여기서 시간 코드에 의해 지시된 일시 및 저장부(32)에 저장된 악기 ID를 지정하고, 이어서 연주 데이터 요구 메시지를 송신한다.
전술된 바와 같이, HDD 레코더(102)는 지연 장치(103)를 갖고, 시간 코드 및 악기 ID는 대략 1분 지연되는 동안 악기 단말(10)측으로부터 PC(301)에 의해 수신된다. 다른 한편으로, 이 지연은 악기 단말(10)로부터 서버 장치(20)로 연주 데이터의 송신에 있어서 의도적으로 생성되지 않는다. 송신되도록 자동 연주 피아노(30)에 의해 요구된 연주 데이터는 서버 장치(20)에 확실하게 저장되어 있는 것으로 가정된다.
제2 통신부(23)를 통해 연주 데이터 요구 메시지를 수신할 때, 서버 장치(20)의 제어부(21)는 저장부(24)에 저장된 연주 데이터 그룹(241)에 기초하여 송신 요구 메시지에 의해 지정된 일시에 일시 정보를 포함하는 연주 데이터로부터 시작하여 일시의 연대적 순서로 연주 데이터 요구 메시지에 공통인 악기 ID를 포함하는 연주 데이터를 송신한다(단계 S13). 연주 데이터 요구 메시지에 의해 지정된 일시가 "2010년 12월 28일 19시 00분 00초 00"인 경우에, 제어부(21)는 먼저 도 5의 제1 라인에 지시된 바와 같이 날짜 정보 "2010-12-28T19:00:00:00"을 포함하는 연주 데이터를 송신하고, 이어서 "2010-12-28T19:00:02:24"에 대응하는 연주 데이터 및 "2010-12-28T19:00:03:59"에 대응하는 연주 데이터를 순차적으로 송신한다.
전술된 바와 같이, 일단 자동 연주 피아노(30)가 일 동기 신호를 수신하면, 자동 연주 피아노는 연대적 순서로 순차적으로 연주 데이터의 복수의 부분을 수신한다. 다른 한편으로, 서버 장치(20)의 제어부(21)는 자동 연주 피아노(30)에 송신된 연주 데이터 및 과거의 일시 정보를 포함하는 연주 데이터를 저장부(24)에 유지한다. 따라서, 연주가 악기 단말(10)을 사용하여 수행된 때로부터 특정 시간이 경과한 후에도, 자동 연주 피아노(30)는 연주 데이터를 얻고 연주 정보를 재생할 수 있다. 게다가, 연주 데이터의 이 축적은 자동 연주 피아노(30)의 데이터 버퍼(37)의 버퍼 영역의 저장 용량을 감소시킬 수 있다.
통신부(36)를 통해 연주 데이터를 수신할 때, 자동 연주 피아노(30)의 제어부(31)는 연주 데이터를 데이터 버퍼(37)에서 순차적으로 버퍼링한다(단계 S14). 이 때, 연주 데이터의 수신 및 버퍼링이 일시적으로 정지되는 경우에, 예를 들어 데이터 버퍼(37)의 저장 용량에 대한 버퍼링량이 임계값 이상이 되는 경우에, 제어부(31)는 연주 데이터가 소실되는 것을 방지하도록 버퍼링을 정지하도록 서버 장치(20)에 요구할 수도 있다.
다음에, 제어부(31)는 통신부(36)를 통해 수신된 연주 데이터의 일시 정보에 의해 지시된 일시 및 시계부(311)에 의해 계시된 일시(달리 말하면, 수신된 동기 신호에 의해 지시된 일시)에 대응하는 타이밍에 연주부(38)에 MIDI 메시지를 공급하고, MIDI 메시지를 재생한다(단계 S15). 제어부(31)는 여기서 시계부(311)에 의해 계시된 일시보다 500 ms 이전에 얻어진 일시 정보와 조합된 MIDI 메시지를 재생한다. 달리 말하면, 시계부(311)에 의해 계시된 일시가 MIDI 메시지와 조합된 일시 정보에 의해 지시된 일시보다 500 ms 이전이 될 때, MIDI 메시지는 재생된다. 이 방식으로, 시계부(311)의 보정을 위해 사용된 동기 신호의 분배 시간에 영상이 출력될 때, 제어부(31)는 동기 신호에 의해 지시된 시간을 사용하여 MIDI 메시지의 재생 타이밍을 조정하고, 이에 의해 동기된 재생(자동 연주)을 실현한다.
제어부(31)는 데이터 버퍼(37)로부터 재생된 연주 데이터를 소거하고, 이에 의해 그 저장 용량을 보장한다.
제어부(31)는 이후에 연대적 순서로 데이터 버퍼(37)로부터 MIDI 데이터를 연속적으로 판독하고 재생을 수행한다. 제어부(31)는 동기 신호가 수신되지 않는 기간 중에도 시계부(311)에 의해 계시된 일시에 따라 연주 데이터의 각각의 부분의 MIDI 메시지를 재생하기 때문에, 라이브 동화상이 이 때 자동 연주와 동기된다.
다음에, 자동 연주 피아노(30)의 제어부(31)는 동화상 분배 서버(40)로부터 동기 신호를 수신한다(단계 S16). 또한 이 경우에도, 제어부(31)는 수신된 동기 신호를 복호화하고 악기 ID 및 시간 코드의 모두를 특정한다(단계 S17). 다음에, 제어부(31)는 단계 S15에서의 처리에 의해 특정된 시간 코드에 따라 시계부(311)에 의해 계시된 일시를 보정한다(단계 S18). 그리고 다음에, 제어부(31)는 전술된 수순에 따름으로써 PC(301)로부터 출력된 영상 및 음성과 동기된 타이밍에 MIDI 메시지를 재생한다.
다음에, 예를 들어, 데이터 버퍼(37)의 저장 용량이 임계값 이하가 되는 경우에, 제어부(31)는 연주 데이터 요구 메시지를 서버 장치(20)에 재차 송신한다(단계 S19). 다음에, 제어부(31)는 연주 데이터 요구 메시지에 따라 수신된 연주 데이터를 데이터 버퍼(37)에서 버퍼링하고(단계 S20), 전술된 수순에 따름으로써 MIDI 메시지에 기초하여 자동 연주를 계속한다.
전술된 동작은 악기 단말(10)에서 연주가 종료된 후에 자동 연주 피아노(30)에서 자동 연주가 종료될 때까지 계속된다.
전술된 실시예에 따른 연주 시스템(100)에서, 자동 연주는 영상 전송 경로의 상태의 영향을 억제하면서 영상과 동기하여 수행될 수 있다. 더 구체적으로, 동기 신호는 동화상 분배 서버(40)를 통해 통과하지만, 연주 데이터는 그를 통해 통과하지 않는다. 이 이유로, 동기 신호, 영상 신호 및 음성 신호의 분배가 동화상 분배 서버(40)로의 너무 많은 액세스에 기인하여, 임의의 원인으로 시스템 다운의 발생에 기인하여, 또는 통신의 상태에 기인하여 지연되는 경우에도, 자동 연주 피아노(30)는 이 경로와는 상이한 경로를 통해 수신된 연주 데이터를 사용함으로써 자동 연주를 수행할 수 있다. 더욱이, 라이브 동화상이 일시적으로 중단되더라도, 자동 연주 피아노(30)의 사용자는 자동 연주 피아노(30)의 자동 연주가 계속되기 때문에 그 연주 사운드의 중단에 기인하여 발생된 임의의 불편한 느낌이 들지 않는다. 더욱이, 일시가 자동 연주 피아노(30)의 시간 코드에 따라 특정되기 때문에, 동화상 분배 서버(40)의 각각의 신호의 분배가 중단되고 이어서 복구되더라도, 자동 연주는 복구 후의 타이밍으로부터 개시될 수 있다.
더욱이, 이 실시예에서, 건과 같은 연주부(38)의 각각의 부분이 영상과 동기하여 동작되고 악기 단말(10)의 동작이 재현되기 때문에, 자동 연주 피아노(30)의 사용자는 이격된 장소에서 콘서트홀의 사실감을 경험할 수 있다.
또한, 송신측 시스템(1)이 복수의 홀에 동시에 제공되고 라이브 연주가 수행되는 경우에도, 본 발명이 적용 가능하다. 이 경우에, 동화상 분배 서버(40)는 각각의 채널에 대해 각각의 송신측 시스템(1)(콘서트홀)에 간단히 할당될 수도 있다. 달리 말하면, 현재 PC(301)에 설정된 채널에 대응하는 동기 신호가 자동 연주 피아노(30)에 의해 수신된다. 채널 절환 후에, 자동 연주 피아노(30)는 수신된 동기 신호에 기초하여 악기 ID 및 일시 정보를 특정할 수 있고 자동 연주를 수행할 수 있다.
[다른 실시예]
본 발명은 전술된 실시예에 한정되는 것은 아니라, 다양하게 변형될 수 있다. 몇몇 변형예가 이하에 설명될 것이다. 이하의 변형예 중에서, 그 2개 이상은 조합하여 사용될 수도 있다.
(변형예 1)
전술된 실시예에서, 동기 신호를 수신할 때, 자동 연주 피아노(30)는 연주 데이터 요구 메시지를 서버 장치(20)에 송신하고 데이터 버퍼(37)에서 버퍼링될 연주 데이터를 수신한다. 이 구성 대신에, 자동 연주 피아노(30)는 데이터 버퍼(37)를 갖지 않는 구성을 가질 수도 있다. 도 10은 본 변형예에 따른 연주 시스템(100)의 기능적 구성을 도시하는 블록도이다. 이들 기능들 중에서, 전술된 실시예의 것들과 동일한 기능은 동일한 도면 부호로 나타내고, 이들의 설명은 생략된다. 도 10에 도시된 바와 같이, 이 실시예에서, 버퍼링부(313)는 자동 연주 피아노(30)에서 실현되지 않는다.
고도로 신뢰적인 통신 경로가 자동 연주 피아노(30)와 서버 장치(20) 사이의 접속에 사용되는 경우에, 예를 들어 이들 사이의 접속이 고속 데이터 통신을 제공하는 것이 가능한 통신 경로를 경유하여 행해지는 경우에, 자동 연주 피아노(30)와 서버 장치(20) 사이의 통신 지연 및 연주 정보가 그에 공급된 후에 연주음을 출력하기 위해 연주부(38)를 위해 요구된 시간의 합계 시간을 소정 정도로 정확하게 특정하는 것이 가능하다. 따라서, 제어부(31)는 대략적으로 시계부(311)에 의해 계시된 일시로부터 합계 시간 전에 일시의 정보를 포함하는 연주 데이터를 수신하기 위해 연주 데이터 요구 메시지를 서버 장치(20)에 송신한다. 더욱이, 연주 데이터를 수신할 때, 제어부(31)는 RAM에 연주 데이터를 저장하고 동화상 분배 서버(40)에 의해 분배된 영상과 동기하는 타이밍에 연주 데이터에 포함된 MIDI 메시지를 판독하여 재생한다.
이 변형예에서, 서버 장치(20)의 저장부(24)는 데이터 버퍼(37)의 것과 동등한 기능을 가질 수 있고, 이에 의해 자동 연주 피아노(30)의 구성이 간단화될 수 있다.
(변형예 2)
자동 연주 피아노(30)의 제어부(31)는 미리 정해진 사이클에(여기서, 1초) 통신부(36)를 통해 동기 신호를 수신한다. 이 경우에, 제어부(31)가 이 수신 사이클보다 긴 미리 정해진 기간(예를 들어, 1분) 동안 동기 신호를 수신하지 않으면, 제어부(31)는 MIDI 메시지를 계속 재현하지만, 동기 신호가 이 미리 정해진 시간을 넘어 수신되지 않으면, 제어부(31)는 MIDI 메시지의 재현을 정지할 수도 있다.
예를 들어, 동화상 분배 서버(40)에 사고가 발생하면, 자동 연주 피아노(30)가 연주 데이터를 수신할 수 있지만 동기 신호를 수신할 수 없는 상태가 계속된다. 이 때, 자동 연주 피아노(30)는 사고가 발생한 후에도 연주 데이터를 수신할 수 있기 때문에, 자동 연주 피아노(30)는 그 자동 연주를 계속할 수 있다. 이 이유로, 연주 시스템(100)에 의해, 사용자는 자동 연주의 갑작스런 정지에 기인하여 발생된 불편한 느낌이 들지 않는다. 다른 한편으로, 동기 신호가 특정 시간 이상 동안 수신되지 않으면, 동화상 분배 서버(40)에 의해 분배된 영상의 타이밍은 자동 연주의 타이밍으로부터 상당히 어긋나게 되어, 이에 의해 바람직하지 않은 상황이 발생할 수도 있다. 이 이유로, 제어부(31)가 특정 기간 동안 동기 신호를 수신할 수 없으면 그리고 기간이 동기 신호가 수신되지 않더라도 어떠한 문제점이 발생하지 않는 기간을 넘어 연장하면, 제어부(31)는 연주부(38)로의 연주 정보의 공급을 정지하여, 이에 의해 자동 연주를 중단한다.
이 변형예에서, 자동 연주 피아노(30)는 동기 신호의 수신이 재개될 때 자동 연주를 재개할 수도 있다.
(변형예 3)
전술된 실시예는 라이브 연주로부터 촬영된 라이브 동화상과 동기하여 자동 연주가 실현되는 가정에 기초하지만, 본 발명은 기록된 영상이 라이브 동화상 대신에 사용되는 연주 시스템에도 또한 적용 가능하다. 이 경우에, 서버 장치(20)는 연주가 기록될 때 연주 데이터를 축적한다. 자동 연주가 실현될 때, 서버 장치(20)는 축적된 영상 신호 및 음성 신호와 동기 신호를 동화상 분배 서버(40)에 송신한다. 다음에, 동화상 분배 서버(40)는 영상 신호, 음성 신호 및 동기 신호를 분배한다. 더욱이, 이들 신호의 기록은 HDD 레코더(102)를 사용하여 수행될 수도 있다. 다른 한편으로, 수신측 시스템(3)은 전술된 실시예의 것들과 유사한 수순을 따름으로써 동화상 분배 서버(40)로부터 수신된 각각의 신호에 기초하여 자동 연주를 수행한다.
이 변형예의 구성에서, 서버 장치(20)는 수신된 연주 데이터를 파일링하고 기록할 수도 있다. 이 이유는 일 악기 단말(10)이 예를 들어 복수의 연주를 수행할 때, 자동으로 수행되도록 요구되는 연주가 구별되도록 요구되는 경우가 존재하기 때문이다. 더욱이, 서버 장치(20)에서, 연주 데이터는 연주 데이터의 관리시에 콘서트 또는 음악에 관해 병합되는 것이 바람직한 것으로 고려된다. 이 파일링에 있어서, 연주 정보의 복수의 부분은 콘서트 또는 음악에 관해 수동으로 병합되어 파일링될 수도 있지만, 파일링은 수동 조작 없이 실현될 수 있는 것이 바람직하다. 이 경우에, 서버 장치(20)는 이하에 설명된 수순을 따름으로써 파일링을 수행하도록 요구된다. 이 구성에서, 서버 장치(20)는 일시를 계시하기 위한 시계부를 갖는 것으로 가정된다.
악기 단말(10)이 연주를 수행하는 동안, 서버 장치(20)의 제어부(21)는 제1 통신부(22)를 통해 그 연주 데이터를 수신하고 데이터를 RAM에 저장한다. 악기 단말(10)에서의 연주가 시간 경과에 따라 종료될 때, 연주 데이터는 악기 단말(10)로부터 서버 장치(20)에 송신되지 않는다. 연주 데이터가 악기 단말(10)로부터 송신되지 않을 때, 서버 장치(20)에서, 그 시계부에 의해 계시된 일시와 최종 수신된 연주 데이터의 일시 정보 사이의 차이가 점진적으로 커지게 된다. 따라서, 그 시계부에 의해 계시된 일시와 최종 수신된 연주 데이터의 일시 정보에 의해 지시된 일시 사이의 차이가 임계값(여기서, 5초) 이상이 될 때, 제어부(21)는 악기 ID "0001"에 의해 특정된 악기 단말(10)에서의 연주가 종료되었다고 판단한다. 이 경우에, 제어부(21)는 RAM에 저장된 연주 데이터를 파일링하고, 이어서 저장부(24)에 데이터를 저장하기 위한 처리를 수행한다. 더 구체적으로, 제어부(21)는 RAM에 저장된 연주 데이터 중에 RAM에 저장된 악기 ID "0001"을 포함하는 모든 연주 데이터를 단일 파일로 병합함으로써 얻어진 연주 파일을 생성한다. 더욱이, 연주부(21)는 연주 파일을 고유하게 식별하기 위한 연주 파일 식별자를 생성하고, 연주 파일 식별자를 포함하는 연주 파일을 저장부(24)에 저장한다. 파일 식별자는 예를 들어 콘서트 또는 음악에 관해 분류된 연주 정보의 그룹으로서 기능하는 연주 정보 그룹에 할당될 식별자라고 일컬을 수도 있다.
더욱이, 제어부(21)는 연주 파일의 연주 데이터에 포함된 악기 ID를 얻고, 연주 파일 내의 연주 데이터에 포함된 일시값들 중 최초 일시 정보에 의해 지시된 연주 개시 일시 및 최후 일시 정보에 의해 지시된 연주 종료 일시를 또한 얻고, 이어서 이들 일시들이 서로 대응하게 되는 동안 이들을 저장하는 것이 가능할 수도 있다.
도 11은 악기 ID, 연주 개시 일시, 연주 종료 일시 및 연주 파일 식별자의 그룹이 설명되는 연주 테이블의 구조를 도시하는 도면이다. 저장부(24)는 이 연주 테이블을 저장한다. 예를 들어, 연주 파일 내의 연주 데이터에 포함된 최초 일시 정보가 "2010-12-28T19:00:00:00"이고, 연주의 종료시에 악기 단말(10)로부터 송신된 연주 데이터에 포함된 일시 정보가 "2010-12-28T19:31:23:05"이고, 악기 ID가 "0001"이고 "F0001"이 파일 식별자로서 생성되는 경우에, 정보의 이들 부분은 도 11에 도시된 바와 같이 연주 테이블의 동일 라인에 저장된다. 사용자가 악기 단말(10)을 턴온하고 악기 단말(10)을 사용하여 연주를 수행할 때, 사용자에 의해 수행된 연주를 표현하는 MIDI 메시지를 포함하는 연주 파일은 사용자가 연주의 기록을 개시하고 종료하기 위해 버튼 조작을 수행해야 할 임의의 필요 없이, 전술된 바와 같이 서버 장치(20)에 저장된다. 전술된 동작은 사용자가 연주를 수행할 때마다 수행되고, 서버 장치(20)에서 연주 파일이 사용자에 의해 수행된 각각의 연주에 대해 저장된다.
게다가, 이 변형예에서, 자동 연주 피아노(30)는 파일 식별자를 사용함으로써 서버 장치(20)로부터 수신될 연주 데이터를 특정해야 하는 것이 바람직하다. 따라서, 악기 단말(10)은 악기 ID 대신에 파일 식별자를 사용함으로써 또는 악기 ID와 함께 파일 식별자를 사용함으로써 동기 신호를 생성하고, 이어서 동기 신호를 송신한다. 다른 한편으로, 자동 연주 피아노(30)는 동기 신호에 의해 지시된 식별자를 포함하는 연주 데이터만을 수신해야 하고 동기 신호에 의해 지시된 파일 식별자를 포함하지 않는 연주 데이터는 수신하지 않아야 하는 것이 바람직하다.
기록된 영상이 이 변형예에서와 같이 분배되는 모드에서, 영상 스킵, 빨리감기 또는 되감기가 수행되고 동화상의 재생 위치가 변경되는 경우에도, 동화상 분배 서버(40)로부터 분배될 신호는 변경된 재생 위치에 대응하도록 적용되고, 이에 의해 자동 연주 피아노(30)는 동화상과 동기하여 자동 연주를 실현할 수 있다.
(변형예 4)
음성 신호 및 동기 신호는 전술된 실시예에서 음성 신호 송신 경로의 분리 채널을 통해 송신되지만, 동기 신호는 소위 워터마킹 기술을 사용하여 음성 신호 상에 중첩되고(달리 말하면, 합성됨) 이어서 송신되는 것이 가능할 수도 있다.
도 12는 이 변형예에 따른 연주 시스템(100)의 기능적 구성을 도시하는 블록도이다. 이들 기능 중에서, 전술된 실시예의 것들과 동일한 기능은 동일한 도면 부호로 나타내고, 그 설명은 생략된다. 도 12에 도시된 바와 같이, 이 변형예에서, 합성부(105)가 송신측 시스템(1)측 및 악기 단말(10) 외부에 제공된다. 더욱이, 분리부(302)는 수신측 시스템(3) 및 자동 연주 피아노(30) 외부에 제공된다.
합성부(105)는 예를 들어 워터마크 정보에 기초하여 음성 신호를 반송하는 반송파를 표현하는 반송파 신호를 위상 변조하고, 이에 의해 음성 신호의 주파수 성분보다 높은 대역에서 워터마크 정보를 합성한다. 더욱이, 합성부(105)가 소위 OFDM(직교 주파수 분할 다중화) 변조를 수행함으로써 워터마크 정보를 음성 신호와 합성하는 것이 가능할 수도 있다. 분리부(302)는 합성부(105)에서 동기 신호를 합성하기 위한 방법에 대응하는 방법을 사용하여 동기 신호로부터 음성 신호를 분리한다. 더욱이, 합성 및 분리는 이하의 수순을 사용하여 수행될 수도 있다.
도 13은 동기 신호(S)를 음성 신호(A)와 합성하기 위한 합성부(105)의 회로 구성을 도시하는 도면이다. 이하의 설명에서, 음성 신호(A)의 위상을 반전함으로써 얻어진 신호는 "음성 신호(-A)"라 표현되고, 동기 신호(S)의 위상을 반전함으로써 얻어진 신호는 "악음 신호(-S)"라 표현된다.
합성부(105)는 입력단(c1, c2)을 갖는다. 입력단(c1)은 음성 신호(A)가 입력되는 단이다. 입력단(c2)은 동기 신호(S)가 입력되는 단이다. 반전부(c3)가 그에 입력된 신호의 위상을 반전하고 반전된 신호를 출력한다. 반전부(c3)는 여기서 입력단(c2)에 입력된 동기 신호(S)의 위상을 반전하고 동기 신호(-S)를 출력한다. 각각의 가산부(c4, c5)가 그에 입력된 신호를 가산하고 얻어진 신호를 출력하는데 사용된다. 가산부(c4)는 입력단(c1)에 입력된 음성 신호(A) 및 반전부(c3)로부터 출력된 동기 신호(-S)를 가산하고, 가산 결과를 제1 차 신호(md)(= A - S)로서 출력단(c6)에 출력한다. 달리 말하면, 반전부(c3) 및 가산부(c4)는 악음 신호와 동기 신호 사이의 차를 표현하는 차 신호를 생성하는데 사용된다. 가산부(c5)는 입력단(c1)에 입력된 음성 신호(A)를 입력단(c2)에 입력된 동기 신호(S)에 가산하고 가산 결과를 제1 합 신호(ms)(= A + S)로서 출력단(c7)에 출력한다. 가산부(c5)는 악음 신호와 동기 신호의 합을 표현하는 합 신호를 생성한다.
출력단(c6)은 일 채널(여기서, L 채널)에 대응하고, 제1 차 신호(md)를 출력한다. 출력단(c7)은 다른 채널(여기서, R 채널)에 대응하고, 제1 합 신호(ms)를 출력한다. PC(104)는 전술된 바와 같이 부호화된 2-채널 신호를 음성 신호 송신 경로를 경유하여 동화상 분배 서버(40)에 송신한다.
도 14는 음선 신호(A)로부터 동기 신호(S)를 분리하기 위한 분리부(302)의 회로 구성을 도시하는 도면이다. 이하의 설명에서, 제1 차 신호(md)의 위상을 반전함으로써 얻어진 신호는 "제1 차 신호(-md)"라 표현되고, 제1 합 신호(ms)의 위상을 반전함으로써 얻어진 신호는 "제1 합 신호(-ms)"라 표현된다. 더욱이, 신호 "A" 및 "S" 앞의 각각의 정수는 신호 "A" 및 "S"의 각각의 진폭이 정수배라는 것을 의미한다.
입력단(c11)이 L 채널에 대응하고 제1 차 신호(md)(= A - S)가 입력되는 단이다. 입력단(c12)이 R 채널에 대응하고 제1 합 신호(ms)(= A + S)가 입력되는 단이다. 반전부(c13)가 그에 입력된 신호의 위상을 반전하고 반전된 신호를 출력한다. 반전부(c13)는 여기서 입력단(c11)에 입력된 제1 차 신호(ms)의 위상을 반전하고 반전된 신호를 출력한다. 달리 말하면, 제1 차 신호(md)(= A - S)가 입력될 때, 반전부(c13)는 그 역위상 신호인 제1 차 신호(-md)(= -A + S)를 출력한다. 각각의 가산부(c14, c15)가 그에 입력된 신호를 가산하고 얻어진 신호를 출력하는데 사용된다. 가산부(c14)는 반전부(c13)로부터 출력된 제1 차 신호(-md)(= -A + S)를 입력단(c11)에 입력된 제1 합 신호(md)(= A + S)에 가산하고, 가산 결과를 제2 차 신호(d)(= 2S)로서 출력단(c16)에 출력한다. 달리 말하면, 반전부(c13) 및 가산부(c14)는 제1 차 신호가 제1 합 신호로부터 감산될 때 얻어진 차를 표현하는 차 신호를 생성하는데 사용된다. 가산부(c15)는 입력단(c11)에 입력된 제1 차 신호(md)(= A - S)를 입력단(c12)에 입력된 제1 합 신호(ms)(= A + S)에 가산하고, 가산 결과를 제2 합 신호(ds)(= 2A)로서 출력단(c17)에 출력한다. 달리 말하면, 가산부(c15)는 제1 차 신호와 제1 합 신호의 합을 표현하는 합 신호를 생성하는데 사용된다.
출력단(c16)은 동기 신호로서 제2 차 신호(dd)를 출력한다. 출력단(c17)은 음성 신호로서 제2 합 신호(ds)를 출력한다. PC(301)는 전술된 바와 같이 분리된 음성 신호(A)에 대응하는 음성을 출력하고, 동기 신호(S)를 자동 연주 피아노(30)에 송신한다.
제2 차 신호(dd) 및 제2 합 신호(ds)의 진폭이 원래 진폭으로 변경되는 경우에(달리 말하면, 1/2), 음성 신호(A) 및 동기 신호(S), 즉 부호화 전의 원래 정보가 특정될 수 있다(달리 말하면, 복호화됨).
이 구성에 의해, 동화상 분배 서버(40)를 통해 통과하는 음성 신호 전송 경로가 2개의 채널을 갖는 경우에도, 스테레오 음성 신호는 송신측 시스템(1)으로부터 수신측 시스템(3)으로 송신될 수 있다. 더욱이, 동기 신호(S)의 주파수 성분들의 적어도 일부가 음성 신호(A)의 주파수 성분들의 것과 동일한 대역에 포함되는 경우에도, 부호화 및 복호화가 양 신호들의 가산 및 감산에 의해 행해질 수 있어, 이에 의해 악음 신호의 품질이 열화하는 것이 억제될 수 있다.
워터마크 정보의 전술된 합성이 수행되는 경우에, 연주 시스템(100)에서, PCM(펄스 코드 변조) 시스템이 예를 들어 채택되어야 하고, 각각의 신호는 그 샘플링 주파수가 상승되는 동안 송신되어야 하는 것이 바람직하다.
게다가, 전술된 실시예의 구성에서, 스테레오 음성 신호가 송신되도록 요구되는 경우에, 3개 이상의 채널을 갖는 음성 신호 전송 경로가 동화상 분배 서버(40)를 통해 통과하는 통신 경로에 제공될 수도 있다.
(변형예 5)
PC(104) 및 PC(301)는 전술된 실시예에서 동기 신호를 송수신하는데 사용되었지만, PC(104) 대신에 악기 단말(10)이 통신 네트워크(90)에 접속될 수도 있고 동기 신호를 송신할 수도 있다. 더욱이, PC(301) 대신에 자동 연주 피아노(30)가 통신 네트워크(90)에 접속될 수도 있고 동기 신호를 송신할 수도 있다.
더욱이, 서버 장치(20) 및 악기 단말(10)은 동일 장소에 제공될 수도 있고, 이들은 통신 네트워크(90)를 경유하여 접속되는 대신에, LAN(근거리 통신망)과 같은 통신 경로를 경유하여 접속될 수도 있다.
더욱이, 동기 신호, 영상 신호 및 음성 신호를 위한 통신 경로 및 연주 데이터를 위한 통신 경로의 모두는 통신 네트워크(90)를 포함하지만, 통신 경로들은 서로 독립적인 통신 네트워크를 통해 통과하도록 구성될 수도 있다.
게다가, 동화상 분배 서버(40)는 불특정 다수의 사용자에 의해 사용될 수 있는 장치에 한정되는 것은 아니고, 연주 시스템(100) 전용으로 제공될 수도 있다.
게다가, 전술된 실시예에서, HDD 레코더(102)는 지연 장치(103)를 갖는다. 이 구성 대신에, HDD 레코더(102)가 지연 장치(103)를 갖지 않고 동화상 분배 서버(40)의 지연 처리 기능이 영상 신호, 음성 신호 및 동기 신호의 분배 타이밍을 지연시키는데 사용되는 것이 가능할 수도 있다.
(변형예 6)
전술된 실시예에서, 악기 ID를 생략하는 것이 가능하다. 예를 들어, 서버 장치(20)가 단일 악기에 의해 생성된 연주 정보를 포함하는 연주 데이터를 저장하는 경우에[예를 들어, 하나의 악기 단말(10)이 사용되는 경우에], 자동 연주 피아노(30)는 악기 ID가 이용 가능하지 않더라도 단지 시간 코드에 따라 자동 연주를 실행할 수 있다.
게다가, 시계부(311)는 예를 들어 자동 연주의 개시 시간으로부터 경과된 시간을 계시할 수도 있다. 이 경우에도, 시계 보정부(315)는 시간 코드에 의해 지시된 일시에 따라 시계부(311)에 의해 계시된 일시를 보정하고, 이에 의해 실시예에서의 것에 동등한 동기된 재생이 실현될 수 있다.
게다가, 악기 단말(10)은 날짜 정보 및 시간 정보를 포함하는 일시 정보 대신에, 단지 시간 정보만을 송신할 수도 있고, 반면에 시간 정보가 연주 데이터에 포함되거나 그 시간이 시간 코드에 포함될 수도 있다. 이 경우에, 전술된 실시예에서 "일시 정보"가 "시간 정보"로 대체되어 있는 구성이 얻어지지만, 라이브 연주가 자동 연주를 위해 사용되는 경우에, 단지 연주 조작 시간만이 수신측 시스템(3)측에서 알려져 있으면, 데이터가 특정될 수 없더라도 자동 연주가 실현될 수 있다.
더욱이, 동기 신호는 연주가 전술된 실시예에서 수행된 때의 일시를 지시하는 일시 정보 및 악기 ID를 지시하는데 사용되었지만, 동기 신호는 이들 이외의 정보를 지시할 수도 있다. 예를 들어, 도 15에 도시된 바와 같이, 동기 신호는 악기 ID, 연주 개시 시간, 즉 연주가 악기 단말(10)에서 수행된 때의 시간 및 연주 개시 시간으로부터 경과된 시간(즉, 상대 시간)을 지시하는 시간 코드를 지시할 수도 있다. 연주 개시 시간은 실시예의 경우에 "2010년 12월 28일 19시 00분 00초 00"을 표현한다. 더욱이, 시간 코드는 도 5에 도시된 예가 사용될 때 이하와 같이 설명된다. 시간 코드는 제1 라인에 대응하는 연주 데이터에서 "0시간 0분 00초 00"을 표현하고, 제2 라인에 대응하는 연주 데이터에서 "0시간 0분 02초 24"를 표현하고, 제3 라인에 대응하는 연주 데이터에서 "0시간 0분 03초 59"를 표현한다.
연주 개시 시간은 악기 단말(10)로부터 송신될 모든 동기 신호에 포함되지만, 자동 연주 피아노(30)가 연주 개시 시간을 특정할 수 있는 경우에, 예를 들어 자동 연주 피아노(30)에 의해 재현될 연주가 불변인 경우에, 연주 개시 시간은 악기 단말(10)로부터 송신될 제1 동기 신호에만 포함될 수도 있다. 이 경우, 악기 단말(10)에서 연주 중에, 자동 연주 피아노(30)는 최초에 수신된 동기 신호에 의해 지시된 연주 개시 시간에 기초하여 연주 개시 시간을 특정한다.
연주 데이터의 시간 정보에 의해 지시된 시간이 전술된 바와 같이 수신된 동기 신호에 의해 지시된 시간과 연동되도록 MIDI 메시지의 재생 타이밍이 조정되는 경우에, 자동 연주 피아노(30)는 자동 연주를 실현할 수 있다.
(변형예 7)
더욱이, 자동 연주는 그 피치가 악기 단말(10)의 피치와 일치하게 되도록 자동 연주 피아노(30)에서 수행될 수도 있다. 이를 위한 방법이 일본 특허 제3867579호에 또한 개시되어 있다.
더 구체적으로, 악기 단말(10)은 예를 들어 그 기준 피치를 검출하고, 동기 신호를 송신하기 위해 사용되는 것과 동일한 방법을 사용하여 이 기준 피치를 지시하는 신호를 자동 연주 피아노(30)에 송신한다. 기준 피치는 특정 음정을 갖는 음이 연주부(18)로부터 출력될 때 얻어진 주파수이고, 이 주파수는 연주 시스템(100)의 기준으로서 사용된 피치를 표현한다. 그러나, 기준 피치를 지시하는 신호를 송신하기 위한 방법은 특히 특정되지는 않는다.
기준 피치를 얻을 때, 자동 연주 피아노(30)는 그 연주부(38)의 기준 피치를 검출하고, 음정들 사이의 차이를 얻는다. 더욱이, 자동 연주 중에, 자동 연주 피아노(30)는 음정들 사이의 차이에 대응하는 판독 속도에서 데이터 버퍼(37)로부터 연주 데이터를 판독하고 재생하여, 그 음정을 갖는 음의 주파수가 기준 피치에 근접하게 되도록(바람직하게는 일치하도록)한다.
변형예의 구성에 의해, 악기 단말(10)의 기준 피치가 자동 연주 피아노(30)의 기준 피치에 근접하게 될 수 있고, 자동 연주 피아노(30)의 개별차 등에 기인하는 영향이 억제될 수 있어, 이에 의해 자동 연주가 라이브 연주의 것들에 더 근접한 음정에서 실현되는 것으로 예측될 수 있다.
(변형예 8)
전술된 연주 시스템(100)에서, 서비스의 일부 또는 모두에 대해 과금하는 것이 가능할 수도 있다. 예를 들어, 서버 장치(20)가 이 과금 처리를 수행하고 연주 데이터가 송신되는 자동 연주 피아노(30)가 미리 등록되어 있는 것으로 가정된다. 더욱이, 서버 장치(20)는 자동 연주의 개시 전에 인증을 위해 자동 연주 피아노(30)를 점검하고, 인증이 성공하면 연주 데이터의 송신을 허용한다. 더욱이, 자동 연주에 관한 서비스를 사용하도록 허용된 사용자를 제한하는 것이 요구될 때, 연주 데이터가 송신될 자동 연주 피아노(30)가 서버 장치(20)에 의해 미리 등록되고, 서버 장치(20)가 자동 연주의 개시 전에 인증을 위해 자동 연주 피아노(30)를 점검하고 인증이 성공하면 자동 연주를 허용하는 것이 가능할 수도 있다.
(변형예 9)
전술된 실시예에서, 본 발명에 따른 연주 정보 출력 장치가 악기 단말(10), 더 구체적으로 전자 피아노인 경우가 설명되어 있지만, 장치는 예를 들어 연주 조작에 대응하는 MIDI 메시지를 출력하는 것이 가능한 자동 연주 피아노일 수도 있다. 이 경우에, 동일한 유형의 자동 연주 피아노가 악기 단말(10) 및 자동 연주 피아노(30)로서 사용될 수 있다. 더욱이, 본 발명에 따른 연주 정보 출력 장치는 예를 들어 피아노 이외의 악기 단말, 일렉톤(Electone)(등록 상표명) 또는 오르간과 같은 건반 악기 또는 플루트 또는 클라리넷과 같은 취주 악기 또는 드럼과 같은 타악기일 수도 있다. 따라서, 본 발명에 따른 자동 연주 장치는 자동 연주 피아노에 한정되는 것은 아니고, MIDI 메시지에 기초하여 자동 연주를 수행하는 것이 가능한 장치일 수도 있다.
더욱이, 본 발명에 따른 연주 정보 출력 장치 및 자동 연주 장치는 예를 들어 악기 연주를 위한 애플리케이션 프로그램이 설치되어 있는 스마트폰, 슬레이트 단말 또는 스마트북과 같은 정보 단말 또는 휴대형 음악 플레이어 또는 수동 연주 기능을 갖지 않는 장치일 수도 있다.
본 발명에 따른 연주 정보는 MIDI 포맷에 따르는 것에 한정되는 것은 아니고, 악기 단말(10)에서 연주의 내용을 표현하고 자동 연주를 위해 사용되는 것이 가능한 정보일 수도 있다.
(변형예 10)
전술된 실시예에 따른 악기 단말(10)의 제어부(11), 서버 장치(20)의 제어부(21) 및 자동 연주 피아노(30)의 제어부(31)에 의해 실행될 프로그램은 자기 기록 매체[자기 테이프, 자기 디스크(HDD 및 FD) 등], 광학 기록 매체[광학 디스크(CD 및 DVD) 등], 자기 광학 기록 매체 및 반도체 메모리와 같은 컴퓨터 판독 가능 기록 매체 상에 기록된 상태로 제공될 수 있다. 게다가, 프로그램은 인터넷과 같은 네트워크를 경유하여 다운로드될 수 있다. 더욱이, 제어부(11), 제어부(21) 및 제어부(31)에 의해 실현될 기능은 단일 또는 복수의 소프트웨어 제품에 의해 실현될 수도 있고 또는 단일 또는 복수의 하드웨어 제품에 의해 실현될 수도 있다.

Claims (7)

  1. 영상 및 음성을 분배하기 위해 동화상 분배 서버에 의해 분배된 영상과 동기하여 연주 정보 출력 장치로부터 수신된 연주 정보를 재생하기 위한 자동 연주 장치로서,
    상기 동화상 분배 서버를 통해 통과하지 않고 저장 장치로부터 송신된 연주 데이터를 수신하는 연주 데이터 수신 유닛으로서, 상기 저장 장치는 연주 정보와 시간 정보의 조합을 갖는 연주 데이터를 저장하도록 구성되고, 상기 연주 정보는 연주 정보로부터 출력되고, 상기 시간 정보는 상기 연주 정보에 의해 나타낸 연주가 수행된 때의 시간을 나타내고, 상기 시간은 연주 정보 출력 장치의 시계부에 의해 계시되는 연주 데이터 수신 유닛과,
    상기 동화상 분배 서버를 경유하여 음성을 위한 음성 신호 전송 경로를 사용함으로써 상기 연주 정보 출력 장치로부터 송신된 동기 신호를 수신하는 동기 신호 수신 유닛으로서, 상기 동기 신호는 상기 시계부에 의해 계시된 시간을 나타내는 동기 신호 수신 유닛과,
    상기 연주 데이터 수신 유닛에 의해 수신된 연주 데이터의 시간 정보에 의해 나타낸 시간 및 상기 동기 신호 수신 유닛에 의해 수신된 동기 신호에 의해 나타낸 시간에 대응하는 타이밍에, 상기 동기 신호가 분배될 때의 시간에 분배된 영상과 동기하여 상기 연주 데이터의 연주 정보를 재생하는 재생 유닛을 포함하는 자동 연주 장치.
  2. 제1항에 있어서, 상기 연주 데이터 수신 유닛에 의해 수신된 연주 데이터를 버퍼링 영역에서 버퍼링하도록 구성된 버퍼링 유닛을 더 포함하고,
    상기 재생 유닛은 상기 버퍼링 영역으로부터 버퍼링된 연주 데이터의 연주 정보를 판독하고 상기 버퍼링 유닛에 의한 버퍼링에 병행하여 상기 연주 정보를 재생하는 자동 연주 장치.
  3. 제1항 또는 제2항에 있어서, 상기 재생 유닛이 상기 연주 정보를 재생하는 동안, 상기 동기 신호 수신 유닛은 미리 정해진 사이클에 상기 동기 신호를 수신하고,
    상기 동기 신호가 사이클보다 긴 미리 정해진 기간 이내에 수신되지 않으면, 상기 재생 유닛은 상기 연주 정보를 계속 재생하고, 상기 동기 신호가 상기 기간을 넘어 수신되지 않으면, 상기 연주 정보의 재생이 정지되는 자동 연주 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 연주 정보 및 시간 정보에 추가하여, 상기 저장 장치는 상기 연주 정보 출력 장치 또는 상기 연주 정보의 그룹으로서 기능하는 연주 정보 그룹을 식별하기 위한 식별자를 저장하고,
    상기 동기 신호는 상기 식별자 및 연주가 수행된 때의 시간을 나타내는 신호이고,
    상기 재생 유닛은 상기 동기 신호에 의해 나타낸 식별자를 포함하는 상기 연주 데이터의 연주 정보를 재생하고, 다른 식별자를 포함하는 상기 연주 데이터의 연주 정보를 재생하지 않는 자동 연주 장치.
  5. 연주 정보를 출력하기 위한 연주 정보 출력 장치와, 영상 및 음성을 분배하기 위해 동화상 분배 서버에 의해 분배된 영상과 동기하여 상기 연주 정보를 재생하기 위한 자동 연주 장치와 통신하는 것이 가능한 저장 장치로서,
    상기 연주 정보가 상기 동화상 분배 서버를 통해 통과하지 않고 상기 연주 정보 출력 장치에 의해 생성될 때마다 상기 연주 정보와 상기 연주 정보 출력 장치로부터의 시간 정보의 조합을 갖는 연주 데이터를 수신하는 연주 데이터 수신 유닛으로서, 상기 시간 정보는 상기 연주 정보에 의해 나타낸 연주가 수행된 때의 시간을 나타내는 연주 데이터 수신 유닛과,
    상기 연주 데이터 수신 유닛에 의해 수신된 연주 데이터를 저장하는 저장 유닛과,
    상기 저장 유닛에 의해 수신된 연주 데이터의 저장과 병행하여 상기 동화상 분배 서버를 통해 통과하지 않고 상기 저장 유닛에 저장된 연주 데이터를 상기 자동 연주 장치에 송신하는 연주 데이터 송신 유닛을 포함하는 저장 장치.
  6. 영상 및 음성을 분배하기 위해 동화상 분배 서버에 의해 분배된 영상과 동기하여 연주 정보를 재생하기 위해 저장 장치 및 자동 연주 장치와 통신하는 것이 가능한 연주 정보 출력 장치로서,
    연주 정보를 생성하는 연주 정보 생성 유닛과,
    시간을 계시하는 시계 유닛과,
    상기 연주 정보가 상기 연주 정보 생성 유닛에 의해 생성될 때마다 상기 동화상 분배 서버를 통해 통과하지 않고 시간 정보와 상기 연주 정보의 조합을 갖는 연주 데이터를 저장 장치에 송신하는 연주 데이터 송신 유닛으로서, 상기 시간 정보는 상기 시계 유닛에 의해 계시된 시간을 나타내는 연주 데이터 송신 유닛과,
    상기 시계 유닛에 의해 계시되는 시간을 나타내는 동기 신호를, 음성을 위한 음성 신호 전송 경로를 경유하여 상기 동화상 분배 서버에 송신하는 동기 신호 송신 유닛을 포함하는 연주 정보 출력 장치.
  7. 연주 시스템으로서,
    연주 정보를 출력하는 연주 정보 출력 장치와,
    저장 장치와,
    영상 및 음성을 분배하기 위해 동화상 분배 서버에 의해 분배된 영상과 동기하여 상기 연주 정보를 재생하는 자동 연주 장치를 포함하고,
    상기 연주 정보 출력 장치는,
    연주 정보를 생성하는 연주 정보 생성 유닛과,
    시간을 계시하는 시계 유닛과,
    상기 연주 정보가 상기 연주 정보 생성 유닛에 의해 생성될 때마다 상기 동화상 분배 서버를 통해 통과하지 않고 시간 정보와 상기 연주 정보의 조합을 갖는 연주 데이터를 저장 장치에 송신하는 제1 연주 데이터 송신 유닛으로서, 상기 시간 정보는 상기 시계 유닛에 의해 계시된 시간을 나타내는 제1 연주 데이터 송신 유닛과,
    상기 시계 유닛에 의해 계시되는 시간을 나타내는 동기 신호를 음성을 위한 음성 신호 전송 경로를 사용하여 상기 동화상 분배 서버에 송신하는 동기 신호 송신 유닛을 포함하고,
    상기 저장 장치는,
    상기 제1 연주 데이터 송신 유닛을 통해 송신된 연주 데이터를 수신하는 제1 연주 데이터 수신 유닛과,
    상기 연주 데이터 수신 유닛에 의해 수신된 연주 데이터를 저장하는 저장 유닛과,
    상기 저장 유닛에 의한 수신된 연주 데이터의 저장과 병행하여 상기 동화상 분배 서버를 통해 통과하지 않고 상기 저장 유닛에 저장된 연주 데이터를 상기 자동 연주 장치에 송신하는 제2 연주 데이터 송신 유닛을 포함하고,
    상기 자동 연주 장치는,
    상기 제2 연주 데이터 송신 유닛을 통해 송신된 연주 데이터를 수신하는 제2 연주 데이터 수신 유닛과,
    전송 경로를 사용하여 상기 동화상 분배 서버로부터 상기 동기 신호 송신 유닛을 통해 송신된 동기 신호를 수신하는 동기 신호 수신 유닛과,
    상기 제2 연주 데이터 수신 유닛에 의해 수신된 연주 데이터의 시간 정보에 의해 나타낸 시간 및 상기 동기 신호 수신 유닛에 의해 수신된 동기 신호에 의해 나타낸 시간에 대응하는 타이밍에, 상기 동기 신호가 분배될 때의 시간에 분배된 영상과 동기하여 상기 연주 데이터의 연주 정보를 재생하는 재생 유닛을 포함하는 연주 시스템.
KR1020137017644A 2011-01-07 2011-01-07 자동 연주 장치, 저장 장치, 연주 정보 출력 장치 및 연주 시스템 KR101554399B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/050222 WO2012093497A1 (ja) 2011-01-07 2011-01-07 自動演奏装置

Publications (2)

Publication Number Publication Date
KR20130091358A true KR20130091358A (ko) 2013-08-16
KR101554399B1 KR101554399B1 (ko) 2015-09-18

Family

ID=46457362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017644A KR101554399B1 (ko) 2011-01-07 2011-01-07 자동 연주 장치, 저장 장치, 연주 정보 출력 장치 및 연주 시스템

Country Status (9)

Country Link
US (1) US9003468B2 (ko)
EP (1) EP2662853B1 (ko)
JP (1) JP5733321B2 (ko)
KR (1) KR101554399B1 (ko)
CN (1) CN103403794B (ko)
AU (1) AU2011354005B2 (ko)
CA (1) CA2823888C (ko)
RU (1) RU2544749C1 (ko)
WO (1) WO2012093497A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230005462A1 (en) * 2018-05-21 2023-01-05 Smule, Inc. Audiovisual collaboration system and method with seed/join mechanic

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8796528B2 (en) * 2011-01-11 2014-08-05 Yamaha Corporation Performance system
WO2014203870A1 (ja) * 2013-06-17 2014-12-24 ヤマハ株式会社 演奏システム、演奏方法及び演奏プログラム
CN105657533B (zh) * 2015-12-30 2017-11-17 广东欧珀移动通信有限公司 数据文件播放方法及装置
CN107770135A (zh) * 2016-08-19 2018-03-06 范子文 电子乐器的音乐直播方法和装置
CN106601218A (zh) * 2016-12-22 2017-04-26 湖南乐和云服网络科技有限公司 一种音视频与钢琴动作同步装置及方法
CN106782459B (zh) * 2016-12-22 2022-02-22 湖南卡罗德钢琴有限公司 基于移动终端应用程序的钢琴自动演奏控制系统及方法
JP7391368B2 (ja) * 2017-10-20 2023-12-05 国立大学法人電気通信大学 暗号化制御方法及び暗号化制御プログラム
JP7343268B2 (ja) * 2018-04-24 2023-09-12 培雄 唐沢 任意信号挿入方法及び任意信号挿入システム
CN109413476A (zh) * 2018-10-17 2019-03-01 湖南乐和云服网络科技有限公司 一种音视频与钢琴动作同步直播方法及系统
CN110392276B (zh) * 2019-07-29 2021-06-22 湖南卡罗德音乐集团有限公司 一种基于rtmp协议同步传输midi的直播录播方法
JP7181173B2 (ja) * 2019-09-13 2022-11-30 株式会社スクウェア・エニックス プログラム、情報処理装置、情報処理システム及び方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265082B2 (ja) 2000-05-23 2009-05-20 ヤマハ株式会社 サーバクライアントシステムおよびサーバ装置
JP2003029771A (ja) * 2001-07-19 2003-01-31 Sanyo Electric Co Ltd カラオケ装置
JP3811055B2 (ja) 2001-11-30 2006-08-16 東日本電信電話株式会社 音・映像同期合成配信方法、演奏者端末用装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体並びに、サービス提供装置、本装置用プログラムおよび本装置用プログラムを記録した記録媒体
JP3867579B2 (ja) 2002-01-15 2007-01-10 ヤマハ株式会社 マルチメディアシステム及び再生装置
JP4110807B2 (ja) * 2002-03-15 2008-07-02 ヤマハ株式会社 同期調整装置および同期調整方法を実現するためのプログラム
JP4001091B2 (ja) * 2003-09-11 2007-10-31 ヤマハ株式会社 演奏システム及び楽音映像再生装置
JP4363204B2 (ja) * 2004-02-04 2009-11-11 ヤマハ株式会社 通信端末
US20080147558A1 (en) * 2006-10-24 2008-06-19 Robert Korbin Kraus Method and system for providing prospective licensees and/or purchasers with access to licensable media content
US7649136B2 (en) * 2007-02-26 2010-01-19 Yamaha Corporation Music reproducing system for collaboration, program reproducer, music data distributor and program producer
JP2008216889A (ja) 2007-03-07 2008-09-18 Yamaha Corp 電子音楽装置、電子音楽装置システム、及びそれらに用いるプログラム
RU2364956C1 (ru) * 2008-04-29 2009-08-20 Дмитрий Эдгарович Эльяшев Синтезатор музыкального инструмента с физическим моделированием
JP5391684B2 (ja) * 2008-12-24 2014-01-15 ヤマハ株式会社 電子鍵盤楽器およびその制御方法を実現するためのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230005462A1 (en) * 2018-05-21 2023-01-05 Smule, Inc. Audiovisual collaboration system and method with seed/join mechanic
US11972748B2 (en) * 2018-05-21 2024-04-30 Smule, Inc. Audiovisual collaboration system and method with seed/join mechanic

Also Published As

Publication number Publication date
CA2823888A1 (en) 2012-07-12
JPWO2012093497A1 (ja) 2014-06-09
EP2662853B1 (en) 2016-06-22
CN103403794B (zh) 2015-06-17
AU2011354005A1 (en) 2013-08-01
CA2823888C (en) 2015-11-10
AU2011354005B2 (en) 2016-12-22
US20130283332A1 (en) 2013-10-24
RU2544749C1 (ru) 2015-03-20
EP2662853A1 (en) 2013-11-13
JP5733321B2 (ja) 2015-06-10
WO2012093497A1 (ja) 2012-07-12
US9003468B2 (en) 2015-04-07
RU2013136849A (ru) 2015-02-20
EP2662853A4 (en) 2014-09-03
CN103403794A (zh) 2013-11-20
KR101554399B1 (ko) 2015-09-18

Similar Documents

Publication Publication Date Title
KR101554399B1 (ko) 자동 연주 장치, 저장 장치, 연주 정보 출력 장치 및 연주 시스템
EP2665057B1 (en) Audiovisual synchronisation of Network Musical Performance
JP4001091B2 (ja) 演奏システム及び楽音映像再生装置
CN101120590B (zh) 现场提交数字信号的方法
US9019087B2 (en) Synchronization of haptic effect data in a media stream
JPH10319950A (ja) データ送受信方法およびシステム
JP2011145541A (ja) 再生装置、楽音信号出力装置、再生システム及びプログラム
JP5278059B2 (ja) 情報処理装置及び方法、プログラム、並びに情報処理システム
JP5109496B2 (ja) データ配信装置、データ配信方法およびプログラム
JP3915517B2 (ja) マルチメディアシステム、再生装置及び再生記録装置
JP7051923B2 (ja) 動画生成装置、動画生成方法、動画生成プログラム、再生装置、動画配信装置、及び動画システム
JP5568999B2 (ja) 再生装置、楽音信号出力装置、再生システム及びプログラム
WO2022168375A1 (ja) 通信方法、通信システムおよび通信装置
JP6529116B2 (ja) 送信装置、受信装置およびプログラム
JP6492754B2 (ja) 楽器及び楽器システム
JP2017163284A (ja) 時刻マッピング情報生成装置、同期再生システム、時刻マッピング情報生成方法及び時刻マッピング情報生成プログラム
KR20100060742A (ko) 가라오케 기기의 재생장치, 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190906

Year of fee payment: 5