WO2022168375A1 - 通信方法、通信システムおよび通信装置 - Google Patents

通信方法、通信システムおよび通信装置 Download PDF

Info

Publication number
WO2022168375A1
WO2022168375A1 PCT/JP2021/038573 JP2021038573W WO2022168375A1 WO 2022168375 A1 WO2022168375 A1 WO 2022168375A1 JP 2021038573 W JP2021038573 W JP 2021038573W WO 2022168375 A1 WO2022168375 A1 WO 2022168375A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
notification
sound
packet data
timing information
Prior art date
Application number
PCT/JP2021/038573
Other languages
English (en)
French (fr)
Inventor
貴洋 原
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to EP21924762.4A priority Critical patent/EP4290315A1/en
Publication of WO2022168375A1 publication Critical patent/WO2022168375A1/ja
Priority to US18/360,184 priority patent/US20230370542A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484—User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • G—PHYSICS
    • G04—HOROLOGY
    • G04F—TIME-INTERVAL MEASURING
    • G04F5/00—Apparatus for producing preselected time intervals for use as timing standards
    • G04F5/02—Metronomes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W68/00—User notification, e.g. alerting and paging, for incoming communication, change of service or the like

Definitions

  • the present disclosure relates to technology for controlling notification processing at remote locations.
  • Patent Document 1 discloses a technique for synchronizing a plurality of metronomes located at remote locations.
  • One of the purposes of the present disclosure is to obtain sound data sequentially obtained at a first communication base at a second communication base, and to obtain the sound data at the first communication base at the timing at which the sound data is obtained at the second communication base. to make it recognizable.
  • timing information that is repeatedly generated at predetermined intervals and that is used for notification processing executed by a notification device is acquired, and notification data and sequentially acquired sound data are used as packet data.
  • a method of communication is provided that includes transmitting.
  • the packet data includes the notification data based on the presence/absence of the timing information during the period in which the sound data included in the packet data was acquired.
  • packet data including notification data and sound data based on the presence or absence of timing information repeatedly generated at predetermined intervals is received, the sound data included in the packet data is reproduced, and the sound data is reproduced.
  • a communication method includes controlling notification processing performed by a notification device based on notification data included in the packet data together with the sound data during a period of reproduction.
  • a program for causing a computer to execute the above communication method may be provided, or a communication device that executes the above communication method may be provided.
  • a communication system may be provided that performs both communication methods.
  • the sound data sequentially acquired at the first communication base is acquired at the second communication base, and the timing at which the sound data is acquired at the first communication base can also be recognized at the second communication base.
  • FIG. 4 is a flowchart illustrating a data transmission method in one embodiment; 4 is a flowchart illustrating a data reception method in one embodiment; 4 is a flowchart for explaining interpolation processing in one embodiment; It is a figure explaining the structure of the packet data in a modification.
  • FIG. 1 is a diagram illustrating the configuration of a communication system according to one embodiment.
  • the communication system includes a server 1 connected to a network NW such as the Internet.
  • the server 1 includes a control unit such as a CPU, a storage unit, and a communication unit.
  • a control unit of the server 1 executes a predetermined program to provide a service for realizing an ensemble between communication points.
  • the server 1 controls communication between a plurality of communication points connected to the network NW, and executes processing necessary for the communication terminal 20 (communication device) at each communication point to realize P2P communication. This process may be implemented by a known method.
  • two communication points T1 and T2 are illustrated in FIG. 1, the number is not limited to this number, and more communication points may exist. In the following description, when the communication points T1 and T2 are not distinguished, they are simply referred to as communication points.
  • an ensemble can be played by transmitting/receiving sounds (hereinafter referred to as performance sounds) according to performances between communication bases through P2P type communication.
  • performance sounds sound
  • other communication bases can maintain the relationship between the performance sound and the metronome sound at the main communication base. can receive.
  • One main communication base and other communication bases are set via the server 1 based on information (such as user instructions) transmitted from the communication bases.
  • information such as user instructions
  • a communication terminal 20 is arranged at each communication base.
  • An electronic musical instrument 30 , a sound collecting device 40 , an imaging device 50 , a sound emitting device 60 and a display device 70 are connected to the communication terminal 20 .
  • the communication terminal 20 is always present at each communication base, but at least one of the electronic musical instrument 30, the sound collecting device 40, the imaging device 50, the sound emitting device 60, and the display device 70 does not have to be connected to the communication terminal 20.
  • At least one of the electronic musical instrument 30, the sound collecting device 40, the imaging device 50, the sound emitting device 60, and the display device 70 and the communication terminal 20 may be configured as an integrated device.
  • the electronic musical instrument 30 includes performance operators and sound sources that output sound data in response to operations on the performance operators.
  • the electronic musical instrument 30 is an electronic piano having keys as performance operators in this example.
  • the sound data is output to communication terminal 20 .
  • the sound data is data representing a sound waveform signal and may be output to the sound emitting device 60 .
  • the sound collecting device 40 has, for example, a microphone or an input terminal for a sound waveform signal, and outputs the sound input to the microphone or the sound waveform signal input to the input terminal to the communication terminal 20 as sound data.
  • the imaging device 50 has, for example, a camera, and outputs video data corresponding to the image captured by the camera to the communication terminal 20.
  • images include both still images and moving images.
  • the sound emitting device 60 has, for example, a speaker, and outputs the sound indicated by the sound data supplied from the communication terminal 20 from the speaker.
  • the sound data supplied to the sound emitting device 60 may be sound data transmitted from another communication base, or may be sound data generated at its own communication base.
  • the display device 70 has, for example, a liquid crystal display, and displays an image indicated by the moving image data supplied from the communication terminal 20 on the liquid crystal display.
  • the moving image data supplied to the display device 70 may be moving image data transmitted from another communication base, or may be moving image data generated at its own communication base.
  • the display device 70 may be a light emitting unit including light emitting elements such as LEDs.
  • Communication terminal 20 includes control unit 21 , storage unit 23 , communication unit 25 and operation unit 27 .
  • the control unit 21 includes a CPU, RAM, ROM, and the like.
  • the control unit 21 executes a program stored in the storage unit 23 by the CPU, thereby performing processing according to instructions defined in the program.
  • This program includes a program for performing processing for realizing the data communication function.
  • the data communication function includes a function for realizing a data transmission method and a data reception method, which will be described later.
  • the storage unit 23 includes a storage device such as a nonvolatile memory, and stores programs executed by the control unit 21 .
  • various data used in the communication terminal 20 are stored.
  • This program may be provided to the communication terminal 20 as long as it can be executed by a computer, stored in a computer-readable recording medium such as a magnetic recording medium, an optical recording medium, a magneto-optical recording medium, or a semiconductor memory. good.
  • the communication terminal 20 may be provided with a device for reading the recording medium.
  • This program may be provided by downloading via the communication unit 25 .
  • the communication unit 25 includes a communication module, connects to the network NW, and transmits and receives various data to and from external devices such as the server 1 and communication terminals 20 at other communication points. Data transmitted between the communication terminals 20 at each communication base is transmitted as streaming data.
  • the operation unit 27 includes operation devices such as a mouse and a keyboard, receives user operations on the operation devices (hereinafter sometimes simply referred to as user instructions), and outputs signals corresponding to the operations to the control unit 21 .
  • FIG. 2 is a diagram explaining the data communication function in one embodiment.
  • Data communication function 100 includes data transmission section 200 , data reception section 300 and notification control section 500 .
  • the data transmission unit 200 executes a data transmission method which will be described later.
  • the data reception unit 300 executes a data reception method, which will be described later.
  • the data transmission section 200 includes an acquisition section 210 , a timing generation section 220 , a packet generation section 230 and a transmission section 250 .
  • the acquisition unit 210 sequentially acquires sound data from devices connected to the communication terminal 20, for example.
  • the acquisition unit 210 sequentially acquires sound data corresponding to sounds generated by performance using the electronic musical instrument 30 (hereinafter referred to as performance sounds).
  • the acquisition unit 210 buffers a predetermined amount of sound data and then supplies it to the packet generation unit 230 .
  • the timing generation unit 220 generates timing information based on user instructions, and supplies it to the packet generation unit 230 and the notification control unit 500 . Timing information is repeatedly generated at predetermined intervals.
  • the interval and generation start timing are set by user instructions, and in this example correspond to the tempo for producing the metronome sound and the start timing of the metronome sound. For example, when the tempo is set to "120", the timing generator 220 generates timing information every 0.5 seconds from the start timing.
  • the processing in the timing generation unit 220 is executed in the communication terminal 20 at the communication base T1 (main communication base) which is the source of the metronome sound, but at the communication terminal 20 at the communication base T2 which is not the source of the metronome sound. Not executed.
  • the packet generation unit 230 packetizes the sound data acquired by the acquisition unit 210 to generate packet data.
  • the packet generation unit 230 acquires the timing information generated by the timing generation unit 220 when packetizing sound data, and further packetizes the notification data using the acquired timing information to generate packet data.
  • the communication protocol of this packet data is RTP (Real-time Transport Protocol). The structure of packet data will be explained.
  • FIG. 3 is a diagram explaining the structure of packet data in one embodiment.
  • the payload PL following the RTP header RH includes sound data D1 placed at the first data position and notification data D2 placed at the second data position.
  • the first data position is predetermined according to the number of samples of sound data (eg, 64 samples).
  • the notification data D2 includes data corresponding to the timing information.
  • the notification data D2 indicates whether or not timing information was generated by the packet generator 230 during the period when the sound data D1 included in the first data position was acquired by the acquirer 210 .
  • the notification data D2 includes data indicating the presence or absence of timing information during the period in which the sound data D1 included in the first data position was acquired.
  • the notification data D2 is "1" when there is timing information (when timing information is generated), and "1" when there is no timing information (when timing information is not generated). 0”. Therefore, the notification data D2 is "1" in the packet data containing the performance sound when the metronome sounds.
  • the sound data acquired by the acquisition unit 210 as described above is buffered before being supplied to the packet generation unit 230 . Therefore, when packetizing the sound data supplied from the acquisition unit 210 after the time corresponding to the buffer amount of the sound data from the timing when the timing information is generated, the packet generation unit 230 sets the notification data to "1". do. Adjustment of the time according to the buffer amount may not be executed.
  • the communication terminal 20 at the communication base T2 does not execute the processing in the timing generator 220 as described above. Therefore, no timing information is generated, and the notification data included in the packet data transmitted from that communication terminal 20 is "0".
  • the packet data generated by the communication terminal 20 at the communication point T2 may not contain the notification data.
  • the transmitter 250 transmits packet data generated by the packet generator 230 .
  • the destination is the communication terminal 20 at another communication base.
  • the notification control unit 500 When the timing information is generated by the timing generation unit 220 , the notification control unit 500 generates sound data representing the metronome sound and supplies the sound data to the sound emitting device 60 . As a result, the metronome sound is output from the sound emitting device 60 . The output metronome sound is not included in the sound data output from the electronic musical instrument 30 . Thus, the notification control unit 500 controls the metronome sound generation process (notification process) executed by the sound emitting device 60 (notification device).
  • the packet data containing the sound data contains control data indicating that timing information has been generated. is included.
  • the data receiving section 300 includes a receiving section 310 , a restoring section 330 and a reproducing section 350 .
  • the receiving unit 310 receives packet data transmitted from communication terminals 20 at other communication points.
  • the restoration unit 330 restores sound data and notification data from the packet data received by the reception unit 310 .
  • the restoration unit 330 supplies the restored sound data to the reproduction unit 350 , generates timing information based on the notification data, and supplies the timing information to the notification control unit 500 .
  • the restoration unit 330 supplies timing information to the notification control unit 500 when the sound data included in the packet data whose notification data is “1” is to be reproduced by the reproduction unit 350 .
  • the communication terminal 20 at the communication base T2 does not transmit the packet data whose notification data is "1" because the processing of the timing generation unit 220 is not executed. Therefore, in the communication terminal 20 at the communication point T1, the notification data restored by the restoration unit 330 will not be "1". That is, in the communication terminal 20 at the communication base T1, the timing information for the notification control unit 500 is supplied from the timing generation unit 220, but is not supplied from the restoration unit 330. FIG. On the other hand, in the communication terminal 20 at the communication base T2, the timing information for the notification control section 500 is supplied from the restoration section 330, but is not supplied from the timing generation section 220. FIG.
  • the reproduction unit 350 buffers and reproduces the sound data restored by the restoration unit 330 .
  • the reproduced sound data is supplied to the sound emitting device 60 .
  • the sound emitting device 60 outputs a sound (hereinafter referred to as a restored sound) according to the supplied sound data.
  • the sound emitting device 60 is also supplied with sound data representing the metronome sound from the notification control section 500 . Therefore, the sound emitting device 60 outputs the restored sound and the metronome sound.
  • the temporal relationship between the reconstructed sound and the metronome sound becomes the same as the above-described temporal relationship between the performance sound and the metronome sound.
  • FIG. 4 is a flowchart describing a data transmission method in one embodiment.
  • the control unit 21 controls the notification process based on the timing information (step S112), and sets the notification data to "1" (step S114).
  • a metronome sound is generated according to the timing information, and the metronome sound is output from the sound emitting device 60 .
  • the control unit 21 sets the notification data to "0" (step S116).
  • the control unit 21 generates the timing information and acquires the sound data output from the electronic musical instrument 30 when the metronome sound is generated (step S130).
  • the control unit 21 associates the acquired sound data with the notification data, packetizes them, generates packet data, and transmits the packet data to another communication base T2 (step S150).
  • the notification data has information based on whether or not timing information was generated during the period when the sound data was acquired. That is, if the timing information is generated during the period in which the sound data to be packetized is acquired, the notification data corresponding to the sound data is "1". The notification data becomes "0".
  • control unit 21 detects that an instruction to end the process has been input from the user (step S200; Yes), the control unit 21 ends the process of the data transmission method, and if the instruction is not detected (step S200). ;No), the process returns to step S110 to continue the process.
  • step S200 If the control unit 21 detects that an instruction to end the process has been input from the user (step S200; Yes), the control unit 21 ends the process of the data transmission method, and if the instruction is not detected (step S200). ;No), the process returns to step S110 to continue the process.
  • step S200 If the control unit 21 detects that an instruction to end the process has been input from the user (step S200; Yes), the control unit 21 ends the process of the data transmission method, and if the instruction is not detected (step S200). ;No), the process returns to step S110 to continue the process.
  • step S200 If the control unit 21 detects that an instruction to end the process has been input from the user (step S200; Yes), the control unit 21 ends the process
  • FIG. 5 is a flowchart describing a data reception method in one embodiment. While the control unit 21 does not receive packet data (step S600; No), it waits for reception of packet data while executing interpolation processing (step S900). Interpolation processing will be described later. When receiving the packet data (step S600; Yes), the control unit 21 restores the sound data and the notification data from the packet data (step S630), and buffers the restored sound data (step S650). The sound data reproduced by buffering is supplied to the sound emitting device 60 and output from the sound emitting device 60 as sound.
  • step S700 When the restored notification data is "1" (step S700; Yes), the control unit 21 generates timing information and controls notification processing (step S750). By this control, a metronome sound is generated according to the timing information, and the metronome sound is output from the sound emitting device 60 .
  • the control unit 21 controls the timing at which the metronome sound is output from the sound emitting device 60 so as to be delayed according to the buffer time of the sound data. As a result, the metronome sound is output when the restored sound is output from the sound emitting device 60 by the sound data corresponding to the notification data of "1".
  • the control unit 21 does not generate timing information when the restored notification data is "0" (step S700; No). If the control unit 21 detects that an instruction to end the process has been input from the user (step S800; Yes), the control unit 21 ends the process of the data transmission method, and if the instruction is not detected (step S800). ;No), the process returns to step S600 to continue the process. Next, the interpolation processing (step S900) executed when packet data is not received in step S600 (step S600; No) will be described.
  • FIG. 6 is a flowchart describing interpolation processing in one embodiment. If the current time has not passed the prediction period (step S910; No), the control unit 21 ends the interpolation process, returns to step S600, and continues the process.
  • the prediction period is a period during which timing information is predicted to be generated, and is determined based on the control history of past notification processing.
  • the control history is, for example, timings at which timing information was generated a plurality of times in the past.
  • the control unit 21 predicts the timing at which timing information is to be generated next from the average time of each interval (three periods) corresponding to four timing information generation timings.
  • the prediction period is set as a period with a predetermined time width added around the prediction timing.
  • step S950 the control unit 21 generates timing information (step S950) and ends the interpolation process.
  • the communication terminal 20 at the communication base T2 can output the metronome sound from the sound emitting device 60 even if the packet data in which the notification data is "1" is not received due to packet loss or the like.
  • the sound data corresponding to this metronome sound could not be restored due to packet loss, the restored sound is almost uninterrupted if the sound data before and after it exists. In such a case, it is possible to prevent the user from feeling discomfort by generating the metronome sound without missing it.
  • the above is the description of the data transmission method.
  • performance sounds sequentially acquired at a certain base are transmitted to another communication base (for example, the second communication base) as sound data in a streaming format via a network.
  • another communication base for example, the second communication base
  • the timing at which the musical performance sound is transmitted and then produced at the second communication base is delayed from the timing at which the musical performance sound is generated at the first communication base.
  • the sound data transmitted from the first communication base includes not only the performance sound but also the metronome sound.
  • the performance sound and the metronome sound are mixed at the first communication point to generate sound data, which is transmitted to the second communication point. Therefore, at the second communication base receiving the sound data, both the performance sound and the sound of the metronome sounded during the performance can be produced while maintaining the relative relationship between them.
  • the two sounds cannot be separated, and the second communication point cannot record only the sound played at the first communication point.
  • the restored sound and the metronome sound corresponding to this performance sound can be transferred to another communication base ( It can be output from the sound emitting device 60 at the communication base T2). Therefore, the sound data sequentially acquired at the first communication point T1 is acquired at the second communication point T2, and the timing at which the sound data is acquired at the first communication point can also be recognized at the second communication point.
  • the packet data is generated so that the sound data D1 and the notification data D2 are at different data positions, but they may be generated by another method.
  • FIG. 7 is a diagram explaining the structure of packet data in the modified example.
  • packet data containing the sound data D1 and the notification data D2 may be generated by superimposing the performance sound (sound data D1) as data obtained by converting the notification data D2 into a sound waveform in a non-audible frequency band.
  • the packet generator 230 may packetize the data obtained by superimposing the sound data D1 of the performance sound in the audible frequency band and the notification data D2 in the non-audible frequency band, and arrange the data in the payload PL.
  • the reconstruction unit 330 may separate the transmitted data into the audible frequency band and the non-audible frequency band, thereby separating the sound data D1 and the notification data D2.
  • a known method can be used as a specific processing method for realizing the technique of superimposing information on the non-audible frequency band, and is disclosed in Japanese Patent Application Laid-Open No. 2010-55077, for example.
  • Information notified to the user based on the timing information is not limited to auditory information such as a metronome sound, and may be visually recognized information.
  • the visually recognized information may be notified to the user by the display device 70.
  • it may be by generating predetermined light from a light emitting element such as an LED, or by reproducing a predetermined image on the display.
  • the notification control unit 500 generates moving image data (control data) for controlling the video to be displayed before the period during which the reproduction unit 350 reproduces the sound data. data) is preferably output to the display device 70 .
  • the timing information may include beat information.
  • the beat information is information indicating what beat the metronome sound to be played corresponds to.
  • the time signature is further set by the user's instruction. This information may not indicate all beats, and may be information specifying only the first beat, for example.
  • the notification control unit 500 may generate different metronome sounds for each beat based on the beat information. For example, only the first beat of the metronome sound may be generated with a different sound from the other beats.
  • the different sounds may be, for example, different loudness or different timbres.
  • the color and brightness may be varied according to beats.
  • the notification data D2 included in the packet data may represent information indicating whether timing information is generated by beat information included in the generated timing information.
  • the notification data D2 may indicate whether or not timing information is generated by other information.
  • the fact that the timing information is generated (there is the timing information) may be represented by, for example, information indicating the data position of a specific sample among the samples included in the sound data D1 in the packet data.
  • information indicating the data position of a specific sample among the samples included in the sound data D1 in the packet data As the number of samples of the sound data D1 increases and the duration of the performance sound included in the sound data D1 increases, it becomes necessary to specify the timing at which the metronome sound is sounded within the period of the performance sound, depending on the interval between the metronome sounds. be. In such a case, in order to specify the timing, it is preferable to include information specifying the data position of the sample in the sound data D1 in the notification data D2.
  • the data position may be described as the number of samples counted from the first sample of the sound data D1, for example.
  • the notification data D2 is the number of times the metronome sound sounds during the period of the performance sound in the sound data D1 (the number of times the timing information is generated). and information specifying the data position for each metronome sound. For example, if the metronome sounds twice during the period of the performance sound in the sound data D1, the notification data D2 indicates that the metronome sounds twice, and the data position of the first time and the data position of the second time. contains information on
  • the notification data D2 may be placed in the header instead of being placed in the payload PL of the packet data.
  • interpolation processing may not be performed.
  • the timing information acquired by the packet generator 230 is not limited to being generated by the timing generator 220, and may be generated by an external device.
  • timing information may be generated in the sound emitting device 60 .
  • sound emitting device 60 outputs the generated timing information to communication terminal 20 .
  • the sound emitting device 60 may generate a metronome sound based on the timing information.
  • timing information that is timing information that is repeatedly generated at predetermined intervals and that is used for notification processing executed by the notification device is acquired, and notification data and sequentially acquired sound data are acquired.
  • packet data and transmitting the packet data including the notification data based on the presence or absence of the timing information in a period in which the sound data included in the packet data is acquired.
  • Transmitting the packet data includes generating packet data by differentiating the position of the sound data and the position of the notification data in the packet data.
  • Transmitting the packet data includes superimposing the notification data on the sound data as data converted into a sound waveform of a frequency band different from that of the sound data.
  • the notification data includes information specifying the data position when the timing information was acquired, among the sound data included in the packet data.
  • the notification data includes information indicating the number of times the timing information was generated during the period in which the sound data included in the packet data was acquired.
  • the timing information defines beat information
  • the notification data includes beat information corresponding to the timing information in the period.
  • packet data including notification data and sound data based on the presence or absence of timing information repeatedly generated at predetermined intervals is received, the sound data included in the packet data is reproduced, and the sound data is reproduced.
  • a communication method includes controlling notification processing performed by a notification device based on notification data included in the packet data together with the sound data during a period of reproduction. Furthermore, it can also be configured as follows.
  • the notification process includes outputting a predetermined sound.
  • the notification process includes generating a predetermined light.
  • the notification process includes playing back a predetermined video.
  • Controlling the notification process includes outputting control data for the notification process to the notification device before a period during which the sound data is reproduced.
  • the notification device is controlled to execute the predetermined notification process after the period has elapsed.

Abstract

一実施形態における通信方法は、所定の間隔で繰り返し生成されるタイミング情報であって報知装置で実行される報知処理に用いられるタイミング情報を取得し、報知データおよび順次取得される音データをパケットデータとして送信することを含む。パケットデータは、パケットデータに含まれる音データが取得された期間におけるタイミング情報の有無に基づく報知データを含む。

Description

通信方法、通信システムおよび通信装置
　本開示は、遠隔地における報知処理を制御する技術に関する。
　互いに遠隔地に存在する複数のユーザが楽器を演奏により合奏する場合に、演奏タイミングを合わせることが重要である。互いに遠隔地に存在する複数のメトロノームを同期する技術が、例えば、特許文献１に開示されている。
特開２００１－１５４６７２号公報
　本開示の目的の一つは、第１通信拠点において順次取得された音データを第２通信拠点において取得し、かつ、第１通信拠点においてその音データが取得されたタイミングも第２通信拠点において認識できるようにすることにある。
　一実施形態によれば、所定の間隔で繰り返し生成されるタイミング情報であって報知装置で実行される報知処理に用いられるタイミング情報を取得し、報知データおよび順次取得される音データをパケットデータとして送信することを含む通信方法が提供される。前記パケットデータは、前記パケットデータに含まれる音データが取得された期間における前記タイミング情報の有無に基づく前記報知データを含む。
　一実施形態によれば、所定の間隔で繰り返し生成されるタイミング情報の有無に基づく報知データおよび音データを含むパケットデータを受信し、前記パケットデータに含まれる音データを再生し、前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて報知装置で実行される報知処理を制御することを含む通信方法が提供される。
　一実施形態によれば、上記の通信方法をコンピュータに実行させるためのプログラムが提供されてもよいし、上記の通信方法を実行する通信装置が提供されてもよい。双方の通信方法を実行する通信システムが提供されてもよい。
　本開示によれば、第１通信拠点において順次取得された音データを第２通信拠点において取得し、かつ、第１通信拠点においてその音データが取得されたタイミングも第２通信拠点において認識できるようにすることができる。
一実施形態における通信システムの構成を説明する図である。 一実施形態におけるデータ通信機能を説明する図である。 一実施形態におけるパケットデータの構造を説明する図である。 一実施形態におけるデータ送信方法を説明するフローチャートである。 一実施形態におけるデータ受信方法を説明するフローチャートである。 一実施形態における補間処理を説明するフローチャートである。 変形例におけるパケットデータの構造を説明する図である。
　以下、本開示の一実施形態における通信システムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は本開示の実施形態の一例であって、本開示はこれらの実施形態に限定して解釈されるものではない。本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。
［１．通信システムの構成］
　図１は、一実施形態における通信システムの構成を説明する図である。通信システムは、インターネットなどのネットワークＮＷに接続されたサーバ１を含む。サーバ１は、ＣＰＵ等の制御部、記憶部および通信部を含む。サーバ１の制御部が所定のプログラムを実行することにより、通信拠点間における合奏を実現するためのサービスを提供する。サーバ１は、ネットワークＮＷに接続された複数の通信拠点間の通信を制御し、各通信拠点における通信端末２０（通信装置）がＰ２Ｐ型通信を実現するために必要な処理を実行する。この処理は、公知の方法により実現されればよい。図１では、２つの通信拠点Ｔ１、Ｔ２が例示されているが、この数に限られず、さらに多くの通信拠点が存在してもよい。以下の説明において、通信拠点Ｔ１、Ｔ２を区別せずに説明する場合には、単に通信拠点という。
　この例では、通信拠点間における演奏に応じた音（以下、演奏音という）が、Ｐ２Ｐ型通信によって送受信されることで合奏をすることができる。以下に説明するデータ通信機能によれば、主となる通信拠点においてメトロノーム音を設定することで、他の通信拠点においても主となる通信拠点での演奏音とメトロノーム音との関係を維持したまま受信することできる。主となる１つの通信拠点とそれ以外の通信拠点とについては、通信拠点から送信される情報（ユーザの指示等）に基づいてサーバ１を介して設定される。以下の説明においては、通信拠点Ｔ１が主となる通信拠点として設定されているものとして説明する。
　各通信拠点には、通信端末２０が配置されている。通信端末２０には、電子楽器３０、収音装置４０、撮像装置５０、放音装置６０および表示装置７０が接続されている。各通信拠点において通信端末２０は必ず存在するが、電子楽器３０、収音装置４０、撮像装置５０、放音装置６０および表示装置７０の少なくとも一つが通信端末２０に接続されていなくてもよい。電子楽器３０、収音装置４０、撮像装置５０、放音装置６０および表示装置７０の少なくとも１つと通信端末２０とが一体の装置として構成されてもよい。
　電子楽器３０は、演奏操作子、演奏操作子への操作に応じて音データを出力する音源を含む。電子楽器３０は、この例では、演奏操作子として鍵を有する電子ピアノである。音データは通信端末２０に出力される。音データは、音波形信号を示すデータであり、放音装置６０に出力されてもよい。
　収音装置４０は、例えばマイクロフォン、または音波形信号の入力端子を有し、マイクロフォンに入力された音または入力端子に入力された音波形信号を音データとして通信端末２０に出力する。
　撮像装置５０は、例えばカメラを有し、カメラによって撮像された画像に応じた動画データを通信端末２０に出力する。以下の説明において、画像とは静止画像および動画像の双方を含む。
　放音装置６０は、例えばスピーカを有し、通信端末２０から供給された音データが示す音をスピーカから出力する。放音装置６０に供給される音データは、他の通信拠点から送信された音データであってもよいし、自身の通信拠点で生成された音データであってもよい。
　表示装置７０は、例えば液晶ディスプレイを有し、通信端末２０から供給された動画データが示す画像を液晶ディスプレイに表示する。表示装置７０に供給される動画データは、他の通信拠点から送信された動画データであってもよいし、自身の通信拠点で生成された動画データであってもよい。表示装置７０は、ＬＥＤ等の発光素子を含む発光部であってもよい。
［２．通信端末の構成］
　通信端末２０は、制御部２１、記憶部２３、通信部２５および操作部２７を含む。制御部２１は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を含む。制御部２１は、記憶部２３に記憶されたプログラムをＣＰＵにより実行することによって、プログラムに規定された命令にしたがった処理を行う。このプログラムには、データ通信機能を実現する処理を行うためのプログラムが含まれる。データ通信機能は、後述するデータ送信方法およびデータ受信方法を実現する機能を含む。
　記憶部２３は、不揮発性メモリなどの記憶装置を含み、制御部２１によって実行されるプログラムを記憶する。その他にも通信端末２０において用いる様々なデータが記憶される。このプログラムは、コンピュータにより実行可能であればよく、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶された状態で通信端末２０に提供されてもよい。この場合には、通信端末２０は、記録媒体を読み取る装置を備えていればよい。このプログラムは、通信部２５を介してダウンロードすることによって提供されてもよい。
　通信部２５は、通信モジュールを含み、ネットワークＮＷに接続して、サーバ１および他の通信拠点の通信端末２０などの外部装置と各種データの送受信を行う。各通信拠点における通信端末２０間で送信されるデータは、ストリーミングデータとして送信される。
　操作部２７は、マウス、キーボード等の操作装置を含み、操作装置に対するユーザの操作（以下、単にユーザ指示という場合がある）を受け付け、その操作に応じた信号を制御部２１に出力する。
［３．データ通信機能］
　続いて、データ通信機能について説明する。
　図２は、一実施形態におけるデータ通信機能を説明する図である。データ通信機能１００は、データ送信部２００、データ受信部３００および報知制御部５００を含む。データ送信部２００は、後述するデータ送信方法を実行する。データ受信部３００は、後述するデータ受信方法を実行する。
　データ送信部２００は、取得部２１０、タイミング生成部２２０、パケット生成部２３０および送信部２５０を含む。
　取得部２１０は、例えば、通信端末２０に接続された装置から音データを順次取得する。この例では、取得部２１０は、電子楽器３０を用いた演奏により生成する音（以下、演奏音という）に応じた音データを順次取得する。取得部２１０は、所定量の音データをバッファしてからパケット生成部２３０に供給する。
　タイミング生成部２２０は、ユーザ指示に基づいてタイミング情報を生成して、パケット生成部２３０および報知制御部５００に供給する。タイミング情報は、所定の間隔で繰り返し生成される。この間隔および生成開始のタイミングはユーザ指示によって設定され、この例では、メトロノーム音を鳴らすためのテンポとメトロノーム音の開始タイミングに対応する。例えば、テンポが「１２０」に設定されると、タイミング生成部２２０は、開始タイミングから０．５秒毎にタイミング情報を生成する。
　タイミング生成部２２０における処理は、メトロノーム音の発信元である通信拠点Ｔ１（主となる通信拠点）の通信端末２０では実行されるが、メトロノーム音の発信元にならない通信拠点Ｔ２の通信端末２０では実行されない。
　パケット生成部２３０は、取得部２１０によって取得された音データをパケット化して、パケットデータを生成する。パケット生成部２３０は、音データをパケット化するときに、タイミング生成部２２０によって生成されたタイミング情報を取得し、取得したタイミング情報を用いた報知データをさらにパケット化して、パケットデータを生成する。このパケットデータは、この例では、通信プロトコルは、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）である。パケットデータの構造について説明する。
　図３は、一実施形態におけるパケットデータの構造を説明する図である。図３に示すようにＲＴＰヘッダＲＨに続くペイロードＰＬは、第１データ位置に配置される音データＤ１、および第２データ位置に配置される報知データＤ２を含む。第１データ位置は、音データのサンプル数（例えば、６４サンプル）に応じて予め決められている。
　報知データＤ２は、タイミング情報に応じたデータを含む。報知データＤ２は、この例では、第１データ位置に含まれる音データＤ１が取得部２１０によって取得された期間において、パケット生成部２３０によってタイミング情報が生成されたか否かを示す。言い換えると、報知データＤ２は、第１データ位置に含まれる音データＤ１が取得された期間におけるタイミング情報の有無を示すデータを含む。報知データＤ２は、この例では、タイミング情報が有りの場合（タイミング情報が生成された場合）には「１」となり、タイミング情報が無しの場合（タイミング情報が生成されていない場合）には「０」となる。そのため、メトロノーム音が鳴ったときの演奏音が含まれるパケットデータでは、報知データＤ２が「１」となる。
　上述したように取得部２１０において取得された音データは、パケット生成部２３０に供給される前にバッファされる。したがって、パケット生成部２３０は、タイミング情報が生成されたタイミングから音データのバッファ量に応じた時間だけ後に取得部２１０から供給された音データをパケット化するときに、報知データを「１」とする。バッファ量に応じた時間の調整は実行されなくてもよい。
　通信拠点Ｔ２における通信端末２０は、上述したようにタイミング生成部２２０における処理が実行されない。そのため、タイミング情報が生成されず、その通信端末２０から送信されるパケットデータに含まれる報知データは「０」である。通信拠点Ｔ２の通信端末２０において生成されるパケットデータには報知データが含まれなくてもよい。
　図２に戻って説明を続ける。送信部２５０は、パケット生成部２３０において生成されたパケットデータを送信する。送信先は、他の通信拠点における通信端末２０である。
　報知制御部５００は、タイミング生成部２２０によってタイミング情報が生成されると、メトロノーム音を示す音データを生成し、放音装置６０に供給する。これによって、メトロノーム音は、放音装置６０から出力される。出力されたメトロノーム音は、電子楽器３０から出力される音データには含まれない。このように、報知制御部５００は、放音装置６０（報知装置）で実行されるメトロノーム音の発生処理（報知処理）を制御する。
　したがって、電子楽器３０に対する演奏操作により取得部２１０が音データを取得したときにメトロノーム音が鳴っていたときには、その音データを含むパケットデータには、タイミング情報が生成されていたことを示す制御データが含まれる。
　データ受信部３００は、受信部３１０、復元部３３０および再生部３５０を含む。
　受信部３１０は、他の通信拠点の通信端末２０から送信されたパケットデータを受信する。
　復元部３３０は、受信部３１０によって受信されたパケットデータから、音データと報知データとを復元する。復元部３３０は、復元した音データを再生部３５０に供給し、報知データに基づいてタイミング情報を生成して報知制御部５００に供給する。復元部３３０は、報知データが「１」であるパケットデータに含まれる音データを再生部３５０にするときに、タイミング情報を報知制御部５００に供給する。
　上述したように通信拠点Ｔ２における通信端末２０は、タイミング生成部２２０の処理が実行されないから、報知データが「１」となるパケットデータを送信しない。したがって、通信拠点Ｔ１における通信端末２０では、復元部３３０によって復元された報知データが「１」となることはない。すなわち、通信拠点Ｔ１における通信端末２０では、報知制御部５００へのタイミング情報は、タイミング生成部２２０から供給されるが、復元部３３０から供給されない。一方、通信拠点Ｔ２における通信端末２０では、報知制御部５００へのタイミング情報は、復元部３３０から供給されるが、タイミング生成部２２０から供給されない。
　再生部３５０は、復元部３３０によって復元された音データをバッファして再生する。再生された音データは、放音装置６０に供給される。放音装置６０は、供給された音データに応じた音（以下、復元音という）を出力する。上述したように放音装置６０は、報知制御部５００からメトロノーム音を示す音データも供給される。したがって、放音装置６０は、復元音とメトロノーム音とを出力する。上述の方法によりパケットデータを送信することで、復元音とメトロノーム音との時間的な関係は、上述した演奏音とメトロノーム音との時間的な関係と同じになる。
［４．データ送信方法］
　続いて、データ通信機能１００のうちデータ送信部２００（制御部２１）が実行するデータ送信方法について説明する。以下に説明するデータ送信方法の各処理は、例えば、操作部２７に入力されたユーザの指示によって開始される。このとき、メトロノーム音の発信元として主となる通信拠点（通信拠点Ｔ１）とそれ以外の通信拠点（通信拠点Ｔ２）とが予め設定される。通信拠点Ｔ１においては、ユーザの指示により、タイミング情報に応じたメトロノーム音が生成される。
　図４は、一実施形態におけるデータ送信方法を説明するフローチャートである。制御部２１は、タイミング情報を生成した場合（ステップＳ１１０；Ｙｅｓ）、タイミング情報に基づいて報知処理を制御し（ステップＳ１１２）、報知データを「１」に設定する（ステップＳ１１４）。この制御によって、タイミング情報に応じてメトロノーム音が生成され、メトロノーム音が放音装置６０から出力される。制御部２１は、タイミング情報を生成していない場合（ステップＳ１１０；Ｎｏ）、報知データを「０」に設定する（ステップＳ１１６）。
　制御部２１は、タイミング情報を生成してメトロノーム音を発生したときに電子楽器３０から出力された音データを取得する（ステップＳ１３０）。制御部２１は、取得した音データと報知データとを対応付けてパケット化してパケットデータを生成し、他の通信拠点Ｔ２に送信する（ステップＳ１５０）。これにより、報知データは、音データを取得した期間におけるタイミング情報の生成の有無に基づく情報を有する。すなわち、パケット化する対象の音データを取得した期間にタイミング情報が生成された場合、音データに対応する報知データは「１」となり、その期間にタイミング情報が生成されない場合、音データに対応する報知データは「０」となる。
　制御部２１は、処理を終了する指示がユーザから入力されたことを検出した場合（ステップＳ２００；Ｙｅｓ）には、データ送信方法の処理を終了し、その指示を検出していない場合（ステップＳ２００；Ｎｏ）には、ステップＳ１１０に戻って処理を続ける。以上が、データ送信方法の説明である。
［５．データ受信方法］
　続いて、データ通信機能１００のうちデータ受信部３００（制御部２１）が実行するデータ送信方法について説明する。以下に説明するデータ送信方法の各処理は、例えば、操作部２７に入力されたユーザの指示によって開始される。
　図５は、一実施形態におけるデータ受信方法を説明するフローチャートである。制御部２１は、パケットデータを受信しない間（ステップＳ６００；Ｎｏ）は、補間処理を実行しつつ（ステップＳ９００）、パケットデータの受信を待つ。補間処理については後述する。制御部２１は、パケットデータを受信すると（ステップＳ６００；Ｙｅｓ）、そのパケットデータから音データと報知データとを復元し（ステップＳ６３０）、復元した音データをバッファする（ステップＳ６５０）。バッファされることによって再生された音データは、放音装置６０に供給され、音として放音装置６０から出力される。
　制御部２１は、復元した報知データが「１」である場合（ステップＳ７００；Ｙｅｓ）には、タイミング情報を生成して報知処理を制御する（ステップＳ７５０）。この制御によって、タイミング情報に応じてメトロノーム音が生成され、メトロノーム音が放音装置６０から出力される。制御部２１は、メトロノーム音が放音装置６０から出力されるタイミングを、音データのバッファ時間に応じて遅延させるように制御する。これによって、「１」である報知データに対応する音データにより放音装置６０から復元音が出力されるときにメトロノーム音が出力される。
　制御部２１は、復元した報知データが「０」である場合（ステップＳ７００；Ｎｏ）には、タイミング情報を生成しない。制御部２１は、処理を終了する指示がユーザから入力されたことを検出した場合（ステップＳ８００；Ｙｅｓ）には、データ送信方法の処理を終了し、その指示を検出していない場合（ステップＳ８００；Ｎｏ）には、ステップＳ６００に戻って処理を続ける。続いて、ステップＳ６００でパケットデータを受信しなかった場合（ステップＳ６００；Ｎｏ）において実行される補間処理（ステップＳ９００）について説明する。
　図６は、一実施形態における補間処理を説明するフローチャートである。制御部２１は、現在時刻が予測期間を過ぎていない場合（ステップＳ９１０；Ｎｏ）には、補間処理を終了して、ステップＳ６００に戻って処理を続ける。予測期間は、タイミング情報が生成されると予測される期間であり、過去の報知処理の制御履歴に基づいて決定される。制御履歴は、例えば、過去の複数回においてタイミング情報を生成したタイミングである。制御部２１は、例えば、４回のタイミング情報の生成タイミングに応じたそれぞれの間隔（３つの期間）の平均時間から、次にタイミング情報が生成されるタイミングを予測する。予測期間は、その予測タイミングを中心に所定時間幅を付加した期間として設定される。
　制御部２１は、現在時刻が予測期間を過ぎている場合（ステップＳ９１０；Ｙｅｓ）には、タイミング情報を生成して（ステップＳ９５０）、補間処理を終了する。これによって、通信拠点Ｔ２の通信端末２０は、パケットロスなどによって、報知データが「１」となるパケットデータを受信しなかったとしても、メトロノーム音を放音装置６０から出力することができる。このメトロノーム音に対応する音データはパケットロスにより復元できなかったことになるが、その前後の音データが存在する場合には復元音はほとんど途切れない。このような場合に、メトロノーム音が抜けてしまわずに発生することで、ユーザに違和感を生じさせないようにすることもできる。以上が、データ送信方法の説明である。
　従来の技術によれば、ある拠点（例えば、第１通信拠点）において順次取得された演奏音は、ネットワークを介してストリーミング形式で音データとして他の通信拠点（例えば、第２通信拠点）に送信される。そのため、ネットワークの遅延の影響により、第１通信拠点での演奏音の発生タイミングよりも、その演奏音が送信されてから第２通信拠点で発音されるタイミングが遅れる。全拠点において同時にメトロノームが鳴る場合、第１通信拠点における演奏音とメトロノーム音との関係と、第２通信拠点におけるその演奏音とメトロノーム音との関係とにズレが生じることになる。このことは、第２拠点のユーザが第１通信拠点における演奏音に合わせて演奏をしようとするときに、そのユーザに対して違和感を与えることになる。したがって、異なる拠点において楽器を同時に演奏するような合奏においては、必ずしも全ての通信拠点において同時にメトロノームが鳴るようにすることが望ましいとは限らない。
　一方、第１通信拠点から送信される音データに、演奏音だけでなくメトロノーム音も含まれるようにすることが考えられる。この場合には、第１通信拠点において演奏音とメトロノーム音とがミキシングされて音データが生成されて第２通信拠点に送信される。そのため、この音データを受信した第２通信拠点では、演奏音と、その演奏の際に鳴っていたメトロノームの音との相対的な関係を維持した状態で、双方を発音することができる。しかしながら、この音データによれば、双方の音が分離できない状態のデータになってしまい、第２通信拠点では第１通信拠点における演奏音だけを記録することができないなどの不都合が生じる。
　このように、一実施形態におけるデータ通信機能によれば、通信拠点Ｔ１における演奏音とメトロノーム音との関係を維持したまま、この演奏音に対応する復元音とメトロノーム音とを他の通信拠点（通信拠点Ｔ２）において放音装置６０から出力することができる。したがって、第１通信拠点Ｔ１において順次取得された音データを第２通信拠点Ｔ２において取得し、かつ、第１通信拠点においてその音データが取得されたタイミングも第２通信拠点において認識できる。
＜変形例＞
　以上、本開示の一実施形態について説明したが、本開示の一実施形態は、以下のように様々な形態に変形することもできる。上述した実施形態および以下に説明する変形例は、それぞれ互いに組み合わせて適用することもできる。
（１）上述した実施形態では、パケットデータは、音データＤ１と報知データＤ２とが異なるデータ位置となるように生成されていたが、別の方法で生成されてもよい。
　図７は、変形例におけるパケットデータの構造を説明する図である。例えば、報知データＤ２を非可聴周波数帯域の音波形に変換したデータとして演奏音（音データＤ１）に重畳することで、音データＤ１と報知データＤ２とを含むパケットデータが生成されてもよい。この場合、パケット生成部２３０は、可聴周波数帯域における演奏音の音データＤ１と非可聴周波数帯域における報知データＤ２とを重畳したデータをパケット化して、ペイロードＰＬにそのデータを配置すればよい。復元部３３０は、送信されたデータを可聴周波数帯域と非可聴周波数帯域とに分けることによって、音データＤ１と報知データＤ２とに分離すればよい。非可聴周波数帯域に情報を重畳する技術を実現するための具体的な処理方法については、公知の方法を用いることができ、例えば、特開２０１０－５５０７７号公報に開示されている。
（２）タイミング情報に基づいてユーザに報知される情報は、メトロノーム音のように聴覚により認識される情報である場合に限らず、視覚により認識される情報であってもよい。視覚により認識される情報は、表示装置７０によりユーザに報知されればよく、例えば、ＬＥＤ等の発光素子により所定の光を発生させることであってもよいし、ディスプレイに所定の映像を再生することであってもよい。映像の再生は音の再生に比べて処理時間を要するため、報知制御部５００は、再生部３５０により音データが再生される期間よりも前に、表示する映像を制御するための動画データ（制御データ）を表示装置７０に出力することが好ましい。
（３）タイミング情報は、拍情報を含んでいてもよい。拍情報は、鳴らすべきメトロノーム音が何拍目に対応するかを示す情報である。この場合には、ユーザ指示によってさらに拍子が設定される。この情報は全ての拍を示すものでなくてもよく、例えば、１拍目だけを特定する情報であってもよい。
　報知制御部５００は、拍情報に基づいて、拍によってメトロノーム音を異なる音で生成してもよい。例えば、１拍目のみ他の拍とは異なる音でメトロノーム音が生成されればよい。音が異なることは、例えば、音の大きさが異なることであってもよいし、音色が異なることであってもよい。上述した変形例（２）のように視覚により認識される情報が用いられる場合には、拍によって色を異ならせてもよいし、明るさを異ならせてもよい。パケットデータに含まれる報知データＤ２は、タイミング情報の生成の有無を示す情報を、生成されたタイミング情報に含まれる拍情報により表してもよい。
（４）報知データＤ２は、タイミング情報の生成の有無を別の情報によって表してもよい。タイミング情報が生成されたこと（タイミング情報が有る）は、例えば、パケットデータにおける音データＤ１に含まれるサンプルのうち特定のサンプルのデータ位置を示す情報によって表されてもよい。音データＤ１のサンプル数が大きくなり、その音データＤ１に含まれる演奏音の時間が長くなると、メトロノーム音の間隔によっては、その演奏音の期間のうちメトロノーム音が鳴ったタイミングを特定する必要がある。このような場合において、そのタイミングを特定するために音データＤ１におけるサンプルのデータ位置を特定する情報を報知データＤ２に含めることが好ましい。データ位置は、例えば、音データＤ１の最初のサンプルから数えたサンプル数として記述されてもよい。
　演奏音の期間がさらに長くなり、複数回のメトロノーム音が鳴ってしまう場合には、報知データＤ２は、音データＤ１における演奏音の期間に鳴るメトロノーム音の回数（タイミング情報が生成された回数）を示す情報およびメトロノーム音毎のデータ位置を特定する情報を含むようにすればよい。例えば、音データＤ１における演奏音の期間に、２回のメトロノーム音が鳴った場合には、報知データＤ２は、メトロノーム音が２回であること、１回目のデータ位置および２回目のデータ位置についての情報を含む。
（５）報知データＤ２は、パケットデータのペイロードＰＬに配置される場合に限らず、ヘッダに配置されてもよい。
（６）図５および図６において説明したデータ受信方法において、補間処理が実行されなくてもよい。
（７）パケット生成部２３０によって取得されるタイミング情報は、タイミング生成部２２０で生成される場合に限らず、外部装置で生成されてもよい。例えば、放音装置６０においてタイミング情報が生成されてもよい。この場合には、放音装置６０は生成したタイミング情報を通信端末２０に出力する。放音装置６０はタイミング情報に基づいてメトロノーム音を生成してもよい。
　以上が変形例に関する説明である。
　以上のとおり、一実施形態によれば、所定の間隔で繰り返し生成されるタイミング情報であって報知装置で実行される報知処理に用いられるタイミング情報を取得し、報知データおよび順次取得される音データをパケットデータとして送信することであって、当該パケットデータに含まれる音データが取得された期間における前記タイミング情報の有無に基づく前記報知データを含む前記パケットデータを送信することを含む通信方法が提供される。さらに以下のように構成することもできる。
　前記パケットデータを送信することは、当該パケットデータにおける前記音データの位置と前記報知データの位置とを異ならせてパケットデータを生成することを含む。
　前記パケットデータを送信することは、前記報知データを、前記音データとは異なる周波数帯域の音波形に変換したデータとして当該音データに重畳することを含む。
　前記報知データは、前記パケットデータに含まれる音データのうち、前記タイミング情報が取得されたときのデータ位置を特定する情報を含む。
　前記報知データは、前記パケットデータに含まれる音データが取得された期間における前記タイミング情報が生成された回数を示す情報を含む。
　前記タイミング情報は、拍情報が規定され、前記報知データは、前記期間における前記タイミング情報に対応する拍情報を含む。
　一実施形態によれば、所定の間隔で繰り返し生成されるタイミング情報の有無に基づく報知データおよび音データを含むパケットデータを受信し、前記パケットデータに含まれる音データを再生し、前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて報知装置で実行される報知処理を制御することを含む通信方法が提供される。さらに以下のように構成することもできる。
　前記報知処理は、所定の音を出力することを含む。
　前記報知処理は、所定の光を発生することを含む。
　前記報知処理は、所定の映像を再生することを含む。
　前記報知処理を制御することは、前記音データが再生される期間より前に、前記報知装置に対して前記報知処理の制御データを出力することを含む。
　過去の前記報知処理の制御履歴に基づいて特定される期間において前記パケットデータが受信されなかった場合には、当該期間の経過後に所定の報知処理を実行するように前記報知装置を制御する。
１…サーバ、２０…通信端末、２１…制御部、２３…記憶部、２５…通信部、２７…操作部、３０…電子楽器、４０…収音装置、５０…撮像装置、６０…放音装置、７０…表示装置、１００…データ通信機能、２００…データ送信部、２１０…取得部、２２０…タイミング生成部、２３０…パケット生成部、２５０…送信部、３００…データ受信部、３１０…受信部、３３０…復元部、３５０…再生部、５００…報知制御部
 

Claims (15)

  1. 　所定の間隔で繰り返し生成されるタイミング情報であって報知装置で実行される報知処理に用いられるタイミング情報を取得し、
    　報知データおよび順次取得される音データをパケットデータとして送信することであって、当該パケットデータに含まれる音データが取得された期間における前記タイミング情報の有無に基づく前記報知データを含む前記パケットデータを送信すること
    　を含む、通信方法。
  2. 　前記パケットデータを送信することは、当該パケットデータにおける前記音データの位置と前記報知データの位置とを異ならせてパケットデータを生成することを含む、請求項１に記載の通信方法。
  3. 　前記パケットデータを送信することは、前記報知データを、前記音データとは異なる周波数帯域の音波形に変換したデータとして当該音データに重畳することを含む、請求項１に記載の通信方法。
  4. 　前記報知データは、前記パケットデータに含まれる音データのうち、前記タイミング情報が取得されたときのデータ位置を特定する情報を含む、請求項１から請求項３のいずれかに記載の通信方法。
  5. 　前記報知データは、前記パケットデータに含まれる音データが取得された期間における前記タイミング情報が生成された回数を示す情報を含む、請求項４に記載の通信方法。
  6. 　前記タイミング情報は、拍情報が規定され、
    　前記報知データは、前記期間における前記タイミング情報に対応する拍情報を含む、請求項１から請求項５のいずれかに記載の通信方法。
  7. 　所定の間隔で繰り返し生成されるタイミング情報の有無に基づく報知データおよび音データを含むパケットデータを受信し、
    　前記パケットデータに含まれる音データを再生し、
    　前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて報知装置で実行される報知処理を制御すること
    　を含む通信方法。
  8. 　前記報知処理は、所定の音を出力することを含む、請求項７に記載の通信方法。
  9. 　前記報知処理は、所定の光を発生することを含む、請求項７または請求項８に記載の通信方法。
  10. 　前記報知処理は、所定の映像を再生することを含む、請求項７から請求項９のいずれかに記載の通信方法。
  11. 　前記報知処理を制御することは、前記音データが再生される期間より前に、前記報知装置に対して前記報知処理の制御データを出力することを含む、請求項１０に記載の通信方法。
  12. 　過去の前記報知処理の制御履歴に基づいて特定される期間において前記パケットデータが受信されなかった場合には、当該期間の経過後に所定の報知処理を実行するように前記報知装置を制御する、請求項７から請求項１１のいずれかに記載の通信方法。
  13. 　第１通信装置と第２通信装置を備え、
    　前記第１通信装置は、
    　報知データおよび順次取得される音データをパケットデータとして送信するデータ送信部であって、当該パケットデータに含まれる音データが取得された期間におけるタイミング情報の有無に基づく前記報知データを含む前記パケットデータを送信するデータ送信部を有し、
    　前記タイミング情報は、所定の間隔で繰り返し生成され、報知装置で実行される報知処理に用いられ、
    　前記第２通信装置は、
    　前記パケットデータを受信して、当該パケットデータに含まれる音データを再生するデータ受信部と、
    　前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて第２報知装置で実行される報知処理を制御する第２報知制御部と、
    　を有する、
    　通信システム。
  14. 　報知データおよび順次取得される音データをパケットデータとして送信するデータ送信部であって、当該パケットデータに含まれる音データが取得された期間におけるタイミング情報の有無に基づく前記報知データを含む前記パケットデータを送信するデータ送信部を有し、
    　前記タイミング情報は、所定の間隔で繰り返し生成され、報知装置で実行される報知処理に用いられる、通信装置。
  15. 　所定の間隔で繰り返し生成されるタイミング情報の有無に基づく報知データおよび音データを含むパケットデータを受信して、当該パケットデータに含まれる音データを再生するデータ受信部と、
    　前記音データが再生される期間に、当該音データとともに前記パケットデータに含まれる報知データに基づいて第２報知装置で実行される報知処理を制御する報知制御部と、
    　を有する通信装置。
     
     
PCT/JP2021/038573 2021-02-02 2021-10-19 通信方法、通信システムおよび通信装置 WO2022168375A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21924762.4A EP4290315A1 (en) 2021-02-02 2021-10-19 Communication method, communication system, and communication device
US18/360,184 US20230370542A1 (en) 2021-02-02 2023-07-27 Communication method, communication system, and communication device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021015060A JP2022118492A (ja) 2021-02-02 2021-02-02 通信方法、プログラムおよび通信システム
JP2021-015060 2021-02-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/360,184 Continuation US20230370542A1 (en) 2021-02-02 2023-07-27 Communication method, communication system, and communication device

Publications (1)

Publication Number Publication Date
WO2022168375A1 true WO2022168375A1 (ja) 2022-08-11

Family

ID=82740998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038573 WO2022168375A1 (ja) 2021-02-02 2021-10-19 通信方法、通信システムおよび通信装置

Country Status (4)

Country Link
US (1) US20230370542A1 (ja)
EP (1) EP4290315A1 (ja)
JP (1) JP2022118492A (ja)
WO (1) WO2022168375A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154672A (ja) 1999-11-29 2001-06-08 Yamaha Corp 通信装置および記憶媒体
JP2005128296A (ja) * 2003-10-24 2005-05-19 Yamaha Corp オーディオ・ミキサー装置
JP2010055077A (ja) 2008-07-30 2010-03-11 Yamaha Corp 制御装置
JP2012255863A (ja) * 2011-06-08 2012-12-27 Seiko Instruments Inc 電子楽器システム、電子楽器、及び電子メトロノーム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154672A (ja) 1999-11-29 2001-06-08 Yamaha Corp 通信装置および記憶媒体
JP2005128296A (ja) * 2003-10-24 2005-05-19 Yamaha Corp オーディオ・ミキサー装置
JP2010055077A (ja) 2008-07-30 2010-03-11 Yamaha Corp 制御装置
JP2012255863A (ja) * 2011-06-08 2012-12-27 Seiko Instruments Inc 電子楽器システム、電子楽器、及び電子メトロノーム

Also Published As

Publication number Publication date
US20230370542A1 (en) 2023-11-16
EP4290315A1 (en) 2023-12-13
JP2022118492A (ja) 2022-08-15

Similar Documents

Publication Publication Date Title
JP4001091B2 (ja) 演奏システム及び楽音映像再生装置
US6088733A (en) Communications of MIDI and other data
US7756595B2 (en) Method and apparatus for producing and distributing live performance
JP5729393B2 (ja) 演奏システム
KR101554399B1 (ko) 자동 연주 장치, 저장 장치, 연주 정보 출력 장치 및 연주 시스템
JP2010112981A (ja) 遠隔実演再生方法、装置
JP4259329B2 (ja) 演奏装置および合奏システム
WO2022168375A1 (ja) 通信方法、通信システムおよび通信装置
EP1784049A1 (en) A method and system for sound reproduction, and a program product
US6525253B1 (en) Transmission of musical tone information
CN114205400B (zh) 通信控制方法
JP3705581B2 (ja) データ送信方法および送信システム
US20160112800A1 (en) Acoustic System, Acoustic System Control Device, and Acoustic System Control Method
JP4214917B2 (ja) 演奏システム
JP2004093975A (ja) 通信端末及びプログラム
US9681230B2 (en) Acoustic system, output device, and acoustic system control method
JP2016166975A (ja) 送信装置、受信装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21924762

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021924762

Country of ref document: EP

Effective date: 20230904