WO2023058172A1 - 音制御装置およびその制御方法、電子楽器、プログラム - Google Patents

音制御装置およびその制御方法、電子楽器、プログラム Download PDF

Info

Publication number
WO2023058172A1
WO2023058172A1 PCT/JP2021/037035 JP2021037035W WO2023058172A1 WO 2023058172 A1 WO2023058172 A1 WO 2023058172A1 JP 2021037035 W JP2021037035 W JP 2021037035W WO 2023058172 A1 WO2023058172 A1 WO 2023058172A1
Authority
WO
WIPO (PCT)
Prior art keywords
note
volume
control device
pitch
syllable
Prior art date
Application number
PCT/JP2021/037035
Other languages
English (en)
French (fr)
Inventor
達也 入山
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to PCT/JP2021/037035 priority Critical patent/WO2023058172A1/ja
Publication of WO2023058172A1 publication Critical patent/WO2023058172A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser

Definitions

  • the present invention relates to a sound control device and its control method, an electronic musical instrument, and a program.
  • Patent Literatures 1 and 2 disclose techniques for judging notes according to performance operations and generating synthetic singing sounds in real time.
  • An object of the present invention is to provide a sound control device that can determine the start and end of notes in accordance with the player's intention.
  • an acquisition unit for acquiring performance information including pitch information indicating a pitch and volume information indicating a volume detected as a continuous amount; a determination unit that determines a note start and a note end based on a comparison result between a volume and a threshold value and a change in pitch in the performance information, wherein the determination unit determines whether the volume is in a predetermined manner.
  • FIG. 1 is a block diagram of a sound control system including a sound controller; FIG. It is a figure which shows lyric data. It is a functional block diagram of a sound control device. It is a figure explaining the specific method of a syllable. It is a figure explaining the specific method of a syllable. It is a figure explaining the specific method of a syllable. 4 is a flowchart showing sound generation processing; FIG. 2 is a diagram showing the relationship between musical scores and notes to which syllables are assigned; FIG. 10 is a diagram showing an example of generating a syllable note and an example of countermeasures; It is a figure which shows an example of the change aspect of the acquired sound volume. 4 is a flowchart showing instruction processing; 4 is a flowchart showing instruction processing; 4 is a flowchart showing instruction processing; 4 is a flowchart showing instruction processing; 4 is a flowchart showing instruction processing; 4 is a flowchart showing instruction processing;
  • FIG. 1 is a block diagram of a sound control system including a sound control device according to a first embodiment of the invention.
  • the sound control system includes a sound control device 100 and an external device 20 .
  • the sound control device 100 is an electronic musical instrument, for example, and may be an electronic wind instrument in the form of a saxophone or the like.
  • the sound control device 100 includes a control section 11 , an operation section 12 , a display section 13 , a storage section 14 , a performance operation section 15 , a sound generation section 18 and a communication I/F (interface) 19 . Each of these elements is connected to each other via a communication bus 10 .
  • the control unit 11 includes a CPU 11a, a ROM 11b, a RAM 11c and a timer (not shown).
  • the ROM 11b stores control programs executed by the CPU 11a.
  • the CPU 11a implements various functions of the sound control apparatus 100 by loading the control program stored in the ROM 11b into the RAM 11c and executing it.
  • Various functions here include, for example, a function of executing sound generation processing. The sound generation function will be described later.
  • the control unit 11 includes a DSP (Digital Signal Processor) for generating audio signals with a sound generation function.
  • the storage unit 14 is a nonvolatile memory.
  • the storage unit 14 stores setting information used when generating an audio signal representing a synthesized singing voice, as well as voice segments and the like for generating the synthesized singing voice.
  • the setting information includes, for example, tone color and acquired lyric data. Part or all of these information and data may be stored in the storage unit 14 .
  • the operation unit 12 includes a plurality of operators for inputting various types of information, and accepts instructions from the user.
  • the display unit 13 displays various information.
  • the sound generator 18 includes a tone generator circuit, an effect circuit and a sound system.
  • the performance operation section 15 includes a plurality of operation keys 16 and a breath sensor 17 as elements for inputting performance signals (performance information).
  • the input performance signal includes pitch information indicating the pitch and volume information indicating the volume detected as a continuous amount, and is supplied to the control section 11 .
  • a main body of the sound control device 100 is provided with a plurality of sound holes (not shown). When a user (performer) plays a plurality of operation keys 16, the opening/closing state of the tone holes is changed, and a desired pitch is designated.
  • a mouthpiece is attached to the main body of the sound control device 100, and the breath sensor 17 is provided near the mouthpiece.
  • the breath sensor 17 is a blow pressure sensor that detects the blow pressure of the user's breath blown through the mouthpiece.
  • the breath sensor 17 detects the presence or absence of blowing, and detects the strength and speed (momentum) of blowing pressure during a performance.
  • the volume is designated according to the change in pressure detected by the breath sensor 17 .
  • the time-varying magnitude of pressure detected by the breath sensor 17 is treated as volume information detected as a continuous quantity.
  • the communication I/F 19 connects to a communication network wirelessly or by wire.
  • the sound control device 100 is communicably connected to the external device 20 via a communication network, for example, by the communication I/F 19 .
  • the communication network may be the Internet, for example, and the external device 20 may be a server device.
  • the communication network may be a short-range wireless communication network using Bluetooth (registered trademark), infrared communication, LAN, or the like. It should be noted that the number and types of external devices to be connected do not matter.
  • the communication I/F 19 may include a MIDI I/F that transmits and receives MIDI (Musical Instrument Digital Interface) signals.
  • the external device 20 stores music data necessary for providing karaoke in association with music IDs.
  • the music data includes data related to karaoke songs, such as lead vocal data, chorus data, accompaniment data, karaoke caption data, and the like.
  • the accompaniment data is data indicating the accompaniment sound of the song. These lead vocal data, chorus data, and accompaniment data may be data expressed in MIDI format.
  • the karaoke subtitle data is data for displaying lyrics on the display unit 13 .
  • the external device 20 stores the setting data in association with the song ID.
  • This setting data is data set for the sound control device 100 according to the song to be sung in order to synthesize the singing sound.
  • the setting data includes lyric data corresponding to each part of the singing song corresponding to the song ID.
  • This lyric data is, for example, lyric data corresponding to the lead vocal part.
  • the music data and the setting data are temporally associated with each other.
  • This lyric data may be the same as or different from the karaoke subtitle data. That is, the lyric data is the same in that it defines the lyric (characters) to be uttered, but is adjusted to a format that is easy to use in the sound control device 100 .
  • karaoke subtitle data is a string of characters “ko”, “n”, “ni”, “chi”, and “ha”.
  • the lyric data is composed of actual words such as “ko”, “n”, “ni”, “chi”, and “wa” so that the sound control device 100 can easily use the data. It may be a character string that matches the pronunciation of .
  • this format may include, for example, information for identifying the case where two characters are sung with one sound, information for identifying breaks in phrases, and the like.
  • the control unit 11 acquires music data and setting data specified by the user from the external device 20 via the communication I/F 19 and stores them in the storage unit 14 .
  • the music data includes accompaniment data
  • the setting data includes lyric data.
  • the accompaniment data and the lyric data are temporally associated with each other.
  • FIG. 2 is a diagram showing lyrics data stored in the storage unit 14.
  • each of the lyrics (characters) to be uttered that is, one unit of speech (a group of sound breaks) may be referred to as a "syllable".
  • a plurality of syllables to be pronounced are arranged in chronological order.
  • each syllable is associated with a set period (set section) consisting of a start time and a stop time of pronunciation.
  • the lyric data is data that defines the syllables to be pronounced.
  • the lyric data has text data in which a plurality of syllables to be pronounced are arranged in chronological order.
  • the lyric data includes timing data defining start and stop times of utterance for each syllable along a predetermined time axis. The start time and stop time are defined, for example, as the time relative to the beginning of the song. This timing data associates the progression position of the song with lyrics to be uttered at the progression position. Therefore, the lyric data is data in which a plurality of syllables to be pronounced are arranged in chronological order and syllables corresponding to the elapsed time from the reference time are uniquely defined.
  • the lyric data includes timing data in which utterance start time ts(i) and stop time te(i) are set for each syllable M(i). For example, in the case of M(1) "ko", the utterance start time is time ts(1) and the utterance stop time is time te(1). Similarly, in the case of M(n) "ru”, the utterance start time is time ts(n) and the utterance stop time is time te(n). A period from time ts(i) to time te(i) corresponding to each syllable M(i) is called a set period for uttering the syllable M(i). The set period of vocalization indicates, for example, the period of ideal singing. As will be described below, the vocalization period of each syllable included in the synthesized singing voice is controlled based on the vocalization start instruction and the vocalization stop instruction by the performance signal.
  • FIG. 3 is a functional block diagram of the sound control device 100 for realizing sound generation processing.
  • the sound control device 100 includes an acquisition unit 31, a determination unit 32, a generation unit 33, a specification unit 34, a singing sound synthesis unit 35, and an instruction unit 36 as functional units.
  • the functions of these functional units are realized by cooperation of the CPU 11a, ROM 11b, RAM 11c, timer, communication I/F 19, and the like. It should be noted that the inclusion of the generation unit 33, the identification unit 34, the singing sound synthesis unit 35, and the instruction unit 36 is not essential.
  • the acquisition unit 31 acquires the performance signal.
  • the judging section 32 judges the start of a note and the end of a note based on the comparison result between the volume of the performance signal and the threshold value and the change of the pitch of the performance signal.
  • the generator 33 generates a note based on the determination of the note start and note end.
  • the specifying unit 34 specifies a syllable corresponding to the timing determined as the note start from the lyrics data. A syllable specifying method will be described with reference to FIGS. 4 to 6. FIG.
  • the singing sound synthesizing unit 35 generates singing sounds by synthesizing the specified syllables based on the setting data.
  • the instruction unit 36 instructs to start producing the singing sound of the specified syllable at the pitch and timing corresponding to the start of the note, and to finish producing the sound at the timing corresponding to the end of the note. Singing sounds obtained by synthesizing syllables are pronounced by the sounding unit 18 (FIG. 1) based on the instruction from the instruction unit 36 .
  • the storage unit 14 stores lyric data and accompaniment data corresponding to the music specified by the user.
  • the accompaniment data is started to be played back.
  • the lyrics in the lyrics data (or karaoke subtitle data) are displayed on the display section 13 according to the progression of the accompaniment data.
  • the musical score of the main melody corresponding to the lead vocal data is displayed on the display unit 13 according to the progress of the accompaniment data.
  • the user plays using the performance operation unit 15 while listening to the accompaniment data.
  • a performance signal is acquired by the acquisition unit 31 according to the progress of the performance.
  • the determination unit 32 determines that the note is started, and after determining that the note is started, the volume reaches the second threshold TH2 (see FIG. 10). If less, it is determined that the note is finished.
  • Note start here corresponds to an instruction to start vocalization
  • note end corresponds to an instruction to end vocalization.
  • the first threshold TH1 is higher than or equal to the second threshold TH2.
  • the determination unit 32 determines that the note has ended and that the note has started. That is, when the pitch is switched by the finger operation of the operation key 16 while the blowing pressure is maintained at a certain level or more, the note end of the pitch before switching and the note start of the pitch after switching are different. determined at the same time.
  • the specified syllable is synthesized and pronounced as a singing sound, and when it is determined that the note ends, it is muted. Therefore, the user can pronounce the lyrics that match the music by performing along with the accompaniment sound.
  • 4 to 6 are diagrams explaining the method of specifying syllables. 4 to 6 show the relationship between time and notes.
  • the control unit 11 identifies the syllable corresponding to the set period to which the timing determined as the note start belongs, as the syllable corresponding to the timing determined as the note start. Further, when the timing determined as the note start does not belong to any set period, the control unit 11 (the specifying unit 34) selects the syllable corresponding to the set period closest to the timing as the note start. Identify as the syllable corresponding to the timing.
  • the count value tc at which the vocalization start instruction (note start) is acquired is within the vocalization set period ts(1) to te(1).
  • the count value tc is a count value for advancing the accompaniment position in the later-described sound generation process (FIG. 7).
  • the control unit 11 sets the pitch “G4” and refers to the lyric data to determine whether or not the count value tc at which the start instruction is acquired is included in the vocalization set period. Since the time at which the utterance start instruction was acquired is within the set period ts(1) to te(1), the control unit 11 determines that the time at which the start instruction was acquired is within the utterance set period corresponding to character M(1). , and the character "ko" corresponding to the character M(1) is specified and set as a syllable to be pronounced.
  • control unit 11 outputs to the DSP an instruction to generate an audio signal based on the vocalization of the set pitch "G4" and the character "ko".
  • time ton(1) indicates the time when an instruction to generate an audio signal based on the set pitch "G4" and the character "ko" is output to the DSP.
  • the DSP of the control unit 11 starts generating an audio signal based on the instruction.
  • a performance signal including an utterance stop instruction (note end) associated with the pitch "G4" is received in the standby state of the sound generation process.
  • the control unit 11 sets the pitch "G4" and determines that the performance signal is an instruction to stop vocalization.
  • the DSP of the control unit 11 outputs an instruction to stop generating an audio signal based on the utterance (character “ko") at the set pitch "G4".
  • the time at which the instruction to stop the generation of the audio signal based on the set pitch "G4" and the character “ko" is output is denoted as time toff(1).
  • the DSP of the control unit 11 stops generating the audio signal based on the instruction.
  • the vocalization period ton(1) to toff(1) is the period during which an audio signal is generated based on the vocalization of the pitch "G4" and the character "ko".
  • the count value tc at which the vocalization start instruction is acquired is a period between the vocalization set period ts(1) to te(1) and the vocalization set period ts(2) to te(2), A case close to the set period ts(1) to te(1) will be described with reference to FIG. It is assumed that a performance signal including a vocalization start instruction associated with the pitch "G4" is received in the standby state of the sound generation process. In this case, the control unit 11 sets the pitch “G4” and determines whether or not the count value tc when the start instruction is acquired is included in the set period of vocalization.
  • control unit 11 determines the central time from the set periods set immediately before and after the count value tc. Calculate tm(i).
  • the control unit 11 sets the stop time te ( 1) and the start time ts(2).
  • the control unit 11 determines the character "ko" ( Identify and set the letter M(1)) as the syllable to pronounce.
  • the vocalization period ton(1) to toff(1) is a period during which an audio signal based on the vocalization of the pitch "G4" and the character "ko" is generated.
  • the count value tc at which the vocalization start instruction is acquired is a period between the vocalization set period ts(1) to te(1) and the vocalization set period ts(2) to te(2), A case close to the set period ts(2) to te(2) will be described with reference to FIG.
  • the control unit 11 displays the character "n" (character M(2)) of the set period after the central time tm(1). is specified and set as the syllable to be pronounced.
  • a period from ton(1) to toff(1) is a period during which an audio signal based on the pitch "G4" and the character " ⁇ " is generated.
  • the syllable corresponding to the set period to which the timing determined as the note start belongs or the set period closest to the above timing is specified as the syllable corresponding to the timing determined as the note start.
  • an instruction to generate or stop an audio signal corresponding to each syllable is output based on the performance operation to the performance operation unit 15 .
  • FIG. 7 is a flowchart showing sound generation processing. This process is implemented by the CPU 11a expanding the control program stored in the ROM 11b into the RAM 11c and executing it. This processing is started when the user instructs reproduction of music.
  • the control section 11 reads the data of the portion corresponding to the count value tc in the accompaniment data (step S104).
  • step S105 the input of the user's instruction to stop playing the music, or the reception of the performance signal (step S105; No, step S106; No, step S107). ; No)
  • step S105 the input of the user's instruction to stop playing the music, or the reception of the performance signal
  • step S107 the reception of the performance signal
  • steps S103 and S104 is repeated.
  • This repeated state is the standby state.
  • the initial value of the count value tc is 0, which corresponds to the reproduction start timing of the music.
  • the control unit 11 measures the time based on the music reproduction start timing.
  • step S105 When the reading of the accompaniment data is completed by reading the accompaniment data to the end in the standby state (step S105; Yes), the control unit 11 ends the sound generation processing.
  • step S106 When the user inputs an instruction to stop playing music in the standby state (step S106; Yes), the control unit 11 terminates the sound generation process.
  • step S107 When a performance signal is received from the performance operation unit 15 in the standby state (step S107; Yes), the control unit 11 executes instruction processing for generating an audio signal by the DSP (step S108). Details of the instruction processing for generating the audio signal will be described later with reference to FIG. After completing the instruction process for generating the audio signal, the control unit 11 returns to step S103 and enters a standby state in which steps S103 and S104 are repeated.
  • FIG. 8 is a diagram showing the relationship between a part of the musical score of the main melody of the music specified by the user and the notes generated by the performance and to which the syllables are assigned.
  • notes to which syllables are assigned are called syllable notes VN1 to VN7.
  • Syllables in the lyrics data correspond to the musical notes SN1 to SN9.
  • FIG. 8 shows ideal syllable notes VN1-VN7 when the user faithfully plays along with the notes SN1-SN9. Playing faithfully with proper timing means playing so that the note starts at the timing corresponding to the corresponding set period.
  • the notes SN1, SN2, and SN3 correspond to the syllables “dra”, “gon”, and “night”. If the user plays the notes SN1, SN2, and SN3 in time with the accompaniment, syllable notes VN1, VN2, and VN3 are produced as notes.
  • the syllable notes VN1, VN2, and VN3 are assigned the syllables “dra,” “gon,” and “night,” respectively.
  • note SN3 and note SN4 are tied with each other, they correspond to one syllable note VN3 "night”.
  • syllable notes VN4 to VN7 are produced as notes.
  • note SN7 and note SN8 are tied together, so they correspond to one syllable note VN6 "night”.
  • Syllable notes are pronounced in real time.
  • the generated syllable note can be saved as singing synthesis data containing syllable information.
  • the generated syllable notes can be converted to MIDI data that does not contain syllable data and saved.
  • FIG. 9 is a diagram showing an example of generating syllable notes and an example of countermeasures.
  • Case A shows an unfavorable example
  • case B shows an example in which countermeasures are taken against case A.
  • Case B is implemented by instruction processing (FIG. 11), which will be described later.
  • Case A shows an example in which one long syllable note VN101 was pronounced and generated even though the user intended to play notes SN2 and SN3 in succession. Originally, two syllable notes VN2 and VN3 should be pronounced and generated. However, since the volume detected between notes SN2 and SN3 was not sufficiently reduced, the syllable notes were not separated.
  • FIG. 10 is a diagram showing an example of how the acquired volume changes.
  • CC11 is a control change indicating a change in volume (expression).
  • the volume exceeds the first threshold TH1 and it is determined that the note starts, if the volume changes in a predetermined manner as shown in FIG. 10 without falling below the second threshold TH2, it is not determined that the note ends. For example, after the user plays note SN2 and starts sounding syllable note VN101, even if he intended to play note SN3 after lowering the blowing pressure, the volume did not fall below the second threshold TH2. Then, as shown in case A, syllable note VN101 is assigned "gon” and the next syllable "night” is not assigned.
  • the control unit 11 inserts (arranges) a virtual note break into the syllable note VN101 to create two syllable notes VN102 and VN103. Separate into notebooks.
  • the end timing of the syllable note VN102 and the start timing of the syllable note VN103 are simultaneous. That is, when the control unit 11 determines that the volume has changed in the predetermined manner, regardless of the comparison result between the volume and the thresholds (thresholds TH1 and TH2), at the timing when the volume changes in the predetermined manner, It is determined that the note is ended and that the note is started. In other words, the control unit 11 substantially inserts a virtual note break by judging the note end and the note start at the same time.
  • the predetermined mode shown in FIG. 10 is defined as follows, and the information is stored in the ROM 11b. If it corresponds to the predetermined mode, it can be determined that the user is intentionally trying to separate the notes.
  • the second predetermined speed It is to continue to rise at a higher speed and continue beyond the third predetermined time dur3.
  • the first predetermined time dur2 is the time from the descent start time T1 to the descent end time T2, and has a value in the range of 20 to 100 ms, for example.
  • the second predetermined time dur23 is the time from the descent start time T1 to the ascent end time T4, and is, for example, 200 ms.
  • the third predetermined time dur3 is the time from the rise start time T3 to the rise end time T4, and is, for example, 10 ms.
  • the first predetermined speed and the second predetermined speed are, for example, 0.5 CC/ms.
  • the first predetermined speed and the second predetermined speed may not have the same value. Note that these values are not limited to the examples. Also, these values may be changed according to the reproduction tempo. Note that the minimum volume CCx when satisfying the above-described predetermined mode is normally higher than the first threshold TH1.
  • FIG. 11 is a flow chart showing the instruction process executed in step S108 of FIG.
  • step S201 the control unit 11 compares the volume indicated by the acquired performance signal with the second threshold value TH2 to determine whether or not the end of the note (instruction to end vocalization). Here, it is determined that the note is finished when the sound volume falls below the second threshold TH2.
  • step S202 the control unit 11 determines whether it is the start of the note (instruction to start vocalization). Here, it is determined that a note starts when the volume exceeds the first threshold TH1.
  • step S210 the control unit 11 instructs the syllable being sounded to end at the timing corresponding to the current note end, as shown in FIG. End the process. That is, the control unit 11 outputs to the DSP an instruction to stop the generation of the audio signal started in step S206 or step S209, which will be described later. Therefore, the uttered sound is muted.
  • step S202 If it is determined in step S202 that the note has not started, the control unit 11 executes other processing in step S211, and then proceeds to step S207.
  • the control unit 11 issues an instruction to change the sound sound volume in response to the change. Output.
  • step S202 If it is determined in step S202 that the note is started, the control unit 11 sets the pitch indicated by the acquired performance signal in step S203. In step S204, the control unit 11 executes other processing. In the other processing here, for example, when the pitch is switched within the same set period, the control unit 11 continues to pronounce the pitch after the change without ending the pronunciation of the syllable being pronounced. Execute processing, etc. For example, the pronunciation of the syllable "night” continues at the pitch after the switching. A syllable note corresponding to the pitch after switching is assigned a long sound "-".
  • step S205 the control unit 11 identifies the syllable corresponding to the timing determined to be the current note start by the method described in FIGS.
  • step S206 the control unit 11 instructs to start producing the identified syllable at the pitch and timing corresponding to the start of the current note. That is, the control unit 11 outputs to the DSP an instruction to start generating an audio signal based on the vocalization of the set pitch and the specified syllable.
  • step S207 the control unit 11 determines whether or not the volume indicated by the performance signal has changed in the predetermined manner (FIG. 10). Then, when it is determined that the volume has changed in the predetermined manner, the control unit 11 further sets the set period to which the timing determined as the current note start belongs, and the timing determined that the volume has changed in the predetermined manner. is different from the set period to which is belongs. If the conditions that the volume changes in the above-described predetermined manner and that the two set periods are different from each other are satisfied, the control unit 11 proceeds to step S208. 11 ends.
  • step S208 the control unit 11 instructs the syllable specified this time to end pronunciation at the timing corresponding to the end of this note.
  • step S209 the control unit 11 instructs the next syllable to start to be pronounced at the same pitch as that which was sounded immediately before (sounding started in S206 immediately before). Therefore, in steps S208 and S209, regardless of the comparison result between the volume and the threshold, it is determined that the note ends and the note starts at the timing when the volume changes in a predetermined manner, and a virtual note break is inserted ( Case B).
  • step S209 the control unit 11 terminates the processing shown in FIG.
  • the control unit 11 determines the start of a note and the end of a note based on the result of comparison between the sound volume and the threshold in the acquired performance signal and the change in pitch in the performance signal (S201 , S202). If the control unit 11 determines that the volume has changed in a predetermined manner (FIG. 10), regardless of the comparison result between the volume and the threshold, it determines that the note ends at the timing when the volume changes in the predetermined manner. Also, it is determined that the note is started. Therefore, it is possible to determine the start and end of notes according to the user's intention.
  • notes are generated based on the determination of the note start and note end, it is possible to generate notes that match the user's intention.
  • control unit 11 when producing a singing sound obtained by synthesizing syllables, starts producing the specified syllables at the pitch and timing corresponding to the start of the note, and ends the production at the timing corresponding to the end of the note. Therefore, real-time singing pronunciation can be realized.
  • the syllable corresponding to the set period to which the timing determined as the note start belongs or the set period closest to the timing is specified as the syllable corresponding to the timing determined as the note start. Therefore, it is possible to pronounce syllables according to the user's intention.
  • a plurality of syllables to be pronounced are arranged in chronological order in the lyrics data, and each syllable is associated with a set period consisting of the start time and stop time of pronunciation. Then, the syllable specifying method shown in FIGS. 4 to 6 was adopted. Therefore, even if the performance timing deviates from the originally set period, the syllable corresponding to the set period to which the performance timing belongs (or close to it) is identified and pronounced. On the other hand, in the present embodiment, syllables are specified in order according to the progress of the performance.
  • FIG. 12 is a flow chart showing the instruction process executed in step S108 of FIG.
  • the same step numbers are given to the same processing steps as in FIG. Step S204 is abolished.
  • "i" indicates the utterance order of the syllables in the lyrics, as described above.
  • ts is the time when the immediately preceding utterance start instruction is acquired. Therefore, the control unit 11 advances the syllable indicated by M(i) one by one among the syllables forming the lyrics by incrementing "i".
  • Other processing steps in FIG. 7 are as described in the first embodiment.
  • step S205 the control unit 11 specifies the syllable indicated by the character M(i) as the current syllable. Therefore, the syllables are specified in the order in which they are arranged in the lyrics data.
  • step S206 the control unit 11 instructs to start producing the identified syllable at the pitch and timing corresponding to the start of the current note.
  • step S207 the control unit 11 determines whether or not the volume indicated by the performance signal has changed in the predetermined manner (FIG. 10). Here, it differs from the first embodiment in that the set period is not considered. If the volume changes in the predetermined manner, the control unit 11 proceeds to step S208, and if the volume does not change in the predetermined manner, ends the processing shown in FIG.
  • step S208 the control unit 11 instructs to end the pronunciation of the first syllable specified this time (the syllable that started to be pronounced in the previous step S206).
  • step S209 the control unit 11 instructs to start to pronounce the second syllable next to the first syllable at the same pitch as the pitch at which the first syllable was pronounced (started to be pronounced in S206 immediately before).
  • the second syllable is the syllable next to a certain syllable (the first syllable) in order in the lyrics data.
  • the present embodiment at the timing when the volume changes in a predetermined manner, it is determined that the note has ended and that the note has started. Therefore, it is possible to obtain the same effect as the first embodiment regarding the determination of the start and end of notes in accordance with the user's intention.
  • performance sounds for example, sounds of wind instruments
  • the lyric data (FIG. 2) is not essential.
  • music data including accompaniment data is not essential.
  • FIG. 13 is a flow chart showing the instruction process executed in step S108 of FIG.
  • the same step numbers are given to the same processing steps as in FIG. Steps S204 and S205 are abolished.
  • step S206 the control unit 11 instructs to start sounding at the pitch and timing corresponding to the start of the current note.
  • the tone color to be produced may be a predetermined one.
  • step S211 the sounding timbre may be switched according to the user's operation.
  • step S210 the control unit 11 instructs to end the sounding of the sound being sounded at the timing corresponding to the end of the current note, and the processing shown in FIG. 13 is ended.
  • step S207 the control unit 11 determines whether or not the volume indicated by the performance signal has changed in the predetermined manner (FIG. 10). Here, it differs from the first embodiment in that the set period is not considered. If the volume changes in the predetermined manner, the control unit 11 proceeds to step S208, and if the volume does not change in the predetermined manner, ends the processing shown in FIG.
  • step S208 the control unit 11 instructs to end the pronunciation of the sound being produced.
  • step S209 the control unit 11 instructs to start sounding again at the same pitch as the pitch at which sounding started in step S206 immediately before.
  • the user's intention is determined from the manner of change in pitch, and virtual note breaks are inserted.
  • step S209 the control unit 11 terminates the processing shown in FIG.
  • the present embodiment at the timing when the volume changes in a predetermined manner, it is determined that the note has ended and that the note has started. Therefore, it is possible to obtain the same effect as the first embodiment regarding the determination of the start and end of notes in accordance with the user's intention.
  • real-time pronunciation other than syllable pronunciation that reflects the user's intention can be realized.
  • the sound control device 100 may be any device as long as it can acquire the sound volume as a continuous quantity, and may be another wind instrument with a breath sensor.
  • the sound control device 100 is not limited to the wind instrument type, and may be of another type such as a keyboard instrument.
  • each key may be provided with a function such as an after-sensor so that the volume changes continuously according to the key operation.
  • an electronic musical instrument connected to a volume pedal may be used, and volume information may be input by operating the volume pedal.
  • the performance signal (performance information) may be acquired from the outside via communication. Therefore, it is not essential to provide the performance operation section 15, and it is not essential that the sound control device 100 has the function and form of a musical instrument.
  • Synthesized singing sounds and information on sounds to be pronounced may be transmitted to the outside via communication, and may be sounded by an external device having the same function as the sound generator 18 .
  • At least one function of the generation unit 33 , the identification unit 34 , the singing sound synthesis unit 35 and the instruction unit 36 may be provided to an external device connected via the communication I/F 19 .
  • the same effect as the present invention may be obtained by reading a storage medium storing a control program represented by software for achieving the present invention into the present apparatus.
  • the read program code itself implements the novel functions of the present invention, and a non-transitory computer-readable recording medium storing the program code constitutes the present invention.
  • the program code may be supplied via a transmission medium or the like, in which case the program code itself constitutes the present invention.
  • ROM floppy disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, magnetic tapes, non-volatile memory cards, etc.
  • volatile memory e.g., DRAM (Dynamic Random Access Memory)
  • DRAM Dynamic Random Access Memory
  • control unit 31 acquisition unit 32 determination unit 33 generation unit 34 identification unit 35 singing sound synthesis unit 36 instruction unit 100 sound control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得し、演奏情報における音量と閾値との比較結果と、演奏情報における音高の変化とに基づいて、ノート開始およびノート終了を判定し、音量が所定の態様で変化したと判定した場合は、音量と閾値との比較結果にかかわらず、音量が所定の態様で変化したタイミングで、ノート終了と判定し且つノート開始と判定する、音制御装置を提供する。

Description

音制御装置およびその制御方法、電子楽器、プログラム
　本発明は、音制御装置およびその制御方法、電子楽器、プログラムに関する。
　楽器等の音制御装置においては、演奏操作に応じてノート開始およびノート終了をリアルタイムに判定するものが知られている。例えば、特許文献１、２では、演奏操作に応じてノートを判定し、リアルタイムに合成歌唱音を生成する技術が開示されている。
特開２０１６－２０６４９６号公報 特開２０１４－９８８０１号公報
　しかし、電子楽器の種類によっては、演奏操作によって生成された演奏情報に基づきノートを判定する場合、ノート開始やノート終了の判定が必ずしも容易でない。従って、ユーザの意図に沿ってノートの開始および終了を判定することに関して改善の余地があった。
　本発明の目的は、演奏者の意図に沿ったノートの開始および終了を判定することができる音制御装置を提供することである。
　上記目的を達成するために本発明によれば、音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得する取得部と、前記演奏情報における音量と閾値との比較結果と、前記演奏情報における音高の変化とに基づいて、ノート開始およびノート終了を判定する判定部と、を有し、前記判定部は、前記音量が所定の態様で変化したと判定した場合は、前記音量と前記閾値との比較結果にかかわらず、前記音量が前記所定の態様で変化したタイミングで、前記ノート終了と判定し且つ前記ノート開始と判定する、音制御装置が提供される。
　本発明によれば、演奏者の意図に沿ったノートの開始および終了を判定することができる。
音制御装置を含む音制御システムのブロック図である。 歌詞データを示す図である。 音制御装置の機能ブロック図である。 音節の特定手法を説明する図である。 音節の特定手法を説明する図である。 音節の特定手法を説明する図である。 音生成処理を示すフローチャートである。 楽譜と、音節が割り当てられたノートとの関係を示す図である。 音節ノートの生成例と対策例を示す図である。 取得された音量の変化態様の一例を示す図である。 指示処理を示すフローチャートである。 指示処理を示すフローチャートである。 指示処理を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。
　（第１の実施の形態）
　図１は、本発明の第１の実施の形態に係る音制御装置を含む音制御システムのブロック図である。音制御システムは、音制御装置１００と、外部装置２０とを含む。音制御装置１００は、一例として電子楽器であり、例えばサクソフォン等の形態をした電子管楽器であってもよい。
　音制御装置１００は、制御部１１、操作部１２、表示部１３、記憶部１４、演奏操作部１５、発音部１８、および通信Ｉ／Ｆ（インターフェイス）１９を含む。これらの各要素は、通信バス１０を介して互いに接続されている。
　制御部１１は、ＣＰＵ１１ａ、ＲＯＭ１１ｂ、ＲＡＭ１１ｃおよびタイマ（図示せず）を含む。ＲＯＭ１１ｂには、ＣＰＵ１１ａにより実行される制御プログラムが格納されている。ＣＰＵ１１ａは、ＲＯＭ１１ｂに格納された制御プログラムをＲＡＭ１１ｃに展開して実行することにより音制御装置１００における各種機能を実現する。ここでいう各種機能は、例えば、音生成処理を実行する機能を含む。音生成機能については後述する。
　制御部１１は、音生成機能によってオーディオ信号を生成するためのＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を含む。記憶部１４は不揮発性メモリである。記憶部１４は、合成歌唱音を示すオーディオ信号を生成する際に用いる設定情報のほか、合成歌唱音を生成するための音声素片等を記憶する。設定情報は、例えば音色や、取得した歌詞データなどを含む。なお、これらの情報やデータの一部または全部は記憶部１４に記憶されてもよい。
　操作部１２は、各種情報を入力するための複数の操作子を含み、ユーザからの指示を受け付ける。表示部１３は各種情報を表示する。発音部１８は、音源回路、効果回路およびサウンドシステムを含む。
　演奏操作部１５は、演奏信号（演奏情報）を入力する要素として、複数の操作キー１６およびブレスセンサ１７を含む。入力された演奏信号は、音高を示す音高情報と、連続量として検出される音量を示す音量情報とを含み、制御部１１に供給される。音制御装置１００の本体には複数の音孔（不図示）が設けられる。複数の操作キー１６をユーザ（演奏者）が演奏することによって、音孔の開閉状態が変化し、所望する音高が指定される。
　音制御装置１００の本体にはマウスピースが取り付けられており、ブレスセンサ１７はマウスピースの近傍に設けられている。ブレスセンサ１７は、マウスピースを介してユーザが吹き込む息の吹圧を検出する吹圧センサである。ブレスセンサ１７は、息の吹込みの有無を検出し、演奏時においては、吹圧の強さや速さ（勢い）を検出する。ブレスセンサ１７により検出された圧力の変化に応じて音量が指定される。ブレスセンサ１７により検出された時間的に変化する圧力の大きさが、連続量として検出される音量情報として扱われる。
　通信Ｉ／Ｆ１９は、無線または有線により通信ネットワークに接続する。音制御装置１００は例えば、通信Ｉ／Ｆ１９によって、通信ネットワークを介して外部装置２０と通信可能に接続される。通信ネットワークは例えばインターネットであり、外部装置２０はサーバ装置であってもよい。なお、通信ネットワークはＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、ＬＡＮ等を用いた短距離無線通信ネットワークであってもよい。なお、接続される外部装置の数や種類は問わない。通信Ｉ／Ｆ１９は、ＭＩＤＩ（Musical Instrument Digital Interface）信号を送受信するＭＩＤＩ Ｉ／Ｆを含んでもよい。
　外部装置２０は、カラオケを提供するために必要な楽曲データを、曲ＩＤに対応付けて記憶している。この楽曲データには、カラオケの歌唱曲に関連するデータ、例えば、リードボーカルデータ、コーラスデータ、伴奏データ、およびカラオケ用字幕データなどが含まれている。伴奏データは、歌唱曲の伴奏音を示すデータである。これらのリードボーカルデータ、コーラスデータ、および伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。カラオケ用字幕データは、表示部１３に歌詞を表示するためのデータである。
　また、外部装置２０は、設定データを、曲ＩＤに対応付けて記憶している。この設定データは、歌唱音の合成を実現するために歌唱曲に応じて音制御装置１００に対して設定されるデータである。設定データには、曲ＩＤに対応する歌唱曲の各パートに対応する歌詞データが含まれている。この歌詞データは、例えば、リードボーカルパートに対応する歌詞データである。楽曲データと設定データとは時間的に対応付けられている。
　この歌詞データは、カラオケ用字幕データと同じであってもよいし、異なっていてもよい。すなわち、歌詞データは、発声すべき歌詞（文字）を規定するデータである点においては同じであるが、音制御装置１００において利用しやすい形式に調整されている。
　例えば、カラオケ用字幕データは、「こ（ｋｏ）」「ん（ｎ）」「に（ｎｉ）」「ち（ｃｈｉ）」「は（ｈａ）」という文字列である。これに対し、歌詞データは、音制御装置１００において利用しやすいように「こ（ｋｏ）」「ん（ｎ）」「に（ｎｉ）」「ち（ｃｈｉ）」「わ（ｗａ）」という実際の発音に合わせた文字列であってもよい。また、この形式としては、例えば、１音で２文字分の歌唱をする場合を識別する情報、フレーズの区切りを識別する情報などを含む場合がある。
　音生成処理にあたって、制御部１１は、ユーザにより指定された楽曲データおよび設定データを、外部装置２０から通信Ｉ／Ｆ１９を介して取得し、記憶部１４に記憶させる。上述のように、楽曲データには伴奏データが含まれ、設定データには歌詞データが含まれる。しかも、伴奏データと歌詞データとは時間的に対応付けられている。
　図２は、記憶部１４に記憶される歌詞データを示す図である。以降、発声すべき歌詞（文字）の各々、つまり音声上の一単位（一まとまりの音のくぎり）を、以下「音節」と表現することもある。図２で説明するように、本実施の形態で用いる歌詞データにおいて、発音する複数の音節が時系列に配置されている。また、音節の各々には、発音の開始時刻および停止時刻からなる設定期間（設定区間）が対応付けられている。
　歌詞データは、発声すべき音節を規定するデータである。歌詞データは、発声すべき複数の音節が時系列に並べられたテキストデータを有する。歌詞データは、所定の時間軸により音節ごとに発声の開始時刻および停止時刻が規定されるタイミングデータを含む。開始時刻および停止時刻は、例えば、楽曲の最初を基準とした時刻として定義される。このタイミングデータは、歌唱曲の進行位置と、その進行位置において発声すべき歌詞とを対応付けている。従って、歌詞データは、発音する複数の音節が時系列に配置され基準時刻からの経過時間に対応する音節が一意に規定されているデータである。
　図２に示すように、歌詞データは、「こ（ｋｏ）」「ん（ｎ）」「に（ｎｉ）」「ち（ｃｈｉ）」「わ（ｗａ）」「ｄｒａ」「ｇｏｎ」「ｎｉｇｈｔ」「ｄｒａ」「ｇｏｎ」・・を示すテキストデータを含む。「こ」「ん」「に」「ち」「わ」「ｄｒａ」「ｇｏｎ」「ｎｉｇｈｔ」「ｄｒａ」「ｇｏｎ」を示す音節には、Ｍ（ｉ）が対応付けられ、「ｉ」（ｉ＝１～ｎ）により歌詞における音節の順序が定められている。例えば、Ｍ（５）は、歌詞のうち５番目の音節に対応する。
　歌詞データは、各音節Ｍ（ｉ）に発声の開始時刻ｔｓ（ｉ）および停止時刻ｔｅ（ｉ）が設定されたタイミングデータを含む。例えば、Ｍ（１）「こ」の場合、発声の開始時刻は時刻ｔｓ（１）であり、停止時刻は時刻ｔｅ（１）である。同様に、Ｍ（ｎ）「る」の場合、発声の開始時刻は時刻ｔｓ（ｎ）であり、停止時刻は時刻ｔｅ（ｎ）である。各音節Ｍ（ｉ）に対応する時刻ｔｓ（ｉ）～時刻ｔｅ（ｉ）の期間を、音節Ｍ（ｉ）の発声の設定期間という。この発声の設定期間は、例えば理想的に歌唱した場合における期間を示している。以下に説明するように、合成歌唱音に含まれる各音節の発声期間は、演奏信号による発声の開始指示および発声の停止指示に基づいて制御される。
　図３は、音生成処理を実現するための音制御装置１００の機能ブロック図である。音制御装置１００は、機能部として、取得部３１、判定部３２、生成部３３、特定部３４、歌唱音合成部３５、および指示部３６を含む。これらの各機能部の機能は、ＣＰＵ１１ａ、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、タイマおよび通信Ｉ／Ｆ１９等の協働により実現される。なお、生成部３３、特定部３４、歌唱音合成部３５および指示部３６を含むことは必須でない。
　取得部３１は、演奏信号を取得する。判定部３２は、演奏信号における音量と閾値との比較結果と、演奏信号における音高の変化とに基づいて、ノート開始およびノート終了を判定する。生成部３３は、ノート開始およびノート終了の判定に基づいてノートを生成する。特定部３４は、歌詞データから、ノート開始と判定したタイミングに対応する音節を特定する。音節の特定手法については図４～図６で説明する。
　歌唱音合成部３５は、設定データに基づいて、特定された音節を合成して歌唱音を生成する。指示部３６は、特定された音節の歌唱音を、ノート開始に対応する音高およびタイミングで発音開始させるよう指示し、且つ、ノート終了に対応するタイミングで発音終了させるよう指示する。指示部３６による指示に基づいて、音節を合成した歌唱音が、発音部１８（図１）により発音される。
　次に、音生成処理の態様を概説する。ユーザが指定した楽曲に対応する歌詞データおよび伴奏データが記憶部１４に記憶される。ユーザが、操作部１２で演奏開始を指示すると、伴奏データの再生が開始される。その際、歌詞データ（またはカラオケ用字幕データ）における歌詞が、伴奏データの進行に従って表示部１３に表示される。また、リードボーカルデータに応じた主旋律の楽譜も、伴奏データの進行に従って表示部１３に表示される。ユーザは、伴奏データを聞きながら演奏操作部１５で演奏する。演奏の進行に従って取得部３１により演奏信号が取得される。
　判定部３２は、演奏信号における音量が第１の閾値ＴＨ１（図１０参照）を超えた場合、ノート開始と判定し、ノート開始と判定した後に音量が第２の閾値ＴＨ２（図１０参照）を下回った場合、ノート終了と判定する。ここでいうノート開始は発声の開始指示に該当し、ノート終了は発声の終了指示に該当する。なお、第１の閾値ＴＨ１は第２の閾値ＴＨ２より高いか、または第２の閾値ＴＨ２と同じである。
　また、判定部３２は、音量が第１の閾値ＴＨ１を超えた状態で、音高が変化した場合、ノート終了と判定し且つノート開始と判定する。つまり、吹圧の一定以上の強さを保った状態で、操作キー１６の指操作によって音高が切り替わった場合、切り替え前の音高のノート終了と、切り替え後の音高のノート開始とが同時刻に判定される。
　そして、ノート開始と判定されたタイミングで、特定された音節が合成され歌唱音として発音され、ノート終了と判定されたタイミングで消音される。従って、ユーザは、伴奏音に合わせて演奏することで、楽曲に合った歌詞を発音させることができる。
　図４～図６は、音節の特定手法を説明する図である。図４～図６には、時間とノートとの関係が示されている。
　制御部１１（特定部３４）は、ノート開始と判定されたタイミングが属する設定期間に対応する音節を、上記ノート開始と判定されたタイミングに対応する音節として特定する。また、制御部１１（特定部３４）は、ノート開始と判定されたタイミングがいずれの設定期間に属さない場合は、上記タイミングに最も近い設定期間に対応する音節を、上記ノート開始と判定されたタイミングに対応する音節として特定する。
　まず、発声の開始指示（ノート開始）を取得したカウント値ｔｃが、発声の設定期間ｔｓ（１）～ｔｅ（１）内である場合について、図４を参照して具体例を説明する。カウント値ｔｃは、後述する音生成処理（図７）で伴奏位置を進行させるためのカウント値である。
　音生成処理における待機状態において、音高「Ｇ４」が対応付けられた発声の開始指示を含む演奏信号を受信したことを想定する。この場合、制御部１１は、音高「Ｇ４」を設定し、且つ、歌詞データを参照して、開始指示を取得したカウント値ｔｃが発声の設定期間に含まれるか否かを判定する。発声の開始指示を取得した時刻が設定期間ｔｓ（１）～ｔｅ（１）内であるため、制御部１１は、開始指示を取得した時刻が文字Ｍ（１）に対応する発声の設定期間内に含まれると判定し、文字Ｍ（１）に該当する文字「こ」を、発声する音節として特定・設定する。
　次に、制御部１１は、設定した音高「Ｇ４」および文字「こ」の発声に基づくオーディオ信号を生成する指示をＤＳＰに出力する。図４において、設定した音高「Ｇ４」および文字「こ」の発声に基づいてオーディオ信号を生成した指示をＤＳＰに出力した時刻を、時刻ｔｏｎ（１）と表記する。制御部１１のＤＳＰは、当該指示に基づいて、オーディオ信号の生成を開始する。
　続いて、音生成処理における待機状態において、音高「Ｇ４」が対応付けられた発声の停止指示（ノート終了）を含む演奏信号を受信したことを想定する。この場合、制御部１１は、音高「Ｇ４」を設定し、且つ、演奏信号が発声の停止指示であると判定する。制御部１１のＤＳＰは、設定した音高「Ｇ４」による発声（文字「こ」）に基づくオーディオ信号の生成を停止する指示を出力する。図４において、設定した音高「Ｇ４」および文字「こ」の発声に基づくオーディオ信号の生成を停止する指示を出力した時刻を、時刻ｔｏｆｆ（１）と表記する。制御部１１のＤＳＰは、当該指示に基づいて、オーディオ信号の生成を停止する。図４において、発声期間ｔｏｎ（１）～ｔｏｆｆ（１）が、音高「Ｇ４」および文字「こ」の発声に基づくオーディオ信号が生成されている期間である。
　次に、発声の開始指示を取得したカウント値ｔｃが、発声の設定期間ｔｓ（１）～ｔｅ（１）と、設定期間ｔｓ（２）～ｔｅ（２）との間の期間であって、設定期間ｔｓ（１）～ｔｅ（１）に近い場合について、図５を参照して説明する。音生成処理における待機状態において、音高「Ｇ４」が対応付けられた発声の開始指示を含む演奏信号を受信したことを想定する。この場合、制御部１１は、音高「Ｇ４」を設定し、且つ、開始指示を取得したときのカウント値ｔｃが発声の設定期間に含まれるか否かを判定する。開始指示を取得した時刻が各文字Ｍ（ｉ）に対応する発声の設定期間のいずれにも含まれないため、制御部１１は、カウント値ｔｃの直前および直後に設定された設定期間から中心時刻ｔｍ（ｉ）を計算する。
　開始指示を取得した時のカウント値ｔｃが設定期間ｔｓ（１）～ｔｅ（１）と設定期間ｔｓ（２）～ｔｅ（２）との間である場合、制御部１１は、停止時刻ｔｅ（１）と、開始時刻ｔｓ（２）との間の中心時刻ｔｍ（１）を計算する。ここでは、ｔｍ（１）＝（ｔｅ（１）＋ｔｓ（２））／２が得られる。次に、制御部１１は、開始指示を取得した時のカウント値ｔｃが中心時刻ｔｍ（１）よりも前であるので、中心時刻ｔｍ（１）よりも前の設定期間の文字「こ」（文字Ｍ（１））を、発音する音節として特定・設定する。発声期間ｔｏｎ（１）～ｔｏｆｆ（１）が、音高「Ｇ４」および文字「こ」の発声に基づくオーディオ信号が生成されている期間である。
　次に、発声の開始指示を取得したカウント値ｔｃが、発声の設定期間ｔｓ（１）～ｔｅ（１）と、設定期間ｔｓ（２）～ｔｅ（２）との間の期間であって、設定期間ｔｓ（２）～ｔｅ（２）に近い場合について、図６を参照して説明する。制御部１１は、開始指示を取得した時刻が中心時刻ｔｍ（１）よりも前ではない場合は、中心時刻ｔｍ（１）よりも後の設定期間の文字「ん」（文字Ｍ（２））を、発音する音節として特定・設定する。期間ｔｏｎ（１）～ｔｏｆｆ（１）が、音高「Ｇ４」および文字「ん」に基づくオーディオ信号が生成されている期間である。
　このように、ノート開始と判定されたタイミングが属する設定期間または上記タイミングに最も近い設定期間に対応する音節が、上記ノート開始と判定されたタイミングに対応する音節として特定される。
　次に、音生成処理について説明する。音生成処理では、演奏操作部１５への演奏操作に基づいて、各音節に対応するオーディオ信号を生成する指示または停止する指示が出力される。
　図７は、音生成処理を示すフローチャートである。この処理は、ＣＰＵ１１ａが、ＲＯＭ１１ｂに格納された制御プログラムをＲＡＭ１１ｃに展開して実行することにより実現される。この処理は、ユーザが楽曲の再生を指示すると開始される。
　制御部１１は、記憶部１４から歌詞データを取得する（ステップＳ１０１）。次に、制御部１１は、初期化処理を実行する（ステップＳ１０２）。この初期化では、カウント値ｔｃ＝０が設定され、且つ、各種レジスタ値やフラグが初期値に設定される。
　次に、制御部１１は、カウント値ｔｃ＝ｔｃ＋１に設定し、カウント値ｔｃをインクリメントする（ステップＳ１０３）。次に、制御部１１は、伴奏データのうち、カウント値ｔｃに対応する部分のデータを読み出す（ステップＳ１０４）。
　制御部１１は、伴奏データの読み出しの終了、ユーザによる楽曲演奏の停止指示の入力、または演奏信号の受信、のいずれかを検出するまでの間（ステップＳ１０５；Ｎｏ，ステップＳ１０６；Ｎｏ，ステップＳ１０７；Ｎｏ）、ステップＳ１０３、Ｓ１０４の処理を繰り返す。この繰り返し状態が待機状態である。上述したように、カウント値ｔｃの初期値は０であり、楽曲の再生開始タイミングに対応する。制御部１１は、カウント値ｔｃをインクリメントすることで、楽曲の再生開始タイミングを基準とした時刻を計測する。
　待機状態において伴奏データを最後まで読み出したことにより伴奏データの読み出しを終了した場合（ステップＳ１０５；Ｙｅｓ）、制御部１１は音生成処理を終了する。待機状態においてユーザによる楽曲演奏の停止指示が入力された場合（ステップＳ１０６；Ｙｅｓ）、制御部１１は音生成処理を終了する。
　待機状態において演奏操作部１５から演奏信号を受信した場合（ステップＳ１０７；Ｙｅｓ）、制御部１１は、ＤＳＰによりオーディオ信号を生成するための指示処理を実行する（ステップＳ１０８）。オーディオ信号を生成するための指示処理の詳細については図１１で後述する。オーディオ信号を生成するための指示処理が終了すると、制御部１１は、ステップＳ１０３に戻り、ステップＳ１０３、Ｓ１０４を繰り返す待機状態となる。
　図８、図９で、演奏により生成されたノートと、各ノートへ割り当てられた音節の例を説明する。図８は、ユーザが指定した楽曲の主旋律の楽譜の一部と、演奏により生成され音節が割り当てられたノートとの関係を示す図である。ここでは、音節が割り当てられたノートを音節ノートＶＮ１～ＶＮ７と呼称する。音符ＳＮ１～ＳＮ９には、歌詞データにおける音節が対応している。図８では、音符ＳＮ１～ＳＮ９に合わせてユーザが忠実に演奏した場合の、理想の音節ノートＶＮ１～ＶＮ７を示している。適切なタイミングで忠実に演奏することは、対応すべき設定期間に対応するタイミングでノート開始となるように演奏することである。
　例えば、音符ＳＮ１、ＳＮ２、ＳＮ３には「ｄｒａ」「ｇｏｎ」「ｎｉｇｈｔ」という音節が対応している。ユーザが、音符ＳＮ１、ＳＮ２、ＳＮ３を、伴奏に合わせて適切なタイミングで演奏したとすると、音節ノートＶＮ１、ＶＮ２、ＶＮ３が発音され、ノートとして生成される。音節ノートＶＮ１、ＶＮ２、ＶＮ３には、それぞれ、音節「ｄｒａ」「ｇｏｎ」「ｎｉｇｈｔ」が割り当てられる。ここで、音符ＳＮ３と音符ＳＮ４とはタイで結ばれているので、これらは１つの音節ノートＶＮ３「ｎｉｇｈｔ」に対応している。
　同様に、ユーザが、音符ＳＮ５～ＳＮ９を、伴奏に合わせて適切なタイミングで演奏したとすると、音節ノートＶＮ４～ＶＮ７が発音され、ノートとして生成される。ここで、音符ＳＮ７と音符ＳＮ８とはタイで結ばれているので、これらは１つの音節ノートＶＮ６「ｎｉｇｈｔ」に対応している。
　なお、音節ノートはリアルタイムで発音される。しかしそれに限らず、生成された音節ノートは音節の情報を含んだ歌唱合成用データとして保存することができる。あるいは、生成された音節ノートは音節データを含まないＭＩＤＩデータに変換して保存することもできる。
　図９は、音節ノートの生成例と対策例を示す図である。事例Ａは、好ましくない例を示し、事例Ｂは事例Ａに対して対策を施した例を示している。事例Ｂは、後述する指示処理（図１１）により実現される。
　事例Ａは、ユーザが音符ＳＮ２、ＳＮ３を連続して演奏したつもりでも、１つの長い音節ノートＶＮ１０１が発音・生成された例を示している。本来であれば２つの音節ノートＶＮ２、ＶＮ３が発音・生成されるべきである。しかし、音符ＳＮ２、ＳＮ３間で検出された音量が十分に低下していないために、音節ノートが区切られなかったのである。
　このような事象は、１６分音符である音符ＳＮ２の次に同じ音高の音符ＳＮ３が続く場合のように、連続する同音音符における前側の音符の音価が短い場合に生じやすい。このような事象が発生する例を図１０で説明する。
　図１０は、取得された音量の変化態様の一例を示す図である。ＣＣ１１は、音量の変化（エクスプレッション）を示すコントロールチェンジである。
　音量が第１の閾値ＴＨ１を超えてノート開始と判定された後、音量が第２の閾値ＴＨ２を下回らないまま図１０に示すような所定の態様で変化すると、ノート終了と判定されない。例えば、ユーザが音符ＳＮ２を演奏して音節ノートＶＮ１０１の発音が開始された後、吹圧を一旦下げてから音符ＳＮ３を演奏したつもりでも、音量が第２の閾値ＴＨ２を下回らなかったとする。すると、事例Ａに示すように、音節ノートＶＮ１０１に「ｇｏｎ」が割り当てられ、次の音節である「ｎｉｇｈｔ」が割り当てられない。
　本実施の形態では、このような場合、事例Ｂに示すように、制御部１１は、音節ノートＶＮ１０１に仮想ノート区切りを挿入（配置）することで、音節ノートＶＮ１０２と音節ノートＶＮ１０３の２つの音節ノートに分離する。なお、図では表現されていないが、音節ノートＶＮ１０２の終了タイミングと音節ノートＶＮ１０３開始タイミングとは同時である。すなわち、制御部１１は、音量が上記所定の態様で変化したと判定した場合は、音量と閾値（閾値ＴＨ１、ＴＨ２）との比較結果にかかわらず、音量が所定の態様で変化したタイミングで、ノート終了と判定し且つノート開始と判定する。つまり、制御部１１は、ノート終了とノート開始とを同時に判定することで、実質的に、仮想ノート区切りを挿入する。
　ユーザによる意図的な連続と意図的な区切りとを区別するために、図１０に示す所定の態様は次のように定義され、その情報がＲＯＭ１１ｂに格納されている。所定の態様に該当すれば、ユーザが意図的にノートを区切ろうとしていると判断できる。
　上記所定の態様は、音量が、第１の所定時間ｄｕｒ２内で第１の所定速度より速い速度で降下した後、降下開始から第２の所定時間ｄｕｒ２３が経過する前に、第２の所定速度より速い速度で且つ第３の所定時間ｄｕｒ３を超えて継続して上昇を続けることである。
　ここで、第１の所定時間ｄｕｒ２は、降下開始時点Ｔ１から降下終了時点Ｔ２までの時間であり、例えば２０～１００ｍｓの範囲の値である。第２の所定時間ｄｕｒ２３は、降下開始時点Ｔ１から上昇終了時点Ｔ４までの時間であり、例えば２００ｍｓである。第３の所定時間ｄｕｒ３は、上昇開始時点Ｔ３から上昇終了時点Ｔ４までの時間であり、例えば１０ｍｓである。第１の所定速度および第２の所定速度は、例えば、０．５ＣＣ／ｍｓである。第１の所定速度と第２の所定速度とは同じ値でなくてもよい。なお、これらの値は例示したものに限定されない。また、これらの値を、再生テンポに応じて変化させてもよい。なお、上記所定の態様を満たす場合の最低音量ＣＣｘは、通常、第１の閾値ＴＨ１より高い。
　図１１は、図７のステップＳ１０８で実行される指示処理を示すフローチャートである。
　まず、ステップＳ２０１では、制御部１１は、取得された演奏信号が示す音量と第２の閾値ＴＨ２とを比較し、ノート終了（発声の終了指示）か否かを判別する。ここでは、音量が第２の閾値ＴＨ２を下回った場合にノート終了と判別される。ノート終了でないと判別された場合は、ステップＳ２０２で、制御部１１は、ノート開始（発声の開始指示）か否かを判別する。ここでは、音量が第１の閾値ＴＨ１を上回った場合にノート開始と判別される。
　ステップＳ２０１で、ノート終了であると判別された場合は、ステップＳ２１０で、制御部１１は、発音中の音節を、今回のノート終了に対応するタイミングで発音終了させるよう指示し、図１１に示す処理を終了する。すなわち制御部１１は、後述するステップＳ２０６またはステップＳ２０９で開始されたオーディオ信号の生成を停止する指示をＤＳＰに出力する。従って、発音されている音は消音される。
　ステップＳ２０２で、ノート開始でないと判別された場合は、制御部１１は、ステップＳ２１１で、その他の処理を実行してから、ステップＳ２０７に進む。ここでのその他の処理では、制御部１１は、例えば、発音中において取得された音量が第２の閾値ＴＨ２を下回らないまま変化した場合に、その変化に対応して発音音量を変更する指示を出力する。
　ステップＳ２０２で、ノート開始であると判別された場合は、制御部１１は、ステップＳ２０３で、取得された演奏信号が示す音高を設定する。ステップＳ２０４では、制御部１１は、その他の処理を実行する。ここでのその他の処理では、制御部１１は、例えば、同じ設定期間内で音高切り替えがあった場合に、発音中の音節の発音を終了することなく変化後の音高で発音を継続する処理等を実行する。例えば、音節「ｎｉｇｈｔ」の発音が、切り替え後の音高で継続される。切り替え後の音高に対応する音節ノートには、長音である「－」が割り当てられる。
　ステップＳ２０５では、制御部１１は、図４～図６で説明した手法により、今回のノート開始と判定したタイミングに対応する音節を特定する。ステップＳ２０６では、制御部１１は、特定された音節を、今回のノート開始に対応する音高およびタイミングで発音開始させるよう指示する。すなわち、制御部１１は、設定した音高および特定した音節の発声に基づくオーディオ信号の生成を開始する指示をＤＳＰに出力する。
　ステップＳ２０７では、制御部１１は、演奏信号が示す音量が上記所定の態様（図１０）で変化したか否かを判別する。そして、音量が上記所定の態様で変化したと判別した場合、さらに制御部１１は、今回のノート開始と判定されたタイミングが属する設定期間と、音量が上記所定の態様で変化したと判定したタイミングが属する設定期間とが異なるか否かを判別する。そして、制御部１１は、音量が上記所定の態様で変化し、且つ、上記２つの設定期間が互いに異なるという条件を満たした場合は、ステップＳ２０８に進み、これらの条件を満たさない場合は、図１１に示す処理を終了する。
　ステップＳ２０８では、制御部１１は、今回特定された音節を、今回のノート終了に対応するタイミングで発音終了させるよう指示する。ステップＳ２０９では、制御部１１は、次の音節を、直前に発音（直前のＳ２０６で発音開始）していた音高と同じ音高で発音開始するよう指示する。従って、ステップＳ２０８、Ｓ２０９により、音量と閾値との比較結果にかかわらず、音量が所定の態様で変化したタイミングで、ノート終了と判定し且つノート開始と判定され、仮想ノート区切りが挿入される（事例Ｂ）。
　従って、ノート開始と判定されたタイミングが属する設定期間と、音量が所定の態様で変化したと判定したタイミングが属する設定期間とが異なることを条件として、音量が所定の態様で変化したタイミングで、ノート終了と判定し且つノート開始と判定される。言い換えると、同じ設定期間内で音量が所定の態様で変化しても、仮想ノート区切りは挿入されない。従って、区切る必要のない箇所で区切られることを抑止することができる。ステップＳ２０９の後、制御部１１は、図１１に示す処理を終了する。
　本実施の形態によれば、制御部１１は、取得された演奏信号における音量と閾値との比較結果と、演奏信号における音高の変化とに基づいて、ノート開始およびノート終了を判定する（Ｓ２０１、Ｓ２０２）。制御部１１は、音量が所定の態様（図１０）で変化したと判定した場合は、音量と閾値との比較結果にかかわらず、音量が所定の態様で変化したタイミングで、ノート終了と判定し且つノート開始と判定する。従って、ユーザの意図に沿ったノートの開始および終了を判定することができる。
　特に、所定の態様を図１０に示すように設定したことで、ユーザによる意図的な連続と意図的な区切りとを区別し、ノートの開始および終了を適切に判定することができる。
　また、ノート開始およびノート終了の判定に基づいてノートが生成されるので、ユーザの意図に沿ったノートを生成することができる。
　また、制御部１１は、音節を合成した歌唱音を発音するに際し、特定された音節を、ノート開始に対応する音高およびタイミングで発音開始させ、ノート終了に対応するタイミングで発音終了させる。従って、リアルタイム歌唱発音を実現できる。しかも、ノート開始と判定されたタイミングが属する設定期間または上記タイミングに最も近い設定期間に対応する音節が、上記ノート開始と判定されたタイミングに対応する音節として特定される。従って、ユーザの意図に沿った音節の発音を可能にすることができる。
　（第２の実施の形態）
　本発明の第２の実施の形態では、歌詞データ（図２）において、文字Ｍ（ｉ）＝Ｍ（１）～Ｍ（ｎ）を順番に発声するものとする。従って、音生成処理（図７）において、歌詞データにおける発声の設定期間が規定されたタイミングデータは無視してもよい。あるいは歌詞データにおいて上記タイミングデータが廃止されてもよい。
　上記第１の実施の形態では、歌詞データにおいて、発音する複数の音節が時系列に配置され、音節の各々には、発音の開始時刻および停止時刻からなる設定期間が対応付けられていた。そして、図４～図６に示す音節の特定手法が採用された。従って、演奏のタイミングが本来の設定期間からずれても、演奏したタイミングが属する（またはそれに近い）設定期間に対応する音節が特定・発音された。これに対し、本実施の形態では、演奏進行に応じて音節が順番に特定される。
　本実施の形態では、図７のステップＳ１０８で実行される指示処理には、図１１に代えて図１２に示す処理が適用される。図１２は、図７のステップＳ１０８で実行される指示処理を示すフローチャートである。図１２において図１１と同じ処理ステップには同じステップ番号が付されている。ステップＳ２０４は廃止されている。
　本実施の形態では、図７のステップＳ１０２での初期化処理で、制御部１１は、第１の実施の形態での処理に加えて、Ｍ（ｉ）における文字カウント値ｉ＝１（文字Ｍ（ｉ）＝Ｍ（１））を設定し、ｔｓ＝０を設定する。「ｉ」は、上述したように、歌詞における音節の発声順序を示している。ｔｓは、直前の発声の開始指示を取得した時刻である。従って、制御部１１は、「ｉ」をインクリメントすることで、歌詞を構成する音節のうち、Ｍ（ｉ）が示す音節を１つずつ進めていく。図７におけるその他の処理ステップは第１の実施の形態で説明した通りである。
　図１２のステップＳ２０１～Ｓ２０３、Ｓ２１０、Ｓ２１１の処理は第１の実施の形態で説明した通りである。ステップＳ２０５では、制御部１１は、文字Ｍ（ｉ）が示す音節を今回の音節として特定する。従って、音節は、歌詞データにおいて配置された順番で特定される。ステップＳ２０６では、制御部１１は、特定された音節を、今回のノート開始に対応する音高およびタイミングで発音開始させるよう指示する。
　ステップＳ２０７では、制御部１１は、演奏信号が示す音量が上記所定の態様（図１０）で変化したか否かを判別する。ここで、設定期間を考慮しない点が第１の実施の形態と異なる。制御部１１は、音量が上記所定の態様で変化した場合は、ステップＳ２０８に進み、上記所定の態様で変化しない場合は、図１２に示す処理を終了する。
　ステップＳ２０８では、制御部１１は、今回特定された第１の音節（直前のＳ２０６で発音開始された音節）の発音終了を指示する。ステップＳ２０９では、制御部１１は、第１の音節の次の第２の音節を、第１の音節を発音（直前のＳ２０６で発音開始）した音高と同じ音高で発音開始するよう指示する。第２の音節は、歌詞データにおける順番でいうある音節（第１の音節）の次の音節である。この処理により、音高の変化態様からユーザの意図を判断して仮想ノート区切りが挿入される。従って、ユーザの意図に沿った音節の発音を可能にすることができる。ステップＳ２０９の後、制御部１１は、図１２に示す処理を終了する。
　本実施の形態によれば、音量が所定の態様で変化したタイミングで、ノート終了と判定し且つノート開始と判定される。従って、ユーザの意図に沿ったノートの開始および終了を判定することに関し、第１の実施の形態と同様の効果を奏することができる。
　また、演奏進行に応じて音節が順番に特定され、発音されるので、ユーザの意図に沿った音節の発音を可能にすることができる。
　（第３の実施の形態）
　本発明の第３の実施の形態では、音節の特定・発音をすることなく、演奏に進行に応じて演奏音（例えば、管楽器の音）を発音する。従って、歌詞データ（図２）は必須でない。また、伴奏データを含む楽曲データも必須でない。
　本実施の形態では、図７のステップＳ１０８で実行される指示処理には、図１１に代えて図１３に示す処理が適用される。図１３は、図７のステップＳ１０８で実行される指示処理を示すフローチャートである。図１３において図１１と同じ処理ステップには同じステップ番号が付されている。ステップＳ２０４、Ｓ２０５は廃止されている。
　図１２のステップＳ２０１～Ｓ２０３、Ｓ２１１の処理は第１の実施の形態で説明した通りである。ステップＳ２０６では、制御部１１は、今回のノート開始に対応する音高およびタイミングで発音開始させるよう指示する。なお、発音音色は予め定めたものでよい。また、ステップＳ２１１のその他の処理において、ユーザ操作に従って発音音色を切り替えてもよい。ステップＳ２１０では、制御部１１は、発音中の音を、今回のノート終了に対応するタイミングで発音終了させるよう指示し、図１３に示す処理を終了する。
　ステップＳ２０７では、制御部１１は、演奏信号が示す音量が上記所定の態様（図１０）で変化したか否かを判別する。ここで、設定期間を考慮しない点が第１の実施の形態と異なる。制御部１１は、音量が上記所定の態様で変化した場合は、ステップＳ２０８に進み、上記所定の態様で変化しない場合は、図１３に示す処理を終了する。
　ステップＳ２０８では、制御部１１は、発音中の音の発音終了を指示する。ステップＳ２０９では、制御部１１は、直前のステップＳ２０６で発音開始した音高と同じ音高で、再度、発音開始するよう指示する。この処理により、音高の変化態様からユーザの意図を判断して仮想ノート区切りが挿入される。ステップＳ２０９の後、制御部１１は、図１３に示す処理を終了する。
　本実施の形態によれば、音量が所定の態様で変化したタイミングで、ノート終了と判定し且つノート開始と判定される。従って、ユーザの意図に沿ったノートの開始および終了を判定することに関し、第１の実施の形態と同様の効果を奏することができる。また、ユーザの意図を反映させた、音節発音でないリアルタイム発音を実現できる。
　なお、上記各実施の形態において、音制御装置１００は、連続量として音量を取得できるものであればよく、ブレスセンサ付きの他の管楽器でもよい。あるいは、音制御装置１００は、管楽器型に限らず、鍵盤楽器等の他の形態であってもよい。例えば、本発明を鍵盤楽器に適用する場合は、各鍵にアフタセンサ等の機能を設け、鍵操作に応じて音量が連続的に変化するように構成してもよい。あるいは、ボリュームペダルを接続した電子楽器を用い、ボリュームペダルの操作により音量情報が入力されるようにしてもよい。
　なお、演奏信号（演奏情報）は、外部から通信を介して取得されてもよい。従って、演奏操作部１５を設けることは必須でなく、音制御装置１００は、楽器としての機能および形態を有することは必須でない。
　なお、発音部１８を設けることは必須でない。合成した歌唱音や、発音すべき音の情報を、通信を介して外部へ送信し、発音部１８と同様の機能を備える外部装置で発音させてもよい。また、生成部３３、特定部３４、歌唱音合成部３５および指示部３６の少なくとも1つの機能を、通信Ｉ／Ｆ１９を介して接続された外部装置に持たせてもよい。
　以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
　なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、本装置に読み出すことによって、本発明と同様の効果を奏するようにしてもよく、その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ＲＯＭのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。非一過性のコンピュータ読み取り可能な記録媒体としては、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。
１１　制御部
３１　取得部
３２　判定部
３３　生成部
３４　特定部
３５　歌唱音合成部
３６　指示部
１００　音制御装置

Claims (16)

  1. 　音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得する取得部と、
    　前記演奏情報における音量と閾値との比較結果と、前記演奏情報における音高の変化とに基づいて、ノート開始およびノート終了を判定する判定部と、を有し、
    　前記判定部は、前記音量が所定の態様で変化したと判定した場合は、前記音量と前記閾値との比較結果にかかわらず、前記音量が前記所定の態様で変化したタイミングで、前記ノート終了と判定し且つ前記ノート開始と判定する、音制御装置。
  2. 　前記判定部による前記ノート開始および前記ノート終了の判定に基づいてノートを生成する生成部をさらに有する、請求項１に記載の音制御装置。
  3. 　前記所定の態様は、前記音量が、第１の所定時間内で第１の所定速度より速い速度で降下した後、降下開始から第２の所定時間が経過する前に、第２の所定速度より速い速度で且つ第３の所定時間を超えて継続して上昇を続けることである、請求項１または２に記載の音制御装置。
  4. 　前記判定部は、前記音量が第１の閾値を超えた場合、前記ノート開始と判定する、請求項１乃至３のいずれか１項に記載の音制御装置。
  5. 　前記判定部は、前記ノート開始と判定した後に前記音量が第２の閾値を下回った場合、前記ノート終了と判定する、請求項４に記載の音制御装置。
  6. 　前記判定部は、前記音量が前記第１の閾値を超えた状態で、前記音高が変化した場合、前記ノート終了と判定し且つ前記ノート開始と判定する、請求項４または５に記載の音制御装置。
  7. 　発音する複数の音節が時系列に配置されている歌詞データから、前記判定部が前記ノート開始と判定したタイミングに対応する音節を特定する特定部と、
    　前記特定部により特定された音節を、前記ノート開始に対応する音高およびタイミングで発音開始させるよう指示し、且つ、前記ノート終了に対応するタイミングで発音終了させるよう指示する指示部と、をさらに有する、請求項１乃至６のいずれか１項に記載の音制御装置。
  8. 　前記指示部は、前記ノート開始に対応する第１の音節の発音開始を指示した後、前記音量が前記所定の態様で変化したことで前記ノート終了と判定され且つ前記ノート開始と判定された場合は、前記第１の音節の発音終了を指示し、且つ、前記第１の音節の次の第２の音節を、前記第１の音節を発音した音高と同じ音高で発音開始するよう指示する、請求項７に記載の音制御装置。
  9. 　前記歌詞データにおいて、前記音節の各々には、発音の開始時刻および停止時刻からなる設定区間が対応付けられており、
    　前記特定部は、前記ノート開始と判定されたタイミングが属する設定区間または前記タイミングに最も近い設定区間に対応する音節を、前記ノート開始と判定されたタイミングに対応する音節として特定する、請求項７に記載の音制御装置。
  10. 　前記判定部は、前記ノート開始と判定されたタイミングが属する設定区間と、前記音量が前記所定の態様で変化したと判定したタイミングが属する設定区間とが異なることを条件として、前記音量が前記所定の態様で変化したタイミングで、前記ノート終了と判定し且つ前記ノート開始と判定する、請求項９に記載の音制御装置。
  11. 　前記指示部による指示に基づいて、音節を合成した歌唱音を発音する発音部をさらに有する、請求項７乃至１０のいずれか１項に記載の音制御装置。
  12. 　前記ノート開始に対応する音高およびタイミングで発音開始させるよう指示し、且つ、前記ノート終了に対応するタイミングで発音終了させるよう指示する指示部をさらに有する、請求項１乃至６のいずれか１項に記載の音制御装置。
  13. 　請求項１乃至１２のいずれか１項に記載の音制御装置と、
    　前記演奏情報をユーザが入力するための演奏操作部と、を有する、電子楽器。
  14. 　前記演奏操作部は、圧力変化を検出するブレスセンサを含み、
    　前記ブレスセンサにより検出された圧力変化に基づいて前記音量情報が取得される、請求項１３に記載の電子楽器。
  15. 　音制御装置の制御方法をコンピュータに実行させるプログラムであって、
    　前記音制御装置の制御方法は、
    　音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得し、
    　前記演奏情報における音量と閾値との比較結果と、前記演奏情報における音高の変化とに基づいて、ノート開始およびノート終了を判定し、
    　前記音量が所定の態様で変化したと判定した場合は、前記音量と前記閾値との比較結果にかかわらず、前記音量が前記所定の態様で変化したタイミングで、前記ノート終了と判定し且つ前記ノート開始と判定する、プログラム。
  16. 　コンピュータにより実現される音制御装置の制御方法であって、
    　音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得し、
    　前記演奏情報における音量と閾値との比較結果と、前記演奏情報における音高の変化とに基づいて、ノート開始およびノート終了を判定し、
    　前記音量が所定の態様で変化したと判定した場合は、前記音量と前記閾値との比較結果にかかわらず、前記音量が前記所定の態様で変化したタイミングで、前記ノート終了と判定し且つ前記ノート開始と判定する、音制御装置の制御方法。
PCT/JP2021/037035 2021-10-06 2021-10-06 音制御装置およびその制御方法、電子楽器、プログラム WO2023058172A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037035 WO2023058172A1 (ja) 2021-10-06 2021-10-06 音制御装置およびその制御方法、電子楽器、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037035 WO2023058172A1 (ja) 2021-10-06 2021-10-06 音制御装置およびその制御方法、電子楽器、プログラム

Publications (1)

Publication Number Publication Date
WO2023058172A1 true WO2023058172A1 (ja) 2023-04-13

Family

ID=85803315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037035 WO2023058172A1 (ja) 2021-10-06 2021-10-06 音制御装置およびその制御方法、電子楽器、プログラム

Country Status (1)

Country Link
WO (1) WO2023058172A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009086598A (ja) * 2007-10-03 2009-04-23 Yamaha Corp 電子管楽器
JP2013156544A (ja) * 2012-01-31 2013-08-15 Brother Ind Ltd 発声区間特定装置、音声パラメータ生成装置、及びプログラム
JP2017173606A (ja) * 2016-03-24 2017-09-28 カシオ計算機株式会社 電子楽器、楽音発生装置、楽音発生方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009086598A (ja) * 2007-10-03 2009-04-23 Yamaha Corp 電子管楽器
JP2013156544A (ja) * 2012-01-31 2013-08-15 Brother Ind Ltd 発声区間特定装置、音声パラメータ生成装置、及びプログラム
JP2017173606A (ja) * 2016-03-24 2017-09-28 カシオ計算機株式会社 電子楽器、楽音発生装置、楽音発生方法及びプログラム

Similar Documents

Publication Publication Date Title
US20210193114A1 (en) Electronic musical instruments, method and storage media
JP6465136B2 (ja) 電子楽器、方法、及びプログラム
JP2838977B2 (ja) カラオケ装置
JP7259817B2 (ja) 電子楽器、方法及びプログラム
JP7355165B2 (ja) 楽曲再生システム、楽曲再生システムの制御方法およびプログラム
JP2023118866A (ja) 電子楽器、方法及びプログラム
WO2020235506A1 (ja) 電子楽器、電子楽器の制御方法、記憶媒体
WO2023058173A1 (ja) 音制御装置およびその制御方法、電子楽器、プログラム
JP4038836B2 (ja) カラオケ装置
WO2023058172A1 (ja) 音制御装置およびその制御方法、電子楽器、プログラム
JP4068069B2 (ja) バックコーラス音量を自動制御するカラオケ装置
JP6399715B1 (ja) 歌唱支援装置および、カラオケ装置
WO2023233856A1 (ja) 音制御装置およびその制御方法、プログラム、電子楽器
JP4180548B2 (ja) 声域告知機能付きカラオケ装置
WO2022190502A1 (ja) 音生成装置およびその制御方法、プログラム、電子楽器
JP2001042879A (ja) カラオケ装置
JP6406182B2 (ja) カラオケ装置、及びカラオケシステム
CN118043881A (en) Sound control device, control method thereof, electronic musical instrument, and program
JP5106437B2 (ja) カラオケ装置及びその制御方法並びにその制御プログラム
JPWO2022190502A5 (ja)
JP7158331B2 (ja) カラオケ装置
JP2015184448A (ja) プログラム，情報処理装置，及び評価方法
JP2002221978A (ja) ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置
JP7276292B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP2018151548A (ja) 発音装置及びループ区間設定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959914

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023552614

Country of ref document: JP