WO2023058173A1 - 音制御装置およびその制御方法、電子楽器、プログラム - Google Patents

音制御装置およびその制御方法、電子楽器、プログラム Download PDF

Info

Publication number
WO2023058173A1
WO2023058173A1 PCT/JP2021/037038 JP2021037038W WO2023058173A1 WO 2023058173 A1 WO2023058173 A1 WO 2023058173A1 JP 2021037038 W JP2021037038 W JP 2021037038W WO 2023058173 A1 WO2023058173 A1 WO 2023058173A1
Authority
WO
WIPO (PCT)
Prior art keywords
note
syllable
pitch
control device
sound
Prior art date
Application number
PCT/JP2021/037038
Other languages
English (en)
French (fr)
Inventor
達也 入山
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to PCT/JP2021/037038 priority Critical patent/WO2023058173A1/ja
Publication of WO2023058173A1 publication Critical patent/WO2023058173A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser

Definitions

  • the present invention relates to a sound control device and its control method, an electronic musical instrument, and a program.
  • synthetic singing sounds synthesized from singing sounds (referred to as synthetic singing sounds to clarify the distinction from actual singing sounds) is being generated.
  • synthetic singing sounds For example, by combining speech segments corresponding to syllables (characters) in a syllable and synthesizing waveforms so as to have a specified pitch, a synthesized singing voice that pronounces the syllable is generated.
  • syllables characters
  • synthesized singing voice that pronounces the syllable is generated.
  • Patent Literatures 1 and 2 techniques have also been developed for generating synthesized singing sounds in real time according to performance operations.
  • An object of the present invention is to provide a sound control device capable of pronouncing syllables in accordance with the player's intention.
  • an acquisition unit acquires performance information including pitch information indicating a pitch and volume information indicating a volume detected as a continuous amount; a judging unit for judging the start and end of a note, and a plurality of syllables corresponding to the timing judged by the judging unit to be the start of the note are arranged in chronological order and correspond to the elapsed time from the reference time. and a syllable specified in response to determination by the determination unit that the syllable is uniquely defined as the start of the first note, corresponding to the start of the first note.
  • an instruction unit that instructs to start pronunciation at pitch and timing, and instructs to end pronunciation of the specified syllable at timing corresponding to the end of the first note, wherein the instruction unit , it is determined that the end of the first note and the start of the second note are determined due to a change in pitch in the performance information before the elapse of a first predetermined time after the determination of the start of the first note; , a sound control device is provided for instructing the same syllable as the identified syllable to start at a pitch corresponding to the second note start.
  • FIG. 1 is a block diagram of a sound control system including a sound controller; FIG. It is a figure which shows lyric data. It is a functional block diagram of a sound control device. It is a figure explaining the specific method of a syllable. It is a figure explaining the specific method of a syllable. It is a figure explaining the specific method of a syllable. 4 is a flowchart showing sound generation processing; FIG. 2 is a diagram showing the relationship between musical scores and notes to which syllables are assigned; FIG. 10 is a diagram showing an example of generating a syllable note and an example of countermeasures; 4 is a flowchart showing instruction processing;
  • FIG. 1 is a block diagram of a sound control system including a sound control device according to one embodiment of the present invention.
  • the sound control system includes a sound control device 100 and an external device 20 .
  • the sound control device 100 is an electronic musical instrument, for example, and may be an electronic wind instrument in the form of a saxophone or the like.
  • the sound control device 100 includes a control section 11 , an operation section 12 , a display section 13 , a storage section 14 , a performance operation section 15 , a sound generation section 18 and a communication I/F (interface) 19 . Each of these elements is connected to each other via a communication bus 10 .
  • the control unit 11 includes a CPU 11a, a ROM 11b, a RAM 11c and a timer (not shown).
  • the ROM 11b stores control programs executed by the CPU 11a.
  • the CPU 11a implements various functions of the sound control apparatus 100 by loading the control program stored in the ROM 11b into the RAM 11c and executing it.
  • Various functions here include, for example, a function of executing sound generation processing. The sound generation function will be described later.
  • the control unit 11 includes a DSP (Digital Signal Processor) for generating audio signals with a sound generation function.
  • the storage unit 14 is a nonvolatile memory.
  • the storage unit 14 stores setting information used when generating an audio signal representing a synthesized singing voice, as well as voice segments and the like for generating the synthesized singing voice.
  • the setting information includes, for example, tone color and acquired lyric data. Part or all of these information and data may be stored in the storage unit 14 .
  • the operation unit 12 includes a plurality of operators for inputting various types of information, and accepts instructions from the user.
  • the display unit 13 displays various information.
  • the sound generator 18 includes a tone generator circuit, an effect circuit and a sound system.
  • the performance operation section 15 includes a plurality of operation keys 16 and a breath sensor 17 as elements for inputting performance signals (performance information).
  • the input performance signal includes pitch information indicating the pitch and volume information indicating the volume detected as a continuous amount, and is supplied to the control section 11 .
  • a main body of the sound control device 100 is provided with a plurality of sound holes (not shown). When a user (performer) plays a plurality of operation keys 16, the opening/closing state of the tone holes is changed, and a desired pitch is specified.
  • a mouthpiece is attached to the main body of the sound control device 100, and the breath sensor 17 is provided near the mouthpiece.
  • the breath sensor 17 is a blow pressure sensor that detects the blow pressure of the user's breath blown through the mouthpiece.
  • the breath sensor 17 detects the presence or absence of blowing, and detects the strength and speed (momentum) of blowing pressure during a performance.
  • the volume is designated according to the change in pressure detected by the breath sensor 17 .
  • the time-varying magnitude of pressure detected by the breath sensor 17 is treated as volume information detected as a continuous quantity.
  • the communication I/F 19 connects to a communication network wirelessly or by wire.
  • the sound control device 100 is communicably connected to the external device 20 via a communication network, for example, by the communication I/F 19 .
  • the communication network may be the Internet, for example, and the external device 20 may be a server device.
  • the communication network may be a short-range wireless communication network using Bluetooth (registered trademark), infrared communication, LAN, or the like. It should be noted that the number and types of external devices to be connected do not matter.
  • the communication I/F 19 may include a MIDI I/F that transmits and receives MIDI (Musical Instrument Digital Interface) signals.
  • the external device 20 stores music data necessary for providing karaoke in association with music IDs.
  • the music data includes data related to karaoke songs, such as lead vocal data, chorus data, accompaniment data, karaoke caption data, and the like.
  • the accompaniment data is data indicating the accompaniment sound of the song. These lead vocal data, chorus data, and accompaniment data may be data expressed in MIDI format.
  • the karaoke subtitle data is data for displaying lyrics on the display unit 13 .
  • the external device 20 stores the setting data in association with the song ID.
  • This setting data is data set for the sound control device 100 according to the song to be sung in order to synthesize the singing sound.
  • the setting data includes lyric data corresponding to each part of the singing song corresponding to the song ID.
  • This lyric data is, for example, lyric data corresponding to the lead vocal part.
  • the music data and the setting data are temporally associated with each other.
  • This lyric data may be the same as or different from the karaoke subtitle data. That is, the lyric data is the same in that it defines the lyric (characters) to be uttered, but is adjusted to a format that is easy to use in the sound control device 100 .
  • karaoke subtitle data is a string of characters “ko”, “n”, “ni”, “chi”, and “ha”.
  • the lyric data is composed of actual words such as “ko”, “n”, “ni”, “chi”, and “wa” so that the sound control device 100 can easily use the data. It may be a character string that matches the pronunciation of .
  • this format may include, for example, information for identifying the case where two characters are sung with one sound, information for identifying breaks in phrases, and the like.
  • the control unit 11 acquires music data and setting data specified by the user from the external device 20 via the communication I/F 19 and stores them in the storage unit 14 .
  • the music data includes accompaniment data
  • the setting data includes lyric data.
  • the accompaniment data and the lyric data are temporally associated with each other.
  • FIG. 2 is a diagram showing lyrics data stored in the storage unit 14.
  • each of the lyrics (characters) to be uttered that is, one unit of speech (a group of sound breaks) may be referred to as a "syllable".
  • a plurality of syllables to be pronounced are arranged in chronological order.
  • each syllable is associated with a set period (set section) consisting of a start time and a stop time of pronunciation.
  • the lyric data is data that defines the syllables to be pronounced.
  • the lyric data has text data in which a plurality of syllables to be pronounced are arranged in chronological order.
  • the lyric data includes timing data defining start and stop times of utterance for each syllable along a predetermined time axis. The start time and stop time are defined, for example, as the time relative to the beginning of the song. This timing data associates the progression position of the song with lyrics to be uttered at the progression position. Therefore, the lyric data is data in which a plurality of syllables to be pronounced are arranged in chronological order and syllables corresponding to the elapsed time from the reference time are uniquely defined.
  • the lyric data includes timing data in which utterance start time ts(i) and stop time te(i) are set for each syllable M(i). For example, in the case of M(1) "ko", the utterance start time is time ts(1) and the utterance stop time is time te(1). Similarly, in the case of M(n) "ru”, the utterance start time is time ts(n) and the utterance stop time is time te(n). A period from time ts(i) to time te(i) corresponding to each syllable M(i) is called a set period for uttering the syllable M(i). The set period of vocalization indicates, for example, the period of ideal singing. As will be described below, the vocalization period of each syllable included in the synthesized singing voice is controlled based on the vocalization start instruction and the vocalization stop instruction by the performance signal.
  • FIG. 3 is a functional block diagram of the sound control device 100 for realizing sound generation processing.
  • the sound control device 100 includes an acquisition unit 31, a determination unit 32, a generation unit 33, a specification unit 34, a singing sound synthesis unit 35, and an instruction unit 36 as functional units.
  • the functions of these functional units are realized by cooperation of the CPU 11a, ROM 11b, RAM 11c, timer, communication I/F 19, and the like. Note that the inclusion of the generating unit 33 and the singing sound synthesizing unit 35 is not essential.
  • the acquisition unit 31 acquires the performance signal.
  • the judging section 32 judges the start of a note and the end of a note based on the comparison result between the volume of the performance signal and the threshold value and the change of the pitch of the performance signal.
  • the generator 33 generates a note based on the determination of the note start and note end.
  • the specifying unit 34 specifies a syllable corresponding to the timing determined as the note start from the lyrics data. A syllable specifying method will be described with reference to FIGS. 4 to 6. FIG.
  • the singing sound synthesizing unit 35 generates singing sounds by synthesizing the specified syllables based on the setting data.
  • the instruction unit 36 instructs to start producing the singing sound of the specified syllable at the pitch and timing corresponding to the start of the note, and to finish producing the sound at the timing corresponding to the end of the note. Singing sounds obtained by synthesizing syllables are pronounced by the sounding unit 18 (FIG. 1) based on the instruction from the instruction unit 36 .
  • the storage unit 14 stores lyric data and accompaniment data corresponding to the music specified by the user.
  • the accompaniment data is started to be played back.
  • the lyrics in the lyrics data (or karaoke subtitle data) are displayed on the display section 13 according to the progression of the accompaniment data.
  • the musical score of the main melody corresponding to the lead vocal data is displayed on the display unit 13 according to the progress of the accompaniment data.
  • the user plays using the performance operation unit 15 while listening to the accompaniment data.
  • a performance signal is acquired by the acquisition unit 31 according to the progress of the performance.
  • the determination unit 32 determines that the note is started, and after determining that the note is started, the volume reaches the second threshold TH2 (see S202 in FIG. 10). S201), it is determined that the note is finished.
  • Note start here corresponds to an instruction to start vocalization
  • note end corresponds to an instruction to end vocalization.
  • the first threshold TH1 is higher than or equal to the second threshold TH2.
  • the determination unit 32 determines that the note has ended and that the note has started. That is, when the pitch is switched by the finger operation of the operation key 16 while the blowing pressure is maintained at a certain level or more, the note end of the pitch before switching and the note start of the pitch after switching are different. determined at the same time.
  • the specified syllable is synthesized and pronounced as a singing sound, and when it is determined that the note ends, it is muted. Therefore, the user can pronounce the lyrics that match the music by performing along with the accompaniment sound.
  • 4 to 6 are diagrams explaining the method of specifying syllables. 4 to 6 show the relationship between time and notes.
  • the control unit 11 identifies the syllable corresponding to the set period to which the timing determined as the note start belongs, as the syllable corresponding to the timing determined as the note start. Further, when the timing determined as the note start does not belong to any set period, the control unit 11 (the specifying unit 34) selects the syllable corresponding to the set period closest to the timing as the note start. Identify as the syllable corresponding to the timing.
  • the count value tc at which the vocalization start instruction (note start) is acquired is within the vocalization set period ts(1) to te(1).
  • the count value tc is a count value for advancing the accompaniment position in the later-described sound generation process (FIG. 7).
  • the control unit 11 sets the pitch “G4” and refers to the lyric data to determine whether or not the count value tc at which the start instruction is acquired is included in the vocalization set period. Since the time at which the utterance start instruction was acquired is within the set period ts(1) to te(1), the control unit 11 determines that the time at which the start instruction was acquired is within the utterance set period corresponding to character M(1). , and the character "ko" corresponding to the character M(1) is specified and set as a syllable to be pronounced.
  • control unit 11 outputs to the DSP an instruction to generate an audio signal based on the vocalization of the set pitch "G4" and the character "ko".
  • time ton(1) indicates the time when an instruction to generate an audio signal based on the set pitch "G4" and the character "ko" is output to the DSP.
  • the DSP of the control unit 11 starts generating an audio signal based on the instruction.
  • a performance signal including an utterance stop instruction (note end) associated with the pitch "G4" is received in the standby state of the sound generation process.
  • the control unit 11 sets the pitch "G4" and determines that the performance signal is an instruction to stop vocalization.
  • the DSP of the control unit 11 outputs an instruction to stop generating an audio signal based on the utterance (character “ko") at the set pitch "G4".
  • the time at which the instruction to stop the generation of the audio signal based on the set pitch "G4" and the character “ko" is output is denoted as time toff(1).
  • the DSP of the control unit 11 stops generating the audio signal based on the instruction.
  • the vocalization period ton(1) to toff(1) is the period during which an audio signal is generated based on the vocalization of the pitch "G4" and the character "ko".
  • the count value tc at which the vocalization start instruction is acquired is a period between the vocalization set period ts(1) to te(1) and the vocalization set period ts(2) to te(2), A case close to the set period ts(1) to te(1) will be described with reference to FIG. It is assumed that a performance signal including a vocalization start instruction associated with the pitch "G4" is received in the standby state of the sound generation process. In this case, the control unit 11 sets the pitch “G4” and determines whether or not the count value tc when the start instruction is acquired is included in the set period of vocalization.
  • control unit 11 determines the central time from the set periods set immediately before and after the count value tc. Calculate tm(i).
  • the control unit 11 sets the stop time te ( 1) and the start time ts(2).
  • the control unit 11 determines the character "ko" ( Identify and set the letter M(1)) as the syllable to pronounce.
  • the vocalization period ton(1) to toff(1) is a period during which an audio signal based on the vocalization of the pitch "G4" and the character "ko" is generated.
  • the count value tc at which the vocalization start instruction is acquired is a period between the vocalization set period ts(1) to te(1) and the vocalization set period ts(2) to te(2), A case close to the set period ts(2) to te(2) will be described with reference to FIG.
  • the control unit 11 displays the character "n" (character M(2)) of the set period after the central time tm(1). is specified and set as the syllable to be pronounced.
  • a period from ton(1) to toff(1) is a period during which an audio signal based on the pitch "G4" and the character " ⁇ " is generated.
  • the syllable corresponding to the set period to which the timing determined as the note start belongs or the set period closest to the above timing is specified as the syllable corresponding to the timing determined as the note start.
  • an instruction to generate or stop an audio signal corresponding to each syllable is output based on the performance operation to the performance operation unit 15 .
  • FIG. 7 is a flowchart showing sound generation processing. This process is implemented by the CPU 11a expanding the control program stored in the ROM 11b into the RAM 11c and executing it. This processing is started when the user instructs reproduction of music.
  • the control section 11 reads the data of the portion corresponding to the count value tc in the accompaniment data (step S104).
  • step S105 the input of the user's instruction to stop playing the music, or the reception of the performance signal (step S105; No, step S106; No, step S107). ; No)
  • step S105 the input of the user's instruction to stop playing the music, or the reception of the performance signal
  • step S107 the reception of the performance signal
  • steps S103 and S104 is repeated.
  • This repeated state is the standby state.
  • the initial value of the count value tc is 0, which corresponds to the reproduction start timing of the music.
  • the control unit 11 measures the time based on the music reproduction start timing.
  • step S105 When the reading of the accompaniment data is completed by reading the accompaniment data to the end in the standby state (step S105; Yes), the control unit 11 ends the sound generation process.
  • step S106 When the user inputs an instruction to stop playing music in the standby state (step S106; Yes), the control unit 11 terminates the sound generation process.
  • step S107 When a performance signal is received from the performance operation unit 15 in the standby state (step S107; Yes), the control unit 11 executes instruction processing for generating an audio signal by the DSP (step S108). Details of the instruction processing for generating the audio signal will be described later with reference to FIG. After completing the instruction process for generating the audio signal, the control unit 11 returns to step S103 and enters a standby state in which steps S103 and S104 are repeated.
  • FIG. 8 is a diagram showing the relationship between a part of the musical score of the main melody of the music specified by the user and the notes generated by the performance and to which the syllables are assigned.
  • notes to which syllables are assigned are called syllable notes VN1 to VN7.
  • Syllables in the lyrics data correspond to the musical notes SN1 to SN9.
  • FIG. 8 shows ideal syllable notes VN1-VN7 when the user faithfully plays along with the notes SN1-SN9. Playing faithfully with proper timing means playing so that the note starts at the timing corresponding to the corresponding set period.
  • the notes SN1, SN2, and SN3 correspond to the syllables “dra”, “gon”, and “night”. If the user plays the notes SN1, SN2, and SN3 in time with the accompaniment, syllable notes VN1, VN2, and VN3 are produced as notes.
  • the syllable notes VN1, VN2, and VN3 are assigned the syllables “dra,” “gon,” and “night,” respectively.
  • note SN3 and note SN4 are tied with each other, they correspond to one syllable note VN3 "night”.
  • syllable notes VN4 to VN7 are produced as notes.
  • note SN7 and note SN8 are tied together, so they correspond to one syllable note VN6 "night”.
  • Syllable notes are pronounced in real time.
  • the generated syllable note can be saved as singing synthesis data containing syllable information.
  • the generated syllable notes can be converted to MIDI data that does not contain syllable data and saved.
  • FIG. 9 is a diagram showing an example of generating syllable notes and an example of countermeasures.
  • Case A shows an unfavorable example
  • case B shows an example in which countermeasures are taken against case A.
  • Case B is implemented by instruction processing (FIG. 10), which will be described later.
  • Case A shows an example in which syllable note VN71 and syllable note VN72 are generated/generated even though the user intended to play note SN9 immediately after note SN8 as written.
  • the set period TX is associated with the syllable "night”.
  • Both the start timing of the syllable note VN71 and the start timing of the syllable note VN72 belong to the same set period TX. Therefore, the syllable note VN71 is assigned the syllable "night”, and the syllable note VN72 is assigned the long vowel "-”.
  • the syllable note VN7 (Fig. 8) should be pronounced and generated after the syllable note VN6.
  • the syllable notes VN71 and VN72 were generated due to the timing relationship between the change in volume and the change in pitch.
  • the breath sensor 17 detects pressure changes due to breathing as volume.
  • a user sometimes performs tonguing to clarify the beginning of sound when switching pitches.
  • the detected sound volume may temporarily decrease due to tonguing.
  • finger switching is not completed when the volume rises again after tonguing, a new note start may be detected with the original pitch. If the user switches the pitch immediately after the start of a new note is detected, an unnecessary short note (syllable note VN71) may be generated.
  • the control unit 11 handles as in case B on the condition that a correction condition (S203), which will be described later, is satisfied.
  • the end timing of the syllable note VN7 (or the syllable note VN71) is not determined at the time when the syllable note VN7 (or the syllable note VN71) starts to be generated. Therefore, it is not determined whether the syllable note becomes the syllable note VN7 or the syllable note VN71. Therefore, it is uncertain whether the syllable "night” will be pronounced in its entirety or partway through.
  • the control unit 11 When the syllable notes VN71 and VN72 satisfy the correction condition, the control unit 11 performs control so that case B occurs.
  • the "correction condition" is that the note start determined this time satisfies the following conditions (a) and (b). It should be noted that the correction condition may further include that the condition (c) is satisfied.
  • the control unit 11 determines the end of the syllable note VN71 (the end of the first note) and the start of the syllable note VN72 due to the change in pitch before the elapse of the first predetermined time. Depending on what is determined, the following processing is performed.
  • the control unit 11 instructs to start to pronounce the same syllable as the syllable note VN71 at a pitch corresponding to the start of the syllable note VN72.
  • syllable note VN72 is assigned the same syllable "night" as was assigned to syllable note VN71. This syllable then begins to sound at a pitch corresponding to the start of the syllable note VN72.
  • the first reproduction mode is a mode in which the singing sound of the syllable assigned to the syllable note VN72 is pronounced from the beginning.
  • the second reproduction mode is a mode in which the singing sound of the syllable assigned to the syllable note VN72 is pronounced from the middle.
  • the first reproduction mode sounding is started so that the leading position of the sounding waveform of "night” is positioned at the note start timing.
  • the second reproduction mode sounding is started so that the position slightly after the beginning of the sounding waveform of "night” is positioned at the note start timing.
  • the reproduction mode may be determined according to the types of consonants of the syllables assigned to the syllable notes VN71 and VN72. For example, if the consonant is nasal such as "n”, the first reproduction mode may be adopted, and if the consonant is plosive such as "k”, the second reproduction mode may be adopted.
  • the pronunciation of the same syllable "night” is started in the immediately preceding syllable note VN71.
  • the pronunciation of the consonant "n” in the syllable note VN71 is hardly audible, it is expected that the syllable note VN72 can be heard naturally by reproducing the syllable note VN72 from the beginning of the pronunciation waveform in the first reproduction mode.
  • the consonant of the syllable is a plosive sound such as "k”
  • it is expected that the syllable note VN72 can be heard naturally by reproducing the syllable note VN72 from the middle of the pronunciation waveform in the second reproduction mode.
  • FIG. 10 is a flow chart showing the instruction process executed in step S108 of FIG.
  • step S201 the control unit 11 compares the volume indicated by the acquired performance signal with the second threshold value TH2 to determine whether or not the end of the note (instruction to end vocalization). Here, it is determined that the note is finished when the sound volume falls below the second threshold TH2.
  • step S202 the control unit 11 determines whether it is the start of the note (instruction to start vocalization). Here, it is determined that a note starts when the volume exceeds the first threshold TH1.
  • step S210 the control unit 11 instructs the syllable being sounded to end at the timing corresponding to the end of the current note, as shown in FIG. End the process. That is, the control unit 11 outputs to the DSP an instruction to stop the generation of the audio signal started in step S207 or step S214, which will be described later. Therefore, the uttered sound is muted.
  • step S202 If it is determined in step S202 that the note has not started, the control unit 11 executes other processing in step S211 and then terminates the processing shown in FIG. In the other processing here, for example, when the sound volume acquired during sound generation changes without falling below the second threshold value TH2, the control unit 11 issues an instruction to change the sound sound volume in response to the change. Output.
  • step S203 determines in step S203 whether or not the correction condition is satisfied.
  • the correction condition is established by satisfying the conditions (a), (b), and (c) described above. Then, if the correction condition is not satisfied, the control unit 11 sets the pitch indicated by the acquired performance signal in step S204.
  • step S205 the control unit 11 determines whether or not the start of the current note has been determined by switching the pitch during the same set period as the start of the previous note. That is, the control unit 11 determines whether or not the set period corresponding to the current note start determination is the same as the set period corresponding to the previous note start determination. Then, the control unit 11 proceeds to step S209 when both set periods are the same, and proceeds to step S206 when both set periods are not the same.
  • step S206 the control unit 11 identifies the syllable corresponding to the timing determined as the current note start by the method described in FIGS.
  • step S207 the control unit 11 instructs to start producing the specified syllable at the pitch and timing corresponding to the start of the current note. That is, the control unit 11 outputs to the DSP an instruction to start generating an audio signal based on the vocalization of the set pitch and the specified syllable.
  • step S207 the control unit 11 terminates the processing shown in FIG.
  • step S209 the control unit 11 instructs the syllable specified according to the determination of the start of the immediately preceding note to continue to be pronounced at the pitch after the change without ending the pronunciation.
  • the control unit 11 continues the sounding of the changed pitch without ending the sounding of the syllable being sounded. For example, if the syllable "night” is specified corresponding to the start of the immediately preceding note within the same set period, the pronunciation of the syllable "night” continues at the switched pitch.
  • a syllable note corresponding to the pitch after switching is assigned a long sound "-". With this processing, the syllables of the same set period can be continued by switching the pitch.
  • the control unit 11 terminates the processing shown in FIG.
  • step S203 If the correction condition is satisfied in step S203, the control unit 11 sets the length of the set period corresponding to the syllable specified by the note start determined this time to the second predetermined time (for example, 200 ms) in step S208. ) is exceeded. Then, if the length of the set period corresponding to the syllable specified by the note start determined this time does not exceed the second predetermined time, the control unit 11 proceeds to step S212.
  • the second predetermined time for example, 200 ms
  • step S212 the pitch corresponding to the start of the note determined this time (the start of the second note) is set.
  • step S213 the control unit 11 identifies the same syllable as the syllable identified corresponding to the immediately preceding note start (first note start) as the syllable corresponding to the note start determined this time.
  • the control unit 11 assigns the same syllable as the syllable "night" assigned to the previous syllable note VN71 to the current syllable note VN72.
  • step S214 the control unit 11 instructs the syllable specified for the current note start to start sounding at the pitch corresponding to the current note start. At that time, the control unit 11 also instructs the reproduction modes to be applied (the above-described first and second reproduction modes). After step S214, the control unit 11 terminates the processing shown in FIG.
  • step S208 if the length of the set period corresponding to the syllable specified by the note start determined this time exceeds the second predetermined time, the control unit 11 proceeds to step S204. Therefore, steps S212-S214 are not executed. This is to avoid erroneously judging a note intentionally shortened by the user as an unnecessary note.
  • the control unit 11 It is not instructed to start sounding at the pitch corresponding to the note start determined this time.
  • step S212 may be performed when Yes is determined in step S203.
  • the values of the first and second predetermined times are not limited to the illustrated values. Also, these values may be changed according to the reproduction tempo.
  • the same syllable as the syllable corresponding to the start of the first note corresponds to the start of the second note in accordance with the satisfaction of the correction condition.
  • Pronunciation starts at the pitch of That is, the control unit 11 determines that the first note has ended and the second note has started because the pitch has changed before the first predetermined time has elapsed after it was determined that the first note started.
  • the same syllable as the syllable corresponding to the first note start is instructed to start at the pitch corresponding to the second note start. Therefore, it is possible to pronounce syllables in accordance with the intention of the user (performer).
  • the singing sound of the syllable is pronounced from the beginning or middle of the syllable, so that the unnaturalness of repeated pronunciation of the same syllable can be suppressed.
  • control unit 11 when producing a singing sound obtained by synthesizing syllables, starts producing the specified syllables at the pitch and timing corresponding to the start of the note, and ends the production at the timing corresponding to the end of the note. Therefore, real-time singing pronunciation can be realized.
  • the syllable corresponding to the set period to which the timing determined as the note start belongs or the set period closest to the timing is specified as the syllable corresponding to the timing determined as the note start. Therefore, it is possible to pronounce syllables according to the user's intention.
  • the sound control device 100 may be any device that can acquire volume as a continuous quantity, and may be another wind instrument with a breath sensor.
  • the sound control device 100 is not limited to the wind instrument type, and may be of another type such as a keyboard instrument.
  • each key may be provided with a function such as an after-sensor so that the volume changes continuously according to the key operation.
  • an electronic musical instrument connected to a volume pedal may be used, and volume information may be input by operating the volume pedal.
  • the performance signal (performance information) may be acquired from the outside via communication. Therefore, it is not essential to provide the performance operation section 15, and it is not essential that the sound control device 100 has the function and form of a musical instrument.
  • Synthesized singing sounds and information on sounds to be pronounced may be transmitted to the outside via communication, and may be sounded by an external device having the same function as the sound generator 18 . Moreover, you may give the function of the production
  • the same effect as the present invention may be obtained by reading a storage medium storing a control program represented by software for achieving the present invention into the present apparatus.
  • the read program code itself implements the novel functions of the present invention, and a non-transitory computer-readable recording medium storing the program code constitutes the present invention.
  • the program code may be supplied via a transmission medium or the like, in which case the program code itself constitutes the present invention.
  • ROM floppy disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, magnetic tapes, non-volatile memory cards, etc.
  • volatile memory e.g., DRAM (Dynamic Random Access Memory)
  • DRAM Dynamic Random Access Memory
  • control unit 31 acquisition unit 32 determination unit 33 generation unit 34 identification unit 35 singing sound synthesis unit 36 instruction unit 100 sound control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得し、演奏情報に基づき、ノート開始およびノート終了を判定し、ノート開始と判定したタイミングに対応する音節を歌詞データから特定し、特定された音節の発音開始発音終了を指示する音制御装置を提供する。制御部１１は、第１のノート開始と判定された後、第１の所定時間の経過前に音高が変化したことで第１のノート終了および第２のノート開始と判定されたことに応じて、第１のノート開始と判定されたことに応じて特定された音節と同じ音節を、第２のノート開始に対応する音高で発音開始するよう指示する。

Description

音制御装置およびその制御方法、電子楽器、プログラム
　本発明は、音制御装置およびその制御方法、電子楽器、プログラムに関する。
　楽器等の音制御装置においては、楽器音などを想定した電子音を生成する以外に、歌唱音を合成した合成歌唱音（実際の歌唱音との区別を明確にするときは合成歌唱音という）を生成することが行われている。例えば、音節における音節（文字）に応じた音声素片を組み合わせつつ、指定された音高になるように波形を合成することによって、その音節を発音する合成歌唱音が生成される。特許文献１、２に示されるように、演奏操作に応じてリアルタイムに合成歌唱音を生成する技術も開発されている。
特開２０１６－２０６４９６号公報 特開２０１４－９８８０１号公報
　しかし、電子楽器の演奏操作によって生成された演奏情報に基づき音節を発音させる場合、演奏操作のタイミングによっては、不適切なノートが生成されるおそれがある。従って、演奏者の意図に沿って音節を発音することに関して改善の余地があった。
　本発明の目的は、演奏者の意図に沿った音節の発音を可能にすることができる音制御装置を提供することである。
　上記目的を達成するために本発明によれば、音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得する取得部と、前記演奏情報に基づき、ノート開始およびノート終了を判定する判定部と、前記判定部が前記ノート開始と判定したタイミングに対応する音節を、発音する複数の音節が時系列に配置され基準時刻からの経過時間に対応する音節が一意に規定されている歌詞データから特定する特定部と、前記判定部により第１のノート開始と判定されたことに応じて特定された音節を、前記第１のノート開始に対応する音高およびタイミングで発音開始させるよう指示し、且つ、第１のノート終了に対応するタイミングで、前記特定された音節の発音を終了させるよう指示する指示部と、を有し、前記指示部は、前記第１のノート開始と判定された後、第１の所定時間の経過前に前記演奏情報における音高が変化したことで前記第１のノート終了および第２のノート開始と判定されたことに応じて、前記特定された音節と同じ音節を、前記第２のノート開始に対応する音高で発音開始するよう指示する、音制御装置が提供される。
　本発明によれば、演奏者の意図に沿った音節の発音を可能にすることができる。
音制御装置を含む音制御システムのブロック図である。 歌詞データを示す図である。 音制御装置の機能ブロック図である。 音節の特定手法を説明する図である。 音節の特定手法を説明する図である。 音節の特定手法を説明する図である。 音生成処理を示すフローチャートである。 楽譜と、音節が割り当てられたノートとの関係を示す図である。 音節ノートの生成例と対策例を示す図である。 指示処理を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。
　図１は、本発明の一実施の形態に係る音制御装置を含む音制御システムのブロック図である。音制御システムは、音制御装置１００と、外部装置２０とを含む。音制御装置１００は、一例として電子楽器であり、例えばサクソフォン等の形態をした電子管楽器であってもよい。
　音制御装置１００は、制御部１１、操作部１２、表示部１３、記憶部１４、演奏操作部１５、発音部１８、および通信Ｉ／Ｆ（インターフェイス）１９を含む。これらの各要素は、通信バス１０を介して互いに接続されている。
　制御部１１は、ＣＰＵ１１ａ、ＲＯＭ１１ｂ、ＲＡＭ１１ｃおよびタイマ（図示せず）を含む。ＲＯＭ１１ｂには、ＣＰＵ１１ａにより実行される制御プログラムが格納されている。ＣＰＵ１１ａは、ＲＯＭ１１ｂに格納された制御プログラムをＲＡＭ１１ｃに展開して実行することにより音制御装置１００における各種機能を実現する。ここでいう各種機能は、例えば、音生成処理を実行する機能を含む。音生成機能については後述する。
　制御部１１は、音生成機能によってオーディオ信号を生成するためのＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を含む。記憶部１４は不揮発性メモリである。記憶部１４は、合成歌唱音を示すオーディオ信号を生成する際に用いる設定情報のほか、合成歌唱音を生成するための音声素片等を記憶する。設定情報は、例えば音色や、取得した歌詞データなどを含む。なお、これらの情報やデータの一部または全部は記憶部１４に記憶されてもよい。
　操作部１２は、各種情報を入力するための複数の操作子を含み、ユーザからの指示を受け付ける。表示部１３は各種情報を表示する。発音部１８は、音源回路、効果回路およびサウンドシステムを含む。
　演奏操作部１５は、演奏信号（演奏情報）を入力する要素として、複数の操作キー１６およびブレスセンサ１７を含む。入力された演奏信号は、音高を示す音高情報と、連続量として検出される音量を示す音量情報とを含み、制御部１１に供給される。音制御装置１００の本体には複数の音孔（不図示）が設けられる。複数の操作キー１６をユーザ（演奏者）が演奏することによって、音孔の開閉状態が変化し、所望する音高が指定される。
　音制御装置１００の本体にはマウスピースが取り付けられており、ブレスセンサ１７はマウスピースの近傍に設けられている。ブレスセンサ１７は、マウスピースを介してユーザが吹き込む息の吹圧を検出する吹圧センサである。ブレスセンサ１７は、息の吹込みの有無を検出し、演奏時においては、吹圧の強さや速さ（勢い）を検出する。ブレスセンサ１７により検出された圧力の変化に応じて音量が指定される。ブレスセンサ１７により検出された時間的に変化する圧力の大きさが、連続量として検出される音量情報として扱われる。
　通信Ｉ／Ｆ１９は、無線または有線により通信ネットワークに接続する。音制御装置１００は例えば、通信Ｉ／Ｆ１９によって、通信ネットワークを介して外部装置２０と通信可能に接続される。通信ネットワークは例えばインターネットであり、外部装置２０はサーバ装置であってもよい。なお、通信ネットワークはＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、ＬＡＮ等を用いた短距離無線通信ネットワークであってもよい。なお、接続される外部装置の数や種類は問わない。通信Ｉ／Ｆ１９は、ＭＩＤＩ（Musical Instrument Digital Interface）信号を送受信するＭＩＤＩ Ｉ／Ｆを含んでもよい。
　外部装置２０は、カラオケを提供するために必要な楽曲データを、曲ＩＤに対応付けて記憶している。この楽曲データには、カラオケの歌唱曲に関連するデータ、例えば、リードボーカルデータ、コーラスデータ、伴奏データ、およびカラオケ用字幕データなどが含まれている。伴奏データは、歌唱曲の伴奏音を示すデータである。これらのリードボーカルデータ、コーラスデータ、および伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。カラオケ用字幕データは、表示部１３に歌詞を表示するためのデータである。
　また、外部装置２０は、設定データを、曲ＩＤに対応付けて記憶している。この設定データは、歌唱音の合成を実現するために歌唱曲に応じて音制御装置１００に対して設定されるデータである。設定データには、曲ＩＤに対応する歌唱曲の各パートに対応する歌詞データが含まれている。この歌詞データは、例えば、リードボーカルパートに対応する歌詞データである。楽曲データと設定データとは時間的に対応付けられている。
　この歌詞データは、カラオケ用字幕データと同じであってもよいし、異なっていてもよい。すなわち、歌詞データは、発声すべき歌詞（文字）を規定するデータである点においては同じであるが、音制御装置１００において利用しやすい形式に調整されている。
　例えば、カラオケ用字幕データは、「こ（ｋｏ）」「ん（ｎ）」「に（ｎｉ）」「ち（ｃｈｉ）」「は（ｈａ）」という文字列である。これに対し、歌詞データは、音制御装置１００において利用しやすいように「こ（ｋｏ）」「ん（ｎ）」「に（ｎｉ）」「ち（ｃｈｉ）」「わ（ｗａ）」という実際の発音に合わせた文字列であってもよい。また、この形式としては、例えば、１音で２文字分の歌唱をする場合を識別する情報、フレーズの区切りを識別する情報などを含む場合がある。
　音生成処理にあたって、制御部１１は、ユーザにより指定された楽曲データおよび設定データを、外部装置２０から通信Ｉ／Ｆ１９を介して取得し、記憶部１４に記憶させる。上述のように、楽曲データには伴奏データが含まれ、設定データには歌詞データが含まれる。しかも、伴奏データと歌詞データとは時間的に対応付けられている。
　図２は、記憶部１４に記憶される歌詞データを示す図である。以降、発声すべき歌詞（文字）の各々、つまり音声上の一単位（一まとまりの音のくぎり）を、以下「音節」と表現することもある。図２で説明するように、本実施の形態で用いる歌詞データにおいて、発音する複数の音節が時系列に配置されている。また、音節の各々には、発音の開始時刻および停止時刻からなる設定期間（設定区間）が対応付けられている。
　歌詞データは、発声すべき音節を規定するデータである。歌詞データは、発声すべき複数の音節が時系列に並べられたテキストデータを有する。歌詞データは、所定の時間軸により音節ごとに発声の開始時刻および停止時刻が規定されるタイミングデータを含む。開始時刻および停止時刻は、例えば、楽曲の最初を基準とした時刻として定義される。このタイミングデータは、歌唱曲の進行位置と、その進行位置において発声すべき歌詞とを対応付けている。従って、歌詞データは、発音する複数の音節が時系列に配置され基準時刻からの経過時間に対応する音節が一意に規定されているデータである。
　図２に示すように、歌詞データは、「こ（ｋｏ）」「ん（ｎ）」「に（ｎｉ）」「ち（ｃｈｉ）」「わ（ｗａ）」「ｄｒａ」「ｇｏｎ」「ｎｉｇｈｔ」「ｄｒａ」「ｇｏｎ」・・を示すテキストデータを含む。「こ」「ん」「に」「ち」「わ」「ｄｒａ」「ｇｏｎ」「ｎｉｇｈｔ」「ｄｒａ」「ｇｏｎ」を示す音節には、Ｍ（ｉ）が対応付けられ、「ｉ」（ｉ＝１～ｎ）により歌詞における音節の順序が定められている。例えば、Ｍ（５）は、歌詞のうち５番目の音節に対応する。
　歌詞データは、各音節Ｍ（ｉ）に発声の開始時刻ｔｓ（ｉ）および停止時刻ｔｅ（ｉ）が設定されたタイミングデータを含む。例えば、Ｍ（１）「こ」の場合、発声の開始時刻は時刻ｔｓ（１）であり、停止時刻は時刻ｔｅ（１）である。同様に、Ｍ（ｎ）「る」の場合、発声の開始時刻は時刻ｔｓ（ｎ）であり、停止時刻は時刻ｔｅ（ｎ）である。各音節Ｍ（ｉ）に対応する時刻ｔｓ（ｉ）～時刻ｔｅ（ｉ）の期間を、音節Ｍ（ｉ）の発声の設定期間という。この発声の設定期間は、例えば理想的に歌唱した場合における期間を示している。以下に説明するように、合成歌唱音に含まれる各音節の発声期間は、演奏信号による発声の開始指示および発声の停止指示に基づいて制御される。
　図３は、音生成処理を実現するための音制御装置１００の機能ブロック図である。音制御装置１００は、機能部として、取得部３１、判定部３２、生成部３３、特定部３４、歌唱音合成部３５、および指示部３６を含む。これらの各機能部の機能は、ＣＰＵ１１ａ、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、タイマおよび通信Ｉ／Ｆ１９等の協働により実現される。なお、生成部３３および歌唱音合成部３５を含むことは必須でない。
　取得部３１は、演奏信号を取得する。判定部３２は、演奏信号における音量と閾値との比較結果と、演奏信号における音高の変化とに基づいて、ノート開始およびノート終了を判定する。生成部３３は、ノート開始およびノート終了の判定に基づいてノートを生成する。特定部３４は、歌詞データから、ノート開始と判定したタイミングに対応する音節を特定する。音節の特定手法については図４～図６で説明する。
　歌唱音合成部３５は、設定データに基づいて、特定された音節を合成して歌唱音を生成する。指示部３６は、特定された音節の歌唱音を、ノート開始に対応する音高およびタイミングで発音開始させるよう指示し、且つ、ノート終了に対応するタイミングで発音終了させるよう指示する。指示部３６による指示に基づいて、音節を合成した歌唱音が、発音部１８（図１）により発音される。
　次に、音生成処理の態様を概説する。ユーザが指定した楽曲に対応する歌詞データおよび伴奏データが記憶部１４に記憶される。ユーザが、操作部１２で演奏開始を指示すると、伴奏データの再生が開始される。その際、歌詞データ（またはカラオケ用字幕データ）における歌詞が、伴奏データの進行に従って表示部１３に表示される。また、リードボーカルデータに応じた主旋律の楽譜も、伴奏データの進行に従って表示部１３に表示される。ユーザは、伴奏データを聞きながら演奏操作部１５で演奏する。演奏の進行に従って取得部３１により演奏信号が取得される。
　判定部３２は、演奏信号における音量が第１の閾値ＴＨ１（図１０のＳ２０２参照）を超えた場合、ノート開始と判定し、ノート開始と判定した後に音量が第２の閾値ＴＨ２（図１０のＳ２０１参照）を下回った場合、ノート終了と判定する。ここでいうノート開始は発声の開始指示に該当し、ノート終了は発声の終了指示に該当する。なお、第１の閾値ＴＨ１は第２の閾値ＴＨ２より高いか、または第２の閾値ＴＨ２と同じである。
　また、判定部３２は、音量が第１の閾値ＴＨ１を超えた状態で、音高が変化した場合、ノート終了と判定し且つノート開始と判定する。つまり、吹圧の一定以上の強さを保った状態で、操作キー１６の指操作によって音高が切り替わった場合、切り替え前の音高のノート終了と、切り替え後の音高のノート開始とが同時刻に判定される。
　そして、ノート開始と判定されたタイミングで、特定された音節が合成され歌唱音として発音され、ノート終了と判定されたタイミングで消音される。従って、ユーザは、伴奏音に合わせて演奏することで、楽曲に合った歌詞を発音させることができる。
　図４～図６は、音節の特定手法を説明する図である。図４～図６には、時間とノートとの関係が示されている。
　制御部１１（特定部３４）は、ノート開始と判定されたタイミングが属する設定期間に対応する音節を、上記ノート開始と判定されたタイミングに対応する音節として特定する。また、制御部１１（特定部３４）は、ノート開始と判定されたタイミングがいずれの設定期間に属さない場合は、上記タイミングに最も近い設定期間に対応する音節を、上記ノート開始と判定されたタイミングに対応する音節として特定する。
　まず、発声の開始指示（ノート開始）を取得したカウント値ｔｃが、発声の設定期間ｔｓ（１）～ｔｅ（１）内である場合について、図４を参照して具体例を説明する。カウント値ｔｃは、後述する音生成処理（図７）で伴奏位置を進行させるためのカウント値である。
　音生成処理における待機状態において、音高「Ｇ４」が対応付けられた発声の開始指示を含む演奏信号を受信したことを想定する。この場合、制御部１１は、音高「Ｇ４」を設定し、且つ、歌詞データを参照して、開始指示を取得したカウント値ｔｃが発声の設定期間に含まれるか否かを判定する。発声の開始指示を取得した時刻が設定期間ｔｓ（１）～ｔｅ（１）内であるため、制御部１１は、開始指示を取得した時刻が文字Ｍ（１）に対応する発声の設定期間内に含まれると判定し、文字Ｍ（１）に該当する文字「こ」を、発声する音節として特定・設定する。
　次に、制御部１１は、設定した音高「Ｇ４」および文字「こ」の発声に基づくオーディオ信号を生成する指示をＤＳＰに出力する。図４において、設定した音高「Ｇ４」および文字「こ」の発声に基づいてオーディオ信号を生成した指示をＤＳＰに出力した時刻を、時刻ｔｏｎ（１）と表記する。制御部１１のＤＳＰは、当該指示に基づいて、オーディオ信号の生成を開始する。
　続いて、音生成処理における待機状態において、音高「Ｇ４」が対応付けられた発声の停止指示（ノート終了）を含む演奏信号を受信したことを想定する。この場合、制御部１１は、音高「Ｇ４」を設定し、且つ、演奏信号が発声の停止指示であると判定する。制御部１１のＤＳＰは、設定した音高「Ｇ４」による発声（文字「こ」）に基づくオーディオ信号の生成を停止する指示を出力する。図４において、設定した音高「Ｇ４」および文字「こ」の発声に基づくオーディオ信号の生成を停止する指示を出力した時刻を、時刻ｔｏｆｆ（１）と表記する。制御部１１のＤＳＰは、当該指示に基づいて、オーディオ信号の生成を停止する。図４において、発声期間ｔｏｎ（１）～ｔｏｆｆ（１）が、音高「Ｇ４」および文字「こ」の発声に基づくオーディオ信号が生成されている期間である。
　次に、発声の開始指示を取得したカウント値ｔｃが、発声の設定期間ｔｓ（１）～ｔｅ（１）と、設定期間ｔｓ（２）～ｔｅ（２）との間の期間であって、設定期間ｔｓ（１）～ｔｅ（１）に近い場合について、図５を参照して説明する。音生成処理における待機状態において、音高「Ｇ４」が対応付けられた発声の開始指示を含む演奏信号を受信したことを想定する。この場合、制御部１１は、音高「Ｇ４」を設定し、且つ、開始指示を取得したときのカウント値ｔｃが発声の設定期間に含まれるか否かを判定する。開始指示を取得した時刻が各文字Ｍ（ｉ）に対応する発声の設定期間のいずれにも含まれないため、制御部１１は、カウント値ｔｃの直前および直後に設定された設定期間から中心時刻ｔｍ（ｉ）を計算する。
　開始指示を取得した時のカウント値ｔｃが設定期間ｔｓ（１）～ｔｅ（１）と設定期間ｔｓ（２）～ｔｅ（２）との間である場合、制御部１１は、停止時刻ｔｅ（１）と、開始時刻ｔｓ（２）との間の中心時刻ｔｍ（１）を計算する。ここでは、ｔｍ（１）＝（ｔｅ（１）＋ｔｓ（２））／２が得られる。次に、制御部１１は、開始指示を取得した時のカウント値ｔｃが中心時刻ｔｍ（１）よりも前であるので、中心時刻ｔｍ（１）よりも前の設定期間の文字「こ」（文字Ｍ（１））を、発音する音節として特定・設定する。発声期間ｔｏｎ（１）～ｔｏｆｆ（１）が、音高「Ｇ４」および文字「こ」の発声に基づくオーディオ信号が生成されている期間である。
　次に、発声の開始指示を取得したカウント値ｔｃが、発声の設定期間ｔｓ（１）～ｔｅ（１）と、設定期間ｔｓ（２）～ｔｅ（２）との間の期間であって、設定期間ｔｓ（２）～ｔｅ（２）に近い場合について、図６を参照して説明する。制御部１１は、開始指示を取得した時刻が中心時刻ｔｍ（１）よりも前ではない場合は、中心時刻ｔｍ（１）よりも後の設定期間の文字「ん」（文字Ｍ（２））を、発音する音節として特定・設定する。期間ｔｏｎ（１）～ｔｏｆｆ（１）が、音高「Ｇ４」および文字「ん」に基づくオーディオ信号が生成されている期間である。
　このように、ノート開始と判定されたタイミングが属する設定期間または上記タイミングに最も近い設定期間に対応する音節が、上記ノート開始と判定されたタイミングに対応する音節として特定される。
　次に、音生成処理について説明する。音生成処理では、演奏操作部１５への演奏操作に基づいて、各音節に対応するオーディオ信号を生成する指示または停止する指示が出力される。
　図７は、音生成処理を示すフローチャートである。この処理は、ＣＰＵ１１ａが、ＲＯＭ１１ｂに格納された制御プログラムをＲＡＭ１１ｃに展開して実行することにより実現される。この処理は、ユーザが楽曲の再生を指示すると開始される。
　制御部１１は、記憶部１４から歌詞データを取得する（ステップＳ１０１）。次に、制御部１１は、初期化処理を実行する（ステップＳ１０２）。この初期化では、カウント値ｔｃ＝０が設定され、且つ、各種レジスタ値やフラグが初期値に設定される。
　次に、制御部１１は、カウント値ｔｃ＝ｔｃ＋１に設定し、カウント値ｔｃをインクリメントする（ステップＳ１０３）。次に、制御部１１は、伴奏データのうち、カウント値ｔｃに対応する部分のデータを読み出す（ステップＳ１０４）。
　制御部１１は、伴奏データの読み出しの終了、ユーザによる楽曲演奏の停止指示の入力、または演奏信号の受信、のいずれかを検出するまでの間（ステップＳ１０５；Ｎｏ，ステップＳ１０６；Ｎｏ，ステップＳ１０７；Ｎｏ）、ステップＳ１０３、Ｓ１０４の処理を繰り返す。この繰り返し状態が待機状態である。上述したように、カウント値ｔｃの初期値は０であり、楽曲の再生開始タイミングに対応する。制御部１１は、カウント値ｔｃをインクリメントすることで、楽曲の再生開始タイミングを基準とした時刻を計測する。
　待機状態において伴奏データを最後まで読み出したことにより伴奏データの読み出しを終了した場合（ステップＳ１０５；Ｙｅｓ）、制御部１１は音生成処理を終了する。待機状態においてユーザによる楽曲演奏の停止指示が入力された場合（ステップＳ１０６；Ｙｅｓ）、制御部１１は音生成処理を終了する。
　待機状態において演奏操作部１５から演奏信号を受信した場合（ステップＳ１０７；Ｙｅｓ）、制御部１１は、ＤＳＰによりオーディオ信号を生成するための指示処理を実行する（ステップＳ１０８）。オーディオ信号を生成するための指示処理の詳細については図１０で後述する。オーディオ信号を生成するための指示処理が終了すると、制御部１１は、ステップＳ１０３に戻り、ステップＳ１０３、Ｓ１０４を繰り返す待機状態となる。
　図８、図９で、演奏により生成されたノートと、各ノートへ割り当てられた音節の例を説明する。図８は、ユーザが指定した楽曲の主旋律の楽譜の一部と、演奏により生成され音節が割り当てられたノートとの関係を示す図である。ここでは、音節が割り当てられたノートを音節ノートＶＮ１～ＶＮ７と呼称する。音符ＳＮ１～ＳＮ９には、歌詞データにおける音節が対応している。図８では、音符ＳＮ１～ＳＮ９に合わせてユーザが忠実に演奏した場合の、理想の音節ノートＶＮ１～ＶＮ７を示している。適切なタイミングで忠実に演奏することは、対応すべき設定期間に対応するタイミングでノート開始となるように演奏することである。
　例えば、音符ＳＮ１、ＳＮ２、ＳＮ３には「ｄｒａ」「ｇｏｎ」「ｎｉｇｈｔ」という音節が対応している。ユーザが、音符ＳＮ１、ＳＮ２、ＳＮ３を、伴奏に合わせて適切なタイミングで演奏したとすると、音節ノートＶＮ１、ＶＮ２、ＶＮ３が発音され、ノートとして生成される。音節ノートＶＮ１、ＶＮ２、ＶＮ３には、それぞれ、音節「ｄｒａ」「ｇｏｎ」「ｎｉｇｈｔ」が割り当てられる。ここで、音符ＳＮ３と音符ＳＮ４とはタイで結ばれているので、これらは１つの音節ノートＶＮ３「ｎｉｇｈｔ」に対応している。
　同様に、ユーザが、音符ＳＮ５～ＳＮ９を、伴奏に合わせて適切なタイミングで演奏したとすると、音節ノートＶＮ４～ＶＮ７が発音され、ノートとして生成される。ここで、音符ＳＮ７と音符ＳＮ８とはタイで結ばれているので、これらは１つの音節ノートＶＮ６「ｎｉｇｈｔ」に対応している。
　なお、音節ノートはリアルタイムで発音される。しかしそれに限らず、生成された音節ノートは音節の情報を含んだ歌唱合成用データとして保存することができる。あるいは、生成された音節ノートは音節データを含まないＭＩＤＩデータに変換して保存することもできる。
　図９は、音節ノートの生成例と対策例を示す図である。事例Ａは、好ましくない例を示し、事例Ｂは事例Ａに対して対策を施した例を示している。事例Ｂは、後述する指示処理（図１０）により実現される。
　事例Ａは、ユーザが音符ＳＮ８の直後に音符ＳＮ９を楽譜通りに演奏したつもりでも、音節ノートＶＮ７１と音節ノートＶＮ７２が発音・生成されてしまった例を示している。なお、設定期間ＴＸには音節「ｎｉｇｈｔ」が対応付けられている。音節ノートＶＮ７１の開始タイミングと音節ノートＶＮ７２の開始タイミングはいずれも、同じ設定期間ＴＸに属している。そのため、音節ノートＶＮ７１には音節「ｎｉｇｈｔ」が割り当てられ、音節ノートＶＮ７２には長音「ー」が割り当てられる。
　本来であれば、音節ノートＶＮ６の後に音節ノートＶＮ７（図８）が発音・生成されるべきである。ところが、事例Ａ（図９）では、音量変化と音高切り替えとのタイミングの関係により、音節ノートＶＮ７１、ＶＮ７２が発音・生成されてしまったのである。
　これは次のような原因による。まず、上述のように、ブレスセンサ１７により、息による圧力変化が音量として検出される。ユーザは、音高を切り替える際に、音の出はじめを明瞭にするためタンギングを行うことがある。ユーザが操作キー１６により音高を切り替える指操作をする際にタンギングが行われたことにより、検出される音量が一時的に低下する場合がある。ここで、タンギング後に音量が再上昇する際に指の切り替えが完了していないと、元の音高のまま新たなノート開始が検出される場合がある。そして新たなノート開始が検出された直後にユーザが音高を切り替えることで、不要な短いノート（音節ノートＶＮ７１）が生成されてしまうことがある。
　このようなケースでは、短い音節ノートＶＮ７１の次の新たなノート（音節ノートＶＮ７２）が、ユーザが本来意図したノートである可能性が高い。このように、従来は、意図した通りのノートが発音されないおそれがあった。すなわち、音節ノートＶＮ７１は本来不要であった（ユーザが意図していない）音節ノートである。そこで、本実施の形態では、制御部１１は、後述する補正条件（Ｓ２０３）が成立したことを条件に、事例Ｂのように対処する。
　なお、音節ノートはリアルタイムで再生されるので、音節ノートＶＮ７（あるいは音節ノートＶＮ７１）の発音・生成が開始された時点では、当該音節ノートの終了タイミングが定まっていない。従って、当該音節ノートが音節ノートＶＮ７となるか音節ノートＶＮ７１となるかは確定していない。そのため、音節「ｎｉｇｈｔ」が全部発音されるか途中まで発音されるかも確定していない。
　事例Ａの場合、結果として音節ノートＶＮ７１は非常に短いため、音節「ｎｉｇｈｔ」の最初の子音「ｎ」が発音されるか、または可聴音に至らない。そのため、実質的には、例えば音節ノートＶＮ７２の長音「ー」だけが聞こえる。
　音節ノートＶＮ７１、ＶＮ７２が補正条件を満たした場合は、制御部１１は、事例Ｂとなるように制御する。ここで、「補正条件」は、今回判定されたノート開始が下記の条件（ａ）（ｂ）を満たすことである。なお、さらに条件（ｃ）を満たすことを補正条件に含めてもよい。
・条件（ａ）：直前のノート開始タイミングから今回のノート開始タイミングまでに、第１の所定時間（例えば、１００ｍｓ）が経過していない
・条件（ｂ）：今回のノート開始に対応する音高が、直前のノート開始に対応する音高とは異なる音高である
・条件（ｃ）：今回のノート開始が、直前のノート開始に対応する設定期間と同じ設定期間に対応している
　これらを図９に示す例に当てはめると次のようになる。直前のノート開始には、音節ノートＶＮ７１の開始（第１のノート開始）が対応する。今回のノート開始には、音節ノートＶＮ７２の開始（第２のノート開始）が対応する。
　制御部１１は、音節ノートＶＮ７１の開始と判定された後、第１の所定時間の経過前に音高が変化したことで音節ノートＶＮ７１の終了（第１のノート終了）および音節ノートＶＮ７２の開始と判定されたことに応じて、次のように処理する。制御部１１は、音節ノートＶＮ７１と同じ音節を、音節ノートＶＮ７２の開始に対応する音高で発音開始するよう指示する。この処理により、事例Ｂにおいては、音節ノートＶＮ７２には、音節ノートＶＮ７１に割り当てられたものと同じ音節「ｎｉｇｈｔ」が割り当てられる。そして、この音節が、音節ノートＶＮ７２の開始に対応する音高で発音開始される。
　ここで、短い（不要な）音節ノートの次の音節ノート（音節ノートＶＮ７２）の再生態様には、第１の再生態様と第２の再生態様の２種類が考えられる。第１の再生態様は、音節ノートＶＮ７２に割り当てられた音節の歌唱音を先頭から発音させる態様である。第２の再生態様は、音節ノートＶＮ７２に割り当てられた音節の歌唱音を途中から発音させる態様である。
　第１の再生態様によれば、「ｎｉｇｈｔ」の発音波形の先頭位置がノート開始タイミングに位置するよう発音開始される。第２の再生態様によれば、「ｎｉｇｈｔ」の発音波形の先頭から少し後の位置が、ノート開始タイミングに位置するよう発音開始される。
　これらいずれの再生態様を採用してもよい。なお、同じ音節の繰り返し発音における不自然さを抑制する観点で、音節ノートＶＮ７1、ＶＮ７２に割り当てられた音節の子音の種類に応じて再生態様を決定してもよい。例えば、子音が「ｎ」等の鼻音の場合は、第１の再生態様を採用し、子音が「ｋ」等の破裂音の場合は第２の再生態様を採用してもよい。
　図９に示す例では、直前の音節ノートＶＮ７１でも同じ音節「ｎｉｇｈｔ」の発音が開始されている。音節ノートＶＮ７１での子音「ｎ」の発音がほとんど聞こえない場合は、第１の再生態様により、音節ノートＶＮ７２を発音波形の先頭から再生することで、自然に聞こえることが期待される。一方、音節の子音が「ｋ」等の破裂音であった場合は、第２の再生態様により、音節ノートＶＮ７２を発音波形の途中から再生することで、自然に聞こえることが期待される。
　図１０は、図７のステップＳ１０８で実行される指示処理を示すフローチャートである。
　まず、ステップＳ２０１では、制御部１１は、取得された演奏信号が示す音量と第２の閾値ＴＨ２とを比較し、ノート終了（発声の終了指示）か否かを判別する。ここでは、音量が第２の閾値ＴＨ２を下回った場合にノート終了と判別される。ノート終了でないと判別された場合は、ステップＳ２０２で、制御部１１は、ノート開始（発声の開始指示）か否かを判別する。ここでは、音量が第１の閾値ＴＨ１を上回った場合にノート開始と判別される。
　ステップＳ２０１で、ノート終了であると判別された場合は、ステップＳ２１０で、制御部１１は、発音中の音節を、今回のノート終了に対応するタイミングで発音終了させるよう指示し、図１０に示す処理を終了する。すなわち制御部１１は、後述するステップＳ２０７またはステップＳ２１４で開始されたオーディオ信号の生成を停止する指示をＤＳＰに出力する。従って、発音されている音は消音される。
　ステップＳ２０２で、ノート開始でないと判別された場合は、制御部１１は、ステップＳ２１１で、その他の処理を実行してから、図１０に示す処理を終了する。ここでのその他の処理では、制御部１１は、例えば、発音中において取得された音量が第２の閾値ＴＨ２を下回らないまま変化した場合に、その変化に対応して発音音量を変更する指示を出力する。
　ステップＳ２０２で、ノート開始であると判別された場合は、制御部１１は、ステップＳ２０３で、補正条件が成立したか否かを判別する。ここでは、上述した条件（ａ）（ｂ）（ｃ）を満たすことで補正条件が成立するとする。そして、補正条件が成立しない場合は、制御部１１は、ステップＳ２０４で、取得された演奏信号が示す音高を設定する。
　ステップＳ２０５では、制御部１１は、直前のノート開始と同一の設定期間における音高切り替えにより今回のノート開始と判定されたか否かを判別する。つまり制御部１１は、今回のノート開始の判定に対応する設定期間が、直前のノート開始の判定に対応する設定期間と同一であるか否かを判別する。そして制御部１１は、両設定期間が同一である場合はステップＳ２０９に進み、両設定期間が同一でない場合はステップＳ２０６に進む。
　ステップＳ２０６では、制御部１１は、図４～図６で説明した手法により、今回のノート開始と判定したタイミングに対応する音節を特定する。ステップＳ２０７では、制御部１１は、特定された音節を、今回のノート開始に対応する音高およびタイミングで発音開始させるよう指示する。すなわち、制御部１１は、設定した音高および特定した音節の発声に基づくオーディオ信号の生成を開始する指示をＤＳＰに出力する。ステップＳ２０７の後、制御部１１は、図１０に示す処理を終了する。
　ステップＳ２０９では、制御部１１は、直前のノート開始の判定に応じて特定された音節の発音を終了することなく変化後の音高で発音を継続するよう指示する。つまり制御部１１は、同じ設定期間内で音高切り替えがあった場合に、発音中の音節の発音を終了することなく変化後の音高で発音を継続させる。例えば、同じ設定期間内で、直前のノート開始に対応して音節「ｎｉｇｈｔ」が特定された場合、音節「ｎｉｇｈｔ」の発音が、切り替え後の音高で継続される。切り替え後の音高に対応する音節ノートには、長音である「－」が割り当てられる。この処理により、同じ設定期間の音節の発音を、音高を切り替えて継続することができる。ステップＳ２０９の後、制御部１１は、図１０に示す処理を終了する。
　ステップＳ２０３で、補正条件が成立した場合は、制御部１１は、ステップＳ２０８で、今回判定されたノート開始で特定された音節に対応する設定期間の長さが第２の所定時間（例えば、２００ｍｓ）を超えているか否かを判別する。そして、制御部１１は、今回判定されたノート開始で特定された音節に対応する設定期間の長さが第２の所定時間超えていない場合は、ステップＳ２１２に進む。
　ステップＳ２１２では、今回判定されたノート開始（第２のノート開始）に対応する音高を設定する。ステップＳ２１３では、制御部１１は、直前のノート開始（第１のノート開始）に対応して特定された音節と同じ音節を、今回判定されたノート開始に対応する音節として特定する。図９に示す例でいえば、制御部１１は、直前の音節ノートＶＮ７１に割り当てられた音節「ｎｉｇｈｔ」と同じ音節を、今回の音節ノートＶＮ７２に割り当てる。ステップＳ２１４では、制御部１１は、今回のノート開始に対して特定された音節を、今回のノート開始に対応する音高で発音開始させるよう指示する。なお、その際、制御部１１は、適用する再生態様（上述した第１、第２の再生態様）も指示する。ステップＳ２１４の後、制御部１１は、図１０に示す処理を終了する。
　ステップＳ２０８での判別の結果、今回判定されたノート開始で特定された音節に対応する設定期間の長さが第２の所定時間超えている場合は、制御部１１は、ステップＳ２０４に進む。従って、ステップＳ２１２～Ｓ２１４は実行されない。これは、ユーザが意図的に短くしたノートを不要ノートと誤判定することを回避するためである。
　つまり、補正条件（Ｓ２０３）が成立する場合であっても、今回判定されたノート開始で特定された音節に対応する設定期間が第２の所定時間を超えていないときは、制御部１１は、今回判定されたノート開始に対応する音高で発音開始するよう指示しない。
　なお、ステップＳ２０８を設けることは必須でなく、ステップＳ２０３でＹｅｓと判別された場合にステップＳ２１２に移行してもよい。また、第１、第２の所定時間の値は例示した値に限定されない。また、これらの値を、再生テンポに応じて変化させてもよい。
　本実施の形態によれば、第２のノート開始が判定されたとき、補正条件が成立したことに応じて、第１のノート開始に対応する音節と同じ音節が、第２のノート開始に対応する音高で発音開始される。すなわち制御部１１は、第１のノート開始と判定された後、第１の所定時間の経過前に音高が変化したことで第１のノート終了および第２のノート開始と判定されたことに応じて、第１のノート開始に対応する音節と同じ音節を、第２のノート開始に対応する音高で発音開始するよう指示する。従って、ユーザ（演奏者）の意図に沿った音節の発音を可能にすることができる。
　また、補正条件が成立した場合であっても、今回の設定期間が第２の所定時間を超えていないときは、第１のノート開始に対応する音節と同じ音節が、第２のノート開始に対応する音高で発音開始されない。従って、意図的に短くしたノートを不要ノートと誤判定することを回避することができる。
　また、短い音節ノートの次の音節ノートの再生に際し、音節の歌唱音を先頭または途中から発音させるので、同じ音節の繰り返し発音における不自然さを抑制することができる。
　また、制御部１１は、音節を合成した歌唱音を発音するに際し、特定された音節を、ノート開始に対応する音高およびタイミングで発音開始させ、ノート終了に対応するタイミングで発音終了させる。従って、リアルタイム歌唱発音を実現できる。しかも、ノート開始と判定されたタイミングが属する設定期間または上記タイミングに最も近い設定期間に対応する音節が、上記ノート開始と判定されたタイミングに対応する音節として特定される。従って、ユーザの意図に沿った音節の発音を可能にすることができる。
　なお、本実施の形態において、音制御装置１００は、連続量として音量を取得できるものであればよく、ブレスセンサ付きの他の管楽器でもよい。あるいは、音制御装置１００は、管楽器型に限らず、鍵盤楽器等の他の形態であってもよい。例えば、本発明を鍵盤楽器に適用する場合は、各鍵にアフタセンサ等の機能を設け、鍵操作に応じて音量が連続的に変化するように構成してもよい。あるいは、ボリュームペダルを接続した電子楽器を用い、ボリュームペダルの操作により音量情報が入力されるようにしてもよい。
　なお、演奏信号（演奏情報）は、外部から通信を介して取得されてもよい。従って、演奏操作部１５を設けることは必須でなく、音制御装置１００は、楽器としての機能および形態を有することは必須でない。
　なお、発音部１８を設けることは必須でない。合成した歌唱音や、発音すべき音の情報を、通信を介して外部へ送信し、発音部１８と同様の機能を備える外部装置で発音させてもよい。また、生成部３３および／または歌唱音合成部３５の機能を、通信Ｉ／Ｆ１９を介して接続された外部装置に持たせてもよい。
　以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
　なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、本装置に読み出すことによって、本発明と同様の効果を奏するようにしてもよく、その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ＲＯＭのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。非一過性のコンピュータ読み取り可能な記録媒体としては、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。
１１　制御部
３１　取得部
３２　判定部
３３　生成部
３４　特定部
３５　歌唱音合成部
３６　指示部
１００　音制御装置

Claims (13)

  1. 　音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得する取得部と、
    　前記演奏情報に基づき、ノート開始およびノート終了を判定する判定部と、
    　前記判定部が前記ノート開始と判定したタイミングに対応する音節を、発音する複数の音節が時系列に配置され基準時刻からの経過時間に対応する音節が一意に規定されている歌詞データから特定する特定部と、
    　前記判定部により第１のノート開始と判定されたことに応じて特定された音節を、前記第１のノート開始に対応する音高およびタイミングで発音開始させるよう指示し、且つ、第１のノート終了に対応するタイミングで、前記特定された音節の発音を終了させるよう指示する指示部と、を有し、
    　前記指示部は、前記第１のノート開始と判定された後、第１の所定時間の経過前に前記演奏情報における音高が変化したことで前記第１のノート終了および第２のノート開始と判定されたことに応じて、前記特定された音節と同じ音節を、前記第２のノート開始に対応する音高で発音開始するよう指示する、音制御装置。
  2. 　前記歌詞データにおいて、前記音節の各々には、発音の開始時刻および停止時刻からなる設定区間が対応付けられており、
    　前記特定部は、前記ノート開始と判定されたタイミングが属する設定区間または当該タイミングに最も近い設定区間に対応する音節を、当該タイミングに対応する音節として特定し、
    　前記指示部は、前記第１のノート開始と判定された後、前記第１の所定時間の経過前に、前記第１のノート終了および前記第２のノート開始と判定された場合であっても、前記特定された音節に対応する前記設定区間が第２の所定時間を超えていないときは、前記特定された音節と同じ音節を、前記第２のノート開始に対応する音高で発音開始するよう指示しない、請求項１に記載の音制御装置。
  3. 　前記指示部は、前記特定された音節と同じ音節を、前記第２のノート開始に対応する音高で発音開始するよう指示する際、前記特定された音節と同じ音節の歌唱音を先頭から発音させるよう指示する、請求項１または２に記載の音制御装置。
  4. 　前記指示部は、前記特定された音節と同じ音節を、前記第２のノート開始に対応する音高で発音開始するよう指示する際、前記特定された音節と同じ音節の歌唱音を途中から発音させるよう指示する、請求項１または２に記載の音制御装置。
  5. 　前記判定部は、前記演奏情報における音量が第１の閾値を超えた場合、前記ノート開始と判定する、請求項１乃至４のいずれか１項に記載の音制御装置。
  6. 　前記判定部は、前記ノート開始と判定した後に前記音量が第２の閾値を下回った場合、前記ノート終了と判定する、請求項５に記載の音制御装置。
  7. 　前記判定部は、前記音量が前記第１の閾値を超えた状態で、前記音高が変化した場合、前記ノート終了と判定し且つ前記ノート開始と判定する、請求項５または６に記載の音制御装置。
  8. 　前記判定部は、前記演奏情報における音量が閾値を超えた状態で前記音高が変化した場合、前記ノート終了と判定し且つ前記ノート開始と判定し、
    　前記指示部は、前記ノート終了と判定し且つ前記ノート開始と判定した場合において、今回の前記ノート開始の判定に対応する設定区間が、直前の前記ノート開始の判定に対応する設定区間と同一であるときは、直前の前記ノート開始の判定に応じて特定された音節の発音を終了することなく変化後の音高で発音を継続するよう指示する、請求項２に記載の音制御装置。
  9. 　前記指示部による指示に基づいて、音節を合成した歌唱音を発音する発音部をさらに有する、請求項１乃至８のいずれか１項に記載の音制御装置。
  10. 　請求項１乃至９のいずれか１項に記載の音制御装置と、
    　前記演奏情報をユーザが入力するための演奏操作部と、を有する、電子楽器。
  11. 　前記演奏操作部は、圧力変化を検出するブレスセンサを含み、
    　前記ブレスセンサにより検出された圧力変化に基づいて前記音量情報が取得される、請求項１０に記載の電子楽器。
  12. 　音制御装置の制御方法をコンピュータに実行させるプログラムであって、
    　前記音制御装置の制御方法は、
    　音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得し、
    　前記演奏情報に基づき、ノート開始およびノート終了を判定し、
    　前記ノート開始と判定したタイミングに対応する音節を、発音する複数の音節が時系列に配置され基準時刻からの経過時間に対応する音節が一意に規定されている歌詞データから特定し、
    　第１のノート開始と判定されたことに応じて特定された音節を、前記ノート開始に対応する音高およびタイミングで発音開始させるよう指示し、且つ、第１のノート終了に対応するタイミングで、前記特定された音節の発音を終了させるよう指示し、
    　前記第１のノート開始と判定された後、第１の所定時間の経過前に前記演奏情報における音高が変化したことで前記第１のノート終了および第２のノート開始と判定されたことに応じて、前記特定された音節と同じ音節を、前記第２のノート開始に対応する音高で発音開始するよう指示する、プログラム。
  13. 　コンピュータにより実現される音制御装置の制御方法であって、
    　音高を示す音高情報と、連続量として検出される音量を示す音量情報と、を含む演奏情報を取得し、
    　前記演奏情報に基づき、ノート開始およびノート終了を判定し、
    　前記ノート開始と判定したタイミングに対応する音節を、発音する複数の音節が時系列に配置され基準時刻からの経過時間に対応する音節が一意に規定されている歌詞データから特定し、
    　第１のノート開始と判定されたことに応じて特定された音節を、前記ノート開始に対応する音高およびタイミングで発音開始させるよう指示し、且つ、第１のノート終了に対応するタイミングで、前記特定された音節の発音を終了させるよう指示し、
    　前記第１のノート開始と判定された後、第１の所定時間の経過前に前記演奏情報における音高が変化したことで前記第１のノート終了および第２のノート開始と判定されたことに応じて、前記特定された音節と同じ音節を、前記第２のノート開始に対応する音高で発音開始するよう指示する、音制御装置の制御方法。
PCT/JP2021/037038 2021-10-06 2021-10-06 音制御装置およびその制御方法、電子楽器、プログラム WO2023058173A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037038 WO2023058173A1 (ja) 2021-10-06 2021-10-06 音制御装置およびその制御方法、電子楽器、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037038 WO2023058173A1 (ja) 2021-10-06 2021-10-06 音制御装置およびその制御方法、電子楽器、プログラム

Publications (1)

Publication Number Publication Date
WO2023058173A1 true WO2023058173A1 (ja) 2023-04-13

Family

ID=85803324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037038 WO2023058173A1 (ja) 2021-10-06 2021-10-06 音制御装置およびその制御方法、電子楽器、プログラム

Country Status (1)

Country Link
WO (1) WO2023058173A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372896A1 (en) * 2018-07-05 2020-11-26 Tencent Technology (Shenzhen) Company Limited Audio synthesizing method, storage medium and computer equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017173606A (ja) * 2016-03-24 2017-09-28 カシオ計算機株式会社 電子楽器、楽音発生装置、楽音発生方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017173606A (ja) * 2016-03-24 2017-09-28 カシオ計算機株式会社 電子楽器、楽音発生装置、楽音発生方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372896A1 (en) * 2018-07-05 2020-11-26 Tencent Technology (Shenzhen) Company Limited Audio synthesizing method, storage medium and computer equipment

Similar Documents

Publication Publication Date Title
US11996082B2 (en) Electronic musical instruments, method and storage media
JP2838977B2 (ja) カラオケ装置
JP7259817B2 (ja) 電子楽器、方法及びプログラム
JP2023118866A (ja) 電子楽器、方法及びプログラム
WO2020235506A1 (ja) 電子楽器、電子楽器の制御方法、記憶媒体
JP7355165B2 (ja) 楽曲再生システム、楽曲再生システムの制御方法およびプログラム
WO2023058173A1 (ja) 音制御装置およびその制御方法、電子楽器、プログラム
JP4038836B2 (ja) カラオケ装置
JP2000122674A (ja) カラオケ装置
WO2023058172A1 (ja) 音制御装置およびその制御方法、電子楽器、プログラム
JP4068069B2 (ja) バックコーラス音量を自動制御するカラオケ装置
JP6399715B1 (ja) 歌唱支援装置および、カラオケ装置
WO2022190502A1 (ja) 音生成装置およびその制御方法、プログラム、電子楽器
JP2001042879A (ja) カラオケ装置
WO2023233856A1 (ja) 音制御装置およびその制御方法、プログラム、電子楽器
JP5106437B2 (ja) カラオケ装置及びその制御方法並びにその制御プログラム
JP6406182B2 (ja) カラオケ装置、及びカラオケシステム
JPWO2022190502A5 (ja)
JP7158331B2 (ja) カラオケ装置
JP6252517B2 (ja) 音声合成装置、及びプログラム
JP7276292B2 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
JP2002221978A (ja) ボーカルデータ生成装置、ボーカルデータ生成方法および歌唱音合成装置
JP7456430B2 (ja) 情報処理装置、電子楽器システム、電子楽器、音節進行制御方法及びプログラム
WO2023175844A1 (ja) 電子管楽器及び電子管楽器の制御方法
JPH1185174A (ja) 利用者が伴奏音楽を演奏できるカラオケ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959915

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE