WO2016152708A1 - 音制御装置、音制御方法、および音制御プログラム - Google Patents

音制御装置、音制御方法、および音制御プログラム Download PDF

Info

Publication number
WO2016152708A1
WO2016152708A1 PCT/JP2016/058466 JP2016058466W WO2016152708A1 WO 2016152708 A1 WO2016152708 A1 WO 2016152708A1 JP 2016058466 W JP2016058466 W JP 2016058466W WO 2016152708 A1 WO2016152708 A1 WO 2016152708A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
syllable
key
output
information
Prior art date
Application number
PCT/JP2016/058466
Other languages
English (en)
French (fr)
Inventor
桂三 濱野
良朋 太田
一輝 柏瀬
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Publication of WO2016152708A1 publication Critical patent/WO2016152708A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser

Definitions

  • the present invention relates to a sound control device capable of outputting a predetermined sound, a sound control method, and a sound control program.
  • Patent Document 1 discloses the following technology. That is, the musical performance data generator generates a MIDI (musical instrument digital interface) message which is musical performance data according to the user's performance operation.
  • the song synthesizer In response to the MIDI data from the performance data generator, the song synthesizer sequentially uses the stored lyrics data while changing the singing position, and the singing voice having the pitch and the sound generation period determined by the MIDI message is used. Synthesize in real time.
  • the song synthesizing apparatus pronounces the lyrics created by the text editor at the pitch indicated by the note number, and advances the lyrics to the next character each time the note-on is made.
  • Patent Document 2 discloses an automatic singing device.
  • This automatic singing device inputs lyric data in the form of text data from the character text input operation unit, converts it into lyric sequence data, and stores it in the data memory.
  • the data memory also stores melody sequence data corresponding to the notes.
  • the lyric sequence data is also read out in response to the readout of the melody sequence data. At this time, if a flag indicating that it is a syllable to be pronounced simultaneously for a single note is described in the lyric sequence data, a plurality of lyric sequence data is read out for the same melody sequence data.
  • consonants and vowels are respectively pronounced from the sound source belonging to the unvoiced component pronunciation group of the sound source unit and the sound source belonging to the voiced speech component pronunciation group, these are synthesized and voiced .
  • An example of the object of the present invention is to provide a sound generation device, a sound generation method and a sound generation program capable of outputting a plurality of sounds in one continuous operation.
  • the sound control apparatus starts outputting the second sound in response to the reception unit receiving the stop instruction indicating the stop of the output of the first sound and the reception of the stop instruction. And a control unit for outputting the second sound after outputting the first sound, when it is determined that the output of the second sound is to be started.
  • the sound control method receives a stop instruction indicating stop of the output of the first sound, and responds to the reception of the stop instruction whether or not to start the output of the second sound. And, if it is determined to start outputting the second sound, outputting the second sound after outputting the first sound.
  • the sound control program receives a stop instruction indicating stop of the output of the first sound in the computer, and starts outputting the second sound in response to the reception of the stop instruction. If it is determined to start outputting the second sound, the second sound is output after the first sound is output.
  • a sound can be generated by an instruction to start sound generation, and a new sound can be generated by an instruction to stop sound generation. For this reason, it becomes possible to produce a plurality of sounds by one continuous operation at the time of real time performance.
  • FIG. 6 is a timing chart showing the operation of the sound generation device according to the first embodiment of the present invention. It is a flowchart of the key-off process which the sound production apparatus concerning 1st Embodiment of this invention performs.
  • FIG. 7 is a view for explaining another operation example of key-off processing performed by the sound generation device according to the first embodiment of the present invention.
  • FIG. 7 is a view for explaining another operation example of key-off processing performed by the sound generation device according to the first embodiment of the present invention.
  • FIG. 7 is a view for explaining another operation example of key-off processing performed by the sound generation device according to the first embodiment of the present invention.
  • FIG. 1 shows a functional block diagram showing a hardware configuration of a sound generation device according to an embodiment of the present invention.
  • the sound producing device 1 according to the embodiment of the present invention shown in FIG. 1 includes a central processing unit (CPU) 10, a read only memory (ROM) 11, a random access memory (RAM) 12, a sound source 13, and a sound system 14. , A display unit (display) 15, a performance operator 16, a setting operator 17, a data memory 18, and a bus 19.
  • the sound control device may correspond to the sound producing device 1 (100, 200).
  • the reception unit, the determination unit, the control unit, the storage unit, the acquisition unit, and the operation element of the sound control device may correspond to at least one of these configurations of the sound generation device 1.
  • the reception unit may correspond to at least one of the CPU 10 and the performance operator 16.
  • the determination unit may correspond to the CPU 10.
  • the control unit may correspond to at least one of the CPU 10, the sound source 13, and the sound system 14.
  • the storage unit may correspond to the data memory 18.
  • the operator may correspond to the performance operator 16.
  • the CPU 10 is a central processing unit that controls the entire sound generating apparatus 1 according to the embodiment of the present invention.
  • a ROM (Read Only Memory) 11 is a non-volatile memory in which a control program and various data are stored.
  • the RAM 12 is a volatile memory used as a work area of the CPU 10 and various buffers.
  • the data memory 18 stores syllable information including text data obtained by dividing the lyrics into syllables, and a phonological database in which speech segment data of the singing voice is stored.
  • the display unit 15 is a display unit including a liquid crystal display or the like on which an operation state, various setting screens, a message for the user, and the like are displayed.
  • the performance operation element 16 is a performance operation element including a keyboard (see a portion (c) in FIG. 7) having a plurality of keys corresponding to different pitches.
  • the performance control 16 generates performance information such as key-on, key-off, pitch and velocity. In the following, the performance operator may be referred to as a key.
  • the performance information may be performance information of a MIDI message.
  • the setting operator 17 is various setting operators such as an operation knob and an operation button for setting the sound producing device 1.
  • the sound source 13 has a plurality of tone generation channels. Under the control of the CPU 10, one sound generation channel is assigned to the sound source 13 in accordance with real-time performance using the user's performance operation element 16.
  • the sound source 13 reads voice segment data corresponding to a performance from the data memory 18 in the assigned tone generation channel to generate singing voice data.
  • the sound system 14 converts the singing sound data generated by the sound source 13 into an analog signal by a digital / analog converter, amplifies the singing sound converted into an analog signal, and outputs the amplified sound to a speaker or the like.
  • the bus 19 is a bus for transferring data between the units in the sound producing device 1.
  • FIG. 2A is an explanatory view of the sound production acceptance process in the key-on process.
  • FIG. 3B shows an explanatory diagram of syllable information acquisition processing.
  • FIG. 3C shows an explanatory diagram of speech segment data selection processing.
  • FIG. 4 shows a timing chart showing the operation of the sound producing device 1 of the first embodiment.
  • FIG. 5 shows a flowchart of key-off processing that is performed when the performance operation key 16 is turned off in the sound producing device 1 of the first embodiment.
  • the performance operation element 16 is operated to perform a performance.
  • the performance operator 16 may be a keyboard or the like.
  • the CPU 10 detects that the performance operator 16 is keyed on with the progress of the performance, the key-on process shown in FIG. 2A is started.
  • the CPU 10 executes the tone generation instruction acceptance process of step S10 and the syllable information acquisition process of step S11 in the key-on process.
  • the sound source 13 executes the speech segment data selection process of step S12 and the sound generation process of step S13 under the control of the CPU 10.
  • step S10 of the key-on process a sound generation instruction (an example of a start instruction) based on key-on of the operated performance operator 16 is received.
  • the CPU 10 receives performance information such as key-on timing, pitch information of the operated performance operator 16 and velocity.
  • performance information such as key-on timing, pitch information of the operated performance operator 16 and velocity.
  • the CPU 10 receives pitch information indicating the pitch of E5 and velocity information according to the key speed.
  • FIG. 2B is a flowchart showing details of the syllable information acquisition process.
  • the syllable information acquisition process is executed by the CPU 10.
  • the CPU 10 acquires the syllable at the cursor position in step S20.
  • specific lyrics are designated prior to the user's performance.
  • the specific lyrics correspond to, for example, the score shown in FIG. 3A, and are the lyrics stored in the data memory 18.
  • the cursor is placed at the beginning syllable of the text data. This text data is data obtained by dividing designated lyrics for each syllable.
  • the text data 30 is text data corresponding to the lyrics designated corresponding to the score shown in FIG. 3A.
  • the text data 30 has the syllables c1 to c42 shown in FIG. 3B, that is, "ha (ha)”, “ru (ru)”, “yo (yo)”, “ko (ko)”, “i ( i) is text data consisting of five syllables.
  • ha (ha)”, “ru (ru)”, “yo (yo)”, “ko (ko)” and “i (i)” each indicate a Japanese hiragana character and An example of In this case, the syllables “ha (ha)”, “ru (ru)” and “yo (yo)” of c1 to c3 are independent of each other. The syllables "ko" and "i” of c41 and c42 are grouped. The information indicating whether the information is grouped is grouping information (an example of setting information) 31. Grouping information 31 is embedded in each syllable or is associated with each syllable.
  • the symbol "x" indicates that the information is not grouped, and the symbol “o” indicates that the information is grouped.
  • the grouping information 31 may be stored in the data memory 18. As shown in FIG. 3B, when the first key-on n1 sounding instruction is received, the CPU 10 reads from the data memory 18 "ha” which is the first syllable c1 of the designated lyrics. At this time, the CPU 10 also reads out from the data memory 18 the grouping information 31 embedded in or associated with “ha”. Next, the CPU 10 determines whether the syllables acquired in step S21 are grouped, based on the acquired grouping information 31 of syllables.
  • step S20 If the syllable acquired in step S20 is c1 "(ha)", it is determined that the grouping information 31 is "x" and it is determined that the syllable is not grouped, and the process proceeds to step S25.
  • step S25 the CPU 10 advances the cursor to the next syllable of the text data 30, and places the cursor on "ru" of the second syllable c2.
  • the process of step S25 ends, the syllable information acquisition process ends, and the process returns to step S12 of the key-on process.
  • FIG. 3C is a diagram for explaining the speech segment data selection process of step S12.
  • the voice segment data selection process of step S12 is a process performed by the sound source 13 under the control of the CPU 10.
  • the sound source 13 selects speech segment data from the phonology database 32 to cause the acquired syllable to be pronounced.
  • "phoneme chain data 32a" and "stationary partial data 32b" are stored in the phoneme database 32.
  • the phoneme chain data 32a is data of phoneme fragments at the time of pronunciation change corresponding to "silence (#) to consonant", “consonant to vowel", “vowel to consonant or vowel (of the next syllable)", etc. is there.
  • the tone generation process of step S13 the sound production of the voice segment data of ““ # -h ” ⁇ “ ha ” ⁇ “ a ”is sequentially sound source It is done by 13.
  • the pronunciation of "ha (ha)" of the syllable c1 is performed.
  • the singing voice of "ha” is pronounced at the volume according to the velocity information at the pitch of E5 received at the time of acceptance of the tone-on instruction of the key-on n1.
  • the envelope ENV1 of the volume according to the velocity information of the key-on n1 is started, and the voice segment data of ““ # -h ” ⁇ “ ha ” ⁇ “ a ”” is used for the E5 pitch and envelope ENV1.
  • the sound is produced at the volume (step S13). Thereby, the singing sound of "ha” is pronounced.
  • the envelope ENV1 is a continuous sound envelope in which sustain continues until key-on n1 key-off.
  • the voice segment data of "a” is repeatedly reproduced until the key of key on n1 is keyed off at time t2.
  • the key-off an example of the stop instruction
  • the key-off process shown in FIG. 5 is started.
  • the CPU 10 executes the processing of steps S30 and S33 of the key-off processing.
  • the sound source 13 executes the processing of step S31 and step S32 under the control of the CPU 10.
  • step S30 it is determined in step S30 whether the key-off sound generation flag is on.
  • the key-off sound generation flag is set when acquired syllables are grouped. In the syllable information acquisition process shown in FIG. 2A, the first syllable c1 is not grouped. Therefore, the CPU 10 determines that the key-off sound generation flag is not set (No in step S30), and the process proceeds to step S34.
  • step S34 under the control of the CPU 10, the sound source 13 performs a mute process, and as a result, the sound generation of the song sound of "ha” is stopped. That is, in the release curve of the envelope ENV1, the singing sound of "ha” is muted.
  • step S10 When the performance operator 16 is operated with the progress of the real-time performance and the second key-on n2 is detected, the key-on process described above is started again, and the key-on process described above is performed.
  • the sound generation instruction acceptance process of step S10 in the second key-on process will be described.
  • the CPU 10 receives the timing of the key-on n2, pitch information indicating the pitch of E5 and velocity information according to the key speed.
  • the CPU 10 reads from the data memory 18 "ru" which is the second syllable c2 on which the cursor of the designated lyrics is placed.
  • Grouping information 31 of the acquired syllable "ru” is "x". For this reason, the CPU 10 determines that they are not grouped, and advances the cursor to "Yo" of c3 of the third syllable.
  • the speech segment data selection process of step S12 the sound source 13 generates speech corresponding to speech segment data "# -r” and "consonant r ⁇ vowel u” corresponding to "silence ⁇ consonant r” from the phoneme chain data 32a.
  • the segment data “ru” is selected, and the speech segment data “u” corresponding to “vowel u” is selected from the steady part data 32 b.
  • step S13 sound generation of the voice segment data of "# -r"-> "ru”-> “u” is sequentially performed in the sound source 13 under the control of the CPU 10. As a result, the syllable of "ru” of c2 is sounded, and the key-on process ends.
  • step S10 in the third key-on process will be described.
  • the CPU 10 receives the timing of the key on n3, pitch information indicating the pitch of D5, and velocity information according to the key speed.
  • the CPU 10 reads from the data memory 18 "yo" which is the third syllable c3 on which the cursor of the designated lyrics is placed.
  • the grouping information 31 of the acquired syllable "yo" is "x". For this reason, the CPU 10 determines that they are not grouped, and advances the cursor to "ko" of c41 of the fourth syllable.
  • the speech segment data selection process of step S12 the sound source 13 corresponds to the speech segment data "u-y” and "consonant y ⁇ vowel o" corresponding to "vowel u ⁇ consonant y" from the phoneme chain data 32a.
  • the speech segment data "y-o” is selected, and the speech segment data “o” corresponding to "vowel o” is selected from the steady part data 32b.
  • the third key-on n3 is a legato and is smoothly connected from “ru” to "yo” to make it sound.
  • sound generation of the voice segment data of "" u-y " ⁇ " y-o " ⁇ ” o "” is sequentially performed by the sound source 13 under the control of the CPU 10.
  • the syllables of "y (yo)" of c3 connected smoothly from "ru” of c2 are sounded, and the key-on process ends.
  • FIG. 4 shows the operation of the second and third key-on processing.
  • the CPU 10 receives a second key-on n2 tone generation instruction at time t3 (step S10).
  • the CPU 10 acquires the next syllable c2 and determines that the syllable c2 is not grouped with another syllable (step S11).
  • the sound source 13 selects speech segment data "# -r", "ru” and "u” for producing the syllable c2 (step S12).
  • the sound source 13 starts an envelope ENV2 of a volume according to the velocity information of the key-on n2, and the voice segment data of “# -r” ⁇ “ru” ⁇ “u” is the E5 pitch and envelope ENV2
  • the sound is produced at the volume of (step S13). Thereby, the song sound of "ru” is uttered.
  • the envelope ENV2 is similar to the envelope ENV1.
  • the speech segment data of "u” is repeatedly reproduced.
  • the third key-on n3 sounding instruction is accepted (step S10).
  • the CPU 10 acquires the next syllable c3 and determines that the syllable c3 is not grouped with another syllable (step S11).
  • the CPU 10 starts key off processing shown in FIG.
  • step S30 of the key-off process the second syllable c2 "ru" is not grouped. Therefore, the CPU 10 determines that the key-off sound generation flag is not set (No in step S30), and the process proceeds to step S34.
  • step S34 the pronunciation of the song sound of "ru" is stopped.
  • the key off process ends. This is due to the following reasons.
  • the sound source 13 selects speech segment data "u-y”, “y-o” and “o” for producing “yo (yo)” which is the syllable c3 (step S12), and from time t4 , "U-y"->"y-o->” o "” are produced at the pitch D5 and the volume of the sustain of the envelope ENV2 (step S13).
  • the singing sound is smoothly connected and pronounced from "ru” to "yo”. Note that even if the key-on n2 key is keyed off at time t5, no processing is performed because the generation of the singing sound based on the key-on n2 has already been stopped.
  • step S30 of the key-off process the CPU 10 determines that the key-off sound generation flag is not set (No in step S30), and the process proceeds to step S34.
  • step S34 the sound source 13 performs a mute process, and the sounding of the singing voice of "yo” is stopped. That is, the singing voice of "yo" is muted by the release curve of the envelope ENV2.
  • step S10 in the fourth key-on process will be described.
  • the CPU 10 when accepting the sound generation instruction based on the fourth key-on n4 of the operated performance operator 16, the CPU 10 performs the key-on n4 timing, pitch information indicating the pitch of E5, and velocity information according to the key speed.
  • step S11 the CPU 10 reads from the data memory 18 "ko (ko)" which is the fourth syllable c41 on which the cursor of the designated lyrics is placed (step S20). Grouping information 31 of the acquired syllable "ko (ko)" is " ⁇ ". Therefore, the CPU 10 determines that the syllable c41 is grouped with another syllable (step S21), and proceeds to step S22. In step S22, syllables (syllables in the group) belonging to the same group are acquired.
  • the CPU 10 since “ko” and “i” are grouped, the CPU 10 stores the syllable c 42 “i” in the same group as the syllable c 41 into the data memory 18. Read from Next, the CPU 10 sets the key-off sound generation flag in step S23, and prepares to sound the next syllable "i" belonging to the same group when the key is turned off. In the next step S24, the CPU 10 causes the text data 30 to advance the cursor to the next syllable beyond the group to which "ko" and "i" belong. However, in the case of the illustrated example, this process is skipped since there is no next syllable. When the process of step S24 ends, the syllable information acquisition process ends, and the process returns to step S12 of the key-on process.
  • the sound source 13 selects speech segment data corresponding to syllables "ko" and "i" belonging to the same group. That is, the sound source 13 includes, as speech segment data corresponding to the syllable "ko (ko)", speech segment data "# -k” and "consonant k ⁇ " corresponding to "silence ⁇ consonant k” from the phoneme chain data 32a. The voice segment data "ko” corresponding to the vowel o is selected, and the voice segment data "o” corresponding to the "vowel o” is selected from the steady part data 32b.
  • the sound source 13 selects speech segment data “o-i” corresponding to “vowel o ⁇ vowel i” from the phoneme chain data 32a as speech segment data corresponding to the syllable “i”. Then, speech segment data "i” corresponding to "vowel sound i” is selected from the steady part data 32b.
  • the sound generation process of step S13 the sound generation of the first syllable is performed among the syllables belonging to the same group. That is, under the control of the CPU 10, the sound source 13 sequentially generates voice segment data of "# -k"-> "k-o"-> "o". As a result, "ko (ko)", which is the syllable c41, is pronounced.
  • the singing voice of "ko (ko)" is sounded at the volume according to the velocity information at the pitch of E5 received at the time of acceptance of the sound generation instruction of the key-on n4.
  • the key-on process also ends.
  • FIG. 4 shows the operation of this key-on process.
  • the CPU 10 receives a tone generation instruction of the fourth key on n4 at time t7 (step S10).
  • the CPU 10 acquires the fourth syllable c41 (and the grouping information 31 embedded in or associated with the syllable c41). Based on the grouping information 31, the CPU 10 determines that the syllable c41 is grouped with another syllable.
  • the CPU 10 acquires the syllable c42 belonging to the same group as the syllable c41 and sets the key-off sound generation flag (step S11).
  • the sound source 13 selects speech segment data “# ⁇ k”, “k ⁇ o”, “o” and speech segment data “o ⁇ i”, “i” that produce syllables c 41 and c 42 ( Step S12). Then, the sound source 13 starts the envelope ENV3 of the volume according to the velocity information of the key-on n4, and the voice segment data of ““ # -k ” ⁇ “ ko ” ⁇ “ o ”” is the pitch of E5 and The sound is produced at the volume of the envelope ENV3 (step S13). Thereby, the singing voice of "ko (ko)" is pronounced.
  • the envelope ENV3 is similar to the envelope ENV1.
  • the voice segment data of "o" is repeatedly reproduced until the key applied to the key on n4 is keyed off at time t8.
  • the CPU 10 detects that the key-on n4 has been keyed off at time t8, the CPU 10 starts key-off processing shown in FIG.
  • step S30 of the key-off process the CPU 10 determines that the key-off sound generation flag is set (Yes in step S30), and the process proceeds to step S31.
  • step S31 the sound generation process of the next syllable belonging to the same group as the syllable generated earlier is performed. That is, in the syllable information acquisition process of step S12 performed earlier, the sound source 13 is the voice of "o-i" to "i" selected as the speech segment data corresponding to the syllable "i".
  • the segment data is produced at the pitch of E5 and the volume of the release curve of envelope ENV3.
  • the singing voice of "i (i)" which is the syllable c42, is produced at the same pitch E5 as "ko (ko)” of c41.
  • a mute process is performed in step S32, and the sounding of the song sound of "i” is stopped. That is, the singing sound of "i” is muted by the release curve of the envelope ENV3.
  • the sound generation of "ko (ko)” is stopped when the sound generation shifts to "i (i)”.
  • the key-off sound generation flag is reset, and the key-off process is ended.
  • the singing voice which is the singing sound according to the user's real time performance comes to be pronounced, and at the same time the user performs an operation to press the key once during the real time performance.
  • a plurality of singing voices can be pronounced (that is, one continuous operation from pressing to releasing a key, and so on). That is, in the sound generation device 1 of the first embodiment, the grouped syllables are a set of syllables to be sounded by the operation of pressing the key once. For example, syllables of grouped c41 and c42 are pronounced by a single operation of pressing a key.
  • step S31 may be omitted in order to immediately sound the syllable corresponding to key-on n5.
  • the syllable of c42 is not pronounced, and immediately after the key-on n5, the next syllable of c42 is pronounced.
  • the pronunciation of "i (i)" of the next syllable c42 belonging to the same group as the previous syllable c41 is pronounced at the timing when the key applied to the key on n4 is keyed off. For this reason, there is a possibility that the pronunciation length of the syllable instructed to be pronounced by the key-off is too short and unclear.
  • 6A to 6C show another operation example of the key-off process which can make the sound generation of the next syllable belonging to the same group sufficiently long. In the example shown in FIG. 6A, in the envelope ENV3 started by the key-on n4 sounding instruction, the attenuation start is delayed from the key-off by a predetermined time td.
  • the sound production length of the next syllable belonging to the same group can be made sufficiently long.
  • the sounding length of the next syllable belonging to the same group can be made sufficiently long by operating the sustain pedal or the like. That is, in the example illustrated in FIG. 6A, the sound source 13 causes the sound of the syllable c41 to be output at a constant volume in the second half of the envelope ENV3. Next, the sound source 13 starts the output of the sound of the syllable c42 continuously to the stop of the output of the sound of the syllable c41.
  • the volume of the sound of the syllable c42 is the same as the volume immediately before the mute of the syllable c41.
  • the sound source 13 starts to decrease the volume of the sound of the syllable c 42 after maintaining the volume for a predetermined time td.
  • the envelope ENV3 is slowly attenuated. That is, by generating a release curve R3 in which the release curve is indicated by a one-dot chain line and having a gentle slope, the sound production length of the next syllable belonging to the same group can be made sufficiently long. That is, in the example shown in FIG.
  • the sound source 13 attenuates at a slower rate than the decay rate of the sound volume of the syllable c41 when the sound of the syllable c42 is not output (when the syllable c41 is not grouped with other syllables).
  • the sound of the syllable c42 is output while reducing the volume of the sound of the syllable c42 by the speed.
  • the key-off is regarded as a new note-on instruction, and the next syllable is pronounced with a new note of the same pitch. That is, the envelope ENV 10 is started at the key-off time t13 to sound the next syllable belonging to the same group.
  • the sound source 13 starts the output of the sound of the syllable c42 simultaneously with the start of the reduction of the volume of the sound of the syllable c41. At this time, the sound source 13 outputs the sound of the syllable c42 while increasing the volume of the sound of the syllable c42.
  • the lyrics are in Japanese is illustrated. In Japanese, almost one letter is one syllable. On the other hand, in other languages, one letter often does not become one syllable.
  • the sound producing apparatus produces a predetermined sound without lyrics such as humming sound, singing sound such as scat or chorus, or sound effect such as ordinary musical instrument sound or bird's song or telephone bell.
  • the sound generation device of the second embodiment is referred to as a sound generation device 100.
  • the configuration of the sound generation device 100 of the second embodiment is substantially the same as that of the sound generation device 1 of the first embodiment.
  • the second embodiment is different from the first embodiment in the configuration of the sound source 13. That is, the sound source 13 of the second embodiment has the tone color of the predetermined sound without the above-mentioned lyrics, and can emit the predetermined sound without the lyrics according to the designated tone color.
  • step S12 a sound source waveform or voice segment data for causing a predetermined sound or voice to be produced is selected. The operation will be described below.
  • the CPU 10 When the CPU 10 detects that the performance operator 16 has been keyed on by performing real-time performance by the user, the CPU 10 starts key-on processing shown in FIG. 2A.
  • the CPU 10 receives the first key-on n1 sounding instruction in step S10, and receives pitch information indicating the pitch of E5 and velocity information corresponding to the key speed. Then, the CPU 10 acquires key-off sound generation information corresponding to the first key-on n1 with reference to the key-off sound generation information 40 shown in the part (b) of FIG. 7. In this case, specific key-off sound generation information 40 is designated prior to the user's performance.
  • the specific key-off sound generation information 40 corresponds to the score shown in part (a) of FIG. 7 and is stored in the data memory 18. Also, the first key-off pronunciation information of the designated key-off pronunciation information 40 is referred to. The key-off sound generation flag is not set for the key-on n1, since the first key-off sound generation information is "X”.
  • the sound source 13 performs speech segment data selection processing. That is, the sound source 13 selects voice segment data for producing a predetermined voice. As a specific example, the case of producing the sound of "na (na)" will be described. In the following, “na (na)” indicates a Japanese katakana character.
  • the sound source 13 selects speech segment data "# -n” and "na” from the phoneme chain data 32a, and selects speech segment data "a” from the steady part data 32b. Then, in step S13, a tone generation process corresponding to the key on n1 is performed.
  • the sound source 13 is the pitch of E5 received at the time of detection of the key-on n1, "#-n”-> " The speech segment data from n-a "to” a "is pronounced. As a result, the singing sound of "na” is pronounced. This sounding is continued until the key on n1 is keyed off, and when it is keyed off, it is muted and stopped.
  • the CPU 10 detects the key-on n2 as the real-time performance progresses, the same process as described above is performed. Since the second key-off sound generation information corresponding to the key-on n2 is "x", the key-off sound generation flag for the key-on n2 is not set. As shown in part (c) of FIG. 7, a predetermined sound is produced at the pitch of E5, for example, a singing sound of "na”. If the key-on n3 is detected before the key-on n2 key is keyed off, the same process as described above is performed. Since the third key-off sound generation information corresponding to the key-on n3 is "x", the key-off sound generation flag for the key-on n3 is not set.
  • a predetermined sound is produced at the pitch D5, for example, a singing sound of "na".
  • the sound generation corresponding to the key-on n3 becomes a legato smoothly connected to the sound generation corresponding to the key-on n2.
  • the sound generation corresponding to the key on n2 is stopped.
  • the key of key on n3 is keyed off, the sound generation corresponding to key on n3 is muted and stopped.
  • the CPU 10 detects the key-on n4 as the performance further progresses, the same process as described above is performed. Since the fourth key-off sound generation information corresponding to the key-on n4 is "o", the key-off sound generation flag for the key-on n4 is set. As shown in part (c) of FIG. 7, a predetermined sound is produced at the pitch of E5, for example, a singing sound of "na”. When the key-on n4 is keyed off, the sound generation corresponding to the key-on n2 is muted and stopped. However, since the key-off sound generation flag is set, the CPU 10 determines that the key-on n4 'shown in part (c) of FIG.
  • the sound source 13 generates the sound corresponding to the key-on n4' as the key-on n4.
  • a predetermined voice at the pitch of E5 for example, a singing voice of "na" is pronounced when the key of key-on n4 is keyed off.
  • the tone generation length corresponding to the key-on n4 ' is a predetermined length.
  • the syllables of the text data 30 each time the user presses the performance operation element 16 The sound is produced at the pitch of the performance operator 16.
  • the text data 30 is text data obtained by dividing designated lyrics into syllables.
  • the lyrics specified at the time of real time performance are sung.
  • the first syllable and the second syllable can be pronounced at the pitch of the performance operator 16 by one continuous operation on the performance operator 16.
  • the first syllable is generated at the pitch applied to the performance operation element 16 in response to pressing the performance operation element 16.
  • the second syllable is sounded at the pitch applied to the performance operator 16 in response to the operation of leaving the performance operator 16.
  • the sound generation device 100 according to the second embodiment can be applied to a karaoke guide or the like. Also in this case, a predetermined sound without lyrics in accordance with an operation of pushing the performance operator 16 and an operation of leaving the performance operator 16 included in one continuous operation on the performance operator 16. Can be pronounced.
  • a sound producing device 200 when the user performs real time performance using the performance operation element 16 such as a keyboard, it is possible to perform a performance of an expressive singing voice.
  • the hardware configuration of the sound production apparatus 200 of the third embodiment is the same as that shown in FIG.
  • the key-on process shown in FIG. 2A is executed as in the first embodiment.
  • the content of the syllable information acquisition process of step S11 in the key-on process is different from that of the first embodiment.
  • the flowchart shown in FIG. 8 is executed as the syllable information acquisition process of step S11.
  • FIG. 8 the flowchart shown in FIG. 8 is executed as the syllable information acquisition process of step S11.
  • FIG. 9A is a diagram for describing a sound generation instruction reception process executed by the sound generation device 200 of the third embodiment.
  • FIG. 9B is a view for explaining syllable information acquisition processing executed by the sound generation device 200 of the third embodiment.
  • FIG. 10 shows “value v1” to “value v3” of the lyrics information table.
  • FIG. 11 shows an operation example of the sound generation device 200 of the third embodiment.
  • the sound producing device 200 of the third embodiment will be described with reference to these drawings.
  • the performance operation element 16 is operated to perform a performance.
  • the performance operator 16 is a keyboard or the like.
  • the CPU 10 detects that the performance operator 16 is keyed on with the progress of the performance, the key-on process shown in FIG. 2A is started.
  • the CPU 10 executes the sound generation instruction acceptance process of step S10 of the key-on process and the syllable information acquisition process of step S11.
  • the sound source 13 executes the speech segment data selection process of step S12 and the sound generation process of step S13 under the control of the CPU 10.
  • step S10 of the key-on process a tone generation instruction based on the key-on of the operated performance operator 16 is accepted.
  • the CPU 10 receives performance information such as key-on timing, pitch information of the operated performance operator 16 and velocity.
  • the CPU 10 receives the pitch information indicating the pitch of E5 and the velocity information according to the key speed when accepting the first key-on n1 timing.
  • step S11 syllable information acquisition processing for acquiring syllable information corresponding to the key-on n1 is performed.
  • FIG. 8 shows a flowchart of this syllable information acquisition process.
  • the CPU 10 acquires the syllable at the cursor position in step S40.
  • the lyric information table 50 is designated prior to the user's performance.
  • the lyrics information table 50 is stored in the data memory 18.
  • the lyrics information table 50 includes text data in which the lyrics corresponding to the musical score corresponding to the performance are divided into syllables. This lyric is a lyric corresponding to the score shown in FIG. 9A.
  • the cursor is placed at the top syllable of the text data of the designated lyric information table 50.
  • step S41 the CPU 10 refers to the lyric information table 50 to acquire a pronunciation control parameter (an example of a control parameter) associated with the syllable of the acquired first text data.
  • FIG. 9B shows a lyric information table 50 corresponding to the score shown in FIG. 9A.
  • the lyric information table 50 is a characteristic configuration. As shown in FIG. 9B, the lyric information table 50 includes syllable information 50a, a pronunciation control parameter type 50b, and value information 50c of a pronunciation control parameter.
  • the syllable information 50a includes text data in which the lyrics are divided into syllables.
  • the sound generation control parameter type 50b designates any of various parameter types.
  • the sound generation control parameter includes a sound generation control parameter type 50 b and value information 50 c of the sound generation control parameter. In the example shown to FIG.
  • the syllable information 50a consists of a syllable which divided the lyrics of c1, c2, c3, c41 similar to the text data 30 shown to FIG. 3B.
  • the pronunciation control parameter type 50b one or more of the parameters a, b, c, d are set for each syllable. Examples of this pronunciation control parameter type are "Harmonics”, “Brightness”, “Resonance” and “GenderFactor". "Harmonics” is a type of parameter that changes the balance of the harmonic components contained in the voice. "Brightness” is a type of parameter that produces a tone change by directing the tone of the voice.
  • “Resonance” is a type of parameter that produces voiced voice timbre and strength.
  • “GenderFactor” is a type of parameter that changes the thickness and texture of a feminine or male voice by changing formants.
  • the value information 50c is information for setting the value of the sound generation control parameter, and includes “value v1”, “value v2”, and “value v3”.
  • the “value v1” sets the manner of change over time of the tone generation control parameter and can be represented by a graph shape (waveform).
  • Part (a) of FIG. 10 shows an example of “value v1” represented by graph shape.
  • Part (a) of FIG. 10 shows graph shapes w1 to w6 as “value v1”.
  • the graph shapes w1 to w6 have different temporal changes.
  • the “value v1” is not limited to the graph shapes w1 to w6.
  • a graph shape (value) that changes over time can be set as the “value v1”.
  • the “value v2” is a value for setting the time of the horizontal axis of the “value v1” shown in the graph shape as shown in the part (b) of FIG. By setting the “value v2”, it is possible to set the speed of change which is the time from the beginning to the end of the effect.
  • the “value v3” is a value for setting the amplitude of the vertical axis of the “value v1” shown in the graph shape as shown in the part (b) of FIG.
  • the depth of change indicating the degree to which the effect is applied can be set.
  • the settable range of the value of the sound generation control parameter set in the value information 50c differs depending on the sound generation control parameter type.
  • the syllable specified by the syllable information 50a may include a syllable in which the pronunciation control parameter type 50b and its value information 50c are not set.
  • the sound generation control parameter type 50b and the value information 50c thereof are not set in the syllable c3 shown in FIG.
  • the syllable information 50a, the pronunciation control parameter type 50b, and the value information 50c of the lyrics information table 50 are created and / or edited prior to the user's performance and stored in the data memory 18.
  • step S41 the CPU 10 acquires the syllable of c1 in step S40. Therefore, in step S41, the CPU 10 acquires, from the lyric information table 50, the tone generation control parameter type and the value information 50c associated with the syllable c1. That is, the CPU 10 acquires the parameter a and the parameter b which are set in the column next to c1 of the syllable information 50a as the sound generation control parameter type 50b, and the detailed information is omitted from illustration "value v1" to "value "v3" is acquired as the value information 50c.
  • step S42 the process proceeds to step S42.
  • step S42 the CPU 10 advances the cursor to the next syllable of the text data to place the cursor on c2 of the second syllable.
  • the syllable information acquisition process ends, and the process returns to step S12 of the key-on process.
  • speech segment data for causing the acquired syllable c1 to be pronounced is selected from the phoneme database 32.
  • step S13 sound generation of the selected voice segment data is sequentially performed by the sound source 13. As a result, the syllable of c1 is pronounced.
  • the singing voice of syllable c1 is produced at a volume according to the pitch and velocity information of E5 received at the time of reception of key-on n1.
  • the key-on process also ends.
  • Part (c) of FIG. 11 shows a piano roll score 52.
  • the sound source 13 generates the selected voice segment data at the pitch E5 received at the time of detection of the key-on n1.
  • the singing sound of syllable c1 is pronounced.
  • the parameter a set with “value v1”, “value v2” and “value v3” is different from the parameter b set with “value v1”, “value v2” and “value v3”
  • the pronunciation control of the singing sound is performed by two pronunciation control parameter types, ie, two different modes. Therefore, it is possible to change the expression, intonation, voice quality and timbre of the singing voice to be sung, and it becomes possible to add fine nuances and intonation to the singing voice.
  • the pronunciation of the singing voice is generated by three different tone generation control parameter types of the parameter b, the parameter c and the parameter d. Control is performed. By this, it is possible to change the expression and intonation of the singing voice, the voice quality and the timbre.
  • the key-on n3 is detected as the real-time performance progresses, the same process as described above is performed, and the third syllable c3 corresponding to the key-on n3 is sounded at the pitch D5.
  • the sound generation control parameter type 50b is not set in the syllable c3. For this reason, when the syllable c3 is pronounced, as shown by the piano roll score 52 in the part (c) of FIG. 11, the pronunciation control of the singing voice by the pronunciation control parameter is not performed.
  • the syllable information 50a of the lyric information table 50 in the sound production apparatus 200 is made up of text data 30 of syllables obtained by dividing the lyric as shown in FIG. 3B and its grouping information 31 Do.
  • the grouped syllables can be sounded at the pitch of the performance operator 16 by one continuous operation on the performance operator 16. That is, the first syllable is produced at the pitch of the performance operator 16 in response to pressing the performance operator 16.
  • the second syllable is produced at the pitch of the performance operator 16 in response to the operation of leaving the performance operator 16.
  • the tone generation control is performed by the tone generation control parameter associated with each syllable.
  • the sound producing device 200 of the third embodiment can produce a predetermined sound without the above-described lyrics to be produced by the sound producing device 100 of the second embodiment.
  • the sound generation control parameter to be acquired is not determined according to the syllable information, but the key depression operation is performed for the first time. Sound generation control parameters to be acquired may be determined depending on the situation.
  • the pitch is designated in accordance with the operated performance operator 16 (key pressed).
  • the pitches may be designated according to the order in which the performance operators 16 are operated.
  • the lyrics information table 50 includes a plurality of control parameter information (an example of a control parameter), that is, first to nth control parameter information.
  • the first control parameter information includes the combination of the parameter a and the values v1 to v3 and the combination of the parameter b and the values v1 to v3.
  • the plurality of pieces of control parameter information are associated in different orders.
  • the first control parameter information is associated with the first order.
  • the second control parameter information is associated with the second order.
  • the CPU 10 When detecting the first (first) key-on, the CPU 10 reads the first control parameter information associated with the first order from the lyric information table 50. The sound source 13 outputs a sound in a mode according to the read first control parameter information. Similarly, when detecting the n-th (n-th) key-on, the CPU 10 reads, from the lyric information table 50, the pronunciation control parameter information associated with the n-th control parameter information associated with the n-th order. . The sound source 13 outputs a sound in a mode according to the read nth control parameter information.
  • the data memory 18 stores a lyric information table 50 shown in FIG.
  • the lyrics information table 50 includes a plurality of control parameter information.
  • the plurality of pieces of control parameter information are associated with different pitches.
  • the first control parameter information is associated with the pitch A5.
  • the second control parameter information is associated with the pitch B5.
  • the CPU 10 reads the first parameter information associated with the pitch A5 from the data memory 18.
  • the sound source 13 outputs a sound in an aspect and pitch A5 according to the read first control parameter information.
  • the CPU 10 reads, from the data memory 18, the second control parameter information associated with the pitch B5.
  • the sound source 13 outputs a sound in an aspect and pitch B5 according to the read second control parameter information.
  • the data memory 18 stores text data 30 shown in FIG.
  • the text data 30 includes a plurality of syllables: a first syllable "i”, a second syllable “ro” and a third syllable “ha”.
  • “i”, “ro” and “ha” each indicate a Japanese hiragana character and is an example of a syllable.
  • the first syllable "i” is associated with the first order.
  • the second syllable “ro” is associated with the second order.
  • the third syllable "ha” is associated with the third order.
  • the data memory 18 further stores a lyric information table 50 shown in FIG.
  • the lyrics information table 50 includes a plurality of control parameter information.
  • the plurality of pieces of control parameter information are associated with different syllables.
  • the second control parameter information is associated with the syllable "i”.
  • the 26th control parameter information (not shown) is associated with the syllable “ha”.
  • the 45th control parameter information is associated with "ro”.
  • the CPU 10 detects the first (first) key-on, the CPU 10 reads “i” (i) associated with the first order from the text data 30. Further, the CPU 10 reads, from the lyrics information table 50, the second control parameter information associated with “i (i)”.
  • the sound source 13 outputs a singing sound indicating “i” in a manner according to the read second control parameter information.
  • the CPU 10 when detecting the second (second time) key-on, the CPU 10 reads “ro” associated with the second order from the text data 30. In addition, the CPU 10 reads, from the lyrics information table 50, the 45th control parameter information associated with "ro". The sound source 13 outputs a singing sound indicating "ro" in a mode according to the 45th control parameter information.
  • the key-off sound generation information according to the embodiment of the present invention described above may be stored separately from the syllable information instead of being included in the syllable information.
  • the key-off sound generation information may be data describing how many times the key is pressed to perform key-off sound generation.
  • the key-off sound generation information may be information generated by a user instruction in real time at the time of playing. For example, the key-off sound may be performed on the note only when the user depresses the pedal while holding the key. Key-off sound generation may be performed when the time during which the key is pressed exceeds a predetermined length. In addition, key-off tone generation may be performed when the key depression velocity exceeds a predetermined value.
  • a program for realizing the functions of the singing sound producing device 1, 100, 200 according to the embodiment described above is recorded in a computer readable recording medium, and the program recorded in the recording medium is read into a computer system
  • the process may be performed by executing the process.
  • the “computer-readable recording medium” is a volatile memory (for example, DRAM (Dynamic Random Access) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line). Also, those including a program that has been held for a certain period of time, such as Memory)).
  • the above program may be transmitted from a computer system in which the program is stored in a storage device or the like to another computer system via a transmission medium or by transmission waves in the transmission medium.
  • the “transmission medium” for transmitting the program is a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the above program may be for realizing a part of the functions described above.
  • the above program may be a so-called difference file (difference program) that can realize the above-described function in combination with a program already recorded in the computer system.

Abstract

　音制御装置は、第１音の出力の停止を示す停止指示を受け付ける受付部と、前記停止指示が受け付けられたことに応答して、第２音の出力を開始するか否かを決定する決定部と、前記第２の音の出力を開始すると決定された場合、前記第１音を出力させた後に前記第２音を出力させる制御部と、を備える。

Description

音制御装置、音制御方法、および音制御プログラム
　この発明は、所定の音を出力させることができる音制御装置、音制御方法、および音制御プログラムに関する。
　本願は、２０１５年３月２０日に日本国に出願された特願２０１５－０５７９４５号に基づいて優先権を主張し、その内容をここに援用する。
　特許文献１には、以下のような技術を開示されている。すなわち、ユーザーの演奏操作に応じて演奏データたるＭＩＤＩ（musical instrument digital interface）メッセージを演奏データ発生装置が発生させる。歌唱合成装置が、演奏データ発生装置からＭＩＤＩメッセージが順次与えられるのに応じて、予め記憶した歌詞データを歌唱位置を変えつつ順次利用し、ＭＩＤＩメッセージにより定まるピッチおよび発音期間を持った歌唱音声をリアルタイムに合成する。この歌唱合成装置は、ノートオンメッセージの受信に応じて、テキストエディタで作成された歌詞をノートナンバが示すピッチで発音させ、ノートオンのたびに次の文字へと歌詞を進行させる。
　特許文献２は、自動歌唱装置を開示している。この自動歌唱装置は、文字テキスト入力操作部から歌詞データをテキストデータの形式で入力し、歌詞シーケンスデータに変換して、データメモリに格納する。データメモリには、音符に対応するメロディシーケンスデータも格納されている。そのメロディシーケンスデータの読み出しに応じて、前記歌詞シーケンスデータも読み出される。このとき、歌詞シーケンスデータ中に単一の音符に対して同時に発音すべき音節であることを示すフラグが記載されていると、同一のメロディシーケンスデータに対して複数の歌詞シーケンスデータが読み出される。さらに、各歌詞シーケンスデータに基づいて、音源部の無声音成分発音グループに属する音源および有声音成分発音グループに属する音源から、それぞれ、子音と母音とが発音され、これらが合成されて音声出力される。
日本国特開２００８－１７０５９２号公報 日本国特開平０９－０５０２８７号公報
　歌を歌う時では、１つの音符で複数の歌詞を発音することがある。日本語の歌詞の場合は、撥音が１つの音符で複数の歌詞を発音する代表例とされる。撥音とは、「かん（ｋａｎ）」、「さん（ｓａｎ）」などの日本語の仮名である「ん（ｎ）」がつく言葉である。特許文献１記載の歌唱合成装置においては、鍵が１回押されることで１つの歌詞しか進められない。このため、鍵が１回押されることによってでは複数の歌詞の歌唱音を発音することはできない。
　特許文献２記載の自動歌唱装置では、単一の音符に対して複数の歌詞を発音することができる。しかしながら、この自動歌唱装置では、あらかじめ用意したデータを再生させるようにしているため、ユーザーの演奏によって歌詞を発音させることはできない。
　リアルタイム演奏時に、複数の歌唱音を発音させる場合には、鍵が１回押されることに応じて複数の歌唱音を発音させる必要がある。しかしながら、２つ目以降の歌唱音に対する発音指示がないことから、特許文献２記載の技術を特許文献１記載の技術に適用しても、２つ目以降の歌唱音を発音させることができないという問題点があった。
　本発明の目的の一例は、１回の連続する操作で、複数の音を出力させることができる発音装置、発音方法および発音プログラムを提供することである。
　本発明の実施態様にかかる音制御装置は、第１音の出力の停止を示す停止指示を受け付ける受付部と、前記停止指示が受け付けられたことに応答して、第２音の出力を開始するか否かを決定する決定部と、前記第２の音の出力を開始すると決定された場合、前記第１音を出力させた後に前記第２音を出力させる制御部と、を備える。
　本発明の実施態様にかかる音制御方法は、第１音の出力の停止を示す停止指示を受け付け、前記停止指示が受け付けられたことに応答して、第２音の出力を開始するか否かを決定し、前記第２の音の出力を開始すると決定された場合、前記第１音を出力させた後に前記第２音を出力させる、ことを含む。
　本発明の実施態様にかかる音制御プログラムは、コンピュータに、第１音の出力の停止を示す停止指示を受け付け、前記停止指示が受け付けられたことに応答して、第２音の出力を開始するか否かを決定し、前記第２の音の出力を開始すると決定された場合、前記第１音を出力させた後に前記第２音を出力させる、ことを実行させる。
　本発明の実施形態にかかる発音装置では、発音の開始の指示により音を発音すると共に、発音の停止の指示により新たな音の発音を行うことができる。このため、リアルタイム演奏時の１回の連続する操作で複数の音を発音することができるようになる。
本発明の実施形態にかかる発音装置のハードウェア構成を示す機能ブロック図である。 本発明の第１実施形態にかかる発音装置が実行するキーオン処理のフローチャートである。 本発明の第１実施形態にかかる発音装置が実行する音節情報取得処理のフローチャートである。 本発明の第１実施形態にかかる発音装置が処理する発音指示受付処理を説明する図である。 本発明の第１実施形態にかかる発音装置が処理する音節情報取得処理を説明する図である。 本発明の第１実施形態にかかる発音装置が処理する音声素片データ選択処理を説明する図である。 本発明の第１実施形態にかかる発音装置の動作を示すタイミング図である。 本発明の第１実施形態にかかる発音装置が実行するキーオフ処理のフローチャートである。 本発明の第１実施形態にかかる発音装置が実行するキーオフ処理の他の動作例を説明する図である。 本発明の第１実施形態にかかる発音装置が実行するキーオフ処理の他の動作例を説明する図である。 本発明の第１実施形態にかかる発音装置が実行するキーオフ処理の他の動作例を説明する図である。 本発明の第２実施形態にかかる発音装置の動作例を説明する図である。 本発明の第３実施形態にかかる発音装置が実行する音節情報取得処理のフローチャートである。 本発明の第３実施形態にかかる発音装置が実行する発音指示受付処理を説明する図である。 本発明の第３実施形態にかかる発音装置が実行する音節情報取得処理を説明する図である。 本発明の第３実施形態にかかる発音装置における歌詞情報テーブルの値を示す図である。 本発明の第３実施形態にかかる発音装置の動作例を説明する図である。 本発明の第３実施形態にかかる歌詞情報テーブルの変形例を示す図である。 本発明の第３実施形態にかかる歌詞情報テーブルの変形例を示す図である。 本発明の第３実施形態にかかるテキストデータの変形例を示す図である。 本発明の第３実施形態にかかる歌詞情報テーブルの変形例を示す図である。
　図１は、本発明の実施形態にかかる発音装置のハードウェア構成を示す機能ブロック図を示す。
　図１に示す本発明の実施形態にかかる発音装置１は、ＣＰＵ（Central Processing Unit）１０と、ＲＯＭ（Read Only Memory）１１と、ＲＡＭ（Random Access Memory）１２と、音源１３と、サウンドシステム１４と、表示部（表示器）１５と、演奏操作子１６と、設定操作子１７と、データメモリ１８と、バス１９とを備える。
　音制御装置は、発音装置１（１００、２００）に相当してもよい。この音制御装置の受付部、決定部、制御部、記憶部、取得部、および操作子は各々、発音装置１のこれらの構成の少なくとも一つに相当してもよい。例えば、受付部は、ＣＰＵ１０および演奏操作子１６の少なくとも一つに相当してもよい。決定部は、ＣＰＵ１０に相当してもよい。制御部は、ＣＰＵ１０、音源１３およびサウンドシステム１４の少なくとも一つに相当してもよい。記憶部は、データメモリ１８に相当してもよい。操作子は、演奏操作子１６に相当してもよい。
　ＣＰＵ１０は、本発明の実施形態にかかる発音装置１全体の制御を行う中央処理装置である。ＲＯＭ（Read Only Memory）１１は制御プログラムおよび各種のデータなどが格納されている不揮発性のメモリである。ＲＡＭ１２はＣＰＵ１０のワーク領域および各種のバッファなどとして使用される揮発性のメモリである。データメモリ１８は歌詞を音節に区切ったテキストデータを含む音節情報および歌唱音の音声素片データが格納されている音韻データベースなどが格納されている。表示部１５は、動作状態および各種設定画面やユーザーに対するメッセージなどが表示される液晶表示器等からなる表示部である。演奏操作子１６は、それぞれ異なる音高に対応する複数の鍵を有する鍵盤（図７の部分（ｃ）参照）などからなる演奏操作子である。演奏操作子１６は、キーオン、キーオフ、音高、ベロシティなどの演奏情報を発生する。以下において、演奏操作子を鍵と称する場合がある。この演奏情報は、ＭＩＤＩメッセージの演奏情報であってもよい。設定操作子１７は、発音装置１を設定する操作つまみや操作ボタンなどの各種設定操作子である。
　音源１３は、複数の発音チャンネルを有する。音源１３には、ＣＰＵ１０の制御の基で、ユーザーの演奏操作子１６を使用するリアルタイム演奏に応じて１つの発音チャンネルが割り当てられる。音源１３は、割り当てられた発音チャンネルにおいて、データメモリ１８から演奏に対応する音声素片データを読み出して歌唱音データを生成する。サウンドシステム１４は、音源１３で生成された歌唱音データをデジタル／アナログ変換器によりアナログ信号に変換して、アナログ信号とされた歌唱音を増幅してスピーカ等へ出力している。バス１９は発音装置１における各部の間のデータ転送を行うためのバスである。
　本発明の第１実施形態にかかる発音装置１について以下に説明する。第１実施形態の発音装置１では、演奏操作子１６をキーオンした際に図２Ａに示すフローチャートのキーオン処理が実行される。図２Ｂは、このキーオン処理における音節情報取得処理のフローチャートを示す。図３Ａは、キーオン処理における発音受付処理の説明図を示す。図３Ｂは、音節情報取得処理の説明図を示す。図３Ｃは、音声素片データ選択処理の説明図を示す。図４は、第１実施形態の発音装置１の動作を示すタイミング図を示す。図５は、第１実施形態の発音装置１において、演奏操作子１６をキーオフした際に実行されるキーオフ処理のフローチャートを示す。
　第１実施形態の発音装置１において、ユーザーがリアルタイム演奏を行う場合は、演奏操作子１６を操作して演奏を行う。演奏操作子１６は鍵盤等であってもよい。演奏の進行に伴い演奏操作子１６がキーオンされたことをＣＰＵ１０が検出すると、図２Ａに示すキーオン処理をスタートする。キーオン処理におけるステップＳ１０の発音指示受付処理およびステップＳ１１の音節情報取得処理はＣＰＵ１０が実行する。ステップＳ１２の音声素片データ選択処理およびステップＳ１３の発音処理はＣＰＵ１０の制御の基で音源１３が実行する。
　キーオン処理のステップＳ１０では、操作された演奏操作子１６のキーオンに基づく発音指示（開始指示の一例）を受け付ける。この場合、ＣＰＵ１０はキーオンのタイミング、操作された演奏操作子１６の音高情報およびベロシティなどの演奏情報を受け取るようになる。図３Ａに示す楽譜の通りユーザーがリアルタイム演奏した場合は、最初のキーオンｎ１の発音指示を受け付けた時に、ＣＰＵ１０はＥ５の音高を示す音高情報と鍵速度に応じたベロシティ情報を受け取る。
　次いで、ステップＳ１１にて、キーオンに対応する音節情報を取得する音節情報取得処理を行う。図２Ｂは、音節情報取得処理の詳細を示すフローチャートである。音節情報取得処理はＣＰＵ１０で実行される。ＣＰＵ１０は、ステップＳ２０においてカーソル位置の音節を取得する。この場合、ユーザーの演奏に先立って、特定の歌詞が指定されている。特定の歌詞とは、例えば、図３Ａに示す楽譜に対応し、データメモリ１８に格納されている歌詞である。また、テキストデータの先頭の音節にカーソルが置かれている。このテキストデータは、指定された歌詞を音節毎に区切ったデータである。具体例として、テキストデータ３０が、図３Ａに示す楽譜に対応して指定された歌詞に対応するテキストデータである場合について説明する。この場合、テキストデータ３０は、図３Ｂに示す音節ｃ１～ｃ４２、すなわち、「は（ｈａ）」、「る（ｒｕ）」、「よ（ｙｏ）」、「こ（ｋｏ）」、「い（ｉ）」の５つの音節からなるテキストデータである。以下において、「は（ｈａ）」、「る（ｒｕ）」、「よ（ｙｏ）」、「こ（ｋｏ）」、「い（ｉ）」各々は、日本語のひらがなの一文字を示し、音節の一例である。この場合、ｃ１～ｃ３の音節「は（ｈａ）」、「る（ｒｕ）」、「よ（ｙｏ）」はそれぞれ独立している。ｃ４１とｃ４２との音節「こ（ｋｏ）」「い（ｉ）」はグループ化されている。このグループ化されているか否かを示す情報がグループ化情報（設定情報の一例）３１である。グループ化情報３１は、各音節に埋め込まれ、または、各音節に対応付けられている。グループ化情報３１において、記号「×」はグループ化されていないことを表し、記号「○」はグループ化されていることを表している。グループ化情報３１は、データメモリ１８に記憶されていてもよい。図３Ｂに示すように、最初のキーオンｎ１の発音指示を受け付けた際には、ＣＰＵ１０は、指定された歌詞の最初の音節ｃ１である「は（ｈａ）」をデータメモリ１８から読み出す。この際、ＣＰＵ１０は、「は（ｈａ）」に埋め込まれまたは対応付けられているグループ化情報３１もデータメモリ１８から読み出す。次いで、ステップＳ２１にて取得した音節がグループ化されているか否かを、取得された音節のグループ化情報３１からＣＰＵ１０が判断する。ステップＳ２０で取得された音節がｃ１の「は（ｈａ）」の場合は、そのグループ化情報３１が「×」であることからグループ化されていないと判断されて、処理がステップＳ２５に進む。ステップＳ２５では、ＣＰＵ１０がテキストデータ３０の次の音節にカーソルを進められ、２番目の音節ｃ２の「る（ｒｕ）」にカーソルが置かれる。ステップＳ２５の処理が終了すると音節情報取得処理は終了し、キーオン処理のステップＳ１２にリターンする。
　図３Ｃは、ステップＳ１２の音声素片データ選択処理を説明するための図である。このステップＳ１２の音声素片データ選択処理は、ＣＰＵ１０の制御の基で音源１３によって行われる処理である。音源１３は、取得された音節を発音させる音声素片データを音韻データベース３２から選択する。音韻データベース３２には、「音素連鎖データ３２ａ」と「定常部分データ３２ｂ」が記憶されている。音素連鎖データ３２ａは、「無音（＃）から子音」、「子音から母音」、「母音から（次の音節の）子音または母音」などに対応する、発音が変化する際の音素片のデータである。定常部分データ３２ｂは、母音の発音が継続する際の音素片のデータである。最初のキーオンｎ１の発音指示を受け付けることに応じて取得された音節がｃ１の「は（ｈａ）」の場合、音源１３は、音素連鎖データ３２ａから「無音→子音ｈ」に対応する音声素片データ「＃－ｈ」と「子音ｈ→母音ａ」に対応する音声素片データ「ｈ－ａ」を選択すると共に、定常部分データ３２ｂから「母音ａ」に対応する音声素片データ「ａ」を選択する。次いで、ステップＳ１３にて、ステップＳ１２で選択した音声素片データに基づく発音処理をＣＰＵ１０の制御の基で音源１３が行う。上記したように、音声素片データが選択された場合は、ステップＳ１３の発音処理において、『「＃－ｈ」→「ｈ－ａ」→「ａ」』の音声素片データの発音が順次音源１３によって行われる。その結果、音節ｃ１の「は（ｈａ）」の発音が行われる。発音の際には、キーオンｎ１の発音指示の受付の際に受け取ったＥ５の音高で、ベロシティ情報に応じた音量で「は（ｈａ）」の歌唱音が発音される。ステップＳ１３の発音処理が終了するとキーオン処理も終了する。
　図４は、このキーオン処理の動作を示す。図４の部分（ａ）は鍵を押す操作を示す。図４の部分（ｂ）は発音内容を示す。図４の部分（ｃ）は、音声素片を示す。ＣＰＵ１０は、時刻ｔ１で最初のキーオンｎ１の発音指示を受け付ける（ステップＳ１０）。次に、ＣＰＵ１０は、最初の音節ｃ１を取得し、音節ｃ１が別の音節とグループ化されていないと判断する（ステップＳ１１）。次いで、音源１３は、音節ｃ１を発音する音声素片データ「＃－ｈ」，「ｈ－ａ」，「ａ」を選択する（ステップＳ１２）。次に、キーオンｎ１のベロシティ情報に応じた音量のエンベロープＥＮＶ１が開始され、『「＃－ｈ」→「ｈ－ａ」→「ａ」』の音声素片データをＥ５の音高およびエンベロープＥＮＶ１の音量で発音させる（ステップＳ１３）。これにより、「は（ｈａ）」の歌唱音が発音される。エンベロープＥＮＶ１は、キーオンｎ１のキーオフまでサスティンが持続する持続音のエンベロープである。時刻ｔ２でキーオンｎ１の鍵がキーオフされるまで「ａ」の音声素片データが繰り返し再生される。そして、時刻ｔ２でキーオフ（停止指示の一例）されたことがＣＰＵ１０で検出されると、図５に示すキーオフ処理をスタートする。キーオフ処理のステップＳ３０，ステップＳ３３の処理はＣＰＵ１０が実行する。ステップＳ３１，ステップＳ３２の処理はＣＰＵ１０の制御の基で音源１３が実行する。
　キーオフ処理がスタートされると、ステップＳ３０でキーオフ発音フラグがオンか否かが判断される。キーオフ発音フラグは、取得した音節がグループ化されている場合にセットされる。図２Ａに示す音節情報取得処理において、最初の音節ｃ１はグループ化されていない。このため、ＣＰＵ１０は、キーオフ発音フラグが設定されていないと判断し（ステップＳ３０でＮｏ）、処理がステップＳ３４に進む。ステップＳ３４では、ＣＰＵ１０の制御の基で音源１３は、消音処理を行い、その結果、「は（ｈａ）」の歌唱音の発音が停止される。すなわち、エンベロープＥＮＶ１のリリースカーブで「は（ｈａ）」の歌唱音が消音されていく。ステップＳ３４の処理が終了すると、キーオフ処理は終了する。
　リアルタイム演奏の進行に伴い演奏操作子１６が操作されて、２回目のキーオンｎ２が検出されると上述したキーオン処理が再度スタートされて、上述したキーオン処理が行われる。２回目のキーオン処理における、ステップＳ１０の発音指示受付処理について説明する。この処理では、操作された演奏操作子１６のキーオンｎ２に基づく発音指示を受け付ける際に、ＣＰＵ１０はキーオンｎ２のタイミング、Ｅ５の音高を示す音高情報と鍵速度に応じたベロシティ情報を受け取る。ステップＳ１１の音節情報取得処理では、ＣＰＵ１０は、指定された歌詞のカーソルが置かれた２番目の音節ｃ２である「る（ｒｕ）」をデータメモリ１８から読み出す。この取得した音節「る（ｒｕ）」のグループ化情報３１が「×」である。このため、ＣＰＵ１０は、グループ化されていないと判断し、３番目の音節目のｃ３の「よ（ｙｏ）」にカーソルを進める。ステップＳ１２の音声素片データ選択処理では、音源１３は、音素連鎖データ３２ａから「無音→子音ｒ」に対応する音声素片データ「＃－ｒ」と「子音ｒ→母音ｕ」に対応する音声素片データ「ｒ－ｕ」を選択すると共に、定常部分データ３２ｂから「母音ｕ」に対応する音声素片データ「ｕ」を選択する。ステップＳ１３の発音処理では、『「＃－ｒ」→「ｒ－ｕ」→「ｕ」』の音声素片データの発音がＣＰＵ１０の制御の基で順次音源１３において行われる。その結果、ｃ２の「る（ｒｕ）」の音節の発音が行われ、キーオン処理は終了する。
　リアルタイム演奏の進行に伴い演奏操作子１６が操作されて、３回目のキーオンｎ３が検出されると上述したキーオン処理が再度スタートされて、上述したキーオン処理が行われる。この３回目のキーオンｎ３は、２回目のキーオンｎ２がキーオフされる前にキーオンするレガートとされている。３回目のキーオン処理における、ステップＳ１０の発音指示受付処理について説明する。この処理では、操作された演奏操作子１６のキーオンｎ３に基づく発音指示を受け付ける際に、ＣＰＵ１０はキーオンｎ３のタイミング、Ｄ５の音高を示す音高情報と鍵速度に応じたベロシティ情報を受け取る。ステップＳ１１の音節情報取得処理では、ＣＰＵ１０は、指定された歌詞のカーソルが置かれた３番目の音節ｃ３である「よ（ｙｏ）」をデータメモリ１８から読み出す。この取得した音節「よ（ｙｏ）」のグループ化情報３１が「×」である。このため、ＣＰＵ１０は、グループ化されていないと判断し、４番目の音節目のｃ４１の「こ（ｋｏ）」にカーソルを進める。ステップＳ１２の音声素片データ選択処理では、音源１３は、音素連鎖データ３２ａから「母音ｕ→子音ｙ」に対応する音声素片データ「ｕ－ｙ」と「子音ｙ→母音ｏ」に対応する音声素片データ「ｙ－ｏ」を選択すると共に、定常部分データ３２ｂから「母音ｏ」に対応する音声素片データ「ｏ」を選択する。これは、３回目のキーオンｎ３がレガートであって「る（ｒｕ）」から「よ（ｙｏ）」へ滑らかにつなげて発音させるためである。ステップＳ１３の発音処理では、『「ｕ－ｙ」→「ｙ－ｏ」→「ｏ」』の音声素片データの発音がＣＰＵ１０の制御の基で順次音源１３よって行われる。その結果、ｃ２の「る（ｒｕ）」から滑らかにつながるｃ３の「よ（ｙｏ）」の音節の発音が行われ、キーオン処理は終了する。
　図４は、この２，３回目のキーオン処理の動作を示す。ＣＰＵ１０は、時刻ｔ３で２回目のキーオンｎ２の発音指示を受け付ける（ステップＳ１０）。ＣＰＵ１０は、次の音節ｃ２を取得し、音節ｃ２が別の音節とグループ化されていないと判断する（ステップＳ１１）。次いで、音源１３は、音節ｃ２を発音する音声素片データ「＃－ｒ」，「ｒ－ｕ」，「ｕ」を選択する（ステップＳ１２）。音源１３は、キーオンｎ２のベロシティ情報に応じた音量のエンベロープＥＮＶ２を開始し、『「＃－ｒ」→「ｒ－ｕ」→「ｕ」』の音声素片データをＥ５の音高およびエンベロープＥＮＶ２の音量で発音させる（ステップＳ１３）。これにより、「る（ｒｕ）」の歌唱音が発音される。エンベロープＥＮＶ２は、エンベロープＥＮＶ１と同様である。「ｕ」の音声素片データが繰り返し再生される。キーオンｎ２にかかる鍵がキーオフされる前の時刻ｔ４で３回目のキーオンｎ３の発音指示を受け付ける（ステップＳ１０）。その発音指示に応答して、ＣＰＵ１０は、次の音節ｃ３を取得し、音節ｃ３が別の音節とグループ化されていないと判断する（ステップＳ１１）。時刻ｔ４では、３回目のキーオンｎ３がレガートであることから、図５に示すキーオフ処理をＣＰＵ１０がスタートする。キーオフ処理のステップＳ３０では、２番目の音節ｃ２である「る（ｒｕ）」はグループ化されていない。このため、ＣＰＵ１０は、キーオフ発音フラグが設定されていないと判断し（ステップＳ３０でＮｏ）、処理がステップＳ３４に進む。ステップＳ３４では、「る（ｒｕ）」の歌唱音の発音が停止される。ステップＳ３４の処理が終了すると、キーオフ処理は終了する。これは以下の理由による。すなわち、歌唱音用の発音チャンネルには１チャンネルが用意されて２つの歌唱音を同時に発音できない。ゆえに、キーオンｎ２の鍵がキーオフされる時刻ｔ５より前の時刻ｔ４で次のキーオンｎ３が検出された場合（すなわち、レガートの場合）は、時刻ｔ４でキーオンｎ２に基づく歌唱音の発音を停止して、時刻ｔ４からキーオンｎ３に基づく歌唱音の発音を開始させるためである。
　このため、音源１３は、音節ｃ３である「よ（ｙｏ）」を発音する音声素片データ「ｕ－ｙ」，「ｙ－ｏ」，「ｏ」を選択し（ステップＳ１２）、時刻ｔ４から、『「ｕ－ｙ」→「ｙ－ｏ」→「ｏ」』の音声素片データをＤ５の音高およびエンベロープＥＮＶ２のサスティンの音量で発音させる（ステップＳ１３）。これにより、「る（ｒｕ）」から「よ（ｙｏ）」へ歌唱音が滑らかにつながって発音される。なお、時刻ｔ５でキーオンｎ２の鍵がキーオフされても、既にキーオンｎ２に基づく歌唱音の発音は停止されているため、処理は何も行われない。
　ＣＰＵ１０は、時刻ｔ６でキーオンｎ３がキーオフされたことを検出すると、図５に示すキーオフ処理をスタートする。３番目の音節ｃ３である「よ（ｙｏ）」はグループ化されていない。よって、キーオフ処理のステップＳ３０では、ＣＰＵ１０は、キーオフ発音フラグが設定されていないと判断し（ステップＳ３０でＮｏ）、処理がステップＳ３４に進む。ステップＳ３４では、音源１３は、消音処理を行い、「よ（ｙｏ）」の歌唱音の発音が停止される。すなわち、エンベロープＥＮＶ２のリリースカーブで「よ（ｙｏ）」の歌唱音が消音されていく。ステップＳ３４の処理が終了すると、キーオフ処理は終了する。
　リアルタイム演奏の進行に伴い演奏操作子１６が操作されて、４回目のキーオンｎ４が検出されると上述したキーオン処理が再度スタートされて、上述したキーオン処理が行われる。４回目のキーオン処理における、ステップＳ１０の発音指示受付処理について説明する。この処理では、操作された演奏操作子１６の４回目のキーオンｎ４に基づく発音指示を受け付ける際に、ＣＰＵ１０はキーオンｎ４のタイミング、Ｅ５の音高を示す音高情報と鍵速度に応じたベロシティ情報を受け取る。ステップＳ１１の音節情報取得処理では、ＣＰＵ１０は、指定された歌詞のカーソルが置かれた４番目の音節ｃ４１である「こ（ｋｏ）」をデータメモリ１８から読み出す（ステップＳ２０）。この取得した音節「こ（ｋｏ）」のグループ化情報３１が「○」である。このため、ＣＰＵ１０は、音節ｃ４１が別の音節とグループ化されていると判断し（ステップＳ２１）、ステップＳ２２に進む。ステップＳ２２では、同じグループに属する音節（グループ内の音節）が取得される。この場合は「こ（ｋｏ）」と「い（ｉ）」がグループ化されていることから、ＣＰＵ１０は、音節ｃ４１と同じグループに属する音節である音節ｃ４２「い（ｉ）」をデータメモリ１８から読み出す。次いで、ＣＰＵ１０は、ステップＳ２３でキーオフ発音フラグをセットして、キーオフされた際に同じグループに属する次の音節「い（ｉ）」を発音させる準備をする。次のステップＳ２４では、ＣＰＵ１０は、テキストデータ３０は、カーソルを、「こ（ｋｏ）」と「い（ｉ）」が属するグループを越えて次の音節に進める。ただし、図示例の場合は次の音節がないことから、この処理はスキップされる。ステップＳ２４の処理が終了すると音節情報取得処理は終了し、キーオン処理のステップＳ１２にリターンする。
　ステップＳ１２の音声素片データ選択処理では、音源１３は、同じグループに属する音節「こ（ｋｏ）」および「い（ｉ）」に対応する音声素片データを選択する。すなわち、音源１３は、音節「こ（ｋｏ）」に対応する音声素片データとして、音素連鎖データ３２ａから「無音→子音ｋ」に対応する音声素片データ「＃－ｋ」と「子音ｋ→母音ｏ」に対応する音声素片データ「ｋ－ｏ」を選択すると共に、定常部分データ３２ｂから「母音ｏ」に対応する音声素片データ「ｏ」を選択する。また、音源１３は、音節「い（ｉ）」に対応する音声素片データとして、音素連鎖データ３２ａから「母音ｏ→母音ｉ」に対応する音声素片データ「ｏ－ｉ」を選択すると共に、定常部分データ３２ｂから「母音ｉ」に対応する音声素片データ「ｉ」を選択する。ステップＳ１３の発音処理では、同じグループに属する音節のうち、先頭の音節の発音が行われる。すなわち、音源１３は、ＣＰＵ１０の制御の基で、『「＃－ｋ」→「ｋ－ｏ」→「ｏ」』の音声素片データを順次発音する。その結果、音節ｃ４１である「こ（ｋｏ）」が発音される。発音の際には、キーオンｎ４の発音指示の受け付けの際に受け取ったＥ５の音高で、ベロシティ情報に応じた音量で「こ（ｋｏ）」の歌唱音が発音される。ステップＳ１３の発音処理が終了するとキーオン処理も終了する。
　図４は、このキーオン処理の動作を示す。ＣＰＵ１０は、時刻ｔ７で４番目のキーオンｎ４の発音指示を受け付ける（ステップＳ１０）。ＣＰＵ１０は、４番目の音節ｃ４１（および音節ｃ４１に埋め込まれまたは対応付けられているグループ化情報３１）を取得する。ＣＰＵ１０は、そのグループ化情報３１に基づいて、音節ｃ４１が別の音節とグループ化されていると判断する。ＣＰＵ１０は、音節ｃ４１と同じグループに属する音節ｃ４２を取得すると共にキーオフ発音フラグをセットする（ステップＳ１１）。次いで、音源１３は、音節ｃ４１，ｃ４２を発音する音声素片データ「＃－ｋ」，「ｋ－ｏ」，「ｏ」および音声素片データ「ｏ－ｉ」，「ｉ」を選択する（ステップＳ１２）。そして、音源１３は、キーオンｎ４のベロシティ情報に応じた音量のエンベロープＥＮＶ３を開始し、『「＃－ｋ」→「ｋ－ｏ」→「ｏ」』の音声素片データをＥ５の音高およびエンベロープＥＮＶ３の音量で発音させる（ステップＳ１３）。これにより、「こ（ｋｏ）」の歌唱音が発音される。エンベロープＥＮＶ３は、エンベロープＥＮＶ１と同様である。時刻ｔ８でキーオンｎ４にかかる鍵がキーオフされるまで「ｏ」の音声素片データが繰り返し再生される。そして、時刻ｔ８でキーオンｎ４がキーオフされたことがＣＰＵ１０で検出されると、図５に示すキーオフ処理をＣＰＵ１０がスタートする。
　音節ｃ４１，ｃ４２である「こ（ｋｏ）」および「い（ｉ）」がグループ化されていて、キーオフ発音フラグがセットされている。このため、キーオフ処理のステップＳ３０では、ＣＰＵ１０は、キーオフ発音フラグが設定されていると判断し（ステップＳ３０でＹｅｓ）、処理がステップＳ３１に進む。ステップＳ３１では、先に発音された音節と同じグループに属する次の音節の発音処理が行われる。すなわち、音源１３は、先に行ったステップＳ１２の音節情報取得処理において、音節「い（ｉ）」に対応する音声素片データとして選択された『「ｏ－ｉ」→「ｉ」』の音声素片データをＥ５の音高およびエンベロープＥＮＶ３のリリースカーブの音量で発音させる。これにより、ｃ４１の「こ（ｋｏ）」と同じ音高Ｅ５で音節ｃ４２である「い（ｉ）」の歌唱音が発音される。次いで、ステップＳ３２で消音処理が行われて、「い（ｉ）」の歌唱音の発音が停止される。すなわち、エンベロープＥＮＶ３のリリースカーブで「い（ｉ）」の歌唱音が消音されていく。なお、「こ（ｋｏ）」の発音は、発音が「い（ｉ）」に移行した時点において、停止されている。次いで、ステップＳ３３でキーオフ発音フラグをリセットしてキーオフ処理は終了する。
　以上説明したように、第１実施形態の発音装置１では、ユーザーのリアルタイム演奏に応じた歌唱音である歌声が発音されるようになると共に、リアルタイム演奏時に鍵を１回の押す操作を行うこと（すなわち、鍵を押してから離すまでの連続する１回の操作を行うこと、以下同様）により複数の歌声を発音することができる。すなわち、第１実施形態の発音装置１において、グループ化された音節は、鍵を１回押す操作で発音される音節の集合とされる。例えばグループ化されたｃ４１とｃ４２の音節は鍵を１回の押す操作で発音される。この場合、１音節目の音は鍵を押すことに応答して出力され、２音節目以降の音は鍵から離れることに応答して出力される。グループ化の情報は、キーオフにより次の音節を発音するか否かを決定する情報なので、「キーオフ発音情報（設定情報）」ということができる。キーオンｎ４にかかる鍵がキーオフされる前に、演奏操作子１６の他の鍵にかかるキーオン（キーオンｎ５とする）が行われた場合について説明する。この場合は、キーオンｎ４のキーオフ処理が行われたあとにキーオンｎ５の発音が行われる。すなわち、キーオンｎ４のキーオフ処理としてｃ４２の音節が発音された後に、キーオンｎ５に対応するｃ４２の次の音節が発音されるようになる。別法として、キーオンｎ５に対応する音節をすぐに発音させるために、キーオンｎ５の操作に応答して実行されるキーオンｎ４のキーオフ処理においては、ステップＳ３１の処理を省略してもよい。この場合、ｃ４２の音節は発音されず、キーオンｎ５に応じてすぐにｃ４２の次の音節の発音が行われるようになる。
　上記したように、先の音節ｃ４１と同じグループに属する次の音節ｃ４２の「い（ｉ）」の発音は、キーオンｎ４にかかる鍵がキーオフされたタイミングで発音される。このため、キーオフで発音指示された音節の発音長が短すぎて不明瞭になるおそれがある。図６Ａ～６Ｃは、同じグループに属する次の音節の発音を十分長くすることができるキーオフ処理の他の動作例を示す。
　図６Ａに示す例では、キーオンｎ４の発音指示により開始されるエンベロープＥＮＶ３において、減衰開始を、キーオフから所定時間ｔｄだけ遅らせるようにしている。すなわち、リリースカーブＲ１を一点鎖線で示すリリースカーブＲ２のように時間ｔｄだけ遅らせることで、同じグループに属する次の音節の発音長を十分長くすることができる。サスティンペダル等の操作によって、同じグループに属する次の音節の発音長を十分長くすることもできる。すなわち、図６Ａに示す例では、音源１３は、エンベロープＥＮＶ３の後半において、音節ｃ４１の音を一定の音量で出力させる。次に、音源１３は、音節ｃ４１の音の出力の停止に連続して音節ｃ４２の音の出力を開始させる。その際、音節ｃ４２の音の音量は、音節ｃ４１の消音直前の音量と同じである。音源１３は、所定時間ｔｄだけ音量を維持した後に、音節ｃ４２の音の音量の低下を開始する。
　図６Ｂに示す例では、エンベロープＥＮＶ３において、ゆっくり減衰させるようにしている。すなわち、リリースカーブを一点鎖線で示す傾斜を緩くしたリリースカーブＲ３を発生することで、同じグループに属する次の音節の発音長を十分長くすることができる。すなわち、図６Ｂに示す例では、音源１３は、音節ｃ４２の音を出力させない場合（音節ｃ４１が他の音節とグループ化されていない場合）における音節ｃ４１の音の音量の減衰速度よりも遅い減衰速度で音節ｃ４２の音の音量を低下させながら音節ｃ４２の音を出力させる。
　図６Ｃに示す例では、キーオフを新たなノートオン指示とみなし、同じ音高の新たなノートで次の音節を発音させる。すなわち、エンベロープＥＮＶ１０を、キーオフの時刻ｔ１３において開始して、同じグループに属する次の音節の発音を行う。これにより、同じグループに属する次の音節の発音長を十分長くすることができる。すなわち、図６Ｃに示す例では、音源１３は、音節ｃ４１の音の音量の低下を開始させることと同時に、音節ｃ４２の音の出力を開始させる。この際、音源１３は、音節ｃ４２の音の音量を増加させながら音節ｃ４２の音を出力させる。
　以上説明した本発明の第１実施形態の発音装置１では、歌詞が日本語の場合を例示している。日本語では、ほぼ１文字が１音節である。一方で、他の言語においては１文字が１音節とならない場合が多い。具体例として、英語の歌詞が「september」の場合について説明する。「september」は、「sep」、「tem」、「ber」の３音節からなる。よって、演奏操作子１６をユーザーが鍵を押す毎にその３の音節が、その鍵の音高で順次発音されていくようになる。この場合、「sep」および「tem」の２音節をグループ化することにより、１回の鍵を押す操作に応じて「sep」および「tem」の２音節が発音される。すなわち、鍵を押す操作に応じてその鍵の音高で「sep」の音節の音が出力される。また、鍵から離れる操作に応じて「tem」の音節がその鍵の音高で発音される。歌詞は日本語に限らず他の言語とされていても良い。
　次に、本発明の第２実施形態にかかる発音装置を説明する。第２実施形態の発音装置は、ハミング音や、スキャット、コーラスなどの歌唱音、または、通常の楽器音あるいは鳥のさえずりや電話のベルなどの効果音などの歌詞のない所定の音を発音する。第２実施形態の発音装置を発音装置１００と称する。第２実施形態の発音装置１００の構成は第１実施形態の発音装置１とほぼ同様である。しかしながら、第２実施形態は、音源１３の構成が第１実施形態と相違する。すなわち、第２実施形態の音源１３は上記した歌詞のない所定の音の音色を備えており、指定された音色に応じて歌詞のない所定の音を発音することができる。図７は、第２実施形態の発音装置１００の動作例を説明するための図である。
　第２実施形態の発音装置１００において、テキストデータ３０とグループ化情報３１からなる音節情報に替えてキーオフ発音情報４０がデータメモリ１８に格納されている。また、第２実施形態の発音装置１００は、ユーザーが演奏操作子１６を利用してリアルタイム演奏を行った際に歌詞のない所定の音を発音させる。第２実施形態の発音装置１００では、図２Ａに示すキーオン処理のステップＳ１１で、図２Ｂに示す音節情報取得処理に替えてキーオフ発音情報処理が行われる。また、ステップＳ１２の音声素片データ選択処理では、予め定められた音や音声を発音させる音源波形や音声素片データが選択される。以下にその動作を説明する。
　ＣＰＵ１０は、ユーザーがリアルタイム演奏を行うことによって演奏操作子１６がキーオンされたことを検出すると、図２Ａに示すキーオン処理をスタートする。図７の部分（ａ）に示す楽譜の楽曲の通りユーザーが演奏する場合について説明する。この場合、ＣＰＵ１０は、ステップＳ１０で最初のキーオンｎ１の発音指示を受け付け、Ｅ５の音高を示す音高情報と鍵速度に応じたベロシティ情報を受け取る。そして、ＣＰＵ１０は、図７の部分（ｂ）に示すキーオフ発音情報４０を参照して最初のキーオンｎ１に対応するキーオフ発音情報を取得する。この場合、ユーザーの演奏に先立って、特定のキーオフ発音情報４０が指定されている。この特定のキーオフ発音情報４０は、図７の部分（ａ）に示す楽譜に対応し、データメモリ１８に格納されている。また、指定されたキーオフ発音情報４０の最初のキーオフ発音情報が参照される。最初のキーオフ発音情報が「×」とされていることから、キーオンｎ１に対してはキーオフ発音フラグはセットされない。次いで、ステップＳ１２で音声素片データ選択処理を音源１３が行う。すなわち、音源１３は、予め定められた音声を発音させる音声素片データを選択する。具体例として、「ナ（ｎａ）」の音声を発音させる場合について説明する。以下において、「ナ（ｎａ）」は、日本語のカタカナの一文字を示す。音源１３は、音素連鎖データ３２ａから「＃－ｎ」と「ｎ－ａ」の音声素片データを選択すると共に、定常部分データ３２ｂから音声素片データ「ａ」を選択する。そして、ステップＳ１３でキーオンｎ１に対応する発音処理が行われる。この発音処理では、図７の部分（ｃ）に示すピアノロール譜４１で示すように、音源１３は、キーオンｎ１の検出の際に受け取ったＥ５の音高で、『「＃－ｎ」→「ｎ－ａ」→「ａ」』の音声素片データの発音が行われる。その結果、「ナ（ｎａ）」の歌唱音が発音される。この発音はキーオンｎ１がキーオフされるまで持続され、キーオフされると消音処理されて停止される。
　リアルタイム演奏の進行に伴いキーオンｎ２をＣＰＵ１０が検出すると、上記と同様の処理が行われる。キーオンｎ２に対応する２番目のキーオフ発音情報が「×」とされていることから、キーオンｎ２に対するキーオフ発音フラグはセットされない。図７の部分（ｃ）に示すようにＥ５の音高で予め定められた音声、例えば「ナ（ｎａ）」の歌唱音が発音される。キーオンｎ２の鍵がキーオフされる前にキーオンｎ３が検出されると、上記と同様の処理が行われる。キーオンｎ３に対応する３番目のキーオフ発音情報が「×」とされていることから、キーオンｎ３に対するキーオフ発音フラグはセットされない。図７の部分（ｃ）に示すようにＤ５の音高で予め定められた音声、例えば「ナ（ｎａ）」の歌唱音が発音される。この場合、キーオンｎ３に対応する発音は、キーオンｎ２に対応する発音に滑らかにつながるレガートとなる。また、キーオンｎ３に対応する発音の開始と同時にキーオンｎ２に対応する発音が停止される。さらに、キーオンｎ３の鍵がキーオフされると、キーオンｎ３に対応する発音は消音処理されて停止される。
　さらなる演奏の進行に伴いキーオンｎ４をＣＰＵ１０が検出すると、上記と同様の処理が行われる。キーオンｎ４に対応する４番目のキーオフ発音情報が「○」とされていることから、キーオンｎ４に対するキーオフ発音フラグがセットされる。図７の部分（ｃ）に示すようにＥ５の音高で予め定められた音声、例えば「ナ（ｎａ）」の歌唱音が発音される。キーオンｎ４がキーオフされると、キーオンｎ２に対応する発音は消音処理されて停止される。しかしながら、キーオフ発音フラグがセットされていることから、ＣＰＵ１０が図７の部分（ｃ）に示すキーオンｎ４’が新たに行われたと判断し、音源１３がキーオンｎ４’に対応する発音をキーオンｎ４と同じ音高で行う。すなわち、Ｅ５の音高で予め定められた音声、例えば「ナ（ｎａ）」の歌唱音が、キーオンｎ４の鍵がキーオフされた時に発音される。この場合、キーオンｎ４’に対応する発音長は、予め決められた長さとされる。
　上記した第１実施形態にかかる発音装置１では、ユーザーが鍵盤等の演奏操作子１６を利用してリアルタイム演奏した際に、演奏操作子１６を押す操作を行う毎にテキストデータ３０の音節が、その演奏操作子１６の音高で発音される。テキストデータ３０は、指定された歌詞を音節に区切ったテキストデータである。これにより、リアルタイム演奏時に指定された歌詞が歌われる。歌唱される歌詞の音節をグループ化することにより、演奏操作子１６に対する１回の連続する操作により、１音節目と２音節目とを演奏操作子１６の音高で発音させることができる。すなわち、演奏操作子１６を押すことに応じて１音節目を演奏操作子１６にかかる音高で発音させる。また、演奏操作子１６から離れる操作に応じて２音節目を演奏操作子１６にかかる音高で発音させる。
　上記した第２実施形態にかかる発音装置１００では、歌詞による歌唱音に替えて上記した歌詞のない所定の音を押鍵された鍵の音高で発音することができる。よって、第２実施形態にかかる発音装置１００は、カラオケのガイドなどに適用することができる。この場合も、演奏操作子１６に対する１回の連続する操作に含まれる、演奏操作子１６を押す操作と、演奏操作子１６をから離れる操作とのにそれぞれに応じて、歌詞のない所定の音を発音させることができる。
　次に、本発明にかかる第３実施形態の発音装置２００について説明する。第３実施形態の発音装置２００では、ユーザーが鍵盤等の演奏操作子１６を利用してリアルタイム演奏した際に、表情豊かな歌声の演奏を行うことができる。第３実施形態の発音装置２００のハードウェア構成は図１に示す構成と同じである。第３実施形態では、第１実施形態と同様に、図２Ａに示すキーオン処理が実行される。ただし、第３実施形態では、このキーオン処理におけるステップＳ１１の音節情報取得処理の内容が、第１実施形態とは異なる。具体的には、第３実施形態では、ステップＳ１１の音節情報取得処理として図８に示すフローチャートが実行される。図９Ａは、第３実施形態の発音装置２００によって実行される発音指示受付処理を説明するための図である。図９Ｂは、第３実施形態の発音装置２００によって実行される音節情報取得処理を説明するための図である。図１０は、歌詞情報テーブルの「値ｖ１」～「値ｖ３」を示す。図１１は、第３実施形態の発音装置２００の動作例を示す。これらの図を参照しながら第３実施形態の発音装置２００を説明する。
　第３実施形態の発音装置２００において、ユーザーがリアルタイム演奏を行う場合、演奏操作子１６を操作して演奏を行う。演奏操作子１６は鍵盤等である。演奏の進行に伴い演奏操作子１６がキーオンされたことをＣＰＵ１０が検出すると、図２Ａに示すキーオン処理をスタートする。キーオン処理のステップＳ１０の発音指示受付処理およびステップＳ１１の音節情報取得処理はＣＰＵ１０が実行する。ステップＳ１２の音声素片データ選択処理およびステップＳ１３の発音処理はＣＰＵ１０の制御の基で音源１３が実行する。
　キーオン処理のステップＳ１０では、操作された演奏操作子１６のキーオンに基づく発音指示を受け付ける。この場合、ＣＰＵ１０はキーオンのタイミング、操作された演奏操作子１６の音高情報およびベロシティなどの演奏情報を受け取る。図９Ａに示す楽譜の楽曲の通りユーザーが演奏した場合は、最初のキーオンｎ１のタイミングを受け付ける時に、ＣＰＵ１０はＥ５の音高を示す音高情報と鍵速度に応じたベロシティ情報を受け取る。次いで、ステップＳ１１にて、キーオンｎ１に対応する音節情報を取得する音節情報取得処理を行う。図８は、この音節情報取得処理のフローチャートを示す。図８に示す音節情報取得処理がスタートされると、ＣＰＵ１０はステップＳ４０においてカーソル位置の音節を取得する。この場合、ユーザーの演奏に先立って、歌詞情報テーブル５０が指定されている。歌詞情報テーブル５０は、データメモリ１８に格納されている。歌詞情報テーブル５０は、演奏に対応する楽譜に対応する歌詞を音節に区切ったテキストデータを含む。この歌詞は、図９Ａに示す楽譜に対応する歌詞である。また、指定された歌詞情報テーブル５０のテキストデータの先頭の音節にカーソルが置かれている。次いで、ＣＰＵ１０は、ステップＳ４１において、取得した先頭のテキストデータの音節に対応付けられた発音制御パラメータ（制御パラメータの一例）を歌詞情報テーブル５０を参照して取得する。図９Ｂは、図９Ａに示す楽譜に対応する歌詞情報テーブル５０を示す。
　第３実施形態の発音装置２００においては、歌詞情報テーブル５０が特徴的な構成である。図９Ｂに示すように歌詞情報テーブル５０は、音節情報５０ａと、発音制御パラメータタイプ５０ｂと、発音制御パラメータの値情報５０ｃとから構成されている。音節情報５０ａは、歌詞を音節に区切ったテキストデータを含む。発音制御パラメータタイプ５０ｂは、各種パラメータタイプのいずれかを指定する。発音制御パラメータは、発音制御パラメータタイプ５０ｂと発音制御パラメータの値情報５０ｃとを含む。図９Ｂに示す例では、音節情報５０ａは、図３Ｂに示すテキストデータ３０と同様のｃ１，ｃ２，ｃ３，ｃ４１の歌詞を区切った音節からなる。発音制御パラメータタイプ５０ｂとして、一音節ごとに、パラメータａ，ｂ，ｃ，ｄの何れか一つあるいは複数が設定されている。この発音制御パラメータタイプの具体例は、「Harmonics」、「Brightness」、「Resonance」および「GenderFactor」である。「Harmonics」は、声に含まれる倍音成分のバランスを変化させるタイプのパラメータである。「Brightness」は、声の明暗を演出してトーン変化を与えるタイプのパラメータである。「Resonance」は、有声音の音色や強弱を演出するタイプのパラメータである。「GenderFactor」は、フォルマントを変化させることにより、女性的なあるいは男性的な声の太さや質感を変化させるタイプのパラメータである。値情報５０ｃは、発音制御パラメータの値を設定するための情報であり、「値ｖ１」と「値ｖ２」と「値ｖ３」と含む。「値ｖ１」は発音制御パラメータの時間上の変化のしかたを設定し、グラフ形状（波形）で表すことができる。図１０の部分（ａ）は、グラフ形状で表した「値ｖ１」の例を示す。図１０の部分（ａ）は、「値ｖ１」として、グラフ形状ｗ１～ｗ６を示している。グラフ形状ｗ１～ｗ６は、それぞれ異なる時間上の変化をしている。「値ｖ１」は、グラフ形状ｗ１～ｗ６に限られない。「値ｖ１」として、種々の時間上の変化をするグラフ形状（値）を設定することができる。「値ｖ２」は、図１０の部分（ｂ）に示すようにグラフ形状で示す「値ｖ１」の横軸の時間を設定するための値である。「値ｖ２」を設定することにより、効果のかかり始めからかかり終わりまでの時間となる変化の速度を設定できる。「値ｖ３」は、図１０の部分（ｂ）に示すようにグラフ形状で示す「値ｖ１」の縦軸の振幅を設定するための値である。「値ｖ３」を設定することにより、効果のかかる度合いを示す変化の深さを設定できる。値情報５０ｃで設定される発音制御パラメータの値の設定可能範囲は、発音制御パラメータタイプにより異なっている。ただし、音節情報５０ａで指定される音節は、発音制御パラメータタイプ５０ｂおよびその値情報５０ｃが設定されていない音節を含んでもよい。例えば、図１１に示す音節ｃ３には発音制御パラメータタイプ５０ｂおよびその値情報５０ｃが設定されていない。この歌詞情報テーブル５０の音節情報５０ａ、発音制御パラメータタイプ５０ｂ、値情報５０ｃは、ユーザーの演奏に先立って作成およびまたは編集されて、データメモリ１８に格納されている。
　説明をステップＳ４１に戻す。なお、最初のキーオンｎ１の時には、ＣＰＵ１０は、ステップＳ４０でｃ１の音節を取得する。よって、ステップＳ４１では、ＣＰＵ１０は、歌詞情報テーブル５０から音節ｃ１に対応付けられた発音制御パラメータタイプと値情報５０ｃとを取得する。すなわち、ＣＰＵ１０は、音節情報５０ａのｃ１の横の段に設定されているパラメータａ，パラメータｂを発音制御パラメータタイプ５０ｂとして取得し、詳細情報の図示が省略されている「値ｖ１」～「値ｖ３」を値情報５０ｃとして取得する。ステップＳ４１の処理が終了すると処理がステップＳ４２に進む。ステップＳ４２では、ＣＰＵ１０がテキストデータの次の音節にカーソルを進めることにより、２音節目のｃ２にカーソルが置かれる。ステップＳ４２の処理が終了すると音節情報取得処理は終了し、キーオン処理のステップＳ１２にリターンする。ステップＳ１２の音節情報取得処理では、上記したように、取得された音節ｃ１を発音させる音声素片データが音韻データベース３２から選択される。次に、ステップＳ１３の発音処理において、選択された音声素片データの発音が順次音源１３によって行われる。その結果、ｃ１の音節の発音が行われる。発音の際には、キーオンｎ１の受付の際に受け取ったＥ５の音高およびベロシティ情報に応じた音量で音節ｃ１の歌唱音が発音される。ステップＳ１３の発音処理が終了するとキーオン処理も終了する。
　図１１の部分（ｃ）は、ピアノロール譜５２を示す。このステップＳ１３の発音処理では、ピアノロール譜５２に示すように、音源１３は、キーオンｎ１の検出の際に受け取ったＥ５の音高で、選択された音声素片データの発音を行う。その結果、音節ｃ１の歌唱音が発音される。この発音の際に、「値ｖ１」、「値ｖ２」、「値ｖ３」で設定されたパラメータａと、「値ｖ１」、「値ｖ２」、「値ｖ３」で設定されたパラメータｂの異なる２つの発音制御パラメータタイプ、すなわち、２つの異なる態様により、歌唱音の発音制御が行われる。よって、歌唱される歌声の表情や抑揚、声質や音色に変化を与えることができ、歌声に細かなニュアンスや抑揚をつけられるようになる。
　そして、リアルタイム演奏の進行に伴いキーオンｎ２をＣＰＵ１０が検出すると、上記と同様の処理が行われて、キーオンｎ２に対応する２番目の音節ｃ２がＥ５の音高で発音される。音節ｃ２には図９の部分（ｂ）で示すように、発音制御パラメータタイプ５０ｂとしてパラメータｂとパラメータｃとパラメータｄの３つの発音制御パラメータタイプが対応付けられていると共に、それぞれの発音制御パラメータタイプはそれぞれの「値ｖ１」、「値ｖ２」、「値ｖ３」で設定されている。このため、音節ｃ２の発音の際に、図１１の部分（ｃ）にピアノロール譜５２で示すように、パラメータｂとパラメータｃとパラメータｄの異なる３つの発音制御パラメータタイプにより、歌唱音の発音制御が行われる。これにより、歌唱される歌声の表情や抑揚、声質や音色に変化を与えられる。
　リアルタイム演奏の進行に伴いキーオンｎ３をＣＰＵ１０が検出すると、上記と同様の処理が行われて、キーオンｎ３に対応する３番目の音節ｃ３がＤ５の音高で発音される。音節ｃ３には図９Ｂに示すように、発音制御パラメータタイプ５０ｂが設定されていない。このため、音節ｃ３の発音の際には、図１１の部分（ｃ）にピアノロール譜５２で示すように、発音制御パラメータによる歌唱音の発音制御が行われない。
　リアルタイム演奏の進行に伴いキーオンｎ４をＣＰＵ１０が検出すると、上記と同様の処理が行われて、キーオンｎ４に対応する４番目の音節ｃ４１がＥ５の音高で発音される。図９Ｂで示すように、音節ｃ４１の発音の際には、音節ｃ４１に対応付けられている発音制御パラメータタイプ５０ｂ（図示略）および値情報５０ｃ（図示略）に応じた発音制御が行われる。
　上記した第３実施形態にかかる発音装置２００では、ユーザーが鍵盤等の演奏操作子１６を利用してリアルタイム演奏した際に、演奏操作子１６を押す操作を行う毎に指定されたテキストデータの音節が、その演奏操作子１６の音高で発音される。テキストデータを歌詞とすることで歌声が発音される。この際に、音節毎に対応付けられた発音制御パラメータにより発音制御が行われる。このため、歌唱される歌声の表情や抑揚、声質や音色に変化を与えることができ、歌声に細かなニュアンスや抑揚をつけられるようになる。
　第３実施形態にかかる発音装置２００における歌詞情報テーブル５０の音節情報５０ａを、図３Ｂに示すように歌詞を区切った音節のテキストデータ３０とそのグループ化情報３１とからなるようにする場合について説明する。この場合、グループ化された音節を演奏操作子１６に対する１回の連続する操作により、演奏操作子１６の音高で発音させることができる。すなわち、演奏操作子１６を押すことに応じて１音節目を演奏操作子１６の音高で発音させる。また、演奏操作子１６から離れる操作に応じて２音節目を演奏操作子１６の音高で発音させる。この際に、音節毎に対応付けられた発音制御パラメータにより発音制御が行われる。このため、歌唱される歌声の表情や抑揚、声質や音色に変化を与えることができ、歌声に細かなニュアンスや抑揚をつけられるようになる。
　第３実施形態の発音装置２００は、第２実施形態の発音装置１００で発音される上記した歌詞のない所定の音を発音することができる。第３実施形態の発音装置２００で上記した歌詞のない所定の音を発音する場合には、音節情報に応じて、取得する発音制御パラメータを決定するのではなく、何回目の押鍵操作であるかに応じて取得する発音制御パラメータを決定するようにすればよい。
　第３実施形態において、音高は、操作された演奏操作子１６（押された鍵）に応じて指定されている。別法として、音高は、演奏操作子１６が操作された順番に応じて指定されてもよい。
　第３実施形態の第１の変形例について説明する。この変形例では、データメモリ１８が、図１２に示す歌詞情報テーブル５０を格納している。歌詞情報テーブル５０は、複数の制御パラメータ情報（制御パラメータの一例）、すなわち、第１から第ｎ制御パラメータ情報を含む。例えば、第１制御パラメータ情報は、パラメータａと値ｖ１～ｖ３の組み合わせ、および、パラメータｂと値ｖ１～ｖ３の組み合わせを含む。複数の制御パラメータ情報はそれぞれ異なる順番に対応付けられている。例えば、第１制御パラメータ情報は、第１の順番に対応づけられている。第２制御パラメータ情報は、第２の順番に対応づけられている。ＣＰＵ１０は、第１番目（１回目）のキーオンを検出した場合、歌詞情報テーブル５０から、第１の順番に対応付けられた第１制御パラメータ情報を読み出す。音源１３は、読み出された第１制御パラメータ情報に従った態様で音を出力する。同様に、ＣＰＵ１０は、第ｎ番目（ｎ回目）のキーオンを検出した場合、歌詞情報テーブル５０から、第ｎの順番に対応付けられた第ｎ制御パラメータ情報に関連付けられた発音制御パラメータ情報を読み出す。音源１３は、読み出された第ｎ制御パラメータ情報に従った態様で音を出力する。
　第３実施形態の第２の変形例について説明する。この変形例では、データメモリ１８が、図１３に示す歌詞情報テーブル５０を格納している。歌詞情報テーブル５０は、複数の制御パラメータ情報を含む。複数の制御パラメータ情報はそれぞれ異なる音高に対応付けられている。例えば、第１制御パラメータ情報は、音高Ａ５に対応づけられている。第２制御パラメータ情報は、音高Ｂ５に対応づけられている。ＣＰＵ１０は、音高Ａ５にかかる鍵のキーオンを検出した場合、データメモリ１８から、音高Ａ５に対応付けられた第１パラメータ情報を読み出す。音源１３は、読み出された第１制御パラメータ情報に従った態様かつ音高Ａ５で音を出力する。同様に、ＣＰＵ１０は、音高Ｂ５にかかる鍵のキーオンを検出した場合、データメモリ１８から、音高Ｂ５に対応付けられた第２制御パラメータ情報を読み出す。音源１３は、読み出された第２制御パラメータ情報に従った態様かつ音高Ｂ５で音を出力する。
　第３実施形態の第３の変形例について説明する。この変形例では、データメモリ１８が、図１４に示すテキストデータ３０を格納している。テキストデータ３０は、複数の音節、すなわち、第１の音節「い（ｉ）」、第２の音節「ろ（ｒｏ）」および第３の音節「は（ｈａ）」を含む。以下において、「い（ｉ）」、「ろ（ｒｏ）」および「は（ｈａ）」各々は、日本語のひらがなの一文字を示し、音節の一例である。第１の音節である「い（ｉ）」は、第１の順番に対応づけられている。第２の音節である「ろ（ｒｏ）」は、第２の順番に対応づけられている。第３の音節である「は（ｈａ）」は、第３の順番に対応づけられている。データメモリ１８は、さらに、図１５に示す歌詞情報テーブル５０を格納している。歌詞情報テーブル５０は、複数の制御パラメータ情報を含む。複数の制御パラメータ情報は、それぞれ異なる音節に対応付けられている。例えば、第２制御パラメータ情報は、音節「い（ｉ）」に対応づけられている。第２６制御パラメータ情報(不図示)は、音節「は（ｈａ）」に対応づけられている。第４５制御パラメータ情報は、「ろ（ｒｏ）」に対応づけられている。ＣＰＵ１０は、第１番目（１回目）のキーオンを検出した場合、テキストデータ３０から、第１の順番に対応付けられた「い（ｉ）」を読み出す。また、ＣＰＵ１０は、歌詞情報テーブル５０から、「い（ｉ）」に対応付けられた第２制御パラメータ情報を読み出す。音源１３は、読み出された第２制御パラメータ情報に従った態様で「い（ｉ）」を示す歌唱音を出力する。同様に、ＣＰＵ１０は、第２番目（２回目）キーオンを検出した場合、テキストデータ３０から、第２の順番に対応付けられた「ろ（ｒｏ）」を読み出す。また、ＣＰＵ１０は、歌詞情報テーブル５０から、「ろ（ｒｏ）」に対応付けられた第４５制御パラメータ情報を読み出す。音源１３は、第４５制御パラメータ情報に従った態様で「ろ（ｒｏ）」を示す歌唱音を出力する。
　以上説明した本発明の実施形態にかかるキーオフ発音情報は、音節情報の中に含むことに替えて、音節情報とは別に記憶されていてもよい。この場合、キーオフ発音情報は、何回目に鍵が押された場合にキーオフ発音を実行するかを記述したデータであってもよい。キーオフ発音情報は、演奏時にリアルタイムでユーザーの指示により発生される情報であってもよい。例えば、ユーザーが鍵を押している間にペダルを踏んだときのみ、そのノートに対してキーオフ発音を実行してもよい。鍵が押されている時間が所定長を超えたときにキーオフ発音を実行してもよい。また、押鍵ベロシティが所定値を超えたときにキーオフ発音を実行してもよい。
　以上説明した本発明の実施形態にかかる発音装置は、歌詞または歌詞のない歌唱音を発音すること、および、楽器音や効果音などの歌詞のない所定の音を発音することができる。また、本発明の実施形態にかかる発音装置は、歌唱音を含む所定の音を発音することができる。
　以上説明した本発明の実施形態にかかる発音装置において歌詞を発音させる際に、歌詞をほぼ１文字１音節となる日本語を例に上げて説明した。しかしながら、本発明の実施形態はこのような場合に限定されない。１文字が１音節とならない他の言語の歌詞を音節毎に区切って、本発明の実施形態にかかる発音装置で上記したように発音させることにより、他の言語の歌詞を歌唱させるようにしても良い。
　また、以上説明した本発明の実施形態にかかる発音装置において、演奏操作子に替えて、演奏データ発生装置を用意し、演奏データ発生装置から演奏情報を発音装置に順次与えるようにしても良い。
　以上に示した実施形態に係る歌唱音発音装置１、１００、２００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
　ここでいう「コンピュータシステム」は、オペレーティング・システム（ＯＳ：Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含んでもよい。
　「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。
　「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。
　上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
　上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。
　上記のプログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１，１００，２００　発音装置
１０　ＣＰＵ
１１　ＲＯＭ
１２　ＲＡＭ
１３　音源
１４　サウンドシステム
１５　表示部
１６　演奏操作子
１７　設定操作子
１８　データメモリ
１９　バス
３０　テキストデータ
３１　グループ化情報
３２　音韻データベース
３２ａ　音素連鎖データ
３２ｂ　定常部分データ
４０　キーオフ発音情報
４１　ピアノロール譜
５０　歌詞情報テーブル
５０ａ　音節情報
５０ｂ　発音制御パラメータタイプ
５０ｃ　値情報
５２　ピアノロール譜

Claims (17)

  1. 　第１音の出力の停止を示す停止指示を受け付ける受付部と、
    　前記停止指示が受け付けられたことに応答して、第２音の出力を開始するか否かを決定する決定部と、
    　前記第２の音の出力を開始すると決定された場合、前記第１音を出力させた後に前記第２音を出力させる制御部と、
    　を備える音制御装置。
  2. 　前記受付部は、前記第１音の出力の開始を示す開始指示を受け付け、
    　前記制御部は、前記開始指示が受け付けられたことに応答して、前記第１音を出力させる
    　請求項１に記載の音制御装置。
  3. 　前記停止指示を受け付けた場合に次の音の出力を開始するか否かの設定を示す設定情報を記憶する記憶部をさらに備え、
    　前記決定部は、前記設定情報に基づいて、前記第２音の出力を開始するか否かを決定する
    　請求項１または２に記載の音制御装置。
  4. 　前記設定情報は、前記第１音と前記第２音とがグループ化されているか否かの設定を示し、
    　前記決定部は、前記設定情報が前記第１音と前記第２音とがグループ化されているという設定を示している場合、前記第２音の出力を開始すると決定し、
    　前記決定部は、前記設定情報が前記第１音と前記第２音とがグループ化されていないという設定を示している場合、前記第２音の出力を開始しないと決定する請求項３に記載の音制御装置。
  5. 　第１音節を示す第１音節情報と第２音節を示す第２音節情報とを含む複数の音節情報を記憶する記憶部と、
    　前記記憶部から前記第１音節情報を取得し、前記第２音の出力を開始すると決定された場合に前記記憶部から前記第２音節情報を取得する取得部と、
    　をさらに備え、
    　前記制御部は、前記開始指示が受け付けられたことに応答して、前記取得された第１音節情報によって示される第１音節を前記第１音として出力させ、
    　前記制御部は、前記第２音の出力を開始すると決定された場合、前記第１音節を出力させた後に前記取得された第２音節情報によって示される第２音節を前記第２音として出力させる
    　請求項２に記載の音制御装置。
  6. 　前記複数の音節情報は、前記停止指示を受け付けた場合に次の音の出力を開始するか否かの設定を示す設定情報をさらに含み、
    　前記決定部は、前記設定情報に基づいて、前記第２音の出力を開始するか否かを決定する
    　請求項５に記載の音制御装置。
  7. 　前記第１および第２音節各々は、一以上の文字、または日本語の仮名である
    　請求項５または６に記載の音制御装置。
  8. 　ユーザからの操作を受け付ける操作子をさらに備え、
    　前記受付部は、前記操作子に対するユーザからの操作が開始された場合に、前記開始指示を受け付けたと判断し、
    　前記受付部は、前記操作子に対するユーザからの操作が終了された場合に、前記停止指示を受け付けたと判断する
    　請求項２に記載の音制御装置。
  9. 　前記制御部は、前記第１音の出力の停止に連続して前記第２音の出力を開始させる、
    　請求項１から８のいずれか一項に記載の音制御装置。
  10. 　前記制御部は、前記第２音の音量を低下させながら前記第２音を出力させる
    　請求項１から９のいずれか一項に記載の音制御装置。
  11. 　前記制御部は、前記第１音を第１音量で出力させた後に、前記第２音を前記第１音量と同じ第２音量で出力させる
    　請求項１から１０のいずれか一項に記載の音制御装置。
  12. 　前記制御部は、前記第２音を出力させない場合における前記第１音の音量の第１減衰速度よりも遅い第２減衰速度で前記第２音の音量を低下させながら前記第２音を出力させる
    　請求項１から９のいずれか一項に記載の音制御装置。
  13. 　前記制御部は、前記第１音の音量の低下を開始させることと同時に、前記第２音の出力を開始させる
    　請求項１から８のいずれか一項に記載の音制御装置。
  14. 　前記制御部は、前記第２音の音量を増加させながら前記第２音を出力させる
    　請求項１３に記載の音制御装置。
  15. 　前記第１音および前記第２音は、歌唱音である
    　請求項１から１４のいずれか一項に記載の音制御装置。
  16. 　第１音の出力の停止を示す停止指示を受け付け、
    　前記停止指示が受け付けられたことに応答して、第２音の出力を開始するか否かを決定し、
    　前記第２の音の出力を開始すると決定された場合、前記第１音を出力させた後に前記第２音を出力させる、
    　ことを含む音制御方法。
  17. 　コンピュータに、
    　第１音の出力の停止を示す停止指示を受け付け、
    　前記停止指示が受け付けられたことに応答して、第２音の出力を開始するか否かを決定し、
    　前記第２の音の出力を開始すると決定された場合、前記第１音を出力させた後に前記第２音を出力させる、
    　ことを実行させる音制御プログラム。
PCT/JP2016/058466 2015-03-20 2016-03-17 音制御装置、音制御方法、および音制御プログラム WO2016152708A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-057945 2015-03-20
JP2015057945 2015-03-20

Publications (1)

Publication Number Publication Date
WO2016152708A1 true WO2016152708A1 (ja) 2016-09-29

Family

ID=56978351

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058466 WO2016152708A1 (ja) 2015-03-20 2016-03-17 音制御装置、音制御方法、および音制御プログラム

Country Status (2)

Country Link
JP (1) JP2016177277A (ja)
WO (1) WO2016152708A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294990A (zh) * 2022-10-08 2022-11-04 杭州艾力特数字科技有限公司 扩声系统检测方法、系统、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006071931A (ja) * 2004-09-01 2006-03-16 Fyuutorekku:Kk 音楽データ加工方法、音楽データ加工装置、音楽データ加工システム及びコンピュータプログラム
JP2008089644A (ja) * 2006-09-29 2008-04-17 Yamaha Corp 電子楽器および電子楽器制御用プログラム
JP2008191657A (ja) * 2007-01-09 2008-08-21 Yamaha Corp 楽音生成装置及びプログラム
JP2013152337A (ja) * 2012-01-25 2013-08-08 Yamaha Corp 音符列設定装置
JP2013238662A (ja) * 2012-05-11 2013-11-28 Yamaha Corp 音声合成装置
JP2014010190A (ja) * 2012-06-27 2014-01-20 Yamaha Corp 歌唱合成を行うための装置およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3567294B2 (ja) * 1994-12-31 2004-09-22 カシオ計算機株式会社 音声発生装置
JP3409644B2 (ja) * 1997-05-22 2003-05-26 ヤマハ株式会社 データ編集装置およびデータ編集プログラムを記録した媒体
JP3521871B2 (ja) * 1999-12-17 2004-04-26 ヤマハ株式会社 楽音発生装置および記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006071931A (ja) * 2004-09-01 2006-03-16 Fyuutorekku:Kk 音楽データ加工方法、音楽データ加工装置、音楽データ加工システム及びコンピュータプログラム
JP2008089644A (ja) * 2006-09-29 2008-04-17 Yamaha Corp 電子楽器および電子楽器制御用プログラム
JP2008191657A (ja) * 2007-01-09 2008-08-21 Yamaha Corp 楽音生成装置及びプログラム
JP2013152337A (ja) * 2012-01-25 2013-08-08 Yamaha Corp 音符列設定装置
JP2013238662A (ja) * 2012-05-11 2013-11-28 Yamaha Corp 音声合成装置
JP2014010190A (ja) * 2012-06-27 2014-01-20 Yamaha Corp 歌唱合成を行うための装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294990A (zh) * 2022-10-08 2022-11-04 杭州艾力特数字科技有限公司 扩声系统检测方法、系统、终端及存储介质
CN115294990B (zh) * 2022-10-08 2023-01-03 杭州艾力特数字科技有限公司 扩声系统检测方法、系统、终端及存储介质

Also Published As

Publication number Publication date
JP2016177277A (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
US10354629B2 (en) Sound control device, sound control method, and sound control program
JP6485185B2 (ja) 歌唱音合成装置
WO2016152717A1 (ja) 音制御装置、音制御方法、および音制御プログラム
JP6167503B2 (ja) 音声合成装置
WO2016152708A1 (ja) 音制御装置、音制御方法、および音制御プログラム
US20220044662A1 (en) Audio Information Playback Method, Audio Information Playback Device, Audio Information Generation Method and Audio Information Generation Device
JP6828530B2 (ja) 発音装置及び発音制御方法
JP4180548B2 (ja) 声域告知機能付きカラオケ装置
JP2018151548A (ja) 発音装置及びループ区間設定方法
JP5106437B2 (ja) カラオケ装置及びその制御方法並びにその制御プログラム
JP7158331B2 (ja) カラオケ装置
WO2023175844A1 (ja) 電子管楽器及び電子管楽器の制御方法
JP7484952B2 (ja) 電子機器、電子楽器、方法及びプログラム
JP3265995B2 (ja) 歌唱音声合成装置及び方法
JP6809608B2 (ja) 歌唱音生成装置及び方法、プログラム
WO2022190502A1 (ja) 音生成装置およびその制御方法、プログラム、電子楽器
WO2023120121A1 (ja) 子音長変更装置、電子楽器、楽器システム、方法及びプログラム
JPH1031496A (ja) 楽音発生装置
CN110720122B (zh) 音发生装置及方法
JPWO2022190502A5 (ja)
JP2022071098A (ja) 電子楽器、方法及びプログラム
JP2021149043A (ja) 電子楽器、方法及びプログラム
WO2019003348A1 (ja) 歌唱音効果生成装置及び方法、プログラム
JP2011100055A (ja) 音声合成装置
JPH0962297A (ja) フォルマント音源のパラメータ生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16768611

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16768611

Country of ref document: EP

Kind code of ref document: A1