WO2019239971A1 - 情報処理方法、情報処理装置およびプログラム - Google Patents

情報処理方法、情報処理装置およびプログラム Download PDF

Info

Publication number
WO2019239971A1
WO2019239971A1 PCT/JP2019/022253 JP2019022253W WO2019239971A1 WO 2019239971 A1 WO2019239971 A1 WO 2019239971A1 JP 2019022253 W JP2019022253 W JP 2019022253W WO 2019239971 A1 WO2019239971 A1 WO 2019239971A1
Authority
WO
WIPO (PCT)
Prior art keywords
transition
specific range
characteristic
note
information processing
Prior art date
Application number
PCT/JP2019/022253
Other languages
English (en)
French (fr)
Inventor
誠 橘
基 小笠原
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to JP2020525475A priority Critical patent/JP7124870B2/ja
Publication of WO2019239971A1 publication Critical patent/WO2019239971A1/ja
Priority to US17/119,371 priority patent/US11437016B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/04—Transposing; Transcribing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts

Definitions

  • the present invention relates to a technology for synthesizing speech.
  • a voice synthesis technique for synthesizing a voice that is produced by a note specified by a user has been proposed.
  • a transition of pitches reflecting expressions specific to a specific singer is set by a transition estimation model such as HMM (Hidden Markov Model), for example, and the singing voice along the transition of the pitches is set.
  • HMM Hidden Markov Model
  • an object of the present disclosure is to reduce the workload of designating a pronunciation style to be given to synthesized speech.
  • an information processing method sets a pronunciation style for a specific range on a time axis, and from a user within the specific range where the pronunciation style is set.
  • a note is arranged, and a characteristic transition that is a transition of an acoustic characteristic of a voice that is generated by a note in the specific range with the sound generation style set in the specific range is generated.
  • An information processing apparatus includes a range setting unit that sets a pronunciation style for a specific range on a time axis, and an instruction from a user within the specific range in which the pronunciation style is set A note processing unit that arranges notes; and a transition generation unit that generates a characteristic transition that is a transition of an acoustic characteristic of a sound produced by generating a note in the specific range with the pronunciation style set in the specific range.
  • a program includes a range setting unit that sets a pronunciation style for a specific range on a time axis, and arranges notes in accordance with an instruction from a user within the specific range in which the pronunciation style is set And a transition generation unit that generates a characteristic transition that is a transition of an acoustic characteristic of a sound produced by generating a note in the specific range with the pronunciation style set in the specific range.
  • FIG. 1 is a block diagram illustrating the configuration of the information processing apparatus 100 according to the first embodiment.
  • the information processing apparatus 100 is a voice synthesizer that generates voice (hereinafter referred to as “synthetic voice”) in which a singer virtually sings a musical piece (hereinafter referred to as “synthetic music”).
  • the information processing apparatus 100 according to the first embodiment generates synthesized speech that is virtually pronounced in any one of a plurality of pronunciation styles.
  • the pronunciation style means, for example, a characteristic pronunciation method.
  • a feature related to a temporal change in a feature amount such as pitch or volume that is, a feature amount change pattern
  • a pronunciation style For example, singing suitable for music of various genres such as rap, R & B (rhythm and blues) or punk is an example of a pronunciation style.
  • the information processing apparatus 100 is realized by a computer system including a control device 11, a storage device 12, a display device 13, an input device 14, and a sound emitting device 15.
  • a portable information terminal such as a mobile phone or a smartphone, or a portable or stationary information terminal such as a personal computer is used as the information processing apparatus 100.
  • the control device 11 is composed of one or more processors such as a CPU (Central Processing Unit) and executes various arithmetic processes and control processes.
  • CPU Central Processing Unit
  • the storage device 12 is one or more memories composed of a known recording medium such as a magnetic recording medium or a semiconductor recording medium, and stores a program executed by the control device 11 and various data used by the control device 11. To do.
  • the storage device 12 may be configured by a combination of a plurality of types of recording media.
  • a storage device 12 (for example, cloud storage) separate from the information processing device 100 may be prepared, and the control device 11 may execute writing and reading with respect to the storage device 12 via a communication network. That is, the storage device 12 may be omitted from the information processing device 100.
  • the storage device 12 of the first embodiment stores the synthesized data X, the speech element group L, and a plurality of transition estimation models M.
  • the synthesized data X designates the content of speech synthesis.
  • the composite data X includes range data X1 and score data X2.
  • the range data X1 is data for designating a predetermined range (hereinafter referred to as “specific range”) R and a pronunciation style Q in the specific range R in the synthesized music.
  • the specific range R is specified by, for example, a start point time and an end point time.
  • One or a plurality of specific ranges R are set in one synthetic music piece.
  • the musical score data X2 is a music file that designates a time series of a plurality of notes constituting the synthesized music.
  • the musical score data X2 designates a pitch, a phoneme (pronunciation character), and a pronunciation period for each of a plurality of notes constituting the synthesized music.
  • the musical score data X2 may specify numerical values of control parameters such as volume (velocity) related to each note.
  • a file (SMF: Standard MIDI File) conforming to the MIDI (Musical Instrument Digital Interface) standard is used as the musical score data X2.
  • the speech unit group L is a speech synthesis library composed of a plurality of speech units.
  • Each phoneme unit is a phoneme unit (for example, a vowel or a consonant) which is the minimum unit of linguistic meaning, or a phoneme chain in which a plurality of phonemes are connected.
  • Each speech unit is expressed by a sample sequence of a time domain speech waveform or a time series of a frequency spectrum corresponding to the speech waveform.
  • Each speech segment is collected in advance from, for example, recorded speech of a specific speaker.
  • the storage device 12 of the first embodiment stores a plurality of transition estimation models M corresponding to different pronunciation styles.
  • the transition estimation model M corresponding to each pronunciation style is a probabilistic model for generating a pitch transition (hereinafter referred to as “characteristic transition”) of a voice sounded in the pronunciation style. That is, the characteristic transition of the first embodiment is a pitch curve expressed in a time series of a plurality of pitches.
  • the pitch represented by the characteristic transition is, for example, a relative value with respect to a predetermined reference value (for example, a pitch corresponding to a note), and is expressed in units of cents, for example.
  • the transition estimation model M for each pronunciation style is generated in advance by machine learning using a large number of learning data corresponding to the pronunciation style. Specifically, the numerical value at each time point in the transition of the acoustic characteristic represented by the learning data is generated by machine learning in association with the context at the time point (for example, the pitch, intensity, or length of a note at or near the time point) It is a model. For example, a recursive probability model that estimates the current transition from the history of past transitions is used as the transition estimation model M.
  • a transition estimation model M of an arbitrary pronunciation style Q to the musical score data X2
  • a characteristic transition of a sound in which a note specified by the musical score data X2 is generated with the pronunciation style Q is generated.
  • the characteristic transition generated by the transition estimation model M of each sound generation style Q a change in pitch specific to the sound generation style Q is observed.
  • the characteristic transition is generated using the transition estimation model M learned by machine learning, generating the characteristic transition reflecting the latent tendency in the learning data used for machine learning. Is possible.
  • the display device 13 is composed of, for example, a liquid crystal display panel, and displays an image instructed from the control device 11.
  • the input device 14 is an input device that receives an instruction from a user. Specifically, an operator that can be operated by the user or a touch panel that detects contact with the display surface of the display device 13 is used as the input device 14.
  • the sound emitting device 15 (for example, a speaker or headphones) emits synthesized speech.
  • FIG. 2 is a block diagram illustrating a functional configuration of the control device 11.
  • the control device 11 executes a program stored in the storage device 12 to generate a plurality of functions (display control unit 21, range setting) for generating a sound signal Z representing synthesized speech.
  • Unit 22, note processing unit 23 and speech synthesis unit 24 Note that the function of the control device 11 may be realized by a plurality of devices configured separately from each other, or part or all of the function of the control device 11 may be realized by a dedicated electronic circuit.
  • the display control unit 21 displays various images on the display device 13.
  • the display control unit 21 according to the first embodiment displays the edited image G in FIG.
  • the edited image G is an image representing the content of the composite data X, and includes a coordinate plane (hereinafter referred to as a “score region”) C in which a horizontal time axis and a vertical pitch axis are set.
  • the display control unit 21 causes the display device 13 to display the specific range R specified by the range data X1 of the composite data X and the name of the pronunciation style Q, as illustrated in FIG.
  • the specific range R is expressed as a specific range on the time axis in the score area C.
  • the display control unit 21 causes the display device 13 to display a note graphic N representing a note designated by the score data X2 of the composite data X.
  • the musical note figure N is a substantially rectangular figure (so-called note bar) in which phonemes are arranged.
  • the position of the note graphic N in the direction of the pitch axis is set according to the pitch specified by the score data X2.
  • the end points of the note graphic N in the direction of the time axis are set according to the pronunciation period specified by the score data X2.
  • the display control unit 21 causes the display device 13 to display the characteristic transition V generated by the transition estimation model M.
  • the range setting unit 22 in FIG. 2 sets the pronunciation style Q for the specific range R in the composite music.
  • the user can instruct the addition or change of the specific range R and the pronunciation style Q of the specific range R by appropriately operating the input device 14.
  • the range setting unit 22 adds or changes the specific range R according to an instruction from the user, sets the sounding style Q of the specific range R, and changes the range data X1 according to the setting.
  • the display control unit 21 causes the display device 13 to display the name of the specific range R and the pronunciation style Q specified by the changed range data X1.
  • the sound generation style Q of the specific range R may be set as an initial value, and the sound generation style Q of the specific range R may be changed according to an instruction from the user.
  • the note processing unit 23 arranges the notes in response to an instruction from the user within the specific range R in which the pronunciation style Q is set.
  • the user can instruct editing (for example, addition, change, or deletion) of the notes within the specific range R by appropriately operating the input device 14.
  • the note processing unit 23 changes the score data X2 in accordance with an instruction from the user. Further, the display control unit 21 causes the display device 13 to display a note graphic N corresponding to each note specified by the changed score data X2.
  • the voice synthesizer 24 generates a voice signal Z of synthesized voice designated by the synthesized data X.
  • the speech synthesizer 24 of the first embodiment generates a speech signal Z by unit connection type speech synthesis. Specifically, the speech synthesizer 24 sequentially selects speech units corresponding to the phoneme of each note designated by the score data X2 from the speech unit group L, and sets the pitch and pronunciation period of each speech unit.
  • An audio signal Z is generated by making adjustments according to the musical score data X2 and connecting them to each other.
  • the speech synthesis unit 24 of the first embodiment includes a transition generation unit 25.
  • the transition generation unit 25 generates a characteristic transition V for each specific range R.
  • the characteristic transition V of each specific range R is a transition of the acoustic characteristics (specifically, the pitch) of the sound produced by generating the notes in the specific range R with the pronunciation style Q set in the specific range R.
  • the voice synthesizer 24 generates a voice signal Z of synthesized voice whose pitch changes along the characteristic transition V generated by the transition generator 25. That is, the pitch of the speech segment selected according to the phoneme of each note is adjusted so as to follow the characteristic transition V.
  • the display control unit 21 causes the display device 13 to display the characteristic transition V generated by the transition generation unit 25. As understood from the above description, the musical note figure N in the specific range R and the characteristic transition V in the specific range R are displayed in the score area C in which the time axis is set.
  • FIG. 4 is a block diagram illustrating the configuration of the transition generation unit 25 in the first embodiment.
  • the transition generation unit 25 of the first embodiment includes a first processing unit 251 and a second processing unit 252.
  • the first processing unit 251 generates basic transitions (basic transition V1 and relative transition V2) of the acoustic characteristics of the synthesized speech from the synthesized data X.
  • the first processing unit 251 includes a basic transition generation unit 31 and a relative transition generation unit 32.
  • the basic transition generation unit 31 generates a basic transition V1 corresponding to the pitch specified by the synthesized data X for each note.
  • the basic transition V1 is a basic acoustic characteristic transition in which the pitch smoothly transitions between successive notes.
  • the relative transition generation unit 32 generates a relative transition V2 from the composite data X.
  • the relative transition V2 is a transition of a relative value of the pitch with respect to the basic transition V1 (that is, a relative pitch that is a pitch difference from the basic transition V1).
  • a transition estimation model M is used to generate the relative transition V2.
  • the relative transition generation unit 32 selects the transition estimation model M of the pronunciation style Q set in the specific range R among the plurality of transition estimation models M, and within the specific range R of the score data X2.
  • a relative transition V2 is generated by applying the transition estimation model M to the portion.
  • the second processing unit 252 generates a characteristic transition V from the basic transition V1 generated by the basic transition generating unit 31 and the relative transition V2 generated by the relative transition generating unit 32. Specifically, the second processing unit 252 performs basic transition according to control parameters such as the length of voiced and unvoiced sounds in each speech unit selected according to the phoneme of each note, or the volume of each note.
  • a characteristic transition V is generated by adjusting V1 or relative transition V2. Information reflected in the adjustment of the basic transition V1 or the relative transition V2 is not limited to the above examples.
  • FIG. 5 shows a first state in which the first note n1 (note figure N1) is set in the specific range R
  • FIG. 6 shows a second note n2 (note figure) in the specific range R in the first state.
  • the second state with N2) added is shown.
  • the first note n1 in addition to the section corresponding to the newly added second note n2 in the characteristic transition V between the first state and the second state, the first note n1.
  • the part corresponding to is also different. That is, the shape of the portion corresponding to the first note n1 in the characteristic transition V changes according to the presence or absence of the second note n2 in the specific range R. For example, when the transition from the first state to the second state is performed by adding the second note n2, the characteristic transition V changes from the shape that decreases at the end point of the first note n1 (the shape in the first state) from the first note n1. It changes to a shape that rises toward the second note n2 (shape in the second state).
  • the portion corresponding to the first note n1 in the characteristic transition V changes according to the presence or absence of the second note n2 in the specific range R. Therefore, it is possible to generate a natural characteristic transition V reflecting the tendency to be influenced not only by a single note but also by the relationship between surrounding notes.
  • FIG. 7 is a flowchart illustrating a specific procedure of processing (hereinafter referred to as “editing processing”) executed by the control device 11 of the first embodiment. For example, the editing process of FIG. 7 is started in response to an instruction from the user to the input device 14.
  • the display control unit 21 causes the display device 13 to display an initial edited image G in which the specific range R and the notes are not set in the score area C (S1).
  • the range setting unit 22 sets the specific range R in the score area C and the pronunciation style Q of the specific range R in accordance with an instruction from the user (S2). That is, the pronunciation style Q of the specific range R is set before setting the notes of the composite music.
  • the display control unit 21 displays the specific range R and the pronunciation style Q on the display device 13 (S3).
  • the user can instruct the editing of the notes within the specific range R set by the above procedure.
  • the control device 11 waits until a note editing instruction is received from the user (S4: NO).
  • the note processing unit 23 edits the notes in the specific range R according to the instruction (S5).
  • the note processing unit 23 edits (adds, changes or deletes) a note, and changes the score data X2 according to the result of the editing.
  • the pronunciation style Q is also applied to the note.
  • the display control unit 21 displays the edited notes in the specific range R on the display device 13 (S6).
  • the transition generation unit 25 generates a characteristic transition V when a note in the specific range R is pronounced with the pronunciation style Q set in the specific range R (S7). That is, the characteristic transition V of the specific range R is changed every time a note within the specific range R is edited.
  • the display control unit 21 causes the display device 13 to display the characteristic transition V generated by the transition generation unit 25 (S8). As understood from the above description, generation of the characteristic transition V of the specific range R (S7) and display of the characteristic transition V (S8) are executed every time a note within the specific range R is edited. Therefore, the user can check the characteristic transition V corresponding to the edited note every time the note is edited (for example, added, changed, or deleted).
  • the notes are arranged in the specific range R in which the pronunciation style Q is set, and the notes in the specific range R are generated by the pronunciation style Q set in the specific range R.
  • a voice characteristic transition V is generated. Therefore, when the user instructs to edit the note, the pronunciation style Q is automatically set for the edited note. That is, according to the first embodiment, it is possible to reduce the work load for the user to specify the pronunciation style Q of each note.
  • the note graphic N of the notes in the specific range R and the characteristic transition V in the specific range R are displayed in the score area C. Therefore, there is also an advantage that the user can visually grasp the temporal relationship between the notes in the specific range R and the characteristic transition V.
  • Second Embodiment A second embodiment will be described.
  • elements having the same functions as those of the first embodiment are diverted using the same reference numerals used in the description of the first embodiment, and detailed descriptions thereof are appropriately omitted.
  • the relative transition V2 of the pronunciation style Q is generated using the transition estimation model M of the pronunciation style Q set by the user.
  • the transition generation unit 25 of the second embodiment generates a relative transition V2 (and thus a characteristic transition V) using an expression sample prepared in advance.
  • the storage device 12 stores a plurality of expression samples respectively corresponding to a plurality of pronunciation expressions.
  • the expression sample of each phonetic expression is a time series of a plurality of samples representing the transition of the pitch (specifically relative value) of the sound generated by the phonetic expression.
  • a plurality of expression samples corresponding to different conditions (contexts) are stored in the storage device 12 for each pronunciation style Q.
  • the transition generation unit 25 of the second embodiment selects an expression sample using an expression selection model corresponding to the pronunciation style Q set in the specific range R, and uses the expression sample to make a relative transition V2 (and thus a characteristic transition V). Is generated.
  • the expression selection model is a classification model obtained by machine learning in association with the pronunciation style Q and the context of the expression sample selection applied to the notes specified by the score data X2. For example, an operator who is familiar with various pronunciation expressions selects an appropriate expression sample for a specific pronunciation style Q and context, and associates the score data X2 representing the context with the expression sample selected by the operator. By using the learned data for machine learning, an expression selection model for each pronunciation style Q is generated.
  • Whether or not a specific expression sample is applied to a single note applies not only to the characteristics (pitch or length) of the note, but also to the characteristics of the notes before and after the note, or to the notes before and after the note. It is also influenced by the expression sample.
  • the relative transition generation unit 32 of the second embodiment selects an expression sample using an expression selection model corresponding to the pronunciation style Q in the specific range R in step S7 of the editing process (FIG. 7). Specifically, the relative transition generation unit 32 uses a representation selection model to select a note to which a representation sample is applied and a representation sample to be applied to the note from among a plurality of notes specified by the score data X2. To do. The relative transition generation unit 32 generates the relative transition V2 by applying the pitch transition of the selected expression sample for the note. Similar to the first embodiment, the second processing unit 252 generates the characteristic transition V from the basic transition V1 generated by the basic transition generation unit 31 and the relative transition V2 generated by the relative transition generation unit 32.
  • the transition generation unit 25 of the second embodiment generates the characteristic transition V from the pitch transition of the expression sample selected according to the pronunciation style Q for each note in the specific range R. To do.
  • the display of the characteristic transition V generated by the transition generation unit 25 and the generation of the audio signal Z using the characteristic transition V are the same as in the first embodiment.
  • the same effect as in the first embodiment is realized.
  • the characteristic transition V within the specific range R is generated according to the pitch transition of the expression sample selected with a tendency according to the pronunciation style Q, the pitch transition in the expression sample is generated. It is possible to generate a characteristic transition V that faithfully reflects the above tendency.
  • the adjustment parameter P is applied to the generation of the characteristic transition V by the transition generation unit 25.
  • the numerical value of the adjustment parameter P is variably set according to an instruction from the user to the input device 14.
  • the adjustment parameter P of the third embodiment includes a first parameter P1 and a second parameter P2.
  • the transition generation unit 25 sets each numerical value of the first parameter P1 and the second parameter P2 in accordance with an instruction from the user.
  • the first parameter P1 and the second parameter P2 are set for each specific range R.
  • the transition generation unit 25 controls minute variations in the relative transition V2 of each specific range R according to the numerical value of the first parameter P1 set in the specific range R. .
  • a high frequency component that is, a temporally unstable and minute fluctuation component
  • the singing voice in which minute fluctuations are suppressed gives the listener the impression that is skilled in singing. Therefore, the first parameter P1 corresponds to a parameter related to the skill of singing represented by the synthesized speech.
  • the transition generation unit 25 controls the pitch fluctuation range in the relative transition V2 within each specific range R according to the numerical value of the second parameter P2 set in the specific range R.
  • the fluctuation range of the pitch affects the inflection felt by the listener of the synthesized speech. That is, the greater the range of pitch variation, the greater the inflection and perceived by the listener. Therefore, the second parameter P2 corresponds to a parameter relating to the inflection of synthesized speech.
  • the display of the characteristic transition V generated by the transition generation unit 25 and the generation of the audio signal Z using the characteristic transition V are the same as in the first embodiment.
  • the adjustment parameter P is set for the specific range R, but the setting range of the adjustment parameter P is not limited to the above examples.
  • the adjustment parameter P may be set for the entire synthesized music piece, or the adjustment parameter P may be adjusted for each note.
  • the first parameter P1 is set for the entire synthesized music
  • the second parameter P2 is set for the entire synthesized music or for each note.
  • the speech element group L of one kind of tone color is used for speech synthesis.
  • a plurality of speech element groups L may be selectively used for speech synthesis.
  • the plurality of speech element groups L are composed of speech elements extracted from the voices of different speakers. That is, the timbre of each speech unit is different for each speech unit group L.
  • the speech synthesizer 24 generates a speech signal Z by speech synthesis using a speech unit group L selected according to an instruction from a user among a plurality of speech unit groups L. That is, a voice signal Z representing a synthesized voice of a timbre according to an instruction from the user among a plurality of timbres is generated. According to the above configuration, it is possible to generate synthesized speech of various timbres.
  • the speech element group L may be selected for each section in the synthesized music (for example, for each specific range R).
  • the characteristic transition V over the entire specific range R is changed every time a note is edited.
  • a part of the characteristic transition V may be changed. That is, the transition generation unit 25 changes a specific range (hereinafter referred to as “change range”) including the note to be edited among the characteristic transitions V in the specific range R.
  • the change range is, for example, a range in which notes before and after the note to be edited are continuous (for example, a period corresponding to one phrase of the synthesized music). According to the above configuration, it is possible to reduce the processing load of the transition generation unit 25 as compared with the configuration in which the characteristic transition V over the entire specific range R is generated every time a note is edited.
  • the note graphic N corresponding to each note of the synthesized music is displayed in the score area C.
  • the voice represented by the audio signal Z together with the note graphic N (or instead of the note graphic N).
  • the waveform may be arranged in the score area C. For example, as illustrated in FIG. 8, the speech waveform W of the portion corresponding to the note in the speech signal Z is displayed so as to overlap the note graphic N of each note.
  • the characteristic transition V is displayed in the score area C.
  • the basic transition V1 and the relative transition V2 are displayed. You may display on the apparatus 13.
  • the basic transition V1 or the relative transition V2 is displayed in a display mode different from the characteristic transition V (that is, a property of an image that can be visually discriminated).
  • the basic transition V1 or the relative transition V2 is displayed in a color or line type different from the characteristic transition V. Since the relative transition V2 is a relative value of the pitch, in addition to displaying in the score area C, the relative transition V2 may be displayed in a separate area where the time axis common to the score area C is set.
  • the pitch transition of the synthesized speech is exemplified as the characteristic transition V.
  • the acoustic characteristic expressed by the characteristic transition V is not limited to the pitch.
  • the transition generation unit 25 may generate the volume transition of the synthesized speech as the characteristic transition V.
  • the speech synthesizer that generates the synthesized speech is exemplified as the information processing device 100, but it is not essential until the synthesized speech is generated.
  • the information processing apparatus 100 is realized as a characteristic transition generation apparatus that generates the characteristic transition V related to each specific range R.
  • the characteristic transition generation device it does not matter whether or not there is a function (speech synthesizer 24) that generates a synthesized speech signal Z.
  • a program includes a range setting unit 22 that sets a pronunciation style Q for a specific range R on the time axis, and a user's instruction within the specific range R in which the pronunciation style Q is set.
  • a note processing unit 23 that arranges the notes, and a transition generation unit 25 that generates a characteristic transition V that is a transition of the acoustic characteristics of the sound produced by generating the notes in the specific range R with the pronunciation style Q set in the specific range R. , Make the computer function as.
  • the programs exemplified above are provided in a form stored in a computer-readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example.
  • the non-transitory recording medium includes an arbitrary recording medium excluding a transient propagation signal (transitory, “propagating signal”) and does not exclude a volatile recording medium.
  • the program may be provided to the computer in the form of distribution via a communication network.
  • An information processing method sets a pronunciation style for a specific range on a time axis, and responds to an instruction from a user within the specific range where the pronunciation style is set.
  • One or more notes are arranged, and a characteristic transition that is a transition of an acoustic characteristic of a sound in which the one or more notes in the specific range are generated with the sound generation style set in the specific range is generated.
  • one or more notes are set in a specific range in which the pronunciation style is set, and the characteristic transition of the sound in which one or more notes in the specific range are pronounced with the pronunciation style set in the specific range. Generated. Therefore, it is possible to reduce the work load for the user to specify the pronunciation style of each note.
  • the one or more notes in the specific range and the characteristic transition in the specific range are displayed in the score area in which the time axis is set. According to the above aspect, the user can visually grasp the temporal relationship between the one or more notes within the specific range and the characteristic transition.
  • the characteristic transition of the specific range is changed every time the one or more notes are edited in the specific range. According to the above aspect, each time one or more notes are edited (for example, added or changed), a characteristic transition corresponding to the one or more notes after the editing can be confirmed.
  • the one or more notes include a first note and a second note, and the first note is set within the specific range.
  • the part corresponding to the first note is different between the characteristic transition in the first state and the characteristic transition in the second state in which the second note is added within the specific range in the first state.
  • the part corresponding to the first note in the characteristic transition changes according to the presence or absence of the second note within the specific range. Therefore, it is possible to generate a natural characteristic transition reflecting a tendency to be influenced not only by a single note but also by a relationship between surrounding notes.
  • the pronunciation set in the specific range among a plurality of transition estimation models corresponding to different pronunciation styles The characteristic transition is generated using a transition estimation model corresponding to the style.
  • characteristic transitions are generated using machine-learned transition estimation models, so it is possible to generate characteristic transitions that reflect potential trends in learning data used for machine learning It is.
  • the characteristic transition is generated according to the characteristic transition of the sample.
  • an expression selection model corresponding to the pronunciation style set in the specific range among a plurality of expression selection models Is used to select an expression sample corresponding to the one or more notes within the specific range from a plurality of expression samples representing speech, and the characteristic transition is generated according to the characteristic transition of the expression sample.
  • the expression selection model is a classification model obtained by machine learning by associating a tendency of selection of an expression sample applied to a note with a pronunciation style and a context.
  • the context related to a note is a situation related to the note, such as the pitch, intensity, or length of the note or the surrounding notes.
  • the characteristic transition according to an adjustment parameter set according to an instruction from the user is generated. According to the above aspect, it is possible to generate various characteristic transitions according to the adjustment parameters set according to the instruction from the user.
  • an audio signal representing a synthesized speech whose characteristics change along the characteristic transition is generated. According to the above aspect, it is possible to generate a voice signal of a synthesized voice reflecting a characteristic transition within a specific range while reducing a work load of a user specifying a pronunciation style for each note.
  • the sound signal representing a synthesized sound of a timbre selected according to an instruction from a user among a plurality of timbres is generated. According to the above aspect, it is possible to generate synthesized speech of various timbres.
  • One aspect of the present disclosure can also be realized as an information processing apparatus that executes the information processing method of each aspect exemplified above or a program that causes a computer to execute the information processing method of each aspect exemplified above.
  • DESCRIPTION OF SYMBOLS 100 ... Information processing apparatus, 11 ... Control apparatus, 12 ... Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

情報処理装置は、時間軸上の特定範囲について発音スタイルを設定する範囲設定部と、発音スタイルが設定された特定範囲内に利用者からの指示に応じて音符を配置する音符処理部と、特定範囲に設定された発音スタイルで当該特定範囲内の音符を発音した音声の音響特性の遷移である特性遷移を生成する遷移生成部とを具備する。

Description

情報処理方法、情報処理装置およびプログラム
　本発明は、音声を合成する技術に関する。
　利用者により指定された音符を発音した音声を合成する音声合成技術が従来から提案されている。例えば特許文献１には、特定の歌唱者に特有の表現が反映された音高の遷移を例えばＨＭＭ（Hidden Markov Model）等の遷移推定モデルにより設定し、当該音高の遷移に沿う歌唱音声を合成する技術が開示されている。
特開２０１５－３４９２０号公報
　従前の音声合成の場面では、利用者は、音符の時系列を順次に指定しながら、各音符に付与されるべき所望の表現を指定する。しかし、利用者が音符の編集毎に表現を指定し直す作業は負荷が大きいという問題がある。以上の事情を考慮して、本開示は、合成音声に付与されるべき発音スタイルを指定する作業の負荷を軽減することを目的とする。
　以上の課題を解決するために、本開示のひとつの態様に係る情報処理方法は、時間軸上の特定範囲について発音スタイルを設定し、前記発音スタイルが設定された前記特定範囲内に利用者からの指示に応じて音符を配置し、前記特定範囲に設定された前記発音スタイルで当該特定範囲内の音符を発音した音声の音響特性の遷移である特性遷移を生成する。
　本開示のひとつの態様に係る情報処理装置は、時間軸上の特定範囲について発音スタイルを設定する範囲設定部と、前記発音スタイルが設定された前記特定範囲内に利用者からの指示に応じて音符を配置する音符処理部と、前記特定範囲に設定された前記発音スタイルで当該特定範囲内の音符を発音した音声の音響特性の遷移である特性遷移を生成する遷移生成部とを具備する。
　本開示のひとつの態様に係るプログラムは、時間軸上の特定範囲について発音スタイルを設定する範囲設定部、前記発音スタイルが設定された前記特定範囲内に利用者からの指示に応じて音符を配置する音符処理部、および、前記特定範囲に設定された前記発音スタイルで当該特定範囲内の音符を発音した音声の音響特性の遷移である特性遷移を生成する遷移生成部としてコンピュータを機能させる。
第１実施形態に係る情報処理装置の構成を例示するブロック図である。 情報処理装置の機能的な構成を例示するブロック図である。 編集画像の模式図である。 遷移生成部の構成を例示するブロック図である。 音符と特性遷移との関係の説明図である。 音符と特性遷移との関係の説明図である。 制御装置が実行する処理を例示するフローチャートである。 変形例における編集画像の模式図である。
＜第１実施形態＞
　図１は、第１実施形態に係る情報処理装置１００の構成を例示するブロック図である。情報処理装置１００は、歌唱者が楽曲（以下「合成楽曲」という）を仮想的に歌唱した音声（以下「合成音声」という）を生成する音声合成装置である。第１実施形態の情報処理装置１００は、複数の発音スタイルのうち何れかの発音スタイルで仮想的に発音された合成音声を生成する。発音スタイルは、例えば特徴的な発音の仕方を意味する。具体的には、例えば音高または音量等の特徴量の時間的な変化に関する特徴（すなわち特徴量の変化パターン）が発音スタイルの一例である。例えばラップ，Ｒ＆Ｂ（rhythm and blues）またはパンク等の各種のジャンルの楽曲に好適な歌い廻しが発音スタイルの一例である。
　図１に例示される通り、第１実施形態の情報処理装置１００は、制御装置１１と記憶装置１２と表示装置１３と入力装置１４と放音装置１５とを具備するコンピュータシステムで実現される。例えば携帯電話機もしくはスマートフォン等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末が、情報処理装置１００として利用される。制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の１以上のプロセッサで構成され、各種の演算処理および制御処理を実行する。
　記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された１以上のメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、情報処理装置１００とは別体の記憶装置１２（例えばクラウドストレージ）を用意し、制御装置１１が通信網を介して記憶装置１２に対する書込および読出を実行してもよい。すなわち、記憶装置１２を情報処理装置１００から省略してもよい。
　第１実施形態の記憶装置１２は、合成データＸと音声素片群Ｌと複数の遷移推定モデルＭとを記憶する。合成データＸは、音声合成の内容を指定する。図１に例示される通り、合成データＸは、範囲データＸ1と楽譜データＸ2とを含む。範囲データＸ1は、合成楽曲内の所定の範囲（以下「特定範囲」という）Ｒと当該特定範囲Ｒ内の発音スタイルＱとを指定するデータである。特定範囲Ｒは、例えば始点時刻と終点時刻とで指定される。１個の合成楽曲内には単数または複数の特定範囲Ｒが設定される。
　楽譜データＸ2は、合成楽曲を構成する複数の音符の時系列を指定する音楽ファイルである。楽譜データＸ2は、合成楽曲を構成する複数の音符の各々について音高と音韻（発音文字）と発音期間とを指定する。各音符に関する音量（ベロシティ）等の制御パラメータの数値を楽譜データＸ2が指定してもよい。例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）が楽譜データＸ2として利用される。
　音声素片群Ｌは、複数の音声素片で構成される音声合成用ライブラリである。各音声素片は、言語的な意味の最小単位である音素単体（例えば母音または子音）、または複数の音素を連結した音素連鎖である。各音声素片は、時間領域の音声波形のサンプル系列、または音声波形に対応する周波数スペクトルの時系列で表現される。各音声素片は、例えば特定の発声者の収録音声から事前に採取される。
　また、第１実施形態の記憶装置１２は、相異なる発音スタイルに対応する複数の遷移推定モデルＭを記憶する。各発音スタイルに対応する遷移推定モデルＭは、当該発音スタイルで発音した音声の音高の遷移（以下「特性遷移」という）を生成するための確率モデルである。すなわち、第１実施形態の特性遷移は、複数の音高の時系列で表現されるピッチカーブである。特性遷移が表す音高は、例えば所定の基準値（例えば音符に対応する音高）に対する相対値であり、例えばセントを単位として表現される。
　各発音スタイルの遷移推定モデルＭは、当該発音スタイルに対応する多数の学習用データを利用した機械学習により事前に生成される。具体的には、学習データが表す音響特性の遷移における各時点の数値を、当該時点におけるコンテキスト（例えば当該時点またはその近傍における音符の音高、強度または音長等）に関連付けて機械学習した生成モデルである。例えば過去の遷移の履歴から現在の遷移を推定する回帰的な確率モデルが遷移推定モデルＭとして利用される。任意の発音スタイルＱの遷移推定モデルＭを楽譜データＸ2に適用することで、当該楽譜データＸ2が指定する音符を当該発音スタイルＱで発音した音声の特性遷移が生成される。各発音スタイルＱの遷移推定モデルＭにより生成される特性遷移には、当該発音スタイルＱに特有の音高の変化が観測される。以上に説明した通り、機械学習による学習済の遷移推定モデルＭを利用して特性遷移が生成されるから、機械学習に利用された学習用データに潜在する傾向を反映した特性遷移を生成することが可能である。
　表示装置１３は、例えば液晶表示パネルで構成され、制御装置１１から指示された画像を表示する。入力装置１４は、利用者からの指示を受付ける入力機器である。具体的には、利用者が操作可能な操作子、または、表示装置１３の表示面に対する接触を検知するタッチパネルが、入力装置１４として利用される。放音装置１５（例えばスピーカまたはヘッドホン）は、合成音声を放音する。
　図２は、制御装置１１の機能的な構成を例示するブロック図である。図２に例示される通り、制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、合成音声を表す音声信号Ｚを生成するための複数の機能（表示制御部２１，範囲設定部２２，音符処理部２３および音声合成部２４）を実現する。なお、相互に別体で構成された複数の装置で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
　表示制御部２１は、各種の画像を表示装置１３に表示させる。第１実施形態の表示制御部２１は、図３の編集画像Ｇを表示装置１３に表示させる。編集画像Ｇは、合成データＸの内容を表す画像であり、横方向の時間軸と縦方向の音高軸とが設定された座標平面（以下「楽譜領域」という）Ｃを含む。
　表示制御部２１は、図３に例示される通り、合成データＸの範囲データＸ1が指定する特定範囲Ｒと発音スタイルＱの名称とを表示装置１３に表示させる。特定範囲Ｒは、楽譜領域Ｃ内における時間軸上の特定の範囲として表現される。また、表示制御部２１は、合成データＸの楽譜データＸ2が指定する音符を表す音符図形Ｎを表示装置１３に表示させる。音符図形Ｎは、音韻が内部に配置された略矩形状の図形（いわゆるノートバー）である。音高軸の方向における音符図形Ｎの位置は、楽譜データＸ2が指定する音高に応じて設定される。時間軸の方向における音符図形Ｎの端点は、楽譜データＸ2が指定する発音期間に応じて設定される。また、表示制御部２１は、遷移推定モデルＭにより生成された特性遷移Ｖを表示装置１３に表示させる。
　図２の範囲設定部２２は、合成楽曲内の特定範囲Ｒについて発音スタイルＱを設定する。利用者は、入力装置１４を適宜に操作することで、特定範囲Ｒの追加または変更と当該特定範囲Ｒの発音スタイルＱとを指示することが可能である。範囲設定部２２は、利用者からの指示に応じて特定範囲Ｒを追加または変更するとともに当該特定範囲Ｒの発音スタイルＱを設定し、当該設定に応じて範囲データＸ1を変更する。また、表示制御部２１は、変更後の範囲データＸ1が指定する特定範囲Ｒおよび発音スタイルＱの名称を表示装置１３に表示させる。なお、特定範囲Ｒが追加された場合に当該特定範囲Ｒの発音スタイルＱを初期値に設定し、利用者からの指示に応じて当該特定範囲Ｒの発音スタイルＱを変更してもよい。
　音符処理部２３は、発音スタイルＱが設定された特定範囲Ｒ内に利用者からの指示に応じて音符を配置する。利用者は、入力装置１４を適宜に操作することで、特定範囲Ｒ内の音符の編集（例えば追加、変更または削除）を指示することが可能である。音符処理部２３は、利用者からの指示に応じて楽譜データＸ2を変更する。また、表示制御部２１は、変更後の楽譜データＸ2が指定する各音符に対応する音符図形Ｎを表示装置１３に表示させる。
　音声合成部２４は、合成データＸが指定する合成音声の音声信号Ｚを生成する。第１実施形態の音声合成部２４は、素片接続型の音声合成により音声信号Ｚを生成する。具体的には、音声合成部２４は、楽譜データＸ2が指定する各音符の音韻に対応する音声素片を音声素片群Ｌから順次に選択し、各音声素片の音高および発音期間を楽譜データＸ2に応じて調整したうえで相互に接続することで音声信号Ｚを生成する。
　第１実施形態の音声合成部２４は、遷移生成部２５を含む。遷移生成部２５は、特定範囲Ｒ毎に特性遷移Ｖを生成する。各特定範囲Ｒの特性遷移Ｖは、当該特定範囲Ｒに設定された発音スタイルＱで当該特定範囲Ｒ内の音符を発音した音声の音響特性（具体的には音高）の遷移である。音声合成部２４は、遷移生成部２５が生成した特性遷移Ｖに沿って音高が変化する合成音声の音声信号Ｚを生成する。すなわち、各音符の音韻に応じて選択された音声素片の音高が特性遷移Ｖに沿うように調整される。表示制御部２１は、遷移生成部２５が生成した特性遷移Ｖを表示装置１３に表示させる。以上の説明から理解される通り、時間軸が設定された楽譜領域Ｃ内に、特定範囲Ｒ内の音符の音符図形Ｎと当該特定範囲Ｒ内の特性遷移Ｖとが表示される。
　図４は、第１実施形態における遷移生成部２５の構成を例示するブロック図である。図４に例示される通り、第１実施形態の遷移生成部２５は、第１処理部２５１と第２処理部２５２とを含む。第１処理部２５１は、合成音声の音響特性の基礎的な遷移（基礎遷移Ｖ1および相対遷移Ｖ2）を合成データＸから生成する。
　具体的には、第１処理部２５１は、基礎遷移生成部３１と相対遷移生成部３２とを含む。基礎遷移生成部３１は、合成データＸが音符毎に指定する音高に対応する基礎遷移Ｖ1を生成する。基礎遷移Ｖ1は、相前後する音符間で音高が滑らかに遷移する基礎的な音響特性の遷移である。他方、相対遷移生成部３２は、合成データＸから相対遷移Ｖ2を生成する。相対遷移Ｖ2は、基礎遷移Ｖ1を基準とした音高の相対値（すなわち基礎遷移Ｖ1からの音高差である相対ピッチ）の遷移である。相対遷移Ｖ2の生成には遷移推定モデルＭが利用される。具体的には、相対遷移生成部３２は、複数の遷移推定モデルＭのうち、特定範囲Ｒに設定された発音スタイルＱの遷移推定モデルＭを選択し、楽譜データＸ2のうち特定範囲Ｒ内の部分に当該遷移推定モデルＭを適用することで相対遷移Ｖ2を生成する。
　第２処理部２５２は、基礎遷移生成部３１が生成した基礎遷移Ｖ1と相対遷移生成部３２が生成した相対遷移Ｖ2とから特性遷移Ｖを生成する。具体的には、第２処理部２５２は、各音符の音韻に応じて選択された各音声素片における有声音および無声音の時間長、または各音符の音量等の制御パラメータに応じて、基礎遷移Ｖ1または相対遷移Ｖ2を調整することで、特性遷移Ｖを生成する。なお、基礎遷移Ｖ1または相対遷移Ｖ2の調整に反映される情報は以上の例示に限定されない。
　遷移生成部２５が生成する特性遷移Ｖと音符との関係を説明する。図５には、特定範囲Ｒ内に第１音符ｎ1（音符図形Ｎ1）が設定された第１状態が図示され、図６には、第１状態の特定範囲Ｒに第２音符ｎ2（音符図形Ｎ2）を追加した第２状態が図示されている。
　図５および図６から理解される通り、第１状態と第２状態との間では、特性遷移Ｖのうち、新たに追加された第２音符ｎ2に対応する区間に加えて、第１音符ｎ1に対応する部分も相違する。すなわち、特定範囲Ｒ内における第２音符ｎ2の有無に応じて、特性遷移Ｖのうち、第１音符ｎ1に対応する部分の形状が変化する。例えば、第２音符ｎ2の追加により第１状態から第２状態に遷移すると、特性遷移Ｖは、第１音符ｎ1の終点で低下する形状（第１状態での形状）から、第１音符ｎ1から第２音符ｎ2に向けて上昇する形状（第２状態での形状）に変化する。
　以上に説明した通り、第１実施形態では、特定範囲Ｒ内における第２音符ｎ2の有無に応じて特性遷移Ｖのうち第１音符ｎ1に対応する部分が変化する。したがって、単体の音符だけでなく周囲の音符の相互間の関係にも影響されるという傾向を反映した自然な特性遷移Ｖを生成することが可能である。
　図７は、第１実施形態の制御装置１１が実行する処理（以下「編集処理」という）の具体的な手順を例示するフローチャートである。例えば入力装置１４に対する利用者からの指示を契機として図７の編集処理が開始される。
　編集処理を開始すると、表示制御部２１は、楽譜領域Ｃに特定範囲Ｒおよび音符が設定されていない初期的な編集画像Ｇを表示装置１３に表示させる（Ｓ1）。範囲設定部２２は、楽譜領域Ｃ内の特定範囲Ｒと当該特定範囲Ｒの発音スタイルＱとを、利用者からの指示に応じて設定する（Ｓ2）。すなわち、合成楽曲の音符の設定前に特定範囲Ｒの発音スタイルＱが設定される。表示制御部２１は、特定範囲Ｒおよび発音スタイルＱを表示装置１３に表示させる（Ｓ3）。
　利用者は、以上の手順で設定された特定範囲Ｒ内の音符の編集を指示することが可能である。制御装置１１は、音符の編集の指示を利用者から受付けるまで待機する（Ｓ4：NO）。利用者から編集の指示を受付けると（Ｓ4：YES）、音符処理部２３は、当該指示に応じて特定範囲Ｒ内の音符を編集する（Ｓ5）。例えば、音符処理部２３は、音符の編集（追加、変更または削除）を実行し、その編集の結果に応じて楽譜データＸ2を変更する。発音スタイルＱが設定された特定範囲Ｒ内に音符が追加されることで、当該音符にも発音スタイルＱが適用される。表示制御部２１は、特定範囲Ｒ内の編集後の音符を表示装置１３に表示させる（Ｓ6）。
　遷移生成部２５は、特定範囲Ｒに設定された発音スタイルＱで当該特定範囲Ｒ内の音符を発音した場合の特性遷移Ｖを生成する（Ｓ7）。すなわち、特定範囲Ｒ内における音符の編集毎に当該特定範囲Ｒの特性遷移Ｖが変更される。表示制御部２１は、遷移生成部２５が生成した特性遷移Ｖを表示装置１３に表示させる（Ｓ8）。以上の説明から理解される通り、特定範囲Ｒ内における音符の編集毎に、当該特定範囲Ｒの特性遷移Ｖの生成（Ｓ7）と当該特性遷移Ｖの表示（Ｓ8）とが実行される。したがって、音符の編集（例えば追加，変更または削除）毎に、編集後の音符に対応する特性遷移Ｖを利用者が確認できる。
　以上に説明した通り、第１実施形態では、発音スタイルＱが設定された特定範囲Ｒ内に音符が配置され、特定範囲Ｒに設定された発音スタイルＱで当該特定範囲Ｒ内の音符を発音した音声の特性遷移Ｖが生成される。したがって、利用者が音符の編集を指示すると、当該編集後の音符に対して発音スタイルＱが自動的に設定される。すなわち、第１実施形態によれば、各音符の発音スタイルＱを利用者が指定する作業の負荷を軽減することが可能である。
　また、第１実施形態では、特定範囲Ｒ内の音符の音符図形Ｎと当該特定範囲Ｒ内の特性遷移Ｖとが楽譜領域Ｃ内に表示される。したがって、特定範囲Ｒ内の音符と特性遷移Ｖとの時間的な関係を利用者が視覚的に把握できるという利点もある。
＜第２実施形態＞
　第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　第１実施形態では、利用者が設定した発音スタイルＱの遷移推定モデルＭを利用して当該発音スタイルＱの相対遷移Ｖ2を生成した。第２実施形態の遷移生成部２５は、事前に用意された表現サンプルを利用して相対遷移Ｖ2（ひいては特性遷移Ｖ）を生成する。
　第２実施形態の記憶装置１２は、複数の発音表現にそれぞれ対応する複数の表現サンプルを記憶する。各発音表現の表現サンプルは、当該発音表現により発音された音声の音高（具体的には相対値）の遷移を表す複数のサンプルの時系列である。相異なる条件（コンテキスト）に対応する複数の表現サンプルが発音スタイルＱ毎に記憶装置１２に記憶される。
　第２実施形態の遷移生成部２５は、特定範囲Ｒに設定された発音スタイルＱに対応する表現選択モデルにより表現サンプルを選択し、当該表現サンプルを利用して相対遷移Ｖ2（ひいては特性遷移Ｖ）を生成する。表現選択モデルは、楽譜データＸ2が指定する音符に適用される表現サンプルの選択の傾向を、発音スタイルＱおよびコンテキストに関連付けて機械学習した分類モデルである。例えば、多様な発音表現について熟知した作業者が、特定の発音スタイルＱおよびコンテキストに対して適切な表現サンプルを選択し、当該コンテキストを表す楽譜データＸ2と作業者が選択した表現サンプルとを対応させた学習データを機械学習に利用することで、発音スタイルＱ毎の表現選択モデルが生成される。特定の表現サンプルが１個の音符に適用されるか否かは、当該音符の特性（音高または音長）だけでなく、当該音符の前後の音符の特性、または、前後の音符に適用された表現サンプルにも影響される。
　第２実施形態の相対遷移生成部３２は、編集処理（図７）のステップＳ7において、特定範囲Ｒの発音スタイルＱに対応する表現選択モデルを利用して表現サンプルを選択する。具体的には、相対遷移生成部３２は、表現選択モデルを利用して、楽譜データＸ2が指定する複数の音符のうち表現サンプルを適用する音符と、当該音符に適用される表現サンプルとを選択する。相対遷移生成部３２は、当該音符については当該選択した表現サンプルの音高の遷移を適用することで相対遷移Ｖ2を生成する。第２処理部２５２は、第１実施形態と同様に、基礎遷移生成部３１が生成した基礎遷移Ｖ1と相対遷移生成部３２が生成した相対遷移Ｖ2とから特性遷移Ｖを生成する。
　以上の説明から理解される通り、第２実施形態の遷移生成部２５は、特定範囲Ｒ内の各音符について発音スタイルＱに応じて選択された表現サンプルの音高の遷移から特性遷移Ｖを生成する。遷移生成部２５が生成した特性遷移Ｖの表示、および、特性遷移Ｖを利用した音声信号Ｚの生成は、第１実施形態と同様である。
　第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、発音スタイルＱに応じた傾向で選択された表現サンプルの音高の遷移に応じて特定範囲Ｒ内の特性遷移Ｖが生成されるから、表現サンプルにおける音高の遷移の傾向を忠実に反映した特性遷移Ｖを生成することが可能である。
＜第３実施形態＞
　第３実施形態においては、遷移生成部２５による特性遷移Ｖの生成に調整パラメータＰが適用される。調整パラメータＰの数値は、入力装置１４に対する利用者からの指示に応じて可変に設定される。第３実施形態の調整パラメータＰは、第１パラメータＰ1と第２パラメータＰ2とを含む。遷移生成部２５は、利用者からの指示に応じて第１パラメータＰ1および第２パラメータＰ2の各々の数値を設定する。第１パラメータＰ1および第２パラメータＰ2は特定範囲Ｒ毎に設定される。
　遷移生成部２５（具体的には第２処理部２５２）は、各特定範囲Ｒの相対遷移Ｖ2における微細な変動を、当該特定範囲Ｒに設定された第１パラメータＰ1の数値に応じて制御する。例えば、相対遷移Ｖ2における高周波成分（すなわち時間的に不安定で微細な変動成分）が第１パラメータＰ1に応じて抑制される。微細な変動が抑制された歌唱音声は、歌唱に熟練した印象を受聴者に付与する。したがって、第１パラメータＰ1は、合成音声が表す歌唱の巧拙に関するパラメータに相当する。
　また、遷移生成部２５は、各特定範囲Ｒ内の相対遷移Ｖ2における音高の変動幅を、当該特定範囲Ｒに設定された第２パラメータＰ2の数値に応じて制御する。音高の変動幅は、合成音声の受聴者が感取する抑揚に影響する。すなわち、音高の変動幅が大きいほど抑揚が大きい合成音声と受聴者に知覚される。したがって、第２パラメータＰ2は、合成音声の抑揚に関するパラメータに相当する。遷移生成部２５が生成した特性遷移Ｖの表示、および、特性遷移Ｖを利用した音声信号Ｚの生成は、第１実施形態と同様である。
　第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態によれば、利用者からの指示に応じて設定される調整パラメータＰに応じて多様な特性遷移Ｖを生成することが可能である。
　なお、以上の説明では、特定範囲Ｒについて調整パラメータＰを設定したが、調整パラメータＰの設定の範囲は以上の例示に限定されない。具体的には、合成楽曲の全体について調整パラメータＰを設定してもよいし、音符毎に調整パラメータＰを調整してもよい。例えば、第１パラメータＰ1は合成楽曲の全体について設定され、第２パラメータＰ2は合成楽曲の全体または音符毎に設定される。
＜変形例＞
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態では、１種類の音色の音声素片群Ｌを音声合成に利用したが、複数の音声素片群Ｌを選択的に音声合成に利用してもよい。複数の音声素片群Ｌは、相異なる発声者の音声から抽出された音声素片で構成される。すなわち、各音声素片の音色は、音声素片群Ｌ毎に相違する。音声合成部２４は、複数の音声素片群Ｌのうち利用者からの指示に応じて選択された音声素片群Ｌを利用した音声合成により音声信号Ｚを生成する。すなわち、複数の音色のうち利用者からの指示に応じた音色の合成音声を表す音声信号Ｚが生成される。以上の構成によれば、多様な音色の合成音声を生成することが可能である。なお、合成楽曲内の区間毎（例えば特定範囲Ｒ毎）に音声素片群Ｌを選択してもよい。
（２）前述の各形態では、特定範囲Ｒ内の全体にわたる特性遷移Ｖを音符の編集毎に変更したが、特性遷移Ｖの一部を変更してもよい。すなわち、遷移生成部２５は、特定範囲Ｒの特性遷移Ｖのうち編集対象の音符を含む特定の範囲（以下「変更範囲」という）を変更する。変更範囲は、例えば編集対象の音符の前後の音符が連続する範囲（例えば合成楽曲の１個のフレーズに相当する期間）である。以上の構成によれば、音符の編集毎に特定範囲Ｒの全体にわたる特性遷移Ｖを生成する構成と比較して遷移生成部２５の処理の負荷を軽減することが可能である。
（３）楽譜領域Ｃ内に第１音符ｎ1が追加されてから、当該追加後の音符の時系列に対応する特性遷移Ｖを遷移生成部２５が生成する処理の完了前に、別個の第２音符ｎ2の編集が利用者から指示される場合がある。以上の場合、第１音符ｎ1の追加に対応する特性遷移Ｖの生成の途中結果を破棄したうえで、第１音符ｎ1と第２音符ｎ2とを含む音符の時系列に対応する特性遷移Ｖを遷移生成部２５が生成する。
（４）前述の各形態では、合成楽曲の各音符に対応する音符図形Ｎを楽譜領域Ｃ内に表示したが、音符図形Ｎとともに（または音符図形Ｎに代えて）、音声信号Ｚが表す音声波形を楽譜領域Ｃ内に配置してもよい。例えば図８に例示される通り、各音符の音符図形Ｎに重なるように、音声信号Ｚのうち当該音符に対応する部分の音声波形Ｗが表示される。
（５）前述の各形態では、楽譜領域Ｃに特性遷移Ｖを表示したが、特性遷移Ｖに加えて（または特性遷移Ｖに代えて）、基礎遷移Ｖ1および相対遷移Ｖ2の一方または双方を表示装置１３に表示してもよい。基礎遷移Ｖ1または相対遷移Ｖ2は、特性遷移Ｖとは別個の表示態様（すなわち視覚的に弁別できる画像の性状）で表示される。具体的には、基礎遷移Ｖ1または相対遷移Ｖ2は、特性遷移Ｖとは別個の色彩または線種で表示される。なお、相対遷移Ｖ2は音高の相対値であるから、楽譜領域Ｃに表示する以外に、楽譜領域Ｃと共通の時間軸が設定された別個の領域に表示してもよい。
（６）前述の各形態では、合成音声の音高の遷移を特性遷移Ｖとして例示したが、特性遷移Ｖにより表現される音響特性は音高に限定されない。例えば、合成音声の音量の遷移を特性遷移Ｖとして遷移生成部２５が生成してもよい。
（７）前述の各形態では、合成音声を生成する音声合成装置を情報処理装置１００として例示したが、合成音声の生成までは必須ではない。例えば、各特定範囲Ｒに関する特性遷移Ｖを生成する特性遷移生成装置としても情報処理装置１００は実現される。特性遷移生成装置において、合成音声の音声信号Ｚを生成する機能（音声合成部２４）の有無は不問である。
（８）前述の各形態に係る情報処理装置１００の機能は、コンピュータ（例えば制御装置１１）とプログラムとの協働により実現される。本開示のひとつの態様に係るプログラムは、時間軸上の特定範囲Ｒについて発音スタイルＱを設定する範囲設定部２２、発音スタイルＱが設定された特定範囲Ｒ内に利用者からの指示に応じて音符を配置する音符処理部２３、および、特定範囲Ｒに設定された発音スタイルＱで当該特定範囲Ｒ内の音符を発音した音声の音響特性の遷移である特性遷移Ｖを生成する遷移生成部２５、としてコンピュータを機能させる。
　以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
＜付記＞
　以上に例示した形態から、例えば以下の構成が把握される。
　本開示のひとつの態様（第１態様）に係る情報処理方法は、時間軸上の特定範囲について発音スタイルを設定し、前記発音スタイルが設定された前記特定範囲内に利用者からの指示に応じて１以上の音符を配置し、前記特定範囲に設定された発音スタイルで当該特定範囲内の前記１以上の音符を発音した音声の音響特性の遷移である特性遷移を生成する。以上の態様では、発音スタイルが設定された特定範囲内に１以上の音符が設定され、特定範囲内に設定された発音スタイルで当該特定範囲内の１以上の音符を発音した音声の特性遷移が生成される。したがって、各音符の発音スタイルを利用者が指定する作業の負荷を軽減することが可能である。
　第１態様の一例（第２態様）において、前記時間軸が設定された楽譜領域内に、前記特定範囲内の前記１以上の音符と当該特定範囲内の前記特性遷移とを表示させる。以上の態様によれば、特定範囲内の前記１以上の音符と特性遷移との時間的な関係を利用者が視覚的に把握できる。
　第１態様または第２態様の一例（第３態様）において、前記特定範囲内における前記１以上の音符の編集毎に、当該特定範囲の前記特性遷移を変更する。以上の態様によれば、１以上の音符の編集（例えば追加または変更）毎に、当該編集後の１以上の音符に対応する特性遷移を確認できる。
　第１態様から第３態様の何れかの一例（第４態様）において、前記１以上の音符は、第１音符と第２音符とを含み、前記特定範囲内に前記第１音符が設定された第１状態における前記特性遷移と、前記第１状態における前記特定範囲内に前記第２音符が追加された第２状態における前記特性遷移との間では、前記第１音符に対応する部分が相違する。以上の態様では、特定範囲内における第２音符の有無に応じて特性遷移のうち第１音符に対応する部分が変化する。したがって、単体の音符だけでなく周囲の音符の相互間の関係にも影響されるという傾向を反映した自然な特性遷移を生成することが可能である。
　第１態様から第４態様の何れかの一例（第５態様）において、前記特性遷移の生成においては、相異なる発音スタイルに対応する複数の遷移推定モデルのうち、前記特定範囲に設定された発音スタイルに対応する遷移推定モデルを利用して、前記特性遷移を生成する。以上の態様では、機械学習による学習済の遷移推定モデルを利用して特性遷移が生成されるから、機械学習に利用された学習用データに潜在する傾向を反映した特性遷移を生成することが可能である。
　第１態様から第４態様の何れかの一例（第６態様）において、前記特性遷移の生成においては、音声を表す複数の表現サンプルのうち前記特定範囲内の前記１以上の音符に対応する表現サンプルの特性の遷移に応じて前記特性遷移を生成する。以上の態様では、表現サンプルの特性の遷移に応じて特定範囲内の特性遷移が生成されるから、表現サンプルにおける特性の遷移の傾向を忠実に反映した特性遷移を生成することが可能である。
　第１態様から第４態様の何れかの一例（第７態様）において、前記特性遷移の生成においては、複数の表現選択モデルのうち前記特定範囲に設定された前記発音スタイルに対応する表現選択モデルを利用して、音声を表す複数の表現サンプルから前記特定範囲内の前記１以上の音符に対応する表現サンプルを選択し、当該表現サンプルの特性の遷移に応じて前記特性遷移を生成する。以上の態様では、１以上の音符の状況に応じた適切な表現サンプルを表現選択モデルにより選択することが可能である。なお、表現選択モデルは、音符に適用される表現サンプルの選択の傾向を発音スタイルおよびコンテキストに関連付けて機械学習した分類モデルである。音符に関するコンテキストは、当該音符に関する状況であり、例えば当該音符またはその周囲の音符の音高、強度または音長等である。
　第１態様から第７態様の何れかの一例（第８態様）において、前記特性遷移の生成においては、前記利用者からの指示に応じて設定される調整パラメータに応じた前記特性遷移を生成する。以上の態様によれば、利用者からの指示に応じて設定される調整パラメータに応じて多様な特性遷移を生成することが可能である。
　第１態様から第８態様の何れかの一例（第９態様）において、前記特性遷移に沿って特性が変化する合成音声を表す音声信号を生成する。以上の態様によれば、利用者が音符毎に発音スタイルを指定する作業の負荷を軽減しながら、特定範囲内の特性遷移を反映した合成音声の音声信号を生成することが可能である。
　第９態様の一例（第１０態様）において、前記音声信号の生成においては、複数の音色のうち利用者からの指示に応じて選択された音色の合成音声を表す前記音声信号を生成する。以上の態様によれば、多様な音色の合成音声を生成することが可能である。
　以上に例示した各態様の情報処理方法を実行する情報処理装置、または、以上に例示した各態様の情報処理方法をコンピュータに実行させるプログラムとしても、本開示のひとつの態様は実現される。
１００…情報処理装置、１１…制御装置、１２…記憶装置、１３…表示装置、１４…入力装置、１５…放音装置、２１…表示制御部、２２…範囲設定部、２３…音符処理部、２４…音声合成部、２５…遷移生成部、２５１…第１処理部、２５２…第２処理部、３１…基礎遷移生成部、３２…相対遷移生成部。

Claims (17)

  1. 　時間軸上の特定範囲について発音スタイルを設定し、
    　前記発音スタイルが設定された前記特定範囲内に利用者からの指示に応じて１以上の音符を配置し、
    　前記特定範囲に設定された前記発音スタイルで当該特定範囲内の前記１以上の音符を発音した音声の音響特性の遷移である特性遷移を生成する
    　コンピュータにより実現される情報処理方法。
  2. 　前記時間軸が設定された楽譜領域内に、前記特定範囲内の前記１以上の音符と当該特定範囲内の前記特性遷移とを表示させる
    　請求項１の情報処理方法。
  3. 　前記特定範囲内における前記１以上の音符の編集毎に、当該特定範囲の前記特性遷移を変更する
    　請求項１または請求項２の情報処理方法。
  4. 　前記１以上の音符は、第１音符と第２音符とを含み、
    　前記特定範囲内に前記第１音符が設定された第１状態における前記特性遷移と、前記第１状態における前記特定範囲内に前記第２音符が追加された第２状態における前記特性遷移との間では、前記第１音符に対応する部分が相違する
    　請求項１から請求項３の何れかの情報処理方法。
  5. 　前記特性遷移の生成においては、相異なる発音スタイルに対応する複数の遷移推定モデルのうち、前記特定範囲に設定された前記発音スタイルに対応する遷移推定モデルを利用して、前記特性遷移を生成する
    　請求項１から請求項４の何れかの情報処理方法。
  6. 　前記特性遷移の生成においては、音声を表す複数の表現サンプルのうち前記特定範囲内の前記１以上の音符に対応する表現サンプルの特性の遷移に応じて前記特性遷移を生成する
    　請求項１から請求項４の何れかの情報処理方法。
  7. 　前記特性遷移の生成においては、複数の表現選択モデルのうち前記特定範囲に設定された前記発音スタイルに対応する表現選択モデルを利用して、音声を表す複数の表現サンプルから前記特定範囲内の前記１以上の音符に対応する表現サンプルを選択し、当該表現サンプルの特性の遷移に応じて前記特性遷移を生成する
    　請求項１から請求項４の何れかの情報処理方法。
  8. 　前記特性遷移の生成においては、前記利用者からの指示に応じて設定される調整パラメータに応じた前記特性遷移を生成する
    　請求項１から請求項７の何れかの情報処理方法。
  9. 　時間軸上の特定範囲について発音スタイルを設定する範囲設定部と、
    　前記発音スタイルが設定された前記特定範囲内に利用者からの指示に応じて１以上の音符を配置する音符処理部と、
    　前記特定範囲に設定された前記発音スタイルで当該特定範囲内の前記１以上の音符を発音した音声の音響特性の遷移である特性遷移を生成する遷移生成部と
    　を具備する情報処理装置。
  10. 　前記時間軸が設定された楽譜領域内に、前記特定範囲内の前記１以上の音符と当該特定範囲内の前記特性遷移とを表示させる表示制御部
    　を具備する請求項９の情報処理装置。
  11. 　前記遷移生成部は、前記特定範囲内における前記１以上の音符の編集毎に、当該特定範囲の前記特性遷移を変更する
    　請求項９または請求項１０の情報処理装置。
  12. 　前記１以上の音符は、第１音符と第２音符とを含み、
    　前記特定範囲内に前記第１音符が設定された第１状態における前記特性遷移と、前記第１状態における前記特定範囲内に前記第２音符が追加された第２状態における前記特性遷移との間では、前記第１音符に対応する部分が相違する
    　請求項９から請求項１１の何れかの情報処理装置。
  13. 　前記遷移生成部は、相異なる発音スタイルに対応する複数の遷移推定モデルのうち、前記特定範囲に設定された前記発音スタイルに対応する遷移推定モデルを利用して、前記特性遷移を生成する
    　請求項９から請求項１２の何れかの情報処理装置。
  14. 　前記遷移生成部は、音声を表す複数の表現サンプルのうち前記特定範囲内の前記１以上の音符に対応する表現サンプルの特性の遷移に応じて前記特性遷移を生成する
    　請求項９から請求項１３の何れかの情報処理装置。
  15. 　前記遷移生成部は、複数の表現選択モデルのうち前記特定範囲に設定された前記発音スタイルに対応する表現選択モデルを利用して、音声を表す複数の表現サンプルから前記特定範囲内の前記１以上の音符に対応する表現サンプルを選択し、当該表現サンプルの特性の遷移に応じて前記特性遷移を生成する
    　請求項９から請求項１３の何れかの情報処理装置。
  16. 　前記遷移生成部は、前記利用者からの指示に応じて設定される調整パラメータに応じた前記特性遷移を生成する
    　請求項９から請求項１５の何れかの情報処理装置。
  17. 　時間軸上の特定範囲について発音スタイルを設定する範囲設定部、
    　前記発音スタイルが設定された前記特定範囲内に利用者からの指示に応じて音符を配置する音符処理部、および、
    　前記特定範囲に設定された前記発音スタイルで当該特定範囲内の音符を発音した音声の音響特性の遷移である特性遷移を生成する遷移生成部
    　としてコンピュータを機能させるプログラム。
PCT/JP2019/022253 2018-06-15 2019-06-05 情報処理方法、情報処理装置およびプログラム WO2019239971A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020525475A JP7124870B2 (ja) 2018-06-15 2019-06-05 情報処理方法、情報処理装置およびプログラム
US17/119,371 US11437016B2 (en) 2018-06-15 2020-12-11 Information processing method, information processing device, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-114605 2018-06-15
JP2018114605 2018-06-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/119,371 Continuation US11437016B2 (en) 2018-06-15 2020-12-11 Information processing method, information processing device, and program

Publications (1)

Publication Number Publication Date
WO2019239971A1 true WO2019239971A1 (ja) 2019-12-19

Family

ID=68842200

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022253 WO2019239971A1 (ja) 2018-06-15 2019-06-05 情報処理方法、情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US11437016B2 (ja)
JP (1) JP7124870B2 (ja)
WO (1) WO2019239971A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022074754A1 (ja) * 2020-10-07 2022-04-14 ヤマハ株式会社 情報処理方法、情報処理システムおよびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012103654A (ja) * 2010-10-12 2012-05-31 Yamaha Corp 音声合成装置及びプログラム
JP2013137520A (ja) * 2011-11-29 2013-07-11 Yamaha Corp 音楽データ編集装置
JP2015034920A (ja) * 2013-08-09 2015-02-19 ヤマハ株式会社 音声解析装置
JP2015049253A (ja) * 2013-08-29 2015-03-16 ヤマハ株式会社 音声合成管理装置
JP2017097176A (ja) * 2015-11-25 2017-06-01 株式会社テクノスピーチ 音声合成装置および音声合成方法
JP2017107228A (ja) * 2017-02-20 2017-06-15 株式会社テクノスピーチ 歌声合成装置および歌声合成方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219443A (ja) * 1998-01-30 1999-08-10 Konami Co Ltd キャラクタ画像の表示制御方法及び装置、記録媒体
US9165542B2 (en) * 2002-02-27 2015-10-20 Y Indeed Consulting L.L.C. System and method that facilitates customizing media
US20070055523A1 (en) * 2005-08-25 2007-03-08 Yang George L Pronunciation training system
US20140236597A1 (en) * 2007-03-21 2014-08-21 Vivotext Ltd. System and method for supervised creation of personalized speech samples libraries in real-time for text-to-speech synthesis
US8244546B2 (en) * 2008-05-28 2012-08-14 National Institute Of Advanced Industrial Science And Technology Singing synthesis parameter data estimation system
JP5605066B2 (ja) * 2010-08-06 2014-10-15 ヤマハ株式会社 音合成用データ生成装置およびプログラム
JP6070010B2 (ja) * 2011-11-04 2017-02-01 ヤマハ株式会社 音楽データ表示装置および音楽データ表示方法
US20130125732A1 (en) * 2011-11-21 2013-05-23 Paul Nho Nguyen Methods to Create New Melodies and Music From Existing Source
US9653056B2 (en) * 2012-04-30 2017-05-16 Nokia Technologies Oy Evaluation of beats, chords and downbeats from a musical audio signal
US9094576B1 (en) * 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9847078B2 (en) * 2014-07-07 2017-12-19 Sensibol Audio Technologies Pvt. Ltd. Music performance system and method thereof
US9596538B2 (en) * 2014-12-12 2017-03-14 Intel Corporation Wearable audio mixing
US9721551B2 (en) * 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012103654A (ja) * 2010-10-12 2012-05-31 Yamaha Corp 音声合成装置及びプログラム
JP2013137520A (ja) * 2011-11-29 2013-07-11 Yamaha Corp 音楽データ編集装置
JP2015034920A (ja) * 2013-08-09 2015-02-19 ヤマハ株式会社 音声解析装置
JP2015049253A (ja) * 2013-08-29 2015-03-16 ヤマハ株式会社 音声合成管理装置
JP2017097176A (ja) * 2015-11-25 2017-06-01 株式会社テクノスピーチ 音声合成装置および音声合成方法
JP2017107228A (ja) * 2017-02-20 2017-06-15 株式会社テクノスピーチ 歌声合成装置および歌声合成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022074754A1 (ja) * 2020-10-07 2022-04-14 ヤマハ株式会社 情報処理方法、情報処理システムおよびプログラム
CN116324965A (zh) * 2020-10-07 2023-06-23 雅马哈株式会社 信息处理方法、信息处理系统及程序

Also Published As

Publication number Publication date
US20210097973A1 (en) 2021-04-01
JP7124870B2 (ja) 2022-08-24
US11437016B2 (en) 2022-09-06
JPWO2019239971A1 (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
JP6729539B2 (ja) 音声合成方法、音声合成システムおよびプログラム
JP2015034920A (ja) 音声解析装置
JP6784022B2 (ja) 音声合成方法、音声合成制御方法、音声合成装置、音声合成制御装置およびプログラム
US9711123B2 (en) Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program recorded thereon
JP6728754B2 (ja) 発音装置、発音方法および発音プログラム
JP2013137520A (ja) 音楽データ編集装置
JP2013205638A (ja) 音声合成装置
JP7124870B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP2011221085A (ja) 情報編集装置
JP7127682B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP6992894B2 (ja) 表示制御方法、表示制御装置およびプログラム
JP5106437B2 (ja) カラオケ装置及びその制御方法並びにその制御プログラム
JP7180642B2 (ja) 音声合成方法、音声合成システムおよびプログラム
JP5790860B2 (ja) 音声合成装置
JP5953743B2 (ja) 音声合成装置及びプログラム
JP5552797B2 (ja) 音声合成装置および音声合成方法
JP7186476B1 (ja) 音声合成装置
US20240135916A1 (en) Non-transitory computer-readable recording medium, sound processing method, and sound processing system
JP2015148750A (ja) 歌唱合成装置
JP2014170251A (ja) 音声合成装置、音声合成方法およびプログラム
JP2015079130A (ja) 楽音情報生成装置および楽音情報生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19818728

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525475

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19818728

Country of ref document: EP

Kind code of ref document: A1