WO2018173335A1 - 話者検索装置、話者検索方法、および話者検索プログラム - Google Patents

話者検索装置、話者検索方法、および話者検索プログラム Download PDF

Info

Publication number
WO2018173335A1
WO2018173335A1 PCT/JP2017/034573 JP2017034573W WO2018173335A1 WO 2018173335 A1 WO2018173335 A1 WO 2018173335A1 JP 2017034573 W JP2017034573 W JP 2017034573W WO 2018173335 A1 WO2018173335 A1 WO 2018173335A1
Authority
WO
WIPO (PCT)
Prior art keywords
speaker
score
unit
score vector
management information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/034573
Other languages
English (en)
French (fr)
Inventor
紘一郎 森
鈴木　優
大和 大谷
眞弘 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to CN201780088429.2A priority Critical patent/CN110431546B/zh
Publication of WO2018173335A1 publication Critical patent/WO2018173335A1/ja
Priority to US16/573,243 priority patent/US10978076B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval

Definitions

  • Embodiments of the present invention relate to a speaker search device, a speaker search method, and a speaker search program.
  • the problem to be solved by the present invention is to provide a speaker search device, a speaker search method, and a speaker search program capable of searching for a speaker having a high voice quality similarity.
  • the speaker search device includes a first conversion unit, a reception unit, and a search unit.
  • the first conversion unit converts the acoustic model registered in advance into a point vector using the inverse conversion model of the first conversion model for converting the score vector representing the characteristics of the voice quality into the acoustic model, and speaker identification information Register in the score management information in association with.
  • the reception unit receives an input of a score vector.
  • the retrieval unit retrieves speaker identification information similar to the received score vector from the score management information.
  • FIG. 1 is a diagram illustrating an example of a speaker search device.
  • FIG. 2 is a schematic diagram illustrating an example of a data configuration of speaker management information.
  • FIG. 3 is a schematic diagram illustrating an example of a score vector.
  • FIG. 4 is a schematic diagram illustrating an example of a data configuration of the score management information.
  • FIG. 5 is a schematic diagram illustrating an example of the input screen.
  • FIG. 6 is a schematic diagram illustrating an example of a display screen.
  • FIG. 7 is a flowchart illustrating an example of the procedure of search processing.
  • FIG. 8 is a flowchart illustrating an example of a procedure of speaker search processing.
  • FIG. 9 is a diagram illustrating an example of a speaker search device.
  • FIG. 1 is a diagram illustrating an example of a speaker search device.
  • FIG. 2 is a schematic diagram illustrating an example of a data configuration of speaker management information.
  • FIG. 3 is a schematic diagram illustrating an example of a score
  • FIG. 10 is a schematic diagram illustrating an example of a data configuration of the voice management information.
  • FIG. 11 is a schematic diagram illustrating an example of a data configuration of the score management information.
  • FIG. 12 is a flowchart illustrating an example of a procedure of search processing executed by the speaker search device.
  • FIG. 13 is an explanatory diagram illustrating a hardware configuration example of the speaker search device.
  • FIG. 1 is a diagram illustrating an example of the speaker search device 10 according to the present embodiment.
  • the speaker search device 10 is a device that searches for a speaker having a voice quality desired by the user.
  • the speaker search device 10 includes a storage unit 12, a processing unit 14, a voice output unit 16, and a UI (user interface) unit 18.
  • the storage unit 12, the audio output unit 16, the UI unit 18, and the processing unit 14 are connected to be able to exchange data and signals via a bus or the like.
  • the audio output unit 16 outputs audio.
  • the audio output unit 16 is, for example, a speaker.
  • the UI unit 18 includes an input unit 18A and a display unit 18B.
  • the input unit 18A receives a user operation.
  • the input unit 18A is, for example, a pointing device such as a digital pen, a mouse, or a trackball, or an input device such as a keyboard.
  • the display unit 18B displays various information.
  • the display unit 18B is, for example, a display such as an LCD or a projection device.
  • the UI unit 18 may be a touch panel that integrally includes an input unit 18A and a display unit 18B.
  • the storage unit 12 stores various data.
  • the storage unit 12 is, for example, a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like.
  • the storage unit 12 may be a storage device provided outside the speaker search device 10.
  • the storage unit 12 may be a storage medium. Specifically, the storage medium may be a program or various types of information downloaded and stored or temporarily stored via a LAN (Local Area Network) or the Internet.
  • the storage unit 12 may be configured from a plurality of storage media.
  • the storage unit 12 stores speaker management information 12A, a first conversion model 12B, and score management information 12C.
  • Speaker management information 12A is information related to the voice of the speaker.
  • the speaker management information 12A is stored in the storage unit 12 in advance.
  • FIG. 2 is a schematic diagram illustrating an example of a data configuration of the speaker management information 12A.
  • the speaker management information 12A is a database in which a speaker ID, speech data, speech text, acoustic feature amount, language feature amount, acoustic model, and score vector are associated with each other.
  • the data format of the speaker management information 12A is not limited to the database.
  • the speaker management information 12A may be a table.
  • the speaker ID is identification information (speaker identification information) for identifying the speaker.
  • the speaker ID may be any information that can identify the speaker.
  • the speaker ID is, for example, a speaker name.
  • the voice data is voice data of a speaker identified by a corresponding speaker ID.
  • a plurality of voice data for example, N pieces (N is an integer of 2 or more) are registered in association with the speaker ID.
  • the data format of the audio data is not limited.
  • the data format of audio data is WAV, AIFF, BWF, or the like.
  • the audio text is a recorded manuscript of audio data.
  • the acoustic feature quantity is a voice (sound) feature quantity extracted from the corresponding voice data.
  • an acoustic feature amount used in HMM (hidden Markov model) speech synthesis may be used.
  • the acoustic feature amount includes a mel cepstrum coefficient representing a phoneme and a voice color, a mel LPC coefficient, a mel LSP coefficient, a fundamental frequency (F0) representing a voice pitch, and an aperiodicity representing a ratio of a periodic / non-periodic component of speech.
  • Linguistic feature value is a language feature value extracted from the corresponding speech text.
  • the language feature amount includes information about the preceding and following phonemes, pronunciation, phrase end position, sentence length, accent phrase length, mora length, mora position, accent type, part of speech, dependency information, and the like. It is assumed that a language feature amount corresponding to a registered speaker ID is derived in advance in the speaker management information 12A and registered in advance in the speaker management information 12A.
  • the acoustic model is a statistical model of the mapping from the speech feature to the acoustic feature of the speaker.
  • an acoustic model in HMM speech synthesis is used as the acoustic model.
  • the acoustic model is modeled with a decision tree in which the input is a language feature and the output is an acoustic feature.
  • the acoustic feature quantity as an output is expressed by a set of a mean vector and a covariance matrix of a multidimensional normal distribution assigned to each leaf node of the decision tree.
  • An acoustic model is generated by estimating the average vector and the covariance matrix, which are parameters of the acoustic model, from the acoustic feature amount and language feature amount of the speaker.
  • a decision tree acoustic model in HMM speech synthesis is used as the acoustic model.
  • the acoustic model is not limited to a form using a decision tree acoustic model in HMM speech synthesis.
  • any model such as a neural network that maps a language feature amount to an acoustic feature amount may be used as the acoustic model.
  • an acoustic model corresponding to a registered speaker ID is derived in advance in the speaker management information 12A and registered in advance in the speaker management information 12A.
  • some speaker IDs in the speaker management information 12A may not be registered in association with the acoustic model.
  • the score vector represents the voice quality characteristics of the speaker.
  • the score vector represents a subjective feature of the voice quality of the speaker.
  • FIG. 3 is a schematic diagram showing an example of a score vector.
  • the score vector represents the subjective strength of the voice quality feature of the speaker as a score (ie, a numerical value) for each type of voice quality feature.
  • the type of voice quality feature is not a physical feature amount but a subjective classification of voice quality.
  • the type of voice quality feature may be determined in advance. For example, the types of voice quality features are “sex”, “age”, “brightness”, “hardness”, “clarity”, “fluency”, “smear”, and the like. That is, the score vector is a vector that represents a speaker's subjective characteristics using an axis with a label corresponding to a subjective type representing voice quality.
  • the score corresponding to these feature types represents the strength of these types of features.
  • the score is represented by a numerical value, for example.
  • FIG. 3 shows a case where the score is expressed in the range of “0” to “1”.
  • the voice quality feature type “gender” indicates that the closer to the score “0”, the more feminine, and the closer the score “1”, the more masculine.
  • the voice quality feature type “age” is younger as the score is closer to “0”, and the age is higher as the score is closer to “1”.
  • the score vector corresponding to the speaker ID “A” indicates that the voice quality feature of the speaker identified by the speaker ID “A” is a voice of a young child. Show.
  • the score vector corresponding to the speaker ID “B” indicates that the voice quality feature of the speaker identified by the speaker ID “B” is a voice of a young woman.
  • the score vector corresponding to the speaker ID “D” indicates that the voice quality feature of the speaker identified by the speaker ID “D” is an old male voice.
  • a score vector is registered in advance in the speaker management information 12A in association with some of the speaker IDs registered in the speaker management information 12A.
  • the subjective voice quality of many people is reflected by a questionnaire survey on the voice quality of the speaker identified by the speaker ID. It is assumed that a score vector is assigned in advance.
  • the number of speaker IDs registered in the speaker management information 12A is greater than or equal to the number that makes it difficult for the user to manually search for a desired speaker from the speaker management information 12A.
  • the first conversion model 12B is a model for converting the score vector into an acoustic model.
  • the first conversion model 12B is learned by the processing unit 14 and stored in the storage unit 12 (details will be described later).
  • the score management information 12C is a database used when a user searches for a speaker.
  • the score management information 12C is registered by the processing unit 14 described later (details will be described later).
  • the processing unit 14 controls the speaker search device 10.
  • the processing unit 14 includes a first learning unit 14A, a first conversion unit 14B, a reception unit 14C, a search unit 14D, a display control unit 14E, a second conversion unit 14F, a synthesis unit 14G, and a reproduction unit 14H. And including.
  • Each of the above-described units includes, for example, one or more Realized by a processor.
  • each of the above units may be realized by causing a processor such as a CPU (Central Processing Unit) to execute a program, that is, by software.
  • a processor such as a CPU (Central Processing Unit)
  • Each of the above sections may be realized by a processor such as a dedicated IC (Integrated Circuit), that is, hardware.
  • Integrated Circuit Integrated Circuit
  • At least one of the above-described units may be mounted on a cloud server that executes processing on the cloud.
  • the first learning unit 14A learns the first conversion model 12B from the speaker management information 12A.
  • the first conversion model 12B is a model for converting a score vector into an acoustic model.
  • the first learning unit 14A specifies a plurality of speaker IDs in which score vectors are registered among a plurality of speaker IDs registered in the speaker management information 12A. Then, the first learning unit 14A uses the acoustic model corresponding to each of the specified plurality of speaker IDs and the score vector corresponding to each of the speaker IDs to generate one first conversion model 12B. learn.
  • the first learning unit 14A uses the multiple regression HSMM (hidden semi-Markov model) disclosed in Non-Patent Document 2 or the cluster adaptive learning disclosed in Non-Patent Document 3 to perform speaker management information.
  • the first conversion model 12B is learned from 12A.
  • Non-Patent Document 2 Tachibana et al. “A technique for controlling voice quality of synthetic speech using multiple regression HSMM,” in Proceedings of INTERSPEECH 2006, pp.2438-2441 (2006) (Non-patent Document 3) Otani et al., Speaker control method using perceptual expression words using cluster adaptive learning in statistical speech synthesis, Proc. Of Acoustical Society (Spring) (2016)
  • the first learning unit 14A learns the first learning unit 14A using multiple regression HSMM
  • the first learning unit 14A may learn the first conversion model 12B from the speaker management information 12A using another method.
  • the first learning unit 14A may learn the first conversion model 12B using an algorithm for learning a mapping from a vector to a vector, such as a neural network.
  • the first conversion model 12B is represented by the following formula (1).
  • Equation (1) is an equation representing the first conversion model 12B.
  • ⁇ represents an average vector of the acoustic model represented by a normal distribution.
  • ⁇ may be referred to as a super vector.
  • a super vector is an average vector of an acoustic model represented by a normal distribution, which is represented by a vector obtained by connecting average vectors of all leaf nodes of a decision tree.
  • s represents a score vector.
  • H represents a transformation matrix.
  • b represents a bias vector.
  • s (score vector) is expressed by the following equation (2).
  • s represents a score vector.
  • si (i is an integer not less than 1 and not more than L) is a score of the i-th type voice quality feature of the score vector.
  • L is the number of types of voice quality features.
  • the first learning unit 14A When using the multiple regression HSMM, the first learning unit 14A specifies the speaker ID associated with the score vector among the speaker IDs included in the speaker management information 12A. Then, the first learning unit 14A uses the average vector ⁇ of the acoustic model corresponding to the specified speaker ID and the score vector s corresponding to the speaker ID in the speaker management information 12A as learning data. The first learning unit 14A obtains the transformation matrix H and the bias vector b by the maximum likelihood estimation using the learning data.
  • the first learning unit 14A generates the first conversion model 12B represented by the equation (1) and registers it in the storage unit 12. That is, the first learning unit 14A stores the identified expression (1) of the conversion matrix H and the bias vector b in the storage unit 12 as the first conversion model 12B.
  • an acoustic model (acoustic model average vector ⁇ ) can be derived from the score vector s. That is, by using the first conversion model 12B, the processing unit 14 can synthesize voice of voice quality represented by an arbitrary score vector.
  • the first conversion unit 14B converts the acoustic model registered in the speaker management information 12A into a score vector using the first conversion model 12B, and registers it in the score management information 12C in association with the speaker ID.
  • the first conversion model 12B is a model for converting the score vector into an acoustic model. Therefore, the first conversion unit 14B converts the acoustic model registered in the speaker management information 12A into a score vector using the inverse conversion model of the first conversion model 12B, and registers it in the score management information 12C.
  • FIG. 4 is a schematic diagram illustrating an example of a data configuration of the score management information 12C.
  • the score management information 12C associates a speaker ID, speech data, speech text, acoustic feature, language feature, acoustic model, and score vector. Database.
  • the data format of the score management information 12C is not limited to the database.
  • the score management information 12C may be a table.
  • All the data shown in the speaker management information 12A are registered in the score management information 12C.
  • the score vector converted by the first conversion unit 14B is further registered in association with the unregistered speaker ID of the score vector in the speaker management information 12A.
  • the score vector (Sa) registered in the speaker management information 12A (see FIG. 2) is reflected in the score management information 12C as it is.
  • the unregistered speaker ID of the score vector (for example, speaker IDs “C” and “E”) is converted by the first conversion unit 14B in the score management information 12C.
  • the score vector (Sb) is registered.
  • the first conversion unit 14B specifies an unregistered speaker ID of the score vector in the speaker management information 12A.
  • the first conversion unit 14B specifies an unregistered speaker ID (eg, speaker ID “C”, “D”, “E”) of the score vector. To do.
  • the first conversion unit 14B converts the acoustic model corresponding to the identified speaker ID into a score vector corresponding to the speaker ID using the inverse conversion model of the first conversion model 12B.
  • the first conversion unit 14B transforms the expression (1) indicating the first conversion model 12B and derives the following expression (3) indicating the inverse conversion model.
  • the following equation (3) is an equation showing an inverse transformation model of the inverse mapping of the first transformation model 12B.
  • the first conversion unit 14B specifies the conversion matrix H and the bias vector b from the first conversion model 12B. Then, the first conversion unit 14B uses the expression (3) obtained by fitting the conversion matrix H and the bias vector b as an inverse conversion model of the first conversion model 12B. Then, the first conversion unit 14B derives a score vector S (score vector Sb in FIG. 4) from the average vector ⁇ of the acoustic model corresponding to the unregistered speaker ID of the score vector in the speaker management information 12A. Then, the first conversion unit 14B registers the derived score vector in the score management information 12C in association with the corresponding speaker ID.
  • a score vector S score vector Sb in FIG. 4
  • the first conversion unit 14B registers all of the data registered in the speaker management information 12A in the score management information 12C, and then the score vector derived by the first conversion unit 14B. In association with the corresponding speaker ID, it is registered in the score management information 12C.
  • the score vector (Sa) registered in the speaker management information 12A is directly reflected in the score management information 12C (see FIG. 4).
  • the score management information 12C converts the unregistered speaker ID (eg, speaker ID “C”, “E”) of the score vector in the first conversion unit 14B.
  • the obtained score vector Sb is registered.
  • the first conversion unit 14B cannot derive the score vector. Therefore, in the present embodiment, for the speaker ID “D”, no score vector is registered in the score management information 12C.
  • all the score vectors in the score management information 12C may be score vectors converted by the first conversion unit 14B.
  • the first conversion unit 14B converts the acoustic models corresponding to all the speaker IDs registered in the speaker management information 12A into score vectors using the inverse conversion model of the first conversion model 12B. Then, it may be registered in the score management information 12C.
  • the speaker management information 12A and the first conversion model 12B are separate databases.
  • the speaker management information 12A and the first conversion model 12B may be configured as one management information (that is, one database).
  • the score management information 12C only needs to register at least a score vector corresponding to the speaker ID, and includes at least one of speech data, speech text, acoustic feature, language feature, and acoustic model. It may be in a form that is not registered.
  • the 1st conversion part 14B can derive a score vector from an acoustic model using the inverse conversion model of the 1st conversion model 12B as mentioned above.
  • the first conversion unit 14B performs mapping from the average vector ⁇ of the acoustic model to the score vector, similarly to the first conversion model 12B.
  • the modeled model may be learned separately.
  • the 1st conversion part 14B should just derive
  • the accepting unit 14C accepts an input of a score vector.
  • the user operates the input unit 18A to input a score vector indicating the characteristics of the speech of the speaker to be searched.
  • the score vector is a vector that represents a speaker's subjective characteristics using an axis with a label corresponding to a subjective type representing voice quality. For this reason, the user can input a desired voice quality to be searched using a subjective label representing voice quality instead of a physical feature amount.
  • an input screen is displayed on the display unit 18B under the control of the display control unit 14E.
  • the display control unit 14E performs control to display various images and information on the display unit 18B.
  • display control unit 14E displays an input screen for accepting input of a score vector on display unit 18B.
  • FIG. 5 is a schematic diagram illustrating an example of the input screen 30.
  • the input screen 30 includes a score vector input field 30A, a score vector display field 30B, a play button 30C, and an enter button 30D.
  • the score vector input field 30A is an input field for inputting a score vector indicating the characteristics of the voice quality of the speaker to be searched, which is desired by the user.
  • a slider bar 30F for inputting a score is displayed for each type of voice quality feature.
  • the user operates the input unit 18A while referring to the input screen 30, and adjusts the position of the knob 30E indicated by the slider bar 30F. Through this operation, the user inputs a score for each type of voice quality feature.
  • the score vector display field 30B is a display field that represents the score indicated by the score vector input in the score vector input field 30A for each type of voice quality feature.
  • the playback button 30C is instructed by the user to instruct playback of the voice synthesized according to the score vector displayed in the score vector display field 30B.
  • the enter button 30D is instructed by the user to instruct execution of speaker search according to the score vector displayed in the score vector display field 30B.
  • a score vector is input by an operation instruction of the input unit 18A by the user, and the playback button 30C is instructed to operate.
  • the UI unit 18 outputs the score vector of the score shown in the score vector display field 30B displayed on the input screen 30 and the playback instruction to the processing unit 14 when the playback button 30C is instructed to operate.
  • the receiving unit 14C of the processing unit 14 receives the score vector and the reproduction instruction.
  • the receiving unit 14C Upon receiving the score vector and the reproduction instruction from the input unit 18A, the receiving unit 14C outputs the received score vector to the second conversion unit 14F.
  • the second conversion unit 14F converts the received score vector into an acoustic model using the first conversion model 12B. That is, by using the first conversion model 12B, the second conversion unit 14F converts the score vector input in accordance with the operation instruction of the input unit 18A by the user into an acoustic model of a voice quality speaker represented by the score vector. . Then, the second conversion unit 14F outputs the converted acoustic model to the synthesis unit 14G.
  • the synthesizing unit 14G synthesizes speech from the acoustic model received from the second conversion unit 14F.
  • a known method may be used as a method for synthesizing speech from the acoustic model.
  • the synthesis unit 14G converts a language feature amount extracted from an arbitrary text into an acoustic feature amount using an acoustic model, and synthesizes speech from the acoustic feature amount using a vocoder (see, for example, Reference 1). ).
  • the first learning unit 14A learns the first conversion model 12B, which is a dedicated conversion model, from the speaker management information 12A. Therefore, the synthesizing unit 14G can synthesize voices having characteristics that are subjectively felt by humans from an acoustic model of an arbitrary speaker by using the first conversion model 12B.
  • the reproduction unit 14H controls the audio output unit 16 to reproduce the audio synthesized by the synthesis unit 14G.
  • the audio output unit 16 reproduces the audio synthesized by the synthesis unit 14G.
  • the user can confirm the voice according to the score vector input by the operation instruction of the input unit 18A.
  • the user can input a desired score vector to be searched while operating the playback button 30C when operating the input screen 30 while confirming the voice corresponding to the score vector being input.
  • the user may indicate the operation button on the decision button 30D on the input screen 30.
  • a score vector is input to the score vector input field 30A of the input screen 30 by an operation instruction of the input unit 18A by the user, and the determination button 30D is operated. Then, the UI unit 18 outputs the score vector of the score indicated in the score vector display field 30B displayed on the input screen 30 when the determination button 30D is operated and the search execution instruction to the processing unit 14. .
  • the receiving unit 14C of the processing unit 14 receives the score vector and the search execution instruction.
  • the reception unit 14C Upon receiving the score vector and the search execution instruction from the UI unit 18, the reception unit 14C outputs the score vector to the search unit 14D.
  • the search unit 14D searches the score management information 12C for a speaker ID corresponding to a score vector similar to the received score vector.
  • the search unit 14D uses the Euclidean distance or the like to calculate the distance between the score vector received from the input unit 18A via the reception unit 14C and each of the score vectors registered in the score management information 12C. calculate.
  • the Euclidean distance is expressed by the following formula (4), for example.
  • s indicates a score vector of a search target (that is, a search query (key)) received from the input unit 18A via the receiving unit 14C.
  • s is represented by the above formula (2).
  • si i is an integer of 1 or more and L or less
  • ti (i is an integer not less than 1 and not more than L) is a score of the i-th type voice quality feature of the score vector registered in the score management information 12C. Note that the types of voice quality features of the score vector registered in the score management information 12C and the score vector received from the input unit 18A by the receiving unit 14C are the same.
  • t represents a score vector registered in the score management information 12C.
  • t is represented by the following formula (5).
  • L is the number of types of voice quality features as described above.
  • the search unit 14D specifies the top K score vectors having a short distance from the score vector received from the input unit 18A via the receiving unit 14C among the score vectors registered in the score management information 12C ( K is an integer of 1 or more). Then, the search unit 14D specifies the speaker ID corresponding to the specified score vector in the score management information 12C. Thereby, the search unit 14D searches the score management information 12C for a speaker ID similar to the score vector received by the reception unit 14C.
  • the search unit 14D does not obtain the similarity between the voices of the speakers using physical features such as the mel cepstrum coefficient and F0, but scores that reflect the subjective judgment of these people. Search for similar speaker IDs using vectors.
  • search unit 14D may search for a speaker ID using a score vector obtained by weighting the types of voice quality features.
  • the display control unit 14E provides, on the input screen 30, an input field for inputting a score for each type of voice quality feature (slider bar 30F in FIG. 5) and a weighting value input field. What is necessary is just to display to 18B.
  • the user may further input a weighting value for each type of voice quality feature by operating the input unit 18A while referring to the input screen 30.
  • the reception unit 14C receives a score vector indicating a score for each type of voice quality feature, a weighting value for the type of voice quality feature, and a search execution instruction.
  • the search unit 14D uses the score vector obtained by weighting the score for each type of voice quality feature included in the received score vector with the corresponding weight value as the search query (key) in the same manner as described above. Thus, a similar speaker ID may be searched from the score management information 12C.
  • the search unit 14D uses the Euclidean distance expressed by the following formula (6), the score vector received from the input unit 18A via the reception unit 14C, and the score vector registered in the score management information 12C. Calculate the distance between each of these.
  • s, si, t, and ti are the same as the above formula (4).
  • w represents a weighting value.
  • wi represents a weighting value for the i-th type voice quality feature.
  • the search unit 14D may search for the speaker ID using the score vector obtained by weighting the feature type of the voice quality.
  • the processing unit 14 may perform weighting optimized for the types of voice quality features in advance so as to match the human subjective voice similarity scale.
  • the search unit 14D outputs the searched speaker ID and the score vector corresponding to the speaker ID in the score management information 12C to the display control unit 14E.
  • the display control unit 14E displays a display screen including the speaker ID searched by the search unit 14D on the display unit 18B.
  • FIG. 6 is a schematic diagram showing an example of the display screen 32.
  • the display screen 32 includes a score vector display field 32A, a score vector display field 32B, a search result display field 32C, and a play button 32D.
  • the score vector display field 32A and the score vector display field 32B are display fields for the score vector used as a search query.
  • the search result display field 32C is a display field for the search result of the speaker ID searched using the score vectors displayed in the score vector display field 32A and the score vector display field 32B.
  • the search result display field 32C displays a list of speaker IDs searched by the search unit 14D and a score vector corresponding to each speaker ID.
  • FIG. 6 shows an example in which the above K (the top K closest to the received score vector) is “3”. That is, FIG. 6 shows an example in which three speaker IDs are searched as K speaker IDs corresponding to the score vectors similar to the score vectors shown in the score vector display column 32A and the score vector display column 32B. Is shown.
  • Replay buttons 32D (32D1 to 32D3) are displayed in the area corresponding to each speaker ID in the search result display field 32C.
  • the play button 32D is instructed by the user when instructing the reproduction of the voice synthesized according to the score vector of the corresponding speaker ID.
  • the user operates the input unit 18A to instruct operation of the playback button 32D. Then, the UI unit 18 outputs a score vector corresponding to the playback button 32D and a playback instruction to the processing unit 14. For example, assume that an operation instruction has been given to the playback button 32D1. Then, the UI unit 18 displays the score vector corresponding to the speaker ID “A” (score vector displayed in the search result display column 32C) corresponding to the playback button 32D1 and the playback instruction. Output to.
  • the processing unit 14 When the processing unit 14 receives the score vector and the reproduction instruction from the UI unit 18, the reception unit 14C, the second conversion unit 14F, the synthesis unit 14G, and the reproduction unit 14H perform the same processing as described above. For this reason, the score vector of the speaker ID corresponding to the reproduction button 32D instructed by the user is converted into an acoustic model, and the voice synthesized from the acoustic model is reproduced from the voice output unit 16.
  • the user can check the voice corresponding to each speaker ID shown in the search result display field 32C.
  • the search unit 14D may transmit the search result to an external device via a communication line such as a network.
  • the search unit 14D transmits the score vector used as the search query, the speaker ID of the searched speaker, and the score vector corresponding to the speaker ID to the external device. As a result, it becomes possible to confirm the search result of the speaker corresponding to the input score vector on the external device side that has received such information.
  • FIG. 7 is a flowchart showing an example of the search processing procedure.
  • the first learning unit 14A learns the first conversion model 12B using the speaker management information 12A (step S100).
  • the first learning unit 14A stores the learned first conversion model 12B in the storage unit 12 (step S102).
  • the first conversion unit 14B converts the acoustic model registered in the speaker management information 12A into a score vector using the first conversion model 12B (step S104) and registers it in the score management information 12C (step S104). Step S106). Next, the processing unit 14 executes speaker search processing (step S108). Then, this routine ends.
  • FIG. 8 is a flowchart showing an example of the procedure of the speaker search process (step S108 in FIG. 7).
  • the processing unit 14 reads the first conversion model 12B stored in the storage unit 12 (step S200).
  • the display control unit 14E displays the input screen 30 on the UI unit 18 (step S202).
  • the processing in step S202 for example, the input screen 30 shown in FIG.
  • the user operates the input unit 18A while referring to the input screen 30, and inputs a score for each type of voice quality feature. As a result, the user inputs a score vector corresponding to the voice quality characteristics of the speaker to be searched. The user then instructs to operate the playback button 30C.
  • the receiving unit 14C repeats the negative determination (Step S204: No) until it is determined that the input of the score vector has been received (Step S204: Yes). For example, the reception unit 14C determines whether or not a score vector and a reproduction instruction are received from the input unit 18A, thereby determining step S204.
  • step S204 If a positive determination is made in step S204 (step S204: Yes), the process proceeds to step S206.
  • the second conversion unit 14F converts the score vector received in step S204 into an acoustic model using the first conversion model 12B (step S206).
  • the synthesis unit 14G synthesizes speech from the acoustic model converted in step S206 (step S208).
  • the playback unit 14H controls playback of the sound output unit 16 so that the sound synthesized in step S208 is output (step S210).
  • the voice corresponding to the score vector input by the user's operation is output from the voice output unit 16 by the process of step S210.
  • step S212 the receiving unit 14C determines whether or not a search execution instruction has been received.
  • step S212 the reception unit 14C determines whether or not the score vector and the search execution instruction are received from the input unit 18A, thereby determining step S212. If a negative determination is made in step S204, the determination in step S212 may be performed.
  • step S212 If a negative determination is made in step S212 (step S212: No), the process returns to step S204. On the other hand, if a positive determination is made in step S212 (step S212: Yes), the process proceeds to step S214.
  • step S214 the search unit 14D searches the score management information 12C for a speaker ID corresponding to the score vector similar to the score vector received in step S212 (step S214).
  • step S216 the display control unit 14E displays the display screen 32 including the speaker ID searched in step S214 on the display unit 18B.
  • step S216 for example, the display screen 32 shown in FIG. 6 is displayed on the display unit 18B.
  • step S218 determines whether or not a playback instruction has been received from the input unit 18A (step S218). If a negative determination is made in step S218 (step S218: No), the process proceeds to step S226 described later. On the other hand, if an affirmative determination is made in step S218 (step S218: Yes), the process proceeds to step S220.
  • step S220 the second conversion unit 14F converts the score vector received together with the reproduction instruction in step S218 into an acoustic model using the first conversion model 12B (step S220).
  • step S220 the synthesis unit 14G synthesizes speech from the acoustic model converted in step S220 (step S222).
  • step S224 the playback unit 14H controls playback of the audio output unit 16 so as to output the audio synthesized in step S222 (step S224).
  • the voice corresponding to the score vector input by the user's operation is output from the voice output unit 16 by the process of step S224.
  • step S226 determines whether or not to end the processing. For example, the processing unit 14 determines whether or not a predetermined button for instructing the end of the operation is operated by an operation instruction of the input unit 18A by the user, thereby performing the determination in step S226. If a negative determination is made in step S226 (step S226: No), the process returns to step S218. If a negative determination is made in step S226, the process may return to step S202. If an affirmative determination is made in step S226 (step S226: Yes), this routine ends.
  • the speaker search device 10 of the present embodiment includes the first conversion unit 14B, the reception unit 14C, and the search unit 14D.
  • the first conversion unit 14B uses the inverse conversion model of the first conversion model 12B for converting the score vector representing the characteristics of the voice quality into the acoustic model, and converts the acoustic model registered in advance into the score vector, so that the speaker
  • the score management information 12C is registered in association with the ID (speaker identification information).
  • the accepting unit 14C accepts an input of a score vector.
  • the search unit 14D searches the score management information 12C for a speaker ID (speaker identification information) similar to the received score vector.
  • the voice data of the user-desired speaker is searched using the voice data of the speaker desired by the user as a search query. For this reason, conventionally, it is impossible to search for a speaker unless voice data of a speaker desired by the user is registered in advance.
  • the speaker search device 10 searches for a speaker ID similar to the received score vector from the score management information 12C using a score vector representing a voice quality feature as a search query.
  • the speaker search device 10 converts a pre-registered acoustic model into a score vector using the first conversion model 12B for converting a score vector representing the characteristics of voice quality into an acoustic model.
  • the score management information 12C is registered in association with the speaker ID (speaker identification information).
  • the speaker search device 10 of the present embodiment can search for a speaker having a high voice quality similarity.
  • the speaker search device 10 searches for a speaker ID similar to the received score vector from the score management information 12C using a score vector representing a voice quality feature as a search query.
  • the speaker search device 10 has a high voice quality similarity without incurring an increase in the load and cost of classifying the speech of the speaker registered in the database that is the base of the search. Person can be searched.
  • the score vector used as a search query represents a subjective feature of the voice quality of the speaker.
  • the speaker search device 10 of the present embodiment can search for a speaker having a high subjective voice quality similarity in addition to the above effects.
  • the score management information 12C shows a case where all the data registered in the speaker management information 12A and the score data registered in the first conversion unit 14B are registered. .
  • the score management information 12C is registered with the score data previously registered in the speaker management information 12A and the score data derived from the acoustic model by the first conversion unit 14B. Showed the case.
  • FIG. 9 is a diagram illustrating an example of the speaker search device 10A according to the present embodiment.
  • the speaker search device 10 ⁇ / b> A includes a storage unit 13, a processing unit 15, a voice output unit 16, and a UI unit 18.
  • the storage unit 13, the audio output unit 16, the UI unit 18, and the processing unit 15 are connected to be able to exchange data and signals via a bus or the like.
  • the audio output unit 16 and the UI unit 18 are the same as those in the first embodiment.
  • the storage unit 13 stores various data.
  • the storage unit 13 is, for example, a semiconductor memory element such as a RAM or a flash memory, a hard disk, an optical disk, or the like.
  • the storage unit 13 may be a storage device provided outside the speaker search device 10A.
  • the storage unit 13 may be a storage medium. Further, the storage unit 13 may be composed of a plurality of storage media.
  • the storage unit 13 stores the speaker management information 12A, the first conversion model 12B, the score management information 13C, the third conversion model 13D, and the voice management information 13E.
  • the speaker management information 12A and the first conversion model 12B are the same as those in the first embodiment.
  • the voice management information 13E is information related to the voice of the speaker.
  • information related to voice used for learning the third conversion model 13D is registered.
  • the voice management information 13E is stored in the storage unit 13 in advance.
  • FIG. 10 is a schematic diagram showing an example of the data configuration of the voice management information 13E.
  • the voice management information 13E is a database in which speaker IDs are associated with voice data.
  • the data format of the voice management information 13E is not limited to the database.
  • the voice management information 13E may be a table.
  • the speaker ID is identification information (speaker identification information) for identifying a speaker, as in the first embodiment.
  • the voice management information 13E includes a speaker ID (for example, a speaker ID “D” that is not associated with at least an acoustic model among speaker IDs registered in the speaker management information 12A (see FIG. 2). ”) Is registered.
  • speaker IDs for example, speaker IDs “X”, “Y”, “Z” of speakers not registered in the speaker management information 12A are registered.
  • the voice management information 13E in addition to the speaker ID, at least a part of the speaker ID registered in the speaker management information 12A may be registered.
  • the voice management information 13E a plurality of voice data are registered in association with the speaker ID. Note that the number of voice data registered corresponding to each speaker ID in the voice management information 13E is the number of voice data registered corresponding to each speaker ID of the speaker management information 12A (N It is sufficient that the number is less than 1 and more than one.
  • the third learning unit 15J learns the third conversion model 13D from the speaker management information 12A.
  • the third conversion model 13D is a model for converting an acoustic feature amount into a point vector.
  • the third learning unit 15J obtains an acoustic feature amount corresponding to each speaker ID registered in the speaker management information 12A and a score vector corresponding to each speaker ID in the speaker management information 12A. Using this, the third conversion model 13D is learned.
  • the third learning unit 15J may learn the third conversion model 13D using a known method of learning the mapping from the acoustic feature quantity vector to the score vector. For example, the third learning unit 15J learns the third conversion model 13D using a linear regression model, a kernel regression model, a neural network, or the like. Note that the third learning unit 15J may estimate the parameters of these models using the acoustic feature amount and the score vector corresponding to each speaker ID included in the speaker management information 12A.
  • the third learning unit 15J stores the learned third conversion model 13D in the storage unit 13.
  • the feature extraction unit 15K extracts an acoustic feature amount from the voice data registered in the voice management information 13E. Specifically, the feature extraction unit 15K extracts an acoustic feature amount from the voice data for each speaker ID registered in the voice management information 13E. The acoustic feature amount is represented by a vector. Note that the feature extraction unit 15K may extract an acoustic feature amount from the audio data using a known method.
  • the acoustic feature amount can be extracted from a smaller number of audio data than the generation of the acoustic model. For this reason, as described above, the number of voice data registered corresponding to each speaker ID in the voice management information 13E is registered corresponding to each speaker ID of the speaker management information 12A. The number may be less than the number (N) of audio data and more than one.
  • the third conversion unit 15L converts the acoustic feature amount of the speaker into a point vector using the third conversion model 13D and registers it in the score management information 13C.
  • the third conversion unit 15L converts the voice feature amount extracted for each speaker ID from the voice management information 13E by the feature extraction unit 15K into a score vector using the third conversion model 13D. Then, the third conversion unit 15L associates the speaker ID registered in the voice management information 13E with the converted score vector and registers them in the score management information 13C.
  • the score management information 13C is a database used when a user searches for a speaker, similarly to the score management information 12C.
  • the score management information 13C is registered and updated by the first conversion unit 14B and the third conversion unit 15L.
  • FIG. 11 is a schematic diagram showing an example of the data configuration of the score management information 13C.
  • the score management information 13C includes the speaker ID, voice data, voice text, acoustic feature quantity, and language feature quantity.
  • This is a database in which an acoustic model is associated with a score vector.
  • the data format of the score management information 13C is not limited to the database.
  • the score management information 13C may be a table.
  • the score management information 13C includes the score vector converted by the first conversion unit 14B and the score converted by the third conversion unit 15L in association with the unregistered speaker ID of the score vector in the speaker management information 12A. Vectors are further registered.
  • the score management information 12C (see FIG. 4) used in the first embodiment is converted from the score model Sa previously registered in the speaker management information 12A and the acoustic model by the first conversion unit 14B.
  • the obtained score vector Sb is registered.
  • no score vector is registered in the score management information 12C for the speaker ID (for example, speaker ID “D”) of the acoustic model that is not registered in the speaker management information 12A (see FIG. 4).
  • the score management information 13C used in this embodiment includes a score vector (score vector (Sa) registered in the score management information 12C (see FIG. 4) in the first embodiment.
  • a score vector (Sc) converted from the acoustic feature quantity is registered, so that the acoustic model is not registered in the speaker management information 12A in the score management information 13C.
  • a score vector for a speaker ID (eg, speaker ID “D”) is also registered.
  • the third conversion unit 15L derives a score vector using the acoustic feature amount extracted by the feature extraction unit 15K from the voice management information 13E and registers it in the score management information 13C.
  • score vectors corresponding to more speaker IDs of speakers are registered as compared with the score management information 12C used in the first embodiment, and similar speaker search targets are stored. It can be.
  • the score vector (Sb) registered by the first conversion unit 14B in the first embodiment is derived from the acoustic model.
  • the speech synthesized by the second conversion unit 14F and the synthesis unit 14G using the score vector derived from the acoustic model is a synthesized speech (synthesized speech that is not an actual speaker's real voice).
  • the score vector registered by the third conversion unit 15L is derived from the acoustic feature quantity extracted by the feature extraction unit 15K from the voice management information 13E using the third conversion model 13D.
  • the voice synthesized by the second converting unit 14F and the synthesizing unit 14G using the score vector derived from the acoustic feature amount is a real voice of the actual speaker or a voice closer to the real voice.
  • the search unit 14D searches for the speaker ID corresponding to the score vector similar to the score vector received by the receiving unit 14C from the score management information 13C instead of the score management information 12C. Can search for speakers of real voice in addition to synthetic sounds.
  • the speaker search device 10A of the present embodiment it is possible to search for speakers of both synthesized speech and real voice using a common score vector. For this reason, it is possible to search across the synthesized sound and the real voice.
  • the acoustic model is used. If the user is dissatisfied with the sound quality, the user asks the speaker identified by the speaker ID to record using the search result of the speaker ID of the real voice quality similar to the input score vector. Usage is also possible.
  • FIG. 12 is a flowchart showing an example of a procedure of search processing executed by the speaker search device 10A.
  • the processing unit 15 executes the processes of steps S300 to S306.
  • the processing from step S300 to step S306 is the same as that from step S100 to step S106 in the first embodiment (see FIG. 7).
  • the first learning unit 14A learns the first conversion model 12B using the speaker management information 12A (step S300).
  • the first learning unit 14A stores the learned first conversion model 12B in the storage unit 13 (step S302).
  • the first conversion unit 14B converts the acoustic model registered in the speaker management information 12A into a score vector using the first conversion model 12B, and registers it in the score management information 13C (step S306).
  • the third learning unit 15J learns the third conversion model 13D using the speaker management information 12A (step S308). Then, the third learning unit 15J stores the learned third conversion model 13D in the storage unit 13 (step S310).
  • the feature extraction unit 15K extracts an acoustic feature amount corresponding to each piece of voice data registered in the voice management information 13E (step S312).
  • the third conversion unit 15L converts each acoustic feature extracted for each speaker ID in step S312 into a score vector using the third conversion model 13D (step S314).
  • the third learning unit 15J associates the score vector converted in step S314 with the speaker ID corresponding to the score vector and registers it in the score management information 13C (step S316).
  • step S316 the processing unit 15 executes speaker search processing (step S316).
  • the processing in step S316 is the same as that in the first embodiment (see step S108 in FIG. 7 and FIG. 8). Then, this routine ends.
  • the speaker search device 10A of the present embodiment includes the third conversion unit 15L in addition to the configuration of the first embodiment.
  • the third conversion unit 15L uses the third conversion model 13D for converting the acoustic feature amount into a point vector, converts the speaker's acoustic feature amount into a point vector, and registers it in the score management information 13C.
  • the speaker search device 10A of the present embodiment in addition to the synthesized sound, a speaker with a real voice can be searched.
  • the speaker search device 10A of the present embodiment can further search for a speaker having a high voice quality similarity.
  • the third conversion unit 15L learns the third conversion model 13D using only acoustic feature quantities that do not exist in languages such as mel cepstrum and fundamental frequency. Therefore, the speaker search device 10A can search for similar speakers without depending on the language.
  • FIG. 13 is an explanatory diagram illustrating a hardware configuration example of the speaker search apparatuses 10 and 10A according to the present embodiment.
  • Speaker search devices 10 and 10A of the present embodiment communicate with a control device such as CPU 86 and a storage device such as ROM (Read Only Memory) 88 and RAM (Random Access Memory) 90 by connecting to a network.
  • a communication I / F 82, a speaker 80 that outputs sound, a display unit 98, an input unit 94, an HDD 92, and a bus 96 that connects each unit are provided.
  • the program executed by the speaker search devices 10 and 10A of the present embodiment is provided by being incorporated in advance in the ROM 88 or the like.
  • the programs executed by the speaker search devices 10 and 10A of the present embodiment are files that can be installed or executed, and are CD-ROM (Compact Disk Read Only Memory), flexible disk (FD), CD-ROM. It may be configured to be recorded on a computer-readable recording medium such as R (Compact Disk Recordable) or DVD (Digital Versatile Disk) and provided as a computer program product.
  • CD-ROM Compact Disk Read Only Memory
  • FD flexible disk
  • CD-ROM Compact Disk Read Only Memory
  • It may be configured to be recorded on a computer-readable recording medium such as R (Compact Disk Recordable) or DVD (Digital Versatile Disk) and provided as a computer program product.
  • the program executed by the speaker search devices 10 and 10A according to the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Good.
  • the program executed by the speaker search devices 10 and 10A according to the present embodiment may be provided or distributed via a network such as the Internet.
  • the program executed by the speaker search devices 10 and 10A according to the present embodiment can cause a computer to function as each unit of the speaker search devices 10 and 10A described above.
  • the CPU 86 can read a program from a computer-readable storage medium onto a main storage device and execute the program.
  • each of the speaker search devices 10 and 10A is configured as a single device.
  • each of the speaker search devices 10 and 10A may be configured by a plurality of devices that are physically separated and connected via a network.
  • the speaker search devices 10 and 10A of the above-described embodiment may be realized as a virtual machine that operates on a cloud system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

話者検索装置（１０）は、第１変換部（１４Ｂ）と、受付部（１４Ｃ）と、検索部（１４Ｄ）と、を備える。第１変換部（１４Ｂ）は、声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデル（１２Ｂ）の逆変換モデルを用いて、予め登録された音響モデルを得点ベクトルに変換し、話者ＩＤに対応づけて得点管理情報（１２Ｃ）に登録する。受付部（１４Ｃ）は、得点ベクトルの入力を受付ける。検索部（１４Ｄ）は、得点管理情報（１２Ｃ）から、受付けた得点ベクトルに類似する話者ＩＤを検索する。

Description

話者検索装置、話者検索方法、および話者検索プログラム
　本発明の実施の形態は、話者検索装置、話者検索方法、および話者検索プログラムに関する。
　近年、音声合成技術の発展により、テキストから高品質な合成音が作成されている。特に隠れマルコフモデル（ＨＭＭ）を用いた音声合成技術を用いることで、音響モデルを操作することで合成音を柔軟に制御できることが知られている。また、音声から音響特徴量を抽出し、入力音声の音響特徴量と音声データベースの各話者の音響特徴量の類似度を求め、入力音声と声質の類似度が高い話者を検索する技術が提案されている。この技術を使えば所望の話者の音声から音響特徴量を抽出し、音響特徴量間の類似度を求めることで大規模な音声データベースから所望の話者の声質に近い話者候補を検索できる。
　しかし、従来手法では、ユーザが所望する話者の音声をクエリとして事前に用意する必要があった。このため、従来では、所望の話者の音声を用意できなければ類似話者を検索できないという課題があった。すなわち、従来では、声質類似度の高い話者を検索することは困難であった。
ＷＯ２００９／１１０６１３号公報
Yusuke　Ijima　et　al.　Similar　Speaker　Selection　Technique　Based　on　Distance　Metric　Learning　Using　Highly　Correlated　Acoustic　Features　with　Perceptual　Voice　Quality　Similarity,　IEICE　Trans.　INF.　&　SYST.,　Vol.E98-D,　No.1　(2015)
　本発明が解決しようとする課題は、声質類似度の高い話者を検索することができる話者検索装置、話者検索方法、および話者検索プログラムを提供することである。
　実施の形態の話者検索装置は、第１変換部と、受付部と、検索部と、を備える。第１変換部は、声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデルの逆変換モデルを用いて、予め登録された音響モデルを得点ベクトルに変換し、話者識別情報に対応づけて得点管理情報に登録する。受付部は、得点ベクトルの入力を受付ける。検索部は、得点管理情報から、受付けた得点ベクトルに類似する話者識別情報を検索する。
図１は、話者検索装置の一例を示す図である。 図２は、話者管理情報のデータ構成の一例を示す模式図である。 図３は、得点ベクトルの一例を示す模式図である。 図４は、得点管理情報のデータ構成の一例を示す模式図である。 図５は、入力画面の一例を示す模式図である。 図６は、表示画面の一例を示す模式図である。 図７は、検索処理の手順の一例を示すフローチャートである。 図８は、話者検索処理の手順の一例を示すフローチャートである。 図９は、話者検索装置の一例を示す図である。 図１０は、音声管理情報のデータ構成の一例を示す模式図である。 図１１は、得点管理情報のデータ構成の一例を示す模式図である。 図１２は、話者検索装置が実行する検索処理の手順の一例を示すフローチャートである。 図１３は、話者検索装置のハードウェア構成例を示す説明図である。
　以下に添付図面を参照して、話者検索装置、話者検索方法、および話者検索プログラムを詳細に説明する。
（第１の実施の形態）
　図１は、本実施の形態の話者検索装置１０の一例を示す図である。
　話者検索装置１０は、ユーザの所望の声質の話者を検索する装置である。話者検索装置１０は、記憶部１２と、処理部１４と、音声出力部１６と、ＵＩ（ユーザ・インターフェース）部１８と、を備える。
　記憶部１２、音声出力部１６、およびＵＩ部１８と、処理部１４と、は、バスなどを介してデータや信号を授受可能に接続されている。
　音声出力部１６は、音声を出力する。音声出力部１６は、例えば、スピーカである。
　ＵＩ部１８は、入力部１８Ａと、表示部１８Ｂと、を含む。入力部１８Ａは、ユーザの操作を受付ける。入力部１８Ａは、例えば、デジタルペン、マウス、またはトラックボール等のポインティングデバイスや、キーボード等の入力デバイスである。表示部１８Ｂは、各種情報を表示する。表示部１８Ｂは、例えば、ＬＣＤなどのディスプレイや、投影装置などである。なお、ＵＩ部１８は、入力部１８Ａと表示部１８Ｂとを一体的に備えた、タッチパネルであってもよい。
　記憶部１２は、各種データを記憶する。記憶部１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部１２は、話者検索装置１０の外部に設けられた記憶装置であってもよい。また、記憶部１２は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部１２を、複数の記憶媒体から構成してもよい。
　本実施の形態では、記憶部１２は、話者管理情報１２Ａと、第１変換モデル１２Ｂと、得点管理情報１２Ｃと、を記憶する。
　話者管理情報１２Ａは、話者の音声に関する情報である。話者管理情報１２Ａは、記憶部１２に予め記憶されている。図２は、話者管理情報１２Ａのデータ構成の一例を示す模式図である。
　話者管理情報１２Ａは、話者ＩＤと、音声データと、音声のテキストと、音響特徴量と、言語特徴量と、音響モデルと、得点ベクトルと、を対応づけたデータベースである。なお、話者管理情報１２Ａのデータ形式は、データベースに限定されない。例えば、話者管理情報１２Ａは、テーブルであってもよい。
　話者ＩＤは、話者を識別する識別情報（話者識別情報）である。話者ＩＤは、話者を識別可能な情報であればよい。話者ＩＤは、例えば、話者の名前などである。
　音声データは、対応する話者ＩＤによって識別される話者の音声のデータである。話者管理情報１２Ａには、話者ＩＤに対応づけて、複数の音声データ（例えばＮ個（Ｎは２以上の整数））が登録されている。音声データのデータフォーマットは限定されない。例えば、音声データのデータフォーマットは、ＷＡＶ、ＡＩＦＦ、ＢＷＦなどである。
　音声のテキストは、音声データの収録原稿である。
　音響特徴量は、対応する音声データから抽出された、音声（音響）の特徴量である。音響特徴量には、ＨＭＭ（隠れマルコフモデル（ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌ））音声合成で使われる音響特徴量を用いればよい。例えば、音響特徴量は、音韻や声色を表すメルケプストラム係数、メルＬＰＣ係数、メルＬＳＰ係数、声の高さを表す基本周波数（Ｆ０）、音声の周期・非周期成分の割合を表す非周期性指標（ＢＡＰ）などである。話者管理情報１２Ａには、登録されている話者ＩＤに対応する音響特徴量が予め導出され、予め話者管理情報１２Ａに登録されているものとする。
　言語特徴量は、対応する音声のテキストから抽出された、言語の特徴量である。例えば、言語特徴量は、前後の音素、発音に関する情報、句末位置、文長、アクセント句長、モーラ長、モーラ位置、アクセント型、品詞、係り受け情報などである。話者管理情報１２Ａには、登録されている話者ＩＤに対応する言語特徴量が予め導出され、予め話者管理情報１２Ａに登録されているものとする。
　音響モデルは、話者の音声の言語特徴量から音声の音響特徴量への写像を統計的にモデル化したものである。例えば、音響モデルには、ＨＭＭ音声合成における音響モデルを用いる。音響モデルは、入力を言語特徴量、出力を音響特徴量、とした決定木でモデル化される。出力である音響特徴量は、決定木の各リーフノードに割り当てられた多次元正規分布の平均ベクトルと共分散行列の集合によって、表現される。話者の音響特徴量と言語特徴量から、音響モデルのパラメータである上記平均ベクトルと共分散行列を推定することによって、音響モデルが生成される。
　本実施の形態では、音響モデルとして、ＨＭＭ音声合成における決定木の音響モデルを用いる場合を説明する。しかし、音響モデルとして、ＨＭＭ音声合成における決定木の音響モデルを用いる形態に限定されない。例えば、ニューラルネットワークなどの言語特徴量を音響特徴量に写像する任意のモデルを、音響モデルとして用いてもよい。
　話者管理情報１２Ａには、登録されている話者ＩＤに対応する音響モデルが予め導出され、予め話者管理情報１２Ａに予め登録されているものとする。なお、本実施の形態では、話者管理情報１２Ａにおける、一部の話者ＩＤには、音響モデルが対応付けて登録されていなくてもよい。
　得点ベクトルは、話者の声質の特徴を表す。本実施の形態では、得点ベクトルは、話者の声質の主観的な特徴を表す。
　図３は、得点ベクトルの一例を示す模式図である。得点ベクトルは、話者の声質の特徴の主観的な強さを、声質の特徴の種類ごとに得点（すなわち数値）で表したものである。声質の特徴の種類は、物理特徴量ではなく、声質を主観的に分類したものである。声質の特徴の種類は、予め定めればよい。例えば、声質の特徴の種類は、「性別」、「年齢」、「明るさ」、「硬さ」、「明瞭さ」、「流暢さ」、「かすれ」、などである。すなわち、得点ベクトルは、話者の主観的な特徴を、声質を表す主観的な種類に応じたラベルの付与された軸を用いて表した、ベクトルである。
　これらの特徴の種類に対応する得点は、これらの種類の特徴の強さを表す。得点は、例えば、数値で表される。図３には、得点を、“０”から“１”の範囲で表した場合を示している。例えば、声質の特徴の種類「性別」は、得点“０”に近いほど女性的であり、得点“１”に近いほど男性的であることを示す。また、声質の特徴の種類「年齢」は、得点“０”に近いほど若く、得点“１”に近いほど年齢が高いことを示す。
　このため、図３に示す例では、話者ＩＤ“Ａ”に対応する得点ベクトルは、該話者ＩＤ“Ａ”よって識別される話者の声質の特徴が、若い子供の声であることを示す。また、話者ＩＤ“Ｂ”に対応する得点ベクトルは、該話者ＩＤ“Ｂ”よって識別される話者の声質の特徴が、若い女性の声であることを示す。また、話者ＩＤ“Ｄ”に対応する得点ベクトルは、該話者ＩＤ“Ｄ”よって識別される話者の声質の特徴が、年老いた男性の声であることを示す。
　図２に戻り説明を続ける。話者管理情報１２Ａには、話者管理情報１２Ａに登録されている複数の話者ＩＤの内、一部の話者ＩＤに対応づけて、得点ベクトルが予め登録されているものとする。話者管理情報１２Ａの一部の話者ＩＤには、該話者ＩＤによって識別される話者の声質に関するアンケート調査によって、多くの人の主観的な声質の感じ方が反映されるように、予め得点ベクトルが付与されているものとする。
　なお、話者管理情報１２Ａに登録されている話者ＩＤの数は、ユーザが所望の話者を話者管理情報１２Ａから手作業で検索することが困難な数以上であるものとする。
　図１に戻り、説明を続ける。次に、第１変換モデル１２Ｂおよび得点管理情報１２Ｃについて説明する。第１変換モデル１２Ｂは、得点ベクトルを音響モデルに変換するためのモデルである。第１変換モデル１２Ｂは、処理部１４によって学習され、記憶部１２へ記憶される（詳細後述）。
　得点管理情報１２Ｃは、ユーザによる話者の検索時に用いられるデータベースである。得点管理情報１２Ｃは、後述する処理部１４によって登録される（詳細後述）。
　次に、処理部１４について説明する。処理部１４は、話者検索装置１０を制御する。処理部１４は、第１学習部１４Ａと、第１変換部１４Ｂと、受付部１４Ｃと、検索部１４Ｄと、表示制御部１４Ｅと、第２変換部１４Ｆと、合成部１４Ｇと、再生部１４Ｈと、を含む。
　上記各部（第１学習部１４Ａ、第１変換部１４Ｂ、受付部１４Ｃ、検索部１４Ｄ、表示制御部１４Ｅ、第２変換部１４Ｆ、合成部１４Ｇ、再生部１４Ｈ）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
　また、上記各部の少なくとも１つは、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
　第１学習部１４Ａは、話者管理情報１２Ａから第１変換モデル１２Ｂを学習する。第１変換モデル１２Ｂは、上述したように、得点ベクトルを音響モデルに変換するためのモデルである。
　第１学習部１４Ａは、話者管理情報１２Ａに登録されている複数の話者ＩＤの内、得点ベクトルの登録されている複数の話者ＩＤを特定する。そして、第１学習部１４Ａは、特定した複数の話者ＩＤの各々に対応する音響モデルと、該話者ＩＤの各々に対応する得点ベクトルと、を用いて、１つの第１変換モデル１２Ｂを学習する。
　例えば、第１学習部１４Ａは、非特許文献２に開示されている重回帰ＨＳＭＭ（隠れセミマルコフモデル）や、非特許文献３に開示されているクラスタ適応学習などを用いて、話者管理情報１２Ａから第１変換モデル１２Ｂを学習する。
　（非特許文献２）Tachibana　et　al.　“A　technique　for　controlling　voice　quality　of　synthetic　speech　using　multiple　regression　HSMM,”　in　Proceedings　of　INTERSPEECH　2006,　pp.2438-2441(2006)
　（非特許文献３）大谷他、統計的音声合成におけるクラスタ適応学習を利用した知覚表現語による話者制御法の検討、音響学会（春）講演論文集（２０１６）
　本実施の形態では、第１学習部１４Ａは、重回帰ＨＳＭＭを用いて第１学習部１４Ａを学習する場合を、一例として説明する。しかし、第１学習部１４Ａは、他の手法を用いて、話者管理情報１２Ａから第１変換モデル１２Ｂを学習してもよい。例えば、第１学習部１４Ａは、ベクトルからベクトルへの写像を学習するアルゴリズム、たとえばニューラルネットワークなどを用いて、第１変換モデル１２Ｂを学習してもよい。
　重回帰ＨＳＭＭを用いる場合、第１変換モデル１２Ｂは、下記式（１）で表される。
　μ＝Ｈｓ＋ｂ　　・・・式（１）
　式（１）は、第１変換モデル１２Ｂを示す式である。式（１）中、μは、正規分布で表される音響モデルの平均ベクトルを示す。μは、スーパーベクトルと称される場合がある。スーパーベクトルは、正規分布で表される音響モデルの平均ベクトルを、決定木の全リーフノードの平均ベクトルをつなげたベクトルで表したものである。
　また、式（１）中、ｓは、得点ベクトルを示す。また、Ｈは、変換行列を示す。ｂは、バイアスベクトルを示す。ｓ（得点ベクトル）は、下記式（２）で表される。
　ｓ＝（ｓ１，ｓ２，・・・ｓＬ）　　・・・式（２）
　式（２）中、ｓは、得点ベクトルを表す。ｓｉ（ｉは１以上Ｌ以下の整数）は、得点ベクトルのｉ番目の種類の声質の特徴の得点である。Ｌは、声質の特徴の種類の数である。
　重回帰ＨＳＭＭを用いる場合、第１学習部１４Ａは、話者管理情報１２Ａに含まれる話者ＩＤの内、得点ベクトルの対応付けられた話者ＩＤを特定する。そして、第１学習部１４Ａは、話者管理情報１２Ａにおける、特定した話者ＩＤに対応する音響モデルの平均ベクトルμと、該話者ＩＤに対応する得点ベクトルｓと、を学習データとして用いる。第１学習部１４Ａは、学習データを用いて、変換行列Ｈと、バイアスベクトルｂと、を最尤推定により求める。
　これにより、第１学習部１４Ａは、式（１）によって示される第１変換モデル１２Ｂを生成し、記憶部１２へ登録する。すなわち、第１学習部１４Ａによって、変換行列Ｈとバイアスベクトルｂの特定された式（１）が、第１変換モデル１２Ｂとして記憶部１２へ記憶される。
　第１変換モデル１２Ｂを用いることで、得点ベクトルｓから音響モデル（音響モデルの平均ベクトルμ）を導出することができる。すなわち、第１変換モデル１２Ｂを用いることで、処理部１４は、任意の得点ベクトルによって表される声質の音声を、合成可能となる。
　次に、第１変換部１４Ｂについて説明する。第１変換部１４Ｂは、第１変換モデル１２Ｂを用いて、話者管理情報１２Ａに登録されている音響モデルを得点ベクトルに変換し、話者ＩＤに対応づけて得点管理情報１２Ｃへ登録する。第１変換モデル１２Ｂは得点ベクトルを音響モデルへ変換するためのモデルである。このため、第１変換部１４Ｂは、第１変換モデル１２Ｂの逆変換モデルを用いて、話者管理情報１２Ａに登録されている音響モデルを得点ベクトルに変換し、得点管理情報１２Ｃへ登録する。
　まず、得点管理情報１２Ｃについて説明する。図４は、得点管理情報１２Ｃのデータ構成の一例を示す模式図である。
　得点管理情報１２Ｃは、話者管理情報１２Ａと同様に、話者ＩＤと、音声データと、音声のテキストと、音響特徴量と、言語特徴量と、音響モデルと、得点ベクトルと、を対応づけたデータベースである。なお、得点管理情報１２Ｃのデータ形式は、データベースに限定されない。例えば、得点管理情報１２Ｃは、テーブルであってもよい。
　得点管理情報１２Ｃには、話者管理情報１２Ａに示されるデータの全てが登録されている。そして、得点管理情報１２Ｃには、話者管理情報１２Ａにおける、得点ベクトルの未登録の話者ＩＤに対応づけて、第１変換部１４Ｂで変換された得点ベクトルが更に登録されている。
　このため、図４に示すように、話者管理情報１２Ａ（図２参照）において登録されていた得点ベクトル（Ｓａ）は、得点管理情報１２Ｃにそのまま反映される。一方、話者管理情報１２Ａにおいて、得点ベクトルの未登録の話者ＩＤ（例えば、話者ＩＤ“Ｃ”、“Ｅ”）については、得点管理情報１２Ｃでは、第１変換部１４Ｂで変換された得点ベクトル（Ｓｂ）が登録された状態となる。
　図１に戻り説明を続ける。本実施の形態では、第１変換部１４Ｂは、話者管理情報１２Ａにおける、得点ベクトルの未登録の話者ＩＤを特定する。図２に示す話者管理情報１２Ａの構成の場合、第１変換部１４Ｂは、得点ベクトルの未登録の話者ＩＤ（例えば、話者ＩＤ“Ｃ”、“Ｄ”、“Ｅ”）を特定する。
　そして、第１変換部１４Ｂは、第１変換モデル１２Ｂの逆変換モデルを用いて、特定した話者ＩＤに対応する音響モデルを、該話者ＩＤに対応する得点ベクトルに変換する。
　詳細には、第１変換部１４Ｂは、第１変換モデル１２Ｂを示す式（１）を変形し、逆変換モデルを示す下記式（３）を導出する。下記式（３）は、第１変換モデル１２Ｂの逆写像の逆変換モデルを示す式である。
　ｓ＝（ＨＴＨ）－１ＨＴ（μ－ｂ）　　・・・式（３）
　式（３）中、ｓ、Ｈ、μ、およびｂの定義は、上記式（１）および式（２）と同様である。
　第１変換部１４Ｂは、第１変換モデル１２Ｂから、変換行列Ｈとバイアスベクトルｂを特定する。そして、第１変換部１４Ｂは、該変換行列Ｈとバイアスベクトルｂをあてはめた式（３）を、第１変換モデル１２Ｂの逆変換モデルとして用いる。そして、第１変換部１４Ｂは、話者管理情報１２Ａにおける得点ベクトルの未登録の話者ＩＤに対応する音響モデルの平均ベクトルμから、得点ベクトルＳ（図４では得点ベクトルＳｂ）を導出する。そして、第１変換部１４Ｂは、導出した得点ベクトルを、対応する話者ＩＤに対応づけて、得点管理情報１２Ｃへ登録する。
　本実施の形態では、第１変換部１４Ｂは、話者管理情報１２Ａに登録されているデータの全てを、得点管理情報１２Ｃへ登録した後に、更に、第１変換部１４Ｂで導出した得点ベクトルを、対応する話者ＩＤに対応づけて、得点管理情報１２Ｃへ登録する。
　このため、上述したように、話者管理情報１２Ａ（図２参照）において登録されていた得点ベクトル（Ｓａ）は、得点管理情報１２Ｃにそのまま反映される（図４参照）。一方、話者管理情報１２Ａにおいて、得点ベクトルの未登録の話者ＩＤ（例えば、話者ＩＤ“Ｃ”、“Ｅ”）に対して、得点管理情報１２Ｃでは、第１変換部１４Ｂで変換された得点ベクトルＳｂが登録された状態となる。なお、図２および図４に示す例では、話者ＩＤ“Ｄ”には、音響モデルが対応づけられていないため、第１変換部１４Ｂは、得点ベクトルを導出できない。このため、本実施の形態では、話者ＩＤ“Ｄ”については、得点管理情報１２Ｃには、得点ベクトルが登録されない。
　なお、得点管理情報１２Ｃにおける得点ベクトルの全てが、第１変換部１４Ｂで変換された得点ベクトルであってもよい。この場合、第１変換部１４Ｂは、話者管理情報１２Ａに登録されている全ての話者ＩＤの各々に対応する音響モデルを、第１変換モデル１２Ｂの逆変換モデルを用いて得点ベクトルに変換し、得点管理情報１２Ｃへ登録すればよい。
　なお、本実施の形態では、話者管理情報１２Ａと第１変換モデル１２Ｂとが別々のデータベースである場合を一例として示した。しかし、話者管理情報１２Ａと第１変換モデル１２Ｂとを、１つの管理情報（すなわち１つのデータベース）として構成してもよい。
　また、得点管理情報１２Ｃには、少なくとも、話者ＩＤに対応する得点ベクトルが登録されていればよく、音声データ、音声のテキスト、音響特徴量、言語特徴量、および、音響モデルの少なくとも１つが登録されていない形態であってもよい。
　なお、重回帰ＨＳＭＭを用いる場合、第１変換部１４Ｂは、上述したように、第１変換モデル１２Ｂの逆変換モデルを用いて、音響モデルから得点ベクトルを導出することができる。一方、ニューラルネットワークのように解析的に逆写像が求められない手法を用いる場合、第１変換部１４Ｂは、第１変換モデル１２Ｂと同様に、音響モデルの平均ベクトルμから得点ベクトルへの写像をモデル化したモデルを別途学習すればよい。そして、第１変換部１４Ｂは、このモデルを用いて、音響モデルから得点ベクトルを導出すればよい。
　図１に戻り説明を続ける。受付部１４Ｃは、得点ベクトルの入力を受付ける。ユーザは、入力部１８Ａを操作することで、検索対象の話者の音声の特徴を示す、得点ベクトルを入力する。上述したように、得点ベクトルは、話者の主観的な特徴を、声質を表す主観的な種類に応じたラベルの付与された軸を用いて表した、ベクトルである。このため、ユーザは、物理的特徴量ではなく、声質を表す主観的なラベルを用いて、検索対象の所望の声質を入力することができる。
　得点ベクトルの入力時には、表示制御部１４Ｅの制御によって、表示部１８Ｂには、入力画面が表示される。
　表示制御部１４Ｅは、各種画像や情報を表示部１８Ｂへ表示する制御を行う。本実施の形態では、表示制御部１４Ｅは、得点ベクトルの入力を受付けるための入力画面を表示部１８Ｂへ表示する。
　図５は、入力画面３０の一例を示す模式図である。入力画面３０は、得点ベクトル入力欄３０Ａと、得点ベクトル表示欄３０Ｂと、再生ボタン３０Ｃと、決定ボタン３０Ｄと、を含む。
　得点ベクトル入力欄３０Ａは、ユーザの所望の、検索対象の話者の声質の特徴を示す得点ベクトルを入力するための入力欄である。例えば、得点ベクトル入力欄３０Ａには、声質の特徴の種類ごとに、得点を入力するためのスライダーバー３０Ｆが表示されている。ユーザは、入力画面３０を参照しながら入力部１８Ａを操作し、スライダーバー３０Ｆに示されるつまみ３０Ｅの位置を調整する。この操作によって、ユーザは、声質の特徴の種類ごとに、得点を入力する。
　得点ベクトル表示欄３０Ｂは、得点ベクトル入力欄３０Ａによって入力された得点ベクトルによって示される得点を、声質の特徴の種類ごとに表した表示欄である。
　再生ボタン３０Ｃは、得点ベクトル表示欄３０Ｂに表示されている得点ベクトルに応じて合成された音声の再生を指示するときに、ユーザによって操作指示される。決定ボタン３０Ｄは、得点ベクトル表示欄３０Ｂに表示されている得点ベクトルに応じた話者の検索実行を指示するときに、ユーザによって操作指示される。
　入力画面３０の得点ベクトル入力欄３０Ａに、ユーザによる入力部１８Ａの操作指示によって得点ベクトルが入力され、再生ボタン３０Ｃが操作指示される。
　すると、ＵＩ部１８は、再生ボタン３０Ｃが操作指示されたときに入力画面３０に表示された得点ベクトル表示欄３０Ｂに示される得点の得点ベクトルと、再生指示と、を処理部１４へ出力する。
　これによって、処理部１４の受付部１４Ｃは、得点ベクトルと再生指示とを受付ける。
　図１に戻り説明を続ける。受付部１４Ｃは、得点ベクトルと再生指示を入力部１８Ａから受付けると、受付けた得点ベクトルを、第２変換部１４Ｆへ出力する。
　第２変換部１４Ｆは、受付けた得点ベクトルを、第１変換モデル１２Ｂを用いて音響モデルに変換する。すなわち、第２変換部１４Ｆは、第１変換モデル１２Ｂを用いることで、ユーザによる入力部１８Ａの操作指示によって入力された得点ベクトルを、該得点ベクトルの表す声質の話者の音響モデルに変換する。そして、第２変換部１４Ｆは、変換した音響モデルを合成部１４Ｇへ出力する。
　合成部１４Ｇは、第２変換部１４Ｆから受付けた音響モデルから音声を合成する。音響モデルから音声を合成する方法には、公知の方法を用いればよい。
　例えば、合成部１４Ｇは、音響モデルを用いて、任意のテキストから抽出した言語特徴量を音響特徴量に変換し、ボコーダを用いて、音響特徴量から音声を合成する（例えば、参考文献１参照）。
　（参考文献１）Keiichi　Tokuda　“Speech　Synthesis　based　on　Hidden　Markov　Models,”　in　Proceedings　of　the　IEEE,　vol.　101,　no.5,　pp.1234-1252,　2013.
　ここで、従来手法では、メルケプストラム係数を太さ、Ｆ０を声の高さ、周期・非周期成分をかすれ、など、物理特徴量と得点を一対一に対応させることがよく行われていた。一方、本実施の形態では、第１学習部１４Ａが、専用の変換モデルである第１変換モデル１２Ｂを、話者管理情報１２Ａから学習する。このため、合成部１４Ｇは、第１変換モデル１２Ｂを用いることで、任意の話者の音響モデルから、人が主観的に感じる特徴の声質の音声を合成できる。
　再生部１４Ｈは、合成部１４Ｇで合成された音声を再生するように音声出力部１６を制御する。音声出力部１６は、合成部１４Ｇで合成された音声を再生する。このため、ユーザは、入力部１８Ａの操作指示によって入力した得点ベクトルに応じた音声を確認することができる。また、ユーザは、入力画面３０の操作時に、再生ボタン３０Ｃを操作することで、入力中の得点ベクトルに応じた音声を確認しながら、検索対象の所望の得点ベクトルを入力することができる。
　そして、ユーザは、検索対象として用いる得点ベクトルが定まったときに、入力画面３０における決定ボタン３０Ｄを操作指示すればよい。
　すなわち、入力画面３０の得点ベクトル入力欄３０Ａに、ユーザによる入力部１８Ａの操作指示によって得点ベクトルが入力され、決定ボタン３０Ｄが操作指示される。すると、ＵＩ部１８は、決定ボタン３０Ｄが操作指示されたときに入力画面３０に表示された得点ベクトル表示欄３０Ｂに示される得点の得点ベクトルと、検索実行指示と、を処理部１４へ出力する。
　処理部１４の受付部１４Ｃは、得点ベクトルと検索実行指示とを受付ける。
　受付部１４Ｃは、得点ベクトルと検索実行指示とをＵＩ部１８から受付けると、該得点ベクトルを検索部１４Ｄへ出力する。
　検索部１４Ｄは、得点管理情報１２Ｃから、受付けた得点ベクトルに類似する得点ベクトルに対応する話者ＩＤを、検索する。
　詳細には、検索部１４Ｄは、ユークリッド距離などを用いて、入力部１８Ａから受付部１４Ｃを介して受付けた得点ベクトルと、得点管理情報１２Ｃに登録されている得点ベクトルの各々と、の距離を計算する。ユークリッド距離は、例えば、下記式（４）で表される。
Figure JPOXMLDOC01-appb-M000001
　式（４）中、ｓは、受付部１４Ｃを介して入力部１８Ａから受付けた、検索対象（すなわち、検索クエリ（キー））の得点ベクトルを示す。ｓは、上記式（２）で表される。また、式（４）中、ｓｉ（ｉは１以上Ｌ以下の整数）は、受付けた得点ベクトルのｉ番目の種類の声質の特徴の得点である。
　また、式（４）中、ｔｉ（ｉは１以上Ｌ以下の整数）は、得点管理情報１２Ｃに登録されている得点ベクトルのｉ番目の種類の声質の特徴の得点である。なお、得点管理情報１２Ｃに登録されている得点ベクトルと、受付部１４Ｃで入力部１８Ａから受付けた得点ベクトルと、の声質の特徴の種類は同じであるものとする。
　また、式（４）中、ｔは、得点管理情報１２Ｃに登録されている得点ベクトルを示す。ｔは、下記式（５）で表される。
　ｔ＝（ｔ１，ｔ２，・・・ｔＬ）　　・・・式（５）
　式（５）中、Ｌは、上記と同様に、声質の特徴の種類の数である。
　そして、検索部１４Ｄは、得点管理情報１２Ｃに登録されている得点ベクトルの内、入力部１８Ａから受付部１４Ｃを介して受付けた得点ベクトルとの距離の近い上位Ｋ個の得点ベクトルを特定する（Ｋは１以上の整数）。そして、検索部１４Ｄは、得点管理情報１２Ｃにおける、特定した該得点ベクトルに対応する話者ＩＤを特定する。これによって、検索部１４Ｄは、得点管理情報１２Ｃから、受付部１４Ｃで受付けた得点ベクトルに類似する話者ＩＤを検索する。
　すなわち、本実施の形態では、検索部１４Ｄは、メルケプストラム係数やＦ０などの物理特徴量で話者の声間の類似度を求めるのではなく、これらの人の主観的な判断を反映した得点ベクトルを用いて、類似する話者ＩＤを検索する。
　なお、検索部１４Ｄは、声質の特徴の種類に対する重み付けを行った得点ベクトルを用いて、話者ＩＤを検索してもよい。
　この場合、表示制御部１４Ｅは、入力画面３０に、声質の特徴の種類ごとに、得点を入力するための入力領域（図５ではスライダーバー３０Ｆ）と共に、重み付け値の入力欄を設け、表示部１８Ｂへ表示すればよい。
　そして、ユーザは、入力画面３０を参照しながら入力部１８Ａを操作することで、声質の特徴の種類ごとに、重み付け値を更に入力すればよい。この場合、受付部１４Ｃは、声質の特徴の種類ごとの得点を示す得点ベクトルと、声質の特徴の種類に対する重み付け値と、検索実行指示と、を受付ける。
　そして、検索部１４Ｄは、受付けた前記得点ベクトルに含まれる、声質の特徴の種類ごとの得点を、対応する重み付け値で重み付けした得点ベクトルを、検索クエリ（キー）として用いて、上記と同様にして、得点管理情報１２Ｃから類似する話者ＩＤを検索すればよい。
　詳細には、検索部１４Ｄは、下記式（６）に示されるユークリッド距離を用いて、入力部１８Ａから受付部１４Ｃを介して受付けた得点ベクトルと、得点管理情報１２Ｃに登録されている得点ベクトルの各々と、の距離を計算する。
Figure JPOXMLDOC01-appb-M000002
　式（６）中、ｓ、ｓｉ、ｔ、ｔｉは、上記式（４）と同様である。式（６）中、ｗは、重み付け値を示す。式（６）中、ｗｉは、ｉ番目の種類の声質の特徴に対する、重み付け値を示す。
　このように、検索部１４Ｄは、声質の特徴の種類に対する重み付けを行った得点ベクトルを用いて、話者ＩＤを検索してもよい。
　重み付けを行うことで、ユーザの所望の話者ＩＤが検索されやすくなる。なお、処理部１４は、人の主観的な声の類似尺度に合うように、声質の特徴の種類に対する最適化した重み付けを、予め行っておいてもよい。
　検索部１４Ｄは、検索した話者ＩＤ、および、得点管理情報１２Ｃにおける該話者ＩＤに対応する得点ベクトルを、表示制御部１４Ｅへ出力する。表示制御部１４Ｅは、検索部１４Ｄで検索された話者ＩＤを含む表示画面を、表示部１８Ｂへ表示する。
　図６は、表示画面３２の一例を示す模式図である。表示画面３２は、得点ベクトル表示欄３２Ａと、得点ベクトル表示欄３２Ｂと、検索結果表示欄３２Ｃと、再生ボタン３２Ｄと、を含む。
　得点ベクトル表示欄３２Ａおよび得点ベクトル表示欄３２Ｂは、検索クエリとして用いた得点ベクトルの表示欄である。検索結果表示欄３２Ｃは、得点ベクトル表示欄３２Ａおよび得点ベクトル表示欄３２Ｂに表示された得点ベクトルを用いて検索された、話者ＩＤの検索結果の表示欄である。
　図６に示す例では、検索結果表示欄３２Ｃには、検索部１４Ｄで検索された話者ＩＤの一覧と、各話者ＩＤに対応する得点ベクトルと、が表示される。なお、図６には、上記Ｋ（受付けた得点ベクトルとの距離の近い上位Ｋ個）が、“３”である場合を一例として示している。すなわち、図６には、得点ベクトル表示欄３２Ａおよび得点ベクトル表示欄３２Ｂに示される得点ベクトルに類似する、得点ベクトルに対応するＫ個の話者ＩＤとして、３個の話者ＩＤを検索した例を示している。
　検索結果表示欄３２Ｃにおける、各話者ＩＤの各々に対応する領域には、再生ボタン３２Ｄ（３２Ｄ１～３２Ｄ３）が表示されている。再生ボタン３２Ｄは、対応する話者ＩＤの得点ベクトルに応じて合成された音声の再生を指示するときに、ユーザによって操作指示される。
　ユーザは、入力部１８Ａを操作することで、再生ボタン３２Ｄを操作指示する。すると、ＵＩ部１８は、該再生ボタン３２Ｄに対応する得点ベクトルと、再生指示と、を処理部１４へ出力する。例えば、再生ボタン３２Ｄ１が操作指示されたと仮定する。すると、ＵＩ部１８は、該再生ボタン３２Ｄ１に対応する、話者ＩＤ“Ａ”に対応する得点ベクトル（検索結果表示欄３２Ｃに表示されている得点ベクトル）と、再生指示と、を処理部１４へ出力する。
　処理部１４は、ＵＩ部１８から、得点ベクトルと再生指示を受付けると、受付部１４Ｃ、第２変換部１４Ｆ、合成部１４Ｇ、および再生部１４Ｈが、上記と同様の処理を行う。このため、ユーザによって操作指示された再生ボタン３２Ｄに対応する話者ＩＤの得点ベクトルが、音響モデルに変換され、該音響モデルから合成された音声が、音声出力部１６から再生される。
　このため、ユーザは、検索結果表示欄３２Ｃに示される各話者ＩＤの各々に対応する音声を確認することができる。
　なお、検索部１４Ｄは、検索結果を、ネットワークなどの通信回線を介して外部装置へ送信してもよい。この場合、検索部１４Ｄは、検索クエリとして用いた得点ベクトルと、検索した話者の話者ＩＤと、該話者ＩＤに対応する得点ベクトルと、を外部装置へ送信する。これにより、これらの情報を受付けた外部装置側で、入力した得点ベクトルに応じた話者の検索結果を確認することが可能となる。
　次に、話者検索装置１０で実行する検索処理の手順の一例を説明する。
　図７は、検索処理の手順の一例を示す、フローチャートである。まず、第１学習部１４Ａが、話者管理情報１２Ａを用いて第１変換モデル１２Ｂを学習する（ステップＳ１００）。第１学習部１４Ａは、学習した第１変換モデル１２Ｂを、記憶部１２へ記憶する（ステップＳ１０２）。
　次に、第１変換部１４Ｂが、話者管理情報１２Ａに登録されている音響モデルを、第１変換モデル１２Ｂを用いて得点ベクトルに変換し（ステップＳ１０４）、得点管理情報１２Ｃへ登録する（ステップＳ１０６）。次に、処理部１４は、話者検索処理を実行する（ステップＳ１０８）。そして、本ルーチンを終了する。
　図８は、話者検索処理（図７のステップＳ１０８）の手順の一例を示すフローチャートである。
　まず、処理部１４は、記憶部１２に記憶されている第１変換モデル１２Ｂを読込む（ステップＳ２００）。次に、表示制御部１４Ｅが、入力画面３０をＵＩ部１８に表示する（ステップＳ２０２）。ステップＳ２０２の処理によって、ＵＩ部１８には、例えば、図５に示す入力画面３０が表示される。
　ユーザは、入力画面３０を参照しながら入力部１８Ａを操作し、声質の特徴の種類ごとに得点を入力する。これによって、ユーザは、検索対象の話者の声質の特徴に応じた得点ベクトルを入力する。そして、ユーザは、再生ボタン３０Ｃを操作指示する。
　次に、受付部１４Ｃは、得点ベクトルの入力を受付けたと判断するまで（ステップＳ２０４：Ｙｅｓ）、否定判断を繰返す（ステップＳ２０４：Ｎｏ）。例えば、受付部１４Ｃは、入力部１８Ａから得点ベクトルおよび再生指示を受付けたか否かを判別することで、ステップＳ２０４の判断を行う。
　ステップＳ２０４で肯定判断すると（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０６へ進む。ステップＳ２０６では、第２変換部１４Ｆが、ステップＳ２０４で受付けた得点ベクトルを、第１変換モデル１２Ｂを用いて音響モデルに変換する（ステップＳ２０６）。次に、合成部１４Ｇが、ステップＳ２０６で変換された音響モデルから音声を合成する（ステップＳ２０８）。そして、再生部１４Ｈが、ステップＳ２０８で合成された音声を出力するように、音声出力部１６を再生制御する（ステップＳ２１０）。
　ステップＳ２１０の処理によって、ユーザの操作によって入力された得点ベクトルに応じた音声が、音声出力部１６から出力される。
　次に、受付部１４Ｃは、検索実行指示を受付けたか否かを判断する（ステップＳ２１２）。ステップＳ２１２では、受付部１４Ｃは、得点ベクトルおよび検索実行指示を、入力部１８Ａから受付けたか否かを判別することで、ステップＳ２１２の判断を行う。なお、ステップＳ２０４で否定判断した場合、ステップＳ２１２の判断を行ってもよい。
　ステップＳ２１２で否定判断すると（ステップＳ２１２：Ｎｏ）、上記ステップＳ２０４へ戻る。一方、ステップＳ２１２で肯定判断すると（ステップＳ２１２：Ｙｅｓ）、ステップＳ２１４へ進む。
　ステップＳ２１４では、検索部１４Ｄが、得点管理情報１２Ｃから、ステップＳ２１２で受付けた得点ベクトルに類似する得点ベクトルに対応する話者ＩＤを検索する（ステップＳ２１４）。
　次に、表示制御部１４Ｅが、ステップＳ２１４で検索された話者ＩＤを含む表示画面３２を、表示部１８Ｂへ表示する（ステップＳ２１６）。ステップＳ２１６の処理によって、例えば、表示部１８Ｂには、図６に示す表示画面３２が表示される。
　次に、受付部１４Ｃが、入力部１８Ａから再生指示を受付けたか否かを判断する（ステップＳ２１８）。ステップＳ２１８で否定判断すると（ステップＳ２１８：Ｎｏ）、後述するステップＳ２２６へ進む。一方、ステップＳ２１８で肯定判断すると（ステップＳ２１８：Ｙｅｓ）、ステップＳ２２０へ進む。
　ステップＳ２２０では、第２変換部１４Ｆが、ステップＳ２１８で再生指示と共に受付けた得点ベクトルを、第１変換モデル１２Ｂを用いて音響モデルに変換する（ステップＳ２２０）。次に、合成部１４Ｇが、ステップＳ２２０で変換された音響モデルから音声を合成する（ステップＳ２２２）。そして、再生部１４Ｈが、ステップＳ２２２で合成された音声を出力するように、音声出力部１６を再生制御する（ステップＳ２２４）。
　ステップＳ２２４の処理によって、ユーザの操作によって入力された得点ベクトルに応じた音声が、音声出力部１６から出力される。
　次に、処理部１４は、処理を終了するか否かを判断する（ステップＳ２２６）。処理部１４は、例えば、ユーザによる入力部１８Ａの操作指示によって、処理終了を指示するための予め定められたボタンが操作されたか否かを判別することで、ステップＳ２２６の判断を行う。ステップＳ２２６で否定判断すると（ステップＳ２２６：Ｎｏ）、上記ステップＳ２１８へ戻る。なお、ステップＳ２２６で否定判断した場合、上記ステップＳ２０２へ戻ってもよい。ステップＳ２２６で肯定判断すると（ステップＳ２２６：Ｙｅｓ）、本ルーチンを終了する。
　以上説明したように、本実施の形態の話者検索装置１０は、第１変換部１４Ｂと、受付部１４Ｃと、検索部１４Ｄと、を備える。第１変換部１４Ｂは、声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデル１２Ｂの逆変換モデルを用いて、予め登録された音響モデルを得点ベクトルに変換し、話者ＩＤ（話者識別情報）に対応づけて得点管理情報１２Ｃに登録する。受付部１４Ｃは、得点ベクトルの入力を受付ける。検索部１４Ｄは、得点管理情報１２Ｃから、受付けた得点ベクトルに類似する話者ＩＤ（話者識別情報）を検索する。
　ここで、従来では、ユーザ所望の話者の音声データを、検索クエリとして用いて、ユーザ所望の音声の話者を検索していた。このため、従来では、ユーザ所望の話者の音声データを事前に登録しておかなければ、話者を検索することができなかった。
　一方、本実施の形態の話者検索装置１０は、声質の特徴を表す得点ベクトルを検索クエリとして用いて、得点管理情報１２Ｃから、受付けた得点ベクトルに類似する話者ＩＤを検索する。また、本実施の形態の話者検索装置１０は、声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデル１２Ｂを用いて、予め登録された音響モデルを得点ベクトルに変換し、話者ＩＤ（話者識別情報）に対応づけて得点管理情報１２Ｃに登録する。
　従って、本実施の形態の話者検索装置１０は、声質類似度の高い話者を検索することができる。
　また、従来では、膨大な話者の各々に対応する音声データを、予めカテゴリごとに分類し、所望の話者を検索する手法がとられていた。しかし、登録する話者の数が膨大になるほど、分類作業の負荷やコストも膨大となっていた。
　一方、本実施の形態の話者検索装置１０は、声質の特徴を表す得点ベクトルを検索クエリとして用いて、得点管理情報１２Ｃから、受付けた得点ベクトルに類似する話者ＩＤを検索する。
　このため、本実施の形態の話者検索装置１０は、検索の母体となるデータベースに登録されている話者の音声を予め分類する負荷やコストの増大を招くことなく、声質類似度の高い話者を検索することができる。
　また、従来では、話者間の類似度を、メル周波数ケプストラム係数、基本周波数（Ｆ０）などの基本的な物理特徴量間の比較によって導出していた。このため、従来では、これらの物理特徴量間の類似度と人が主観的に感じる話者間の近さが一致しない場合があった。
　一方、本実施の形態の話者検索装置１０において、検索クエリとして用いる得点ベクトルは、話者の声質の主観的な特徴を表す。このため、本実施の形態の話者検索装置１０は、上記効果に加えて、主観的な声質類似度の高い話者を検索することができる。
（第２の実施の形態）
　上記実施の形態では、得点管理情報１２Ｃには、話者管理情報１２Ａに登録されている全てのデータと、第１変換部１４Ｂで登録された得点データと、が登録されている場合を示した。
　すなわち、上記実施の形態では、得点管理情報１２Ｃには、予め話者管理情報１２Ａに登録されていた得点データと、第１変換部１４Ｂによって音響モデルから導出された得点データと、が登録されている場合を示した。
　本実施の形態では、得点管理情報１２Ｃに、音響特徴量から導出した得点ベクトルを更に登録する形態を説明する。
　図９は、本実施の形態の話者検索装置１０Ａの一例を示す図である。
　話者検索装置１０Ａは、記憶部１３と、処理部１５と、音声出力部１６と、ＵＩ部１８と、を備える。記憶部１３、音声出力部１６、およびＵＩ部１８と、処理部１５と、は、バスなどを介してデータや信号を授受可能に接続されている。音声出力部１６およびＵＩ部１８は、第１の実施の形態と同様である。
　記憶部１３は、各種データを記憶する。記憶部１３は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部１３は、話者検索装置１０Ａの外部に設けられた記憶装置であってもよい。また、記憶部１３は、記憶媒体であってもよい。また、記憶部１３を、複数の記憶媒体から構成してもよい。
　本実施の形態では、記憶部１３は、話者管理情報１２Ａと、第１変換モデル１２Ｂと、得点管理情報１３Ｃと、第３変換モデル１３Ｄと、音声管理情報１３Ｅと、を記憶する。話者管理情報１２Ａおよび第１変換モデル１２Ｂは、第１の実施の形態と同様である。
　音声管理情報１３Ｅは、話者の音声に関する情報である。音声管理情報１３Ｅは、第３変換モデル１３Ｄの学習に用いるための音声に関する情報が登録されている。音声管理情報１３Ｅは、記憶部１３に予め記憶されている。
　図１０は、音声管理情報１３Ｅのデータ構成の一例を示す模式図である。音声管理情報１３Ｅは、話者ＩＤと、音声データと、を対応づけたデータベースである。なお、音声管理情報１３Ｅのデータ形式は、データベースに限定されない。例えば、音声管理情報１３Ｅは、テーブルであってもよい。
　話者ＩＤは、第１の実施の形態と同様に、話者を識別する識別情報（話者識別情報）である。なお、音声管理情報１３Ｅには、話者管理情報１２Ａ（図２参照）に登録されている話者ＩＤの内、少なくとも音響モデルの対応付けられていない話者ＩＤ（例えば、話者ＩＤ“Ｄ”）が登録されている。また、音声管理情報１３Ｅには、話者管理情報１２Ａに登録されていない話者の話者ＩＤ（例えば、話者ＩＤ“Ｘ”、“Ｙ”、“Ｚ”）が登録されている。
　なお、音声管理情報１３Ｅには、上記話者ＩＤに加えて、更に、話者管理情報１２Ａに登録されている話者ＩＤの少なくとも一部も登録されていてもよい。
　音声管理情報１３Ｅには、話者ＩＤに対応づけて、複数の音声データが登録されている。なお、音声管理情報１３Ｅにおける、各話者ＩＤに対応して登録されている音声データの数は、話者管理情報１２Ａの各話者ＩＤに対応して登録されている音声データの数（Ｎ個）より少ない数であって、且つ、１より多い数であればよい。
　図９に戻り説明を続ける。第３学習部１５Ｊは、話者管理情報１２Ａから第３変換モデル１３Ｄを学習する。第３変換モデル１３Ｄは、音響特徴量を得点ベクトルに変換するためのモデルである。
　第３学習部１５Ｊは、話者管理情報１２Ａに登録されている話者ＩＤの各々に対応する音響特徴量と、該話者管理情報１２Ａにおける話者ＩＤの各々に対応する得点ベクトルと、を用いて、第３変換モデル１３Ｄを学習する。
　第３学習部１５Ｊは、音響特徴量のベクトルから得点ベクトルへの写像を学習する公知の手法を用いて、第３変換モデル１３Ｄを学習すればよい。例えば、第３学習部１５Ｊは、線形回帰モデル、カーネル回帰モデル、ニューラルネットワークなどを用いて、第３変換モデル１３Ｄを学習する。なお、第３学習部１５Ｊは、これらのモデルのパラメータを、話者管理情報１２Ａに含まれる話者ＩＤの各々に対応する音響特徴量および得点ベクトルを用いて、推定すればよい。
　そして、第３学習部１５Ｊは、学習した第３変換モデル１３Ｄを、記憶部１３へ記憶する。
　特徴抽出部１５Ｋは、音声管理情報１３Ｅに登録されている音声データから、音響特徴量を抽出する。詳細には、特徴抽出部１５Ｋは、音声管理情報１３Ｅに登録されている話者ＩＤごとに、音声データから音響特徴量を抽出する。音響特徴量は、ベクトルで表される。なお、特徴抽出部１５Ｋは、公知の方法を用いて、音声データから音響特徴量を抽出すればよい。
　なお、音響特徴量は、音響モデルの生成に比べて、少ない数の音声データから抽出することできる。このため、上述したように、音声管理情報１３Ｅにおける、各話者ＩＤに対応して登録されている音声データの数は、話者管理情報１２Ａの各話者ＩＤに対応して登録されている音声データの数（Ｎ個）より少ない数であって、且つ、１より多い数であればよい。
　第３変換部１５Ｌは、第３変換モデル１３Ｄを用いて、話者の音響特徴量を得点ベクトルに変換し、得点管理情報１３Ｃへ登録する。
　詳細には、第３変換部１５Ｌは、音声管理情報１３Ｅから特徴抽出部１５Ｋによって、話者ＩＤごとに抽出された音声特徴量を、第３変換モデル１３Ｄを用いて得点ベクトルに変換する。そして、第３変換部１５Ｌは、音声管理情報１３Ｅに登録されている話者ＩＤと、変換した得点ベクトルと、を対応付けて、得点管理情報１３Ｃへ登録する。
　得点管理情報１３Ｃは、得点管理情報１２Ｃと同様に、ユーザによる話者の検索時に用いられるデータベースである。得点管理情報１３Ｃは、第１変換部１４Ｂおよび第３変換部１５Ｌによって登録および更新される。
　図１１は、得点管理情報１３Ｃのデータ構成の一例を示す模式図である。得点管理情報１３Ｃは、話者管理情報１２Ａおよび第１の実施の形態の得点管理情報１２Ｃと同様に、話者ＩＤと、音声データと、音声のテキストと、音響特徴量と、言語特徴量と、音響モデルと、得点ベクトルと、を対応づけたデータベースである。なお、得点管理情報１３Ｃのデータ形式は、データベースに限定されない。例えば、得点管理情報１３Ｃは、テーブルであってもよい。
　得点管理情報１３Ｃは、話者管理情報１２Ａにおける、得点ベクトルの未登録の話者ＩＤに対応づけて、第１変換部１４Ｂで変換された得点ベクトルと、第３変換部１５Ｌで変換された得点ベクトルと、を更に登録したものである。
　ここで、第１の実施の形態で用いた得点管理情報１２Ｃ（図４参照）には、予め話者管理情報１２Ａに登録されていた得点ベクトルＳａと、第１変換部１４Ｂによって音響モデルから変換された得点ベクトルＳｂと、が登録されている。このため、得点管理情報１２Ｃには、話者管理情報１２Ａにおいて音響モデルの未登録の話者ＩＤ（例えば、話者ＩＤ“Ｄ”）については、得点ベクトルが登録されていなかった（図４参照）。
　一方、本実施の形態で用いる得点管理情報１３Ｃには、図１１に示すように、第１の実施の形態における得点管理情報１２Ｃ（図４参照）に登録されている得点ベクトル（得点ベクトル（Ｓａ）、（Ｓｂ）に加えて、音響特徴量から変換された得点ベクトル（Ｓｃ）が登録されている。このため、得点管理情報１３Ｃには、話者管理情報１２Ａにおいて音響モデルが未登録であった話者ＩＤ（例えば、話者ＩＤ“Ｄ”）に対する、得点ベクトルも、登録される。
　また、音声管理情報１３Ｅには、話者管理情報１２Ａに未登録の話者ＩＤに対応する音声データが登録されている。そして、第３変換部１５Ｌは、この音声管理情報１３Ｅから特徴抽出部１５Ｋによって抽出された音響特徴量を用いて、得点ベクトルを導出し、得点管理情報１３Ｃへ登録する。
　このため、得点管理情報１３Ｃには、第１の実施の形態で用いた得点管理情報１２Ｃに比べて、より多い話者の話者ＩＤに対応する得点ベクトルが登録され、類似話者検索の対象とすることができる。
　また、第１の実施の形態における、第１変換部１４Ｂによって登録された得点ベクトル（Ｓｂ）は、音響モデルから導出されたものである。このため、音響モデルから導出された得点ベクトルを用いて、第２変換部１４Ｆおよび合成部１４Ｇによって合成される音声は、合成音（実際の話者の肉声ではない合成された音声）である。
　一方、第３変換部１５Ｌによって登録される得点ベクトルは、音声管理情報１３Ｅから特徴抽出部１５Ｋによって抽出された音響特徴量から、第３変換モデル１３Ｄを用いて導出されたものである。このため、音響特徴量から導出された得点ベクトルを用いて、第２変換部１４Ｆおよび合成部１４Ｇによって合成される音声は、実際の話者の肉声または肉声により近い音声となる。
　このため、検索部１４Ｄが、得点管理情報１２Ｃに代えて得点管理情報１３Ｃから、受付部１４Ｃで受付けた得点ベクトルに類似する、得点ベクトルに対応する話者ＩＤを検索することで、検索部１４Ｄは、合成音に加えて肉声の音声の話者を検索することができる。
　また、本実施の形態の話者検索装置１０Ａでは、共通の得点ベクトルを用いて、合成音および肉声の双方の音声の話者を検索することができる。このため、合成音と肉声を横断的に検索することができる。
　このため、例えば、ユーザは、所望の合成音の音質に満足できれば、音響モデルを使用する。そして、音質に不満であれば、ユーザは、入力した得点ベクトルに類似する肉声の声質の話者ＩＤの検索結果を用いて、該話者ＩＤによって識別される話者に収録を依頼する、といった使用方法も可能である。
　次に、話者検索装置１０Ａで実行する検索処理の手順の一例を説明する。図１２は、話者検索装置１０Ａが実行する検索処理の手順の一例を示す、フローチャートである。
　まず、処理部１５は、ステップＳ３００～ステップＳ３０６の処理を実行する。ステップＳ３００～ステップＳ３０６の処理は、第１の実施の形態のステップＳ１００～ステップＳ１０６と同様である（図７参照）。
　具体的には、まず、第１学習部１４Ａが、話者管理情報１２Ａを用いて第１変換モデル１２Ｂを学習する（ステップＳ３００）。第１学習部１４Ａは、学習した第１変換モデル１２Ｂを、記憶部１３へ記憶する（ステップＳ３０２）。
　次に、第１変換部１４Ｂが、話者管理情報１２Ａに登録されている音響モデルを、第１変換モデル１２Ｂを用いて得点ベクトルに変換し、得点管理情報１３Ｃへ登録する（ステップＳ３０６）。
　次に、第３学習部１５Ｊが、話者管理情報１２Ａを用いて第３変換モデル１３Ｄを学習する（ステップＳ３０８）。そして、第３学習部１５Ｊは、学習した第３変換モデル１３Ｄを記憶部１３へ記憶する（ステップＳ３１０）。
　次に、特徴抽出部１５Ｋが、音声管理情報１３Ｅに登録されている音声データの各々に対応する音響特徴量を抽出する（ステップＳ３１２）。次に、第３変換部１５Ｌが、ステップＳ３１２で話者ＩＤごとに抽出された音響特徴量の各々を、第３変換モデル１３Ｄを用いて得点ベクトルに変換する（ステップＳ３１４）。
　次に、第３学習部１５Ｊは、ステップＳ３１４で変換した得点ベクトルを、該得点ベクトルに対応する話者ＩＤに対応づけて、得点管理情報１３Ｃへ登録する（ステップＳ３１６）。
　次に、処理部１５は、話者検索処理を実行する（ステップＳ３１６）。ステップＳ３１６の処理は、第１の実施の形態（図７のステップＳ１０８、および図８参照）と同様である。そして、本ルーチンを終了する。
　以上説明したように、本実施の形態の話者検索装置１０Ａは、第１の実施の形態の構成に加えて、第３変換部１５Ｌを備える。第３変換部１５Ｌは、音響特徴量を得点ベクトルに変換するための第３変換モデル１３Ｄを用いて、話者の音響特徴量を得点ベクトルに変換し、得点管理情報１３Ｃへ登録する。
　このため、本実施の形態の話者検索装置１０Ａでは、合成音に加えて肉声の音声の話者についても、検索対象とすることができる。
　従って、本実施の形態の話者検索装置１０Ａは、第１の実施の形態の効果に加えて、更に、声質類似度の高い話者を検索することができる。
　また、本実施の形態の話者検索装置１０Ａでは、第３変換部１５Ｌが、メルケプストラムや基本周波数などの言語に存しない音響特徴量のみを用いて、第３変換モデル１３Ｄを学習する。このため、話者検索装置１０Ａでは、言語に依存せずに、類似する話者を検索することが可能になる。
　次に、本実施の形態の話者検索装置１０、１０Ａのハードウェア構成を説明する。図１３は、本実施の形態の話者検索装置１０、１０Ａのハードウェア構成例を示す説明図である。
　本実施の形態の話者検索装置１０、１０Ａは、ＣＰＵ８６などの制御装置と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）８８やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ８２と、音声を出力するスピーカ８０と、表示部９８と、入力部９４と、ＨＤＤ９２と、各部を接続するバス９６を備えている。
　本実施の形態の話者検索装置１０、１０Ａで実行されるプログラムは、ＲＯＭ８８等に予め組み込まれて提供される。
　本実施の形態の話者検索装置１０、１０Ａで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
　さらに、本実施の形態の話者検索装置１０、１０Ａで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかる話者検索装置１０、１０Ａで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
　本実施の形態の話者検索装置１０、１０Ａで実行されるプログラムは、コンピュータを上述した話者検索装置１０、１０Ａの各部として機能させうる。このコンピュータは、ＣＰＵ８６がコンピュータで読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
　なお、上記実施の形態では、話者検索装置１０、１０Ａの各々が、単体の装置として構成されていることを想定して説明した。しかし、話者検索装置１０、１０Ａの各々は、物理的に分離されてネットワークを介して接続された複数の装置により構成されていてもよい。また、上記実施の形態の話者検索装置１０、１０Ａは、クラウドシステム上で動作する仮想マシンとして実現されていてもよい。
　なお、上記には、本発明の実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
１０、１０Ａ　話者検索装置
１２、１３　記憶部
１２Ａ　話者管理情報
１２Ｂ　第１変換モデル
１２Ｃ、１３Ｃ　得点管理情報
１３Ｄ　第３変換モデル
１３Ｅ　音声管理情報
１４、１５　処理部
１４Ａ　第１学習部
１４Ｂ　第１変換部
１４Ｃ　受付部
１４Ｄ　検索部
１４Ｅ　表示制御部
１４Ｆ　第２変換部
１４Ｇ　合成部
１４Ｈ　再生部
１５Ｊ　第３学習部
１５Ｋ　特徴抽出部
１５Ｌ　第３変換部
１６　音声出力部
１８　ＵＩ部
１８Ａ　入力部
１８Ｂ　表示部

Claims (9)

  1. 　声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデルの逆変換モデルを用いて、予め登録された前記音響モデルを前記得点ベクトルに変換し、話者識別情報に対応づけて得点管理情報に登録する第１変換部と、
    　前記得点ベクトルの入力を受付ける受付部と、
    　前記得点管理情報から、受付けた前記得点ベクトルに類似する話者識別情報を検索する検索部と、
    　を備える話者検索装置。
  2. 　前記得点ベクトルは、
    　話者の声質の主観的な特徴を表す、
    　請求項１に記載の話者検索装置。
  3. 　受付けた前記得点ベクトルを、前記第１変換モデルを用いて前記音響モデルに変換する第２変換部と、
    　前記音響モデルから合成された音声を再生する再生部と、
    　を備える、請求項１に記載の話者検索装置。
  4. 　前記音響モデルは、音声の言語特徴量から音声の音響特徴量への写像を統計的にモデル化する、請求項１に記載の話者検索装置。
  5. 　前記音響特徴量を前記得点ベクトルに変換するための第３変換モデルを用いて、話者の前記音響特徴量を前記得点ベクトルに変換し、前記得点管理情報に登録する第３変換部、
    　を備える、請求項４に記載の話者検索装置。
  6. 　前記音響特徴量を前記得点ベクトルに変換するための前記第３変換モデルを学習する第３学習部を備える、
    　請求項５に記載の話者検索装置。
  7. 　前記得点ベクトルは、
    　声質の特徴の主観的な強さを、声質の特徴の種類ごとに得点で表し、
    　前記受付部は、
    　前記特徴の種類ごとの得点を示す前記得点ベクトルと、前記特徴の種類に対する重み付け値と、を受付け、
    　前記検索部は、
    　受付けた前記得点ベクトルに含まれる前記得点を対応する重み付け値で重み付けした前記得点ベクトルに類似する、話者識別情報を検索する、
    　請求項１に記載の話者検索装置。
  8. 　声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデルの逆変換モデルを用いて、予め登録された前記音響モデルを前記得点ベクトルに変換し、話者識別情報に対応づけて得点管理情報に登録するステップと、
    　前記得点ベクトルの入力を受付けるステップと、
    　前記得点管理情報から、受付けた前記得点ベクトルに類似する話者識別情報を検索するステップと、
    　を含む話者検索方法。
  9. 　声質の特徴を表す得点ベクトルを音響モデルに変換するための第１変換モデルの逆変換モデルを用いて、予め登録された前記音響モデルを前記得点ベクトルに変換し、話者識別情報に対応づけて得点管理情報に登録するステップと、
    　前記得点ベクトルの入力を受付けるステップと、
    　前記得点管理情報から、受付けた前記得点ベクトルに類似する話者識別情報を検索するステップと、
    　をコンピュータに実行させるための話者検索プログラム。
PCT/JP2017/034573 2017-03-22 2017-09-25 話者検索装置、話者検索方法、および話者検索プログラム Ceased WO2018173335A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780088429.2A CN110431546B (zh) 2017-03-22 2017-09-25 发音者检索装置、发音者检索方法以及发音者检索程序
US16/573,243 US10978076B2 (en) 2017-03-22 2019-09-17 Speaker retrieval device, speaker retrieval method, and computer program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017056495A JP6805037B2 (ja) 2017-03-22 2017-03-22 話者検索装置、話者検索方法、および話者検索プログラム
JP2017-056495 2017-03-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/573,243 Continuation US10978076B2 (en) 2017-03-22 2019-09-17 Speaker retrieval device, speaker retrieval method, and computer program product

Publications (1)

Publication Number Publication Date
WO2018173335A1 true WO2018173335A1 (ja) 2018-09-27

Family

ID=63585166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034573 Ceased WO2018173335A1 (ja) 2017-03-22 2017-09-25 話者検索装置、話者検索方法、および話者検索プログラム

Country Status (4)

Country Link
US (1) US10978076B2 (ja)
JP (1) JP6805037B2 (ja)
CN (1) CN110431546B (ja)
WO (1) WO2018173335A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6805037B2 (ja) * 2017-03-22 2020-12-23 株式会社東芝 話者検索装置、話者検索方法、および話者検索プログラム
US11741941B2 (en) * 2020-06-12 2023-08-29 SoundHound, Inc Configurable neural speech synthesis
CN119214605B (zh) * 2024-12-04 2025-02-18 首都医科大学附属北京朝阳医院 嗓音识别方法、装置、存储介质、程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185181A (ja) * 1997-09-10 1999-03-30 Nippon Telegr & Teleph Corp <Ntt> 音声モデルの生成方法並びにその音声モデルを用いた話者認識方法及び話者認識装置
JP2009210790A (ja) * 2008-03-04 2009-09-17 Nec Software Kyushu Ltd 選曲歌手分析推薦装置、その方法及びプログラム
JP2011059703A (ja) * 2010-10-15 2011-03-24 Sony Corp 情報検索装置及び方法
JP2011070192A (ja) * 2009-09-22 2011-04-07 Ricoh Co Ltd 音声検索装置及び音声検索方法
JP2015172769A (ja) * 2012-03-30 2015-10-01 株式会社東芝 テキスト読み上げシステム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366187A (ja) * 2001-06-08 2002-12-20 Sony Corp 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体
JP4655184B2 (ja) * 2001-08-01 2011-03-23 ソニー株式会社 音声認識装置および方法、記録媒体、並びにプログラム
DE602004021716D1 (de) * 2003-11-12 2009-08-06 Honda Motor Co Ltd Spracherkennungssystem
US7454338B2 (en) * 2005-02-08 2008-11-18 Microsoft Corporation Training wideband acoustic models in the cepstral domain using mixed-bandwidth training data and extended vectors for speech recognition
US7707029B2 (en) * 2005-02-08 2010-04-27 Microsoft Corporation Training wideband acoustic models in the cepstral domain using mixed-bandwidth training data for speech recognition
WO2007000816A1 (ja) * 2005-06-29 2007-01-04 Toshiba Tec Kabushiki Kaisha 音声特徴抽出装置、話者認識装置、プログラム及び音声特徴抽出方法
WO2009110613A1 (ja) 2008-03-07 2009-09-11 日本電気株式会社 個人照合装置及び話者登録装置と方法並びにプログラム
JP5697860B2 (ja) * 2009-09-09 2015-04-08 クラリオン株式会社 情報検索装置，情報検索方法及びナビゲーションシステム
JP5753769B2 (ja) * 2011-11-18 2015-07-22 株式会社日立製作所 音声データ検索システムおよびそのためのプログラム
JP5631915B2 (ja) * 2012-03-29 2014-11-26 株式会社東芝 音声合成装置、音声合成方法、音声合成プログラムならびに学習装置
US8744854B1 (en) * 2012-09-24 2014-06-03 Chengjun Julian Chen System and method for voice transformation
JP6425370B2 (ja) * 2013-02-18 2018-11-21 オールセーフ株式会社 車椅子固定装置
US10255903B2 (en) * 2014-05-28 2019-04-09 Interactive Intelligence Group, Inc. Method for forming the excitation signal for a glottal pulse model based parametric speech synthesis system
JP6003971B2 (ja) * 2014-12-22 2016-10-05 カシオ計算機株式会社 音声検索装置、音声検索方法及びプログラム
JP6280068B2 (ja) * 2015-03-09 2018-02-14 日本電信電話株式会社 パラメータ学習装置、話者認識装置、パラメータ学習方法、話者認識方法、およびプログラム
JP6523893B2 (ja) 2015-09-16 2019-06-05 株式会社東芝 学習装置、音声合成装置、学習方法、音声合成方法、学習プログラム及び音声合成プログラム
JP6805037B2 (ja) * 2017-03-22 2020-12-23 株式会社東芝 話者検索装置、話者検索方法、および話者検索プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185181A (ja) * 1997-09-10 1999-03-30 Nippon Telegr & Teleph Corp <Ntt> 音声モデルの生成方法並びにその音声モデルを用いた話者認識方法及び話者認識装置
JP2009210790A (ja) * 2008-03-04 2009-09-17 Nec Software Kyushu Ltd 選曲歌手分析推薦装置、その方法及びプログラム
JP2011070192A (ja) * 2009-09-22 2011-04-07 Ricoh Co Ltd 音声検索装置及び音声検索方法
JP2011059703A (ja) * 2010-10-15 2011-03-24 Sony Corp 情報検索装置及び方法
JP2015172769A (ja) * 2012-03-30 2015-10-01 株式会社東芝 テキスト読み上げシステム

Also Published As

Publication number Publication date
US20200013409A1 (en) 2020-01-09
JP2018160058A (ja) 2018-10-11
CN110431546B (zh) 2023-10-13
CN110431546A (zh) 2019-11-08
US10978076B2 (en) 2021-04-13
JP6805037B2 (ja) 2020-12-23

Similar Documents

Publication Publication Date Title
JP4485694B2 (ja) 並列する認識エンジン
US10056078B1 (en) Output of content based on speech-based searching and browsing requests
TWI506982B (zh) 音訊聊天系統、資訊處理裝置、語音辨識方法、關鍵字偵測方法、及記錄媒體
US8412715B2 (en) Information processing apparatus and method and program for controlling the same
CN109920409B (zh) 一种声音检索方法、装置、系统及存储介质
JP6639285B2 (ja) 声質嗜好学習装置、声質嗜好学習方法及びプログラム
US10217454B2 (en) Voice synthesizer, voice synthesis method, and computer program product
US12093312B2 (en) Systems and methods for providing search query responses having contextually relevant voice output
JP6122792B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
WO2019116889A1 (ja) 信号処理装置および方法、学習装置および方法、並びにプログラム
JP2017058411A (ja) 音声合成装置、音声合成方法およびプログラム
US10978076B2 (en) Speaker retrieval device, speaker retrieval method, and computer program product
US20170162187A1 (en) Voice processing device, voice processing method, and computer program product
JP2018180459A (ja) 音声合成システム、音声合成方法、及び音声合成プログラム
CN101578600A (zh) 用于将一个用户的分类标签与由另一个用户定义的分类标签相关联的系统和方法
JP7230085B2 (ja) 音声を処理するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
JPWO2007069512A1 (ja) 情報処理装置及びプログラム
JP5196114B2 (ja) 音声認識装置およびプログラム
JP2019159696A (ja) 検索装置および方法
JP2004117662A (ja) 音声合成システム
JP6309852B2 (ja) 強調位置予測装置、強調位置予測方法及びプログラム
JP6672707B2 (ja) プレイリスト生成方法、プレイリスト生成装置、及びプログラム、並びにリスト生成方法
JP6193737B2 (ja) ポーズ推定装置、方法、プログラム
JP2009204732A (ja) 音声認識装置、音声認識辞書作成方法およびプログラム
Dzhambazov et al. Searching Lyrical Phrases in A-Capella Turkish Makam Recordings.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902478

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17902478

Country of ref document: EP

Kind code of ref document: A1