WO2022196087A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2022196087A1
WO2022196087A1 PCT/JP2022/002004 JP2022002004W WO2022196087A1 WO 2022196087 A1 WO2022196087 A1 WO 2022196087A1 JP 2022002004 W JP2022002004 W JP 2022002004W WO 2022196087 A1 WO2022196087 A1 WO 2022196087A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
script
unit
dialogue
speaker
Prior art date
Application number
PCT/JP2022/002004
Other languages
English (en)
French (fr)
Inventor
宜典 倉田
重宣 瀬戸
寿朗 吉岡
Original Assignee
株式会社東芝
東芝デジタルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝デジタルソリューションズ株式会社 filed Critical 株式会社東芝
Priority to CN202280022259.9A priority Critical patent/CN117043741A/zh
Publication of WO2022196087A1 publication Critical patent/WO2022196087A1/ja
Priority to US18/467,762 priority patent/US20240005906A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Definitions

  • Embodiments of the present invention relate to an information processing device, an information processing method, and an information processing program.
  • a speech synthesis technology that converts text into speech and outputs it is known. For example, a system is known that creates and outputs synthesized speech of various speakers from input text. Also known is a technique for reproducing onomatopoeia drawn in cartoons.
  • the script which is the basis of the performance, is composed of various information such as the name of the speaker's role, the narration, etc., in addition to the lines of the actual utterance target.
  • the prior art has not disclosed a technique for synthesizing speech for performance in accordance with the intent of the script. In other words, conventionally, there has been no provision of data that enables the output of performance voices in accordance with the intent of the script.
  • the problem to be solved by the present invention is to provide an information processing device, an information processing method, and an information processing program capable of providing data capable of outputting performance audio in accordance with the intent of the script.
  • the information processing device of the embodiment includes an output unit.
  • the output unit outputs second script data in which dialogue data of dialogue included in the first script data and speaker data of the speaker of the dialogue are associated with each other from the first script data that is the source of the performance.
  • FIG. 1 is a diagram illustrating an example of an information processing apparatus according to an embodiment.
  • FIG. 2 is a schematic diagram of an example of a script.
  • FIG. 3 is a schematic diagram of an example of the data configuration of the second script data.
  • FIG. 4 is a schematic diagram of an example of a UI screen.
  • FIG. 5 is a schematic diagram showing an example of the data configuration of the third script data.
  • FIG. 6 is a schematic diagram of an example of the data structure of performance audio data.
  • FIG. 7 is a flowchart showing an example of the flow of output processing of the second script data.
  • FIG. 8 is a flowchart showing an example of the flow of processing for generating the third script data.
  • FIG. 9 is a flowchart showing an example of the flow of processing for generating performance audio data.
  • FIG. 10 is a hardware configuration diagram.
  • FIG. 1 is a diagram showing an example of the information processing device 10 of this embodiment.
  • the information processing device 10 is an information processing device that generates data capable of outputting performance audio in accordance with the intent of the script.
  • the information processing device 10 includes a communication unit 12 , a UI (user interface) unit 14 , a storage unit 16 and a processing unit 20 .
  • the communication unit 12 , the UI unit 14 , the storage unit 16 and the processing unit 20 are communicably connected via a bus 18 .
  • the communication unit 12 communicates with other external information processing devices via a network or the like.
  • the UI section 14 includes a display section 14A and an input section 14B.
  • the display unit 14A is, for example, a display such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence), or a projection device.
  • the input unit 14B receives a user's operation.
  • the input unit 14B is, for example, a pointing device such as a digital pen, mouse, or trackball, or an input device such as a keyboard.
  • the display unit 14A displays various information. Note that the UI unit 14 may be a touch panel integrally including the display unit 14A and the input unit 14B.
  • the storage unit 16 stores various data.
  • the storage unit 16 is, for example, a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, a hard disk, an optical disk, or the like.
  • the storage unit 16 may be a storage device provided outside the information processing apparatus 10 .
  • the storage unit 16 may be a storage medium. Specifically, the storage medium may store or temporarily store programs and various types of information downloaded via a LAN (Local Area Network), the Internet, or the like.
  • the storage unit 16 may be composed of a plurality of storage media.
  • the processing unit 20 executes various types of information processing.
  • the UI unit 14 includes an acquisition unit 22 , an output unit 24 , a second generation unit 26 , and a performance audio data generation unit 28 .
  • the output unit 24 includes a specification unit 24A, an analysis unit 24B, a first display control unit 24C, a first reception unit 24D, a correction unit 24E, and a first generation unit 24F.
  • the second generation unit 26 includes a second reception unit 26A, a list generation unit 26B, a second display control unit 26C, a third reception unit 26D, and a setting unit 26E.
  • the performance audio data generator 28 includes an audio generator 28A, a third display controller 28B, a label receiver 28C, and a label assigner 28D.
  • the granting unit 28D is implemented by, for example, one or more processors.
  • each of the above units may be realized by causing a processor such as a CPU (Central Processing Unit) to execute a program, that is, by software.
  • a processor such as a CPU (Central Processing Unit) to execute a program, that is, by software.
  • a processor such as a dedicated IC (Integrated Circuit), that is, by hardware.
  • Each of the above units may be implemented using both software and hardware. When multiple processors are used, each processor may implement one of the units, or may implement two or more of the units.
  • At least one of the above units may be installed in a cloud server that executes processing on the cloud.
  • the acquisition unit 22 acquires the first script data.
  • the first script data is the script data that is the basis of the performance.
  • a script is a book intended for performance, and may be either paper media or electronic data.
  • a script may be a concept that includes scripts and plays.
  • FIG. 2 is a schematic diagram of an example of the script 31.
  • the script 31 includes lines, the name of the speaker of the lines, and additional information such as the topic. Dialogue is the words uttered by the speaker who appears in the play or creative work to be performed. A speaker is a user who is the target of uttering lines. The topic is a part of the script 31 other than the lines and the speaker's name.
  • the guide includes, for example, the situation of the scene, the specification of effects such as lighting and music, the movement of the speaker, and the like. For example, the guideline is written between lines.
  • script 31 includes one or more lines.
  • the script 31 includes a plurality of lines.
  • FIG. 2 shows a mode in which a speaker placement area A is provided in the upper area of the page of the script 31 .
  • FIG. 2 shows an example in which the script 31 includes "Takumi" and "Yuka” as speaker names.
  • FIG. 2 shows a configuration in which a speech arrangement region B for each speaker of the speaker name is provided below the arrangement region C for the speaker name.
  • FIG. 2 shows a mode in which a topic layout area C is provided at a position different from the upper end of the page of the script 31 and the speaker name and lines.
  • the script 31 there are various description forms such as the arrangement positions of the lines, the speaker's name, and the topic, as well as the type, size, and color of the font. That is, the script 31 has different script patterns representing at least the speaker names and the arrangement of lines.
  • the acquisition unit 22 of the information processing apparatus 10 acquires the first script data 30, which is electronic data obtained by reading the script 31 with a scanner or the like.
  • the acquisition unit 22 may acquire the first script data 30 by reading the first script data 30 pre-stored in the storage unit 16 .
  • the acquisition unit 22 may acquire the first script data 30 by receiving the first script data 30 from an external information processing device via the communication unit 12 .
  • the script 31 may be electronic data. In this case, the acquisition unit 22 may acquire the first script data 30 by reading the script 31, which is electronic data.
  • the output unit 24 outputs, from the first script data 30, second script data in which the dialogue data of the dialogue included in the first script data 30 and the speaker data of the speaker of the dialogue are associated with each other.
  • Speaker data is data of the speaker name.
  • the output unit 24 includes an identification unit 24A, an analysis unit 24B, a first reception unit 24D, a first reception unit 24D, a correction unit 24E, and a first generation unit 24F.
  • the identifying unit 24A identifies the script pattern of the first script data 30.
  • the script pattern represents at least the arrangement of speakers and lines included in the script 31 of the first script data 30 .
  • the script 31 varies in the arrangement positions of the lines, the speaker's name, the topic, etc., as well as the description format such as the type, size, and color of the font.
  • the specifying unit 24A specifies the script pattern of the first script data 30 acquired by the acquiring unit 22.
  • the specifying unit 24A stores a plurality of different script patterns in the storage unit 16 in advance.
  • the specifying unit 24A analyzes the characters included in the first script data 30 by optical character recognition (OCR) or the like to determine the arrangement of the characters and character strings included in the first script data 30 and the font size. Analyze the description form such as color and color.
  • the identifying unit 24A identifies the script pattern of the first script data 30 by identifying the script pattern that is most similar to the arrangement and description form of the analyzed characters and character strings from the storage unit 16 .
  • the identification unit 24A may prepare in advance a plurality of pairs of the first script data 30 and script patterns of the first script data 30, and use these pairs as teacher data to learn the learning model. good. Then, the specifying unit 24A inputs the first script data 30 acquired by the acquiring unit 22 to the learning model. Then, the specifying unit 24A may specify the script pattern of the first script data 30 as the output of the learning model.
  • This learning model is an example of a second learning model to be described later.
  • the analysis unit 24B analyzes the dialogue data and speaker data included in the first script data 30 acquired by the acquisition unit 22 based on the script pattern specified by the specification unit 24A. For example, assume that the identification unit 24A identifies the script pattern of the script 31 shown in FIG.
  • the analysis unit 24B analyzes, among the characters included in the first script data 30, the characters arranged in the speaker name arrangement region A represented by the specified script pattern as the speaker data of the speaker. do. In addition, the analysis unit 24B analyzes, among the characters included in the first script data 30, the characters arranged in the speech arrangement area B represented by the specified script pattern as the speech data of the speech.
  • the analysis unit 24B may analyze the characters arranged in the placement region B corresponding to the characters of the speaker placed in the speaker name placement region A as the speech data of the speaker.
  • the placement region B corresponding to the speaker is the text of the speaker placed in the speaker name placement region A in the script 31, and the utterance in the dialogue placement region B.
  • the writing direction is the direction in which characters are written.
  • FIG. 2 shows an example of a form in which the writing direction is vertical writing.
  • the analysis unit 24B extracts the speaker data of the speaker included in the first script data 30 and the line data of the lines spoken by the speaker for each line data.
  • the line data is a line uttered by one speaker in one utterance. Therefore, the analysis unit 24B extracts, for each of the plurality of lines included in the first script data 30, a pair of the line data and the speaker data of the speaker who utters the line of the line data.
  • the analysis unit 24B analyzes the speaker data, which is the estimation result obtained by estimating the speaker who will speak the lines of the line data based on the line data when analyzing the speaker data included in the first script data 30.
  • the script 31 may include lines in which the speaker's name is not written. Also, in the script 31, some of the names of speakers may be abbreviated, or may be written differently due to typographical errors. In this case, the analysis unit 24B analyzes the speaker data by estimating the speaker who speaks the speech data from the speech data included in the first script data 30 .
  • the analysis unit 24B analyzes a group of speech data for which the speaker name is specified in the first script data 30, and specifies the features of the speech data for each speaker name included in the first script data 30. .
  • Features of speech data are defined by numerical values representing features such as phrasing. Then, the analysis unit 24B analyzes each of the speech data included in the first script data 30 so that each group of speech data having similar characteristics is associated with the speaker data of the same speaker. Just guess. Through these processes, the analysis unit 24B can associate the speaker data of the estimated speaker with speech data without a description of the speaker's name or speech data with fluctuations in the notation of the speaker's name.
  • the analysis unit 24B also assigns a line ID (identifier), which is identification information for identifying line data, to each line data included in the first script data 30 . If the first script data 30 contains a line ID, the analysis unit 24B may identify the line ID from the first script data 30 and add it to the line data. If the first script data 30 does not include a line ID, the analysis unit 24B may add a line ID to each line data included in the first script data 30 .
  • a line ID identifier
  • the analysis unit 24B assigns line IDs in ascending order along the order of appearance of the line data included in the first script data 30.
  • the order of appearance is the order along the direction from the upstream side to the downstream side of the writing direction of the script 31 .
  • the analysis unit 24B gives the line IDs according to the order of appearance of the line data, thereby obtaining the following effects.
  • the first script data 30 can be generated so that the synthesized voice of the dialogue data is sequentially output along the script 31 when outputting the synthesized voice using performance voice data, which will be described later.
  • the dialogue data included in the first script data 30 may include punctuation marks.
  • a punctuation mark is a code added to indicate a sentence break or a sentence break in a written language. Punctuation marks are, for example, periods, question marks, exclamation marks, ellipsis marks, line breaks, and the like. It is preferable that the analysis unit 24B optimizes the line data extracted from the first script data 30 into a form that does not give a sense of incongruity as human speech. To optimize means to optimize the types or positions of punctuation marks included in the dialogue data, or to insert new punctuation marks. For example, if the analysis unit 24B optimizes the dialogue data extracted from the first script data 30 using dictionary data or a learning model for optimization stored in advance to generate optimized dialogue data, good.
  • the analysis unit 24B may estimate the speaker's emotion at the time of uttering the line data. For example, the analysis unit 24B extracts, from the extracted line data, the speaker data of the speaker of the line data, and the topic data of the topic positioned closest to the line, the utterance at the time of the utterance of the line data. to estimate a person's emotions. For example, the analysis unit 24B preliminarily learns a learning model for outputting emotion data from character strings included in the line data, speaker data of a speaker who utters the line data, and story data. Then, the analysis unit 24B inputs the dialogue data, speaker data, and story data extracted from the first script data 30 to the learning model. The analysis unit 24B may estimate the emotion data obtained as the output of the learning model as the emotion data of the line data.
  • the analysis unit 24B outputs the plurality of speech data included in the first script data 30 and speaker data corresponding to each of the plurality of speech data, which are the analysis results, to the first generation unit 24F.
  • the analysis unit 24B converts the plurality of line data included in the first script data 30 and the line ID, speaker data, and emotion data of each of the plurality of line data into the first generation unit 24F.
  • the first generation unit 24F generates second script data that associates at least the dialogue data and the speaker data analyzed by the analysis unit 24B.
  • FIG. 3 is a schematic diagram of an example of the data configuration of the second script data 32.
  • the second script data 32 is data in which at least a line ID, speaker data, and line data are associated with each other.
  • the second script data 32 is data in which line IDs, speaker data, line data, and emotion data are associated with each other.
  • an analysis error may occur during the analysis of the first script data 30 by the analysis unit 24B.
  • the first script data 30 may include characters that are difficult to analyze.
  • characters may be set in areas in the first script data 30 that do not match the script pattern specified by the specifying unit 24A. In such a case, it may be difficult for the analysis unit 24B to perform normal analysis.
  • an error may occur in the analysis results of the speaker data and dialogue data extracted by the analysis of the first script data 30 by the analysis unit 24B.
  • the analysis unit 24B outputs the analysis result to the first display control unit 24C. For example, after analyzing a region corresponding to one page of the script 31 of the first script data 30, the analysis unit 24B outputs the analysis result to the first display control unit 24C. Further, when an analysis error occurs, the analysis unit 24B outputs the analyzed result to the first display control unit 24C.
  • the first display control unit 24C controls the display of the analysis result received from the analysis unit 24B on the display unit 14A.
  • the user can confirm whether the analysis result by the analysis unit 24B is error-free, whether there is any discomfort, and the like. If it is determined that there is a sense of incompatibility or an error, the user operates the input unit 14B to input an instruction to correct the script pattern specified by the specifying unit 24A. For example, by operating the input unit 14B while viewing the display unit 14A, the user can display the speaker name placement region A, the dialogue placement region B, and the topic placement region in the script pattern specified by the specifying unit 24A. Input correction instructions for the position, size, range, etc. of C, etc.
  • the correction unit 24E that has received the correction instruction corrects the script pattern identified by the identification unit 24A according to the received correction instruction. Further, the correction unit 24E corrects the second learning model, which is a learning model for outputting the script pattern from the first script data 30, according to the received correction instruction.
  • the correcting unit 24E can correct at least one of the script pattern and the learning model so that the dialogue data and the speaker data can be analyzed and extracted more accurately from the first script data 30 of the script 31. .
  • the correction instruction may be a correction instruction for the line ID assigning method, emotion data estimation method, and speaker data estimation method.
  • the correcting unit 24E corrects the algorithm or learning model to be used at each timing of giving the line ID, estimating the emotion data, and estimating the speaker data according to the received correction instruction. good.
  • the analysis unit 24B analyzes the first script data 30 using at least one of the corrected script pattern, algorithm, and learning model. Through these processes, the analysis unit 24B can analyze the first script data 30 with higher accuracy. Also, the first generator 24F can generate the second script data 32 with higher accuracy.
  • the output unit 24 may have a configuration that does not include the identification unit 24A, the analysis unit 24B, and the first generation unit 24F.
  • the output unit 24 may input the first script data 30 to a learning model that outputs the first script data 30 to the second script data 32 .
  • This learning model is an example of the first learning model.
  • the output unit 24 sets pairs of a plurality of first script data 30 and second script data 32, which are correct data for each of the plurality of first script data 30, as teacher data, and performs the first learning. Pre-learn the model. Then, the output unit 24 may output the second script data 32 as an output result of inputting the first script data 30 acquired by the acquisition unit 22 to the first learning model.
  • the correction unit 24E may correct the first learning model that outputs the first script data 30 to the second script data 32 according to the received correction instruction.
  • the output unit 24 stores the second script data 32 in the storage unit 16. As shown in FIG. 3, the second script data 32 output from the output unit 24 includes the result of estimating the speaker data included in the first script data 30, dialogue data with appropriate punctuation, and emotion data. , and the line ID are associated with each other.
  • the output unit 24 generates the second script data 32 from the first script data 30 and stores it in the storage unit 16 each time the acquisition unit 22 acquires new first script data 30 . Therefore, one or a plurality of second script data 32 are stored in the storage unit 16 .
  • the output unit 24 may further associate information representing the genre or category of the script 31 with the second script data 32 and store it in the storage unit 16 .
  • the output unit 24 may store information representing the genre or category input by the user through the input unit 14 ⁇ /b>B in association with the second script data 32 in the storage unit 16 .
  • the second generator 26 generates third script data from the second script data 32 .
  • the third script data is data obtained by adding various information for voice output to the second script data 32 . Details of the third script data will be described later.
  • the second generation unit 26 includes a second reception unit 26A, a list generation unit 26B, a second display control unit 26C, a third reception unit 26D, and a setting unit 26E.
  • the second reception unit 26A receives designation of the second script data 32 to be edited.
  • the user specifies the second script data 32 to be edited by operating the input unit 14B.
  • the user designates one second script data 32 to be edited from among the plurality of second script data 32 stored in the storage unit 16 .
  • the second accepting unit 26A accepts the specification of the second script data 32 to be edited by accepting the identification information of the specified second script data 32 .
  • the user inputs designation of the editing unit during editing work by operating the input unit 14B.
  • the user operates the input unit 14B to input designation of an editing unit indicating which of speaker data and dialogue data is to be set as an editing unit.
  • the second accepting unit 26A accepts designation of an editing unit from the input unit 14B.
  • the list generating unit 26B reads from the storage unit 16 the second script data 32 to be edited, whose designation is received by the second receiving unit 26A. Then, the list generation unit 26B classifies the plurality of line data registered in the read second script data 32 into the specified edit unit received by the second reception unit 26A. For example, assume that the specified editing unit is speaker data. In this case, the list generation unit 26B classifies the dialogue data included in the second script data 32 for each speaker data.
  • the second display control unit 26C generates a UI screen by classifying the second script data 32 to be edited, whose designation is received by the second receiving unit 26A, into the editing units generated by the list generating unit 26B. Then, the second display control unit 26C displays the generated UI screen on the display unit 14A.
  • FIG. 4 is a schematic diagram of an example of the UI screen 34.
  • FIG. FIG. 4 shows the UI screen 34 including at least a part of the speech data corresponding to each of the speaker data "Takumi" and "Yuka”.
  • the user inputs setting information by operating the input unit 14B while viewing the UI screen 34 .
  • the UI screen 34 is an input screen for accepting input of setting information for speech data from the user.
  • the setting information is information related to sound.
  • the setting information includes a dictionary ID, a synthesis rate of the dictionary ID, and voice quality information.
  • the setting information may be information including at least the dictionary ID.
  • a dictionary ID is dictionary identification information of speech dictionary data.
  • Dictionary identification information is identification information of speech dictionary data.
  • Speech dictionary data is an acoustic model for deriving acoustic features from language features.
  • the speech dictionary data is created in advance for each speaker.
  • a linguistic feature amount is a linguistic feature amount extracted from a text of voice uttered by a speaker.
  • the linguistic features include phonemes before and after, information on pronunciation, phrase end position, sentence length, accented phrase length, mora length, mora position, accent type, part of speech, and dependency information.
  • Acoustic features are voice or acoustic features extracted from voice data uttered by a speaker.
  • acoustic features for example, acoustic features used in HMM (hidden Markov model) speech synthesis may be used.
  • acoustic features include mel-cepstrum coefficients representing phonemes and voice timbres, mel-LPC coefficients, mel-LSP coefficients, fundamental frequency (F0) representing pitch, and aperiodicity index (BAP) and the like.
  • speech dictionary data corresponding to each of a plurality of speakers is prepared in advance, and that the speech dictionary data and the dictionary ID are stored in advance in the storage unit 16 in association with each other.
  • the speaker corresponding to the speech dictionary data may or may not match the speaker set in the script 31 .
  • the user By operating the input unit 14B while referring to the speaker data and the speech data corresponding to the speaker data, the user inputs the dictionary ID of the voice dictionary data for the speech data of the speaker data. Therefore, the user can easily input the dictionary ID while checking the speech data.
  • the user may input dictionary IDs of a plurality of speech dictionary data for one speaker data by operating the input unit 14B.
  • the user inputs the synthesis rate for each dictionary ID.
  • the synthesis ratio represents the mixing ratio of speech dictionary data when synthesizing a plurality of speech dictionary data to generate synthetic speech.
  • the user can further input voice quality information by operating the input unit 14B.
  • the voice quality information is information representing the voice quality at the time of uttering the line of the line data corresponding to the speaker data.
  • the voice quality information is information representing the voice quality of the synthesized speech of the dialogue data.
  • Voice quality information is represented by, for example, volume, speaking speed, pitch, depth, and the like. The user can specify voice quality information by operating the input unit 14B.
  • the second display control unit 26C displays on the display unit 14A the UI screen 34 in which the dialogue data included in the second script data 32 is classified into edit units generated by the list generation unit 26B. Therefore, the UI screen 34 includes at least part of the speech data corresponding to each of the speaker data "Takumi" and "Yuka”. Therefore, the user can input desired setting information for each of the plurality of speaker data while referring to the line data uttered by the speaker of the speaker data.
  • the third reception unit 26D receives setting information from the input unit 14B.
  • the setting unit 26E generates the third script data by setting the setting information received by the third receiving unit 26D in the second script data 32.
  • FIG. 5 is a schematic diagram showing an example of the data configuration of the third script data 36.
  • the third script data 36 is data in which line IDs, speaker data, speaker data, line data, emotion data, dictionary IDs, synthesis rates, and voice quality information are associated with each other.
  • the setting unit 26E registers setting information corresponding to each piece of speaker data received by the third reception unit 26D in association with each piece of speaker data in the second script data 32, thereby registering the third script data 36. to generate It should be noted that the third script data 36 may be information in which at least the line ID, the speaker data, the line data, and the dictionary ID are associated with each other.
  • the second generation unit 26 associates the setting information input by the user for generating synthesized speech of the speaker of the speaker data with the speaker data and the line data of the second script data 32.
  • the third script data 36 is generated by registering the The second generation unit 26 stores the generated third script data 36 in the storage unit 16 . Therefore, the second generation unit 26 stores the newly generated third script data 36 in the storage unit 16 every time the user inputs the setting information.
  • the performance voice data generation unit 28 generates performance voice data from the third script data 36 .
  • FIG. 6 is a schematic diagram of an example of the data configuration of the performance audio data 38.
  • the performance voice data 38 is data in which at least one of voice synthesis parameters and synthesized voice data is further associated with each of the plurality of line data included in the third script data 36 .
  • FIG. 6 shows a form in which performance voice data 38 includes both voice synthesis parameters and synthesized voice data.
  • the performance audio data 38 includes a plurality of dialogue audio data 39.
  • the line voice data 39 is data generated for each line data.
  • the speech data 39 includes one speech ID, speaker data, speech data, emotion data, dictionary ID, synthesis rate, voice quality information, speech synthesis parameters, and synthesized speech data. and are associated with each other. Therefore, the performance audio data 38 includes the same number of dialogue audio data 39 as the number of dialogue data included.
  • a speech synthesis parameter is a parameter for generating synthesized speech of dialogue data using the speech dictionary data identified by the corresponding dictionary ID.
  • the speech synthesis parameter is prosody data handled by the speech synthesis module. Note that speech synthesis parameters are not limited to Prosody data.
  • Synthetic speech data is speech data of synthesized speech generated by speech synthesis parameters.
  • FIG. 6 shows an example in which the data format of the synthesized speech data is the WAV (Waveform Audio File Format) file format.
  • WAV Wideform Audio File Format
  • the data format of synthesized speech data is not limited to the WAV file format.
  • the performance audio data generator 28 includes an audio generator 28A, a third display controller 28B, a label receiver 28C, and a label assigner 28D.
  • the audio generation unit 28A reads one piece of third script data 36 for which performance audio data 38 is to be generated. For example, when new third script data 36 is stored in the storage unit 16, the performance audio data generation unit 28 reads the third script data 36 as the third script data 36 to be generated. Further, the performance voice data generation unit 28 may read the third script data 36 specified by the user through the operation instruction of the input unit 14B as the third script data 36 to generate the performance voice data 38 .
  • the voice generation unit 28A generates voice synthesis parameters and voice data for each of the plurality of line data included in the read third script data 36 .
  • the voice generation unit 28A executes the following process for each line data corresponding to each of a plurality of line IDs.
  • the speech generation unit 28A generates speech synthesis parameters for speech data realized by using speech dictionary data identified by a corresponding dictionary ID at a synthesis rate corresponding to dialogue data. Further, the speech generation unit 28A corrects the generated speech synthesis parameter according to the corresponding emotion data and voice quality information to generate speech synthesis parameters such as Prosody data corresponding to the dialogue data.
  • the voice generation unit 28A executes the following processing for each line data corresponding to each of the plurality of line IDs.
  • the speech generation unit 28A generates synthetic speech data realized by using the speech dictionary data identified by the corresponding dictionary ID with the synthesis rate corresponding to the dialogue data. Furthermore, the speech generation unit 28A corrects the generated synthetic speech data according to the corresponding emotion data and voice quality information to generate synthetic speech data corresponding to the dialogue data.
  • the performance voice data generation unit 28 may learn in advance a learning model that receives dialogue data, voice dictionary data, synthesis rate, emotion data, and voice quality information and outputs voice synthesis parameters and synthesized voice data. Then, the performance voice data generation unit 28 inputs line data, voice dictionary data, synthesis rate, emotion data, and voice quality information into the learning model for each line data included in the third script data 36 . The performance voice data generation unit 28 may generate voice synthesis parameters and synthesized voice data corresponding to each line data as an output from the learning model.
  • the third display control unit 28B displays the dialogue voice data 39 generated by the voice generation unit 28A on the display unit 14A.
  • the display unit 14A displays the dialogue voice data 39 generated immediately before in the performance voice data 38 shown in FIG.
  • the user inputs one or more labels for the speech data 39 by operating the input unit 14B while referring to the speech speech data 39 displayed.
  • a label is a label attached to the dialogue audio data 39, and is a keyword related to the contents of the dialogue audio data 39. Labels are words such as happy, tired, morning, midnight, and the like. The user can assign one or more labels to one line voice data 39 .
  • the label reception unit 28C receives from the input unit 14B the label input by the user and the line ID included in the line voice data 39 to which the label is to be assigned.
  • the label assigning unit 28D associates the label received by the label receiving unit 28C with the received line ID and registers it in the line voice data 39.
  • one or a plurality of labels are assigned to the performance audio data 38 for each dialogue audio data 39, that is, for each speaker data, dialogue data, or pair of speaker data and dialogue data. .
  • the dialogue audio data 39 By adding a label to the dialogue audio data 39, it becomes possible to search for the dialogue audio data 39 using the label as a search key. For example, a user may wish to apply speech synthesis parameters or synthesized speech data that has already been created to other similar dialogue data. In such a case, if the speech data 39 is searched using the speech data as a search key, it may be difficult to retrieve the appropriate speech speech data 39 if a plurality of similar speech data are included. On the other hand, if a label is given when the performance voice data 38 is generated, it becomes possible to retrieve the dialog voice data 39 using the label as a search key. Therefore, already created speech synthesis parameters or synthesized speech data can be reused easily and appropriately. Also, the editing time can be shortened.
  • the labeling unit 28D may automatically generate a label representing the dialogue data by analyzing the text included in the dialogue data included in the dialogue audio data 39, and assign it to the dialogue audio data 39.
  • the audio generating unit 28A, the third display control unit 28B, the label receiving unit 28C, and the labeling unit 28D of the performance audio data generating unit 28 perform the above processing for each line data included in the third script data 36. Run. For this reason, the performance voice data generation unit 28 generates dialogue voice data 39 in which at least one of the voice synthesis parameter and the synthesized voice data is associated with a label for each line data included in the third script data 36. It is stored in the storage unit 16 sequentially. Then, the performance voice data generation unit 28 generates the performance voice data 38 by generating the dialogue voice data 39 for each of the plurality of dialogue data included in the third script data 36 .
  • the performance voice data 38 is data in which speaker data and at least one of voice synthesis parameters and synthesized voice data are associated with each line data. For this reason, by inputting the performance voice data 38 to a known synthetic voice device that outputs synthetic voice, it is possible to easily output the performance voice in accordance with the intention of the script 31 .
  • the synthesized speech device sequentially outputs the synthesized speech data of the dialogue data in the performance speech data 38 in accordance with the arrangement of the dialogue IDs in the performance speech data 38 . Therefore, by using the performance voice data 38, the synthetic voice apparatus can easily output synthetic voices representing the exchange of lines along the flow of the script 31 in sequence.
  • the form of performance using the performance voice data 38 by the voice synthesis device is not limited.
  • the performance audio data 38 can be applied to a synthetic audio device that provides CG (Computer Graphics) movies, animations, audio distribution, audible reading services (Audible), and the like.
  • FIG. 7 is a flowchart showing an example of the output process flow of the second script data 32.
  • the acquisition unit 22 acquires the first script data 30 (step S100).
  • the identifying unit 24A identifies the script pattern of the first script data 30 acquired in step S100 (step S102).
  • the analysis unit 24B analyzes the dialogue data and speaker data included in the first script data 30 acquired in step S100 based on the script pattern specified in step S102 (step S104). For example, the analysis unit 24B analyzes one page of the script 31 of the first script data 30 .
  • the first display control unit 24C displays the analysis result of step S104 on the display unit 14A (step S106).
  • the user confirms whether there is an error in the analysis result by the analysis unit 24B, whether there is any discomfort, and the like. If it is determined that there is a sense of incompatibility or an error, the user operates the input unit 14B to input an instruction to correct the script pattern specified by the specifying unit 24A.
  • the correction unit 24E determines whether or not a correction instruction has been received from the input unit 14B (step S108). When receiving the correction instruction, the correction unit 24E corrects at least one of the script pattern, the learning model, and the algorithm used for analysis (step S110). Then, the process returns to step S104.
  • step S108 when an instruction signal indicating no correction is received (step S108: No), the process proceeds to step S112.
  • the analysis unit 24B analyzes the entire first script data 30 (step S112). Specifically, in the case of non-correction, the analysis unit 24B analyzes the entire first script data 30 using at least one of non-correction script patterns, algorithms, and learning models. If corrected, analysis unit 24B analyzes entire first script data 30 using at least one of the script pattern, algorithm, and learning model after correction in step S110.
  • the first generation unit 24F generates the second script data 32 that associates at least the speech data and the speaker data analyzed by the analysis unit 24B through the processing of steps S104 to S112 (step S114). Then, the first generation unit 24F stores the generated second script data 32 in the storage unit 16 (step S116). Then, the routine ends.
  • FIG. 8 is a flowchart showing an example of the flow of processing for generating the third script data 36.
  • the second reception unit 26A receives designation of the second script data 32 to be edited (step S200).
  • the user specifies the second script data 32 to be edited by operating the input unit 14B.
  • the second accepting unit 26A accepts the specification of the second script data 32 to be edited by accepting the identification information of the specified second script data 32 .
  • the second reception unit 26A receives designation of an editing unit during editing work (step S202). For example, the user operates the input unit 14B to input designation of an editing unit indicating which of speaker data and dialogue data is to be set as an editing unit.
  • the second accepting unit 26A accepts designation of an editing unit from the input unit 14B.
  • the list generation unit 26B generates a list (step S204).
  • the list generation unit 26B generates a list by classifying a plurality of speech data registered in the second script data 32 specified in step S200 into the edit units specified in step S202.
  • the second display control unit 26C displays the UI screen 34 on the display unit 14A (step S206).
  • the second display control unit 26C generates a UI screen 34 showing the second script data 32 specified in step S200 in the form of a list classified into edit units generated in step S204, and displays it on the display unit 14A.
  • the user inputs setting information by operating the input unit 14 ⁇ /b>B while viewing the UI screen 34 .
  • the third reception unit 26D receives setting information from the input unit 14B (step S208).
  • the setting unit 26E generates the third script data 36 by setting the setting information received in step S208 to the second script data 32 whose designation is received in step S200 (step S210). Then, the setting unit 26E stores the generated third script data 36 in the storage unit 16 (step S212). Then, the routine ends.
  • FIG. 9 is a flowchart showing an example of the flow of processing for generating the performance audio data 38.
  • the performance audio data generation unit 28 reads one piece of third script data 36 for which the performance audio data 38 is to be generated (step S300).
  • the performance voice data generation unit 28 executes the processing of steps S302 to S314 for each line data corresponding to each of the plurality of line IDs.
  • the speech generation unit 28A generates speech synthesis parameters (step S302).
  • the speech generation unit 28A generates speech synthesis parameters for speech data realized by using speech dictionary data identified by the corresponding dictionary ID with the corresponding synthesis rate for the speech data corresponding to the speech ID. Further, the speech generation unit 28A corrects the generated speech synthesis parameter according to the corresponding emotion data and voice quality information to generate speech synthesis parameters such as Prosody data corresponding to the dialogue data.
  • the speech generation unit 28A generates synthetic speech data (step S304).
  • the speech generation unit 28A generates synthetic speech data realized by using the speech dictionary data identified by the corresponding dictionary ID with the synthesis rate corresponding to the dialogue data.
  • the speech generation unit 28A stores the speech speech data 39 in which at least the speech ID, the speech data, the speech synthesis parameter generated in step S302, and the synthesized speech data generated in step S304 are associated with each other. (step S306).
  • the third display control unit 28B displays the dialogue voice data 39 generated in step S306 on the display unit 14A.
  • the display unit 14A displays one line voice data 39 in the performance voice data 38 shown in FIG.
  • the user inputs one or a plurality of labels for the speech data 39 by operating the input unit 14B while referring to the speech speech data 39 displayed.
  • the label receiving unit 28C receives from the input unit 14B the label input by the user and the line ID included in the line voice data 39 to which the label is to be assigned (step S310).
  • the label assigning unit 28D assigns the label accepted in step S310 to the dialogue voice data 39 (step S312). Specifically, the label assigning unit 28D registers the received label in the speech data 39 in association with the received speech ID in the speech speech data 39 .
  • the labeling unit 28D stores the labeled speech data 39 in the storage unit 16 (step S314). That is, the label assigning unit 28D further assigns a label to the dialogue audio data 39 registered in step S306, thereby storing the dialogue audio data 39 corresponding to one dialogue ID in the storage unit 16.
  • FIG. 1 A label assigned to the dialogue audio data 39 registered in step S306, thereby storing the dialogue audio data 39 corresponding to one dialogue ID in the storage unit 16.
  • the performance voice data generation unit 28 repeats the processing of steps S302 to S314 for each of the plurality of line data included in the third script data 36 read in step S300. Through these processes, the performance voice data generator 28 can generate the performance voice data 38 consisting of a group of dialogue voice data 39 for each of the dialogue data included in the third script data 36 . Then, the routine ends.
  • the information processing device 10 of this embodiment includes the output unit 24 .
  • the output unit 24 outputs the second script data 32 in which the dialogue data of the dialogue included in the first script data 30 and the speaker data of the speaker of the dialogue are associated with each other from the first script data 30 which is the source of the performance. do.
  • the script 31 is configured to include various information such as the name of the speaker, the topic, etc., in addition to the lines to be actually spoken.
  • the prior art does not disclose a technique for synthesizing speech for performance in accordance with the intent of the script 31 .
  • the scripts 31 have various script patterns, and no technology has been disclosed that can synthesize and output speech from the scripts 31 .
  • the script 31 is configured by combining various additional information such as the name of the speaker, the topic, and the lines.
  • the performer who speaks the lines understands the behavior of the speaker he/she is in charge of, and in some cases supplements it with imagination and performs it.
  • the computer system could not analyze additional information such as the introduction of the script 31 with the conventional technology. Therefore, it is necessary for the user to perform setting and confirmation according to the content of the script 31 . Further, in the prior art, the user had to manually prepare data in a special format in order to analyze the script 31 .
  • the output unit 24 extracts from the first script data 30, which is the source of the performance, the dialogue data of the dialogue included in the first script data 30 and the speaker data of the speaker of the dialogue. and outputs the second script data 32 associated with.
  • the information processing apparatus 10 of the present embodiment by processing the first script data 30 by the information processing apparatus 10, the data capable of outputting the performance voice according to the intention of the script 31 is automatically provided. can do. That is, the information processing apparatus 10 of the present embodiment can automatically extract the dialogue data and speaker data included in the script 31 and provide them as the second script data 32 .
  • the information processing apparatus 10 of the present embodiment can provide data that enables the output of performance audio in accordance with the intent of the script 31 .
  • the information processing apparatus 10 of the present embodiment generates the second script data 32 in which the dialogue data and the speaker data are associated with each of the plurality of dialogue data included in the first script data 30 . Therefore, the information processing apparatus 10 can generate the second script data 32 in which the pairs of line data and speaker data are arranged according to the utterance order of the lines appearing in the script 31 . Therefore, in addition to the above effects, the information processing apparatus 10 can provide data capable of speech synthesis in accordance with the order of appearance of the dialogue data included in the second script data 32 .
  • FIG. 10 is an example of a hardware diagram of the information processing device 10 of this embodiment.
  • the information processing device 10 of the present embodiment is connected to a network with a control device such as a CPU 10A, a storage device such as a ROM (Read Only Memory) 10B and a RAM (Random Access Memory) 10C, and a HDD (Hard Disk Drive) 10D. and a bus 10F connecting each unit.
  • a control device such as a CPU 10A
  • a storage device such as a ROM (Read Only Memory) 10B and a RAM (Random Access Memory) 10C
  • HDD Hard Disk Drive
  • a program executed by the information processing apparatus 10 of the present embodiment is preinstalled in the ROM 10B or the like and provided.
  • the program executed by the information processing apparatus 10 of this embodiment is a file in an installable format or an executable format, and can be stored on a CD-ROM (Compact Disk Read Only Memory), a flexible disk (FD), a CD-R (Compact Disk). Recordable), DVD (Digital Versatile Disk), or other computer-readable recording medium, and provided as a computer program product.
  • CD-ROM Compact Disk Read Only Memory
  • FD flexible disk
  • CD-R Compact Disk
  • Recordable DVD
  • DVD Digital Versatile Disk
  • the program executed by the information processing apparatus 10 of this embodiment may be stored on a computer connected to a network such as the Internet, and may be provided by being downloaded via the network. Further, the program executed by the information processing apparatus 10 according to this embodiment may be provided or distributed via a network such as the Internet.
  • a program executed by the information processing apparatus 10 of the present embodiment can cause a computer to function as each part of the information processing apparatus 10 described above.
  • the CPU 10A can read a program from a computer-readable storage medium into the main memory and execute it.
  • the information processing apparatus 10 has been described assuming that it is configured as a single apparatus.
  • the information processing device 10 may be composed of a plurality of devices that are physically separated and communicably connected via a network or the like.
  • the information processing device 10 is assumed to be an information processing device including the acquisition unit 22 and the output unit 24, an information processing device including the second generation unit 26, and an information processing device including the performance audio data generation unit 28. may be configured.
  • the information processing apparatus 10 of the above embodiment may be implemented as a virtual machine that operates on a cloud system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

情報処理装置（１０）は、出力部（２４）を備える。出力部（２４）は、上演の元となる第１台本データから、第１台本データに含まれる台詞の台詞データと台詞の発話者の発話者データとを対応付けた第２台本データを出力する。

Description

情報処理装置、情報処理方法、および情報処理プログラム
　本発明の実施形態は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
　テキストを音声に変換して出力する音声合成技術が知られている。例えば、入力されたテキストから様々な発話者の音声合成音声を作成して出力するシステムが知られている。また、漫画内に描かれた擬音を再生する技術が知られている。
　上演の元となる台本は、実際の発話対象の台詞に加えて、発話者の役名、ト書き、などの様々な情報を含んだ構成とされている。従来技術には、台本の意図に沿った上演用の音声合成を行う技術は開示されていなかった。すなわち、従来では、台本の意図に沿った上演音声の出力が可能なデータが提供されていなかった。
特許第５６３４８５３号公報
　本発明が解決しようとする課題は、台本の意図に沿った上演音声の出力が可能なデータを提供することができる、情報処理装置、情報処理方法、および情報処理プログラムを提供することである。
　実施形態の情報処理装置は、出力部を備える。出力部は、上演の元となる第１台本データから、前記第１台本データに含まれる台詞の台詞データと前記台詞の発話者の発話者データとを対応付けた第２台本データを出力する。
図１は、実施形態の情報処理装置の一例を示す図である。 図２は、台本の一例の模式図である。 図３は、第２台本データのデータ構成の一例の模式図である。 図４は、ＵＩ画面の一例の模式図である。 図５は、第３台本データのデータ構成の一例を示す模式図である。 図６は、上演音声データのデータ構成の一例の模式図である。 図７は、第２台本データの出力処理の流れの一例を表すフローチャートである。 図８は、第３台本データの生成処理の流れの一例を表すフローチャートである。 図９は、上演音声データの生成処理の流れの一例を表すフローチャートである。 図１０は、ハードウェア構成図である。
　以下に添付図面を参照して、情報処理装置、情報処理方法、および情報処理プログラムを詳細に説明する。
　図１は、本実施形態の情報処理装置１０の一例を示す図である。
　情報処理装置１０は、台本の意図に沿った上演音声の出力が可能なデータを生成する情報処理装置である。
　情報処理装置１０は、通信部１２と、ＵＩ（ユーザ・インターフェース）部１４と、記憶部１６と、処理部２０と、を備える。通信部１２、ＵＩ部１４、記憶部１６、および処理部２０は、バス１８を介して通信可能に接続されている。
　通信部１２は、ネットワーク等を介して外部の他の情報処理装置と通信する。ＵＩ部１４は、表示部１４Ａと、入力部１４Ｂと、を含む。表示部１４Ａは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）などのディスプレイや、投影装置などである。入力部１４Ｂは、ユーザの操作を受付ける。入力部１４Ｂは、例えば、デジタルペン、マウス、またはトラックボール等のポインティングデバイスや、キーボード等の入力デバイスである。表示部１４Ａは、各種の情報を表示する。なお、ＵＩ部１４は、表示部１４Ａと入力部１４Ｂとを一体的に備えた、タッチパネルであってもよい。
　記憶部１６は、各種のデータを記憶する。記憶部１６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部１６は、情報処理装置１０の外部に設けられた記憶装置であってもよい。また、記憶部１６は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部１６を、複数の記憶媒体から構成してもよい。
　次に、処理部２０について説明する。処理部２０は、各種の情報処理を実行する。ＵＩ部１４は、取得部２２と、出力部２４と、第２生成部２６と、上演音声データ生成部２８と、を備える。出力部２４は、特定部２４Ａ、解析部２４Ｂ、第１表示制御部２４Ｃ、第１受付部２４Ｄ、補正部２４Ｅ、および第１生成部２４Ｆを備える。第２生成部２６は、第２受付部２６Ａ、リスト生成部２６Ｂ、第２表示制御部２６Ｃ、第３受付部２６Ｄ、および設定部２６Ｅ、を備える。上演音声データ生成部２８は、音声生成部２８Ａ、第３表示制御部２８Ｂ、ラベル受付部２８Ｃ、およびラベル付与部２８Ｄを備える。
　取得部２２、出力部２４、特定部２４Ａ、解析部２４Ｂ、第１表示制御部２４Ｃ、第１受付部２４Ｄ、補正部２４Ｅ、第１生成部２４Ｆ、第２生成部２６、第２受付部２６Ａ、リスト生成部２６Ｂ、第２表示制御部２６Ｃ、第３受付部２６Ｄ、設定部２６Ｅ、上演音声データ生成部２８、音声生成部２８Ａ、第３表示制御部２８Ｂ、ラベル受付部２８Ｃ、および、ラベル付与部２８Ｄは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
　また、上記各部の少なくとも１つは、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。
　取得部２２は、第１台本データを取得する。
　第１台本データとは、上演の元となる台本のデータである。台本とは、上演を目的とされた本であり、紙媒体、電子データ、の何れであってもよい。台本は、脚本および戯曲を含む概念であってもよい。
　図２は、台本３１の一例の模式図である。台本３１には、台詞、台詞の発話者の発話者名、ト書きなどの付加情報、が含まれる。台詞とは、上演対象の演劇や創作物の作中で登場する発話者が発する言葉である。発話者とは、台詞を発話する対象となるユーザである。ト書きとは、台本３１における、台詞および発話者名以外の部分である。ト書きは、例えば、場面の状況、照明、音楽などの効果の指定、発話者の動き、などである。ト書きは、例えば、台詞の間に記載される。
　本実施形態では、台詞を、１人の発話者が１回の発話で発する言葉ごとに扱う。このため、台本３１には、１または複数の台詞が含まれる。本実施形態では、台本３１には、複数の台詞が含まれる形態を一例として説明する。
　台本３１に含まれる台詞、発話者名、およびト書きなどの配置位置は、様々である。図２には、台本３１の紙面内の上段の領域に発話者の配置領域Ａが設けられた形態を示す。図２には、台本３１に、発話者名として、「巧（たくみ）」および「優香（ゆうか）」が含まれる形態を一例として示す。また、図２には、発話者名の配置領域Ｃの下段に、発話者名の発話者の各々の台詞の配置領域Ｂが設けられた形態を示す。また、図２には、台本３１の紙面内の端部であって、紙面の上端からの位置が発話者名および台詞とは異なる位置に、ト書きの配置領域Ｃが設けられた形態を示す。台本３１における、台詞、発話者名、およびト書きなどの配置位置、並びに、フォントの種類やサイズや色などの記載形態は様々である。すなわち、台本３１によって、発話者名および台詞の配置を少なくとも表す台本パターンが異なる。
　図１に戻り説明を続ける。情報処理装置１０の取得部２２は、台本３１が紙媒体である場合には、台本３１をスキャナ等で読み取った電子データである第１台本データ３０を取得する。なお、取得部２２は、記憶部１６に予め記憶された第１台本データ３０を読取ることで、第１台本データ３０を取得してもよい。また、取得部２２は、通信部１２を介して外部の情報処理装置から第１台本データ３０を受信することで、第１台本データ３０を取得してもよい。また、台本３１は、電子データであってもよい。この場合、取得部２２は、電子データである台本３１を読み取ることで、第１台本データ３０を取得すればよい。
　出力部２４は、第１台本データ３０から、第１台本データ３０に含まれる台詞の台詞データと台詞の発話者の発話者データとを対応付けた、第２台本データを出力する。発話者データは、発話者名のデータである。
　本実施形態では、出力部２４は、特定部２４Ａと、解析部２４Ｂと、第１受付部２４Ｄ、第１受付部２４Ｄと、補正部２４Ｅと、第１生成部２４Ｆと、を含む。
　特定部２４Ａは、第１台本データ３０の台本パターンを特定する。台本パターンは、第１台本データ３０の台本３１に含まれる発話者および台詞の配置を少なくとも表す。
　図２を用いて説明したように、台本３１における、台詞、発話者名、およびト書きなどの配置位置、並びに、フォントの種類やサイズや色などの記載形態は、台本３１によって様々である。
　そこで、特定部２４Ａは、取得部２２で取得した第１台本データ３０の台本パターンを特定する。例えば、特定部２４Ａは、互いに異なる複数の台本パターンを予め記憶部１６へ記憶する。特定部２４Ａは、第１台本データ３０に含まれる文字を光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ　ｃｈａｒａｃｔｅｒ　ｒｅｃｏｇｎｉｔｉｏｎ）などにより解析することで、第１台本データ３０に含まれる文字および文字列の配置、並びに、フォントや色などの記載形態、を解析する。そして、特定部２４Ａは、解析した文字および文字列の配置および記載形態に最も類似する台本パターンを、記憶部１６から特定することで、第１台本データ３０の台本パターンを特定する。
　なお、特定部２４Ａは、予め、第１台本データ３０と該第１台本データ３０の台本パターンとの対を複数用意し、これらの複数の対を教師データとして用いて学習モデルを学習してもよい。そして、特定部２４Ａは、取得部２２で取得した第１台本データ３０を該学習モデルへ入力する。そして、特定部２４Ａは、該学習モデルの出力として、該第１台本データ３０の台本パターンを特定してもよい。この学習モデルは、後述する第２学習モデルの一例である。
　解析部２４Ｂは、特定部２４Ａで特定された台本パターンに基づいて、取得部２２で取得した第１台本データ３０に含まれる台詞データおよび発話者データを解析する。例えば、特定部２４Ａが、図２に示す台本３１の台本パターンを特定した場合を想定する。
　この場合、解析部２４Ｂは、第１台本データ３０に含まれる文字の内、特定した台本パターンによって表される発話者名の配置領域Ａに配置された文字を、発話者の発話者データとして解析する。また、解析部２４Ｂは、第１台本データ３０に含まれる文字の内、特定した台本パターンによって表される台詞の配置領域Ｂに配置された文字を、台詞の台詞データとして解析する。
　このとき、解析部２４Ｂは、発話者名の配置領域Ａに配置された発話者の文字に対応する配置領域Ｂに配置された文字を、該発話者の台詞データとして解析すればよい。発話者に対応する配置領域Ｂとは、図２に示す例の場合、台本３１における発話者名の配置領域Ａに配置された発話者の文字に対して、台詞の配置領域Ｂにおける、該発話者の文字と同じ書字方向の同じラインに配置された文字を意味する。書字方向は、文字を書き進める方向である。図２には、書字方向が縦書きである形態を一例として示す。
　これらの処理により、解析部２４Ｂは、第１台本データ３０に含まれる発話者の発話者データ、および、発話者の発話する台詞の台詞データを、台詞データごとに抽出する。上述したように、台詞データは、１人の発話者が１回の発話で発する台詞である。このため、解析部２４Ｂは、第１台本データ３０に含まれる複数の台詞の各々ごとに、台詞データと、該台詞データの台詞を発話する発話者の発話者データと、の対を抽出する。
　なお、解析部２４Ｂは、第１台本データ３０に含まれる発話者データの解析時に、台詞データに基づいて、台詞データの台詞を発話する発話者を推定した、推定結果である発話者データを解析してもよい。例えば、台本３１には、発話者名が記載されていない台詞が含まれる場合がある。また、台本３１中で、発話者名の記載が、一部略称になっている場合や、誤記などにより異なる表記で記載されている場合がある。この場合、解析部２４Ｂは、第１台本データ３０に含まれる台詞データから、該台詞データを発話する発話者を推定することで、発話者データを解析する。
　例えば、解析部２４Ｂは、第１台本データ３０における、発話者名の特定された台詞データの群を解析し、第１台本データ３０に含まれる発話者名ごとに、台詞データの特長を特定する。台詞データの特長は、言い回しなどの特長を表す数値で規定される。そして、解析部２４Ｂは、第１台本データ３０に含まれる台詞データの各々について、特徴が類似する台詞データの群ごとに、同じ発話者の発話者データが対応付けられるように、発話者データを推定すればよい。これらの処理により、解析部２４Ｂは、発話者名の記載の無い台詞データや、発話者名の表記に揺らぎのある台詞データに対して、推定した発話者の発話者データを対応付けることができる。
　また、解析部２４Ｂは、第１台本データ３０に含まれる台詞データごとに、台詞データを識別する識別情報である台詞ＩＤ（ｉｄｅｎｔｉｆｉｅｒ）を付与する。第１台本データ３０に台詞ＩＤが含まれる場合には、解析部２４Ｂは、第１台本データ３０から台詞ＩＤを特定し、台詞データに付与すればよい。第１台本データ３０に台詞ＩＤが含まれない場合には、解析部２４Ｂは、第１台本データ３０に含まれる台詞データの各々に、台詞ＩＤを付与すればよい。
　なお、解析部２４Ｂは、第１台本データ３０に含まれる台詞データの出現順に沿って、昇順に台詞ＩＤを付与することが好ましい。出現順とは、台本３１の書字方向の上流側から下流側に向かう方向に沿った順である。解析部２４Ｂが、台詞データの出現順に沿って台詞ＩＤを付与することで、以下の効果が得られる。例えば、後述する上演音声データを用いた合成音声の出力時に、台本３１に沿った流れで台詞データの合成音声が順次出力されるように、第１台本データ３０を生成することが可能となる。
　第１台本データ３０に含まれる台詞データには、句読点が含まれる場合がある。句読点とは、文字言語において文章の区切りや文意の区切りを示すために付けられる符号である。句読点は、例えば、句点、疑問符、感嘆符、省略符、改行記号、などである。解析部２４Ｂは、第１台本データ３０から抽出した台詞データを、人間の発話として違和感の無い形式に適正化することが好ましい。適正化する、とは、台詞データに含まれる句読点の種類または位置を適正化、または、新たな句読点の挿入、を意味する。例えば、解析部２４Ｂは、第１台本データ３０から抽出した台詞データを、予め記憶した適正化のための辞書データまたは学習モデルを用いて適正化することで、適正化した台詞データを生成すればよい。
　また、解析部２４Ｂは、台詞データの発話時の発話者の感情を推定してもよい。例えば、解析部２４Ｂは、抽出した台詞データ、該台詞データの発話者の発話者データ、および、該台詞に最も近い位置に配置されたト書きのト書きデータなどから、該台詞データの発話時の発話者の感情を推定する。例えば、解析部２４Ｂは、台詞データに含まれる文字列、台詞データを発話する発話者の発話者データ、およびト書きデータから、感情データを出力する、学習モデルを予め学習する。そして、解析部２４Ｂは、第１台本データ３０から抽出した台詞データ、発話者データ、およびト書きデータを該学習モデルへ入力する。解析部２４Ｂは、該学習モデルの出力として得られた感情データを、該台詞データの感情データとして推定すればよい。
　図１に戻り説明を続ける。解析部２４Ｂは、解析結果である、第１台本データ３０に含まれる複数の台詞データと、複数の台詞データの各々に対応する発話者データとを、第１生成部２４Ｆへ出力する。本実施形態では、解析部２４Ｂは、第１台本データ３０に含まれる複数の台詞データと、複数の台詞データの各々の、台詞ＩＤ、発話者データ、および感情データと、を第１生成部２４Ｆへ出力する。
　第１生成部２４Ｆは、解析部２４Ｂで解析された、台詞データと発話者データとを少なくとも対応付けた第２台本データを生成する。
　図３は、第２台本データ３２のデータ構成の一例の模式図である。第２台本データ３２は、台詞ＩＤと、発話者データと、台詞データと、を少なくとも対応付けたデータである。本実施形態では、第２台本データ３２が、台詞ＩＤと、発話者データと、台詞データと、感情データと、を対応付けたデータである形態を一例として説明する。
　図１に戻り説明を続ける。ここで、解析部２４Ｂによる第１台本データ３０の解析中に、解析エラーが生じる場合がある。例えば、第１台本データ３０に解析困難な文字が含まれる場合などがある。また、第１台本データ３０における、特定部２４Ａで特定された台本パターンに当てはまらない領域に、文字が設定されている場合などがある。このような場合、解析部２４Ｂは、正常な解析が困難となる場合がある。
　また、解析部２４Ｂによる第１台本データ３０の解析によって抽出された発話者データや台詞データの解析結果に、誤りが発生する場合がある。
　そこで、解析部２４Ｂは、第１台本データ３０の少なくとも一部を解析した時点で、解析結果を第１表示制御部２４Ｃへ出力する。例えば、解析部２４Ｂは、第１台本データ３０の台本３１の１頁分に相当する領域を解析すると、解析結果を第１表示制御部２４Ｃへ出力する。また、解析部２４Ｂは、解析エラーが発生した場合、解析済の解析結果を第１表示制御部２４Ｃへ出力する。
　第１表示制御部２４Ｃは、解析部２４Ｂから受付けた解析結果を表示部１４Ａへ表示する制御を行う。ユーザは、表示部１４Ａを視認することで、解析部２４Ｂによる解析結果に誤りがないか、違和感がないか、などを確認することができる。違和感や誤りがあると判断した場合、ユーザは、入力部１４Ｂを操作することで、特定部２４Ａで特定された台本パターンの補正指示を入力する。例えば、ユーザは、表示部１４Ａを視認しながら入力部１４Ｂを操作することで、特定部２４Ａで特定された台本パターンにおける、発話者名の配置領域Ａ、台詞の配置領域Ｂ、ト書きの配置領域Ｃなどの位置、大きさ、範囲などの補正指示を入力する。
　補正指示を受付けた補正部２４Ｅは、受付けた補正指示に応じて、特定部２４Ａで特定された台本パターンを補正する。また、補正部２４Ｅは、受付けた補正指示に応じて、第１台本データ３０から台本パターンを出力する学習モデルである第２学習モデルを補正する。
　このため、補正部２４Ｅは、台本３１の第１台本データ３０からより正確に台詞データや発話者データを解析および抽出可能となるように、台本パターンおよび学習モデルの少なくとも一方を補正することができる。
　補正指示は、台詞ＩＤの付与方法、感情データの推定方法、発話者データの推定方法、の補正指示であってもよい。この場合、補正部２４Ｅは、受付けた補正指示に応じて、台詞ＩＤの付与時、感情データの推定時、および発話者データの推定時、の各々のタイミングで用いるアルゴリズムまたは学習モデルを補正すればよい。
　そして、解析部２４Ｂは、補正後の台本パターン、アルゴリズム、および学習モデルの少なくとも１つを用いて、第１台本データ３０を解析する。これらの処理により、解析部２４Ｂは、より高精度に第１台本データ３０を解析することができる。また、第１生成部２４Ｆは、より高精度に、第２台本データ３２を生成することができる。
　なお、出力部２４は、特定部２４Ａ、解析部２４Ｂ、および第１生成部２４Ｆを含まない構成であってもよい。この場合、出力部２４は、第１台本データ３０から第２台本データ３２を出力する学習モデルに、第１台本データ３０を入力すればよい。この学習モデルは、第１学習モデルの一例である。この場合、出力部２４は、複数の第１台本データ３０と、これらの複数の第１台本データ３０の各々の正解データである第２台本データ３２と、の対を教師データとし、第１学習モデルを予め学習する。そして、出力部２４は、取得部２２で取得した第１台本データ３０を、第１学習モデルへ入力した出力結果として、第２台本データ３２を出力してもよい。
　この場合、補正部２４Ｅは、受付けた補正指示に応じて、第１台本データ３０から第２台本データ３２を出力する第１学習モデルを補正すればよい。
　出力部２４は、第２台本データ３２を記憶部１６へ記憶する。図３に示すように、出力部２４から出力される第２台本データ３２は、第１台本データ３０に含まれる発話者データの推定結果と、句読点を適正化された台詞データと、感情データと、台詞ＩＤと、を対応付けたものとなる。
　出力部２４は、取得部２２が新たな第１台本データ３０を取得するごとに、第１台本データ３０から第２台本データ３２を生成し、記憶部１６へ記憶する。このため、記憶部１６には、１または複数の第２台本データ３２が記憶される。
　なお、出力部２４は、台本３１のジャンルまたはカテゴリを表す情報を、第２台本データ３２に更に対応付けて記憶部１６へ記憶してもよい。例えば、出力部２４は、ユーザによる入力部１４Ｂに操作によって入力されたジャンルまたはカテゴリを表す情報を、第２台本データ３２へ対応付けて記憶部１６へ記憶してもよい。
　次に、第２生成部２６について説明する。第２生成部２６は、第２台本データ３２から第３台本データを生成する。第３台本データは、第２台本データ３２に、更に、音声出力のための各種の情報を付加したデータである。第３台本データの詳細は後述する。
　第２生成部２６は、第２受付部２６Ａと、リスト生成部２６Ｂと、第２表示制御部２６Ｃと、第３受付部２６Ｄと、設定部２６Ｅと、を備える。
　第２受付部２６Ａは、編集対象の第２台本データ３２の指定を受付ける。ユーザは、入力部１４Ｂを操作することで、編集対象の第２台本データ３２を指定する。例えば、ユーザは、記憶部１６に記憶されている複数の第２台本データ３２の内、編集対象の１つの第２台本データ３２を指定する。第２受付部２６Ａは、指定された第２台本データ３２の識別情報を受付けることで、編集対象の第２台本データ３２の指定を受付ける。
　また、ユーザは、入力部１４Ｂを操作することで、編集作業時の編集単位の指定を入力する。例えば、ユーザは、入力部１４Ｂを操作することで、発話者データおよび台詞データの何れを編集単位とするかを示す、編集単位の指定を入力する。第２受付部２６Ａは、入力部１４Ｂから編集単位の指定を受付ける。
　リスト生成部２６Ｂは、第２受付部２６Ａで指定を受付けた、編集対象の第２台本データ３２を記憶部１６から読み取る。そして、リスト生成部２６Ｂは、読取った第２台本データ３２に登録されている複数の台詞データを、第２受付部２６Ａで受付けた、指定された編集単位に分類する。例えば、指定された編集単位が発話者データであった場合を想定する。この場合、リスト生成部２６Ｂは、第２台本データ３２に含まれる台詞データを、発話者データごとに分類する。
　第２表示制御部２６Ｃは、第２受付部２６Ａで指定を受付けた編集対象の第２台本データ３２を、リスト生成部２６Ｂで生成された編集単位に分類した、ＵＩ画面を生成する。そして、第２表示制御部２６Ｃは、生成したＵＩ画面を、表示部１４Ａに表示する。
　図４は、ＵＩ画面３４の一例の模式図である。図４には、発話者データである“巧”および“優香”ごとに、各々の発話者データに対応する台詞データの少なくとも一部を含む、ＵＩ画面３４を示す。
　ユーザは、ＵＩ画面３４を視認しながら入力部１４Ｂを操作することで、設定情報を入力する。すなわち、ＵＩ画面３４は、台詞データに対する設定情報の入力を、ユーザから受付けるための入力画面である。
　設定情報とは、音響に関する情報である。具体的には、設定情報は、辞書ＩＤ、辞書ＩＤの合成率、声質情報、を含む。なお、設定情報は、少なくとも辞書ＩＤを含む情報であればよい。辞書ＩＤとは、音声辞書データの辞書識別情報である。辞書識別情報とは、音声辞書データの識別情報である。
　音声辞書データとは、言語特徴量から音響特徴量を導出するための音響モデルである。音声辞書データは、発話者ごとに予め作成されている。言語特徴量とは、発話者の発話する音声のテキストから抽出された、言語の特長量である。例えば、言語特徴量は、前後の音素、発音に関する情報、句末位置、文長、アクセント句長、モーラ長、モーラ位置、アクセント型、品詞、係り受け情報などである。音響特徴量とは、発話者の発話する音声データから抽出された、音声または音響の特徴量である。音響特徴量には、例えば、ＨＭＭ（隠れマルコフモデル（ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌ））音声合成で使われる音響特徴量を用いればよい。例えば、音響特徴量は、音韻や声色を表すメルケプストラム係数、メルＬＰＣ係数、メルＬＳＰ係数、声の高さを表す基本周波数（Ｆ０）、音声の周期・非周期成分の割合を表す非周期性指標（ＢＡＰ）などである。
　本実施形態では、複数の発話者の各々に対応する音声辞書データが予め用意されており、音声辞書データと辞書ＩＤとが対応付けて記憶部１６に予め記憶されているものとする。なお、音声辞書データに対応する発話者は、台本３１に設定されている発話者と一致してもよいし、不一致であってもよい。
　ユーザは、発話者データ、および、発話者データに対応する台詞データを参照しながら入力部１４Ｂを操作することで、発話者データの台詞データに対して、音声辞書データの辞書ＩＤを入力する。このため、ユーザは、台詞データを確認しながら容易に辞書ＩＤを入力することができる。
　また、ユーザは、入力部１４Ｂを操作することで、１つの発話者データに対して、複数の音声辞書データの辞書ＩＤを入力してもよい。この場合、ユーザは、辞書ＩＤごとに合成率を入力する。合成率とは、複数の音声辞書データを合成して合成音声を生成するときの、音声辞書データの混合の比率を表す。
　また、ユーザは、入力部１４Ｂを操作することで、声質情報を更に入力することができる。声質情報とは、発話者データに対応する台詞データの台詞の発話時の、声質を表す情報である。言い換えると、声質情報は、台詞データの合成音声の、声質を表す情報である。声質情報は、例えば、音量、話速、高さ、深さ、などで表される。ユーザは、入力部１４Ｂを操作することで、声質情報を指定することができる。
　上述したように、第２表示制御部２６Ｃは、第２台本データ３２に含まれる台詞データを、リスト生成部２６Ｂで生成された編集単位に分類したＵＩ画面３４を、表示部１４Ａへ表示する。このため、ＵＩ画面３４は、発話者データである“巧”および“優香”ごとに、各々の発話者データに対応する台詞データの少なくとも一部を含む。このため、ユーザは、複数の発話者データの各々に対して、発話者データの発話者が発話する台詞データを参照しながら、所望の設定情報を入力することができる。
　図１に戻り説明を続ける。第３受付部２６Ｄは、入力部１４Ｂから設定情報を受付ける。
　設定部２６Ｅは、第３受付部２６Ｄで受付けた設定情報を、第２台本データ３２に設定することで、第３台本データを生成する。
　図５は、第３台本データ３６のデータ構成の一例を示す模式図である。第３台本データ３６は、台詞ＩＤと、話者データと、発話者データと、台詞データと、感情データと、辞書ＩＤと、合成率と、声質情報と、を対応付けたデータである。設定部２６Ｅは、第３受付部２６Ｄで受付けた発話者データの各々に対応する設定情報を、第２台本データ３２における発話者データの各々に対応付けて登録することで、第３台本データ３６を生成する。なお、第３台本データ３６は、少なくとも、台詞ＩＤと、話者データと、台詞データと、辞書ＩＤと、を対応付けた情報であればよい。
　図１に戻り説明を続ける。このように、第２生成部２６は、ユーザによって入力された、発話者データの発話者の合成音声を生成するための設定情報を、第２台本データ３２の話者データおよび台詞データに対応付けて登録することで、第３台本データ３６を生成する。第２生成部２６は、生成した第３台本データ３６を、記憶部１６へ記憶する。このため、第２生成部２６は、ユーザによる設定情報の入力が行われるごとに、新たに生成した第３台本データ３６を記憶部１６へ記憶する。
　次に、上演音声データ生成部２８について説明する。
　上演音声データ生成部２８は、第３台本データ３６から上演音声データを生成する。
　図６は、上演音声データ３８のデータ構成の一例の模式図である。上演音声データ３８は、第３台本データ３６に含まれる複数の台詞データの各々ごとに、音声合成パラメータおよび合成音声データの少なくとも一方を更に対応付けたデータである。図６には、上演音声データ３８が、音声合成パラメータおよび合成音声データの双方を含む形態を示す。
　すなわち、上演音声データ３８は、複数の台詞音声データ３９を含む。台詞音声データ３９とは、台詞データごとに生成されるデータである。本実施形態では、台詞音声データ３９は、１つの台詞ＩＤと、発話者データと、台詞データと、感情データと、辞書ＩＤと、合成率と、声質情報と、音声合成パラメータと、合成音声データと、を対応付けた情報である。このため、上演音声データ３８は、含まれる台詞データの数と同じ数の、台詞音声データ３９を含む構成である。
　音声合成パラメータとは、対応する辞書ＩＤによって識別される音声辞書データを用いて台詞データの合成音声を生成するためのパラメータである。音声合成パラメータは、具体的には、音声合成モジュールで取り扱う韻律データ（Ｐｒｏｓｏｄｙ）データなどである。なお、音声合成パラメータは、Ｐｒｏｓｏｄｙデータに限定されない。
　合成音声データとは、音声合成パラメータによって生成される合成音声の音声データである。図６には、合成音声データのデータ形式がＷＡＶ（Ｗａｖｅｆｏｒｍ　Ａｕｄｉｏ　Ｆｉｌｅ　Ｆｏｒｍａｔ）ファイル形式である場合を一例として示した。しかし、合成音声データのデータ形式は、ＷＡＶファイル形式に限定されない。
　本実施形態では、上演音声データ生成部２８は、音声生成部２８Ａ、第３表示制御部２８Ｂ、ラベル受付部２８Ｃ、およびラベル付与部２８Ｄを含む。
　音声生成部２８Ａは、上演音声データ３８の生成対象となる１つの第３台本データ３６を読取る。例えば、上演音声データ生成部２８は、新たな第３台本データ３６が記憶部１６に記憶されると、該第３台本データ３６を生成対象の第３台本データ３６として読取る。また、上演音声データ生成部２８は、入力部１４Ｂの操作指示によってユーザによって指定された第３台本データ３６を、上演音声データ３８の生成対象の第３台本データ３６として読取ってもよい。
　音声生成部２８Ａは、読取った第３台本データ３６について、第３台本データ３６に含まれる複数の台詞データの各々ごとに、音声合成パラメータおよび音声データを生成する。
　例えば、音声生成部２８Ａは、複数の台詞ＩＤの各々に対応する台詞データの各々ごとに、以下の処理を実行する。音声生成部２８Ａは、台詞データを、対応する辞書ＩＤによって識別される音声辞書データを対応する合成率で用いることで実現される音声データの、音声合成パラメータを生成する。そして、さらに、音声生成部２８Ａは、生成した音声合成パラメータを、対応する感情データおよび声質情報に応じて補正することで、台詞データに対応するＰｒｏｓｏｄｙデータなどの音声合成パラメータを生成する。
　同様に、音声生成部２８Ａは、複数の台詞ＩＤの各々に対応する台詞データの各々ごとに、以下の処理を実行する。音声生成部２８Ａは、台詞データを、対応する辞書ＩＤによって識別される音声辞書データを対応する合成率で用いることで実現される、合成音声データを生成する。そして、さらに、音声生成部２８Ａは、生成した合成音声データを、対応する感情データおよび声質情報に応じて補正することで、台詞データに対応する合成音声データを生成する。
　なお、上演音声データ生成部２８は、台詞データ、音声辞書データ、合成率、感情データ、および声質情報を入力とし、音声合成パラメータおよび合成音声データを出力する学習モデルを予め学習してもよい。そして、上演音声データ生成部２８は、第３台本データ３６に含まれる台詞データごとに、台詞データ、音声辞書データ、合成率、感情データ、および声質情報を該学習モデルに入力する。上演音声データ生成部２８は、該学習モデルからの出力として、台詞データの各々に対応する、音声合成パラメータおよび合成音声データを生成してもよい。
　第３表示制御部２８Ｂは、音声生成部２８Ａで生成された台詞音声データ３９を表示部１４Ａへ表示する。例えば、表示部１４Ａには、図６に示す上演音声データ３８における、直前に生成された台詞音声データ３９が表示される。
　ユーザは、表示された台詞音声データ３９を参照しながら入力部１４Ｂを操作することで、台詞音声データ３９に対する１または複数のラベルを入力する。
　ラベルとは、台詞音声データ３９に付されるラベルであり、台詞音声データ３９の内容に関するキーワードである。ラベルは、例えば、ハッピー、タイアド、モーニング、ミッドナイト、などのワードである。ユーザは、１つの台詞音声データ３９に対して、１または複数のラベルを付与することが可能である。
　ラベル受付部２８Ｃは、ユーザによって入力されたラベル、および該ラベルを付与する対象の台詞音声データ３９に含まれる台詞ＩＤ、を入力部１４Ｂから受付ける。ラベル付与部２８Ｄは、ラベル受付部２８Ｃで受付けたラベルを、受付けた台詞ＩＤに対応付けて、該台詞音声データ３９へ登録する。
　このため、上演音声データ３８には、台詞音声データ３９ごと、すなわち、話者データ、台詞データ、または、話者データおよび台詞データの対ごとに、１または複数のラベルが付与された状態となる。
　台詞音声データ３９にラベルが付与されることで、ラベルを検索キーとした台詞音声データ３９の検索が可能となる。例えば、ユーザが、作成済の音声合成パラメータまたは合成音声データを、類似する他の台詞データに付与することを所望する場合がある。このような場合、台詞データを検索キーとして台詞音声データ３９を検索すると、同様な台詞データが複数含まれる場合、適切な台詞音声データ３９を検索することが困難となる場合がある。一方、上演音声データ３８の生成時にラベルを付与すると、ラベルを検索キーとした台詞音声データ３９の検索が可能となる。このため、すでに作成された音声合成パラメータまたは合成音声データを、容易かつ適切に再利用可能とすることができる。また、編集時間の短縮を図ることができる。
　なお、ラベル付与部２８Ｄは、台詞音声データ３９に含まれる台詞データに含まれるテキストを解析することで、台詞データを表すラベルを自動生成し、台詞音声データ３９に付与してもよい。
　上演音声データ生成部２８の、音声生成部２８Ａ、第３表示制御部２８Ｂ、ラベル受付部２８Ｃ、およびラベル付与部２８Ｄは、第３台本データ３６に含まれる台詞データの各々ごとに、上記処理を実行する。このため、上演音声データ生成部２８は、第３台本データ３６に含まれる台詞データの各々ごとに、音声合成パラメータおよび合成音声データの少なくとも一方と、ラベルと、を対応付けた台詞音声データ３９を順次記憶部１６へ記憶する。そして、上演音声データ生成部２８は、第３台本データ３６に含まれる複数の台詞データの各々について、台詞音声データ３９を生成することで、上演音声データ３８を生成する。
　図６に示すように、上演音声データ３８は、台詞データごとに、話者データと、音声合成パラメータおよび合成音声データの少なくとも一方と、を対応付けたデータである。このため、上演音声データ３８を、合成音声を出力する公知の合成音声装置へ入力することで、容易に台本３１の意図に沿った上演音声の出力が可能となる。
　例えば、合成音声装置は、上演音声データ３８における台詞データの合成音声データを、上演音声データ３８の台詞ＩＤの配列に沿って順次出力する。このため、合成音声装置は、上演音声データ３８を用いることで、台本３１の流れに沿った台詞のやり取りを表す合成音声を、順次、容易に出力することができる。なお、合成音声装置による上演音声データ３８を用いた上演形態は限定されない。例えば、上演音声データ３８は、ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）映画、アニメーション、音声配信、耳で聞く読書サービス（Ａｕｄｉｂｌｅ）などを提供する合成音声装置に適用可能である。
　次に、本実施形態の情報処理装置１０で実行する情報処理を説明する。
　図７は、第２台本データ３２の出力処理の流れの一例を表すフローチャートである。
　取得部２２が、第１台本データ３０を取得する（ステップＳ１００）。特定部２４Ａは、ステップＳ１００で取得した第１台本データ３０の台本パターンを特定する（ステップＳ１０２）。
　解析部２４Ｂは、ステップＳ１０２で特定された台本パターンに基づいて、ステップＳ１００で取得した第１台本データ３０に含まれる台詞データおよび発話者データを解析する（ステップＳ１０４）。例えば、解析部２４Ｂは、第１台本データ３０の台本３１の１頁分を解析する。
　次に、第１表示制御部２４Ｃは、ステップＳ１０４の解析結果を表示部１４Ａへ表示する（ステップＳ１０６）。ユーザは、表示部１４Ａを視認することで、解析部２４Ｂによる解析結果に誤りがないか、違和感がないか、などを確認する。違和感や誤りがあると判断した場合、ユーザは、入力部１４Ｂを操作することで、特定部２４Ａで特定された台本パターンの補正指示を入力する。
　補正部２４Ｅは、入力部１４Ｂから補正指示を受付けたか否かを判断する（ステップＳ１０８）。補正指示を受付けた場合、補正部２４Ｅは、台本パターン、学習モデル、および、解析に用いるアルゴリズムの少なくとも一つを補正する（ステップＳ１１０）。そして、上記ステップＳ１０４へ戻る。
　一方、補正無を示す指示信号を受付けた場合（ステップＳ１０８：Ｎｏ）、ステップＳ１１２へ進む。
　ステップＳ１１２では、解析部２４Ｂは、第１台本データ３０の全体を解析する（ステップＳ１１２）。詳細には、補正無の場合には、解析部２４Ｂは、補正無の台本パターン、アルゴリズム、および学習モデルの少なくとも１つを用いて、第１台本データ３０の全体を解析する。補正有の場合には、解析部２４Ｂは、ステップＳ１１０の補正後の台本パターン、アルゴリズム、および学習モデルの少なくとも１つを用いて、第１台本データ３０の全体を解析する。
　第１生成部２４Ｆは、ステップＳ１０４～ステップＳ１１２の処理によって解析部２４Ｂで解析された、台詞データと発話者データとを少なくとも対応付けた第２台本データ３２を生成する（ステップＳ１１４）。そして、第１生成部２４Ｆは、生成した第２台本データ３２を記憶部１６へ記憶する（ステップＳ１１６）。そして、本ルーチンを終了する。
　次に、第３台本データ３６の生成の流れを説明する。
　図８は、第３台本データ３６の生成処理の流れの一例を表すフローチャートである。
　第２受付部２６Ａは、編集対象の第２台本データ３２の指定を受付ける（ステップＳ２００）。ユーザは、入力部１４Ｂを操作することで、編集対象の第２台本データ３２を指定する。第２受付部２６Ａは、指定された第２台本データ３２の識別情報を受付けることで、編集対象の第２台本データ３２の指定を受付ける。
　また、第２受付部２６Ａは、編集作業時の編集単位の指定を受付ける（ステップＳ２０２）。例えば、ユーザは、入力部１４Ｂを操作することで、発話者データおよび台詞データの何れを編集単位とするかを示す、編集単位の指定を入力する。第２受付部２６Ａは、入力部１４Ｂから編集単位の指定を受付ける。
　リスト生成部２６Ｂは、リストを生成する（ステップＳ２０４）。リスト生成部２６Ｂは、ステップＳ２００で指定を受付けた第２台本データ３２に登録されている複数の台詞データを、ステップＳ２０２で指定を受付けた編集単位に分類することで、リストを生成する。
　第２表示制御部２６Ｃは、ＵＩ画面３４を表示部１４Ａに表示する（ステップＳ２０６）。第２表示制御部２６Ｃは、ステップＳ２００で指定を受付けた第２台本データ３２を、ステップＳ２０４で生成された編集単位に分類したリスト形式で表すＵＩ画面３４を生成し、表示部１４Ａに表示する。ユーザは、ＵＩ画面３４を視認しながら入力部１４Ｂを操作することで、設定情報を入力する。
　第３受付部２６Ｄは、入力部１４Ｂから設定情報を受付ける（ステップＳ２０８）。
　設定部２６Ｅは、ステップＳ２０８で受付けた設定情報を、ステップＳ２００で指定を受付けた第２台本データ３２に設定することで、第３台本データ３６を生成する（ステップＳ２１０）。そして、設定部２６Ｅは、生成した第３台本データ３６を記憶部１６へ記憶する（ステップＳ２１２）。そして、本ルーチンを終了する。
　次に、上演音声データ３８の生成の流れを説明する。
　図９は、上演音声データ３８の生成処理の流れの一例を表すフローチャートである。
　上演音声データ生成部２８は、上演音声データ３８の生成対象となる１つの第３台本データ３６を読取る（ステップＳ３００）。
　そして、上演音声データ生成部２８は、複数の台詞ＩＤの各々に対応する台詞データの各々ごとに、ステップＳ３０２～ステップＳ３１４の処理を実行する。
　詳細には、音声生成部２８Ａは、音声合成パラメータを生成する（ステップＳ３０２）。音声生成部２８Ａは、台詞ＩＤに対応する台詞データを、対応する辞書ＩＤによって識別される音声辞書データを対応する合成率で用いることで実現される音声データの、音声合成パラメータを生成する。そして、さらに、音声生成部２８Ａは、生成した音声合成パラメータを、対応する感情データおよび声質情報に応じて補正することで、台詞データに対応するＰｒｏｓｏｄｙデータなどの音声合成パラメータを生成する。
　また、音声生成部２８Ａは、合成音声データを生成する（ステップＳ３０４）。音声生成部２８Ａは、台詞データを、対応する辞書ＩＤによって識別される音声辞書データを対応する合成率で用いることで実現される、合成音声データを生成する。
　そして、音声生成部２８Ａは、台詞ＩＤと、台詞データと、ステップＳ３０２で生成した音声合成パラメータと、ステップＳ３０４で生成した合成音声データと、を少なくとも対応付けた台詞音声データ３９を、記憶部１６へ登録する（ステップＳ３０６）。
　第３表示制御部２８Ｂは、ステップＳ３０６で生成された台詞音声データ３９を表示部１４Ａへ表示する。例えば、表示部１４Ａには、図６に示す上演音声データ３８における、１つの台詞音声データ３９が表示される。ユーザは、表示された台詞音声データ３９を参照しながら入力部１４Ｂを操作することで、台詞音声データ３９に対する１または複数のラベルを入力する。
　ラベル受付部２８Ｃは、ユーザによって入力されたラベル、および該ラベルを付与する対象の台詞音声データ３９に含まれる台詞ＩＤ、を入力部１４Ｂから受付ける（ステップＳ３１０）。ラベル付与部２８Ｄは、ステップＳ３１０で受付けたラベルを、該台詞音声データ３９へ付与する（ステップＳ３１２）。詳細には、ラベル付与部２８Ｄは、台詞音声データ３９における受付けた台詞ＩＤに対応付けて、受付けたラベルを該台詞音声データ３９へ登録する。
　ラベル付与部２８Ｄは、ラベルを付与された台詞音声データ３９を、記憶部１６へ記憶する（ステップＳ３１４）。すなわち、ラベル付与部２８Ｄは、ステップＳ３０６で登録した台詞音声データ３９へ、更にラベルを付与することで、１つの台詞ＩＤに対応する台詞音声データ３９を記憶部１６へ記憶する。
　上演音声データ生成部２８は、ステップＳ３００で読み取った第３台本データ３６に含まれる複数の台詞データの各々ごとに、ステップＳ３０２～ステップＳ３１４の処理を繰り返す。これらの処理により、上演音声データ生成部２８は、第３台本データ３６に含まれる台詞データの各々ごとの台詞音声データ３９の群からなる、上演音声データ３８を生成することができる。そして、本ルーチンを終了する。
　以上説明したように、本実施形態の情報処理装置１０は、出力部２４を備える。出力部２４は、上演の元となる第１台本データ３０から、第１台本データ３０に含まれる台詞の台詞データと台詞の発話者の発話者データとを対応付けた第２台本データ３２を出力する。
　台本３１は、実際の発話対象の台詞に加えて、発話者名、ト書き、などの様々な情報を含んだ構成とされている。従来技術では、台本３１の意図に沿った上演用の音声合成を行う技術は開示されていなかった。具体的には、台本３１の台本パターンは様々であり、台本３１から音声を合成して出力可能な技術は開示されていなかった。
　例えば、一般的な芝居の場合、台本３１は、発話者名、ト書き、台詞、などの様々な付加情報を組み合わせて構成される。台詞を発話する演者は、自分の担当する発話者のふるまいを理解し、場合によっては想像による補完を行い、上演する。
　音声合成技術で芝居の実演などの上演を実現しようとする場合、従来技術では、台本３１のト書きなどの付加情報などをコンピュータシステムが解析できなかった。このため、ユーザが台本３１の内容に応じて設定および確認を行う作業が必要であった。また、従来技術では、台本３１を解析するために特別なフォーマットのデータをユーザが手作業で用意する必要があった。
　一方、本実施形態の情報処理装置１０では、出力部２４が、上演の元となる第１台本データ３０から、第１台本データ３０に含まれる台詞の台詞データと台詞の発話者の発話者データとを対応付けた第２台本データ３２を出力する。
　このため、本実施形態の情報処理装置１０では、第１台本データ３０を情報処理装置１０で処理することで、自動的に、台本３１の意図に沿った上演音声の出力が可能なデータを提供することができる。すなわち、本実施形態の情報処理装置１０は、台本３１に含まれる台詞データおよび発話者データを自動的に抽出して、第２台本データ３２として提供することができる。
　従って、本実施形態の情報処理装置１０は、台本３１の意図に沿った上演音声の出力が可能なデータを提供することができる。
　また、本実施形態の情報処理装置１０では、第１台本データ３０に含まれる複数の台詞データの各々ごとに、台詞データと発話者データとを対応付けた第２台本データ３２を生成する。このため、情報処理装置１０では、台本３１に出現する台詞の発言順に沿って、台詞データと発話者データとの対を配列した第２台本データ３２を生成することができる。よって、情報処理装置１０は、上記効果に加えて、第２台本データ３２に含まれる台詞データの出現順に沿った音声合成が可能なデータを提供することができる。
　次に、本実施形態の情報処理装置１０のハードウェア構成を説明する。
　図１０は、本実施形態の情報処理装置１０のハードウェア図の一例である。
　本実施形態の情報処理装置１０は、ＣＰＵ１０Ａなどの制御装置と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０ＢやＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０Ｃなどの記憶装置と、ＨＤＤ（ハードディスクドライブ）１０Ｄと、ネットワークに接続して通信を行うＩ／Ｆ１０Ｅと、各部を接続するバス１０Ｆと、を備える。
　本実施形態の情報処理装置１０で実行されるプログラムは、ＲＯＭ１０Ｂ等に予め組み込まれて提供される。
　本実施形態の情報処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
　さらに、本実施形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる情報処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
　本実施形態の情報処理装置１０で実行されるプログラムは、コンピュータを上述した情報処理装置１０の各部として機能させうる。このコンピュータは、ＣＰＵ１０Ａがコンピュータで読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
　なお、上記実施形態では、情報処理装置１０が、単体の装置として構成されていることを想定して説明した。しかし、情報処理装置１０は、物理的に分離されてネットワークなどを介して通信可能に接続された複数の装置により構成されていてもよい。
　例えば、情報処理装置１０を、取得部２２および出力部２４を備えた情報処理装置、第２生成部２６を備えた情報処理装置、および、上演音声データ生成部２８を備えた情報処理装置、として構成してもよい。
　また、上記実施形態の情報処理装置１０は、クラウドシステム上で動作する仮想マシンとして実現されていてもよい。
　なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
１０　情報処理装置
２４　出力部
２４Ａ　特定部
２４Ｂ　解析部
２４Ｄ　第１受付部
２４Ｅ　補正部
２４Ｆ　第１生成部
２６　第２生成部
２８　上演音声データ生成部

Claims (15)

  1. 　上演の元となる第１台本データから、前記第１台本データに含まれる台詞の台詞データと前記台詞の発話者の発話者データとを対応付けた第２台本データを出力する出力部、
    　を備える情報処理装置。
  2. 　前記出力部は、
    　前記台詞データに基づいて、前記台詞データと、前記台詞を発話する前記発話者の推定結果である前記発話者データと、を対応付けた前記第２台本データを出力する、
    　請求項１に記載の情報処理装置。
  3. 　前記出力部は、
    　前記台詞に含まれる句読点を適正化した前記台詞データと、前記発話者データと、を対応付けた前記第２台本データを出力する、
    　請求項１または請求項２に記載の情報処理装置。
  4. 　前記出力部は、
    　前記台詞データの発話時の前記発話者の感情を推定し、推定した感情の感情データを更に対応付けた前記第１台本データを出力する、
    　請求項１～請求項３の何れか１項に記載の情報処理装置。
  5. 　前記出力部は、
    　前記台詞データごとに前記台詞データの台詞識別情報を更に対応付けた、前記第１台本データを出力する、
    　請求項１～請求項４の何れか１項に記載の情報処理装置。
  6. 　前記出力部は、
    　前記第１台本データを第１学習モデルに入力した出力結果である前記第２台本データを出力する、
    　請求項１～請求項５の何れか１項に記載の情報処理装置。
  7. 　前記出力部は、
    　前記第１台本データに含まれる前記発話者および前記台詞の配置を少なくとも表す台本パターンを特定する特定部と、
    　前記台本パターンに基づいて、前記第１台本データに含まれる前記台詞データおよび前記発話者データを解析する解析部と、
    　解析された前記台詞データと前記発話者データとを少なくとも対応付けた前記第２台本データを生成する第１生成部と、
    　を有する、
    　請求項１～請求項５の何れか１項に記載の情報処理装置。
  8. 　前記特定部は、
    　前記第１台本データを第２学習モデルに入力した出力結果として、前記第１台本データの前記台本パターンを特定する、
    　請求項７に記載の情報処理装置。
  9. 　前記台本パターンの補正指示を受け付ける受付部と、
    　前記補正指示に応じて前記台本パターンを補正する補正部と、
    　を備える請求項７または請求項８に記載の情報処理装置。
  10. 　前記第２台本データに含まれる前記台詞データに対応する、音声辞書データの辞書識別情報を含む設定情報を受け付ける受付部と、
    　受け付けた設定情報を、前記第２台本データにおける対応する前記台詞データに対応付けた、第３台本データを生成する第２生成部と、
    　を備える請求項１～請求項９の何れか１項に記載の情報処理装置。
  11. 　前記受付部は、
    　前記台詞データの前記台詞の発話時の声質情報、を更に含む前記設定情報を受け付ける、
    　請求項１０に記載の情報処理装置。
  12. 　前記第３台本データに含まれる前記台詞データに、対応する前記辞書識別情報によって識別される前記音声辞書データを用いて前記台詞データの合成音声を生成するための音声合成パラメータおよび前記合成音声の合成音声データの少なくとも一方を対応付けた台詞音声データを含む、上演音声データを生成する上演音声データ生成部、
    　を備える、請求項１０または請求項１１に記載の情報処理装置。
  13. 　前記台詞音声データに対する１または複数のラベルを付与するラベル付与部、
    　を備える、請求項１２に記載の情報処理装置。
  14. 　コンピュータによって実行される情報処理方法であって、
    　上演の元となる第１台本データから、前記第１台本データに含まれる台詞の台詞データと前記台詞の発話者の発話者データとを対応付けた第２台本データを出力するステップを含む情報処理方法。
  15. 　上演の元となる第１台本データから、前記第１台本データに含まれる台詞の台詞データと前記台詞の発話者の発話者データとを対応付けた第２台本データを出力するステップを、コンピュータに実行させるための情報処理プログラム。
PCT/JP2022/002004 2021-03-18 2022-01-20 情報処理装置、情報処理方法、および情報処理プログラム WO2022196087A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280022259.9A CN117043741A (zh) 2021-03-18 2022-01-20 信息处理装置、信息处理方法和信息处理程序
US18/467,762 US20240005906A1 (en) 2021-03-18 2023-09-15 Information processing device, information processing method, and information processing computer program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-045181 2021-03-18
JP2021045181A JP2022144261A (ja) 2021-03-18 2021-03-18 情報処理装置、情報処理方法、および情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/467,762 Continuation US20240005906A1 (en) 2021-03-18 2023-09-15 Information processing device, information processing method, and information processing computer program product

Publications (1)

Publication Number Publication Date
WO2022196087A1 true WO2022196087A1 (ja) 2022-09-22

Family

ID=83320192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002004 WO2022196087A1 (ja) 2021-03-18 2022-01-20 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (4)

Country Link
US (1) US20240005906A1 (ja)
JP (1) JP2022144261A (ja)
CN (1) CN117043741A (ja)
WO (1) WO2022196087A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202362A (ja) * 2000-01-20 2001-07-27 Minolta Co Ltd 文字編集処理装置
JP2002026840A (ja) * 2000-07-04 2002-01-25 Ikuo Kumon 同時解説放送装置
JP2011244177A (ja) * 2010-05-18 2011-12-01 Internet Research Institute Inc コンテンツ変換システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202362A (ja) * 2000-01-20 2001-07-27 Minolta Co Ltd 文字編集処理装置
JP2002026840A (ja) * 2000-07-04 2002-01-25 Ikuo Kumon 同時解説放送装置
JP2011244177A (ja) * 2010-05-18 2011-12-01 Internet Research Institute Inc コンテンツ変換システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAYASHI, BACHELDER S, NAKAJIMA M, NIGORIKAWA T: "System Development Kit of T2V in the Unity.", ITE TECHNICAL REPORT, vol. 38, no. 16, 10 March 2014 (2014-03-10), XP055968441 *

Also Published As

Publication number Publication date
CN117043741A (zh) 2023-11-10
US20240005906A1 (en) 2024-01-04
JP2022144261A (ja) 2022-10-03

Similar Documents

Publication Publication Date Title
US9424833B2 (en) Method and apparatus for providing speech output for speech-enabled applications
US6446041B1 (en) Method and system for providing audio playback of a multi-source document
US8825486B2 (en) Method and apparatus for generating synthetic speech with contrastive stress
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
US7668718B2 (en) Synchronized pattern recognition source data processed by manual or automatic means for creation of shared speaker-dependent speech user profile
US7881928B2 (en) Enhanced linguistic transformation
US6801897B2 (en) Method of providing concise forms of natural commands
US7010489B1 (en) Method for guiding text-to-speech output timing using speech recognition markers
US20070239455A1 (en) Method and system for managing pronunciation dictionaries in a speech application
US8914291B2 (en) Method and apparatus for generating synthetic speech with contrastive stress
JP2008046538A (ja) テキスト音声合成を支援するシステム
US8275614B2 (en) Support device, program and support method
JP2010169973A (ja) 外国語学習支援システム、及びプログラム
JP5334716B2 (ja) 文字情報提示制御装置及びプログラム
WO2022196087A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2003162524A (ja) 言語処理装置
JP2001117922A (ja) 翻訳装置および翻訳方法、並びに記録媒体
JP2001117583A (ja) 音声認識装置および音声認識方法、並びに記録媒体
JP3414326B2 (ja) 音声合成用辞書登録装置及び方法
JP2001188556A (ja) 音声認識方法及び装置
JP3279261B2 (ja) 定型文コーパス作成装置、方法及び記録媒体
JP2004145014A (ja) 自動音声応答装置及び自動音声応答方法
Polish Mixed distance measures for optimizing concatenative vocabularies for speech synthesis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770849

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280022259.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770849

Country of ref document: EP

Kind code of ref document: A1