WO2021002137A1 - 発話解析装置、発話解析方法及びプログラム - Google Patents

発話解析装置、発話解析方法及びプログラム Download PDF

Info

Publication number
WO2021002137A1
WO2021002137A1 PCT/JP2020/021811 JP2020021811W WO2021002137A1 WO 2021002137 A1 WO2021002137 A1 WO 2021002137A1 JP 2020021811 W JP2020021811 W JP 2020021811W WO 2021002137 A1 WO2021002137 A1 WO 2021002137A1
Authority
WO
WIPO (PCT)
Prior art keywords
utterance
data
category
likelihood
control unit
Prior art date
Application number
PCT/JP2020/021811
Other languages
English (en)
French (fr)
Inventor
夏樹 佐伯
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021529930A priority Critical patent/JP7407190B2/ja
Priority to CN202080046853.2A priority patent/CN114026557A/zh
Publication of WO2021002137A1 publication Critical patent/WO2021002137A1/ja
Priority to US17/554,248 priority patent/US12094464B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • This disclosure relates to an utterance analysis device, an utterance analysis method, and a program that analyze a topic in a speaker's utterance and provide information according to the topic.
  • Patent Document 1 describes a system in which the content of a discourse referring to a talk script by an operator such as a call center is converted into text by voice recognition processing, and information on the frequency of use of the talk script is output.
  • the technique described in Patent Document 1 can solve a problem that the quality of the response record varies depending on the skill of the operator, and can automatically create a response record that ensures unifiedness and conciseness.
  • the present disclosure provides an utterance analysis device, an utterance analysis method, and a program capable of analyzing a topic in the utterance of a speaker and providing information according to the topic.
  • the utterance analysis device of the present disclosure includes an acquisition unit that acquires utterance data of the speaker in chronological order, and a plurality of first values that specify the possibility that the utterance data acquired by the acquisition unit corresponds to each category.
  • the control unit includes a control unit that analyzes the contents of the utterance data using the likelihood of, and a display processing unit that displays display data including related information related to the utterance data category according to the control by the control unit. , Priority is given to the display processing unit from the storage unit that stores a plurality of related information related to each category in a plurality of categories by using a plurality of first likelihoods each time the speech data is acquired in chronological order. And select the related information to be displayed in order.
  • the utterance analysis device According to the utterance analysis device, the utterance analysis method, and the program of the present disclosure, it is possible to provide information according to the topic in the utterance of the speaker.
  • the utterance analysis device provides information according to the topic in the utterance of the speaker during a certain period. Specifically, the utterance analysis device can acquire the utterance of the speaker, identify the content of the utterance, and provide information corresponding to the topic.
  • the utterance analysis device provides information necessary when a plurality of speakers are having a conversation.
  • the utterance analysis device provides the first speaker such as the questioner or the counselor with the information used for the answer to the second speaker who is the respondent.
  • the first speaker is the vehicle crew
  • the second speaker is the operator who responds to inquiries from the crew.
  • the first speaker and the second speaker shall have a conversation using a communication line such as a telephone.
  • a communication line such as a telephone
  • the operator may respond by the method specified in the information such as the manual.
  • the utterance analysis device acquires and analyzes the inquiries from the crew and the utterances of the operator's answers to the inquiries via the terminals used by both of them, and identifies the category of the utterance topic.
  • the utterance analysis device selects a manual associated with this topic category from a plurality of pieces of information as a manual for guiding an answer to an inquiry from a crew member, and provides the operator with the selected manual.
  • "utterance” shall be the act of speaking by the speaker and the voice generated by speaking.
  • the "utterance data” is assumed to be voice data generated by the speaker speaking.
  • the “utterance data” may be text data in which the voice data generated by the speaker speaking is converted into text by voice recognition.
  • the “utterance data” may be data including these "voice data” and "text data”.
  • the “topic” is explained as the content of the utterance of the speaker. Further, the “topic category” or “category” will be described as a classification that identifies the topic of the speaker. Although a specific example will be described later, the utterance analysis device 1 specifies which category the utterance topic of the speaker is among a plurality of preset topic categories.
  • “Likelihood” is the likelihood used in the likelihood function as a numerical value representing the likelihood. This likelihood is used as a numerical value indicating the likelihood that the target utterance corresponds to each topic category.
  • the utterance analysis device 1 includes, for example, a control unit 11, a storage unit 12, an input unit 13, an output unit 14, and a communication unit 15, and these are connected by a bus 16. It is an information processing device.
  • the control unit 11 is a controller that controls the entire utterance analysis device 1.
  • the control unit 11 realizes processing as the acquisition unit 111, the calculation unit 112, the analysis unit 113, the generation unit 114, and the display processing unit 115 by reading and executing the program P stored in the storage unit 12. .
  • the control unit 11 is not limited to one that realizes a predetermined function by the cooperation of hardware and software, and may be a hardware circuit specially designed to realize a predetermined function. That is, the control unit 11 can be realized by various processors such as a CPU, MPU, GPU, FPGA, DSP, and ASIC.
  • the storage unit 12 is a storage medium for storing various information.
  • the storage unit 12 is realized by, for example, a RAM, a ROM, a flash memory, an SSD (Solid State Device), a hard disk, another storage device, or a combination thereof as appropriate.
  • the storage unit 12 stores information used in the identification information, various information acquired for assigning the identification information, and the like.
  • the storage unit 12 stores the utterance data 121, the manual data 122, and the program P.
  • the input unit 13 is an input means such as an operation button, a keyboard, a mouse, a touch panel, and a microphone used for operation and data input.
  • the output unit 14 is an output means such as a display or a speaker used for outputting processing results and data.
  • the utterance analysis device 1 acquires utterance data with the microphone which is the input unit 13, generates visualization data from the utterance data acquired by the control unit 11, and outputs the obtained visualization data to the display or the like which is the output unit 14. To do.
  • the communication unit 15 is an interface circuit (module) for enabling data communication with an external device (not shown).
  • the utterance analysis device 1 may be realized by one computer or by a combination of a plurality of computers connected via a network. Further, for example, all or a part of the data stored in the storage unit 12 is stored in an external storage medium connected via a network, and the speech analysis device 1 uses the data stored in the external storage medium. It may be configured to do so. Specifically, the utterance data 121 and the manual data 122 may be stored in an external storage medium.
  • the utterance analysis device 1 is installed so as to be able to communicate with the terminal used by the crew and the terminal used by the operator, and is configured to be able to acquire the utterances of the crew and the operator.
  • the utterance analysis device 1 may be installed so as to be able to communicate with the terminal used by the crew, and may be the terminal itself used by the operator, and may be configured to be able to acquire the utterances of the crew and the operator.
  • the acquisition unit 111 acquires the utterance data of the speaker via the communication unit, for example, when the speaker speaks. In addition, the acquisition unit 111 acquires the acquired utterance data of the speaker in chronological order. Further, the acquisition unit 111 numbers the acquired utterance data in the order of time series, and stores the acquired utterance data in the storage unit 12 as the utterance data 121.
  • the calculation unit 112 obtains the likelihood, which is a value that specifies the possibility that the topic of each utterance data 121 corresponds to each predetermined category. Further, the calculation unit 112 stores the likelihood of each category obtained for each utterance data 121 in association with the utterance data 121. In the following, the "likelihood" for each category will be described as "category likelihood" as needed.
  • the utterance data 121 can include text data obtained by converting the voice data into text by voice recognition processing, together with the voice data or instead of the voice data.
  • the voice recognition process may be executed in the utterance analysis device 1 or may be executed in an external device.
  • the utterance data 121 obtains the "number” which is the identification information of each utterance data 121, the "text data” generated from the voice data in this period, and the utterance data in this period. It is the data associated with the "category likelihood" of each category.
  • the utterance data 121 has the topic categories of "buzzer”, “overhead line trouble”, “suddenly ill person”, and “earthquake occurrence”.
  • “Buzzer” is a category of topics when the buzzer sounds.
  • “Overhead line trouble” is a category of topics when an overhead line trouble occurs.
  • “ suddenly ill” is a category of topics in the event of a sudden illness.
  • “Earthquake occurrence” is a category of topics when an earthquake occurs.
  • FIG. 3 is an example of a graph showing the category likelihood obtained for a plurality of topic categories, which are preset topics, with respect to the plurality of utterance data 121 in the calculation unit 112.
  • the calculation unit 112 can obtain each category likelihood using a pre-learned classification model. Specifically, the classification class corresponds to the topic category described here.
  • the horizontal axis is the “number” which is the identification information of the utterance data 121, and indicates the time series of 122 of the utterance data.
  • the vertical axis is the "category likelihood" obtained by the calculation unit 112.
  • the category likelihood shown in FIG. 3 is an example of the category likelihood obtained for each category of "buzzer”, “overhead line trouble”, “suddenly ill person”, and "earthquake occurrence”.
  • the next analysis unit 113 can specify the categories in a wider range than the classification of the categories for each utterance data 121, and make it easier to grasp the category of the topic.
  • the analysis unit 113 analyzes the topic category using the category likelihood obtained by the calculation unit 112.
  • the analysis unit 113 specifies the topic category of the time point t
  • the analysis unit 113 uses the category likelihoods of the plurality of utterance data 121 of the analysis target period T immediately before the time point t to utter the utterance of the analysis target period T.
  • the second likelihood of identifying the possibility of falling into a predetermined category is obtained, and the topic category of the analysis target period T is specified.
  • the "second likelihood" will be described as the "integrated likelihood" as needed.
  • the analysis target period T is an example of a period corresponding to the number of utterance data 121, 50.
  • the category likelihood of the utterance data 121 of the numbers "40" to "89” corresponding to the analysis target period T is used.
  • the analysis unit 113 sets a target range for each category, and obtains an integrated likelihood for each category obtained for each utterance data 121 included in the target range. Further, the analysis unit 113 can specify the category having the largest value among the integrated likelihoods obtained for each category as the category of the topic at the time of a certain utterance number.
  • the analysis unit 113 can obtain the integrated likelihood by using the "freshness weight value w1" set according to the freshness of the topic.
  • the freshness weight value w1 sets the weight of the category likelihood of the new utterance data 121 (“w11” in FIG. 4A) with reference to the end t at the end of the analysis target period T. It is a value larger than the weight of the category likelihood of the old utterance data 121 (“w12” in FIG. 4A).
  • newer utterances are likely to be in the topic category for that period, or topics are likely to be transitioning, and older utterances are likely to be in the topic category for that period. Low.
  • the accuracy of specifying the topic can be improved by using the freshness weight value w1 to identify the topic in the analysis target period T. Specifically, if "5 minutes" is set as the analysis target period T, the category likelihood specified from the utterance data 121 within 1 minute from the end of the analysis target period T is the analysis target period T. The weight is set larger than the category likelihood specified from the utterance data 121 4 minutes or more before the end of.
  • the analysis unit 113 can obtain the integrated likelihood by using the "frequency weight value w2" set according to the frequency of the topic.
  • the frequency weight value w2 is the weight of the category likelihood of the category with the highest frequency of occurrence, as shown in FIG. 4B, with respect to the appearance frequency of the category with the highest category likelihood of the utterance data 121 included in the target range. (“W21” in FIG. 4B) is a value that is larger than the weight of the likelihood of the category with low appearance frequency (“w22” in FIG. 4B).
  • W21 in FIG. 4B
  • w22 is a value that is larger than the weight of the likelihood of the category with low appearance frequency
  • the sex is low. Therefore, in the analysis unit 113, the accuracy of specifying the topic can be improved by using the frequency weight value w2 to identify the topic in the analysis target period T. Specifically, if the analysis target period T includes 50 utterance data 121, the category that appears 20 times has a larger weight and the category likelihood becomes larger than the category that appears only twice.
  • the analysis unit 113 calculates the appearance frequency (“w21” and “w22” in FIG. 4B) of each category within the range of the analysis target period T as described above.
  • the analysis unit 113 can obtain the integrated likelihood Lc2 for each category by the following equation (1).
  • Lc2 (i) ⁇ (Lc (j) ⁇ w1) ⁇ w2) ⁇ ⁇ ⁇ (1)
  • each value used in the equation (1) is specified as follows.
  • j Number assigned to each utterance data 121 in the target range
  • w1 Freshness weight value
  • w2 Frequency weight value
  • the probability that each category in a certain utterance number is a topic can be expressed as shown in FIG. it can.
  • the generation unit 114 uses the analysis result by the analysis unit 113 to generate visualization data that specifies the content of the utterance data 121 and the manual corresponding to this content. Specifically, the generation unit 114 generates visualization data for displaying the display screen W1 as shown in FIG. 6A as an example.
  • the display screen W1 of an example shown in FIG. 6A is a manual relating to the display unit B11 for displaying the text data of the plurality of utterance data 121 arranged in time series and the category of the utterance data 121 which is the analysis result of the plurality of utterance data 121.
  • the display unit B12 includes the integrated likelihood calculated for each category.
  • the display screen W1 shown in FIG. 6A allows the operator to grasp that the content of the utterance is related to the "buzzer". In addition, when the operator selects this "buzzer", he / she can be guided to reference materials such as a manual when the "buzzer" becomes a topic.
  • the calculation unit 112 calculates the category likelihood for each category of the utterance data 121 stored in step S1 and stores it in the utterance data 121 (S2).
  • the analysis unit 113 analyzes the utterance data 121 of the analysis target period using the category likelihood included in the utterance data 121 (S3).
  • the analysis unit 113 sequentially selects the target categories (S11). For example, each category of "buzzer”, “overhead line trouble”, “suddenly ill person”, and “earthquake” is selected in order, and the subsequent processing is executed for each category.
  • the analysis unit 113 sets a target range for calculating the integrated likelihood (S12). Specifically, the target range is set with reference to the number of the utterance data 121 acquired in step S1 of the flowchart of FIG. At this time, the analysis unit 113 sets a new number “j” from “1” within the target range for the utterance data 121 in the target range. As described above in FIG. 3, in the example in which the utterance data 121 of 50 is set as the analysis target period T, the “j” uses a number from 1 to 50. In this case, the number q of the target range is "50".
  • the analysis unit 113 targets the utterance data 121 of Nos. 40 to 89.
  • j is set so that "40" of i becomes “1” of j and "89” of i becomes "50” of j.
  • the analysis unit 113 calculates the integrated likelihood of a series of utterance data 121 with reference to the utterance data 121 of the 39th, so that the analysis unit 113 calculates the utterance data 121 of the 0 to 40.
  • the number q of the target range is "41".
  • the analysis unit 113 initializes the value of j to 1 and the value of the temporary integrated likelihood Sc to 0 in order to calculate the integrated likelihood for the target range set in step S12 (S13). ..
  • j is a value that specifies the utterance data 121 within the target range.
  • the category likelihood Lc (j) of each utterance data 121 included in the target range can be added to obtain the integrated likelihood Lc2 (i).
  • the temporary integrated likelihood Sc is a value used in the calculation process for obtaining the integrated likelihood Lc2 (i) in the target range.
  • the analysis unit 113 increments the value of j (S15). After that, the analysis unit 113 determines whether or not j ⁇ q (S16).
  • the analysis unit 113 returns to the processing in step S14 and performs the processing in steps S14 to S16. repeat.
  • the analysis unit 113 obtains the maximum likelihood topic category frequency Nc of the target category in the target range (NO). S17).
  • the maximum likelihood topic category frequency Nc is the number of times in each utterance data 121 of the target range that the likelihood of the category selected as the target of processing in step S11 becomes the highest value. For example, when processing is being performed for "overhead line trouble", when the number of utterance data 121 having the highest category likelihood Lc (j) of overhead wire trouble is "20" in the target range, the maximum likelihood topic category The frequency Nc is "20".
  • the analysis unit 113 obtains the probability Pc (i) of the selected category regarding the target range by normalization (S19). For example, for normalization, a method of finding the probability by softmax can be used. By plotting the probability value of each utterance number in each category using the Pc (i) thus obtained, a graph (FIG. 5) showing the transition of topics can be obtained. This makes it possible to visualize the transition state of the topic as a smooth transition, like the transition of the topic in an actual conversation.
  • the analysis unit 113 determines whether or not the processing of steps S12 to S19 has been completed for all the categories (S20). If it has not been completed (NO in S20), the process returns to step S11, another category is selected, and the processes of steps S11 to S19 are repeated until all categories are completed. For example, when the "buzzer” category ends, “overhead line trouble” is selected, then “suddenly ill” is selected, then “earthquake occurrence” is selected, and the same process is repeated.
  • the analysis unit 113 identifies the categories using the integrated likelihood Lc2 (i) and the probability Pc (i) for each category.
  • the analysis process (step S3 in FIG. 8) is completed (S21).
  • the generation unit 114 generates visualization data for each category in the process of step S4 (S4).
  • the display processing unit 115 outputs the visualization data generated in step S4 to the output unit 14 (S5).
  • the utterance analysis device 1 returns to the process of step S1 and repeats the processes of steps S1 to S5. On the other hand, when the utterance is completed (YES in S6), the utterance analysis device 1 ends the process.
  • the utterance analysis device 1 can analyze the utterance of the speaker and provide information according to the topic in the utterance of the speaker in a certain period. This also allows the speaker to easily access information corresponding to the current situation.
  • the utterance analysis device 1 may acquire and use the category likelihood calculated by an external arithmetic unit.
  • the utterance data 121 to be processed by the calculation unit 112 and the analysis unit 113 has been described with an example of processing the utterance data 121 uttered by the crew member and the utterance data 121 by the operator without distinguishing between them. , May be distinguished. Specifically, only the content spoken by the operator, not the crew, may be processed. For example, depending on the situation, the utterance between the crew and the operator may be repeated, and when the operator can select and speak appropriate terms for processing rather than the crew, one of them. By using only the utterance, the accuracy of the processing result can be improved.
  • the analysis unit 113 can calculate the integrated likelihood by setting the period specified by the user as the analysis target period T.
  • the speaker or a user other than the speaker may freely set the analysis target period T according to the target utterance.
  • the analysis unit 113 can be a reception unit that accepts a period designated by the user via the input unit 13 and the communication unit 15, and the accepted period can be used as the analysis target T.
  • the generation unit 114 may generate visualization data for displaying the display screen W2 as shown in FIG. 9 as an example.
  • An example display screen W2 shown in FIG. 9 includes a display unit B21 for displaying a graph of the integrated likelihood obtained from the utterance data 121, and a display unit B22 for displaying text data.
  • a series Since it is possible to easily identify what category of topics the conversation made in the utterance data 121 of the above has changed, it is possible to appropriately assist.
  • the acquisition unit 111 acquires new utterance data 121 instead of the continuous series of utterance data 121
  • the storage unit 121 has stored a series of utterance data 121 by the same speaker in the past
  • This series of utterance data 121 can be continuously processed.
  • the crew member may end the conversation once for confirmation work in response to a question from the operator, and then resume the conversation after a certain period of time has elapsed.
  • the past series of utterance data 121 and the newly started series of utterance data 121 can be treated as related by assigning consecutive numbers.
  • the color, font, character size, etc. of a predetermined term (“buzzer” in the example of FIG. 9) may be different from other terms and may be emphasized and displayed. This makes it easier to understand the important contents of the conversation.
  • the speech analysis device of the present disclosure has a plurality of acquisition units that acquire the speech data of the speaker in chronological order, and a plurality of values that specify the possibility that the speech data acquired by the acquisition unit corresponds to each category.
  • a control unit that analyzes the contents of the utterance data using the first likelihood of the above, and a display processing unit that displays display data including related information related to the utterance data category according to the control by the control unit.
  • the control unit uses a plurality of first likelihoods each time speech data is acquired in chronological order, and displays processing from a storage unit that stores a plurality of related information related to each category in a plurality of categories. Related information to be displayed preferentially to the unit may be sequentially selected.
  • the control unit of (1) integrates the first likelihoods of a plurality of utterance data within the analysis target period in the time series, calculates the second likelihood for each category, and calculates the second likelihood for each category.
  • the category with a high value may be prioritized and the corresponding related information may be displayed in the display processing unit.
  • the information in the category with high likelihood is given priority, so that the optimum information can be provided.
  • the control unit of (3) and (2) may obtain the second likelihood by using the first weight set to a larger value as the frequency of appearance during the analysis target period increases.
  • the likelihood is calculated according to the frequency of appearance, so that optimal information can be provided.
  • the control unit of (2) or (3) obtains the second likelihood using the second weight value set to a larger value closer to the end of the analysis target period than to the start. You may.
  • the likelihood is calculated according to the timing of appearance, so that optimal information can be provided.
  • the utterance analysis devices of (2) to (4) include a reception unit that accepts input for a period specified by the user, and the control unit has a second likelihood with the period accepted by the reception unit as the analysis target period. You may ask for the degree.
  • the user can set the analysis target period, so that the optimum information can be provided for the user.
  • the control units of (2) to (5) select a predetermined number of information associated with the second high-likelihood category, and the display data displayed by the display processing unit has the second likelihood. Information may be included in descending order of.
  • the display data displayed by the display processing units of (7) (1) to (6) may include text data in which the utterance data is converted into text by voice recognition processing in the utterance time series.
  • the display data displayed by the display processing unit of (8) and (7) may be data in which a predetermined term is emphasized in the text data.
  • the control units of (9) (1) to (8) may calculate the first likelihood for each category for each utterance data.
  • the first likelihood can be calculated in the utterance analysis device, so that processing can be performed independently of the network load.
  • the utterance data may be the data of the dialogue of a plurality of speakers.
  • the utterance analysis method of the present disclosure is a utterance analysis method that analyzes the content of the utterance of the speaker and displays information on the utterance, and the acquisition unit acquires the utterance data of the speaker in chronological order.
  • the display processing unit includes a step of displaying display data including related information related to the category of the utterance data according to the control by the control unit, and a plurality of control units are used each time the utterance data is acquired in chronological order. From the storage unit that stores a plurality of related information related to each category in the plurality of categories, the related information to be displayed preferentially to the display processing unit is sequentially selected by using the first likelihood of.
  • the program of the present disclosure causes a computer to execute the method of (11).
  • the utterance analyzer, utterance analysis method and program described in all the claims of the present disclosure are realized by cooperation with hardware resources such as a processor, a memory, and a program.
  • the utterance analysis device, utterance analysis method, and program of the present disclosure are useful, for example, when the respondents who answer questions, inquiries, etc. are guided to information such as a manual to be referred to when answering.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

発話者の発話における話題を解析し、話題に応じた情報を提供する。発話解析装置（１）は、発話者の発話データを時系列の順番で取得する取得部（１１１）と、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、発話データの内容を解析する制御部（１１）と、制御部による制御に従って、発話データのカテゴリに関連する関連情報を含む表示データを表示させる表示処理部（１１５）とを備え、制御部は、時系列に沿って発話データが取得される毎に複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、表示処理部に優先して表示させる関連情報を順次選択する。

Description

発話解析装置、発話解析方法及びプログラム
　本開示は、発話者の発話における話題を解析し、話題に応じた情報を提供する発話解析装置、発話解析方法及びプログラムに関する。
　音声認識技術の進歩により、発話者の音声データを取得し、音声認識された内容を処理することが可能になっている。
　特許文献１では、コールセンターの等のオペレータによるトークスクリプトを参照した談話の内容が音声認識処理によりテキスト化され、トークスクリプトの利用頻度の情報を出力するシステムが記載される。この特許文献１に記載の技術では、オペレータのスキルに応じて応対記録の品質にばらつきがある問題等を解決し、統一生、簡潔性を確保した応対記録を自動作成することができる。
特許第５４６８４７４号
　本開示は、発話者の発話における話題を解析し、話題に応じた情報を提供することができる発話解析装置、発話解析方法及びプログラムを提供する。
　本開示の発話解析装置は、発話者の発話データを時系列の順番で取得する取得部と、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、発話データの内容を解析する制御部と、制御部による制御に従って、発話データのカテゴリに関連する関連情報を含む表示データを表示させる表示処理部とを備え、制御部は、時系列に沿って発話データが取得される毎に複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、表示処理部に優先して表示させる関連情報を順次選択する。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示の発話解析装置、発話解析方法及びプログラムによれば、発話者の発話における話題に応じた情報を提供することができる。
本開示の発話解析装置の構成を示すブロック図である。 図１の発話解析装置で利用する発話データを説明するデータ構成図である。 図１の発話解析装置で利用されるカテゴリ尤度を表すグラフである。 図２の発話解析装置で積算尤度の演算に利用する鮮度重み値を説明する図である。 図２の発話解析装置で積算尤度の演算に利用する頻度重み値を説明する図である。 図２の発話解析装置で得られる話題である確率を表すグラフである。 図２の発話解析装置により可視化データとして表示される画面の一例である。 図６Ａに続いて可視化データとして表示される画面の一例である。 図２の発話解析装置で実行される発話解析処理を説明するフローチャートである。 図７の解析処理を説明するフローチャートである。 図２の発話解析装置で可視化データとして表示される画面の他の例である。
［本開示の基礎となった知見］
　従来の技術では、発話者の発話を解析する際、文単位を処理対象とし、各文に含まれる単語を用いて解析している。一方、１文ではなく、ある期間の複数の文を対象に解析することが好ましい場合もある。
　本開示に係る発話解析装置は、ある期間における発話者の発話における話題に応じた情報を提供するものである。具体的には、発話解析装置は、発話者の発話を取得し、発話の内容を特定し、また、その話題に対応する情報を提供することができる。
［実施形態］
［１－１．構成］
　以下に、図面を用いて本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。
　本開示に係る発話解析装置は、複数の発話者が会話をしている際、必要となる情報を提供するものである。例えば、発話解析装置は、質問者や相談者等の第１の発話者に対し、回答者である第２の発話者に、回答に使用する情報を提供する。
　以下の説明では、第１の発話者を車両の乗務員とし、第２の発話者を乗務員からの問い合わせに応答するオペレータとする。また、第１の発話者と第２の発話者とは、電話機等の通信回線を利用して会話をするものとする。以下では、これら発話者の会話を解析し、解析結果に応じた情報をオペレータに提供する一例で説明する。
　オペレータは、問い合わせに回答する際、マニュアル等の情報で規定される方法で回答することがある。しかしながら、このマニュアルは多数あるため、オペレータは、問い合わせ内容に関するマニュアルを瞬時に特定することが困難である。したがって、発話解析装置は、乗務員からの問い合わせと、これに対するオペレータの回答の発話を両者が使用する端末を介して取得して解析し、発話の話題のカテゴリを特定する。また、発話解析装置は、複数の情報のなかからこの話題のカテゴリに関連付けられるマニュアルを、乗務員からの問い合わせに対する回答を導くマニュアルとして選択し、選択したマニュアルをオペレータに提供する。
　本説明において、「発話」は、発話者が話す行為及び話すことで生じた音声であるものとする。「発話データ」は、発話者が話すことで生じた音声データであるものとする。また、「発話データ」は、発話者が話すことで生じた音声データを音声認識によってテキスト化されたテキストデータであってもよい。さらに、「発話データ」は、これら「音声データ」と「テキストデータ」を含むデータであってもよい。
　「話題」は、発話者の発話の内容であるとして説明する。また、「話題のカテゴリ」または「カテゴリ」は、発話者の話題を特定する分類であるとして説明する。具体例については後述するが、発話解析装置１では、発話者の発話の話題が、予め設定される複数の話題のカテゴリのうち、どのカテゴリであるかを特定する。
　「尤度」とは、尤度関数で利用される、尤もらしさを表す数値として利用される尤度である。この尤度は、対象の発話が、各話題のカテゴリに該当する尤もらしさを表す数値として利用される。
　図１に示すように、発話解析装置１は、例えば、制御部１１と、記憶部１２と、入力部１３と、出力部１４と、通信部１５とを備え、これらがバス１６で接続される情報処理装置である。
　制御部１１は、発話解析装置１全体の制御を司るコントローラである。例えば、制御部１１は、記憶部１２に記憶されるプログラムＰを読み出して実行することにより、取得部１１１、演算部１１２、解析部１１３、生成部１１４及び表示処理部１１５としての処理を実現する。また、制御部１１は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部１１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。
　記憶部１２は種々の情報を記憶する記憶媒体である。記憶部１２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部１２には、制御部１１が実行するプログラムＰの他、識別情報で使用する情報や識別情報付与のために取得された種々の情報等が格納される。例えば、記憶部１２は、発話データ１２１、マニュアルデータ１２２及びプログラムＰを記憶する。
　入力部１３は、操作やデータの入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力手段である。出力部１４は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等の出力手段である。発話解析装置１は、入力部１３であるマイクロフォンで発話データを取得し、制御部１１で取得された発話データから可視化データを生成し、得られた可視化データを出力部１４であるディスプレイ等に出力する。
　通信部１５は、外部の装置（図示せず）とのデータ通信を可能とするためのインタフェース回路（モジュール）である。
　ここで、発話解析装置１は、１台のコンピュータにより実現されてもよいし、ネットワークを介して接続される複数台のコンピュータの組み合わせにより実現されてもよい。また例えば、記憶部１２に記憶されるデータの全部又は一部が、ネットワークを介して接続される外部の記憶媒体に記憶され、発話解析装置１は、外部の記憶媒体に記憶されるデータを使用するように構成されていてもよい。具体的には、発話データ１２１や、マニュアルデータ１２２を外部の記憶媒体に記憶してもよい。
　例えば、この発話解析装置１は、乗務員が使用する端末と、オペレータが使用する端末と通信可能に設置され、乗務員及びオペレータの発話を取得可能に構成される。または、発話解析装置１は、乗務員が使用する端末と通信可能に設置され、オペレータが使用する端末自体であり、乗務員とオペレータの発話を取得可能に構成されてもよい。
　取得部１１１は、例えば、発話者が発話をする際、通信部を介して発話者の発話データを取得する。また、取得部１１１は、取得した発話者の発話データを時系列の順序で取得する。また、取得部１１１は、取得した発話データに、時系列の順序で番号を付し、発話データ１２１として記憶部１２に記憶させる。
　演算部１１２は、各発話データ１２１の話題が所定の各カテゴリに該当する可能性を特定する値である尤度を求める。また、演算部１１２は、各発話データ１２１に対して求めた各カテゴリの尤度を、発話データ１２１と関連付けて記憶させる。以下では、各カテゴリに関する「尤度」を、必要に応じて「カテゴリ尤度」として説明する。
　このとき、発話データ１２１は、音声データとともに、または、音声データに代えて、音声データを音声認識処理によってテキスト化したテキストデータを含むことができる。この場合、音声認識処理は、発話解析装置１内で実行されてもよいし、外部の装置において実行されてもよい。
　図２に一例を示すように、発話データ１２１は、各発話データ１２１の識別情報である「番号」と、この期間の音声データから生成された「テキストデータ」と、この期間の発話データについて得られた各カテゴリの「カテゴリ尤度」とを関連付けるデータである。図２において発話データ１２１は、「ブザー」、「架線トラブル」、「急病人」及び「地震発生」の話題のカテゴリがある。「ブザー」は、ブザーが鳴った場合の話題のカテゴリである。「架線トラブル」は、架線トラブルが発生した場合の話題のカテゴリである。「急病人」は、急病人が発生した場合の話題のカテゴリである。「地震発生」は、地震が発生した場合の話題のカテゴリである。
　なお、ここでは、説明の容易化のため、「ブザー」、「架線トラブル」、「急病人」及び「地震発生」の４つのカテゴリを用いて説明するが、発話解析装置１で処理の対象とするカテゴリの数は限定されない。また、説明で使用されるカテゴリも単なる例示であって限定されず、発話の内容に応じて自由に設定することが可能である。
　図３は、演算部１１２において、複数の発話データ１２１に関し、予め設定された話題である複数の話題のカテゴリについて求められたカテゴリ尤度を表すグラフの一例である。演算部１１２は、各カテゴリ尤度を、事前に学習されたクラス分類モデルを用いて求めることができる。具体的には、クラス分類のクラスが、ここで説明する話題のカテゴリに相当する。図３において、横軸は、発話データ１２１の識別情報である「番号」であり、発話データの１２２の時系列を示すものである。また、縦軸は、演算部１１２で得られた「カテゴリ尤度」である。
　図３に示すカテゴリ尤度は、「ブザー」、「架線トラブル」、「急病人」及び「地震発生」の各カテゴリについて得られたカテゴリ尤度の一例である。
　図３に示すような、発話データ１２１毎のカテゴリでは、その変化が細かく全体としての話題を特定しにくい。そのため、発話解析装置１では、次の解析部１１３によって、発話データ１２１毎のカテゴリの分類よりも広い範囲で、カテゴリを特定し、話題のカテゴリを把握しやすくすることができる。
　解析部１１３は、演算部１１２で得られたカテゴリ尤度を用いて話題のカテゴリを解析する。ここで、解析部１１３は、ある時点ｔの話題のカテゴリを特定する際、その時点ｔの直前の解析対象期間Ｔの複数の発話データ１２１のカテゴリ尤度を用いて、解析対象期間Ｔの発話について所定のカテゴリに該当する可能性を特定する第２の尤度を求め、解析対象期間Ｔの話題のカテゴリを特定する。なお、以下では、必要に応じて、「第２の尤度」を「積算尤度」として説明する。
　図３では解析対象期間Ｔは、発話データ１２１の数、５０に相当する期間の一例である。例えば、番号「８９」の時点での話題のカテゴリを特定するためには、解析対象期間Ｔに相当する、番号「４０」～「８９」の発話データ１２１のカテゴリ尤度を用いる。
　具体的には、解析部１１３は、各カテゴリについて、対象範囲を設定し、この対象範囲に含まれる各発話データ１２１に対して得られたそれぞれのカテゴリについて積算尤度を求める。また、解析部１１３は、各カテゴリについて得られた積算尤度のうち、値が最も大きいカテゴリをある発話番号時点の話題のカテゴリとして特定することができる。
　また、解析部１１３は、話題の鮮度に応じて設定された「鮮度重み値ｗ１」を用いて、積算尤度を求めることができる。具体的には、図４Ａに示すように、鮮度重み値ｗ１は、解析対象期間Ｔの終了時ｔを基準として新しい発話データ１２１のカテゴリ尤度の重み（図４Ａ中の「ｗ１１」）を、古い発話データ１２１のカテゴリ尤度の重み（図４Ａ中の「ｗ１２」）よりも大きくする値である。例えば、ある対象範囲において、より新しい発話については、その期間の話題のカテゴリである、或いは話題が遷移している可能性が高く、古い発話については、その期間の話題のカテゴリである可能性は低い。したがって、解析部１１３において、鮮度重み値ｗ１をその解析対象期間Ｔの話題の特定に利用することで、話題の特定の精度を向上させることができる。具体的には、仮に、解析対象期間Ｔとして「５分」が設定される場合、解析対象期間Ｔの終了時より１分以内の発話データ１２１から特定されるカテゴリ尤度は、解析対象期間Ｔの終了時より４分以上前の発話データ１２１から特定されるカテゴリ尤度よりも、重みが大きく設定される。
　さらに、解析部１１３は、話題の頻度に応じて設定された「頻度重み値ｗ２」を用いて、積算尤度を求めることができる。具体的には、頻度重み値ｗ２は、対象範囲に含まれる発話データ１２１のカテゴリ尤度が最も高いカテゴリの出現頻度について、図４Ｂに示すように、出現頻度が高いカテゴリのカテゴリ尤度の重み（図４Ｂ中の「ｗ２１」）を、出現頻度が低いカテゴリの尤度の重み（図４Ｂ中の「ｗ２２」）よりも大きくする値である。例えば、解析対象期間Ｔの範囲において、何度も出現するカテゴリについては、その期間の話題のカテゴリである可能性が高く、一方、あまり登場しないカテゴリについては、その期間の話題のカテゴリである可能性は低い。したがって、解析部１１３において、頻度重み値ｗ２をその解析対象期間Ｔの話題の特定に利用することで、話題の特定の精度を向上させることができる。具体的には、仮に、解析対象期間Ｔに５０の発話データ１２１が含まれるとき、２０回出現するカテゴリは、２回しか出現しないカテゴリよりも、重みが大きく設定されカテゴリ尤度が大きくなる。解析部１１３は、解析対象期間Ｔの範囲おける、各カテゴリの出現頻度（図４Ｂ中の「ｗ２１」「ｗ２２」）を上述のように算出する。
　例えば、解析部１１３は、以下の式（１）によりカテゴリ毎に、積算尤度Ｌｃ２を求めることができる。
　Ｌｃ２（ｉ）＝Σ（Ｌｃ（ｊ）×ｗ１）×ｗ２)　・・・　（１）
　ここで、式（１）に使用する各値はそれぞれ以下のように規定する。
　ｃ：カテゴリを特定する番号
　ｉ：対象範囲を特定する番号
　Ｌｃ２（ｉ）：ｉ番目の対象範囲の積算尤度
　ｊ：対象範囲の中で各発話データ１２１に付された番号
　Ｌｃ（ｊ）：対象範囲の中でｊ番目の発話データ１２１のカテゴリ尤度
　ｗ１：鮮度重み値
　ｗ２：頻度重み値
　なお、式（１）は、ｉ＝１からｉ＝ｑ（後述する対象範囲の数）までの総和である。
　例えば、これにより得られた各カテゴリの積算尤度Ｌｃ２に対し、後述する正規化を施すことにより、ある発話の番号における各カテゴリが話題である確率として、図５に示すようにも表わすことができる。
　生成部１１４は、解析部１１３による解析結果を用いて、発話データ１２１の内容及びこの内容に対応するマニュアルを特定した可視化データを生成する。具体的には、生成部１１４は、図６Ａに一例を示すような表示画面Ｗ１を表示させる可視化データを生成する。図６Ａに示す一例の表示画面Ｗ１は、時系列に配置された複数の発話データ１２１のテキストデータを表示する表示部Ｂ１１と、複数の発話データ１２１の解析結果である発話データ１２１のカテゴリに関するマニュアルを表示させるためのリンク情報を積算尤度の高い順に表示する表示部Ｂ１２とを含む。表示部Ｂ１２では、各カテゴリに対して演算された積算尤度を含む。図６Ａに示す表示画面Ｗ１により、オペレータは、発話の内容が、「ブザー」に関するものであることを把握することが可能である。また、オペレータがこの、「ブザー」を選択することで、「ブザー」が話題となった場合のマニュアルなどの参考資料に誘導することができる。
　仮に、図６Ｂに示すように、新たな発話データ１２２が取得されたことにより、解析部１１３で解析され、新たに積算尤度が得られると、順次、新たな積算尤度の高い順でカテゴリが選択される。これにより、図６Ａに示すように「ブザー」、「架線トラブル」、「急病人」、「地震発生」の順で表示部Ｂ１２に表示されていた順序が、図６Ｂに示すように、「ブザー」、「急病人」、「架線トラブル」、「地震発生」の順に変更される。これは、新たに得られた発話データ１２２によって、「急病人」のカテゴリの積算尤度が大きくなったためである。
［１－２．動作］
　図７及び図８に示すフローチャートを用いて、発話解析装置１における発話データの発話解析処理について説明する。図７に示すように、発話解析装置１では、発話者が発話をする際、取得部１１１は、発話データを取得し、時系列に付与される番号とともに発話データ１２１として記憶部１２に記憶させる（Ｓ１）。
　その後、演算部１１２は、ステップＳ１で記憶された発話データ１２１について、カテゴリ毎にカテゴリ尤度を演算し、発話データ１２１に記憶させる（Ｓ２）。
　その後、解析部１１３は、発話データ１２１に含まれるカテゴリ尤度を用いて、解析対象期間の発話データ１２１を解析する（Ｓ３）。
　ステップＳ３の解析処理における具体的な処理の流れを図８に示すフローチャートを用いて説明する。図８に示すように、特定処理では、解析部１１３は、順に対象のカテゴリを選択する（Ｓ１１）。例えば、「ブザー」、「架線トラブル」、「急病人」及び「地震」のそれぞれのカテゴリについて順に選択し、各カテゴリについて以降の処理を実行する。
　まず、解析部１１３は、積算尤度を演算するための対象範囲を設定する（Ｓ１２）。具体的には、図８のフローチャートのステップＳ１で取得された発話データ１２１の番号を基準として、対象範囲が設定される。このとき、解析部１１３は、対象範囲の発話データ１２１に対し、対象範囲内で新たな「１」からの番号「ｊ」を設定する。図３で上述したように、５０の発話データ１２１を解析対象期間Ｔとする例では、「ｊ」は、１～５０までの番号を利用することになる。この場合、対象範囲の数ｑは、「５０」である。
　具体的には、図３で上述したように、ｉが「８９」であるとき、解析部１１３は、４０～８９番の発話データ１２１を対象範囲とする。この場合、ｊについては、ｉの「４０」がｊの「１」となり、ｉの「８９」がｊの「５０」となるように、それぞれ設定される。
　また、仮に、ｉが「３９」であるとき、３９番の発話データ１２１を基準とし、一連の発話データ１２１の積算尤度を演算するため、解析部１１３は、０～４０番の発話データ１２１を対象範囲とする。この場合も、ｊについては、ｉの「０」がｊの「１」となる。また、対象範囲の数ｑは、「４１」である。
　その後、解析部１１３は、ステップＳ１２で設定された対象範囲について、積算尤度を算出するため、ｊの値を１に初期化し、一時積算尤度Ｓｃの値を０に初期化する（Ｓ１３）。ｊは、上述したように、対象範囲の中で発話データ１２１を特定する値である。ｊを初期化することで、対象範囲に含まれる各発話データ１２１のカテゴリ尤度Ｌｃ（ｊ）を加算して、積算尤度Ｌｃ２（ｉ）を求めることができる。また、一時積算尤度Ｓｃは、対象範囲で積算尤度Ｌｃ２（ｉ）を求める計算経過において利用する値である。
　続いて、解析部１１３は、一時積算尤度Ｓｃに、番号「ｊ」の発話データ１２１のカテゴリ尤度Ｌｃ（ｊ）を鮮度重み値ｗ１（＝ｊ／ｑ）で重みづけした値（Ｌｃ（ｊ）×ｗ１）を加算し、得られた値を、新たな一時積算尤度Ｓｃとする（Ｓ１４）。
　新たな一時積算尤度Ｓｃを求めると、解析部１１３は、ｊの値をインクリメントする（Ｓ１５）。その後、解析部１１３は、ｊ≦ｑであるか否か判定する（Ｓ１６）。
　ｊ≦ｑであるとき（Ｓ１６でＹＥＳ）、対象範囲に含まれる全ての発話データ１２１について処理が終了していないため、解析部１１３は、ステップＳ１４の処理に戻り、ステップＳ１４～Ｓ１６の処理を繰り返す。
　一方、ｊ≦ｑでないとき（Ｓ１６でＮＯ）、対象範囲に含まれる全ての発話データ１２１について処理が終了したため、解析部１１３は、対象範囲において対象のカテゴリの最尤話題カテゴリ頻度Ｎｃを求める（Ｓ１７）。ここで、最尤話題カテゴリ頻度Ｎｃとは、対象範囲の各発話データ１２１において、ステップＳ１１で処理の対象として選択されたカテゴリの尤度が最も高い値となった回数である。例えば、「架線トラブル」に関し処理がされているとき、対象範囲の中で、架線トラブルのカテゴリ尤度Ｌｃ（ｊ）が最も高い発話データ１２１の数が「２０」であるとき、最尤話題カテゴリ頻度Ｎｃは「２０」となる。
　その後、解析部１１３は、一時積算尤度Ｓｃを、頻度重み値ｗ２（＝Ｎｃ／ｑ）で重みづけした値（Ｓｃ×ｗ２）を、対象範囲の積算尤度Ｌｃ２（ｉ）とする（Ｓ１８）。
　解析部１１３は、積算尤度Ｌ２ｃ（ｉ）を求めると、正規化により、対象範囲に関する選択されたカテゴリの確率Ｐｃ（ｉ）を求める（Ｓ１９）。例えば、正規化には、ｓｏｆｔｍａｘで確率を求める方法を利用することができる。こうして得られたＰｃ（ｉ）を用い各発話の番号において、各カテゴリにその確率値をプロットすることで、話題の移り変わりを表すグラフ（図５）を得ることができる。これにより、実際の会話における話題の移り変わりのように、滑らかな移り変わりとして話題の遷移状態を視覚化することができる。
　その後、解析部１１３は、全てのカテゴリについてステップＳ１２～Ｓ１９の処理が終了したか否かを判定する（Ｓ２０）。終了していない場合（Ｓ２０でＮＯ）、ステップＳ１１に戻り、他のカテゴリを選択し、全てのカテゴリについて終了するまで、ステップＳ１１～Ｓ１９の処理を繰り返す。例えば、「ブザー」のカテゴリが終了すると、「架線トラブル」を選択し、その後「急病人」を選択し、続いて「地震発生」を選択して同様の処理を繰り返す。
　また、全てのカテゴリについてステップＳ１１～Ｓ１９の処理が終了すると（Ｓ２０でＹＥＳ）、解析部１１３は、各カテゴリに積算尤度Ｌｃ２（ｉ）や確率Ｐｃ（ｉ）を用いてカテゴリを特定し、解析処理（図８のステップＳ３）を終了する（Ｓ２１）。
　図７に示すように、生成部１１４は、ステップＳ４の処理において各カテゴリについて、可視化データを生成する（Ｓ４）。
　また、表示処理部１１５は、ステップＳ４で生成された可視化データを、出力部１４に出力する（Ｓ５）。
　そして、発話が継続する場合（Ｓ６でＮＯ）、発話解析装置１は、ステップＳ１の処理に戻り、ステップＳ１～Ｓ５の処理を繰り返す。
　一方、発話が終了した場合（Ｓ６でＹＥＳ）、発話解析装置１は、処理を終了する。
［１－３．効果等］
　発話解析装置１では、このように、発話者の発話を解析し、ある期間における発話者の発話における話題に応じた情報を提供することができる。また、これにより、発話者は、容易に、現在の状況に対応する情報にアクセスすることが可能となる。
　以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
（他の実施の形態）
　実施の形態においては、発話解析装置１内の演算部１１２において、「カテゴリ尤度」を演算する一例で説明したが、これに限定されない。具体的には、発話解析装置１は、外部の演算装置で演算されたカテゴリ尤度を取得し、利用してもよい。
　また、実施形態においては、演算部１１２及び解析部１１３が処理対象とする発話データ１２１について、乗務員から発話されたものとオペレータから発話されたものとを区別せずに処理する例で説明したが、区別してもよい。具体的には、乗務員ではなく、オペレータが発話する内容のみを処理対象としてもよい。例えば、状況によっては、乗務員とオペレータとの発話は、繰り返しである場合もあり、また、乗務員よりもオペレータの方が、処理に適切な用語等を選択して発話することができる場合、一方の発話のみを利用することで、処理結果の精度を向上させることができる。
　解析部１１３は、利用者によって指定された期間を解析対象期間Ｔとして積算尤度を演算することができる。具体的には、発話者又は発話者以外の利用者が、対象とする発話に応じて自由に解析対象期間Ｔを設定可能にしてもよい。発話において、あるカテゴリの話題が長く続く場合、解析対象期間Ｔとして設定する期間の長さによっては、話題の変化が検出しにくくなる。したがって、このように、適切な解析対象期間Ｔを設定することで、話題の変化の検出精度を向上させることができる。例えば、解析部１１３は、入力部１３や通信部１５を介してユーザから指定される期間を受け付ける受付部となることが可能であり、受け付けた期間を解析対象Ｔとして利用することができる。
　生成部１１４は、図９に一例を示すような表示画面Ｗ２を表示させる可視化データを生成してもよい。図９に示す一例の表示画面Ｗ２は、発話データ１２１から得られた積算尤度のグラフを表する表示部Ｂ２１と、テキストデータを表示する表示部Ｂ２２とを含む。例えば、乗務員とオペレータの会話を必要に応じて補助する第三者がいる場合、乗務員とオペレータの一連の会話を聞いていなかった場合であっても、この表示画面Ｗ２を一見することで、一連の発話データ１２１でされた会話がどのようなカテゴリの話題を推移したのか容易に特定できるため、適切に補助することが可能となる。
　また、取得部１１１は、継続する一連の発話データ１２１ではなく、新規の発話データ１２１を取得した場合、記憶部１２１において過去に同一の発話者による一連の発話データ１２１が記憶されていたとき、この一連の発話データ１２１に継続して処理することができる。例えば、乗務員とオペレータとの会話の場合、オペレータからの質問に対して乗務員が確認作業のため、会話を一旦終了し、ある時間が経過した後で、会話を再開するような場合がある。このような場合、過去の一連の発話データ１２１と、新たに開始する一連の発話データ１２１とは連続する番号を付すことにより、関連するものとして扱うことができる。さらに、所定の用語（図９の例では、「ブザー」）の色、フォント、文字サイズ等を他の用語と異なるものとし、強調して表示させてもよい。これにより、会話の重要な内容を把握しやすくすることができる。
《実施形態の概要》
（１）本開示の発話解析装置は、発話者の発話データを時系列の順番で取得する取得部と、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、発話データの内容を解析する制御部と、制御部による制御に従って、発話データのカテゴリに関連する関連情報を含む表示データを表示させる表示処理部とを備え、制御部は、時系列に沿って発話データが取得される毎に複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、表示処理部に優先して表示させる関連情報を順次選択してもよい。
　これにより、発話者の発話における話題に応じた情報を提供することができる。
　（２）（１）の制御部は、時系列における解析対象期間内の複数の発話データの第１の尤度を積算して第２の尤度をカテゴリ毎に演算し、当該第２尤度が高いカテゴリを優先して、対応する関連情報を表示処理部に表示させてもよい。
　これにより、尤度の高いカテゴリの情報を優先して提供するため、最適な情報を提供することができる。
　（３）（２）の制御部は、解析対象期間に出現する頻度が高い程、大きな値に設定される第１の重みを用いて、第２の尤度を求めてもよい。
　これにより、出現する頻度に応じて尤度が計算されるため、最適な情報を提供することができる。
　（４）（２）又は（３）の制御部は、解析対象期間の開始時よりも終了時に近い程、大きな値に設定される第２の重み値を用いて、第２の尤度を求めてもよい。
　これにより、出現するタイミングに応じて尤度が計算されるため、最適な情報を提供することができる。
　（５）（２）～（４）の発話解析装置は、ユーザから指定された期間の入力を受け付ける受付部を備え、制御部は、受付部が受け付けた期間を解析対象期間として第２の尤度を求めてもよい。
　これにより、ユーザが解析対象期間を設定可能となるため、ユーザにとって最適な情報を提供することができる。
　（６）（２）～（５）の制御部は、第２の尤度の高いカテゴリと関連付けられる所定数の情報を選択し、表示処理部によって表示される表示データは、第２の尤度の降順で情報を含んでもよい。
　これにより、発話のカテゴリである可能性の高いものから提示されるため、ユーザにとって分かり易い情報を提供することができる。
　（７）（１）～（６）の表示処理部によって表示される表示データは、発話データが音声認識処理によってテキスト化されたテキストデータを発話の時系列で含んでもよい。
　これにより、会話の内容を把握可能となるため、ユーザにとって分かり易い情報を提供することができる。
　（８）（７）の表示処理部によって表示される表示データは、テキストデータにおいて所定の用語を強調されたデータであってもよい。　
　これにより、会話の内容のポイントが把握可能となるため、ユーザにとって分かり易い情報を提供することができる。
　（９）（１）～（８）の制御部は、発話データ毎に、各カテゴリに関する第１の尤度を演算してもよい。　
　これにより、発話解析装置内で第１の尤度を算出することができるため、ネットワークの負荷に依存せずに処理することができる。
　（１０）（１）～（９）発話データは、複数の発話者の対話のデータであってもよい。
　これにより、より多くの情報から尤度を算出することができるため、話題のカテゴリを特定しやすくなる。
　（１１）本開示の発話解析方法は、発話者の発話の内容を解析し、発話に関する情報を表示する発話解析方法であって、取得部が、発話者の発話データを時系列の順番で取得するステップと、制御部が、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、発話データの内容を解析するステップと、表示処理部が、制御部による制御に従って、発話データのカテゴリに関連する関連情報を含む表示データを表示させるステップとを含み、制御部は、時系列に沿って発話データが取得される毎に複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、表示処理部に優先して表示させる関連情報を順次に選択する。
　これにより、発話者の発話における話題に応じた情報を提供することができる。
　（１２）本開示のプログラムは、（１１）の方法をコンピュータに実行させる。
　これにより、発話者の発話における話題に応じた情報を提供することができる。
　本開示の全請求項に記載の発話解析装置、発話解析方法及びプログラムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
　本開示の発話解析装置、発話解析方法及びプログラムは、例えば、質問、問い合わせ等に回答する回答者に対し、回答の際に参照するマニュアル等の情報に誘導する場合に有用である。
１　発話解析装置
１１　制御部
１１１　取得部
１１２　演算部
１１３　解析部
１１４　生成部
１１５　表示処理部
１２　記憶部
１２１　発話データ
１２２　マニュアルデータ

Claims (12)

  1. 　発話者の発話データを時系列の順番で取得する取得部と、
    　前記取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、前記発話データの内容を解析する制御部と、
    　前記制御部による制御に従って、前記発話データのカテゴリに関連する関連情報を含む表示データを表示させる表示処理部とを備え、
    　前記制御部は、前記時系列に沿って前記発話データが取得される毎に前記複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、前記表示処理部に優先して表示させる関連情報を順次選択する
    　発話解析装置。
  2. 　前記制御部は、
    　前記時系列における解析対象期間内の複数の発話データの第１の尤度を積算して第２の尤度をカテゴリ毎に演算し、
    　当該第２尤度が高いカテゴリを優先して、対応する関連情報を前記表示処理部に表示させる
    　請求項１に記載の発話解析装置。
  3. 　前記制御部は、前記解析対象期間に出現する頻度が高い程、大きな値に設定される第１の重み値を用いて、前記第２の尤度を求める
    　請求項２に記載の発話解析装置。
  4. 　前記制御部は、前記解析対象期間の開始時よりも終了時に近い程、大きな値に設定される第２の重み値を用いて、前記第２の尤度を求める
    　請求項２又は３に記載の発話解析装置。
  5. 　ユーザから指定された期間の入力を受け付ける受付部を備え、
    　前記制御部は、前記受付部が受け付けた期間を前記解析対象期間として前記第２の尤度を求める
    　請求項２乃至４のいずれか１に記載の発話解析装置。
  6. 　前記制御部は、前記第２の尤度の高いカテゴリと関連付けられる所定数の情報を選択し、
    　前記表示処理部によって表示される表示データは、前記第２の尤度の降順で前記情報を含む
    　請求項２乃至５のいずれか１に記載の発話解析装置。
  7. 　前記表示処理部によって表示される表示データは、前記発話データが音声認識処理によってテキスト化されたテキストデータを発話の時系列で含む
    　請求項１乃至６のいずれか１に記載の発話解析装置。
  8. 　前記表示処理部によって表示される表示データは、前記テキストデータにおいて所定の用語を強調されたデータである
    　請求項７に記載の発話解析装置。
  9. 　前記制御部は、前記発話データ毎に、各カテゴリに関する第１の尤度を演算する
    　請求項１乃至８のいずれか１に記載の発話解析装置。
  10. 　前記発話データは、複数の発話者の対話のデータである
    　請求項１乃至９のいずれか１に記載の発話解析装置。
  11. 　発話者の発話の内容を解析し、発話に関する情報を表示する発話解析方法であって、
    　取得部が、発話者の発話データを時系列の順番で取得するステップと、
    　制御部が、前記取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、前記発話データの内容を解析するステップと、
    　表示処理部が、前記制御部による制御に従って、前記発話データのカテゴリに関連する関連情報を含む表示データを表示させるステップとを含み、
    　前記制御部は、前記時系列に沿って前記発話データが取得される毎に前記複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、前記表示処理部に優先して表示させる関連情報を順次に選択する
    　発話解析方法。
  12. 　請求項１１に記載の方法をコンピュータに実行させるためのプログラム。
PCT/JP2020/021811 2019-07-04 2020-06-02 発話解析装置、発話解析方法及びプログラム WO2021002137A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021529930A JP7407190B2 (ja) 2019-07-04 2020-06-02 発話解析装置、発話解析方法及びプログラム
CN202080046853.2A CN114026557A (zh) 2019-07-04 2020-06-02 说话解析装置、说话解析方法以及程序
US17/554,248 US12094464B2 (en) 2019-07-04 2021-12-17 Utterance analysis device, utterance analysis method, and computer program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019125454 2019-07-04
JP2019-125454 2019-07-04
JP2019-134559 2019-07-22
JP2019134559 2019-07-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/554,248 Continuation US12094464B2 (en) 2019-07-04 2021-12-17 Utterance analysis device, utterance analysis method, and computer program

Publications (1)

Publication Number Publication Date
WO2021002137A1 true WO2021002137A1 (ja) 2021-01-07

Family

ID=74100168

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/021809 WO2021002136A1 (ja) 2019-07-04 2020-06-02 発話解析装置、発話解析方法及びプログラム
PCT/JP2020/021811 WO2021002137A1 (ja) 2019-07-04 2020-06-02 発話解析装置、発話解析方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021809 WO2021002136A1 (ja) 2019-07-04 2020-06-02 発話解析装置、発話解析方法及びプログラム

Country Status (4)

Country Link
US (2) US12094464B2 (ja)
JP (2) JP7531164B2 (ja)
CN (2) CN114026557A (ja)
WO (2) WO2021002136A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4027247A4 (en) * 2019-09-02 2023-05-10 Imatrix Holdings Corp. TEXT ANALYSIS SYSTEM AND EVALUATION SYSTEM OF THE CHARACTERISTICS FOR MESSAGE EXCHANGE WITH THIS SYSTEM
JP7524784B2 (ja) 2021-02-01 2024-07-30 オムロン株式会社 情報処理装置、制御システムおよびレポート出力方法
US11893990B2 (en) * 2021-09-27 2024-02-06 Sap Se Audio file annotation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123706A (ja) * 2009-12-11 2011-06-23 Advanced Media Inc 文章分類装置および文章分類方法
JP2011221873A (ja) * 2010-04-12 2011-11-04 Nippon Telegr & Teleph Corp <Ntt> データ分類方法及び装置及びプログラム
WO2018110029A1 (ja) * 2016-12-13 2018-06-21 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5329610U (ja) 1976-08-18 1978-03-14
JPS5468474U (ja) 1977-10-24 1979-05-15
US20080300872A1 (en) * 2007-05-31 2008-12-04 Microsoft Corporation Scalable summaries of audio or visual content
US8422787B2 (en) * 2007-12-27 2013-04-16 Nec Corporation Apparatus, method and program for text segmentation
JP5468474B2 (ja) 2010-06-21 2014-04-09 株式会社野村総合研究所 トークスクリプト利用状況算出システムおよびトークスクリプト利用状況算出プログラム
JP5329610B2 (ja) 2011-07-22 2013-10-30 みずほ情報総研株式会社 説明支援システム、説明支援方法及び説明支援プログラム
JP5774459B2 (ja) 2011-12-08 2015-09-09 株式会社野村総合研究所 談話要約テンプレート作成システムおよび談話要約テンプレート作成プログラム
US8612211B1 (en) * 2012-09-10 2013-12-17 Google Inc. Speech recognition and summarization
WO2016027364A1 (ja) 2014-08-22 2016-02-25 株式会社日立製作所 話題クラスタ選択装置、及び検索方法
EP3254456B1 (en) * 2015-02-03 2020-12-30 Dolby Laboratories Licensing Corporation Optimized virtual scene layout for spatial meeting playback
JP2017016566A (ja) * 2015-07-06 2017-01-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6718345B2 (ja) * 2016-09-21 2020-07-08 日本電信電話株式会社 テキスト分析方法、テキスト分析装置、及びプログラム
JP2018194980A (ja) 2017-05-15 2018-12-06 富士通株式会社 判定プログラム、判定方法および判定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123706A (ja) * 2009-12-11 2011-06-23 Advanced Media Inc 文章分類装置および文章分類方法
JP2011221873A (ja) * 2010-04-12 2011-11-04 Nippon Telegr & Teleph Corp <Ntt> データ分類方法及び装置及びプログラム
WO2018110029A1 (ja) * 2016-12-13 2018-06-21 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム

Also Published As

Publication number Publication date
WO2021002136A1 (ja) 2021-01-07
JPWO2021002137A1 (ja) 2021-01-07
CN114072786A (zh) 2022-02-18
JPWO2021002136A1 (ja) 2021-01-07
US20220114348A1 (en) 2022-04-14
JP7531164B2 (ja) 2024-08-09
JP7407190B2 (ja) 2023-12-28
US20220108697A1 (en) 2022-04-07
CN114026557A (zh) 2022-02-08
US12094464B2 (en) 2024-09-17

Similar Documents

Publication Publication Date Title
WO2021002137A1 (ja) 発話解析装置、発話解析方法及びプログラム
US11455985B2 (en) Information processing apparatus
US8386252B2 (en) Estimating a listener&#39;s ability to understand a speaker, based on comparisons of their styles of speech
US10592997B2 (en) Decision making support device and decision making support method
US20190189123A1 (en) Dialog method, dialog apparatus, and program
CN110570853A (zh) 基于语音数据的意图识别方法和装置
CN108431883A (zh) 语言学习系统以及语言学习程序
JP6567729B1 (ja) コールセンタ装置、特定方法及びプログラム
Bonin et al. Investigating fine temporal dynamics of prosodic and lexical accommodation
JP2019090942A (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
JP4587854B2 (ja) 感情解析装置、感情解析プログラム、プログラム格納媒体
US20220392485A1 (en) System and Method For Identifying Sentiment (Emotions) In A Speech Audio Input
Govender et al. Measuring the Cognitive Load of Synthetic Speech Using a Dual Task Paradigm.
US20200349933A1 (en) Speech Dialog System Aware of Ongoing Conversations
KR20210000802A (ko) 인공지능 음성 인식 처리 방법 및 시스템
JP6373621B2 (ja) 話し方評価装置、話し方評価方法、プログラム
EP4024395B1 (en) Speech analyser and related method
KR102274751B1 (ko) 평가정보를 제공하는 사용자 맞춤형 발음 평가 시스템
US20220270503A1 (en) Pronunciation assessment with dynamic feedback
KR101250051B1 (ko) 발음 교정을 위한 음성 신호 분석 방법 및 장치
KR102632806B1 (ko) Stt결과 조기 확정을 위한 음성 인식 방법 및 장치
US20230038118A1 (en) Correction method of synthesized speech set for hearing aid
Patel et al. Google duplex-a big leap in the evolution of artificial intelligence
JP2005221679A (ja) 発話スタイル評価装置及び発話スタイル分類装置
KR20220170330A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20828947

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021529930

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20828947

Country of ref document: EP

Kind code of ref document: A1