WO2020044543A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020044543A1
WO2020044543A1 PCT/JP2018/032379 JP2018032379W WO2020044543A1 WO 2020044543 A1 WO2020044543 A1 WO 2020044543A1 JP 2018032379 W JP2018032379 W JP 2018032379W WO 2020044543 A1 WO2020044543 A1 WO 2020044543A1
Authority
WO
WIPO (PCT)
Prior art keywords
utterance
utterances
unit
voice
last
Prior art date
Application number
PCT/JP2018/032379
Other languages
English (en)
French (fr)
Inventor
文 王
悠介 小路
岡登　洋平
相川　勇之
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/032379 priority Critical patent/WO2020044543A1/ja
Priority to CN201880096683.1A priority patent/CN112585674A/zh
Priority to DE112018007847.7T priority patent/DE112018007847B4/de
Priority to JP2020539991A priority patent/JP6797338B2/ja
Publication of WO2020044543A1 publication Critical patent/WO2020044543A1/ja
Priority to US17/181,729 priority patent/US20210183362A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • Patent Literature 1 discloses a first determination unit that determines the presence or absence of an utterance by a driver using a driver as a voice command input target using a sound source direction and an image, and a second determination unit that determines whether or not a passenger utters an utterance. And a voice recognition device that determines the start of voice command recognition by utilizing the fact that the driver has uttered.
  • the start condition of voice command recognition is that a passenger is not uttering immediately after uttering by the driver, so that even if there is a passenger in the vehicle, another It is possible to distinguish whether the user is talking to a human or speaking into a microphone for voice input.
  • the voice recognition device described in Patent Literature 1 cannot execute a driver's voice command.
  • First case a passenger in the passenger seat is talking with a passenger in the back seat, and the driver is giving a command.
  • An information processing apparatus includes a voice acquisition unit configured to obtain a voice signal indicating voice corresponding to a plurality of utterances issued by one or a plurality of users, and recognizing the voice from the voice signal; The recognized voice is converted into a character string, and the plurality of utterances are specified, and a voice recognition unit that specifies a time corresponding to each of the plurality of utterances, and the one or plurality of users, A speaker recognition unit that recognizes a user who has uttered each of the utterances as a speaker, including a plurality of items, wherein each of the plurality of items corresponds to each of the plurality of utterances and each of the plurality of utterances A speech history storage unit that stores speech history information indicating a time and the speaker corresponding to each of the plurality of speeches, an intention estimation unit that estimates an intention of each of the plurality of speeches, and the speech history Refer to the information and When the last utterance of the utterance is
  • the information processing method obtains a voice signal indicating voice corresponding to a plurality of utterances uttered by one or a plurality of users, recognizes the voice from the voice signal, and recognizes the recognized voice. Is converted to a character string, the plurality of utterances are specified, the time corresponding to each of the plurality of utterances is specified, and the user who uttered each of the plurality of utterances from the one or plurality of users is spoken.
  • a program a computer, a voice obtaining unit that obtains a voice signal indicating voice corresponding to a plurality of utterances uttered by one or a plurality of users, and recognizes the voice from the voice signal, The recognized voice is converted into a character string to specify the plurality of utterances, and a voice recognition unit for specifying a time corresponding to each of the plurality of utterances, and A speaker recognition unit that recognizes a user who has uttered each of the utterances as a speaker, and a plurality of items, each of the plurality of items corresponding to each of the plurality of utterances and each of the plurality of utterances An utterance history storage unit that stores utterance history information indicating the time and the speaker corresponding to each of the plurality of utterances; an intention estimation unit that estimates an intention of each of the plurality of utterances; See history information Then, if the last utterance of the plurality of the plurality of utterances
  • the present invention it is possible to determine whether an utterance by a certain user is an utterance for inputting a voice command, even when there are a plurality of users.
  • FIG. 1 is a block diagram schematically showing a configuration of an intention understanding device according to a first embodiment.
  • FIG. 3 is a block diagram schematically showing a configuration of an instruction determining unit according to the first embodiment.
  • FIG. 3 is a block diagram schematically showing a configuration of a context matching rate estimating unit in the first embodiment.
  • FIG. 3 is a block diagram schematically showing a configuration of a dialog model learning unit according to the first embodiment.
  • FIG. 3 is a block diagram schematically showing a first example of a hardware configuration of an intention understanding device. It is a block diagram showing roughly the 2nd example of hardware constitutions of an intention understanding device.
  • 5 is a flowchart showing an operation in an intention estimating process by the intention understanding device in the first embodiment.
  • FIG. 9 is a schematic diagram illustrating an example of utterance history information.
  • 5 is a flowchart illustrating an operation of a command determination process for a car navigation according to the first embodiment. It is a flowchart which shows the operation
  • FIG. 9 is a schematic diagram illustrating a first calculation example of a context matching rate. It is a schematic diagram showing the 2nd example of calculation of a context matching rate. It is a flowchart which shows operation
  • FIG. 9 is a block diagram schematically showing a configuration of an intention understanding device according to a second embodiment.
  • FIG. 9 is a block diagram schematically showing a configuration of an intention understanding device according to a second embodiment.
  • FIG. 13 is a block diagram schematically showing a configuration of an instruction determining unit according to Embodiment 2.
  • FIG. 9 is a schematic diagram illustrating an example of an utterance group identified as a first pattern. It is the schematic which shows the example of the utterance group identified as a 2nd pattern.
  • FIG. 9 is a schematic diagram illustrating an example of an utterance group identified as a third pattern. It is the schematic which shows the example of the utterance group identified as the 4th pattern.
  • FIG. 13 is a block diagram schematically showing a configuration of a context matching rate estimating unit according to Embodiment 2.
  • FIG. 11 is a block diagram schematically showing a configuration of a dialog model learning unit according to Embodiment 2.
  • 13 is a flowchart showing an operation in an intention estimating process by the intention understanding device according to the second embodiment.
  • 9 is a flowchart illustrating an operation of a command determination process for a car navigation system according to the second embodiment.
  • FIG. 1 is a block diagram schematically showing a configuration of an intention understanding device 100 according to the first embodiment.
  • the intention understanding device 100 includes an acquisition unit 110, a processing unit 120, and an instruction execution unit 150.
  • the acquisition unit 110 is an interface that acquires audio and video.
  • the acquisition unit 110 includes an audio acquisition unit 111 and a video acquisition unit 112.
  • the voice obtaining unit 111 obtains a voice signal indicating voice corresponding to a plurality of utterances uttered by one or a plurality of users.
  • the audio acquisition unit 111 acquires an audio signal from an audio input device such as a microphone (not shown).
  • the image acquisition unit 112 acquires an image signal indicating an image of a space where one or a plurality of users are present.
  • the video acquisition unit 112 acquires a video signal indicating a captured video from a video input device such as a camera (not shown).
  • the image acquisition unit 112 acquires an image signal indicating an in-vehicle image, which is an in-vehicle image of a vehicle (not shown) on which the intention understanding device 100 is mounted.
  • the processing unit 120 uses the audio signal and the video signal from the acquisition unit 110 to determine whether the utterance from the user is a voice command for controlling the target car navigation system.
  • the processing unit 120 includes a voice recognition unit 121, a speaker recognition unit 122, an intention estimation unit 123, an utterance history registration unit 124, an utterance history storage unit 125, a occupant number determination unit 126, and a command determination unit 130. Is provided.
  • the voice recognition unit 121 recognizes the voice indicated by the voice signal acquired by the voice acquisition unit 111, converts the recognized voice into a character string, and specifies the utterance from the user. Then, the voice recognition unit 121 generates utterance information indicating the specified utterance. Further, the voice recognition unit 121 specifies a time corresponding to the specified utterance, for example, a time at which the voice corresponding to the utterance is recognized. Then, the voice recognition unit 121 generates time information indicating the specified time.
  • the voice recognition in the voice recognition unit 121 uses a known technique. For example, using the technology described in “IT Text Speech Recognition System”, edited by Kiyohiro Kano, Katsunari Ito, Tatsuya Kawahara, Kazuya Takeda and Mikio Yamamoto, Ohmsha, Inc., 2001, Chapter 3, pages 43-50. By doing so, speech recognition processing can be realized. Specifically, using a Hidden Markov Model (HMM), which is a statistical model of a time series trained for each phoneme, a sequence of observed speech features is output with the highest probability. What is necessary is just to recognize speech.
  • HMM Hidden Markov Model
  • the speaker recognizing unit 122 recognizes the user who has made the utterance as a speaker from the voice indicated by the voice signal acquired by the voice acquiring unit 111. Then, the speaker recognition unit 122 generates speaker information indicating the recognized speaker.
  • the speaker recognition process in the speaker recognition unit 122 uses a known technique. For example, speaker recognition processing can be realized by using the technology described in Sadayoshi Furui, "Speech Information Processing", Morikita Publishing Co., Ltd., 1998, Chapter 6, pages 133 to 146. . Specifically, standard patterns of voices of a plurality of speakers are registered in advance, and a speaker having the highest similarity (likelihood) may be selected from the registered standard patterns.
  • the intention estimation unit 123 estimates the user's intention from the utterance indicated by the utterance information generated by the speech recognition unit 121.
  • the technique of estimating intention uses a known technique regarding text classification.
  • Intention estimation processing is feasible. Specifically, a line for classifying a plurality of classes (intentions) is obtained from the learning data using SVM (Support Vector Machine), and the utterance indicated by the utterance information generated by the voice recognition unit 121 is eventually changed. What is necessary is just to classify into that class (intention).
  • the utterance history registering unit 124 generates the utterance indicated by the utterance information generated by the voice recognition unit 121, the time indicated by the time information corresponding to the utterance information, and the utterance indicated by the speaker information corresponding to the utterance information.
  • the user is registered as one item in the utterance history information stored in the utterance history storage unit 125.
  • the utterance history storage unit 125 stores utterance history information including a plurality of items. Each of the plurality of items indicates an utterance, a time corresponding to the utterance, and a speaker corresponding to the utterance.
  • the number-of-passengers determination unit 126 is a number-of-passengers determination unit that determines the number of passengers using the in-vehicle image indicated by the video signal from the video acquisition unit 112. It should be noted that the number-of-rides determination in the number-of-rides determination unit 126 uses a known technique regarding face recognition. For example, the processing of determining the number of passengers by using the face recognition technology described in Yuuki Sakai, "Introduction to Image Processing and Pattern Recognition", Morikita Publishing Co., Ltd., 2006, Chapter 7 (pages 119 to 122). Is feasible. Specifically, the number of occupants can be determined by recognizing the face of the occupant by pattern matching of the face image.
  • the command determination unit 130 determines the utterance information generated by the voice recognition unit 121, the speaker information generated by the speaker recognition unit 122, and the immediately preceding item in the utterance history information stored in the utterance history storage unit 110. Is used to determine whether the currently input utterance of the user is a voice command for car navigation.
  • the command determination unit 130 refers to the utterance history information, and refers to the last utterance of the plurality of utterances, in other words, the utterance indicated by the utterance information and the last utterance of the plurality of utterances. It is determined whether or not one or a plurality of utterances immediately before is a dialogue. Then, when it is determined that the conversation is not a dialog, the command determination unit 130 determines that the last utterance is a voice command for controlling the target.
  • FIG. 2 is a block diagram schematically showing a configuration of the instruction determination unit 130.
  • the instruction determining unit 130 includes an utterance history extracting unit 131, a context matching rate estimating unit 132, a general dialogue model storage unit 135, a determination execution unit 136, a determination rule storage unit 137, and a dialogue model learning unit 140. .
  • the utterance history extraction unit 131 extracts one or more items immediately before the last utterance from the utterance history information stored in the utterance history storage unit 125.
  • the context matching rate estimating unit 132 uses the general dialogue model information stored in the general dialogue model storage unit 135 and the last utterance of the current user and the item extracted from the utterance history storage unit 125. Estimate the context relevance rate with the utterance included in.
  • the context relevance indicates the degree of relevance of those utterances as context. Therefore, when the context matching rate is high, it can be determined that a dialogue is being performed, and when the context matching rate is low, it can be determined that no dialogue has been performed.
  • FIG. 3 is a block diagram schematically showing a configuration of the context matching rate estimation unit 132.
  • the context matching rate estimating unit 132 includes a context matching rate calculating unit 133 and a context matching rate output unit 134.
  • the context matching rate calculation unit 133 refers to the general dialogue model information stored in the general dialogue model storage unit 135, and refers to the utterance input to the voice acquisition unit 111 and the utterance stored in the utterance history extraction unit 131. Calculate the context matching rate with the utterance included in the item immediately before the history information.
  • the context relevance calculator 133 calculates the context relevance ratio according to Ilya Sutskever, Oriol Vinyls, and Quoc V. Le, "Sequence to Sequence Learning with Neural Networks" (Advances in neural information processing systems), Encoder Decoder that can be implemented by Encoder Decoder technology described in 2014.
  • the utterance included in the immediately preceding item from the utterance history information is set as the input sentence X
  • the utterance input to the voice acquisition unit 111 is set as the output sentence Y
  • the probability that the input sentence X becomes the output sentence Y By calculating P (Y
  • the context matching rate calculation unit 133 calculates the probability from the immediately preceding utterance to the current user's utterance as the context matching rate.
  • the context matching rate output unit 134 provides the probability P calculated by the context matching rate calculating unit 133 to the determination executing unit 136 as a context matching rate.
  • the general dialogue model storage unit 135 stores general dialogue model information indicating a general dialogue model which is a dialogue model learned in a general dialogue performed by a plurality of users.
  • the determination execution unit 136 determines whether or not the current user's utterance is a command for car navigation according to the determination rule stored in the determination rule storage unit 137.
  • the determination rule storage unit 137 is a database that stores determination rules for determining whether the current user's utterance is a command for car navigation.
  • the dialog model learning unit 140 learns a dialog model from a general dialog.
  • FIG. 4 is a block diagram schematically showing a configuration of the dialog model learning unit 140.
  • the dialog model learning unit 140 includes a general dialog storage unit 141, a learning data generation unit 142, and a model learning unit 143.
  • the general conversation storage unit 141 stores general conversation information indicating a conversation generally performed by a plurality of users.
  • the learning data generation unit 142 separates the last utterance and the immediately preceding utterance from the general dialog information stored in the general dialog storage unit 141, and changes the utterance to the learning data format.
  • the model learning unit 143 learns Encoder ⁇ Decoder ⁇ Model using the learning data generated by the learning data generation unit 142, and stores general dialog model information indicating the learned model as a general dialog model, and a general dialog model storage unit. 135. Note that the processing in the model learning unit 143 may use the method described in the above-mentioned “Sequence to Sequence, Learning, With, Natural, Networks”.
  • the command execution unit 150 executes an operation for a voice command. Specifically, when the command determination unit 130 determines that the last utterance is a voice command, the command execution unit 150 controls the target according to the intention estimated from the last utterance.
  • FIG. 5 is a block diagram schematically illustrating a first example of a hardware configuration of the intention understanding device 100.
  • the intention understanding device 100 includes, for example, a processor 160 such as a CPU (Central Processing Unit), a memory 161, a sensor interface (sensor I / F) 162 such as a microphone, a keyboard, and a camera; a hard disk 163 as a storage device; An output interface (output I / F) 164 for outputting video, audio, or instructions to a speaker (audio output device) or a display (display device) (not shown) is provided.
  • a processor 160 such as a CPU (Central Processing Unit), a memory 161, a sensor interface (sensor I / F) 162 such as a microphone, a keyboard, and a camera; a hard disk 163 as a storage device;
  • An output interface (output I / F) 164 for outputting video, audio, or instructions to a speaker (audio output device) or a display (display device) (not shown) is
  • the acquisition unit 110 can be realized by the processor 160 using the sensor I / F 162.
  • the processing unit 120 can be realized by the processor 160 reading out the programs and data stored in the hard disk 163 into the memory 161 to execute and use the programs and data.
  • the instruction execution unit 150 reads the program and data stored in the hard disk 163 into the memory 161 and executes and uses the program and data.
  • the instruction execution unit 150 also outputs video, audio, or instruction from the output I / F 164 to another device as necessary. Is output.
  • Such a program may be provided through a network, or may be provided by being recorded on a recording medium. That is, such a program may be provided as a program product, for example.
  • FIG. 6 is a block diagram schematically illustrating a second example of the hardware configuration of the intent understanding device 100.
  • a processing circuit 165 may be provided as shown in FIG.
  • the processing circuit 165 can be configured by a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuits), an FPGA (Field Programmable Gate Array), or the like.
  • FIG. 7 is a flowchart illustrating an operation of the intention understanding device 100 in the intention estimation process.
  • the voice obtaining unit 111 obtains a voice signal indicating a voice uttered by the user from a microphone (not shown) (S10).
  • the audio acquisition unit 111 passes the audio signal to the processing unit 120.
  • the speaker recognition section 122 performs a speaker recognition process from the voice signal (S11).
  • the speaker recognition unit 122 passes the speaker information indicating the recognized speaker to the speech history registration unit 124 and the command determination unit 130.
  • the voice recognition unit 121 recognizes the voice indicated by the voice signal, converts the recognized voice into a character string, and generates utterance information indicating an utterance composed of the converted character string, and such voice recognition. Is generated (S12).
  • the voice recognition unit 121 passes the utterance information and the time information to the intention estimation unit 123, the utterance history registration unit 124, and the command determination unit 130.
  • the utterance indicated by the utterance information generated last by the voice recognition unit 121 is the utterance of the current user.
  • the utterance history registration unit 124 includes items indicating the utterance indicated by the utterance information, the time indicated by the time information corresponding to the utterance information, and the speaker indicated by the speaker information corresponding to the utterance information. Is registered in the utterance history information stored in the utterance history storage unit 125 (S13).
  • FIG. 8 is a schematic diagram illustrating an example of the speech history information.
  • the utterance history information 170 illustrated in FIG. 8 includes a plurality of lines. Each of the plurality of lines includes an utterance indicated by the utterance information, a time indicated by time information corresponding to the utterance information, This is one item indicating the speaker indicated by the speaker information corresponding to the utterance information.
  • the utterance history information 170 shown in FIG. 8 has contents spoken by two speakers.
  • the intention estimating unit 123 estimates the user's intention from the utterance information that is the result of the voice recognition (S14).
  • the intention estimation in the intention estimation unit 123 is a text classification problem.
  • the intention is defined in advance, and the intention estimating unit 123 classifies the current user's utterance into one of the intentions.
  • the current user's utterance “Turn on the air conditioner” is classified as an intention of "TURN_ON_AIR_CONDITIONER” which means to start the air conditioner.
  • the utterance of the current user is classified into the intention "UNKNOWN” indicating that the intention is unknown. That is, the intention estimating unit 123 classifies the current user's utterance into the predetermined intention if the current user's utterance can be classified into the predetermined specific intention, and if the current user's utterance cannot be classified into the predetermined specific intention, the intention Is classified as “UNKNOWN” indicating that the name is unknown.
  • the intention estimating unit 123 determines whether or not the intention estimation result is “UNKNOWN” (S15). If the intention estimation result is not UNKNOWN (Yes in S15), the intention estimation result is passed to the instruction execution unit 150 of the instruction determination unit 130, and the process proceeds to step S16. If the intention estimation result is “UNKNOWN” (No in S15), the process ends.
  • step S ⁇ b> 16 the video acquisition unit 112 acquires a video signal indicating an in-vehicle video from the camera, and passes the video signal to the occupant determination unit 126.
  • the occupant number determination unit 126 determines the number of occupants from the in-vehicle image, and passes the occupant number information indicating the determined occupant number to the instruction determination unit 130 (S17).
  • the command determination unit 130 determines whether or not the number of passengers indicated by the information on the number of passengers is one (S18). If the number of passengers is one (Yes in S18), the process proceeds to step S21, and if the number of passengers is not one, in other words, if the number of passengers is plural (No in S18), The process proceeds to step S19.
  • step S19 the command determination unit 130 determines whether the intention estimation result is a voice command that is a command for car navigation.
  • the processing in step S19 will be described in detail with reference to FIG. Then, if the intention estimation result is a voice command (Yes in S20), the process proceeds to step S21, and if the intention estimation result is not a voice command (No in S20), the process ends.
  • step S21 the instruction determination unit 130 passes the intention estimation result to the instruction execution unit 150, Instruction execution unit 150 performs an operation on the intention estimation result. For example, when the intention estimation result is “TURN_ON_AIR_CONDITIONER”, the command execution unit 150 outputs an instruction to activate the air conditioner in the vehicle.
  • FIG. 9 is a flowchart showing the operation of the command determination process for car navigation.
  • the speech history extraction unit 131 extracts the immediately preceding item from the speech history information stored in the speech history storage unit 125 (S30).
  • the utterance history extraction unit 131 extracts items based on a predetermined reference, such as items in the past 10 seconds or items in the past 10 cases.
  • the utterance history extraction unit 131 passes the extracted items to the context matching rate estimation unit 132 together with the utterance information indicating the utterance of the current user.
  • the context matching rate estimating unit 132 uses the general dialogue model information stored in the general dialogue model storage unit 135 to perform context matching between the current user's utterance and the utterance included in the immediately preceding item.
  • the rate is estimated (S31). The details of the process here will be described in detail with reference to FIG.
  • the context matching rate estimation unit 132 passes the estimation result to the determination execution unit 136.
  • the determination execution unit 136 determines whether to execute the intention estimation result according to the determination rule indicated by the determination rule information stored in the determination rule storage unit 137 (S32).
  • the determination rule 1 a determination rule that “determines that the command is not a navigation command when the context matching rate is larger than the threshold value 0.5” is used. According to this determination rule, when the context matching rate is equal to or less than the threshold value of 0.5, the determination execution unit 136 determines that the intention estimation result is a command for navigation, which is a voice command, and the context matching rate is 0. If it is larger than 5, the determination execution unit 136 determines that the intention estimation result is not a command for navigation.
  • a rule for calculating a weighted context matching rate in which the context matching rate is weighted using the elapsed time from the immediately preceding utterance may be used.
  • the determination execution unit 136 performs the determination of the determination rule 1 using the weighted context conformance, so that the longer the elapsed time until the utterance of the current user is, the lower the context conformance is.
  • the determination rule 2 need not always be used.
  • the determination rule 2 can be made by comparing the context matching rate with a threshold value according to the determination rule 1.
  • a determination can be made by comparing a value obtained by correcting the calculated context matching rate by weight with a threshold.
  • FIG. 10 is a flowchart illustrating the operation of the context matching rate estimation process.
  • the context matching rate calculation unit 133 uses the general dialogue model information stored in the general dialogue model storage unit 135 to determine the compatibility between the utterance of the current user and the utterance included in the immediately preceding item. The probability of the degree is calculated as a context matching rate (S40).
  • Example 1 when the utterance of the current user is “I want the temperature to drop,” the connection with the immediately preceding utterance is strong, so the context matching rate is 0. 9 is calculated.
  • Example 2 when the utterance of the current user is “Is next right?” As in Example 2 shown in FIG. 12, the connection with the immediately preceding utterance is weak, and the context matching rate is 0. Calculated as 1.
  • the context matching rate calculation unit 133 passes the calculated context matching rate to the determination execution unit 136 (S41). For example, as shown in Example 1 of FIG. 11, when the context matching rate is 0.9, it is determined that the intention estimation result is not a car navigation command according to the determination rule 1. On the other hand, as shown in Example 2 of FIG. 11, when the context matching rate is 0.1, the determination rule 1 determines that the intention estimation result is a car navigation command.
  • the determination result is a command for the car navigation.
  • FIG. 13 is a flowchart illustrating the operation of the process of learning the conversation model.
  • the learning data generation unit 142 extracts general conversation information stored in the general conversation storage unit 141, separates the last utterance from other utterances for each conversation, and generates learning data ( S50).
  • the learning data generation unit 142 specifies one conversation from the general conversation information stored in the general conversation storage unit 141. Then, for example, as illustrated in FIG. 15, the learning data generating unit 142 generates learning data by setting the last utterance of one conversation as the current user's utterance and setting the other utterance as the immediately preceding utterance. . The learning data generation unit 142 passes the generated learning data to the model learning unit 143.
  • the model learning unit 143 creates an Encoder ⁇ Decoder ⁇ Model by the deep learning method based on the learning data (S51). Then, the model learning unit 143 causes the general dialogue model storage unit 135 to store general model information indicating the created Encoder ⁇ Decoder ⁇ Model.
  • the processing in the model learning unit 143 has been described using the Encoder Decoder Model as a learning method, but other methods can be used.
  • a supervised machine learning method such as SVM can be used.
  • SVM a general supervised machine learning method
  • the Encoder Decoder Model is excellent in that a label is not required for learning data.
  • FIG. FIG. 16 is a block diagram schematically showing a configuration of an intention understanding device 200 as an information processing device according to the second embodiment.
  • the intention understanding device 200 includes an acquisition unit 210, a processing unit 220, and an instruction execution unit 150.
  • the instruction execution unit 150 of the intention understanding device 200 according to the second embodiment is the same as the instruction execution unit 150 of the intention understanding device 100 according to the first embodiment.
  • the acquisition unit 210 is an interface for acquiring voice, video, and call history.
  • the acquisition unit 210 includes an audio acquisition unit 111, a video acquisition unit 112, and a call information acquisition unit 213.
  • the audio acquisition unit 111 and the video acquisition unit 112 of the acquisition unit 210 according to the second embodiment are the same as the audio acquisition unit 111 and the video acquisition unit 112 of the acquisition unit 110 according to the first embodiment.
  • the transmission / reception information acquisition unit 213 acquires transmission / reception information indicating a call transmission / reception history from the portable terminal of the user.
  • the transmission / reception information acquisition unit 213 passes the transmission / reception information to the processing unit 220.
  • the processing unit 220 determines whether or not the user's voice is a voice command for controlling the target car navigation system using the audio signal, the video signal, and the outgoing / incoming / outgoing information from the obtaining unit 210.
  • the processing unit 220 includes a voice recognition unit 121, a speaker recognition unit 122, an intention estimation unit 123, an utterance history registration unit 124, an utterance history storage unit 125, a passenger count determination unit 126, a topic determination unit 227, , An instruction determination unit 230.
  • the speech recognition unit 121, the speaker recognition unit 122, the intention estimation unit 123, the utterance history registration unit 124, the utterance history storage unit 125, and the occupant number determination unit 126 of the processing unit 220 according to the second embodiment perform the processing according to the first embodiment. This is the same as the speech recognition unit 121, the speaker recognition unit 122, the intention estimation unit 123, the speech history registration unit 124, the speech history storage unit 125, and the number of passengers determination unit 126 of the unit 120.
  • the topic determination unit 227 determines a topic related to the utterance indicated by the utterance information that is the result of the voice recognition by the voice recognition unit 121.
  • the determination of the topic here can be realized by using a supervised machine learning method such as SVM.
  • the topic determination unit 227 determines that the current user's utterance is a voice command as a command for a car navigation system. I do. It is assumed that the specific topic included in the predetermined topic list is, for example, a topic related to an ambiguity utterance that is difficult to determine whether the utterance is directed to humans or an utterance directed to a car navigation system. For example, the specific topic includes a topic such as "guidance" or "air conditioner operation".
  • the topic determination unit 227 determines, for example, the current user's utterance “How long will it be?” As the topic “Route guidance”, the determined topic “Route guidance” is predetermined. Since it is on the topic list, the topic determination unit 227 determines that the instruction is for a car navigation system.
  • the command determination unit 230 includes the utterance information generated by the voice recognition unit 121, the speaker information generated by the speaker recognition unit 122, the transmission / reception information acquired by the transmission / reception information acquisition unit 213, and the utterance history storage Utilizing the immediately preceding item in the utterance history information stored in the unit 110 and the topic determined by the topic determination unit 227, whether or not the currently input utterance of the user is a voice command that is a command for a car navigation system Is determined.
  • FIG. 17 is a block diagram schematically showing a configuration of the instruction determination unit 230.
  • the instruction determining unit 230 includes an utterance history extracting unit 131, a context matching rate estimating unit 232, a general dialogue model storage unit 135, a determination execution unit 136, a determination rule storage unit 137, an utterance pattern identification unit 238, and a specification.
  • a dialog model storage unit 239 and a dialog model learning unit 240 are provided.
  • the utterance history extraction unit 131, the general dialogue model storage unit 135, the determination execution unit 136, and the determination rule storage unit 137 of the instruction determination unit 230 according to the second embodiment are different from the utterance history extraction unit 131 of the instruction determination unit 130 according to the first embodiment.
  • the general dialogue model storage unit 135, the determination execution unit 136, and the determination rule storage unit 137 are different from the utterance history extraction unit 131 of the instruction determination unit 130 according to the first embodiment.
  • the utterance pattern identification unit 238 identifies the pattern of the utterance group using the utterance history information stored in the utterance history storage unit 125 and the utterance information obtained from the utterance information acquisition unit 213. For example, the utterance pattern identification unit 238 identifies the current utterance group from the utterance history information, and identifies the identified utterance group as any of the following first to fourth patterns.
  • the first pattern is a pattern in which only the driver is talking.
  • the example utterance group illustrated in FIG. 18 is identified as the first pattern.
  • the second pattern is a pattern in which the passenger and the driver are speaking.
  • the example utterance group illustrated in FIG. 19 is identified as the second pattern.
  • the third pattern is a pattern in which the driver is talking when the passenger is talking on the phone.
  • the example utterance group illustrated in FIG. 20 is identified as the third pattern.
  • the fourth pattern is another pattern.
  • the example utterance group shown in FIG. 21 is a fourth pattern.
  • the utterance pattern identification unit 238 extracts items within a certain period of time in the past from the utterance history information, and only the driver speaks from the speaker corresponding to each utterance included in the acquired item. Is determined. If the speaker is the driver only, the utterance pattern identification unit 238 identifies the current utterance group as the first pattern.
  • the utterance pattern identification unit 238 uses the Bluetooth or wireless communication or the like to connect the portable terminal of the fellow passenger to the transmission / reception information acquisition unit. 213, and obtains outgoing / incoming call information. In this case, the utterance pattern identification unit 238 may notify the fellow passenger via the command execution unit 150 to connect the portable terminal to the passenger by voice or image.
  • the utterance pattern identification unit 238 identifies the current utterance group as the third pattern. On the other hand, if the fellow passenger is not talking at the corresponding time, the utterance pattern identification unit 238 identifies the current utterance group as the second pattern.
  • the utterance pattern identification unit 238 identifies the current utterance group as the fourth pattern. Note that an optimum value may be determined by experiment for a certain time for extracting items from the utterance history information.
  • the utterance pattern identification unit 238 determines that the utterance of the current user is a voice command for car navigation.
  • the utterance pattern identification unit 238 identifies that the current utterance group is the fourth pattern, it determines that the utterance of the current user is not a voice command for car navigation.
  • the specific dialogue model storage unit 239 stores a specific dialogue model which is a dialogue model used when the current utterance group is identified as the third pattern spoken by the driver when the passenger is talking on the phone.
  • the specific dialogue model information shown is stored.
  • the voice of the other party cannot be recognized, and there is a risk of erroneous determination using general conversation model information. Therefore, in such a case, by switching to the specific dialogue model information, it is possible to improve the determination accuracy of the instruction for the car navigation.
  • the context matching rate estimating unit 232 uses the general dialogue model information stored in the general dialogue model storage unit 135 or the specific dialogue model information stored in the specific dialogue model storage unit 239 to determine the current user's utterance. Then, the context matching rate with the utterance included in the item extracted from the utterance history storage unit 125 is estimated.
  • FIG. 22 is a block diagram schematically showing a configuration of the context matching rate estimation unit 232.
  • the context matching rate estimating unit 232 includes a context matching rate calculating unit 233 and a context matching rate output unit 134.
  • the context matching rate output unit 134 of the context matching rate estimating unit 232 in the second embodiment is the same as the context matching rate output unit 134 of the context matching rate estimating unit 132 in the first embodiment.
  • the context matching rate calculation unit 233 refers to the general conversation model information stored in the general conversation model storage unit 135, The context matching rate between the utterance input to the voice acquisition unit 111 and the utterance included in the item immediately before the utterance history information stored in the utterance history extraction unit 131 is calculated.
  • the context matching rate calculation unit 233 refers to the specific interaction model information stored in the specific interaction model storage unit 239. Then, the context matching rate between the utterance input to the voice acquisition unit 111 and the utterance included in the item immediately before the utterance history information stored in the utterance history extraction unit 131 is calculated.
  • FIG. 23 is a block diagram schematically showing a configuration of the dialog model learning unit 240.
  • the dialogue model learning unit 240 includes a general dialogue storage unit 141, a learning data generation unit 242, a model learning unit 243, and a specific dialogue storage unit 244.
  • General dialog storage section 141 of dialog model learning section 240 in the second embodiment is similar to general dialog storage section 141 of dialog model learning section 140 in the first embodiment.
  • the specific dialog storage unit 244 stores specific dialog information indicating a dialog when the driver is talking when the passenger is calling.
  • the learning data generation unit 242 separates the last utterance and the immediately preceding utterance from the general conversation information stored in the general dialog storage unit 141, and changes the utterance to the general conversation learning data format. Further, the learning data generating unit 242 separates the last utterance and the immediately preceding utterance from the specific dialog information stored in the specific dialog storage unit 244, and changes the format to the learning data format for the specific dialog.
  • the model learning unit 243 learns Encoder ⁇ Decoder ⁇ Model using the learning data for general dialog generated by the learning data generation unit 242, and generates general dialog model information indicating the learned model as a general dialog model. It is stored in the conversation model storage unit 135.
  • model learning unit 243 uses the learning data for a specific dialog generated by the learning data generating unit 242 to learn an Encoder ⁇ Decoder ⁇ Model, and outputs specific dialog model information indicating the learned model as a specific dialog model. Is stored in the specific dialogue model storage unit 239.
  • FIG. 24 is a flowchart showing the operation in the intention estimation process by the intention understanding device 200. Note that among the processes included in the flowchart illustrated in FIG. 24, the same processes as those in the flowchart of Embodiment 1 illustrated in FIG. 7 are denoted by the same reference numerals as in FIG. Detailed description is omitted.
  • steps S10 to S18 shown in FIG. 24 is the same as the processing from steps S10 to S18 shown in FIG. However, if No in step S18, the process proceeds to step S60.
  • the topic determining unit 227 determines a topic related to the utterance of the current user. For example, when the utterance of the current user is “Is next right?”, The topic determination unit 227 determines that the topic is “Route guidance”. If the current user's utterance is “Please turn on the air conditioner”, the topic determination unit 227 determines that the topic is “air conditioner operation”.
  • the topic determination unit 227 checks whether the topic determined in step S60 is on a topic list prepared in advance (S61). If the topic is on the topic list (Yes in S61), the process proceeds to step S21. If the topic is not on the topic list (No in S61), the process proceeds to step S62.
  • step S62 the command determination unit 230 determines whether the intention estimation result is a command for a car navigation system. The processing in step S62 will be described in detail with reference to FIG. Then, the process proceeds to step S20.
  • an utterance that is difficult to determine whether it is an utterance directed to humans or an utterance directed to a car navigation system can always be determined to be a voice command directed to a car navigation system. It is possible to suppress determination of utterances directed toward humans.
  • FIG. 25 is a flowchart showing the operation of the command determination process for car navigation. Note that among the processes included in the flowchart shown in FIG. 25, the same processes as those in the flowchart of the first embodiment shown in FIG. 9 are denoted by the same reference numerals as those in FIG. Detailed description is omitted.
  • the utterance history extracting unit 131 extracts the immediately preceding item from the utterance history information stored in the utterance history storage unit 125 (S70).
  • the utterance history extraction unit 131 extracts items based on predetermined criteria, such as, for example, items for the past 10 seconds or items for the past 10 cases.
  • the utterance history extraction unit 131 passes the extracted items to the utterance pattern identification unit 238 and the context matching rate estimation unit 232 together with the utterance information indicating the utterance of the current user.
  • the utterance pattern identification unit 238 identifies the utterance group pattern by combining the utterance included in the immediately preceding item with the utterance of the current user (S71).
  • the utterance pattern identification unit 238 determines whether the identified utterance group pattern is the first pattern spoken only by the driver (S72). If the identified utterance group pattern is the first pattern (Yes in S72), the process proceeds to step S73, and if the identified utterance group pattern is not the first pattern (No in S72), , The process proceeds to step S74.
  • step S73 since the utterance group pattern is only the driver's utterance, the utterance pattern identification unit 238 determines that the current user's utterance is a voice command for car navigation.
  • step S74 the utterance pattern identification unit 238 determines whether the identified utterance group pattern is the second pattern in which the fellow passenger and the driver are interacting. If the identified utterance group pattern is the second pattern (Yes in S74), the process proceeds to step S31. If the identified utterance group pattern is not the second pattern (No in S74), the process proceeds to step S75.
  • step S75 the utterance pattern identification unit 238 determines whether or not the identified utterance group pattern is the third pattern spoken by the driver when the fellow passenger is talking on the phone. If the identified utterance group pattern is the third pattern (Yes in S75), the process proceeds to step S76. If the identified utterance group pattern is not the third pattern (No in S75), the process proceeds to step S77.
  • step S76 the context matching rate estimating unit 232 uses the specific dialogue model information stored in the specific dialogue model storage unit 239 to determine the context between the current user's utterance and the utterance included in the immediately preceding item. Estimate the precision.
  • the processing here is performed according to the flowchart shown in FIG. 10 except that the specific dialogue model information stored in the specific dialogue model storage unit 239 is used.
  • the context matching rate estimation unit 232 passes the estimation result to the determination execution unit 136, and the process proceeds to step S32.
  • step S77 the utterance pattern identification unit 238 determines that the current user's utterance is not a voice command for car navigation, because the fourth utterance group pattern has been reached.
  • the process for creating the specific dialogue model information is performed according to the flowchart shown in FIG. 13 except that the specific dialogue information stored in the specific dialogue storage unit 244 is used. Detailed description is omitted.
  • the pattern of the utterance group including the current user's utterance that is the last utterance is identified by the utterance pattern identification unit from a plurality of predetermined patterns, and the identified pattern is Accordingly, the method of determining whether the current user's utterance is a voice command can be changed.
  • the topic of the current user's utterance is determined by the topic determination unit 227. Then, when the determined topic is a predetermined specific topic, the current user's utterance can be determined to be a voice command. For this reason, only when the determined topic is not a predetermined specific topic, the command determination unit 230 performs the determination process of determining whether the current user's utterance is a voice command. Thus, calculation cost can be reduced.
  • the application target is the car navigation system, but the application target is not limited to the car navigation system.
  • Embodiments 1 and 2 can be applied to any device that operates a machine by voice.
  • Embodiments 1 and 2 can be applied to a smart speaker, an air conditioner, and the like.
  • the dialogue model learning units 140 and 240 are provided in the intention understanding devices 100 and 200, however, the functions of the dialogue model learning units 140 and 240 are different from those of other devices.
  • General computer model information or specific dialog model information may be read by the intention understanding devices 100 and 200 via a network or a recording medium (not shown).
  • an interface such as a communication device such as an NIC (Network Interface Card) for connecting to a network or an input device for reading information from a recording medium is added as the hardware configuration in FIGS.
  • the information may be obtained by the obtaining units 110 and 210 of FIG. 1 or FIG.
  • 100, 200 intent understanding device ⁇ 110, 210 ⁇ acquisition unit, ⁇ 111 ⁇ voice acquisition unit, ⁇ 112 ⁇ video acquisition unit, ⁇ 213 ⁇ call information acquisition unit, ⁇ 120, 220 ⁇ processing unit, ⁇ 121 ⁇ speech recognition unit, ⁇ 122 ⁇ speaker recognition unit, ⁇ 123 ⁇ intention estimation Unit, ⁇ 124 ⁇ utterance history registration unit, ⁇ 125 ⁇ utterance history storage unit, ⁇ 126 ⁇ number of passengers judgment unit, ⁇ 227 ⁇ topic judgment unit, ⁇ 130, 230 ⁇ command judgment unit, ⁇ 131 ⁇ utterance history extraction unit, ⁇ 132,232 ⁇ context adaptation rate estimation unit, ⁇ 133, 233 ⁇ Context match rate calculation unit, ⁇ 134 ⁇ context match rate output unit, ⁇ 135 ⁇ general dialogue model storage unit, ⁇ 136 ⁇ judgment execution unit, ⁇ 137 ⁇ judgment rule storage unit, ⁇ 238 ⁇ utterance pattern identification unit, ⁇ 239 ⁇ specific dialogue model storage unit, ⁇ 140, 240 ⁇ dialogue model learning Department, $ 1 1 General dialogue storage unit, 142, 242 learning data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Signal Processing (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

１又は複数のユーザが発した複数の発話に対応する音声を示す音声信号から音声を認識し、認識された音声を文字列に変換して、複数の発話を特定するとともに、複数の発話の各々に対応する時刻を特定する音声認識部（１２１）と、一又は複数のユーザから、複数の発話の各々を発したユーザを話者として認識する話者認識部（１２２）と、発話履歴情報を記憶する発話履歴記憶部（１２５）と、複数の発話の各々の意図を推定する意図推定部（１２３）と、発話履歴情報を参照して、複数の発話の内の最後の発話と、複数の発話の内の、最後の発話の直前の１又は複数の発話とが対話ではない場合に、最後の発話を、対象を制御するための音声命令であると判定する命令判定部（１３０）と、最後の発話を音声命令であると判定した場合に、最後の発話から推定された意図に従って、対象を制御する命令実行部（１５０）とを備える。

Description

情報処理装置、情報処理方法及びプログラム
　本発明は、情報処理装置、情報処理方法及びプログラムに関する。
　従来、カーナビ（ａｕｔｏｍｏｔｉｖｅ　ｎａｖｉｇａｔｉｏｎ　ｓｙｓｔｅｍ）を音声認識により操作する場合、運転者が明示的に発話スイッチを押下する等の操作を行って、音声認識開始を指示することが主流であった。しかし、このような操作を、音声認識を利用するたびに行うことは煩わしく、明示的に音声認識開始を指示することなく音声認識を利用できるようにすることが望ましい。
　特許文献１には、運転者を音声命令入力対象者として、音源方向及び画像を使って運転者による発声の有無を判定する第１の判定手段と、同乗者の発声の有無を判定する第２の判定手段とを設けて、運転者が発声したことを利用して、音声命令認識開始を判断する音声認識装置が記載されている。
　特許文献１に記載されている音声認識装置では、運転者による発声直後に同乗者が発声していないことを音声命令認識の開始条件とすることで、車両内に同乗者がいる場合でも、別の人間に話し掛けているのか、音声入力のためにマイクロフォンに向かって声を発しているのか、を区別することが可能となる。
特開２００７－２１９２０７号公報
　しかしながら、特許文献１に記載されている音声認識装置では、助手席の同乗者が電話している場合、又は、他の同乗者と話している場合に、運転手がカーナビに話かけても、運転手の音声を認識しないので、運転手の音声命令を実行できない問題があった。
　具体的には、以下の、第１の場合及び第２の場合に、特許文献１に記載されている音声認識装置は、運転手の音声命令を実行できない。
　第１の場合：助手席の同乗者が後部座席同乗者と会話していて、運転手が命令を発声している。
　第２の場合：助手席の同乗者が電話しており、運転手が命令を発声している。
　そこで、本発明の１又は複数の態様は、複数のユーザがいる場合でも、あるユーザによる発話が、音声命令を入力するための発話かどうかを判定できるようにすることを目的とする。
　本発明の１態様に係る情報処理装置は、１又は複数のユーザが発した複数の発話に対応する音声を示す音声信号を取得する音声取得部と、前記音声信号から前記音声を認識し、前記認識された音声を文字列に変換して、前記複数の発話を特定するとともに、前記複数の発話の各々に対応する時刻を特定する音声認識部と、前記一又は複数のユーザから、前記複数の発話の各々を発したユーザを話者として認識する話者認識部と、複数の項目を含み、前記複数の項目の各々が、前記複数の発話の各々、前記複数の発話の各々に対応する前記時刻、及び、前記複数の発話の各々に対応する前記話者を示す、発話履歴情報を記憶する発話履歴記憶部と、前記複数の発話の各々の意図を推定する意図推定部と、前記発話履歴情報を参照して、前記複数の発話の内の最後の発話と、前記複数の発話の内の、前記最後の発話の直前の１又は複数の発話とが対話ではない場合に、前記最後の発話を、対象を制御するための音声命令であると判定する判定処理を行う命令判定部と、前記命令判定部が、前記最後の発話を前記音声命令であると判定した場合に、前記最後の発話から推定された前記意図に従って、前記対象を制御する命令実行部と、を備えることを特徴とする。
　本発明の１態様に係る情報処理方法は、１又は複数のユーザが発した複数の発話に対応する音声を示す音声信号を取得し、前記音声信号から前記音声を認識し、前記認識された音声を文字列に変換して、前記複数の発話を特定し、前記複数の発話の各々に対応する時刻を特定し、前記一又は複数のユーザから、前記複数の発話の各々を発したユーザを話者として認識し、前記複数の発話の各々の意図を推定し、複数の項目を含み、前記複数の項目の各々が、前記複数の発話の各々、前記複数の発話の各々に対応する前記時刻、及び、前記複数の発話の各々に対応する前記話者を示す、発話履歴情報を参照して、前記複数の発話の内の最後の発話と、前記複数の発話の内の、前記最後の発話の直前の１又は複数の発話とが対話ではない場合に、前記最後の発話を、対象を制御するための音声命令であると判定し、前記最後の発話を前記音声命令であると判定した場合に、前記最後の発話から推定された前記意図に従って、前記対象を制御することを特徴とする。
　本発明の１態様に係るプログラムは、コンピュータを、１又は複数のユーザが発した複数の発話に対応する音声を示す音声信号を取得する音声取得部と、前記音声信号から前記音声を認識し、前記認識された音声を文字列に変換して、前記複数の発話を特定するとともに、前記複数の発話の各々に対応する時刻を特定する音声認識部と、前記一又は複数のユーザから、前記複数の発話の各々を発したユーザを話者として認識する話者認識部と、複数の項目を含み、前記複数の項目の各々が、前記複数の発話の各々、前記複数の発話の各々に対応する前記時刻、及び、前記複数の発話の各々に対応する前記話者を示す、発話履歴情報を記憶する発話履歴記憶部と、前記複数の発話の各々の意図を推定する意図推定部と、前記発話履歴情報を参照して、前記複数の発話の内の最後の発話と、前記複数の発話の内の、前記最後の発話の直前の１又は複数の発話とが対話ではない場合に、前記最後の発話を、対象を制御するための音声命令であると判定する判定処理を行う命令判定部と、前記命令判定部が、前記最後の発話を前記音声命令であると判定した場合に、前記最後の発話から推定された前記意図に従って、前記対象を制御する命令実行部として機能させることを特徴とする。
　本発明の１又は複数の態様によれば、複数のユーザがいる場合でも、あるユーザによる発話が、音声命令を入力するための発話かどうかを判定することができる。
実施の形態１に係る意図理解装置の構成を概略的に示すブロック図である。 実施の形態１における命令判定部の構成を概略的に示すブロック図である。 実施の形態１における文脈適合率推定部の構成を概略的に示すブロック図である。 実施の形態１における対話モデル学習部の構成を概略的に示すブロック図である。 意図理解装置のハードウェア構成の第１例を概略的に示すブロック図である。 意図理解装置のハードウェア構成の第２例を概略的に示すブロック図である。 実施の形態１における意図理解装置による意図推定処理での動作を示すフローチャートである。 発話履歴情報の一例を示す概略図である。 実施の形態１におけるカーナビ向け命令判定処理の動作を示すフローチャートである。 文脈適合率推定処理の動作を示すフローチャートである。 文脈適合率の第１の計算例を示す概略図である。 文脈適合率の第２の計算例を示す概略図である。 対話モデルを学習する処理の動作を示すフローチャートである。 対話の特定例を示す概略図である。 学習データの生成例を示す概略図である。 実施の形態２に係る意図理解装置の構成を概略的に示すブロック図である。 実施の形態２における命令判定部の構成を概略的に示すブロック図である。 第１のパターンであると識別される発話群例を示す概略図である。 第２のパターンであると識別される発話群例を示す概略図である。 第３のパターンであると識別される発話群例を示す概略図である。 第４のパターンであると識別される発話群例を示す概略図である。 実施の形態２における文脈適合率推定部の構成を概略的に示すブロック図である。 実施の形態２における対話モデル学習部の構成を概略的に示すブロック図である。 実施の形態２に係る意図理解装置による意図推定処理での動作を示すフローチャートである。 実施の形態２におけるカーナビ向け命令判定処理の動作を示すフローチャートである。
　以下の実施の形態では、情報処理装置としての意図理解装置をカーナビに適用した例を説明する。
実施の形態１．
　図１は、実施の形態１に係る意図理解装置１００の構成を概略的に示すブロック図である。
　意図理解装置１００は、取得部１１０と、処理部１２０と、命令実行部１５０とを備える。
　取得部１１０は、音声及び映像を取得するインタフェースである。
　取得部１１０は、音声取得部１１１と、映像取得部１１２とを備える。
　音声取得部１１１は、１又は複数のユーザが発した複数の発話に対応する音声を示す音声信号を取得する。例えば、音声取得部１１１は、図示されていないマイク等の音声入力装置から音声信号を取得する。
　映像取得部１１２は、１又は複数のユーザがいる空間の映像を示す映像信号を取得する。例えば、映像取得部１１２は、図示されていないカメラ等の映像入力装置から、撮像された映像を示す映像信号を取得する。ここでは、映像取得部１１２は、意図理解装置１００が搭載されている車両（図示せず）の車内の映像である車内映像を示す映像信号を取得する。
　処理部１２０は、取得部１１０からの音声信号及び映像信号を用いて、ユーザからの発話が、対象であるカーナビを制御するための音声命令であるか否かを判定する。
　処理部１２０は、音声認識部１２１と、話者認識部１２２と、意図推定部１２３と、発話履歴登録部１２４と、発話履歴記憶部１２５と、乗車人数判定部１２６と、命令判定部１３０とを備える。
　音声認識部１２１は、音声取得部１１１で取得された音声信号で示される音声を認識し、認識された音声を文字列に変換して、ユーザからの発話を特定する。そして、音声認識部１２１は、特定された発話を示す発話情報を生成する。
　また、音声認識部１２１は、特定された発話に対応する時刻、例えば、その発話に対応する音声を認識した時刻を特定する。そして、音声認識部１２１は、特定された時刻を示す時刻情報を生成する。
　なお、音声認識部１２１における音声認識は、公知の技術を利用するものとする。例えば、鹿野　清宏、伊藤　克亘、河原　達也、武田　一哉、山本　幹雄　編著、「ＩＴ　Ｔｅｘｔ　音声認識システム」、株式会社オーム社、２００１年、３章（４３ページ～５０ページ）に記載された技術を利用することで音声認識の処理は実現可能である。
　具体的には、音素毎に学習された時系列の統計モデルである隠れマルコフモデル（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ：ＨＭＭ）を用いて、観測された音声特徴量の系列を最も高い確率で出力することで、音声を認識すればよい。
　話者認識部１２２は、音声取得部１１１で取得された音声信号で示される音声から、発話を発したユーザを話者として認識する。そして、話者認識部１２２は、認識された話者を示す話者情報を生成する。
　なお、話者認識部１２２における話者認識処理は、公知の技術を利用するものとする。例えば、古井　貞熙　著、「音声情報処理」、森北出版株式会社、１９９８年、６章（１３３ページ～１４６ページ）に記載された技術を利用することで話者認識の処理は実現可能である。
　具体的には、予め複数の話者の音声の標準パターンを登録しておいて、登録された標準パターンの内、最も類似度（尤度）の高い話者を選択すればよい。
　意図推定部１２３は、音声認識部１２１で生成された発話情報で示される発話から、ユーザの意図を推定する。
　ここで、意図推定の手法は、テキスト分類に関する公知の技術を利用するものとする。例えば、Ｐａｎｇ-ｎｉｎｇ　Ｔａｎ、Ｍｉｃｈａｅｌ　Ｓｔｅｉｎｂａｃｈ、Ｖｉｐｉｎ　Ｋｕｍａｒ　著、「Ｉｎｔｒｏｄｕｃｔｉｏｎ　Ｔｏ　Ｄａｔａ　Ｍｉｎｉｎｇ」、Ｐｅｒｓｏｎ　Ｅｄｕｃａｔｉｏｎ，　Ｉｎｃ、２００６年、５章（２５６ページ～２７６ページ）に記載されたテキスト分類技術を利用することで、意図推定処理は実現可能である。
　具体的には、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）を利用して、学習データから複数のクラス（意図）を分類する線を得て、音声認識部１２１で生成された発話情報で示される発話を、いずれかのクラス（意図）へ分類すればよい。
　発話履歴登録部１２４は、音声認識部１２１で生成された発話情報で示される発話、その発話情報に対応する時刻情報で示される時刻、及び、その発話情報に対応する話者情報で示される話者を１つの項目として、発話履歴記憶部１２５に記憶されている発話履歴情報に登録する。
　発話履歴記憶部１２５は、複数の項目を含む発話履歴情報を記憶する。複数の項目の各々は、発話と、その発話に対応する時刻と、その発話に対応する話者とを示す。
　乗車人数判定部１２６は、映像取得部１１２からの映像信号で示される車内映像を用いて、乗車人数を判定する人数判定部である。
　なお、乗車人数判定部１２６における人数判定は、顔認識に関する公知の技術を利用するものとする。例えば、酒井　幸市　著、「画像処理とパターン認識入門」、森北出版株式会社、２００６年、７章（１１９ページ～１２２ページ）に記載された顔認識技術を利用することで乗車人数判定の処理は実現可能である。
　具体的には、顔画像のパターンマッチングにより、乗車している人の顔を認識することで、乗車人数を判定することができる。
　命令判定部１３０は、音声認識部１２１で生成された発話情報と、話者認識部１２２で生成された話者情報と、発話履歴記憶部１１０に記憶されている発話履歴情報における直前の項目とを利用して、現在入力されたユーザの発話が、カーナビ向け音声命令かどうかを判定する。
　具体的には、命令判定部１３０は、発話履歴情報を参照して、複数の発話の内の最後の発話、言い換えると、発話情報で示される発話と、複数の発話の内の、最後の発話の直前の１又は複数の発話とが対話であるか否かを判定する。そして、命令判定部１３０は、対話ではないと判定した場合に、最後の発話を、対象を制御するための音声命令であると判定する。
　図２は、命令判定部１３０の構成を概略的に示すブロック図である。
　命令判定部１３０は、発話履歴抽出部１３１と、文脈適合率推定部１３２と、一般対話モデル記憶部１３５と、判定実行部１３６と、判定ルール記憶部１３７と、対話モデル学習部１４０とを備える。
　発話履歴抽出部１３１は、発話履歴記憶部１２５に記憶されている発話履歴情報から、最後の発話の直前の１又は複数の項目を抽出する。
　文脈適合率推定部１３２は、一般対話モデル記憶部１３５に記憶されている一般対話モデル情報を利用して、最後の発話である現在のユーザの発話と、発話履歴記憶部１２５から抽出された項目に含まれている発話との文脈適合率を推定する。文脈適合率は、それらの発話の文脈としての適合性の度合いを示す。このため、文脈適合率が高い場合には、対話が行われていると判定することができ、文脈適合率が低い場合には、対話が行われていないと判定することができる。
　図３は、文脈適合率推定部１３２の構成を概略的に示すブロック図である。
　文脈適合率推定部１３２は、文脈適合率計算部１３３と、文脈適合率出力部１３４とを備える。
　文脈適合率計算部１３３は、一般対話モデル記憶部１３５に記憶されている一般対話モデル情報を参照して、音声取得部１１１に入力された発話と、発話履歴抽出部１３１に記憶されている発話履歴情報の直前の項目に含まれている発話との文脈適合率を計算する。
　なお、文脈適合率計算部１３３における文脈適合率の計算は、Ｉｌｙａ　Ｓｕｔｓｋｅｖｅｒ、Ｏｒｉｏｌ　Ｖｉｎｙａｌｓ、Ｑｕｏｃ　Ｖ．ｌｅ　著、「Ｓｅｑｕｅｎｃｅ　ｔｏ　Ｓｅｑｕｅｎｃｅ　Ｌｅａｒｎｉｎｇ　ｗｉｔｈ　Ｎｅｕｒａｌ　Ｂｅｔｗｏｒｋｓ」　（Ａｄｖａｎｃｅｓ　ｉｎ　ｎｅｕｒａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ　ｓｙｓｔｅｍｓ）、２０１４年に記載されているＥｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｄｅｌ技術で実現できる。
　具体的には、発話履歴情報からの直前の項目に含まれている発話を入力文Ｘとし、音声取得部１１１に入力された発話を出力文Ｙとして、入力文Ｘが出力文Ｙになる確率Ｐ（Ｙ｜Ｘ）を、学習された一般対話モデル情報を用いて、ＬＳＴＭ－ＬＭ（Ｌｏｎｇ　ｓｈｏｒｔ　－Ｔｅｒｍ　Ｍｅｍｏｒｙ－Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌ）の公式に従って計算することで、その確率Ｐを文脈適合率とすればよい。
　言い換えると、文脈適合率計算部１３３は、直前の発話から、現在のユーザの発話に至る確率を文脈適合率として計算する。
　文脈適合率出力部１３４は、文脈適合率計算部１３３により算出された確率Ｐを、文脈適合率として、判定実行部１３６に与える。
　図２に戻り、一般対話モデル記憶部１３５は、複数のユーザが行う一般の対話で学習された対話モデルである一般対話モデルを示す一般対話モデル情報を記憶する。
　判定実行部１３６は、判定ルール記憶部１３７に記憶されている判定ルールに従って、現在のユーザの発話がカーナビ向けの命令かどうかを判定する。
　判定ルール記憶部１３７は、現在のユーザの発話がカーナビ向けの命令かどうかを判定するための判定ルールを記憶するデータベースである。
　対話モデル学習部１４０は、一般の対話から対話モデルを学習する。
　図４は、対話モデル学習部１４０の構成を概略的に示すブロック図である。
　対話モデル学習部１４０は、一般対話記憶部１４１と、学習データ生成部１４２と、モデル学習部１４３とを備える。
　一般対話記憶部１４１は、複数のユーザが一般的に行う対話を示す一般対話情報を記憶する。
　学習データ生成部１４２は、一般対話記憶部１４１に記憶されている一般対話情報から、最後の発話と、直前の発話とを分離し、学習データのフォーマットに変更する。
　モデル学習部１４３は、学習データ生成部１４２によって生成された学習データを利用して、Ｅｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｄｅｌを学習し、学習されたモデルを一般対話モデルとして示す一般対話モデル情報を、一般対話モデル記憶部１３５に記憶させる。なお、モデル学習部１４３での処理については、上述の「Ｓｅｑｕｅｎｃｅ　ｔｏ　Ｓｅｑｕｅｎｃｅ　Ｌｅａｒｎｉｎｇ　ｗｉｔｈ　Ｎｅｕｒａｌ　Ｂｅｔｗｏｒｋｓ」に記載されている手法が用いられればよい。
　図１に戻り、命令実行部１５０は、音声命令に対する動作を実行する。具体的には、命令実行部１５０は、命令判定部１３０が、最後の発話を音声命令であると判定した場合に、その最後の発話から推定された意図に従って、対象を制御する。
　図５は、意図理解装置１００のハードウェア構成の第１例を概略的に示すブロック図である。
　意図理解装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１６０と、メモリ１６１と、マイク、キーボード及びカメラ等のセンサインタフェース（センサＩ／Ｆ）１６２と、記憶装置としてのハードディスク１６３と、図示してはいないスピーカ（音声出力装置）又はディスプレイ（表示装置）に映像、音声又は指示を出力するための出力インタフェース（出力Ｉ／Ｆ）１６４とを備えている。
　具体的には、取得部１１０は、プロセッサ１６０がセンサＩ／Ｆ１６２を利用することにより実現することができる。処理部１２０は、ハードディスク１６３に記憶されているプログラム及びデータを、プロセッサ１６０がメモリ１６１に読み出して実行及び利用することにより実現することができる。命令実行部１５０は、ハードディスク１６３に記憶されているプログラム及びデータを、プロセッサ１６０がメモリ１６１に読み出して実行及び利用するとともに、必要に応じて出力Ｉ／Ｆ１６４から他の機器に映像、音声又は指示を出力することにより実現することができる。
　このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　図６は、意図理解装置１００のハードウェア構成の第２例を概略的に示すブロック図である。
　図５に示されているプロセッサ１６０及びメモリ１６１の代わりに、図６に示されているように、処理回路１６５が備えられていてもよい。
　処理回路１６５は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等により構成することができる。
　図７は、意図理解装置１００による意図推定処理での動作を示すフローチャートである。
　まず、音声取得部１１１は、図示しないマイクから、ユーザが発話した音声を示す音声信号を取得する（Ｓ１０）。音声取得部１１１は、音声信号を処理部１２０に渡す。
　次に、話者認識部１２２は、音声信号から、話者認識処理を行う（Ｓ１１）。話者認識部１２２は、認識した話者を示す話者情報を発話履歴登録部１２４及び命令判定部１３０に渡す。
　次に、音声認識部１２１は、音声信号で示される音声を認識し、認識した音声を文字列に変換することで、変換された文字列からなる発話を示す発話情報と、そのような音声認識を行った時刻を示す時刻情報とを生成する（Ｓ１２）。音声認識部１２１は、その発話情報及び時刻情報を、意図推定部１２３、発話履歴登録部１２４及び命令判定部１３０に渡す。なお、音声認識部１２１で最後に生成された発話情報で示される発話を、現在のユーザの発話とする。
　次に、発話履歴登録部１２４は、発話情報で示される発話と、その発話情報に対応する時刻情報で示される時刻と、その発話情報に対応する話者情報で示される話者とを示す項目を、発話履歴記憶部１２５に記憶されている発話履歴情報に登録する（Ｓ１３）。
　図８は、発話履歴情報の一例を示す概略図である。
　図８に示されている発話履歴情報１７０は、複数の行を備えており、複数の行の各々が、発話情報で示される発話と、その発話情報に対応する時刻情報で示される時刻と、その発話情報に対応する話者情報で示される話者とを示す１つの項目になっている。
　例えば、図８に示されている発話履歴情報１７０は、二人の話者が話した内容となっている。
　図７に戻り、次に、意図推定部１２３は、音声認識の結果である発話情報から、ユーザの意図を推定する（Ｓ１４）。
　意図推定部１２３における意図推定は、テキスト分類問題となる。意図を予め定義しておき、意図推定部１２３は、現在のユーザの発話を、いずれかの意図へ分類する。
　例えば、「エアコンをつけて」という現在のユーザの発話は、空調機器を起動することを意味する「ＴＵＲＮ＿ＯＮ＿ＡＩＲ＿ＣＯＮＤＩＴＩＯＮＥＲ」という意図に分類される。
　また、「今日は雨だね」という現在のユーザの発話は、意図が不明であることを示す「ＵＮＫＮＯＷＮ」という意図へ分類される。
　即ち、意図推定部１２３は、現在のユーザの発話を、予め定められた特定の意図に分類できる場合には、その意図に分類し、予め定められた特定の意図に分類できない場合には、意図が不明であることを示す「ＵＮＫＮＯＷＮ」に分類する。
　次に、意図推定部１２３は、意図推定結果が「ＵＮＫＮＯＷＮ」か否かを判定する（Ｓ１５）。意図推定結果がＵＮＫＮＯＷＮではない場合（Ｓ１５でＹｅｓ）には、意図推定結果を命令判定部１３０の命令実行部１５０へ渡し、処理はステップＳ１６に進む。意図推定結果が「ＵＮＫＮＯＷＮ」である場合（Ｓ１５でＮｏ）には、処理は終了する。
　ステップＳ１６では、映像取得部１１２は、カメラから車内映像を示す映像信号を取得し、その映像信号を乗車人数判定部１２６に渡す。
　次に、乗車人数判定部１２６は、車内映像から乗車人数を判定し、判定された乗車人数を示す乗車人数情報を命令判定部１３０に渡す（Ｓ１７）。
　次に、命令判定部１３０は、乗車人数情報で示される乗車人数が１人であるか否かを判定する（Ｓ１８）。乗車人数が１人である場合（Ｓ１８でＹｅｓ）には、処理はステップＳ２１に進み、乗車人数が１人ではない場合、言い換えると、乗車人数が複数である場合（Ｓ１８でＮｏ）には、処理はステップＳ１９に進む。
　ステップＳ１９では、命令判定部１３０は、意図推定結果がカーナビ向け命令である音声命令か否かを判定する。ステップＳ１９での処理については、図９を用いて詳細に説明する。
　そして、意図推定結果が音声命令である場合（Ｓ２０でＹｅｓ）には、処理はステップＳ２１に進み、意図推定結果が音声命令ではない場合（Ｓ２０でＮｏ）には、処理は終了する。
　ステップＳ２１では、命令判定部１３０は、意図推定結果を命令実行部１５０に渡し、
命令実行部１５０は、その意図推定結果に対する動作を実行する。
　例えば、意図推定結果が「ＴＵＲＮ＿ＯＮ＿ＡＩＲ＿ＣＯＮＤＩＴＩＯＮＥＲ」である場合、命令実行部１５０は、指示を出力することで、車内の空調機器を起動させる。
　図９は、カーナビ向け命令判定処理の動作を示すフローチャートである。
　まず、発話履歴抽出部１３１は、発話履歴記憶部１２５に記憶されている発話履歴情報から直前の項目を抽出する（Ｓ３０）。発話履歴抽出部１３１は、例えば、過去１０秒間の項目、又は、過去１０件の項目等、予め定められた基準で項目を抽出することとする。そして、発話履歴抽出部１３１は、現在のユーザの発話を示す発話情報とともに、抽出された項目を文脈適合率推定部１３２に渡す。
　次に、文脈適合率推定部１３２は、一般対話モデル記憶部１３５に記憶されている一般対話モデル情報を用いて、現在のユーザの発話と、直前の項目に含まれている発話との文脈適合率を推定する（Ｓ３１）。なお、ここでの処理の詳細は、図１０を用いて詳細に説明する。文脈適合率推定部１３２は、推定結果を判定実行部１３６に渡す。
　次に、判定実行部１３６は、判定ルール記憶部１３７に記憶されている判定ルール情報で示される判定ルールに従って、意図推定結果を実行するかどうかを判定する（Ｓ３２）。
　例えば、判定ルール１として、「文脈適合率が閾値０．５よりも大きい場合、ナビ向けコマンドではないと判定」する判定ルールが使用される。この判定ルールによれば、文脈適合率が閾値である０．５以下の場合には、判定実行部１３６は、意図推定結果を音声命令であるナビ向けコマンドと判定し、文脈適合率が０．５よりも大きい場合には、判定実行部１３６は、意図推定結果をナビ向けコマンドではないと判定する。
　また、判定ルール２として、直前の発話からの経過時間を利用して、文脈適合率に重みを付けた重み付き文脈適合率を算出するルールが使用されてもよい。判定実行部１３６は、この重み付き文脈適合率を用いて、判定ルール１の判定を行うことで、現在のユーザの発話までの経過時間が長いほど文脈適合率を低くすることができる。
　なお、判定ルール２については、必ずしも使用しなくてもよい。
　判定ルール２を使用しない場合には、判定ルール１により、文脈適合率を閾値と比較することで、判定を行うことができる。
　一方、判定ルール２を使用する場合には、算出された文脈適合率を重みにより修正した値を閾値と比較することで、判定を行うことができる。
　図１０は、文脈適合率推定処理の動作を示すフローチャートである。
　まず、文脈適合率計算部１３３は、一般対話モデル記憶部１３５に記憶されている一般対話モデル情報を用いて、現在のユーザの発話と、直前の項目に含まれている発話との適合性の度合いであるの確率を、文脈適合率として計算する（Ｓ４０）。
　例えば、図１１に示されている例１のように、現在のユーザの発話が「気温が下がってほしいな」である場合、直前の発話とのつながりが強いので、文脈適合率は、０．９と計算される。
　一方、図１２に示されている例２のように、現在のユーザの発話が「次は右だっけ？」である場合、直前の発話とのつながりが弱いので、文脈適合率は、０．１と計算される。
　そして、文脈適合率計算部１３３は、算出した文脈適合率を、判定実行部１３６に渡す（Ｓ４１）。
　例えば、図１１の例１に示されているように、文脈適合率が０．９である場合、判定ルール１では、意図推定結果はカーナビ向け命令ではないと判定される。
　一方、図１１の例２に示されているように、文脈適合率が０．１である場合、判定ルール１では、意図推定結果はカーナビ向け命令と判定される。
　なお、図１１の例１において、現在のユーザの発話までの経過時間が４秒である場合、図１１の例１に、判定ルール２を適用することで、重み付き文脈適合率は、１／４×０．９=０．２２５になる。この場合、判定ルール１により、判定結果はカーナビ向け命令となる。
　図１３は、対話モデルを学習する処理の動作を示すフローチャートである。
　まず、学習データ生成部１４２は、一般対話記憶部１４１に記憶されている一般対話情報を抽出し、対話毎に、最後の発話と、他の発話とを分離して、学習データを生成する（Ｓ５０）。
　例えば、学習データ生成部１４２は、図１４に示されているように、一般対話記憶部１４１に記憶されている一般対話情報から、１つの対話を特定する。
　そして、学習データ生成部１４２は、例えば、図１５に示されているように、１つの対話の最後の発話を現在のユーザの発話とし、他の発話を直前の発話として、学習データを生成する。
　学習データ生成部１４２は、生成された学習データをモデル学習部１４３に渡す。
　図１３に戻り、次に、モデル学習部１４３は、学習データによって、深層学習手法により、Ｅｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｄｅｌを作成する（Ｓ５１）。そして、モデル学習部１４３は、作成されたＥｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｄｅｌを示す一般モデル情報を一般対話モデル記憶部１３５に記憶させる。
　以上の実施の形態では、モデル学習部１４３での処理について、Ｅｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｄｅｌを学習手法として説明したが、他の手法を利用することもできる。例えば、ＳＶＭ等の教師あり機械学習手法を利用することもできる。
　しかし、ＳＶＭ等の一般的な教師あり機械学習手法を利用する場合、学習データに文脈に合致しているか合致していないかというラベルを付ける作業が必要であるため、学習データの作成コストが高くなる傾向がある。Ｅｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｄｅｌの場合、学習データにラベルがいらない点で優れている。
実施の形態２．
　図１６は、実施の形態２に係る情報処理装置としての意図理解装置２００の構成を概略的に示すブロック図である。
　意図理解装置２００は、取得部２１０と、処理部２２０と、命令実行部１５０とを備える。
　実施の形態２に係る意図理解装置２００の命令実行部１５０は、実施の形態１に係る意図理解装置１００の命令実行部１５０と同様である。
　取得部２１０は、音声、映像及び発着信履歴を取得するインタフェースである。
　取得部２１０は、音声取得部１１１と、映像取得部１１２と、発着信情報取得部２１３とを備える。
　実施の形態２における取得部２１０の音声取得部１１１及び映像取得部１１２は、実施の形態１における取得部１１０の音声取得部１１１及び映像取得部１１２と同様である。
　発着信情報取得部２１３は、ユーザが有する携帯端末から、通話の発着信の履歴を示す発着信情報を取得する。発着信情報取得部２１３は、発着信情報を処理部２２０に渡す。
　処理部２２０は、取得部２１０からの音声信号、映像信号及び発着信情報を用いて、ユーザの音声が、対象であるカーナビを制御するための音声命令であるか否かを判定する。
　処理部２２０は、音声認識部１２１と、話者認識部１２２と、意図推定部１２３と、発話履歴登録部１２４と、発話履歴記憶部１２５と、乗車人数判定部１２６と、トピック判定部２２７と、命令判定部２３０とを備える。
　実施の形態２における処理部２２０の音声認識部１２１、話者認識部１２２、意図推定部１２３、発話履歴登録部１２４、発話履歴記憶部１２５及び乗車人数判定部１２６は、実施の形態１における処理部１２０の音声認識部１２１、話者認識部１２２、意図推定部１２３、発話履歴登録部１２４、発話履歴記憶部１２５及び乗車人数判定部１２６と同様である。
　トピック判定部２２７は、音声認識部１２１の音声認識結果である発話情報で示される発話に関するトピックを判定する。
　ここでのトピックの判定は、ＳＶＭ等の教師あり機械学習手法を利用することで実現可能である。
　そして、トピック判定部２２７は、判定されたトピックが、予め定められたトピックリストに載っている特定のトピックである場合には、現在のユーザの発話をカーナビ向け命令としての音声命令であると判定する。
　予め定められたトピックリストに載っている特定のトピックは、例えば、人間同士に向けた発話か、カーナビに向けた発話かの判定が難しい曖昧性のある発話に関するトピックであるものとする。例えば、その特定のトピックとしては、「道案内」又は「エアコン操作」といったトピックがある。
　そして、トピック判定部２２７が、例えば、現在のユーザの発話である「あと何分で着くの？」を「道案内」というトピックに判定した場合、判定されたトピック「道案内」は予め定められたトピックリストに載っているので、トピック判定部２２７は、それをカーナビ向けの命令と判定する。
　上述のように構成することで、人間同士に向けた発話かカーナビに向けた発話か判定が難しい発話を必ずカーナビに向けた命令と判定することができ、誤って人間同士に向けた発話と判定することを抑制できる。
　命令判定部２３０は、音声認識部１２１で生成された発話情報と、話者認識部１２２で生成された話者情報と、発着信情報取得部２１３で取得された発着信情報と、発話履歴記憶部１１０に記憶されている発話履歴情報における直前の項目と、トピック判定部２２７で判定されたトピックとを利用して、現在入力されたユーザの発話が、カーナビ向けの命令である音声命令かどうかを判定する。
　図１７は、命令判定部２３０の構成を概略的に示すブロック図である。
　命令判定部２３０は、発話履歴抽出部１３１と、文脈適合率推定部２３２と、一般対話モデル記憶部１３５と、判定実行部１３６と、判定ルール記憶部１３７と、発話パターン識別部２３８と、特定対話モデル記憶部２３９と、対話モデル学習部２４０とを備える。
　実施の形態２における命令判定部２３０の発話履歴抽出部１３１、一般対話モデル記憶部１３５、判定実行部１３６及び判定ルール記憶部１３７は、実施の形態１における命令判定部１３０の発話履歴抽出部１３１、一般対話モデル記憶部１３５、判定実行部１３６及び判定ルール記憶部１３７と同様である。
　発話パターン識別部２３８は、発話履歴記憶部１２５に記憶されている発話履歴情報及び発着信情報取得部２１３から得られる発着信情報を利用して、発話群のパターンを識別する。
　例えば、発話パターン識別部２３８は、発話履歴情報から現在の発話群を特定し、特定された発話群を、以下の第１のパターン～第４のパターンの何れであるかを識別する。
　第１のパターンは、ドライバのみが話しているパターンである。例えば、図１８に示されている発話群例は、第１のパターンであると識別される。
　第２のパターンは、同乗者とドライバが発話しているパターン。例えば、図１９に示されている発話群例は、第２のパターンであると識別される。
　第３のパターンは、同乗者が電話で話している時に、ドライバが話しているパターンである。例えば、図２０に示されている発話群例は、第３のパターンであると識別される。
　第４のパターンは、その他のパターンである。例えば、図２１に示されている発話群例は、第４のパターンである。
　具体的には、発話パターン識別部２３８は、発話履歴情報から、過去一定時間内の項目を抽出して、取得された項目に含まれている各発話に対応する話者から、ドライバのみが話しているかどうかを判定する。
　もし話者がドライバのみである場合には、発話パターン識別部２３８は、現在の発話群を、第１のパターンと識別する。
　また、取得された項目に含まれている話者情報から、複数の話者がある場合、発話パターン識別部２３８は、同乗者の携帯端末をＢｌｕｅｔｏｏｔｈ又は無線等を用いて、発着信情報取得部２１３に接続してもらい、発着信情報を取得する。この場合、発話パターン識別部２３８は、命令実行部１５０を介して、音声又は画像等で同乗者に携帯端末を接続するように通知すればよい。
　対応する時間に同乗者が通話を行っている場合には、発話パターン識別部２３８は、現在の発話群を第３のパターンと識別する。
　一方、対応する時間に同乗者が通話を行っていない場合には、発話パターン識別部２３８は、現在の発話群を第２のパターンと識別する。
　そして、現在の発話群が第１のパターン～第３のパターンの何れでもない場合には、発話パターン識別部２３８は、現在の発話群を第４のパターンと識別する。
　なお、発話履歴情報から項目を抽出する一定時間については、実験により、最適値が決められればよい。
　さらに、発話パターン識別部２３８は、現在の発話群が第１のパターンであると識別した場合には、現在のユーザの発話をカーナビ向けの音声命令であると判定する。
　一方、発話パターン識別部２３８は、現在の発話群が第４のパターンであると識別した場合には、現在のユーザの発話をカーナビ向けの音声命令ではないと判定する。
　特定対話モデル記憶部２３９は、現在の発話群が、同乗者が電話で話している時に、ドライバが話している第３のパターンと識別された場合に使用される対話モデルである特定対話モデルを示す特定対話モデル情報を記憶する。
　同乗者が電話をしている時、話し相手の声を認識することができないため、一般対話モデル情報を利用すると誤判定するおそれがある。従って、このような場合に、特定対話モデル情報に切り替えることによって、カーナビ向け命令の判定精度を向上させることができる。
　文脈適合率推定部２３２は、一般対話モデル記憶部１３５に記憶されている一般対話モデル情報又は特定対話モデル記憶部２３９に記憶されている特定対話モデル情報を利用して、現在のユーザの発話と、発話履歴記憶部１２５から抽出された項目に含まれている発話との文脈適合率を推定する。
　図２２は、文脈適合率推定部２３２の構成を概略的に示すブロック図である。
　文脈適合率推定部２３２は、文脈適合率計算部２３３と、文脈適合率出力部１３４とを備える。
　実施の形態２における文脈適合率推定部２３２の文脈適合率出力部１３４は、実施の形態１における文脈適合率推定部１３２の文脈適合率出力部１３４と同様である。
　文脈適合率計算部２３３は、発話パターン識別部２３８が現在の発話群を第２のパターンと識別した場合には、一般対話モデル記憶部１３５に記憶されている一般対話モデル情報を参照して、音声取得部１１１に入力された発話と、発話履歴抽出部１３１に記憶されている発話履歴情報の直前の項目に含まれている発話との文脈適合率を計算する。
　また、文脈適合率計算部２３３は、発話パターン識別部２３８が現在の発話群を第３のパターンと識別した場合には、特定対話モデル記憶部２３９に記憶されている特定対話モデル情報を参照して、音声取得部１１１に入力された発話と、発話履歴抽出部１３１に記憶されている発話履歴情報の直前の項目に含まれている発話との文脈適合率を計算する。
　図１７に戻り、対話モデル学習部２４０は、一般の対話から一般対話モデルを学習し、特定の対話から特定対話モデルを学習する。
　図２３は、対話モデル学習部２４０の構成を概略的に示すブロック図である。
　対話モデル学習部２４０は、一般対話記憶部１４１と、学習データ生成部２４２と、モデル学習部２４３と、特定対話記憶部２４４とを備える。
　実施の形態２における対話モデル学習部２４０の一般対話記憶部１４１は、実施の形態１における対話モデル学習部１４０の一般対話記憶部１４１と同様である。
　特定対話記憶部２４４は、同乗者が電話をしているときに、ドライバが話している場合の対話を示す特定対話情報を記憶する。
　学習データ生成部２４２は、一般対話記憶部１４１に記憶されている一般対話情報から、最後の発話と、直前の発話とを分離し、一般対話用の学習データのフォーマットに変更する。
　また、学習データ生成部２４２は、特定対話記憶部２４４に記憶されている特定対話情報から、最後の発話と、直前の発話とを分離し、特定対話用の学習データのフォーマットに変更する。
　モデル学習部２４３は、学習データ生成部２４２によって生成された一般対話用の学習データを利用して、Ｅｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｄｅｌを学習し、学習されたモデルを一般対話モデルとして示す一般対話モデル情報を、一般対話モデル記憶部１３５に記憶させる。
　また、モデル学習部２４３は、学習データ生成部２４２によって生成された特定対話用の学習データを利用して、Ｅｎｃｏｄｅｒ　Ｄｅｃｏｄｅｒ　Ｍｏｄｅｌを学習し、学習されたモデルを特定対話モデルとして示す特定対話モデル情報を、特定対話モデル記憶部２３９に記憶させる。
　図２４は、意図理解装置２００による意図推定処理での動作を示すフローチャートである。
　なお、図２４に示されているフローチャートに含まれている処理の内、図７に示されている実施の形態１のフローチャートと同様の処理については、図７と同様の符号を付して、詳細な説明を省略する。
　図２４に示されているステップＳ１０からＳ１８までの処理は、図７に示されているステップＳ１０からＳ１８までの処理と同様である。但し、ステップＳ１８でＮｏの場合には、処理はステップＳ６０に進む。
　ステップＳ６０では、トピック判定部２２７は、現在のユーザの発話に関するトピックを判定する。例えば、現在のユーザの発話が「次は右ですか？」の場合、トピック判定部２２７は、「道案内」というトピックと判定する。また、現在のユーザの発話が「エアコンをつけてください。」の場合、トピック判定部２２７は、「エアコン操作」というトピックと判定する。
　次に、トピック判定部２２７は、ステップＳ６０で判定されたトピックが、予め用意されたトピックリストにあるか否かを確認する（Ｓ６１）。トピックがトピックリストに有る場合（Ｓ６１でＹｅｓ）には、処理はステップＳ２１に進み、トピックがトピックリストにない場合（Ｓ６１でＮｏ）には、処理はステップＳ６２に進む。
　ステップＳ６２では、命令判定部２３０は、意図推定結果がカーナビ向け命令か否かを判定する。ステップＳ６２での処理については、図２５を用いて詳細に説明する。そして、処理はステップＳ２０に進む。
　図２４におけるステップＳ２０及びＳ２１での処理は、図７におけるステップＳ２０及びＳ２１での処理と同様である。
　以上のように、実施の形態２では、人間同士に向けた発話か、カーナビに向けた発話か判定が難しい発話を、必ずカーナビに向けた音声命令であると判定とすることができ、誤って人間同士に向けた発話と判定することを抑制することができる。
　図２５は、カーナビ向け命令判定処理の動作を示すフローチャートである。
　なお、図２５に示されているフローチャートに含まれている処理の内、図９に示されている実施の形態１のフローチャートと同様の処理については、図９と同様の符号を付して、詳細な説明を省略する。
　まず、発話履歴抽出部１３１は、発話履歴記憶部１２５に記憶されている発話履歴情報から直前の項目を抽出する（Ｓ７０）。発話履歴抽出部１３１は、例えば、過去１０秒間の項目、又は、過去１０件の項目等、予め定められた基準で項目を抽出することとする。そして、発話履歴抽出部１３１は、現在のユーザの発話を示す発話情報とともに、抽出された項目を発話パターン識別部２３８及び文脈適合率推定部２３２に渡す。
　次に、発話パターン識別部２３８は、直前の項目に含まれている発話と、現在のユーザの発話とを合わせて、発話群パターンを識別する（Ｓ７１）。
　次に、発話パターン識別部２３８は、識別された発話群パターンが、ドライバのみが話している第１のパターンか否かを判定する（Ｓ７２）。識別された発話群パターンが第１のパターンである場合（Ｓ７２でＹｅｓ）には、処理はステップＳ７３に進み、識別された発話群パターンが第１のパターンではない場合（Ｓ７２でＮｏ）には、処理はステップＳ７４に進む。
　ステップＳ７３では、ドライバのみが話している発話群パターンになっているため、発話パターン識別部２３８は、現在のユーザの発話を、カーナビ向けの音声命令と判定する。
　ステップＳ７４では、発話パターン識別部２３８は、識別された発話群パターンが、同乗者とドライバが対話している第２のパターンであるか否かを判定する。識別された発話群パターンが第２のパターンである場合（Ｓ７４でＹｅｓ）には、処理はステップＳ３１に進む。識別された発話群パターンが第２のパターンではない場合（Ｓ７４でＮｏ）には、処理はステップＳ７５に進む。
　図２５に示されているステップＳ３１及びステップＳ３２の処理については、図９に示されているステップＳ３１及びステップＳ３２の処理と同様である。
　ステップＳ７５では、発話パターン識別部２３８は、識別された発話群パターンが、同乗者が電話で話している時に、ドライバが話す第３のパターンであるか否かを判定する。識別された発話群パターンが第３のパターンである場合（Ｓ７５でＹｅｓ）には、処理はステップＳ７６に進む。識別された発話群パターンが第３のパターンではない場合（Ｓ７５でＮｏ）には、処理はステップＳ７７に進む。
　ステップＳ７６では、文脈適合率推定部２３２は、特定対話モデル記憶部２３９に記憶されている特定対話モデル情報を用いて、現在のユーザの発話と、直前の項目に含まれている発話との文脈適合率を推定する。なお、ここでの処理は、特定対話モデル記憶部２３９に記憶されている特定対話モデル情報を用いる点を除いて、図１０に示されているフローチャートに従って行われる。そして、文脈適合率推定部２３２は、推定結果を判定実行部１３６に渡し、処理はステップＳ３２に進む。
　ステップＳ７７では、発話パターン識別部２３８は、第４の発話群パターンになっているため、現在のユーザの発話をカーナビ向けの音声命令ではないと判定する。
　なお、特定対話モデル情報を作成する処理については、特定対話記憶部２４４に記憶されている特定対話情報が使用される点を除いて、図１３に示されているフローチャートに従って行われる。なお、詳細な説明は省略する。
　以上のように、実施の形態２では、予め定められた複数のパターンから、最後の発話である現在のユーザの発話を含む発話群のパターンを発話パターン識別部で識別し、識別されたパターンに応じて、現在のユーザの発話が音声命令であるか否かを判定する方法を変えることができる。
　また、実施の形態２では、現在のユーザの発話のトピックをトピック判定部２２７で判定する。そして、判定されたトピックが予め定められた特定のトピックである場合に、現在のユーザの発話を音声命令と判定することができる。このため、判定されたトピックが予め定められた特定のトピックではない場合にのみ、命令判定部２３０が、現在のユーザの発話が音声命令であるか否かを判定する判定処理を行うようにすることで、計算コストを削減することができる。
　以上に記載された実施の形態１及び２は、カーナビを適用対象として説明したが、適用対象はカーナビと限らない。実施の形態１及び２は、音声で機械を操作する装置であれば、どのような装置にも適用することができる。例えば、実施の形態１及び２は、スマートスピーカー、空調機等に適用することができる。
　なお、以上に記載した実施の形態１及び２では、意図理解装置１００、２００内に対話モデル学習部１４０、２４０が備えられているが、対話モデル学習部１４０、２４０の機能は、他の装置（コンピュータ等）で実行され、一般対話モデル情報又は特定対話モデル情報が、図示しないネットワーク又は記録媒体を介して、意図理解装置１００、２００に読み込まれるようにしてもよい。このような場合、図５及び図６のハードウェア構成として、ネットワークに接続するためのＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）等の通信装置、又は、記録媒体から情報を読み込むための入力装置といったインタフェースを追加し、図１又は図１６の取得部１１０、２１０で情報を取得すればよい。
　１００，２００　意図理解装置、　１１０，２１０　取得部、　１１１　音声取得部、　１１２　映像取得部、　２１３　発着信情報取得部、　１２０，２２０　処理部、　１２１　音声認識部、　１２２　話者認識部、　１２３　意図推定部、　１２４　発話履歴登録部、　１２５　発話履歴記憶部、　１２６　乗車人数判定部、　２２７　トピック判定部、　１３０，２３０　命令判定部、　１３１　発話履歴抽出部、　１３２，２３２　文脈適合率推定部、　１３３，２３３　文脈適合率計算部、　１３４　文脈適合率出力部、　１３５　一般対話モデル記憶部、　１３６　判定実行部、　１３７　判定ルール記憶部、　２３８　発話パターン識別部、　２３９　特定対話モデル記憶部、　１４０，２４０　対話モデル学習部、　１４１　一般対話記憶部、　１４２，２４２　学習データ生成部、　１４３，２４３　モデル学習部、　２４４　特定対話記憶部、　１５０　命令実行部。

Claims (11)

  1. 　１又は複数のユーザが発した複数の発話に対応する音声を示す音声信号を取得する音声取得部と、
    　前記音声信号から前記音声を認識し、前記認識された音声を文字列に変換して、前記複数の発話を特定するとともに、前記複数の発話の各々に対応する時刻を特定する音声認識部と、
    　前記一又は複数のユーザから、前記複数の発話の各々を発したユーザを話者として認識する話者認識部と、
    　複数の項目を含み、前記複数の項目の各々が、前記複数の発話の各々、前記複数の発話の各々に対応する前記時刻、及び、前記複数の発話の各々に対応する前記話者を示す、発話履歴情報を記憶する発話履歴記憶部と、
    　前記複数の発話の各々の意図を推定する意図推定部と、
    　前記発話履歴情報を参照して、前記複数の発話の内の最後の発話と、前記複数の発話の内の、前記最後の発話の直前の１又は複数の発話とが対話ではない場合に、前記最後の発話を、対象を制御するための音声命令であると判定する判定処理を行う命令判定部と、
    　前記命令判定部が、前記最後の発話を前記音声命令であると判定した場合に、前記最後の発話から推定された前記意図に従って、前記対象を制御する命令実行部と、を備えること
    　を特徴とする情報処理装置。
  2. 　前記命令判定部は、前記最後の発話と、前記１又は複数の発話との間の、文脈としての適合性の度合いを示す文脈適合率を計算し、前記文脈適合率が予め定められた閾値以下である場合に、前記最後の発話と、前記１又は複数の発話とが前記対話ではないと判定すること
    　を特徴とする請求項１に記載の情報処理装置。
  3. 　前記命令判定部は、前記最後の発話と、前記１又は複数の発話との間の、文脈としての適合性の度合いを示す文脈適合率を計算し、前記最後の発話と、前記最後の発話の１つ前の発話との間の時間が長くなれば長くなるほど前記文脈適合率を低くする重みを特定し、前記重みにより前記文脈適合率を修正した値が予め定められた閾値以下である場合に、前記１又は複数の発話とが前記対話ではないと判定すること
    　を特徴とする請求項１に記載の情報処理装置。
  4. 　前記命令判定部は、複数のユーザが行った対話から学習された対話モデルを参照することで、前記１又は複数の発話から前記最後の発話に至る確率を前記文脈適合率として計算すること
    　を特徴とする請求項２又は３に記載の情報処理装置。
  5. 　予め定められた複数のパターンから、前記最後の発話を含む発話群のパターンを識別する発話パターン識別部をさらに備え、
    　前記識別されたパターンに応じて、前記最後の発話を前記音声命令であるか否かを判定する方法が異なること
    　を特徴とする請求項１に記載の情報処理装置。
  6. 　前記１又は複数のユーザがいる空間の映像を示す映像信号を取得する映像取得部と、
    　前記映像から、前記１又は複数のユーザの数を判定する人数判定部と、をさらに備え、
    　前記命令判定部は、前記判定された数が２以上である場合に、前記判定処理を行うこと
    　を特徴とする請求項１から５の何れか一項に記載の情報処理装置。
  7. 　前記命令実行部は、前記判定された数が１である場合にも、前記最後の発話から推定された前記意図に従って、前記対象を制御すること
    　を特徴とする請求項６に記載の情報処理装置。
  8. 　前記最後の発話のトピックを判定し、前記判定されたトピックが予め定められた特定のトピックであるか否かを判定するトピック判定部をさらに備え、
    　前記命令判定部は、前記判定されたトピックが前記予め定められた特定のトピックではない場合に、前記判定処理を行うこと
    　を特徴とする請求項１から７の何れか一項に記載の情報処理装置。
  9. 　前記命令実行部は、前記判定されたトピックが前記予め定められた特定のトピックである場合にも、前記最後の発話から推定された前記意図に従って、前記対象を制御すること
    　を特徴とする請求項８に記載の情報処理装置。
  10. 　１又は複数のユーザが発した複数の発話に対応する音声を示す音声信号を取得し、
    　前記音声信号から前記音声を認識し、
    　前記認識された音声を文字列に変換して、前記複数の発話を特定し、
    　前記複数の発話の各々に対応する時刻を特定し、
    　前記一又は複数のユーザから、前記複数の発話の各々を発したユーザを話者として認識し、
    　前記複数の発話の各々の意図を推定し、
    　複数の項目を含み、前記複数の項目の各々が、前記複数の発話の各々、前記複数の発話の各々に対応する前記時刻、及び、前記複数の発話の各々に対応する前記話者を示す、発話履歴情報を参照して、前記複数の発話の内の最後の発話と、前記複数の発話の内の、前記最後の発話の直前の１又は複数の発話とが対話ではない場合に、前記最後の発話を、対象を制御するための音声命令であると判定し、
    　前記最後の発話を前記音声命令であると判定した場合に、前記最後の発話から推定された前記意図に従って、前記対象を制御すること
    　を特徴とする情報処理方法。
  11. 　コンピュータを、
    　１又は複数のユーザが発した複数の発話に対応する音声を示す音声信号を取得する音声取得部と、
    　前記音声信号から前記音声を認識し、前記認識された音声を文字列に変換して、前記複数の発話を特定するとともに、前記複数の発話の各々に対応する時刻を特定する音声認識部と、
    　前記一又は複数のユーザから、前記複数の発話の各々を発したユーザを話者として認識する話者認識部と、
    　複数の項目を含み、前記複数の項目の各々が、前記複数の発話の各々、前記複数の発話の各々に対応する前記時刻、及び、前記複数の発話の各々に対応する前記話者を示す、発話履歴情報を記憶する発話履歴記憶部と、
    　前記複数の発話の各々の意図を推定する意図推定部と、
    　前記発話履歴情報を参照して、前記複数の発話の内の最後の発話と、前記複数の発話の内の、前記最後の発話の直前の１又は複数の発話とが対話ではない場合に、前記最後の発話を、対象を制御するための音声命令であると判定する判定処理を行う命令判定部と、
    　前記命令判定部が、前記最後の発話を前記音声命令であると判定した場合に、前記最後の発話から推定された前記意図に従って、前記対象を制御する命令実行部として機能させること
    　を特徴とするプログラム。
PCT/JP2018/032379 2018-08-31 2018-08-31 情報処理装置、情報処理方法及びプログラム WO2020044543A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/032379 WO2020044543A1 (ja) 2018-08-31 2018-08-31 情報処理装置、情報処理方法及びプログラム
CN201880096683.1A CN112585674A (zh) 2018-08-31 2018-08-31 信息处理装置、信息处理方法和程序
DE112018007847.7T DE112018007847B4 (de) 2018-08-31 2018-08-31 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
JP2020539991A JP6797338B2 (ja) 2018-08-31 2018-08-31 情報処理装置、情報処理方法及びプログラム
US17/181,729 US20210183362A1 (en) 2018-08-31 2021-02-22 Information processing device, information processing method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032379 WO2020044543A1 (ja) 2018-08-31 2018-08-31 情報処理装置、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/181,729 Continuation US20210183362A1 (en) 2018-08-31 2021-02-22 Information processing device, information processing method, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2020044543A1 true WO2020044543A1 (ja) 2020-03-05

Family

ID=69644057

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032379 WO2020044543A1 (ja) 2018-08-31 2018-08-31 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20210183362A1 (ja)
JP (1) JP6797338B2 (ja)
CN (1) CN112585674A (ja)
DE (1) DE112018007847B4 (ja)
WO (1) WO2020044543A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172393A1 (ja) * 2021-02-12 2022-08-18 三菱電機株式会社 音声認識装置および音声認識方法
WO2022239142A1 (ja) * 2021-05-12 2022-11-17 三菱電機株式会社 音声認識装置及び音声認識方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7142315B2 (ja) * 2018-09-27 2022-09-27 パナソニックＩｐマネジメント株式会社 説明支援装置および説明支援方法
CN112908297B (zh) * 2020-12-22 2022-07-08 北京百度网讯科技有限公司 车载设备的响应速度测试方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257566A (ja) * 2007-04-06 2008-10-23 Kyocera Mita Corp 電子機器
JP2014192769A (ja) * 2013-03-27 2014-10-06 Brother Ind Ltd 画像表示装置および画像表示プログラム
WO2017081960A1 (ja) * 2015-11-09 2017-05-18 三菱自動車工業株式会社 音声認識制御システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219207A (ja) 2006-02-17 2007-08-30 Fujitsu Ten Ltd 音声認識装置
US9786268B1 (en) * 2010-06-14 2017-10-10 Open Invention Network Llc Media files in voice-based social media
JP2014232289A (ja) * 2013-05-30 2014-12-11 三菱電機株式会社 誘導音声調整装置、誘導音声調整方法および誘導音声調整プログラム
US20150066513A1 (en) * 2013-08-29 2015-03-05 Ciinow, Inc. Mechanism for performing speech-based commands in a system for remote content delivery
US10475448B2 (en) * 2014-09-30 2019-11-12 Mitsubishi Electric Corporation Speech recognition system
WO2016067418A1 (ja) * 2014-10-30 2016-05-06 三菱電機株式会社 対話制御装置および対話制御方法
JP6230726B2 (ja) * 2014-12-18 2017-11-15 三菱電機株式会社 音声認識装置および音声認識方法
KR102437833B1 (ko) * 2017-06-13 2022-08-31 현대자동차주식회사 음성 명령 기반 작업 선택 장치, 차량, 음성 명령 기반 작업 선택 방법
US10943606B2 (en) * 2018-04-12 2021-03-09 Qualcomm Incorporated Context-based detection of end-point of utterance
KR102562227B1 (ko) * 2018-06-12 2023-08-02 현대자동차주식회사 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
US20190355352A1 (en) * 2018-05-18 2019-11-21 Honda Motor Co., Ltd. Voice and conversation recognition system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257566A (ja) * 2007-04-06 2008-10-23 Kyocera Mita Corp 電子機器
JP2014192769A (ja) * 2013-03-27 2014-10-06 Brother Ind Ltd 画像表示装置および画像表示プログラム
WO2017081960A1 (ja) * 2015-11-09 2017-05-18 三菱自動車工業株式会社 音声認識制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OMOTO, YUKIHIRO ET AL.: "Speech Shift: Speech Input Interface Using Intentional Control of Voice Pitch", IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol. J88-D-II, no. 3, March 2005 (2005-03-01), pages 469 - 479 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172393A1 (ja) * 2021-02-12 2022-08-18 三菱電機株式会社 音声認識装置および音声認識方法
WO2022239142A1 (ja) * 2021-05-12 2022-11-17 三菱電機株式会社 音声認識装置及び音声認識方法

Also Published As

Publication number Publication date
DE112018007847B4 (de) 2022-06-30
JPWO2020044543A1 (ja) 2020-12-17
US20210183362A1 (en) 2021-06-17
CN112585674A (zh) 2021-03-30
DE112018007847T5 (de) 2021-04-15
JP6797338B2 (ja) 2020-12-09

Similar Documents

Publication Publication Date Title
CN109155132B (zh) 说话者验证方法和系统
US10074369B2 (en) Voice-based communications
EP3114679B1 (en) Predicting pronunciation in speech recognition
CN106233374B (zh) 用于检测用户定义的关键字的关键字模型生成
US10878807B2 (en) System and method for implementing a vocal user interface by combining a speech to text system and a speech to intent system
US10650802B2 (en) Voice recognition method, recording medium, voice recognition device, and robot
US9443527B1 (en) Speech recognition capability generation and control
JP6797338B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017097162A (ja) キーワード検出装置、キーワード検出方法及びキーワード検出用コンピュータプログラム
EP1936606A1 (en) Multi-stage speech recognition
CN110706714B (zh) 说话者模型制作系统
US20220343895A1 (en) User-defined keyword spotting
EP1022725B1 (en) Selection of acoustic models using speaker verification
Këpuska et al. A novel wake-up-word speech recognition system, wake-up-word recognition task, technology and evaluation
CN111684521A (zh) 用于说话者识别的处理语音信号方法及实现其的电子装置
JP6985221B2 (ja) 音声認識装置及び音声認識方法
Chao et al. Speaker-targeted audio-visual models for speech recognition in cocktail-party environments
US10866948B2 (en) Address book management apparatus using speech recognition, vehicle, system and method thereof
JP4074543B2 (ja) 音声処理装置、音声処理方法、音声処理プログラム、および、プログラム記録媒体
KR20190032557A (ko) 음성 기반 통신
CN108806691B (zh) 语音识别方法及系统
JP2017167270A (ja) 音声処理装置および音声処理方法
KR20210098250A (ko) 전자 장치 및 이의 제어 방법
KR102444834B1 (ko) 운전자 음성 인식을 이용한 운전자 의도를 추정하는 방법 및 장치
WO2019030810A1 (ja) 音声認識装置および音声認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18931926

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020539991

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18931926

Country of ref document: EP

Kind code of ref document: A1