WO2019130399A1 - 音声認識装置、音声認識システム及び音声認識方法 - Google Patents

音声認識装置、音声認識システム及び音声認識方法 Download PDF

Info

Publication number
WO2019130399A1
WO2019130399A1 PCT/JP2017/046469 JP2017046469W WO2019130399A1 WO 2019130399 A1 WO2019130399 A1 WO 2019130399A1 JP 2017046469 W JP2017046469 W JP 2017046469W WO 2019130399 A1 WO2019130399 A1 WO 2019130399A1
Authority
WO
WIPO (PCT)
Prior art keywords
response
speaker
unit
voice
mode setting
Prior art date
Application number
PCT/JP2017/046469
Other languages
English (en)
French (fr)
Inventor
直哉 馬場
匠 武井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/046469 priority Critical patent/WO2019130399A1/ja
Priority to US16/767,319 priority patent/US20200411012A1/en
Priority to CN201780097838.9A priority patent/CN111556826A/zh
Priority to DE112017008305.2T priority patent/DE112017008305T5/de
Priority to JP2019561409A priority patent/JPWO2019130399A1/ja
Publication of WO2019130399A1 publication Critical patent/WO2019130399A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0035—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor data transmission, e.g. wired connections or wireless transmitters therefor; characterised by the sensor data processing, e.g. seat sensor signal amplification or electric circuits for providing seat sensor information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00—Communication or electronic aspects
    • B60N2230/30—Signal processing of sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Definitions

  • the present invention relates to a speech recognition apparatus, a speech recognition system, and a speech recognition method.
  • voice recognition devices for operation input to information devices in a vehicle have been developed.
  • a seat to be subjected to voice recognition in a vehicle is referred to as a "voice recognition target seat”.
  • a passenger who has uttered a voice for an operation input among passengers seated in the voice recognition target seat is referred to as a "speaker”.
  • the voice for operation input uttered by the utterer is referred to as "speech voice".
  • Patent Document 1 discloses a technique for specifying a seat on which a speaker is seated among a driver's seat and a passenger seat, which are voice recognition target seats. Thereby, appropriate operation input is realized when a plurality of passengers are seated on the voice recognition target seat.
  • UIs User Interfaces
  • the present invention has been made to solve the problems as described above, and for each of a plurality of passengers seated in the voice recognition target seat, a response in the interactive UI is for itself. The purpose is to inform you whether or not.
  • a speech recognition apparatus includes a speech recognition unit for executing speech recognition on speech uttered for operation input by a speaker of a plurality of passengers seated on a seat for speech recognition in a vehicle;
  • a speaker identification unit that executes at least one of an individual identification process for identifying an individual or a seat identification process for identifying a seat on which a speaker is seated, and for the speaker according to the identification result by the speaker identification unit
  • a response mode setting unit for executing a response mode setting process for setting a mode of the response, wherein the response mode setting process enables each of a plurality of passengers to identify whether the response is for itself or not. Is a process of setting the mode of response to
  • FIG. 4A is a block diagram showing a hardware configuration of an information device provided with the speech recognition apparatus according to Embodiment 1 of the present invention.
  • FIG. 4B is a block diagram showing another hardware configuration of the information device provided with the speech recognition device according to the first embodiment of the present invention. It is a flowchart which shows operation
  • FIG. 1 is a block diagram showing a state in which the speech recognition apparatus according to the first embodiment is provided in an information device in a vehicle.
  • the speech recognition apparatus 100 according to the first embodiment will be described with reference to FIG. 1, focusing on an example provided in an information device 2 in a vehicle 1.
  • the sound collection device 3 is configured of, for example, N microphones 3 1 to 3 N provided in the front portion of the vehicle interior of the vehicle 1 (N is an integer of 2 or more). More specifically, for example, each of the microphones 3 1 to 3 N is configured by a nondirectional microphone, and the array microphones are configured by the microphones 3 1 to 3 N arranged at regular intervals.
  • the sound collection device 3 outputs signals (hereinafter referred to as "sound signals”) S 1 to S N corresponding to the sounds collected by the microphones 3 1 to 3 N. That is, the audio signals S 1 to S N correspond to the microphones 3 1 to 3 N in one-to-one correspondence.
  • the audio signal acquisition unit 11 acquires the audio signals S 1 to S N output by the sound collection device 3.
  • the audio signal acquisition unit 11 executes analog-to-digital conversion (hereinafter referred to as “A / D conversion”) on the audio signals S 1 to S N by, for example, PCM (Pulse Code Modulation).
  • a / D conversion analog-to-digital conversion
  • PCM Pulse Code Modulation
  • the voice signal processing unit 12 estimates an input direction (hereinafter, referred to as “speech direction”) of a voiced speech to the sound collection device 3.
  • speech direction an input direction
  • the sound collection device 3 is disposed at the center of the vehicle 1 in the left-right direction in the front portion of the vehicle interior of the vehicle 1.
  • central axis an axis passing through the arrangement position of the sound collector 3 and parallel to the front-rear direction of the vehicle 1 is referred to as a “central axis”.
  • the audio signal processing unit 12 based on such phase difference between the audio signal S 1 ' ⁇ S N' difference value of the power or audio signals S 1 between ' ⁇ S N', a reference to the arrangement position of the sound collector 3
  • the speech direction represented by the angle ⁇ in the left-right direction with respect to the central axis to be measured is estimated.
  • the audio signal processing unit 12 removes components of the audio signals S 1 ′ to S N ′ corresponding to the audio input to the sound collection device 3 from a direction different from the estimated utterance direction.
  • a component hereinafter referred to as "noise component" corresponding to a voice different from the uttered voice is removed.
  • the voice signal processing unit 12 outputs the voice signals S 1 ′ ′ to S M ′ ′ from which noise components have been removed to the voice recognition processing unit 13.
  • M is an integer less than or equal to N, and is a value corresponding to, for example, the number of seats for voice recognition target seats.
  • the noise component is, for example, a component corresponding to the noise generated by the traveling of the vehicle 1 and a component corresponding to a voice uttered by a passenger different from the speaker among the passengers of the vehicle 1 (ie, conversation between passengers Etc.) and the like, etc.).
  • Various known methods such as a beamforming method, a binary masking method, or a spectral subtraction method can be used to remove noise components in the audio signal processing unit 12. Therefore, the detailed description of the removal of the noise component in the audio signal processing unit 12 is omitted.
  • the voice recognition processing unit 13 detects a voice section (hereinafter referred to as a "voice section") corresponding to the voiced voice of the voice signals S 1 "to S M ".
  • the speech recognition processing unit 13 extracts feature quantities for speech recognition processing (hereinafter referred to as “first feature quantities”) from the speech signals S 1 ′ ′ to S M ′ ′ in the speech section.
  • the speech recognition processing unit 13 executes speech recognition processing using the first feature amount.
  • HMM Hidden Markov Model
  • the voice recognition processing unit 13 determines a feature amount (hereinafter referred to as “personal identification processing”) for identifying an individual of the speaker from the audio signals S 1 ′ ′ to S M ′ ′ in the speech segment (2) feature amounts are extracted.
  • personal identification processing a feature amount for identifying an individual of the speaker from the audio signals S 1 ′ ′ to S M ′ ′ in the speech segment (2) feature amounts are extracted.
  • a voice recognition unit 14 is configured by the voice signal acquisition unit 11, the voice signal processing unit 12, and the voice recognition processing unit 13. That is, the voice recognition unit 14 performs voice recognition on the uttered voice.
  • the speech recognition unit 14 executes speech recognition on the speech uttered by the one speaker.
  • the speech recognition unit 14 executes speech recognition on the speech uttered by each of the plurality of speakers.
  • the speaker specifying unit 15 executes an individual specifying process using the second feature amount extracted by the voice recognition processing unit 13.
  • a database including feature amounts for a plurality of persons corresponding to the second feature amount is stored in advance.
  • the speaker identifying unit 15 identifies the speaker's individual by comparing the second feature extracted by the voice recognition processor 13 with each of the features for the plurality of persons.
  • the speaker identification unit 15 identifies a seat on which the speaker of the voice recognition target seat is seated (hereinafter referred to as "seat identification processing"). ) Is what you do.
  • an angle (hereinafter referred to as “actual angle”) ⁇ indicating the position of each voice recognition target seat with respect to the central axis based on the arrangement position of the sound collection device 3 is measured in advance.
  • the actual angle ⁇ of the recognition target seat is stored in advance in the speaker identification unit 15.
  • the speaker identifying unit 15 identifies the seat on which the utterer is seated by comparing the angle ⁇ indicated by the utterance direction estimated by the audio signal processing unit 12 with the actual angle ⁇ corresponding to each voice recognition target seat. Do.
  • the driver's seat and the passenger's seat of the vehicle 1 are voice recognition target seats, and + 20 °, which is an actual angle ⁇ corresponding to the driver's seat, and -20 °, which is an actual angle ⁇ corresponding to the passenger seat It is assumed that the part 15 is stored in advance. In this case, when the angle ⁇ indicated by the speech direction estimated by the voice signal processing unit 12 is + 18 °, the speaker specifying unit 15 specifies that the seat on which the speaker is seated is the driver's seat.
  • the speaker identifying unit 15 executes both the individual identifying process and the seat identifying process.
  • the personal identification process is a process of identifying an individual of the one speaker
  • the seat identification process is a process of identifying a seat on which the one speaker is seated.
  • the personal identification processing is processing for identifying each individual of the plurality of speakers
  • the seat identification processing is a seat on which each of the plurality of speakers is seated. It becomes processing to identify.
  • connection line between the voice signal processing unit 12 and the speaker specifying unit 15 shown in FIG. 1 is unnecessary.
  • the speaker identification unit 15 executes only the seat identification process, the extraction of the second feature point by the speech recognition processing unit 13 is not necessary, and the speech recognition processing unit 13 shown in FIG. The connection line of the person identification unit 15 is unnecessary.
  • the response content setting unit 16 executes processing (hereinafter referred to as “response content setting processing”) for setting the content of the response to the uttered voice (hereinafter referred to as “response content”).
  • the response mode setting unit 17 executes a process (hereinafter, referred to as “response mode setting process”) for setting a mode (hereinafter, referred to as “response mode”) of the response to the uttered voice.
  • the response output control unit 18 outputs the response to the uttered voice based on the response content set by the response content setting unit 16 and the response mode set by the response mode setting unit 17 (hereinafter referred to as “response output control”). ) Is to be performed.
  • the response mode setting unit 17 sets the output mode of the response sound.
  • the response output control unit 18 generates response voice based on the output mode set by the response mode setting unit 17 by so-called “voice synthesis”.
  • the response output control unit 18 executes control to cause the voice output device 4 to output the generated response voice.
  • the audio output device 4 is configured of, for example, a plurality of speakers.
  • the response mode setting unit 17 sets the display mode of the response image.
  • the response output control unit 18 generates a response image based on the display mode set by the response mode setting unit 17.
  • the response output control unit 18 executes control to cause the display device 5 to display the generated response image.
  • the display device 5 is configured of, for example, a display such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the response content setting process is a process of setting the content of the response to the one utterer
  • the response content mode setting process sets the manner of the response to the one utterer
  • the response output control is control for outputting a response to the one speaker.
  • the response content setting processing is processing for setting the content of the response for each of the plurality of speakers
  • the response content mode setting processing is a response for each of the plurality of speakers
  • the response output control is control to output a response to each of the plurality of speakers.
  • response content setting processing response mode setting processing
  • response output control response output control
  • the response content setting unit 16 acquires the result of the speech recognition process by the speech recognition processing unit 13.
  • the response content setting unit 16 selects a response sentence corresponding to the result of the speech recognition process among a plurality of response sentences stored in advance. The selection at this time may be based on a predetermined rule regarding the correspondence between the result of the speech recognition process and a plurality of response sentences stored in advance, or machine learning using a large number of examples of dialogue sentences It may be based on a statistical model based on the result.
  • the response content setting unit 16 may acquire weather information or schedule information from a so-called “cloud” and generate a response sentence including such information.
  • the response mode setting unit 17 obtains the result of the personal identification process by the speaker identification unit 15. Further, the response mode setting unit 17 acquires a response sentence (hereinafter referred to as “output response sentence”) selected or generated by the response content setting unit 16. The response mode setting unit 17 adds a name for the speaker to the output response sentence based on the name of the speaker indicated by the result of the personal identification process. The response output control unit 18 generates a response voice or a response image corresponding to the output response sentence including the name.
  • the result of the personal identification process indicates the name "A" of the speaker in response to the utterance voice "search for the detour route” by the speaker sitting in the driver's seat, and the response content setting It is assumed that the part 16 has selected the response sentence for output, "We have searched for a bypass route. I will guide you.”
  • the response mode setting unit 17 adds a name to the beginning of the output response sentence selected by the response content setting unit 16 to “searched for Mr. A, a bypass route. I will guide you.”
  • the response output control unit 18 generates a response voice or a response image corresponding to the output response sentence generated by the response mode setting unit 17.
  • FIG. 2 shows an example of the response image I in this case.
  • the result of the personal identification process indicates the name "A” of the speaker in response to the speech voice "Tell me the schedule of today” by the speaker sitting in the driver's seat, and the response It is assumed that the content setting unit 16 generates an output response sentence “Today has a reservation for a dentist from 14 o'clock.” Using the schedule information.
  • the result of the personal identification process indicates the name "B” of the speaker in response to the speech voice "Tell me my schedule.” By the speaker sitting in the passenger seat, and the response content setting It is assumed that the section 16 generates an output response sentence that “a drinking party with a friend has been entered from 17 o'clock today” using the schedule information.
  • the response mode setting unit 17 adds a name to the beginning of each of the output response sentences generated by the response content setting unit 16 so that “M, A's appointment for the dentist has been entered from 14 o'clock today.
  • a response sentence “output” and “a response sentence having a drinking party with a friend from 17 o'clock today,” are generated.
  • the response output control unit 18 generates a response voice or a response image corresponding to each of the output response sentences.
  • the response mode setting unit 17 obtains the result of the seat specifying process by the speaker specifying unit 15. Further, the response mode setting unit 17 acquires the output response sentence selected or generated by the response content setting unit 16. The response mode setting unit 17 adds a name for the speaker to the output response sentence based on the seat name and the like indicated by the result of the seat identification process. The response output control unit 18 generates a response voice or a response image corresponding to the output response sentence including the name.
  • the result of the seat identification process indicates “driver's seat” in response to the utterance voice "Tell me near a parking lot.”
  • the response content setting unit 16 It is assumed that a response sentence for output “The 3 nearby parking lots were found.” Is generated.
  • the result of the seat identification process indicates "passenger seat” in response to the uttered voice “I want to listen to music.”
  • a response sentence for output is selected, "Do you are looking for music of the genre?"
  • the response mode setting unit 17 adds a name to the beginning of each output response sentence generated or selected by the response content setting unit 16 so that “three drivers and three nearby parking lots are found.
  • the response output control unit 18 generates a response voice or a response image corresponding to each of the output response sentences.
  • the response mode setting unit 17 obtains the result of the personal identification process by the speaker identification unit 15.
  • the speech synthesis in the response output control unit 18 allows the speaker of the response speech to be selected from a plurality of speakers.
  • the response mode setting unit 17 sets the speakers of the response voice to different speakers according to the speaker indicated by the result of the personal identification process.
  • the response mode setting unit 17 obtains the result of the seat specifying process by the speaker specifying unit 15.
  • the speech synthesis in the response output control unit 18 allows the speaker of the response speech to be selected from a plurality of speakers.
  • the response mode setting unit 17 sets the speakers of the response voice to different speakers according to the seat indicated by the result of the seat identification process.
  • the response mode setting unit 17 obtains the result of the seat identification process by the speaker identification unit 15.
  • the response mode setting unit 17 sets a speaker used for outputting the response sound among the plurality of speakers included in the audio output device 4 according to the position of the seat indicated by the result of the seat identification process.
  • the response output control unit 18 controls the speaker set by the response mode setting unit 17 so that the response sound is output.
  • the voice output device 4 is configured by a pair of left and right front speakers, and the result of the seat identification process indicates the “driver's seat”.
  • the response mode setting unit 17 sets the speaker on the driver's seat side among the front speakers as the speaker used for outputting the response sound.
  • the response output control unit 18 performs control so that the response sound is output from the driver's seat side speaker among the front speakers.
  • the voice output device 4 is configured by a pair of left and right front speakers, and the result of the seat identification process indicates the “passenger seat”.
  • the response mode setting unit 17 sets the speaker on the passenger seat side among the front speakers as the speaker used for outputting the response sound.
  • the response output control unit 18 performs control so that the response sound is output from the front speaker among the front speakers.
  • the response mode setting unit 17 obtains the result of the seat identification process by the speaker identification unit 15.
  • the response output control unit 18 has a function of controlling the sound field in the passenger compartment of the vehicle 1 when the response sound is output.
  • the response mode setting unit 17 sets a sound field when the response sound is output according to the position of the seat indicated by the result of the seat identification process.
  • the response output control unit 18 causes the voice output device 4 to output a response voice so that the sound field set by the response mode setting unit 17 is formed in the vehicle interior of the vehicle 1.
  • the response mode setting unit 17 sets the sound field such that the volume of the response sound in the driver's seat is higher than the volume of the response sound in the other seat.
  • the response output control unit 18 causes the voice output device 4 to output a response voice so that the sound field is formed in the cabin of the vehicle 1.
  • the response mode setting unit 17 sets the sound field so that the volume of the response voice in the assistant driver's seat is higher than the volume of the response voice in the other seat.
  • the response output control unit 18 causes the voice output device 4 to output a response voice so that the sound field is formed in the cabin of the vehicle 1.
  • the response mode setting unit 17 obtains the result of the seat identification process by the speaker identification unit 15.
  • the response mode setting unit 17 sets a portion of the display area of the display device 5 on which the response image is displayed, according to the position of the seat indicated by the result of the seat identification process.
  • the response output control unit 18 displays a response image on the portion set by the response mode setting unit 17.
  • the response content setting unit 16 uses schedule information to respond to a uttered voice "Tell me the schedule for today.” By the speaker sitting in the driver's seat. It is assumed that an output response sentence of In addition, the response content setting unit 16 uses the schedule information to respond to the uttered voice "Tell me my schedule.” It is assumed that a response statement for output has been generated.
  • the response mode setting unit 17 displays a response image corresponding to the output response sentence for the speaker seated in the driver's seat on the driver's seat side half of the display area of the display device 5
  • the response mode setting unit 17 displays a response image corresponding to the output response sentence for the speaker seated in the front passenger seat in the front half of the display area of the display device 5.
  • FIG. 3 shows an example of the response images I 1 and I 2 in this case.
  • the response mode setting unit 17 executes the response mode setting process according to at least one of the first to fifth specific examples. This allows each of the plurality of passengers seated in the voice recognition target seat to easily identify whether the response is for itself. In particular, when responses to a plurality of speakers are output substantially simultaneously, each of the plurality of speakers can easily identify whether or not the responses are to itself.
  • an output response sentence including a name is output from the response mode setting unit 17 to the response output control unit 18.
  • the output response sentence selected or generated by the response content setting unit 16 controls the response output from the response content setting unit 16 It is output to the unit 18. Further, in any of the second to fifth specific examples, the output response sentence is not used in the response mode setting process.
  • the response mode setting unit 17 executes the response mode setting process according to the first specific example, the connection line between the response content setting unit 16 and the response output control unit 18 shown in FIG. 1 is unnecessary.
  • the response mode setting unit 17 does not execute the response mode setting process according to the first example (that is, the response mode according to at least one of the second to fifth examples). In the case where only setting processing is executed), the connection between the response content setting unit 16 and the response mode setting unit 17 shown in FIG. 1 is unnecessary.
  • the speech recognition unit 14, the speaker identification unit 15, and the response mode setting unit 17 constitute a main part of the speech recognition apparatus 100.
  • the speech recognition apparatus 100, the response content setting unit 16 and the response output control unit 18 constitute a main part of the information device 2.
  • the information device 2 is configured by, for example, an on-vehicle information device such as a car navigation device, a car audio device, or a display audio device mounted on the vehicle 1.
  • the information device 2 is configured of a smartphone brought into the vehicle 1, a portable information terminal such as a tablet PC (personal computer) or a PND (Portable Navigation Device).
  • the information device 2 is configured by a computer, and includes a processor 21 and a memory 22.
  • the memory 22 stores programs for causing the computer to function as the speech recognition unit 14, the speaker identification unit 15, the response content setting unit 16, the response mode setting unit 17, and the response output control unit 18.
  • the processor 21 reads out and executes the program stored in the memory 22 to realize the functions of the speech recognition unit 14, the speaker identification unit 15, the response content setting unit 16, the response mode setting unit 17, and the response output control unit 18. Be done.
  • the processor 21 uses, for example, a central processing unit (CPU), a graphics processing unit (GPU), a microprocessor, a microcontroller, or a digital signal processor (DSP).
  • the memory 22 is, for example, a semiconductor memory such as a random access memory (RAM), a read only memory (ROM), a flash memory, an erasable programmable read only memory (EPROM), or an electrically erasable programmable read only memory (EEPROM).
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable read only memory
  • EEPROM electrically erasable programmable read only memory
  • An optical disk or a magneto-optical disk is used.
  • the functions of the speech recognition unit 14, the speaker identification unit 15, the response content setting unit 16, the response mode setting unit 17, and the response output control unit 18 are realized by the dedicated processing circuit 23. It may be.
  • the processing circuit 23 may be, for example, an application specific integrated circuit (ASIC), a programmable logic device (PLD), a field-programmable gate array (FPGA), a system-on-a-chip (SoC) or a large-scale integration (LSI). Etc. are used.
  • ASIC application specific integrated circuit
  • PLD programmable logic device
  • FPGA field-programmable gate array
  • SoC system-on-a-chip
  • LSI large-scale integration
  • part of the functions of the speech recognition unit 14, the speaker identification unit 15, the response content setting unit 16, the response mode setting unit 17, and the response output control unit 18 are realized by the processor 21 and the memory 22, and the rest The function of may be realized by the processing circuit 23.
  • Steps ST11 to ST17 shown in FIG. 6 indicate the detailed processing contents in step ST1 shown in FIG.
  • step ST1 the voice recognition unit 14 performs voice recognition on the uttered voice.
  • step ST11 the audio signal acquisition unit 11 acquires the audio signals S 1 to S N output by the sound collection device 3.
  • the audio signal acquisition unit 11 performs A / D conversion on the audio signals S 1 to S N.
  • the audio signal acquisition unit 11 outputs the audio signals S 1 ′ to S N ′ after A / D conversion to the audio signal processing unit 12.
  • step ST12 the audio signal processing section 12, based on such phase difference between the audio signal S 1 ' ⁇ S N' difference values or audio signals S 1 power between ' ⁇ S N', sound collector
  • the input direction of the uttered voice with respect to No. 3, ie, the utterance direction is estimated.
  • the sound signal processing unit 12 components based on the estimated speech direction in step ST12, corresponding to the speech sound different from the sound of the audio signal S 1 ' ⁇ S N', i.e. the noise component Remove
  • the voice signal processing unit 12 outputs the voice signals S 1 ′ ′ to S M ′ ′ from which the noise component is removed to the voice recognition processing unit 13.
  • step ST14 the speech recognition processing unit 13 detects a speech zone corresponding to the speech speech of the speech signals S 1 ′ ′ to S M ′ ′, ie, a speech zone.
  • step ST15 the speech recognition processing unit 13 extracts a first feature amount for speech recognition processing from the speech signals S 1 ′ ′ to S M ′ ′ in the speech segment.
  • step ST16 the speech recognition processing unit 13 executes speech recognition processing using the first feature amount.
  • step ST17 the speech recognition processing unit 13 determines from the speech signals S 1 ′ ′ to S M ′ in the speech section. Extract a second feature amount for personal identification processing.
  • step ST2 the speaker identification unit 15 executes at least one of an individual identification process or a seat identification process.
  • the specific example of the individual specifying process and the specific example of the seat specifying process are as described above, and thus the description thereof will not be repeated.
  • step ST3 the response content setting unit 16 executes response content setting processing.
  • the specific example of the response content setting process is as described above, and thus the description thereof will not be repeated.
  • step ST4 the response mode setting unit 17 executes a response mode setting process.
  • the specific example of the response mode setting process is as described above, and thus the description thereof will not be repeated.
  • step ST5 the response output control unit 18 executes response output control. Since the specific example of response output control is as having already demonstrated, description for the second time is abbreviate
  • the sound collection device 3 is not limited to an array microphone configured of a plurality of nondirectional microphones.
  • at least one directional microphone may be provided in front of each voice recognition target seat, and the sound collection device 3 may be configured by these directional microphones.
  • the process of estimating the speech direction and the process of removing the noise component based on the estimated speech direction are unnecessary in the speech signal processing unit 12.
  • the seat identification process is a process of identifying that a speaker is seated at a seat corresponding to the directional microphone from which an audio signal including a component corresponding to the uttered voice is output, for example.
  • the response mode setting process may be any process as long as it can set the response mode so that each of a plurality of passengers sitting in the voice recognition target seat can identify whether the response is for itself or not.
  • the present invention is not limited to the first to fifth specific examples.
  • the response mode setting process is not limited to the process of setting the output mode of the response sound or the process of setting the display mode of the response image.
  • light emitting elements such as LEDs (Light Emitting Diodes) are provided in front of each voice recognition target seat, and the response mode setting unit 17 speaks among these light emitting elements based on the result of the seat identification process.
  • the light emitting element provided in the front of the seat where the person is seated may be set as the lighting target.
  • the response output control unit 18 may execute control to turn on the light emitting element set as the lighting target by the response mode setting unit 17.
  • the response mode setting unit 17 may set the mode of response to only some of the plurality of speakers. While the response output control unit 18 outputs responses to some of the plurality of speakers based on the response mode set by the response mode setting unit 17, the response output control unit 18 outputs the responses among the plurality of speakers. The response to the remaining speaker may be control to output based on the default response mode. That is, the response mode setting process only needs to set the mode of the response to at least one of the plurality of speakers.
  • the speech recognition processing unit 13 may detect the start point of each speech when detecting the speech segment.
  • the response mode setting unit 17 detects the start point of the uttered voice by the first utterer (hereinafter referred to as the “first utterer”) and detects the second of the second uttering before the output of the response to the first utterer is started.
  • the response mode setting process may be executed only when the start point of the uttered voice by the utterer (hereinafter referred to as "the second utterer") is detected. In other cases, the response mode setting unit 17 may execute control for outputting a response based on the default response mode without executing the response mode setting process.
  • Response mode setting unit 17 executes only the response mode setting process for the second speaker without executing the response mode setting process for the first speaker). It is good. In this case, the response to the first speaker may be output according to the default response mode.
  • the response mode setting unit 17 detects the start point of the voice uttered by the first speaker, and then starts the start point of the voice uttered by the second speaker before a predetermined time (hereinafter referred to as “reference time”) elapses.
  • the response mode setting process may be executed only when is detected. In other cases, the response mode setting unit 17 may execute control for outputting a response based on the default response mode without executing the response mode setting process.
  • the reference time is, for example, a value corresponding to a statistical value (for example, an average value) of the actual measurement values of the utterance time of each utterance voice, and is stored in advance in the response mode setting unit 17.
  • a server device 6 capable of communicating with the information device 2 may be provided outside the vehicle 1, and the server device 6 may be provided with the voice recognition processing unit 13. . That is, voice recognition is performed by the voice signal acquisition unit 11, the voice signal processing unit 12, the speaker identification unit 15, the response mode setting unit 17 and the voice recognition processing unit 13 provided in the server device 6 provided in the information device 2.
  • the main part of the system 200 may be configured. Thereby, the accuracy of the speech recognition process in the speech recognition processing unit 13 can be improved.
  • each of the voice signal acquisition unit 11, the voice signal processing unit 12, the voice recognition processing unit 13, the utterer identification unit 15, the response content setting unit 16, the response mode setting unit 17 and the response output control unit 18 It may be provided in any of an on-vehicle information device that can be mounted, a portable information terminal that can be brought into the vehicle 1, or the on-vehicle information device or a server device that can communicate with the portable information terminal. Any one or more of the on-vehicle information device, the portable information terminal, or the server device may cooperate to realize the voice recognition system 200.
  • the speech recognition apparatus 100 executes speech recognition on the uttered voice for operation input by the utterer among a plurality of passengers seated in the speech recognition target seat of the vehicle 1
  • Utterer identification unit 15 that executes at least one of voice recognition unit 14 for identifying the individual of the utterer or seat identification process for designating the seat on which the utterer is seated;
  • a response mode setting unit 17 that executes a response mode setting process for setting a mode (response mode) of a response to the speaker according to the identification result by the unit 15.
  • the response mode setting process is performed by a plurality of passengers. Each is processing of setting an aspect (response aspect) of the response in an aspect capable of identifying whether the response is for itself. This allows each of the plurality of passengers seated in the voice recognition target seat to easily identify whether the response is for itself. In particular, when responses to a plurality of speakers are output substantially simultaneously, each of the plurality of speakers can easily identify whether or not the responses are to itself.
  • the response mode setting unit 17 detects the start point of the voice uttered by the first utterer among the plurality of utterers, and then detects the second utterance of the plurality of utterers before the reference time elapses.
  • the response mode setting process is executed.
  • the processing load can be reduced, and the burden on the speaker can be reduced.
  • the response mode setting unit 17 detects a plurality of utterances of the plurality of speakers before the output of the response to the first speaker is started after the start point of the speech of the first speaker is detected.
  • the response mode setting process is executed.
  • the speaker identification unit 15 executes an individual identification process using the feature amount (second feature amount) extracted by the voice recognition unit 14. This can eliminate the need for a dedicated camera or sensors for personal identification processing.
  • the response mode setting process is a process of including in the response a name based on the identification result by the speaker identification unit 15. According to the first example, it is possible to realize a response mode in which each of a plurality of speakers can easily identify whether the response is for itself.
  • the response mode setting process is a process of changing the speaker of the response voice (response voice) in accordance with the identification result by the speaker identification unit 15. According to the second example, it is possible to realize a response mode in which each of a plurality of speakers can easily identify whether the response is for itself.
  • the response mode setting process is a process of changing a speaker to which a response voice (voice for response) is output according to the position of the seat indicated by the result of the seat identification process, or of the seat indicated by the result of the seat identification process. This is processing to change the sound field when the response voice (response voice) is output according to the position.
  • a response aspect in which each of a plurality of speakers can easily identify whether the response is for itself.
  • the voice recognition system 200 performs the voice recognition on the uttered voice for the operation input by the utterer among the plurality of passengers seated in the voice recognition target seat of the vehicle 1
  • a speaker identification unit 15 that executes at least one of an individual identification process for identifying an individual of the speaker or a seat identification process for identifying a seat on which the speaker is seated; and the speaker identification unit 15
  • the system includes a response mode setting unit 17 that executes a response mode setting process of setting a mode (response mode) of a response to the speaker according to the specified result.
  • each of a plurality of passengers responds It is the process which sets the aspect (response aspect) of a response to the aspect which can identify whether it is with respect to self. Thereby, the same effect as the above-described effect by the speech recognition apparatus 100 can be obtained.
  • the voice recognition unit 14 performs voice recognition on the uttered voice for the operation input by the utterer of the plurality of passengers seated in the voice recognition target seat of the vehicle 1 Step ST1 of performing the step, and the step ST2 of performing at least one of the personal identification process of identifying the speaker individual and the seat identification process of identifying the seat on which the speaker is seated.
  • step ST4 in which a response mode setting process for setting a mode (response mode) of a response to the speaker according to the specification result by the speaker specifying unit 15; Is a process of setting an aspect (response aspect) of the response to an aspect in which each of a plurality of passengers can identify whether the response is for itself.
  • FIG. 8 is a block diagram showing a state in which the voice recognition device according to the second embodiment is provided in an information device in a vehicle.
  • a speech recognition apparatus 100 a according to a second embodiment will be described focusing on an example provided in an information device 2 in a vehicle 1.
  • the same blocks as the blocks shown in FIG. 1 are assigned the same reference numerals and descriptions thereof will be omitted.
  • the camera 7 is a camera for imaging in the passenger compartment.
  • the camera 7 is configured by, for example, an infrared camera or a visible light camera provided in a front portion of a vehicle cabin of the vehicle 1.
  • the camera 7 has an angle of view capable of capturing at least an area including the face of a passenger sitting on a voice recognition target seat (for example, a driver's seat and a front passenger seat).
  • the passenger identification unit 19 acquires image data indicating an image captured by the camera 7 at a predetermined cycle (for example, a cycle of 30 FPS (Frames Per Second)).
  • the passenger identification unit 19 executes the image recognition process on the acquired image data to determine the presence or absence of the passenger in each voice recognition target seat, and each passenger seated in the voice recognition target seat Processing for identifying an individual (hereinafter referred to as "passenger identification processing").
  • the passenger identification unit 19 performs a region corresponding to the face of the passenger seated in the voice recognition target seat in the captured image (hereinafter referred to as “face region And the feature amount for the passenger identification process (hereinafter referred to as “third feature amount”) is extracted from each face area.
  • the passenger identification unit 19 determines the presence or absence of a passenger in each voice recognition target seat based on the size and position of each face region in the captured image. Further, in the passenger identification unit 19, a database including feature amounts for a plurality of persons corresponding to the third feature amount is stored in advance.
  • the passenger identification unit 19 compares the third feature value extracted from each face area with each of the feature values for the plurality of persons, to identify the individual of each passenger seated in the voice recognition target seat. Identify.
  • the passenger identification unit 19 outputs the result of the passenger identification process to the speaker identification unit 15a.
  • the result of the passenger identification process includes, for example, information indicating the name and the like of each passenger seated in the voice recognition target seat, and information indicating the name and the position and the like of the seat in which each passenger is seated. It is included.
  • the result of the passenger identification process may include only the above information, or In addition, it may include information indicating that the part of the seats is vacant.
  • the speaker identifying unit 15a executes a process of identifying an individual of the speaker, that is, an individual identifying process, using the speech direction estimated by the audio signal processing unit 12 and the result of the passenger identifying process by the passenger identifying unit 19. It is
  • the speaker identification unit 15a stores in advance an actual angle ⁇ similar to the actual angle ⁇ for the seat identification process in the first embodiment.
  • the speaker identifying unit 15a identifies the seat on which the utterer is seated by comparing the angle ⁇ indicated by the utterance direction estimated by the audio signal processing unit 12 with the actual angle ⁇ corresponding to each voice recognition target seat. Do.
  • the speaker specifying unit 15a uses the result of the passenger specifying process by the passenger specifying unit 19 to specify the passenger sitting on the specified seat, that is, the individual of the speaker.
  • the speaker identification unit 15a does not use the second feature amount in the individual identification process. Therefore, in the speech recognition apparatus 100 a according to the second embodiment, the extraction of the second feature amount by the speech recognition processing unit 13 is unnecessary.
  • the response mode setting unit 17 is configured to use the result of the personal identification process by the speaker identification unit 15a for the response mode setting process.
  • the specific example of the response mode setting process is as described in the first embodiment, and thus the description thereof will not be repeated.
  • the speech recognition unit 14, the speaker identification unit 15a, the response mode setting unit 17, and the passenger identification unit 19 constitute a main part of the speech recognition apparatus 100a.
  • the speech recognition apparatus 100a, the response content setting unit 16 and the response output control unit 18 constitute a main part of the information device 2.
  • the hardware configuration of the main part of the information device 2 is the same as that described in the first embodiment with reference to FIG. That is, the function of the speaker identification unit 15 a may be realized by the processor 21 and the memory 22, or may be realized by the processing circuit 23. Similarly, the function of the passenger identification unit 19 may be realized by the processor 21 and the memory 22, or may be realized by the processing circuit 23.
  • Steps ST31 to ST34 shown in FIG. 10 indicate the detailed processing contents in step ST21 shown in FIG.
  • the passenger identification unit 19 acquires image data indicating an image captured by the camera 7 at a constant cycle, and uses the acquired image data to obtain an occupant. A specific process is performed (step ST21).
  • step ST31 the passenger identification unit 19 acquires image data indicating an image captured by the camera 7.
  • step ST32 the passenger identification unit 19 performs image recognition processing on the image data acquired in step ST31, thereby detecting a face area in the captured image and boarding from the individual face areas.
  • the third feature amount for the person identification process is extracted.
  • step ST33 the passenger identification unit 19 determines the presence or absence of a passenger in each voice recognition target seat based on the size and position of each face area detected in step ST32.
  • step ST34 the passenger identification unit 19 identifies the individual of each passenger seated in the voice recognition target seat, using the third feature value extracted in step ST33.
  • the passenger identification unit 19 outputs the result of the passenger identification process to the speaker identification unit 15a.
  • Steps ST51 to ST56 shown in FIG. 12 indicate the detailed processing contents in step ST41 shown in FIG.
  • step ST41 the voice recognition unit 14 performs voice recognition on the uttered voice.
  • step ST51 the audio signal acquisition unit 11 acquires the audio signals S 1 to S N output by the sound collection device 3.
  • the audio signal acquisition unit 11 performs A / D conversion on the audio signals S 1 to S N.
  • the audio signal acquisition unit 11 outputs the audio signals S 1 ′ to S N ′ after A / D conversion to the audio signal processing unit 12.
  • the audio signal processing section 12 based on such phase difference between the audio signal S 1 ' ⁇ S N' difference values or audio signals S 1 power between ' ⁇ S N', sound collector
  • the input direction of the uttered voice with respect to No. 3, ie, the utterance direction is estimated.
  • step ST53 based on the speech direction estimated in step ST52, the speech signal processing unit 12 selects one of the speech signals S 1 'to S N ' that corresponds to the speech different from the speech speech, that is, the noise component. Remove The voice signal processing unit 12 outputs the voice signals S 1 ′ ′ to S M ′ ′ from which the noise component is removed to the voice recognition processing unit 13.
  • step ST54 the speech recognition processing unit 13 detects a speech zone corresponding to the speech speech among the speech signals S 1 ′ ′ to S M ′ ′, ie, a speech zone.
  • step ST55 the speech recognition processing unit 13 extracts a first feature amount for speech recognition processing from the speech signals S 1 ′ ′ to S M ′ ′ in the speech segment.
  • step ST56 the speech recognition processing unit 13 executes speech recognition processing using the first feature amount.
  • step ST42 the speaker identification unit 15a executes an individual identification process. That is, the speaker identifying unit 15a uses the utterance direction estimated by the voice signal processing unit 12 in step ST52 and the result of the passenger identifying process output by the passenger identifying unit 19 in step ST34 to execute the above-described specific process. Identify the speaker's individual from the example.
  • step ST43 the response content setting unit 16 executes response content setting processing.
  • the specific example of the response content setting process is as described in the first embodiment, and thus the description thereof will not be repeated.
  • step ST44 the response mode setting unit 17 executes a response mode setting process.
  • the specific example of the response mode setting process is as described in the first embodiment, and thus the description thereof will not be repeated.
  • step ST45 the response output control unit 18 executes response output control.
  • the specific example of the response output control is as described in the first embodiment, and thus the description thereof will not be repeated.
  • the passenger identification unit 19 by providing the passenger identification unit 19, the second feature extracted from the audio signals S 1 ′ ′ to S M ′ ′ in the individual identification process can be made unnecessary. As a result, the noise resistance of the personal identification process can be improved, and the accuracy of the personal identification process can be improved.
  • the image recognition processing in the passenger identification unit 19 detects the three-dimensional position coordinates of the head of each passenger sitting in the voice recognition target seat, more preferably the three-dimensional position coordinates of the mouth of each passenger It may be
  • the voice signal processing unit 12 uses the three-dimensional position coordinates detected by the passenger identification unit 19 to make an utterance direction with sharp directivity (for example, the horizontal direction with respect to the central axis with reference to the arrangement position of the sound collector 3).
  • An utterance direction represented by the angle ⁇ and the angle ⁇ in the vertical direction may be estimated.
  • connection lines between the passenger identification unit 19 and the audio signal processing unit 12 in this case are not shown.
  • the speaker identification unit 15a acquires image data representing an image captured by the camera 7, and executes an image recognition process on the acquired image data, whereby the passenger seated in the voice recognition target seat It is also possible to detect a passenger who is moving his / her mouth.
  • the speaker identifying unit 15a may identify the passenger moving the mouth, that is, the individual of the speaker, using the result of the passenger identifying process by the passenger identifying unit 19.
  • the connection line between the audio signal processing unit 12 and the speaker identifying unit 15a shown in FIG. 8 is unnecessary.
  • the connection line between the camera 7 and the speaker identification unit 15a in this case is not shown.
  • each seating sensor 8 is configured of, for example, a plurality of pressure sensors.
  • the pressure distributions detected by the plurality of pressure sensors differ depending on the weight, the sitting posture, the buttocks shape, and the like of the occupant seated in the corresponding seat.
  • the passenger identification unit 19 executes a passenger identification process using the pressure distribution as a feature amount.
  • a method of identifying an individual using such pressure distribution as a feature amount various known methods can be used, and detailed description will be omitted.
  • the passenger identification unit 19 may execute both the passenger identification processing using the image captured by the camera 7 and the passenger identification processing using the detection value of the seating sensor 8. Thus, the accuracy of the passenger identification process can be improved. A block diagram in this case is shown in FIG.
  • the voice signal acquisition unit 11, the voice signal processing unit 12, the speaker identification unit 15a, the response mode setting unit 17, the passenger identification unit 19 and the server device 6 provided in the information device 2 are provided.
  • the main part of the speech recognition system 200a may be configured by the speech recognition processing unit 13 described above. Thereby, the accuracy of the speech recognition process in the speech recognition processing unit 13 can be improved.
  • the speaker specifying unit 15a may execute the passenger specifying process using a detection value by the seating sensor 8 instead of or in addition to the image captured by the camera 7.
  • the block diagram in this case is not shown.
  • the voice recognition device 100a identifies a passenger of each of a plurality of passengers using at least one of the camera 7 for imaging in the passenger compartment and the seating sensor 8.
  • a passenger identification unit 19 that executes identification processing is provided, and the speaker identification unit 15a executes personal identification processing using the result of the passenger identification processing.
  • the noise resistance of the personal identification process can be improved, so that the accuracy of the personal identification process can be improved.
  • the present invention allows free combination of each embodiment, or modification of any component of each embodiment, or omission of any component in each embodiment. .
  • the voice recognition device of the present invention can be used, for example, for operation input to an information device in a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

音声認識装置（１００）は、車両（１）における音声認識対象座席に着座している複数人の搭乗者のうちの発話者による操作入力用の発話音声に対する音声認識を実行する音声認識部（１４）と、発話者の個人を特定する個人特定処理又は発話者が着座している座席を特定する座席特定処理のうちの少なくとも一方を実行する発話者特定部（１５）と、発話者特定部（１５）による特定結果に応じて、発話者に対する応答の態様を設定する応答態様設定処理を実行する応答態様設定部（１７）とを備え、応答態様設定処理は、複数人の搭乗者の各々が応答が自身に対するものであるか否かを識別可能な態様に応答の態様を設定する処理である。

Description

音声認識装置、音声認識システム及び音声認識方法
　本発明は、音声認識装置、音声認識システム及び音声認識方法に関する。
　従来、車両内の情報機器に対する操作入力用の音声認識装置が開発されている。以下、車両における音声認識の対象となる座席を「音声認識対象座席」という。また、音声認識対象座席に着座している搭乗者のうちの操作入力用の音声を発話した搭乗者を「発話者」という。また、発話者により発話された操作入力用の音声を「発話音声」という。
　特許文献１には、音声認識対象座席である運転席及び助手席のうちの発話者が着座している座席を特定する技術が開示されている。これにより、音声認識対象座席に複数人の搭乗者が着座している場合における適切な操作入力を実現している。
特開平１１－６５５８７号公報
　近年、いわゆる「対話型」のＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）に対応した音声認識装置が開発されている。すなわち、発話音声に対する音声認識を実行することにより操作入力を受け付けるのに加えて、当該発話音声に対する応答用の音声（以下「応答用音声」という。）をスピーカに出力させたり、又は当該発話音声に対する応答用の画像（以下「応答用画像」という。）をディスプレイに表示させたりするＵＩが開発されている。以下、対話型のＵＩにおける応答用音声及び応答用画像などを総称して単に「応答」ということがある。
　対話型のＵＩに対応した音声認識装置においては、音声認識対象座席に複数人の搭乗者が着座している場合、当該複数人の搭乗者のうちの発話者に対する応答が出力される。このとき、当該複数人の搭乗者の各々が、応答が自身に対するものであるか否かを識別し難いという問題があった。特に、複数人の発話者に対する応答が略同時に出力された場合、識別が更に困難になるという問題があった。
　本発明は、上記のような課題を解決するためになされたものであり、音声認識対象座席に着座している複数人の搭乗者の各々に、対話型のＵＩにおける応答が自身に対するものであるか否かを知らせることを目的とする。
　本発明の音声認識装置は、車両における音声認識対象座席に着座している複数人の搭乗者のうちの発話者による操作入力用の発話音声に対する音声認識を実行する音声認識部と、発話者の個人を特定する個人特定処理又は発話者が着座している座席を特定する座席特定処理のうちの少なくとも一方を実行する発話者特定部と、発話者特定部による特定結果に応じて、発話者に対する応答の態様を設定する応答態様設定処理を実行する応答態様設定部とを備え、応答態様設定処理は、複数人の搭乗者の各々が応答が自身に対するものであるか否かを識別可能な態様に応答の態様を設定する処理であることを特徴とするものである。
　本発明によれば、上記のように構成したので、音声認識対象座席に着座している複数人の搭乗者の各々に、対話型のＵＩにおける応答が自身に対するものであるか否かを知らせることができる。
本発明の実施の形態１に係る音声認識装置が車両内の情報機器に設けられている状態を示すブロック図である。 表示装置に応答用画像が表示されている状態を示す説明図である。 表示装置に他の応答用画像が表示されている状態を示す説明図である。 図４Ａは、本発明の実施の形態１に係る音声認識装置が設けられている情報機器のハードウェア構成を示すブロック図である。図４Ｂは、本発明の実施の形態１に係る音声認識装置が設けられている情報機器の他のハードウェア構成を示すブロック図である。 本発明の実施の形態１に係る音声認識装置が設けられている情報機器の動作を示すフローチャートである。 本発明の実施の形態１に係る音声認識装置のうちの音声認識部の詳細な動作を示すフローチャートである。 本発明の実施の形態１に係る音声認識システムの要部を示すブロック図である。 本発明の実施の形態２に係る音声認識装置が車両内の情報機器に設けられている状態を示すブロック図である。 本発明の実施の形態２に係る音声認識装置のうちの搭乗者特定部の動作を示すフローチャートである。 本発明の実施の形態２に係る音声認識装置のうちの搭乗者特定部の詳細な動作を示すフローチャートである。 本発明の実施の形態２に係る音声認識装置が設けられている情報機器のうちの搭乗者特定部を除く部位の動作を示すフローチャートである。 本発明の実施の形態２に係る音声認識装置のうちの音声認識部の詳細な動作を示すフローチャートである。 本発明の実施の形態２に係る他の音声認識装置が車両内の情報機器に設けられている状態を示すブロック図である。 本発明の実施の形態２に係る他の音声認識装置が車両内の情報機器に設けられている状態を示すブロック図である。 本発明の実施の形態２に係る音声認識システムの要部を示すブロック図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る音声認識装置が車両内の情報機器に設けられている状態を示すブロック図である。図１を参照して、実施の形態１の音声認識装置１００について、車両１内の情報機器２に設けられている例を中心に説明する。
　図中、３は集音装置である。集音装置３は、例えば、車両１の車室内前方部に設けられたＮ個のマイク３１～３Ｎにより構成されている（Ｎは２以上の整数）。より具体的には、例えば、マイク３１～３Ｎの各々が無指向性マイクにより構成されており、一定間隔に配列されたマイク３１～３Ｎによりアレイマイクが構成されている。集音装置３は、マイク３１～３Ｎにより集音された音声に対応する信号（以下「音声信号」という。）Ｓ１～ＳＮを出力するものである。すなわち、音声信号Ｓ１～ＳＮはマイク３１～３Ｎと一対一に対応するものである。
　音声信号取得部１１は、集音装置３により出力された音声信号Ｓ１～ＳＮを取得するものである。音声信号取得部１１は、例えばＰＣＭ（Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ）により、音声信号Ｓ１～ＳＮに対するアナログデジタル変換（以下「Ａ／Ｄ変換」という。）を実行するものである。音声信号取得部１１は、Ａ／Ｄ変換後の音声信号Ｓ１’～ＳＮ’を音声信号処理部１２に出力するものである。
　音声信号処理部１２は、集音装置３に対する発話音声の入力方向（以下「発話方向」という。）を推定するものである。具体的には、例えば、集音装置３は、車両１の車室内前方部において車両１の左右方向に対する中心部に配置されている。以下、集音装置３の配置位置を通り、かつ、車両１の前後方向に対して平行な軸を「中心軸」という。音声信号処理部１２は、音声信号Ｓ１’～ＳＮ’間のパワーの差分値又は音声信号Ｓ１’～ＳＮ　’間の位相差などに基づき、集音装置３の配置位置を基準とする中心軸に対する左右方向の角度θにより表される発話方向を推定する。
　また、音声信号処理部１２は、音声信号Ｓ１’～ＳＮ’のうちの当該推定された発話方向と異なる方向から集音装置３に入力された音声に対応する成分を除去することにより、発話音声と異なる音声に対応する成分（以下「ノイズ成分」という。）を除去するものである。音声信号処理部１２は、ノイズ成分が除去された音声信号Ｓ１”～ＳＭ”を音声認識処理部１３に出力するものである。なお、ＭはＮ以下の整数であり、例えば音声認識対象座席の座席数に対応する値である。
　ノイズ成分は、例えば、車両１の走行により発生した騒音に対応する成分、及び車両１の搭乗者のうちの発話者と異なる搭乗者により発話された音声に対応する成分（すなわち搭乗者間の会話などにより発生した非操作入力用の音声に対応する成分）などを含むものである。音声信号処理部１２におけるノイズ成分の除去には、ビームフォーミング法、バイナリマスキング法又はスペクトルサブトラクション法などの公知の種々の方法を用いることができる。このため、音声信号処理部１２におけるノイズ成分の除去についての詳細な説明は省略する。
　音声認識処理部１３は、音声信号Ｓ１”～ＳＭ”のうちの発話音声に対応する音声区間（以下「発話区間」という。）を検出するものである。音声認識処理部１３は、発話区間内の音声信号Ｓ１”～ＳＭ”から音声認識処理用の特徴量（以下「第１特徴量」という。）を抽出するものである。音声認識処理部１３は、第１特徴量を用いて音声認識処理を実行するものである。
　音声認識処理部１３における音声認識処理には、ＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）法などの公知の種々の方法を用いることができる。このため、音声認識処理部１３における音声認識処理についての詳細な説明は省略する。
　また、音声認識処理部１３は、発話区間内の音声信号Ｓ１”～ＳＭ”から、発話者の個人を特定する処理（以下「個人特定処理」という。）用の特徴量（以下「第２特徴量」という。）を抽出するものである。
　音声信号取得部１１、音声信号処理部１２及び音声認識処理部１３により、音声認識部１４が構成されている。すなわち、音声認識部１４は、発話音声に対する音声認識を実行するものである。
　なお、発話者が１人である場合、音声認識部１４は当該１人の発話者による発話音声に対する音声認識を実行するものとなる。他方、発話者が複数人である場合、音声認識部１４は当該複数人の発話者の各々による発話音声に対する音声認識を実行するものとなる。
　発話者特定部１５は、音声認識処理部１３により抽出された第２特徴量を用いて個人特定処理を実行するものである。
　具体的には、例えば、発話者特定部１５には、第２特徴量に対応する複数人分の特徴量を含むデータベースが予め記憶されている。発話者特定部１５は、音声認識処理部１３により抽出された第２特徴量を当該複数人分の特徴量の各々と比較することにより、発話者の個人を特定する。
　または、発話者特定部１５は、音声信号処理部１２により推定された発話方向に基づき、音声認識対象座席のうちの発話者が着座している座席を特定する処理（以下「座席特定処理」という。）を実行するものである。
　具体的には、例えば、集音装置３の配置位置を基準とする中心軸に対する各音声認識対象座席の位置を示す角度（以下「実角度」という。）φが予め計測されており、各音声認識対象座席の実角度φが発話者特定部１５に予め記憶されている。発話者特定部１５は、音声信号処理部１２により推定された発話方向が示す角度θを各音声認識対象座席に対応する実角度φと比較することにより、発話者が着座している座席を特定する。
　一例として、車両１の運転席及び助手席が音声認識対象座席であり、運転席に対応する実角度φである＋２０°と助手席に対応する実角度φである－２０°とが発話者特定部１５に予め記憶されているものとする。この場合において、音声信号処理部１２により推定された発話方向の示す角度θが＋１８°であるとき、発話者特定部１５は、発話者の着座している座席が運転席であると特定する。
　または、発話者特定部１５は、個人特定処理及び座席特定処理の両方を実行するものである。
　なお、発話者が１人である場合、個人特定処理は当該１人の発話者の個人を特定する処理となり、座席特定処理は当該１人の発話者が着座している座席を特定する処理となる。他方、発話者が複数人である場合、個人特定処理は当該複数人の発話者の各々の個人を特定する処理となり、座席特定処理は当該複数人の発話者の各々が着座している座席を特定する処理となる。
　また、発話者特定部１５が個人特定処理のみを実行するものである場合、図１に示す音声信号処理部１２と発話者特定部１５間の接続線は不要である。また、発話者特定部１５が座席特定処理のみを実行するものである場合、音声認識処理部１３による第２特徴点の抽出は不要であり、かつ、図１に示す音声認識処理部１３と発話者特定部１５の接続線は不要である。
　応答内容設定部１６は、発話音声に対する応答の内容（以下「応答内容」という。）を設定する処理（以下「応答内容設定処理」という。）を実行するものである。応答態様設定部１７は、発話音声に対する応答の態様（以下「応答態様」という。）を設定する処理（以下「応答態様設定処理」という。）を実行するものである。応答出力制御部１８は、応答内容設定部１６により設定された応答内容及び応答態様設定部１７により設定された応答態様に基づき、発話音声に対する応答を出力する制御（以下「応答出力制御」という。）を実行するものである。
　具体的には、例えば、応答態様設定部１７は、応答用音声の出力態様を設定する。応答出力制御部１８は、いわゆる「音声合成」により、応答態様設定部１７により設定された出力態様に基づく応答用音声を生成する。応答出力制御部１８は、当該生成された応答用音声を音声出力装置４に出力させる制御を実行する。音声出力装置４は、例えば、複数個のスピーカにより構成されている。
　応答出力制御部１８における音声合成には、公知の種々の方法を用いることができる。このため、応答出力制御部１８における音声合成についての詳細な説明は省略する。
　また、例えば、応答態様設定部１７は、応答用画像の表示態様を設定する。応答出力制御部１８は、応答態様設定部１７により設定された表示態様に基づく応答用画像を生成する。応答出力制御部１８は、当該生成された応答用画像を表示装置５に表示させる制御を実行する。表示装置５は、例えば、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどのディスプレイにより構成されている。
　なお、発話者が１人である場合、応答内容設定処理は当該１人の発話者に対する応答の内容を設定する処理となり、応答内容態様設定処理は当該１人の発話者に対する応答の態様を設定する処理となり、応答出力制御は当該１人の発話者に対する応答を出力する制御となる。他方、発話者が複数人である場合、応答内容設定処理は当該複数人の発話者の各々に対する応答の内容を設定する処理となり、応答内容態様設定処理は当該複数人の発話者の各々に対する応答の態様を設定する処理となり、応答出力制御は当該複数人の発話者の各々に対する応答を出力する制御となる。
　以下、応答内容設定処理、応答態様設定処理及び応答出力制御の具体例について説明する。
〈応答内容設定処理の具体例〉
　応答内容設定部１６は、音声認識処理部１３による音声認識処理の結果を取得する。応答内容設定部１６は、予め記憶されている複数個の応答文のうちの音声認識処理の結果に対応する応答文を選択する。このときの選択は、音声認識処理の結果と予め記憶されている複数個の応答文との対応関係に関する所定のルールに基づくものであっても良く、又は大量の対話文例を用いた機械学習の結果による統計モデルに基づくものであっても良い。
　なお、応答内容設定部１６は、いわゆる「クラウド」から天気情報又はスケジュール情報などを取得して、これらの情報を含む応答文を生成するものであっても良い。
〈応答態様設定処理及び応答出力制御の第１具体例〉
　応答態様設定部１７は、発話者特定部１５による個人特定処理の結果を取得する。また、応答態様設定部１７は、応答内容設定部１６により選択又は生成された応答文（以下「出力用応答文」という。）を取得する。応答態様設定部１７は、個人特定処理の結果が示す発話者の氏名などに基づき、発話者に対する呼称を出力用応答文に付加する。応答出力制御部１８は、当該呼称を含む出力用応答文に対応する応答用音声又は応答用画像を生成する。
　例えば、運転席に着座している発話者による「迂回ルートを検索して。」という発話音声に対して、個人特定処理の結果が当該発話者の氏名「Ａ」を示しており、応答内容設定部１６が「迂回ルートを検索しました。案内します。」という出力用応答文を選択したものとする。この場合、応答態様設定部１７は、応答内容設定部１６により選択された出力用応答文の先頭部に呼称を付加することにより、「Ａさん、迂回ルートを検索しました。案内します。」という出力用応答文を生成する。応答出力制御部１８は、応答態様設定部１７により生成された出力用応答文に対応する応答用音声又は応答用画像を生成する。図２に、この場合における応答用画像Ｉの一例を示す。
　または、例えば、運転席に着座している発話者による「今日のスケジュールを教えて。」という発話音声に対して、個人特定処理の結果が当該発話者の氏名「Ａ」を示しており、応答内容設定部１６がスケジュール情報を用いて「今日は１４時より歯医者の予約が入っています。」という出力用応答文を生成したものとする。また、助手席に着座している発話者による「私のスケジュールも教えて。」という発話音声に対して、個人特定処理の結果が当該発話者の氏名「Ｂ」を示しており、応答内容設定部１６がスケジュール情報を用いて「今日は１７時より友人との飲み会が入っています。」という出力用応答文を生成したものとする。
　この場合、応答態様設定部１７は、応答内容設定部１６により生成された各出力用応答文の先頭部に呼称を付加することにより、「Ａさん、今日は１４時より歯医者の予約が入っています。」という出力用応答文と「Ｂさん、今日は１７時より友人との飲み会が入っています。」という出力用応答文とを生成する。応答出力制御部１８は、これらの出力用応答文の各々に対応する応答用音声又は応答用画像を生成する。
　または、応答態様設定部１７は、発話者特定部１５による座席特定処理の結果を取得する。また、応答態様設定部１７は、応答内容設定部１６により選択又は生成された出力用応答文を取得する。応答態様設定部１７は、座席特定処理の結果が示す座席の名称などに基づき、発話者に対する呼称を出力用応答文に付加する。応答出力制御部１８は、当該呼称を含む出力用応答文に対応する応答用音声又は応答用画像を生成する。
　例えば、運転席に着座している発話者による「近くの駐車場を教えて。」という発話音声に対して、座席特定処理の結果が「運転席」を示しており、応答内容設定部１６が「近くの駐車場が３件見つかりました。」という出力用応答文を生成したものとする。また、助手席に着座している発話者による「音楽聴きたい。」という発話音声に対して、座席特定処理の結果が「助手席」を示しており、応答内容設定部１６が「どのようなジャンルの音楽をお探しですか？」という出力用応答文を選択したものとする。
　この場合、応答態様設定部１７は、応答内容設定部１６により生成又は選択された各出力用応答文の先頭部に呼称を付加することにより、「運転手さん、近くの駐車場が３件見つかりました。」という出力用応答文と「助手席乗員さん、どのようなジャンルの音楽をお探しですか？」という出力用応答文とを生成する。応答出力制御部１８は、これらの出力用応答文の各々に対応する応答用音声又は応答用画像を生成する。
〈応答態様設定処理及び応答出力制御の第２具体例〉
　応答態様設定部１７は、発話者特定部１５による個人特定処理の結果を取得する。応答出力制御部１８における音声合成は、応答用音声の話者を複数人の話者の中から選択自在になっている。応答態様設定部１７は、個人特定処理の結果が示す発話者に応じて、応答用音声の話者を異なる話者に設定する。
　または、応答態様設定部１７は、発話者特定部１５による座席特定処理の結果を取得する。応答出力制御部１８における音声合成は、応答用音声の話者を複数人の話者の中から選択自在になっている。応答態様設定部１７は、座席特定処理の結果が示す座席に応じて、応答用音声の話者を異なる話者に設定する。
〈応答態様設定処理及び応答出力制御の第３具体例〉
　応答態様設定部１７は、発話者特定部１５による座席特定処理の結果を取得する。応答態様設定部１７は、座席特定処理の結果が示す座席の位置に応じて、音声出力装置４に含まれる複数個のスピーカのうちの応答用音声の出力に用いられるスピーカを設定する。応答出力制御部１８は、応答態様設定部１７により設定されたスピーカから応答用音声が出力されるように制御する。
　例えば、音声出力装置４が左右一対のフロントスピーカにより構成されており、座席特定処理の結果が「運転席」を示しているものとする。この場合、応答態様設定部１７は、フロントスピーカのうちの運転席側のスピーカを応答用音声の出力に用いられるスピーカに設定する。応答出力制御部１８は、フロントスピーカのうちの運転席側のスピーカから応答用音声が出力されるように制御する。
　同様に、音声出力装置４が左右一対のフロントスピーカにより構成されており、座席特定処理の結果が「助手席」を示しているものとする。この場合、応答態様設定部１７は、フロントスピーカのうちの助手席側のスピーカを応答用音声の出力に用いられるスピーカに設定する。応答出力制御部１８は、フロントスピーカのうちの助手席側のスピーカから応答用音声が出力されるように制御する。
〈応答態様設定処理及び応答出力制御の第４具体例〉
　応答態様設定部１７は、発話者特定部１５による座席特定処理の結果を取得する。応答出力制御部１８は、応答用音声が出力されるときの車両１の車室内における音場を制御する機能を有している。応答態様設定部１７は、座席特定処理の結果が示す座席の位置に応じて、応答用音声が出力されるときの音場を設定する。応答出力制御部１８は、応答態様設定部１７により設定された音場が車両１の車室内に形成されるように、音声出力装置４に応答用音声を出力させる。
　例えば、座席特定処理の結果が「運転席」を示しているものとする。この場合、応答態様設定部１７は、運転席における応答用音声の音量が他の座席における応答用音声の音量よりも大きくなるように音場を設定する。応答出力制御部１８は、かかる音場が車両１の車室内に形成されるように、音声出力装置４に応答用音声を出力させる。
　同様に、座席特定処理の結果が「助手席」を示しているものとする。この場合、応答態様設定部１７は、助手席における応答用音声の音量が他の座席における応答用音声の音量よりも大きくなるように音場を設定する。応答出力制御部１８は、かかる音場が車両１の車室内に形成されるように、音声出力装置４に応答用音声を出力させる。
〈応答態様設定処理及び応答出力制御の第５具体例〉
　応答態様設定部１７は、発話者特定部１５による座席特定処理の結果を取得する。応答態様設定部１７は、座席特定処理の結果が示す座席の位置に応じて、表示装置５の表示領域のうちの応答用画像が表示される部位を設定する。応答出力制御部１８は、応答態様設定部１７により設定された部位に応答用画像を表示させる。
　例えば、運転席に着座している発話者による「今日のスケジュールを教えて。」という発話音声に対して、応答内容設定部１６がスケジュール情報を用いて「今日は１４時より歯医者の予約が入っています。」という出力用応答文を生成したものとする。また、助手席に着座している発話者による「私のスケジュールも教えて。」という発話音声に対して、応答内容設定部１６がスケジュール情報を用いて「今日は１７時より友人との飲み会が入っています。」という出力用応答文を生成したものとする。
　この場合、応答態様設定部１７は、運転席に着座している発話者に対する出力用応答文に対応する応答用画像が、表示装置５の表示領域のうちの運転席側の半部に表示されるように設定する。また、応答態様設定部１７は、助手席に着座している発話者に対する出力用応答文に対応する応答用画像が、表示装置５の表示領域のうちの助手席側の半部に表示されるように設定する。図３に、この場合における応答用画像Ｉ１，Ｉ２の一例を示す。
　応答態様設定部１７は、第１具体例～第５具体例のうちの少なくとも一つによる応答態様設定処理を実行する。これにより、音声認識対象座席に着座している複数人の搭乗者の各々は、応答が自身に対するものであるか否かを容易に識別することができる。特に、複数人の発話者に対する応答が略同時に出力されたとき、当該複数人の発話者の各々が、これらの応答が自身に対するものであるか否かを容易に識別することができる。
　なお、応答態様設定部１７が第１具体例による応答態様設定処理を実行するものである場合、呼称を含む出力用応答文が応答態様設定部１７から応答出力制御部１８に出力される。他方、応答態様設定部１７が第１具体例による応答態様設定処理を実行しないものである場合、応答内容設定部１６により選択又は生成された出力用応答文が応答内容設定部１６から応答出力制御部１８に出力される。また、第２具体例～第５具体例は、いずれも、応答態様設定処理に出力用応答文を用いないものである。
　このため、応答態様設定部１７が第１具体例による応答態様設定処理を実行するものである場合、図１に示す応答内容設定部１６と応答出力制御部１８間の接続線は不要である。他方、応答態様設定部１７が第１具体例による応答態様設定処理を実行しないものである場合（すなわち応答態様設定部１７が第２具体例～第５具体例のうちの少なくとも一つによる応答態様設定処理のみを実行するものである場合）、図１に示す応答内容設定部１６と応答態様設定部１７間の接続線は不要である。
　音声認識部１４、発話者特定部１５及び応答態様設定部１７により、音声認識装置１００の要部が構成されている。音声認識装置１００、応答内容設定部１６及び応答出力制御部１８により、情報機器２の要部が構成されている。
　情報機器２は、例えば、車両１に搭載されたカーナビゲーション装置、カーオーディオ装置又はディスプレイオーディオ装置などの車載情報機器により構成されている。または、例えば、情報機器２は、車両１に持ち込まれたスマートフォン、タブレットＰＣ（ｐｅｒｓｏｎａｌ　ｃｏｍｐｕｔｅｒ）若しくはＰＮＤ（Ｐｏｒｔａｂｌｅ　Ｎａｖｉｇａｔｉｏｎ　Ｄｅｖｉｃｅ）などの携帯情報端末により構成されている。
　次に、図４を参照して、情報機器２の要部のハードウェア構成について説明する。
　図４Ａに示す如く、情報機器２はコンピュータにより構成されており、プロセッサ２１及びメモリ２２を有している。メモリ２２には、当該コンピュータを音声認識部１４、発話者特定部１５、応答内容設定部１６、応答態様設定部１７及び応答出力制御部１８として機能させるためのプログラムが記憶されている。メモリ２２に記憶されたプログラムをプロセッサ２１が読み出して実行することにより、音声認識部１４、発話者特定部１５、応答内容設定部１６、応答態様設定部１７及び応答出力制御部１８の機能が実現される。
　プロセッサ２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどを用いたものである。
　または、図４Ｂに示す如く、音声認識部１４、発話者特定部１５、応答内容設定部１６、応答態様設定部１７及び応答出力制御部１８の機能が専用の処理回路２３により実現されるものであっても良い。処理回路２３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）などを用いたものである。
　または、音声認識部１４、発話者特定部１５、応答内容設定部１６、応答態様設定部１７及び応答出力制御部１８のうちの一部の機能がプロセッサ２１及びメモリ２２により実現され、かつ、残余の機能が処理回路２３により実現されるものであっても良い。
　次に、図５及び図６のフローチャートを参照して、情報機器２の動作について説明する。なお、図６に示すステップＳＴ１１～ＳＴ１７は、図５に示すステップＳＴ１内の詳細な処理内容を示している。
　まず、ステップＳＴ１にて、音声認識部１４が発話音声に対する音声認識を実行する。
　すなわち、ステップＳＴ１１にて、音声信号取得部１１は、集音装置３により出力された音声信号Ｓ１～ＳＮを取得する。音声信号取得部１１は、音声信号Ｓ１～ＳＮに対するＡ／Ｄ変換を実行する。音声信号取得部１１は、Ａ／Ｄ変換後の音声信号Ｓ１’～ＳＮ’を音声信号処理部１２に出力する。
　次いで、ステップＳＴ１２にて、音声信号処理部１２は、音声信号Ｓ１’～ＳＮ’間のパワーの差分値又は音声信号Ｓ１’～ＳＮ　’間の位相差などに基づき、集音装置３に対する発話音声の入力方向、すなわち発話方向を推定する。
　次いで、ステップＳＴ１３にて、音声信号処理部１２は、ステップＳＴ１２で推定された発話方向に基づき、音声信号Ｓ１’～ＳＮ’のうちの発話音声と異なる音声に対応する成分、すなわちノイズ成分を除去する。音声信号処理部１２は、ノイズ成分が除去された音声信号Ｓ１”～ＳＭ”を音声認識処理部１３に出力する。
　次いで、ステップＳＴ１４にて、音声認識処理部１３は、音声信号Ｓ１”～ＳＭ”のうちの発話音声に対応する音声区間、すなわち発話区間を検出する。
　次いで、ステップＳＴ１５にて、音声認識処理部１３は、発話区間内の音声信号Ｓ１”～ＳＭ”から音声認識処理用の第１特徴量を抽出する。次いで、ステップＳＴ１６にて、音声認識処理部１３は、第１特徴量を用いて音声認識処理を実行する。
　また、発話者特定部１５が個人特定処理を実行するものである場合、ステップＳＴ１４に次いで、ステップＳＴ１７にて、音声認識処理部１３は、発話区間内の音声信号Ｓ１”～ＳＭ”から個人特定処理用の第２特徴量を抽出する。なお、発話者特定部１５が個人特定処理を実行しないものである場合（すなわち発話者特定部１５が座席特定処理のみを実行するものである場合）、ステップＳＴ１７の処理は不要である。
　ステップＳＴ１に次いで、ステップＳＴ２にて、発話者特定部１５が個人特定処理又は座席特定処理のうちの少なくとも一方を実行する。個人特定処理の具体例及び座席特定処理の具体例は既に説明したとおりであるため、再度の説明は省略する。
　次いで、ステップＳＴ３にて、応答内容設定部１６が応答内容設定処理を実行する。応答内容設定処理の具体例は既に説明したとおりであるため、再度の説明は省略する。
　次いで、ステップＳＴ４にて、応答態様設定部１７が応答態様設定処理を実行する。応答態様設定処理の具体例は既に説明したとおりであるため、再度の説明は省略する。
　次いで、ステップＳＴ５にて、応答出力制御部１８が応答出力制御を実行する。応答出力制御の具体例は既に説明したとおりであるため、再度の説明は省略する。
　なお、集音装置３は複数個の無指向性マイクにより構成されたアレイマイクに限定されるものではない。例えば、各音声認識対象座席に対する前方部に少なくとも１個の指向性マイクが設けられており、これらの指向性マイクにより集音装置３が構成されているものであっても良い。この場合、音声信号処理部１２において、発話方向を推定する処理及び当該推定された発話方向に基づきノイズ成分を除去する処理は不要である。また、座席特定処理は、例えば、発話音声に対応する成分を含む音声信号が出力された指向性マイクに対応する座席に発話者が着座していると特定する処理となる。
　また、応答態様設定処理は、音声認識対象座席に着座している複数人の搭乗者の各々が応答が自身に対するものであるか否かを識別できるように応答態様を設定するものであれば良く、第１具体例～第５具体例に限定されるものではない。また、応答態様設定処理は、応答用音声の出力態様を設定する処理又は応答用画像の表示態様を設定する処理に限定されるものではない。
　例えば、各音声認識対象座席に対する前方部にＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などの発光素子が設けられており、応答態様設定部１７は、座席特定処理の結果に基づき、これらの発光素子のうちの発話者が着座している座席に対する前方部に設けられている発光素子を点灯対象に設定するものであっても良い。応答出力制御部１８は、応答態様設定部１７により点灯対象に設定された発光素子を点灯させる制御を実行するものであっても良い。
　また、例えば、発話者が複数人である場合、応答態様設定部１７は、当該複数人の発話者のうちの一部の発話者のみに対する応答の態様を設定するものであっても良い。応答出力制御部１８は、当該複数人の発話者のうちの一部の発話者に対する応答は応答態様設定部１７により設定された応答態様に基づき出力する一方、当該複数人の発話者のうちの残余の発話者に対する応答は初期設定の応答態様に基づき出力する制御を実行するものであっても良い。すなわち、応答態様設定処理は、当該複数人の発話者のうちの少なくとも１人の発話者に対する応答の態様を設定するものであれば良い。
　また、音声認識処理部１３は、発話区間を検出するとき、個々の発話音声の始点を検出するものであっても良い。応答態様設定部１７は、１人目の発話者（以下「第１発話者」という。）による発話音声の始点が検出された後、第１発話者に対する応答の出力が開始される前に２人目の発話者（以下「第２発話者」という。）による発話音声の始点が検出された場合にのみ、応答態様設定処理を実行するものであっても良い。そのほかの場合、応答態様設定部１７は応答態様設定処理を実行せずに、応答出力制御部１８は初期設定の応答態様に基づく応答を出力する制御を実行するものであっても良い。
　また、前者の場合において、第１発話者に対する応答態様の設定が第１発話者に対する応答の出力開始に間に合わない場合（例えば第１発話者に対する応答の出力が開始される直前に第２発話者による発話音声の始点が検出された場合）、応答態様設定部１７は、第１発話者に対する応答態様設定処理は実行せずに、第２発話者に対する応答態様設定処理のみを実行するものであっても良い。この場合、第１発話者に対する応答は、初期設定の応答態様により出力されるものであっても良い。
　または、応答態様設定部１７は、第１発話者による発話音声の始点が検出された後、所定の時間（以下「基準時間」という。）が経過する前に第２発話者による発話音声の始点が検出された場合にのみ、応答態様設定処理を実行するものであっても良い。そのほかの場合、応答態様設定部１７は応答態様設定処理を実行せずに、応答出力制御部１８は初期設定の応答態様に基づく応答を出力する制御を実行するものであっても良い。基準時間は、例えば、個々の発話音声の発話時間の実測値の統計値（例えば平均値）に対応する値であり、応答態様設定部１７に予め記憶されている。
　すなわち、１人の発話者による発話音声のみが入力された場合、当該１人の発話者に対する応答のみが出力される。また、複数人の発話者による発話音声が時間的に重複せずに入力された場合、当該１人の発話者に対する応答も時間的に重複せずに出力される。このような場合、応答態様設定処理が実行されなくても、応答が誰に対するものであるのかは明確である。このような場合に応答態様設定処理をキャンセルことにより、情報機器２の処理負荷を低減することができる。また、このような場合に例えば第１具体例による応答態様設定処理をキャンセルことにより、応答用音声又は応答用画像に含まれる呼称が発話者に煩わしさを与えるのを抑制することができる。
　また、図７に示す如く、車両１の外部に情報機器２と通信自在なサーバ装置６が設けられており、このサーバ装置６に音声認識処理部１３が設けられているものであっても良い。すなわち、情報機器２に設けられた音声信号取得部１１、音声信号処理部１２、発話者特定部１５及び応答態様設定部１７とサーバ装置６に設けられた音声認識処理部１３とにより、音声認識システム２００の要部が構成されているものであっても良い。これにより、音声認識処理部１３における音声認識処理の精度を向上することができる。
　なお、音声認識システム２００のシステム構成は図７に示す例に限定されるものではない。すなわち、音声信号取得部１１、音声信号処理部１２、音声認識処理部１３、発話者特定部１５、応答内容設定部１６、応答態様設定部１７及び応答出力制御部１８の各々は、車両１に搭載自在な車載情報機器、車両１に持ち込み自在な携帯情報端末、又は当該車載情報機器若しくは当該携帯情報端末と通信自在なサーバ装置のうちのいずれに設けられているものであっても良い。当該車載情報機器、当該携帯情報端末又は当該サーバ装置のうちのいずれか二以上が連携することにより、音声認識システム２００が実現されるものであれば良い。
　以上のように、実施の形態１の音声認識装置１００は、車両１における音声認識対象座席に着座している複数人の搭乗者のうちの発話者による操作入力用の発話音声に対する音声認識を実行する音声認識部１４と、発話者の個人を特定する個人特定処理又は発話者が着座している座席を特定する座席特定処理のうちの少なくとも一方を実行する発話者特定部１５と、発話者特定部１５による特定結果に応じて、発話者に対する応答の態様（応答態様）を設定する応答態様設定処理を実行する応答態様設定部１７とを備え、応答態様設定処理は、複数人の搭乗者の各々が応答が自身に対するものであるか否かを識別可能な態様に応答の態様（応答態様）を設定する処理である。これにより、音声認識対象座席に着座している複数人の搭乗者の各々は、応答が自身に対するものであるか否かを容易に識別することができる。特に、複数人の発話者に対する応答が略同時に出力されたとき、当該複数人の発話者の各々が、これらの応答が自身に対するものであるか否かを容易に識別することができる。
　また、応答態様設定部１７は、複数人の発話者のうちの第１発話者による発話音声の始点が検出された後、基準時間が経過する前に複数人の発話者のうちの第２発話者による発話音声の始点が検出された場合、応答態様設定処理を実行する。これにより、処理負荷を低減することができ、かつ、発話者に与える煩わしさを低減することができる。
　また、応答態様設定部１７は、複数人の発話者のうちの第１発話者による発話音声の始点が検出された後、第１発話者に対する応答の出力が開始される前に複数人の発話者のうちの第２発話者による発話音声の始点が検出された場合、応答態様設定処理を実行する。これにより、処理負荷を低減することができ、かつ、発話者に与える煩わしさを低減することができる。
　また、発話者特定部１５は、音声認識部１４により抽出された特徴量（第２特徴量）を用いて個人特定処理を実行する。これにより、個人特定処理用の専用のカメラ又はセンサ類を不要とすることができる。
　また、応答態様設定処理は、発話者特定部１５による特定結果に基づく呼称を応答に含める処理である。第１具体例により、複数人の発話者の各々が応答が自身に対するものであるか否かを容易に識別可能な応答態様を実現することができる。
　また、応答態様設定処理は、発話者特定部１５による特定結果に応じて応答用の音声（応答用音声）の話者を変更する処理である。第２具体例により、複数人の発話者の各々が応答が自身に対するものであるか否かを容易に識別可能な応答態様を実現することができる。
　また、応答態様設定処理は、座席特定処理の結果が示す座席の位置に応じて応答用の音声（応答用音声）が出力されるスピーカを変更する処理、又は座席特定処理の結果が示す座席の位置に応じて応答用の音声（応答用音声）が出力されるときの音場を変更する処理である。第３具体例又は第４具体例により、複数人の発話者の各々が応答が自身に対するものであるか否かを容易に識別可能な応答態様を実現することができる。
　また、実施の形態１の音声認識システム２００は、車両１における音声認識対象座席に着座している複数人の搭乗者のうちの発話者による操作入力用の発話音声に対する音声認識を実行する音声認識部１４と、発話者の個人を特定する個人特定処理又は発話者が着座している座席を特定する座席特定処理のうちの少なくとも一方を実行する発話者特定部１５と、発話者特定部１５による特定結果に応じて、発話者に対する応答の態様（応答態様）を設定する応答態様設定処理を実行する応答態様設定部１７とを備え、応答態様設定処理は、複数人の搭乗者の各々が応答が自身に対するものであるか否かを識別可能な態様に応答の態様（応答態様）を設定する処理である。これにより、音声認識装置１００による上記効果と同様の効果を得ることができる。
　また、実施の形態１の音声認識方法は、音声認識部１４が、車両１における音声認識対象座席に着座している複数人の搭乗者のうちの発話者による操作入力用の発話音声に対する音声認識を実行するステップＳＴ１と、発話者特定部１５が、発話者の個人を特定する個人特定処理又は発話者が着座している座席を特定する座席特定処理のうちの少なくとも一方を実行するステップＳＴ２と、応答態様設定部１７が、発話者特定部１５による特定結果に応じて、発話者に対する応答の態様（応答態様）を設定する応答態様設定処理を実行するステップＳＴ４とを備え、応答態様設定処理は、複数人の搭乗者の各々が応答が自身に対するものであるか否かを識別可能な態様に応答の態様（応答態様）を設定する処理である。これにより、音声認識装置１００による上記効果と同様の効果を得ることができる。
実施の形態２．
　図８は、実施の形態２に係る音声認識装置が車両内の情報機器に設けられている状態を示すブロック図である。図８を参照して、実施の形態２の音声認識装置１００ａについて、車両１内の情報機器２に設けられている例を中心に説明する。なお、図８において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
　図中、７は車室内撮像用のカメラである。カメラ７は、例えば、車両１の車室内前方部に設けられた赤外線カメラ又は可視光カメラにより構成されている。カメラ７は、少なくとも、音声認識対象座席（例えば運転席及び助手席）に着座している搭乗者の顔を含む範囲を撮像可能な画角を有している。
　搭乗者特定部１９は、一定周期（例えば３０ＦＰＳ（Ｆｒａｍｅｓ　Ｐｅｒ　Ｓｅｃｏｎｄ）の周期）にて、カメラ７による撮像画像を示す画像データを取得するものである。搭乗者特定部１９は、当該取得された画像データに対する画像認識処理を実行することにより、各音声認識対象座席における搭乗者の有無を判定するとともに、音声認識対象座席に着座している各搭乗者の個人を特定する処理（以下「搭乗者特定処理」という。）を実行するものである。
　具体的には、例えば、搭乗者特定部１９は、画像認識処理を実行することにより、撮像画像のうちの音声認識対象座席に着座している搭乗者の顔に対応する領域（以下「顔領域」という。）を検出するとともに、個々の顔領域から搭乗者特定処理用の特徴量（以下「第３特徴量」という。）を抽出する。搭乗者特定部１９は、撮像画像における個々の顔領域のサイズ及び位置などに基づき、各音声認識対象座席における搭乗者の有無を判定する。また、搭乗者特定部１９には、第３特徴量に対応する複数人分の特徴量を含むデータベースが予め記憶されている。搭乗者特定部１９は、個々の顔領域から抽出された第３特徴量を当該複数人分の特徴量の各々と比較することにより、音声認識対象座席に着座している各搭乗者の個人を特定する。
　搭乗者特定部１９は、搭乗者特定処理の結果を発話者特定部１５ａに出力する。搭乗者特定処理の結果は、例えば、音声認識対象座席に着座している各搭乗者の氏名などを示す情報と、当該各搭乗者が着座している座席の名称及び位置などを示す情報とを含むものである。なお、音声認識対象座席のうちの一部の座席に搭乗者が着座していない場合、搭乗者特定処理の結果は、これらの情報のみを含むものであっても良く、又は、これらの情報に加えて当該一部の座席が空席であることを示す情報を含むものであっても良い。
　発話者特定部１５ａは、音声信号処理部１２により推定された発話方向及び搭乗者特定部１９による搭乗者特定処理の結果を用いて、発話者の個人を特定する処理、すなわち個人特定処理を実行するものである。
　具体的には、例えば、発話者特定部１５ａには、実施の形態１における座席特定処理用の実角度φと同様の実角度φが予め記憶されている。発話者特定部１５ａは、音声信号処理部１２により推定された発話方向が示す角度θを各音声認識対象座席に対応する実角度φと比較することにより、発話者が着座している座席を特定する。発話者特定部１５ａは、搭乗者特定部１９による搭乗者特定処理の結果を用いて、当該特定された座席に着座している搭乗者、すなわち発話者の個人を特定する。
　すなわち、発話者特定部１５ａは、実施の形態１の音声認識装置１００における発話者特定部１５と異なり、個人特定処理に第２特徴量を用いないものである。このため、実施の形態２の音声認識装置１００ａにおいて、音声認識処理部１３による第２特徴量の抽出は不要である。
　応答態様設定部１７は、発話者特定部１５ａによる個人特定処理の結果を応答態様設定処理に用いるようになっている。応答態様設定処理の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
　音声認識部１４、発話者特定部１５ａ、応答態様設定部１７及び搭乗者特定部１９により、音声認識装置１００ａの要部が構成されている。音声認識装置１００ａ、応答内容設定部１６及び応答出力制御部１８により、情報機器２の要部が構成されている。
　情報機器２の要部のハードウェア構成は、実施の形態１にて図４を参照して説明したものと同様であるため、再度の説明は省略する。すなわち、発話者特定部１５ａの機能はプロセッサ２１及びメモリ２２により実現されるものであっても良く、又は処理回路２３により実現されるものであっても良い。同様に、搭乗者特定部１９の機能はプロセッサ２１及びメモリ２２により実現されるものであっても良く、又は処理回路２３により実現されるものであっても良い。
　次に、図９及び図１０のフローチャートを参照して、搭乗者特定部１９の動作について説明する。なお、図１０に示すステップＳＴ３１～ＳＴ３４は、図９に示すステップＳＴ２１内の詳細な処理内容を示している。
　車両１のアクセサリー電源がオンされている状態にて、一定周期にて、搭乗者特定部１９はカメラ７による撮像画像を示す画像データを取得して、当該取得された画像データを用いて搭乗者特定処理を実行する（ステップＳＴ２１）。
　すなわち、ステップＳＴ３１にて、搭乗者特定部１９は、カメラ７による撮像画像を示す画像データを取得する。
　次いで、ステップＳＴ３２にて、搭乗者特定部１９は、ステップＳＴ３１で取得された画像データに対する画像認識処理を実行することにより、撮像画像のうちの顔領域を検出するとともに、個々の顔領域から搭乗者特定処理用の第３特徴量を抽出する。
　次いで、ステップＳＴ３３にて、搭乗者特定部１９は、ステップＳＴ３２で検出された個々の顔領域のサイズ及び位置などに基づき、各音声認識対象座席における搭乗者の有無を判定する。
　次いで、ステップＳＴ３４にて、搭乗者特定部１９は、ステップＳＴ３３で抽出された第３特徴量を用いて、音声認識対象座席に着座している各搭乗者の個人を特定する。搭乗者特定部１９は、搭乗者特定処理の結果を発話者特定部１５ａに出力する。
　次に、図１１及び図１２のフローチャートを参照して、情報機器２のうちの搭乗者特定部１９を除く部位の動作について説明する。なお、図１２に示すステップＳＴ５１～ＳＴ５６は、図１１に示すステップＳＴ４１内の詳細な処理内容を示している。
　まず、ステップＳＴ４１にて、音声認識部１４が発話音声に対する音声認識を実行する。
　すなわち、ステップＳＴ５１にて、音声信号取得部１１は、集音装置３により出力された音声信号Ｓ１～ＳＮを取得する。音声信号取得部１１は、音声信号Ｓ１～ＳＮに対するＡ／Ｄ変換を実行する。音声信号取得部１１は、Ａ／Ｄ変換後の音声信号Ｓ１’～ＳＮ’を音声信号処理部１２に出力する。
　次いで、ステップＳＴ５２にて、音声信号処理部１２は、音声信号Ｓ１’～ＳＮ’間のパワーの差分値又は音声信号Ｓ１’～ＳＮ　’間の位相差などに基づき、集音装置３に対する発話音声の入力方向、すなわち発話方向を推定する。
　次いで、ステップＳＴ５３にて、音声信号処理部１２は、ステップＳＴ５２で推定された発話方向に基づき、音声信号Ｓ１’～ＳＮ’のうちの発話音声と異なる音声に対応する成分、すなわちノイズ成分を除去する。音声信号処理部１２は、ノイズ成分が除去された音声信号Ｓ１”～ＳＭ”を音声認識処理部１３に出力する。
　次いで、ステップＳＴ５４にて、音声認識処理部１３は、音声信号Ｓ１”～ＳＭ”のうちの発話音声に対応する音声区間、すなわち発話区間を検出する。
　次いで、ステップＳＴ５５にて、音声認識処理部１３は、発話区間内の音声信号Ｓ１”～ＳＭ”から音声認識処理用の第１特徴量を抽出する。次いで、ステップＳＴ５６にて、音声認識処理部１３は、第１特徴量を用いて音声認識処理を実行する。
　ステップＳＴ４１に次いで、ステップＳＴ４２にて、発話者特定部１５ａが個人特定処理を実行する。すなわち、発話者特定部１５ａは、ステップＳＴ５２で音声信号処理部１２により推定された発話方向とステップＳＴ３４で搭乗者特定部１９により出力された搭乗者特定処理の結果とを用いて、上記の具体例より発話者の個人を特定する。
　次いで、ステップＳＴ４３にて、応答内容設定部１６が応答内容設定処理を実行する。応答内容設定処理の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
　次いで、ステップＳＴ４４にて、応答態様設定部１７が応答態様設定処理を実行する。応答態様設定処理の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
　次いで、ステップＳＴ４５にて、応答出力制御部１８が応答出力制御を実行する。応答出力制御の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
　このように、搭乗者特定部１９を設けることにより、個人特定処理において音声信号Ｓ１”～ＳＭ”から抽出された第２特徴量を不要とすることができる。この結果、個人特定処理の騒音耐性を向上することができるため、個人特定処理の精度を向上することができる。
　なお、搭乗者特定部１９における画像認識処理により、音声認識対象座席に着座している各搭乗者の頭部の三次元位置座標、より好ましくは当該各搭乗者の口の三次元位置座標が検出されるものであっても良い。音声信号処理部１２は、搭乗者特定部１９により検出された三次元位置座標を用いて、より鋭い指向性による発話方向（例えば集音装置３の配置位置を基準とする中心軸に対する左右方向の角度θ及び上下方向の角度ψにより表される発話方向）を推定するものであっても良い。これにより、発話方向の推定精度を向上することができるため、ノイズ成分の除去精度を向上することができる。図８において、この場合における搭乗者特定部１９と音声信号処理部１２間の接続線は図示を省略している。
　また、発話者特定部１５ａは、カメラ７による撮像画像を示す画像データを取得して、当該取得された画像データに対する画像認識処理を実行することにより、音声認識対象座席に着座している搭乗者のうちの口を動かしている搭乗者を検出するものであっても良い。発話者特定部１５ａは、搭乗者特定部１９による搭乗者特定処理の結果を用いて、当該口を動かしている搭乗者、すなわち発話者の個人を特定するものであっても良い。この場合、個人特定処理において音声信号処理部１２により推定された発話方向は不要であるため、図８に示す音声信号処理部１２と発話者特定部１５ａ間の接続線は不要となる。また、図８において、この場合におけるカメラ７と発話者特定部１５ａ間の接続線は図示を省略している。
　また、図１３に示す如く、各音声認識対象座席の座面部に着座センサ８が設けられており、搭乗者特定部１９は、これらの着座センサ８による検出値を用いて搭乗者特定処理を実行するものであっても良い。すなわち、個々の着座センサ８は、例えば、複数個の圧力センサにより構成されている。当該複数個の圧力センサにより検出される圧力分布は、対応する座席に着座している搭乗者の体重、着座姿勢及び臀部形状などに応じて異なるものとなる。搭乗者特定部１９は、かかる圧力分布を特徴量に用いて搭乗者特定処理を実行する。かかる圧力分布を特徴量に用いて個人を特定する方法については、公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
　また、搭乗者特定部１９は、カメラ７による撮像画像を用いた搭乗者特定処理と着座センサ８による検出値を用いた搭乗者特定処理との両方を実行するものであっても良い。これにより、搭乗者特定処理の精度を向上することができる。この場合のブロック図を図１４に示す。
　また、図１５に示す如く、情報機器２に設けられた音声信号取得部１１、音声信号処理部１２、発話者特定部１５ａ、応答態様設定部１７及び搭乗者特定部１９とサーバ装置６に設けられた音声認識処理部１３とにより、音声認識システム２００ａの要部が構成されているものであっても良い。これにより、音声認識処理部１３における音声認識処理の精度を向上することができる。
　また、音声認識システム２００ａにおいて、発話者特定部１５ａは、カメラ７による撮像画像に代えて又は加えて着座センサ８による検出値を用いて搭乗者特定処理を実行するものであっても良い。この場合のブロック図は図示を省略する。
　そのほか、音声認識装置１００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち図１に示す音声認識装置１００と同様の種々の変形例を採用することができる。同様に、音声認識システム２００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち図７に示す音声認識システム２００と同様の種々の変形例を採用することができる。
　以上のように、実施の形態２の音声認識装置１００ａは、車室内撮像用のカメラ７又は着座センサ８のうちの少なくとも一方を用いて、複数人の搭乗者の各々の個人を特定する搭乗者特定処理を実行する搭乗者特定部１９を備え、発話者特定部１５ａは、搭乗者特定処理の結果を用いて個人特定処理を実行する。これにより、個人特定処理の騒音耐性を向上することができるため、個人特定処理の精度を向上することができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本発明の音声認識装置は、例えば、車両内の情報機器に対する操作入力に用いることができる。
　１　車両、２　情報機器、３　集音装置、３１～３Ｎ　マイク、４　音声出力装置、５　表示装置、６　サーバ装置、７　カメラ、８　着座センサ、１１　音声信号取得部、１２　音声信号処理部、１３　音声認識処理部、１４　音声認識部、１５，１５ａ　発話者特定部、１６　応答内容設定部、１７　応答態様設定部、１８　応答出力制御部、１９　搭乗者特定部、２１　プロセッサ、２２　メモリ、２３　処理回路、１００，１００ａ　音声認識装置、２００，２００ａ　音声認識システム。

Claims (12)

  1. 　車両における音声認識対象座席に着座している複数人の搭乗者のうちの発話者による操作入力用の発話音声に対する音声認識を実行する音声認識部と、
    　前記発話者の個人を特定する個人特定処理又は前記発話者が着座している座席を特定する座席特定処理のうちの少なくとも一方を実行する発話者特定部と、
    　前記発話者特定部による特定結果に応じて、前記発話者に対する応答の態様を設定する応答態様設定処理を実行する応答態様設定部と、を備え、
    　前記応答態様設定処理は、前記複数人の搭乗者の各々が前記応答が自身に対するものであるか否かを識別可能な態様に前記応答の態様を設定する処理である
    　ことを特徴とする音声認識装置。
  2. 　前記応答態様設定部は、複数人の前記発話者のうちの第１発話者による前記発話音声の始点が検出された後、基準時間が経過する前に複数人の前記発話者のうちの第２発話者による前記発話音声の始点が検出された場合、前記応答態様設定処理を実行することを特徴とする請求項１記載の音声認識装置。
  3. 　前記応答態様設定部は、複数人の前記発話者のうちの第１発話者による前記発話音声の始点が検出された後、前記第１発話者に対する前記応答の出力が開始される前に複数人の前記発話者のうちの第２発話者による前記発話音声の始点が検出された場合、前記応答態様設定処理を実行することを特徴とする請求項１記載の音声認識装置。
  4. 　前記発話者特定部は、前記音声認識部により抽出された特徴量を用いて前記個人特定処理を実行することを特徴とする請求項１から請求項３のうちのいずれか１項記載の音声認識装置。
  5. 　車室内撮像用のカメラ又は着座センサのうちの少なくとも一方を用いて、前記複数人の搭乗者の各々の個人を特定する搭乗者特定処理を実行する搭乗者特定部を備え、
    　前記発話者特定部は、前記搭乗者特定処理の結果を用いて前記個人特定処理を実行する
    　ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の音声認識装置。
  6. 　前記応答態様設定処理は、前記発話者特定部による特定結果に基づく前記発話者に対する呼称を前記応答に含める処理であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の音声認識装置。
  7. 　前記応答態様設定処理は、前記呼称を前記応答用の音声に含める処理であることを特徴とする請求項６記載の音声認識装置。
  8. 　前記応答態様設定処理は、前記呼称を前記応答用の画像に含める処理であることを特徴とする請求項６記載の音声認識装置。
  9. 　前記応答態様設定処理は、前記発話者特定部による特定結果に応じて前記応答用の音声の話者を変更する処理であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の音声認識装置。
  10. 　前記応答態様設定処理は、前記座席特定処理の結果が示す座席の位置に応じて前記応答用の音声が出力されるスピーカを変更する処理、又は前記座席特定処理の結果が示す座席の位置に応じて前記応答用の音声が出力されるときの音場を変更する処理であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の音声認識装置。
  11. 　車両における音声認識対象座席に着座している複数人の搭乗者のうちの発話者による操作入力用の発話音声に対する音声認識を実行する音声認識部と、
    　前記発話者の個人を特定する個人特定処理又は前記発話者が着座している座席を特定する座席特定処理のうちの少なくとも一方を実行する発話者特定部と、
    　前記発話者特定部による特定結果に応じて、前記発話者に対する応答の態様を設定する応答態様設定処理を実行する応答態様設定部と、を備え、
    　前記応答態様設定処理は、前記複数人の搭乗者の各々が前記応答が自身に対するものであるか否かを識別可能な態様に前記応答の態様を設定する処理である
    　ことを特徴とする音声認識システム。
  12. 　音声認識部が、車両における音声認識対象座席に着座している複数人の搭乗者のうちの発話者による操作入力用の発話音声に対する音声認識を実行するステップと、
    　発話者特定部が、前記発話者の個人を特定する個人特定処理又は前記発話者が着座している座席を特定する座席特定処理のうちの少なくとも一方を実行するステップと、
    　応答態様設定部が、前記発話者特定部による特定結果に応じて、前記発話者に対する応答の態様を設定する応答態様設定処理を実行するステップと、を備え、
    　前記応答態様設定処理は、前記複数人の搭乗者の各々が前記応答が自身に対するものであるか否かを識別可能な態様に前記応答の態様を設定する処理である
    　ことを特徴とする音声認識方法。
PCT/JP2017/046469 2017-12-25 2017-12-25 音声認識装置、音声認識システム及び音声認識方法 WO2019130399A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2017/046469 WO2019130399A1 (ja) 2017-12-25 2017-12-25 音声認識装置、音声認識システム及び音声認識方法
US16/767,319 US20200411012A1 (en) 2017-12-25 2017-12-25 Speech recognition device, speech recognition system, and speech recognition method
CN201780097838.9A CN111556826A (zh) 2017-12-25 2017-12-25 声音识别装置、声音识别系统及声音识别方法
DE112017008305.2T DE112017008305T5 (de) 2017-12-25 2017-12-25 Spracherkennungsvorrichtung, Spracherkennungssystem und Spracherkennungsverfahren
JP2019561409A JPWO2019130399A1 (ja) 2017-12-25 2017-12-25 音声認識装置、音声認識システム及び音声認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046469 WO2019130399A1 (ja) 2017-12-25 2017-12-25 音声認識装置、音声認識システム及び音声認識方法

Publications (1)

Publication Number Publication Date
WO2019130399A1 true WO2019130399A1 (ja) 2019-07-04

Family

ID=67066716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046469 WO2019130399A1 (ja) 2017-12-25 2017-12-25 音声認識装置、音声認識システム及び音声認識方法

Country Status (5)

Country Link
US (1) US20200411012A1 (ja)
JP (1) JPWO2019130399A1 (ja)
CN (1) CN111556826A (ja)
DE (1) DE112017008305T5 (ja)
WO (1) WO2019130399A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012700A (zh) * 2021-01-29 2021-06-22 深圳壹秘科技有限公司 语音信号处理方法、装置、系统及计算机可读存储介质
JP2021123215A (ja) * 2020-02-04 2021-08-30 株式会社デンソーテン 表示装置および表示装置の制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7366850B2 (ja) * 2020-07-28 2023-10-23 本田技研工業株式会社 情報共有システムおよび情報共有方法
DE102022207082A1 (de) 2022-07-11 2024-01-11 Volkswagen Aktiengesellschaft Ortsbasierte Aktivierung der Sprachsteuerung ohne Verwendung eines spezifischen Aktivierungsbegriffs

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003114699A (ja) * 2001-10-03 2003-04-18 Auto Network Gijutsu Kenkyusho:Kk 車載音声認識システム
JP2005350018A (ja) * 2004-06-14 2005-12-22 Honda Motor Co Ltd 車載用電子制御装置
JP2006281349A (ja) * 2005-03-31 2006-10-19 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2013110508A (ja) * 2011-11-18 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> 会議装置、会議方法および会議プログラム
JP2015118049A (ja) * 2013-12-19 2015-06-25 株式会社ユピテル システム及びプログラム
WO2016157662A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
WO2017042906A1 (ja) * 2015-09-09 2017-03-16 三菱電機株式会社 車載用音声認識装置および車載機器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4050038B2 (ja) * 2001-10-30 2008-02-20 アルゼ株式会社 ゲームプログラム及びこれを記憶した記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003114699A (ja) * 2001-10-03 2003-04-18 Auto Network Gijutsu Kenkyusho:Kk 車載音声認識システム
JP2005350018A (ja) * 2004-06-14 2005-12-22 Honda Motor Co Ltd 車載用電子制御装置
JP2006281349A (ja) * 2005-03-31 2006-10-19 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2013110508A (ja) * 2011-11-18 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> 会議装置、会議方法および会議プログラム
JP2015118049A (ja) * 2013-12-19 2015-06-25 株式会社ユピテル システム及びプログラム
WO2016157662A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
WO2017042906A1 (ja) * 2015-09-09 2017-03-16 三菱電機株式会社 車載用音声認識装置および車載機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021123215A (ja) * 2020-02-04 2021-08-30 株式会社デンソーテン 表示装置および表示装置の制御方法
JP7474058B2 (ja) 2020-02-04 2024-04-24 株式会社デンソーテン 表示装置および表示装置の制御方法
CN113012700A (zh) * 2021-01-29 2021-06-22 深圳壹秘科技有限公司 语音信号处理方法、装置、系统及计算机可读存储介质
CN113012700B (zh) * 2021-01-29 2023-12-26 深圳壹秘科技有限公司 语音信号处理方法、装置、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN111556826A (zh) 2020-08-18
JPWO2019130399A1 (ja) 2020-04-23
DE112017008305T5 (de) 2020-09-10
US20200411012A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
WO2019130399A1 (ja) 音声認識装置、音声認識システム及び音声認識方法
US11176948B2 (en) Agent device, agent presentation method, and storage medium
CN107918637B (zh) 服务提供装置和服务提供方法
WO2014002128A1 (ja) 車載情報装置
WO2014057540A1 (ja) ナビゲーション装置およびナビゲーション用サーバ
JP5154363B2 (ja) 車室内音声対話装置
JP6173477B2 (ja) ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
US11450316B2 (en) Agent device, agent presenting method, and storage medium
US20200251108A1 (en) Agent system, information processing device, information processing method, and storage medium
JP2020165692A (ja) 制御装置、制御方法およびプログラム
JP2009251388A (ja) 母国語発話装置
JP2016207001A (ja) 運転支援装置
JP2009098000A (ja) 車載機、その出力態様設定方法
JP2020060861A (ja) エージェントシステム、エージェント方法、およびプログラム
JP5687889B2 (ja) 車室内監視装置
JP2006313287A (ja) 音声対話装置
JP6785889B2 (ja) サービス提供装置
JP2006038929A (ja) 音声案内装置、音声案内方法およびナビゲーション装置
JP6332072B2 (ja) 対話装置
JP2020060623A (ja) エージェントシステム、エージェント方法、およびプログラム
JP2010262424A (ja) 車載カメラシステム
WO2022239142A1 (ja) 音声認識装置及び音声認識方法
JP6555113B2 (ja) 対話装置
JP7460407B2 (ja) 音響出力装置、音響出力システム及び音響出力方法
WO2022038724A1 (ja) 音声対話装置、および、音声対話装置における対話対象判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936885

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019561409

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17936885

Country of ref document: EP

Kind code of ref document: A1