WO2020031241A1 - 音声対話装置、音声対話システム、及び音声対話装置の制御方法 - Google Patents

音声対話装置、音声対話システム、及び音声対話装置の制御方法 Download PDF

Info

Publication number
WO2020031241A1
WO2020031241A1 PCT/JP2018/029470 JP2018029470W WO2020031241A1 WO 2020031241 A1 WO2020031241 A1 WO 2020031241A1 JP 2018029470 W JP2018029470 W JP 2018029470W WO 2020031241 A1 WO2020031241 A1 WO 2020031241A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
occupant
controller
voice
load
Prior art date
Application number
PCT/JP2018/029470
Other languages
English (en)
French (fr)
Inventor
剛仁 寺口
井上　裕史
乘 西山
翔太 大久保
雄宇 志小田
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to BR112021002265-1A priority Critical patent/BR112021002265A2/pt
Priority to JP2020535355A priority patent/JP6996632B2/ja
Priority to EP18929357.4A priority patent/EP3836138B1/en
Priority to PCT/JP2018/029470 priority patent/WO2020031241A1/ja
Priority to US17/266,401 priority patent/US11938958B2/en
Priority to MX2021001243A priority patent/MX2021001243A/es
Priority to CN201880096314.2A priority patent/CN112534499B/zh
Publication of WO2020031241A1 publication Critical patent/WO2020031241A1/ja
Priority to JP2021203314A priority patent/JP2022046551A/ja
Priority to JP2023064988A priority patent/JP7509266B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406—Traffic density
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • the present invention relates to a voice interaction device, a voice interaction system, and a method for controlling a voice interaction device.
  • An interactive device that is mounted on a vehicle together with an audio output device that outputs audio into the vehicle interior and is capable of interacting with a driver of the vehicle, generates a conversation sentence directed to the driver, and outputs the conversation sentence by the audio output device.
  • a dialogue execution unit for uttering a load determination unit for determining whether the driver's driving load is high on the road on which the vehicle is traveling, and a dialogue realization when the load determination unit determines that the driving load is high.
  • An utterance control unit that sets a prohibited state in which the start of utterance by the unit is prohibited, and sets an allowable state in which utterance by the dialogue execution unit is permitted when the driving load is determined to be low by the load determination unit. Is known (Patent Document 1).
  • the problem to be solved by the present invention is to provide a voice interactive device, a voice interactive system, and a control method of a voice interactive device that can continue a dialog with an occupant regardless of the load state of the occupant. is there.
  • the present invention determines a load state of an occupant based on at least one of a running state of a vehicle, a state of an external environment of the vehicle, and a state of an occupant of the vehicle, and executes an interactive program according to the state of the load.
  • the above-mentioned problem is solved by using and interacting with the occupant.
  • FIG. 1 is a diagram showing a block configuration diagram of the voice interaction system according to the present embodiment.
  • FIG. 2 is an example of items for determining the magnitude of the operation load and a determination standard.
  • FIG. 3 is a diagram for describing a first interactive mode and a second interactive mode in the first embodiment.
  • FIG. 4 is a flowchart illustrating a process executed by the controller according to the present embodiment.
  • FIG. 5 is an example of a dialog performed when the first dialog program is used.
  • FIG. 6 is an example of a dialog performed when the second dialog program is used.
  • FIG. 7 is a diagram for describing a first interactive mode and a second interactive mode in the second embodiment.
  • FIG. 8 is a diagram for explaining a first interactive mode and a second interactive mode in the third embodiment.
  • FIG. 1 is a diagram illustrating the configuration of the voice interaction system according to the present embodiment. As illustrated in FIG. 1, in the present embodiment, a configuration in which a voice interaction system is mounted on a vehicle 100 will be described as an example.
  • the vehicle 100 includes a sensor group 110, a surrounding detection device 120, a navigation device 130, an external information acquisition device 140, a driving device 150, an indoor camera 160, an indoor microphone 170, a speaker 180, a controller 190, Is provided. These devices are connected to each other by a CAN (Controller Area Network) or other in-vehicle LAN to exchange information with each other.
  • the voice interaction device includes a controller 190.
  • the vehicle 100 of the present embodiment can be exemplified by an electric vehicle having an electric motor as a drive source, an engine vehicle having an internal combustion engine as a drive source, and a hybrid vehicle having both an electric motor and an internal combustion engine as a drive source.
  • electric vehicles and hybrid vehicles that use an electric motor as a drive source include those that use a secondary battery as a power source for the electric motor and those that use a fuel cell as a power source for the electric motor.
  • the sensor group 110 is configured by a device that detects a traveling state of the vehicle.
  • the sensor group 110 of the present embodiment includes a vehicle speed sensor 111, an engine speed sensor 112, an accelerator opening sensor 113, a brake opening sensor 114, a steering angle sensor 115, and a shift lever sensor 116. .
  • the vehicle speed sensor 111 measures the rotational speed of a drive system such as a drive shaft, and detects the traveling speed of the vehicle (hereinafter, also referred to as the vehicle speed) based on the measured rotational speed. Vehicle speed sensor 111 outputs vehicle speed information to controller 190.
  • the vehicle 100 may include an acceleration sensor instead of or in addition to the vehicle speed sensor 111.
  • the engine speed sensor 112 detects the engine speed and outputs information on the engine speed to the controller 190.
  • the accelerator opening sensor 113 detects the operation amount of the accelerator pedal, and outputs information on the operation amount of the accelerator pedal to the controller 190.
  • the brake opening sensor 114 detects the operation amount of the brake pedal and outputs information on the operation amount of the brake pedal to the controller 190.
  • the steering angle sensor 115 detects the steering angle of the steering, and outputs information on the steering angle of the steering to the controller 190.
  • the shift lever sensor 116 detects the position of the shift lever (shift lever position) and outputs position information of the shift lever to the controller 190.
  • the surrounding detection device 120 detects an object existing around the vehicle 100.
  • Examples of the surroundings detection device 120 include a vehicle-mounted camera 121 and a radar 122.
  • the onboard camera 121 captures an image of the periphery of the vehicle 100.
  • the in-vehicle camera 121 includes, for example, a front camera that images the front of the vehicle 100, a rear camera that images the rear of the vehicle 100, and a side camera that images the side of the vehicle 100.
  • the radar 122 detects an obstacle existing around the vehicle 100.
  • the radar 122 is, for example, a front radar that detects an obstacle existing in front of the vehicle 100, a rear radar that detects an obstacle existing behind the vehicle 100, and a side that detects an obstacle existing beside the vehicle 100. Composed of radar.
  • the radar 122 detects the distance from the vehicle 100 to the obstacle and the direction in which the obstacle exists.
  • the objects detected by the surrounding detection device 120 include pedestrians, bicycles, motorcycles, automobiles, road obstacles, traffic lights, road markings, pedestrian crossings, and the like.
  • any one of the above-described in-vehicle camera 121 and radar 122 may be used, or a combination of two or more types may be used.
  • the surrounding detection device 120 outputs the captured information and the detection result to the controller 190 as the surrounding information.
  • the navigation device 130 guides the driver by indicating a route from the current position of the vehicle 100 to the destination based on the position information of the vehicle 100 detected by the GPS 131.
  • the navigation device 130 has map information, and calculates the travel route of the vehicle 100 from the position information of the vehicle 100 and the position information of the destination.
  • the navigation device 130 outputs the position information of the vehicle 100 and the information of the traveling route of the vehicle 100 to the controller 190.
  • the travel route of the vehicle 100 includes a route on which the vehicle 100 has actually traveled and a route on which the vehicle 100 is to travel.
  • the external information acquisition device 140 is connected to a network existing outside the vehicle 100 and acquires information on the external environment of the vehicle 100.
  • An example of the external information acquisition device 140 is a device that acquires various types of information from a network outside the vehicle at a predetermined cycle via a communication line.
  • the external information acquisition device 140 acquires road congestion information, road construction information, and accident information from the VICS (registered trademark) system.
  • the external information acquisition device 140 acquires weather information from an external server.
  • the external information acquisition device 140 outputs information acquired from outside the vehicle to the controller 190.
  • the external information acquisition device 140 is not limited to acquiring information from an external server, but can search for necessary information on a network and access a server that manages information according to the search result.
  • the external information acquisition device 140 is not limited to a device that acquires information on the external environment via a communication line.
  • an external air temperature sensor that detects an external air temperature
  • a humidity sensor that detects a humidity
  • a raindrop sensor that detects a raindrop It
  • the outside air temperature sensor outputs information on the outside air temperature to the controller 190 as a detection result.
  • the humidity sensor outputs humidity information to the controller 190 as a detection result.
  • the raindrop sensor outputs raindrop information to the controller 190 as a detection result.
  • Drive device 150 includes a drive mechanism for vehicle 100.
  • the driving mechanism includes an electric motor and / or an internal combustion engine that is a driving source of the vehicle 100 described above, a power transmission device including a drive shaft and an automatic transmission that transmits an output from the driving source to the driving wheels, and wheels.
  • a braking device (not shown) for braking the vehicle.
  • the drive device 150 generates control signals for these drive mechanisms based on input signals from a driver's accelerator operation and brake operation, and control signals acquired from a vehicle controller (not shown) or a travel control device (not shown), The travel control including acceleration and deceleration of the vehicle is executed. By sending the command information to the drive device 150, it is possible to automatically perform travel control including acceleration and deceleration of the vehicle.
  • the distribution of torque to be output to each of the electric motor and the internal combustion engine according to the running state of the vehicle is also transmitted to the drive device 150.
  • the indoor camera 160 is provided at a position where the occupant of the vehicle 100 can be imaged, and images the occupant. In the present embodiment, the indoor camera 160 captures an image of a driver among occupants of the vehicle 100.
  • the indoor camera 160 is preferably provided at a position where the driver's facial expression including the driver's line of sight and the driving operation by the driver can be imaged.
  • the indoor camera 160 outputs information on the captured image of the driver to the controller 190.
  • the indoor microphone 170 acquires the voice information of the occupant of the vehicle 100 and stores the voice information at least temporarily. In the present embodiment, the indoor microphone 170 acquires voice information of a driver among occupants of the vehicle 100.
  • the installation position of the indoor camera 160 is not particularly limited, but is preferably provided near the occupant's seat.
  • the speaker 180 outputs voice information to the occupant of the vehicle 100.
  • the speaker 180 outputs voice information to a driver among occupants of the vehicle 100.
  • the installation position of the speaker 180 is not particularly limited, it is preferable to provide the speaker 180 near the occupant's seat.
  • the controller 190 includes a ROM (Read Only Memory) storing a program for executing an interactive process with the occupant using an interactive program corresponding to the load of the occupant of the vehicle 100, and a CPU executing the program stored in the ROM. (Central Processing Unit) and RAM (Random Access Memory) functioning as an accessible storage device.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an MPU Micro Processing Unit
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the controller 190 executes a program stored in the ROM by the CPU, thereby obtaining a traveling state information acquiring function for acquiring information relating to the traveling state of the vehicle 100, and an external information acquiring function for acquiring information relating to the external environment of the vehicle 100.
  • each function of the controller 190 will be described.
  • the controller 190 acquires information on the traveling state of the vehicle 100 by the traveling state information acquisition function.
  • the information on the traveling state includes the vehicle speed of the vehicle 100, the engine speed, the accelerator operation amount, the brake operation amount, and the steering angle of the steering.
  • the vehicle 100 includes a device operated by an application such as the navigation device 130
  • information on the type of the running application is input to the controller 190.
  • the information on the traveling state includes information on the type of the application in addition to the information described above.
  • the controller 190 acquires information on the external environment of the vehicle 100 by the external information acquisition function.
  • the information on the external environment includes a distance to an obstacle around the vehicle 100, a direction in which the obstacle exists, and information on a road on which the vehicle 100 is traveling (type information, traffic congestion information, construction information, and accident information). ), The current position of the vehicle 100 is included.
  • the controller 190 acquires information related to the driving operation by the driving operation information acquisition function.
  • the information on the driving operation includes information on the shift lever position, information on the driving subject of the vehicle 100, and information on the driving posture of the driver.
  • the driving posture information is information based on a driver's image captured by the indoor camera 160.
  • the controller 190 grasps the driving posture of the driver by performing image processing on the captured image of the driver.
  • the controller 190 determines the magnitude of the driver's driving load by the driving load determination function.
  • the controller 190 of the present embodiment includes at least any one of information on a driving state obtained by a driving state information obtaining function, information on an external environment obtained by an external environment information obtaining function, and information on a driving operation obtained by a driving operation information obtaining function. Based on this one information, it is determined whether the magnitude of the operation load is larger or smaller than a predetermined reference. Note that, in the present embodiment, a configuration in which the magnitude of the operating load is divided into two categories, that is, larger or smaller than a predetermined reference, will be described as an example. However, the method of determining the magnitude of the operating load is not limited to this. It is not something to be done.
  • the magnitude of the driving load may be divided into three or more categories.
  • the determination of the magnitude of the driving load referred to here means that the controller 190 uses the driving state information acquisition function to acquire information about the traveling state, the external environment information acquisition function that acquires the external environment information, and the driving operation information acquisition function. It is to determine which of the two or more classifications the state of the driving load is based on at least one of the information on the driving operation acquired by the above. In the present embodiment, it is determined which of two or more classifications corresponds to a state where the operating load is large or a state where the operating load is small.
  • the driving load is a load that the driver bears when the driver operates the vehicle 100.
  • the driving load is large, the driver is required to have high concentration on driving. For this reason, the driver lowers the priority consciously or unconsciously for operations other than driving.
  • the operation other than the driving include an operation for adjusting the temperature or air volume of the air conditioner, an operation for adjusting the volume of music or radio, and the like.
  • the controller 190 determines the magnitude of the driving load according to the traveling state of the vehicle 100, as shown in FIG.
  • the running state of the vehicle 100 corresponds to “running”
  • the controller 190 determines that the driving load is large.
  • the running state of the vehicle 100 corresponds to “stopped”
  • the controller 190 determines that the driving load is small.
  • the traveling state of the vehicle may be determined from the vehicle speed, the engine speed, the operation amount of the accelerator pedal, and the operation amount of the brake pedal. .
  • the traveling state item is not limited to this.
  • the controller 190 may determine that the driving load is small when the vehicle speed is equal to or lower than the predetermined speed even while the vehicle 100 is running. Further, for example, even if the vehicle 100 is stopped, the controller 190 starts the vehicle 100 when the shift lever position is located at “D (drive)” and the operation amount of the brake pedal is equal to or more than a predetermined value. It may be determined that the vehicle is in the previous stopped state and that the driving load is large.
  • the controller 190 detects that the driver does not operate the steering wheel from the captured image of the driver captured by the indoor camera 160, even though the vehicle is running. In this case, the controller 190 may determine that the driving subject corresponds to the “vehicle controller” and the driving load is small.
  • the controller 190 determines the magnitude of the driving load according to the driving operation.
  • the controller 190 determines that the driving load is large when the driving operation corresponds to any of the operations of “garage parking”, “parallel parking”, and “back parking”. For example, when detecting that the shift lever position has been set to “R (reverse)”, the controller 190 determines temporarily that the driving operation may correspond to “parking”.
  • the controller 190 determines that the driving operation corresponds to “entering the garage”. Further, the controller 190 determines that the driving operation corresponds to “parallel parking” when the other vehicle or the parallel parking lot is detected from the peripheral information of the vehicle 100. When detecting that the vehicle 100 is parked backward from the steering angle and the brake operation amount, the controller 190 determines that the driving operation corresponds to “back parking”. Note that the determination method using the driving operation is an example and is not particularly limited. For example, the traveling trajectory of the vehicle 100 is estimated from the steering angle, the vehicle speed, the brake operation amount, and the accelerator operation amount, and whether the driving operation corresponds to any one of “garage parking”, “parallel parking”, and “back parking” May be determined.
  • the magnitude of the operating load may be determined for at least one of the items.
  • Each dialogue program consists of a program that recognizes the voice of the occupant and a program that outputs voice to the occupant.
  • the controller 190 outputs a voice through the speaker 180 by executing a program for outputting a voice, and speaks to the occupant.
  • the controller 190 recognizes the voice of the occupant input via the indoor microphone 170 by executing a voice recognition program.
  • the controller 190 interacts with the occupant by repeatedly outputting the voice and recognizing the occupant's voice.
  • the first dialogue program is programmed so that the number of words included in the response of the occupant is smaller than the second dialogue program.
  • the answer is to answer a question or a call (hereinafter also referred to as a question or the like) from the controller 190.
  • the response of the occupant includes not only a response to a single question or the like, but also all responses made from the start of the dialog to the end of the dialog.
  • Methods to reduce the number of words spoken by the occupant include, for example, a method of reducing the number of times the occupant replies, a method of reducing the number of words occupied by the occupant per response, and a method of shortening the word uttered by the occupant. No.
  • the controller 190 assigns a number to the answer candidate and asks the occupant to answer the number as an alternative. For example, a case where the above-described destination is settled will be described. For example, the controller 190 asks, “Which of the destinations is 1.XX, 2. ⁇ , 3.XX?” Ask a question that asks the crew to answer with a number 1-3. For example, when the controller 190 recognizes the voice of “1” as the response of the occupant, the controller 190 accesses the navigation device 130 and sets the destination of the vehicle 100 to ⁇ . Although the case where the number of answer candidates is three has been described as an example, the number of answer candidates is not particularly limited.
  • step S101 the controller 190 acquires information on the running state of the vehicle 100, the state of the external environment of the vehicle 100, and the state of the driving operation of the vehicle 100.
  • the controller 190 acquires shift lever position information from the shift lever sensor 116 as traveling state information.
  • the controller 190 acquires the surrounding information of the vehicle 100 from the surrounding detection device 120 as information of the external environment.
  • the controller 190 performs image processing on a captured image of the driver of the vehicle 100 captured by the indoor camera 160.
  • the controller 190 grasps the driving posture of the driver by image processing, and acquires driving operation information.
  • step S102 the controller 190 determines the magnitude of the driving load of the occupant of the vehicle 100 based on the information acquired in step S101. For example, the controller 190 determines that the driving load is large when the vehicle 100 is traveling, and determines that the driving load is small when the vehicle 100 is stopped. Further, for example, the controller 190 determines that the driving load is large when the vehicle 100 is traveling on a highway, and determines that the driving load is small when the vehicle 100 is traveling on a congested road. judge. Further, for example, when the driver performs a garage driving operation, the controller 190 determines that the driving load is large. When it is determined that the operating load is large, the process proceeds to step S103, and when it is determined that the operating load is small, the process proceeds to step S105. Note that the above-described determination method is an example and is not particularly limited.
  • FIG. 5 is an example of a dialogue performed when the first dialogue program is used.
  • FIG. 5A shows an example of a dialogue in the case where the occupant operates the navigation device 130 in order to set a destination in the vehicle 100 stopped at a traffic light, but the signal 100 has changed and the vehicle 100 has started. It is.
  • FIG. 5B is an example of a dialogue in a situation where the room temperature of the vehicle 100 rises while the occupant is driving on the highway.
  • the execution of the first dialogue program allows the occupant to respond to the question from the controller 190 as “Yes” or “No, no”. Can be answered using simple and short words.
  • step S102 If it is determined in step S102 that the driving load is small, the process proceeds to step S105.
  • step S105 the controller 190 executes a dialog using the second dialog program.
  • the voice interaction device uses the sensor group 110, the surrounding detection device 120, the navigation device 130, the external information acquisition device 140, the driving device 150, and the indoor camera 160 mounted on the vehicle 100. And a controller 190 for interacting with the occupant of the vehicle 100.
  • the sensor group 110 detects a traveling state of the vehicle 100.
  • the surrounding detection device 120, the navigation device 130, and the external information acquisition device 140 detect the state of the external environment of the vehicle 100.
  • the drive device 150 and the indoor camera 160 detect the state of the driving operation of the occupant of the vehicle 100.
  • the controller 190 uses the first dialogue program to ask a question that causes the occupant to make an alternative answer.
  • the controller 190 uses the first dialogue program to ask a question that causes the occupant to make an alternative answer.
  • the controller 190 determines that the magnitude of the driving load is larger than a predetermined reference.
  • driving on a highway imposes a heavy load on a driver, so that the magnitude of the driving load can be appropriately determined.
  • the magnitude of the driving load can be appropriately determined.
  • the controller 190 determines that the magnitude of the driving load is smaller than a predetermined reference.
  • the load on the driver is relatively small, so that the magnitude of the driving load can be appropriately determined.
  • the controller 190 determines that the magnitude of the driving load is lower than a predetermined reference. Judge as small. Generally, during traffic congestion in which the vehicle travels at a slow speed or in which stop and start are repeated, the load on the driver is relatively small, so that the magnitude of the driving load can be appropriately determined.
  • the first interactive program according to the present embodiment is different from the first interactive program according to the above-described first embodiment with respect to voice output and voice recognition.
  • a technique called so-called discrete word recognition is used for speech recognition in the first dialogue program.
  • Discrete word recognition does not recognize the occupant's voice information as a sentence but recognizes a predetermined word (hereinafter, also referred to as a keyword) included in the occupant's voice information.
  • the keyword is a word registered in advance in a storage device such as a ROM or a database.
  • the type and the number of characters of the keyword are not particularly limited.
  • the number of keywords is not particularly limited, the number of keywords is preferably in the range of 10 to 20 in order to increase the processing speed.
  • Keywords include “Yes”, “No”, “Front”, “Back”, “Left”, “Right”, “Top”, “Bottom”, “Strong”, “Weak”, “High”, “Low” And the like.
  • possible answers to the question “Do you want to lower the temperature of the air conditioner?” Include “Yes”, “No”, “Lower”, and “No, raise”. It is preferable that words corresponding to the contents are registered in advance as keywords.
  • the second interactive program according to the present embodiment is the same as the second interactive program according to the first embodiment, as shown in FIG. For this reason, the repeated description is omitted, and the description given in the first embodiment is referred to.
  • the technology of discrete word recognition is used for speech recognition.
  • speech recognition for example, when traveling on an unpaved road or a road with a wet road surface, even when a large road noise occurs, it is possible to accurately recognize the word spoken by the occupant, The processing time required from recognizing the occupant's voice to outputting the voice can be reduced.
  • the voice interaction device of the present embodiment has the same configuration as that of the above-described embodiment, except that the first interaction program and the second interaction program used by the controller 190 are different. Then, the description in the above-described embodiment will be referred to.
  • FIG. 8 is a diagram for describing a first interactive mode and a second interactive mode in the present embodiment.
  • the second interactive program is the same as the second interactive program according to the above-described second embodiment, the repeated description is omitted, and the description in the above-described embodiment is referred to. I do.
  • the first dialogue program according to the present embodiment includes the first dialogue program according to the first embodiment for voice output, and the first dialogue program according to the second embodiment for voice recognition.
  • the controller 190 asks a question or the like that causes the occupant to answer with a specific keyword.
  • the specific keyword is a keyword used in discrete word recognition.
  • the controller 190 asks a question or the like that causes the occupant to reply “yes” or “no”. Also, for example, it is assumed that “hot” and “cold” have been registered in the storage device in advance as keywords used in discrete word recognition. In this case, the controller 190 asks a question regarding the room temperature, for example, to make the occupant reply “hot” or “cold”. Further, for example, it is assumed that “good”, “normal”, and “bad” have been registered in the storage device in advance as keywords used in discrete word recognition. In this case, the controller 190 asks a question or the like to prompt the occupant to select from “good”, “normal”, and “bad” options.
  • the topic handled by the first dialogue program is different from the topic handled by the second dialogue program.
  • the first dialogue program is programmed so as to have a dialogue with the occupant on matters related to traveling.
  • the items related to traveling include, for example, steering control, traveling control, and setting of a destination.
  • the second dialogue program no topic restriction is set in the dialogue with the occupant.
  • Topics handled by the second dialogue program include, for example, topics unrelated to running, such as weather and entertainment.
  • the controller 190 uses the first interactive program to ask a question that causes the occupant to answer with a keyword registered in advance.
  • the occupant can have a conversation while maintaining the concentration for driving.
  • the discrete word recognition can reduce the processing time required for recognizing the occupant's voice, thereby shortening the time until the dialogue ends.
  • the first dialogue program is programmed to talk with the occupant on topics related to the traveling of the vehicle.
  • a question regarding steering or a notification regarding the vehicle speed can be made in a simple sentence in an expression that is easy for the occupant to understand.
  • the voice interaction system does not need to be configured only with the vehicle 100, and can communicate with the vehicle 100 and the vehicle 100. It may be configured with a simple server.
  • the voice interaction system may have a function similar to that of the controller 190, and may include a server that communicates with a vehicle to communicate with a vehicle occupant.
  • the server exchanges information on the running state, information on the state of the external environment, information on the state of the driving operation, and voice information via a communication device (not shown).
  • a communication device for example, when there is a vehicle having a configuration excluding the controller 190 in the configuration illustrated in FIG. 1, the server sequentially obtains information necessary for determining the magnitude of the driving load from the vehicle via the communication device.
  • the voice information generated by using the interactive program according to the magnitude of the driving load is transmitted to the vehicle.
  • the in-vehicle communication device (not shown) transmits the occupant voice information acquired by the indoor microphone 170 to the server, receives the voice information transmitted from the server, and causes the speaker 180 to output the information. .
  • the voice interaction system including the server By configuring the voice interaction system including the server in this way, for example, in a data center including the server, the history of the interaction performed with a plurality of vehicles can be managed collectively. Then, for example, by analyzing the conversation history for each occupant, it is possible to generate a criterion for determining the magnitude of the driving load in accordance with the occupant's driving characteristics.
  • the driving load is large when the driving subject is the “driver”.
  • the present invention is not limited to this in the case of a vehicle having functions. For example, even when the driving subject is the “driver”, if the driving support is received by the vehicle controller or the driving control, the driving load may be determined to be small.
  • the present invention can also be applied to a dialog system for an occupant of a vehicle that is not a driver.
  • the load state of the occupant of the vehicle that is not the driver is determined, and when the load state of the occupant is large, the above-described first interactive program is used.
  • the second interactive program described above can be used.
  • the load state of the occupant of the vehicle that is not the driver is information on the traveling state acquired by the traveling state information acquiring function, information on the external environment acquired by the external environment information acquiring function, an infotainment system mounted on the vehicle 100 (illustrated in FIG.
  • the load state of the occupant of the vehicle other than the driver is determined based on at least one of the information on the use state of the vehicle terminal (not shown) and the information on the use state of the mobile terminal (not shown) used by the occupant. For example, when the information on the use state of the infotainment system (not shown) mounted on the vehicle 100 indicates that a moving image is being reproduced in the infotainment system, the load state of the occupant is determined to be large. Further, when the information on the use state of the mobile terminal used by the occupant indicates that the mobile terminal used by the occupant is operated by the occupant, the load state of the occupant is determined to be large, and the first interactive program is executed. To interact with the crew.
  • the infotainment system or the like (not shown; on-vehicle equipment such as an information display device) mounted on the vehicle 100 indicates that the infotainment system is not used, or If the information on the use state of the mobile terminal used by the user indicates that the mobile terminal is not operated by the occupant, the load state of the occupant is determined to be small, and the communication with the occupant is determined using the second dialogue program.
  • the first dialogue program or the second dialogue program is selected depending on whether the in-vehicle device or the mobile terminal is used, and the dialogue with the occupant is performed. That is, in the present embodiment, when it is determined that the driver or the occupant who is not the driver is performing any task that requires concentration, the first interactive program is used to determine that the task that requires concentration is not performed. If so, the dialogue is performed using the second dialogue program.
  • the controller according to the present invention will be described using the controller 190 as an example, but the present invention is not limited to this.
  • the sensor according to the present invention will be described using a sensor group 110, a surrounding detection device 120, a navigation device 130, an external information acquisition device 140, and a driving device 150 as an example, but the present invention is not limited to this. Absent.
  • the storage device according to the present invention will be described using a ROM or a database as an example, but the present invention is not limited to this.
  • the audio device according to the present invention will be described using the indoor microphone 170 and the speaker 180 as an example, but the present invention is not limited thereto.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Air-Conditioning For Vehicles (AREA)

Abstract

車両（１００）の走行状態、車両の外部環境の状態、及び車両の乗員の状態のうち少なくとも一つの状態に基づいて、乗員の負荷の状態を判定し、負荷の状態に応じた対話プログラムを用いて、乗員と対話する。

Description

音声対話装置、音声対話システム、及び音声対話装置の制御方法
　本発明は、音声対話装置、音声対話システム、及び音声対話装置の制御方法に関する。
　車室内に音声を出力する音声出力器と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行部と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定部と、負荷判定部によって運転負荷が高いと判定された場合に、対話実現部による発話の開始を禁止する禁止状態とし、負荷判定部によって運転負荷が低いと判定された場合に、対話実行部による発話の開始を許容する許容状態とする発話制御部と、を備える対話装置が知られている（特許文献１）。
特開２０１７－６７８４９号公報
　従来技術では、運転操作など乗員の負荷が高いと判定された場合に、乗員との対話が継続できない、という問題がある。
　本発明が解決しようとする課題は、乗員の負荷の状態にかかわらず、乗員との対話を継続することが可能な音声対話装置、音声対話システム、及び音声対話装置の制御方法を提供することである。
　本発明は、車両の走行状態、車両の外部環境の状態、及び車両の乗員の状態のうち少なくとも一つの状態に基づいて、乗員の負荷の状態を判定し、負荷の状態に応じた対話プログラムを用いて、乗員と対話することで、上記課題を解決する。
　本発明によれば、乗員の負荷の状態にかかわらず、乗員との対話を継続することができる。
図１は、本実施形態に係る音声対話システムのブロック構成図を示す図である。 図２は、運転負荷の大きさを判定するための項目及び判定基準の一例である。 図３は、第１実施形態における第１の対話モード及び第２の対話モードを説明するための図である。 図４は、本実施形態に係るコントローラが実行する処理を示すフローチャートである。 図５は、第１の対話プログラムを用いた場合に行われる対話の一例である。 図６は、第２の対話プログラムを用いた場合に行われる対話の一例である。 図７は、第２実施形態における第１の対話モード及び第２の対話モードを説明するための図である。 図８は、第３実施形態における第１の対話モード及び第２の対話モードを説明するための図である。
　以下、本発明の実施形態を図面に基づいて説明する。
≪第１実施形態≫
　図１は、本実施形態に係る音声対話システムの構成を示す図である。図１に示すように、本実施形態では、音声対話システムを車両１００に搭載した構成を例に挙げて説明する。
　車両１００は、センサ群１１０と、周囲検出装置１２０と、ナビゲーション装置１３０と、外部情報取得装置１４０と、駆動装置１５０と、室内カメラ１６０と、室内マイク１７０と、スピーカ１８０と、コントローラ１９０と、を備える。これらの装置は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。なお、本実施形態に係る音声対話装置は、コントローラ１９０を備えている。
　本実施形態の車両１００としては、電動モータを駆動源として備える電気自動車、内燃機関を駆動源として備えるエンジン自動車、電動モータ及び内燃機関の両方を駆動源として備えるハイブリッド自動車を例示できる。なお、電動モータを駆動源とする電気自動車やハイブリッド自動車には、二次電池を電動モータの電源とするタイプや燃料電池を電動モータの電源とするタイプのものも含まれる。
　センサ群１１０は、車両の走行状態を検出する装置で構成されている。具体的には、本実施形態のセンサ群１１０は、車速センサ１１１、エンジン回転数センサ１１２、アクセル開度センサ１１３、ブレーキ開度センサ１１４、操舵角センサ１１５、シフトレバーセンサ１１６で構成されている。
　車速センサ１１１は、ドライブシャフトなどの駆動系の回転速度を計測し、これに基づいて車両の走行速度（以下、車速ともいう）を検出する。車速センサ１１１は、車速情報をコントローラ１９０に出力する。なお、本実施形態では、車両１００は、車速センサ１１１に代えて又はこれとともに加速度センサを備える構成であってもよい。
　エンジン回転数センサ１１２は、エンジン回転数を検出し、エンジン回転数の情報をコントローラ１９０に出力する。アクセル開度センサ１１３は、アクセルペダルの操作量を検出し、アクセルペダルの操作量の情報をコントローラ１９０に出力する。ブレーキ開度センサ１１４は、ブレーキペダルの操作量を検出し、ブレーキペダルの操作量の情報をコントローラ１９０に出力する。操舵角センサ１１５は、ステアリングの操舵角を検出し、ステアリングの操舵角の情報をコントローラ１９０に出力する。シフトレバーセンサ１１６は、シフトレバーの位置（シフトレバーポジション）を検出し、シフトレバーの位置情報をコントローラ１９０に出力する。
　周囲検出装置１２０は、車両１００の周辺に存在する対象物を検出する。周囲検出装置１２０としては、車載カメラ１２１、レーダー１２２が挙げられる。車載カメラ１２１は、車両１００の周辺を撮像する。車載カメラ１２１は、例えば、車両１００の前方を撮像する前方カメラ、車両１００の後方を撮像する後方カメラ、車両１００の側方を撮像する側方カメラで構成される。レーダー１２２は、車両１００の周辺に存在する障害物を検出する。レーダー１２２は、例えば、車両１００の前方に存在する障害物を検出する前方レーダー、車両１００の後方に存在する障害物を検出する後方レーダー、車両１００の側方に存在する障害物を検出する側方レーダーで構成される。レーダー１２２は、車両１００から障害物までの距離及び障害物が存在する方向を検出する。
　周囲検出装置１２０が検出する対象物としては、歩行者、自転車、バイク、自動車、路上障害物、交通信号機、路面標示、および横断歩道などが挙げられる。なお、周囲検出装置１２０として、上述した車載カメラ１２１、レーダー１２２のうちいずれか１つを用いる構成としてもよいし、２種類以上を組み合わせる構成としてもよい。周囲検出装置１２０は、撮像した情報や検出結果を、周辺情報としてコントローラ１９０に出力する。
　ナビゲーション装置１３０は、ＧＰＳ１３１により検出された車両１００の位置情報に基づいて、車両１００の現在位置から目的地までの経路を示して運転者を誘導する。ナビゲーション装置１３０は、地図情報を有しており、車両１００の位置情報と目的地の位置情報から、車両１００の走行経路を算出する。ナビゲーション装置１３０は、車両１００の位置情報及び車両１００の走行経路の情報をコントローラ１９０に出力する。車両１００の走行経路には、実際に車両１００が走行した経路及びこれから車両１００が走行する予定の経路が含まれる。
　外部情報取得装置１４０は、車両１００の外部に存在するネットワークと接続し、車両１００の外部環境の情報を取得する。外部情報取得装置１４０としては、通信回線を介して、所定の周期で、車外のネットワークから各種情報を取得する装置が挙げられる。例えば、外部情報取得装置１４０は、ＶＩＣＳ（登録商標）システムから、道路渋滞情報、道路工事情報、事故情報を取得する。また、例えば、外部情報取得装置１４０は、外部サーバから天気情報を取得する。外部情報取得装置１４０は、車外から取得した情報をコントローラ１９０に出力する。なお、外部情報取得装置１４０は、外部サーバから情報を取得することに限られず、ネットワーク上で必要な情報を検索し、検索結果に応じて、情報を管理するサーバにアクセスすることができる。
　また、外部情報取得装置１４０は、通信回線を介して外部環境の情報を取得する装置に限られず、例えば、外気温を検出する外気温センサ、湿度を検出する湿度センサ、雨滴を検出する雨滴センサであってもよい。外気温センサは、検出結果として外気温の情報をコントローラ１９０に出力する。湿度センサは、検出結果として湿度の情報をコントローラ１９０に出力する。雨滴センサは、検出結果として雨滴の情報をコントローラ１９０に出力する。
　駆動装置１５０は、車両１００の駆動機構を備える。駆動機構には、上述した車両１００の走行駆動源である電動モータ及び／又は内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、及び車輪を制動する制動装置（不図示）などが含まれる。駆動装置１５０は、運転者のアクセル操作及びブレーキ操作による入力信号、車両コントローラ（不図示）又は走行制御装置（不図示）から取得した制御信号に基づいてこれら駆動機構の各制御信号を生成し、車両の加減速を含む走行制御を実行する。駆動装置１５０に指令情報を送出することにより、車両の加減速を含む走行制御を自動的に行うことができる。なお、ハイブリッド自動車の場合には、車両の走行状態に応じた電動モータと内燃機関とのそれぞれに出力するトルク配分も駆動装置１５０に送出される。
　本実施形態の車両１００を運転する主体は、駆動装置１５０を制御する主体であり、車両１００の運転者、又は車両コントローラである。車両１００は、運転者の運転操作により、又は車両コントローラよる自動的な運転操作により走行する。例えば、図１には図示されていないが、車両１００には、運転操作の主体を切り替えるための機器（例えば、ボタン形状のスイッチなど）が設置されている。運転者は、このスイッチを切り替えることで、手動による運転操作、又は車両コントローラによる運転操作の切り替えを行うことができる。車両コントローラによる運転操作とは、いわゆる自動運転による運転操作と呼ばれ、自動的に車両を走行させることができる運転操作である。自動運転の技術は、本願出願時に知られた技術を適宜用いることができる。駆動装置１５０は、車両１００を運転している運転主体の情報を、運転主体情報としてコントローラ１９０に出力する。
　室内カメラ１６０は、車両１００の乗員を撮像可能な位置に設けられ、乗員を撮像する。本実施形態では、室内カメラ１６０は、車両１００の乗員のうち運転者を撮像する。室内カメラ１６０は、運転者の視線を含む運転者の表情や、運転者による運転操作を撮像できる位置に設けるのが好ましい。室内カメラ１６０は、運転者の撮像画像の情報をコントローラ１９０に出力する。
　室内マイク１７０は、車両１００の乗員の音声情報を取得し、少なくとも一時的に記憶する。本実施形態では、室内マイク１７０は、車両１００の乗員のうち運転者の音声情報を取得する。室内カメラ１６０の設置位置は特に限定されないが、乗員の座席近傍に設けることが好ましい。
　スピーカ１８０は、車両１００の乗員に音声情報を出力する。本実施形態では、スピーカ１８０は、車両１００の乗員のうち運転者に対して音声情報を出力する。スピーカ１８０の設置位置は特に限定されないが、乗員の座席近傍に設けることが好ましい。
　続いて、本実施形態のコントローラ１９０について説明する。コントローラ１９０は、車両１００の乗員の負荷に応じた対話プログラムを用いて、乗員との対話処理を実行するプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）から構成される。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。
　コントローラ１９０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、車両１００の走行状態に関する情報を取得する走行状態情報取得機能と、車両１００の外部環境に関する情報を取得する外部情報取得機能と、車両１００の運転操作に関する情報を取得する運転操作情報取得機能と、取得した情報に基づいて車両１００の乗員の運転負荷の大きさを判定する運転負荷判定機能と、運転負荷の大きさに応じた対話プログラムを選択して運転者と対話する対話機能と、を備える。以下に、コントローラ１９０が備える各機能について説明する。
　コントローラ１９０は、走行状態情報取得機能により、車両１００の走行状態に関する情報を取得する。走行状態に関する情報には、車両１００の車速、エンジン回転数、アクセル操作量、ブレーキ操作量、ステアリングの操舵角が含まれる。また、車両１００に、ナビゲーション装置１３０のようにアプリケーションにより動作する装置が含まれている場合、コントローラ１９０には、起動中のアプリケーションの種別の情報が入力される。この場合、走行状態に関する情報には、上述した情報の他に加えて、アプリケーションの種別の情報が含まれる。
　コントローラ１９０は、外部情報取得機能により、車両１００の外部環境に関する情報を取得する。外部環境に関する情報には、車両１００の周囲に存在する障害物までの距離及び障害物が存在する方向、車両１００が走行している道路に関する情報（種別情報、渋滞情報、工事情報、及び事故情報を含む）、車両１００の現在位置が含まれる。
　コントローラ１９０は、運転操作情報取得機能により、運転操作に関する情報を取得する。運転操作に関する情報には、シフトレバーポジション、車両１００の運転主体の情報、運転者の運転姿勢の情報が含まれる。運転姿勢の情報とは、室内カメラ１６０により撮像された運転者の撮像画像に基づく情報である。コントローラ１９０は、運転者の撮像画像に対して画像処理を実行することで、運転者の運転姿勢を把握する。
　コントローラ１９０は、運転負荷判定機能により、運転者の運転負荷の大きさを判定する。本実施形態のコントローラ１９０は、走行状態情報取得機能により取得した走行状態に関する情報、外部環境情報取得機能により取得した外部環境に関する情報、運転操作情報取得機能により取得した運転操作に関する情報のうち少なくとも何れか一つの情報に基づいて、運転負荷の大きさが所定の基準よりも大きいか又は小さいかを判定する。なお、本実施形態では、運転負荷の大きさを所定の基準よりも大きい又は小さいかの２つカテゴリに分ける構成を例に挙げて説明するが、運転負荷の大きさの判定方法はこれに限定されるものではない。例えば、運転負荷の大きさを３つ以上のカテゴリに分けてもよい。なお、ここでいう運転負荷の大きさを判定するとは、コントローラ１９０が、走行状態情報取得機能により取得した走行状態に関する情報、外部環境情報取得機能により取得した外部環境に関する情報、運転操作情報取得機能により取得した運転操作に関する情報のうち少なくとも何れか一つの情報に基づいて、運転負荷の状態が２以上の分類のうちのいずれに分類されるかを判定する、ことである。本実施形態では、２以上の分類として、運転負荷の大きい状態、運転負荷の小さい状態のいずれに該当するかを判定している。
　ここで、運転負荷とは、運転者が車両１００を運転操作する時に運転者が担う負荷である。運転負荷が大きい場合、運転者には運転に対する高い集中力が要求される。このため、運転以外を対象とする操作については、運転者は意識的に又は無意識に優先度を下げる。運転以外を対象とする操作としては、例えば、エアコンの温度調整又は風量調整するための操作、音楽やラジオの音量調整するための操作などが挙げられる。
　次に、図２を参照しながら、具体的な運転負荷の大きさの判定方法について説明する。図２は、運転負荷の大きさを判定するための項目及び判定基準の一例である。
　コントローラ１９０は、図２に示すように、車両１００の走行状態に応じて、運転負荷の大きさを判定する。コントローラ１９０は、車両１００の走行状態が「走行中」に該当する場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、車両１００の走行状態が「停車中」に該当する場合、運転負荷が小さいと判定する。例えば、コントローラ１９０は、シフトレバーポジションが「Ｄ（ドライブ）」に位置する場合、車両の走行状態は「走行中」と検出する。また、例えば、コントローラ１９０は、シフトレバーポジションが「Ｐ（パーキング）」又は「Ｎ（ニュートラル）」に位置する場合、車両の走行状態は「停車中」と検出する。なお、走行状態を用いた判定方法は、上述した判定方法に限られず、例えば、車速、エンジン回転数、アクセルペダルの操作量、ブレーキペダルの操作量から、車両の走行状態を判定してもよい。
　また、図２では、走行状態の項目として「走行中」又は「停車中」を例に挙げているが、走行状態の項目はこれに限られない。例えば、コントローラ１９０は、車両１００が走行中であっても、車速が所定速度以下の場合には、運転負荷が小さいと判定してもよい。また、例えば、コントローラ１９０は、車両１００が停車中であっても、シフトレバーポジションが「Ｄ（ドライブ）」に位置し、かつ、ブレーキペダルの操作量が所定値以上の場合、車両１００は発進前の停車状態と判断し、運転負荷が大きいと判定してもよい。
　また、コントローラ１９０は、図２に示すように、車両１００の運転主体に応じて、運転負荷の大きさを判定する。コントローラ１９０は、車両１００の運転主体が「運転者」に該当する場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、車両１００の運転主体が「車両コントローラ」に該当する場合、運転負荷が小さいと判定する。例えば、コントローラ１９０は、駆動装置１５０から取得した運転主体情報により、現在の運転主体が運転者又は車両コントローラであるかを検出する。なお、運転主体を用いた判定方法は、上述した判定方法に限られない。例えば、コントローラ１９０は、室内カメラ１６０により撮像された運転者の撮像画像から、車両が走行しているにもかかわらず、運転者がステアリングホイールを操作していないことを検出したとする。この場合、コントローラ１９０は、運転主体は「車両コントローラ」に該当し、運転負荷が小さいと判定してもよい。
　また、コントローラ１９０は、図２に示すように、運転操作に応じて、運転負荷の大きさを判定する。コントローラ１９０は、運転操作が「車庫入れ」、「縦列駐車」、「バック駐車」の何れかの操作に該当する場合、運転負荷が大きいと判定する。例えば、コントローラ１９０は、シフトレバーポジションが「Ｒ（リバース）」になったことを検出すると、運転操作は「駐車」に該当する可能性があるという一次的な判断する。
　そして、コントローラ１９０は、車両１００の周辺情報から、車両１００が車庫の周辺にいることを検出した場合、運転操作は「車庫入れ」に該当すると判定する。また、コントローラ１９０は、車両１００の周辺情報から、他車両又は縦列用の駐車場が検出された場合、運転操作は「縦列駐車」に該当すると判定する。また、コントローラ１９０は、操舵角及びブレーキ操作量から、車両１００が後ろ向きで駐車していることを検出した場合、運転操作は「バック駐車」に該当すると判定する。なお、運転操作を用いた判定方法は、一例であって特に限定されるものではない。例えば、操舵角、車速、ブレーキ操作量、アクセル操作量から車両１００の走行軌跡を推定し、運転操作が「車庫入れ」、「縦列駐車」、「バック駐車」の何れかの操作に該当するかを判定してもよい。
　また、コントローラ１９０は、図２に示すように、車両１００の外部環境に応じて、運転負荷の大きさを判定する。外部環境には、走行場所、交通状況、天気、時間帯、周辺に存在する障害物の多さ又は障害物までの距離などが含まれる。コントローラ１９０は、車両１００の走行場所が「高速道路」に該当する場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、車両１００の走行場所が「渋滞中の道路」に該当する場合、運転負荷が小さいと判定する。例えば、コントローラ１９０は、車両１００の現在位置が高速道路であり、かつ、現在位置の周辺において渋滞情報がない場合、車両１００の走行場所は「高速道路」と検出する。また、コントローラ１９０は、車両１００の現在位置の周辺において渋滞情報がある場合、車両１００の走行場所は「渋滞中の道路」と検出する。
　また、コントローラ１９０は、車両１００の走行場所が「交差点」に該当する場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、車両１００の走行場所が「直進道路」に該当する場合、運転負荷が小さいと判定する。また、コントローラ１９０は、車両１００の周辺に存在する障害物（他車両、ニ輪自動車、歩行者など）が所定の数よりも少ない場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、障害物が所定の数以上の場合、運転負荷が小さいと判定する。
　なお、上述した判定基準は一例であって特に限定されるものではない。コントローラ１９０は、車両１００の走行状態の項目として、車両１００の室内で起動しているアプリケーションの種別を含めてもよい。この場合、コントローラ１９０は、起動中のアプリケーションの種別に応じて、運転負荷の大きさを判定する。なお、アプリケーションの種別は特に限定されない。アプリケーションの種別に基づく運転負荷の大きさの判定は、実験的に求めた基準に従って行うのが好ましい。
　ここまでは、図２に示す項目ごとに、運転負荷の大きさを判定する方法の一例を説明したが、運転負荷の大きさは、一つの項目から判定する必要はなく、複数の項目のうち少なくとも何れか一つの項目について、運転負荷の大きさの判定を行えばよい。
　例えば、コントローラ１９０が複数の項目について運転負荷の大きさの判定をした場合、コントローラ１９０は、所定の方法を用いて、運転負荷の大きさを決定する。例えば、コントローラ１９０は、項目ごとの判定結果に対して、予め項目ごとに設定された重み付けを行い、運転負荷の大きさを決定してもよい。また、コントローラ１９０は、項目ごとの判定結果に対して多数決をとることで、運転負荷の大きさを決定してもよい。
　また、判定する項目は、運転者の運転熟練度に応じて異なっていてもよい。例えば、コントローラ１９０は、予め登録された運転者の情報から、運転熟練度を推定する。そして、コントローラ１９０は、運転熟練度が所定値よりも高い運転者が運転している場合、図２に示す「走行状態」の項目については判定を行わない。これは、運転熟練度が高い運転者は、運転に慣れている運転者又は運転が好きな運転者であるため、このような運転者の運転負荷を判定するにあたり、車両が走行しているか又は停車しているかの判定だけでは、運転負荷の大きさを判定することが難しいという観点に基づくものである。反対に、運転熟練度が低い運転者の場合（例えば、ペーパードライバー等）、運転を行うだけで大きな運転負荷になるため、コントローラ１９０は、運転熟練度が所定値以下の運転者が運転している場合、走行状態の項目についての運転負荷の判定を行う。なお、所定値は特に限定されるものではなく、実験的に求められた値が好ましい。
　次に、対話機能について説明する。コントローラ１９０は、対話機能により、運転負荷の大きさに応じた対話プログラムを用いて、車両１００の乗員と対話する。本実施形態では、コントローラ１９０は、運転負荷の大きさが所定の基準よりも大きい場合、第１の対話プログラムを用い、運転負荷の大きさが所定の基準よりも小さい場合には、第１の対話プログラムと異なる第２の対話プログラムを用いる。本実施形態では、各対話プログラムは、予めＲＯＭ又はデータベース（不図示）に記憶されており、コントローラ１９０は、対話機能により、ＲＯＭ又はデータベースから、運転負荷の大きさに応じた対話プログラムを選択して実行する。なお、第１の対話プログラムを実行することで、第１の対話モードが実現され、第２の対話プログラムを実行することで、第２の対話モードが実現される。また、第１の対話プログラム及び第２の対話プログラムにおいて、音声を生成する技術は、本願出願時に知られた技術を用いることができる。
　各対話プログラムは、乗員の音声を認識するプログラムと、乗員に対して音声を出力するプログラムとで構成されている。コントローラ１９０は、音声を出力するプログラムを実行することで、スピーカ１８０を介して音声を出力して、乗員に話す。また、コントローラ１９０は、音声を認識するプログラムを実行することで、室内マイク１７０を介して入力される乗員の音声を認識する。コントローラ１９０は、音声の出力と乗員の音声の認識を繰り返すことで、乗員と対話を行う。
　以降、図３を適宜用いながら、各対話モードについて説明する。図３は、本実施形態における第１の対話モード及び第２の対話モードを説明するための図である。
　第１の対話プログラムは、第２の対話プログラムに比べて、乗員の返答に含まれる単語数が少なくなるようにプログラミングされている。返答とは、コントローラ１９０からの質問や呼びかけ（以降、質問等ともいう）に対して答えることである。乗員の返答には、１回の質問等に対する返答だけでなく、対話が開始されてから終了するまでの間に行われた全ての返答が含まれる。乗員が発話する単語数を減らす方法としては、例えば、乗員が返答する回数を減らす方法、一回の返答あたりに乗員が発話する単語数を減らす方法、乗員が発話する単語そのものを短くする方法が挙げられる。
　また、第１の対話プログラムは、第２の対話プログラムに比べて、スピーカ１８０を介して出力する単語数が少なくなるようにプログラミングされている。出力する単語数を少なくする方法としては、例えば、不要な情報を付加せずに質問や呼びかけを行う方法、端的な表現を用いる方法などが挙げられる。
　以下、コントローラ１９０から乗員に質問を行う場合の具体例に挙げて、第１の対話プログラムについて説明する。なお、第１の対話プログラムが適用されるのは、質問を行う場合だけに限られず、「話す」に含まれる行為全般に対して、第１の対話プログラムは適用することができる。例えば、第１の対話プログラムは、呼びかけをする場合、通知する場合、説明をする場合などにも適用することができる。
　例えば、コントローラ１９０は、乗員に「はい」又は「いいえ」の択一的に回答させるような質問を行う。例えば、車両１００の目的地を確定させる場面において、コントローラ１９０は、「目的地は、○○ですね？」と乗員に質問を行う。その後、例えば、コントローラ１９０は、乗員の返答として「はい」という音声を認識した場合、ナビゲーション装置１３０にアクセスして、車両１００の目的地を○○に設定する。また、例えば、コントローラ１９０は、乗員の返答として「いいえ」という音声を認識した場合、「目的地は、△△ですか？」と再び乗員に質問を行う。なお、乗員の返答を認識した後の処理については、本実施形態では特に限定されない。
　また、例えば、コントローラ１９０は、回答の候補に番号を付し、乗員に番号を択一的に回答させるような質問を行う。上述の目的地を確定させる場面を例に挙げて説明すると、例えば、コントローラ１９０は、「目的地は、１．○○、２．△△、３．××のうちどれですか？」と、乗員に１～３の番号で回答させるような質問を行う。例えば、コントローラ１９０は、乗員の返答として「１」という音声を認識した場合、ナビゲーション装置１３０にアクセスして、車両１００の目的地を○○に設定する。なお、回答候補の数が３つの場合を例に挙げて説明したが、回答候補の数は特に限定されない。
　このように、択一的な回答をさせる質問を行うことで、対話における一回の返答あたりに乗員が発話する単語数を減らすことができる。また、乗員が発話する単語に含まれる文字数を短くすることができる。これにより、乗員の運転負荷が大きい場面においても、乗員は運転に対しての集中力を維持したまま対話することができる。
　また、例えば、コントローラ１９０は、「目的地は○○でよろしいですね？」のように、端的な表現を用い、かつ、余計な情報を付加せず質問のみを行う。これにより、乗員は、コントローラ１９０からの質問を聞き取りやすくなるとともに、聞かれている内容を理解しやすくなる。その結果、質問の内容を理解できなかった乗員に対して、再度質問を行うことを防ぐことができる。運転負荷が大きい場面において、乗員とのやり取りを可能な限り減らすことができ、乗員が返答する回数を減らすことができる。
　これに対して、本実施形態に係る第２の対話プログラムのうち音声出力に関しては、図３に示すように、乗員の返答に含まれる単語数に対しての制限は設けられていない。また、第２の対話プログラムには、スピーカ１８０を介して出力する単語数に制限が設けられていない。このため、コントローラ１９０は、第２の対話プログラムを用いて対話を行う場合、乗員に対して詳細な情報や付属的な情報を提供する。
　第２の対話プログラムについて、上述の目的地を確定させる場面を例に挙げて説明する。例えば、コントローラ１９０は、「今日は天気が晴れているため、お勧めの目的地としては、○○、△△、××が挙げられますが、目的地はどこにしますか？また、今日は、この周辺で□□のイベントが午後から開始されるようです。」と乗員に質問を行うだけでなく、付属的な情報を提供する。上述の例の場合、付属的な情報には、天気の情報、推奨する目的地の情報、イベントに関する情報が含まれる。第２の対話プログラムとして用いられる技術には、本願出願時に知られた対話プログラムの技術を適宜用いることができる。
　また、本実施形態では、図３に示すように、第１の対話プログラムのうち音声認識及び第２の対話プログラムのうち音声認識に関しては、いわゆる文認識と呼ばれる技術が用いられている。文認識の技術としては、例えば、「Sentences recognition」、「Speech to text」が挙げられる。文認識とは、乗員の音声を文章単位で認識するものである。
　図３を参照しながら、文認識の特徴について説明する。文認識では、乗員の発話した内容を認識するまでに要する単語数は、比較的多い。また文認識では、乗員の音声を文章単位で認識し、乗員の発話した内容を理解するため、文法のチェックを行う。このため、本実施形態では、第１の対話プログラム及び第２の対話プログラムともに、コントローラ１９０が乗員の発話内容を理解するまでの処理時間は比較的長くなる。
　次に、図４を用いながら、本実施形態に係るコントローラ１９０が実行する処理について説明する。図４は、本実施形態に係るコントローラ１９０が実行する処理を示すフローチャートである。
　ステップＳ１０１では、コントローラ１９０は、車両１００の走行状態、車両１００の外部環境の状態、及び車両１００の運転操作の状態の情報を取得する。例えば、コントローラ１９０は、シフトレバーセンサ１１６から、シフトレバーポジションの情報を、走行状態の情報として取得する。また例えば、コントローラ１９０は、周囲検出装置１２０から、車両１００の周囲情報を、外部環境の情報として取得する。また例えば、コントローラ１９０は、室内カメラ１６０により撮像された車両１００の運転者の撮像画像を画像処理する。コントローラ１９０は、画像処理により運転者の運転姿勢を把握し、運転操作の情報を取得する。
　ステップＳ１０２では、コントローラ１９０は、ステップＳ１０１にて取得した情報に基づいて、車両１００の乗員の運転負荷の大きさを判定する。例えば、コントローラ１９０は、車両１００が走行中の場合には、運転負荷は大きいと判定し、車両１００が停車中の場合には、運転負荷は小さいと判定する。また例えば、コントローラ１９０は、車両１００が高速道路を走行している場合には、運転負荷は大きいと判定し、車両１００が渋滞中の道路を走行している場合には、運転負荷は小さいと判定する。また例えば、コントローラ１９０は、運転者が車庫入れの運転操作を行っている場合、運転負荷は大きいと判定する。運転負荷が大きいと判定された場合、ステップＳ１０３へ進み、反対に、運転負荷が小さいと判定された場合、ステップＳ１０５へ進む。なお、上記の判定方法は一例であって特に限定されるものではない。
　ステップＳ１０３では、コントローラ１９０は、第１の対話プログラムを用いて乗員と対話を行う。コントローラ１９０は、第１の対話プログラムを実行することで、例えば、「はい」又は「いいえ」で回答することが可能な質問を行う。またコントローラ１９０は、例えば、端的な表現を用いて質問を行う。
　図５は、第１の対話プログラムを用いた場合に行われる対話の一例である。図５（Ａ）は、信号待ちで停車中の車両１００において、乗員が目的地を設定するためにナビゲーション装置１３０を操作していたが、信号が変わったため車両１００が発進した場面での対話例である。また、図５（Ｂ）は、乗員が高速道路の運転している際に、車両１００の室内温度が上昇した場面での対話例である。図５（Ａ）、（Ｂ）に示すように、第１の対話プログラムが実行されることで、乗員は、コントローラ１９０からの質問に対して、「うん」、「いや、いいよ」のように、簡単かつ短い単語を用いて、返答することができる。
　ステップＳ１０４では、コントローラ１９０は、ステップＳ１０３での乗員との対話が終了したか否かを判定する。例えば、対話終了の条件が予め定められている場合、コントローラ１９０は、この条件に該当するか否かを判定することで、対話が終了したか否かを判定する。図５（Ａ）の例を用いると、対話終了の条件としては、乗員の返答によって目的地が確定した場合が挙げられる。対話が終了した場合には、コントローラ１９０による処理は終了する。反対に、対話が終了していない場合には、ステップＳ１０３へ戻る。
　また、ステップＳ１０２にて、運転負荷が小さいと判定された場合、ステップＳ１０５へ進む。ステップＳ１０５では、コントローラ１９０は、第２の対話プログラムを用いた対話を実行する。
　図６は、第２の対話プログラムを用いた場合に行われる対話の一例である。図６は、車両１００が駐車場等に停車している場面での対話例である。図６に示すように、第２の対話プログラムが実行されることで、乗員は、コントローラ１９０により提供された情報（レストランの件数）により、料理及び場所を指定することができる。さらに、乗員は、コントローラ１９０により提供された情報（レストランまでの移動時間、現在の空席状況）により、レストランを決定することができる。
　ステップＳ１０６では、コントローラ１９０は、ステップＳ１０５での乗員との対話が終了したか否かを判定する。図６の例を用いると、対話終了の条件としては、乗員の返答によって目的地が確定した場合が挙げられる。対話が終了した場合には、コントローラ１９０による処理は終了する。反対に、対話が終了していない場合には、ステップＳ１０５へ戻る。
　以上のように、本実施形態に係る音声対話装置は、車両１００に搭載されたセンサ群１１０、周囲検出装置１２０、ナビゲーション装置１３０、外部情報取得装置１４０、駆動装置１５０、室内カメラ１６０を用いて、車両１００の乗員と対話するコントローラ１９０を備えている。センサ群１１０は、車両１００の走行状態を検出する。周囲検出装置１２０、ナビゲーション装置１３０、及び外部情報取得装置１４０は、車両１００の外部環境の状態を検出する。駆動装置１５０、及び室内カメラ１６０は、車両１００の乗員の運転操作の状態を検出する。コントローラ１９０は、車両１００の走行状態、外部環境の状態、乗員の運転操作の状態のうち少なくとも一つに基づいて、乗員の運転負荷の大きさを判定し、運転負荷の大きさに応じた対話プログラムを用いて、乗員と対話する。これにより、運転負荷の大きさに応じた対話プログラムにより乗員と対話することができるため、運転負荷の大きさにかかわらず、乗員との対話を継続することができる。
　また、本実施形態では、コントローラ１９０は、運転負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、運転負荷の大きさが所定の基準よりも小さい場合には、第１の対話プログラムと異なる第２の対話プログラムを用いて、乗員と対話を行う。これにより、運転負荷の大きさに応じた異なる２つの対話モードによって、乗員との対話を継続することができる。
　さらに、本実施形態では、コントローラ１９０は、第１の対話プログラムを実行することで、乗員から質問に対する返答を取得し、第２の対話プログラムを実行することで、乗員から質問に対する返答を取得する。第１の対話プログラムは、第２の対話プログラムに比べて、乗員の返答に含まれる単語数が少なくなるようにプログラミングされている。これにより、運転負荷が大きい場合であっても、乗員は運転に対する集中力を維持しつつ、対話をすることができる。
　加えて、本実施形態では、コントローラ１９０は、第１の対話プログラムを用いて、乗員に択一的に回答させるような質問を行う。これにより、運転負荷が大きい場合であっても、例えば、コントローラ１９０からの質問に対して、「はい」又は「いいえ」の簡単な単語を発話するだけで対話することができる。また、複数の回答候補の中からの選択結果を発話するだけで対話をすることができる。
　また、本実施形態では、コントローラ１９０は、車両１００が乗員の運転により走行している場合、運転負荷の大きさが所定の基準よりも大きいと判定する。例えば、ペーパードライバー等の運転熟練度が比較的小さい運転者にとって、運転をすることは大きな負荷になるため、運転負荷の大きさを適切に判定することができる。
　さらに、本実施形態では、コントローラ１９０は、乗員が駐車するための運転操作を行っている場合、運転負荷の大きさが所定の基準よりも大きいと判定する。一般的には、車両を駐車させる際に、運転者は運転操作に集中するため、運転負荷の大きさを適切に判定することができる。
　加えて、本実施形態では、コントローラ１９０は、車両１００が高速道路又は交差点を走行している場合、運転負荷の大きさが所定の基準よりも大きいと判定する。一般的には、運転者にとって、高速道路における運転は大きな負荷になるため、運転負荷の大きさを適切に判定することができる。また、運転者にとって、対向車が右折する可能性がある交差点での運転は大きな負荷になるため、運転負荷の大きさを適切に判定することができる。
　また、本実施形態では、コントローラ１９０は、車両１００が停車している場合、運転負荷の大きさが所定の基準よりも小さいと判定する。一般的には、停車している状態では、運転者にかかる負荷は比較的小さいため、運転負荷の大きさを適切に判定することができる。
　さらに、本実施形態では、コントローラ１９０は、車両１００が自動的な運転により走行している場合、運転負荷の大きさが所定の基準よりも小さいと判定する。車両の運転主体が運転者でない場合には、運転者にかかる負荷は比較的小さいため、運転負荷の大きさを適切に判定することができる。
　加えて、本実施形態では、コントローラ１９０は、車両１００が渋滞中の道路を走行している場合、又は車両１００が直線道路を走行している場合、運転負荷の大きさが所定の基準よりも小さいと判定する。一般的には、徐行速度で走行する、あるいは停止と発進を繰り返す渋滞中においては、運転者にかかる負荷は比較的小さいため、運転負荷の大きさを適切に判定することができる。
　また、本実施形態では、コントローラ１９０は、ＲＯＭ又はデータベースに記憶された対話プログラムの中から、運転負荷の大きさに応じた対話プログラムを選択し、対話プログラムを実行することで、室内マイク１７０及びスピーカ１８０を介して、乗員と対話する。室内マイク１７０は、乗員の音声を認識し、スピーカ１８０は、乗員へ音声を出力する。これにより、コントローラ１９０は、乗員の音声を認識できるとともに、音声により乗員に質問等を伝えることができる。
≪第２実施形態≫
　次に第２実施形態に係る音声対話装置について説明する。本実施形態の音声対話装置は、コントローラ１９０が用いる第１の対話プログラム及び第２の対話プログラムが異なる点以外は、上述した実施形態と同様の構成を有しているため、繰り返しの説明は省略して、上述の実施形態においてした説明を援用する。
　図７を用いながら、本実施形態に係る対話プログラムについて説明する。図７は、本実施形態における第１の対話モード及び第２の対話モードを説明するための図である。
　まず、第２実施形態に係る第１の対話プログラムについて説明する。本実施形態に係る第１の対話プログラムは、上述の第１実施形態に係る第１の対話プログラムと比べて、音声出力及び音声認識に関して異なる。本実施形態では、第１の対話プログラムのうち音声認識に関しては、いわゆる離散単語認識と呼ばれる技術が用いられている。離散単語認識の技術としては、例えば、「Keyword Spotting」が挙げられる。離散単語認識とは、乗員の音声情報を文章として認識するのではなく、乗員の音声情報に含まれる所定の単語（以降、キーワードともいう）を認識するものである。
　図７を参照しながら、離散単語認識の特徴について説明する。離散単語認識では、乗員の発話した内容を認識するために要する単語数は、比較的少ない。また離散単語認識では、キーワードに該当するか否かの判断により、乗員の発話した内容を認識するために、文法のチェックを行わない。このため、乗員により発話された単語の認識精度は、上述の文認識と比べて高い。例えば、路面状態が悪い道路を走行している場合には、いわゆるロードノイズが大きくなるが、この場合において、離散単語認識を用いると、乗員の発話した単語を精度良く認識することができる。また、文法チェックがないため、コントローラ１９０が乗員の発話内容を理解するまでの処理時間は、上述の文認識と比べて短くなる。
　次に、キーワードについて説明する。キーワードとは、ＲＯＭ又はデータベース等の記憶装置に予め登録された単語である。キーワードの種別及び文字数は特に限定されていない。また、キーワード数も、特に限定されていないが、処理速度の高速化を図るためには、キーワード数は、１０～２０の範囲であることが好ましい。
　キーワードとしては、「はい」、「いいえ」、「前」、「後ろ」、「左」、「右」、「上」、「下」、「強い」、「弱い」、「高い」、「低い」等が例示できる。なお、キーワードを選定するにあたり、乗員への質問や呼びかけとの関係性を考慮することが好ましい。例えば、「エアコンの温度を下げますか？」という質問に対して想定される返答としては、「はい」、「いいえ」、「下げて」、「いや、上げて」が考えられるため、対話の内容に応じた単語をキーワードとして予め登録するのが好ましい。
　また、本実施形態では、第１の対話プログラムのうち音声出力に関しては、上述の第１実施形態に係る第２の対話プログラムと同様のものが用いられる。図７に示すように、音声出力に関しては、乗員の返答に含まれる単語数に対しての制限、及びスピーカ１８０を介して出力する単語数に制限は設けられていない。
　これに対して、本実施形態に係る第２の対話プログラムは、図７に示すように、第１実施形態に係る第２の対話プログラムと同じである。このため、繰り返しの説明は省略して、第１実施形態においてした説明を援用する。
　以上のように、本実施形態に係る第１の対話プログラムでは、音声認識に関しては離散単語認識の技術が用いられている。これにより、例えば、舗装されていない道路や路面が濡れている道路を走行する際に、大きなロードノイズが発生した場合であっても、乗員の発話した単語を精度良く認識することができるとともに、乗員の音声を認識してから音声出力するまでに要する処理時間を短縮することができる。
≪第３実施形態≫
　次に第３実施形態に係る音声対話装置について説明する。本実施形態の音声対話装置は、コントローラ１９０が用いる第１の対話プログラム及び第２の対話プログラムが異なる点以外は、上述した実施形態と同様の構成を有しているため、繰り返しの説明は省略して、上述の実施形態においてした説明を援用する。
　図８を用いながら、本実施形態に係る対話プログラムについて説明する。図８は、本実施形態における第１の対話モード及び第２の対話モードを説明するための図である。なお、本実施形態では、第２の対話プログラムは、上述した第２実施形態に係る第２の対話プログラムと同じであるため、繰り返しの説明は省略して、上述の実施形態においてした説明を援用する。
　第３実施形態に係る第１の対話プログラムについて説明する。本実施形態に係る第１の対話プログラムは、音声出力に関しては第１実施形態に係る第１の対話プログラム、音声認識に関しては第２実施形態に係る第１の対話プログラムで構成されている。本実施形態では、コントローラ１９０は、乗員に特定のキーワードで回答させるような質問等を行う。特定のキーワードとは、離散単語認識で用いられるキーワードである。
　例えば、離散単語認識で用いられるキーワードとして、「はい」及び「いいえ」が予め記憶装置に登録されているとする。この場合、コントローラ１９０は、乗員に「はい」又は「いいえ」で返答させるような質問等を行う。また、例えば、離散単語認識で用いられるキーワードとして、「暑い」、「寒い」が予め記憶装置に登録されていたとする。この場合、コントローラ１９０は、例えば、乗員に「暑い」又は「寒い」で返答させるような室内温度に関する質問を行う。また、例えば、離散単語認識で用いられるキーワードとして、「良い」、「普通」及び「悪い」が予め記憶装置に登録されていたとする。この場合、コントローラ１９０は、乗員に「良い」、「普通」及び「悪い」の選択肢から選択させるような質問等を行う。
　また、本実施形態では、第１の対話プログラムが取り扱う話題と、第２の対話プログラムが取り扱う話題とは異なる。具体的には、第１の対話プログラムは、走行に関する事項について乗員と対話をするようにプログラミングされている。走行に関する事項としては、例えば、操舵制御、走行制御、目的地の設定などが挙げられる。一方、第２の対話プログラムは、乗員との対話において話題の制限が設けられていない。第２の対話プログラムが取扱う話題には、例えば、天気、エンターテイメントなど走行とは関係ない話題も含まれる。
　以上のように、本実施形態では、コントローラ１９０は、第１の対話プログラムを用いて、乗員に予め登録されているキーワードで回答させるような質問を行う。これにより、乗員の運転負荷が大きい場面においても、乗員は運転に対しての集中力を維持したまま対話することができる。また、離散単語認識により、乗員の音声を認識するまでに要する処理時間を短縮することができ、対話終了までの時間の短縮を図ることができる。
　また、本実施形態では、第１の対話プログラムは、車両の走行に関する話題で乗員と対話するようにプログラミングされている。これにより、乗員の運転負荷が大きい場面においても、例えば、乗員が理解しやすいような表現で端的な文章にて、操舵に関する質問を行ったり、あるいは車速に関する通知を行ったりすることができる。
　なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
　例えば、上述した実施形態では、音声対話システムを車両１００に搭載した構成を例に挙げて説明したが、音声システムは、車両１００のみで構成される必要はなく、車両１００及び車両１００と通信可能なサーバとの構成であってもよい。例えば、音声対話システムは、コントローラ１９０と同様の機能を有し、車両と通信することで車両の乗員と対話するサーバを備えていてもよい。
　この場合、サーバは、通信装置（不図示）を介して、走行状態の情報、外部環境の状態の情報、運転操作の状態の情報、及び音声情報の授受を行う。例えば、図１に示す構成のうちコントローラ１９０を除く構成を有している車両がある場合、サーバは、通信装置を介して、逐次、車両から運転負荷の大きさの判定に必要な情報を取得するとともに、運転負荷の大きさに応じた対話プログラムを用いて生成した音声情報を車両に送信する。車両側では、車載通信装置（不図示）は、室内マイク１７０にて取得された乗員の音声情報を、サーバに送信するとともに、サーバから送信された音声情報を受信して、スピーカ１８０から出力させる。
　このように、サーバを含めた音声対話システムを構成することで、例えば、サーバを備えるデータセンタでは、複数の車両との間で行われた対話の履歴の管理を一括して行うことができる。そして、例えば、乗員ごとに対話の履歴を分析することで、乗員の運転特性に合わせて、運転負荷の大きさを判定するための基準を生成することができる。
　また、例えば、上述した実施形態では、運転負荷の大きさを判定する際に、運転主体が「運転者」の場合には、運転負荷が大きいと判定する例を挙げて説明したが、運転支援機能を備えた車両の場合にはこれに限られない。例えば、運転主体が「運転者」であっても、車両コントローラ又は走行制御により運転支援を受けている場合には、運転負荷が小さいと判定してもよい。
　上述した実施形態においては、運転者の運転負荷の状態を判定する例を挙げて説明したが、本発明は、運転者ではない車両の乗員に対する対話システムにも適用することが可能である。具体的には、運転者ではない車両の乗員の負荷状態を判定し、乗員の負荷の状態が大きいときは、上述した第１の対話プログラムを用い、乗員の負荷の状態が小さいときは、上述した第２の対話プログラムを用いることができる。運転者ではない車両の乗員の負荷状態は、走行状態情報取得機能により取得した走行状態に関する情報、外部環境情報取得機能により取得した外部環境に関する情報、車両１００に搭載されたインフォテインメントシステム（図示しない）の使用状態に関する情報、乗員が利用するモバイル端末（図示しない）の使用状態に関する情報のうち少なくとも何れか一つの情報に基づいて、運転者ではない車両の乗員の負荷状態を判定する。例えば、車両１００に搭載されたインフォテインメントシステム（図示しない）の使用状態に関する情報が、当該インフォテインメントシステムにおいて動画再生中であることを示す場合、乗員の負荷状態は大きいものとして判定する。また、乗員が利用するモバイル端末の使用状態に関する情報が、乗員が利用するモバイル端末が乗員により操作されていることを示す場合、乗員の負荷状態は大きいものとして判定し、第１の対話プログラムを用いて乗員との対話を行う。一方で、車両１００に搭載されたインフォテインメントシステム等（図示しない。情報表示装置などの車載機器）の使用状態に関する情報が当該インフォテインメントシステムが使用されていないことを示す場合、または、乗員が利用するモバイル端末の使用状態に関する情報が当該モバイル端末が乗員により操作されていないことを示す場合には、乗員の負荷状態は小さいものとして判定し、第２の対話プログラムを用いて乗員との対話を行う。したがって、車載機器またはモバイル端末の利用の有無に応じて、第１の対話プログラムまたは第２の対話プログラムが選択されて、乗員との対話が行われることとなる。
　つまり、本実施形態では、運転者または運転者ではない乗員が何らかの集中を要するタスクを行っていると判定される場合には第１の対話プログラムを用い、集中を要するタスクを行っていないと判定される場合には第２の対話プログラムを用いて対話を行うものである。
　また、例えば、本明細書では、本発明に係るコントローラを、コントローラ１９０を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係るセンサを、センサ群１１０、周囲検出装置１２０、ナビゲーション装置１３０、外部情報取得装置１４０、駆動装置１５０を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係る記憶装置を、ＲＯＭ又はデータベースを例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係る音声装置を、室内マイク１７０、スピーカ１８０を例に説明するが、本発明はこれに限定されるものではない。
　１００…車両
　　１１０…センサ群
　　　１１１…車速センサ
　　　１１２…エンジン回転数センサ
　　　１１３…アクセル開度センサ
　　　１１４…ブレーキ開度センサ
　　　１１５…操舵角センサ
　　　１１６…シフトレバーセンサ
　　１２０…周囲検出装置
　　　１２１…車載カメラ
　　　１２２…レーダー
　　１３０…ナビゲーション装置
　　　１３１…ＧＰＳ
　　１４０…外部情報取得装置
　　１５０…駆動装置
　　１６０…室内カメラ
　　１７０…室内マイク

Claims (15)

  1. 　車両に搭載されたセンサを用いて、前記車両の乗員と対話するコントローラを備えた音声対話装置であって、
    　前記センサは、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
    　前記コントローラは、
    　前記センサの検出結果に基づいて、前記乗員の負荷の状態を判定し、
    　前記負荷の状態に応じた対話プログラムを用いて、前記乗員と対話する音声対話装置。
  2. 　請求項１記載の音声対話装置であって、
    　前記コントローラは、前記負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、前記負荷の大きさが前記基準よりも小さい場合には、前記第１の対話プログラムと異なる第２の対話プログラムを用いる音声対話装置。
  3. 　請求項２記載の音声対話装置であって、
    　前記コントローラは、
    　前記第１の対話プログラムを実行することで、前記乗員から質問に対する第１の返答を取得し、
    　前記第２の対話プログラムを実行することで、前記乗員から質問に対する第２の返答を取得し、
    　前記第１の返答に含まれる単語数は、前記第２の返答に含まれる単語数と比べて少ない音声対話装置。
  4. 　請求項２又は３記載の音声対話装置であって、
    　前記コントローラは、前記第１の対話プログラムを用いて、前記乗員に予め定められた所定の単語で回答させるような質問を行う音声対話装置。
  5. 　請求項２～４の何れか一項に記載の音声対話装置であって、
    　前記コントローラは、前記第１の対話プログラムを用いて、前記乗員に択一的に返答させるような質問を行う音声対話装置。
  6. 　請求項２～５の何れか一項に記載の音声対話装置であって、
    　前記コントローラは、前記検出結果に基づいて、前記車両が前記乗員の運転により走行していることを検出した場合、前記負荷の大きさが前記基準よりも大きいと判定する音声対話装置。
  7. 　請求項２～６の何れか一項に記載の音声対話装置であって、
    　前記コントローラは、前記検出結果に基づいて、前記乗員が駐車するための運転操作を行っていることを検出した場合、または、前記車両が高速道路又は交差点を走行していることを検出した場合、前記負荷の大きさが前記基準よりも大きいと判定する音声対話装置。
  8. 　請求項２～７の何れか一項に記載の音声対話装置であって、
    　前記コントローラは、前記検出結果に基づいて、前記乗員が前記車両の車載機器またはモバイル端末を利用していることを検出した場合、負荷が大きいと判定する音声対話装置。
  9. 　請求項２～８の何れか一項に記載の音声対話装置であって、
    　前記コントローラは、前記検出結果に基づいて、前記車両が停車していることを検出した場合、前記負荷の大きさが前記基準よりも小さいと判定する音声対話装置。
  10. 　請求項２～９の何れか一項に記載の音声対話装置であって、
    　前記コントローラは、前記検出結果に基づいて、前記車両が自動的な運転により走行していることを検出した場合、前記負荷の大きさが前記基準よりも小さいと判定する音声対話装置。
  11. 　請求項２～１０の何れか一項に記載の音声対話装置であって、
    　前記コントローラは、前記検出結果に基づいて、前記車両が渋滞中の道路を走行していることを検出した場合、又は前記車両が直線道路を走行していることを検出した場合、前記負荷の大きさが前記基準よりも小さいと判定する音声対話装置。
  12. 　請求項２～１１の何れか一項に記載の音声対話装置であって、
    　前記第１の対話プログラムは、前記車両の走行に関する話題で前記乗員と対話する機能を実現するプログラムである音声対話装置。
  13. 　請求項１～１２の何れか一項に記載の音声対話装置であって、
    　前記コントローラは、
    　記憶装置に記憶された対話プログラムの中から、前記負荷の大きさに応じた対話プログラムを選択し、
    　前記対話プログラムを実行することで、一又は複数の音声装置を介して、前記乗員と対話し、
    　前記一又は複数の音声装置は、前記乗員の音声を認識し、前記乗員へ音声を出力する音声対話装置。
  14. 　車両と通信することで、前記車両の乗員と対話するサーバと、を備える音声対話システムであって、
    　前記車両は、センサ、及び一又は複数の音声装置を搭載し、
    　前記センサは、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
    　前記一又は複数の音声装置は、前記乗員の音声を認識し、前記乗員へ音声を出力し、
    　前記サーバは、
    　前記センサの検出結果を取得し、
    　前記センサの検出結果に基づいて、前記乗員の負荷の状態を判定し、
    　前記負荷の状態に応じた対話プログラムを用いて、前記乗員と対話する音声対話システム。
  15. 　車両に搭載されたセンサを用いて、前記車両の乗員と対話するコントローラを備えた音声対話装置の制御方法であって、
    　前記センサにより、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
    　前記コントローラにより、前記センサの検出結果に基づいて、前記乗員の負荷の状態を判定し、
    　前記負荷の状態に応じた対話プログラムを用いて、前記乗員と対話する音声対話装置の制御方法。
PCT/JP2018/029470 2018-08-06 2018-08-06 音声対話装置、音声対話システム、及び音声対話装置の制御方法 WO2020031241A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
BR112021002265-1A BR112021002265A2 (pt) 2018-08-06 2018-08-06 dispositivo de diálogo por voz, sistema de diálogo por voz e método de controle do sistema de diálogo por voz
JP2020535355A JP6996632B2 (ja) 2018-08-06 2018-08-06 音声対話装置、音声対話システム、及び音声対話装置の制御方法
EP18929357.4A EP3836138B1 (en) 2018-08-06 2018-08-06 Voice dialogue device, voice dialogue system, and control method for voice dialogue system
PCT/JP2018/029470 WO2020031241A1 (ja) 2018-08-06 2018-08-06 音声対話装置、音声対話システム、及び音声対話装置の制御方法
US17/266,401 US11938958B2 (en) 2018-08-06 2018-08-06 Voice dialogue device, voice dialogue system, and control method for voice dialogue system
MX2021001243A MX2021001243A (es) 2018-08-06 2018-08-06 Dispositivo de dialogo por voz, sistema de dialogo por voz, y metodo de control para sistema de dialogo por voz.
CN201880096314.2A CN112534499B (zh) 2018-08-06 2018-08-06 声音对话装置、声音对话系统以及声音对话装置的控制方法
JP2021203314A JP2022046551A (ja) 2018-08-06 2021-12-15 音声対話装置、音声対話システム、及び音声対話装置の制御方法
JP2023064988A JP7509266B2 (ja) 2018-08-06 2023-04-12 音声対話装置、音声対話システム、及び音声対話装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/029470 WO2020031241A1 (ja) 2018-08-06 2018-08-06 音声対話装置、音声対話システム、及び音声対話装置の制御方法

Publications (1)

Publication Number Publication Date
WO2020031241A1 true WO2020031241A1 (ja) 2020-02-13

Family

ID=69414288

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029470 WO2020031241A1 (ja) 2018-08-06 2018-08-06 音声対話装置、音声対話システム、及び音声対話装置の制御方法

Country Status (7)

Country Link
US (1) US11938958B2 (ja)
EP (1) EP3836138B1 (ja)
JP (1) JP6996632B2 (ja)
CN (1) CN112534499B (ja)
BR (1) BR112021002265A2 (ja)
MX (1) MX2021001243A (ja)
WO (1) WO2020031241A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144321A (ja) * 2020-03-10 2021-09-24 株式会社東海理化電機製作所 エージェントシステム、制御装置、およびコンピュータプログラム
JP2021152566A (ja) * 2020-03-24 2021-09-30 本田技研工業株式会社 待機時間調整方法および装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108191A (ja) * 2001-10-01 2003-04-11 Toyota Central Res & Dev Lab Inc 音声対話装置
JP2006138994A (ja) * 2004-11-11 2006-06-01 Nissan Motor Co Ltd 音声認識装置
JP2009168773A (ja) * 2008-01-21 2009-07-30 Nissan Motor Co Ltd ナビゲーション装置および情報提供方法
JP2012024481A (ja) * 2010-07-27 2012-02-09 Denso Corp 健康管理支援システム
JP2015068866A (ja) * 2013-09-27 2015-04-13 クラリオン株式会社 車両用装置、サーバ、及び、情報処理方法
WO2015128960A1 (ja) * 2014-02-26 2015-09-03 三菱電機株式会社 車載制御装置および車載制御方法
WO2016147367A1 (ja) * 2015-03-19 2016-09-22 三菱電機株式会社 未確認情報出力装置、未確認情報出力方法
JP2017067849A (ja) 2015-09-28 2017-04-06 株式会社デンソー 対話装置及び対話方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3703050B2 (ja) 1996-09-30 2005-10-05 マツダ株式会社 ナビゲーション装置
JP4260788B2 (ja) * 2005-10-20 2009-04-30 本田技研工業株式会社 音声認識機器制御装置
JP2008233678A (ja) * 2007-03-22 2008-10-02 Honda Motor Co Ltd 音声対話装置、音声対話方法、及び音声対話用プログラム
US8400332B2 (en) * 2010-02-09 2013-03-19 Ford Global Technologies, Llc Emotive advisory system including time agent
DE102014002543A1 (de) * 2014-02-22 2015-08-27 Audi Ag Verfahren zur Erfassung wenigstens zweier zu erfassender Informationen mit zu verknüpfendem Informationsgehalt durch eine Sprachdialogeinrichtung, Sprachdialogeinrichtung und Kraftfahrzeug
JP2015184563A (ja) * 2014-03-25 2015-10-22 シャープ株式会社 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム
JP6081966B2 (ja) * 2014-07-18 2017-02-15 キャンバスマップル株式会社 情報検索装置、情報検索プログラム、および情報検索システム
US10137902B2 (en) * 2015-02-12 2018-11-27 Harman International Industries, Incorporated Adaptive interactive voice system
JP6358212B2 (ja) * 2015-09-17 2018-07-18 トヨタ自動車株式会社 車両用覚醒制御システム
EP3384475B1 (en) 2015-12-06 2021-12-22 Cerence Operating Company System and method of conversational adjustment based on user's cognitive state
US10032453B2 (en) * 2016-05-06 2018-07-24 GM Global Technology Operations LLC System for providing occupant-specific acoustic functions in a vehicle of transportation
KR102643501B1 (ko) * 2016-12-26 2024-03-06 현대자동차주식회사 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
US10170111B2 (en) * 2017-01-19 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior
US20190332915A1 (en) * 2018-04-26 2019-10-31 Wipro Limited Method and system for interactively engaging a user of a vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108191A (ja) * 2001-10-01 2003-04-11 Toyota Central Res & Dev Lab Inc 音声対話装置
JP2006138994A (ja) * 2004-11-11 2006-06-01 Nissan Motor Co Ltd 音声認識装置
JP2009168773A (ja) * 2008-01-21 2009-07-30 Nissan Motor Co Ltd ナビゲーション装置および情報提供方法
JP2012024481A (ja) * 2010-07-27 2012-02-09 Denso Corp 健康管理支援システム
JP2015068866A (ja) * 2013-09-27 2015-04-13 クラリオン株式会社 車両用装置、サーバ、及び、情報処理方法
WO2015128960A1 (ja) * 2014-02-26 2015-09-03 三菱電機株式会社 車載制御装置および車載制御方法
WO2016147367A1 (ja) * 2015-03-19 2016-09-22 三菱電機株式会社 未確認情報出力装置、未確認情報出力方法
JP2017067849A (ja) 2015-09-28 2017-04-06 株式会社デンソー 対話装置及び対話方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3836138A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021144321A (ja) * 2020-03-10 2021-09-24 株式会社東海理化電機製作所 エージェントシステム、制御装置、およびコンピュータプログラム
JP2021152566A (ja) * 2020-03-24 2021-09-30 本田技研工業株式会社 待機時間調整方法および装置
JP7388962B2 (ja) 2020-03-24 2023-11-29 本田技研工業株式会社 待機時間調整方法および装置

Also Published As

Publication number Publication date
EP3836138A4 (en) 2021-07-28
MX2021001243A (es) 2021-03-31
JPWO2020031241A1 (ja) 2021-08-02
CN112534499B (zh) 2024-02-23
US11938958B2 (en) 2024-03-26
CN112534499A (zh) 2021-03-19
US20210309241A1 (en) 2021-10-07
BR112021002265A2 (pt) 2021-05-04
EP3836138A1 (en) 2021-06-16
EP3836138B1 (en) 2023-04-26
JP6996632B2 (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
CN107945555B (zh) 用于半自动驾驶的路线资格的动态更新
JP6623468B2 (ja) 車両制御装置、車両制御方法、および車両制御プログラム
CN111830961B (zh) 路径设定装置、路径设定方法以及存储介质
US11054818B2 (en) Vehicle control arbitration
CN111348032A (zh) 用于自主车辆的自动停止和/或驻车的系统和方法
JP6800340B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6906175B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム
US20180321678A1 (en) Notification System For Automotive Vehicle
WO2020031241A1 (ja) 音声対話装置、音声対話システム、及び音声対話装置の制御方法
WO2016121112A1 (ja) 評価情報収集システム
JP2019156355A (ja) 車両制御装置
JP7509266B2 (ja) 音声対話装置、音声対話システム、及び音声対話装置の制御方法
JP2021142839A (ja) 車両及びその制御装置
RU2772382C1 (ru) Голосовое диалоговое устройство, голосовая диалоговая система и способ управления для голосовой диалоговой системы
CN113386758B (zh) 车辆及其控制装置
JP2019045940A (ja) 自動運転システム
WO2020202373A1 (ja) 制御装置、制御方法及びプログラム
WO2023090057A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11507346B1 (en) Intelligent text and voice feedback for voice assistant
CN114572219B (zh) 自动超车方法、装置、车辆、存储介质及芯片
US10953875B2 (en) System and method for railway en-route prediction
US20240241936A1 (en) Systems and methods for permitting access to a human machine interface in a vehicle
US20240227749A1 (en) Power supply device, control method, and storage medium
CN117095564A (zh) 车辆控制方法、设备及车辆
JP2024045840A (ja) 運転支援装置、運転支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18929357

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535355

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112021002265

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 2021102612

Country of ref document: RU

ENP Entry into the national phase

Ref document number: 2018929357

Country of ref document: EP

Effective date: 20210309

ENP Entry into the national phase

Ref document number: 112021002265

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20210205