WO2017057170A1 - 対話装置及び対話方法 - Google Patents

対話装置及び対話方法 Download PDF

Info

Publication number
WO2017057170A1
WO2017057170A1 PCT/JP2016/077972 JP2016077972W WO2017057170A1 WO 2017057170 A1 WO2017057170 A1 WO 2017057170A1 JP 2016077972 W JP2016077972 W JP 2016077972W WO 2017057170 A1 WO2017057170 A1 WO 2017057170A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
conversation
unit
dialogue
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/077972
Other languages
English (en)
French (fr)
Inventor
真 眞鍋
名田　徹
拓哉 岩佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to US15/744,258 priority Critical patent/US20180204572A1/en
Priority to DE112016004391.0T priority patent/DE112016004391B4/de
Publication of WO2017057170A1 publication Critical patent/WO2017057170A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • the present disclosure relates to a dialogue apparatus and a dialogue method that are mounted on a vehicle and communicate with a driver of the vehicle.
  • the topic providing device disclosed in Patent Document 1 can actively talk to the driver, instead of passively answering questions from the driver.
  • This topic providing device can output topical audio related to sleep and obstacles from a speaker, for example, when a driver's sleep state is detected or when an obstacle is detected around the vehicle.
  • the topic providing device of Patent Document 1 starts talking to the driver without considering the driving load situation of the driver. For example, when the driver is about to fall asleep, voice output from the speaker can be started regardless of whether the driving load is high. In addition, when an obstacle is detected, the output of sound from the speaker can be started even though the driving load is high for dealing with the obstacle. In such a case, the voice output by the topic providing device may interfere with the driving operation of the driver.
  • an object of the present disclosure is to provide an interactive apparatus and an interactive method capable of talking to the driver from the apparatus side without interfering with the driving operation of the driver. is there.
  • An interactive apparatus is an interactive apparatus that is mounted on a vehicle together with an audio output device that outputs sound in a vehicle interior and can interact with a driver of the vehicle, and generates a conversation sentence for the driver.
  • the conversation execution unit that utters the conversation sentence with the voice output device, the load determination unit that determines whether the driving load of the driver is high on the road on which the vehicle is traveling, and the load determination unit When it is determined to be high, the dialogue execution unit prohibits the start of utterance, and when the load determination unit determines that the driving load is low, the dialogue execution unit allows the start of utterance.
  • An utterance control unit When it is determined to be high, the dialogue execution unit prohibits the start of utterance, and when the load determination unit determines that the driving load is low, the dialogue execution unit allows the start of utterance.
  • the dialogue apparatus when the driver's driving load is low, the utterance of the conversation sentence by the voice output device is allowed, but when the driver's driving load is high, the utterance of the conversation sentence is prohibited. Is done.
  • the dialogue apparatus can speak from the apparatus side to the driver without disturbing the driving operation of the driver by considering the driving load situation of the driver.
  • An interactive method is an interactive method for interacting with a driver of a vehicle using an audio output device that outputs audio in a vehicle interior, and is performed as a step performed by at least one processor.
  • a conversation execution step for generating a conversation sentence for the driver and uttering the conversation sentence with an audio output device; and a load determination step for determining whether or not the driver's driving load is high on the road on which the vehicle is traveling;
  • the prohibition state for prohibiting the start of utterance by the dialog execution step is prohibited, and when it is determined that the driving load is low in the load determining step, the utterance by the dialog executing step And an utterance control step for allowing the start of the utterance.
  • the structure which implements the dialogue method can talk to the driver without disturbing the driving operation of the driver.
  • an interactive method for interacting with a vehicle driver using an audio output device that outputs sound into a vehicle interior, and can be connected to the audio output device via a communication network.
  • a dialog execution step for generating a conversation sentence for the driver and causing the conversation sentence to be uttered by the voice output device, and the vehicle is running
  • the driving load is high in the determination as to whether or not the driver's driving load is high for the road, it is determined to be in a prohibited state in which the start of utterance by the dialog execution step is prohibited and the driving load is determined to be low.
  • an utterance control step for allowing the start of the utterance by the dialogue execution step. Even in this dialogue method, the driving load situation of the driver can be considered. Therefore, the structure which implements the dialogue method can talk to the driver without disturbing the driving operation of the driver.
  • a program for causing at least one processor to execute the interactive method is provided.
  • the program may be provided via a telecommunication line, or may be provided by being stored in a non-transitory storage medium.
  • FIG. 1 is a block diagram illustrating an overall configuration of an interactive apparatus according to an embodiment.
  • FIG. 2 is a diagram schematically showing the Yerkes-Dodson Law for explaining the correlation between the driver's arousal level and the driving performance.
  • FIG. 3 is a diagram illustrating functional blocks constructed in the state information processing circuit.
  • FIG. 4 is a diagram illustrating functional blocks constructed in the control circuit.
  • FIG. 5 is a flowchart showing the conversation start process executed by the control circuit together with FIG.
  • FIG. 6 is a flowchart showing the conversation start process executed by the control circuit together with FIG.
  • FIG. 7 is a flowchart showing a modification of the conversation start process performed by the control circuit.
  • FIG. 8 is a block diagram showing the overall configuration of a dialog system according to a modification.
  • the interaction device 100 can actively interact with a driver mainly among the passengers of the vehicle.
  • the dialog device 100 performs a conversation with the driver so that a normal awakening state that can exhibit high driving performance is maintained in the driver.
  • the dialogue apparatus 100 can play a role of loosely reverting the awakening level of the driver who has fallen into a normal state by a conversation with the driver.
  • the interactive device 100 is electrically connected to the vehicle-mounted state detector 10, the voice recognition operation switch 21, the voice input device 23, and the voice playback device 30.
  • the interactive device 100 is connected to the Internet, and can acquire information from outside the vehicle through the Internet.
  • the on-vehicle state detector 10 is various sensors and electronic devices mounted on the vehicle.
  • the in-vehicle state detector 10 includes at least a steering angle sensor 11, an accelerator position sensor 12, a GNSS receiver 14, an in-vehicle image capturing unit 16, an in-vehicle image capturing unit 17, and an in-vehicle ECU group 19.
  • the steering angle sensor 11 detects the steering angle of the steering wheel steered by the driver, and outputs the detection result to the dialogue device 100.
  • the accelerator position sensor 12 detects the amount of depression of the accelerator pedal operated by the driver, and outputs a detection result to the dialogue device 100.
  • a GNSS (Global Navigation Satellite System) receiver 14 receives position signals transmitted from a plurality of positioning satellites, thereby acquiring position information indicating the current position of the vehicle.
  • the GNSS receiver 14 outputs the acquired position information to the interactive device 100, a navigation ECU (described later), and the like.
  • the in-vehicle imaging unit 16 has, for example, a near infrared camera combined with a near infrared light source.
  • the near-infrared camera is attached to the interior of the vehicle, and mainly captures the driver's face with light emitted from the near-infrared light source.
  • the in-vehicle image capturing unit 16 extracts, from the captured image, the line-of-sight direction of the driver's eyes and the degree of eye (eyelid) opening by image analysis.
  • the in-vehicle imaging unit 16 outputs the extracted information such as the driver's line-of-sight direction and the degree of eye opening to the dialogue apparatus 100.
  • the in-vehicle imaging unit 16 may include a plurality of near infrared cameras and visible light cameras.
  • the in-vehicle image capturing unit 16 can capture not only the vicinity of the driver's face, but also, for example, a passenger seated in the passenger seat and the rear seat. Therefore, the in-vehicle imaging unit 16 can output the state information of the passengers other than the driver to the dialogue apparatus 100 as the passenger state information. Furthermore, the in-vehicle image capturing unit 16 can capture a range other than the driver's face, for example, and detect hand and body movements.
  • the outside imaging unit 17 is a visible light camera that is attached to the inside and outside of the vehicle, for example, in a posture facing the periphery of the vehicle.
  • the vehicle exterior imaging unit 17 captures the vehicle periphery including at least the front of the vehicle.
  • the vehicle exterior imaging unit 17 extracts the road shape in the traveling direction, the degree of congestion of the road around the vehicle, and the like from the captured image by image analysis.
  • the vehicle exterior imaging unit 17 outputs information indicating the road shape, the degree of congestion, and the like to the interactive device 100.
  • the vehicle exterior imaging unit 17 may include a plurality of visible light cameras, near infrared cameras, distance image cameras, and the like.
  • the in-vehicle ECU (Electronic Control Unit) group 19 is mainly composed of a microcomputer or the like, and includes a brake control ECU, an integrated control ECU, a navigation ECU, and the like.
  • vehicle speed information is output from the brake control ECU so as to be acquirable by the dialogue apparatus 100.
  • the integrated control ECU outputs passenger state information indicating whether a passenger is seated in the passenger seat and the rear seat.
  • the navigation ECU outputs route information to the destination set by the passenger.
  • the voice recognition operation switch 21 is provided around the driver's seat.
  • the voice recognition operation switch 21 receives an operation for switching on and off the operation of the conversation function of the interaction apparatus 100 by a vehicle occupant.
  • the voice recognition operation switch 21 outputs operation information by the passenger to the interactive device 100. Note that an operation for changing a setting value related to the conversation function of the conversation apparatus 100 may be input to the voice recognition operation switch 21.
  • the voice input device 23 has a microphone 24 provided in the passenger compartment.
  • the microphone 24 converts the voice of the conversation uttered by the vehicle occupant into an electrical signal and outputs it as voice information to the dialogue apparatus 100.
  • the microphone 24 may be configured for a telephone call provided in a communication device such as a smartphone and a tablet terminal.
  • the voice data collected by the microphone 24 may be wirelessly transmitted to the dialogue apparatus 100.
  • the audio playback device 30 is a device having a function of an output interface for outputting information to the passenger.
  • the audio reproduction device 30 includes a display, an audio control unit 31, and a speaker 32.
  • the voice control unit 31 drives the speaker 32 based on the acquired voice data.
  • the speaker 32 is provided in the vehicle interior and outputs sound into the vehicle interior.
  • the speaker 32 reproduces the conversation sentence so that it can be heard by the passengers of the vehicle including the driver.
  • the audio playback device 30 may be a simple acoustic device, or a communication robot or the like installed on the upper surface of the instrument panel. Further, a communication device such as a smartphone and a tablet terminal connected to the interactive device 100 may fulfill the function of the audio playback device 30.
  • the dialogue apparatus 100 includes an input information acquisition unit 41, a voice information acquisition unit 43, a communication processing unit 45, an information output unit 47, a preference database 49, a state information processing circuit 50, a control circuit 60, and the like.
  • the input information acquisition unit 41 is connected to the voice recognition operation switch 21.
  • the input information acquisition unit 41 acquires the operation information output from the voice recognition operation switch 21 and provides it to the control circuit 60.
  • the voice information acquisition unit 43 is an interface for voice input connected to the microphone 24.
  • the audio information acquisition unit 43 acquires the audio information output from the microphone 24 and provides it to the control circuit 60.
  • the communication processing unit 45 has an antenna for mobile communication.
  • the communication processing unit 45 transmits / receives information to / from a base station outside the vehicle via an antenna.
  • the communication processing unit 45 can be connected to the Internet through a base station.
  • the communication processing unit 45 can acquire traffic jam information around the host vehicle, for example, via the Internet.
  • the communication processing unit 45 can acquire local information such as popular spots and weather around the point where the vehicle is currently traveling through the Internet.
  • the communication processing unit 45 can acquire information on words that are frequently searched and information related to each word from at least one search site on the Internet.
  • the communication processing unit 45 can acquire news information from at least one news distribution site NDS on the Internet.
  • Each of the plurality of pieces of news information acquired by the communication processing unit 45 includes, for example, a news title and a text describing detailed contents of the news.
  • the above regional information, information related to the top words in the search number ranking, and news information are stored in the preference database 49 as candidates for the content of the conversation executed by the interactive device 100.
  • the information output unit 47 is an interface for audio output connected to the audio reproduction device 30.
  • the information output unit 47 outputs the audio data generated by the control circuit 60 toward the audio reproduction device 30.
  • the audio data output from the information output unit 47 is acquired by the audio control unit 31 and reproduced by the speaker 32.
  • the preference database 49 is provided in a storage medium such as a flash memory connected to the control circuit 60.
  • the preference database 49 preferentially stores information of interest to the driver.
  • the preference category preferred by the driver is set by the control circuit 60 based on, for example, a response to the driver's conversation and an input of a direct selection operation by the driver.
  • news information of a category particularly preferred by the driver is stored in the preference database 49.
  • News information stored in the preference database 49, regional information, information related to words with the highest number of search rankings, and the like are referred to by the control circuit 60 that generates a conversation sentence.
  • the state information processing circuit 50 estimates the state of the passenger including the driver by acquiring the information output from the in-vehicle state detector 10.
  • the state information processing circuit 50 is mainly configured by a microcomputer having a processor 50a, a RAM, and a flash memory.
  • the state information processing circuit 50 is provided with a plurality of input interfaces for receiving signals from the in-vehicle state detector 10.
  • the state information processing circuit 50 constructs the load determination block 51, the load prefetch block 53, the casual determination block 52, and the passenger state estimation block 54 shown in FIG. 3 as functional blocks by executing a predetermined program by the processor 50a. .
  • FIGS. 3 and 1 details of each functional block constructed in the state information processing circuit 50 will be described with reference to FIGS. 3 and 1.
  • the load determination block 51 determines whether or not the driver's driving load is high on the road on which the vehicle is currently traveling.
  • the load determination block 51 acquires detection results output from the steering angle sensor 11 and the accelerator position sensor 12.
  • the load determination block 51 determines that the current driving load is high when it is estimated that the driver is busy operating at least one of the steering and the accelerator pedal based on the acquired transition of the detection result.
  • the load determination block 51 acquires information on the shape of the road on which the vehicle is traveling, information indicating the degree of congestion around the host vehicle, and the like.
  • the road shape information can be acquired from the vehicle exterior imaging unit 17 and the navigation ECU.
  • Information indicating the degree of congestion can be acquired from the imaging unit 17 outside the vehicle and the communication processing unit 45.
  • the load determination block 51 determines that the current driving load is high when the road in the traveling direction has a curved shape and when it is estimated that the vehicle is traveling in a traffic jam.
  • the load determination block 51 determines that the current driving load is low when the vehicle is traveling on a substantially straight road and there are few other vehicles and pedestrians traveling around.
  • the load determination block 51 can also determine that the driving load is low even when the amount of operation of the steering and the accelerator pedal varies slightly.
  • the load prefetch block 53 prefetches a future increase in driving load as the vehicle continues to travel.
  • the load prefetch block 53 detects an increase event of the driving load that will occur, for example, several tens of seconds to one minute ahead. Specifically, the load prefetch block 53 detects in advance when the road in the traveling direction is curved, when there is a traffic jam in the traveling direction, or when the left or right turn is guided by the navigation ECU.
  • the random determination block 52 determines whether or not the driver is in a random state.
  • the random determination block 52 acquires detection results output from the steering angle sensor 11 and the accelerator position sensor 12.
  • the random determination block 52 determines that the driver is in a random state when a slow operation of the steering or accelerator pedal or a large correction operation that is input occasionally is detected based on the transition of the acquired detection result.
  • the casual determination block 52 acquires information such as the line-of-sight direction of the driver's eyes and the degree of opening of the eyes from the in-vehicle imaging unit 16.
  • the casual determination block 52 is used when the parallax of both eyes is unstable or the state is not appropriate for the perception of an object in the traveling direction, or when the low eye opening state continues. Is determined to be in a random state.
  • the random determination block 52 lowers the determination criterion CD (see FIG. 2) for determining that it is in a random state when a future increase in driving load is pre-read by the load pre-read block 53.
  • CD determination criterion
  • the passenger state estimation block 54 estimates the state of a passenger other than the driver.
  • the passenger state estimation block 54 determines whether or not a passenger other than the driver is in the vehicle based on the passenger state information acquired from the integrated control ECU.
  • the passenger state estimation block 54 may not only simply determine the presence or absence of a passenger, but may also determine whether or not the passenger is sleeping. Specifically, if the in-vehicle image capturing unit 16 can extract the state information of the passengers other than the driver, the passenger state estimating block 54 determines that the driver is based on the passenger state information acquired from the in-vehicle image capturing unit 16. It can be determined whether or not the passengers other than are sleeping.
  • the control circuit 60 shown in FIG. 1 is a circuit that controls the conversations exchanged with the passenger in an integrated manner.
  • the control circuit 60 is mainly configured by a microcomputer having a processor 60a, a RAM, and a flash memory.
  • the control circuit 60 is provided with an input / output interface connected to other components of the interactive apparatus 100.
  • the control circuit 60 performs a speech recognition unit 61 as shown in FIG. 4 and a recognition processing unit 70 including a keyword extraction block 73, a dialogue execution block 71, and an utterance control block 72 by executing a predetermined program by the processor 60a.
  • Build as a functional block As a functional block.
  • FIGS. 4 and 1 details of each functional block constructed in the control circuit 60 will be described with reference to FIGS. 4 and 1.
  • the voice recognition unit 61 is connected to the voice information acquisition unit 43 and acquires voice data from the voice information acquisition unit 43.
  • the voice recognition unit 61 reads the acquired voice data and converts it into text data.
  • the voice recognition unit 61 converts, for example, words spoken by the passenger including the driver in the passenger compartment into text data such as a driver's monologue or a conversation between the driver and the passenger, and provides the recognition processing unit 70 with the text data.
  • the recognition processing unit 70 acquires the passenger's words converted into text data from the voice recognition unit 61 and outputs a conversation sentence spoken to the passenger to the information output unit 47.
  • the recognition processing unit 70 generates a conversation sentence mainly spoken to the driver by the keyword extraction block 73, the dialogue execution block 71, and the speech control block 72.
  • the keyword extraction block 73 uses the text data acquired from the voice recognition unit 61 to analyze the words of the passengers uttered in the passenger compartment and extract preset keywords.
  • the keyword is set, for example, in the upper word of the search number rank acquired by the communication processing unit 45.
  • the keyword extraction block 73 can also set only the words related to the category preferred by the driver among the high ranking words in the search number ranking as keywords.
  • the dialogue execution block 71 generates voice data of a conversation sentence for passengers including the driver.
  • the conversation execution block 71 causes the speaker 32 to utter the conversation sentence by outputting the voice data of the conversation sentence from the information output unit 47 to the voice control unit 31.
  • the dialogue execution block 71 can create various conversation sentences according to the situation of the vehicle and the driver and the reaction of the driver.
  • the dialogue execution block 71 can incorporate the area information related to the point where the vehicle is currently traveling in the conversation sentence directed to the driver when the driver falls into an ambiguous state.
  • the dialogue execution block 71 can incorporate the contents of the news information in the conversation sentence when the news information included in the category preferred by the driver is acquired by the communication processing unit 45.
  • the dialogue execution block 71 can incorporate information related to the extracted keyword into the conversation sentence.
  • the dialogue execution block 71 synthesizes voice data of the conversation sentence based on the created text data of the conversation sentence.
  • the dialogue execution block 71 may perform speech synthesis using a syllable connection method, or may perform speech synthesis using a corpus-based method.
  • the dialogue execution block 71 generates prosodic data for utterance from the text data of the conversation sentence.
  • the dialogue execution block 71 connects the speech waveform data according to the prosodic data from the speech waveform database stored in advance.
  • the dialogue execution block 71 can convert the text data of the conversation sentence into voice data.
  • the utterance control block 72 controls the execution of the conversation by the dialogue execution block 71. For example, when an instruction to turn off the conversation function of the dialogue apparatus 100 is input by an operation on the voice recognition operation switch 21, the utterance control block 72 stops the keyword extraction block 73 and the dialogue execution block 71. To. In addition, the utterance control block 72 can preset a preference category in which the driver is interested and store news information corresponding to the preference category in the preference database 49.
  • the utterance control block 72 switches the operation status of the dialogue execution block 71 between the prohibited state and the allowed state in accordance with the load determination by the load determination block 51. Specifically, the dialogue execution block 71 sets the operation status of the dialogue execution block 71 to a prohibited state in which the start of utterance is prohibited when the load determination block 51 determines that the driving load is high. On the other hand, when it is determined by the load determination block 51 that the driving load is low, the utterance control block 72 sets the operation status of the dialogue execution block 71 to a permissible state in which the start of the utterance is permitted.
  • the utterance control block 72 sets the operation status of the dialogue execution block 71 to the allowable state when the preset prohibition condition is satisfied. Keep it in a prohibited state.
  • the prohibition conditions can be set as appropriate.
  • the speech control block 72 can establish the prohibition condition when it is determined by the passenger state estimation block 54 that there is a passenger other than the driver in the passenger compartment.
  • the utterance control block 72 can establish a prohibition condition when the driver is talking to a call partner outside the vehicle using a hands-free call function installed in the vehicle.
  • the utterance control block 72 can improve the driver's arousal level by starting the conversation triggered by the occurrence of various utterance start events when the operation status of the dialogue execution block 71 is in an allowable state.
  • the utterance start event is, for example, establishment of a casual decision, acquisition of new news information, extraction of a specific keyword, or the like.
  • the details of the conversation start process executed by the utterance control block 72 will be described below with reference to FIG.
  • the conversation start process shown in FIGS. 5 and 6 is started based on the vehicle being turned on, and is repeatedly started until the vehicle is turned off.
  • the operation status of the dialogue execution block 71 is set to a prohibited state, and the process proceeds to S102.
  • the determination result of the load determination block 51 is acquired, and it is determined whether or not the current driving load on the driver is low. If it is determined in S102 that the current driving load is high, the conversation start process is temporarily terminated. On the other hand, if it is determined in S102 that the driving load is low, the process proceeds to S103.
  • S103 it is determined whether the prohibition condition is satisfied. If it is determined in S103 that some prohibition condition is established, the conversation start process is temporarily ended. On the other hand, if it is determined in S103 that none of the prohibition conditions is satisfied, the process proceeds to S104.
  • S104 the operation status of the dialogue execution block 71 is switched from the prohibited state to the allowed state, and the process proceeds to S105.
  • S105 it is referred to whether or not the driver's casual determination is established in the simple determination block 52. If the driver is not in a casual state, the process proceeds to S111. On the other hand, if the driver is in a state of disorder, the process proceeds to S106. In S106, the process which starts the conversation for recovering a driver
  • the conversation stop condition is, for example, a condition in which an utterance instructing the end of the conversation from the user, a driving load on the user has increased, and the driver has recovered to a normal awakening state. If it is determined in S107 that the conversation stop condition is satisfied, the conversation started in S106 is forcibly stopped, and the conversation start process is temporarily ended.
  • S107 when it is determined in S107 that the conversation stop condition is not satisfied, the process proceeds to S108.
  • S108 it is determined whether or not the beginning of the conversation started in S106, for example, the introduction of a headline, has ended. If it is determined in S108 that the beginning of the conversation is still continuing, the end of the beginning is awaited by repeating the determinations in S107 and S108. If it is determined in S108 that the beginning of the conversation has ended, the process proceeds to S109.
  • S109 in order to estimate the quality of the driver's response to the beginning part of the conversation, it is determined whether or not the driver's casual state has been improved. In S109, when it is presumed that the topic of the current conversation has been satisfactorily responded and the state of disorder has been improved, S107 to S109 are repeated. Thereby, the conversation in which the driver is interested is continued.
  • S111 it is confirmed whether or not there is new news information of a category that the driver likes. If there is no new news information, the process proceeds to S113. On the other hand, if there is new news information, the process proceeds to S112. In S112, a process for starting a conversation for notifying the driver of new news information is performed, and the process proceeds to S115.
  • S113 it is determined whether or not a specific keyword has been extracted from words uttered by the driver or the like. If no keyword is extracted in S113, the conversation start process is temporarily ended. On the other hand, when a keyword is extracted in S113, the process proceeds to S114. In S114, a process for starting a conversation based on the keyword is performed, and the process proceeds to S115.
  • S115 it is determined whether or not a conversation stop condition is satisfied. If it is determined in S115 that the conversation stop condition is satisfied, the conversation started in S112 or S114 is forcibly stopped, and the conversation start process is temporarily ended. On the other hand, if it is determined in S115 that the conversation stop condition is not satisfied, the process proceeds to S116. In S116, it is determined whether or not the conversation started in S112 or S114 is completed. If it is determined in S116 that the conversation is still ongoing, the determination in S115 and S116 is repeated to wait for the completion of the conversation. And when it determines with the conversation having been completed in S116, a conversation start process is once complete
  • Dialogue device “I feel bored but do n’t talk?” Driver: “Well, please?” Dialogue device: “The shop XXX, located 1km north of here, seems to be very popular recently.” Driver: “Hey. Dialogue device: “It seems to be characterized by ⁇ ” Driver: “Let's go” Dialogue device: “Business hours are from ⁇ to ⁇ .
  • the dialogue apparatus 100 may be a conversation including local information, such as a conversation that guides the weather such as “It seems to be a little heavy rain after about ** minutes from now,” or “A tall building on the left side is It is also possible to conduct conversations that guide landmarks such as "No.”
  • a headline sentence indicating the content of news information to be notified is incorporated at the beginning of a series of conversation sentences started based on the processing of S112.
  • This headline may be a title attached to the acquired news information, or may be a sentence summarizing the contents of the news information by combining characteristic words extracted from the body of the news information.
  • the dialogue execution block 71 generates the following conversation sentence in order to notify the newly arrived news information and maintain the driver's arousal state.
  • Driver “Hey.
  • Dialogue device “The function of ⁇ has been strengthened, and it seems that ⁇ can be done almost automatically.” Driver: “I really want it.” Dialogue device: “In Japan, it will be released from XX month XX days” A keyword extracted from the passenger's conversation is incorporated at the beginning of a series of conversation sentences started based on the process of S114. Specifically, the dialogue execution block 71 generates a conversation sentence as follows in order to develop a chat based on the keyword and maintain the driver's arousal state. Dialogue device: “Yes, if you say“ xxx ”(keyword), did you know that xxx was once called ⁇ ?” Driver: “Yeah.
  • Dialogue device “I was originally called ⁇ because of XXX” Driver: “Hey ⁇ ” Dialogue device: “But it ’s easy to make a mistake with ⁇ , so everyone started to call me ⁇ .” Driver: “That was right” Dialogue device: “And then, this time, there ’s something like XX that resembles XX” Driver: “Is it really?” As described above, the dialogue apparatus 100 can develop a dialogue with the driver.
  • the dialog device 100 can speak from the device side to the driver without disturbing the driving operation of the driver by considering the driving load situation of the driver.
  • the conversation started by the dialogue apparatus 100 not only does not disturb the driving operation of the driver, but also brings the driver out of the ambiguous state. The effect of pulling back to normal wakefulness can be demonstrated.
  • the dialogue apparatus 100 can attract the driver to the content of the conversation and can continue the exchange with the driver for a long time. According to the above, the effect of pulling the driver back from the casual state to the normal awake state by conversation is surely exhibited.
  • the interaction device 100 can reliably exhibit the effect of pulling out the driver's self-help efforts and pulling back the driver's arousal level to the normal arousal state.
  • the determination criterion CD for determining that the state is indiscriminate is lowered.
  • the conversation device 100 is more proactively throwing conversations at the driver who has become awkward because the degree of arousal has fallen, and in preparation for a future increase in driving load, The awakening level of the person can be increased in advance. As a result, the driver can deal with an event with an increased driving load with a margin.
  • the dialogue apparatus 100 when news information of a category in which the driver is interested is acquired in an allowable state with a low driving load, a conversation that conveys the acquired news information is executed.
  • the dialogue apparatus 100 can appropriately exhibit the effect of maintaining the driver's arousal level, which may fall into a casual state due to the continuation of a low driving load state, in a normal arousal state. .
  • a headline is incorporated at the beginning of a conversation that conveys news information. If the news information used in the conversation is actually content that does not attract the driver's interest and the improvement of the state is not seen, the dialogue apparatus 100 performs a conversation with the driver related to the news information. It can be quickly terminated and the topic can be changed to different news information. In this way, if the driver's lingering response to the introduction of the headline is detected and the topic can be changed, the situation where the conversation from the interactive device 100 is felt troublesome by the driver can be reduced.
  • the dialogue apparatus 100 can incorporate information related to keywords issued by the driver or the like into the conversation, and can throw a conversation having a content that the driver is likely to be interested in. According to the above, the dialogue apparatus 100 can surely exert the effect of attracting the driver to the content of the conversation he talks to and increasing the driver's arousal level.
  • the dialog device 100 can start a conversation while avoiding a situation that is not suitable for starting a conversation with a driver. For example, when there is a passenger other than the driver in the passenger compartment, it can be assumed that the passenger is sleeping. Therefore, the dialogue apparatus 100 prevents the start of the conversation by establishing the prohibition condition when the passenger is detected. According to the above, the situation which disturbs a passenger's sleep by the start of an active conversation is avoided.
  • the dialogue apparatus 100 prevents the start of the conversation by establishing a prohibition condition when the driver is talking. According to the above, a situation in which a call is hindered by an active conversation start is avoided.
  • the speaker 32 corresponds to an “audio output device”
  • the communication processing unit 45 corresponds to an “information acquisition unit”.
  • the load determination block 51 corresponds to a “load determination unit”
  • the random determination block 52 corresponds to a “random determination unit”
  • the load prefetch block 53 corresponds to a “load prefetch unit”.
  • the dialogue execution block 71 corresponds to a “dialog execution unit”
  • the utterance control block 72 corresponds to a “speech control unit”
  • the keyword extraction block 73 corresponds to a “keyword extraction unit”.
  • S101 and S104 in the conversation start process correspond to the speech control step
  • S102 corresponds to the load determination step
  • S106, S112, and S114 correspond to the “dialog execution step”.
  • detection of a casual state, reception of new news, and extraction of keywords are set as triggers for starting utterances by the interactive device.
  • the event used as the trigger for starting the utterance can be set as appropriate.
  • a dialogue device can be used for chatting with a driver who is aware of a state of illness as an input to a dialogue start switch provided in the vicinity of the driver's seat and a driver's ⁇ Let's chat ''. You can start.
  • a series of conversational sentences based on regional information is exemplified as a conversation for recovering a sloppy state.
  • various types of information can be used for a conversation for sloppy state recovery. It can be adopted.
  • the interactive device can be used to recover information that is not yet used in conversation among the new news information related to the preference category, information that is highly related to the preference category among the top words in the search ranking, etc. Can be used for conversation.
  • the interactive apparatus was able to actively carry out a conversation that increases the driver's arousal level before the occurrence of the event by prefetching the occurrence of the driving load increase event.
  • the conversation based on such prefetching may not be performed.
  • it is desirable that the conversation based on the pre-reading of the event occurrence is terminated at least immediately before the event occurrence. According to the above, a situation in which a conversation for increasing the arousal level in advance hinders driving is avoided.
  • new news related to the driver's preference category is selected and notified to the driver.
  • the interactive device excludes news information corresponding to the dislike category that the driver dislikes from new news information that is ranked higher in the ranking of the number of accesses, and drives the remaining new news information in order from the top It is also possible to notify the person.
  • the headline sentence, the keyword, and the like are incorporated in a sentence that is first uttered after the notification sound is reproduced.
  • the beginning of the conversation sentence is, in principle, one sentence uttered first after the notification sound is reproduced.
  • a meaningless play word such as “Nee Hee” or “Ano” is inserted after the notification sound is played, it is uttered next to these play words.
  • a sentence may correspond to the beginning of a conversation sentence.
  • the speech from the speaker is stopped.
  • the interactive device can be used when the passenger is not sleeping even if the passenger is present.
  • the utterance from the speaker can be started.
  • the dialogue apparatus can further increase the conversation in the vehicle by extracting a keyword from words spoken by the passenger and participating in the conversation between the driver and the passenger with information related to the keyword.
  • the operation status of the dialogue execution block is maintained in the prohibition state even when the operation load is low. It is desirable that items set as such prohibition conditions can be changed by an operation by a driver or the like. In addition, the prohibition condition may not be provided as long as the conversation function can be easily stopped by input to the voice recognition operation switch.
  • the driver is in a loose state when there is no small correction rudder input to the steering and a rough correction rudder is occasionally input or when the driver's eyes are not stable. It was judged.
  • the information used for the determination of the casual state can be changed as appropriate.
  • the interactive device may estimate that the driver is in a relaxed state when traveling on the highway continues for one hour or longer based on the vehicle speed information and the information of the navigation ECU.
  • the rough state is estimated based on the action of rubbing the eyes and face with the hand and the action of frequently changing the sitting position and posture. May be.
  • the driving load is high when the steering or the accelerator pedal is busy, or when the running road is curved or congested.
  • the information used for determination of driving load can be changed as appropriate.
  • the level of driving load on the driver may be determined based on biological information such as the heart rate of the driver.
  • the dialogue apparatus 100 performs a non-task-oriented conversation for the purpose of dialogue itself.
  • the dialogue apparatus 100 can perform not only conversations such as the chat described above, but also task-oriented conversations such as responding to questions thrown by the passenger and reserving a shop designated by the passenger. . Furthermore, it is possible to temporarily hold a task-oriented conversation during a non-task-oriented conversation.
  • the random determination block 52 determines whether or not the driver is in a random state.
  • the determination criterion CD see FIG. 2 for determining that the state is indiscriminate can be raised and lowered.
  • the casual determination block 52 may determine the driver's casual level to three or more levels using a plurality of determination criteria CD. For example, using two criteria, a low criterion CD and a high criterion CD, the driver's sloppy level is a non-sloppy level, a low sloppy level (disgusting), and a high sympathetic level (more blurry). It may be determined which of the three stages).
  • the dialogue execution block 71 may change the amount of the conversation sentence to be uttered by the voice reproduction device 30 according to the driver's casual level. For example, the higher the driver's humorous level, the smaller the amount of conversational sentences that the voice playback device 30 utters.
  • a method for reducing the utterance sentence a method of analyzing the modification relationship in the sentence of the generated conversation sentence and reducing the information that has been modified can be considered.
  • by assigning importance to keywords in a sentence by information such as whether or not the keyword is topical it is possible to reduce sentences step by step in accordance with a change in the level.
  • a method of acquiring a keyword for example, there is a method of using a specific expression obtained by morphological analysis and specific expression extraction.
  • a tfidf value (term frequency-inverse document frequency) may be calculated for a word in a sentence, and a word having a high score may be extracted as a keyword.
  • the conversation execution block 71 generates the following conversation sentence as a conversation sentence to be uttered by the audio reproduction device 30.
  • Inexpensive level “On the day of the month of ⁇ Professional Baseball Team X>, ⁇ Professional Baseball Player Y>” was the first professional baseball team Z game, and it was a fierce hit with 5 hits and 4 hits. " High level: “It seems that ⁇ Professional Baseball Player Y> was a fierce hit.”
  • the comic level is equal to or higher than a predetermined level (eg, high level)
  • the keywords in the utterance may be narrowed down to one (in the above example, ⁇ professional baseball player Y>).
  • the dialog device 100 can cause the voice reproduction device 30 to utter an appropriate amount of conversation text according to the driver's casual level.
  • the dialogue execution block 71 may change the conversation start frequency, which is the frequency at which the dialogue execution unit 71 starts the conversation, according to the driver's casual level.
  • the conversation start frequency may be increased as the driver's casual level is higher (the conversation is started more frequently).
  • the conversation start frequency may be increased when a state where the level of comics continues to be high or when the effect of improving the level of comics has diminished after conversation.
  • the conversation start frequency may be increased when a state in which the comic level is equal to or higher than a predetermined level (e.g., low level) continues for a threshold time or more.
  • a predetermined level e.g., low level
  • the conversation start frequency may be increased if the conversation level is not improved by executing (starting) the conversation more than the threshold number of times.
  • changing the conversation start condition can be considered.
  • acquisition of new news information, extraction of a specific keyword, etc. were illustrated as an utterance start event (conversation start condition).
  • an acquisition condition for new news information for example, a period for defining “newness” may be changed.
  • the extraction condition of a specific keyword for example, the threshold value of the tfidf value of the keyword to be extracted may be changed.
  • the dialog device 100 can start a conversation at an appropriate conversation start frequency according to the driver's casual level.
  • the conversation execution block 71 may change the utterance speed of the conversation sentence of the voice reproduction device 30 according to the driver's casual level. For example, the utterance speed of the conversation sentence of the voice reproduction device 30 may be increased as the driver's casual level is higher.
  • a method of changing the utterance speed of a conversation sentence it is conceivable to use speech synthesizer software having a function of reading out text using synthesized speech, and changing the utterance speed of the conversation sentence in the conversation sentence speech data.
  • the conversation execution block 71 may be configured to refer to a table that specifies the speech rate of each random level. The utterance speed of each random level may be changeable by the user.
  • the conversational sentence can be reproduced from the voice reproducing device 30 at an appropriate utterance speed corresponding to the driver's casual level. For example, it is possible to prevent the voice reproducing device 30 from slowly speaking a conversation sentence to a driver who is in an indeterminate state and proceeding in an indeterminate manner (the level of indiscretion increases).
  • the conversation execution block 71 is configured so that the driver can easily notice the start of the conversation by the conversation device 100 (conversation execution block 71) according to the driver's casual level.
  • the ringing mode may be changed.
  • the conversation volume output from the voice playback device 30 may be increased as the driver's casual level is higher.
  • the volume control may be performed such that the volume of the playback sound of the voice playback device 30 other than the conversation text of the dialog device 100 such as music playback or radio output is reduced as the driver's casual level is higher.
  • a predetermined level e.g., low level
  • a predetermined level e.g., low comic level
  • sound image localization technology may be used to reproduce the conversation sentence from the dialog device 100 from the ear.
  • the voice data for the conversation sentence is processed so that the sound image of the conversation sentence reproduced from the voice reproducing device 30 is localized around the headrest of the driver seat.
  • the example of changing the amount of the conversational sentence to be uttered by the voice reproduction device 30 according to the casual level has been described.
  • the amount of the conversational sentence to be uttered by the voice reproduction device 30 according to the driving load level of the driver. May be changed.
  • the higher the driving load level of the driver the smaller the amount of conversational sentences that the voice playback device 30 utters.
  • the utterance sentence reduction method the reduction method used in the configuration in which the utterance amount of the conversation sentence is changed according to the above-described random level can be adopted.
  • the dialogue apparatus 100 can cause the voice reproduction device 30 to utter an appropriate amount of conversation text according to the driving load level of the driver. For example, for a driver with a high load level (busy in driving), a simple conversation can be performed instead of a difficult story.
  • the load determination block 51 can determine the driving load level of the driver according to the driving scene including the road on which the vehicle is currently traveling. For example, when the vehicle is traveling on an expressway (Highway), the driving load level of the driver is determined to be a low level. When the vehicle is traveling at the intersection, the driving load level of the driver is determined to be a medium level. When the vehicle is traveling on a road (street) that runs in the city value, the driving load level of the driver is determined to be a high level. In the case of rain or snow, the driving load level of the driver may be determined to be higher than in the case of clear weather.
  • the driving load level of the driver may be determined to be higher than in the case of clear weather.
  • the driving load level of the driver can be determined based on the frequency of driving operations (accelerator operation, brake operation, steering, etc.). For example, the driving load level may be determined in several stages by obtaining the frequency of the driving operation from the number of driving operations or the driving operation continuation time in a predetermined period up to the present time, and comparing this frequency with a plurality of threshold values. . In addition, the driving load level of the driver can be determined based on the driver's behavior (surrounding safety confirmation and operation of a device such as a blinker).
  • the driving load level may be determined by obtaining an action frequency from the number of executions or duration of the action of the driver in a predetermined period up to the present time, and comparing this frequency with a plurality of threshold values.
  • the driver's action is, for example, surrounding safety confirmation, device operation such as turn signal operation, and the like.
  • a method for detecting the surrounding safety confirmation the movement of the driver's line of sight is detected from the captured image of the camera of the in-vehicle imaging unit 16, and the driver's surrounding safety confirmation is detected based on the movement of the line of sight. Techniques are known.
  • the system utterance method settings (speech volume, conversation frequency, conversation tempo (speech speed), ringing mode at the start of conversation) in accordance with the driver's state (manage level, load level) described above are as shown in FIG. Alternatively, it may be executed in step S201 executed between S104 and S105.
  • step S102 it may be determined whether the load level is lower than a predetermined level (eg, high load level).
  • S104 it may be determined whether or not the comic level is higher than a predetermined level (eg, non-exact level).
  • the functions such as load determination, random determination, dialog execution, and speech control provided by the processors 50a and 60a of the state information processing circuit 50 and the control circuit 60 are realized by, for example, a dedicated integrated circuit. May be. Alternatively, one processor may perform all of load determination, random determination, dialogue execution, speech control, etc., or load determination, random determination, dialogue execution, speech control, etc. are performed by different processors. May be implemented. Furthermore, each function may be provided by hardware and software different from those described above, or a combination thereof. Further, the storage medium for storing the program executed by each processor 50a, 60a is not limited to the flash memory. Various non-transitional tangible storage media can be employed as a configuration for storing the program.
  • the technical idea of the present disclosure can be applied not only to an interactive device mounted on a vehicle, but also to a communication program installed on a communication device such as a smartphone and a tablet terminal, a server outside the vehicle, and the like.
  • the dialogue method performed by the communication device and server for executing the dialogue program is substantially the same as the dialogue method performed by the dialogue apparatus.
  • the dialogue program is stored as an application executable by the processor in a storage medium of a communication terminal brought into the vehicle.
  • the communication terminal can talk with the driver according to the dialogue program, and can maintain the driver's arousal state through the dialogue.
  • FIG. 8 is a block diagram showing the overall configuration of the interactive system according to this modification. Since the basic configuration of the modification is the same as that of the above-described embodiment, the description of the common configuration will be omitted by referring to the preceding description, and differences will be mainly described. In addition, the same code
  • the interactive device 100 constructs the speech recognition unit 61 and the recognition processing control unit 70 as functional blocks when the processor 60a of the interactive device 100 executes a predetermined program.
  • the control server 200 constructs the voice recognition unit 61b and the recognition processing control unit 70b as functional blocks.
  • the voice recognition unit 61b and the recognition processing control unit 70b provided in the remote control server 200 have a configuration (cloud) that replaces the voice recognition unit 61 and the recognition processing control unit 70 of the interactive apparatus 100 of the above embodiment. .
  • the communication processing unit 45b of the control server 200 acquires information necessary for the processing of the voice recognition unit 61b and the recognition processing control unit 70b via a communication network such as the Internet, and generates the data of the generated conversational sentence. Is transmitted to the communication processing unit 45a of the interactive apparatus 100 and is reproduced from the audio reproducing apparatus 30. Specifically, the communication processing unit 45b of the control server 200 acquires content information from the news distribution site NDS or the like and stores it in the preference database 49b in the control server 200.
  • the state information processing circuit 50, the input information acquisition unit 41, and the voice information acquisition unit 43 of the dialog device 100 in the dialog unit 100 interact with various information such as the vehicle and driver status information. Obtained from the device 100.
  • Data of the conversation sentence for the driver generated based on the acquired information is transmitted from the communication processing unit 45b of the control server 200 to the communication processing unit 45a of the interactive apparatus 100 via the communication network.
  • 8 illustrates a configuration in which the control server 200 includes the voice recognition unit 61b and the recognition processing control unit 70b.
  • the control server performs some functions of the voice recognition unit and the recognition processing control unit.
  • the interactive device may include others.
  • the dialogue apparatus may include a voice recognition unit
  • the control server may include a recognition process control unit.
  • the processor 60b of the control server 200 may construct part or all of the functions of the functional blocks 51, 52, 53, and 54 (see FIG. 3) constructed by the state information processing circuit 50 in the above embodiment. .
  • the control server 200 obtains information (such as information input to the state information processing circuit 50 from the in-vehicle state detector 10 in the above embodiment) from the interactive device 100 for processing of these functional blocks. That's fine.
  • the technical idea of the present disclosure can also be applied to an interactive device mounted on a vehicle (autonomous vehicle) that performs automatic driving.
  • a vehicle autonomous vehicle
  • an automatic driving at an automation level is assumed that “the driving system automated in a specific driving mode performs driving operation of the vehicle under the condition that the driver appropriately responds to the driving operation switching request from the system”. Yes.
  • a driver in such an automatic driving vehicle, a driver (operator) needs to maintain a standby state for backup of driving operation. Therefore, it is presumed that a driver in a standby state is likely to fall into a random state. Therefore, such an interactive device is also suitable as a configuration that maintains the awakening level of the driver in a standby state as a backup of the automatic driving system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

車室内に音声を出力する音声出力器（３０）と共に車両に搭載され、当該車両の運転者と対話可能な対話装置を提供する。対話装置は、前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる制御回路（６０）と、前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する状態情報処理回路（５０）と、備える。前記制御回路は、発話の開始を禁止する禁止状態とし、前記状態情報処理回路によって運転負荷が低いと判定された場合に、発話の開始を許容する許容状態とする。

Description

対話装置及び対話方法 関連出願の相互参照
　本出願は、２０１５年９月２８日に出願された日本特許出願番号２０１５－１８９９７４号に基づくもので、その開示をここに参照により援用する。
　本開示は、車両に搭載され、車両の運転者と対話する対話装置及び対話方法に関する。
　従来、例えば特許文献１に開示の話題提供装置は、運転者からの質問に受動的に回答するのではなく、運転者へ向けて能動的に話しかけることが可能である。この話題提供装置は、例えば運転者の居眠り状態を検出した場合、及び車両周囲に障害物を検出した場合等に、居眠り及び障害物に関する話題の音声をスピーカから出力することができる。
ＪＰ－Ｈ０８－３２９４００Ａ
　さて、特許文献１の話題提供装置は、運転者の運転負荷状況を鑑みることなく、運転者への話しかけを開始してしまう。例えば、運転者が居眠り状態に陥りそうになった場合には、運転負荷が高いか否かに係わらず、スピーカからの音声の出力が開始され得る。また、障害物が検出された場合には、障害物への対応のために運転負荷が高くなっているにも係わらず、スピーカからの音声の出力は開始され得る。以上のような場合、話題提供装置によって出力される音声には、運転者の運転操作を妨げてしまう虞があった。
　本開示の目的の一つは、このような事情に鑑みて、運転者の運転操作を妨げることなく、装置側から運転者へ向けて話しかけることが可能な対話装置及び対話方法を提供することにある。
　本開示の一側面の対話装置は、車室内に音声を出力する音声出力器と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行部と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定部と、負荷判定部によって運転負荷が高いと判定された場合に、対話実行部による発話の開始を禁止する禁止状態とし、負荷判定部によって運転負荷が低いと判定された場合に、対話実行部による発話の開始を許容する許容状態とする発話制御部と、を備える。
　この対話装置によれば、運転者の運転負荷が低い場合には音声出力器による会話文の発話が許容される一方で、運転者の運転負荷が高い場合には、会話文の発話は、禁止される。以上のように、対話装置は、運転者の運転負荷状況を鑑みることにより、運転者の運転操作を妨げることなく、装置側から運転者へ向けて話しかけることができる。
　また、本開示の一側面の対話方法は、車室内に音声を出力する音声出力器を用いて車両の運転者と対話する対話方法であって、少なくとも一つのプロセッサによって実施されるステップとして、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行ステップと、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定ステップと、負荷判定ステップにおいて運転負荷が高いと判定された場合に、対話実行ステップによる発話の開始を禁止する禁止状態とし、負荷判定ステップにおいて運転負荷が低いと判定された場合に、対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップと、を含む。
　以上の対話方法でも、運転者の運転負荷状況が鑑みられる。故に、対話方法を実施する構成は、運転者の運転操作を妨げることなく、運転者へ向けて話しかけることが可能となる。
　また、本開示の他の側面の対話方法は、車室内に音声を出力する音声出力器を用いて車両の運転者と対話する対話方法であって、前記音声出力器と通信ネットワーク経由により接続可能な車両外の遠隔サーバーのプロセッサによって実施されるステップとして、前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行ステップと、前記車両が走行している道路について前記運転者の運転負荷が高いか否かの判定において運転負荷が高いと判定された場合に、前記対話実行ステップによる発話の開始を禁止する禁止状態とし、運転負荷が低いと判定された場合に、前記対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップと、を含む。　　　この対話方法でも、運転者の運転負荷状況が鑑みられる。故に、対話方法を実施する構成は、運転者の運転操作を妨げることなく、運転者へ向けて話しかけることが可能となる。
　また、本開示の他の側面によれば、上記対話方法を少なくとも一つのプロセッサに実行させるためのプログラムが提供される。プログラムは、電気通信回線に介して提供されるものであってもよいし、非一時的記憶媒体（non-transitory storage medium）に格納されて提供されるものであってもよい。
　本開示の上記および他の目的、特徴や利点は、添付図面を参照した下記の詳細な説明から、より明確になる。図面において、
図１は、一実施形態による対話装置の全体構成を示すブロック図である。 図２は、運転者における覚醒度と運転のパフォーマンスとの相関を説明するYerkes-Dodson Lawを模式的に示す図である。 図３は、状態情報処理回路に構築される機能ブロックを説明する図である。 図４は、制御回路に構築される機能ブロックを説明する図である。 図５は、制御回路にて実施される会話開始処理を図６と共に示すフローチャートである。 図６は、制御回路にて実施される会話開始処理を図５と共に示すフローチャートである。 図７は、制御回路にて実施される会話開始処理の変形例を示すフローチャートである。 図８は、変形例による対話システムの全体構成を示すブロック図である。
　図１に示す一実施形態による対話装置１００は、車両に搭載されており、車両の搭乗者と会話を行うことができる。図２に示すように、対話装置１００は、車両の搭乗者のうちで主に運転者と能動的に対話可能である。対話装置１００は、運転者において高い運転パフォーマンスを示し得る通常の覚醒状態が維持されるよう、運転者との会話を行う。加えて対話装置１００は、運転者との会話によって、漫然状態に陥った運転者の覚醒度を通常の覚醒状態に引き戻す漫然解消の役割を果たすことができる。
　対話装置１００は、図１に示すように、車載状態検出器１０、音声認識操作スイッチ２１、音声入力器２３、及び音声再生装置３０と電気的に接続されている。加えて対話装置１００は、インターネットに接続されており、インターネットを通じて車両の外部から情報を取得することができる。
　車載状態検出器１０は、車両に搭載された種々のセンサ及び電子機器である。車載状態検出器１０には、操舵角センサ１１、アクセルポジションセンサ１２、ＧＮＳＳ受信器１４、車内撮像部１６、車外撮像部１７、及び車載ＥＣＵ群１９が少なくとも含まれている。
　操舵角センサ１１は、運転者によって操縦されたステアリングホイールの操舵角を検出し、対話装置１００へ向けて検出結果を出力する。アクセルポジションセンサ１２は、運転者によって操作されたアクセルペダルの踏み込み量を検出し、対話装置１００へ向けて検出結果を出力する。
　ＧＮＳＳ（Global Navigation Satellite System）受信器１４は、複数の測位衛星から送信される測位信号を受信することにより、車両の現在位置を示す位置情報を取得する。ＧＮＳＳ受信器１４は、取得した位置情報を、対話装置１００及びナビゲーションＥＣＵ（後述する）等へ向けて出力する。
　車内撮像部１６は、例えば近赤外光源と組み合わされた近赤外カメラを有している。近赤外カメラは、車両の室内に取り付けられており、近赤外光源から照射された光によって主に運転者の顔を撮影する。車内撮像部１６は、画像解析によって、運転者の両目の視線方向、及び目（まぶた）の開き具合等を、撮影した画像から抽出する。車内撮像部１６は、抽出した運転者の視線方向及び目の開き具合等の情報を、対話装置１００へ向けて出力する。
　尚、車内撮像部１６は、複数の近赤外カメラ及び可視光カメラ等を有していてもよい。このように複数のカメラによって車内撮像部１６が構成されている場合、車内撮像部１６は、運転者の顔周辺だけでなく、例えば助手席及び後部座席に着座する搭乗者も撮影可能となる。故に、車内撮像部１６は、運転者以外の搭乗者の状態情報も、同乗者状態情報として対話装置１００へ出力可能となる。さらに車内撮像部１６は、例えば運転者の顔以外の範囲を撮影し、手及び体の動きを検出することが可能である。
　車外撮像部１７は、例えば車両の周囲を向けた姿勢にて、車内及び車外に取り付けられた可視光カメラである。車外撮像部１７は、車両前方を少なくとも含む車両周囲を撮影する。車外撮像部１７は、画像解析によって、進行方向の道路形状及び車両周囲の道路の混雑具合等を、撮影した画像から抽出する。車外撮像部１７は、道路形状及び混雑具合等を示す情報を、対話装置１００へ向けて出力する。尚、車外撮像部１７は、複数の可視光カメラ、近赤外線カメラ、距離画像カメラ等を有していてもよい。
　車載ＥＣＵ（Electronic Control Unit）群１９は、それぞれマイコン等を主体に構成されており、ブレーキ制御ＥＣＵ、統合制御ＥＣＵ、及びナビゲーションＥＣＵ等を含んでいる。例えば、ブレーキ制御ＥＣＵからは、車速情報が対話装置１００によって取得可能に出力される。統合制御ＥＣＵからは、助手席及び後部座席に搭乗者が着座しているか否かを示す同乗者状態情報が出力される。ナビゲーションＥＣＵからは、搭乗者によって設定された目的地までの経路情報が出力される。
　音声認識操作スイッチ２１は、運転席の周囲に設けられている。音声認識操作スイッチ２１には、対話装置１００の会話機能について、作動のオン及びオフを切り替えるための操作が車両の搭乗者によって入力される。音声認識操作スイッチ２１は、搭乗者による操作情報を、対話装置１００へ出力する。尚、対話装置１００の会話機能に係る設定値を変更する操作が音声認識操作スイッチ２１に入力可能とされていてもよい。
　音声入力器２３は、車室内に設けられたマイク２４を有している。マイク２４は、車両の搭乗者によって発せられた会話の音声を電気信号に変換し、音声情報として対話装置１００へ向けて出力する。マイク２４は、例えばスマートフォン及びタブレット端末等の通信機器に設けられた通話のための構成であってもよい。またマイク２４にて集音された音声データは、対話装置１００へ無線送信されてもよい。
　音声再生装置３０は、搭乗者へ向けて情報を出力する出力インターフェースの機能を有する装置である。音声再生装置３０は、表示器、音声制御部３１、及びスピーカ３２を有している。音声制御部３１は、会話文の音声データを取得すると、取得した音声データに基づいてスピーカ３２を駆動する。スピーカ３２は、車室内に設けられており、車室内に音声を出力する。スピーカ３２は、運転者を含む車両の搭乗者に聞き取られるよう、会話文を再生する。
　尚、音声再生装置３０は、単純な音響機器であってもよく、又はインスツルメントパネルの上面に設置されたコミュニケーションロボット等であってもよい。さらに、対話装置１００に接続されたスマートフォン及びタブレット端末等の通信機器が、音声再生装置３０の機能を果たしてもよい。
　次に、対話装置１００の構成を説明する。対話装置１００は、入力情報取得部４１、音声情報取得部４３、通信処理部４５、情報出力部４７、嗜好データベース４９、状態情報処理回路５０、及び制御回路６０等によって構成されている。
　入力情報取得部４１は、音声認識操作スイッチ２１と接続されている。入力情報取得部４１は、音声認識操作スイッチ２１から出力された操作情報を取得し、制御回路６０へ提供する。音声情報取得部４３は、マイク２４と接続された音声入力のためのインターフェースである。音声情報取得部４３は、マイク２４から出力された音声情報を取得し、制御回路６０へ提供する。
　通信処理部４５は、モバイル通信用のアンテナを有している。通信処理部４５は、アンテナを介して、車両外部の基地局との間で情報の送受信を行う。通信処理部４５は、基地局を通じてインターネットに接続可能である。通信処理部４５は、例えばインターネットを通じて、自車両周囲の渋滞情報を取得可能である。通信処理部４５は、現在車両が走行している地点周辺の人気スポット及び天候等の地域情報を、インターネットを通じて取得可能である。通信処理部４５は、インターネット上にある少なくとも一つ以上の検索サイトから、検索された回数の多いワードの情報と、各ワードに関連する情報とを取得可能である。通信処理部４５は、インターネット上にある少なくとも一つ以上のニュース配信サイトＮＤＳから、ニュースの情報を取得可能である。通信処理部４５によって取得される複数のニュース情報のそれぞれには、例えばニュースのタイトルと、ニュースの詳細な内容を説明した本文とが含まれている。以上の地域情報、検索数ランキング上位のワードに係る情報、及びニュース情報は、対話装置１００によって実行される会話の内容の候補として、嗜好データベース４９に格納される。
　情報出力部４７は、音声再生装置３０と接続された音声出力のためのインターフェースである。情報出力部４７は、制御回路６０によって生成された音声データを音声再生装置３０へ向けて出力する。情報出力部４７から出力された音声データは、音声制御部３１によって取得され、スピーカ３２によって再生される。
　嗜好データベース４９は、制御回路６０に接続されたフラッシュメモリ等の記憶媒体に設けられている。嗜好データベース４９は、運転者の興味のある情報を優先的に格納する。運転者の嗜好する嗜好カテゴリは、例えば運転者の会話に対する反応、及び運転者による直接的な選択操作の入力等に基づき、制御回路６０によって設定される。通信処理部４５によって取得される多数のニュース情報のうちで、特に運転者の嗜好するカテゴリのニュース情報が、嗜好データベース４９に格納される。嗜好データベース４９に格納されたニュース情報、地域情報、及び検索数ランキング上位のワードに係る情報等は、会話文を生成する制御回路６０によって参照される。
　状態情報処理回路５０は、車載状態検出器１０から出力された情報を取得することにより、運転者を含む搭乗者の状態を推定する。状態情報処理回路５０は、プロセッサ５０ａ、ＲＡＭ、及びフラッシュメモリを有するマイクロコンピュータを主体に構成されている。状態情報処理回路５０には、車載状態検出器１０からの信号を受け取る複数の入力インターフェースが設けられている。状態情報処理回路５０は、プロセッサ５０ａによる所定のプログラムの実行により、図３に示す負荷判定ブロック５１、負荷先読ブロック５３、漫然判定ブロック５２、及び同乗者状態推定ブロック５４を機能ブロックとして構築する。以下、状態情報処理回路５０に構築される各機能ブロックの詳細を、図３及び図１に基づき説明する。
　負荷判定ブロック５１は、車両が現在走行している道路について、運転者の運転負荷が高いか否かを判定する。負荷判定ブロック５１は、操舵角センサ１１及びアクセルポジションセンサ１２から出力される検出結果を取得する。負荷判定ブロック５１は、取得した検出結果の推移に基づき、ステアリング及びアクセルペダルの少なくとも一方を運転者が忙しく操作していると推定した場合に、現在の運転負荷が高いと判定する。
　加えて負荷判定ブロック５１は、車両が走行中の道路の形状情報、及び自車両周囲の混雑具合を示す情報等を取得する。道路の形状情報は、車外撮像部１７及びナビゲーションＥＣＵから取得可能である。混雑具合を示す情報は、車外撮像部１７及び通信処理部４５から取得可能である。負荷判定ブロック５１は、進行方向の道路がカーブ形状である場合、及び車両が渋滞の中を走行していると推定される場合に、現在の運転負荷が高いと判定する。
　一方、負荷判定ブロック５１は、車両が概ね直線状の道路を走行中であり、且つ、周囲を走行する他の車両及び歩行者も僅かである場合に、現在の運転負荷が低いと判定する。また負荷判定ブロック５１は、ステアリング及びアクセルペダルの操作量の変動が僅かである場合にも、運転負荷が低いと判定することができる。
　負荷先読ブロック５３は、車両の走行継続に伴う将来的な運転負荷の上昇を先読みする。負荷先読ブロック５３は、例えば数十秒から１分程度先に発生するであろう運転負荷の上昇イベントを検知する。具体的に、負荷先読ブロック５３は、進行方向の道路がカーブしている場合、進行方向に渋滞が発生している場合、ナビゲーションＥＣＵによって右左折が案内される場合等を予め検知する。
　漫然判定ブロック５２は、運転者が漫然状態にあるか否かを判定する。漫然判定ブロック５２は、操舵角センサ１１及びアクセルポジションセンサ１２から出力される検出結果を取得する。漫然判定ブロック５２は、取得した検出結果の推移に基づき、ステアリング又はアクセルペダルの緩慢な操作、及び時折入力される大きな修正操作等を検出した場合に、運転者が漫然状態にあると判定する。
　加えて漫然判定ブロック５２は、車内撮像部１６から運転者の両目の視線方向及び目の開き具合といった情報を取得する。漫然判定ブロック５２は、両目の視差が不安定であったり進行方向の物体の知覚に適切な状態でなかったりした場合、及び目の開度の低い状態が継続している場合等に、運転者が漫然状態にあると判定する。
　さらに漫然判定ブロック５２は、負荷先読ブロック５３によって将来的な運転負荷の上昇が先読みされた場合に、漫然状態であると判定するための判定基準ＣＤ（図２参照）を引き下げる。その結果、運転負荷が上昇するイベントの発生前に、漫然判定ブロック５２において漫然状態と判定され易い期間が設けられる。
　同乗者状態推定ブロック５４は、運転者以外の搭乗者の状態を推定する。同乗者状態推定ブロック５４は、統合制御ＥＣＵから取得する同乗者状態情報に基づき、運転者を除く搭乗者が車内に居るか否かを判定する。尚、同乗者状態推定ブロック５４は、同乗者の有無を単純に判定するだけでなく、搭乗者が睡眠中であるか否かといった判定を行ってもよい。具体的には、車内撮像部１６が運転者以外の搭乗者の状態情報を抽出可能であれば、同乗者状態推定ブロック５４は、車内撮像部１６から取得する同乗者状態情報に基づき、運転者を除く搭乗者が睡眠中であるか否かといった判定を実施できる。
　図１に示す制御回路６０は、搭乗者との間で交わされる会話を統合的に制御する回路である。制御回路６０は、プロセッサ６０ａ、ＲＡＭ、及びフラッシュメモリを有するマイクロコンピュータを主体に構成されている。制御回路６０には、対話装置１００の他の構成と接続された入出力インターフェースが設けられている。制御回路６０は、プロセッサ６０ａによる所定のプログラムの実行により、図４に示すような音声認識部６１と、キーワード抽出ブロック７３、対話実行ブロック７１、及び発話制御ブロック７２を含む認識処理部７０とを、機能ブロックとして構築する。以下、制御回路６０に構築される各機能ブロックの詳細を、図４及び図１に基づき説明する。
　音声認識部６１は、音声情報取得部４３と接続されており、音声情報取得部４３から音声データを取得する。音声認識部６１は、取得した音声データを読み込み、テキストデータに変換する。音声認識部６１は、例えば運転者の独り言や運転者と同乗者との会話等、車室内にて運転者を含む搭乗者が発した言葉をテキストデータ化し、認識処理部７０へ提供する。
　認識処理部７０は、テキストデータ化された搭乗者の言葉を音声認識部６１から取得すると共に、搭乗者へ向けて発話される会話文を情報出力部４７へ出力する。認識処理部７０は、キーワード抽出ブロック７３、対話実行ブロック７１、及び発話制御ブロック７２により、主に運転者へ向けて発話される会話文を生成する。
　キーワード抽出ブロック７３は、音声認識部６１から取得したテキストデータを用いて、車室内にて発せられた搭乗者の言葉を解析し、予め設定されたキーワードを抽出する。キーワードは、例えば通信処理部４５によって取得される検索数ランキグ上位のワードに設定される。キーワード抽出ブロック７３は、検索数ランキング上位のワードのうちで、運転者の嗜好するカテゴリに関連するワードのみを、キーワードに設定することも可能である。
　対話実行ブロック７１は、運転者を含む搭乗者へ向けた会話文の音声データを生成する。対話実行ブロック７１は、会話文の音声データを情報出力部４７から音声制御部３１へ出力させることにより、この会話文をスピーカ３２によって発話させる。対話実行ブロック７１は、車両及び運転者の状況、並びに運転者の反応に応じて、種々の会話文を作成可能である。
　具体的に、対話実行ブロック７１は、運転者が漫然状態に陥った場合に、車両が現在走行している地点に関連した地域情報を、運転者へ向けた会話文に盛り込むことができる。加えて対話実行ブロック７１は、運転者の嗜好するカテゴリに含まれるニュース情報が通信処理部４５によって取得された場合に、このニュース情報の内容を会話文に盛り込むことができる。また対話実行ブロック７１は、キーワード抽出ブロック７３によってキーワードが抽出された場合に、抽出されたキーワードに関連する情報を会話文に盛り込むことができる。
　対話実行ブロック７１は、作成した会話文のテキストデータに基づき、会話文の音声データを合成する。対話実行ブロック７１は、音節接続方式の音声合成を行ってもよく、又はコーパスベース方式の音声合成を行ってもよい。具体的に対話実行ブロック７１は、会話文のテキストデータから、発話される際の韻律データを生成する。そして対話実行ブロック７１は、予め記憶されている音声波形のデータベースから、韻律データにあわせて音声波形データをつなぎ合わせていく。以上のプロセスにより、対話実行ブロック７１は、会話文のテキストデータを音声データ化することができる。
　発話制御ブロック７２は、対話実行ブロック７１による会話の実行を制御する。例えば、音声認識操作スイッチ２１への操作によって、対話装置１００の会話機能をオフ状態にする指示が入力されていた場合に、発話制御ブロック７２は、キーワード抽出ブロック７３及び対話実行ブロック７１を停止状態にする。加えて発話制御ブロック７２は、運転者の興味のある嗜好カテゴリを予め設定し、嗜好カテゴリに該当するニュース情報を嗜好データベース４９に記憶させておくことができる。
　また発話制御ブロック７２は、負荷判定ブロック５１による負荷判定に応じて、対話実行ブロック７１の作動ステータスを禁止状態及び許容状態とのうちで切り替える。具体的に対話実行ブロック７１は、負荷判定ブロック５１によって運転負荷が高いと判定された場合に、対話実行ブロック７１の作動ステータスを、発話の開始を禁止する禁止状態とする。一方、負荷判定ブロック５１によって運転負荷が低いと判定された場合には、発話制御ブロック７２は、対話実行ブロック７１の作動ステータスを発話の開始を許容する許容状態とする。
　さらに発話制御ブロック７２は、負荷判定ブロック５１によって運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、対話実行ブロック７１の作動ステータスを許容状態とはせずに、禁止状態に維持する。禁止条件は、適宜設定可能である。例えば発話制御ブロック７２は、同乗者状態推定ブロック５４によって車室内に運転者以外の搭乗者が居ると判定されている場合に、禁止条件を成立させることができる。また発話制御ブロック７２は、車両に搭載されたハンズフリーの通話機能を用いて、運転者が車両の外部に居る通話相手と通話している場合に、禁止条件を成立させることができる。
　発話制御ブロック７２は、対話実行ブロック７１の作動ステータスが許容状態に有る場合に、各種の発話開始イベントの発生をトリガに会話を開始させることで、運転者の覚醒度を良好にできる。発話開始イベントは、例えば漫然判定の成立、新しいニュース情報の取得、特定のキーワードの抽出等である。以下、発話制御ブロック７２によって実行される会話開始処理の詳細を、図５及び図６に基づき、図１を参照しつつ説明する。図５及び図６に示される会話開始処理は、車両の電源がオン状態とされたことに基づいて開始され、車両の電源がオフ状態とされるまで、繰り返し開始される。
　Ｓ１０１では、初期設定として、対話実行ブロック７１の作動ステータスを禁止状態に設定し、Ｓ１０２に進む。Ｓ１０２では、負荷判定ブロック５１の判定結果を取得し、現在の運転者における運転負荷が低いか否かを判定する。Ｓ１０２にて、現在の運転負荷が高いと判定した場合、会話開始処理を一旦終了する。一方、Ｓ１０２にて、運転負荷が低いと判定した場合には、Ｓ１０３に進む。
　Ｓ１０３では、禁止条件が成立しているか否かを判定する。Ｓ１０３にて、何らかの禁止条件が成立していると判定した場合には、会話開始処理を一旦終了する。一方、Ｓ１０３にて、いずれの禁止条件も成立していないと判定した場合には、Ｓ１０４に進む。
　Ｓ１０４では、対話実行ブロック７１の作動ステータスを、禁止状態から許容状態へと切り替えて、Ｓ１０５に進む。Ｓ１０５では、漫然判定ブロック５２にて運転者の漫然判定が成立しているか否かを参照する。運転者が漫然状態で無い場合、Ｓ１１１に進む。一方、運転者が漫然状態であった場合、Ｓ１０６に進む。Ｓ１０６では、運転者を漫然状態から回復させるための会話を開始する処理を開始し、Ｓ１０７に進む。
　Ｓ１０７では、会話の停止条件が成立しているか否かを判定する。会話の停止条件は、例えばユーザから会話終了を指示する発話があった、ユーザの運転負荷が高くなった、及び運転者が通常の覚醒状態まで回復した等の条件である。Ｓ１０７にて、会話停止条件が成立していると判定した場合、Ｓ１０６にて開始した会話を強制的に停止し、会話開始処理を一旦終了する。
　一方、Ｓ１０７にて、会話の停止条件が成立していないと判定した場合、Ｓ１０８に進む。Ｓ１０８では、Ｓ１０６にて開始した会話について、例えば見出し文の紹介といった冒頭部分が終了している否かを判定する。Ｓ１０８にて、会話の冒頭部分がまだ継続していると判定した場合には、Ｓ１０７及びＳ１０８の判定を繰り返すことで、冒頭部分の終了を待機する。そして、Ｓ１０８にて会話の冒頭部分が終了したと判定した場合にＳ１０９に進む。
　Ｓ１０９では、会話の冒頭部分に対する運転者の反応の良否を推定するため、運転者の漫然状態が改善されたか否かを判定する。Ｓ１０９にて、現在の会話の話題に対し良好に反応し、漫然状態が改善されていると推定される場合には、Ｓ１０７～Ｓ１０９を繰り返す。これにより、運転者の興味のある会話が継続される。
　一方、Ｓ１０９にて、漫然状態が改善されず、運転者の反応が芳しくないと推定される場合には、Ｓ１１０に進む。Ｓ１１０では、話題を変更して運転者との会話を継続し、Ｓ１０７に戻る。以上のＳ１０９及びＳ１１０によれば、運転者の関心の薄いニュース情報に係る会話は、早急に終了される。
　Ｓ１１１では、運転者の嗜好するカテゴリの新着ニュース情報が有るか否かを確認する。新着ニュース情報が無い場合、Ｓ１１３に進む。一方、新着ニュース情報が有る場合、Ｓ１１２に進む。Ｓ１１２では、新着ニュース情報を運転者にお知らせするための会話を開始する処理を実施し、Ｓ１１５に進む。
　Ｓ１１３では、運転者等の発した言葉から特定のキーワードが抽出されたか否かを判定する。Ｓ１１３にてキーワードの抽出が無い場合、会話開始処理を一旦終了する。一方、Ｓ１１３にてキーワードが抽出された場合、Ｓ１１４に進む。Ｓ１１４では、キーワードに基づく会話を開始する処理を実施し、Ｓ１１５に進む。
　Ｓ１１５では、Ｓ１０７と同様に、会話の停止条件が成立しているか否かを判定する。Ｓ１１５にて、会話停止条件が成立していると判定した場合、Ｓ１１２又はＳ１１４にて開始した会話を強制的に停止し、会話開始処理を一旦終了する。一方、Ｓ１１５にて、会話の停止条件が成立していないと判定した場合、Ｓ１１６に進む。Ｓ１１６では、Ｓ１１２又はＳ１１４にて開始した会話が完了したか否かを判定する。Ｓ１１６にて、会話がまだ継続していると判定した場合には、Ｓ１１５及びＳ１１６の判定を繰り返すことで、会話の完了を待機する。そして、Ｓ１１６にて会話が完了したと判定した場合には、会話開始処理を一旦終了する。
　以上の会話開始処理によって開始される各会話の詳細をさらに説明する。ここで、以下説明する一連の会話が開始される直前には、対話装置１００による会話開始を運転者に報知するための報知音が、スピーカ３２から出力される。報知音は、運転者の意識を会話の音声に向けさせることができる。その結果、運転者は、対話装置１００から投げかけられた会話の始まりの部分を聞き逃し難くなる。
　Ｓ１０６の処理に基づき開始される一連の会話文の冒頭には、運転者に漫然状態の自覚を促すメッセージが組み入れられる。また、現在の走行地点に関連した地域情報が会話によって提供される。具体的に、対話実行ブロック７１は、漫然状態から運転者を回復させるために、以下のような会話文を生成する。
対話装置：「退屈しているみたいだけど、何か会話しない？」
運転者　：「そうか。おねがいしようか」対話装置：「ここから１キロくらい北にある○○○っていうお店の×××が最近すごい人気みたいだよ」
運転者　：「へぇ～。気になるなぁ」
対話装置：「△△△が入っているのが特徴らしいよ」
運転者　：「行ってみようかな」
対話装置：「営業時間は、□□□～□□□。定休日は▽▽▽だから、今からでも大丈夫だよ」
尚、対話装置１００は、地域情報を含む会話として、「今から○○分ぐらい後に、少し激しい雨が振るみたいだよ」といった天候を案内する会話や、「左側に見える高い建物は、○○だよ」といったランドマークを案内する会話も実施可能である。
　Ｓ１１２の処理に基づき開始される一連の会話文の冒頭には、お知らせするニュース情報の内容を示す見出し文が組み入れられる。この見出し文は、取得したニュース情報に付けられたタイトルであってもよく、又はニュース情報の本文から抽出した特徴的な単語を組み合わせて、ニュース情報の内容を要約した文章であってもよい。具体的に、対話実行ブロック７１は、新着のニュース情報をお知らせして、運転者の覚醒状態を維持させるために、以下のような会話文を生成する。
対話装置：「×××社が新型の○○○を発表したらしいよ」
運転者　：「へぇ～。どう変わったの？」
対話装置：「△△△の機能が強化されて、▽▽▽がほぼ自動でできるようになったらしいよ」
運転者　：「ほんとに。欲しいな」
対話装置：「日本では、○○月××日から発売だって」
　Ｓ１１４の処理に基づき開始される一連の会話文の冒頭には、搭乗者の会話から抽出されたキーワードが組み入れられる。具体的に、対話実行ブロック７１は、キーワードに基づく雑談を展開して、運転者の覚醒状態を維持させるために、以下のような会話文を生成する。
対話装置：「そうそう、“○○○（キーワード）”といえば、○○○って昔は△△△って呼ばれてたの知ってた？」
運転者　：「ううん。知らない」
対話装置：「もともとは、×××に因んで、△△△って呼ばれてたんだって」
運転者　：「へぇ～」
対話装置：「でも、▽▽▽と間違え易いから、みんなに○○○って呼ばれるようになったんだって」
運転者　：「そうだったんだ」
対話装置：「それから、今度は○○○に似せた○×○なんてものも登場してきてるんだって」
運転者　：「ホントに？」
以上のように、対話装置１００は、運転者との対話を展開することが可能である。
　ここまで説明した本実施形態によれば、運転者の運転負荷が低い場合には、会話文の発話が許容される一方で、運転者の運転負荷が高い場合には、会話文の発話は、禁止される。以上のように、対話装置１００は、運転者の運転負荷状況を鑑みることにより、運転者の運転操作を妨げることなく、装置側から運転者へ向けて話しかけることができる。
　加えて本実施形態によれば、運転負荷の低い状態が継続した場合、運転者は、漫然状態に陥り易い。そのため、運転者が漫然状態である旨の判定をトリガに会話を開始させれば、対話装置１００によって開始される会話は、運転者の運転操作を妨げないだけでなく、運転者を漫然状態から通常の覚醒状態へと引き戻す効果を発揮できる。
　また本実施形態によれば、車両の現在の走行地点に関連した地域情報が会話によって提供される。その結果、運転者は、対話装置１００から投げかけられる会話に興味を持ち易くなる。故に、対話装置１００は、会話の内容に運転者を惹きつけて、運転者とのやり取りを長く継続させることができる。以上によれば、会話によって運転者を漫然状態から通常の覚醒状態へと引き戻す効果は、確実に発揮される。
　さらに本実施形態によれば、漫然状態の検出によって会話が開始される場合に、その会話の冒頭に漫然状態の自覚を促すメッセージが組み入れられる。すると運転者は、自らの状況を理解して、対話装置１００から投げかけられる会話に積極的に応答することで、漫然状態からの回復を図ろうとし得る。以上によれば、対話装置１００は、運転者の自助努力を引き出して、運転者の覚醒度を通常の覚醒状態へと引き戻す効果を確実に発揮できるようになる。
　加えて本実施形態によれば、将来的な運転負荷の上昇が先読みされた場合には、漫然状態であると判定するための判定基準ＣＤが引き下げられる。以上によれば、対話装置１００は、覚醒度が低下して漫然気味になっている運転者に対し、さらに積極的に会話を投げかけるようになり、運転負荷の将来的な上昇に備えて、運転者の覚醒度を予め高めておくことができる。その結果、運転者は、運転負荷の高まるイベントに対して、余裕を持って対処できる。
　また本実施形態によれば、運転負荷の低い許容状態で、運転者の興味のあるカテゴリのニュース情報が取得された場合に、取得したニュース情報を伝える会話が実行される。このような話しかけを行うことにより、対話装置１００は、運転負荷の低い状態の継続によって漫然に陥る可能性のある運転者の覚醒度を、通常の覚醒状態に維持させる効果を適確に発揮できる。
　さらに本実施形態によれば、ニュース情報を伝える会話の冒頭に、見出し文が組み込まれる。そして、会話に用いたニュース情報が実際には運転者の興味を惹かない内容であり、漫然状態の改善が見られなかった場合、対話装置１００は、当該ニュース情報に係る運転者との会話を早急に終了させ、異なるニュース情報に話題を変更することができる。このように、見出し文の紹介に対する運転者のつれない対応を検知して話題を変更できれば、対話装置１００からの話しかけが運転者によって煩わしく感じられてしまう事態は、低減され得る。
　加えて本実施形態によれば、対話装置１００は、運転者等の発したキーワードに関連する情報を会話に組み入れて、運転者が興味を持ち易い内容の会話を投げかけることができる。以上によれば、対話装置１００は、話しかけた会話の内容に運転者を惹き込んで、当該運転者の覚醒度を高める効果を確実に発揮できるようになる。
　また本実施形態では、所定の禁止条件が成立している場合には、運転負荷が低くても、禁止状態が維持される。以上によれば、対話装置１００は、運転者との会話を開始するのに適さない状況を避けて、会話を開始することが可能である。例えば、車室内に運転者以外の搭乗者が居る場合、この搭乗者は、睡眠中であることが想定され得る。故に、対話装置１００は、搭乗者を検知している場合に禁止条件を成立させることで、会話の開始を阻止する。以上によれば、積極的な会話の開始によって同乗者の睡眠を妨げてしまう事態は、回避される。
　さらに、車両の外部に居る通話相手と運転者が通話している場合、対話装置１００による会話は、通話の妨げとなり得る。そこで本実施形態の対話装置１００は、運転者が通話している場合に禁止条件を成立させることで、会話の開始を阻止する。以上によれば、積極的な会話の開始によって通話を妨げてしまう事態は回避される。
　尚、本実施形態において、スピーカ３２が「音声出力器」に相当し、通信処理部４５が「情報取得部」に相当する。また、負荷判定ブロック５１が「負荷判定部」に相当し、漫然判定ブロック５２が「漫然判定部」に相当し、負荷先読ブロック５３が「負荷先読部」に相当する。さらに、対話実行ブロック７１が「対話実行部」に相当し、発話制御ブロック７２が「発話制御部」に相当し、キーワード抽出ブロック７３が「キーワード抽出部」に相当する。そして、会話開始処理におけるＳ１０１，Ｓ１０４が発話制御ステップに相当し、Ｓ１０２が負荷判定ステップに相当し、Ｓ１０６，Ｓ１１２，Ｓ１１４が「対話実行ステップ」に相当する。
　（他の実施形態）
　以上、一実施形態を例示したが、本開示の技術的思想は、種々の実施形態及び組み合わせとして具現化できる。
　上記実施形態では、漫然状態の検出、新着ニュースの受信、及びキーワードの抽出が、対話装置による発話開始のトリガとして設定されていた。しかし、発話開始のトリガに用いられるイベントは、適宜設定可能である。例えば、対話装置は、漫然状態を自覚した運転者が運転席周辺に設けられた対話開始スイッチに対して行う入力や、運転者の「雑談しようよ」といった投げ掛け等をきかっけとして、雑談を開始できる。
　上記実施形態では、漫然状態回復用の会話として、地域情報に基づく一連の会話文を例示したが、運転者の興味を惹き得る内容であれば、種々の情報が、漫然状態回復用の会話に採用可能である。対話装置は、例えば、嗜好カテゴリに関連する新着ニュース情報のうちでまだ会話に使用されていない情報、検索ランキング上位のワードのうちで嗜好カテゴリとの関連性が高い情報等を、漫然状態回復用の会話に採用することができる。
　上記実施形態の対話装置は、運転負荷の上昇イベントの発生を先読みすることで、当該イベントの発生前に運転者の覚醒度を高める会話を積極的に行うことができた。しかし、こうした先読みに基づく会話は、実施されなくてもよい。また、イベント発生の先読みに基づく会話は、少なくともイベント発生の直前には終了されることが望ましい。以上によれば、覚醒度を予め高めるための会話が運転の妨げになる事態は、回避される。
　上記実施形態では、運転者の嗜好カテゴリに関連する新着ニュースが選別されて、運転者にお知らせされていた。しかし、対話装置は、例えばアクセス数のランキングで上位に位置する新着ニュース情報の中から、運転者の嫌いな嫌悪カテゴリに該当するニュース情報を除外し、残った新着ニュース情報を上位から順番に運転者にお知らせすることも可能である。
　上記実施形態において、見出し文やキーワード等は、報知音の再生後に最初に発話される一文に組み入れられていた。このように、会話文の冒頭とは、原則として報知音の再生後に最初に発話される一文である。しかし、報知音の再生後に、運転者等の注意を惹くための「ねぇねぇ」や「あのう」とった特に意味の無い遊び言葉が挿入される場合には、これら遊び言葉の次に発話される一文が、会話文の冒頭に該当し得る。
　上記実施形態では、同乗者状態推定ブロックによって車室内に運転者以外の搭乗者が居ると判定されている場合に、スピーカからの発話は、中止されていた。しかし、車内撮像部の映像から同乗者の状態、具体的には睡眠中か否かが判別可能であれば、対話装置は、同乗者が居る場合でも、この搭乗者が睡眠中でない場合には、スピーカからの発話を開始することができる。加えて対話装置は、同乗者の発した言葉からキーワードを抽出し、キーワードに関連する情報をもって運転者と同乗者との会話に参加することにより、車内の会話をさらに盛り上げることができる。
　上記実施形態では、複数の禁止条件が設定され、いずれかの禁止条件に該当する場合には、運転負荷が低い場合であっても、対話実行ブロックの作動ステータスは、禁止状態に維持されていた。このような禁止条件として設定される項目は、運転者等による操作によって変更可能であることが望ましい。また、音声認識操作スイッチへの入力で容易に会話機能を停止できるのであれば、禁止条件は、設けられなくてもよい。
　上記実施形態では、ステアリングへの小刻みな修正舵の入力がなく、大雑把な修正舵が時折入力される場合や、運転者の目の状態が安定していない場合に、運転者が漫然状態であると判定されていた。しかし、漫然状態の判定に用いられる情報は、適宜変更可能である。例えば、対話装置は、車速情報及びナビゲーションＥＣＵの情報等に基づき、高速道路の走行が１時間以上連続している場合に、運転者が漫然状態にあると推定してもよい。さらに、車内カメラによって運転者の手及び体の動きを検出可能であれば、手で目及び顔を擦るような動作や、着座位置及び姿勢を頻繁に直すような動作に基づき、漫然状態が推定されてもよい。
　上記実施形態では、ステアリング又はアクセルペダルの操作が忙しい場合や、走行中の道路がカーブしている又は渋滞している場合に、運転負荷が高いと判定されていた。しかし、運転負荷の判定に用いられる情報は、適宜変更可能である。例えば、運転者の心拍数等の生体情報に基づいて、運転者における運転負荷の高低が判定されてもよい。
　上記実施形態では、対話すること自体を目的とした非タスク指向型の会話を対話装置１００が行っている場合について、詳細を説明した。しかし、対話装置１００は、上述した雑談のような会話だけでなく、搭乗者から投げかけられた質問に返答する、搭乗者の指定するお店を予約するといったタスク指向型の会話も行うことができる。さらに、非タスク指向型の会話を行っている途中で、一時的にタスク指向型の会話を挟むことも可能である。
　上記実施形態では、漫然判定ブロック５２は、運転者が漫然状態にあるか否かを判定した。上述したように、漫然状態であると判定するための判定基準ＣＤ（図２参照）は、引き上げ及び引下げが可能である。そこで、漫然判定ブロック５２は、複数の値の判定基準ＣＤを用いて、運転者の漫然レベルを3段以上に判定してもよい。例えば、低い判定基準ＣＤと高い判定基準ＣＤの２つの判定基準を用いて、運転者の漫然レベルが、非漫然レベル、低漫然レベル（ぼーっとしている）及び高漫然レベル（よりぼーっとしている）の3段階のうちいずれであるかを判定してもよい。
　対話実行ブロック７１は、運転者の漫然レベルに応じて、音声再生装置３０に発話させる会話文の分量を変えてもよい。例えば、運転者の漫然レベルが高レベルであるほど、音声再生装置３０に発話させる会話文の分量を少なくする。発話文の削減方法の一例として、生成した会話文の文章中の修飾関係を解析し、修飾している情報を削減する方法が考えられる。また、文章中のキーワードに対し、話題性のあるキーワードか否か等の情報で重要度を付与することで、漫然レベルの変化に応じた段階的な文章削減も可能である。キーワードを取得する方法としては、例えば、形態素解析と固有表現抽出で得られた固有表現を使う方法がある。また、文中にある単語に対してtfidf値（term frequency - inverse document frequency）を計算し、スコアの高いものをキーワードとして抽出してもよい。
　音声再生装置３０に発話させる会話文として、対話実行ブロック７１は、例えば、以下のような会話文を生成する。
低漫然レベル：「○月○日に、＜プロ野球団Ｘ＞の＜プロ野球選手Ｙ＞が、＜プロ野球団Ｚ＞戦で、先発し５打数４安打の猛打賞だったそうです。」
高漫然レベル：「＜プロ野球選手Ｙ＞が猛打賞だったそうです。」
　このように、漫然レベルが所定レベル（e.g.,高レベル）以上の時は、発話分中のキーワードを一つ（上記例では、＜プロ野球選手Ｙ＞）に絞ってもよい。ここで、一つのキーワードとしては、例えば、ｔｆｉｄｆ値のスコアが最も高いものを採用してもよい。尚、実際の会話では、実存する固有名詞が当然に発話されるが、本開示の説明では、直接的な明示を避けるため、上記の＜＞のような記載とする。以上の構成によれば、対話装置１００は、運転者の漫然レベルに応じた適切な分量の会話文を音声再生装置３０に発話させることができる。
　また、対話実行ブロック７１は、運転者の漫然レベルに応じて、対話実行部７１が会話を開始する頻度である会話開始頻度を変えてもよい。例えば、運転者の漫然レベルが高レベルであるほど、会話開始頻度を高くしてもよい（より頻繁に会話を開始する）。また、漫然レベルが高い状態が続いているときや、会話をしても漫然レベルの改善効果が少なくなってきた場合に、会話開始頻度を高くしてもよい。例えば、漫然レベルが所定レベル（e.g.,低漫然レベル）以上の状態が閾値時間以上継続している場合、会話開始頻度を高くしてもよい。また、会話を閾値回数以上実行（開始）しても漫然レベルが改善されない場合、会話開始頻度を高くしてもよい。会話開始頻度を変更する方法の一例として、会話開始条件を変更することが考えられる。上記実施形態では、発話開始イベント（会話開始条件）として、新しいニュース情報の取得、特定のキーワードの抽出等を例示した。会話開始条件を変更するためには、新しいニュース情報の取得条件、例えば、「新しさ」を定義する期間を変更すれば良い。また、特定のキーワードの抽出条件、例えば、抽出すべきキーワードのtfidf値の閾値を変更すれば良い。以上の構成によれば、運転者の漫然レベルに応じた適切な会話開始頻度で、対話装置１００は会話を開始できる。例えば、高漫然レベルの運転者が会話をしていない期間が長くなることを防止でき、このため、この会話をしてない期間の間に運転者の漫然レベルがより高くなりもはや会話で漫然が解消できないレベルに陥ってしまうことを防止できる。
　また、会話実行ブロック７１は、運転者の漫然レベルに応じて、音声再生装置３０の会話文の発話速度を変えてもよい。例えば、運転者の漫然レベルが高レベルであるほど、音声再生装置３０の会話文の発話速度を上げてもよい。会話文の発話速度を変える方法の一例として、テキストを合成音声を使って読み上げる機能を持った音声合成ソフトを使用し、会話文音声データにおける会話文の発話速度を変更することが考えられる。この場合、会話実行ブロック７１は、各漫然レベルの発話速度を指定するテーブルを参照する構成とすればよい。各漫然レベルの発話速度は、ユーザにより変更可能であってもよい。以上の構成によれば、運転者の漫然レベルに応じた適切な発話速度で、会話文を音声再生装置３０から再生させることができる。例えば、漫然状態の運転者に対して音声再生装置３０がゆっくりと会話文を発してその間に漫然が進行する（漫然レベルが高くなる）ことを防止できる。
　また、会話実行ブロック７１は、運転者の漫然レベルに応じて、運転者が対話装置１００（会話実行ブロック７１）による会話の開始に気付き易いように、当該会話の開始時における音声再生装置３０の鳴動態様を変更してもよい。例えば、運転者の漫然レベルが高レベルであるほど、音声再生装置３０から出力する会話文の再生ボリュームを大きくしてもよい。また、運転者の漫然レベルが高レベルであるほど、音楽の再生やラジオ出力などの対話装置１００の会話文以外の音声再生装置３０の再生音についてボリュームを下げるといったボリューム制御を行ってもよい。例えば、運転者の漫然レベルが所定レベル（e.g.,低漫然レベル）以上の場合、音楽やラジオの出力をミュートさせてもよい。また、運転者の漫然レベルが所定レベル（e.g.,低漫然レベル）以上の場合、音像定位技術を使い、耳元から対話装置１００による会話文が発話されているように再生してもよい。具体的には、音声再生装置３０から再生される会話文の音像が、ドライバシートのヘッドレスト周辺に定位されるように会話文用の音声データを加工する。以上の構成によれば、運転者の漫然レベルに応じた適切な鳴動態様で、対話装置１００による会話が開始されるため、運転者に当該会の開始を気付き易くすることができる。
　上記では、漫然レベルに応じて、音声再生装置３０に発話させる会話文の分量を変更する例を説明したが、運転者の運転負荷レベルに応じて、音声再生装置３０に発話させる会話文の分量を変更させてもよい。例えば、運転者の運転負荷レベルが高レベルであるほど、音声再生装置３０に発話させる会話文の分量を少なくする。発話文の削減方法としては、上述した漫然レベルに応じて会話文の発話分量を変更する構成で用いた削減方法を採用できる。以上の構成によれば、対話装置１００は、運転者の運転負荷レベルに応じた適切な分量の会話文を音声再生装置３０に発話させることができる。例えば、高負荷レベルの運転者（運転に忙しい）に対しては、難しい話ではなく簡潔な会話を行うことができる。
　運転者の負荷レベルを推定する方法としては、様々な方法を採用できる。例えば、負荷判定ブロック５１は、車両が現在走行している道路を含む運転シーンに応じて、運転者の運転負荷レベルを判定することができる。例えば、車両が高速道路（Highway）を走行している場合、運転者の運転負荷レベルを低レベルと判定する。車両が交差点を走行している場合、運転者の運転負荷レベルを中レベルと判定する。車両が市街値の中を走る道路（ストリート）を走行している場合、運転者の運転負荷レベルを高レベルと判定する。雨や雪の場合、運転者の運転負荷レベルを晴れの場合を比べて一段高く判定してもよい。また、運転操作（アクセル操作、ブレーキ操作、及び操舵等）の頻度に基づいて、運転者の運転負荷レベルを判定することもできる。例えば、現時点までの所定期間における運転操作の回数或いは運転操作継続時間から運転操作の頻度を求め、この頻度と複数の閾値とを比較することにより、運転負荷レベルを数段階に判定してもよい。また、運転者の行動（周囲の安全確認、及び、ウインカー等の機器操作等）に基づいて、運転者の運転負荷レベルを判定することもできる。例えば、現時点までの所定期間における運転者の行動の実行回数或いは継続時間から行動頻度を求め、この頻度と複数の閾値とを比較することにより、運転負荷レベルを判定してもよい。運転者の行動とは、例えば、周囲の安全確認や、ウインカー操作等の機器操作などである。周囲の安全確認を検出する手法の一例としては、車内撮像部１６のカメラの撮像画像から運転者の視線の動き検出して、この視線の動きを基に運転者の周囲の安全確認を検出する手法が公知である。
　以上説明した運転者の状態（漫然レベル、負荷レベル）に合せたシステム発話方法の設定（発話分量、会話頻度、会話テンポ（話速）、会話開始時の鳴動態様）は、図７に示すように、Ｓ１０４とＳ１０５に間で実行されるステップＳ２０１にて実行されてもよい。また、Ｓ１０２では、負荷レベルが所定レベル（例、高負荷レベル）より低いか否かを判定してもよい。Ｓ１０４では、漫然レベルが所定レベル（例、非漫然レベル）より大きいか否かを判定してもよい。
　上記実施形態において、状態情報処理回路５０及び制御回路６０の各プロセッサ５０ａ，６０ａによって提供されていた負荷判定、漫然判定、対話の実行、及び発話制御等の機能は、例えば専用の集積回路によって実現されていてもよい。或いは、一つのプロセッサが、負荷判定、漫然判定、対話の実行、及び発話制御等を全て実施してもよく、又は負荷判定、漫然判定、対話の実行、及び発話制御等がそれぞれ別のプロセッサによって実施されてもよい。さらに、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって、各機能が提供されてよい。また、各プロセッサ５０ａ，６０ａにて実行されるプログラムを記憶する記憶媒体は、フラッシュメモリに限定されない。種々の非遷移的実体的記憶媒体が、プログラムを記憶する構成として採用可能である。
　本開示の技術的思想は、車両に搭載される対話装置だけでなく、スマートフォン及びタブレット端末等の通信機器、並びに車両外部のサーバー等にインストールされる対話プログラムにも適用可能である。対話プログラムを実行する通信機器及びサーバー等にて行われる対話方法も、対話装置によって行われる対話方法と実質同一である。例えば対話プログラムは、車内に持ち込まれる通信端末の記憶媒体に、プロセッサによって実行可能なアプリケーションとして記憶されている。通信端末は、対話プログラムに従って運転者と対話可能であり、対話を通じて運転者の覚醒状態を維持させることができる。
　また、対話プログラムがサーバーの記憶媒体に記憶されている場合、サーバーは、車両及び運転者の状態情報を、インターネットを通じて取得することができる。加えてサーバーは、取得した状態情報に基づき生成した会話文を、車両の音声再生装置へ送信し、スピーカから再生させることができる。図８は、この変形例に係る対話システムの全体構成を示すブロック図である。変形例は、基本的な構成が上記実施形態と同様であるため、共通する構成については先行する説明を参照することにより説明を省略し、相違点を中心に説明する。なお、上記実施形態と同じ符号は、同一の構成を示す。
　上記実施形態では、対話装置１００のプロセッサ６０ａが所定のプログラムの実行することにより、対話装置１００が、音声認識部６１と、認識処理制御部７０とを、機能ブロックとして構築した。これに対し、変形例では、制御サーバー２００のプロセッサ６０ｂが所定のプログラムを実行することにより、制御サーバー２００が、音声認識部６１ｂと、認識処理制御部７０bとを、機能ブロックとして構築する。つまり、遠隔の制御サーバー２００に設けられた音声認識部６１ｂ及び認識処理制御部７０bが、上記実施形態の対話装置１００の音声認識部６１及び認識処理制御部７０を代替する構成（クラウド）である。これに伴い、制御サーバー２００の通信処理部４５ｂは、インターネット等の通信ネットワークを経由して、音声認識部６１ｂ及び認識処理制御部７０bの処理に要する情報を取得するとともに、生成した会話文のデータを対話装置１００の通信処理部４５aへ送信して音声再生装置３０から再生させる。具体的には、制御サーバー２００の通信処理部４５ｂは、ニュース配信サイトＮＤＳ等からコンテント情報を取得し制御サーバー２００内の嗜好データベース４９ｂに格納する。加えて、上記実施形態において対話装置１００の状態情報処理回路５０、入力情報取得部４１および音声情報取得部４３から制御部６０に入力されていた車両及び運転者の状態情報等の各種情報を対話装置１００から取得する。このように取得した情報に基づき生成した運転者に対する会話文のデータは、制御サーバー２００の通信処理部４５ｂから、通信ネットワークを経由して、対話装置１００の通信処理部４５aに送信される。なお、図８では、制御サーバー２００が、音声認識部６１ｂと、認識処理制御部７０ｂとを備える構成を例示したが、制御サーバーが、音声認識部及び認識処理制御部のうち一部の機能を備え、対話装置が他を備えてもよい。例えば、対話装置が音声認識部を備え、制御サーバーが認識処理制御部を備えてもよい。また、上記実施形態において状態情報処理回路５０が構築した機能ブロック５１、５２、５３及び５４（図３参照）の機能のうち一部或いは全部を、制御サーバー２００のプロセッサ６０ｂが構築しても良い。この場合、制御サーバー２００は、これら機能ブロックの処理に要す情報（上記実施形態において車載状態検出器１０から状態情報処理回路５０に入力されていた情報等）を、対話装置１００からを取得すればよい。
　以上のように、サーバーに対話プログラムがインストールされている場合でも、運転者とシステムとの会話が実現できる。そして、サーバー型の対話システムでも、運転者の覚醒状態の維持は可能である。
　そして本開示の技術的思想は、自動運転を行う車両（自律走行車）に搭載される対話装置にも適用可能である。例えば、「システムからの運転操作切り替え要請にドライバーが適切に応じるという条件のもと、特定の運転モードにおいて自動化された運転システムが車両の運転操作を行う」という自動化レベルの自動運転が想定されている。このような自動運転車両では、運転者（オペレータ）は、運転操作のバックアップのために、待機状態を維持する必要がある。そのため、待機状態にある運転者は、漫然状態に陥り易くなると推測される。故に、このような対話装置は、自動運転システムのバックアップとして待機状態にある運転者の覚醒度を維持する構成としても、好適なのである。
　以上、本開示に係る様々な実施形態及び変形例を例示したが、これら実施形態及び変形例の各技術的要素を適宜組み合わせて得られる実施形態も、本開示の実施形態である。
 

 

Claims (24)

  1. 　車室内に音声を出力する音声出力器（３２）と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、
    　前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行部（７１）と、
    　前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する負荷判定部（５１）と、
    　前記対話実行部による発話の開始を禁止する禁止状態とし、前記負荷判定部によって運転負荷が低いと判定された場合に、前記対話実行部による発話の開始を許容する許容状態とする発話制御部（７２）と、を備える対話装置。
  2. 　前記運転者が漫然状態にあるか否かを判定する漫然判定部（５２）、をさらに備え、
    　前記発話制御部は、前記許容状態にある場合に、前記漫然判定部によって前記運転者が漫然状態にあると判定されたことに基づき、前記対話実行部によって前記運転者へ向けた会話を開始させる請求項１に記載の対話装置。
  3. 　前記対話実行部は、前記漫然判定部による漫然判定に基づき開始する会話において、前記車両の現在の走行地点に関連した情報を提供する請求項２に記載の対話装置。
  4. 　前記対話実行部は、前記漫然判定部による漫然判定に基づいて会話を開始する場合に、前記運転者に漫然状態の自覚を促すメッセージを前記会話文の冒頭に組み入れる請求項２又は３に記載の対話装置。
  5. 　前記車両の走行継続に伴う将来的な運転負荷の上昇を先読みする負荷先読部（５３）、をさらに備え、
    　前記漫然判定部は、前記負荷先読部によって将来的な運転負荷の上昇が先読みされた場合に、前記運転者が漫然状態であると判定するための判定基準（ＣＤ）を引き下げる請求項２～４のいずれか一項に記載の対話装置。
  6. 　前記漫然判定部は、漫然判定に基づく会話の開始後に、前記運転者の漫然状態が改善されたか否かをさらに判定し、
    　前記対話実行部は、前記漫然判定部によって前記運転者の漫然状態が改善されていないと判定された場合に、話題を変更しつつ会話を継続する請求項２～５のいずれか一項に記載の対話装置。
  7. 　前記車両の外部から、前記対話実行部によって実行される会話の内容の候補となるニュース情報を取得する情報取得部（４５）、をさらに備え、
    　前記発話制御部は、
    　前記運転者が興味のある前記ニュース情報のカテゴリを嗜好カテゴリとして予め設定し、
    　前記許容状態にある場合に、前記嗜好カテゴリに含まれる前記ニュース情報が前記情報取得部によって取得されたことに基づき、当該ニュース情報を伝える会話を前記対話実行部によって開始させる請求項１～６のいずれか一項に記載の対話装置。
  8. 　前記対話実行部は、前記ニュース情報の取得に基づいて会話を開始する場合に、当該ニュース情報の内容を示す見出し文を、前記会話文の冒頭に組み入れる請求項７に記載の対話装置。
  9. 　前記車室内にて前記運転者を含む前記車両の搭乗者が発した言葉を解析し、予め設定されたキーワードを抽出するキーワード抽出部（７３）、をさらに備え、
    　前記発話制御部は、前記許容状態にある場合に、前記キーワード抽出部によって前記キーワードが抽出されたことに基づき、当該キーワードに関連する会話を前記対話実行部によって開始させる請求項１～８のいずれか一項に記載の対話装置。
  10. 　前記対話実行部は、前記キーワードの抽出に基づいて会話を開始する場合に、当該キーワードを前記会話文の冒頭に組み入れる請求項９に記載の対話装置。
  11. 　前記発話制御部は、前記負荷判定部によって運転負荷が低いと判定された場合でも、予め設定された禁止条件が成立している場合には、前記禁止状態を維持する請求項１～１０のいずれか一項に記載の対話装置。
  12. 　前記発話制御部は、前記車室内に前記運転者以外の搭乗者が居る場合に、前記禁止条件を成立させる請求項１１に記載の対話装置。
  13. 　前記発話制御部は、前記車両の外部に居る通話相手と前記運転者が通話している場合に、前記禁止条件を成立させる請求項１１又は１２に記載の対話装置。
  14. 　車室内に音声を出力する音声出力器（３２）を用いて車両の運転者と対話する対話方法であって、
    　少なくとも一つのプロセッサ（５０ａ，６０ａ）によって実施されるステップとして、
    　前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行ステップ（Ｓ１０６，Ｓ１１２，Ｓ１１４）と、
    　前記車両が走行している道路について前記運転者の運転負荷が高いか否かを判定する負荷判定ステップ（Ｓ１０２）と、
    　前記負荷判定ステップにおいて運転負荷が高いと判定された場合に、前記対話実行ステップによる発話の開始を禁止する禁止状態とし、前記負荷判定ステップにおいて運転負荷が低いと判定された場合に、前記対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップ（Ｓ１０１，Ｓ１０４）と、を含む対話方法。
  15. 　前記対話実行部は、前記運転者の漫然レベルに応じて、前記音声出力器に発話させる会話文の分量を変える請求項１～１３のいずれか一項に記載の対話装置。
  16. 　前記対話実行部は、前記運転者の漫然レベルに応じて、前記対話実行部が会話を開始する頻度である会話開始頻度を変える請求項１～１３、１５のいずれか一項に記載の対話装置。
  17. 　前記対話実行部は、前記運転者の漫然レベルに応じて、前記音声出力器の会話文の発話速度を変える請求項１～１３、１５～１６のいずれか一項に記載の対話装置。
  18. 　前記対話実行部は、前記運転者の運転負荷レベルに応じて、前記音声出力器に発話させる会話文の分量を変える請求項１～１３、１５～１７のいずれか一項に記載の対話装置。
  19. 　前記対話実行部は、前記運転者の漫然レベルに応じて、前記運転者が対話実行部による会話の開始に気付き易いように、当該会話の開始時における前記音声出力器の鳴動態様を変更する請求項１～１３、１５～１８のいずれか一項に記載の対話装置。
  20. 　車室内に音声を出力する音声出力器（３２）を用いて車両の運転者と対話する対話方法であって、
    　前記音声出力器（３２）と通信ネットワーク経由により接続可能な車両外の遠隔サーバー（２００）のプロセッサ（６０ｂ）によって実施されるステップとして、
    　前記運転者へ向けた会話文を生成し、当該会話文を前記音声出力器によって発話させる対話実行ステップ（Ｓ１０６，Ｓ１１２，Ｓ１１４）と、
    　前記車両が走行している道路について前記運転者の運転負荷が高いか否かの判定（Ｓ１０２）において運転負荷が高いと判定された場合に、前記対話実行ステップによる発話の開始を禁止する禁止状態とし、運転負荷が低いと判定された場合に、前記対話実行ステップによる発話の開始を許容する許容状態とする発話制御ステップ（Ｓ１０１，Ｓ１０４）と、を含む対話方法。
  21. 　請求項２０に記載の対話実行ステップ及び発話制御ステップを実施するプロセッサ（６０ｂ）を備える遠隔サーバー（２００）により生成された前記運転者へ向けた会話文のデータを、通信ネットワークを経由して、受信する通信処理部（４５ａ）と、
    　前記通信処理部が受信した運転者へ向けた会話文のデータを音声出力器（３０）に出力する情報出力部（４７）と、を備える対話装置。
  22. 　請求項２０に記載の対話実行ステップ及び発話制御ステップを実施するプロセッサ（６０ｂ）を備える遠隔サーバー（２００）と、
    　前記遠隔サーバーにより生成された前記運転者へ向けた会話文のデータを、通信ネットワークを経由して、受信する通信処理部（４５ａ）と、前記通信処理部が受信した前記前記運転者へ向けた会話文のデータを音声出力器（３０）に出力する情報出力部（４７）と、を有する対話装置と、
    　を備える対話システム。
  23. 　請求項１４に記載の対話実行ステップ及び発話制御ステップを前記少なくとも一つのプロセッサに実行させるためのプログラム。
  24. 　前記プログラムは、通信端末で実行可能なアプリケーションである請求項２３に記載のプログラム。

     
PCT/JP2016/077972 2015-09-28 2016-09-23 対話装置及び対話方法 Ceased WO2017057170A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/744,258 US20180204572A1 (en) 2015-09-28 2016-09-23 Dialog device and dialog method
DE112016004391.0T DE112016004391B4 (de) 2015-09-28 2016-09-23 Dialogvorrichtung und Dialogverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-189974 2015-09-28
JP2015189974A JP6515764B2 (ja) 2015-09-28 2015-09-28 対話装置及び対話方法

Publications (1)

Publication Number Publication Date
WO2017057170A1 true WO2017057170A1 (ja) 2017-04-06

Family

ID=58423501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077972 Ceased WO2017057170A1 (ja) 2015-09-28 2016-09-23 対話装置及び対話方法

Country Status (4)

Country Link
US (1) US20180204572A1 (ja)
JP (1) JP6515764B2 (ja)
DE (1) DE112016004391B4 (ja)
WO (1) WO2017057170A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159013A1 (ja) * 2017-03-01 2018-09-07 オムロン株式会社 覚醒支援装置、方法およびプログラム
JP2018205211A (ja) * 2017-06-07 2018-12-27 本田技研工業株式会社 情報提供装置及び情報提供方法
JP2019016153A (ja) * 2017-07-06 2019-01-31 トヨタ自動車株式会社 情報提供装置および情報提供方法
WO2019130552A1 (ja) * 2017-12-28 2019-07-04 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
WO2020066757A1 (ja) * 2018-09-25 2020-04-02 オムロン株式会社 危険運転防止装置
JP2021039104A (ja) * 2019-08-30 2021-03-11 有限会社ヴェルク・ジャパン 自動運転車輌用システム

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447578B2 (ja) * 2016-05-27 2019-01-09 トヨタ自動車株式会社 音声対話装置および音声対話方法
US10832148B2 (en) * 2016-12-07 2020-11-10 International Business Machines Corporation Cognitive dialog system for driving safety
JP6401821B1 (ja) * 2017-05-23 2018-10-10 カルソニックカンセイ株式会社 運転負荷推定装置
JP2018206198A (ja) * 2017-06-07 2018-12-27 トヨタ自動車株式会社 覚醒支援装置および覚醒支援方法
JP6819529B2 (ja) * 2017-09-27 2021-01-27 株式会社デンソー 情報処理装置、情報処理システム、及び情報処理方法
KR102426171B1 (ko) * 2017-10-13 2022-07-29 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
JP2019074498A (ja) * 2017-10-19 2019-05-16 アイシン精機株式会社 運転支援装置
KR102348124B1 (ko) * 2017-11-07 2022-01-07 현대자동차주식회사 차량의 기능 추천 장치 및 방법
US11404075B1 (en) * 2017-11-09 2022-08-02 Amazon Technologies, Inc. Vehicle voice user interface
US11273778B1 (en) * 2017-11-09 2022-03-15 Amazon Technologies, Inc. Vehicle voice user interface
JP7031268B2 (ja) * 2017-12-08 2022-03-08 富士フイルムビジネスイノベーション株式会社 情報伝達装置及びプログラム
WO2019133710A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
CN112074899B (zh) * 2017-12-29 2025-01-10 暗物智能科技(广州)有限公司 基于多模态传感输入的人机对话的智能发起的系统和方法
US11504856B2 (en) 2017-12-29 2022-11-22 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
US11468894B2 (en) * 2017-12-29 2022-10-11 DMAI, Inc. System and method for personalizing dialogue based on user's appearances
WO2019160613A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic program configuration
US10720156B2 (en) * 2018-02-21 2020-07-21 Toyota Motor Engineering & Manufacturing North America, Inc. Co-pilot and conversational companion
JP2021114004A (ja) * 2018-04-11 2021-08-05 ソニーグループ株式会社 情報処理装置及び情報処理方法
KR20200042127A (ko) * 2018-10-15 2020-04-23 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
JP7327536B2 (ja) * 2018-06-12 2023-08-16 トヨタ自動車株式会社 車両用コクピット
JP2022046551A (ja) * 2018-08-06 2022-03-23 日産自動車株式会社 音声対話装置、音声対話システム、及び音声対話装置の制御方法
US11938958B2 (en) 2018-08-06 2024-03-26 Nissan Motor Co., Ltd. Voice dialogue device, voice dialogue system, and control method for voice dialogue system
CN109684990B (zh) * 2018-12-20 2023-05-30 天津天地伟业信息系统集成有限公司 一种基于视频的打电话行为检测方法
DE102018222378A1 (de) 2018-12-20 2020-06-25 Robert Bosch Gmbh Vorrichtung und Verfahren Steuerung der Ausgabe von Fahrerinformation und zur Aufrechterhaltung der Aufmerksamkeit eines Fahrers eines automatisierten Fahrzeugs
US11170240B2 (en) 2019-01-04 2021-11-09 Cerence Operating Company Interaction system and method
CN113632152A (zh) * 2019-03-15 2021-11-09 本田技研工业株式会社 车辆通信装置和程序
US11427216B2 (en) * 2019-06-06 2022-08-30 GM Global Technology Operations LLC User activity-based customization of vehicle prompts
JP7238641B2 (ja) * 2019-06-28 2023-03-14 トヨタ自動車株式会社 車両起動機構
CN111107156A (zh) * 2019-12-26 2020-05-05 苏州思必驰信息科技有限公司 用于主动发起对话的服务端处理方法及服务器、能够主动发起对话的语音交互系统
US11302301B2 (en) * 2020-03-03 2022-04-12 Tencent America LLC Learnable speed control for speech synthesis
JP7537259B2 (ja) * 2020-12-11 2024-08-21 株式会社デンソー 注目対象共有装置、注目対象共有方法
US11115353B1 (en) 2021-03-09 2021-09-07 Drift.com, Inc. Conversational bot interaction with utterance ranking
JP7741721B2 (ja) * 2021-12-20 2025-09-18 日本放送協会 応答文生成装置及びプログラム
DE102022205546A1 (de) 2022-05-31 2023-11-30 Siemens Mobility GmbH Fahrerassistenzvorrichtung für ein Fahrzeug mit auswählbaren Informationskategorien
JP2024030645A (ja) * 2022-08-24 2024-03-07 日産自動車株式会社 情報提供方法及び情報提供装置
DE102022125547B4 (de) * 2022-10-04 2024-07-18 Cariad Se Kraftfahrzeug und Verfahren zum Zusammenfassen eines Gesprächs in einem Kraftfahrzeug
CN118298858A (zh) * 2023-01-04 2024-07-05 广州六环信息科技有限公司 基于乘客和驾驶员的交互控制方法、装置及车载系统
JP2025071571A (ja) * 2023-10-23 2025-05-08 矢崎総業株式会社 車両用対話システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118260A (ja) * 1998-10-09 2000-04-25 Honda Motor Co Ltd 車両用乗員対話装置
JP2010271794A (ja) * 2009-05-19 2010-12-02 Fuji Heavy Ind Ltd 運転行動誘導システム
JP2011019921A (ja) * 2002-02-19 2011-02-03 Volvo Technology Corp 運転者注意負荷の監視と管理とを行なうシステムおよび方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3153846B2 (ja) * 1995-06-02 2001-04-09 三菱電機株式会社 話題提供装置
US7881934B2 (en) * 2003-09-12 2011-02-01 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
JP2006325182A (ja) * 2005-04-22 2006-11-30 Matsushita Electric Ind Co Ltd ニュース提供システム、サーバ装置および端末装置
JP4680691B2 (ja) * 2005-06-15 2011-05-11 富士通株式会社 対話システム
US7982620B2 (en) 2007-05-23 2011-07-19 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for reducing boredom while driving
JP4547721B2 (ja) * 2008-05-21 2010-09-22 株式会社デンソー 自動車用情報提供システム
JP4609527B2 (ja) * 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
WO2009158338A1 (en) * 2008-06-27 2009-12-30 Ford Global Technologies, Llc System and method for controlling an entertainment device in a vehicle based on driver status and a predetermined vehicle event
JP2012194060A (ja) * 2011-03-16 2012-10-11 Denso Corp 情報提供装置
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
JP2013242763A (ja) 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
US9251704B2 (en) 2012-05-29 2016-02-02 GM Global Technology Operations LLC Reducing driver distraction in spoken dialogue
JP6411017B2 (ja) * 2013-09-27 2018-10-24 クラリオン株式会社 サーバ、及び、情報処理方法
JP2015189974A (ja) 2014-03-31 2015-11-02 日本カーバイド工業株式会社 光反射用樹脂組成物

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118260A (ja) * 1998-10-09 2000-04-25 Honda Motor Co Ltd 車両用乗員対話装置
JP2011019921A (ja) * 2002-02-19 2011-02-03 Volvo Technology Corp 運転者注意負荷の監視と管理とを行なうシステムおよび方法
JP2010271794A (ja) * 2009-05-19 2010-12-02 Fuji Heavy Ind Ltd 運転行動誘導システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159013A1 (ja) * 2017-03-01 2018-09-07 オムロン株式会社 覚醒支援装置、方法およびプログラム
JP2018205211A (ja) * 2017-06-07 2018-12-27 本田技研工業株式会社 情報提供装置及び情報提供方法
US10929652B2 (en) 2017-06-07 2021-02-23 Honda Motor Co., Ltd. Information providing device and information providing method
JP2019016153A (ja) * 2017-07-06 2019-01-31 トヨタ自動車株式会社 情報提供装置および情報提供方法
WO2019130552A1 (ja) * 2017-12-28 2019-07-04 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
CN111527532A (zh) * 2017-12-28 2020-08-11 本田技研工业株式会社 车辆控制系统、车辆控制方法及程序
JPWO2019130552A1 (ja) * 2017-12-28 2020-10-22 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
WO2020066757A1 (ja) * 2018-09-25 2020-04-02 オムロン株式会社 危険運転防止装置
JP2021039104A (ja) * 2019-08-30 2021-03-11 有限会社ヴェルク・ジャパン 自動運転車輌用システム
JP7460145B2 (ja) 2019-08-30 2024-04-02 有限会社ヴェルク・ジャパン 自動運転車輌用システム
JP2024069411A (ja) * 2019-08-30 2024-05-21 有限会社ヴェルク・ジャパン 自動運転車輌用システム
JP7766356B2 (ja) 2019-08-30 2025-11-10 有限会社ヴェルク・ジャパン 自動運転車輌用システム

Also Published As

Publication number Publication date
US20180204572A1 (en) 2018-07-19
DE112016004391B4 (de) 2022-03-17
JP6515764B2 (ja) 2019-05-22
JP2017067849A (ja) 2017-04-06
DE112016004391T5 (de) 2018-06-07

Similar Documents

Publication Publication Date Title
WO2017057170A1 (ja) 対話装置及び対話方法
JP7540126B2 (ja) 端末装置及び車両
JP6376096B2 (ja) 対話装置及び対話方法
JP6589514B2 (ja) 対話装置及び対話制御方法
JP6150077B2 (ja) 車両用音声対話装置
CN109568973B (zh) 对话装置、对话方法、服务器装置及计算机可读存储介质
JP2017068359A (ja) 対話装置及び対話制御方法
JP2021047507A (ja) 通知システム、通知制御装置、通知制御方法、及び通知制御プログラム
JP2016095705A (ja) 不明事項解消処理システム
JP6555113B2 (ja) 対話装置
CN121708893A (zh) 车内语音交互方法、系统、设备、存储介质以及程序产品
JP2026016688A (ja) 情報出力装置、情報出力方法、および、情報出力装置用プログラム
JP2023162857A (ja) 音声対話装置及び音声対話方法
JP2021114080A (ja) ドライブレコーダ、記録方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851344

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15744258

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016004391

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851344

Country of ref document: EP

Kind code of ref document: A1