WO2008059727A1 - Dispositif d'estimation de l'état d'un conducteur, dispositif de collecte d'informations sur le conducteur et système d'estimation de l'état d'un conducteur - Google Patents
Dispositif d'estimation de l'état d'un conducteur, dispositif de collecte d'informations sur le conducteur et système d'estimation de l'état d'un conducteur Download PDFInfo
- Publication number
- WO2008059727A1 WO2008059727A1 PCT/JP2007/071500 JP2007071500W WO2008059727A1 WO 2008059727 A1 WO2008059727 A1 WO 2008059727A1 JP 2007071500 W JP2007071500 W JP 2007071500W WO 2008059727 A1 WO2008059727 A1 WO 2008059727A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- driver
- information
- state
- vehicle
- home
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Definitions
- Driver state estimation device server, driver information collection device, and driver state estimation system
- the present invention relates to a driver state estimation device, a server, a driver information collection device, and a driver state estimation system that control a vehicle by estimating a driver's state.
- V If it is determined to be V, and it is determined to be impatient! /, It will output music or generate a scent to calm down the driver.
- Patent Document 1 detects the burning by a direct method such as a temperature sensor, it is difficult to detect the body temperature of the driver when the room temperature is high. There is a fear.
- Patent Document 1 Japanese Unexamined Patent Application Publication No. 2004-106716 Disclosure of the invention
- the present invention provides a driver state estimation device, a server, a driver information collection device, and a driver state estimation system capable of estimating the state of the driver before the start of driving. Objective.
- the present invention provides a driver state estimation device that estimates a driver's state, and includes a driver state estimation unit that estimates a driver's state before driving and a driver state estimation unit.
- Control changing means for changing the control of the in-vehicle device based on the estimated driver state.
- the state of the driver can be detected before the start of driving by estimating the state of the driver before the start of driving, and appropriate driving support can be provided from the start of driving.
- driver home information storing information detected from the driver's home (for example, at least! / ), And the driver state estimating means estimates the driver's state based on the driver home information.
- the state of the driver can be estimated from information at the driver's home.
- a driving pre-start force A driver state estimating device, a sano driver information collecting device, and a driver state estimating system capable of estimating a driver's state can be provided.
- FIG. 1 is a diagram for explaining an outline of estimation of a driver's state.
- FIG. 2 is an example of a configuration diagram of a driver state estimation system for estimating a driver's state.
- FIG. 3 is a configuration diagram of a driver information collection device.
- FIG. 4 is an example of pre-boarding action information stored in a memory.
- FIG. 5 is a hardware configuration diagram of the server. 6] It is an example of a configuration diagram of a driver state estimation device.
- FIG. 7 is a diagram showing an example of action information during boarding and action information during boarding.
- FIG. 8 is a diagram showing an outline of the impatience determination.
- FIG. 9 is a flowchart showing an operational procedure of the driver state estimating device, which is an example of a system configuration diagram of a vehicle that controls the vehicle when it is determined to be in an impatient state.
- Fig. 11 is a flowchart showing the operation procedure of the driver state estimation device.
- FIG. 13 shows an example of a schedule displayed by the schedule software and an email received by the mail software.
- FIG. 14 is a diagram showing an outline of the determination of impatience in the second embodiment.
- FIG. 15 is a flowchart showing the operation procedure of the driver state estimating apparatus in the second embodiment.
- Sono 16 is an example of sleepiness factor information stored in memory.
- FIG. 17] is a flowchart showing the operation procedure of the driver state estimating device in the third embodiment.
- FIG. 1 is a diagram for explaining an outline of estimation of a driver's state.
- the driver lives at home 1 and generally travels to the destination 3 such as work or leisure facilities by getting into the vehicle 3 when moving.
- the driver state detection apparatus estimates the state of the driver (for example, the psychological state of impatience) based on the detection result of the driver's behavior at home 1, when riding or during driving. If it is estimated that the vehicle 3 is impatient, the vehicle 3 is set on the safety side and the environment-friendly side to reduce the influence of the impatience on driving. Is restored. Since the impatience is detected from the action at home 1, that is, the action before driving, the vehicle 3 can be driven with the setting of the safe side and the environment-friendly side from the start of driving.
- Behaviors such as A to C are detected in correlation with the driver's impatience! /, Ru (sudden! /, De! /, Ru), so by detecting these behaviors, The ability S to detect the impatience corresponding to each situation.
- a driver information collection device 6 is arranged to detect the driver's behavior.
- the driver information collection device 6 transmits the pre-boarding behavior information of the driver's behavior shown in A to the vehicle 3 via the information center 2.
- the vehicle 3 has a driver state estimation device 5 for estimating the driver's state, and information on the driver's action shown in B or C during / on boarding and the received pre-boarding information. Judge whether the person is in the impatient state or the degree of impotence according to the action information.
- FIG. 2 shows an example of a configuration diagram of a driver state estimation system for estimating a driver's state.
- the driver information collection device 6 and the server 7 of the information center 2 are connected via a network, and the driver status estimation device 5 is wirelessly or wired with a base station 8 connected to the network. It is configured to be able to communicate with.
- the network can be a public switched telephone network (PSTN), a digital communication network (ISDN), or a wired network such as an optical fiber, or a cellular phone network, PHS (Personal
- WiM AX Worldwide Interoperability for Microwave
- the communication between the driver information collection device 6, the server 7, and the driver state estimation device 5 is based on the PPP protocol (Point ⁇ to ⁇ Point ⁇ Protocol), and establishes a data link between them using the PPP protocol.
- PPP protocol Point ⁇ to ⁇ Point ⁇ Protocol
- IP protocol Transmission Control Protocol
- HTTP Hyper Text ransfer
- Control Protocol Internet Protocol
- TCP Transmission Control Protocol
- the network constitutes the Internet or WAN (Wide Area Network), and enables data transmission / reception.
- FIG. 3 shows a configuration diagram of the driver information collection device 6.
- the driver information collection device 6 is configured by connecting various sensors 11 for detecting driver behavior to the information collection device 60 via a network such as a LAN.
- the sensor 11 is, for example, a forgotten object detection device 61, a door sensor 62, a home appliance monitoring device 63, and a sound collection device 64.
- the lost item detection device 61 is a mobile phone, home 1 key, vehicle 3 key, wallet, periodical, ID card, etc. Detecting forgotten things. Whether or not these small items are present at home 1 is detected, for example, by whether or not an IC chip with small items responds to a request radio wave transmitted by the forgotten item detection device 61.
- the transmitter of the request radio wave is provided at the entrance. When the driver detects that the driver is at the entrance (immediately before departure) using an infrared sensor or floor pressure sensor, the transmitter emits a small request radio wave.
- Whether or not there is something left behind is determined by whether or not the IC chip responds. Small items that should be answered when going out are registered in advance in the forgotten item detection device 61! /, Or even! /, And the small items that are carried when going out are stored in the forgotten item detection device 61 and are stored in the past statistics. An accessory to be determined may be determined.
- the door sensor 62 is a sensor that detects opening / closing of the door of the home 1 and a lock / unlock state of the key. For example, if the key is equipped with a switch that outputs an ON signal when the key is locked, and the ON signal is not detected after opening and closing the door, the door sensor 62 determines that the key has been forgotten to close. To do. If a smart key system is applied to the door key, the smart key function is used to detect forgetting to close the key. In the smart key system, a key detection area is formed inside and outside the entrance of home 1, and when the smart key is carried when going out, the smart key is detected inside the entrance. When the smart key is detected in the key detection area and then leaves the detection area, the door is automatically locked. Therefore, for example, if you go out without carrying your smart key, the smart key will not respond in the key detection area outside the entrance, and you will not be detected. Locked to). The door sensor 62 detects such forgetting to close the key (forgotten smart key).
- the home appliance monitor device 63 is a device that monitors the operating state of a fluorescent lamp, a television, or the like. The home monitor device 63 determines that the fluorescent lamp, TV, air conditioner, stereo, etc. have been activated after the driver has gone out!
- the sound collector 64 detects sounds generated by the driver and family and external noises from microphones arranged at various locations in the home 1 and in the garden, and determines the influence of the sound on the driver.
- the sound collector 64 acquires information indicating the volume and location of the sound while detecting the sound with the microphone.
- the sound collecting device 64 is preferably provided with a voice recognition function and recognizes words uttered by the driver.
- the information collection device 60 includes a CPU 605 that executes a program, a memory 602 that stores pre-boarding behavior information and a program acquired by the sensor 11, a ROM 604 that stores an OS and a device program, and an operation that temporarily stores the program
- a communication device 606 and the like for connecting to a network such as a RAM 603 and NIC (Network Interface Card) serving as a region are configured as computers connected to each other via a bus.
- the driver information collecting means 60a is realized by the CPU 605 executing the program.
- the information collection device 60 is connected to the sensor 11 via the interface 601 and collects pre-boarding action information detected by the sensor 11.
- the interface 601 may receive the pre-boarding behavior information specified by the IP address from the sensor 11 while also serving as the NIC of the communication device 600.
- a so-called data port guard is provided as the interface 601 and the data port guard is used. You can also receive pre-boarding behavior information from sensor 11! /.
- the driver information collecting means 60a stores the pre-boarding action information transmitted from the sensor 11 in the memory 602.
- FIG. 4 shows an example of pre-boarding action information stored in the memory 602.
- the driver information collecting means 60a is the power to acquire the pre-boarding action information detected by the sensor 11 at each detection timing.Before getting into the vehicle 3, the previous pre-boarding action information is required.
- Pre-boarding action information is stored.
- “wallet” is stored as forgotten information, “forgetting to close the lock” as door information, and “forgotten fluorescent lamp” as home appliance operation information! It is presumed that the number of detected actions is so high that the driver is impatient!
- the pre-boarding behavior information is configured so that all detectable behaviors are listed on the table, and the flag is turned on when a presumed behavior is detected. Also good.
- the driver information collecting means 60a transmits to the information center 2 pre-boarding behavior information detected by the sensor 11 when the driver goes out.
- the driver information collecting means 60a may determine the driver's impatience state by a method described later. However, since the determination of the impatience state is performed during and during boarding, the vehicle 3 determines the impatience state. Is preferred.
- the information center 2 will be described.
- the server 7 of the information center 2 provides various services to the driver through the driver information collection device 6 and the vehicle 3. For example, the e-mail address of the driver's mobile terminal 13 is registered in the information center 2, and a third party's entry into the vehicle 3 or engine start is monitored and notified to the driver.
- the mobile terminal 13 accesses the information center 2, the on-board device of the vehicle 3 can be remotely operated based on the operation content of the mobile terminal 13.
- FIG. 5 shows a hardware configuration diagram of the server 7.
- the server 7 includes a CPU 71, a main storage device 72, a storage device 73 such as an HDD, a display device 74, an input device 75, a drive device 76, and a communication device 77 that are connected to each other via a bus.
- the CPU 71 provides various functions by reading a program such as an OS or an application from the storage device 73 and executing it, and comprehensively controls the processing performed by the server 7.
- the main storage device 72 is composed of RAM and serves as a work area for temporarily storing the OS, programs, and data.
- the storage device 73 is a nonvolatile memory such as an HDD or a flash memory, and stores files such as an OS, a program, and a driver.
- the display device 74 Based on the screen information specified by the program, the image is drawn on a display such as a liquid crystal with a predetermined resolution and number of colors. For example, a GUI (Graphical User Interface) screen is formed, and various windows and data necessary for operation are displayed on the display.
- GUI Graphic User Interface
- the input device 75 includes a keyboard, a mouse, and the like, and is used to input various operation instructions from the user.
- the drive device 76 is configured such that a storage medium 78 can be inserted, and reads data stored in the storage medium 78 and sends it to the main storage device 72 or the like.
- the communication device 77 is an interface for connecting to a network such as the Internet or a LAN, and includes, for example, a modem and a NIC.
- the driver state estimating means 71a is realized by the CPU 71 executing the program.
- the function of the driver state estimating means 71a is to transfer the pre-boarding action information transmitted from the information collecting device 60 to the vehicle 3 as it is, or based on the pre-boarding action information, determine the driver's impatience by using the method described later. It is sent to vehicle 3. If the information collection device 60 transmits the result of the determination of impatience (information indicating the impatience state described later), the information is transferred to the vehicle 3. That is, the determination of impatience is a process that may be performed by any of the information collection device 60, the server 7, or the vehicle 3.
- a driver's action for detecting a situation that causes impatience when riding will be described. Since it is presumed that the action will be faster if the driver is impatient during boarding, it is possible to detect the driver's impatience by detecting the speed of various operations during boarding.
- FIG. 6 shows an example of a configuration diagram of the driver state estimation device 5.
- the driver state estimation device 5 is controlled by the driver state estimation unit 50, collects the behavior information on boarding or on boarding behavior information of the driver who is on board and on board from various sensors or devices, and provides driver state estimation means 50a.
- the driver state estimation unit 50 is a computer having a CPU, a ROM, a RAM, a memory, and the like, and a driver state estimation unit 50a is realized by executing a program stored in the memory.
- the communication device 41 is connected to a mobile phone network, PHS network, wireless LAN network, etc.
- the pre-boarding action information or the impatience determination result transmitted from 2 is received.
- the load sensor 42 is, for example, a piezoelectric element arranged on the seat of each seat. Enable detection.
- the switch 43 is a variety of switches for in-vehicle devices such as a car navigation system and an engine start button. For example, the switch 43 includes a load sensor that detects an operation error and presses it again or detects an operation force.
- the opening / closing speed sensor 44 is a sensor that detects the opening / closing speed of a door or a trunk, and includes, for example, a sensor that detects a displacement of a hinge of a door or a trunk.
- the portable communication device 45 is a device in which the navigation system communicates with the portable terminal 13 owned by the driver wirelessly or by wire. If Bluetooth is used, the portable communication device 45 and the portable terminal 13 are simply connected to the driver. Starts communication. If connected, a so-called hands-free phone is possible, and the voice emitted by the driver is transmitted from the mobile communication device 45 to the mobile terminal 13, and the voice received from the mobile phone network is received by the mobile terminal 13. Is transmitted to the mobile communication device 45 and output from the vehicle-mounted speaker. In addition, even when the mobile terminal 13 transmits and receives electronic mail, the mobile communication device 45 can extract the electronic mail and display or read it out on the navigation system.
- the indoor camera 46 has a photoelectric conversion element such as a CCD (Charge Coupled Device) mounted on the instrument panel toward the rear of the vehicle, and detects a moving body moving in the room.
- the movement of the moving object is detected based on, for example, whether or not the pixel value (for example, luminance) of the image data changes, and the moving speed of the moving object is detected from the speed of change of the pixel value.
- CCD Charge Coupled Device
- the millimeter wave radar 47 transmits a millimeter wave of a predetermined wavelength, and detects the distance to the obstacle and the relative velocity based on a change in time and frequency until it returns after being reflected by the obstacle.
- Road-to-vehicle communication device 48 is, for example, a VICS (Vehicle Information and Communicati on
- the accelerator pedal stroke sensor 49 detects the depression amount of the accelerator pedal of the driver, and detects the accelerator opening corresponding to the depression amount.
- the brake pedal depression sensor 51 detects the depression of the driver's brake pedal and the depression force.
- the G sensor 52 detects acceleration and deceleration while the vehicle 3 is traveling.
- the white line recognizing device 53 detects the white lines on the left and right sides that separate the driving lane from the image data in front of the vehicle taken by the camera. To detect.
- the face camera 54 is a camera that captures the face of the driver mounted on the steering column, for example, and detects the face direction and the open / closed eyes by processing image data obtained by capturing the face.
- the parking brake switch 55 detects the operating state of the parking brake.
- the shift position sensor 56 detects the shift position (D, 1, 2, N, R).
- the airbag seat sensor 57 detects whether an occupant is seated in the seat and the approximate extension of the seated person.
- the bonnet open / close sensor 510 is a sensor that detects the open / close of the bonnet
- the seat angle sensor 511 is a sensor that detects the angle of the back seat of the driver's seat.
- the driver state estimating means 50a detects an action at the time of boarding by a sensor, and acquires it if the driver shows the action that the driver is impatient. For example, when the load sensor 42 momentarily detects a large load, the driver state estimating means 50a detects that the load has been thrown, and if the indoor camera 46 detects the movement of the load, the load has been thrown. To detect. When the opening / closing speed sensor 44 detects opening / closing of a door or trunk that is faster than a predetermined speed, the driver state estimating means 50a detects that the door / trunk has been opened / closed roughly.
- the driver state estimation means 50a detects a switch operation error or a rough operation. Detect.
- the driver state estimation means 50a detects that the driver is talking. Further, the driver state estimating means 50a determines that the driver is impatient when the time from the door opening to the engine starting is short or when the engine is started without fastening the seat belt. Since there is a large individual difference in the time from opening the door to starting the engine and whether or not the seat belt is worn, it is preferable to memorize past driver behavior and make a judgment by comparing it.
- the driver state estimating means 50a when an action presumed to be impatient as shown in FIG. 7 (a) is detected, stores it as action information upon boarding.
- action information upon boarding In Fig. 7 (a), “loading is thrown in”, “door opening / closing speed high”, and “door opening ⁇ engine start time short” are stored. It is estimated that the more the detected behavior is, the higher the driver's urgency.
- the action information at the time of boarding lists all the actions that can be detected on the table, If an estimated action is detected, the flag may be turned on.
- driver state estimation device 5 A driver's action for detecting a situation that causes impatience during the ride will be described.
- the configuration of the driver state estimation device 5 is the same as that in FIG.
- the driver state estimating means 50a detects an action during the boarding by using a sensor, and acquires it if the driver shows the action that the driver is impatient. For example, when the distance force S with the preceding vehicle detected by the millimeter wave radar 47 is small, the driver state estimating means 50a detects that the driver is impatient. Further, when the traffic signal is acquired from the road-to-vehicle communication device 48 or the camera that captures the front and the vehicle 3 passes the signal in a yellow state, the driver state estimation means 50a detects that the driver is in focus. .
- the driver state estimating means 50a indicates that the driver is impatient. judge. Also, if the delay of the brake start timing detected by the brake pedal force sensor 51 in relation to the preceding vehicle detected by the millimeter wave radar 47 is detected, or if the deceleration detected by the G sensor 52 is greater than the predetermined value, the driver state is estimated. Means 50a detects that the driver is impatient.
- the driver state estimating means 50a detects that the driver is impatient if the changing frequency of the driving lane exceeds a predetermined value. . Further, when the meandering of the vehicle 3 is detected with respect to the white line, the driver state estimating means 50a detects that the driver is impatient. On the expressway, if the time spent on an overtaking lane (for example, the rightmost lane and no driving lane on the right side) is longer than a predetermined time, the driver state estimating means 50a indicates that the driver is impatient. To detect.
- the driver state estimating means 50a detects that the driver is impatient. Further, when it is detected that the parking brake is not released while the parking brake switch 55 is traveling, the driver state estimating means 50a detects that the driver is impatient. Further, the driver state estimating means 50a detects that the runner cannot take a break when the continuous operation time (measures the engine starting force) exceeds a predetermined value!
- a conversation of an occupant during traveling is extracted by a microphone and a voice recognition device, and an angry voice is extracted.
- the driver state estimation means 50a detects that the pointer is impatient.
- the pointer is impatient when it is difficult to detect traffic information from VICS or to increase the speed due to rainy weather or heavy fog.
- the driver state estimating means 50a when an action estimated to be impatient is detected as shown in FIG. 7 (b), stores it as action information during boarding.
- action information during boarding In Fig. 7 (b), “Small distance”, “Ignore signal” and “High acceleration” are stored. It is estimated that the more the detected behavior is, the higher the driver's urgency.
- the behavior information during boarding may be configured so that all the detectable behaviors are listed on a table and the flag is turned on when a behavior estimated to be impatient is detected. Good.
- the driver state estimating means 50a acquires, for example, pre-boarding behavior information and on-boarding behavior information before starting the engine, and acquires on-boarding behavior information during traveling. As described above, since the pre-boarding behavior information, the on-boarding behavior information, and the on-boarding behavior information are considered to have a higher degree of driver's intent as the detected behavior increases, the driver state estimation means 50a detects, for example, When the number of action information items is equal to or greater than a predetermined value, it is determined that the person is in the impatient state, and the degree of impatience is determined according to the number of action information items.
- FIG. 8 is a diagram showing an outline of the determination of impatience.
- the driver state estimating means 50a multiplies the number of pre-boarding action information, boarding action information, and boarding action information, and if it is greater than or equal to a predetermined value (Yes in S1), it determines that the driver is in an impatient state ( S4). In addition, even if it is not more than the predetermined value (No in S1), if two or more of the number of pre-boarding behavior information, on-boarding behavior information or on-boarding behavior information is a predetermined value L or more (Yes in S2) ), The driver state estimating means 50a determines that the driver is in an insensitive state (S4). Even if it is not more than the predetermined value L!
- the driver state estimating means 50a determines that the driver is in an impatient state (S4). In addition, when it is not determined to be in an intimate state by the time of boarding, it is determined to be in an insensitive state at any time according to the action information during boarding. [0044] Also, the value obtained by multiplying the number of pre-boarding behavior information, the on-boarding behavior information, and the on-boarding behavior information, or the value obtained by adding the number of pre-boarding behavior information, on-boarding behavior information, and on-boarding behavior information. Accordingly, the degree of impatience may be determined in several stages.
- the determination of the impatience state may be made based on the pre-boarding behavior information and the pre-boarding behavior information and the on-boarding behavior information that do not need to use all the pre-boarding behavior information, the on-boarding behavior information, and the on-boarding behavior information.
- the impatience state may be determined from only the information.
- the driver state estimation device 5 obtains information such as age, gender, and environment, and performs weighting for determination of the impatience state.
- the age and gender may be registered in advance in the information center 2 and the vehicle 3, or the reader reads it from a driver's license on an IC card.
- Environmental information such as rain, snow and traffic jams can be obtained from rain sensors and VIC S.
- the driver state estimation means 50a When determining whether or not the driver state estimation means 50a is in an impatient state, the driver state estimation means 50a multiplies the number of action information or the predetermined values M and L by a coefficient (weighting) according to age, sex and environment. For example, in the case of age, the more the elderly, the more likely the influence of driving is on driving. In addition, for example, males are weighted with respect to gender, so that it is easier to determine that the environment is impatient when it is raining or congested.
- vehicle control that is set when it is determined that the vehicle is in an impatient state will be described. If the driver is impatient, if the speed is increased too much, the exhaust gas condition may be deteriorated, so if the driver is determined to be impatient, the driver will be alerted and excessive speed will be suppressed. It is preferable to perform vehicle control.
- FIG. 9 shows an example of a system configuration diagram of the vehicle 3 that controls the vehicle when it is determined that the vehicle is in an impatient state.
- the driver state estimation unit 50 is connected to the meter ECU 501, engine ECU 502, navigation ECU 503, LKA (Lane Keeping Assist) device 504, A CC (Adaptive Cruise Control) device 505, and inter-vehicle communication device 506 via an in-vehicle LAN such as CAN. Then, when it is transmitted that the driver state estimating means 50a is in an insensitive state, the control changing means 50b requests each of these ECUs to change the control value. [0049] Controls that are determined to be in impatience are classified into safety aspects and environmental aspects, and further classified into three aspects in terms of safety.
- Safety aspect I Alerting the driver 'Warning
- the meter ECU 501 emits a combination panel lamp or alarm sound, and displays information for calming the driver when the control is turned on, for example, in response to a request from the control change means 50b. More preferably, if the navigation ECU 502 that controls the navigation system displays information for calming the driver, more powerful expression can be displayed. For information on calming the driver, for example, the message “You are determined to be in impatience. Try to drive safely.” And the graph showing the relationship between the degree of impatience and the degree of danger emphasizes the current degree of impatience. Such as a photograph of a family member. In addition, you may output pre-recorded voices of yourself and family members (“Let's calm down, let's drive”) and classical music.
- Safety aspect II Autonomous vehicle control value change
- the engine ECU 503 refers to the accelerator map according to the accelerator opening, determines the engine control amount and the like for the target torque, and controls the transmission with reference to the shift map so as to achieve the target acceleration. Therefore, when it is determined that the vehicle is in the impatient state and there is a request from the control changing means 50b, the engine ECU 503 determines the engine control amount and shift controls so that the acceleration and the vehicle speed are lower than usual.
- the LKA device 504 sounds an alarm sound when the amount of deviation from the target travel line exceeds a threshold with the approximate center of the left and right white lines as the target travel line, but is determined to be in an impatient state and the control changes.
- the threshold for sounding the alarm is lowered.
- the ACC device 505 determines that the distance between the preceding vehicle and the preceding vehicle is set to, for example, one of three levels and causes the vehicle 3 to follow the vehicle, and if there is a request from the control change means 50b, Set the longest inter-vehicle distance among the three levels or a longer inter-vehicle distance.
- This kind of unusual control makes it easier for the driver to be determined to be in an impatient state, making it easier to regain calmness, and a warning sound is sounded earlier, and the distance between vehicles is longer, resulting in impatience. Even so, safety can be ensured.
- the PCS (Pre-Crash Safety System) 507 an alarm sound is emitted with a TTC (Time To Collision) shorter than usual. To do.
- the control may be executed after notifying the driver that the vehicle control corresponding to the impatience state is to be executed.
- the driver does not use the LKA device 504 or the ACC device 505, the LKA device 504 or the ACC device 505 is turned on and the control is executed after notifying the driver.
- Safety Aspect III Vehicle Control by Autonomous Infrastructure System
- the inter-vehicle communication device 506 includes a transmitter / receiver, and is a device that communicates with other vehicles by transmitting and receiving radio frequency radio waves (for example, millimeter waves of 30 GHz to 300 Hz band) using a communication antenna. .
- radio frequency radio waves for example, millimeter waves of 30 GHz to 300 Hz band
- the inter-vehicle communication device 506 can warn other surrounding vehicles or request avoidance to ensure safety more reliably. If the vehicle behavior (vehicle speed, meandering, inter-vehicle distance, etc.) depends only on the degree of impatience, an avoidance request may be requested.
- the engine ECU 503 determines the amount of engine control so that the acceleration and vehicle speed are lower than usual, and shift control is performed to provide environment-friendly vehicle control. Hybrid vehicles and electric vehicles generate power from the regenerative power at the time of braking, but when performing vehicle control in consideration of the environment, the engine ECU 503 controls the vehicle 3 so that it can easily enter the regenerative mode. It is possible to control the vehicle in consideration of the environment.
- the driver state estimating means 50a detects the behavior of the driver when boarding and while riding, detects the behavior estimated to be normal (not impatient), and releases the impatience state.
- the driver state estimation device 5 of the vehicle 3 includes a bonnet open / close sensor 510 and a seat angle sensor 511.
- the driver state estimating means 50a detects the opening / closing of the bonnet and the adjustment of the seat angle from the bonnet opening / closing sensor 510 and the seat angle sensor 511, and stores them as the defocusing action information.
- the driver may not be impatient if he allows another vehicle to be interrupted or is driving while maintaining a driving lane, if the distance between vehicles is large, or if he respects the stop. It is considered that the degree of irritability tends to decrease.
- the driver state estimation means 50a travels in the same lane for a predetermined time or longer by the white line recognition device 53 when the millimeter wave radar 47 or the white line recognition device 53 detects another vehicle that interrupts immediately before the driving lane of the vehicle 3. If the distance between the vehicle and the preceding vehicle detected by the millimeter-wave radar 47 is more than a predetermined value, the vehicle 3 is temporarily stopped at the temporary stop point acquired by the navigation system or road-to-vehicle communication. If this is done, these are stored as impatience action information.
- the driver state estimating means 50a tends to sufficiently decrease the degree of impatience by offsetting the total number Q of pre-boarding behavior information, on-boarding behavior information, and on-boarding behavior information with respect to the number P of the unfocusing behavior information.
- the impatience state may be canceled in stages.
- the three vehicle controls from the viewpoint of safety were explained, but the degree of intervention increases as control over the degree of impatience in the order of safety aspect I, safety aspect II, and safety aspect. Therefore, it is preferable that the driver state estimation means 50a controls the vehicle so that the degree of intervention is reduced each time the impatience release action information is detected. For example, if immobility release behavior information is detected while vehicle safety control is being performed, vehicle control for safety III is stopped, and if vehicle release control information is detected, the vehicle control for safety plane is stopped. Then, when the impatience release action information is detected, the safety aspect I vehicle control is stopped. By releasing in this way, the higher the degree of impatience, the more slowly the state of impatience can be released, making it easier to ensure safety.
- FIG. 10 is a flowchart showing an operation procedure of the driver state estimation device 5.
- the flowchart in Fig. 10 starts with, for example, a smart key unlocking as a trigger.
- the driver state estimating means 50a acquires the on-board action information (S10).
- the vehicle 3 When the idling is turned on, the vehicle 3 receives the pre-boarding action information transmitted via the information center 2 (S20). Note that if the pre-boarding action information can be received even if it is not in the idling-on state, it may be received before the driver reaches the vehicle 3.
- the driver state estimating means 50a determines whether or not the driver is in impatience according to the number of pre-boarding action information and the number of boarding action information (S30). Whether or not the vehicle is in impatience is determined based on whether the value obtained by multiplying the number of pre-boarding action information and the number of action information when boarding is greater than or equal to a predetermined value, V, and whether the deviation is greater than or equal to a predetermined value. To do.
- the driver state estimation means 50a If the state is not in the impatience state (No in S30), the driver state estimation means 50a does nothing and ends the process. In the case of the impatience state (Yes in S30), the driver state estimation means 50a executes vehicle control in consideration of safety aspects ⁇ to ⁇ and environmental aspects (S40).
- the driver state estimating means 50a determines whether or not the impatience release action information is detected (S50). For example, the driver state estimating means 50a determines that the focus release action information is detected when a predetermined number or more of the focus release information is detected.
- the driver state estimation means 50a releases the impatience state, and ends the vehicle control in consideration of safety and environment.
- FIG. 11 is a flowchart showing an operation procedure of the driver state estimation device 5.
- the flowchart of Fig. 11 further detects vehicle action information and performs vehicle control in consideration of safety and environment.
- the same steps as those in FIG. 10 are denoted by the same reference numerals.
- the driver state estimating means 50a acquires the on-board action information (S10).
- the vehicle 3 When the idling is turned on, the vehicle 3 receives the pre-boarding action information transmitted via the information center 2 (S20). Note that if the pre-boarding action information can be received even if it is not in the idling-on state, it may be received before the driver reaches the vehicle 3.
- the driver state estimating means 50a determines whether or not the driver is in an impatient state according to the number of pre-boarding action information and boarding action information (S30). Whether you are in impatience or not Judgment is made based on whether or not the value obtained by multiplying the number of motion information and the number of action information at the time of boarding is greater than or equal to a predetermined value, V, and whether the deviation is greater than or equal to a predetermined value.
- the driver state estimating means 50a does nothing at the time of boarding, but determines whether or not to detect action information during boarding (S60). For example, if the on-boarding action information exceeds a predetermined value, it is determined that the on-boarding action information has been detected, and the process proceeds to step S30 and subsequent steps.
- the driver state estimating means 50a executes vehicle control in consideration of safety aspects ⁇ to ⁇ and environmental aspects (S40).
- the driver state estimating means 50a determines whether or not the impatience release behavior information is detected (S50). For example, the driver state estimating means 50a determines that the focus release action information is detected when a predetermined number or more of the focus release information is detected.
- the driver state estimation means 50a releases the impatience state, and ends the vehicle control in consideration of safety and environment.
- Example 2 enables safe driving and environmentally friendly driving even when you are in a hurry.
- the detection accuracy may be low in the detection from the home S1, the force S that detects the behavior that the driver is estimated to be impatient from the behavior at the time of riding and during the riding. Therefore, the factors that cause impatience to the driver more directly are detected. For example, there is a situation where a sudden family misfortune, a wife's childbirth, a family accident, etc. can happen to anyone, and if it happens, the driver is impatient with power and accuracy. Therefore, by detecting such a situation, it is possible to detect the impatience individually and specifically, not only from the driver's action, and it is possible to improve the accuracy of the impatience detection. Individual situations that cause the driver to feel impatience are detected from, for example, schedules, e-mails, conversation content, phone call content, etc. [0077] [Before boarding]
- FIG. 12 shows a configuration diagram of the driver information collecting apparatus 6 in the present embodiment.
- a personal computer hereinafter referred to as a PC 12 is connected to the information collecting device 60 via a network such as a LAN.
- the PC 12 is a computer having a CPU, ROM, RAM, HDD, and the like, and implements schedule software and mail software by executing a program stored in the HDD.
- the driver uses this schedule software and mail software to manage the schedule and to send and receive e-mails with acquaintances.
- the individual information extracting means 12a for extracting the driver's individual focus information from the schedule and the transmitted / received e-mail is realized.
- the individual information extraction means 12a is a resident program that runs in the background while the schedule software and mail software are running! /.
- the individual information extraction means 12a includes keywords (e.g., dead, rushing, born soon, crying, funeral, nighttime, funeral, dead, general manager, officer, important, presentation, etc.)
- the driver can register), and the individual focus information of the driver that matches the keyword is extracted and transmitted to the information collecting device 60.
- FIG. 13 (a) shows an example of a schedule displayed by the schedule software
- FIG. 13 (b) shows an example of an electronic mail received by the mail software.
- the schedule software "10: 0 0 Director and business negotiations" and "17:00 Presentation presentation ( ⁇ Hall)" are displayed.
- the mail software displays “X-san has passed away.
- the individual information extraction means 12a extracts the “general manager”, “presentation”, “died”, and “night pass” that match the keyword from the schedule, and uses the extracted words themselves or the number of extracted keywords as an individual focus information collection device. Send to 60.
- the schedule software and the mail software can also be realized by the mobile terminal 13.
- the mobile terminal 13 is a computer having a CPU, a ROM, a RAM, a flash memory, and the like having a transmission / reception device that wirelessly transmits and receives electronic mail, such as a mobile phone, a PDA (Personal Data Assitant), and a mobile game machine.
- the mobile terminal 13 is an individual information extractor as with the PC 12. Step 12a is provided, and the individual focus information extracted from the schedule and the e-mail is transmitted to the information collecting device 60 by e-mail, for example.
- the mobile terminal 13 and the PC 12 can synchronize schedules and e-mails, the personal terminal 13 may extract individual impotence information from the mobile terminal 13 when they are synchronized.
- the information collection device 60 extracts keywords from conversations between the driver and family at home 1 by using the voice recognition function of the sound collection device 64, and extracts situations that cause impatience with high accuracy. .
- the driver information collecting unit 60a transmits the individual focus information to the vehicle 3 via the information center 2 every time the individual focus information is detected or periodically.
- the vehicle 3 has the mobile communication device 45.
- the driver state estimating means 50a may extract the keyword from the email transmitted to the mobile terminal 13 to detect the individual focus information. it can.
- the content of the call is always taken into the vehicle 3 such as a navigation system, so it is possible to extract a key word from the content of the call by voice recognition.
- the vehicle 3 includes a voice recognition device for controlling the in-vehicle device, keywords can be extracted from the content of the conversation.
- the driver state estimating means 50a stores the keyword detected during or during the boarding as the individual focus information.
- a sudden situation that occurs only from information such as an e-mail or a schedule may be impatient while riding. For example, if the vehicle 3 comes into contact with an animal or another vehicle, the driver is likely to be impatient with a certain degree of accuracy. If a vehicle or an ambulance approaches, the direction and predetermined operation (clear the road) The driver is likely to be impatient. Therefore, the driver state estimation device 5 detects contact with an animal or other vehicle using, for example, a load sensor for deploying an airbag or an impact sound, detects a knocker or the like with an alarm sound, and stores these as individual focus information. To do. [0085] [Determination of impatience]
- the driver state estimating means 50a of the vehicle 3 receives the individual impatience information from the home 1, and the vehicle 3
- FIG. 14 is a diagram showing an outline of the determination of impatience.
- the driver state estimation means 50a determines whether or not a plurality of pieces of individual impatience information has been detected (S100), and if there are a plurality of pieces of information (Yes in S100), determines that the driver is in an impatience state (S400).
- the driver state estimating means 50a determines that it is in an impatient state (S400).
- weighting may be performed according to age, sex, environment, and the like.
- the control value change determining means 50b requests each ECU to change the control value, sets the vehicle 3 with the same vehicle characteristics as in the first embodiment, and performs the same release determination. Go back and restore vehicle characteristics.
- FIG. 15 is a flowchart showing an operation procedure of the driver state estimation device 5.
- the flowchart of FIG. 15 performs vehicle control in consideration of safety and environment based on individual impatience information, pre-boarding action information, boarding action information, and boarding action information.
- the driver state estimating means 50a acquires the on-boarding action information (S101).
- the vehicle 3 When the idling is turned on, the vehicle 3 receives the individual impatience information and the pre-boarding behavior information transmitted via the information center 2 (S102). Note that even if it is not on-demand, it can be received. If it can be received, it may be received before the driver reaches the vehicle 3.
- the driver state estimating means 50a determines whether or not the driver is in an impatient state according to the number of individual impatience information, pre-boarding action information, and boarding action information (S103). Whether the state of impatience is greater than or equal to the number of individual impatience information, whether individual impatience information, pre-boarding action information, and on-boarding action information is at least a predetermined value L, or individual impotence information, Judgment is made based on whether either the pre-boarding action information or the boarding action information is greater than or equal to the predetermined value M.
- the schedule since the schedule is used, not only the contents but also the waiting time is extracted. For example, the scheduled arrival time obtained from VICS etc. exceeds the waiting time. Alternatively, it may be determined that the state is in impatience.
- the driver state estimation means 50a does nothing at the time of getting on, but determines whether or not to detect individual impotence information or action information during getting on ( S107). If not detected (No in S107), the driver state estimating means 50a starts traveling with the normal vehicle characteristics.
- step S107 If detected (Yes in S107), the process returns to step S103, and it is determined again whether or not it is in an in-focus state.
- the driver state estimating means 50a executes vehicle control in consideration of safety aspects ⁇ to ⁇ and environmental aspects (S104).
- the driver state estimating means 50a determines whether or not the impatience release action information is detected (S105). For example, the driver state estimating means 50a determines that the focus release action information has been detected when a predetermined number or more of the focus release information has been detected.
- the driver state estimation means 50a cancels the impatience state and ends the vehicle control in consideration of safety and environment.
- Example 3 In the first embodiment, information on the driver's sleep state can be extracted with the same configuration as that of the first embodiment. Therefore, in the present embodiment, there is a possibility that the driver's sleep state (physical condition) is determined by detecting information related to the sleep state of the driver at home 1 by the same configuration as the detection of impatience (hereinafter simply referred to as “sleep”). If it is determined that there is drowsiness), the effect of drowsiness on driving is reduced by setting the vehicle characteristics to a state that takes drowsiness into account. Only drowsiness may be detected or behavior that causes impatience may be detected at the same time, but in this embodiment, behavior that is impatient is detected at the same time.
- the configuration diagram of the driver information collection device 6 is FIG. 3, the configuration diagram of the driver state estimation device 5 is FIG. 6, and the system configuration diagram of the vehicle 3 that controls the vehicle when it is determined that there is drowsiness is FIG. Since these are the same, description is omitted.
- the information collecting device 60 at home 1 uses the home appliance monitoring device 63 and the sound collecting device 64 to collect sleepiness factor information that affects the sleep state of the driver. Since the home appliance monitor device 63 detects the operation time of the fluorescent lamp, the information collection device 60 can estimate the sleep time based on the time from the turn-off time to the turn-on time of the next day. Also, if the TV is lit even when the fluorescent lamp is turned off, the sleep time is estimated by an appropriate method, such as setting the sleep time from the time when the TV is turned off to the time when some household electrical appliance is turned on the next day. Also good.
- the sound collector 64 collects the driver's sleep,! /, And snoring sounds, so the quality of sleep is based on the snore cycle and volume. Determine. Also, in households with baby power, the number, frequency, and volume of night crying are determined from late-night crying, and the volume and frequency of runaway tribe noise are determined from a microphone that detects external noise.
- the information collecting device 60 stores sleep factor information related to sleep time, snoring, baby crying at night, noise, and the like in the memory 602, respectively.
- FIG. 16 shows an example of sleepiness factor information stored in the memory 602.
- the driver information collecting means 60a stores sleepiness factor information for determining the sleep state of the driver of the previous night every morning in the memory 602, for example.
- “7 hours” is stored as sleep time
- “snoring level 3” and “ambient noise level 2” are recorded as sound collection information!
- the driver information collecting means 60a sends the sleepiness factor information to the information center when the driver goes out. Since the data is transmitted to the vehicle 3 via 2, the information center 2 or the vehicle 3 determines whether or not the driver is drowsy. The driver information collecting means 60a may determine whether or not there is drowsiness based on the drowsiness factor information.
- the drowsiness is determined to be drowsy when, for example, a plurality of conditions such as whether the sleeping time is less than a predetermined time, whether the snoring level is higher than a predetermined level, whether the ambient noise level is higher than a predetermined level, etc. . Also, if the sleep time is extremely short, it is determined that there is drowsiness alone, or it is determined that there is drowsiness if the respective threshold values are exceeded by weighting each from the influence of sleepiness factor information on sleepiness. Further, the sleepiness level may be determined by dividing sleepiness into several stages.
- the driver state estimation means 50a determines that there is drowsiness when the eye closing time continues for a predetermined time or more. judge.
- a sensor for detecting body temperature, blood pressure, sweating, etc. may be provided, for example, and a drowsiness may be determined from these.
- the vehicle control set when it is determined that there is drowsiness will be described. If it is determined that there is drowsiness, it may be necessary to alert the driver not to become sleepy, or to leave the lane or collide with a preceding vehicle if sleepy.
- the control changing means 50b changes the control value to the meter ECU 501 etc. via the in-vehicle LAN such as CAN. Request to do.
- the meter ECU 501 changes the frequency and tone of the warning sound and guides the driver to wake up.
- the alertness is improved by increasing the frequency more than usual (for example, 0.7 kHz ⁇ l.4 kHz) (for example, beep, beep, beep ⁇ pi beep).
- the volume of the warning sound is increased.
- alerts are made by increasing the characters displayed on the navigation screen and the LCD, and increasing the brightness of the warning light of the combination lamp. Improve sexiness.
- the LKA device 504 decreases the threshold value for listening to the alarm sound.
- the PCS device sounds a warning sound with a TTC shorter than usual.
- the ACC device 505 is set to the longest inter-vehicle distance force among the three stages, and to an even longer inter-vehicle distance.
- control may be executed after notification. Also, if the driver is not using the LKA device 504, ACC device 505, or PCS device 507, control is performed by turning them on after notifying the driver.
- the air conditioner temperature may be controlled to be lower, or the oxygen concentration may be increased to wake up.
- the control change means 50b tilts the seat before starting driving or moves the steering position to the maximum or minimum height to adjust the position of the seat and steering to the driver. Awakening may be promoted.
- driver state estimating means 50a determines that the driver is in an impatient state, Example 1 and
- each ECU controls the vehicle 3 according to vehicle characteristics that take safety aspects ⁇ to ⁇ and environmental aspects into consideration. For vehicle control that overlaps between sleepiness and impatience, either vehicle control is performed.
- the driver state estimation means 50a detects the behavior of the driver when boarding and while riding, detects the behavior estimated to be normal (no sleepiness), and releases the impatience state.
- the driver state estimation means 50a detects the operation of the driver while traveling and detects the action that is estimated to eliminate sleepiness. In other words, the driver state estimation means 50a determines the steering speed by the steering angle sensor, the distance from the preceding vehicle by the millimeter wave radar 47, the state of the traffic light and the timing of the brake pedal operation, the degree of deviation of the vehicle 3 from the target travel line. Etc. are detected and stored as sleepiness release action information.
- the driver's face is photographed by the face camera 54 and the eye opening / closing is detected. It is memorized as sleepiness release action information that sleepiness tends to be eliminated. The reason for “every predetermined time” is to make it possible to gradually cancel the drowsiness determination.
- the driver state estimating means 50a cancels the drowsiness determination when, for example, a predetermined number or more of sleepiness release action information is detected.
- the vehicle control from autonomous vehicle control to alerting the driver is gradually reduced so that the degree of intervention is reduced. Good.
- FIG. 17 is a flowchart showing an operation procedure of the driver state estimation device 5.
- the flowchart in FIG. 17 is started by, for example, turning on the ignition.
- the vehicle 3 receives sleepiness factor information transmitted via the information center 2 (S201). Note that the driver may receive the sleepiness factor information before reaching the vehicle 3 as long as the sleepiness factor information can be received even when the vehicle is not on.
- the driver state estimating means 50a determines whether or not the driver is drowsy according to the number of sleepiness factor information (S202).
- the driver state estimating means 50a does nothing and ends the process. If it is determined that there is drowsiness (Yes in S202), the control change means 50b alerts and warns the driver, and changes the vehicle control value so that the vehicle can travel safely even if there is drowsiness (S203).
- the driver state estimating means 50a determines whether or not the sleepiness release action information is detected (S204). For example, the driver state estimating means 50a makes a determination when a predetermined number or more of sleepiness release information is detected.
- the control change means 50b releases the determination of the presence of sleepiness and ends the vehicle control considering sleepiness.
- drowsiness is estimated from the driver's behavior at home 1 and vehicle control can be performed in consideration of drowsiness before the start of driving. Driving is possible.
- driving is possible.
- the driver's state can be estimated before the start of driving, appropriate driving support can be provided at the start of driving, and the driver's mental state can be estimated. Can reduce the influence on driving.
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Veterinary Medicine (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Emergency Alarm Devices (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
明 細 書
ドライバ状態推定装置、サーバ、ドライバ情報収集装置及び運転者状態 推定システム
技術分野
[0001] 本発明は、運転者の状態を推定して車両を制御するドライバ状態推定装置、サー 八、ドライバ情報収集装置及び運転者状態推定システムに関する。
背景技術
[0002] 車両を操作して移動して!/、る間、待ち合わせ時間や目的地までの到達時間を気に して運転者が焦りを感じる状況に陥ることが多い。このような焦りが運転に与える影響 は個人差があるものの好ましいものではなぐまた、運転者本人も気づかないうちに 焦り状態に陥るおそれがある。そこで、運転者の焦りを検出する装置や焦りを検出し た場合にそれを沈静化する装置が提案されている(例えば、特開 2004— 106716 号公報参照。)。特許文献 1記載の装置では、乗員の移動幅や移動回数を温度セン サにより基づき検出して、移動幅や移動回数が所定以上の場合に運転者が焦って
V、ると判定し、焦って!/、ると判定した場合には音楽を出力させたり香りを発生させて 運転者を沈静化する。
[0003] しかしながら、特許文献 1記載の装置は温度センサのような直接的な手法により焦り を検知するものであるため、室温が高い場合には運転者の体温を検出することが困 難になるおそれがある。
[0004] ところで、運転者の精神的な状態または体調が運転に影響を与えると考えられてい るが、運転者の精神的な状態や体調は運転中だけでなく運転前力 運転者に作用 し、運転中に発現するものである。し力、しながら、従来、運転前の精神的な状態や体 調を検出して運転前の運転者の状態を推定する技術は提案されて!/、な!/、。運転前 の運転者の精神的な状態や体調を検出せず、運転開始後から検出するのでは、運 転を開始するまで精神的な状態や体調等を検出することができず支援が遅れてしま うという問題がある。
特許文献 1 :特開 2004— 106716号公報
発明の開示
発明が解決しょうとする課題
[0005] 本発明は、上記課題に鑑み、運転開始前から運転者の状態を推定することが可能 なドライバ状態推定装置、サーバ、ドライバ情報収集装置及び運転者状態推定シス テムを提供することを目的とする。
課題を解決するための手段
[0006] 上記課題を解決するため、本発明は、運転者の状態を推定するドライバ状態推定 装置において、運転開始前の運転者の状態を推定するドライバ状態推定手段と、ド ライバ状態推定手段により推定されたドライバ状態に基づき、車載装置の制御を変 更する制御変更手段と、を有することを特徴とする。
[0007] 本発明によれば、運転開始前の運転者の状態を推定することで運転開始前から運 転者の状態を検出でき、運転開始時から適切な運転支援をおこなうことができる。
[0008] また、本発明の一形態におレ、て、運転者の自宅から検出した情報を記憶した運転 者自宅情報 (例えば、乗車前行動情報又は乗車時行動情報の少なくとも!/、ずれか) を受信する運転者自宅情報受信手段、を有し、ドライバ状態推定手段は運転者自宅 情報に基づき運転者の状態を推定することを特徴とする。本発明によれば、運転者 の自宅における情報から運転者の状態を推定することができる。
発明の効果
[0009] 運転開始前力 運転者の状態を推定することが可能なドライバ状態推定装置、サ ーノ ドライバ情報収集装置及び運転者状態推定システムを提供することができる。 図面の簡単な説明
[0010] [図 1]運転者の状態の推定の概略を説明するための図である。
[図 2]運転者の状態を推定するための運転者状態推定システムの構成図の一例であ
[図 3]ドライバ情報収集装置の構成図である。
[図 4]メモリに記憶される乗車前行動情報の一例である。
[図 5]サーバのハードウェア構成図である。
園 6]ドライバ状態推定装置の構成図の一例である。
[図 7]乗車時行動情報及び乗車中行動情報の一例を示す図である。
園 8]焦り判定の概略を示す図である。
園 9]焦り状態と判定された場合に車両制御する車両のシステム構成図の一例である 園 10]ドライバ状態推定装置の作動の手順を示すフローチャート図である。
園 11]ドライバ状態推定装置の作動の手順を示すフローチャート図である。
園 12]実施例 2におけるドライバ情報収集装置の構成図の一例である。
[図 13]スケジュールソフトが表示したスケジュール、メールソフトが受信した電子メー ルの一例を示す図である。
園 14]実施例 2において焦り判定の概略を示す図である。
園 15]実施例 2においてドライバ状態推定装置の作動の手順を示すフローチャート 図である。
園 16]メモリに記憶される眠気要因情報の一例である。
園 17]実施例 3においてドライバ状態推定装置の作動の手順を示すフローチャート 図である。
符号の説明
1 自宅
2 情報センタ
3 单両
4 目的地
5 ドライバ状態推定装置
6 ドライバ情報収集装置
7 サーノ
8 基地局
11 センサ
50 ドライバ状態推定部
50a, 71a ドライバ状態推定手段
50b 制御変更手段
60 情報収集装置
60a ドライバ情報収集手段 発明を実施するための最良の形態
[0012] 以下、本発明を実施するための最良の形態について、実施例を挙げて図面を参照 しながら説明する。
実施例 1
[0013] 図 1は、運転者の状態の推定の概略を説明するための図である。運転者は自宅 1 で生活しており、移動する場合に車両 3に乗り込んで勤務先やレジャー施設などの 目的地 4まで運転することが一般的である。本実施形態のドライバ状態検出装置は、 自宅 1、乗車時又は運転中における運転者の行動の検出結果に基づき運転者の状 態(例えば、焦りの心理状態)を推定する。そして、焦っていると推定した場合には車 両 3は車両特性を安全側かつ環境配慮側に設定することで焦りが運転に与える影響 を低減し、また、運転者が落ち着いたと判定すると車両特性を元に戻す。 自宅 1にお ける行動、すなわち運転前における行動から焦りを検出するので、運転を開始した時 点から安全側かつ環境配慮側の設定で車両 3を走行させることができる。
[0014] 始めに、焦りをもたらす状況及びその時の運転者の行動について概略を説明する 。ここでは、時間がない状況が生じた場合に人は焦りやすくなると考え、その状況の 一例を示す。
a. 自宅 1において焦りをもたらす状況
出発が遅れた、寝坊した、忘れ物をした、心配事がある、人を待たせている b.車両 3に乗車時に焦りをもたらす状況
急いでいる、操作忘れ、乱暴
c運転中に焦りをもたらす状況
予定時間に遅れそう、時間がない、前の車が遅い、トラック等で前が見えない、渋滞 中、道に迷う、交差点信号に間に合うかどうか不安
したがってこのような状況をドライバの行動から検出すれば、運転者の焦りを検出す
ること力 Sでさる。
A.焦りをもたらす状況を自宅 1で検出するための運転者の行動
忘れ物をする、玄関の鍵を閉め忘れる、部屋の電気を消し忘れる、ドアハンドルで 施錠を何回も確認する
B.焦りをもたらす状況を乗車時に検出するための運転者の行動
荷物を車内に投げ込む、ドア'トランクを乱暴に開閉(速度大)、スィッチ操作ミス'乱 暴'操作カ大、乗り込みからエンジン始動前の時間が短い、乗車時携帯電話で通話 している
C.焦りをもたらす状況を運転中に検出するための運転者の行動
車間距離小、信号無視 (黄色で通過)、アクセル開度大 ·加減速 Gが大、ブレーキタ イミング遅れ.踏カ大、蛇行、レーンチェンジ頻度大、追い越しレーン維持、視点集中 •散乱、連続運転時間大、パーキングブレーキ引きずり、
A〜Cのような行動は運転者が焦って!/、る (急!/、で!/、る)ことと相関して検出されるも のであることから、これらの行動を検出することでそれぞれの状況に対応した焦りを検 出すること力 Sでさる。
[0015] 自宅 1には、運転者の行動を検出するためドライバ情報収集装置 6が配置される。
ドライバ情報収集装置 6は、 Aに示した運転者の行動の乗車前行動情報を情報セン タ 2を介して車両 3に送信する。同様に、車両 3は運転者の状態を推定するためのド ライバ状態推定装置 5を有し、 B又は Cに示した運転者の行動の乗車時/乗車中行 動情報、及び、受信した乗車前行動情報に応じて焦り状態か否か又は焦り度を判定 する。
[0016] 図 2は、運転者の状態を推定するための運転者状態推定システムの構成図の一例 を示す。運転者状態推定システムでは、ドライバ情報収集装置 6と情報センタ 2のサ ーバ 7はネットワークを介して接続されると共に、ドライバ状態推定装置 5はネットヮー クに接続された基地局 8と無線又は有線で通信可能に構成されている。ネットワーク は、公衆電話交換網 (PSTN)、デジタル通信ネットワーク (ISDN)若しくは光ファイバ等 の有線、又は、携帯電話網、 PHS (Personal
Handy-phone System)網、無線 LAN網又は WiM AX (Worldwide Interoperability for
Microwave
Access)等の無線にて構成される。
[0017] ドライバ情報収集装置 6、サーバ 7及びドライバ状態推定装置 5間の通信は、 PPP プロトコノレ(Point · to · Point · Protocol)に従うものであり PPPプロトコルによりこれらの間 でデータリンクを確立し、上位層である TCP/IPプロトコル(Transmission
Control Protocol/Internet Protocol)、 TCP/IPと上位互換である HTTP (Hyper Te xt ransfer
Protocol)や FTP (File Transfer Protocol)を実現する。すなわち、ネットワークはィ ンターネットや WAN (Wide Area Network)を構成して、データの送受信を可能とす るものである。
[0018] [A. 自宅 1で焦りをもたらす状況を検出するための運転者の行動〕
図 3はドライバ情報収集装置 6の構成図を示す。ドライバ情報収集装置 6は、運転 者の行動を検出するための各種のセンサ 11が LANなどのネットワークを介して情報 収集装置 60に接続して構成される。
[0019] センサ 11は、例えば、忘れ物検出装置 61、ドアセンサ 62、家電モニタ装置 63、集 音装置 64である。忘れ物検出装置 61は、携帯電話、 自宅 1の鍵、車両 3の鍵、財布 、定期、 IDカードなど、普段身につけて外出する小物が自宅 1に残されたまま運転者 が自宅 1を出たことを検出して忘れ物を検出する。これらの小物が自宅 1に存在する か否かは例えば、忘れ物検出装置 61が発信するリクエスト電波に小物が内蔵する IC チップが応答するか否かにより検出される。リクエスト電波の発信機は玄関に備えら れており、運転者が玄関に存在すること(出発直前であること)を赤外線センサや床 圧力センサにより検知した場合に発信器が発信するリクエスト電波に小物の ICチップ が応答するか否かにより忘れ物があるか否かを判定する。外出時に応答すべき小物 は予め忘れ物検出装置 61に登録してお!/、てもよ!/、し、外出時に携帯する小物を忘 れ物検出装置 61が記憶しておき過去の統計から携帯すべき小物を判定してもよい。
[0020] ドアセンサ 62は、自宅 1のドアの開閉及び鍵のロック/アンロック状態を検出するセ ンサである。例えば、鍵がロックされるとオン信号を出力するスィッチを鍵部に備え、ド ァの開→閉後にオン信号が検出されない場合、ドアセンサ 62は鍵の閉め忘れと判定
する。また、ドアの鍵にスマートキーシステムが適用されている場合、スマートキーの 機能を利用して鍵の閉め忘れを検知する。スマートキーシステムでは自宅 1の玄関の 内側と外側にそれぞれキー検知エリアを形成し、外出時にスマートキーを携帯してい ると玄関の内側でスマートキーが検知され、運転者が外側に出ると外側のキー検知 エリアでスマートキーが検知されその後検知エリアから離れると自動的にドアがロック される。したがって、例えばスマートキーを携帯せずに外出した場合、玄関の外側の キー検知エリアでスマートキーが応答せず、外出が検知されなレ、状態となり鍵がかか らなレヽ (その後しばらくすると自動にロックされる)。ドアセンサ 62はこのような鍵の閉 め忘れ (スマートキーの忘れ物)を検知する。
[0021] 家電モニタ装置 63は、蛍光灯やテレビなどの作動状態を監視する装置である。家 電モニタ装置 63は、運転者が外出したあとに蛍光灯やテレビ、エアコン、ステレオな どが作動して!/、ると消し忘れたものと判定する。
[0022] 集音装置 64は自宅 1の種々の場所や庭先に配置されたマイクから、運転者及び家 族の発する音や外部の騒音を検出して音が運転者に及ぼす影響を判定する。集音 装置 64はマイクにより音を検出している間その音の大きさや場所を示す情報を取得 する。また、集音装置 64は音声認識機能を備え、運転者が発した言葉を認識するこ とが好適である。
[0023] 情報収集装置 60は、プログラムを実行する CPU605、センサ 11が取得した乗車前 行動情報やプログラムを記憶するメモリ 602、 OSやデバイスプログラムを記憶した R OM604、プログラムを一時的に記憶する作業領域となる RAM603、 NIC (Network Interface Card)などネットワークに接続するための通信装置 606等が相互にバス で接続されたコンピュータとして構成される。 CPU605がプログラムを実行することで ドライバ情報収集手段 60aが実現される。
[0024] 情報収集装置 60は、インターフェイス 601を介してセンサ 11と接続されていて、セ ンサ 11が検出する乗車前行動情報を収集する。インターフェイス 601は、通信装置 6 06の NICで兼用してセンサ 11から IPアドレスで指定されて乗車前行動情報を受信 してもよいし、インターフェイス 601としていわゆるデータ口ガーを設け、データ口ガー を介してセンサ 11の乗車前行動情報を受信してもよ!/、。
[0025] ドライバ情報収集手段 60aは、センサ 11から送信される乗車前行動情報をメモリ 60 2に記憶する。図 4はメモリ 602に記憶される乗車前行動情報の一例を示す。ドライバ 情報収集手段 60aはセンサ 11がそれぞれの検出タイミングで検出した乗車前行動 情報を取得する力 車両 3に乗り込む前の情報としては直前の乗車前行動情報が必 要となるので、例えば一日毎に乗車前行動情報を記憶しておく。図 4では忘れ物情 報として「財布」、ドア情報として「鍵閉め忘れ」、家電作動情報として「蛍光灯消し忘 れ」が記憶されて!/、る。検出された行動が多レ、ほど運転者が焦って!/、る度合レ、が高 いと推定される。なお、乗車前行動情報は、検出可能な全ての行動をテーブル上に リストしておき、焦っていると推定される行動が検出された場合にはフラグをオンにす るようにして構成してもよい。
[0026] ドライバ情報収集手段 60aは、運転者が外出する際にセンサ 11が検出した乗車前 行動情報を情報センタ 2に送信する。なお、ドライバ情報収集手段 60aが後述する方 法で運転者の焦り状態を判定してもよいが、焦り状態の判定は乗車時及び乗車中も 行われるので、車両 3が焦り状態を判定することが好適である。
[0027] 情報センタ 2について説明する。情報センタ 2のサーバ 7は、ドライバ情報収集装置 6と車両 3を仲介して種々のサービスを運転者に提供するものである。例えば、情報 センタ 2には運転者の携帯端末 13のメールアドレス等が登録されていて、第三者の 車両 3への侵入やエンジン始動等を監視して運転者に通知したり、運転者が携帯端 末 13から情報センタ 2にアクセスすると携帯端末 13の操作内容に基づき車両 3の車 載装置を遠隔操作することができる。
[0028] 図 5は、サーバ 7のハードウェア構成図を示す。サーバ 7はそれぞれバスで相互に 接続されている CPU71、主記憶装置 72、 HDDなどの記憶装置 73、表示装置 74、 入力装置 75、ドライブ装置 76及び通信装置 77、を有するように構成される。
[0029] CPU71は、 OSやアプリケーションなどのプログラムを記憶装置 73から読み込んで して実行することで種々の機能を提供すると共に、サーバ 7が行う処理を統括的に制 御する。主記憶装置 72は RAMにより構成され、 OSやプログラム、データを一時保 管する作業領域となる。記憶装置 73は、 HDDやフラッシュメモリなど不揮発性メモリ であり、 OS、プログラム、ドライバ等のファイルが記憶されている。表示装置 74は、プ
ログラムが指示する画面情報に基づき所定の解像度や色数等で液晶などのディスプ レイに描画する。例えば、 GUI (Graphical User Interface)画面を形成し、操作に必要 な各種ウィンドウやデータ等をディスプレイに表示する。
[0030] 入力装置 75はキーボードやマウスなどで構成され、ユーザからの様々な操作指示 を入力するために用いられる。ドライブ装置 76は記憶媒体 78が揷入可能に構成され ており、記憶媒体 78に記憶されたデータを読み取って主記憶装置 72等に送出する 。通信装置 77は、インターネットや LANなどのネットワークに接続するためのインタ 一フェイスであり、例えばモデム、 NIC等で構成される。
[0031] CPU71がプログラムを実行することでドライバ状態推定手段 71aが実現される。ド ライバ状態推定手段 71aの機能は、情報収集装置 60から送信された乗車前行動情 報そのまま車両 3へ転送したり、乗車前行動情報に基づき後述する方法で運転者の 焦りを判定しそれらを車両 3へ送信するものである。情報収集装置 60から焦り判定結 果 (後述する焦り状態を示す情報)が送信された場合はそれを車両 3へ転送する。す なわち、焦り判定は情報収集装置 60、サーバ 7又は車両 3のいずれが行ってもよい 処理である。
[0032] [B.焦りをもたらす状況を乗車時に検出するための運転者の行動〕
焦りをもたらす状況を乗車時に検出するための運転者の行動について説明する。 乗車時において、運転者が焦ると行動が速くなると推定されるので、乗車時の種々の 操作の速さを検出することで、運転者の焦りを検出できる。
[0033] 図 6は、ドライバ状態推定装置 5の構成図の一例を示す。ドライバ状態推定装置 5 は、ドライバ状態推定部 50により制御され、各種のセンサ又は装置から乗車時及び 乗車中の運転者の乗車時行動情報又は乗車中行動情報を収集し、ドライバ状態推 定手段 50aが焦りを判定する。なお、ドライバ状態推定部 50は、 CPU, ROM、 RA M及びメモリ等を有するコンピュータで、メモリに記憶されたプログラムを実行すること で、ドライバ状態推定手段 50aが実現される。
[0034] 通信装置 41は、携帯電話網や PHS網、無線 LAN網などに接続して、情報センタ
2から送信される乗車前行動情報又は焦り判定結果を受信する。荷重センサ 42は例 えば各座席のシートに配置された圧電素子であって、乗車の有無や乗員の人数の
検出を可能とする。スィッチ 43は、カーナビやエンジンスタートボタンなど車載装置を 各種スィッチであり、例えば、操作ミスをして押し直した場合にそれを検出したり、操 作力を検出する荷重センサを備える。開閉速度センサ 44はドアやトランクの開閉速 度を検出するセンサであり、例えば、ドアやトランクのヒンジの変位を検出するセンサ により構成される。携帯通信装置 45は例えばナビゲーシヨンシステムが運転者の有 する携帯端末 13と無線又は有線で通信する装置であり、ブルートゥースを利用すれ ば運転者に乗車するだけで携帯通信装置 45と携帯端末 13とが通信を開始する。ま た、接続されればいわゆるハンズフリーフォンが可能となり、運転者の発した音声は 携帯通信装置 45から携帯端末 13に送信され、携帯電話網から受信される音声は携 帯端末 13が受信して携帯通信装置 45に送信され車載スピーカから出力される。ま た、携帯端末 13が電子メールを送受信する場合にも、携帯通信装置 45が電子メー ルを抽出してナビゲーシヨンシステムに表示したり読み上げることができる。室内カメ ラ 46は、車両後方に向けてインストルメントパネルに搭載された CCD (Charge Coupl ed Device)等の光電変換素子を有し、室内を移動する動体を検出するする。動体の 動きは例えば画像データの画素値 (例えば輝度)が変化するか否かに基づき検出さ れ、画素値の変化の速さから動体の動きの速さが検出される。
ミリ波レーダ 47は、所定の波長のミリ波を発信し、障害物に反射して帰って来るまで の時間及び周波数変化により障害物までの距離と相対速度を検出する。路車間通 信装置 48は、例えば路側に設けられた VICS (Vehicle Information and Communicati on
System)や DSRC (Dedicated
Short Range Communication)の基地局 8と無線やビーコンで通信するものであり、路 車間通信装置 48は基地局 8から道路の渋滞状態、信号機の状態等を受信する。ァ クセルペダルストロークセンサ 49は、運転者のアクセルペダルの踏み込み量を検出 するものであって踏み込み量に応じたアクセル開度を検出する。ブレーキペダル踏 力センサ 51は、運転者のブレーキペダルの踏み込み及びその踏力を検出する。 G センサ 52は、車両 3の走行中の加速度及び減速度を検出する。 白線認識装置 53は 、カメラにより撮影した車両前方の画像データから走行レーンを区切る左右の白線を
検出する。顔カメラ 54は、例えばステアリングコラムに搭載された運転者の顔を撮影 するカメラであり、顔を撮影した画像データを処理して顔向きや開眼/閉眼を検出す る。パーキングブレーキスィッチ 55はパーキングブレーキの作動状態を検出する。シ フトポジションセンサ 56は、シフトポジション(D、 1 , 2、 N、 R)を検出する。エアバッグ シートセンサ 57は、座席に乗員が着座しているか否か及び着座している者のおよそ の伸長を検出する。ボンネット開閉センサ 510はボンネットの開閉を検出するセンサ であり、シート角度センサ 511は運転席のバックシートの角度を検出するセンサであ
[0036] ドライバ状態推定手段 50aは、乗車時の行動をセンサにより検出し、運転者が焦つ ている行動を示せばそれを取得する。例えば、荷重センサ 42が瞬間的に大きな荷重 を検出する場合、ドライバ状態推定手段 50aは荷物が投げ込まれた衝撃であると検 出し、室内カメラ 46が荷物の移動を検出すれば荷物が投げ込まれたと検出する。ま た、開閉速度センサ 44が所定以上に速いドアやトランクを開閉を検出した場合、ドラ ィバ状態推定手段 50aはドア'トランクが乱暴に開閉されたと検出する。また、同じス イッチ 43が何度も押下されたり強い操作力で押下されたり、押し直しや前画面に戻る 操作が検出された場合、ドライバ状態推定手段 50aはスィッチ操作ミスや乱暴な操作 があったと検出する。また、携帯通信装置 45が車内に侵入した携帯端末 13と通信し た結果、通話中であることを検出した場合、ドライバ状態推定手段 50aは運転者が通 話してると検出する。また、ドライバ状態推定手段 50aは、ドア開からエンジン始動ま での時間が短い場合や、シートベルトを締めずにエンジンを始動した場合、運転者 が焦ってレ、ると判定する。ドア開からエンジン始動までの時間やシートベルトの装着 有無などは個人差が大きレ、ので、過去の運転者の行動を記憶しておきそれとの比較 により判定することが好適である。
[0037] ドライバ状態推定手段 50aは、図 7 (a)に示すように焦っていると推定される行動が 検出されるとそれを乗車時行動情報として記憶する。図 7 (a)では「荷物投げ込み 有」、「ドア開閉速度 大」、「ドア開→エンジン始動時間 短」と記憶されている。検出 された行動が多いほど運転者が焦っている度合いが高いと推定される。なお、乗車 時行動情報は、検出可能な全ての行動をテーブル上にリストしておき、焦っていると
推定される行動が検出された場合にはフラグをオンにするように構成してもよい。
[0038] [C.運転中に焦りをもたらす状況を検出するための運転者の行動〕
焦りをもたらす状況を乗車中に検出するための運転者の行動について説明する。 なお、ドライバ状態推定装置 5の構成については、図 6と同様である。
[0039] ドライバ状態推定手段 50aは、乗車中の行動をセンサにより検出し、運転者が焦つ ている行動を示せばそれを取得する。例えば、ミリ波レーダ 47が検出する先行車両と の距離力 S小さい場合、ドライバ状態推定手段 50aは運転者が焦っていると検出する。 また、信号機の状態を路車間通信装置 48や前方を撮影するカメラから取得して黄色 の状態で車両 3が信号を通過した場合、ドライバ状態推定手段 50aは運転者が焦つ ていると検出する。また、アクセルペダルストロークセンサ 49によりアクセル開度が所 定より大き!/、ことや Gセンサ 52が検出する加速度が所定より大きレ、場合、ドライバ状 態推定手段 50aは運転者が焦っていると判定する。また、ミリ波レーダ 47が検出する 先行車両との関係においてブレーキペダル踏力センサ 51が検出するブレーキ開始 タイミングの遅れを検出したり、 Gセンサ 52が検出する減速度が所定より大きい場合 、ドライバ状態推定手段 50aは運転者が焦っていると検出する。また、白線認識装置 53は車両 3が白線を横切る走行レーンのチェンジを検出するので、ドライバ状態推 定手段 50aは走行レーンの変更頻度が所定以上であれば運転者が焦っていると検 出する。また、白線に対し車両 3の蛇行が検出される場合、ドライバ状態推定手段 50 aは運転者が焦っていると検出する。また、高速道路において、追い越しレーン (例え ば右端のレーンでありそれより右側に走行レーンがない)を走行している時間が所定 以上の場合、ドライバ状態推定手段 50aは運転者が焦っていると検出する。また、顔 カメラ 54により検出した顔向きや視線方向が前方に集中していたり、極度に安定しな い場合、ドライバ状態推定手段 50aは運転者が焦っていると検出する。また、パーキ ングブレーキスィッチ 55が走行中もパーキングブレーキが解除されないと検出した場 合、ドライバ状態推定手段 50aは運転者が焦っていると検出する。また、ドライバ状態 推定手段 50aは、連続運転時間(エンジン始動時力も計測)が所定以上になると運 点者が休憩を取れな!/、ほど焦って!/、ると検出する。
[0040] また、例えば、走行中の乗員の会話をマイク及び音声認識装置により抽出し、怒声
、トイレ、具合が悪い、泣き声等、運転者に焦りを感じさせる言葉が検出された場合、 ドライバ状態推定手段 50aは、運点者が焦っていると検出する。また、 VICSから渋滞 情報を検出したり雨天や濃霧の天候に起因して速度を上げるのが困難な状態になる と、運点者が焦っていると検出してもよい。
[0041] ドライバ状態推定手段 50aは、図 7 (b)に示すように焦っていると推定される行動が 検出されるとそれを乗車中行動情報として記憶する。図 7 (b)では「車間距離 小」、「 信号無視 有」、「加速度 大」と記憶されている。検出された行動が多いほど運転者 が焦っている度合いが高いと推定される。なお、乗車中行動情報は、検出可能な全 ての行動をテーブル上にリストしておき、焦っていると推定される行動が検出された 場合にはフラグをオンにするように構成してもよい。
[0042] 〔焦り判定〕
続いて、ドライバ状態推定手段 50aによる焦り判定について説明する。ドライバ状態 推定手段 50aは、例えばエンジン始動までに乗車前行動情報及び乗車時行動情報 を取得し、また、走行中は乗車中行動情報を取得する。上記のように、乗車前行動情 報、乗車時行動情及び乗車中行動情報は検出された行動が多いほど、運転者が焦 る度合いが高いと考えられるので、ドライバ状態推定手段 50aは例えば検出された行 動情報の数が所定値以上の場合焦り状態と判定しまた、行動情報の数に応じて焦り 度を判定する。
[0043] 図 8は、焦り判定の概略を示す図である。ドライバ状態推定手段 50aは、乗車前行 動情報、乗車時行動情報及び乗車中行動情報の数を掛け合わせそれが所定値以 上であれば(S1の Yes)、焦り状態であると判定する(S4)。また、所定以上でなくても (S 1の No)、乗車前行動情報、乗車時行動情報又は乗車中行動情報の数のうちい ずれか 2つ以上が所定値 L以上の場合(S2の Yes)、ドライバ状態推定手段 50aは焦 り状態であると判定する(S4)。所定値 L以上でな!/、場合でも(S2の No)、乗車前行 動情報、乗車時行動情報又は乗車中行動情報の数のうち!、ずれかが所定値 M ( > L)以上の場合、ドライバ状態推定手段 50aは焦り状態と判定する(S4)。なお、乗車 時までに焦り状態と判定されない場合、乗車中行動情報に応じて随時焦り状態と判 定される。
[0044] また、乗車前行動情報、乗車時行動情報及び乗車中行動情報の数を掛け合わせ た値、又は、乗車前行動情報、乗車時行動情及び乗車中行動情報の数を加算した 値に応じて数段階に焦り度を判定してもよい。
[0045] また、焦り状態の判定は、乗車前行動情報、乗車時行動情報及び乗車中行動情報 を全て利用する必要はなぐ乗車前行動情報のみから、又は、乗車前行動情報と乗 車時行動情報のみ、から焦り状態を判定してもよい。
[0046] ところで、焦り状態となるか否力、またその時の焦り度は、年齢、性別や環境等により ある程度の傾向を示すことが多い。そこで、ドライバ状態推定装置 5は、年齢、性別、 環境等の情報を取得し、焦り状態の判定の重み付けを行うことが好適となる。年齢や 性別は、情報センタ 2や車両 3に予め登録しておいてもよいし ICカード化された運転 免許証からリーダが読み取る。雨や雪、渋滞などの環境情報は、レインセンサや VIC Sから取得できる。ドライバ状態推定手段 50aは焦り状態か否力、を判定する場合、年 齢、性別及び環境に応じた係数 (重み付け)を行動情報の数又は所定値 M、 Lに乗 じる。例えば、年齢であれば、高齢者であるほど焦りが運転に影響を及ぼしやすいの で、高齢者の場合には焦り状態と判定しやすくする。また、例えば性別に関しては男 性の方が、環境に関しては雨天や渋滞している場合に焦り状態と判定しやすくなるよ うに重み付けする。
[0047] 〔焦り状態と判定された場合の車両特性〕
続いて、焦り状態と判定された場合に設定される車両制御について説明する。運転 者が焦っている場合には、速度の出し過ぎゃ排ガス状態の悪化をもたらすおそれが あるため、焦り状態と判定された場合には運転者に注意喚起したり、速度の出し過ぎ を抑制する車両制御を行うことが好ましい。
[0048] 図 9は、焦り状態と判定された場合に車両制御する車両 3のシステム構成図の一例 を示す。ドライバ状態推定部 50は、 CAN等の車内 LANを介してメータ ECU501、 エンジン ECU502、ナビ ECU503、 LKA(Lane Keeping Assist)装置 504、 A CC (Adaptive Cruise Control)装置 505及び車車間通信装置 506と接続され、ドライ バ状態推定手段 50aが焦り状態であることを送出すると、制御変更手段 50bがこれら 各 ECUに制御値を変更するよう要求する。
[0049] 焦り状態と判定された場合の制御は安全面と環境面に分類され、さらに安全面で は 3つに分類される。
[0050] 安全面 I:運転者への注意喚起 '警告
メータ ECU501は、コンビネーションパネルのランプや警報音を吹鳴するものであつ て、制御変更手段 50bの要求に応じ、例えば、イダニシヨンオン時に運転者を落ち着 かせるための情報を表示する。また、より好ましくは、ナビゲーシヨンシステムを制御 するナビ ECU502が運転者を落ち着かせるための情報を表示すれば、より表現の豊 力、な情報を表示できる。運転者を落ち着かせるための情報は、例えば、「焦り状態と 判定されています。安全運転を心がけましょう。」といったメッセージや、焦り度と危険 度の関係を示すグラフに現在の焦り度が強調されたもの、家族の写真などである。ま た、予め録音した自分や家族の声(「落ち着レ、て運転しょう」)やクラシック音楽をスピ 一力から出力してもよい。
[0051] 安全面 II:自律系による車両制御値変更
エンジン ECU503は、例えばアクセル開度に応じてアクセルマップを参照して目標ト ルクついでエンジン制御量等を決定し、また、 目標の加速度となるようにシフトマップ を参照してトランスミッションを制御する。そこで、焦り状態であると判定され、制御変 更手段 50bの要求があると、エンジン ECU503は通常よりも加速度や車速が低くなる ようにエンジン制御量を決定しまたシフト制御する。
[0052] また、 LKA装置 504は、左右の白線の略中央を目標走行線として目標走行線から の乖離量が閾値以上となると警報音を吹鳴するが、焦り状態であると判定され制御変 更手段 50bの要求があると、警報音を吹聴する閾値を低下させる。
[0053] ACC装置 505は、先行車両との車間距離を例えば 3段階のいずれかに設定して 車両 3を追従走行させる力 焦り状態であると判定され制御変更手段 50bの要求があ ると、 3段階のうち最も長い車間距離かそれよりもさらに長い車間距離に設定する。こ のような、通常と異なる制御により運転者は焦り状態と判定されたことに気づき、落ち 着きを取り戻しやすくなり、また、警報音が早めに吹鳴され、車間距離も長めになるの で焦り状態であっても安全を確保することができる。また、 PCS (Pre— Crash Safety S ystem)装置 507であれば、通常よりも短い TTC (Time To Collision)で警報音を吹鳴
する。
[0054] なお、このような制御を運転者が煩わしいと感じるおそれがあるため、焦り状態に応 じた車両制御を実行することを運転者に通知後、制御を実行してもよい。また、運転 者が LKA装置 504や ACC装置 505を使用していない場合、運転者に通知した後に LKA装置 504や ACC装置 505をオンにして制御を実行する。
[0055] 安全面 III:自律'インフラ系による車両制御
車車間通信装置 506は、送信機/受信機を備え、通信用のアンテナにより無線周 波数帯の電波(例えば、 30GHz〜300Hz帯のミリ波)を送受信することにより他車両 との通信する装置ある。例えば焦り度がかなり高く制御変更手段 50bの要求があると 、車車間通信装置 506が周囲の他車両に警告したり回避要請することで、より確実に 安全を確保できる。なお、焦り度だけでなぐ車両挙動(車速、蛇行、車間距離等)か ら総合的に危険と判定される場合に、回避要請してもよい。
[0056] 環境面:環境に配慮した車両制御
安全面 IIのように、エンジン ECU503により通常よりも加速度や車速が低くなるように エンジン制御量を決定しまたシフト制御することで環境に配慮した車両制御となる。 また、ハイブリッド車や電気自動車では制動時の回生力から発電するが、環境に配 慮した車両制御を行う場合、エンジン ECU503は回生モードに入りやすくなるように 車両 3を制御することで、車速を抑制し環境に配慮した車両制御とすることができる。
[0057] 〔焦り状態の解除判定〕
運転者の焦りは永続するものではないため、焦り状態が解消されたら安全面及び 環境面の車両制御は解除することが好ましい。そこで、ドライバ状態推定手段 50aは 、乗車時及び乗車中の運転者の行動を検出して、正常(焦っていない)と推定される 行動を検出して焦り状態を解除する。図 6に示したように、車両 3のドライバ状態推定 装置 5はボンネット開閉センサ 510、シート角度センサ 511を有する。
[0058] 例えば、乗車前にボンネットを開けて、ブレーキの液量やバッテリー液量等を点検 すること力 S推奨されること力 Sある力 乗車前行動情報が検出されていても、運転者が このような始業点検を行う場合、焦っていないか焦り度は低下傾向にあると考えられ る。同様に、運転者が乗車前にシート角度を調整する場合、焦っていないか焦り度は
低下傾向にあると考えられる。ドライバ状態推定手段 50aはボンネット開閉センサ 51 0とシート角度センサ 511からボンネットの開閉及びシート角度の調整を検出して、こ れを焦り解除行動情報として記憶する。
[0059] また、走行中は、運転者が、他車両に割り込みを許したり、走行レーンを維持して 走行している場合、車間距離が大きい場合、一旦停止を尊守する場合、焦っていな いか焦り度は低下傾向にあると考えられる。ドライバ状態推定手段 50aは、ミリ波レー ダ 47や白線認識装置 53により車両 3の走行レーンの直前に割り込む他車両が検出 された場合や、白線認識装置 53により所定時間以上同じ走行レーンを走行している ことが検出された場合、ミリ波レーダ 47により検出される先行車両との車間距離が所 定以上の場合、ナビゲーシヨンシステムや路車間通信で取得した一時停止箇所で車 両 3が一旦停止した場合、これらを焦り解除行動情報として記憶する。
[0060] ドライバ状態推定手段 50aは、焦り解除行動情報の数 Pに対し、乗車前行動情報、 乗車時行動情報及び乗車中行動情報の合計数 Qを相殺して、十分に焦り度が低下 傾向になったと判定した場合に、焦り状態を解除する。例えば、 Q— P = 0になった場 合である。
[0061] また、焦り状態を段階的に解除してもよい。焦り状態では安全面から見た 3つの車 両制御を説明したが、安全面 I、安全面 II、安全面 ΙΠの順序で焦り度に対する制御と しては介入度が大きくなる。そこで、ドライバ状態推定手段 50aは、焦り解除行動情報 を検出するたびに、介入度が小さくなるように車両制御することが好適となる。例えば 、安全面 ΠΙの車両制御を行っている状態で焦り解除行動情報を検出したら安全面 III の車両制御を停止し、っレ、で焦り解除行動情報を検出したら安全面 Πの車両制御を 停止し、ついで焦り解除行動情報を検出したら安全面 Iの車両制御を停止する。この ように解除することで、焦り度が高いほどゆっくりと焦り状態を解除することができ、安 全を確保しやすくなる。
[0062] 〔ドライバ状態推定装置 5の作動の流れ〕
図 10は、ドライバ状態推定装置 5の作動の手順を示すフローチャート図である。図 10のフローチャート図は、例えば、スマートキーによるアンロックをトリガにスタートす
[0063] ドアがアンロックされると運転者が車両 3に接近したことになるので、ドライバ状態推 定手段 50aは乗車時行動情報を取得する(S10)。
そして、イダニシヨンがオンになると車両 3は情報センタ 2経由で送信される乗車前 行動情報を受信する(S20)。なお、イダニシヨンオンでなくても乗車前行動情報を受 信可能であれば、運転者が車両 3に到達する前に受信してもよい。
[0064] ついで、ドライバ状態推定手段 50aは、乗車前行動情報及び乗車時行動情報の数 に応じて運転者が焦り状態か否力、を判定する(S30)。焦り状態か否かは、乗車前行 動情報の数と乗車時行動情報の数を掛け合わせた値が所定値以上か否力、、 V、ずれ かが所定値以上が否か等に基づき判定する。
[0065] 焦り状態でない場合(S30の No)、ドライバ状態推定手段 50aは何もせずそのまま 処理が終了する。焦り状態の場合(S30の Yes)、ドライバ状態推定手段 50aは安全 面 Ι〜ΙΠ及び環境面に配慮した車両制御を実行する(S40)。
[0066] そして、車両 3が走行している間、ドライバ状態推定手段 50aは、焦り解除行動情報 が検出されるか否かを判定する(S50)。例えば、ドライバ状態推定手段 50aは、焦り 解除情報が所定数以上検出されたことをもって焦り解除行動情報が検出されたと判 疋 。
[0067] 焦り解除行動情報が検出された場合(S50の Yes)、ドライバ状態推定手段 50aは 焦り状態を解除して、安全面及び環境面に配慮した車両制御を終了する。
[0068] 図 11は、ドライバ状態推定装置 5の作動の手順を示すフローチャート図である。図
11のフローチャート図は、さらに乗車中行動情報を検出して安全面及び環境面に配 慮した車両制御を行うものである。なお、図 10と同一ステップには同じ符号を付した。
[0069] ドアがアンロックされると運転者が車両 3に接近したことになるので、ドライバ状態推 定手段 50aは乗車時行動情報を取得する(S10)。
そして、イダニシヨンがオンになると車両 3は情報センタ 2経由で送信される乗車前 行動情報を受信する(S20)。なお、イダニシヨンオンでなくても乗車前行動情報を受 信可能であれば、運転者が車両 3に到達する前に受信してもよい。
[0070] ついで、ドライバ状態推定手段 50aは、乗車前行動情報及び乗車時行動情報の数 に応じて運転者が焦り状態か否力、を判定する(S30)。焦り状態か否かは、乗車前行
動情報の数と乗車時行動情報の数を掛け合わせた値が所定値以上か否力、、 V、ずれ かが所定値以上が否か等に基づき判定する。
[0071] 焦り状態でない場合(S30の No)、ドライバ状態推定手段 50aは乗車時には何もし ないが、走行中に乗車中行動情報を検出するか否力、を判定する(S60)。そして、例 えば乗車中行動情報が所定値以上になった場合、乗車中行動情報を検出したと判 定しステップ S30以降の処理に進む。
[0072] 焦り状態の場合(S30の Yes)、ドライバ状態推定手段 50aは安全面 Ι〜ΠΙ及び環境 面に配慮した車両制御を実行する(S40)。
[0073] そして、車両 3が走行している間、ドライバ状態推定手段 50aは、焦り解除行動情報 が検出されるか否かを判定する(S50)。例えば、ドライバ状態推定手段 50aは、焦り 解除情報が所定数以上検出されたことをもって焦り解除行動情報が検出されたと判 疋 。
[0074] 焦り解除行動情報が検出された場合(S50の Yes)、ドライバ状態推定手段 50aは 焦り状態を解除して、安全面及び環境面に配慮した車両制御を終了する。
[0075] 本実施例によれば、自宅 1や乗車時における運転者の焦りを検出して、運転開始 前から安全面 ·環境面に配慮した車両制御が可能なので、運転者が焦っていること を早期に検出し、焦っている場合でも安全を確保し環境に配慮した走行が可能とな 実施例 2
[0076] 実施例 1では、自宅 1、乗車時及び乗車中の行動から運転者が焦っていると推定さ れる行動を検出した力 S、行動からの検出では検出の確度が低い場合がある。そこで、 より直接的に運転者に焦りをもたらす要因を検出する。例えば、急な家族の不幸、妻 の出産、家族の事故現場へ駆けつける場合等、誰にも生じ得てかつ生じた場合には 力、なりの確度で運転者に焦りを生じさせる状況がある。したがって、このような状況を 検出することで、運転者の行動からだけでなく個別かつ具体的に焦りを検出すること ができ、焦り検出の精度を向上することができる。運転者に焦りを生じさせる個別の状 況は、例えばスケジュール、電子メール、会話内容、電話の通話内容等から検出され
[0077] 〔乗車前〕
図 12は、本実施例におけるドライバ情報収集装置 6の構成図を示す。なお、図 12 において図 3と同一構成部分には同一の符号を付しその説明は省略する。図 12で は、 LANなどのネットワークを介して、情報収集装置 60にパーソナルコンピュータ( 以下、 PC) 12が接続されている。
[0078] PC12は CPU、 ROM, RAM及び HDD等を有するコンピュータで、 HDDに記憶 されたプログラムを実行することで、スケジュールソフト及びメールソフトを実現する。 運転者は、このスケジュールソフトとメールソフトを使用してスケジュールを管理したり 、知人と電子メールを送受信する。また、 PC12の HDDに記憶されたプログラムを実 行することで、スケジュールや送受信した電子メールから運転者の個別焦り情報を抽 出する個別情報抽出手段 12aが実現される。個別情報抽出手段 12aは常駐型のプ ログラムで、スケジュールソフトとメールソフトが起動して!/、る間バックグラウンドで起動 している。個別情報抽出手段 12aには、抽出する個別焦り情報として予めキーワード (例えば、死んだ、駆けつける、すぐ行ぐ生まれる、泣き声、葬儀、通夜、葬式、亡く なった、部長、役員、重要、プレゼン等、その他、運転者が登録可能)が登録されて おり、キーワードに合致する運転者の個別焦り情報を抽出して、情報収集装置 60に 送信する。
[0079] 図 13 (a)はスケジュールソフトが表示したスケジュールの一例を、図 13 (b)はメール ソフトが受信した電子メールの一例をそれぞれ示す。スケジュールソフトには、「10 : 0 0 こわもて部長と商談」、「17 : 00 プレゼン発表(△△ホール)」と表示されている。 また、メールソフトには「〇△さんが亡くなりました。通夜は〇□時です。」と表示され ている。個別情報抽出手段 12aは、スケジュールからキーワードに合致する「部長」「 プレゼン」「亡くなりました」「通夜」を抽出し、抽出した言葉そのもの又は抽出したキー ワードの数を個別焦り情報として情報収集装置 60に送信する。
[0080] スケジュールソフト及びメールソフトは携帯端末 13によっても実現可能である。携帯 端末 13は、携帯電話、 PDA (Personal Data Assitant)、携帯ゲーム機等、電子メー ルを無線で送受信する送受信装置を有した、 CPU、 ROM、 RAM及びフラッシュメ モリ等を有するコンピュータである。携帯端末 13は、 PC12と同様に個別情報抽出手
段 12aを備え、スケジュールや電子メールから抽出した個別焦り情報を例えば電子メ ール等で情報収集装置 60に送信する。なお、後述するように、携帯端末 13を車両 3 に持ち込むことで、車両 3がスケジュールや電子メールから抽出した個別焦り情報を 抽出可能となる。また、携帯端末 13と PC12はスケジュールや電子メールを同期させ ること力 Sできるため、同期した際に携帯端末 13から PC12が個別焦り情報を抽出して あよい。
[0081] また、情報収集装置 60は、集音装置 64が備える音声認識機能により、自宅 1にお ける運転者と家族との会話からキーワードを抽出し、高い確度で焦りをもたらす状況 を抽出する。
[0082] ドライバ情報収集手段 60aは個別焦り情報が検出される毎又は定期的に個別焦り 情報を情報センタ 2を介して車両 3に送信する。
[0083] 〔乗車時/乗車中〕
上述のように、車両 3は携帯通信装置 45を有する。例えば、携帯通信装置 45と運 転者の携帯端末 13が通信している場合、携帯端末 13に送信された電子メールから ドライバ状態推定手段 50aがキーワードを抽出して個別焦り情報を検出することがで きる。また、ハンズフリーフォンで通話する場合、通話の内容はいつたんナビゲーショ ンシステムなどの車両 3に取り込まれるので、音声認識により通話の内容からキーヮ ードを抽出すること力できる。また、車両 3は車載装置を制御するための音声認識装 置を備えるので、会話の内容からキーワードを抽出することができる。ドライバ状態推 定手段 50aは、このように、乗車時又は乗車中に検出されたキーワードを個別焦り情 報として記憶しておく。
[0084] また、乗車中は電子メールやスケジュールのような情報からだけでなぐ突発的な状 況が焦りをもたらすことがある。例えば、車両 3が動物や他車両と接触した場合は、か なりの確度で運転者が焦ると考えられ、また、ノ カーや救急車が接近してきた場合 、その方向や所定操作 (道を空ける)などを要求されることから運転者が焦る可能性 が高い。そこで、ドライバ状態推定装置 5は例えばエアバッグ展開用の荷重センサや 衝撃音により動物や他車両との接触を検知し、また、ノ カーなどを警報音により検 知しこれらを個別焦り情報として記憶する。
[0085] 〔焦り状態の判定〕
車両 3のドライバ状態推定手段 50aは自宅 1から個別焦り情報を受信し、また、車両
3に乗車中に個別焦り情報を取得する。個別焦り情報は、かなりの確度で焦りを生じ させるものであるため、乗車前行動情報、乗車時行動情報及び乗車中行動情報より も焦り状態と判定しやすくすることが好適となる。
[0086] 図 14は、焦り判定の概略を示す図である。ドライバ状態推定手段 50aは、個別焦り 情報が複数以上検出されているか否かを判定し(S 100)、複数以上であれば(S 100 の Yes)焦り状態であると判定する(S400)。
[0087] 複数以上でない場合(S 100の No)、個別焦り情報、乗車前行動情報、乗車時行 動情報及び乗車中行動情報のうち 2つ以上が所定値 L以上か否かを判定し(S200)
、所定値 L以上であればドライバ状態推定手段 50aは焦り状態であると判定する(S4
00)。
[0088] 所定値 L以上でない場合(S200の No)、個別焦り情報、乗車前行動情報、乗車時 行動情報及び乗車中行動情報のうちレ、ずれかが所定値 M ( >L)以上か否かを判定 し(300)、所定値 M以上の場合、ドライバ状態推定手段 50aは焦り状態と判定する( S400)。なお、実施例 1と同様に、年齢、性別や環境等に応じて重み付けをしてもよ い。
[0089] 〔ドライバ状態推定装置 5の作動の流れ〕
焦り状態と判定された場合、制御値変更定手段 50bは各 ECUに制御値を変更す るよう要求し実施例 1と同様の車両特性にて車両 3を設定し、また、同様の解除判定 を行って車両特性を元に戻す。
[0090] 図 15は、ドライバ状態推定装置 5の作動の手順を示すフローチャート図である。図
15のフローチャート図は、個別焦り情報、乗車前行動情報、乗車時行動情報及び乗 車中行動情報に基づき安全面及び環境面に配慮した車両制御を行うものである。
[0091] ドアがアンロックされると運転者が車両 3に接近したことになるので、ドライバ状態推 定手段 50aは乗車時行動情報を取得する(S101)。
そして、イダニシヨンがオンになると車両 3は情報センタ 2経由で送信される個別焦り 情報及び乗車前行動情報を受信する(S102)。なお、イダニシヨンオンでなくても受
信可能であれば、運転者が車両 3に到達する前に受信してもよい。
[0092] ついで、ドライバ状態推定手段 50aは、個別焦り情報、乗車前行動情報及び乗車 時行動情報の数に応じて運転者が焦り状態か否力、を判定する(S103)。焦り状態か 否かは、個別焦り情報の数が複数以上か、個別焦り情報、乗車前行動情報及び乗 車時行動情報のいずれか 2つ以上が所定値 L以上か、又は、個別焦り情報、乗車前 行動情報及び乗車時行動情報のうちいずれかが所定値 M以上か否かに基づき判定 する。
[0093] なお、本実施例では、スケジュールを利用しているので、その内容だけでなく待ち 合わせ時間を抽出して、例えば、 VICS等から得られる予定到達時刻が待ち合わせ 時間を超過するような場合、焦り状態と判定してもよい。
[0094] 焦り状態でない場合(S 103の No)、ドライバ状態推定手段 50aは乗車時には何も しないが、乗車中に個別焦り情報又は乗車中行動情報を検出するか否力、を判定す る(S107)。検出しない場合(S 107の No)、ドライバ状態推定手段 50aは通常の車 両特性のまま走行を開始する。
[0095] 検出した場合(S107の Yes)、ステップ S 103に戻り、再度、焦り状態か否かを判定 する。
[0096] 焦り状態の場合(S103の Yes)、ドライバ状態推定手段 50aは安全面 Ι〜ΠΙ及び環 境面に配慮した車両制御を実行する(S 104)。
[0097] そして、車両 3が走行している間、ドライバ状態推定手段 50aは、焦り解除行動情報 が検出されるか否かを判定する(S 105)。例えば、ドライバ状態推定手段 50aは、焦 り解除情報が所定数以上検出されたことをもって焦り解除行動情報が検出されたと 判定する。
[0098] 焦り解除行動情報が検出された場合(S 105の Yes)、ドライバ状態推定手段 50aは 焦り状態を解除して、安全面及び環境面に配慮した車両制御を終了する。
[0099] 本実施例によれば、実施例 1の効果に加え、焦りが生じる確度の高い個別の状況 を検出して焦り状態を検出できるため、より安全を確保し環境に配慮した走行が可能 となる。
実施例 3
[0100] 実施例 1では自宅 1の運転者の行動から焦り状態を判定した力 s、実施例 1と同様の 構成により運転者の睡眠状態に関する情報を抽出することができる。そこで、本実施 例では、焦りの検出と同様の構成により自宅 1の運転者の睡眠状態に関する情報を 検出して、睡眠状態(体調)を判定し運転者が眠くなる可能性有り(以下、単に眠気 有りという)と判定された場合には、車両特性を眠気を考慮した状態に設定することで 眠気が運転に与える影響を低減する。眠気だけを検出してもよいし、焦りをもたらす 行動を同時に検出してもよいが、本実施例では焦りを持たす行動を同時に検出する
。なお、ドライバ情報収集装置 6の構成図は図 3と、ドライバ状態推定装置 5の構成図 は図 6と、眠気有りと判定された場合に車両制御する車両 3のシステム構成図は図 9 と、それぞれ同様であるので説明は省略する。
[0101] 〔睡眠不足をもたらす状況及びその検出〕
自宅 1の情報収集装置 60は家電モニタ装置 63や集音装置 64を用いて、運転者の 睡眠状態に影響する眠気要因情報を収集する。家電モニタ装置 63は、蛍光灯の作 動時間を検出するので、情報収集装置 60は消灯時刻から翌日の点灯時刻までの時 間を基づき睡眠時間を推定することができる。また、蛍光灯が消灯されていてもテレ ビが点灯されていた場合にはテレビのオフ時刻から翌日の何らかの家電装置のオン 時刻までを睡眠時刻とするなど適切な方法で睡眠時間を推定してもよい。
[0102] また、寝室にマイクを備えて!/、る場合、集音装置 64は、運転者の寝息や!/、びきの 音を集音するので、いびきの周期や音量に基づき眠りの質を判定する。また、赤ん坊 力 Sいる家庭では深夜の泣き声から夜泣き回数や頻度、音量を判定し、外部の騒音を 検出するマイクから、暴走族の騒音の音量やその回数を判定する。
[0103] 情報収集装置 60は、睡眠時間、いびき、赤ん坊の夜泣き及び騒音等に関する眠 気要因情報をメモリ 602にそれぞれ記憶する。図 16はメモリ 602に記憶される眠気 要因情報の一例を示す。ドライバ情報収集手段 60aは、例えば毎朝、前の晩の運転 者の睡眠状態を判定するための眠気要因情報をメモリ 602に記憶しておく。図 16で は睡眠時間として「7時間」、集音情報として「いびきレベル 3」「周囲騒音レベル 2」 ( 数 が大きレ、ほど音が大きレ、)が記憶されて!/、る。
[0104] ドライバ情報収集手段 60aは、運転者が外出する際に眠気要因情報を情報センタ
2を介し車両 3に送信するので、情報センタ 2又は車両 3は運転者の眠気有りか否か を判定する。なお、ドライバ情報収集手段 60aが眠気要因情報に基づき眠気有りか 否か判定してもよい。
[0105] 〔眠気の判定〕
眠気の判定は、例えば、睡眠時間が所定時間以下か否か、いびきレベルが所定以 上か否か、周囲騒音レベルが所定以上か否か、等の条件を複数満たす場合に眠気 有りと判定する。また、睡眠時間が極端に短い場合はそれだけで眠気有りと判定した り、また、眠気に与える眠気要因情報の影響からそれぞれを重み付けして所定の閾 値を超えたら眠気有りと判定する。また、眠気を数段階に分けて眠気度を判定しても よい。
[0106] なお、乗車中は顔カメラ 54により運転者の顔を撮影し、開眼/閉眼を検出している ので、ドライバ状態推定手段 50aは、閉眼時間が所定以上継続するような場合眠気 有りと判定する。また、体温や血圧、発汗などを検出するセンサを例えばステアリング ホイール設け、これらから眠気を判定してもよい。
[0107] 〔眠気有りと判定された場合の車両特性〕
眠気有りと判定された場合に設定される車両制御について説明する。眠気有りと判 定された場合は、眠くならないように注意喚起したり、眠くなつた場合にレーンを外れ たり先行車両に衝突するおそれがあるため、これらを防止する車両制御を行うことが 好ましい。
[0108] 図 9のシステム構成図に示したように、ドライバ状態推定手段 50aが眠気有りと判定 した場合、制御変更手段 50bは CAN等の車内 LANを介してメータ ECU501等に制 御値を変更するよう要求する。
[0109] ·運転者への注意喚起'警告
制御値の変更要求があった場合、メータ ECU501は警告音の周波数や音色を変 化させ運転者を覚醒するように誘導する。周波数の場合、通常よりも増大 (例えば 0. 7kHz→l . 4kHz)することで注意喚起性が向上する(例えば、ピッ、ピッ、ピッ→ピピ ピ)。また、警告音の音量を増大する。また、ナビ画面や液晶表示部へ表示する文字 を大きくしたり、コンビネーションランプの警告ランプの輝度を上げることで注意喚起
性を向上する。
[0110] ·自律系による車両制御値変更
制御値の変更要求があった場合、 LKA装置 504は警報音を吹聴する閾値を低下 させる。また、 PCS装置は通常よりも短い TTCにより警告音を吹鳴する。また、 ACC 装置 505は、 3段階のうち最も長い車間距離力、それよりもさらに長い車間距離に設定 する。なお、このような制御を運転者が煩わしいと感じるおそれがあるため、通知後に 制御を実行してもよい。また、運転者が LKA装置 504や ACC装置 505、 PCS装置 5 07を使用していない場合、運転者に通知した後にこれらをオンにして制御を実行す
[0111] また、エアコン温度を低めに制御したり酸素濃度を上げて覚醒を促したりしてもよい 。また、眠気有りを運転開始前に検出できるので、制御変更手段 50bが運転開始前 にシートを倒したりステアリング位置を最高高さ又は最低高さに移動させ、運転者に シートやステアリングの位置調整をさせることで覚醒を促してもよい。
[0112] なお、ドライバ状態推定手段 50aが、焦り状態と判定している場合は、実施例 1及び
2と同様に、各 ECUは安全面 Ι〜ΙΠ及び環境面に配慮した車両特性により車両 3を制 御する。眠気有りの場合と焦り状態の場合で重複する車両制御は、いずれかの車両 制御を行う。
[0113] 〔眠気有りの判定の解除判定〕
運転者の眠気が解消されたら車両制御を解除する。ドライバ状態推定手段 50aは、 乗車時及び乗車中の運転者の行動を検出して、正常(眠気なし)と推定される行動を 検出して焦り状態を解除する。
[0114] 眠気がない運転者は、ステアリング操作も速ぐ適切な車間距離を保ち、信号機に 対する応答も素早ぐ走行レーンに対する蛇行もしないものである。したがって、ドラ ィバ状態推定手段 50aは、走行中の運転者の操作を検出し、眠気が解消したと推定 される行動を検出する。すなわち、ドライバ状態推定手段 50aは、操舵角センサによ る操舵速度、ミリ波レーダ 47による先行車両との距離、信号機の状態とブレーキぺダ ル操作のタイミング、 目標走行線に対する車両 3の乖離度等を検出し、これを眠気解 除行動情報として記憶する。
[0115] また、乗車時及び乗車中は、顔カメラ 54により運転者の顔を撮影し、開眼/閉眼を 検出しているので、開眼時間が所定以上継続するような場合は、所定時間毎に眠気 が解消される傾向にあるとして眠気解除行動情報として記憶する。なお、「所定時間 毎に」としたのは、眠気有りの判定を徐々に解除することを可能にするためである。
[0116] ドライバ状態推定手段 50aは、例えば、眠気解除行動情報が所定数以上検出され たら、眠気有りの判定を解除する。また、眠気解除行動情報が検出されるたびに、介 入度が小さくなるように、自律系の車両制御から運転者への注意喚起までの車両制 御を徐々に低減するように解除してもよい。
[0117] 〔ドライバ状態推定装置 5の作動の流れ〕
図 17は、ドライバ状態推定装置 5の作動の手順を示すフローチャート図である。図 17のフローチャート図は、例えば、ィグニッシヨンオンによりスタートする。
[0118] イダニシヨンがオンになると車両 3は情報センタ 2経由で送信される眠気要因情報を 受信する(S201)。なお、イダニシヨンオンでなくても眠気要因情報を受信可能であ れば、運転者が車両 3に到達する前に受信してもよい。
[0119] ついで、ドライバ状態推定手段 50aは、眠気要因情報の数に応じて運転者が眠気 有りか否かを判定する(S202)。
[0120] 眠気有りでない場合(S202の No)、ドライバ状態推定手段 50aは何もせずそのまま 処理が終了する。眠気有りと判定された場合(S202の Yes)、制御変更手段 50bは 運転者に注意喚起及び警告し、眠気があっても安全に走行が可能なように車両制御 値を変更する(S203)。
[0121] そして、車両 3が走行している間、ドライバ状態推定手段 50aは、眠気解除行動情 報が検出されるか否かを判定する(S204)。例えば、ドライバ状態推定手段 50aは、 眠気解除情報が所定数以上検出されたことをもって判定する。
[0122] 眠気解除行動情報が検出された場合(S204の Yes)、制御変更手段 50bは眠気 有りの判定を解除して、眠気を考慮した車両制御を終了する。
[0123] 本実施例によれば、自宅 1における運転者の行動から眠気を推定して、運転開始 前から眠気を考慮した車両制御が可能なので、運転者の眠気を早期に検出し、安全 な走行が可能となる。
[0124] 以上のように、本実施形態によれば、運転開始前から運転者の状態を推定すること ができるため運転開始時には適切な運転支援を行うことができ、運転者の精神的な 状態が運転に影響することを低減できる。
[0125] また、本国際出願は、 2006年 11月 15日に出願した日本国特許出願 2006— 309
460号に基づく優先権を主張するものであり、 日本国特許出願 2004— 309460号 の全内容を本国際出願に援用する。
Claims
[1] 運転者の状態を推定するドライバ状態推定装置において、
運転開始前の運転者の状態を推定するドライバ状態推定手段と、
前記ドライバ状態推定手段により推定されたドライバ状態に基づき、車載装置の制 御を変更する制御変更手段と、
を有するドライバ状態推定装置。
[2] 運転者の自宅から検出した情報を記憶した運転者自宅情報を受信する運転者自 宅情報受信手段、を有し、
前記ドライバ状態推定手段は、前記運転者自宅情報に基づき運転者の状態を推 定する、
ことを特徴とする請求項 1記載のドライバ状態推定装置。
[3] 前記運転者自宅情報は、運転者の睡眠にかかる情報を有し、
前記ドライバ状態推定手段は、前記運転者自宅情報に基づき運転者の眠気を推 定する、
ことを特徴とする請求項 2記載のドライバ状態推定装置。
[4] エンジン始動前までの車載装置の操作を検知する検知手段を有し、
前記ドライバ状態推定手段は、前記検知手段の検知結果に基づき運転者の状態 を推定する、
ことを特徴とする請求項 1記載のドライバ状態推定装置。
[5] 前記運転者自宅情報は、運転者の会話力 抽出した会話情報を有し、
前記ドライバ状態推定手段は、前記会話情報に基づき運転者の状態を推定する、 ことを特徴とする請求項 2記載のドライバ状態推定装置。
[6] 前記運転者自宅情報は、運転者のスケジュール力、ら抽出した予定時刻情報及び 予定内容情報を有し、
前記ドライバ状態推定手段は、前記予定内容情報のみに基づき運転者の状態を 推定する、
ことを特徴とする請求項 2記載のドライバ状態推定装置。
[7] 前記運転者自宅情報は、運転者が送受信した電子メール力 抽出したメール情報
を有し、
前記ドライバ状態推定手段は、前記メール情報に基づき運転者の状態を推定する ことを特徴とする請求項 2記載のドライバ状態推定装置。
[8] 前記運転者自宅情報は、忘れ物情報、鍵の閉め忘れ情報又は蛍光灯の消し忘れ 情報の少なくともいずれかを有する、
ことを特徴とする請求項 2記載のドライバ状態推定装置。
[9] 前記検知手段は、荷物の投げ込み、ドア開閉速度が所定以上か又はスィッチ操作 ミスの!/、ずれかを検知する、
ことを特徴とする請求項 4記載のドライバ状態推定装置。
[10] 運転者の自宅から検出した情報を記憶した運転者自宅情報を受信する運転者自 宅情報受信手段と、
前記運転者自宅情報に基づき運転者の状態を推定するドライバ状態推定手段と、 前記ドライバ状態推定手段により推定された運転者の状態を車両に送信する送信 手段と、
を有することを特徴とするサーバ。
[11] 運転者の自宅にお!/、て運転者の情報を検出するセンサと、
前記センサにより検出された運転者の情報を収集するドライバ情報収集手段と、 前記ドライバ情報収集手段が収集した運転者の情報を車両に送信する送信手段と を有することを特徴とするドライバ情報収集装置。
[12] 運転者の状態を推定するための運転者状態推定システムであって、
運転者の自宅は、運転者の自宅において運転者の情報を検出するセンサと、 前記センサにより検出された運転者自宅情報を収集するドライバ情報収集手段と、 前記運転者自宅情報を車両に送信する送信手段と、を有し、
車両は、前記運転者自宅情報を受信する受信手段と、
前記運転者自宅情報又はエンジン始動前までの車載装置の操作に基づき運転開 始前の運転者の状態を推定するドライバ状態推定手段と、を有する、
運転者状態推定システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007800425743A CN101536059B (zh) | 2006-11-15 | 2007-11-05 | 驾驶员状态估计装置、服务器、驾驶员信息收集装置以及驾驶员状态估计系统 |
EP07831232.9A EP2093740B1 (en) | 2006-11-15 | 2007-11-05 | Driver condition estimating device, server, driver information collecting device and driver condition estimating system |
US12/513,076 US8135507B2 (en) | 2006-11-15 | 2007-11-05 | Driver condition estimation apparatus, server, driver information collecting apparatus, and driver condition estimation system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006309460A JP4211841B2 (ja) | 2006-11-15 | 2006-11-15 | ドライバ状態推定装置、サーバ、ドライバ情報収集装置及び運転者状態推定システム |
JP2006-309460 | 2006-11-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2008059727A1 true WO2008059727A1 (fr) | 2008-05-22 |
Family
ID=39401536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2007/071500 WO2008059727A1 (fr) | 2006-11-15 | 2007-11-05 | Dispositif d'estimation de l'état d'un conducteur, dispositif de collecte d'informations sur le conducteur et système d'estimation de l'état d'un conducteur |
Country Status (5)
Country | Link |
---|---|
US (1) | US8135507B2 (ja) |
EP (1) | EP2093740B1 (ja) |
JP (1) | JP4211841B2 (ja) |
CN (1) | CN101536059B (ja) |
WO (1) | WO2008059727A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003048449A (ja) * | 2001-08-07 | 2003-02-18 | Toyota Motor Corp | 運転者の心理状態判定装置 |
WO2011057217A2 (en) * | 2009-11-06 | 2011-05-12 | University Of Utah Research Foundation | Method for gathering, processing, and analyzing data to determine crash risk associated with driving behavior |
CN102171743A (zh) * | 2008-10-02 | 2011-08-31 | 日立汽车系统株式会社 | 与车辆行驶相关的信息处理装置 |
US8204649B2 (en) | 2008-10-09 | 2012-06-19 | University Of Utah Research Foundation | Integrated systems and method for preventing mobile computing device use while driving |
US8971927B2 (en) | 2008-10-09 | 2015-03-03 | Xuesong Zhou | System and method for preventing cell phone use while driving |
CN106710306A (zh) * | 2016-12-09 | 2017-05-24 | 深圳市元征科技股份有限公司 | 车辆驾驶行为监控方法及装置 |
Families Citing this family (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129505B2 (en) | 1995-06-07 | 2015-09-08 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
JP4793650B2 (ja) * | 2006-11-07 | 2011-10-12 | アイシン精機株式会社 | 体調管理システム |
US9074572B2 (en) * | 2008-05-28 | 2015-07-07 | GM Global Technology Operations LLC | Engine idling control system for hybrid vehicle |
JP2010055402A (ja) * | 2008-08-28 | 2010-03-11 | Fujitsu Ten Ltd | 運転支援装置および運転支援プログラム |
JP5256989B2 (ja) * | 2008-10-17 | 2013-08-07 | 日産自動車株式会社 | 運転操作支援装置、及び運転操作支援方法 |
BRPI0914389A2 (pt) * | 2008-10-30 | 2015-10-20 | Ford Global Tech Llc | "veículo, método para avisar um condutor de um veículo e veículo automotivo" |
JP2010227258A (ja) * | 2009-03-26 | 2010-10-14 | Panasonic Electric Works Co Ltd | 生活支援報知システム |
WO2010122650A1 (ja) * | 2009-04-23 | 2010-10-28 | トヨタ自動車株式会社 | 運転不適対応装置 |
JP5493451B2 (ja) * | 2009-04-24 | 2014-05-14 | トヨタ自動車株式会社 | 意識低下度判定装置および警報装置 |
TWI431464B (zh) * | 2009-04-29 | 2014-03-21 | Micro Star Int Co Ltd | Computer system with power control and power control method |
WO2011023207A1 (en) * | 2009-08-26 | 2011-03-03 | Continental Automotive Gmbh | Systems and methods for emergency arming of a network access device |
JP5251805B2 (ja) * | 2009-09-18 | 2013-07-31 | 株式会社ユピテル | 車載用電子機器及びプログラム |
JP5461282B2 (ja) * | 2010-04-01 | 2014-04-02 | トヨタホーム株式会社 | 健康支援システム |
JP5163705B2 (ja) * | 2010-07-07 | 2013-03-13 | 株式会社デンソー | 車両乗降履歴関連付け装置および車両乗降履歴関連付け装置用のプログラム |
US8698639B2 (en) * | 2011-02-18 | 2014-04-15 | Honda Motor Co., Ltd. | System and method for responding to driver behavior |
US9292471B2 (en) | 2011-02-18 | 2016-03-22 | Honda Motor Co., Ltd. | Coordinated vehicle response system and method for driver behavior |
US8731736B2 (en) * | 2011-02-22 | 2014-05-20 | Honda Motor Co., Ltd. | System and method for reducing driving skill atrophy |
US9014915B2 (en) * | 2011-07-25 | 2015-04-21 | GM Global Technology Operations LLC | Active safety control for vehicles |
WO2013023032A1 (en) * | 2011-08-11 | 2013-02-14 | Ford Global Technologies, Llc | System and method for establishing acoustic metrics to detect driver impairment |
JP2013069020A (ja) * | 2011-09-21 | 2013-04-18 | Nissan Motor Co Ltd | エコ運転支援装置 |
WO2013063444A1 (en) * | 2011-10-28 | 2013-05-02 | Ballnik Douglas P | Method and apparatus to affect body-temperature regulation |
US9008853B2 (en) * | 2011-12-07 | 2015-04-14 | GM Global Technology Operations LLC | Vehicle operator identification and operator-configured services |
DE102011121398A1 (de) * | 2011-12-17 | 2013-06-20 | Gm Global Technology Operations, Llc | Gangauswahlvorrichtung für einKraftfahrzeug |
DE102012203698A1 (de) * | 2012-03-08 | 2013-09-12 | Robert Bosch Gmbh | Verfahren zum Betreiben eines Bremskraftverstärkers eines Fahrzeugs und Steuervorrichtung für einen Bremskraftverstärker eines Fahrzeugs |
DE102012207859A1 (de) * | 2012-05-11 | 2013-11-14 | Robert Bosch Gmbh | Verfahren zur Erstellung eines Fahrprofils |
KR102053901B1 (ko) * | 2012-08-16 | 2019-12-09 | 삼성전자주식회사 | 일정 관리 방법, 일정 관리 서버 및 그를 위한 이동 단말 |
US9031729B2 (en) * | 2012-11-29 | 2015-05-12 | Volkswagen Ag | Method and system for controlling a vehicle |
DE202013100347U1 (de) * | 2013-01-24 | 2013-03-05 | Ford Global Technologies, Llc | Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge |
DE102013201168A1 (de) * | 2013-01-24 | 2014-07-24 | Ford Global Technologies, Llc | Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge |
US9149236B2 (en) | 2013-02-04 | 2015-10-06 | Intel Corporation | Assessment and management of emotional state of a vehicle operator |
US8977479B2 (en) * | 2013-03-12 | 2015-03-10 | Ford Global Technologies, Llc | Method and apparatus for determining traffic conditions |
US9751534B2 (en) | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
DE102013204882A1 (de) * | 2013-03-20 | 2014-09-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Zuordnen eines Fahrers eines Fahrzeugs zu einer im Fahrzeug hinterlegten, ein spezifisches Fahrverhalten des Fahrers repräsentierenden, Fahrerklasse |
JP5842857B2 (ja) * | 2013-04-08 | 2016-01-13 | 株式会社デンソー | 覚醒度改善装置 |
US8948992B2 (en) * | 2013-06-12 | 2015-02-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and methods for limiting standing start acceleration control using driver monitoring system (driver attention monitor) |
KR101470190B1 (ko) * | 2013-07-09 | 2014-12-05 | 현대자동차주식회사 | 자율주행 시스템의 고장 처리 장치 및 그 방법 |
CN104424752B (zh) * | 2013-08-20 | 2018-10-19 | 径卫视觉科技(上海)有限公司 | 车辆疲劳驾驶预警方法及系统 |
JP5880500B2 (ja) * | 2013-08-29 | 2016-03-09 | トヨタ自動車株式会社 | 車両 |
JP6042794B2 (ja) * | 2013-12-03 | 2016-12-14 | 本田技研工業株式会社 | 車両制御方法 |
DE102013224962A1 (de) * | 2013-12-05 | 2015-06-11 | Robert Bosch Gmbh | Anordnung zum Erstellen eines Bildes einer Szene |
KR20150066739A (ko) * | 2013-12-09 | 2015-06-17 | 경북대학교 산학협력단 | 경고 메시지를 제공하는 차량 제어 시스템 및 그 방법 |
US9346400B2 (en) | 2013-12-20 | 2016-05-24 | Ford Global Technologies, Llc | Affective user interface in an autonomous vehicle |
US9238467B1 (en) * | 2013-12-20 | 2016-01-19 | Lytx, Inc. | Automatic engagement of a driver assistance system |
US9406177B2 (en) | 2013-12-20 | 2016-08-02 | Ford Global Technologies, Llc | Fault handling in an autonomous vehicle |
KR20150087985A (ko) * | 2014-01-23 | 2015-07-31 | 한국전자통신연구원 | 안전운행정보 표출 장치 및 그 방법 |
JP6213282B2 (ja) * | 2014-02-12 | 2017-10-18 | 株式会社デンソー | 運転支援装置 |
US9511778B1 (en) * | 2014-02-12 | 2016-12-06 | XL Hybrids | Controlling transmissions of vehicle operation information |
US9751516B2 (en) | 2014-02-27 | 2017-09-05 | Ford Global Technologies, Llc | Informational based engine stop/start sensitivity control for micro-HEV |
EP3128498B1 (en) * | 2014-04-02 | 2018-10-31 | Nissan Motor Co., Ltd | Vehicular information presentation apparatus |
JP6126043B2 (ja) * | 2014-04-25 | 2017-05-10 | 本田技研工業株式会社 | 路外逸脱抑制支援装置および路外逸脱抑制支援方法 |
JP6372388B2 (ja) * | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
CN104134372A (zh) * | 2014-08-04 | 2014-11-05 | 上海扬梓投资管理有限公司 | 一种车辆安全信息通信终端及方法 |
US9747812B2 (en) | 2014-10-22 | 2017-08-29 | Honda Motor Co., Ltd. | Saliency based awareness modeling |
CN105730370A (zh) * | 2014-12-11 | 2016-07-06 | 鸿富锦精密工业(深圳)有限公司 | 汽车驾驶系统及控制方法 |
FR3030384B1 (fr) * | 2014-12-17 | 2018-05-11 | Valeo Systemes Thermiques | Procede de maintien de la vigilance d'un conducteur pour vehicule automobile |
JP6566292B2 (ja) * | 2014-12-26 | 2019-08-28 | 株式会社タニタ | 安全運転管理システム、睡眠不足判定装置、安全運転管理システムの制御方法及びプログラム |
CN104966382B (zh) * | 2015-05-21 | 2018-03-09 | 浙江吉利汽车研究院有限公司 | 驾驶员生理状态监控及应对系统和方法 |
US20160377447A1 (en) * | 2015-06-25 | 2016-12-29 | International Business Machines Corporation | Cognitive needs-based trip planning |
DE102015112637A1 (de) * | 2015-07-31 | 2017-02-02 | Volkswagen Aktiengesellschaft | Vorrichtung, Fahrzeug, Verfahren und Computerprogramm zur Berechnung zumindest eines Video- oder Steuersignals basierend auf Information entsprechend einem potentiellen Interesse |
CN105069600A (zh) * | 2015-08-24 | 2015-11-18 | 无锡贺邦金属制品有限公司 | 用于货车运输的安全管理平台 |
CN105096088A (zh) * | 2015-08-24 | 2015-11-25 | 无锡贺邦金属制品有限公司 | 用于货车运输的管理平台 |
CN105069599A (zh) * | 2015-08-24 | 2015-11-18 | 无锡贺邦金属制品有限公司 | 货运管理平台 |
CN105160915A (zh) * | 2015-08-24 | 2015-12-16 | 无锡贺邦金属制品有限公司 | 货运安全管理平台 |
CN105205631A (zh) * | 2015-08-24 | 2015-12-30 | 无锡贺邦金属制品有限公司 | 用于运输的安全管理平台 |
CN105160938A (zh) * | 2015-08-24 | 2015-12-16 | 无锡贺邦金属制品有限公司 | 用于运输的管理平台 |
CN105286890B (zh) * | 2015-09-22 | 2020-08-18 | 江西科技学院 | 一种基于脑电信号的驾驶员瞌睡状态监测方法 |
US10328897B1 (en) | 2015-09-25 | 2019-06-25 | Apple Inc. | Authorized remote control |
JP6517647B2 (ja) * | 2015-09-25 | 2019-05-22 | アイシン精機株式会社 | 居眠り判定システム |
DE102015224468A1 (de) * | 2015-12-07 | 2017-06-08 | Robert Bosch Gmbh | Verfahren zum Ansteuern einer Be- und/oder Entladevorrichtung eines Fahrzeugs über ein Haustechnikgerät und Verfahren zum Steuern eines Fahrzeugs zu einem vorbestimmten Haltebereich |
US9993191B2 (en) * | 2015-12-29 | 2018-06-12 | Thunder Power New Energy Vehicle Development Company Limited | Onboard system for mitigating distraction risk |
JP6755095B2 (ja) * | 2016-01-21 | 2020-09-16 | 株式会社デンソーテン | 余裕度判定装置、余裕度判定方法および運転支援システム |
JP6558283B2 (ja) * | 2016-03-14 | 2019-08-14 | トヨタ自動車株式会社 | 運転者心理判定装置 |
TWI618433B (zh) | 2016-03-18 | 2018-03-11 | 立創智能股份有限公司 | 多目標即時定位警報系統 |
US9813973B2 (en) * | 2016-04-03 | 2017-11-07 | Siklu Communication ltd. | Embedded millimeter-wave components |
US9908464B2 (en) * | 2016-04-10 | 2018-03-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Apprising a driver of confidence in operation of a vehicle |
JP6378719B2 (ja) * | 2016-07-19 | 2018-08-22 | 矢崎総業株式会社 | 生体情報記憶システム、及び、車内生体情報記憶装置 |
US10209949B2 (en) * | 2016-08-23 | 2019-02-19 | Google Llc | Automated vehicle operator stress reduction |
JP6954290B2 (ja) * | 2016-08-31 | 2021-10-27 | ソニーグループ株式会社 | 制御システム、プログラム、および制御方法 |
JP6619316B2 (ja) * | 2016-09-30 | 2019-12-11 | 本田技研工業株式会社 | 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体 |
US9925872B1 (en) | 2016-11-14 | 2018-03-27 | Denso International America, Inc. | System for monitoring driver alertness and adapting vehicle settings thereto |
CN109996713B (zh) * | 2016-11-28 | 2022-04-15 | 本田技研工业株式会社 | 驾驶辅助装置、驾驶辅助系统和驾驶辅助装置的控制方法 |
WO2018105061A1 (ja) * | 2016-12-07 | 2018-06-14 | 本田技研工業株式会社 | 制御装置及び制御方法 |
US10252717B2 (en) * | 2017-01-10 | 2019-04-09 | Toyota Jidosha Kabushiki Kaisha | Vehicular mitigation system based on wireless vehicle data |
JP6855877B2 (ja) * | 2017-03-29 | 2021-04-07 | トヨタ自動車株式会社 | 睡眠管理システム |
JP2018179547A (ja) * | 2017-04-04 | 2018-11-15 | 株式会社日立システムズ | 安全走行支援システム、安全走行支援方法、並びに安全走行支援プログラム |
JP6920112B2 (ja) * | 2017-06-15 | 2021-08-18 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
CN107564541B (zh) * | 2017-09-04 | 2018-11-02 | 南方医科大学南方医院 | 一种便携式婴儿啼哭声识别器及其识别方法 |
US20190092337A1 (en) * | 2017-09-22 | 2019-03-28 | Aurora Flight Sciences Corporation | System for Monitoring an Operator |
KR102435346B1 (ko) * | 2017-09-28 | 2022-08-23 | 현대자동차주식회사 | 운전자의 헬스 측정 시스템 및 그를 이용한 위험 경고 방법 |
CN108099824B (zh) * | 2017-12-28 | 2021-06-04 | 广西南宁智翠科技咨询有限公司 | 一种通过关门力度进行气味调节的行车记录仪 |
CN108109228A (zh) * | 2017-12-28 | 2018-06-01 | 广西南宁智翠科技咨询有限公司 | 一种可快速散发气味的行车记录仪 |
CN108062807A (zh) * | 2017-12-28 | 2018-05-22 | 广西南宁智翠科技咨询有限公司 | 一种具有防锈作用且可调节车内气味的行车记录仪 |
JP6684295B2 (ja) | 2018-02-09 | 2020-04-22 | 株式会社日立物流 | 管理支援システム |
JP6714036B2 (ja) | 2018-04-25 | 2020-06-24 | 株式会社日立物流 | 管理支援システム |
JP7235276B2 (ja) * | 2018-08-21 | 2023-03-08 | 株式会社データ・テック | 運行管理装置及びコンピュータプログラム |
US20200130663A1 (en) * | 2018-10-30 | 2020-04-30 | Continental Automotive Systems, Inc. | Brake pedal feel adjustment due to vehicle mode or driver biometrics |
JP7239260B2 (ja) * | 2018-12-05 | 2023-03-14 | アルパイン株式会社 | 電子装置、運転者状態推定システム |
JP2020117043A (ja) * | 2019-01-23 | 2020-08-06 | 株式会社デンソー | ドライバ状況判定装置、ドライバ状況判定方法、ドライバ状況判定プログラム |
CN111984855A (zh) * | 2019-05-24 | 2020-11-24 | 北京车和家信息技术有限公司 | 信息推荐的方法及装置 |
CN113939858B (zh) * | 2019-06-19 | 2023-07-25 | 三菱电机株式会社 | 自动驾驶辅助装置、自动驾驶辅助系统和自动驾驶辅助方法 |
US11150641B2 (en) * | 2019-06-21 | 2021-10-19 | General Motors Llc | System and method to initiate remote control of an autonomous vehicle |
JP7410681B2 (ja) * | 2019-09-25 | 2024-01-10 | 株式会社Subaru | 車両制御システム |
JP7526194B2 (ja) * | 2019-09-25 | 2024-07-31 | ロジスティード株式会社 | 運行スケジュール作成システム、コンピュータ、端末、運行スケジュール作成方法及びプログラム |
JP7025457B2 (ja) * | 2020-01-14 | 2022-02-24 | 株式会社日立物流 | 管理支援システム |
JP7359092B2 (ja) * | 2020-07-17 | 2023-10-11 | トヨタ自動車株式会社 | 車両ユーザ支援システム、及び車両ユーザ支援装置 |
CN114676844A (zh) * | 2020-12-24 | 2022-06-28 | 北京百度网讯科技有限公司 | 用于自动驾驶的方法、装置、设备、计算机可读存储介质 |
DE102021200103B4 (de) | 2021-01-08 | 2024-02-01 | Volkswagen Aktiengesellschaft | Steuerungsverfahren von Fahrzeugsicherheitseinrichtungen |
CN112977319B (zh) * | 2021-03-17 | 2022-03-01 | 江西昌河汽车有限责任公司 | 一种用于汽车的自动开启警示系统及其开启方法 |
JP2022181383A (ja) * | 2021-05-26 | 2022-12-08 | Necフィールディング株式会社 | 安全運転支援システム、安全運転支援方法及び安全運転支援プログラム |
JP2023178713A (ja) * | 2022-06-06 | 2023-12-18 | 本田技研工業株式会社 | 運転可否判定装置 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06199157A (ja) * | 1992-12-28 | 1994-07-19 | Mazda Motor Corp | 自動車用制御装置の制御ゲイン変更装置 |
JPH06206473A (ja) * | 1993-01-07 | 1994-07-26 | Mazda Motor Corp | 自動車用制御装置の制御ゲイン変更方法及びその変更装置 |
JPH0872591A (ja) * | 1994-09-05 | 1996-03-19 | Nissan Motor Co Ltd | 車両用駆動力制御装置 |
JPH1139592A (ja) * | 1997-07-23 | 1999-02-12 | Toyota Motor Corp | 車両走行制御装置 |
JP2002353976A (ja) * | 2001-05-30 | 2002-12-06 | Pioneer Electronic Corp | 情報通信機器および情報通信方法 |
JP2003048449A (ja) * | 2001-08-07 | 2003-02-18 | Toyota Motor Corp | 運転者の心理状態判定装置 |
JP2003123198A (ja) * | 2001-10-15 | 2003-04-25 | Daiichi Fashion Service:Kk | 居眠り事故防止方法及びそのシステム |
JP2004097496A (ja) * | 2002-09-09 | 2004-04-02 | Yamatake Corp | 睡眠モニタリングシステム及びモニタリング装置 |
JP2004106716A (ja) | 2002-09-19 | 2004-04-08 | Denso Corp | 車両用焦り検出装置 |
JP2004213130A (ja) * | 2002-12-27 | 2004-07-29 | Fuji Photo Film Co Ltd | 手荷物置き忘れ防止システム |
JP2004271335A (ja) * | 2003-03-07 | 2004-09-30 | Denso Corp | ナビゲーション装置 |
JP2005003592A (ja) * | 2003-06-13 | 2005-01-06 | Nissan Motor Co Ltd | 情報送信装置、情報送信用プログラム、および情報送信方法 |
JP2005143895A (ja) * | 2003-11-17 | 2005-06-09 | Nissan Motor Co Ltd | 運転者心理状態判定装置 |
JP2005168856A (ja) * | 2003-12-12 | 2005-06-30 | National Institute Of Advanced Industrial & Technology | 疲労度計測装置および疲労度計測方法 |
JP2005210361A (ja) * | 2004-01-22 | 2005-08-04 | Nissan Motor Co Ltd | 電気機器の制御システム、車載装置および家庭内設置装置並びに制御方法 |
JP2005284771A (ja) * | 2004-03-30 | 2005-10-13 | Mazda Motor Corp | 車両用情報提供装置 |
JP2006247255A (ja) * | 2005-03-14 | 2006-09-21 | Nissan Motor Co Ltd | 活動状態計測・刺激提示装置及び活動状態計測・刺激提示方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7082359B2 (en) * | 1995-06-07 | 2006-07-25 | Automotive Technologies International, Inc. | Vehicular information and monitoring system and methods |
JPH09301011A (ja) * | 1996-05-20 | 1997-11-25 | Honda Motor Co Ltd | 車両用運転状況監視装置 |
JPH10288532A (ja) | 1997-04-15 | 1998-10-27 | Toyota Motor Corp | 車両用音声案内装置 |
US6060989A (en) * | 1998-10-19 | 2000-05-09 | Lucent Technologies Inc. | System and method for preventing automobile accidents |
DE10042367A1 (de) * | 2000-08-29 | 2002-05-02 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Diagnose der Fahrtüchtigkeit eines Fahrers in einem Kraftfahrzeug |
US6909947B2 (en) * | 2000-10-14 | 2005-06-21 | Motorola, Inc. | System and method for driver performance improvement |
CN2480241Y (zh) * | 2001-03-08 | 2002-03-06 | 刘红旗 | 一种驾驶员状态监控装置 |
US6970075B2 (en) * | 2001-06-19 | 2005-11-29 | Peter Herbert Cherouny | Electronic programmable speed limiter |
US6599243B2 (en) * | 2001-11-21 | 2003-07-29 | Daimlerchrysler Ag | Personalized driver stress prediction using geographical databases |
WO2003070093A1 (en) * | 2002-02-19 | 2003-08-28 | Volvo Technology Corporation | System and method for monitoring and managing driver attention loads |
JP3846872B2 (ja) * | 2002-06-27 | 2006-11-15 | パイオニア株式会社 | 運転者精神状態情報提供システム |
US20040089491A1 (en) * | 2002-11-07 | 2004-05-13 | Visteon Global Technologies, Inc. | Creep torque command interrupt for HEVs and EVs |
JP2004330891A (ja) * | 2003-05-08 | 2004-11-25 | Fujitsu Ten Ltd | 利便性向上装置 |
JP4111062B2 (ja) * | 2003-05-27 | 2008-07-02 | 株式会社デンソー | 眠気度合検出装置 |
BRPI0411056A (pt) * | 2003-06-06 | 2007-04-17 | Volvo Technology Corp | método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor |
JP2005173989A (ja) | 2003-12-11 | 2005-06-30 | Nissan Motor Co Ltd | 忘れ物警報装置 |
US7266430B2 (en) * | 2003-12-22 | 2007-09-04 | International Business Machines Corporation | Medical applications in telematics |
US7117075B1 (en) * | 2005-08-15 | 2006-10-03 | Report On Board Llc | Driver activity and vehicle operation logging and reporting |
KR20080106244A (ko) * | 2006-02-13 | 2008-12-04 | 올 프로텍트 엘엘씨 | 제 3 자에게 주어진 차량을 제어하는 시스템 |
US7468673B2 (en) * | 2006-06-23 | 2008-12-23 | Delphi Technologies, Inc. | System and method for determining whether a vehicle operator has an impaired cognitive state |
-
2006
- 2006-11-15 JP JP2006309460A patent/JP4211841B2/ja not_active Expired - Fee Related
-
2007
- 2007-11-05 US US12/513,076 patent/US8135507B2/en not_active Expired - Fee Related
- 2007-11-05 WO PCT/JP2007/071500 patent/WO2008059727A1/ja active Search and Examination
- 2007-11-05 CN CN2007800425743A patent/CN101536059B/zh not_active Expired - Fee Related
- 2007-11-05 EP EP07831232.9A patent/EP2093740B1/en not_active Not-in-force
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06199157A (ja) * | 1992-12-28 | 1994-07-19 | Mazda Motor Corp | 自動車用制御装置の制御ゲイン変更装置 |
JPH06206473A (ja) * | 1993-01-07 | 1994-07-26 | Mazda Motor Corp | 自動車用制御装置の制御ゲイン変更方法及びその変更装置 |
JPH0872591A (ja) * | 1994-09-05 | 1996-03-19 | Nissan Motor Co Ltd | 車両用駆動力制御装置 |
JPH1139592A (ja) * | 1997-07-23 | 1999-02-12 | Toyota Motor Corp | 車両走行制御装置 |
JP2002353976A (ja) * | 2001-05-30 | 2002-12-06 | Pioneer Electronic Corp | 情報通信機器および情報通信方法 |
JP2003048449A (ja) * | 2001-08-07 | 2003-02-18 | Toyota Motor Corp | 運転者の心理状態判定装置 |
JP2003123198A (ja) * | 2001-10-15 | 2003-04-25 | Daiichi Fashion Service:Kk | 居眠り事故防止方法及びそのシステム |
JP2004097496A (ja) * | 2002-09-09 | 2004-04-02 | Yamatake Corp | 睡眠モニタリングシステム及びモニタリング装置 |
JP2004106716A (ja) | 2002-09-19 | 2004-04-08 | Denso Corp | 車両用焦り検出装置 |
JP2004213130A (ja) * | 2002-12-27 | 2004-07-29 | Fuji Photo Film Co Ltd | 手荷物置き忘れ防止システム |
JP2004271335A (ja) * | 2003-03-07 | 2004-09-30 | Denso Corp | ナビゲーション装置 |
JP2005003592A (ja) * | 2003-06-13 | 2005-01-06 | Nissan Motor Co Ltd | 情報送信装置、情報送信用プログラム、および情報送信方法 |
JP2005143895A (ja) * | 2003-11-17 | 2005-06-09 | Nissan Motor Co Ltd | 運転者心理状態判定装置 |
JP2005168856A (ja) * | 2003-12-12 | 2005-06-30 | National Institute Of Advanced Industrial & Technology | 疲労度計測装置および疲労度計測方法 |
JP2005210361A (ja) * | 2004-01-22 | 2005-08-04 | Nissan Motor Co Ltd | 電気機器の制御システム、車載装置および家庭内設置装置並びに制御方法 |
JP2005284771A (ja) * | 2004-03-30 | 2005-10-13 | Mazda Motor Corp | 車両用情報提供装置 |
JP2006247255A (ja) * | 2005-03-14 | 2006-09-21 | Nissan Motor Co Ltd | 活動状態計測・刺激提示装置及び活動状態計測・刺激提示方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2093740A4 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003048449A (ja) * | 2001-08-07 | 2003-02-18 | Toyota Motor Corp | 運転者の心理状態判定装置 |
CN102171743A (zh) * | 2008-10-02 | 2011-08-31 | 日立汽车系统株式会社 | 与车辆行驶相关的信息处理装置 |
CN102171743B (zh) * | 2008-10-02 | 2014-08-20 | 日立汽车系统株式会社 | 与车辆行驶相关的信息处理装置 |
US8204649B2 (en) | 2008-10-09 | 2012-06-19 | University Of Utah Research Foundation | Integrated systems and method for preventing mobile computing device use while driving |
US8971927B2 (en) | 2008-10-09 | 2015-03-03 | Xuesong Zhou | System and method for preventing cell phone use while driving |
WO2011057217A2 (en) * | 2009-11-06 | 2011-05-12 | University Of Utah Research Foundation | Method for gathering, processing, and analyzing data to determine crash risk associated with driving behavior |
WO2011057217A3 (en) * | 2009-11-06 | 2011-10-27 | University Of Utah Research Foundation | Method for gathering, processing, and analyzing data to determine crash risk associated with driving behavior |
CN106710306A (zh) * | 2016-12-09 | 2017-05-24 | 深圳市元征科技股份有限公司 | 车辆驾驶行为监控方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20100030434A1 (en) | 2010-02-04 |
EP2093740B1 (en) | 2015-09-23 |
US8135507B2 (en) | 2012-03-13 |
EP2093740A4 (en) | 2010-03-03 |
JP4211841B2 (ja) | 2009-01-21 |
JP2008123448A (ja) | 2008-05-29 |
CN101536059A (zh) | 2009-09-16 |
EP2093740A1 (en) | 2009-08-26 |
CN101536059B (zh) | 2011-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4211841B2 (ja) | ドライバ状態推定装置、サーバ、ドライバ情報収集装置及び運転者状態推定システム | |
KR101930462B1 (ko) | 차량 제어 장치 및 그것을 포함하는 차량 | |
US10081317B2 (en) | Safety control system for vehicles based on driver health | |
US10852720B2 (en) | Systems and methods for vehicle assistance | |
JP6142718B2 (ja) | 運転支援装置、および運転支援方法 | |
US9505412B2 (en) | System and method for detection and utilization of driver distraction level | |
JP6628441B2 (ja) | 自動車及び自動車用プログラム | |
US9688246B2 (en) | Method and apparatus for in-vehicle alarm activation and response handling | |
JP4534925B2 (ja) | 車両用情報提供装置 | |
JP2020091790A (ja) | 自動運転システム | |
JP2018147354A (ja) | 乗客支援装置、方法及びプログラム | |
JP2006119965A (ja) | 車載型警報システム | |
JP2010217956A (ja) | 情報処理装置及び方法、プログラム、並びに情報処理システム | |
JP2005062911A (ja) | 車両制御装置 | |
US11285966B2 (en) | Method and system for controlling an autonomous vehicle response to a fault condition | |
US11590934B2 (en) | Vehicular safety monitoring | |
JP2020113183A (ja) | 自動運転システム | |
JP2008143381A (ja) | 車両用警告システム、車両用警告システムの警告方法 | |
JP2013128226A (ja) | 携帯端末使用制限装置 | |
JP2023041750A (ja) | 自動車及び自動車用プログラム | |
JP2002245595A (ja) | 通行障害通報システム | |
US20220161760A1 (en) | Vehicular driver monitoring | |
JP6778941B1 (ja) | あおり運転検知システム | |
CN112298017A (zh) | 一种互动系统、方法及计算机存储介质 | |
WO2021145367A1 (ja) | あおり運転検知システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200780042574.3 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 07831232 Country of ref document: EP Kind code of ref document: A1 |
|
DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
WWE | Wipo information: entry into national phase |
Ref document number: 12513076 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2007831232 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) |