WO2017204195A1 - Hmi制御装置、移動体、hmi制御方法、及びプログラム - Google Patents

Hmi制御装置、移動体、hmi制御方法、及びプログラム Download PDF

Info

Publication number
WO2017204195A1
WO2017204195A1 PCT/JP2017/019132 JP2017019132W WO2017204195A1 WO 2017204195 A1 WO2017204195 A1 WO 2017204195A1 JP 2017019132 W JP2017019132 W JP 2017019132W WO 2017204195 A1 WO2017204195 A1 WO 2017204195A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
travel
state
user
hmi
Prior art date
Application number
PCT/JP2017/019132
Other languages
English (en)
French (fr)
Inventor
鈴木 啓高
拓也 小杉
文崇 加藤
均 川端
智隆 渡邊
Original Assignee
エスディーテック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エスディーテック株式会社 filed Critical エスディーテック株式会社
Priority to JP2018519551A priority Critical patent/JP6840341B2/ja
Publication of WO2017204195A1 publication Critical patent/WO2017204195A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • HMI control device moving body
  • HMI control method related to HMI control device, moving body, HMI control method, and program.
  • ACC Adaptive Cruing Control
  • CACC Cooperative Adaptive Control
  • a technology such as a lane keep assist that controls the steering operation so that the vehicle maintains the driving lane by detecting road information such as a lightening brake and a road white line.
  • Patent Document 1 When driving using such a safe driving support system, it may deviate from how the driver performs manual driving, which may cause the driver to feel uneasy due to unforeseen movements. is there. Therefore, for example, a technique as disclosed in Patent Document 1 has been proposed.
  • Patent Document 1 describes that when a driver or a passenger feels anxiety, it is recorded and an anxiety factor felt by the driver or the passenger is estimated.
  • Patent Document 1 aims to estimate anxiety factors and reduce them, which can be said to be one of the aforementioned “zeroization”.
  • vehicle control that reduces driver and passenger anxiety is not uniform, and the way it feels varies depending on the driver and passenger, so it depends not only on the actual event but also on the person using it.
  • the vehicle control which was effective for another user, may make the driver and passengers more uneasy.
  • Patent Document 1 in terms of estimating the user's anxiety factor and performing vehicle control to reduce it, the estimation of the “human state” and the control performed as a result of the estimation are limited. This is just one of many zeroize items. In order to improve the quality at the time of use of the vehicle and to obtain attractive quality, it is necessary to maximize the satisfaction level that is different for each user in various usage situations.
  • the problem to be solved by the present invention is to solve the above-mentioned problems, and to provide a technique that can cope with events that occur under complicated conditions.
  • the present invention that solves the above problems is an HMI (Human Machine Interface) control device, which is information on the state of travel of a moving body during actual travel, Acquisition means for acquiring mobile body travel information, which is travel information of the mobile body, and information regarding a situation where the mobile body is placed using the travel information, the mobile body of the user operating the mobile body And presenting means for presenting in a method corresponding to the adaptation state for.
  • HMI Human Machine Interface
  • the present invention that solves the above problems is a moving object, and is information on the actual traveling condition of the moving object, which is information on the situation where the moving object is placed during actual traveling, and the traveling information of the moving object during actual traveling.
  • the acquisition means for acquiring certain moving body traveling information and the information regarding the situation where the moving body is placed using the traveling information correspond to the adaptation state of the user who operates the moving body with respect to the moving body.
  • the present invention that solves the above-described problems is an HMI (Human Machine Interface) control method that controls an HMI (Human Machine Interface) that provides information to a user, and is a moving body during actual driving.
  • the mobile body actual traveling situation information which is information on the situation where the vehicle is placed and the mobile body traveling information which is the traveling information of the mobile body during actual traveling are obtained, and the mobile body uses the traveling information to
  • the information regarding the situation that has been placed is presented in a method corresponding to the adaptation state of the user who operates the moving body with respect to the moving body.
  • the present invention that solves the above-described problems is an HMI (Human Machine Interface) control system, which is information on the actual traveling state of the moving body, which is information on the state in which the moving body is placed during actual traveling, Acquisition means for acquiring mobile body travel information, which is travel information of the mobile body, and information regarding a situation where the mobile body is placed using the travel information, the mobile body of the user operating the mobile body And presenting means for presenting in a method corresponding to the adaptation state for.
  • HMI Human Machine Interface
  • the present invention that solves the above problem is a program of an HMI (Human Machine Interface) control device, which is a mobile object that is information on the situation in which the mobile object is placed during actual driving.
  • FIG. 1 is a block diagram showing the first embodiment.
  • FIG. 2 is a block diagram showing another configuration of the first embodiment.
  • FIG. 3 is a flowchart for explaining the operation of the preliminary work according to the first embodiment.
  • FIG. 4 is a flowchart for explaining the operation of the first embodiment.
  • FIG. 5 is a block diagram showing the second embodiment.
  • FIG. 6 is a flowchart for explaining the operation of the second embodiment.
  • FIG. 7 is a block diagram showing the third embodiment.
  • FIG. 8 is a flowchart for explaining the operation of the third embodiment.
  • FIG. 9 is a block diagram showing the fourth embodiment.
  • FIG. 10 is a flowchart for explaining the operation of the fourth embodiment.
  • FIG. 11 is a block diagram showing the fifth embodiment.
  • FIG. 12 is a block diagram showing another configuration of the fifth embodiment.
  • FIG. 13 is a flowchart for explaining the operation of the preliminary work according to the fifth embodiment.
  • FIG. 14 is a flowchart for explaining the operation of the fifth embodiment.
  • FIG. 15 is a diagram for explaining an example of control performed by the HMI control unit 80.
  • FIG. 16 is a diagram for describing a control example performed by the HMI control unit 80.
  • FIG. 17 is a diagram for describing a control example performed by the HMI control unit 80.
  • FIG. 18 is a diagram illustrating an example of a computer that operates according to a program.
  • FIG. 1 is a block diagram of a control system according to the first embodiment of the present invention.
  • the control system 1 of the present invention provides various functions in a manner suitable for each user's current state by controlling an HMI (Human Machine Interface) while the user is driving the vehicle.
  • the control system 1 of the present invention includes a travel information collection unit 10, a travel information history data 20, a biological information collection unit 30, a biological information history data 40, a machine learning unit 50, a relation storage unit 60, an adaptive state recognition unit 70, and an HMI control. Part 80 and HMI part 90.
  • the traveling information collection unit 10 collects traveling information of the vehicle that is traveling.
  • the collected travel information is recorded in the travel information history data 20 as a log in time series.
  • the travel information collection unit 10 collects measurement values from various sensors attached to the vehicle, such as accelerator, brake, steering, throttle, rotation speed, speed, and position information, as travel information.
  • the travel information collection unit 10 receives road information, information about the preceding vehicle (distance, speed, etc.), information about the oncoming vehicle, information about the left and right vehicles, information about the merging vehicle, Information on pedestrians and information from car navigation systems may also be collected.
  • the information collected by the travel information collection unit 10 is hereinafter referred to as travel information.
  • this system provider may collect the test driving
  • travel information obtained when the user actually operates the vehicle and travels the vehicle (during actual travel), not the test travel for the purpose of collecting samples, It is described as travel information.
  • the traveling information collection unit 10 includes a traveling state analysis unit 11 that analyzes a state where a traveling vehicle is placed based on traveling information collected during traveling and outputs traveling state information.
  • the traveling state information is information indicating a state where the traveling vehicle is placed. For example, there is a situation where there is a vehicle in the immediate vicinity of the vehicle, a situation where there is a vehicle that has been interrupted from the right, based on travel information from a camera attached to the vehicle. In addition, there are a situation in which fog is generated around the vehicle, a situation in which the traveling speed exceeds the court speed, and the like based on traveling information from the sensor.
  • the driving situation information obtained when the user actually operates the vehicle to drive the vehicle is not the test driving for sample collection. It is described as actual driving status information.
  • the biometric information collecting unit 30 collects biometric information of a user who is a driver or a passenger when traveling. Then, the biometric information history data 40 is recorded as a log in time series.
  • the biological information collection unit 30 collects a user's electrocardiogram, heart rate, blood pressure, sweating state, brain waves, body acceleration, line of sight, pupil diameter, and the like as biological information.
  • the biometric information may be obtained by collecting biometric information at the time of a test run by a user of the vehicle in advance test run, or by the system provider collecting biometric information at the time of a test run by many users in advance. Be good.
  • the biometric information obtained when the user actually operates the vehicle and travels the vehicle (during actual travel), not the test travel for the purpose of collecting samples is hereinafter referred to as actual information. It is described as biometric information.
  • the machine learning unit 50 has adaptation state information representing an adaptation state of the user with respect to the operation of the vehicle prepared in advance by the system provider.
  • This adaptive state information is information representing the user's skills and feelings regarding the operation of the vehicle, such as “anxiety”, “overconfidence”, “irritability”, “advanced driver”, “novice driver”, and the like.
  • the machine learning unit 50 acquires travel information from the travel information history data 20, and acquires the acquired biometric information during travel from the biometric information history data 40. Then, the relationship between the travel information, the biological information, and the adaptation state information is machine-learned, and a learning model in which the relationship between the travel information, the biological information, and the adaptation state information is learned is stored in the relationship storage unit 60.
  • the machine learning performed by the machine learning unit 50 is performed before the user starts traveling.
  • the machine learning is performed by inputting some teacher information in advance (vehicle running information collected in advance as a sample and user's biological information collected in advance as a sample when the vehicle is running). Output) is preferable, but machine learning without teacher information may be used.
  • machine learning with teacher information machine learning is performed using travel information and biological information labeled with adaptation state information.
  • Machine learning without teacher information is performed by classifying the input travel information and biometric information by machine learning and associating adaptive state information with the classification result.
  • the machine learning technique performed by the machine learning unit 50 is not limited, and any of deep learning, support vector machine, Bayesian network, decision tree learning, and the like may be used.
  • the adaptation state recognition unit 70 acquires actual traveling information collected by the traveling information collection unit 10 and actual biological information collected by the biological information collection unit 30 when the user actually gets on the vehicle and starts traveling. . Based on the acquired actual traveling state information and the user's actual biological information, the user's adaptation state is acquired with reference to the relationship in the relationship storage unit 60.
  • the adaptive state recognizing unit 70 is provided alone, but instead of providing the adaptive state recognizing unit 70 alone, the actual running state information and the user's real biological information are input to the machine learning unit 50, and the machine learning unit receives them. It may be configured to output the learned result. A block diagram of such a configuration is shown in FIG.
  • the HMI control unit 80 provides a function according to the adaptation state of the user recognized by the adaptation state recognition unit 70 by controlling the HMI unit 90.
  • the functions provided to the user by the HMI unit 90 controlled by the HMI control unit 80 include, for example, audio from a speaker, messages and images to be displayed on a display screen, color and brightness of illumination in the vehicle, and the like. Using these functions, the HMI unit 90 presents to the user the situation in which the vehicle is placed during actual traveling based on the actual traveling state information output from the traveling information analysis unit 11.
  • the HMI control unit 80 For each adaptation state recognized by the adaptation state recognition unit 70, the HMI control unit 80 refers to the HMI control information in which the HMI unit 90 to be controlled and the control contents are associated with each other, and the adaptation state recognized by the adaptation state recognition unit 70 Control of the HMI unit 90 during actual traveling is performed by a method of control content corresponding to the state. For example, when the HMI unit 90 is a display unit, the control content “detailed display” is displayed for the adaptation state information “advanced”, and the control content “schematic display” is displayed for the adaptation state information “intermediate”. "Is information that associates the control content” simple display "with the adaptation state information" beginner ".
  • the travel information collection unit 10 collects the travel information of the traveling vehicle as a sample in advance (S301), logs the travel information history data 20 in time series (S302), and the biometric information collection unit 30 is traveling The driver's biometric information is collected (S303), and the biometric information history data 40 is logged in time series (S304).
  • the machine learning unit 50 acquires the driving information from the driving information history data 20 and the biometric information at the time of acquiring the driving information from the biometric information history data 40, and determines the relationship between the driving information and the biometric information, which is a learning model, and the adaptation state, as It learns (S305) and stores it in the relationship storage unit 60 (S306).
  • the control operation of the HMI unit of the present invention is preferably performed by identifying the user.
  • This user identification may be identified for each driver or for each passenger, but may be identified by a combination of the driver and the passenger.
  • a user identification method for example, an electronic key of a vehicle carried by the driver, a portable device, a biometric authentication key such as a face or a fingerprint by a camera mounted on the vehicle, It shall be identified by registered identification information.
  • the driver has already been identified as a user. That is, when the adaptation state recognition unit 70 recognizes the adaptation state information of the user, it is assumed that the adaptation state information of the user is recognized using the identified user relationship among the relationships stored in the relationship storage unit 60. To do.
  • the adaptive state recognition unit 70 acquires the actual traveling state information of the traveling vehicle from the traveling information collection unit 10 and the actual biological information from the biological information collection unit 30 (S401).
  • the adaptation state recognition part 70 recognizes a user's adaptation state information with reference to the relationship of the relationship memory
  • the traveling state analysis unit 11 analyzes the state where the vehicle is placed based on the collected traveling information and outputs the actual traveling state information (S404).
  • the HMI control unit 80 is a control content according to the adaptive state information of the user recognized by the adaptive state recognition unit 70 about the situation where the vehicle is placed during actual traveling based on the actual traveling state information output by the traveling state analysis unit 11. Is referred to from the HMI control information and presented in a method according to the control content (S403).
  • the traveling information collection unit 10 may be a part of a safe driving support system or an automatic driving control system that is installed in the vehicle.
  • the HMI unit 90 can be provided by a method adapted to individual users.
  • Example> a control example performed by the HMI control unit 80 described in the first embodiment will be described.
  • a case where the analysis information analyzed by the traveling state analysis unit 11 is displayed on a display unit that is one of the HMI units 90 will be described as an example.
  • the vehicle is equipped with a surrounding monitoring assist system, a steering control assist system, an accelerator control system, a lane keeping system, and an ACC system as driver assistance control.
  • the HMI control unit 80 checks the adaptation state information recognized by the adaptation state recognition unit 70 when displaying information corresponding to the actual travel information on the display unit.
  • the HMI control unit 80 retrieves the control content associated with the adaptive state information from the HMI control information, and controls the HMI unit 90 by a method according to the retrieved control content.
  • traveling state analysis unit 11 analyzes that fog is occurring and notifies the user via the HMI unit 90 will be described with reference to FIG.
  • the display unit of the HMI unit 90 displays information on the content “Be careful about the surroundings because the sensor may not function”.
  • the HMI control unit 80 searches the HMI control information for adaptation state information recognized by the adaptation state recognition unit 70. Then, the HMI control unit 80 controls the HMI unit 90 by a method in accordance with the HMI control content associated with the searched adaptation state information.
  • the adaptation state information is “advanced”, the user is familiar with the operation of the vehicle, so the user can understand even if the information regarding the situation where the vehicle is placed is displayed in detail and alerted. Therefore, in the HMI control content of the HMI control information, the control content is described so as to be displayed in detail for the adaptation state “advanced person”.
  • the content of the detailed display includes a physical measurement value of the vehicle, an illustration showing a content of alerting the user, information on driver assistance to be activated, and the like.
  • the HMI control unit 80 displays these on the HMI unit 90 based on the screen format. In the example of FIG. 15, numerical values of the odometer and trip meter are displayed as physical measurement values. As illustrations showing the alert contents, a car illustration and a caution mark are displayed. As information about the driver assistance to be activated, an illustration indicating no control is displayed.
  • the adaptation state is “intermediate”, the user is accustomed to the operation of the vehicle to some extent, so that it can be understood even if the information about the situation where the vehicle is placed is displayed in some detail and alerted. Therefore, in the HMI control content of the HMI control information, the control content is described so that an outline is displayed for the adaptation state “intermediate”.
  • the contents of the summary display are physical measurement values of the vehicle, text indicating alerting contents to the user, information on driver assistance to be activated, and the like.
  • the HMI control unit 80 displays these on the HMI unit 90 based on the screen format. In the example of FIG. 15, numerical values of the odometer and trip meter are displayed as physical measurement values.
  • the surrounding monitoring is enhanced.
  • an illustration of a surrounding proximity sensor is displayed.
  • the adaptation state is “beginner”, the user often puts most of the attention in the operation of the vehicle. Therefore, even if the information regarding the situation where the vehicle is placed is displayed in detail, it is highly possible that the user cannot understand. Therefore, in the HMI control content of the HMI control information, the control content is described so that only the minimum alerting content is displayed for the adaptation state “beginner”.
  • the HMI control unit 80 displays this on the HMI unit 90 based on the simple display screen format. In the example of FIG. 15, the text of the forward attention and the illustration showing the forward attention are displayed as the contents of the alert.
  • traveling state analysis unit 11 analyzes that the vehicle is interrupting from the right and notifies this to the user via the HMI unit 90 will be described with reference to FIG. .
  • the display unit of the HMI unit 90 displays information indicating “There is a car interruption from the right and the vehicle is automatically decelerated, so be careful”.
  • the HMI control unit 80 searches the recognized adaptation state information from the HMI control information. And the HMI part 90 is controlled by the method according to the HMI control content matched with the searched adaptation state information.
  • the adaptation state is “advanced”
  • the control content is described so as to be displayed in detail for the adaptation state “advanced person”.
  • numerical values of the odometer and trip meter are displayed as physical measurement values.
  • an illustration showing the alert content an illustration of the user's car and an interrupted car and a caution mark are displayed.
  • an illustration indicating no control is displayed.
  • the adaptation state is “intermediate”, the user is accustomed to the operation of the vehicle to some extent, so that it can be understood even if the information about the situation where the vehicle is placed is displayed in some detail and alerted. Therefore, in the HMI control content of the HMI control information, the control content is described so that an outline is displayed for the adaptation state “intermediate”.
  • numerical values of the odometer and trip meter are displayed as physical measurement values.
  • the text indicating the alert content it is displayed that it slows down.
  • An illustration showing automatic speed control is displayed as information about the driver assistance to be activated.
  • the adaptation state is “beginner”, the user has put most of the attention in the operation of the vehicle, and it is likely that the user will not understand even if the information about the situation where the vehicle is placed is displayed in detail . Therefore, in the HMI control content of the HMI control information, the control content is written so that the adaptation state “beginner” simply displays only a minimum of alerting.
  • the HMI control unit 80 displays this on the HMI unit 90 based on the simple display screen format. In the example of FIG. 16, text and illustrations that prompt attention to the right are displayed as information indicating the alerting content.
  • the display section of the HMI unit 90 indicates “There is a possibility of a rear-end collision with the preceding vehicle and the vehicle is suddenly decelerated by automatic control.”
  • the HMI control unit 80 searches the HMI control information for the adaptive state information recognized by the adaptive state recognition unit 70. And the HMI control part 80 controls the HMI part 90 by the method according to the HMI control content matched with the searched adaptation state.
  • the HMI unit 90 displays a reduced amount of information, such as an illustration showing the alert content and an illustration showing the activated driver assistance control content, based on the screen format of the detailed display in an emergency.
  • an illustration of a user's car and an interrupted car and an attention mark are displayed as an illustration showing the alerting content.
  • An illustration indicating no control is displayed as an illustration indicating the driver assistance control content to be activated.
  • the HMI unit 90 is based on the screen format of the outline display in an emergency, for example, a text indicating the alert content and an illustration indicating the driver support control content to be activated, etc. Reduce the information displayed.
  • the text indicating the alerting content is displayed as decelerating.
  • An illustration of automatic speed control is displayed as an illustration showing the driver assistance control contents to be activated.
  • the HMI unit 90 displays a text and an illustration prompting attention to the right as a minimum alert based on the screen format of the simple display in an emergency. However, at this time, the color may be changed so that the user is informed of urgency.
  • FIG. 5 is a block diagram of the control system 1 according to the second embodiment.
  • a recognition result storage unit 100 and a machine learning unit 50-2 are included.
  • the machine learning unit described in the first embodiment is referred to as a machine learning unit 50-1.
  • a log of adaptation state information which is a recognition result recognized by the adaptation state recognition unit 70, is recorded by the adaptation state recognition unit 70 in time series together with the actual travel information and the actual living body information.
  • the machine learning unit 50-2 performs machine learning on the recognition result recorded in the recognition result storage unit 100, the actual traveling information, and the real biological information, and verifies the validity of the recognition result. Depending on the verification result, the recognized adaptation state is changed and output to the HMI control unit 80.
  • the machine learning here is preferably performed using some teacher information in advance, but may be machine learning without teacher information.
  • the adaptation state recognition unit 70 acquires the actual traveling information of the traveling vehicle from the traveling information collection unit 10 and the actual biological information from the biological information collection unit 30 (S601).
  • adaptation state recognition part 70 recognizes a user's adaptation state information with reference to the relationship of the relationship memory
  • the adaptive state recognition unit 70 records the recognition result log in time series together with the actual travel information and the actual living body information (S603).
  • the machine learning unit 50-2 recognizes the recognition result and the actual travel information recorded in the recognition result storage unit 100. Then, machine learning is performed on the real biological information (S604). It is verified whether the recognition in S602 is valid (S605). If not valid, the adaptation state recognized in S602 is changed to adaptation state information obtained by machine learning in S604 (S606). On the other hand, if it is valid, the adaptation state information recognized in S602 is not changed.
  • the traveling state analysis unit 11 analyzes the state where the vehicle is placed based on the collected traveling information and outputs the actual traveling state information (S608).
  • the HMI control unit 80 controls the situation where the vehicle is placed during actual traveling based on the actual traveling state information output from the traveling state analysis unit 11 according to the adaptation state information of the user recognized by the machine learning unit 50-2.
  • the contents are referred to from the HMI control information and presented by a method according to the control contents (S607).
  • the adaptive state recognition unit 70 records the log of the recognition result in time series together with the actual traveling information and the actual biological information.
  • the HMI unit 90 it is possible to provide the HMI unit 90 adapted to individual users.
  • the adaptive state recognition unit 70 shown in FIG. 1 has been described as being applied alone. However, as shown in FIG. 2, the adaptive state recognition unit 70 is not provided as a single unit.
  • the actual running information and the user's real biological information may be input again to the machine learning unit 50, and the result of learning by machine learning may be output.
  • a third embodiment of the present invention will be described.
  • the recognition result of the adaptive state recognition unit 70, the actual travel information, and the real biological information are machine-learned and the relational parameters established by the prior learning are changed.
  • the same number is attached
  • FIG. 7 is a block diagram of the control system 1 according to the third embodiment.
  • a recognition result storage unit 100 and a machine learning unit 50-3 are included.
  • the machine learning unit described in the first embodiment is referred to as a machine learning unit 50-1.
  • the recognition result storage unit 100 records a log of recognition results recognized by the adaptive state recognition unit 70 together with the actual travel information and the real biological information in time series by the adaptive state recognition unit 70. .
  • the machine learning unit 50-3 performs machine learning of the recognition result recorded in the recognition result storage unit 100, the actual travel information, and the real biological information, and changes the relationship parameters stored in the relationship storage unit 60. .
  • the adaptive state recognition unit 70 acquires the actual traveling information of the traveling vehicle from the traveling information collection unit 10 and the actual biological information from the biological information collection unit 30 (S801).
  • adaptation state recognition part 70 recognizes a user's adaptation state information with reference to the relationship of the relationship memory
  • the traveling state analysis unit 11 analyzes the state where the vehicle is placed based on the collected actual traveling information and outputs the actual traveling state information (S808).
  • the HMI control unit 80 is a control content according to the adaptive state information of the user recognized by the adaptive state recognition unit 70 about the situation where the vehicle is placed during actual traveling based on the actual traveling state information output by the traveling state analysis unit 11. Is referred to from the HMI control information and presented in a method according to the control content (S803).
  • the adaptive state recognition unit 70 records the recognition result log in time series together with the actual traveling information and the actual biological information (S804).
  • the machine learning unit 50-3 recognizes the recognition result and the actual travel information recorded in the recognition result storage unit 100.
  • the real biological information is machine-learned (S805), and the parameters of the learning model stored in the relationship storage unit 60 are changed (S806).
  • the HMI unit 90 it is possible to provide the HMI unit 90 adapted to individual users.
  • the adaptive state recognition unit 70 shown in FIG. 1 is applied to a single configuration, but as shown in FIG. 2, the adaptive state recognition unit 70 is not provided as a single unit. You may apply to the structure which inputs real driving
  • FIG. 9 is a block diagram of the control system 1 according to the fourth embodiment.
  • a user reaction recognition unit 110 and a machine learning unit 50-4 are included.
  • the machine learning unit described in the first embodiment is referred to as a machine learning unit 50-1.
  • the user reaction recognition unit 110 acquires a user response to the HMI unit 90 provided by being controlled by the HMI control unit 80.
  • the user reaction recognition unit 110 acquires a change in the user's biological state when the function of the HMI unit 90 is provided, such as a change in the user's facial expression or a voice uttered by the user.
  • the machine learning unit 50-4 performs machine learning on the adaptation state information recognized by the user response of the moving body with respect to the HMI control performed during actual traveling, which is acquired by the user reaction recognition unit 110, and is stored in the relationship storage unit 60. Change the learning model parameters.
  • the adaptation state recognition unit 70 acquires the actual traveling information of the traveling vehicle from the traveling information collection unit 10 and the actual biological information from the biological information collection unit 30 (S1001).
  • adaptation state recognition part 70 recognizes a user's adaptation state information with reference to the relationship of the relationship memory
  • the traveling state analysis unit 11 analyzes the state where the vehicle is placed based on the collected actual traveling information and outputs the actual traveling state information (S1007).
  • the HMI control unit 80 is a control content according to the adaptive state information of the user recognized by the adaptive state recognition unit 70 about the situation where the vehicle is placed during actual traveling based on the actual traveling state information output by the traveling state analysis unit 11. Is referred to from the HMI control information and presented in a method according to the control content (S1003).
  • the user reaction recognition unit 110 acquires a user response to the HMI unit 90 provided by the control executed by the HMI control unit 80 (S1004).
  • the machine learning unit 50-4 performs machine learning with the adaptation state information recognized by the user reaction recognition unit 110 as the reaction information that is the response of the user of the moving body to the HMI control performed during actual traveling (S1005).
  • the learning model-related parameter stored in the relationship storage unit 60 is changed (S1006).
  • the HMI unit 90 it is possible to provide the HMI unit 90 adapted to individual users.
  • the adaptive state recognition unit 70 shown in FIG. 1 has been described as being applied alone. However, as shown in FIG. 2, the adaptive state recognition unit 70 is not provided as a single unit.
  • the actual running information and the user's actual biological information may be input to the machine learning unit 50, and the result of learning by machine learning may be output.
  • the machine learning unit 50 constructs a learning model by machine learning of travel information and biological information.
  • driving information is machine-learned to build a learning model, and a relationship between the driving information and adaptive state information is created and stored in the relationship storage unit 60.
  • omitted is abbreviate
  • omitted is abbreviate
  • FIG. 11 is a block diagram of a control system according to the fifth embodiment of the present invention. Compared to the above embodiment, the biological information collecting unit 30 and the biological information history data 40 are not provided.
  • the machine learning unit 50 acquires travel information from the travel information history data 20.
  • the travel information is machine-learned, and the relationship between the travel information as the learning model and the adaptation state information is stored in the relationship storage unit 60.
  • machine learning with teacher information machine learning is performed using travel information and biological information labeled with adaptation state information.
  • Machine learning without teacher information is performed by classifying the input travel information and biometric information by machine learning and associating adaptive state information with the classification result.
  • the machine learning technique performed by the machine learning unit 50 is not limited, and any of deep learning, support vector machine, Bayesian network, decision tree learning, and the like may be used.
  • the adaptation state recognition unit 70 acquires actual traveling information from the traveling information collection unit 10 when the user actually gets on the vehicle and starts traveling. Based on the acquired actual travel information, the user's adaptation state information is acquired with reference to the relationship stored in the relationship storage unit 60. As described in the first embodiment, in the following description, the adaptive state recognizing unit 70 is provided alone, but actual traveling information is input to the machine learning unit 50 without providing the adaptive state recognizing unit 70 alone. The machine learning unit may output the learning result. A block diagram of such a configuration is shown in FIG.
  • the traveling information collection unit 10 collects traveling information of a traveling vehicle as a sample in advance (S1301), and logs the traveling information history data 20 in time series (S1302).
  • the machine learning unit 50 acquires the travel information from the travel information history data 20, performs machine learning on the relationship between the travel information and the adaptation state information, which is a learning model (S1303), and stores it in the relationship storage unit 60 (S1304). .
  • the control operation of the HMI unit 90 of the present invention is preferably performed by identifying the user.
  • This user identification may be identified for each driver or for each passenger, but may be identified by a combination of the driver and the passenger.
  • a user identification method for example, an electronic key of a vehicle carried by the driver, a portable device, a biometric authentication key such as a face or a fingerprint by a camera mounted on the vehicle, It shall be identified by registered identification information.
  • the driver has already been identified as a user. That is, when the adaptation state recognition unit 70 recognizes the adaptation state information of the user, it is assumed that the adaptation state information of the user is recognized using the identified user relationship among the relationships stored in the relationship storage unit 60. To do.
  • the adaptation state recognition unit 70 acquires the actual traveling information of the traveling vehicle from the traveling information collection unit 10 (S1401).
  • the adaptation state recognition unit 70 recognizes the adaptation state information of the user with reference to the relationship stored in the relationship storage unit 60 based on the acquired actual traveling information (S1402).
  • the traveling state analysis unit 11 analyzes the state where the vehicle is placed based on the collected actual traveling information and outputs the actual traveling state information (S1404).
  • the HMI control unit 80 is a control content according to the adaptive state information of the user recognized by the adaptive state recognition unit 70 about the situation where the vehicle is placed during actual traveling based on the actual traveling state information output by the traveling state analysis unit 11. Is referred to from the HMI control information and presented in a method according to the control content (S1403).
  • the HMI unit 90 can be provided by a method adapted to individual users.
  • the adaptive state recognition unit 70 shown in FIG. 1 is applied to a single configuration, but as shown in FIG. 2, the adaptive state recognition unit 70 is not provided as a single unit. You may apply to the structure which inputs real driving
  • the present invention machine-learns at least the driving information from the traveling information of the moving body collected in advance as a sample and the user's biological information collected at the time of traveling of the moving body as a sample.
  • machine learning is performed in advance on the relationship between at least the traveling information and the adaptation state information of the user with respect to traveling of the moving body, and the HMI unit 90 during actual traveling of the moving body operated by the user is referred to by referring to this previously learned relationship. Control.
  • At least the actual traveling information and the user's reaction information are acquired from the actual traveling status information and the actual biological information for the HMI unit 90 after the control, and the actual traveling status information and the actual information regarding the acquired HMI unit 90 after the control are acquired.
  • Machine learning of at least actual travel information and user reaction information in the biological information is performed, and the control method of the HMI unit 90 suitable for the user is updated.
  • the terminal of the present invention described above can be configured by hardware, as is clear from the above description, but can also be realized by a computer program.
  • Such a configuration can be realized by a computer having a processor 1801, a memory (ROM, RAM, etc.) 1802, and a storage unit (hard disk, etc.) 1803, as illustrated in FIG.
  • the memory 1802 or the storage unit 1803 corresponds to at least one of the machine learning unit 50, the adaptive state recognition unit 70, the HMI control unit 80, the user reaction recognition unit 110, and the user reaction recognition unit 110 described above.
  • a program for processing is stored. Then, by executing a program stored in the memory 1802 or the storage unit 1803, functions and operations similar to those of the above-described embodiment are realized. Note that only a part of the functions of the above-described embodiment can be realized by a computer program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Developmental Disabilities (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明の課題は、複雑な条件で起こる事象にも対応できる技術を提供することである。本発明の解決手段は、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段とを有する。

Description

HMI制御装置、移動体、HMI制御方法、及びプログラム
 HMI制御装置、移動体、HMI制御方法、及びプログラムに関する。
 近年、安全なモビリティ社会の実現を目指して、様々な運転支援技術が開発されている。現在、安全運転支援システムとして、走行中の車両同士の車間を制御するACC(Adaptive Cruing Control)やCACC(Cooperative Adaptive Cruise Control)の技術、前方の障害物等を検知してブレーキを制御する衝突被害軽減ブレーキの技術、道路の白線等の道路情報を検知して車両が走行車線を維持するようにハンドル操作を制御するレーンキープアシスト等の技術がある。
 このような安全運転支援システムを用いて運転する場合、運転者による手動運転の走り方と乖離してしまい、運転者が予想していない動作が発生して運転者に不安を与えてしまうことがある。そこで、例えば特許文献1のような技術が提案されている。
 この特許文献1には、運転者の車両の運転動作と運転者や同乗者の生体的な情報とを測定し、運転者や同乗者が不安を感じた場合に車両の走行制御を行って不安要素を低減することが記載されている。また、特許文献1には、運転者や同乗者が不安を感じた際にはそれを記録し、運転者や同乗者が感じる不安要素を推定することが記載されている。
 更に、近年はあらゆる製品において、製品の機能面での性能向上だけでなく、利用者の感じる定性的な満足度も重要な評価尺度となり注目されている。ISO(International Organization for Standardization)で規定されている利用時品質(Usability In Use)においても、有効さ・効率性・満足の度合がその尺度として挙げられていることからも明らかなように、利用者の満足の度合を向上することが重要な課題となっている。
 利用時品質の向上には、現状の問題点を解決し最低限の利用時品質を確保する「ゼロナイズ」と、利用時品質をさらに向上し、利用者の満足度を高める「マキシマイズ」とがある。特に後者は「魅力品質」とも呼ばれ、昨今の製品開発においては非常に重要なテーマとなっている。
 現在開発されている運転支援技術は、そのほとんど全てが「安全の確保」を目的としていて、実際にそれを利用する利用者がそれらの運転支援技術を実際に利用する場面で「どう感じるか」という、利用時品質については考慮されていない。特許文献1は不安要素を推定し、それを低減することを目的としているが、これは前述の「ゼロナイズ」の一つであるといえる。
 利用時品質を高め、利用者の満足度を最大化するためには、その製品のあらゆる利用シーンにおける最低限の利用時品質を確保(ゼロナイズ)するだけでなく、可能な限り魅力品質を高める(マキシマイズ)必要がある。
特開2016-052881号公報
 通常、運転中に運転者や同乗者が不安を感じる場合、様々な事象が絡み合って起きるものである。しかしながら、上記特許文献1では、予め設定されている車両制御を行っているため、実際に起こった事象によっては、車両制御が更に運転者や同乗者を不安にさせてしまう可能性がある。
 また、運転者や同乗者の不安を低減する車両制御の内容は一様ではなく、運転者や同乗者によって感じ方が変わるので、実際に起こった事象だけでなく、利用している人によっても、別の利用者には有効だった車両制御が更に運転者や同乗者を不安にさせてしまう可能性がある。
 更に、上記特許文献1では、運転者や同乗者が不安を感じた時点の1点に注目して記録を行って不安要素を推定しているため、複数の事象が絡み合って起きた事象によって感じた不安が記録されている場合、同じ事象が推定されない限り、何も制御しないシステムとなってしまい、意味の無いものになってしまう。
 また、上記特許文献1では、利用者の不安要素を推定し、それを低減するための車両制御を行うという点において、推定する「人の状態」も、推定の結果行う制御も限定的であり、数多くあるべきゼロナイズ項目の一つにすぎない。車両の利用時品質を向上し、魅力品質を獲得するためには、さまざまな利用場面における、利用者毎に異なる満足度の最大化を実現する必要がある。
 そこで、本発明が解決しようとする課題は、上記問題点を解決することであり、複雑な条件で起こる事象にも対応できる技術を提供することにある。
 上記課題を解決する本願発明は、HMI(Human Machine Interface)制御装置であって、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段とを有する。
 上記課題を解決する本願発明は、移動体であって、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段を有する。
 上記課題を解決する本願発明は、HMI(Human Machine Interface)制御方法であって、ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御方法であって、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得し、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する。
 上記課題を解決する本願発明は、HMI(Human Machine Interface)制御システムであって、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段とを有する。
 上記課題を解決する本願発明は、HMI(Human Machine Interface)制御装置のプログラムであって、前記プログラムは前記HMI制御装置を、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段として機能させる。
 本発明によると、複雑な条件で起こる事象にも対応できる。
図1は、第1の実施の形態を示すブロック図である。 図2は、第1の実施の形態の別の構成を示すブロック図である。 図3は、第1の実施の形態の事前作業の動作を説明するフロー図である。 図4は、第1の実施の形態の動作を説明するフロー図である。 図5は、第2の実施の形態を示すブロック図である。 図6は、第2の実施の形態の動作を説明するフロー図である。 図7は、第3の実施の形態を示すブロック図である。 図8は、第3の実施の形態の動作を説明するフロー図である。 図9は、第4の実施の形態を示すブロック図である。 図10は、第4の実施の形態の動作を説明するフロー図である。 図11は、第5の実施の形態を示すブロック図である。 図12は、第5の実施の形態の別の構成を示すブロック図である。 図13は、第5の実施の形態の事前作業の動作を説明するフロー図である。 図14は、第5の実施の形態の動作を説明するフロー図である。 図15は、HMI制御部80が行う制御例を説明するための図である。 図16は、HMI制御部80が行う制御例を説明するための図である。 図17は、HMI制御部80が行う制御例を説明するための図である。 図18は、プログラムで動作するコンピュータの一例を示す図である。
〈第1の実施の形態〉
 本発明の特徴を説明するために、以下において、図面を参照して具体的に述べる。
 本発明を実施するための第1の実施の形態について図面を参照して詳細に説明する。図1は、本発明の第1の実施の形態における制御システムのブロック図である。本発明の制御システム1は、ユーザが車両の走行中に、HMI(Human Machine Interface)を制御することにより、各ユーザのその時々の状態に適した方法で各種機能を提供する。本発明の制御システム1は、走行情報収集部10、走行情報履歴データ20、生体情報収集部30、生体情報履歴データ40、機械学習部50、関係記憶部60、適応状態認識部70、HMI制御部80、及びHMI部90を有する。
 走行情報収集部10は、走行中の車両の走行情報を収集する。そして、収集した走行情報を走行情報履歴データ20に時系列でログとして記録する。走行情報収集部10は走行情報として、アクセル、ブレーキ、ステアリング、スロットル、回転数、速度、位置情報等、車両に取りつけられた各種センサから測定値を収集する。また、走行情報収集部10は、車両に取り付けられたカメラ等から、道路情報、前方車両に関する情報(距離、速度等)、対向車両に関する情報、左右の車両に関する情報、合流車両に関する情報、車両周辺の歩行者に関する情報、カーナビからの情報も収集しても良い。これら走行情報収集部10が収集する情報を、以下、走行情報と記載する。尚、走行情報は、事前のテスト走行で該車両のユーザの走行情報を収集しても、本システム提供者が事前に多数のユーザによるテスト走行を行って収集してもよいものとする。また、走行情報のうち、サンプル収集を目的とするテスト走行ではなく、ユーザが実際に車両を操作して車両を走行させている時(実走行時)に得られた走行情報を、以下、実走行情報と記載する。
 走行情報収集部10は、走行中に収集した走行情報に基づいて走行中の車両が置かれている状況を解析し、走行状況情報を出力する走行状況解析部11を有する。走行状況情報は、走行中の車両が置かれている状況を示した情報である。例えば車両に取り付けられたカメラからの走行情報によって、前方すぐ近くに車がある状況、右から割り込んできた車両がある状況等である。他には、センサからの走行情報によって、車両周辺に霧が発生している状況、走行速度が法廷速度を超えている状況等である。尚、走行状況情報のうち、サンプル収集を目的とするテスト走行ではなく、ユーザが実際に車両を操作して車両を走行させている時(実走行時)に得られた走行状況情報を、以下、実走行状況情報と記載する。
 生体情報収集部30は、運転者や同乗者であるユーザの生体情報を走行時に収集する。そして、生体情報履歴データ40に時系列でログとして記録する。生体情報収集部30は生体情報として、ユーザの心電図、心拍数、血圧、発汗状態、脳波、体の加速度、視線、瞳孔径等を収集する。尚、生体情報は、事前のテスト走行で該車両のユーザのテスト走行時の生体情報を収集しても、本システム提供者が事前に多数のユーザによるテスト走行時の生体情報を収集してもよいものとする。また、生体情報のうち、サンプル収集を目的とするテスト走行ではなく、ユーザが実際に車両を操作して車両を走行させている時(実走行時)に得られた生体情報を、以下、実生体情報と記載する。
 機械学習部50は、システム提供者が予め想定して用意した、車両の操作に対するユーザの適応状態を表す適応状態情報を有する。この適応状態情報は、車両の操作に対するユーザのスキル及び心情等を表す情報であり、“不安”、“過信”、“苛立ち”、“上級ドライバー”、“初心者ドライバー”等である。機械学習部50は、走行情報を走行情報履歴データ20から取得し、その取得した走行時の生体情報を生体情報履歴データ40から取得する。そして、走行情報と生体情報と適応状態情報との関係を機械学習させて、走行情報と生体情報と適応状態情報との関係を学習した学習モデルを関係記憶部60に記憶する。この機械学習部50が行う機械学習は、ユーザが走行を開始する前に行われる。尚、ここでの機械学習は、予め幾つかの教師情報(サンプルとして予め収集した車両の走行情報と、サンプルとして予め収集した車両の走行時におけるユーザの生体情報とを入力して適応状態情報を出力する)を用いて学習させるのが好ましいが、教師情報無しの機械学習であっても良い。教師情報有りの機械学習は、適応状態情報をラベル付けした走行情報と生体情報とを用いて機械学習する。教師情報無しの機械学習は、入力した走行情報と生体情報とを機械学習して分類し、分類結果に適応状態情報を対応づけて行われる。機械学習部50が行う機械学習の技法は問わず、ディープラーニング、サポートベクターマシン、ベイジアンネットワーク、決定木学習等のいずれでも良い。
 適応状態認識部70は、ユーザが実際に車両に乗車して走行が開始されると、走行情報収集部10が収集する実走行情報と、生体情報収集部30が収集する実生体情報と取得する。この取得した実走行状況情報とユーザの実生体情報とに基づいて、関係記憶部60の関係を参照して、ユーザの適応状態を取得する。尚、本説明では、適応状態認識部70を単独で設けたが、これを単体として設けずに、実走行状況情報とユーザの実生体情報とを機械学習部50に入力し、機械学習部に学習させた結果を出力させる構成であっても良い。このような構成の場合のブロック図を図2に示す。
 HMI制御部80は、適応状態認識部70が認識したユーザの適応状態に応じた機能をHMI部90を制御することによって提供する。HMI制御部80が制御するHMI部90がユーザに提供する機能としては、例えば、スピーカから流す音声、表示画面に表示させるメッセージや画像、車両内の照明の色や明るさ等である。HMI部90はこれらの機能を用いて、走行情報解析部11が出力した実走行状況情報に基づく実走行時に車両が置かれている状況をユーザに提示する。HMI制御部80は、適応状態認識部70が認識する適応状態ごとに、制御するHMI部90とその制御内容とが対応付けられたHMI制御情報を参照し、適応状態認識部70が認識した適応状態に対応した制御内容の方法で実走行時のHMI部90の制御を行う。HMI制御情報は、例えば、HMI部90が表示部である場合には、適応状態情報“上級者”には制御内容“詳細表示”が、適応状態情報“中級者”には制御内容“概略表示”が、適応状態情報“初級者”には制御内容“簡易表示”を対応づけた情報である。
 続いて、本実施の形態の動作について説明する。
 まず、ユーザが実際に利用する前に行われる事前学習について、図3のフロー図を用いて説明する。尚、以下の説明では、既にユーザとして運転者を識別してあるものとして説明する。
 走行情報収集部10は事前にサンプルとして走行中の車両の走行情報を収集して(S301)、走行情報履歴データ20に時系列でログをとり(S302)、生体情報収集部30は走行中の運転者の生体情報を収集して(S303)、生体情報履歴データ40に時系列でログをとる(S304)。
 機械学習部50は走行情報履歴データ20から走行情報と、この走行情報取得時の生体情報を生体情報履歴データ40から取得し、学習モデルである走行情報及び生体情報と適応状態との関係を機械学習して(S305)、関係記憶部60に記憶する(S306)。
 続いて、HMI部90を制御することにより、各ユーザのその時々の状態に適した方法で各種機能を提供する方法について、図4のフロー図を用いて説明する。本発明のHMI部の制御動作においては、ユーザを識別して行われるのが望ましい。このユーザ識別は、運転者毎、若しくは同乗者毎に識別しても良いが、運転者と同乗者との組み合わせで識別しても良いものとする。また、ユーザの識別の方法であるが、例えば、運転者が携帯している車両の電子キー、携帯機器、車両に搭載されているカメラによる顔や指紋等の生体認証キー、運転者によって車両に登録される識別情報等によって識別するものとする。尚、以下の説明では、既にユーザとして運転者を識別してあるものとして説明する。即ち、適応状態認識部70がユーザの適応状態情報を認識する際、関係記憶部60に記憶されている関係のうち、識別したユーザの関係を用いてユーザの適応状態情報を認識するものとして説明する。
 車両の実走行が開始されると、適応状態認識部70は、走行情報収集部10から走行中の車両の実走行状況情報を、生体情報収集部30から実生体情報を取得する(S401)。
 そして、適応状態認識部70は、取得した走行情報と生体情報とに基づいて、関係記憶部60の関係を参照して、ユーザの適応状態情報を認識する(S402)。
 S401の実行と同時進行で、走行状況解析部11は、収集した走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する(S404)。
 HMI制御部80は、走行状況解析部11が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、適応状態認識部70が認識したユーザの適応状態情報に応じた制御内容をHMI制御情報から参照し、その制御内容に沿った方法で提示する(S403)。
 尚、上記の走行情報収集部10は、車両に装備されている安全運転支援システム又は自動運転制御システムの一部であっても良い。
 上記実施の形態によると、個々のユーザに適応した方法でHMI部90を提供することができる。
<実施例>
 以下、実施の形態1で説明したHMI制御部80が行う制御例について説明する。以下では、走行状況解析部11が解析した解析情報を、HMI部90のひとつである表示部に表示する場合を例にして説明する。また、車両には、ドライバー支援制御として、周囲監視アシストシテテム、ステアリングコントロールアシストシステム、アクセルコントロールシステム、レーン・キーピングシステム、及びACCシステムが搭載されているものとする。
 HMI制御部80は、実走行情報に対応した情報を表示部に表示するにあたって、適応状態認識部70が認識した適応状態情報を確認する。HMI制御部80は、適応状態情報に対応付けられている制御内容をHMI制御情報から検索し、検索した制御内容に沿った方法でHMI部90を制御する。
 例えば、霧が発生している状況であることを走行状況解析部11が解析して、このことをHMI部90を介してユーザに通知する場合について、図15を用いて説明する。
 霧が発生している状況であることを走行状況解析部11が解析すると、HMI部90の表示部に“センサが機能しなくなる恐れがある為、周囲に注意”という内容の情報を表示させるために、HMI制御部80は、適応状態認識部70が認識した適応状態情報をHMI制御情報から検索する。そして、HMI制御部80は、検索した適応状態情報に対応付けられているHMI制御内容に沿った方法でHMI部90を制御する。
 適応状態情報が“上級者”である場合、ユーザは車両の操作について熟知しているため、車両が置かれている状況に関する情報を詳細に表示して注意喚起してもユーザは理解できる。そのため、HMI制御情報のHMI制御内容において、適応状態“上級者”には詳細表示するように制御内容が記されている。詳細表示の内容は、車両の物理的な測定値、ユーザへの注意喚起内容を示すイラスト、発動するドライバー支援に関する情報等である。HMI制御部80は、これらを画面フォーマットに基づいて、HMI部90に表示させる。図15の例では、物理的な測定値としてオドメータ及びトリップメータの数値が表示されている。注意喚起内容を示すイラストとしては、車のイラストと注意マークとが表示されている。発動するドライバー支援に関する情報としては、制御無しを示すイラストが表示されている。
 適応状態が“中級者”である場合、ユーザは車両の操作についてある程度慣れているため、車両が置かれている状況に関する情報をある程度詳細に表示して注意喚起しても理解できる。そのため、HMI制御情報のHMI制御内容において、適応状態“中級者”には概略を表示するように制御内容が記されている。概略表示の内容は、車両の物理的な測定値、ユーザへの注意喚起内容を示すテキスト、発動するドライバー支援に関する情報等である。HMI制御部80は、これらを画面フォーマットに基づいて、HMI部90に表示させる。図15の例では、物理的な測定値としてオドメータ及びトリップメータの数値が表示されている。ユーザへの注意喚起内容を示すテキストとしては、周囲監視を強化しますが表示されている。発動するドライバー支援に関する情報としては、周囲接近センサのイラストが表示されている。
 適応状態が“初級者”である場合、ユーザは車両の操作に注意の大半を注ぎこんでいることが多い。そのため、車両が置かれている状況に関する情報を詳細に表示しても、ユーザは理解できない可能性が高い。そのため、HMI制御情報のHMI制御内容において、適応状態“初級者”には最低限の注意喚起の内容のみの簡素表示をするように制御内容が記されている。HMI制御部80は、これを簡素表示の画面フォーマットに基づいて、HMI部90に表示させる。図15の例では、注意喚起の内容として、前方注意のテキストと前方注意を示すイラストが表示されている。
 次に、走行状況解析部11が、右から車両が割り込んできている状況であることを解析して、このことをHMI部90を介してユーザに通知する場合について、図16を用いて説明する。
 走行状況解析部11が、右から車両が割り込んできていることを解析すると、HMI部90の表示部に“右からの車の割り込みがあり、自動で減速するので注意”という内容の情報を表示画面に表示するために、HMI制御部80はHMI制御情報から、認識した適応状態情報を検索する。そして、検索した適応状態情報に対応付けられているHMI制御内容に沿った方法でHMI部90を制御する。
 適応状態が“上級者”である場合、ユーザは車両の操作について熟知しているため、車両が置かれている状況に関する情報を詳細に表示して注意喚起してもユーザは理解できる。そのため、HMI制御情報のHMI制御内容において、適応状態“上級者”には詳細表示するように制御内容が記されている。図16の例では、物理的な測定値としてオドメータ及びトリップメータの数値が表示されている。注意喚起内容を示すイラストとしては、ユーザの車と割り込みの車のイラストと注意マークが表示されている。発動するドライバー支援に関する情報としては、制御無しを示すイラストが表示されている。
 適応状態が“中級者”である場合、ユーザは車両の操作についてある程度慣れているため、車両が置かれている状況に関する情報をある程度詳細に表示して注意喚起しても理解できる。そのため、HMI制御情報のHMI制御内容において、適応状態“中級者”には概略を表示するように制御内容が記されている。図16の例では、物理的な測定値としてオドメータ及びトリップメータの数値が表示されている。注意喚起内容を示すテキストとしては、減速しますが表示されている。発動するドライバー支援に関する情報としては、自動速度制御を示すイラストが表示されている。
 適応状態が“初級者”である場合、ユーザは車両の操作に注意の大半を注ぎこんでいて、車両が置かれている状況に関する情報を詳細に表示してもユーザは理解できない可能性が高い。そのため、HMI制御情報のHMI制御内容において、適応状態“初級者”には最低限の注意喚起のみの簡素表示をするように制御内容が記されている。HMI制御部80は、これを簡素表示の画面フォーマットに基づいて、HMI部90に表示させる。図16の例では、注意喚起内容を示す情報として、右に注意するよう促すテキストとイラストが表示されている。
 次に、走行状況解析部11が、前方に車両が接近している状況であることを解析して、このことをHMI部90を介してユーザに緊急に通知する場合について、図17を用いて説明する。
 走行状況解析部11が、前方車両が接近していることを解析すると、HMI部90の表示部に“前方車両への追突の可能性があり、自動制御にて急減速するので注意”という内容の情報を表示するために、HMI制御部80は、適応状態認識部70が認識した適応状態情報をHMI制御情報から検索する。そして、HMI制御部80は、検索した適応状態に対応付けられているHMI制御内容に沿った方法でHMI部90を制御する。
 緊急に通知する場合、適応状態が“上級者”であっても、ユーザに通知する内容は一瞬で理解できる程度が良い。そのため、HMI部90は緊急時の詳細表示の画面フォーマットに基づいて、注意喚起内容を示すイラストと、発動するドライバー支援制御内容を示すイラスト等というように、情報を減らして表示する。図17の例では、注意喚起内容を示すイラストとして、ユーザの車と割り込みの車のイラストと注意マークが表示されている。発動するドライバー支援制御内容を示すイラストとして、制御無しを示すイラストが表示されている。
 適応状態が“中級者”である場合、HMI部90は緊急時の概略表示の画面フォーマットに基づいて、例えば注意喚起内容を示すテキストと、発動するドライバー支援制御内容を示すイラスト等のように、表示する情報を減らす。図17の例では、注意喚起内容を示すテキストとして減速しますが表示されている。発動するドライバー支援制御内容を示すイラストとして、自動速度制御のイラストが表示されている。
 適応状態が“初級者”である場合、HMI部90は緊急時の簡素表示の画面フォーマットに基づいて、最低限の注意喚起として、右に注意するよう促すテキストとイラストが表示されている。但し、この時は緊急であることがユーザに伝わるように色を変えても良い。
〈第2の実施の形態〉
 本発明の第2の実施の形態について説明する。本実施の形態では、適応状態認識部70の認識結果と実走行情報及び実生体情報とを機械学習して、ユーザの適応状態を認識する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。
 図5は、第2の実施の形態の制御システム1のブロック図である。上記第1の実施の形態の構成に加えて、認識結果記憶部100と、機械学習部50-2を有する。尚、本実施の形態では、第1の実施の形態で説明した機械学習部は機械学習部50-1と付す。
 認識結果記憶部100は、適応状態認識部70が認識した認識結果である適応状態情報のログが適応状態認識部70によって時系列で実走行情報及び前記実生体情報と共に記録される。
 機械学習部50-2は、認識結果記憶部100に記録されている認識結果と実走行情報及び実生体情報とを機械学習して認識結果の妥当性を検証する。そして、検証結果によっては、認識した適応状態を変更して、HMI制御部80に出力する。尚、ここでの機械学習は、予め幾つかの教師情報を用いた学習させるのが好ましいが、教師情報無しの機械学習であっても良い。
 本実施の形態の動作について、図6のフロー図を用いて説明する。尚、事前学習の動作については第1の実施の形態と同じであるため、説明を省略する。
 車両の実走行が開始されると、適応状態認識部70は、走行情報収集部10から走行中の車両の実走行情報を、生体情報収集部30から実生体情報を取得する(S601)。
 そして、適応状態認識部70は、取得した実走行情報と実生体情報とに基づいて、関係記憶部60の関係を参照して、ユーザの適応状態情報を認識する(S602)。
 適応状態認識部70は、認識結果のログを時系列で実走行情報及び前記実生体情報と共に記録する(S603)。
 機械学習部50-2は、認識結果記憶部100に新たに認識結果と実走行情報及び実生体情報とが記録されると、認識結果記憶部100内に記録されている認識結果と実走行情報及び実生体情報とを機械学習する(S604)。S602での認識は妥当であったかを検証する(S605)。妥当でない場合は、S602で認識した適応状態をS604での機械学習によって得られた適応状態情報に変更する(S606)。一方、妥当である場合は、S602で認識した適応状態情報を変更させない。
 S601の実行と同時進行で、走行状況解析部11は、収集した走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する(S608)。
 HMI制御部80は、走行状況解析部11が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、機械学習部50-2が認識したユーザの適応状態情報に応じた制御内容をHMI制御情報から参照して、その制御内容に沿った方法で提示する(S607)。
 HMI制御部80によるHMI部90の制御が実行されている一方で、適応状態認識部70は、認識結果のログを時系列で実走行情報及び前記実生体情報と共に記録する。
 本実施の形態によると、個々のユーザに適応したHMI部90を提供することができる。
 上記実施の形態では、図1に示された適応状態認識部70を単独で設けた構成に適用させて説明したが、図2に示したように、適応状態認識部70を単体として設けずに、実走行情報とユーザの実生体情報とを機械学習部50に再度入力し、機械学習に学習させた結果を出力させる構成に適用させても良い。
〈第3の実施の形態〉
 本発明の第3の実施の形態について説明する。本実施の形態では、適応状態認識部70の認識結果と実走行情報及び実生体情報とを機械学習して、事前学習で構築した関係のパラメータを変更する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。
 図7は、第3の実施の形態の制御システム1のブロック図である。上記第1の実施の形態の構成に加えて、認識結果記憶部100と、機械学習部50-3を有する。尚、本実施の形態では、第1の実施の形態で説明した機械学習部は機械学習部50-1と付す。
 認識結果記憶部100は、第2の実施の形態同様に、適応状態認識部70が認識した認識結果のログが適応状態認識部70によって時系列で実走行情報及び前記実生体情報と共に記録される。
 機械学習部50-3は、認識結果記憶部100に記録されている認識結果と実走行情報及び実生体情報とを機械学習して、関係記憶部60に記憶されている関係のパラメータを変更する。
 本実施の形態の動作について、図8のフロー図を用いて説明する。尚、事前学習の動作については第1の実施の形態と同じであるため、説明を省略する。
 車両の実走行が開始されると、適応状態認識部70は、走行情報収集部10から走行中の車両の実走行情報を、生体情報収集部30から実生体情報を取得する(S801)。
 そして、適応状態認識部70は、取得した実走行情報と実生体情報とに基づいて、関係記憶部60の関係を参照して、ユーザの適応状態情報を認識する(S802)。
 S801の実行と同時進行で、走行状況解析部11は、収集した実走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する(S808)。
 HMI制御部80は、走行状況解析部11が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、適応状態認識部70が認識したユーザの適応状態情報に応じた制御内容をHMI制御情報から参照して、その制御内容に沿った方法で提示する(S803)。
 HMI制御部80によるHMI部90の制御が実行されている一方で、適応状態認識部70は、認識結果のログを時系列で実走行情報及び前記実生体情報と共に記録する(S804)。
 機械学習部50-3は、認識結果記憶部100に新たに認識結果と実走行情報及び実生体情報とが記録されると、認識結果記憶部100内に記録されている認識結果と実走行情報及び実生体情報とを機械学習して(S805)、関係記憶部60に記憶されている学習モデルのパラメータを変更する(S806)。
 本実施の形態によると、個々のユーザに適応したHMI部90を提供することができる。
 上記実施の形態では、図1に示された適応状態認識部70を単独で設けた構成に適用させ説明したが、図2に示したように、適応状態認識部70を単体として設けずに、実走行情報とユーザの実生体情報とを機械学習部50に再度入力し、機械学習に学習させた結果を出力させる構成に適用させても良い。
 また、上記実施の形態では第1の実施の形態に適用させた場合を用いて説明したが、第2の実施の形態に適用させてもよい。
〈第4の実施の形態〉
 本発明の第4の実施の形態について説明する。本実施の形態では、適応状態認識部70の認識結果に応じて提供したHMI部90に対するユーザの反応を考慮して、関係のパラメータを変更する場合について説明する。尚、上記実施の形態と同様の構成については同一の番号を付し、詳細な説明は省略する。
 図9は、第4の実施の形態の制御システム1のブロック図である。上記第1の実施の形態の構成に加えて、ユーザ反応認識部110と、機械学習部50-4を有する。尚、本実施の形態でも、第1の実施の形態で説明した機械学習部は機械学習部50-1と付す。
 ユーザ反応認識部110は、HMI制御部80によって制御されて提供されたHMI部90に対するユーザの反応を取得する。ユーザ反応認識部110は、例えば、ユーザの表情の変化やユーザが発する声等のように、HMI部90の機能提供時のユーザの生体状態の変化を取得するものである。
 機械学習部50-4は、ユーザ反応認識部110が取得した、実走行時に行ったHMI制御に対する移動体のユーザの反応と認識した適応状態情報とを機械学習し、関係記憶部60に記憶されている学習モデルのパラメータを変更する。
 本実施の形態の動作について、図10のフロー図を用いて説明する。尚、事前学習の動作については第1の実施の形態と同じであるため、説明を省略する。
 車両の実走行が開始されると、適応状態認識部70は、走行情報収集部10から走行中の車両の実走行情報を、生体情報収集部30から実生体情報を取得する(S1001)。
 そして、適応状態認識部70は、取得した実走行情報と実生体情報とに基づいて、関係記憶部60の関係を参照して、ユーザの適応状態情報を認識する(S1002)。
 S1001の実行と同時進行で、走行状況解析部11は、収集した実走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する(S1007)。
 HMI制御部80は、走行状況解析部11が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、適応状態認識部70が認識したユーザの適応状態情報に応じた制御内容をHMI制御情報から参照して、その制御内容に沿った方法で提示する(S1003)。
 ユーザ反応認識部110は、HMI制御部80が実行した制御によって提供されたHMI部90に対するユーザの反応を取得する(S1004)。
 機械学習部50-4は、ユーザ反応認識部110が取得した、実走行時に行ったHMI制御に対する移動体のユーザの反応である反応情報と認識した適応状態情報と機械学習して(S1005)、関係記憶部60に記憶されている学習モデル係のパラメータを変更する(S1006)。
 本実施の形態によると、個々のユーザに適応したHMI部90を提供することができる。
 上記実施の形態では、図1に示された適応状態認識部70を単独で設けた構成に適用させて説明したが、図2に示したように、適応状態認識部70を単体として設けずに、実走行情報とユーザの実生体情報とを機械学習部50に入力し、機械学習に学習させた結果を出力させる構成に適用させても良い。
 また、上記実施の形態では第1の実施の形態に適用させた場合を用いて説明したが、第2又は第3の実施の形態に適用させてもよい。
<第5の実施の形態>
 上記実施の形態1~4では、機械学習部50は走行情報と生体情報とを機械学習して学習モデルを構築していた。本実施の形態では、走行情報を機械学習して学習モデルを構築し、走行情報と適応状態情報の関係を作成して関係記憶部60に記憶する場合について説明する。尚、上記実施の形態と同様の構成については同一付番を有し、詳細な説明は省略する。
 図11は、本発明の第5の実施の形態における制御システムのブロック図である。上記実施の形態と比べて、生体情報収集部30及び生体情報履歴データ40を有さない点が異なる。
 機械学習部50は、走行情報を走行情報履歴データ20から取得する。そして、走行情報を機械学習させて、学習モデルである走行情報と適応状態情報との関係を、関係記憶部60に記憶する。教師情報有りの機械学習は、適応状態情報をラベル付けした走行情報と生体情報とを用いて機械学習する。教師情報無しの機械学習は、入力した走行情報と生体情報とを機械学習して分類し、分類結果に適応状態情報を対応づけて行われる。機械学習部50が行う機械学習の技法は問わず、ディープラーニング、サポートベクターマシン、ベイジアンネットワーク、決定木学習等のいずれでも良い。
 適応状態認識部70は、ユーザが実際に車両に乗車して走行が開始されると、走行情報収集部10から実走行情報を取得する。この取得した実走行情報に基づいて、関係記憶部60に記憶されている関係を参照して、ユーザの適応状態情報を取得する。尚、上記第1の実施の形態でも説明した通り、以下の説明では適応状態認識部70を単独で設けて説明するが、これを単体として設けずに、実走行情報を機械学習部50に入力し、機械学習部に学習させた結果を出力させる構成であっても良い。このような構成の場合のブロック図を図12に示す。
 続いて、本実施の形態の動作について説明する。まず、ユーザが実際に利用する前に行われる事前学習について、図13のフロー図を用いて説明する。尚、以下の説明では、既にユーザとして運転者を識別してあるものとして説明する。
 走行情報収集部10は事前にサンプルとして走行中の車両の走行情報を収集して(S1301)、走行情報履歴データ20に時系列でログをとる(S1302)。
 機械学習部50は走行情報履歴データ20から走行情報を取得し、学習モデルである、走行情報と適応状態情報との関係を機械学習して(S1303)、関係記憶部60に記憶する(S1304)。
 続いて、HMI部90を制御することにより、各ユーザのその時々の状態に適した各種機能を提供する方法について、図14のフロー図を用いて説明する。本発明のHMI部90の制御動作においては、ユーザを識別して行われるのが望ましい。このユーザ識別は、運転者毎、若しくは同乗者毎に識別しても良いが、運転者と同乗者との組み合わせで識別しても良いものとする。また、ユーザの識別の方法であるが、例えば、運転者が携帯している車両の電子キー、携帯機器、車両に搭載されているカメラによる顔や指紋等の生体認証キー、運転者によって車両に登録される識別情報等によって識別するものとする。尚、以下の説明では、既にユーザとして運転者を識別してあるものとして説明する。即ち、適応状態認識部70がユーザの適応状態情報を認識する際、関係記憶部60に記憶されている関係のうち、識別したユーザの関係を用いてユーザの適応状態情報を認識するものとして説明する。
 車両の実走行が開始されると、適応状態認識部70は、走行情報収集部10から走行中の車両の実走行情報を取得する(S1401)。
 そして、適応状態認識部70は、取得した実走行情報に基づいて、関係記憶部60に記憶されている関係を参照して、ユーザの適応状態情報を認識する(S1402)。
 S1401の実行と同時進行で、走行状況解析部11は、収集した実走行情報に基づいて、車両が置かれている状況を解析して実走行状況情報を出力する(S1404)。
 HMI制御部80は、走行状況解析部11が出力した実走行状況情報に基づく実走行時に車両が置かれている状況を、適応状態認識部70が認識したユーザの適応状態情報に応じた制御内容をHMI制御情報から参照し、その制御内容に沿った方法で提示する(S1403)。
 上記実施の形態によると、個々のユーザに適応した方法でHMI部90を提供することができる。
 上記実施の形態では、図1に示された適応状態認識部70を単独で設けた構成に適用させ説明したが、図2に示したように、適応状態認識部70を単体として設けずに、実走行情報とユーザの実生体情報とを機械学習部50に入力し、機械学習に学習させた結果を出力させる構成に適用させても良い。
 また、上記実施の形態では第1の実施の形態に適用させた場合を用いて説明したが、第2、第3、又は第4の実施の形態に適用させてもよい。
 また、上記実施例は、第1の実施の形態に適用させた例を説明したが、第2、第3、又は第4の実施の形態に適用させた実施例でもよい。
 ここで、上記実施の形態1~5で説明した本発明を別の観点で説明する。本発明は、サンプルとして予め収集した移動体の走行情報と、サンプルとして予め収集した移動体の走行時におけるユーザの生体情報とのうち、少なくとも走行情報を機械学習して、走行情報と生体情報とのうち少なくとも走行情報と移動体の走行に対するユーザの適応状態情報との関係を予め機械学習し、この予め学習した関係を参照して、ユーザが操作する移動体の実走行時におけるHMI部90を制御する。そして、制御後のHMI部90に対する実走行状況情報及び実生体情報のうち少なくとも実走行情報とユーザの反応情報とを取得して、この取得した制御後のHMI部90に対する実走行状況情報及び実生体情報のうち少なくとも実走行情報とユーザの反応情報とを機械学習し、ユーザに適したHMI部90の制御方法を更新するものである。
 尚、上述した本発明の端末は、上記説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
 このような構成の場合、図18に例示する如く、プロセッサ1801、メモリ(ROM,RAM等)1802、及び記憶部(ハードディスク等)1803を有するコンピュータによって実現可能である。この場合、このメモリ1802又は記憶部1803には上述した機械学習部50、適応状態認識部70、HMI制御部80、ユーザ反応認識部110、及びユーザ反応認識書部110の少なくとも1つに対応する処理を行うプログラムが格納されている。そして、メモリ1802又は記憶部1803に格納されているプログラムを実行することによって、上述した実施の形態と同様の機能、動作を実現させる。尚、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
 以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
 この出願は、2016年5月24日に出願された日本出願特願2016-103627を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 1   制御システム
 10  走行情報収集部
 11  走行状況解析部
 20  走行情報履歴データ
 30  生体情報収集部
 40  生体情報履歴データ
 50  機械学習部
 60  関係記憶部
 70  適応状態認識部
 80  HMI制御部
 90  HMI部
 100 認識結果記憶部
 110 ユーザ反応認識部

Claims (23)

  1.  実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、
     前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段と
    を有するHMI(Human Machine Interface)制御装置。
  2.  前記取得手段は、前記移動体の操作時におけるユーザの生体状態の情報である生体情報を取得し、
     前記提示手段は、前記移動体実走行状況情報、前記移動体走行情報及び前記生体情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する
    請求項1に記載のHMI制御装置。
  3.  前記提示手段は、少なくとも前記移動体走行情報を入力して前記適応状態を示す適応状態情報を出力する学習モデルを有する請求項1又は請求項2に記載のHMI制御装置。
  4.  前記学習モデルは、前記移動体走行情報と前記適応状態情報との関係を機械学習して構築された学習モデルである請求項3に記載のHMI制御装置。
  5.  前記学習モデルは、前記移動体走行情報と前記生体情報と前記適応状態情報との関係を機械学習して構築された学習モデルである請求項3に記載のHMI制御装置。
  6.  前記提示手段は、前記移動体がおかれている状況に関する情報の提示で用いた適応状態情報と、前記移動体走行情報及び前記生体情報の少なくとも移動体走行情報とを機械学習することによって取得した新たな適応状態情報の妥当性を判定し、前記判定結果に応じて前記移動体がおかれている状況に関する情報の提示で用いる適応状態情報を変更する請求項1から請求項5のいずれかに記載のHMI制御装置。
  7.  前記移動体がおかれている状況に関する情報の提示で用いた適応状態情報と、前記移動体走行情報及び前記生体情報とのうち少なくとも前記移動体走行情報を機械学習して、前記学習モデルのパラメータを変更する第1のパラメータ変更手段を有する、請求項3から請求項6のいずれかに記載のHMI制御装置。
  8.  前記移動体がおかれている状況に関する情報の提示に対する前記ユーザの反応を収集し、前記収集したユーザの反応に応じて、前記学習モデルのパラメータを変更する第2のパラメータ変更手段を有する、請求項3から請求項7のいずれかに記載のHMI制御装置。
  9.  前記移動体は、自動車である
    請求項1から請求項8のいずれかに記載のHMI制御装置。
  10.  実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、
     前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段と
    を有する移動体。
  11.  実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得し、
     前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する
    HMI(Human Machine Interface)制御方法。
  12.  実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、
     前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段と
    を有するHMI(Human Machine Interface)制御システム。
  13.  HMI(Human Machine Interface)制御装置のプログラムであって、前記プログラムは前記HMI制御装置を、
     実走行時の移動体がおかれている状況の情報である移動体実走行状況情報と、実走行時の前記移動体の走行情報である移動体走行情報とを取得する取得手段と、
     前記走行情報を用いて、前記移動体がおかれている状況に関する情報を、前記移動体を操作するユーザの前記移動体に対する適応状態に対応した方法で提示する提示手段と
    して機能させるプログラム。
  14.  ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御装置であって、
     サンプルとして予め収集した移動体の走行状況の情報である走行情報と、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報とを機械学習して、前記走行状況と前記生体情報と前記移動体の走行に対する前記ユーザの適応状態との相関関係を構築する機械学習手段と、
     前記移動体の実走行時に取得した、前記移動体の走行状況である実走行状況及び前記移動体の走行時におけるユーザの生体状態である実生体状態に基づいて、前記構築した相関関係を参照して前記ユーザの適応状態を認識する認識手段と、
     前記認識した適応状態に応じて、前記実走行時の前記HMIを制御するHMI制御手段と
    を有する制御装置。
  15.  ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御装置であって、
     サンプルとして予め収集した移動体の走行状況の情報である走行情報と、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報とを機械学習して、前記走行状況と生体情報と前記移動体の走行に対する前記ユーザの適応状態との相関関係が構築されており、前記移動体の実走行時に取得した、前記移動体の走行状況である実走行状況及び前記移動体の走行時におけるユーザの生体状態である実生体状態に基づいて、前記構築した相関関係を参照して前記ユーザの適応状態を認識する機械学習手段と、
     前記認識した適応状態に応じて、前記実走行時の前記HMIを制御するHMI制御手段と
    を有する制御装置。
  16.  前記認識手段の認識結果と前記実走行状況及び前記実生体状態から得られる認識結果とを機械学習して、認識結果の妥当性を判定し、判定結果に応じて認識結果を変更する認識結果変更手段を有する、請求項14又は請求項15に記載の制御装置。
  17.  前記認識手段の認識結果と前記実走行状況及び前記実生体状態とを機械学習して、前記構築した相関関係のパラメータを変更する第1のパラメータ変更手段を有する、請求項14から請求項15のいずれかに記載の制御装置。
  18.  前記実走行時に行ったHMI制御に対する前記移動体のユーザの反応を収集し、前記収集したユーザの反応を用いて、前記構築した相関関係のパラメータを変更する第2のパラメータ変更手段を有する、請求項14から請求項17のいずれかに記載の制御装置。
  19.  前記移動体は、自動車である
    請求項14から請求項17のいずれかに記載の制御装置。
  20.  サンプルとして予め収集した移動体の走行状況の情報である走行情報と、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報とを機械学習して、前記走行状況と生体情報と前記移動体の走行に対する前記ユーザの適応状態との相関関係が予め構築された機械学習手段と、
     前記移動体の実走行時の走行状況の情報である実走行情報を取得する実走行情報取得手段と、
     前記移動体の実走行時におけるユーザの生体状態である実生体情報を取得する実生体情報手段と、
     前記実走行情報及び実生体情報に基づいて、前記構築した相関関係を参照して前記ユーザの適応状態を認識する認識手段と、
     ユーザに対して情報を提供するHMI(Human Machine Interface)と、
     前記認識した適応状態に応じて、前記実走行時の前記HMIを制御するHMI制御手段と
    を有する移動体。
  21.  ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御方法であって、
     サンプルとして予め収集した移動体の走行状況の情報である走行情報と、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報とを機械学習して、前記走行状況と生体情報と前記移動体の走行に対する前記ユーザの適応状態との相関関係を予め機械学習し、
     前記予め学習した相関関係を参照して、ユーザが操作する移動体の実走行時における前記HMIを制御し、
     前記制御後のHMIに対する実走行情報、実生体情報及び前記ユーザの反応情報を取得し、
     前記取得した前記制御後のHMIに対する実走行情報、実生体情報及び前記ユーザの反応情報を機械学習し、前記ユーザに適した前記HMIの制御方法を更新する
    HMI制御方法。
  22.  ユーザに対して情報を提供するHMI(Human Machine Interface)を制御する制御システムであって、
     サンプルとして予め収集した移動体の走行状況の情報である走行情報と、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報とを機械学習して、前記走行状況と前記生体情報と前記移動体の走行に対する前記ユーザの適応状態との相関関係を構築する機械学習手段と、
     前記移動体の実走行時に取得した、前記移動体の走行状況である実走行状況及び前記移動体の走行時におけるユーザの生体状態である実生体状態に基づいて、前記構築した相関関係を参照して前記ユーザの適応状態を認識する認識手段と、
     前記認識した適応状態に応じて、前記実走行時の前記HMIを制御するHMI制御手段と
    を有する制御システム。
  23.  制御装置のプログラムであって、前記プログラムは前記制御装置を、
     サンプルとして予め収集した移動体の走行状況の情報である走行情報と、サンプルとして予め収集した前記移動体の走行時におけるユーザの生体状態の情報である生体情報とを機械学習して、前記走行状況と生体情報と前記移動体の走行に対する前記ユーザの適応状態との相関関係が予め構築された機械学習手段と、
     前記移動体の実走行時の走行状況の情報である実走行情報を取得する実走行情報取得手段と、
     前記移動体の実走行時におけるユーザの生体状態である実生体情報を取得する実生体情報手段と、
     前記実走行情報及び実生体情報に基づいて、前記構築した相関関係を参照して前記ユーザの適応状態を認識する認識手段と、
     ユーザに対して情報を提供するHMI(Human Machine Interface)と、
     前記認識した適応状態に応じて、前記実走行時の前記HMIを制御するHMI制御手段と
    して機能させるプログラム。
PCT/JP2017/019132 2016-05-24 2017-05-23 Hmi制御装置、移動体、hmi制御方法、及びプログラム WO2017204195A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018519551A JP6840341B2 (ja) 2016-05-24 2017-05-23 Hmi制御装置、移動体、hmi制御方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-103627 2016-05-24
JP2016103627 2016-05-24

Publications (1)

Publication Number Publication Date
WO2017204195A1 true WO2017204195A1 (ja) 2017-11-30

Family

ID=60411753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019132 WO2017204195A1 (ja) 2016-05-24 2017-05-23 Hmi制御装置、移動体、hmi制御方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6840341B2 (ja)
WO (1) WO2017204195A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05325098A (ja) * 1992-05-18 1993-12-10 Honda Motor Co Ltd 車両用運転警告装置
JPH11124019A (ja) * 1997-10-24 1999-05-11 Nissan Motor Co Ltd ブレーキアシストシステム
JP2013022211A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 運転者疲労度推定装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5392686B2 (ja) * 2011-09-26 2014-01-22 トヨタ自動車株式会社 運転支援装置および方法
JP6090340B2 (ja) * 2015-01-08 2017-03-08 マツダ株式会社 ドライバ感情推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05325098A (ja) * 1992-05-18 1993-12-10 Honda Motor Co Ltd 車両用運転警告装置
JPH11124019A (ja) * 1997-10-24 1999-05-11 Nissan Motor Co Ltd ブレーキアシストシステム
JP2013022211A (ja) * 2011-07-20 2013-02-04 Nissan Motor Co Ltd 運転者疲労度推定装置

Also Published As

Publication number Publication date
JP6840341B2 (ja) 2021-03-10
JPWO2017204195A1 (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
Kashevnik et al. Driver distraction detection methods: A literature review and framework
CN108240819B (zh) 驾驶辅助装置和驾驶辅助方法
US9786192B2 (en) Assessing driver readiness for transition between operational modes of an autonomous vehicle
CN103732480B (zh) 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
JP6838479B2 (ja) 運転支援装置、及び運転支援プログラム
JP6613290B2 (ja) 運転アドバイス装置及び運転アドバイス方法
JP2016216021A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
CN108885836A (zh) 驾驶辅助方法和利用该驾驶辅助方法的驾驶辅助装置、自动驾驶控制装置、车辆、驾驶辅助系统以及程序
JP2015110417A (ja) ドライバ感情に基づく運転支援装置
KR20190045511A (ko) 차량학습에 기반한 자율주행 중 사고 회피 시스템 및 방법
US11609565B2 (en) Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine
US11810373B2 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
JP6090340B2 (ja) ドライバ感情推定装置
US11584385B2 (en) Reconfigurable throttle-by-wire pedal subsystem for a vehicle and associated methods
US20180348751A1 (en) Partially Autonomous Vehicle Passenger Control in Difficult Scenario
JP2015128989A (ja) ドライバ感情に基づく運転支援装置
JP6149842B2 (ja) ドライバ感情推定装置及び方法
US20170131714A1 (en) Vehicle control based on connectivity of a portable device
JP6468306B2 (ja) 視認支援装置、方法およびプログラム
Lashkov et al. Ontology-based approach and implementation of ADAS system for mobile device use while driving
WO2008038376A1 (fr) Dispositif de reconnaissance de signal, procédé de reconnaissance de signal, programme de reconnaissance de signal, et support d&#39;enregistrement
JP2015084253A (ja) ドライバ感情推定装置
WO2017204195A1 (ja) Hmi制御装置、移動体、hmi制御方法、及びプログラム
JP7068156B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018519551

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17802781

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17802781

Country of ref document: EP

Kind code of ref document: A1