WO2020161854A1 - 車両用機器制御システム、車両用機器制御方法及び車両用機器制御装置 - Google Patents
車両用機器制御システム、車両用機器制御方法及び車両用機器制御装置 Download PDFInfo
- Publication number
- WO2020161854A1 WO2020161854A1 PCT/JP2019/004403 JP2019004403W WO2020161854A1 WO 2020161854 A1 WO2020161854 A1 WO 2020161854A1 JP 2019004403 W JP2019004403 W JP 2019004403W WO 2020161854 A1 WO2020161854 A1 WO 2020161854A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- learning model
- learning
- vehicle
- user
- unit
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present invention relates to a vehicle device control system, a vehicle device control method, and a vehicle device control device.
- the in-vehicle device described in Patent Document 1 estimates a passenger configuration and conversation content, estimates an action purpose based on the estimated passenger configuration and conversation content, and recommends based on the estimated passenger configuration and action purpose. Determine the service. More specifically, the in-vehicle device described in Patent Document 1 provides a recommended service by matching the estimated occupant configuration and action content with the occupant configuration and action content included in the history database (recommendation service history database 23). decide. This is intended to provide an optimal service for the occupant structure at that time even when a person other than the driver is in the vehicle.
- a vehicle device such as a navigation device or an audio device
- predicting an operation that is likely to be performed by the passenger and proposing the predicted operation to the passenger.
- the probability that each operation is performed may be different depending on the driver, and may be different depending on the presence/absence of a passenger and the combination of the driver and the passenger. Therefore, it is required to realize a proper operation proposal according to the number of passengers and the combination thereof.
- Patent Document 1 Although not described or suggested in Patent Document 1, it is possible to transfer the technology described in Patent Document 1 from recommendation of a service to proposal of an operation.
- the technique described in Patent Document 1 is based on the matching using the history database as described above. Therefore, for example, when the total number of combinations of passengers is large, the history database is subdivided and the number of history data corresponding to each combination is reduced, which makes it impossible to propose an appropriate operation by matching. there were.
- Patent Document 1 when a plurality of history data corresponding to the current combination of passengers is included in the history database, any one of the plurality of history data is based on date or time. One piece of history data is selected and the selected history data is used (see paragraph [0041] of Patent Document 1). Therefore, there is a problem that the remaining history data of the plurality of history data cannot be effectively used.
- Patent Document 1 has a problem that the history database cannot be effectively used. Therefore, there is a problem that it is not possible to propose an appropriate operation based on the history data, especially when the accumulated amount of the history data increases.
- the present invention has been made to solve the above problems, and a device control system for a vehicle and a device control system for a vehicle capable of proposing an appropriate operation according to the number of passengers in the vehicle and the combination thereof.
- An object of the present invention is to provide a device control method and a vehicle device control device.
- the device control system for a vehicle of the present invention generates a learning model for calculating a probability that each of a plurality of types of operations is performed by learning of learning information including a history of each of a plurality of types of operations for a vehicle device.
- a manipulation suggestion unit that performs a control that suggests a manipulation of a plurality of types of manipulations that has a higher probability than other manipulations to the passengers of the vehicle using the learning model.
- the learning model corresponding to each of the plurality of users is gradually subdivided as the amount of learning information accumulated increases.
- the learning model corresponding to the first user or the learning model corresponding to the second user is selectively used for control.
- FIG. 2 is a block diagram showing a main part of the vehicle equipment control device according to the first embodiment. It is explanatory drawing which shows the example of the state in which the image containing the shortcut operation button corresponding to a proposal target operation is superimposed and displayed on the screen by a navigation apparatus.
- FIG. 3A is a block diagram showing a hardware configuration of the vehicle equipment control device according to the first embodiment.
- FIG. 3B is a block diagram showing another hardware configuration of the vehicle equipment control device according to the first embodiment.
- 3 is a flowchart showing an operation of an operation proposing unit of the vehicle equipment control device according to the first embodiment.
- FIG. 3 is a block diagram showing a main part of the vehicle equipment control system according to the first embodiment.
- FIG. 6 is a block diagram showing a main part of a vehicle equipment control device according to a second embodiment.
- 7 is a flowchart showing an operation of an operation proposing unit of the vehicle equipment control device according to the second embodiment.
- FIG. 6 is a block diagram showing a main part of a vehicle equipment control system according to a second embodiment.
- FIG. 7 is a block diagram showing a main part of a vehicle equipment control device according to a third embodiment.
- FIG. 7 is a block diagram showing a main part of a vehicle equipment control system according to a third embodiment.
- FIG. 9 is a block diagram showing a main part of a vehicle equipment control device according to a fourth embodiment. 9 is a flowchart showing an operation of an operation proposing unit of the vehicle equipment control device according to the fourth embodiment.
- FIG. 9 is a flowchart showing an operation of an operation proposing unit of the vehicle equipment control device according to the fourth embodiment.
- FIG. 9 is a block diagram showing a main part of a vehicle equipment control system according to a fourth embodiment. It is explanatory drawing which shows the example of the relationship between learning models, the example of the information for learning used for production
- FIG. 1 is a block diagram showing a main part of the vehicle equipment control device according to the first embodiment.
- a vehicle device control apparatus 100 according to the first embodiment will be described with reference to FIG.
- a vehicle 1 is provided with a vehicle device 2.
- the vehicle device 2 includes, for example, a navigation device 11, an audio device 12, and an air conditioner 13.
- the vehicle device 2 can be operated by the operation input device 3.
- the operation input device 3 includes, for example, at least one of a touch panel, a hardware key, a gesture input device, and a voice input device.
- the display device 4 displays a screen of the vehicle device 2.
- the display device 4 is composed of, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, or a HUD (Head-Up Display).
- the voice output device 5 outputs a voice from the vehicle device 2.
- the audio output device 5 is composed of, for example, a speaker.
- Vehicle 1 is used by multiple users such as family members. That is, any one or more users of the plurality of users board the vehicle 1 as appropriate.
- the passenger identifying system 6 executes a so-called “personal authentication process” when one or more users of the plurality of users are on the vehicle 1 to perform the one or more users (that is, the vehicle).
- Each of the passengers (1 passenger) is a user among a plurality of users.
- the passenger identifying system 6 acquires image data indicating the captured image when the image including the face of each passenger is captured by the camera, and registers the acquired image data in the database in advance. Which user each passenger is is identified by comparing with the image data stored. Alternatively, when the voice uttered by each passenger is input to the microphone, the passenger identifying system 6 acquires voice data indicating the input voice and registers the obtained voice data in the database in advance. Which user each passenger is is identified by comparing with the voice data that has been recorded. Alternatively, when the IC (Integrated Circuit) card in which the identifiers corresponding to each passenger are recorded is inserted into the IC card reader, the passenger identification system 6 registers the recorded identifiers in the database in advance. By comparing with the existing identifier, it is possible to identify which user each passenger is. Since all of these specifying methods are known, detailed description of these specifying methods will be omitted.
- IC Integrated Circuit
- the learning information acquisition unit 21 uses information (hereinafter, referred to as “learning information”) used for generating a learning model by the learning model generation unit 23 when the vehicle device 2 is operated by the operation input device 3. Is what you get.
- the learning information includes, for example, information indicating the type of the operation, and information indicating which one or more passengers (including one driver and zero or more passengers) when the operation is performed.
- Information indicating whether the user is the user information indicating the position of the vehicle 1 when the operation is performed, information indicating the time when the operation is performed, and the operation of the navigation device 11 when the operation is performed.
- the information includes information indicating the state, information indicating the operating state of the audio device 12 when the operation is performed, and information indicating the operating state of the air conditioner 13 when the operation is performed.
- Information indicating the type of operation is acquired from the vehicle device 2.
- the information indicating which user each passenger is is acquired from the passenger identification system 6.
- the information indicating the position of the vehicle 1 and the information indicating the time are acquired from the navigation device 11, for example.
- the information indicating the operation state of the navigation device 11 is acquired from the navigation device 11.
- the information indicating the operating state of the audio device 12 is acquired from the audio device 12.
- the information indicating the operating state of the air conditioner 13 is acquired from the air conditioner 13.
- the types of operation include, for example, an operation of setting a destination in route guidance by the navigation device 11, an operation of selecting a music piece to be played by the audio device 12, and an operation of changing the set temperature in the air conditioner 13. That is, the vehicle device 2 can be operated in a plurality of types.
- the information indicating the operation state of the navigation device 11 includes information indicating whether or not route guidance by the navigation device 11 is being executed, information indicating a point being guided by the navigation device 11, and the like. It is a waste. More specifically, the information indicating the operation state of the audio device 12 includes information indicating a music piece being reproduced by the audio device 12, information indicating a volume setting in the audio device 12, and the like. More specifically, the information indicating the operation state of the air conditioner 13 includes information indicating the operation mode of the air conditioner 13 (for example, heating, cooling or blowing), information indicating the set temperature in the air conditioner 13, and the like.
- the learning information storage unit 22 stores and stores the learning information acquired by the learning information acquisition unit 21. That is, the learning information stored in the learning information storage unit 22 includes a history of each of a plurality of types of operations on the vehicle device 2.
- the learning model generation unit 23 generates a learning model for calculating the probability that each of a plurality of types of operations on the vehicle device 2 will be performed by learning the learning information stored in the learning information storage unit 22. It is a thing.
- Each learning model is a function for calculating a value (hereinafter referred to as “probability value”) indicating the probability that the corresponding operation is performed, and includes a plurality of variables.
- Each of the plurality of variables has a value (hereinafter referred to as “parameter value”) corresponding to the position of the vehicle 1, the time, the operating state of the navigation device 11, the operating state of the audio device 12, the operating state of the air conditioner 13, and the like. It is a substitute.
- Various methods in the technical field of so-called "machine learning” can be used for generating the learning model. Detailed description of these methods is omitted.
- the learning model generation unit 23 is configured to generate a learning model corresponding to each of a plurality of users.
- the learning model corresponding to each of a plurality of users is gradually subdivided as the amount of learning information stored in the learning information storage unit 22 increases.
- the vehicle 1 is used by three users including a first user A, a second user B, and a third user C. Further, the vehicle device 2 is assumed to be capable of three types of operations including a first operation a, a second operation b, and a third operation c.
- the learning model generation unit 23 generates a learning model corresponding to the first user A for the first operation a as follows.
- the learning model generation unit 23 is in a state in which one or more users including the first user A among the three users and any other zero or more users are in the vehicle 1, that is, at least the first user A. It is determined whether or not the accumulated amount of learning information related to the first operation a in the state in which the user A is in the vehicle 1 is equal to or larger than a predetermined amount. When the accumulated amount of learning information related to the first operation a in this state is equal to or larger than a predetermined amount, the learning model generation unit 23 uses a learning model based on these learning information (hereinafter referred to as “basic learning model”) M0_a_A. To generate.
- basic learning model based on these learning information
- the learning model generation unit 23 determines whether the accumulated amount of learning information related to the first operation a in the state in which only the first user A of the three users is on the vehicle 1 is equal to or more than the predetermined amount. Determine whether or not.
- the learning model generation unit 23 when the accumulated amount of the learning information related to the first operation a in this state is equal to or larger than the predetermined amount, the learning model based on these learning information (hereinafter, referred to as “first learning model”). Generate M1_a_A. Further, the learning model generation unit 23 performs the first operation in a state in which two or more users including the first user A out of the three users and any one or more other users are in the vehicle 1.
- the learning model generation unit 23 learns models based on these learning information (hereinafter referred to as “second learning model”). Generate M2_a_A.
- the first learning model M1_a_A is based on a part of the learning information among the learning information used for generating the basic learning model M0_a_A
- the second learning model M2_a_A is used for generating the basic learning model M0_a_A. It is based on some other learning information of the learning information. Therefore, it can be said that each of the first learning model M1_a_A and the second learning model M2_a_A is a subdivision of the basic learning model M0_a_A.
- the learning model generation unit 23 performs the first operation in a state in which two or more users including the first user A of the three users and one or more other specific users are in the vehicle 1. It is determined whether the accumulated amount of learning information related to a is equal to or larger than a predetermined amount.
- M3_a_A_B, M3_a_A_C, and M3_a_A_BC are generated.
- the learning model generation unit 23 stores the learning information regarding the first operation a in a state in which only the first user A and the second user B of the three users are in the vehicle 1. It is determined whether the accumulated amount is equal to or more than a predetermined amount.
- the learning model generation unit 23 generates the third learning model M3_a_A_B based on the learning information when the accumulated amount of the learning information related to the first operation a in this state is equal to or larger than the predetermined amount.
- the learning model generation unit 23 determines the accumulation amount of the learning information related to the first operation a in a state where only the first user A and the third user C of the three users are in the vehicle 1. It is determined whether or not the amount is equal to or more than the fixed amount.
- the learning model generation unit 23 generates a third learning model M3_a_A_C based on the learning information when the accumulated amount of learning information related to the first operation a in this state is equal to or larger than a predetermined amount. Further, the learning model generation unit 23 is in a state in which all of the three users are on the vehicle 1, that is, the first user A, the second user B, and the third user C are on the vehicle 1. It is determined whether or not the accumulated amount of the learning information related to the first operation a in the state of being on is greater than or equal to a predetermined amount. The learning model generation unit 23 generates the third learning model M3_a_A_BC based on the learning information when the accumulated amount of the learning information related to the first operation a in this state is equal to or larger than the predetermined amount.
- the third learning model M3_a_A_B is based on a part of the learning information of the learning information used for generating the second learning model M2_a_A
- the third learning model M3_a_A_C is for generating the second learning model M2_a_A.
- the third learning model M3_a_A_BC is based on other part of the learning information used for learning, and the third learning model M3_a_A_BC learns another part of the learning information used for generating the second learning model M2_a_A. It is based on usage information. Therefore, it can be said that each of the third learning models M3_a_A_B, M3_a_A_C, and M3_a_A_BC is a subdivision of the second learning model M2_a_A.
- FIG. 14 shows an example of the relationship between learning models for the learning model corresponding to the first user A among the learning models related to the first operation a, an example of learning information used for generating individual learning models, and The example of the production
- learning information related to the first operation a in a state in which the first user A is not in the vehicle 1 (that is, only the second user B is in the vehicle 1).
- Learning information related to the first operation a, learning information related to the first operation a when only the third user C is in the vehicle 1, and only the second user B and the third user C are in the vehicle 1.
- the learning information relating to the first operation a in the state of boarding the vehicle is not used. Therefore, in FIG. 14, the learning information is not shown.
- the learning model generation unit 23 appropriately generates the learning models M0_b_A, M1_b_A, M2_b_A, M3_b_A_B, M3_b_A_C, and M3_b_A_BC for the second user b by the method similar to the above method. Whether or not each of the learning models M0_b_A, M1_b_A, M2_b_A, M3_b_A_B, M3_b_A_C, M3_b_A_BC is generated depends on the accumulated amount of learning information related to the second operation b in the corresponding state.
- the learning model generation unit 23 appropriately generates the learning models M0_c_A, M1_c_A, M2_c_A, M3_c_A_B, M3_c_A_C, and M3_c_A_BC for the third operation c by a method similar to the above method. Whether or not each of the learning models M0_c_A, M1_c_A, M2_c_A, M3_c_A_B, M3_c_A_C, M3_c_A_BC is generated depends on the accumulated amount of learning information related to the third operation c in the corresponding state.
- the basic learning model M0_a_A and the first learning model M1_a_A for the first operation a are all generated, and only the basic learning model M0_b_A, the first learning model M1_b_A, and the second learning model M2_b_A are generated for the second operation b.
- the amount of learning information for the third operation c is smaller than the amount of learning information for the second operation b, only the basic learning model M0_c_A is generated for the third operation c.
- the learning model generation unit 23 appropriately generates each of the learning models M0_a_B, M1_a_B, M2_a_B, M3_a_B_A, M3_a_B_C, and M3_a_B_AC for the first operation a by the method similar to the above method.
- Each of the learning models M0_a_C, M1_a_C, M2_a_C, M3_a_C_A, M3_a_C_B, and M3_a_C_AB corresponding to the third user C is appropriately generated.
- the learning model generation unit 23 appropriately generates each of the learning models M0_b_B, M1_b_B, M2_b_B, M3_b_B_A, M3_b_B_C, and M3_b_B_AC for the second user b by the method similar to the above method.
- the learning models M0_b_C, M1_b_C, M2_b_C, M3_b_C_A, M3_b_C_B, and M3_b_C_AB corresponding to the third user C are appropriately generated.
- the learning model generation unit 23 appropriately generates each of the learning models M0_c_B, M1_c_B, M2_c_B, M3_c_B_A, M3_c_B_C, and M3_c_B_AC for the third operation c by a method similar to the above method.
- the learning models M0_c_C, M1_c_C, M2_c_C, M3_c_C_A, M3_c_C_B, and M3_c_C_AB corresponding to the third user C are appropriately generated.
- the number of learning models generated by the learning model generation unit 23 can be different for each operation and for each user according to the accumulated amount of learning information.
- the learning model storage unit 24 stores the learning model generated by the learning model generation unit 23.
- the learning information acquisition unit 21, the learning information storage unit 22, the learning model generation unit 23, and the learning model storage unit 24 constitute the learning unit 20.
- the learning model acquisition unit 31 acquires the learning model stored in the learning model storage unit 24.
- the selection information acquisition unit 32 acquires information used for selection of a learning model by the learning model selection unit 33 (hereinafter referred to as “selection information”).
- selection information used for selection of a learning model by the learning model selection unit 33 (hereinafter referred to as “selection information”).
- the learning model selection unit 33 uses the selection information acquired by the selection information acquisition unit 32 to calculate probability values by the probability value calculation unit 35 of the learning models acquired by the learning model acquisition unit 31. The learning model is selected.
- the selection information is information indicating which user each of the current one or more passengers (including one driver and zero or more passengers), and the vehicle. It includes information indicating the seat in which each of the one or more passengers among the plurality of seats in 1 is seated. These pieces of information are acquired from the passenger identification system 6.
- a specific example of the learning model selection method by the learning model selection unit 33 is as follows. That is, the priority is set for each of the plurality of seats in the vehicle 1, and information indicating these priorities is stored in the learning model selection unit 33 in advance.
- the learning model acquired by the learning model acquisition unit 31 includes a learning model corresponding to each of a plurality of users.
- the learning model selection unit 33 selects the learning model corresponding to the one user who is seated in the seat having the highest priority among the one or more users who are in the vehicle 1. For example, the priority of the driver's seat is set to a value higher than the priorities of the other seats (that is, the passenger seat and the rear seat), and at least the first user A is in the vehicle 1.
- the learning model selection unit 33 selects the learning model corresponding to the first user A.
- the learning model selection unit 33 in principle, for each individual operation, according to the user riding in the vehicle 1, one of the one or more learning models that has already been subdivided is subdivided. Select the learning model of.
- the generation status of the learning model corresponding to the first user A is as follows. That is, all of the basic learning model M0_a_A, the first learning model M1_a_A, the second learning model M2_a_A, and the third learning model M3_a_A_B, M3_a_A_C, M3_a_A_BC have been generated for the first operation a, and the basic learning model M0_b_A for the second operation b. , Only the first learning model M1_b_A and the second learning model M2_b_A have been generated, and only the basic learning model M0_c_A has been generated for the third operation c.
- the learning model selection unit 33 selects the first learning model M1_a_A for the first operation a and the first learning model M1_b_A for the second operation b. Then, the basic learning model M0_c_A is selected for the third operation c.
- the learning model selection unit 33 causes the third learning model for the first operation a. M3_a_A_B is selected, the second learning model M2_a_A is selected for the second operation b, and the basic learning model M0_c_A is selected for the third operation c.
- the learning model selection unit 33 selects the third learning model M3_a_A_BC for the first operation a, the second learning model M2_a_A for the second operation b, and the basic learning model M0_c_A for the third operation c.
- the learning model selection unit 33 selects the second learning model M2_a_A for the first operation a.
- the calculation information acquisition unit 34 acquires information used for the probability value calculation by the probability value calculation unit 35 (hereinafter referred to as “calculation information”).
- the probability value calculation unit 35 uses the learning model selected by the learning model selection unit 33 and the calculation information acquired by the calculation information acquisition unit 34 to perform each of a plurality of types of operations on the vehicle device 2. A value indicating a probability, that is, a probability value is calculated.
- the calculation information indicates information indicating the current position of the vehicle 1, information indicating the current time, information indicating the current operating state of the navigation device 11, and the current operating state of the audio device 12.
- the information includes information and information indicating the current operating state of the air conditioner 13.
- the information indicating the position of the vehicle 1 and the information indicating the time are acquired from the navigation device 11, for example.
- the information indicating the operation state of the navigation device 11 is acquired from the navigation device 11.
- the information indicating the operating state of the audio device 12 is acquired from the audio device 12.
- the information indicating the operating state of the air conditioner 13 is acquired from the air conditioner 13.
- the probability value calculation unit 35 calculates a plurality of parameter values corresponding to these pieces of information and substitutes the calculated plurality of parameter values into a plurality of variables in each learning model. As a result, a value indicating the probability that the operation corresponding to each learning model is performed, that is, a probability value is calculated.
- the list creation unit 36 uses the probability values calculated by the probability value calculation unit 35 to create a list of a plurality of types of operations on the vehicle device 2 arranged in descending order of probability of performing the plurality of types of operations. To do.
- the suggestion control unit 37 instructs the occupant of the vehicle 1 to perform an operation in which the probability of being performed among the plurality of types of operations for the vehicle device 2 is higher than other operations. It implements the proposed control. More specifically, the suggestion control unit 37 executes a control of suggesting to the passengers of the vehicle 1 a predetermined number (for example, three) of operations in the list created by the list creating unit 36. Hereinafter, this control may be referred to as “proposal control”.
- the suggestion control unit 37 causes the display device 4 to display an image including a shortcut operation button corresponding to each of a predetermined number of operations to be proposed (hereinafter, referred to as “proposed target operation”). Execute control. This image is displayed on the display device 4 in a superimposed manner on the screen of the vehicle device 2. In FIG. 1, the connection line between the proposal control unit 37 and the display device 4 is not shown.
- FIG. 2 shows an example of a state in which an image including the shortcut operation button is superimposed and displayed on the screen of the navigation device 11.
- the suggestion control unit 37 executes control for causing the voice output device 5 to output a voice indicating the proposed operation.
- the connection line between the proposal control unit 37 and the voice output device 5 is omitted.
- the operation suggestion unit 30 is configured by the learning model acquisition unit 31, the selection information acquisition unit 32, the learning model selection unit 33, the calculation information acquisition unit 34, the probability value calculation unit 35, the list creation unit 36, and the suggestion control unit 37. ing.
- the learning unit 20 and the operation suggesting unit 30 constitute a main part of the vehicle equipment control device 100.
- the vehicle equipment control device 100 has a processor 41 and memories 42 and 43.
- the learning information acquisition unit 21, the learning model generation unit 23, the learning model acquisition unit 31, the selection information acquisition unit 32, the learning model selection unit 33, the calculation information acquisition unit 34, the probability value calculation unit 35, A program for realizing the functions of the list creation unit 36 and the proposal control unit 37 is stored.
- the processor 41 reads and executes the program stored in the memory 42, the learning information acquisition unit 21, the learning model generation unit 23, the learning model acquisition unit 31, the selection information acquisition unit 32, and the learning model selection unit 33.
- the functions of the calculation information acquisition unit 34, the probability value calculation unit 35, the list creation unit 36, and the proposal control unit 37 are realized.
- the functions of the learning information storage unit 22 and the learning model storage unit 24 are realized by the memory 43.
- the vehicle equipment control device 100 may have a processing circuit 44 instead of the processor 41 and the memory 42.
- the functions of the unit 36 and the proposal control unit 37 may be realized by the processing circuit 44.
- the vehicle equipment control device 100 may have a processing circuit 44 in addition to the processor 41 and the memory 42 (not shown).
- a part of the functions of the unit 36 and the proposal control unit 37 may be realized by the processor 41 and the memory 42, and the remaining functions may be realized by the processing circuit 44.
- the processor 41 uses, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, and a DSP (Digital Signal Processor).
- a CPU Central Processing Unit
- GPU Graphics Processing Unit
- microprocessor a microcontroller
- DSP Digital Signal Processor
- the memories 42 and 43 use, for example, at least one of a semiconductor memory, a magnetic disk, an optical disk or a magneto-optical disk. More specifically, the memories 42 and 43 include a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Integrated Memory), and an EEPROM (Electrically Organizable). (Solid State Drive), HDD (Hard Disk Drive), FD (Floppy Disk), CD (Compact Disc), DVD (Digital Versatile Disc), MO (Magneto-Optical) or at least one MD (Mini) Min. Is used.
- the processing circuit 44 is, for example, an ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field-Programmable Gate Array), or SoC (Sonication) system. At least one of the above is used.
- ASIC Application Specific Integrated Circuit
- PLD Programmable Logic Device
- FPGA Field-Programmable Gate Array
- SoC SoC
- the operation suggestion unit 30 is configured to repeatedly execute the processes of steps ST1 to ST7 at a predetermined time interval while the power supply (eg, accessory power supply or ignition power supply) of the vehicle 1 is turned on. .. It is assumed that a learning model is generated by the learning model generation unit 23 and the generated learning model is stored in the learning model storage unit 24 before the processing of the first step ST1 is executed. ..
- step ST1 the learning model acquisition unit 31 acquires the learning model stored in the learning model storage unit 24.
- step ST2 the selection information acquisition unit 32 acquires information used for selecting the learning model by the learning model selection unit 33, that is, selection information.
- step ST3 the learning model selection unit 33 uses the selection information acquired by the selection information acquisition unit 32 to calculate the probability value calculation unit 35 of the learning models acquired by the learning model acquisition unit 31. Select the learning model used to calculate the probability value by. Since the specific example of the selection information and the specific example of the learning model selection method by the learning model selection unit 33 have already been described, the repetitive description will be omitted.
- step ST4 the calculation information acquisition unit 34 acquires information used for calculation of the probability value by the probability value calculation unit 35, that is, calculation information.
- step ST5 the probability value calculation unit 35 uses the learning model selected by the learning model selection unit 33 and the calculation information acquired by the calculation information acquisition unit 34 to select a plurality of types for the vehicle device 2. A value indicating the probability that each of the above operations is performed, that is, a probability value is calculated. Since the specific example of the calculation information and the specific example of the method of calculating the probability value by the probability value calculation unit 35 have already been described, the repetitive description will be omitted.
- step ST6 the list creation unit 36 uses the probability value calculated by the probability value calculation unit 35, and with respect to the plurality of types of operations on the vehicle device 2, the probability that the plurality of types of operations are performed is high. Create an ordered list.
- step ST7 the suggestion control unit 37 executes control for suggesting to the passengers of the vehicle 1 the operations of a predetermined upper number (for example, three) in the list created by the list creating unit 36, that is, proposal control. .. Since the specific example of the proposed control has already been described, the description thereof will be omitted.
- a predetermined upper number for example, three
- the learning model acquisition unit 31 executes the process of step ST1 when a new learning model is generated by the learning model generation unit 23, that is, when the learning model stored in the learning model storage unit 24 is updated. It may be one that does. That is, the process of step ST1 does not have to be executed every time and may be appropriately skipped depending on the generation status of the learning model by the learning model generation unit 23.
- step ST2 when the power of the vehicle 1 is turned on, when the first person authentication process by the passenger identification system 6 is executed, and the second and subsequent individual times.
- the process of step ST2 may be executed when a result different from the previous personal authentication process is obtained by the authentication process. That is, the process of step ST2 does not have to be executed every time, and may be appropriately skipped depending on the execution status of the personal authentication process by the passenger identification system 6. The same applies to the processing of step ST3.
- the learning unit 20 generates a learning model corresponding to each of a plurality of users for each operation.
- the learning model corresponding to each of the plurality of users increases as the amount of learning information accumulated increases, such as the basic learning model ⁇ first learning model, and the basic learning model ⁇ second learning model ⁇ third learning. It is gradually subdivided like a model. It is generally known that when the amount of information used for learning by machine learning is small, the correct answer rate of the calculation using the learning model generated by the learning becomes low.
- the range of the learning information used for learning among the accumulated learning information is made different according to the accumulated amount of learning information.
- the amount of information used to generate each learning model can be set to an appropriate amount. As a result, it is possible to prevent the correct answer rate from decreasing.
- the operation proposing unit 30 determines whether or not there is a passenger and the combination of the driver and the passenger for each operation and for each user.
- This learning model is selectively used for the proposed control. More specifically, probability values based on these learning models are selectively used to create the list. This makes it possible to propose an appropriate operation according to the presence or absence of a fellow passenger and the combination of the driver and the fellow passenger.
- the proposal control unit 37 has a function of counting the number of times the operation proposed by the proposal control is not performed for each operation (more specifically, each learning model), and the counted value. It may have a function of determining whether or not (hereinafter, referred to as “count value”) is equal to or greater than a predetermined threshold value.
- count value a function of determining whether or not (hereinafter, referred to as “count value”) is equal to or greater than a predetermined threshold value.
- the learning model selection method by the learning model selection unit 33 may be changed as follows according to the result of the determination. In FIG. 1, the connection line between the proposal control unit 37 and the learning model selection unit 33 in this case is not shown.
- the basic learning model M0_a_A and the first learning model M1_a_A have been generated for the first operation a. That is, it is assumed that the second learning model M2_a_A and the third learning models M3_a_A_B, M3_a_A_C, and M3_a_A_BC have not been generated.
- the learning model selection unit 33 selects the first learning model M1_a_A for the first operation a according to the above principle.
- the probability value calculation unit 35 calculates the probability value (hereinafter referred to as “first probability value”) P1_a_A based on the first learning model M1_a_A, and the list creation unit 36 creates the first probability value P1_a_A in the list creation. It is ready for use. That is, the first learning model M1_a_A is in the state used for the proposed control.
- the proposal control unit 37 calculates the count value related to the first operation a in this state, and compares the calculated count value with the threshold value.
- the learning model selection unit 33 continues to select the first learning model M1_a_A.
- the probability value calculation unit 35 calculates the first probability value P1_a_A, and the list creation unit 36 continues to use the first probability value P1_a_A for creating the list. That is, the state in which the first learning model M1_a_A is used for the proposed control continues.
- the learning model selection unit 33 when the calculated count value is equal to or more than the threshold value, the learning model selection unit 33 exceptionally newly selects the basic learning model M0_a_A even though the first learning model M1_a_A has already been generated.
- the probability value calculation unit 35 calculates the probability value (hereinafter referred to as “basic probability value”) P0_a_A based on the basic learning model M0_a_A, and the list creation unit 36 uses the basic probability value P0_a_A in the state of creating the list. Switch. That is, the basic learning model M0_a_A is switched to the state used for the proposed control.
- the operation proposing unit 30 uses, for each operation, a learning model that is not subdivided in the proposal control when the count value is equal to or larger than the threshold value as compared with the case where the count value is less than the threshold value May be
- the operation proposing unit 30 uses, for each operation, a learning model that is subdivided in the proposal control when the count value is less than the threshold value and when the count value is greater than or equal to the threshold value. You can have it. The same applies when two or more users are in the vehicle 1.
- the large number of times the proposed operation is not performed means that the correct answer rate of the calculation using the corresponding learning model is low.
- One of the causes of the low rate of correct answers is the shortage of learning amount in machine learning, that is, the shortage of information amount used for learning. That is, although the learning model generation unit 23 determines that the amount of learning information accumulated in the corresponding state is sufficient (more specifically, is equal to or more than a predetermined amount), the learning model generation unit 23 actually generates the learning model. It is conceivable that there was a shortage of storage. Therefore, by using a less subdivided learning model for the proposed control, it is said that there is a large number of times that the proposed operation is not performed due to a low correct answer rate due to a lack of learning amount. The problem is solved.
- the learning unit 20 and the operation proposing unit 30 may constitute a main part of the vehicular device control system 200.
- the vehicle 1, the vehicle device 2, the operation input device 3, the display device 4, the voice output device 5, and the passenger identification system 6 are not shown.
- the operation suggesting unit 30 is provided in the vehicle 1
- the learning unit 20 may be provided in the vehicle 1
- the learning unit 20 is provided in the vehicle 1.
- 1 may be provided in a server device (not shown) that can communicate with the server 1.
- each of the acquisition of the learning information by the learning information acquisition unit 21 and the acquisition of the learning model by the learning model acquisition unit 31 is a communication between the vehicle 1 and the server device. It will be due to.
- the vehicle device 2 may be included in the vehicle device control system 200.
- the priority set for each seat may be any value, and is not limited to the above specific example.
- the priority of the passenger seat may be set to a higher value than the priority of the other seats (that is, the driver's seat and the rear seat), or the priority of the rear seat may be set to the other seats. It may be set to a value higher than the priorities of the driver seat and the passenger seat.
- the priority of each seat may be set to a different value for each operation.
- the priority of the driver's seat becomes the priority of other seats for the first operation a. It may be set to a value higher than that of the other seats and the passenger's seat priority of the second operation b may be set to a value higher than other seats.
- the learning model corresponding to the first user A is the learning model for the first operation a.
- the learning model selected by the selection unit 33 and corresponding to the second user B for the second operation b may be selected by the learning model selection unit 33.
- the vehicle device 2 may be a device that is mounted on the vehicle 1 or a device that is brought into the vehicle 1 and that can be operated by the operation input device 3, such as the navigation device 11, the audio device 12, and the air conditioner. It is not limited to the device 13.
- the vehicle device 2 may include at least one of the navigation device 11, the audio device 12, and the air conditioner 13.
- the passenger identifying system 6 may identify which user each passenger is by any method, and the identifying method by the passenger identifying system 6 is not limited to the above specific example. Absent.
- the passenger identification system 6 may specify which user each passenger is by means of so-called “fingerprint authentication”, “vein authentication”, or “iris authentication”.
- condition for determining whether or not an individual learning model is generated is not limited to the condition that the accumulated amount of learning information in the corresponding state is equal to or more than a predetermined amount, and other conditions May be included. These conditions may be set in advance in the learning model generation unit 23.
- the learning model selection unit 33 has generated the corresponding basic learning model and the corresponding first learning model when two or more users are in the vehicle 1, and When the corresponding second learning model and the corresponding third learning model have not been generated, exceptionally, the corresponding first learning model may be selected instead of the corresponding basic learning model.
- the learning model generation unit 23 may determine whether to generate the corresponding second learning model based on the first probability value calculated by the probability value calculation unit 35. 1 and 5, the connection line between the probability value calculation unit 35 and the learning model generation unit 23 in this case is omitted.
- the priority of the driver's seat is set to a value higher than the priorities of the other seats (that is, the passenger seat and the rear seat), and only the first user A and the second user B have the vehicle 1 It is assumed that the first user A is seated in the driver's seat and the second user B is seated in the passenger seat.
- the first operation a it is assumed that the basic learning model M0_a_A and the first learning model M1_a_A have been generated, and the second learning model M2_a_A and the third learning model M3_a_A_B, M3_a_A_C, M3_a_A_BC have not been generated.
- the learning model selection unit 33 selects the basic learning model M0_a_A.
- the learning model selection unit 33 exceptionally selects the first learning model M1_a_A instead of the basic learning model M0_a_A.
- the probability value calculation unit 35 calculates the first probability value P1_a_A
- the list creation unit 36 uses the first probability value P1_a_A for creating the list.
- the learning model generation unit 23 calculates the first probability value P1_a_A every time the probability value calculation unit 35 calculates the first probability value P1_a_A in this state (that is, the state in which only the first user A and the second user B are in the vehicle 1).
- the calculated first probability value P1_a_A is acquired.
- the learning model generation unit 23 stores the acquired first probability value P1_a_A.
- the learning model generation unit 23 uses the learning information used to generate the second learning model M2_a_A (that is, the learning information related to the first operation a in the state where only the first user A and the second user B are in the vehicle 1).
- the average value, variance value or median value hereinafter collectively referred to as “average value etc.” of the stored first probability value P1_a_A is calculated.
- the learning model generation unit 23 compares the calculated average value and the like with a predetermined reference value. When the calculated average value or the like is less than the reference value, the learning model generation unit 23 determines that the second learning model M2_a_A needs to be generated and generates the second learning model M2_a_A. Thereby, the learning model selection unit 33 newly selects the second learning model M2_a_A according to the above principle. As a result, the probability value calculation unit 35 calculates the probability value (hereinafter referred to as “second probability value”) P2_a_A based on the second learning model M2_a_A, and the list creation unit 36 creates the second probability value P2_a_A in the list. Switch to the state of use.
- second probability value the probability value
- the learning model generation unit 23 determines that the generation of the second learning model M2_a_A is unnecessary and cancels the generation of the second learning model M2_a_A. .. As a result, the state in which the first learning model M1_a_A is selected by the learning model selection unit 33 continues. That is, the state in which the probability value calculation unit 35 calculates the first probability value P1_a_A and the list creation unit 36 uses the first probability value P1_a_A in the creation of the list continues.
- a device highly relevant to driving the vehicle 1 is more likely than a device less relevant to the operation (for example, the audio device 12 and the air conditioner 13) to have a driver depending on the presence or absence of a passenger.
- the change in operation tendency due to is small. In other words, the less relevant device has a greater change in the tendency of the driver's operation depending on the presence or absence of a fellow passenger than the highly relevant device.
- the first probability value P1_a_A calculated by the probability value calculator 35 will be large. That is, there is a high probability that the average value or the like calculated by the learning model generation unit 23 will be the reference value or more. In this case, by canceling the generation of the second learning model M2_a_A and continuing to use the first learning model M1_a_A, the amount of calculation of the learning model generation unit 23 is reduced while realizing the appropriate operation proposal as described above. can do.
- the following processing may be further executed after the second learning model M2_a_A is generated in this way.
- the suggestion control unit 37 has a function of counting the number of times the operation suggested by the suggestion control is not performed for each operation (more specifically, each learning model), and the counted value. It has a function of determining whether (that is, the count value) is a predetermined threshold value or more. Further, the learning model generation unit 23 has a function of calculating an increase amount (hereinafter, simply referred to as an “increase amount”) of an accumulated amount of learning information corresponding to the learning model after each learning model is generated last time. , And a function of determining whether the calculated increase amount is equal to or more than a predetermined reference amount.
- an increase amount hereinafter, simply referred to as an “increase amount”
- the learning model generation unit 23 calculates the increase amount of the learning information corresponding to the second learning model M2_a_A, and the calculated increase amount. Is greater than or equal to the reference amount. 1 and 5, connection lines between the proposal control unit 37 and the learning model generation unit 23 are not shown.
- the learning model generation unit 23 regenerates the second learning model M2_a_A using the learning information accumulated in the learning information storage unit 22 at this time. To do. This is because, since the corresponding learning information increases, the accuracy of the proposal based on the second learning model M2_a_A may be improved by regenerating the second learning model M2_a_A.
- the learning model selection unit 33 selects the first learning model M1_a_A again.
- the probability value calculation unit 35 calculates the first probability value P1_a_A
- the list creation unit 36 returns to the state where the first probability value P1_a_A is used for creating the list. That is, in such a case, even if the second learning model M2_a_A is regenerated, there is a high probability that the second learning model M2_a_A after regeneration will be substantially the same as the second learning model M2_a_A before regeneration. Therefore, it is unlikely that the accuracy of the proposal based on the second learning model M2_a_A is improved by the regeneration of the second learning model M2_a_A.
- the vehicle device control system 200 has the probability of performing each of the plurality of types of operations by learning the learning information including the history of each of the plurality of types of operations on the vehicle device 2.
- a learning unit 20 for generating a learning model for calculating a control for proposing to the passenger of the vehicle 1 an operation having a higher probability of a plurality of kinds of operations than other operations using the learning model.
- the learning unit 20 is provided with an operation suggestion unit 30 to execute, and the learning unit 20 generates a learning model corresponding to each of a plurality of users who use the vehicle 1, and gradually increases as the amount of learning information accumulated increases.
- the learning model corresponding to each of a plurality of users is subdivided, and the operation proposing unit 30 determines that the first user A of the plurality of users is the driver of the vehicle 1 and When the second user B of the users is the fellow passenger of the vehicle 1, the learning model corresponding to the first user A or the learning model corresponding to the second user B is selectively used for control. This makes it possible to propose an appropriate operation according to the number of passengers and the combination thereof. In addition, the amount of information used to generate each learning model can be set to an appropriate amount.
- the priority is set for each of the plurality of seats in the vehicle 1, and the operation proposing unit 30 allows the user who is seated in the seat having the higher priority among the first user A and the second user B.
- the learning model corresponding to is used for control. As a result, the learning model corresponding to the passenger sitting in any seat can be used for the proposal control.
- the learning model corresponding to the first user A is a basic learning model based on the learning information in a state in which one or more users including the first user A among the plurality of users are in the vehicle 1 ( M0_a_A, M0_b_A, M0_c_A), a first learning model (M1_a_A, M1_b_A, M1_c_A) based on learning information in a state where only the first user A of the plurality of users is in the vehicle 1, and a plurality of people.
- the second learning model (M2_a_A, M2_b_A, M2_c_A) based on the learning information in a state in which two or more users including the first user A among the other users are in the vehicle 1, Selectively controls the basic learning model (M0_a_A, M0_b_A, M0_c_A), the first learning model (M1_a_A, M1_b_A, M1_c_A) or the second learning model (M2_a_A, M2_b_A, M2_c_A) for each of the plurality of types of operations. To use. This makes it possible to propose an appropriate operation depending on the presence or absence of a passenger.
- the learning models corresponding to the first user A are the basic learning model (M0_a_A, M0_b_A, M0_c_A), the first learning model (M1_a_A, M1_b_A, M1_c_A), and the second learning model (M2_a_A, M2_b_A, M2_c_A).
- a third learning model (M3_a_A_B, M3_b_A_B, M3_c_A_B) based on learning information in a state in which the first user A and the second user B of the plurality of users are in the vehicle 1, and the operation suggesting unit
- Reference numeral 30 denotes a basic learning model (M0_a_A, M0_b_A, M0_c_A), a first learning model (M1_a_A, M1_b_A, M1_c_A), a second learning model (M2_a_A, M2_b_A, M2_c_A) or a third learning model for each of a plurality of types of operations.
- M3_a_A_B, M3_b_A_B, M3_c_A_B is selectively used for control. This makes it possible to propose an appropriate operation according to the combination of the driver and the passenger.
- the operation proposing unit 30 controls the learning model subdivided as compared with the case where the count value is the threshold value or more. To use. In other words, when the count value is equal to or larger than the threshold, the operation proposing unit 30 uses the learning model that is not subdivided as compared with the case where the count value is smaller than the threshold. As a result, it is possible to solve the problem caused by the low rate of correct answers due to the lack of the learning amount, that is, the problem that the proposed operation is not performed frequently.
- the operation proposing unit 30 calculates a probability value indicating a probability using a learning model, creates a list in which a plurality of types of operations are arranged in descending order of probability based on the probability value, and controls based on the list. Execute. As a result, the upper predetermined operations (for example, three operations) in the generated list can be included in the proposal target.
- each of the plurality of types of operations is performed by the learning unit 20 learning the learning information including the history of each of the plurality of types of operations on the vehicle device 2.
- the learning unit 20 generates a learning model corresponding to each of a plurality of users who use the vehicle 1, and The learning model corresponding to each of the plurality of users is gradually subdivided as the accumulated amount of learning information increases, and the operation proposing unit 30 determines that the first user A of the plurality of users is the vehicle.
- a learning model corresponding to the first user A or a learning model corresponding to the second user B is used. Used selectively for control. As a result, the same effects as the above effects of the vehicle device control system 200 can be obtained.
- the vehicle device control apparatus 100 calculates the probability of each of the plurality of types of operations by learning the learning information including the history of each of the plurality of types of operations on the vehicle device 2. And a learning unit 20 for generating a learning model for performing a control for proposing to a passenger of the vehicle 1 an operation that has a higher probability of a plurality of types of operations than other operations.
- the proposing unit 30 is provided, and the learning unit 20 generates a learning model corresponding to each of a plurality of users who use the vehicle 1, and the learning units 20 of the plurality of users gradually increase as the amount of accumulated learning information increases.
- the learning model corresponding to each of the users is subdivided, and the operation proposing unit 30 determines that the first user A of the plurality of users is the driver of the vehicle 1 and When the second user B is a fellow passenger of the vehicle 1, the learning model corresponding to the first user A or the learning model corresponding to the second user B is selectively used for control. As a result, the same effects as the above effects of the vehicle device control system 200 can be obtained.
- FIG. 6 is a block diagram showing a main part of the vehicle equipment control device according to the second embodiment.
- a vehicle device control device 100a according to the second embodiment will be described with reference to FIG. Note that, in FIG. 6, the same blocks as the blocks shown in FIG.
- the vehicle 1 is provided with an occupant monitoring system 7.
- the passenger monitoring system 7 is a so-called DMS (Driver Monitoring System) or OMS (Occupant Monitoring System). That is, the occupant monitoring system 7 performs image recognition processing on an image obtained by capturing the interior of the vehicle 1 and acquires the detection values of various sensors provided in the vehicle 1 as appropriate.
- the state of each of one or more passengers is detected by the method.
- the occupant monitoring system 7 can use various known system configurations related to DMS or OMS, and detailed description of these system configurations will be omitted.
- the states to be detected by the passenger monitoring system 7 include, for example, the driver's inoperable state, the driver's inattentive driving state, the driver's dozing driving state, and each passenger's dozing state.
- the selection information acquisition unit 32a acquires information used for selecting a learning model by the learning model selection unit 33a, that is, selection information.
- the selection information includes information indicating which user each passenger is, and information indicating the seat on which each passenger is seated. These pieces of information are acquired from the passenger identification system 6. In addition to this, the selection information includes information indicating the state of each passenger. This information is obtained from the passenger monitoring system 7.
- the learning model selection unit 33a uses the selection information acquired by the selection information acquisition unit 32a to calculate the probability value by the probability value calculation unit 35 of the learning models acquired by the learning model acquisition unit 31.
- the learning model is selected.
- the selection method of the learning model by the learning model selection unit 33a changes depending on whether or not each passenger is in the dozing state.
- the first user A and the second user B are in the vehicle 1, the first user A is the driver, and the second user B is the passenger. It is assumed that the priority of the driver's seat is set higher than the priorities of the other seats. It is assumed that the basic learning model M0_a_A, the first learning model M1_a_A, and the second learning model M2_a_A have been generated for the first operation a. That is, it is assumed that the third learning models M3_a_A_B, M3_a_A_C, and M3_a_A_BC have not been generated.
- the learning model selection unit 33a selects the second learning model M2_a_A.
- the probability value calculation unit 35 calculates the second probability value P2_a_A
- the list creation unit 36 uses the second probability value P2_a_A to create the list. That is, the second learning model M2_a_A is used for the proposed control.
- the learning model selection unit 33a considers that the second user B is not in the vehicle 1 and selects the first learning model M1_a_A. Thereby, the probability value calculation unit 35 calculates the first probability value P1_a_A, and the list creation unit 36 uses the first probability value P1_a_A to create the list. That is, as in the case where only the first user A is in the vehicle 1, the first learning model M1_a_A is used for the proposal control.
- the learning model selection unit 33a considers that the second user B, which is a fellow passenger, is not in the vehicle 1 and selects a learning model. As a result, the same proposal control as that in the case where only the first user A who is the driver is in the vehicle 1 is executed. As a result, the operation suitable for the first user A who is the driver can be proposed.
- the learning information acquisition unit 21, the learning information storage unit 22, the learning model generation unit 23, and the learning model storage unit 24 constitute the learning unit 20.
- the learning model acquisition unit 31, the selection information acquisition unit 32a, the learning model selection unit 33a, the calculation information acquisition unit 34, the probability value calculation unit 35, the list creation unit 36, and the suggestion control unit 37 constitute an operation suggestion unit 30a.
- the learning unit 20 and the operation suggesting unit 30a constitute a main part of the vehicle device control device 100a.
- the learning model acquisition unit 31 executes the process of step ST1.
- step ST2a the selection information acquisition unit 32a acquires information used for selection of the learning model by the learning model selection unit 33a, that is, selection information. Since a specific example of the selection information has already been described, the description thereof will be omitted.
- step ST3a the learning model selection unit 33a uses the selection information acquired by the selection information acquisition unit 32a to calculate the probability value calculation unit 35 of the learning models acquired by the learning model acquisition unit 31. Select the learning model used to calculate the probability value by.
- the learning model selection method by the learning model selection unit 33a changes depending on whether or not each passenger is in a dozing state. Since the specific example of the learning model selection method by the learning model selection unit 33a has already been described, the description thereof will be omitted.
- the calculation information acquisition unit 34 executes the process of step ST4
- the probability value calculation unit 35 executes the process of step ST5
- the list creation unit 36 executes the process of step ST6, and the proposal control unit. 37 executes the process of step ST7.
- the selection information may include information indicating the state of the driver instead of or in addition to the information indicating the state of each passenger.
- the method for selecting the learning model by the learning model selection unit 33a is not limited to the above specific example as long as it is in accordance with these pieces of information.
- the passenger monitoring system 7 may be integrated with the passenger identification system 6. In this case, the passenger monitoring system 7 and the passenger identification system 6 may share the same camera.
- the learning unit 20 and the operation proposing unit 30a may be a main part of the vehicle device control system 200a.
- the vehicle 1, the vehicle device 2, the operation input device 3, the display device 4, the voice output device 5, the occupant identification system 6, and the occupant monitoring system 7 are not shown.
- vehicle equipment control device 100a can adopt various modifications similar to those described in the first embodiment, that is, various modifications similar to the vehicle equipment control device 100.
- vehicle device control system 200a can employ various modifications similar to those described in the first embodiment, that is, various modifications similar to the vehicle device control system 200.
- the operation proposing unit 30a is used for control of the learning model generated by the learning unit 20 according to the state of the passenger of the vehicle 1. Selected learning model. Accordingly, it is possible to propose an appropriate operation according to the number and combination of passengers, and also to propose an appropriate operation according to the state of each passenger.
- the operation proposing unit 30a considers that the second user B is not in the vehicle 1 and controls the learning model corresponding to the first user A. Select the learning model to be used. This makes it possible to propose an operation suitable for the first user A who is the driver.
- FIG. 9 is a block diagram showing a main part of the vehicle equipment control device according to the third embodiment.
- a vehicle device control device 100b according to the third embodiment will be described with reference to FIG. Note that in FIG. 9, the same blocks as the blocks shown in FIG.
- the proposal control unit 37 counts the number of times the operation proposed by the proposal control is not performed for each operation (more specifically, for each learning model), and It has a function of determining whether or not the counted value (that is, the count value) exceeds a predetermined threshold value.
- the learning model generation unit 23b has a function of calculating an increase amount of learning information corresponding to each learning model and a function of determining whether the calculated increase amount is equal to or more than a predetermined reference amount. Have This increase amount is the same as that described in the first embodiment, and is the increase amount of the accumulated amount of learning information corresponding to the learning model after the previous generation of each learning model.
- the learning model generation unit 23b determines whether the increase amount of the learning information corresponding to the learning model is equal to or larger than the reference amount. ing. When it is determined that the increase amount of the learning information corresponding to the learning model is equal to or larger than the reference amount, the learning model generation unit 23b reproduces the learning model by re-learning the learning information corresponding to the learning model. It is designed to be completed. When the learning model is regenerated, the suggestion control unit 37 resets the count value corresponding to the learning model.
- the fact that the proposed operation is not performed often means that the correct answer rate of the calculation using the corresponding learning model is low.
- One of the causes of the low rate of correct answers is the shortage of learning amount in machine learning, that is, the shortage of information amount used for learning. That is, although the learning model generation unit 23b determines that the amount of learning information accumulated in the corresponding state is sufficient (more specifically, the amount is equal to or greater than a predetermined amount), the learning model is generated, but It is conceivable that there was a shortage of accumulated amount.
- the learning information storage unit 22 in addition to the learning information accumulated when the previous learning model was generated, new learning information acquired after the previous generation of the learning model is accumulated. there is a possibility. That is, as time elapses, the amount of learning information stored in the learning information storage unit 22 may increase as compared with the previous generation of the learning model. Therefore, by re-learning using these learning information, the problem caused by the low correct answer rate due to the lack of the learning amount, that is, the problem that the proposed operation is not performed many times is solved.
- the learning information acquisition unit 21, the learning information storage unit 22, the learning model generation unit 23b, and the learning model storage unit 24 constitute a learning unit 20b.
- the operation suggestion unit 30 is configured by the learning model acquisition unit 31, the selection information acquisition unit 32, the learning model selection unit 33, the calculation information acquisition unit 34, the probability value calculation unit 35, the list creation unit 36, and the suggestion control unit 37. ing.
- the learning unit 20b and the operation suggesting unit 30 constitute a main part of the vehicle equipment control device 100b.
- the hardware configuration of the main part of the vehicle equipment control device 100b is the same as that described with reference to FIG. 3 in the first embodiment, so illustration and description thereof will be omitted.
- the operation of the operation proposing unit 30 is the same as that described with reference to the flowchart of FIG. 4 in the first embodiment, so illustration and description thereof will be omitted.
- the learning unit 20b and the operation proposing unit 30 may constitute a main part of the vehicular device control system 200b.
- the vehicle 1, the vehicle device 2, the operation input device 3, the display device 4, the voice output device 5, and the passenger identification system 6 are not shown.
- vehicle equipment control device 100b can adopt various modifications similar to those described in the first embodiment, that is, various modifications similar to the vehicle equipment control device 100.
- vehicle device control system 200b can employ various modifications similar to those described in the first embodiment, that is, various modifications similar to the vehicle device control system 200.
- the learning unit 20b re-learns the learning information when the count value of the number of times the operation proposed by the control is not performed exceeds the threshold value. To regenerate the learning model. As a result, it is possible to solve the problem caused by the low rate of correct answers due to the lack of the learning amount, that is, the problem that the proposed control is not performed frequently.
- FIG. 11 is a block diagram showing a main part of the vehicle equipment control device according to the fourth embodiment.
- a vehicle device control device 100c according to the fourth embodiment will be described with reference to FIG. Note that in FIG. 11, the same blocks as the blocks shown in FIG.
- the operation input device 3 is composed of a gesture input device or a voice input device.
- the vehicle 1 is provided with an operator identification system 8.
- the operator identification system 8 identifies which of the one or more users is the operator of the vehicle device 2 when the one or more users are in the vehicle 1. is there.
- the operator identification system 8 performs an image recognition process on an image of the vehicle interior of the vehicle 1 to seat on any seat. It is determined whether the occupant is the operator of the vehicle device 2. The operator identification system 8 also acquires from the passenger identification system 6 information indicating which user each passenger is and information indicating the seat on which each passenger is seated. The operator identification system 8 associates the result of the determination with the acquired information so that any one of the one or more users who are in the vehicle 1 is the operator of the vehicle device 2. Identify if there is.
- the operator identification system 8 determines that the seated passenger is seated in any seat based on the arrival direction of the voice to the microphone in the voice input device. Is an operator of the vehicle device 2. The operator identification system 8 also acquires from the passenger identification system 6 information indicating which user each passenger is and information indicating the seat on which each passenger is seated. The operator identification system 8 associates the result of the determination with the acquired information so that any one of the one or more users who are in the vehicle 1 is the operator of the vehicle device 2. Identify if there is.
- the selection information acquisition unit 32c acquires information used for selecting a learning model by the learning model selection unit 33c, that is, selection information.
- the selection information includes information indicating which user each passenger is, and information indicating the seat on which each passenger is seated. These pieces of information are acquired from the passenger identification system 6.
- the selection information includes information indicating which of the one or more users who are on board the vehicle 1 is the operator of the vehicle device 2. This information is obtained from the operator identification system 8.
- the learning model selection unit 33c uses the selection information acquired by the selection information acquisition unit 32c to calculate the probability value by the probability value calculation unit 35 of the learning models acquired by the learning model acquisition unit 31.
- the learning model is selected.
- the learning model selection unit 33c is configured to select the learning model corresponding to the operator of the vehicle device 2.
- the learning model selection unit 33c selects the learning model corresponding to the first user A
- the second user B is the operator of the vehicle device 2.
- the learning model corresponding to the second user B is selected.
- the learning model corresponding to the operator of the vehicle device 2 is selected, so that the proposed control based on the learning model corresponding to the user operating or about to operate the vehicle device 2 is executed. It As a result, it is possible to propose an appropriate operation according to the user who is operating or is about to operate the vehicle device 2.
- the learning information acquisition unit 21, the learning information storage unit 22, the learning model generation unit 23, and the learning model storage unit 24 constitute the learning unit 20.
- the learning model acquisition unit 31, the selection information acquisition unit 32c, the learning model selection unit 33c, the calculation information acquisition unit 34, the probability value calculation unit 35, the list creation unit 36, and the suggestion control unit 37 constitute an operation suggestion unit 30c.
- the learning unit 20 and the operation suggesting unit 30c constitute a main part of the vehicle equipment control device 100c.
- the hardware configuration of the main part of the vehicle equipment control device 100c is the same as that described with reference to FIG. 3 in the first embodiment, so illustration and description thereof will be omitted.
- the learning model acquisition unit 31 executes the process of step ST1.
- step ST2c the selection information acquisition unit 32c acquires information used for selection of the learning model by the learning model selection unit 33c, that is, selection information. Since the specific example of the selection information has already been described, the description thereof will be omitted.
- step ST3c the learning model selection unit 33c uses the selection information acquired by the selection information acquisition unit 32c to calculate the probability value calculation unit 35 of the learning models acquired by the learning model acquisition unit 31. Select the learning model used to calculate the probability value by.
- the learning model selection unit 33c is configured to select the learning model corresponding to the operator of the vehicle device 2. Since the specific example of the learning model selection method by the learning model selection unit 33c has already been described, the description thereof is omitted.
- the calculation information acquisition unit 34 executes the process of step ST4
- the probability value calculation unit 35 executes the process of step ST5
- the list creation unit 36 executes the process of step ST6, and the proposal control unit. 37 executes the process of step ST7.
- the learning unit 20 and the operation proposing unit 30c may constitute a main part of the vehicular device control system 200c.
- the vehicle 1, the vehicle device 2, the operation input device 3, the display device 4, the voice output device 5, the passenger identification system 6, and the operator identification system 8 are not shown.
- vehicle equipment control device 100c can employ various modifications similar to those described in the first embodiment, that is, various modifications similar to the vehicle equipment control device 100.
- vehicle device control system 200c can employ various modifications similar to those described in the first embodiment, that is, various modifications similar to the vehicle device control system 200.
- the operation proposing unit 30c uses the learning model corresponding to the first user A.
- the learning model corresponding to the second user B is used for the control. This makes it possible to propose an appropriate operation according to the user who is operating or is about to operate the vehicle device 2.
- the invention of the present application is capable of freely combining the respective embodiments, modifying any constituent element of each embodiment, or omitting any constituent element in each embodiment. ..
- the vehicle device control system of the present invention can be used to control a vehicle device.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
Abstract
車両用機器制御システム(200)は、車両用機器(2)に対する複数種類の操作の各々の履歴を含む学習用情報の学習により、複数種類の操作の各々が行われる確率を計算するための学習モデルを生成する学習部(20)と、学習モデルを用いて、複数種類の操作のうちの確率が他の操作に比して高い操作を車両(1)の搭乗者に提案する制御を実行する操作提案部(30)とを備える。
Description
本発明は、車両用機器制御システム、車両用機器制御方法及び車両用機器制御装置に関する。
特許文献1記載の車載装置は、乗員構成及び会話内容を推定して、当該推定された乗員構成及び会話内容に基づき行動目的を推定して、当該推定された乗員構成及び行動目的に基づき推奨するサービスを決定する。より具体的には、特許文献1記載の車載装置は、当該推定された乗員構成及び行動内容と履歴データベース(レコメンドサービス履歴データベース23)に含まれる乗員構成及び行動内容とのマッチングにより推奨するサービスを決定する。これは、車両に運転者以外の者が乗車している場合であっても、そのときの乗員構成に最適なサービスを提供することを目的としたものである。
ナビゲーション装置又はオーディオ装置などの車両用機器において、搭乗者によるスムーズな操作を実現する観点から、搭乗者により行われる確率が高い操作を予測して、当該予測された操作を搭乗者に提案することが求められている。ここで、各操作が行われる確率は、運転者に応じて異なる値となるのはもちろんのこと、同乗者の有無及び運転者と同乗者の組合せなどに応じて異なる値となる場合がある。このため、搭乗者の人数及び組合せなどに応じて適切な操作の提案を実現することが求められている。
ここで、特許文献1に記載も示唆もされていないものの、特許文献1記載の技術をサービスの推奨から操作の提案に転用することが考えられる。しかしながら、特許文献1記載の技術は、上記のように履歴データベースを用いたマッチングによるものである。このため、例えば搭乗者の組合せの総数が多い場合、履歴データベースが細分化されて個々の組合せに対応する履歴データの個数が少なくなり、マッチングにより適切な操作の提案をすることができなくなる問題があった。
また、特許文献1記載の技術は、現在の搭乗者の組合せに対応する複数個の履歴データが履歴データベースに含まれている場合、日付又は時刻に基づき当該複数個の履歴データのうちのいずれか1個の履歴データを選択して、当該選択された履歴データを用いるものである(特許文献1の段落[0041]参照)。このため、当該複数個の履歴データのうちの残余の履歴データを有効に利用することができない問題があった。
このように、特許文献1記載の技術は、履歴データベースを有効に利用することができない問題があった。このため、特に履歴データの蓄積量が増えたとき、これらの履歴データに基づく適切な操作の提案をすることができない問題があった。
本発明は、上記のような課題を解決するためになされたものであり、車両における搭乗者の人数及び組合せなどに応じて適切な操作の提案をすることができる車両用機器制御システム、車両用機器制御方法及び車両用機器制御装置を提供することを目的とする。
本発明の車両用機器制御システムは、車両用機器に対する複数種類の操作の各々の履歴を含む学習用情報の学習により、複数種類の操作の各々が行われる確率を計算するための学習モデルを生成する学習部と、学習モデルを用いて、複数種類の操作のうちの確率が他の操作に比して高い操作を車両の搭乗者に提案する制御を実行する操作提案部とを備え、学習部は、車両を使用する複数人のユーザの各々に対応する学習モデルを生成するものであり、かつ、学習用情報の蓄積量が増えるにつれて次第に複数人のユーザの各々に対応する学習モデルが細分化されるものであり、操作提案部は、複数人のユーザのうちの第1ユーザが車両の運転者であり、かつ、複数人のユーザのうちの第2ユーザが車両の同乗者であるとき、第1ユーザに対応する学習モデル又は第2ユーザに対応する学習モデルを選択的に制御に用いるものである。
本発明によれば、上記のように構成したので、車両における搭乗者の人数及び組合せなどに応じて適切な操作の提案をすることができる。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る車両用機器制御装置の要部を示すブロック図である。図1を参照して、実施の形態1の車両用機器制御装置100について説明する。
図1は、実施の形態1に係る車両用機器制御装置の要部を示すブロック図である。図1を参照して、実施の形態1の車両用機器制御装置100について説明する。
図1に示す如く、車両1に車両用機器2が設けられている。車両用機器2は、例えば、ナビゲーション装置11、オーディオ装置12及び空調装置13を含むものである。車両用機器2は、操作入力装置3による操作が可能なものである。操作入力装置3は、例えば、タッチパネル、ハードウェアキー、ジェスチャ入力装置又は音声入力装置のうちの少なくとも一つにより構成されている。表示装置4は、車両用機器2による画面を表示するものである。表示装置4は、例えば、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ又はHUD(Head-Up Display)により構成されている。音声出力装置5は、車両用機器2による音声を出力するものである。音声出力装置5は、例えば、スピーカにより構成されている。
車両1は家族等の複数人のユーザにより使用されるものである。すなわち、複数人のユーザのうちの任意の1人以上のユーザが車両1に適宜搭乗するものである。搭乗者特定システム6は、複数人のユーザのうちの1人以上のユーザが車両1に搭乗しているとき、いわゆる「個人認証処理」を実行することにより、当該1人以上のユーザ(すなわち車両1の搭乗者)の各々が複数人のユーザのうちのいずれのユーザであるのかを特定するものである。
例えば、搭乗者特定システム6は、各搭乗者の顔を含む画像がカメラにより撮像されたとき、当該撮像された画像を示す画像データを取得して、当該取得された画像データをデータベースに予め登録されている画像データと比較することにより、各搭乗者がいずれのユーザであるのかを特定する。または、搭乗者特定システム6は、各搭乗者により発話された音声がマイクに入力されたとき、当該入力された音声を示す音声データを取得して、当該取得された音声データをデータベースに予め登録されている音声データと比較することにより、各搭乗者がいずれのユーザであるのかを特定する。または、搭乗者特定システム6は、各搭乗者に対応する識別子が記録されているIC(Integrated Circuit)カードがICカードリーダに挿入されたとき、当該記録されている識別子をデータベースに予め登録されている識別子と比較することにより、各搭乗者がいずれのユーザであるのかを特定する。これらの特定方法はいずれも公知であるため、これらの特定方法についての詳細な説明は省略する。
学習用情報取得部21は、操作入力装置3による車両用機器2の操作が行われたとき、学習モデル生成部23による学習モデルの生成に用いられる情報(以下「学習用情報」という。)を取得するものである。学習用情報は、例えば、当該操作の種類を示す情報、当該操作が行われたときの1人以上の搭乗者(1人の運転者及び0人以上の同乗者を含む)の各々がいずれのユーザであるのかを示す情報、当該操作が行われたときの車両1の位置を示す情報、当該操作が行われたときの時刻を示す情報、当該操作が行われたときのナビゲーション装置11の動作状態を示す情報、当該操作が行われたときのオーディオ装置12の動作状態を示す情報、及び当該操作が行われたときの空調装置13の動作状態を示す情報を含むものである。
操作の種類を示す情報は、車両用機器2から取得される。各搭乗者がいずれのユーザであるのかを示す情報は、搭乗者特定システム6から取得される。車両1の位置を示す情報及び時刻を示す情報は、例えば、ナビゲーション装置11から取得される。ナビゲーション装置11の動作状態を示す情報は、ナビゲーション装置11から取得される。オーディオ装置12の動作状態を示す情報は、オーディオ装置12から取得される。空調装置13の動作状態を示す情報は、空調装置13から取得される。
操作の種類には、例えば、ナビゲーション装置11による経路案内における目的地を設定する操作、オーディオ装置12により再生される楽曲を選択する操作、及び空調装置13における設定温度を変更する操作がある。すなわち、車両用機器2は複数種類の操作が可能なものである。
ナビゲーション装置11の動作状態を示す情報は、より具体的には、ナビゲーション装置11による経路案内が実行中であるか否かを示す情報、及びナビゲーション装置11による案内中の地点を示す情報などを含むものである。オーディオ装置12の動作状態を示す情報は、より具体的には、オーディオ装置12による再生中の楽曲を示す情報、及びオーディオ装置12における音量の設定を示す情報などを含むものである。空調装置13の動作状態を示す情報は、より具体的には、空調装置13の動作モード(例えば暖房、冷房又は送風)を示す情報、及び空調装置13における設定温度を示す情報などを含むものである。
学習用情報記憶部22は、学習用情報取得部21により取得された学習用情報を蓄積して記憶するものである。すなわち、学習用情報記憶部22に記憶されている学習用情報は、車両用機器2に対する複数種類の操作の各々の履歴を含むものである。
学習モデル生成部23は、学習用情報記憶部22に記憶されている学習用情報の学習により、車両用機器2に対する複数種類の操作の各々が行われる確率を計算するための学習モデルを生成するものである。個々の学習モデルは、対応する操作が行われる確率を示す値(以下「確率値」という。)を算出するための関数であり、かつ、複数個の変数を含むものである。複数個の変数の各々は、車両1の位置、時刻、ナビゲーション装置11の動作状態、オーディオ装置12の動作状態又は空調装置13の動作状態などに対応する値(以下「パラメータ値」という。)が代入されるものである。学習モデルの生成には、いわゆる「機械学習」の技術分野における種々の方法を用いることができる。これらの方法についての詳細な説明は省略する。
ここで、上記のとおり車両1は複数人のユーザにより使用されるものである。学習モデル生成部23は、複数人のユーザの各々に対応する学習モデルを生成するようになっている。また、複数人のユーザの各々に対応する学習モデルは、学習用情報記憶部22における学習用情報の蓄積量が増えるにつれて次第に細分化されるようになっている。
例えば、車両1が第1ユーザA、第2ユーザB及び第3ユーザCを含む3人のユーザにより使用されるものであるとする。また、車両用機器2は第1操作a、第2操作b及び第3操作cを含む3種類の操作が可能なものであるとする。学習モデル生成部23は、第1操作aについて、第1ユーザAに対応する学習モデルを以下のように生成する。
まず、学習モデル生成部23は、3人のユーザのうちの第1ユーザA及び他の任意の0人以上のユーザを含む1人以上のユーザが車両1に搭乗している状態、すなわち少なくとも第1ユーザAが車両1に搭乗している状態における第1操作aに係る学習用情報の蓄積量が所定量以上であるか否かを判定する。学習モデル生成部23は、この状態における第1操作aに係る学習用情報の蓄積量が所定量以上である場合、これらの学習用情報に基づく学習モデル(以下「基本学習モデル」という。)M0_a_Aを生成する。
また、学習モデル生成部23は、3人のユーザのうちの第1ユーザAのみが車両1に搭乗している状態における第1操作aに係る学習用情報の蓄積量が所定量以上であるか否かを判定する。学習モデル生成部23は、この状態における第1操作aに係る学習用情報の蓄積量が所定量以上である場合、これらの学習用情報に基づく学習モデル(以下「第1学習モデル」という。)M1_a_Aを生成する。また、学習モデル生成部23は、3人のユーザのうちの第1ユーザA及び他の任意の1人以上のユーザを含む2人以上のユーザが車両1に搭乗している状態における第1操作aに係る学習用情報の蓄積量が所定量以上であるか否かを判定する。学習モデル生成部23は、この状態における第1操作aに係る学習用情報の蓄積量が所定量以上である場合、これらの学習用情報に基づく学習モデル(以下「第2学習モデル」という。)M2_a_Aを生成する。
すなわち、第1学習モデルM1_a_Aは基本学習モデルM0_a_Aの生成に用いられる学習用情報のうちの一部の学習用情報に基づくものであり、第2学習モデルM2_a_Aは基本学習モデルM0_a_Aの生成に用いられる学習用情報のうちの他の一部の学習用情報に基づくものである。したがって、第1学習モデルM1_a_A及び第2学習モデルM2_a_Aの各々は基本学習モデルM0_a_Aが細分化されたものであるといえる。
また、学習モデル生成部23は、3人のユーザのうちの第1ユーザA及び他の特定の1人以上のユーザを含む2人以上のユーザが車両1に搭乗している状態における第1操作aに係る学習用情報の蓄積量が所定量以上であるか否かを判定する。学習モデル生成部23は、この状態における第1操作aに係る学習用情報の蓄積量が所定量以上である場合、これらの学習用情報に基づく学習モデル(以下「第3学習モデル」という。)M3_a_A_B,M3_a_A_C,M3_a_A_BCを生成する。
より具体的には、学習モデル生成部23は、3人のユーザのうちの第1ユーザA及び第2ユーザBのみが車両1に搭乗している状態における第1操作aに係る学習用情報の蓄積量が所定量以上であるか否かを判定する。学習モデル生成部23は、この状態における第1操作aに係る学習用情報の蓄積量が所定量以上である場合、これらの学習用情報に基づく第3学習モデルM3_a_A_Bを生成する。また、学習モデル生成部23は、3人のユーザのうちの第1ユーザA及び第3ユーザCのみが車両1に搭乗している状態における第1操作aに係る学習用情報の蓄積量が所定量以上であるか否かを判定する。学習モデル生成部23は、この状態における第1操作aに係る学習用情報の蓄積量が所定量以上である場合、これらの学習用情報に基づく第3学習モデルM3_a_A_Cを生成する。また、学習モデル生成部23は、3人のユーザのうちの全てのユーザが車両1に搭乗している状態、すなわち第1ユーザA、第2ユーザB及び第3ユーザCが車両1に搭乗している状態における第1操作aに係る学習用情報の蓄積量が所定量以上であるか否かを判定する。学習モデル生成部23は、この状態における第1操作aに係る学習用情報の蓄積量が所定量以上である場合、これらの学習用情報に基づく第3学習モデルM3_a_A_BCを生成する。
すなわち、第3学習モデルM3_a_A_Bは第2学習モデルM2_a_Aの生成に用いられる学習用情報のうちの一部の学習用情報に基づくものであり、第3学習モデルM3_a_A_Cは第2学習モデルM2_a_Aの生成に用いられる学習用情報のうちの他の一部の学習用情報に基づくものであり、第3学習モデルM3_a_A_BCは第2学習モデルM2_a_Aの生成に用いられる学習用情報のうちの他の一部の学習用情報に基づくものである。したがって、第3学習モデルM3_a_A_B,M3_a_A_C,M3_a_A_BCの各々は第2学習モデルM2_a_Aが細分化されたものであるといえる。
図14は、第1操作aに係る学習モデルのうちの第1ユーザAに対応する学習モデルについて、学習モデル間の関係の例、個々の学習モデルの生成に用いられる学習用情報の例、及び個々の学習モデルの生成条件の例を示している。すなわち、図14は上記説明の内容をまとめたものである。なお、これらの学習モデルの生成において、第1ユーザAが車両1に搭乗していない状態における第1操作aに係る学習用情報(すなわち、第2ユーザBのみが車両1に搭乗している状態における第1操作aに係る学習用情報、第3ユーザCのみが車両1に搭乗している状態における第1操作aに係る学習用情報、並びに第2ユーザB及び第3ユーザCのみが車両1に搭乗している状態における第1操作aに係る学習用情報)は用いられない。このため、図14において、これらの学習用情報については図示を省略している。
学習モデル生成部23は、上記の方法と同様の方法により、第2操作bについて、第1ユーザAに対応する学習モデルM0_b_A,M1_b_A,M2_b_A,M3_b_A_B,M3_b_A_C,M3_b_A_BCの各々を適宜生成する。学習モデルM0_b_A,M1_b_A,M2_b_A,M3_b_A_B,M3_b_A_C,M3_b_A_BCの各々が生成されるか否かは、対応する状態における第2操作bに係る学習用情報の蓄積量に応じたものとなる。
学習モデル生成部23は、上記の方法と同様の方法により、第3操作cについて、第1ユーザAに対応する学習モデルM0_c_A,M1_c_A,M2_c_A,M3_c_A_B,M3_c_A_C,M3_c_A_BCの各々を適宜生成する。学習モデルM0_c_A,M1_c_A,M2_c_A,M3_c_A_B,M3_c_A_C,M3_c_A_BCの各々が生成されるか否かは、対応する状態における第3操作cに係る学習用情報の蓄積量に応じたものとなる。
例えば、第1操作aに係る学習用情報の蓄積量に比して第2操作bに係る学習用情報の蓄積量が少ない場合、第1操作aについては基本学習モデルM0_a_A、第1学習モデルM1_a_A、第2学習モデルM2_a_A及び第3学習モデルM3_a_A_B,M3_a_A_C,M3_a_A_BCの全てが生成されて、第2操作bについては基本学習モデルM0_b_A、第1学習モデルM1_b_A及び第2学習モデルM2_b_Aのみが生成されることもある。また、第2操作bに係る学習用情報の蓄積量に比して第3操作cに係る学習用情報の蓄積量が更に少ない場合、第3操作cについては基本学習モデルM0_c_Aのみが生成されることもある。
学習モデル生成部23は、上記の方法と同様の方法により、第1操作aについて、第2ユーザBに対応する学習モデルM0_a_B,M1_a_B,M2_a_B,M3_a_B_A,M3_a_B_C,M3_a_B_ACの各々を適宜生成するとともに、第3ユーザCに対応する学習モデルM0_a_C,M1_a_C,M2_a_C,M3_a_C_A,M3_a_C_B,M3_a_C_ABの各々を適宜生成する。学習モデルM0_a_B,M1_a_B,M2_a_B,M3_a_B_A,M3_a_B_C,M3_a_B_AC,M0_a_C,M1_a_C,M2_a_C,M3_a_C_A,M3_a_C_B,M3_a_C_ABの各々が生成されるか否かは、対応する状態における第1操作aに係る学習用情報の蓄積量に応じたものとなる。
学習モデル生成部23は、上記の方法と同様の方法により、第2操作bについて、第2ユーザBに対応する学習モデルM0_b_B,M1_b_B,M2_b_B,M3_b_B_A,M3_b_B_C,M3_b_B_ACの各々を適宜生成するとともに、第3ユーザCに対応する学習モデルM0_b_C,M1_b_C,M2_b_C,M3_b_C_A,M3_b_C_B,M3_b_C_ABの各々を適宜生成する。学習モデルM0_b_B,M1_b_B,M2_b_B,M3_b_B_A,M3_b_B_C,M3_b_B_AC,M0_b_C,M1_b_C,M2_b_C,M3_b_C_A,M3_b_C_B,M3_b_C_ABの各々が生成されるか否かは、対応する状態における第2操作bに係る学習用情報の蓄積量に応じたものとなる。
学習モデル生成部23は、上記の方法と同様の方法により、第3操作cについて、第2ユーザBに対応する学習モデルM0_c_B,M1_c_B,M2_c_B,M3_c_B_A,M3_c_B_C,M3_c_B_ACの各々を適宜生成するとともに、第3ユーザCに対応する学習モデルM0_c_C,M1_c_C,M2_c_C,M3_c_C_A,M3_c_C_B,M3_c_C_ABの各々を適宜生成する。学習モデルM0_c_B,M1_c_B,M2_c_B,M3_c_B_A,M3_c_B_C,M3_c_B_AC,M0_c_C,M1_c_C,M2_c_C,M3_c_B_A,M3_c_B_C,M3_c_B_ACの各々が生成されるか否かは、対応する状態における第3操作cに係る学習用情報の蓄積量に応じたものとなる。
すなわち、学習モデル生成部23により生成される学習モデルの個数は、個々の操作毎にかつ個々のユーザ毎に、学習用情報の蓄積量に応じて異なり得るものである。
学習モデル記憶部24は、学習モデル生成部23により生成された学習モデルを記憶するものである。学習用情報取得部21、学習用情報記憶部22、学習モデル生成部23及び学習モデル記憶部24により、学習部20が構成されている。
学習モデル取得部31は、学習モデル記憶部24に記憶されている学習モデルを取得するものである。選択用情報取得部32は、学習モデル選択部33による学習モデルの選択に用いられる情報(以下「選択用情報」という。)を取得するものである。学習モデル選択部33は、選択用情報取得部32により取得された選択用情報を用いて、学習モデル取得部31により取得された学習モデルのうちの確率値算出部35による確率値の算出に用いられる学習モデルを選択するものである。
選択用情報は、より具体的には、現在の1人以上の搭乗者(1人の運転者及び0人以上の同乗者を含む)の各々がいずれのユーザであるのかを示す情報、及び車両1における複数個の座席のうちの当該1人以上の搭乗者の各々が着座している座席を示す情報を含むものである。これらの情報は、搭乗者特定システム6から取得されるものである。
学習モデル選択部33による学習モデルの選択方法の具体例は以下のとおりである。すなわち、車両1における複数個の座席の各々に優先度が設定されており、これらの優先度を示す情報が学習モデル選択部33に予め記憶されている。学習モデル取得部31により取得された学習モデルは、複数人のユーザの各々に対応する学習モデルを含むものである。学習モデル選択部33は、車両1に搭乗している1人以上のユーザのうち、優先度が最も高い座席に着座している1人のユーザに対応する学習モデルを選択する。例えば、運転席の優先度が他の座席(すなわち助手席及び後部座席)の優先度に比して高いに値に設定されており、かつ、少なくとも第1ユーザAが車両1に搭乗しており、かつ、第1ユーザAが運転席に着座している(すなわち第1ユーザAが運転者である)場合、学習モデル選択部33は第1ユーザAに対応する学習モデルを選択する。この場合において、学習モデル選択部33は、車両1に搭乗しているユーザに応じて、個々の操作毎に、原則、生成済みの1個以上の学習モデルのうちのより細分化された1個の学習モデルを選択する。
例えば、第1ユーザAに対応する学習モデルの生成状況が以下のとおりであるものとする。すなわち、第1操作aについて基本学習モデルM0_a_A、第1学習モデルM1_a_A、第2学習モデルM2_a_A及び第3学習モデルM3_a_A_B,M3_a_A_C,M3_a_A_BCの全てが生成済みであり、第2操作bについて基本学習モデルM0_b_A、第1学習モデルM1_b_A及び第2学習モデルM2_b_Aのみが生成済みであり、第3操作cについて基本学習モデルM0_c_Aのみが生成済みであるものとする。第1ユーザAのみが車両1に搭乗しているとき、学習モデル選択部33は、第1操作aについて第1学習モデルM1_a_Aを選択して、第2操作bについて第1学習モデルM1_b_Aを選択して、第3操作cについて基本学習モデルM0_c_Aを選択する。第1ユーザAに加えて第2ユーザBが車両1に搭乗しているとき(すなわち第2ユーザBが同乗者であるとき)、学習モデル選択部33は、第1操作aについて第3学習モデルM3_a_A_Bを選択して、第2操作bについて第2学習モデルM2_a_Aを選択して、第3操作cについて基本学習モデルM0_c_Aを選択する。第1ユーザAに加えて第2ユーザB及び第3ユーザCが車両1に搭乗しているとき(すなわち第2ユーザB及び第3ユーザCの各々が同乗者であるとき)、学習モデル選択部33は、第1操作aについて第3学習モデルM3_a_A_BCを選択して、第2操作bについて第2学習モデルM2_a_Aを選択して、第3操作cについて基本学習モデルM0_c_Aを選択する。
または、例えば、第1操作aについて基本学習モデルM0_a_A、第1学習モデルM1_a_A、第2学習モデルM2_a_A及び第3学習モデルM3_a_A_B,M3_a_A_Cが生成済みであるものとする。すなわち、第3学習モデルM3_a_A_BCは未生成であるものとする。第1ユーザAに加えて第2ユーザB及び第3ユーザCが車両1に搭乗しているとき(すなわち第2ユーザB及び第3ユーザCの各々が同乗者であるとき)、学習モデル選択部33は、第1操作aについて第2学習モデルM2_a_Aを選択する。
算出用情報取得部34は、確率値算出部35による確率値の算出に用いられる情報(以下「算出用情報」という。)を取得するものである。確率値算出部35は、学習モデル選択部33により選択された学習モデル及び算出用情報取得部34により取得された算出用情報を用いて、車両用機器2に対する複数種類の操作の各々が行われる確率を示す値、すなわち確率値を算出するものである。
算出用情報は、より具体的には、現在の車両1の位置を示す情報、現在の時刻を示す情報、現在のナビゲーション装置11の動作状態を示す情報、現在のオーディオ装置12の動作状態を示す情報、及び現在の空調装置13の動作状態を示す情報を含むものである。車両1の位置を示す情報及び時刻を示す情報は、例えば、ナビゲーション装置11から取得される。ナビゲーション装置11の動作状態を示す情報は、ナビゲーション装置11から取得される。オーディオ装置12の動作状態を示す情報は、オーディオ装置12から取得される。空調装置13の動作状態を示す情報は、空調装置13から取得される。
確率値算出部35は、これらの情報に対応する複数個のパラメータ値を算出して、当該算出された複数個のパラメータ値を個々の学習モデルにおける複数個の変数にそれぞれ代入する。これにより、個々の学習モデルに対応する操作が行われる確率を示す値、すなわち確率値が算出される。リスト作成部36は、確率値算出部35により算出された確率値を用いて、車両用機器2に対する複数種類の操作について、当該複数種類の操作が行われる確率の高い順に並べられたリストを作成するものである。
提案制御部37は、リスト作成部36により作成されたリストに基づき、車両用機器2に対する複数種類の操作のうちの行われる確率が他の操作に比して高い操作を車両1の搭乗者に提案する制御を実行するものである。より具体的には、提案制御部37は、リスト作成部36により作成されたリストにおける上位所定個(例えば3個)の操作を車両1の搭乗者に提案する制御を実行するものである。以下、この制御を「提案制御」ということがある。
具体的には、例えば、提案制御部37は、提案の対象となる所定個の操作(以下「提案対象操作」という。)の各々に対応するショートカット操作ボタンを含む画像を表示装置4に表示させる制御を実行する。この画像は、表示装置4において車両用機器2による画面に重畳表示される。図1において、提案制御部37と表示装置4間の接続線は図示を省略している。図2は、ナビゲーション装置11による画面に当該ショートカット操作ボタンを含む画像が重畳表示されている状態の例を示している。
または、例えば、提案制御部37は、提案対象操作を示す音声を音声出力装置5に出力させる制御を実行する。図1において、提案制御部37と音声出力装置5間の接続線は図示を省略している。
学習モデル取得部31、選択用情報取得部32、学習モデル選択部33、算出用情報取得部34、確率値算出部35、リスト作成部36及び提案制御部37により、操作提案部30が構成されている。学習部20及び操作提案部30により、車両用機器制御装置100の要部が構成されている。
次に、図3を参照して、車両用機器制御装置100の要部のハードウェア構成について説明する。
図3Aに示す如く、車両用機器制御装置100はプロセッサ41及びメモリ42,43を有している。メモリ42には、学習用情報取得部21、学習モデル生成部23、学習モデル取得部31、選択用情報取得部32、学習モデル選択部33、算出用情報取得部34、確率値算出部35、リスト作成部36及び提案制御部37の機能を実現するためのプログラムが記憶されている。メモリ42に記憶されているプログラムをプロセッサ41が読み出して実行することにより、学習用情報取得部21、学習モデル生成部23、学習モデル取得部31、選択用情報取得部32、学習モデル選択部33、算出用情報取得部34、確率値算出部35、リスト作成部36及び提案制御部37の機能が実現される。また、学習用情報記憶部22及び学習モデル記憶部24の機能はメモリ43により実現される。
または、図3Bに示す如く、車両用機器制御装置100はプロセッサ41及びメモリ42に代えて処理回路44を有するものであっても良い。この場合、学習用情報取得部21、学習モデル生成部23、学習モデル取得部31、選択用情報取得部32、学習モデル選択部33、算出用情報取得部34、確率値算出部35、リスト作成部36及び提案制御部37の機能が処理回路44により実現されるものであっても良い。
または、車両用機器制御装置100はプロセッサ41及びメモリ42に加えて処理回路44を有するものであっても良い(不図示)。この場合、学習用情報取得部21、学習モデル生成部23、学習モデル取得部31、選択用情報取得部32、学習モデル選択部33、算出用情報取得部34、確率値算出部35、リスト作成部36及び提案制御部37の機能のうちの一部の機能がプロセッサ41及びメモリ42により実現されて、残余の機能が処理回路44により実現されるものであっても良い。
プロセッサ41は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)のうちの少なくとも一つを用いたものである。
メモリ42,43は、例えば、半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクのうちの少なくとも一つを用いたものである。より具体的には、メモリ42,43は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、SSD(Solid State Drive)、HDD(Hard Disk Drive)、FD(Floppy Disk)、CD(Compact Disc)、DVD(Digital Versatile Disc)、MO(Magneto-Optical)又はMD(Mini Disc)のうちの少なくとも一つを用いたものである。
処理回路44は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-Chip)又はシステムLSI(Large-Scale Integration)のうちの少なくとも一つを用いたものである。
次に、図4のフローチャートを参照して、車両用機器制御装置100の動作について、操作提案部30の動作を中心に説明する。
操作提案部30は、例えば、車両1における電源(例えばアクセサリ電源又はイグニッション電源)がオンされている状態にて、ステップST1~ST7の処理を所定の時間間隔にて繰り返し実行するようになっている。第1回目のステップST1の処理が実行されるよりも先に、学習モデル生成部23により学習モデルが生成されて、当該生成された学習モデルが学習モデル記憶部24に記憶されているものとする。
まず、ステップST1にて、学習モデル取得部31は、学習モデル記憶部24に記憶されている学習モデルを取得する。次いで、ステップST2にて、選択用情報取得部32は、学習モデル選択部33による学習モデルの選択に用いられる情報、すなわち選択用情報を取得する。次いで、ステップST3にて、学習モデル選択部33は、選択用情報取得部32により取得された選択用情報を用いて、学習モデル取得部31により取得された学習モデルのうちの確率値算出部35による確率値の算出に用いられる学習モデルを選択する。選択用情報の具体例及び学習モデル選択部33による学習モデルの選択方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
次いで、ステップST4にて、算出用情報取得部34は、確率値算出部35による確率値の算出に用いられる情報、すなわち算出用情報を取得する。次いで、ステップST5にて、確率値算出部35は、学習モデル選択部33により選択された学習モデル及び算出用情報取得部34により取得された算出用情報を用いて、車両用機器2に対する複数種類の操作の各々が行われる確率を示す値、すなわち確率値を算出する。算出用情報の具体例及び確率値算出部35による確率値の算出方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
次いで、ステップST6にて、リスト作成部36は、確率値算出部35により算出された確率値を用いて、車両用機器2に対する複数種類の操作について、当該複数種類の操作が行われる確率の高い順に並べられたリストを作成する。
次いで、ステップST7にて、提案制御部37は、リスト作成部36により作成されたリストにおける上位所定個(例えば3個)の操作を車両1の搭乗者に提案する制御、すなわち提案制御を実行する。提案制御の具体例は既に説明したとおりであるため、再度の説明は省略する。
なお、学習モデル取得部31は、学習モデル生成部23により新たな学習モデルが生成されたとき、すなわち学習モデル記憶部24に記憶されている学習モデルが更新されたとき、ステップST1の処理を実行するものであっても良い。すなわち、ステップST1の処理は毎回実行されるものでなくとも良く、学習モデル生成部23による学習モデルの生成状況に応じて適宜スキップされるものであっても良い。
また、学習モデル選択部33は、車両1における電源がオンされている状態にて、搭乗者特定システム6による第1回目の個人認証処理が実行されたとき、及び第2回目以降の各回の個人認証処理により前回の個人認証処理と異なる結果が得られたとき、ステップST2の処理を実行するものであっても良い。すなわち、ステップST2の処理は毎回実行されるものでなくとも良く、搭乗者特定システム6による個人認証処理の実行状況に応じて適宜スキップされるものであっても良い。ステップST3の処理も同様である。
このように、実施の形態1の車両用機器制御装置100において、学習部20は、個々の操作毎に複数人のユーザの各々に対応する学習モデルを生成する。また、複数人のユーザの各々に対応する学習モデルは、学習用情報の蓄積量が増えるにつれて、基本学習モデル→第1学習モデルのように、また基本学習モデル→第2学習モデル→第3学習モデルのように次第に細分化される。通常、機械学習による学習に用いられる情報量が少ない場合、当該学習により生成された学習モデルを用いた計算の正答率が低くなることが知られている。これに対して、個々の操作毎にかつ個々のユーザ毎に、学習用情報の蓄積量に応じて当該蓄積されている学習用情報のうちの学習に用いられる学習用情報の範囲を異ならしめることにより、個々の学習モデルの生成に用いられる情報量を適切な量にすることができる。この結果、正答率が低くなるのを抑制することができる。
また、実施の形態1の車両用機器制御装置100において、操作提案部30は、個々の操作毎にかつ個々のユーザ毎に、同乗者の有無及び運転者と同乗者の組合せに応じて、これらの学習モデルを選択的に提案制御に用いる。より具体的には、これらの学習モデルに基づく確率値を選択的にリストの作成に用いる。これにより、同乗者の有無及び運転者と同乗者の組合せに応じて、適切な操作の提案をすることができる。
なお、提案制御部37は、個々の操作毎に(より具体的には個々の学習モデル毎に)、提案制御により提案された操作が行われない回数をカウントする機能、及び当該カウントされた値(以下「カウント値」という。)が所定の閾値以上であるか否かを判定する機能を有するものであっても良い。当該判定の結果に応じて、以下のように、学習モデル選択部33による学習モデルの選択方法が変化するものであっても良い。図1において、この場合における提案制御部37と学習モデル選択部33間の接続線は図示を省略している。
例えば、第1ユーザAのみが車両1に搭乗しており、第1ユーザAが運転者であるものとする。第1操作aについて、基本学習モデルM0_a_A及び第1学習モデルM1_a_Aが生成済みであるものとする。すなわち、第2学習モデルM2_a_A及び第3学習モデルM3_a_A_B,M3_a_A_C,M3_a_A_BCは未生成であるものとする。
まず、学習モデル選択部33は、上記原則により、第1操作aについて第1学習モデルM1_a_Aを選択する。これにより、確率値算出部35が第1学習モデルM1_a_Aに基づく確率値(以下「第1確率値」という。)P1_a_Aを算出するとともに、リスト作成部36が第1確率値P1_a_Aをリストの作成に用いる状態となる。すなわち、第1学習モデルM1_a_Aが提案制御に用いられる状態となる。提案制御部37は、この状態における第1操作aに係るカウント値を算出して、当該算出されたカウント値を閾値と比較する。
当該算出されたカウント値が閾値未満である場合、学習モデル選択部33により第1学習モデルM1_a_Aが選択された状態が継続する。これにより、確率値算出部35が第1確率値P1_a_Aを算出するとともに、リスト作成部36が第1確率値P1_a_Aをリストの作成に用いる状態が継続する。すなわち、第1学習モデルM1_a_Aが提案制御に用いられる状態が継続する。
他方、当該算出されたカウント値が閾値以上である場合、学習モデル選択部33は、第1学習モデルM1_a_Aが生成済みであるにもかかわらず、例外的に、基本学習モデルM0_a_Aを改めて選択する。これにより、確率値算出部35が基本学習モデルM0_a_Aに基づく確率値(以下「基本確率値」という。)P0_a_Aを算出するとともに、リスト作成部36が基本確率値P0_a_Aをリストの作成に用いる状態に切り替わる。すなわち、基本学習モデルM0_a_Aが提案制御に用いられる状態に切り替わる。
このように、操作提案部30は、個々の操作毎に、カウント値が閾値以上である場合、カウント値が閾値未満である場合に比して細分化されていない学習モデルを提案制御に用いるものであっても良い。換言すれば、操作提案部30は、個々の操作毎に、カウント値が閾値未満である場合、カウント値が閾値以上である場合に比して細分化された学習モデルを提案制御に用いるものであっても良い。2人以上のユーザが車両1に搭乗している場合も同様である。
提案された操作が行われない回数が多いということは、対応する学習モデルを用いた計算の正答率が低いということである。正答率の低さの原因の一つに、機械学習における学習量の不足、すなわち学習に用いられた情報量の不足がある。すなわち、学習モデル生成部23は、対応する状態における学習用情報の蓄積量が十分である(より具体的には所定量以上である)と判断したうえで学習モデルを生成しているものの、実際には蓄積量が不足していたということが考えられる。そこで、より細分化されていない学習モデルが提案制御に用いられるようにすることで、学習量の不足による正答率の低さに起因する問題、すなわち提案された操作が行われない回数が多いという問題の解消を図るのである。
また、図5に示す如く、学習部20及び操作提案部30により車両用機器制御システム200の要部が構成されているものであっても良い。図5において、車両1、車両用機器2、操作入力装置3、表示装置4、音声出力装置5及び搭乗者特定システム6は図示を省略している。車両用機器制御システム200においては、操作提案部30が車両1に設けられているのに対して、学習部20が車両1に設けられているものであっても良く、又は学習部20が車両1と通信自在なサーバ装置(不図示)に設けられているものであっても良い。学習部20が当該サーバ装置に設けられている場合、学習用情報取得部21による学習用情報の取得及び学習モデル取得部31による学習モデルの取得の各々は、車両1と当該サーバ装置間の通信によるものとなる。また、車両用機器2は車両用機器制御システム200に含まれるものであっても良い。
また、各座席に設定されている優先度は如何なる値であっても良く、上記の具体例に限定されるものではない。例えば、助手席の優先度が他の座席(すなわち運転席及び後部座席)の優先度に比して高い値に設定されているものであっても良く、又は後部座席の優先度が他の座席(すなわち運転席及び助手席)の優先度に比して高い値に設定されているものであっても良い。これにより、第1ユーザAが運転席に着座しており(すなわち第1ユーザAが運転者であり)、かつ、第2ユーザBが助手席又は後部座席に着座している(すなわち第2ユーザBが同乗者である)とき、第2ユーザBに対応する学習モデルが学習モデル選択部33により選択されて、当該選択された学習モデルが確率値算出部35による確率値の算出に用いられるものであっても良い。
また、個々の操作毎に各座席の優先度が異なる値に設定されているものであっても良い。例えば、第1操作aがナビゲーション装置11に対する操作であり、かつ、第2操作bがオーディオ装置12に対する操作である場合、第1操作aについては運転席の優先度が他の座席の優先度に比して高い値に設定されており、かつ、第2操作bについては助手席の優先度が他の座席に比して高い値に設定されているものであっても良い。これにより、第1ユーザAが運転席に着座しており、かつ、第2ユーザBが助手席に着座しているとき、第1操作aについては第1ユーザAに対応する学習モデルが学習モデル選択部33により選択されて、第2操作bについては第2ユーザBに対応する学習モデルが学習モデル選択部33により選択されるものであっても良い。
また、車両用機器2は、車両1に搭載される機器又は車両1に持ち込まれる機器であって、操作入力装置3による操作が可能な機器であれば良く、ナビゲーション装置11、オーディオ装置12及び空調装置13に限定されるものではない。例えば、車両用機器2は、ナビゲーション装置11、オーディオ装置12又は空調装置13のうちの少なくとも一つを含むものであっても良い。
また、搭乗者特定システム6は如何なる方法により各搭乗者がいずれのユーザであるのかを特定するものであっても良く、搭乗者特定システム6による特定方法は上記の具体例に限定されるものではない。例えば、搭乗者特定システム6は、いわゆる「指紋認証」「静脈認証」又は「虹彩認証」により各搭乗者がいずれのユーザであるのかを特定するものであっても良い。
また、個々の学習モデルが生成されるか否かの判定条件は、対応する状態における学習用情報の蓄積量が所定量以上であるか否かという条件に限定されるものではなく、他の条件を含むものであっても良い。これらの条件は、学習モデル生成部23に予め設定されているものであれば良い。
また、以下のように、学習モデル選択部33は、2人以上のユーザが車両1に搭乗している場合において、対応する基本学習モデル及び対応する第1学習モデルが生成済みであり、かつ、対応する第2学習モデル及び対応する第3学習モデルが未生成であるとき、例外的に、当該対応する基本学習モデルに代えて当該対応する第1学習モデルを選択するものであっても良い。学習モデル生成部23は、確率値算出部35により算出された第1確率値に基づき、当該対応する第2学習モデルの生成の要否を判定するものであっても良い。図1及び図5において、この場合における確率値算出部35と学習モデル生成部23間の接続線は図示を省略している。
例えば、運転席の優先度が他の座席(すなわち助手席及び後部座席)の優先度に比して高いに値に設定されており、かつ、第1ユーザA及び第2ユーザBのみが車両1に搭乗しており、かつ、第1ユーザAが運転席に着座しており、かつ、第2ユーザBが助手席に着座しているものとする。第1操作aについて、基本学習モデルM0_a_A及び第1学習モデルM1_a_Aが生成済みであり、かつ、第2学習モデルM2_a_A及び第3学習モデルM3_a_A_B,M3_a_A_C,M3_a_A_BCが未生成であるものとする。
このとき、上記原則によれば、第2学習モデルM2_a_A及び第3学習モデルM3_a_A_Bが未生成であるため、学習モデル選択部33は基本学習モデルM0_a_Aを選択することになる。しかしながら、学習モデル選択部33は、例外的に、基本学習モデルM0_a_Aに代えて第1学習モデルM1_a_Aを選択する。これにより、確率値算出部35が第1確率値P1_a_Aを算出するとともに、リスト作成部36が第1確率値P1_a_Aをリストの作成に用いる状態となる。
学習モデル生成部23は、この状態(すなわち第1ユーザA及び第2ユーザBのみが車両1に搭乗している状態)にて確率値算出部35が第1確率値P1_a_Aを算出する度に、当該算出された第1確率値P1_a_Aを取得する。学習モデル生成部23は、当該取得された第1確率値P1_a_Aを記憶する。学習モデル生成部23は、第2学習モデルM2_a_Aの生成に用いられる学習用情報(すなわち第1ユーザA及び第2ユーザBのみが車両1に搭乗している状態における第1操作aに係る学習用情報)の蓄積量が所定量以上になったとき、当該記憶された第1確率値P1_a_Aの平均値、分散値又は中央値(以下「平均値等」と総称する。)を算出する。
学習モデル生成部23は、当該算出された平均値等を所定の基準値と比較する。当該算出された平均値等が基準値未満である場合、学習モデル生成部23は、第2学習モデルM2_a_Aの生成が要であると判定して、第2学習モデルM2_a_Aを生成する。これにより、学習モデル選択部33は、上記原則により第2学習モデルM2_a_Aを改めて選択する。この結果、確率値算出部35が第2学習モデルM2_a_Aに基づく確率値(以下「第2確率値」という。)P2_a_Aを算出するとともに、リスト作成部36が第2確率値P2_a_Aをリストの作成に用いる状態に切り替わる。
他方、当該算出された平均値等が基準値以上である場合、学習モデル生成部23は、第2学習モデルM2_a_Aの生成が不要であると判定して、第2学習モデルM2_a_Aの生成をキャンセルする。これにより、学習モデル選択部33により第1学習モデルM1_a_Aが選択された状態が継続する。すなわち、確率値算出部35が第1確率値P1_a_Aを算出するとともに、リスト作成部36が第1確率値P1_a_Aをリストの作成に用いる状態が継続する。
通常、車両1の運転に対する関連性の高い機器(例えばナビゲーション装置11)は、当該関連性の低い機器(例えばオーディオ装置12及び空調装置13)に比して、同乗者の有無に応じた運転者による操作の傾向の変化が小さい。換言すれば、当該関連性の低い機器は、当該関連性の高い機器に比して、同乗者の有無に応じた運転者による操作の傾向の変化が大きい。
このため、第1ユーザAが運転者であり、かつ、他のユーザ(例えば第2ユーザB)が同乗者である状態において、第1操作aが当該関連性の高い機器に対する操作である場合は、確率値算出部35により算出される第1確率値P1_a_Aが大きくなる蓋然性が高い。すなわち、学習モデル生成部23により算出される平均値等が基準値以上となる蓋然性が高い。この場合は、第2学習モデルM2_a_Aの生成をキャンセルとして第1学習モデルM1_a_Aの使用を継続することにより、上記のとおり適切な操作の提案を実現しつつ、学習モデル生成部23の計算量を低減することができる。
他方、この状態において、第1操作aが当該関連性の低い機器に対する操作である場合は、確率値算出部35により算出される第1確率値P1_a_Aが小さくなる蓋然性が高い。すなわち、学習モデル生成部23により算出される平均値等が基準値未満となる蓋然性が高い。この場合は、第2学習モデルM2_a_Aを生成して上記原則により第2学習モデルM2_a_Aを使用することにより、上記のとおり適切な操作の提案を実現することができる。
なお、このようにして第2学習モデルM2_a_Aが生成された後、以下のような処理が更に実行されるものであっても良い。
すなわち、提案制御部37は、個々の操作毎に(より具体的には個々の学習モデル毎に)、提案制御により提案された操作が行われない回数をカウントする機能、及び当該カウントされた値(すなわちカウント値)が所定の閾値以上であるか否かを判定する機能を有している。また、学習モデル生成部23は、個々の学習モデルが前回生成されたとき以降の当該学習モデルに対応する学習用情報の蓄積量の増加量(以下単に「増加量」という。)を算出する機能、及び当該算出された増加量が所定の基準量以上であるか否かを判定する機能を有している。
学習モデル生成部23は、第2学習モデルM2_a_Aに対応するカウント値が閾値以上になったとき、第2学習モデルM2_a_Aに対応する学習用情報の増加量を算出して、当該算出された増加量が基準量以上であるか否かを判定する。図1及び図5において、提案制御部37と学習モデル生成部23間の接続線は図示を省略している。
当該算出された増加量が基準量以上である場合、学習モデル生成部23は、このときの学習用情報記憶部22に蓄積されている学習用情報を用いて、第2学習モデルM2_a_Aを再生成する。対応する学習用情報が増加しているため、第2学習モデルM2_a_Aの再生成により、第2学習モデルM2_a_Aに基づく提案の精度が向上する可能性があるためである。
他方、当該算出された増加量が基準量未満である場合、学習モデル選択部33は、第1学習モデルM1_a_Aを再び選択する。これにより、確率値算出部35が第1確率値P1_a_Aを算出するとともに、リスト作成部36が第1確率値P1_a_Aをリストの作成に用いる状態に戻る。すなわち、このような場合、仮に第2学習モデルM2_a_Aを再生成したとしても、再生成後の第2学習モデルM2_a_Aが再生成前の第2学習モデルM2_a_Aと略同一のものとなる蓋然性が高い。したがって、第2学習モデルM2_a_Aの再生成により第2学習モデルM2_a_Aに基づく提案の精度が向上する可能性が低いためである。
以上のように、実施の形態1の車両用機器制御システム200は、車両用機器2に対する複数種類の操作の各々の履歴を含む学習用情報の学習により、複数種類の操作の各々が行われる確率を計算するための学習モデルを生成する学習部20と、学習モデルを用いて、複数種類の操作のうちの確率が他の操作に比して高い操作を車両1の搭乗者に提案する制御を実行する操作提案部30とを備え、学習部20は、車両1を使用する複数人のユーザの各々に対応する学習モデルを生成するものであり、かつ、学習用情報の蓄積量が増えるにつれて次第に複数人のユーザの各々に対応する学習モデルが細分化されるものであり、操作提案部30は、複数人のユーザのうちの第1ユーザAが車両1の運転者であり、かつ、複数人のユーザのうちの第2ユーザBが車両1の同乗者であるとき、第1ユーザAに対応する学習モデル又は第2ユーザBに対応する学習モデルを選択的に制御に用いる。これにより、搭乗者の人数及び組合せなどに応じて適切な操作の提案をすることができる。また、個々の学習モデルの生成に用いられる情報量を適切な量にすることができる。
また、車両1における複数個の座席の各々に優先度が設定されており、操作提案部30は、第1ユーザA及び第2ユーザBのうちの優先度がより高い座席に着座しているユーザに対応する学習モデルを制御に用いる。これにより、任意の座席に着座している搭乗者に対応する学習モデルを提案制御に用いることができる。
また、第1ユーザAに対応する学習モデルは、複数人のユーザのうちの第1ユーザAを含む1人以上のユーザが車両1に搭乗している状態における学習用情報に基づく基本学習モデル(M0_a_A,M0_b_A,M0_c_A)と、複数人のユーザのうちの第1ユーザAのみが車両1に搭乗している状態における学習用情報に基づく第1学習モデル(M1_a_A,M1_b_A,M1_c_A)と、複数人のユーザのうちの第1ユーザAを含む2人以上のユーザが車両1に搭乗している状態における学習用情報に基づく第2学習モデル(M2_a_A,M2_b_A,M2_c_A)とを含み、操作提案部30は、複数種類の操作の各々について、基本学習モデル(M0_a_A,M0_b_A,M0_c_A)、第1学習モデル(M1_a_A,M1_b_A,M1_c_A)又は第2学習モデル(M2_a_A,M2_b_A,M2_c_A)を選択的に制御に用いる。これにより、同乗者の有無に応じて適切な操作の提案をすることができる。
また、第1ユーザAに対応する学習モデルは、基本学習モデル(M0_a_A,M0_b_A,M0_c_A)と、第1学習モデル(M1_a_A,M1_b_A,M1_c_A)と、第2学習モデル(M2_a_A,M2_b_A,M2_c_A)と、複数人のユーザのうちの第1ユーザA及び第2ユーザBが車両1に搭乗している状態における学習用情報に基づく第3学習モデル(M3_a_A_B,M3_b_A_B,M3_c_A_B)とを含み、操作提案部30は、複数種類の操作の各々について、基本学習モデル(M0_a_A,M0_b_A,M0_c_A)、第1学習モデル(M1_a_A,M1_b_A,M1_c_A)、第2学習モデル(M2_a_A,M2_b_A,M2_c_A)又は第3学習モデル(M3_a_A_B,M3_b_A_B,M3_c_A_B)を選択的に制御に用いる。これにより、運転者と同乗者の組合せに応じて適切な操作の提案をすることができる。
また、操作提案部30は、制御により提案された操作が行われない回数のカウント値が閾値未満である場合、カウント値が閾値以上である場合に比して細分化された学習モデルを制御に用いる。換言すれば、操作提案部30は、カウント値が閾値以上である場合、カウント値が閾値未満である場合に比して細分化されていない学習モデルを制御に用いる。これにより、学習量の不足による正答率の低さに起因する問題、すなわち提案された操作が行われない回数が多いという問題の解消を図ることができる。
また、操作提案部30は、学習モデルを用いて確率を示す確率値を算出して、確率値に基づき複数種類の操作が確率の高い順に並べられたリストを作成して、リストに基づき制御を実行する。これにより、当該生成されたリストにおける上位所定個(例えば3個)の操作を提案対象に含めることができる。
また、実施の形態1の車両用機器制御方法は、学習部20が、車両用機器2に対する複数種類の操作の各々の履歴を含む学習用情報の学習により、複数種類の操作の各々が行われる確率を計算するための学習モデルを生成するステップ(不図示)と、操作提案部30が、学習モデルを用いて、複数種類の操作のうちの確率が他の操作に比して高い操作を車両1の搭乗者に提案する制御を実行するステップ(ST1~ST7)とを備え、学習部20は、車両1を使用する複数人のユーザの各々に対応する学習モデルを生成するものであり、かつ、学習用情報の蓄積量が増えるにつれて次第に複数人のユーザの各々に対応する学習モデルが細分化されるものであり、操作提案部30は、複数人のユーザのうちの第1ユーザAが車両1の運転者であり、かつ、複数人のユーザのうちの第2ユーザBが車両1の同乗者であるとき、第1ユーザAに対応する学習モデル又は第2ユーザBに対応する学習モデルを選択的に制御に用いる。これにより、車両用機器制御システム200による上記効果と同様の効果を得ることができる。
また、実施の形態1の車両用機器制御装置100は、車両用機器2に対する複数種類の操作の各々の履歴を含む学習用情報の学習により、複数種類の操作の各々が行われる確率を計算するための学習モデルを生成する学習部20と、学習モデルを用いて、複数種類の操作のうちの確率が他の操作に比して高い操作を車両1の搭乗者に提案する制御を実行する操作提案部30とを備え、学習部20は、車両1を使用する複数人のユーザの各々に対応する学習モデルを生成するものであり、かつ、学習用情報の蓄積量が増えるにつれて次第に複数人のユーザの各々に対応する学習モデルが細分化されるものであり、操作提案部30は、複数人のユーザのうちの第1ユーザAが車両1の運転者であり、かつ、複数人のユーザのうちの第2ユーザBが車両1の同乗者であるとき、第1ユーザAに対応する学習モデル又は第2ユーザBに対応する学習モデルを選択的に制御に用いる。これにより、車両用機器制御システム200による上記効果と同様の効果を得ることができる。
実施の形態2.
図6は、実施の形態2に係る車両用機器制御装置の要部を示すブロック図である。図6を参照して、実施の形態2の車両用機器制御装置100aについて説明する。なお、図6において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図6は、実施の形態2に係る車両用機器制御装置の要部を示すブロック図である。図6を参照して、実施の形態2の車両用機器制御装置100aについて説明する。なお、図6において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図6に示す如く、車両1に搭乗者監視システム7が設けられている。搭乗者監視システム7は、いわゆるDMS(Driver Monitoring System)又はOMS(Occupant Monitoring System)である。すなわち、搭乗者監視システム7は、車両1の車室内が撮像された画像に対する画像認識処理を実行することにより、及び車両1の車室内に設けられている各種センサによる検出値を適宜取得することにより、1人以上の搭乗者(1人の運転者及び0人以上の同乗者を含む)の各々の状態を検出するものである。搭乗者監視システム7には、DMS又はOMSに係る公知の種々のシステム構成を用いることができるものであり、これらのシステム構成についての詳細な説明は省略する。搭乗者監視システム7による検出対象となる状態は、例えば、運転者の運転不能状態、運転者の脇見運転状態、運転者の居眠り運転状態、及び各同乗者の居眠り状態を含むものである。
選択用情報取得部32aは、学習モデル選択部33aによる学習モデルの選択に用いられる情報、すなわち選択用情報を取得するものである。
選択用情報は、より具体的には、各搭乗者がいずれのユーザであるのかを示す情報及び各搭乗者が着座している座席を示す情報を含むものである。これらの情報は、搭乗者特定システム6から取得されるものである。これに加えて、選択用情報は、各同乗者の状態を示す情報を含むものである。この情報は、搭乗者監視システム7から取得されるものである。
学習モデル選択部33aは、選択用情報取得部32aにより取得された選択用情報を用いて、学習モデル取得部31により取得された学習モデルのうちの確率値算出部35による確率値の算出に用いられる学習モデルを選択するものである。ここで、以下のように、各同乗者が居眠り状態であるか否かに応じて、学習モデル選択部33aによる学習モデルの選択方法が変化するようになっている。
例えば、第1ユーザA及び第2ユーザBが車両1に搭乗しており、第1ユーザAが運転者であり、第2ユーザBが同乗者であるものとする。運転席の優先度が他の座席の優先度に比して高い値に設定されているものとする。第1操作aについて、基本学習モデルM0_a_A、第1学習モデルM1_a_A及び第2学習モデルM2_a_Aが生成済みであるものとする。すなわち、第3学習モデルM3_a_A_B,M3_a_A_C,M3_a_A_BCは未生成であるものとする。
第2ユーザBが居眠り状態でない場合(すなわち第2ユーザBが覚醒状態である場合)、実施の形態1にて説明した具体例と同様の処理が実行される。すなわち、学習モデル選択部33aは第2学習モデルM2_a_Aを選択する。これにより、確率値算出部35は第2確率値P2_a_Aを算出して、リスト作成部36は第2確率値P2_a_Aをリストの作成に用いる。すなわち、第2学習モデルM2_a_Aが提案制御に用いられる。
これに対して、第2ユーザBが居眠り状態である場合、学習モデル選択部33aは、第2ユーザBが車両1に搭乗していないものとみなして、第1学習モデルM1_a_Aを選択する。これにより、確率値算出部35は第1確率値P1_a_Aを算出して、リスト作成部36は第1確率値P1_a_Aをリストの作成に用いる。すなわち、第1ユーザAのみが車両1に搭乗している場合と同様に、第1学習モデルM1_a_Aが提案制御に用いられる。
このように、同乗者たる第2ユーザBが居眠り状態である場合、学習モデル選択部33aは、同乗者たる第2ユーザBが車両1に搭乗していないものとみなして学習モデルを選択する。これにより、運転者たる第1ユーザAのみが車両1に搭乗している場合における提案制御と同様の提案制御が実行される。この結果、運転者たる第1ユーザAに適した操作の提案をすることができる。
学習用情報取得部21、学習用情報記憶部22、学習モデル生成部23及び学習モデル記憶部24により、学習部20が構成されている。学習モデル取得部31、選択用情報取得部32a、学習モデル選択部33a、算出用情報取得部34、確率値算出部35、リスト作成部36及び提案制御部37により、操作提案部30aが構成されている。学習部20及び操作提案部30aにより、車両用機器制御装置100aの要部が構成されている。
車両用機器制御装置100aの要部のハードウェア構成は、実施の形態1にて図3を参照して説明したものと同様であるため、図示及び説明を省略する。
次に、図7のフローチャートを参照して、車両用機器制御装置100aの動作について、操作提案部30aの動作を中心に説明する。なお、図7において、図4に示すステップと同様のステップには同一符号を付して説明を省略する。
まず、学習モデル取得部31がステップST1の処理を実行する。
次いで、ステップST2aにて、選択用情報取得部32aは、学習モデル選択部33aによる学習モデルの選択に用いられる情報、すなわち選択用情報を取得する。選択用情報の具体例は既に説明したとおりであるため、再度の説明は省略する。
次いで、ステップST3aにて、学習モデル選択部33aは、選択用情報取得部32aにより取得された選択用情報を用いて、学習モデル取得部31により取得された学習モデルのうちの確率値算出部35による確率値の算出に用いられる学習モデルを選択する。このとき、各同乗者が居眠り状態であるか否かに応じて、学習モデル選択部33aによる学習モデルの選択方法が変化するようになっている。学習モデル選択部33aによる学習モデルの選択方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
次いで、算出用情報取得部34がステップST4の処理を実行して、確率値算出部35がステップST5の処理を実行して、リスト作成部36がステップST6の処理を実行して、提案制御部37がステップST7の処理を実行する。
なお、選択用情報は、各同乗者の状態を示す情報に代えて又は加えて運転者の状態を示す情報を含むものであっても良い。学習モデル選択部33aによる学習モデルの選択方法は、これらの情報に応じたものであれば良く、上記の具体例に限定されるものではない。
また、搭乗者監視システム7は搭乗者特定システム6と一体に構成されているものであっても良い。この場合、搭乗者監視システム7及び搭乗者特定システム6が互いに同一のカメラを共用するものであっても良い。
また、図8に示す如く、学習部20及び操作提案部30aにより車両用機器制御システム200aの要部が構成されているものであっても良い。図8において、車両1、車両用機器2、操作入力装置3、表示装置4、音声出力装置5、搭乗者特定システム6及び搭乗者監視システム7は図示を省略している。
また、車両用機器制御装置100aは、実施の形態1にて説明したものと同様の種々の変形例、すなわち車両用機器制御装置100と同様の種々の変形例を採用することができる。車両用機器制御システム200aは、実施の形態1にて説明したものと同様の種々の変形例、すなわち車両用機器制御システム200と同様の種々の変形例を採用することができる。
以上のように、実施の形態2の車両用機器制御システム200aにおいて、操作提案部30aは、車両1の搭乗者の状態に応じて、学習部20により生成された学習モデルのうちの制御に用いられる学習モデルを選択する。これにより、搭乗者の人数及び組合せに応じて適切な操作の提案をすることができるのはもちろんのこと、各搭乗者の状態に応じて適切な操作の提案をすることができる。
また、操作提案部30aは、第2ユーザBが居眠り状態であるとき、第2ユーザBが車両1に搭乗していないものとみなして、第1ユーザAに対応する学習モデルのうちの制御に用いられる学習モデルを選択する。これにより、運転者たる第1ユーザAに適した操作の提案をすることができる。
実施の形態3.
図9は、実施の形態3に係る車両用機器制御装置の要部を示すブロック図である。図9を参照して、実施の形態3の車両用機器制御装置100bについて説明する。なお、図9において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図9は、実施の形態3に係る車両用機器制御装置の要部を示すブロック図である。図9を参照して、実施の形態3の車両用機器制御装置100bについて説明する。なお、図9において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
実施の形態3において、提案制御部37は、個々の操作毎に(より具体的には個々の学習モデル毎に)、提案制御により提案された操作が行われない回数をカウントする機能、及び当該カウントされた値(すなわちカウント値)が所定の閾値を超えたか否かを判定する機能を有している。また、学習モデル生成部23bは、個々の学習モデルに対応する学習用情報の増加量を算出する機能、及び当該算出された増加量が所定の基準量以上であるか否かを判定する機能を有している。この増加量は、実施の形態1にて説明したものと同様であり、個々の学習モデルが前回生成されたとき以降の当該学習モデルに対応する学習用情報の蓄積量の増加量である。
学習モデル生成部23bは、個々の学習モデルに対応するカウント値が閾値を超えたとき、当該学習モデルに対応する学習用情報の増加量が基準量以上であるか否かを判定するようになっている。当該学習モデルに対応する学習用情報の増加量が基準量以上であると判定された場合、学習モデル生成部23bは、当該学習モデルに対応する学習用情報の再学習により、当該学習モデルを再生成するようになっている。当該学習モデルが再生成されたとき、提案制御部37は、当該学習モデルに対応するカウント値をリセットするようになっている。
実施の形態1にて説明したとおり、提案された操作が行われない回数が多いということは、対応する学習モデルを用いた計算の正答率が低いということである。正答率の低さの原因の一つに、機械学習における学習量の不足、すなわち学習に用いられた情報量の不足がある。すなわち、学習モデル生成部23bは、対応する状態における学習用情報の蓄積量が十分である(より具体的には所定量以上である)と判断したうえで学習モデルを生成しているものの、実際には蓄積量が不足していたということが考えられる。
ここで、学習用情報記憶部22には、前回の学習モデルの生成時に蓄積されていた学習用情報に加えて、前回の学習モデルの生成後に取得された新たな学習用情報が蓄積されている可能性がある。すなわち、時間の経過に伴い、前回の学習モデルの生成時に比して学習用情報記憶部22における学習用情報の蓄積量が増えている可能性がある。そこで、これらの学習用情報を用いた再学習により、学習量の不足による正答率の低さに起因する問題、すなわち提案された操作が行われない回数が多いという問題の解消を図るのである。
学習用情報取得部21、学習用情報記憶部22、学習モデル生成部23b及び学習モデル記憶部24により、学習部20bが構成されている。学習モデル取得部31、選択用情報取得部32、学習モデル選択部33、算出用情報取得部34、確率値算出部35、リスト作成部36及び提案制御部37により、操作提案部30が構成されている。学習部20b及び操作提案部30により、車両用機器制御装置100bの要部が構成されている。
車両用機器制御装置100bの要部のハードウェア構成は、実施の形態1にて図3を参照して説明したものと同様であるため、図示及び説明を省略する。
操作提案部30の動作は、実施の形態1にて図4のフローチャートを参照して説明したものと同様であるため、図示及び説明を省略する。
なお、図10に示す如く、学習部20b及び操作提案部30により車両用機器制御システム200bの要部が構成されているものであっても良い。図10において、車両1、車両用機器2、操作入力装置3、表示装置4、音声出力装置5及び搭乗者特定システム6は図示を省略している。
また、車両用機器制御装置100bは、実施の形態1にて説明したものと同様の種々の変形例、すなわち車両用機器制御装置100と同様の種々の変形例を採用することができる。車両用機器制御システム200bは、実施の形態1にて説明したものと同様の種々の変形例、すなわち車両用機器制御システム200と同様の種々の変形例を採用することができる。
以上のように、実施の形態3の車両用機器制御システム200bにおいて、学習部20bは、制御により提案された操作が行われない回数のカウント値が閾値を超えたとき、学習用情報の再学習により学習モデルを再生成する。これにより、学習量の不足による正答率の低さに起因する問題、すなわち提案された制御が行われない回数が多いという問題の解消を図ることができる。
実施の形態4.
図11は、実施の形態4に係る車両用機器制御装置の要部を示すブロック図である。図11を参照して、実施の形態4の車両用機器制御装置100cについて説明する。なお、図11において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
図11は、実施の形態4に係る車両用機器制御装置の要部を示すブロック図である。図11を参照して、実施の形態4の車両用機器制御装置100cについて説明する。なお、図11において、図1に示すブロックと同様のブロックには同一符号を付して説明を省略する。
実施の形態4において、操作入力装置3はジェスチャ入力装置又は音声入力装置により構成されている。また、車両1に操作者特定システム8が設けられている。以下、車両1における1人以上の搭乗者のうちの車両用機器2を操作している又は操作しようとしている搭乗者を「操作者」という。操作者特定システム8は、1人以上のユーザが車両1に搭乗しているとき、当該1人以上のユーザのうちのいずれのユーザが車両用機器2の操作者であるのかを特定するものである。
例えば、操作入力装置3がジェスチャ入力装置により構成されている場合、操作者特定システム8は、車両1の車室内が撮像された画像に対する画像認識処理を実行することにより、いずれの座席に着座している搭乗者が車両用機器2の操作者であるのかを判定する。また、操作者特定システム8は、各搭乗者がいずれのユーザであるのかを示す情報及び各搭乗者が着座している座席を示す情報を搭乗者特定システム6から取得する。操作者特定システム8は、当該判定の結果と当該取得された情報とを対応付けることにより、車両1に搭乗している1人以上のユーザのうちのいずれのユーザが車両用機器2の操作者であるのかを特定する。
または、例えば、操作入力装置3が音声入力装置により構成されている場合、操作者特定システム8は、当該音声入力装置におけるマイクに対する音声の到来方向に基づき、いずれの座席に着座している搭乗者が車両用機器2の操作者であるのかを判定する。また、操作者特定システム8は、各搭乗者がいずれのユーザであるのかを示す情報及び各搭乗者が着座している座席を示す情報を搭乗者特定システム6から取得する。操作者特定システム8は、当該判定の結果と当該取得された情報とを対応付けることにより、車両1に搭乗している1人以上のユーザのうちのいずれのユーザが車両用機器2の操作者であるのかを特定する。
選択用情報取得部32cは、学習モデル選択部33cによる学習モデルの選択に用いられる情報、すなわち選択用情報を取得するものである。
選択用情報は、より具体的には、各搭乗者がいずれのユーザであるのかを示す情報及び各搭乗者が着座している座席を示す情報を含むものである。これらの情報は、搭乗者特定システム6から取得されるものである。これに加えて、選択用情報は、車両1に搭乗している1人以上のユーザのうちのいずれのユーザが車両用機器2の操作者であるのかを示す情報を含むものである。この情報は、操作者特定システム8から取得されるものである。
学習モデル選択部33cは、選択用情報取得部32cにより取得された選択用情報を用いて、学習モデル取得部31により取得された学習モデルのうちの確率値算出部35による確率値の算出に用いられる学習モデルを選択するものである。ここで、学習モデル選択部33cは、車両用機器2の操作者に対応する学習モデルを選択するようになっている。
例えば、第1ユーザA及び第2ユーザBが車両1に搭乗しており、第1ユーザAが運転席に着座しており、第2ユーザBが助手席に着座しているものとする。学習モデル選択部33cは、第1ユーザAが車両用機器2の操作者であるときは第1ユーザAに対応する学習モデルを選択して、第2ユーザBが車両用機器2の操作者であるときは第2ユーザBに対応する学習モデルを選択する。
このように、車両用機器2の操作者に対応する学習モデルが選択されることにより、車両用機器2を操作している又は操作しようとしているユーザに対応する学習モデルに基づく提案制御が実行される。この結果、車両用機器2を操作している又は操作しようとしているユーザに応じて適切な操作の提案をすることができる。
学習用情報取得部21、学習用情報記憶部22、学習モデル生成部23及び学習モデル記憶部24により、学習部20が構成されている。学習モデル取得部31、選択用情報取得部32c、学習モデル選択部33c、算出用情報取得部34、確率値算出部35、リスト作成部36及び提案制御部37により、操作提案部30cが構成されている。学習部20及び操作提案部30cにより、車両用機器制御装置100cの要部が構成されている。
車両用機器制御装置100cの要部のハードウェア構成は、実施の形態1にて図3を参照して説明したものと同様であるため、図示及び説明を省略する。
次に、図12のフローチャートを参照して、車両用機器制御装置100cの動作について、操作提案部30cの動作を中心に説明する。なお、図12において、図4に示すステップと同様のステップには同一符号を付して説明を省略する。
まず、学習モデル取得部31がステップST1の処理を実行する。
次いで、ステップST2cにて、選択用情報取得部32cは、学習モデル選択部33cによる学習モデルの選択に用いられる情報、すなわち選択用情報を取得する。選択用情報の具体例は既に説明したとおりであるため、再度の説明は省略する。
次いで、ステップST3cにて、学習モデル選択部33cは、選択用情報取得部32cにより取得された選択用情報を用いて、学習モデル取得部31により取得された学習モデルのうちの確率値算出部35による確率値の算出に用いられる学習モデルを選択する。このとき、学習モデル選択部33cは、車両用機器2の操作者に対応する学習モデルを選択するようになっている。学習モデル選択部33cによる学習モデルの選択方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
次いで、算出用情報取得部34がステップST4の処理を実行して、確率値算出部35がステップST5の処理を実行して、リスト作成部36がステップST6の処理を実行して、提案制御部37がステップST7の処理を実行する。
なお、図13に示す如く、学習部20及び操作提案部30cにより車両用機器制御システム200cの要部が構成されているものであっても良い。図13において、車両1、車両用機器2、操作入力装置3、表示装置4、音声出力装置5、搭乗者特定システム6及び操作者特定システム8は図示を省略している。
また、車両用機器制御装置100cは、実施の形態1にて説明したものと同様の種々の変形例、すなわち車両用機器制御装置100と同様の種々の変形例を採用することができる。車両用機器制御システム200cは、実施の形態1にて説明したものと同様の種々の変形例、すなわち車両用機器制御システム200と同様の種々の変形例を採用することができる。
以上のように、実施の形態4の車両用機器制御システム200cにおいて、操作提案部30cは、第1ユーザAが車両用機器2の操作者であるときは第1ユーザAに対応する学習モデルを制御に用いて、第2ユーザBが車両用機器2の操作者であるときは第2ユーザBに対応する学習モデルを制御に用いる。これにより、車両用機器2を操作している又は操作しようとしているユーザに応じて適切な操作の提案をすることができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
本発明の車両用機器制御システムは、車両用機器の制御に用いることができる。
1 車両、2 車両用機器、3 操作入力装置、4 表示装置、5 音声出力装置、6 搭乗者特定システム、7 搭乗者監視システム、8 操作者特定システム、11 ナビゲーション装置、12 オーディオ装置、13 空調装置、20,20b 学習部、21 学習用情報取得部、22 学習用情報記憶部、23,23b 学習モデル生成部、24 学習モデル記憶部、30,30a,30c 操作提案部、31 学習モデル取得部、32,32a,32c 選択用情報取得部、33,33a,33c 学習モデル選択部、34 算出用情報取得部、35 確率値算出部、36 リスト作成部、37 提案制御部、41 プロセッサ、42 メモリ、43 メモリ、44 処理回路、100,100a,100b,100c 車両用機器制御装置、200,200a,200b,200c 車両用機器制御システム。
Claims (12)
- 車両用機器に対する複数種類の操作の各々の履歴を含む学習用情報の学習により、前記複数種類の操作の各々が行われる確率を計算するための学習モデルを生成する学習部と、
前記学習モデルを用いて、前記複数種類の操作のうちの前記確率が他の操作に比して高い操作を車両の搭乗者に提案する制御を実行する操作提案部と、を備え、
前記学習部は、前記車両を使用する複数人のユーザの各々に対応する前記学習モデルを生成するものであり、かつ、前記学習用情報の蓄積量が増えるにつれて次第に前記複数人のユーザの各々に対応する前記学習モデルが細分化されるものであり、
前記操作提案部は、前記複数人のユーザのうちの第1ユーザが前記車両の運転者であり、かつ、前記複数人のユーザのうちの第2ユーザが前記車両の同乗者であるとき、前記第1ユーザに対応する前記学習モデル又は前記第2ユーザに対応する前記学習モデルを選択的に前記制御に用いる
ことを特徴とする車両用機器制御システム。 - 前記操作提案部は、前記車両の搭乗者の状態に応じて、前記学習部により生成された前記学習モデルのうちの前記制御に用いられる前記学習モデルを選択することを特徴とする請求項1記載の車両用機器制御システム。
- 前記操作提案部は、前記第2ユーザが居眠り状態であるとき、前記第2ユーザが前記車両に搭乗していないものとみなして、前記第1ユーザに対応する前記学習モデルのうちの前記制御に用いられる前記学習モデルを選択することを特徴とする請求項2記載の車両用機器制御システム。
- 前記車両における複数個の座席の各々に優先度が設定されており、
前記操作提案部は、前記第1ユーザ及び前記第2ユーザのうちの前記優先度がより高い座席に着座しているユーザに対応する前記学習モデルを前記制御に用いる
ことを特徴とする請求項1記載の車両用機器制御システム。 - 前記第1ユーザに対応する前記学習モデルは、前記複数人のユーザのうちの前記第1ユーザを含む1人以上のユーザが前記車両に搭乗している状態における前記学習用情報に基づく基本学習モデルと、前記複数人のユーザのうちの前記第1ユーザのみが前記車両に搭乗している状態における前記学習用情報に基づく第1学習モデルと、前記複数人のユーザのうちの前記第1ユーザを含む2人以上のユーザが前記車両に搭乗している状態における前記学習用情報に基づく第2学習モデルと、を含み、
前記操作提案部は、前記複数種類の操作の各々について、前記基本学習モデル、前記第1学習モデル又は前記第2学習モデルを選択的に前記制御に用いる
ことを特徴とする請求項1記載の車両用機器制御システム。 - 前記学習部は、前記制御により提案された操作が行われない回数のカウント値が閾値を超えたとき、前記学習用情報の再学習により前記学習モデルを再生成することを特徴とする請求項1記載の車両用機器制御システム。
- 前記操作提案部は、前記制御により提案された操作が行われない回数のカウント値が閾値未満である場合、前記カウント値が前記閾値以上である場合に比して細分化された前記学習モデルを前記制御に用いることを特徴とする請求項1記載の車両用機器制御システム。
- 前記操作提案部は、前記第1ユーザが前記車両用機器の操作者であるときは前記第1ユーザに対応する前記学習モデルを前記制御に用いて、前記第2ユーザが前記車両用機器の操作者であるときは前記第2ユーザに対応する前記学習モデルを前記制御に用いることを特徴とする請求項1記載の車両用機器制御システム。
- 前記第1ユーザに対応する前記学習モデルは、前記基本学習モデルと、前記第1学習モデルと、前記第2学習モデルと、前記複数人のユーザのうちの前記第1ユーザ及び前記第2ユーザが前記車両に搭乗している状態における前記学習用情報に基づく第3学習モデルと、を含み、
前記操作提案部は、前記複数種類の操作の各々について、前記基本学習モデル、前記第1学習モデル、前記第2学習モデル又は前記第3学習モデルを選択的に前記制御に用いる
ことを特徴とする請求項5記載の車両用機器制御システム。 - 前記操作提案部は、前記学習モデルを用いて前記確率を示す確率値を算出して、前記確率値に基づき前記複数種類の操作が前記確率の高い順に並べられたリストを作成して、前記リストに基づき前記制御を実行することを特徴とする請求項1記載の車両用機器制御システム。
- 学習部が、車両用機器に対する複数種類の操作の各々の履歴を含む学習用情報の学習により、前記複数種類の操作の各々が行われる確率を計算するための学習モデルを生成するステップと、
操作提案部が、前記学習モデルを用いて、前記複数種類の操作のうちの前記確率が他の操作に比して高い操作を車両の搭乗者に提案する制御を実行するステップと、を備え、
前記学習部は、前記車両を使用する複数人のユーザの各々に対応する前記学習モデルを生成するものであり、かつ、前記学習用情報の蓄積量が増えるにつれて次第に前記複数人のユーザの各々に対応する前記学習モデルが細分化されるものであり、
前記操作提案部は、前記複数人のユーザのうちの第1ユーザが前記車両の運転者であり、かつ、前記複数人のユーザのうちの第2ユーザが前記車両の同乗者であるとき、前記第1ユーザに対応する前記学習モデル又は前記第2ユーザに対応する前記学習モデルを選択的に前記制御に用いる
ことを特徴とする車両用機器制御方法。 - 車両用機器に対する複数種類の操作の各々の履歴を含む学習用情報の学習により、前記複数種類の操作の各々が行われる確率を計算するための学習モデルを生成する学習部と、
前記学習モデルを用いて、前記複数種類の操作のうちの前記確率が他の操作に比して高い操作を車両の搭乗者に提案する制御を実行する操作提案部と、を備え、
前記学習部は、前記車両を使用する複数人のユーザの各々に対応する前記学習モデルを生成するものであり、かつ、前記学習用情報の蓄積量が増えるにつれて次第に前記複数人のユーザの各々に対応する前記学習モデルが細分化されるものであり、
前記操作提案部は、前記複数人のユーザのうちの第1ユーザが前記車両の運転者であり、かつ、前記複数人のユーザのうちの第2ユーザが前記車両の同乗者であるとき、前記第1ユーザに対応する前記学習モデル又は前記第2ユーザに対応する前記学習モデルを選択的に前記制御に用いる
ことを特徴とする車両用機器制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/004403 WO2020161854A1 (ja) | 2019-02-07 | 2019-02-07 | 車両用機器制御システム、車両用機器制御方法及び車両用機器制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/004403 WO2020161854A1 (ja) | 2019-02-07 | 2019-02-07 | 車両用機器制御システム、車両用機器制御方法及び車両用機器制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020161854A1 true WO2020161854A1 (ja) | 2020-08-13 |
Family
ID=71948218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/004403 WO2020161854A1 (ja) | 2019-02-07 | 2019-02-07 | 車両用機器制御システム、車両用機器制御方法及び車両用機器制御装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2020161854A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007257043A (ja) * | 2006-03-20 | 2007-10-04 | Nissan Motor Co Ltd | 乗員状態推定装置および乗員状態推定方法 |
JP2017138762A (ja) * | 2016-02-03 | 2017-08-10 | トヨタ自動車株式会社 | 運転者の感情推定装置 |
JP2017162385A (ja) * | 2016-03-11 | 2017-09-14 | トヨタ自動車株式会社 | 情報提供装置及び情報提供プログラム |
WO2017163309A1 (ja) * | 2016-03-22 | 2017-09-28 | 三菱電機株式会社 | 状態推定装置、ナビゲーション装置、および、作業手順の案内装置 |
WO2018016248A1 (ja) * | 2016-07-22 | 2018-01-25 | パナソニックIpマネジメント株式会社 | 情報推定システム、情報推定方法及びプログラム |
JP2018112900A (ja) * | 2017-01-11 | 2018-07-19 | Kddi株式会社 | ユーザの運転特性に基づいて行動を予測するプログラム、車両端末、携帯端末、推定サーバ及び方法 |
-
2019
- 2019-02-07 WO PCT/JP2019/004403 patent/WO2020161854A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007257043A (ja) * | 2006-03-20 | 2007-10-04 | Nissan Motor Co Ltd | 乗員状態推定装置および乗員状態推定方法 |
JP2017138762A (ja) * | 2016-02-03 | 2017-08-10 | トヨタ自動車株式会社 | 運転者の感情推定装置 |
JP2017162385A (ja) * | 2016-03-11 | 2017-09-14 | トヨタ自動車株式会社 | 情報提供装置及び情報提供プログラム |
WO2017163309A1 (ja) * | 2016-03-22 | 2017-09-28 | 三菱電機株式会社 | 状態推定装置、ナビゲーション装置、および、作業手順の案内装置 |
WO2018016248A1 (ja) * | 2016-07-22 | 2018-01-25 | パナソニックIpマネジメント株式会社 | 情報推定システム、情報推定方法及びプログラム |
JP2018112900A (ja) * | 2017-01-11 | 2018-07-19 | Kddi株式会社 | ユーザの運転特性に基づいて行動を予測するプログラム、車両端末、携帯端末、推定サーバ及び方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102000132B1 (ko) | 정보 제공 장치 및 정보 제공 프로그램을 저장하는 기록 매체 | |
JP6851482B2 (ja) | 操作支援装置および操作支援方法 | |
US11820228B2 (en) | Control system and method using in-vehicle gesture input | |
US9702712B2 (en) | On-board system, information processing apparatus, and program product | |
JP2017059044A (ja) | ライフログ記録システム | |
JP6472659B2 (ja) | 自動車のユーザを補助するための方法、マルチメディアシステム、および自動車 | |
JP2018013446A (ja) | 情報推定システム、情報推定方法及びプログラム | |
CN111845776B (zh) | 一种车辆提醒方法和车辆 | |
CN107918637A (zh) | 服务提供装置和服务提供方法 | |
CN112689587B (zh) | 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法 | |
EP3166833A1 (en) | System and method for automated device control for vehicles using driver emotion | |
JP7038560B2 (ja) | 情報処理装置および情報処理方法 | |
JP2014139777A (ja) | 車両用情報提供装置 | |
JP6135400B2 (ja) | 表示装置 | |
WO2020161854A1 (ja) | 車両用機器制御システム、車両用機器制御方法及び車両用機器制御装置 | |
WO2014156055A1 (ja) | 提示情報学習方法、サーバおよび端末装置 | |
JP2019159360A (ja) | 出力装置、出力方法及びプログラム | |
JP6717537B2 (ja) | 操作制限制御装置及び操作制限制御方法 | |
US20230347904A1 (en) | Driver estimation device, driver estimation method, and program | |
JPWO2020202432A1 (ja) | 運転制御装置及び運転制御方法 | |
KR102277519B1 (ko) | 운전자 맞춤형 서비스를 제공하는 차량 인포테인먼트 시스템 및 방법 | |
JP7351836B2 (ja) | 情報収集装置、及び制御方法 | |
JP7407934B2 (ja) | 情報処理システム及び情報処理方法 | |
JP7360916B2 (ja) | 情報出力装置及び情報出力方法 | |
JP2023128911A (ja) | 車両情報提供装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19914464 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19914464 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |