WO2024024448A1 - プログラム、装置、学習モデル、及び方法 - Google Patents

プログラム、装置、学習モデル、及び方法 Download PDF

Info

Publication number
WO2024024448A1
WO2024024448A1 PCT/JP2023/025192 JP2023025192W WO2024024448A1 WO 2024024448 A1 WO2024024448 A1 WO 2024024448A1 JP 2023025192 W JP2023025192 W JP 2023025192W WO 2024024448 A1 WO2024024448 A1 WO 2024024448A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
driving
motorcycle
classification probability
travel
Prior art date
Application number
PCT/JP2023/025192
Other languages
English (en)
French (fr)
Inventor
信成 田中
Original Assignee
株式会社村田製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社村田製作所 filed Critical 株式会社村田製作所
Publication of WO2024024448A1 publication Critical patent/WO2024024448A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60Q1/40Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction having mechanical, electric or electronic automatic return to inoperative position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • B62J45/40Sensor arrangements; Mounting thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J6/00Arrangement of optical signalling or lighting devices on cycles; Mounting or supporting thereof; Circuits therefor
    • B62J6/05Direction indicators
    • B62J6/055Electrical means, e.g. lamps
    • B62J6/056Electrical means, e.g. lamps characterised by control means

Definitions

  • the present invention relates to a program, a device, a learning model, and a method.
  • turn signals blinkers
  • the direction indicator is used, for example, to indicate the driver's driving intention to surrounding drivers and pedestrians, and to realize safe driving.
  • the turn signal of a motorcycle must first be turned on by the driver (for example, blinking), and then turned off by the driver himself (for example, turned off) after completing a right turn or the like. At this time, the driver may forget to operate the turn signal, and the turn signal may not be turned off or may be forgotten.
  • Patent Document 1 discloses a turn signal canceling device for avoiding forgetting to turn off a turn signal.
  • control is performed to turn off the turn signal based on the rotation speed difference between the front wheel rotation speed and the rear wheel rotation speed that occurs when turning right and left. More specifically, the rotational speed difference at a certain point in time is acquired each time, and control is performed to turn off the turn signal based on the change. In this way, when using a value at a certain point in time (instantaneous value), it is determined whether the value exceeds a threshold value.
  • a threshold value needs to be changed depending on the speed, making it difficult to make a determination.
  • two-wheeled vehicles have a large degree of freedom in the position of the vehicle body relative to the road width, there is a problem in that an inadvertent movement is determined to be a right or left turn.
  • the present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a program etc. that accurately controls the direction indicator of a motorcycle.
  • a program causes a computer to acquire driving data of a motorcycle continuously measured over a predetermined period from at least one sensor, and to acquire driving data continuously measured over a predetermined period. , determining a corresponding driving motion that is a driving motion corresponding to the traveling data based on a plurality of reference traveling data to which each of the plurality of driving motions of the motorcycle is associated.
  • a device includes an acquisition unit that acquires running data of a motorcycle continuously measured over a predetermined period from at least one sensor; , a determining unit that determines a corresponding driving motion corresponding to the driving data based on a plurality of reference driving data to which each of the plurality of driving movements of the motorcycle is associated.
  • a learning model receives as input a plurality of continuous reference travel data of a motorcycle over a predetermined period, and uses training data as an output, the driving behavior associated with each of the plurality of reference travel data.
  • the computer is trained using the computer, and in response to input of driving data of the motorcycle continuously measured over a predetermined period of time, the computer functions to output a corresponding driving action that is a driving action corresponding to the driving data.
  • the computer acquires running data of the motorcycle continuously measured over a predetermined period from at least one sensor; Continuously, the method includes determining a corresponding driving action corresponding to the driving data based on a plurality of reference driving data to which each of the plurality of driving actions of the motorcycle is associated.
  • FIG. 1 is a block diagram of a motorcycle according to a first embodiment.
  • FIG. 2 is a diagram illustrating an overview of control in the motorcycle according to the first embodiment.
  • FIG. 2 is a diagram illustrating an overview of control in the motorcycle according to the first embodiment.
  • FIG. 3 is a flowchart illustrating determination of driving motion according to the first embodiment.
  • FIG. 3 is a diagram illustrating a learning model according to the first embodiment. It is a figure explaining the judgment of driving motion concerning a 1st embodiment.
  • 2 is a flowchart illustrating a process for determining the end of a driving operation according to the first embodiment.
  • FIG. 3 is a diagram illustrating determination of driving motion and determination of end of driving motion according to the first embodiment.
  • FIG. 1 is a block diagram of a motorcycle according to a first embodiment.
  • FIG. 2 is a diagram illustrating an overview of control in the motorcycle according to the first embodiment.
  • FIG. 3 is a flowchart illustrating determination of driving motion according to the first
  • FIG. 2 is a block diagram of a motorcycle according to a second embodiment.
  • FIG. 7 is a diagram illustrating an overview of control in a motorcycle according to a second embodiment.
  • FIG. 7 is a diagram illustrating an example of classification probabilities in a motorcycle according to a second embodiment.
  • 12 is a flowchart illustrating determination of driving motion and determination of end of driving motion according to the second embodiment.
  • FIG. 3 is a block diagram of a motorcycle control system according to a third embodiment.
  • FIG. 7 is another block diagram of the motorcycle control system according to the third embodiment. It is a graph showing an example of sensor values in the motorcycle control system according to the first to third embodiments. It is a graph showing an example of classification probability in the motorcycle control system according to the first to third embodiments. It is a graph showing another example of sensor values in the motorcycle control system according to the first to third embodiments. It is a graph showing an example of a case where sensor values in the motorcycle control system according to the first to third embodiments are binarized.
  • left and right turns are made by rotating the steering wheel, so the angle of the steering wheel is detected and based on a threshold value set for the angle of the steering wheel. It can be determined that a right or left turn has been performed.
  • the vehicle body rotates at an incline to prevent the vehicle body from collapsing due to centrifugal force. At this time, the change in the steering wheel angle becomes smaller depending on the inclination of the vehicle body. For this reason, it is difficult to determine whether to turn left or right based only on the steering wheel angle.
  • the width of the vehicle body is smaller than the width of the road, so there is a degree of freedom in positioning the vehicle body on the road. Therefore, it may be determined that a right or left turn has been made due to irregular movements such as moving left or right on the road.
  • a method may be considered in which a right or left turn is determined based on continuous data using a plurality of sensors, unlike the method using instantaneous values described above.
  • the movement trajectory of the vehicle body can be estimated from the integrated value of sensor values. This makes it possible to estimate the cumulative movement distance and angle, which cannot be determined from instantaneous values, so that instantaneous values may be less susceptible to noise.
  • steady-state errors in sensor values are also integrated, which tends to cause problems in determination accuracy.
  • the present invention proposes the following embodiments to solve the problem.
  • FIG. 1 shows a block diagram of a motorcycle 101 according to the first embodiment.
  • the motorcycle 101 includes a body part 201, an operation part 202, a direction indicator 203, a drive part 204, a sensor part 205, and a control part 206.
  • the vehicle body section 201 is the body of the motorcycle 101, and the motorcycle 101 is configured by attaching an operation section 202, a direction indicator 203, a drive section 204, a sensor section 205, and a control section 206 to the vehicle body section 201. Ru.
  • the operation unit 202 is a device for the driver to operate the motorcycle 101.
  • the operation unit 202 includes, for example, a handle gripped by the driver when driving, an accelerator for acceleration, a brake for deceleration, an operation unit for turning on and off the direction indicator 203, and the like.
  • the direction indicator 203 is a device for indicating the driving action to drivers of other vehicles and pedestrians when the motorcycle 101 performs an action (driving action) such as turning right, turning left, or changing lanes.
  • the direction indicator 203 is a flashing lamp attached to the motorcycle 101.
  • the drive unit 204 is an engine or a motor, wheels, or the like.
  • the drive unit 204 drives the motorcycle 101 based on a driver's operation through the operation unit 202 or control from the control unit 206.
  • the sensor unit 205 is a variety of devices that detect driving data of the motorcycle 101.
  • the traveling data includes, for example, the speed, acceleration, inclination, wheel rotation speed, accelerator opening, brake input, gear position, etc. of the motorcycle 101.
  • the sensor unit 205 includes a speed sensor, an acceleration sensor, a gravity sensor (tilt sensor), a tachometer (rotation speed sensor), etc., and detects various driving data.
  • Sensor data is usually one-dimensional data, but two-dimensional data may also be obtained using cameras or radar.
  • the sensor unit 205 does not need to acquire all of the above travel data, and only needs to acquire at least one travel data. Further, the type of travel data is not limited to the above-mentioned example.
  • the control unit 206 performs signal processing and information processing in the motorcycle 101.
  • the control unit 206 includes a communication unit 2061, a storage unit 2062, a travel data acquisition unit 2063, a conversion unit 2064, a determination unit 2065, and an operation control unit 2066.
  • the control unit 206 is a computer that performs predetermined processing by having a processor execute a program stored in the storage unit 2062.
  • the communication unit 2061 controls information communication in the motorcycle 101.
  • the communication unit 2061 transmits and receives data to and from the sensor unit 205 by performing wired or wireless communication with the sensor unit 205.
  • the communication unit 2061 may control communication between the motorcycle 101 and an external update terminal.
  • the update terminal transmits information for updating a program that operates the control unit 206 to the control unit 206, and updates the program in the control unit 206.
  • the storage unit 2062 is, for example, a semiconductor memory.
  • a learning model 20621 is stored in the storage unit 2062.
  • the learning model 20621 receives input data based on travel data and outputs a driving action (corresponding driving action) corresponding to the input data.
  • the learning model 20621 also outputs the classification probability that the input data is classified into the corresponding driving behavior. Details of the learning model 20621 will be described later.
  • the driving data acquisition unit 2063 acquires driving data from the sensor unit 205.
  • the travel data acquisition unit 2063 acquires travel data that is continuously measured over a predetermined period.
  • the predetermined period is, for example, a period determined based on the travel distance of the motorcycle 101. Specifically, it is the period required for the motorcycle 101 to travel a certain distance.
  • the traveling data acquisition unit 2063 performs sampling at intervals corresponding to the rotation of the wheels, for example, at equal distance intervals, and collects the traveling data in the range from the start to the end of the movement. Acquired as set driving data.
  • the conversion unit 2064 converts the driving data into input data to the determination unit 2065.
  • the conversion unit 2064 may convert the information of the travel data into two-dimensional data (input two-dimensional data) by plotting the horizontal axis against, for example, the travel distance.
  • the conversion unit 2064 generates input data to the determination unit 2065.
  • the conversion unit 2064 converts and generates data based on the travel data acquired by the travel data acquisition unit 2063 so that the travel distance is a reference based on the number of rotations of the wheels, and the horizontal axis represents the travel distance.
  • Generate a graph The input data is generated as data in which a plurality of variables such as speed, inclination, and steering wheel angle are plotted together in one graph.
  • the converting unit 2064 may regard the graph as a two-dimensional image, and may convert the running data into two-dimensional data, for example, when there is a characteristic in terms of frequency.
  • methods such as Fourier transform and wavelet transform are known as methods for converting one-dimensional data into two-dimensional data, but other methods that allow final classification of motions may be used as the conversion method.
  • the determination unit 2065 determines the driving behavior corresponding to the driving data. Specifically, the determining unit 2065 inputs the input data converted by the converting unit 2064 to the learning model 20621, and acquires the corresponding driving behavior and classification probability from the learning model 20621.
  • the motion control unit 2066 controls the motion of the motorcycle 101 based on the classification probability of the corresponding driving motion. Specifically, the motion control unit 2066 determines the end of the right-turn or left-turn driving motion based on the change in the classification probability. When the operation control unit 2066 determines that the right turn or left turn of the motorcycle 101 has been completed, the operation control unit 2066 switches the direction indicator 203 from the on state to the off state.
  • FIG. 2 schematically shows the operation of the motorcycle 101 when looking down at an intersection.
  • the motorcycle 101 turns left along the route P1 and goes straight along the route P2.
  • the motorcycle 101 turns right along route P3 and goes straight along route P4.
  • the driver of the motorcycle 101 When turning right or left, the driver of the motorcycle 101 operates the operation unit 202 to turn on the direction indicator 203.
  • step (a) the driving data acquisition unit 2063 acquires driving data of the motorcycle 101.
  • step (b) the conversion unit 2064 generates an input image based on the travel data.
  • steps (a) and (b) are repeatedly performed while the motorcycle 101 is running.
  • a plurality of input images are generated at different times, such as input images I11, I12, and I13, for each moving distance.
  • step (c) the determination unit 2065 inputs a certain input image (for example, input image I11) to the learning model.
  • step (d) the learning model 20612 calculates the classification probability of the driving motion, and determines the driving motion (corresponding driving motion) of the motorcycle based on the classification probability. The processing up to step (d) is performed for each of the plurality of input images.
  • step (e) the end timing of the left turn is estimated based on the change in the classification probability.
  • step (f) the operation of the motorcycle 101 is controlled based on the end timing, and the direction indicator 203 is turned off. Up to this point, the case of a left turn has been described, but the same processing is performed in the case of a right turn.
  • the motorcycle 101 determines the corresponding driving motion based on the input image generated for each distance traveled. As a result, for example, the motorcycle 101 may wait for a right turn or left turn depending on the state of the signal S, or the motorcycle 101 may have to stop temporarily at an intersection due to the presence of an oncoming vehicle B3. This reduces the impact of waiting time. This is because the moving distance does not change during a pause. As a result, even when making a temporary stop, it is possible to determine whether to turn right or left based on the driving data for the entire route P1 and P3 when turning right or left, without being affected by waiting time. becomes. Therefore, the accuracy of determining the corresponding driving state can be increased.
  • right turns on motorcycles are performed by tilting the vehicle body when driving at high speeds, and by operating the steering wheel to change the direction of the wheels when driving at low speeds. It is necessary to judge whether to turn right or the like based on variables. Even in such a case, the motorcycle 101 improves the accuracy of determining a corresponding driving action by determining a right turn or the like using an input image generated based on a plurality of variables.
  • the learning model 20621 may be trained to distinguish between right lane changes and left lane changes in addition to right turns and left turns. For example, as shown in FIG. 3, a motorcycle 101 in a lane on the center side of a road may change lanes to the left by flashing a turn indicator 203 indicating left direction. In this case, by distinguishing between a left turn and a left lane change, a left lane change can be prevented from being determined as a left turn, and the determination accuracy can be improved. The same applies when distinguishing between a right turn and a right lane change.
  • the learning model 20621 may be trained to determine one driving action, "the motorcycle 101 turns,” without distinguishing between right turns and left turns.
  • the motion control unit 2066 may turn off the direction indicator 203 when it is determined that the corresponding driving motion is "the motorcycle 101 turns” and when it is determined that the motorcycle 101 has finished turning.
  • FIG. 4 shows a flowchart of processing in the control unit 206.
  • step S401 the driving data acquisition unit 2063 acquires driving data of the motorcycle 101 from the sensor unit 205.
  • step S402 the conversion unit 2064 generates an input image based on the travel data.
  • step S403 the determination unit 2065 inputs the input image to the learning model 20621.
  • the learning model 20621 performs the processing described with reference to FIG.
  • the learning model 20621 is a learning model that is trained using teacher data that receives a plurality of reference travel data as input and outputs driving actions associated with each of the plurality of reference travel data.
  • the learning model 20621 is trained using teacher data TD in which driving motions are associated with teacher image groups TI1, TI2, TI3, TI4, and TI5, which are groups of a plurality of teacher images generated based on reference driving data. be done.
  • the learning model 20621 receives a plurality of teacher image groups TI1, TI2, TI3, TI4, and TI5 as input, and is trained to output the corresponding correct driving motion.
  • the reference travel data is, for example, data measured including a predetermined period from when the motorcycle turns on the direction indicator 203 for a right turn until it turns off the direction indicator 203 after completing the right turn.
  • the reference driving data is data based on, for example, manual operation of the direction indicator 203 rather than control of the direction indicator 203 by the operation control unit 2066. The same applies to left turns and other driving actions.
  • the reference driving data is the data from when the motorcycle turns on the turn signal 203 for a right or left turn until the turn signal 203 is turned off after the right turn or left turn is completed.
  • the data is measured including a predetermined period of time.
  • the teacher image group TI1 is associated with the driving motion of turning right.
  • the teacher image group TI2 is associated with the driving motion of turning left.
  • the teacher image group TI3 is associated with the driving action of changing the right lane.
  • the teacher image group TI4 is associated with the driving action of changing the left lane.
  • the teacher image group TI5 is associated with other driving actions (for example, going straight). Note that when a right turn and a left turn are not distinguished, the teacher image group TI1 and the teacher image group TI2 are associated with the driving action of "the motorcycle 101 turns.”
  • the learning model 20621 is trained by a general machine learning method such as a method using a neural network. More specifically, learning model 20621 is a learning model that uses a two-dimensional convolutional neural network. Note that the learning model 20621 may be a learning model that uses a one-dimensional convolutional neural network. By using one-dimensional convolution, it is possible to perform calculations at high speed. Furthermore, the learning model 20621 may be configured as a single learning model, or may be configured as a learning model that is a combination of multiple learning models.
  • the learning model 20621 extracts the feature amount of the input image by convolving the input image with a filter (kernel) in step S501.
  • step S502 the learning model 20621 classifies the input image based on the feature amount and generates a classification result.
  • the classification result is shown as a classification probability, which is the probability that the input image is classified into each driving action, as shown in FIG. 6, for example.
  • step S503 the learning model 20621 determines and outputs the corresponding driving behavior based on the classification results.
  • the corresponding driving action is, for example, the driving action with the highest classification probability. In the example of FIG. 6, the corresponding driving action is a right turn.
  • the determination unit 2065 acquires the corresponding driving action and the classification probability of the corresponding driving action.
  • FIG. 7 is a flowchart of processing in the control unit 206.
  • the determination unit 2065 obtains a corresponding driving operation and a first classification probability based on the first travel data at the first timing.
  • FIG. 8(a) is a schematic diagram when the motorcycle 101 turns right along route P3.
  • the conversion unit 2064 generates an input image based on travel data detected at a certain travel distance.
  • the conversion unit 2064 generates an input image based on travel data detected when the motorcycle 101 moves a distance a. More specifically, as shown in FIG. 8(b), the input image is generated by extracting travel data using a window of distance a. Travel data is added as the vehicle travels, and old data is removed or deleted from the distance a window.
  • step S702 the determination unit 2065 obtains the corresponding driving behavior and the second classification probability based on the second travel data at the second timing.
  • an input image I23 is generated based on travel data (third travel data) corresponding to the travel distance up to the distance L3. be done. Also based on the input image I23, the corresponding driving motion and classification probability (third classification probability) are acquired from the learning model 20621. Based on the input image I23, the corresponding driving action is "turn right" and the classification probability is "0.40". In this manner, in step S703, the determination unit 2065 obtains the corresponding driving behavior and the third classification probability based on the third driving data at the third timing.
  • step S704 the operation control unit 2066 determines whether the classification probability at an intermediate timing among the three timings, that is, the second classification probability, is greater than the first classification probability and the third classification probability. If a negative determination is made in step S704, the processes from steps S701 to S704 are repeated.
  • step S704 If an affirmative determination is made in step S704, the operation control unit 2066 determines that the corresponding driving operation has ended in step S705.
  • step S705 The reason why the above determination is possible in step S705 will be explained.
  • the motion control unit 2066 can determine that the corresponding driving motion (here, right turn) has been completed.
  • step S706 the operation control unit 2066 turns off the direction indicator 203.
  • the direction indicator 203 by turning off the direction indicator 203 based on the change in the classification probability determined using motorcycle running data continuously measured over a predetermined period, it is possible to control whether the motorcycle 101 turns right or left. Later, the direction indicator 203 can be turned off at a natural timing. As a result, by handling data extracted over a predetermined period of time rather than instantaneous values, noise within the period is averaged, reducing the possibility that the turn signal will be turned off in the middle of a right or left turn. Is possible.
  • FIG. 9 shows a block diagram of a motorcycle 101A according to the second embodiment.
  • the motorcycle 101A according to the second embodiment differs from the first embodiment in that the learning model 20621A includes a learning model 20622 for right turn determination (first learning model) and a learning model 20623 for left turn determination (second learning model).
  • the right turn determination learning model 20622 is, for example, a model specialized for right turn determination, and is trained to determine right turns, right lane changes, and other driving actions of the motorcycle 101A.
  • the left turn determination learning model 20623 is similarly trained to determine left turns, left lane changes, and other driving actions of the motorcycle 101A.
  • step (a1) and step (b1) are the same as the processes in steps (a) and (b) in the first embodiment, respectively.
  • step (c1) the determination unit 2065 inputs a certain input image (for example, input image I11) to the left turn determination learning model 20623.
  • step (d1) the left turn determination learning model 20623 calculates the classification probability of the driving action, and determines the driving action (left turn) of the motorcycle based on the classification probability.
  • An example of the classification result in the case of a left turn is shown in FIG.
  • step (e1) the end timing of the left turn is estimated based on the change in the classification probability.
  • step (f1) the operation of the motorcycle 101A is controlled based on the end timing, and the direction indicator 203 is turned off. Similarly, when the motorcycle 101A turns right, the processes from step (a2) to step (f2) are repeated, and the direction indicator 203 is finally turned off based on the input images I31, I32, and I33.
  • control unit 206A in the second embodiment will be described with reference to FIG. 12.
  • a determination is made using the learning model 20621A.
  • the control unit 206A when the direction indicator 203 indicates a right turn, processes from steps S12011 to S12014 are performed. At this time, the control unit 206A obtains an input indicating a right turn from the operation unit 202 or the direction indicator 203 in step S12011.
  • step S12012 the determination unit 2065 and the operation control unit 2066 determine the end of the right turn using the right turn determination learning model 20622.
  • the determination unit 2065 and the operation control unit 2066 determine the corresponding driving action (here, a right turn) and the end of the right turn, in the same manner as in the method described in the first embodiment.
  • step S12013 the determination unit 2065 and the operation control unit 2066 determine whether the right turn has been completed. If a negative determination is made in step S12013, the process returns to step S12012. If an affirmative determination is made in step S12013, the operation control unit 2066 turns off the direction indicator 203 indicating a right turn in step S12014.
  • step S12021 when the direction indicator 203 indicates a left turn, the processes from steps S12021 to S12024 are performed. At this time, the control unit 206A obtains an input indicating a left turn from the operation unit 202 or the direction indicator 203 in step S12021.
  • step S12022 the determination unit 2065 and the operation control unit 2066 determine the end of the left turn using the left turn determination learning model 20623. The determination unit 2065 and the operation control unit 2066 determine the corresponding driving action (left turn) and the end of the left turn, similarly to the method described in the first embodiment.
  • step S12023 the determination unit 2065 and the motion control unit 2066 determine whether the left turn has been completed. If a negative determination is made in step S12024, the process returns to step S12023. If an affirmative determination is made in step S12023, the operation control unit 2066 turns off the direction indicator 203 indicating a left turn in step S12024.
  • the travel distance when turning left and the travel distance when turning right are different, for example, as shown in routes P1 and P3.
  • the travel distance for a left turn is often shorter than the travel distance for a right turn
  • the travel distance for a right turn is often shorter than the travel distance for a left turn. If the distance required to complete a right turn and left turn is different, the accuracy of the judgment can be improved by judging right turns and left turns using different learning models, as in the case of motorcycle 101A. . Additionally, unnecessary movements in the opposite direction (right-turning movements when turning left) can be excluded from the determination.
  • FIG. 13 shows a block diagram of a motorcycle control system 1300 according to the third embodiment.
  • the motorcycle control system 1300 includes a motorcycle 101B and a determination device 1301.
  • the determination device 1301 includes a communication unit 13011 for communicating with the outside, a storage unit 13012 for storing various information, a learning model 13013, a sensor unit 13014, a conversion unit 13015, and a determination unit 13016.
  • the functions of the learning model 13013, converting unit 13015, and determining unit 13016 are similar to those of the learning model 20621, converting unit 2064, and determining unit 2065 described in the first embodiment.
  • the determination device 1301 is, for example, an information processing device such as a smartphone that can communicate with the motorcycle 101B.
  • the storage unit 13012 may store a dedicated application for realizing the functions of the learning model 13013, the sensor unit 13014, the conversion unit 13015, and the determination unit 13016.
  • the operation control unit 2066 transmits the driving data acquired by the driving data acquisition unit 2063 to the determination device 1301, and acquires from the determination device 1301 information indicating an instruction to turn off the turn signal.
  • the determination unit 13016 may also use the data acquired by the sensor unit 13014.
  • the operation control unit 2066 controls the direction indicator 203 similarly to the first embodiment.
  • the driving data acquisition unit 2063 acquires sensor information from an external sensor 1401 external to the motorcycle 101B in addition to information from the sensor unit 205.
  • the motorcycle 101B acquires information indicating the inclination of the motorcycle 101B from an external sensor 1401 connected by wire to the motorcycle 101B.
  • the external sensor 1401 may be a camera or a radar device.
  • the motorcycle 101 according to the first embodiment will be described as an example, but the following description can also be applied to the motorcycle 101A according to the second embodiment and the motorcycle 101B according to the third embodiment.
  • the reference driving data is measured including, for example, a predetermined period from when the motorcycle turns on the direction indicator 203 for a right turn until it turns off the direction indicator 203 after completing the right turn.
  • the explanation was given on the basis that the data was The motorcycle 101 moves straight ahead for a certain period of time after the direction indicator 203 is turned on, and data regarding straight travel is unnecessary.
  • the predetermined period is, for example, a period in which the motorcycle 101 makes a right or left turn from the time when the turn signal 203 is turned off to a certain point after the time when the turn signal 203 is turned on. It may be a fixed period including a certain period.
  • each of the teacher image groups TI1, TI2, TI3, TI4, and TI5 has been described as being associated with each driving motion.
  • the information processing device may create a simulated value, and the created data may be used instead as the teacher image group.
  • the learning model 20621 may be a learning model that uses an image transformer (Vision Transformer).
  • FIG. 15 shows how the gyro sensor measures each axis (x-axis: direction of travel, y-axis: right-hand direction of travel, z-axis: toward the ground in the x-axis and y-axis) when two left turns are performed. Vertical) sensor values and speed are shown.
  • x-axis direction of travel
  • y-axis right-hand direction of travel
  • z-axis toward the ground in the x-axis and y-axis
  • FIG. 15 shows an x-axis gyro sensor value G1, a y-axis gyro sensor value G2, a z-axis gyro sensor value G3, and a speed V1 are shown, respectively.
  • the left-turn operation of tilting the vehicle body is shown as a change in the gyro sensor value G3.
  • FIG. 16 shows the classification probability calculated by the determination unit 2065 when the movement shown in FIG. 15 is performed.
  • the determination unit 2065 may calculate the classification probability using the image data shown in FIG. 15 as one image data, and may calculate the classification probability using the image data shown in FIG.
  • the classification probabilities may be calculated by inputting each image plotted based on .
  • FIG. 16 shows the classification probability PS of driving actions other than right and left turns including going straight, the classification probability PL of left turns, and the classification probability PR of right turns.
  • the left turn classification probability PL increases as the gyro sensor value G3 in FIG. 15 increases. After the gyro sensor value G3 decreases, the left turn classification probability PL reaches a peak value at the position where the correlation between the input image and the pre-learned image is maximum, that is, the position where the direction indicator 203 is turned off. Take. In FIG. 16, the peak occurs at a distance of about 40 m, then decreases and appears again at a distance of about 70 m. In other words, it is shown that two left turns have occurred.
  • the determination unit 2065 determines driving actions such as going straight or turning right or left based on such changes in classification probabilities.
  • the operation of turning off the direction indicator 203 is controlled based on the fact that the left turn classification probability PL has reached its peak value.
  • the operation of turning off the direction indicator 203 is not performed at the maximum point of the classification probability of left turn or right turn, but after the classification probability of left turn or right turn becomes the maximum, and the classification probability of going straight is the maximum among the classification probabilities. It can also be considered as a point. In this way, it is possible to suppress variations in the maximum value susceptible to road noise due to road noise, and to suppress variations in the light-off determination timing.
  • Such a determination is made based on a predetermined period of time as the acquisition range of reference driving data used for learning, not from the time when the direction indicator 203 was turned off, but from a position before that time as a reference. This becomes possible by doing so.
  • the gyro sensor value and speed were used as parameters. Taking speed into account makes it possible, for example, to distinguish between a normal lane change, which is made without slowing down, and a slow movement at an intersection. Therefore, it is possible to turn off the direction indicator 203 only when changing lanes at high speeds, without distinguishing between right and left turns and lane changes.
  • control unit 206 including the driving data acquisition unit 2063 and the conversion unit 2064 may be provided in a handle part (cockpit part) where a meter, an electronic board for controlling, etc. are provided. Since the processing by the control unit 206 is less susceptible to vibrations of the handle, a sensor unit including a gyro sensor or the like can be installed in the handle.
  • the converting unit 2064 may generate an image in which information is binarized according to the sensor value, and may use the image for the determination by the determining unit 2065.
  • FIG. 17 shows each axis measured by the gyro sensor when a certain driving operation is performed (x axis: direction of travel, y axis: right hand direction of travel, z axis: perpendicular to the x and y axes toward the ground).
  • the sensor value and speed are respectively shown as an x-axis gyro sensor value G1, a y-axis gyro sensor value G2, a z-axis gyro sensor value G3, and a speed V1.
  • the conversion unit 2064 may convert the sensor value into a binary value, as shown in FIG. 18, which is an example of converting the x-axis gyro sensor value G1.
  • FIG. 18 darkly colored parts are set to 1, and other parts are set to 0.
  • the converting unit 2064 may generate a plurality of images based on each gyro sensor value and speed, and the determining unit 2065 may use the generated images to determine driving actions such as going straight or turning right or left. Note that at this time, the reference travel data is also binarized and learned in the same way.
  • the converting unit 2064 converts the image of the integrated value of the sensor value using the cumulative function based on the sensor value as shown in FIG. It may also be used to determine driving behavior.
  • the motorcycle 101 is configured to acquire driving data of the motorcycle continuously measured over a predetermined period from at least one sensor, and to acquire driving data continuously and automatically over a predetermined period.
  • a program is stored that executes the following: determining a corresponding driving action that is a driving action corresponding to the driving data based on a plurality of reference driving data to which each of the plurality of driving actions of the two-wheeled vehicle is associated.
  • the plurality of driving operations include right turns and left turns of the motorcycle, and the operation control unit 2066 controls the direction indicator of the motorcycle based on the corresponding driving operation of either right turn or left turn. Controls switching from on state to off state.
  • the motorcycle 101 calculates classification probabilities, which are the probabilities that the driving data is classified into each of at least one driving action, based on the driving data and a plurality of reference driving data, and calculates the corresponding driving behavior based on the classification probability. Determine the action.
  • the condition means that the driving behavior associated with the maximum classification probability out of multiple classification probabilities is the corresponding driving behavior, or that the driving behavior associated with the classification probability that exceeds a predetermined threshold is the corresponding driving behavior. That is to say.
  • the determination unit 2065 inputs the input image into a learning model trained using teacher data that receives a plurality of reference travel data as input and outputs driving motions associated with each of the plurality of reference travel data.
  • the corresponding driving behavior is determined by inputting it as driving data and obtaining the corresponding driving behavior as an output from the learning model. Thereby, the accuracy of determining the corresponding driving state can be increased.
  • the learning model 20621A includes a right turn determination learning model 20622 that determines a right turn, and a left turn determination learning model 20623 that determines a left turn, and the driving data acquisition unit 2063 instructs the motorcycle to make a right turn or a left turn.
  • the determination unit 2065 obtains information indicating the operation to be performed, and determines the corresponding driving motion using the first learning model when the operation corresponds to a right turn, and determines the corresponding driving motion using the second learning model when the operation corresponds to a left turn.
  • the model is used to determine the corresponding driving behavior.
  • the plurality of driving operations further include a right lane change and a left lane change of the motorcycle, and the learning model 20621 can distinguish between a right turn, a left turn, a right lane change, and a left lane change. be learned. It becomes possible to distinguish between a right lane change in which the direction indicator 203 is operated in the same way as a right turn and a left lane change in which the direction indicator 203 is operated in the same way as a left turn. Therefore, the accuracy of determining the corresponding driving motion is improved.
  • the driving data includes first driving data acquired over a predetermined period from a first timing, second driving data acquired over a predetermined period from a second timing after the first timing, and second driving data acquired over a predetermined period from a second timing after the first timing.
  • the classification probability of the corresponding driving behavior is based on the first classification probability based on the first travel data and the second travel data. and a third classification probability based on the third travel data.
  • the motion control unit 2066 acquires the classification probability, and when the second classification probability becomes larger than the first classification probability and the third classification probability, the operation control unit 2066 performs a corresponding driving motion at a third timing or later. Based on this, the operation of the motorcycle is controlled.
  • the classification probability of a right turn (first classification probability) at the start of the right turn (first timing) is smaller than the classification probability of a right turn (second classification probability) during the right turn (second timing).
  • the classification probability of a right turn (third classification probability) at the end of the right turn (third timing) is also smaller than the second classification probability.
  • the conversion unit 2064 is.
  • the determination unit 2065 generates input two-dimensional data based on the driving data, and determines, using the input two-dimensional data as driving data, a driving motion corresponding to the driving data based on the input two-dimensional data and a plurality of reference driving data. Determine the corresponding driving behavior.
  • the travel data includes a plurality of variables, it is possible to capture the correlation between the variables by converting the travel data into one image, for example.
  • the accuracy of determining the corresponding driving behavior is improved.
  • the conversion unit 2064 converts the traveling data into two-dimensional data, and the input image is converted input data based on the traveling data converted to two-dimensional data. be. Thereby, even if the sensor can only acquire one variable, it is possible to determine the corresponding driving action using two-dimensional data.
  • the predetermined period is the range required for the motorcycle to travel a predetermined distance. Based on distance rather than time, it is possible to suppress the influence of driving actions that affect time and do not lead to the movement of motorcycle 101, such as when motorcycle 101 temporarily stops.
  • the motorcycle 101 further includes a communication unit 2061 that acquires information used for updating the learning model 20621 from a terminal external to the motorcycle 101 and updates the learning model 20621.
  • the learning model can be updated easily.
  • the motorcycle 101 stores training data in the storage unit 2062, which inputs a plurality of continuous reference travel data of the motorcycle over a predetermined period and outputs driving motions associated with each of the plurality of reference travel data.
  • a learning model that is trained using a learning model that causes the control unit 206 to function so as to output a corresponding driving action that is a driving action corresponding to the driving data in response to input of driving data of a motorcycle continuously measured over a predetermined period. is memorized.
  • the plurality of reference traveling data may include data acquired over a period dating back from the time when the direction indicator of the motorcycle was switched from the on state to the off state.
  • the plurality of reference travel data may include data acquired over a period of time prior to the time when the direction indicator of the motorcycle was switched from the on state to the off state.
  • the operation control unit 2066 obtains the classification probabilities, and if the first classification probability indicates a right turn or left turn, the second classification probability indicates going straight, and the second classification probability is greater than the first classification probability,
  • the operation of the motorcycle may be controlled based on the corresponding driving operation at a time after the second timing. In this way, when multiple reference driving data are acquired over a period of time before the turn signal is switched from the on state to the off state, the maximum value of the classification probability that is susceptible to road noise is It is possible to suppress fluctuations due to road noise and to suppress fluctuations in the light-off determination timing.
  • the conversion unit 2064 may generate input two-dimensional data by converting travel data into an integrated value using an accumulation function.
  • the influence of fluctuations due to road noise and the like is offset by the cumulative function, making it possible to suppress the occurrence of noise in images and a decrease in determination accuracy.
  • the reference travel data may include data generated by the information processing device, unlike data from actual travel. Thereby, even if data cannot be actually measured, data can be generated and used for machine learning.
  • the driving data acquisition section 2063 and the determination section 2065 may be provided in the handle section of the motorcycle 101. Further, the travel data and the reference travel data may be data acquired from a gyro sensor and a speed sensor provided in the handle portion.
  • the non-temporary storage medium is not particularly limited, but may be a storage medium such as a USB memory or a CD-ROM. Further, each embodiment is an example, and it goes without saying that partial substitution or combination of the configurations shown in different embodiments is possible, and these are also included in the scope of the present invention as long as they include the characteristics of the present invention. .
  • ⁇ 1> to the computer, Obtaining running data of the motorcycle continuously measured over a predetermined period from at least one sensor; Based on the driving data and a plurality of reference driving data that are continuous over the predetermined period and are associated with each of the plurality of driving movements of the motorcycle, a corresponding driving action that is a driving action corresponding to the driving data is determined.
  • the program described in ⁇ 1>, The plurality of driving actions include right turns and left turns of the motorcycle, to the computer; The program further causes the program to control switching a direction indicator of the motorcycle from an on state to an off state based on the corresponding driving operation of either the right turn or the left turn.
  • ⁇ 3> The program according to ⁇ 1> or ⁇ 2>, The said determining is Based on the driving data and the plurality of reference driving data, a classification probability is calculated, which is a probability that the driving data is classified into each of the at least one driving action, and based on the classification probability, the corresponding driving action is calculated.
  • a program comprising determining.
  • the program according to any one of ⁇ 1> to ⁇ 3>, The said determining is A learning model that has been trained to distinguish between the right turn and the left turn using teacher data that receives the plurality of reference travel data as input and outputs driving actions associated with each of the plurality of reference travel data;
  • the program includes determining the corresponding driving behavior by inputting the driving data and obtaining the corresponding driving behavior as an output from the learning model.
  • the learning model includes a first learning model that determines the right turn and a second learning model that determines the left turn, to the computer; further acquiring information indicating an operation for causing the motorcycle to make the right turn or the left turn; The said determining is when the operation corresponds to the right turn, determining the corresponding driving action using the first learning model; When the operation corresponds to the left turn, the program determines the corresponding driving action using the second learning model.
  • the driving data is first travel data acquired over the predetermined period from a first timing; second travel data acquired over the predetermined period from a second timing after the first timing; and second travel data acquired over the predetermined period after the second timing.
  • the classification probability of the corresponding driving motion is A first classification probability based on the first travel data, a second classification probability based on the second travel data, and a third classification probability based on the third travel data
  • the controlling includes acquiring the classification probability, and when the second classification probability becomes larger than the first classification probability and the third classification probability, controlling the corresponding driving operation at a time after the third timing.
  • the program further causes the program to further execute: controlling an operation of the motorcycle based on the method.
  • the said determining is:
  • the input two-dimensional data is determined based on the input two-dimensional data and the plurality of reference driving data, using the input two-dimensional data as the driving data, and determining a corresponding driving action that is a driving action corresponding to the driving data.
  • the program determines a corresponding driving action that is a driving action corresponding to the driving data based on the input two-dimensional data and the plurality of reference driving data.
  • ⁇ 11> an acquisition unit that acquires running data of the motorcycle continuously measured over a predetermined period from at least one sensor; a determination unit that determines a corresponding driving action corresponding to the driving data based on the driving data and a plurality of reference driving data that are continuous over the predetermined period and are associated with each of the plurality of driving movements of the motorcycle;
  • a device comprising: ⁇ 12> The device according to ⁇ 11>, The determination unit includes: The driving data is input to a learning model trained using teacher data that receives the plurality of reference driving data as input and outputs driving actions associated with each of the plurality of reference driving data, and from the learning model.
  • the device further includes a communication unit that acquires information used for updating the learning model from a terminal external to the device and updates the learning model.
  • the acquisition unit is a device that acquires at least part of the travel data from a terminal that can communicate with the acquisition unit.
  • the acquisition unit is a device that acquires at least part of the travel data from a radar or a camera.
  • the device includes: Based on the driving data and the plurality of reference driving data, calculate a classification probability that is a probability that the driving data is classified into each of the plurality of driving actions, and based on the classification probability, select the corresponding driving action. A device to judge.
  • the device includes: Learning to distinguish between a right turn of the motorcycle and a left turn of the motorcycle using training data in which the plurality of reference travel data are input and driving actions associated with each of the plurality of reference travel data are output.
  • the apparatus determines the corresponding driving behavior by inputting the driving data into a learning model that has been prepared, and obtaining the corresponding driving behavior as an output from the learning model.
  • the learning model includes a first learning model that determines the right turn and a second learning model that determines the left turn, further comprising an acquisition unit that acquires information indicating an operation for causing the motorcycle to make the right turn or the left turn,
  • the determination unit includes: when the operation corresponds to the right turn, determining the corresponding driving action using the first learning model; If the operation corresponds to the left turn, the device uses the second learning model to determine the corresponding driving action.
  • the plurality of driving operations further include changing the right lane and changing the left lane of the motorcycle,
  • the learning model is trained to be able to distinguish between the right turn, the left turn, the right lane change, and the left lane change.
  • the device according to any one of ⁇ 15> to ⁇ 19>, The device, wherein the plurality of reference travel data includes data acquired over a period going back from a time when the direction indicator of the motorcycle was switched from the on state to the off state.
  • the driving data is first travel data acquired over the predetermined period from a first timing; second travel data acquired over the predetermined period from a second timing after the first timing; and second travel data acquired over the predetermined period after the second timing.
  • the classification probability of the corresponding driving motion is A first classification probability based on the first travel data, a second classification probability based on the second travel data, and a third classification probability based on the third travel data, Based on the corresponding driving operation of either a right turn of the motorcycle or a left turn of the motorcycle, the operation control unit switches a direction indicator of the motorcycle from an on state to an off state, acquires the classification probability, An apparatus for controlling the operation of the motorcycle based on the corresponding driving operation at a time after the third timing when the second classification probability becomes larger than the first classification probability and the third classification probability. .
  • ⁇ 22> The device according to any one of ⁇ 15> to ⁇ 19>, The device, wherein the plurality of reference travel data includes data acquired over a period going back from a time point before a time point when a direction indicator of the motorcycle was switched from an on state to an off state.
  • the driving data is First travel data acquired over the predetermined period from a first timing, and second travel data acquired over the predetermined period from a second timing after the first timing,
  • the classification probability of the corresponding driving motion is a first classification probability based on the first travel data and a second classification probability based on the second travel data
  • the operation control unit switches a direction indicator of the motorcycle from an on state to an off state, acquires the classification probability, When the first classification probability indicates the right turn or the left turn, the second classification probability indicates going straight, and the second classification probability is greater than the first classification probability, at a time after the second timing,
  • the apparatus further causes the operation of the motorcycle to be controlled based on the corresponding driving operation.
  • the device according to any one of ⁇ 11> to ⁇ 23>, further comprising a conversion unit that generates input two-dimensional data based on the travel data
  • the determination unit includes: An apparatus that uses the input two-dimensional data as the driving data and determines a corresponding driving action that is a driving action corresponding to the driving data based on the input two-dimensional data and the plurality of reference driving data.
  • the conversion unit converts the travel data into two-dimensional data when the travel data is one-dimensional data, The input two-dimensional data is data based on the travel data converted into the two-dimensional data.
  • ⁇ 26> The device according to ⁇ 24> or ⁇ 25>, The converter converts the travel data into an integrated value using an accumulation function to generate the input two-dimensional data.
  • ⁇ 27> The device according to any one of ⁇ 11> to ⁇ 26>, The device, wherein the predetermined period is a time range required for the motorcycle to travel a predetermined distance.
  • the reference driving data is different from actual driving data and includes data generated by an information processing device.
  • the acquisition section and the determination section are devices provided in a handle section of the motorcycle.
  • ⁇ 30> The device according to ⁇ 29>, wherein the travel data and the reference travel data are data acquired from a gyro sensor and a speed sensor provided in the handle portion.
  • Learning is performed using teacher data in which a plurality of continuous reference travel data of a motorcycle over a predetermined period is input, and driving motions associated with each of the plurality of reference travel data are output, computer, A learning model that functions to output a corresponding driving motion that is a driving motion corresponding to the traveling data in response to input of traveling data of the motorcycle continuously measured over the predetermined period.
  • the predetermined period is a time range required for the motorcycle to travel a predetermined distance.
  • the computer is Obtaining running data of the motorcycle continuously measured over a predetermined period from at least one sensor; determining a corresponding driving action corresponding to the driving data based on the driving data and a plurality of reference driving data that are continuous over the predetermined period and are associated with each of the plurality of driving actions of the motorcycle; , including a method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

自動二輪車の方向指示器を精度よく制御すること。コンピュータに、所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得することと、走行データと、所定の期間にわたって連続し、自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、走行データに対応する運転動作である対応運転動作を判定することと、を実行させるプログラム。

Description

プログラム、装置、学習モデル、及び方法
 本発明は、プログラム、装置、学習モデル、及び方法に関する。
 自動二輪車の運転者は、走行時において道路の右折又は左折(右折等とよぶ)あるいは車線を変更する場合に、方向指示器(ウィンカー)を使用する。方向指示器は、例えば、周囲の運転者や歩行者に対して運転者の運転意図を示し、安全な走行を実現するために用いられる。自動二輪車の方向指示器は、まず運転者が方向指示器をオン状態(例えば、点滅)にし、右折等の終了後に運転者自身がオフ状態(例えば、消灯)にする必要がある。このとき、運転者が操作を忘れるなどして、方向指示器がオフにされない、切り忘れが生じることがある。特許文献1には、方向指示器の切り忘れを避けるためのウィンカーキャンセル装置が示される。
特開昭62-53256
 特許文献1に記載のウィンカーキャンセル装置では、右折及び左折時に生じる前輪の回転数と後輪の回転数との回転数差に基づいてウィンカーをオフにする制御が行われる。より具体的には、ある時点の回転数差を都度取得し、その変化に基づいて、ウィンカーをオフにする制御が行われている。このように、ある時点における値(瞬時値)を用いる場合、その値が閾値を超えるか否かを判定することになる。しかし2輪車の場合には、速度に応じて右左折時に車体が傾斜するため、閾値を速度に応じて変化する必要が生じて判定が難しいという問題があった。また、2輪車は道路幅に対して車体の取りうる位置の自由度が大きいため、不用意な動きが右左折として判定される問題があった。
 本発明はこのような事情に鑑みてなされたものであり、自動二輪車の方向指示器を精度よく制御するプログラム等を提供することを目的とする。
 本発明の一側面に係るプログラムは、コンピュータに、所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得することと、走行データと、所定の期間にわたって連続し、自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、走行データに対応する運転動作である対応運転動作を判定することと、を実行させる。
 本発明の他の一側面に係る装置は、所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得する取得部と、走行データと、所定の期間にわたって連続し、自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、走行データに対応する対応運転動作を判定する判定部と、を備える。
 本発明の他の一側面に係る学習モデルは、所定の期間にわたって連続する自動二輪車の複数の参照走行データを入力とし、複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて学習され、コンピュータを、所定の期間にわたって連続して計測された自動二輪車の走行データの入力に対し、走行データに対応する運転動作である対応運転動作を出力するよう機能させる。
 本発明の他の一側面に係る方法は、コンピュータが、所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得することと、走行データと、所定の期間にわたって連続し、自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、走行データに対応する対応運転動作を判定することと、を含む。
 本発明によれば、自動二輪車の方向指示器を精度よく制御するプログラム等を提供することが可能となる。
第1実施形態に係る自動二輪車のブロック図である。 第1実施形態に係る自動二輪車における制御の概要を説明する図である。 第1実施形態に係る自動二輪車における制御の概要を説明する図である。 第1実施形態に係る運転動作の判定を説明するフローチャートである。 第1実施形態に係る学習モデルを説明する図である。 第1実施形態に係る運転動作の判定を説明する図である。 第1実施形態に係る運転動作の終了の判定処理を説明するフローチャートである。 第1実施形態に係る運転動作の判定及び運転動作の終了の判定を説明する図である。 第2実施形態に係る自動二輪車のブロック図である。 第2実施形態に係る自動二輪車における制御の概要を説明する図である。 第2実施形態に係る自動二輪車における分類確率の一例を説明する図である。 第2実施形態に係る運転動作の判定及び運転動作の終了の判定を説明するフローチャートである。 第3実施形態に係る自動二輪車制御システムのブロック図である。 第3実施形態に係る自動二輪車制御システムの他のブロック図である。 第1から第3実施形態に係る自動二輪車制御システムにおけるセンサ値の一例を示すグラフである。 第1から第3実施形態に係る自動二輪車制御システムにおける分類確率の一例を示すグラフである。 第1から第3実施形態に係る自動二輪車制御システムにおけるセンサ値の他の一例を示すグラフである。 第1から第3実施形態に係る自動二輪車制御システムにおけるセンサ値を2値化した場合の一例を示すグラフである。
 以下本発明の実施形態について説明する。まず、本発明の実施形態と比較される参照例について説明する。
 右左折の判定に関して、一般的に、自動車(4輪車)の場合、ハンドルを回転させることにより右左折が行われるため、ハンドルの角度を検出し、ハンドルの角度に対して設けられる閾値に基づいて右左折の動作が行われたことを判定できる。一方、自動二輪車(2輪車)の場合、特に高速で走行する場合は、遠心力で車体が倒れないように車体を傾斜させて回転する。このとき、ハンドル角度の変化は、車体の傾斜に応じて小さくなる。このためハンドル角度のみで右左折を判定することが難しい。よってハンドル角度に加えて速度や車体の傾斜等を含む複数のパラメータに基づいて右左折を判定する必要が生じる。一方、判定に用いるパラメータが増えると、パラメータ及び判定用の閾値の設定が難しくなるという問題があった。
 このような場合に、複数のパラメータ間の相関を考慮して、右左折が行われたことを判定する方法として、機械学習分野のアンサンブルツリーの利用が考えられる。アンサンブルツリーの利用により、複数のパラメータの瞬時値から右左折の確率を設定することが可能となる一方、あくまでも瞬時値を利用しており、瞬時値に対するノイズが判定結果に影響を与えてしまう。
 更に2輪車の場合、道路の幅に対して車体の幅が小さいので、道路において車体位置の自由度がある。そのため、道路上を左右に移動する等の不規則な動きによって右左折が行われたと判定される可能性がある。このような現象を防ぐために、上述の瞬時値を用いる手法とは異なり、複数のセンサを用いた連続的なデータに基づいて右左折を判定する手法が考えられる。例えば自己位置推定技術を用いて、センサ値の積算値から車体の移動軌跡を推定することができる。これにより、瞬時値ではわからない累積の移動距離や角度を推定することが可能なため、瞬時値に対するノイズの影響を受けにくくなり得る。しかし、この場合、センサ値の定常誤差も積算されることになるので、結果として判定精度に問題が生じやすい。
 上記を鑑みて、本発明では以下の実施形態を提案し、問題の解決を図る。
 第1実施形態について説明する。図1には第1実施形態に係る自動二輪車101のブロック図が示される。
 自動二輪車101は、車体部201、操作部202、方向指示器203、駆動部204、センサ部205、及び制御部206を有する。
 車体部201は自動二輪車101の車体であり、車体部201に、操作部202、方向指示器203、駆動部204、センサ部205、及び制御部206が取り付けられることで、自動二輪車101が構成される。
 操作部202は、運転者が自動二輪車101の操作を行うための装置である。操作部202は例えば運転者が運転時に掴むハンドル、加速のためのアクセル、減速のためのブレーキ、方向指示器203のオンオフを切り替える操作のための操作ユニット等を含む。
 方向指示器203は、自動二輪車101が右折、左折、又は車線変更等の動作(運転動作)を行う場合に、他の車両の運転者や歩行者にその運転動作を示すための装置である。例えば、方向指示器203は、自動二輪車101に取り付けられたランプが点滅するものである。
 駆動部204は、エンジン若しくはモーター及び車輪等である。駆動部204は、操作部202を通じた運転者の操作や、制御部206からの制御に基づいて自動二輪車101を駆動する。
 センサ部205は、自動二輪車101の走行データを検出する各種の装置である。走行データは、例えば、自動二輪車101の速度、加速度、傾き、車輪の回転数、アクセルの開度、ブレーキ入力、ギアポジション等である。センサ部205は、速度センサ、加速度センサ、重力センサ(傾きセンサ)、タコメータ(回転数センサ)等を有し、各種走行データを検出する。センサデータは通常1次元のデータであるが、カメラやレーダーを用いて2次元データを取得することもある。センサ部205は、上記全ての走行データを取得する必要はなく、少なくとも1つ以上の走行データを取得しさえすればよい。また、走行データの種類は上述の例に限られない。
 制御部206は、自動二輪車101における信号処理及び情報処理を行う。制御部206は、通信部2061、記憶部2062、走行データ取得部2063、変換部2064、判定部2065、及び動作制御部2066を有する。制御部206は、記憶部2062に格納されたプログラムをプロセッサが実行することによって所定の処理を行うコンピュータである。
 通信部2061は、自動二輪車101における情報通信を制御する。例えば、通信部2061は、センサ部205と有線通信又は無線通信を行うことで、センサ部205とデータの送受信を行う。あるいは、通信部2061は、自動二輪車101と外部の更新端末との通信を制御してもよい。更新端末は、例えば、制御部206を動作させるプログラムを更新する情報を制御部206に送信し、制御部206のプログラムを更新する。
 記憶部2062は、例えば、半導体メモリである。記憶部2062には、学習モデル20621が記憶される。学習モデル20621は、走行データに基づく入力データを入力とし、入力データに対応する運転動作(対応運転動作)を出力する。また、学習モデル20621は、入力データが対応運転動作に分類される分類確率も出力する。学習モデル20621の詳細については後述する。
 走行データ取得部2063は、センサ部205から、走行データを取得する。走行データ取得部2063は、所定の期間にわたって連続して計測された走行データを取得する。ここで、所定の期間とは、例えば、自動二輪車101の移動距離に基づいて定められる期間である。具体的には、自動二輪車101がある距離の移動に要する期間である。走行データ取得部2063は、自動二輪車101が一定距離を移動すると、車輪の回転に応じた間隔、例えば、等距離の間隔でサンプリングを行い、当該移動の開始から終了までの範囲における走行データを1セットの走行データとして取得する。
 変換部2064は、走行データを判定部2065への入力データに変換する。例えば、変換部2064は、走行データの情報を、横軸を例えば移動距離に対してプロットして2次元データ(入力2次元データ)としてもよい。このとき、変換部2064は、判定部2065への入力データを生成する。変換部2064は、例えば、走行データ取得部2063が取得した走行データに基づいて、車輪の回転数に基づいて移動距離を基準とするように変換されて生成される、横軸を移動距離とするグラフを生成する。入力データは、例えば、速度、傾き、ハンドル角度という複数の変数が、1つのグラフにまとめてプロットされたデータとして生成される。また、変換部2064は、走行データが一次元の場合に、グラフを2次元画像と見なしてもよく、例えば周波数的に特徴がある場合は、走行データを2次元データに変換してもよい。1次元データを2次元データに変換する方法として、例えばフーリエ変換やウェーブレット変換等の手法が知られているが、変換手法は最終的な動作の分類が可能な他の方法でもよい。
 判定部2065は、走行データに基づいて、走行データに対応する運転動作を判定する。具体的には、判定部2065は、変換部2064が変換した入力データを学習モデル20621に入力し、学習モデル20621から、対応運転動作及び分類確率を取得する。
 動作制御部2066は、対応運転動作の分類確率に基づいて、自動二輪車101の動作を制御する。具体的には、動作制御部2066は、分類確率の変化に基づいて、右折又は左折の運転動作の終了を判定する。動作制御部2066は、自動二輪車101の右折又は左折が終了したと判定すると、方向指示器203をオン状態からオフ状態に切り替える。
 図2を参照して、自動二輪車101における処理の概要について説明する。
 図2では、交差点を俯瞰した場合の、自動二輪車101の動作が模式的に示される。信号Sが右折及び左折可能であることを示している場合、自動二輪車101は経路P1に沿って左折し、経路P2に沿って直進する。あるいは、自動二輪車101は、経路P3に沿って右折し、経路P4に沿って直進する。
 右折及び左折の際には、自動二輪車101の運転者は、方向指示器203をオンにするように操作部202を操作する。
 ここでは、自動二輪車101が左折する場合を例に説明する。ステップ(a)において、走行データ取得部2063が、自動二輪車101の走行データを取得する。ステップ(b)において、変換部2064が、走行データに基づいて入力画像を生成する。
 ステップ(a),(b)の処理は、自動二輪車101の走行中に繰り返して行われている。入力画像は、ある移動距離ごとに、入力画像I11,I12,I13のように異なる時刻において複数生成される。
 ステップ(c)において、判定部2065は、ある入力画像(例えば入力画像I11)を学習モデルに入力する。ステップ(d)において、学習モデル20612は、運転動作の分類確率を算出し、分類確率に基づいて自動二輪車の運転動作(対応運転動作)を判定する。ステップ(d)までの処理は複数の入力画像のそれぞれに対して行われる。
 ステップ(e)において、分類確率の変化に基づいて、左折の終了タイミングが推定される。ステップ(f)において、終了タイミングに基づいて、自動二輪車101の動作の制御が行われ、方向指示器203が消灯される。ここまでは、左折の場合について説明したが、右折の場合も同様の処理が行われる。
 自動二輪車101では、移動距離ごとに生成された入力画像に基づいて、対応運転動作を判定している。これにより、例えば、自動二輪車101では、信号Sの状態に応じて右折待ち及び左折待ちを行ったりする場合や、対向車B3が存在することによって、交差点中で一時停止する必要が生じた結果発生する、待ち時間の影響が抑えられる。なぜなら、一時停止中には移動距離は変化しないからである。これにより、一時停止などを行う場合であっても、待ち時間の影響を受けず、右折又は左折時の経路P1,P3の全体に対する走行データに基づいて、右折又は左折の判定を行うことが可能となる。したがって、対応走行状態の判定精度を高くすることができる。
 また、自動二輪車の右折等は、高速走行時には車体を傾けて行われ、低速走行時にはハンドルを操作して車輪の方向を変化させて行われるので、走行状態に応じた変数の選択及び選択された変数に基づく右折等の判定が必要となる。このような場合でも、自動二輪車101では、複数の変数に基づいて生成される入力画像を用いて右折等を判定することで、対応運転動作の判定精度が向上する。
 なお、学習モデル20621は、右折、左折に加えて、右車線変更と左車線変更を区別するように学習されてもよい。例えば、図3に示されるように、道路の中央側の車線の自動二輪車101が、左方向を示す方向指示器203を点滅させ、左車線変更を行うことがある。この場合、左折と左車線変更とを区別することで、左車線変更が左折と判定されないようにでき、判定精度を向上させることができる。右折と右車線変更の区別を行う場合も同様である。
 なお、学習モデル20621は右折と左折とを区別せず、「自動二輪車101が曲がる」という1つの運転動作を判定するように学習されてもよい。動作制御部2066は、対応運転動作が「自動二輪車101が曲がる」と判定され、自動二輪車101が曲がり終わったことが判定されると、方向指示器203を消灯してもよい。
 図4から図6を参照して、自動二輪車101における処理及び学習モデルの詳細について説明する。自動二輪車101では、方向指示器203がオン状態となる操作が行われた場合に、学習モデル20621を用いた判定が行われる。
 図4には、制御部206における処理のフローチャートが示される。
 ステップS401において、走行データ取得部2063は、センサ部205から、自動二輪車101の走行データを取得する。ステップS402において、変換部2064は、走行データに基づいて入力画像を生成する。
 ステップS403において、判定部2065は、入力画像を学習モデル20621に入力する。
 学習モデル20621は、図5を参照して説明される処理を行う。学習モデル20621は、複数の参照走行データを入力とし、複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて学習された学習モデルである。学習モデル20621は、参照走行データに基づいて生成された複数の教師画像のグループである教師画像群TI1,TI2,TI3,TI4,TI5にそれぞれ運転動作が対応づけられた教師データTDを用いて学習される。学習モデル20621は、複数の教師画像群TI1,TI2,TI3,TI4,TI5を入力とし、それぞれが対応する正解の運転動作を出力とするように学習される。
 参照走行データは、例えば、自動二輪車が右折のために方向指示器203をオン状態にし、右折終了後に方向指示器203をオフ状態とするまでの、所定の期間を含んで計測されるデータである。参照走行データは、動作制御部2066による方向指示器203の制御ではなく、例えば、手動による方向指示器203の操作に基づくデータである。左折及び他の運転動作についても同様である。なお、右折と左折とが区別されない場合、参照走行データは、自動二輪車が右折又は左折のために方向指示器203をオン状態にし、右折又は左折の終了後に方向指示器203をオフ状態にするまでの、所定の期間を含んで計測されるデータとなる。
 教師画像群TI1は、右折の運転動作に対応付けられる。教師画像群TI2は、左折の運転動作に対応付けられる。教師画像群TI3は、右車線変更の運転動作に対応付けられる。教師画像群TI4は、左車線変更の運転動作に対応付けられる。教師画像群TI5は、その他(例えば、直進)の運転動作に対応付けられる。なお、右折と左折とを区別しない場合、教師画像群TI1及び教師画像群TI2が、「自動二輪車101が曲がる」という運転動作に対応付けられる。
 学習モデル20621は、ニューラルネットワークを使用する方法等の一般的な機械学習の方法によって学習される。より具体的には、学習モデル20621は2次元畳み込みニューラルネットワークを使用する学習モデルである。なお、学習モデル20621は、1次元畳み込みニューラルネットワークを使用する学習モデルであってもよい。一次元畳み込みとすることで、計算を高速に行うことが可能となる。また、学習モデル20621は、単一の学習モデルとして構成されてもよく、複数の学習モデルを組み合わせた学習モデルとして構成されてもよい。
 学習モデル20621は、入力画像が入力されると、ステップS501において、入力画像に対してフィルタ(カーネル)との畳み込みを行うことで入力画像の特徴量を抽出する。
 ステップS502において、学習モデル20621は特徴量に基づいて入力画像を分類し、分類結果を生成する。分類結果は、例えば、図6に示されるように、入力画像がそれぞれの運転動作に分類される確率である分類確率として示される。
 ステップS503において、学習モデル20621は分類結果に基づいて、対応運転動作を判定し、出力する。対応運転動作は、例えば、分類確率が最も大きい運転動作である。図6の例では、対応運転動作は右折である。ステップS504において、判定部2065は、対応運転動作及び対応運転動作の分類確率を取得する。
 ここまでの処理によって、ある1つの走行データに基づく、対応運転動作の判定が可能となる。個々に判定された複数の対応運転動作に基づいて、対応運転動作の終了を判定することが可能となる。対応運転動作の終了判定について図7,図8を参照して説明する。
 図7は、制御部206における処理のフローチャートである。ステップS701において、判定部2065は、第1タイミングにおける第1走行データに基づく対応運転動作と第1分類確率を取得する。
 ここで、第1タイミング及び以降の説明に用いる第2タイミング,第3タイミングの例について図8を参照して説明する。
 図8(a)は自動二輪車101が経路P3に沿って右折する場合の模式図である。自動二輪車101は、右折開始時点の移動距離を基準(MD=0)として、経路P3の長さ(L3)だけ移動することで右折を行う。右折開始時の時刻をT=T0とする。
 変換部2064は、一定の移動距離にて検出された走行データに基づいて、入力画像を生成する。ここでは、変換部2064は、自動二輪車101が距離a移動する場合に検出された走行データに基づいて、入力画像を生成するとする。より具体的には、図8(b)に示されるように、距離aの窓によって、走行データを抽出することで入力画像が生成される。走行データは、走行に応じて追加され、古いデータは距離aの窓から除かれる又は削除される。
 図8(a)の例では、移動距離MDが、L1,L2,L3となったタイミングである時刻T=T1,T2,T3のタイミングにて入力画像が生成される場合を例に説明する。具体的には、T=T1(第1タイミング)において、移動距離MD=0~L1に対応する走行データ(第1走行データ)に基づいて、図8(b)に示されるような入力画像I21が生成される。入力画像I21が生成されると、判定部2065は学習モデル20621に入力画像I21を入力し、図8(c)に示されるような対応運転動作及び分類確率(第1分類確率)を学習モデル20621から取得する。入力画像I21に基づく場合、対応運転動作は「右折」であり、分類確率は「0.40」である。このようにして、ステップS701の処理が行われる。
 その後、自動二輪車101が移動し、距離L2まで移動した時刻T=T2(第2タイミング)において、距離L2までの移動距離に対応する走行データ(第2走行データ)に基づいて、入力画像I22が生成される。入力画像I22に基づいても、対応運転動作及び分類確率(第2分類確率)が学習モデル20621から取得される。入力画像I22に基づく場合、対応運転動作は「右折」であり、分類確率は「0.60」である。このようにして、ステップS702において、判定部2065は、第2タイミングにおける第2走行データに基づく対応運転動作と第2分類確率を取得する。
 さらに自動二輪車101が移動し、距離L3まで移動した時刻T=T3(第3タイミング)において、距離L3までの移動距離に対応する走行データ(第3走行データ)に基づいて、入力画像I23が生成される。入力画像I23に基づいても、対応運転動作及び分類確率(第3分類確率)が学習モデル20621から取得される。入力画像I23に基づく場合、対応運転動作は「右折」であり、分類確率は「0.40」である。このようにして、ステップS703において、判定部2065は、第3タイミングにおける第3走行データに基づく対応運転動作と第3分類確率を取得する。
 ステップS704において、動作制御部2066は、3つのタイミングにおける中間のタイミングにおける分類確率すなわち第2分類確率が、第1分類確率及び第3分類確率より大きいか否かを判定する。ステップS704において否定判断された場合、ステップS701からS704までの処理が繰り返される。
 ステップS704において肯定判断された場合、ステップS705において、動作制御部2066は、対応運転動作が終了したと判定する。
 ステップS705において上述の判定が可能な理由について説明する。図7(a)に示されるような右折が行われる場合、右折開始時近く(例えばMD=0からL1まで)の走行データは、右折の学習に用いた参照走行データにやや近い動作である。走行データと参照走行データとの合致の程度(相関)はやや小さくなるので、対応運転動作は右折であるがその分類確率は、分類結果において比較的小さくなる。
 次に、右折の最中(例えばMD=L1からL2まで)の走行データは、右折の学習に用いた参照走行データにより近くなり、よりよく合致する。よって、この場合、対応運転動作は右折であり、その分類確率は、分類結果において比較的大きくなる。
 最後に、右折終了時近く(例えばMD=L2からL3まで)の走行データは、右折の学習に用いた参照走行データにやや近い動作である。走行データと参照走行データとの合致の程度はやや小さくなるので、対応運転動作は右折であるがその分類確率は、分類結果において比較的小さくなる。
 つまり、異なる移動距離における、右折の分類確率がピーク値をとるように変化した場合、自動二輪車101が右折に最も近い動作を既に行ったと判定することができる。自動二輪車101が右折に最も近い動作を行ったということは、右折は終了したということである。よって、動作制御部2066は、対応運転動作(ここでは右折)が終了したと判定することができる。
 ステップS706において、動作制御部2066は、方向指示器203を消灯する。図8の例では、T=T3の時点で方向指示器203が消灯される。
 このように、所定の期間にわたって連続して計測された自動二輪車の走行データを用いた判定での分類確率の変化に基づいて方向指示器203を消灯することで、自動二輪車101の右折や左折の後に、自然なタイミングで方向指示器203を消灯することができる。これにより、瞬時値ではなく、所定の期間の幅で抽出されるデータを扱うことで、期間内のノイズが平均化されるため、ウィンカーが右折や左折の途中で消灯されてしまう可能性を減らすことが可能である。
 第2実施形態について説明する。第2実施形態以降では第1実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については実施形態毎には逐次言及しない。
 図9には第2実施形態に係る自動二輪車101Aのブロック図が示される。第2実施形態に係る自動二輪車101Aは、学習モデル20621Aが、右折判定用学習モデル20622(第1学習モデル),左折判定用学習モデル20623(第2学習モデル)を有する点で、第1実施形態に係る自動二輪車101と異なる。右折判定用学習モデル20622は、例えば、右折の判定に特化したモデルであり、自動二輪車101Aの運転動作のうち、右折、右車線変更、及びその他を判定するように学習される。左折判定用学習モデル20623は、同様に、自動二輪車101Aの運転動作のうち、左折、左車線変更、及びその他を判定するように学習される。
 まず、自動二輪車101Aが左折する場合を例に説明する。ステップ(a1)及びステップ(b1)の処理は、第1実施形態におけるステップ(a),(b)の処理とそれぞれ同様である。ステップ(c1)において、判定部2065は、ある入力画像(例えば入力画像I11)を左折判定用学習モデル20623に入力する。ステップ(d1)において、左折判定用学習モデル20623は、運転動作の分類確率を算出し、分類確率に基づいて自動二輪車の運転動作(左折)を判定する。左折の場合の分類結果の一例が図11に示される。ステップ(e1)において、分類確率の変化に基づいて、左折の終了タイミングが推定される。ステップ(f1)において、終了タイミングに基づいて、自動二輪車101Aの動作の制御が行われ、方向指示器203が消灯される。自動二輪車101Aが右折する場合も同様に、ステップ(a2)からステップ(f2)までの処理が繰り返され、入力画像I31,I32,I33に基づいて、最終的に方向指示器203が消灯される。
 図12を参照して第2実施形態における制御部206Aの処理について説明する。自動二輪車101Aでは、方向指示器203がオン状態となる操作が行われた場合に、学習モデル20621Aを用いた判定が行われる。制御部206Aでは、方向指示器203が右折を示す場合にはステップS12011からS12014までの処理が行われる。このとき、制御部206Aは、ステップS12011において、操作部202又は方向指示器203から、右折を示す入力を取得する。
 ステップS12012において、判定部2065及び動作制御部2066は、右折判定用学習モデル20622を用いて右折の終了を判定する。判定部2065及び動作制御部2066は、第1実施形態にて説明した方法と同様に、対応運転動作(ここでは右折)の判定及び右折の終了の判定を行う。ステップS12013において、判定部2065及び動作制御部2066は、右折が終了したか否かを判定する。ステップS12013において否定判断されるとステップS12012の処理に戻る。ステップS12013において肯定判断されると、ステップS12014において、動作制御部2066は、右折を示している方向指示器203を消灯する。
 同様に、制御部206Aでは、方向指示器203が左折を示す場合にはステップS12021からS12024までの処理が行われる。このとき、制御部206Aは、ステップS12021において、操作部202又は方向指示器203から、左折を示す入力を取得する。ステップS12022において、判定部2065及び動作制御部2066は、左折判定用学習モデル20623を用いて左折の終了を判定する。判定部2065及び動作制御部2066は、第1実施形態にて説明した方法と同様に、対応運転動作(左折)の判定及び左折の終了の判定を行う。ステップS12023において、判定部2065及び動作制御部2066は、左折が終了したか否かを判定する。ステップS12024において否定判断されるとステップS12023の処理に戻る。ステップS12023において肯定判断されると、ステップS12024において、動作制御部2066は、左折を示している方向指示器203を消灯する。
 左折の際の移動距離と右折の際の移動距離とは、例えば、経路P1,P3に示されるように異なる。左側通行の場合は、左折の移動距離は右折の移動距離より短くなり、右側通行の場合は、右折の移動距離が左折の移動距離より短くなることが多い。右折と左折とで動作が完了するまでに必要な移動距離が異なる場合は、自動二輪車101Aのように、右折と左折とを別の学習モデルによって判定することで、判定精度を向上させることができる。また反対方向の不要な動き(左折時なら右折動作)を判定から排除できる。
 第3実施形態について、図13を参照して説明する。図13には、第3実施形態に係る自動二輪車制御システム1300のブロック図が示される。自動二輪車制御システム1300は、自動二輪車101B及び判定装置1301を備える。
 自動二輪車制御システム1300では、自動二輪車101の、変換部2064、判定部2065、及び学習モデル20621が、自動二輪車101Bの外部の判定装置1301において実現される。判定装置1301は、外部と通信を行うための通信部13011、各種情報を記憶する記憶部13012、学習モデル13013、センサ部13014、変換部13015、及び判定部13016を有する。学習モデル13013、変換部13015、及び判定部13016の機能は、第1実施形態で説明した学習モデル20621、変換部2064、及び判定部2065の機能と同様である。判定装置1301は、例えば、自動二輪車101Bと通信可能なスマートフォン等の情報処理装置である。記憶部13012には、学習モデル13013、センサ部13014、変換部13015、及び判定部13016の機能を実現するための、専用のアプリケーションが記憶されてもよい。
 この場合、動作制御部2066は、走行データ取得部2063が取得した走行データを判定装置1301に送信し、判定装置1301から、方向指示器を消灯する指示を示す情報を取得する。このとき、判定部13016は、センサ部13014が取得したデータを合わせて用いてもよい。その後、動作制御部2066は、第1実施形態と同様に方向指示器203の制御を行う。判定装置1301を用いて対応運転動作の判定を行い、方向指示器を消灯する指示を示す情報を自動二輪車101に送信する形式を採用することで、自動二輪車101に学習モデル20621を記憶させる必要がなくなる。これにより、第1実施形態で説明したような対応運転動作の判定や方向指示器203の自動消灯の機能を簡易に提供することが可能となる。また不足するセンサを判定装置のセンサで補うことも可能となる。
 また、図14に示す自動二輪車制御システム1400のように、走行データ取得部2063は、センサ部205からの情報に加えて、自動二輪車101Bの外部の外付けセンサ1401からのセンサ情報を取得してもよい。例えば、センサ部205が自動二輪車101Bの傾きを検出する機能を有しない場合、自動二輪車101Bは、自動二輪車101Bの傾きを示す情報を、自動二輪車101Bに有線接続される外付けセンサ1401から取得してもよい。あるいは外付けセンサ1401は、カメラやレーダー装置であってもよい。判定に必要な情報を自動二輪車101Bの外部から取得することにより、センサ部205の構成が、対応運転動作の判定や方向指示器203の自動消灯の機能を提供するためには不十分である場合にも、これらの機能を提供することが可能となる。また、外付けセンサ1401は、センサ情報あるいは走行データを、無線通信によって直接判定装置1301に送信してもよい。
[規則91に基づく訂正 13.09.2023]
 第1実施形態から第3実施形態に係る自動二輪車101,101A,101Bについて補足する。以降の説明では第1実施形態に係る自動二輪車101を例に説明するが、以下の説明は第2実施形態に係る自動二輪車101A及び第3実施形態に係る101Bにも適用可能である。自動二輪車101では、参照走行データは、例えば、自動二輪車が右折のために方向指示器203をオン状態にし、右折終了後に方向指示器203をオフ状態とするまでの、所定の期間を含んで計測されるデータであるとして説明を行った。自動二輪車101では、方向指示器203がオン状態となって以降のある時間では直進移動が行われ、直進移動に関するデータは不要である。所定の期間は、例えば、方向指示器203がオフ状態とされた時点から、方向指示器203がオン状態となった時点より後のある時点まで遡った、自動二輪車101の右左折動作が行われた期間を含む一定期間としてもよい。
 また、第1実施形態において、各教師画像群TI1,TI2,TI3,TI4,TI5は、各運転動作に対応付けられるものとして説明した。ここで、所定の期間を方向指示器203の操作を基準として設定し、データの取得を行う場合、直進は通常の場合方向指示器203の操作を伴わないことから、データを実測取得することが出来ない。そこで、直進時には各種センサの実測値はほぼ一定の値をとるため、これを情報処理装置によって模擬的に作成し、作成されたデータを教師画像群として代替して用いてもよい。
 また、学習モデル20621は、画像トランスフォーマー(Vision Transformer)を使用する学習モデルであってもよい。
 また、第1実施形態において、右折の分類確率がピーク値をとるように変化した場合、対応運転動作(ここでは右折)が終了したと判定される場合を例に説明した。ここでは、左折の場合を例に説明を補足する。図15には、2回の左折動作が行われた場合の、ジャイロセンサによる各軸(x軸:進行方向、y軸:進行方向右手、z軸:地上方向に向かってx軸及びy軸に垂直)のセンサ値及び、速度が示される。図15ではx軸のジャイロセンサ値G1、y軸のジャイロセンサ値G2、z軸のジャイロセンサ値G3、及び速度V1がそれぞれ示される。図15には、車体を傾ける左折動作がジャイロセンサ値G3の値の変動として示されている。図16には、図15の移動が行われた場合に、判定部2065が算出した分類確率が示される。
 ここで、判定部2065は、図15に示された画像データを1つの画像データとして分類確率を算出してもよく、ジャイロセンサの各軸それぞれの値に基づくプロットがされた複数の画像及び速度に基づくプロットがされた画像をそれぞれ入力として、分類確率を算出してもよい。
 図16には、右左折以外の、直進を含む運転動作の分類確率PS、左折の分類確率PL、右折の分類確率PRがそれぞれ示される。左折の分類確率PLは、図15のジャイロセンサ値G3の増加に伴って増加する。左折の分類確率PLは、ジャイロセンサ値G3が減少した後に、入力画像と事前学習された画像との相関が最大となる位置、つまり方向指示器203がオフ状態とされる位置にてピーク値をとる。ピークは図16において、距離40m付近で生じ、その後減少して再び70m付近に生じている。つまり、2回の左折動作が発生していることが示される。
 判定部2065は、このような分類確率の変化に基づいて、直進や右左折などの運転動作を判定する。方向指示器203をオフにする操作は、左折の分類確率PLがピーク値をとったことに基づいて制御される。また、方向指示器203をオフにする操作は、左折又は右折の分類確率の最大点ではなく、左折又は右折の分類確率が最大となった後に、直進の分類確率が分類確率の中で最大になった点としてもよい。このようにして、ロードノイズの影響を受けやすい最大値がロードノイズによって変動することを抑え、消灯判定タイミングの変動を抑制することが出来る。このような判定は、学習に用いる参照走行データの取得範囲として所定の期間を方向指示器203がオフ状態となった時点から遡るのではなく、その時点より前の位置を基準として遡った範囲とすることで可能となる。
 上記の例では、パラメータとしてジャイロセンサの値と速度を用いた。速度を考慮することにより、例えば、速度を落とさずに行われる通常の車線変更と、交差点での低速での移動とを区別することが可能になる。よって右左折と車線変更とを区別せずに、高速かつ車線変更時だけ方向指示器203を消灯することが可能となる。
 また、第1実施形態では、走行データ取得部2063及び変換部2064を含む制御部206は、メーターや制御等を行う電子基板が設けられるハンドル部(コックピット部)に設けられてもよい。制御部206による処理がハンドル部の振動の影響を受けにくくなるので、ジャイロセンサ等を含むセンサ部をハンドル部に設置することが可能になる。
 また、第1実施形態において、変換部2064は、センサ値に応じて情報が2値化された画像を生成し、判定部2065による判定に用いてもよい。図17には、ある運転動作が行われた場合の、ジャイロセンサによる各軸(x軸:進行方向、y軸:進行方向右手、z軸:地上方向に向かってx軸及びy軸に垂直)のセンサ値及び、速度が、図15と同様に、x軸のジャイロセンサ値G1、y軸のジャイロセンサ値G2、z軸のジャイロセンサ値G3、及び速度V1としてそれぞれ示される。
 変換部2064は、例えば、x軸のジャイロセンサ値G1を変換した例である図18に示されるように、センサ値を2値化した状態としてもよい。図18では、色が濃い部分を1、他の部分を0としている。このようにグラフの情報を所定のピクセル数を有する画像として生成することも可能である。変換部2064は、各ジャイロセンサ値及び速度に基づいて、複数の画像を生成し、判定部2065は、生成された画像を直進や右左折などの運転動作の判定に用いてもよい。なお、このとき、参照走行データも同様に2値化されて学習される。さらに、センサ値を2値化した状態の画像を、累積関数を用いて、積算値の画像とすることで、ロードノイズ等による変動の影響が累積関数により相殺され、画像におけるノイズの発生及び判定精度低下を抑えてもよい。また、変換部2064は、2値化した状態の画像ではなく、図17に示されるようなセンサ値に基づいて、累積関数を用いたセンサ値の積算値の画像を、直進や右左折などの運転動作の判定に用いてもよい。
 以上、本発明の例示的な実施形態について説明した。自動二輪車101には、自動二輪車101に、所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得することと、走行データと、所定の期間にわたって連続し、自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、走行データに対応する運転動作である対応運転動作を判定することと、を実行させる、プログラムが記憶されている。
 所定の期間にわたって連続して計測された自動二輪車の走行データを用いて自動二輪車の運転動作を判定することで、一時停止などを行う場合であっても、待ち時間の影響を受けないようにでき、また一時的なノイズの影響を緩和できる。したがって、対応走行状態の判定精度を高くすることができる。
 また、自動二輪車101では、複数の運転動作には自動二輪車の右折及び左折が含まれ、動作制御部2066は、右折又は左折のいずれかの対応運転動作に基づいて、自動二輪車の方向指示器をオン状態からオフ状態に切り替える制御をする。
 また、自動二輪車101は、走行データと複数の参照走行データに基づいて、走行データが少なくとも1つの運転動作のそれぞれに分類される確率である分類確率を算出し、分類確率に基づいて、対応運転動作を判定する。
 これにより、例えば、少なくとも1つの運転動作の分類確率に対しての条件を設けることで、より走行データに適した対応運転動作を判定することが可能となる。ここで、条件とは、複数の分類確率のうち最大となる分類確率が関連付けられた運転動作を対応運転動作とすることや、所定の閾値を上回る分類確率が関連付けられた運転動作を対応運転動作とすることである。
 自動二輪車101において、判定部2065は、複数の参照走行データを入力とし、複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて学習された学習モデルに、入力画像を走行データとして入力し、学習モデルから、対応運転動作を出力として取得することで、対応運転動作を判定する。これにより、対応走行状態の判定精度を高くすることができる。
 自動二輪車101Aでは、学習モデル20621Aは、右折を判定する右折判定用学習モデル20622と左折を判定する左折判定用学習モデル20623と、を含み、走行データ取得部2063は、自動二輪車に右折又は左折を行わせる場合の操作を示す情報を取得し、判定部2065は、操作が右折に対応する場合、第1学習モデルを用いて対応運転動作を判定し、操作が左折に対応する場合、第2学習モデルを用いて対応運転動作を判定する。
 これにより、右折と左折とで動作が完了するまでに必要な移動距離が異なる場合であっても、右折と左折とを別の学習モデルによって判定し、判定精度を向上させることができる。
 自動二輪車101では、複数の運転動作には自動二輪車の右車線変更及び左車線変更がさらに含まれ、学習モデル20621は、右折と、左折と、右車線変更と、左車線変更とを区別可能に学習される。右折と同様の方向指示器203の操作が行われる右車線変更と、左折と同様の方向指示器203の操作が行われる左車線変更とを区別することができるようになる。よって、対応運転動作の判定精度が向上する。
 自動二輪車101では、走行データは、第1タイミングから所定の期間にわたって取得される第1走行データと、第1タイミングより後の第2タイミングから所定の期間にわたって取得される第2走行データと、第2タイミングより後の第3タイミングから所定の期間にわたって取得される第3走行データと、を含み、対応運転動作の分類確率は、第1走行データに基づく第1分類確率と、第2走行データに基づく第2分類確率と、第3走行データに基づく第3分類確率と、を含む。
 また、自動二輪車101では動作制御部2066は、分類確率を取得し、第2分類確率が第1分類確率及び第3分類確率より大きくなる場合に、第3タイミング以降の時刻に、対応運転動作に基づいて、自動二輪車の動作を制御する。
 これにより、タイミングとして中間にある第2分類確率がピークをとることをもって、対応運転動作の終了を判定することが可能となる。例えば、右折の開始時(第1タイミング)における右折の分類確率(第1分類確率)は、右折の最中(第2タイミング)における右折の分類確率(第2分類確率)より小さい。また、右折の終了時(第3タイミング)における右折の分類確率(第3分類確率)も、第2分類確率より小さくなる。このように、学習データは消灯タイミングから一定期間のデータであるので、その類似度である分類確率の変化に基づいて対応運転動作の終了を判定することで、例えば、より運転者に自然なタイミングで方向指示器203を消灯することができる。
 自動二輪車101では、変換部2064は。走行データに基づく入力2次元データを生成し、判定部2065は、入力2次元データを走行データとして、入力2次元データ及び複数の参照走行データとに基づいて、走行データに対応する運転動作である対応運転動作を判定する。これにより、走行データが複数の変数を含む場合であっても、走行データを、例えば、1つの画像とすることで変数間の相関関係を取り込むことが可能となる。複数の変数を用いて判定することで、対応運転動作の判定精度が向上する。
 自動二輪車101では、変換部2064は、走行データが1次元データである場合、走行データを2次元データに変換し、入力画像は、2次元データに変換された走行データに基づく変換済み入力データである。これにより、センサが1つの変数しか取得できない場合であっても、2次元データを用いた対応運転動作の判定が可能となる。
 自動二輪車101では、所定の期間は前記自動二輪車が所定の距離の移動に要する範囲である。時間ではなく距離に基づくことで、自動二輪車101が一時停止する等、時間に影響し、自動二輪車101の進行にはつながらない運転動作の影響を抑えることができる。
 また、自動二輪車101は、自動二輪車101の外部の端末から、学習モデル20621の更新に用いられる情報を取得し、学習モデル20621を更新する通信部2061をさらに備える。これにより、学習モデルの更新を簡易に行うことができる。
 また、自動二輪車101には、記憶部2062において、所定の期間にわたって連続する自動二輪車の複数の参照走行データを入力とし、複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて学習され、制御部206を、所定の期間にわたって連続して計測された自動二輪車の走行データの入力に対し、走行データに対応する運転動作である対応運転動作を出力するよう機能させる学習モデルが記憶される。
 自動二輪車101では、複数の参照走行データは、自動二輪車の方向指示器がオン状態からオフ状態に切り替えられた時点から遡った期間にわたって取得されたデータを含んでもよい。
 複数の参照走行データは、自動二輪車の方向指示器がオン状態からオフ状態に切り替えられた時点より前の時点から遡った期間にわたって取得されたデータを含んでもよい。このとき、動作制御部2066は、分類確率を取得し、第1分類確率が右折又は左折を示し、第2分類確率が直進を示し、第2分類確率が第1分類確率より大きくなる場合に、第2タイミング以降の時刻に、対応運転動作に基づいて、自動二輪車の動作を制御してもよい。このように、方向指示器がオン状態からオフ状態に切り替えられた時点より前の時点から遡った期間にわたって複数の参照走行データを取得する場合、ロードノイズの影響を受けやすい分類確率の最大値がロードノイズによって変動することを抑え、消灯判定タイミングの変動を抑制することが出来る。
 自動二輪車101では、変換部2064は、走行データを、累積関数によって積算値に変換して、入力2次元データを生成してもよい。これにより、ロードノイズ等による変動の影響が累積関数により相殺され、画像におけるノイズの発生及び判定精度低下を抑えることができる。
 自動二輪車101では、参照走行データは、実際に走行によるデータとは異なり、情報処理装置によって生成されたデータを含んでもよい。これにより、データを実測取得することが出来ない場合であっても、データを生成し、機械学習に用いることができる。
 自動二輪車101では、走行データ取得部2063及び判定部2065は、自動二輪車101のハンドル部に設けられてもよい。また、走行データ及び参照走行データは、ハンドル部に設けられたジャイロセンサ及び速度センサから取得されたデータであってもよい。
 なお、以上説明した各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更/改良され得るとともに、本発明にはその等価物も含まれる。即ち、各実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、各実施形態が備える各要素及びその配置、条件、形状、サイズなどは、例示したものに限定されるわけではなく適宜変更することができる。また、以上の実施形態において説明してきたプログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、非一時的な記憶媒体(Non―transitory computer readable medium)であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、USBメモリ又はCD-ROM等の記憶媒体であってもよい。また、各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。
<1>
 コンピュータに、
 所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得することと、
 前記走行データと、前記所定の期間にわたって連続し、前記自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、前記走行データに対応する運転動作である対応運転動作を判定することと、を実行させる、プログラム。
<2>
 <1>に記載のプログラムであって、
 前記複数の運転動作には前記自動二輪車の右折及び左折が含まれ、
 前記コンピュータに、
 前記右折又は前記左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える制御をすること、をさらに実行させる、プログラム。
<3>
 <1>又は<2>に記載のプログラムであって、
 前記判定することは、
 前記走行データと前記複数の参照走行データに基づいて、前記走行データが前記少なくとも1つの運転動作のそれぞれに分類される確率である分類確率を算出し、前記分類確率に基づいて、前記対応運転動作を判定すること、を含む、プログラム。
<4>
 <1>から<3>のいずれかに記載のプログラムであって、
 前記判定することは、
 前記複数の参照走行データを入力とし、前記複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて、前記右折と前記左折とを区別可能に学習された学習モデルに、前記走行データを入力し、前記学習モデルから、前記対応運転動作を出力として取得することで、前記対応運転動作を判定すること、を含む、プログラム。
<5>
 <4>に記載のプログラムであって、
 前記学習モデルは、前記右折を判定する第1学習モデルと前記左折を判定する第2学習モデルと、を含み、
 前記コンピュータに、
 前記自動二輪車に前記右折又は前記左折を行わせる場合の操作を示す情報を取得すること、をさらに実行させ、
 前記判定することは、
 前記操作が前記右折に対応する場合、前記第1学習モデルを用いて前記対応運転動作を判定し、
 前記操作が前記左折に対応する場合、前記第2学習モデルを用いて前記対応運転動作を判定する、プログラム。
<6>
 <4>又は<5>に記載のプログラムであって、
 前記複数の運転動作には前記自動二輪車の右車線変更及び左車線変更がさらに含まれ、 前記学習モデルは、前記右折と、前記左折と、前記右車線変更と、前記左車線変更とを区別可能に学習される、プログラム。
<7>
 <3>に記載のプログラムであって、
 前記走行データは、
 第1タイミングから前記所定の期間にわたって取得される第1走行データと、前記第1タイミングより後の第2タイミングから前記所定の期間にわたって取得される第2走行データと、前記第2タイミングより後の第3タイミングから前記所定の期間にわたって取得される第3走行データと、を含み、
 前記対応運転動作の分類確率は、
 前記第1走行データに基づく第1分類確率と、前記第2走行データに基づく第2分類確率と、前記第3走行データに基づく第3分類確率と、を含み、
 前記制御することは、前記分類確率を取得し、前記第2分類確率が前記第1分類確率及び前記第3分類確率より大きくなる場合に、前記第3タイミング以降の時刻に、前記対応運転動作に基づいて、前記自動二輪車の動作を制御することと、をさらに実行させる、プログラム。
<8>
 <1>から<7>に記載のプログラムであって、
 前記コンピュータに、
 前記走行データに基づく入力2次元データを生成させること、をさらに実行させ、
 前記判定することは、
 前記入力2次元データを前記走行データとして、前記入力2次元データ及び前記複数の参照走行データとに基づいて、前記走行データに対応する運転動作である対応運転動作を判定する、前記入力2次元データを前記走行データとして、前記入力2次元データ及び前記複数の参照走行データとに基づいて、前記走行データに対応する運転動作である対応運転動作を判定する、プログラム。
<9>
 <8>に記載のプログラムであって、
 前記コンピュータに、
 前記走行データが1次元データである場合、前記走行データを2次元データに変換すること、をさらに実行させ、
 前記入力2次元データは、前記2次元データに変換された前記走行データに基づくデータである、プログラム。
<10>
 <1>から<9>のいずれかに記載のプログラムであって、
 前記所定の期間は前記自動二輪車が所定の距離の移動に要する範囲である、プログラム。
<11>
 所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得する取得部と、
 前記走行データと、前記所定の期間にわたって連続し、前記自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、前記走行データに対応する対応運転動作を判定する判定部と、を備える、装置。
<12>
 <11>に記載の装置であって、
 前記判定部は、
 前記複数の参照走行データを入力とし、前記複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて学習された学習モデルに、前記走行データを入力し、前記学習モデルから、前記対応運転動作を出力として取得することで、前記対応運転動作を判定し、
 前記装置の外部の端末から、前記学習モデルの更新に用いられる情報を取得し、前記学習モデルを更新する、通信部、をさらに備える、装置。
<13>
 <11>又は<12>に記載の装置であって、
 前記取得部は、前記走行データの少なくとも一部を前記取得部と通信可能な端末から取得する、装置。
<14>
<11>から<13>のいずれかに記載の装置であって、
 前記取得部は、前記走行データの少なくとも一部を、レーダー又はカメラから取得する、装置。
<15>
 <11>から<14>のいずれか一項に記載の装置であって、
 前記複数の運転動作には前記自動二輪車の右折及び左折が含まれ、
 前記右折又は前記左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える動作制御部、をさらに備える、装置。
<16>
 <15>に記載の装置であって、
 前記判定部は、
 前記走行データと前記複数の参照走行データに基づいて、前記走行データが前記複数の運転動作のそれぞれに分類される確率である分類確率を算出し、前記分類確率に基づいて、前記対応運転動作を判定する、装置。
<17>
 <15>又は<16>に記載の装置であって、
 前記判定部は、
 前記複数の参照走行データを入力とし、前記複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて、前記自動二輪車の右折と前記自動二輪車の左折とを区別可能に学習された学習モデルに、前記走行データを入力し、前記学習モデルから、前記対応運転動作を出力として取得することで、前記対応運転動作を判定する、装置。
<18>
 <17>に記載の装置であって、
 前記学習モデルは、前記右折を判定する第1学習モデルと前記左折を判定する第2学習モデルと、を含み、
 前記自動二輪車に前記右折又は前記左折を行わせる場合の操作を示す情報を取得する取得部、をさらに備え、
 前記判定部は、
 前記操作が前記右折に対応する場合、前記第1学習モデルを用いて前記対応運転動作を判定し、
 前記操作が前記左折に対応する場合、前記第2学習モデルを用いて前記対応運転動作を判定する、装置。
<19>
 <17>に記載の装置であって、
 前記複数の運転動作には前記自動二輪車の右車線変更及び左車線変更がさらに含まれ、
 前記学習モデルは、前記右折と、前記左折と、前記右車線変更と、前記左車線変更とを区別可能に学習される、装置。
<20>
 <15>から<19>のいずれか一項に記載の装置であって、
 前記複数の参照走行データは、前記自動二輪車の前記方向指示器が前記オン状態から前記オフ状態に切り替えられた時点から遡った期間にわたって取得されたデータを含む、装置。
<21>
 <20>に記載の装置であって、
 前記走行データは、
 第1タイミングから前記所定の期間にわたって取得される第1走行データと、前記第1タイミングより後の第2タイミングから前記所定の期間にわたって取得される第2走行データと、前記第2タイミングより後の第3タイミングから前記所定の期間にわたって取得される第3走行データと、を含み、
 前記対応運転動作の分類確率は、
 前記第1走行データに基づく第1分類確率と、前記第2走行データに基づく第2分類確率と、前記第3走行データに基づく第3分類確率と、を含み、
 前記自動二輪車の右折又は前記自動二輪車の左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える動作制御部は、前記分類確率を取得し、前記第2分類確率が前記第1分類確率及び前記第3分類確率より大きくなる場合に、前記第3タイミング以降の時刻に、前記対応運転動作に基づいて、前記自動二輪車の動作を制御する、装置。
<22>
 <15>から<19>のいずれか一項に記載の装置であって、
 前記複数の参照走行データは、前記自動二輪車の方向指示器がオン状態からオフ状態に切り替えられた時点より前の時点から遡った期間にわたって取得されたデータを含む、装置。
<23>
 <22>に記載の装置であって、
 前記走行データは、
 第1タイミングから前記所定の期間にわたって取得される第1走行データと、前記第1タイミングより後の第2タイミングから前記所定の期間にわたって取得される第2走行データと、を含み、
 前記対応運転動作の分類確率は、
 前記第1走行データに基づく第1分類確率と、前記第2走行データに基づく第2分類確率と、を含み、
 前記自動二輪車の右折又は前記自動二輪車の左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える動作制御部は、前記分類確率を取得し、前記第1分類確率が前記右折又は前記左折を示し、前記第2分類確率が直進を示し、前記第2分類確率が前記第1分類確率より大きくなる場合に、前記第2タイミング以降の時刻に、前記対応運転動作に基づいて、前記自動二輪車の動作を制御すること、をさらに実行させる、装置。
<24>
 <11>から<23>のいずれか一項に記載の装置であって、
 前記走行データに基づく入力2次元データを生成する変換部、をさらに備え、
 前記判定部は、
 前記入力2次元データを前記走行データとして、前記入力2次元データ及び前記複数の参照走行データとに基づいて、前記走行データに対応する運転動作である対応運転動作を判定する、装置。
<25>
 <24>に記載の装置であって、
 前記変換部は、前記走行データが1次元データである場合、前記走行データを2次元データに変換し、
 前記入力2次元データは、前記2次元データに変換された前記走行データに基づくデータである、装置。
<26>
 <24>又は<25>に記載の装置であって、
 前記変換部は、前記走行データを、累積関数によって積算値に変換して、前記入力2次元データを生成する、装置。
<27>
 <11>から<26>のいずれか一項に記載の装置であって、
 前記所定の期間は前記自動二輪車が所定の距離の移動に要する時間範囲である、装置。
<28>
 <11>から<27>のいずれか一項に記載の装置であって、
 前記参照走行データは、実際に走行によるデータとは異なり、情報処理装置によって生成されたデータを含む、装置。
<29>
 <11>から<28>のいずれか一項に記載の装置であって、
 前記取得部及び前記判定部は、前記自動二輪車のハンドル部に設けられる、装置。
<30>
 <29>に記載の装置であって、前記走行データ及び前記参照走行データは、前記ハンドル部に設けられたジャイロセンサ及び速度センサから取得されたデータである、装置。
<31>
 所定の期間にわたって連続する自動二輪車の複数の参照走行データを入力とし、前記複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて学習され、
 コンピュータを、
 前記所定の期間にわたって連続して計測された前記自動二輪車の走行データの入力に対し、前記走行データに対応する運転動作である対応運転動作を出力するよう機能させる、学習モデル。
<32>
 <31>に記載の学習モデルであって、
 前記所定の期間は前記自動二輪車が所定の距離の移動に要する時間範囲である、学習モデル。
<33>
 コンピュータが、
 所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得することと、
 前記走行データと、前記所定の期間にわたって連続し、前記自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、前記走行データに対応する対応運転動作を判定することと、を含む、方法。
<34>
 <33>に記載の方法であって、
 前記所定の期間は前記自動二輪車が所定の距離の移動に要する時間範囲である、方法。
 101,101A,101B…自動二輪車、203…方向指示器、205…センサ部、206,206A…制御部、1100…自動二輪車制御システム、1101…判定装置、1102…センシング端末、2063…走行データ取得部、2064…変換部、2065…判定部、2066…動作制御部、20612…学習モデル 

Claims (34)

  1.  コンピュータに、
     所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得することと、
     前記走行データと、前記所定の期間にわたって連続し、前記自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、前記走行データに対応する運転動作である対応運転動作を判定することと、を実行させる、プログラム。
  2.  請求項1に記載のプログラムであって、
     前記複数の運転動作には前記自動二輪車の右折及び左折が含まれ、
     前記コンピュータに、
     前記右折又は前記左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える制御をすること、をさらに実行させる、プログラム。
  3.  請求項1又は2に記載のプログラムであって、
     前記判定することは、
     前記走行データと前記複数の参照走行データに基づいて、前記走行データが前記複数の運転動作のそれぞれに分類される確率である分類確率を算出し、前記分類確率に基づいて、前記対応運転動作を判定すること、を含む、プログラム。
  4.  請求項1から3のいずれか一項に記載のプログラムであって、
     前記判定することは、
     前記複数の参照走行データを入力とし、前記複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて、前記自動二輪車の右折と前記自動二輪車の左折とを区別可能に学習された学習モデルに、前記走行データを入力し、前記学習モデルから、前記対応運転動作を出力として取得することで、前記対応運転動作を判定すること、を含む、プログラム。
  5.  請求項4に記載のプログラムであって、
     前記学習モデルは、前記右折を判定する第1学習モデルと前記左折を判定する第2学習モデルと、を含み、
     前記コンピュータに、
     前記自動二輪車に前記右折又は前記左折を行わせる場合の操作を示す情報を取得すること、をさらに実行させ、
     前記判定することは、
     前記操作が前記右折に対応する場合、前記第1学習モデルを用いて前記対応運転動作を判定し、
     前記操作が前記左折に対応する場合、前記第2学習モデルを用いて前記対応運転動作を判定する、プログラム。
  6.  請求項4又は5に記載のプログラムであって、
     前記複数の運転動作には前記自動二輪車の右車線変更及び左車線変更がさらに含まれ、
     前記学習モデルは、前記右折と、前記左折と、前記右車線変更と、前記左車線変更とを区別可能に学習される、プログラム。
  7.  請求項3に記載のプログラムであって、
     前記走行データは、
     第1タイミングから前記所定の期間にわたって取得される第1走行データと、前記第1タイミングより後の第2タイミングから前記所定の期間にわたって取得される第2走行データと、前記第2タイミングより後の第3タイミングから前記所定の期間にわたって取得される第3走行データと、を含み、
     前記対応運転動作の分類確率は、
     前記第1走行データに基づく第1分類確率と、前記第2走行データに基づく第2分類確率と、前記第3走行データに基づく第3分類確率と、を含み、
     前記コンピュータに、前記自動二輪車の右折又は前記自動二輪車の左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える制御と、前記分類確率を取得し、前記第2分類確率が前記第1分類確率及び前記第3分類確率より大きくなる場合に、前記第3タイミング以降の時刻に、前記対応運転動作に基づいて、前記自動二輪車の動作を制御することと、をさらに実行させる、プログラム。
  8.  請求項1から7のいずれか一項に記載のプログラムであって、
     前記コンピュータに、
     前記走行データに基づく入力2次元データを生成させること、をさらに実行させ、
     前記判定することは、
     前記入力2次元データを前記走行データとして、前記入力2次元データ及び前記複数の参照走行データとに基づいて、前記走行データに対応する運転動作である対応運転動作を判定する、プログラム。
  9.  請求項8に記載のプログラムであって、
     前記コンピュータに、
     前記走行データが1次元データである場合、前記走行データを2次元データに変換すること、をさらに実行させ、
     前記入力2次元データは、前記2次元データに変換された前記走行データに基づくデータである、プログラム。
  10.  請求項1から9のいずれか一項に記載のプログラムであって、
     前記所定の期間は前記自動二輪車が所定の距離の移動に要する時間範囲である、プログラム。
  11.  所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得する取得部と、
     前記走行データと、前記所定の期間にわたって連続し、前記自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、前記走行データに対応する対応運転動作を判定する判定部と、を備える、装置。
  12.  請求項11に記載の装置であって、
     前記判定部は、
     前記複数の参照走行データを入力とし、前記複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて学習された学習モデルに、前記走行データを入力し、前記学習モデルから、前記対応運転動作を出力として取得することで、前記対応運転動作を判定し、
     前記装置の外部の端末から、前記学習モデルの更新に用いられる情報を取得し、前記学習モデルを更新する、通信部、をさらに備える、装置。
  13.  請求項11又は12に記載の装置であって、
     前記取得部は、前記走行データの少なくとも一部を前記取得部と通信可能な端末から取得する、装置。
  14. 請求項11から13のいずれか一項に記載の装置であって、
     前記取得部は、前記走行データの少なくとも一部を、レーダー又はカメラから取得する、装置。
  15.  請求項11から14のいずれか一項に記載の装置であって、
     前記複数の運転動作には前記自動二輪車の右折及び左折が含まれ、
     前記右折又は前記左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える動作制御部、をさらに備える、装置。
  16.  請求項15に記載の装置であって、
     前記判定部は、
     前記走行データと前記複数の参照走行データに基づいて、前記走行データが前記複数の運転動作のそれぞれに分類される確率である分類確率を算出し、前記分類確率に基づいて、前記対応運転動作を判定する、装置。
  17.  請求項15又は16に記載の装置であって、
     前記判定部は、
     前記複数の参照走行データを入力とし、前記複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて、前記自動二輪車の右折と前記自動二輪車の左折とを区別可能に学習された学習モデルに、前記走行データを入力し、前記学習モデルから、前記対応運転動作を出力として取得することで、前記対応運転動作を判定する、装置。
  18.  請求項17に記載の装置であって、
     前記学習モデルは、前記右折を判定する第1学習モデルと前記左折を判定する第2学習モデルと、を含み、
     前記自動二輪車に前記右折又は前記左折を行わせる場合の操作を示す情報を取得する取得部、をさらに備え、
     前記判定部は、
     前記操作が前記右折に対応する場合、前記第1学習モデルを用いて前記対応運転動作を判定し、
     前記操作が前記左折に対応する場合、前記第2学習モデルを用いて前記対応運転動作を判定する、装置。
  19.  請求項17に記載の装置であって、
     前記複数の運転動作には前記自動二輪車の右車線変更及び左車線変更がさらに含まれ、
     前記学習モデルは、前記右折と、前記左折と、前記右車線変更と、前記左車線変更とを区別可能に学習される、装置。
  20.  請求項15から19のいずれか一項に記載の装置であって、
     前記複数の参照走行データは、前記自動二輪車の前記方向指示器が前記オン状態から前記オフ状態に切り替えられた時点から遡った期間にわたって取得されたデータを含む、装置。
  21.  請求項20に記載の装置であって、
     前記走行データは、
     第1タイミングから前記所定の期間にわたって取得される第1走行データと、前記第1タイミングより後の第2タイミングから前記所定の期間にわたって取得される第2走行データと、前記第2タイミングより後の第3タイミングから前記所定の期間にわたって取得される第3走行データと、を含み、
     前記対応運転動作の分類確率は、
     前記第1走行データに基づく第1分類確率と、前記第2走行データに基づく第2分類確率と、前記第3走行データに基づく第3分類確率と、を含み、
     前記自動二輪車の右折又は前記自動二輪車の左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える動作制御部は、前記分類確率を取得し、前記第2分類確率が前記第1分類確率及び前記第3分類確率より大きくなる場合に、前記第3タイミング以降の時刻に、前記対応運転動作に基づいて、前記自動二輪車の動作を制御する、装置。
  22.  請求項15から19のいずれか一項に記載の装置であって、
     前記複数の参照走行データは、前記自動二輪車の方向指示器がオン状態からオフ状態に切り替えられた時点より前の時点から遡った期間にわたって取得されたデータを含む、装置。
  23.  請求項22に記載の装置であって、
     前記走行データは、
     第1タイミングから前記所定の期間にわたって取得される第1走行データと、前記第1タイミングより後の第2タイミングから前記所定の期間にわたって取得される第2走行データと、を含み、
     前記対応運転動作の分類確率は、
     前記第1走行データに基づく第1分類確率と、前記第2走行データに基づく第2分類確率と、を含み、
     前記自動二輪車の右折又は前記自動二輪車の左折のいずれかの前記対応運転動作に基づいて、前記自動二輪車の方向指示器をオン状態からオフ状態に切り替える動作制御部は、前記分類確率を取得し、前記第1分類確率が前記右折又は前記左折を示し、前記第2分類確率が直進を示し、前記第2分類確率が前記第1分類確率より大きくなる場合に、前記第2タイミング以降の時刻に、前記対応運転動作に基づいて、前記自動二輪車の動作を制御すること、をさらに実行させる、装置。
  24.  請求項11から23のいずれか一項に記載の装置であって、
     前記走行データに基づく入力2次元データを生成する変換部、をさらに備え、
     前記判定部は、
     前記入力2次元データを前記走行データとして、前記入力2次元データ及び前記複数の参照走行データとに基づいて、前記走行データに対応する運転動作である対応運転動作を判定する、装置。
  25.  請求項24に記載の装置であって、
     前記変換部は、前記走行データが1次元データである場合、前記走行データを2次元データに変換し、
     前記入力2次元データは、前記2次元データに変換された前記走行データに基づくデータである、装置。
  26.  請求項24又は25に記載の装置であって、
     前記変換部は、前記走行データを、累積関数によって積算値に変換して、前記入力2次元データを生成する、装置。
  27.  請求項11から26のいずれか一項に記載の装置であって、
     前記所定の期間は前記自動二輪車が所定の距離の移動に要する時間範囲である、装置。
  28.  請求項11から27のいずれか一項に記載の装置であって、
     前記参照走行データは、実際に走行によるデータとは異なり、情報処理装置によって生成されたデータを含む、装置。
  29.  請求項11から28のいずれか一項に記載の装置であって、
     前記取得部及び前記判定部は、前記自動二輪車のハンドル部に設けられる、装置。
  30.  請求項29に記載の装置であって、前記走行データ及び前記参照走行データは、前記ハンドル部に設けられたジャイロセンサ及び速度センサから取得されたデータである、装置。
  31.  所定の期間にわたって連続する自動二輪車の複数の参照走行データを入力とし、前記複数の参照走行データのそれぞれに関連付けられる運転動作を出力とする教師データを用いて学習され、
     コンピュータを、
     前記所定の期間にわたって連続して計測された前記自動二輪車の走行データの入力に対し、前記走行データに対応する運転動作である対応運転動作を出力するよう機能させる、学習モデル。
  32.  請求項31に記載の学習モデルであって、
     前記所定の期間は前記自動二輪車が所定の距離の移動に要する時間範囲である、学習モデル。
  33.  コンピュータが、
     所定の期間にわたって連続して計測された自動二輪車の走行データを、少なくとも1つのセンサから取得することと、
     前記走行データと、前記所定の期間にわたって連続し、前記自動二輪車の複数の運転動作のそれぞれが関連付けられる複数の参照走行データとに基づいて、前記走行データに対応する対応運転動作を判定することと、を含む、方法。
  34.  請求項33に記載の方法であって、
     前記所定の期間は前記自動二輪車が所定の距離の移動に要する時間範囲である、方法。 
PCT/JP2023/025192 2022-07-25 2023-07-06 プログラム、装置、学習モデル、及び方法 WO2024024448A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-117823 2022-07-25
JP2022117823 2022-07-25

Publications (1)

Publication Number Publication Date
WO2024024448A1 true WO2024024448A1 (ja) 2024-02-01

Family

ID=89706166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025192 WO2024024448A1 (ja) 2022-07-25 2023-07-06 プログラム、装置、学習モデル、及び方法

Country Status (1)

Country Link
WO (1) WO2024024448A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199849A (ja) * 1997-09-30 1999-04-13 Nissan Motor Co Ltd 運転行動パターン認識装置
JP2017058761A (ja) * 2015-09-14 2017-03-23 株式会社デンソー 運転支援装置及び運転支援プログラム
JP2017154725A (ja) * 2015-04-21 2017-09-07 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
WO2021064868A1 (ja) * 2019-10-01 2021-04-08 三菱電機株式会社 挙動モデル生成装置、挙動推定装置、挙動推定システム、挙動モデル生成方法、挙動推定方法、挙動モデル生成プログラム、および挙動推定プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199849A (ja) * 1997-09-30 1999-04-13 Nissan Motor Co Ltd 運転行動パターン認識装置
JP2017154725A (ja) * 2015-04-21 2017-09-07 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2017058761A (ja) * 2015-09-14 2017-03-23 株式会社デンソー 運転支援装置及び運転支援プログラム
WO2021064868A1 (ja) * 2019-10-01 2021-04-08 三菱電機株式会社 挙動モデル生成装置、挙動推定装置、挙動推定システム、挙動モデル生成方法、挙動推定方法、挙動モデル生成プログラム、および挙動推定プログラム

Similar Documents

Publication Publication Date Title
JP6237256B2 (ja) 車速制御装置
KR102313026B1 (ko) 차량 및 차량 후진 시 충돌방지 보조 방법
CN108885836B (zh) 驾驶辅助装置、系统、方法、控制装置、车辆及介质
EP2957474B1 (en) Parking assist apparatus
JP2018190217A (ja) 運転者監視装置、及び運転者監視方法
JP4319928B2 (ja) 車両状態検知システムおよび車両状態検知方法
JP2009096349A (ja) 車両用運転支援装置
JP2009116790A (ja) 車両用運転支援装置および運転支援方法
US10875508B2 (en) Vehicle traveling assistance method and vehicle traveling assistance device
CN109808706A (zh) 学习式辅助驾驶控制方法、装置、系统及车辆
US11772614B2 (en) Drive assistance device for saddle type vehicle
JP6817166B2 (ja) 自動運転のポリシー生成装置及び車両
JP2017168080A (ja) ライダーの能力を分析するための方法、システム、及び、車両
JP4277907B2 (ja) 自動車の走行制御装置
CN111867912A (zh) 用于在可至少部分自动化行驶的车辆和车辆的用户之间进行交互的装置、运行方法以及对应的计算机程序产品
JP2018127084A (ja) 自動運転車両
RU2746747C1 (ru) Способ изучения характеристик передвижения и устройство помощи при передвижении
JP2019156297A (ja) 走行支援システムおよび車両の制御方法
WO2024024448A1 (ja) プログラム、装置、学習モデル、及び方法
JP2006160032A (ja) 運転状態判定装置及び運転状態判定方法
JP5254687B2 (ja) 方向指示器制御装置
JP4696539B2 (ja) 車両の走行支援装置
JP4923766B2 (ja) 車両用制動力制御装置
JPS63137059A (ja) ヘツドライト駆動装置
CN112810611B (zh) 用于车道变换控制的侧向轨迹追踪方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23846180

Country of ref document: EP

Kind code of ref document: A1