WO2024004195A1 - 操作判定装置及び操作判定方法 - Google Patents

操作判定装置及び操作判定方法 Download PDF

Info

Publication number
WO2024004195A1
WO2024004195A1 PCT/JP2022/026453 JP2022026453W WO2024004195A1 WO 2024004195 A1 WO2024004195 A1 WO 2024004195A1 JP 2022026453 W JP2022026453 W JP 2022026453W WO 2024004195 A1 WO2024004195 A1 WO 2024004195A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
infrared light
operating device
light receiving
vehicle
Prior art date
Application number
PCT/JP2022/026453
Other languages
English (en)
French (fr)
Inventor
幹夫 荒木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/026453 priority Critical patent/WO2024004195A1/ja
Publication of WO2024004195A1 publication Critical patent/WO2024004195A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a manipulation determination device and a manipulation determination method.
  • the conventional operation determination device includes both an infrared light emitting section and an infrared light receiving section that constitute an infrared sensor, there is a problem in that the cost or size of the operation determination device is relatively large.
  • the present disclosure has been made in view of the above problems, and aims to provide a technique that can reduce the cost or size of an operation determination device.
  • An operation determination device is an operation determination device that determines an operation on an operation device used in a vehicle
  • the operation determination device is an operation determination device that determines an operation on an operation device used in a vehicle.
  • the infrared receiving section that can receive infrared rays reflected by the body of the driver who operates the vehicle
  • a determination unit that determines whether or not the operation has been performed.
  • the driver determines whether or not the driver has operated the operating device using infrared rays emitted from the infrared light emitting unit included in the driver monitoring system, thereby reducing the cost or size of the operation determining device. Can be done.
  • FIG. 1 is a block diagram showing the configuration of an operation determination device according to Embodiment 1.
  • FIG. FIG. 2 is a block diagram showing the configuration of an operation determination device according to a second embodiment.
  • FIG. 7 is a diagram for explaining reception of infrared rays according to Embodiment 2.
  • FIG. 7 is a flowchart showing the operation of the operation determination device according to Embodiment 2.
  • FIG. 7 is a diagram for explaining reception of infrared rays according to Modification 1.
  • FIG. FIG. 7 is a diagram for explaining reception of infrared rays according to Modification 2.
  • FIG. 7 is a front view showing the positional relationship between a DMS and a display device according to Modification 3.
  • FIG. 7 is a cross-sectional view showing the positional relationship between a DMS and a display device according to Modification 3.
  • FIG. FIG. 3 is a block diagram showing the configuration of an operation determination device according to Embodiment 3.
  • FIG. 7 is a diagram showing an example of an image captured by an infrared camera according to Embodiment 3.
  • FIG. 7 is a block diagram showing a hardware configuration of an operation determination device according to another modification.
  • FIG. 7 is a block diagram showing a hardware configuration of an operation determination device according to another modification.
  • FIG. 7 is a block diagram showing the configuration of a server according to another modification.
  • FIG. 3 is a block diagram showing the configuration of a communication terminal according to another modification.
  • FIG. 1 is a block diagram showing the configuration of an operation determination device 1 according to the first embodiment.
  • the operation determination device 1 in FIG. 1 determines an operation on an operation device 41 used in a vehicle.
  • the operation determination device 1 may be provided in a vehicle, or may be provided outside the vehicle as described at the end of this specification.
  • the infrared light emitting unit 31 is provided in a vehicle and is included in a driver monitoring system (DMS) that monitors the driver of the vehicle.
  • the infrared light emitting unit 31 is provided separately from the operation determination device 1, and is not included in the operation determination device 1.
  • the infrared light emitting unit 31 emits infrared light directed toward the driver in order to image the driver with a strobe light.
  • the operation determination device 1 in FIG. 1 is communicably connected to the operating device 41 and the infrared light receiving section 42.
  • the operating device 41 and the infrared light receiving section 42 are provided separately from the operation determining device 1, but at least one of the operating device 41 and the infrared light receiving section 42 is provided separately from the operation determining device 1. 1 may be provided.
  • the operating device 41 accepts operations from the driver and fellow passengers of the vehicle.
  • the operating device 41 includes at least one of a touch panel and an operating button provided on, for example, an instrument panel of a vehicle.
  • the fellow passenger may be a passenger in the passenger seat or a fellow passenger in the rear seat.
  • the infrared light receiving section 42 is configured to be able to receive infrared light emitted from the infrared light emitting section 31 and reflected by the body of the driver who operates the operating device 41.
  • the driver's body includes, for example, at least a portion of the driver's shoulders to hands.
  • the infrared receiver 42 may receive not only infrared rays reflected by the driver's body but also other infrared rays.
  • the infrared receiver 42 detects the intensity of the infrared rays based on the received infrared rays.
  • the infrared light receiving section 42 is provided at a position where the intensity of the infrared light received by the infrared light receiving section 42 changes when the driver operates the operating device 41.
  • the operation determination device 1 in FIG. 1 includes an acquisition section 11 and a determination section 12.
  • the acquisition unit 11 acquires the intensity of the infrared rays received and detected by the infrared reception unit 42 from the infrared reception unit 42.
  • the acquisition unit 11 may be, for example, an interface of the infrared light receiving unit 42, or may be the infrared light receiving unit 42 itself when the operation determination device 1 includes the infrared light receiving unit 42.
  • the determination unit 12 determines whether the driver has operated the operating device 41 based on the intensity acquired by the acquisition unit 11.
  • the determination unit 12 uses a processing circuit, which will be described later.
  • the determination unit 12 determines that the driver has operated the operating device 41, and determines that the intensity acquired by the acquisition unit 11 has not changed. If so, it is determined that the driver did not operate the operating device 41. Further, if the operating device 41 is operated even though it is determined that the driver has not operated the operating device 41, the determining unit 12 determines that the fellow passenger has operated the operating device 41.
  • strength acquired by the acquisition part 11 changes is assumed, for example, when the said intensity
  • the operation determination device 1 determines whether the driver has operated the operating device 41 using infrared light emitted from the infrared light emitting unit 31 included in the DMS. According to such a configuration, it is possible to determine whether the driver or the fellow passenger operated the operating device 41 without providing a dedicated infrared light emitting unit in the operation determining device 1. The cost or size of can be reduced.
  • FIG. 2 is a block diagram showing the configuration of the operation determination device 1 according to the second embodiment.
  • constituent elements that are the same or similar to the above-mentioned constituent elements will be given the same or similar reference numerals, and different constituent elements will be mainly explained.
  • the operation determination device 1 according to the second embodiment is included in the display device 40.
  • the display device 40 is provided separately from the DMS 30 and is communicably connected to the vehicle speed detection section 51 and the head unit 52. Before explaining the display device 40, the DMS 30, the vehicle speed detection section 51, and the head unit 52 will be explained.
  • the DMS 30 includes an infrared light emitting element 31a, an infrared camera 32, and a control section 33.
  • the infrared light emitting element 31a is included in the concept of the infrared light emitting unit 31 in FIG. 1, and emits infrared light toward the driver 61.
  • the infrared camera 32 captures an image of the driver 61 based on the infrared rays reflected from the driver 61.
  • the control unit 33 controls the infrared light emitting element 31a and the infrared camera 32 to match the timing at which the infrared light emitting element 31a emits infrared light and the timing at which the infrared camera 32 captures an image.
  • the control unit 33 determines and monitors, for example, the facial expression, posture, and movement of the driver 61 based on the image captured by the infrared camera 32 .
  • the control unit 33 includes, for example, a CPU (Central Processing Unit).
  • the vehicle speed detection unit 51 detects the vehicle speed, which is the speed of the vehicle.
  • the head unit 52 When receiving an operation signal from the operation determination device 1, the head unit 52 generates, for example, an image of navigation information, an image of vehicle information, an HMI (human interface) image, a control signal for the display 44, etc., and performs display control described later. It outputs to section 43.
  • the display device 40 in FIG. 2 includes an operation determination device 1, an operating device 41, an infrared light receiving element 42a, a display control section 43, and a display 44.
  • the operation determination device 1 includes a received light intensity acquisition section 11a, a distance calculation section 11b, an operation restriction determination section 12a, a vehicle speed signal reception section 13, an operation signal processing section 14, and a communication control section 15.
  • the operating device 41 includes an operating button 41a and a touch panel 41b.
  • the operating device 41 is included in the concept of the operating device 41 in FIG. 1, and the infrared light receiving element 42a is included in the concept of the infrared light receiving section 42 in FIG. Further, the received light intensity acquisition unit 11a and the distance calculation unit 11b are included in the concept of the acquisition unit 11 in FIG. 1, and the operation restriction determination unit 12a is included in the concept of the determination unit 12 in FIG.
  • the operation button 41a receives an operation by the driver and a fellow passenger of the vehicle, and generates an operation signal indicating the operation.
  • the operation buttons 41a include, for example, push buttons and knobs.
  • the touch panel 41b receives operations from the driver and a fellow passenger of the vehicle, and generates an operation signal indicating the operation.
  • the touch panel 41b is provided integrally with the display 44, but this is not essential.
  • the infrared light receiving element 42a is configured to be able to receive infrared light emitted from the infrared light emitting element 31a and reflected by the arm 61a of the driver 61 who operates the operating device 41.
  • the infrared light receiving element 42a detects the intensity of the infrared rays based on the received infrared rays.
  • the received light intensity acquisition unit 11a acquires the intensity of the infrared light detected by the infrared light receiving element 42a from the infrared light receiving element 42a.
  • the distance calculation unit 11b calculates the distance between the arm 61a of the driver 61 and the operating device 41 based on the intensity of the infrared rays acquired by the received light intensity acquisition unit 11a. For example, the stronger the intensity of the infrared rays acquired by the received light intensity acquisition unit 11a, the shorter the distance calculated as the distance between the arm 61a and the operating device 41.
  • the operation restriction determination unit 12a determines whether the driver has operated the operating device 41 based on the distance calculated by the distance calculation unit 11b. For example, if the distance calculated by the distance calculation unit 11b is greater than or equal to the threshold, the operation restriction determination unit 12a determines that the driver has operated the operating device 41, and the distance calculated by the distance calculation unit 11b is If it is less than the threshold, it is determined that the driver did not operate the operating device 41.
  • FIG. 3 is a diagram for explaining infrared light reception according to the second embodiment.
  • the vehicle is a right-hand drive vehicle
  • the case where the vehicle is a left-hand drive vehicle is also similar to the following except that the left and right sides are reversed.
  • the infrared rays emitted from the infrared light emitting element 31a are not substantially reflected by the driver, and the infrared rays are not received. Substantially no light is received by the element 42a. Furthermore, since the infrared light emitting element 31a is not directed toward the passenger seat, regardless of whether or not the passenger operates the operating device 41 of the display device 40, the infrared light emitted from the infrared light emitting element 31a The light is not substantially reflected by the passenger, and is not substantially received by the infrared receiving element 42a.
  • the operation restriction determination unit 12a determines that the intensity of the infrared rays received by the infrared light receiving element 42a and the distance calculated by the distance calculation unit 11b are less than the threshold value, and that the driver has not operated the operating device 41. configured to do so.
  • the operation restriction determination unit 12a determines that the intensity of the infrared rays received by the infrared light receiving element 42a, and by extension the distance calculated by the distance calculation unit 11b, are equal to or greater than the threshold value, and that the driver has operated the operating device 41. It is configured as follows.
  • the vehicle speed signal receiving section 13 in FIG. 2 receives the vehicle speed signal detected by the vehicle speed detecting section 51.
  • the operation restriction determining unit 12a determines whether the vehicle is traveling based on the signal received by the vehicle speed signal receiving unit 13. When determining that the vehicle is traveling and determining that the driver has operated the operating device 41, the operation restriction determining unit 12a determines that the operations received by the operating device 41 are to be restricted. On the other hand, if the operation restriction determining unit 12a determines that the vehicle is not running or that the driver has not operated the operating device 41, the operation restriction determining unit 12a determines that the operation received by the operating device 41 should not be restricted. judge.
  • the operation signal processing unit 14 When the operation restriction determination unit 12a determines that the operation is to be restricted, the operation signal processing unit 14 does not output the operation signal generated by the operation device 41 to the communication control unit 15, and instead outputs a message indicating that the operation is not possible or prohibited. The displayed image is output to the display control section 43. On the other hand, if the operation restriction determining section 12a determines that the operation is not restricted, the operation signal processing section 14 outputs the operation signal generated by the operating device 41 to the communication control section 15.
  • the communication control section 15 is configured to be able to communicate with the head unit 52, and transmits the operation signal from the operation signal processing section 14 to the head unit 52.
  • the operation restriction determination unit 12a determines that the operation is not restricted, the operation received by the operation device 41 is reflected on the head unit 52.
  • the operation restriction determination unit 12a determines that the operation is to be restricted, the operation received by the operation device 41 is not reflected on the head unit 52.
  • the display control unit 43 controls the display on the display 44 based on images and signals from the operation signal processing unit 14 and the head unit 52.
  • the display 44 appropriately displays images (for example, HMI images) from the operation signal processing section 14 and the head unit 52 under the control of the display control section 43 .
  • FIG. 4 is a flowchart showing the operation of the operation determination device 1 according to the second embodiment.
  • step S1 the received light intensity acquisition section 11a acquires the intensity of the infrared rays detected by the infrared light receiving element 42a, and the distance calculation section 11b, based on the intensity of the infrared rays acquired by the received light intensity acquisition section 11a, The distance between the driver's arm and the operating device 41 is calculated.
  • step S2 the operation restriction determining unit 12a determines whether the distance calculated by the distance calculating unit 11b is greater than or equal to a threshold value. If it is determined that the distance calculated by the distance calculating section 11b is equal to or greater than the threshold value, the operation restriction determining section 12a determines that the driver has operated the operating device 41, and the process proceeds to step S3. When it is determined that the distance calculated by the distance calculating section 11b is less than the threshold value, the operation restriction determining section 12a determines that the driver has not operated the operating device 41, and the operation in FIG. 4 ends.
  • step S3 the operation restriction determining unit 12a determines whether the vehicle is traveling based on the signal received by the vehicle speed signal receiving unit 13. If it is determined that the vehicle is running, the process proceeds to step S4, and if it is determined that the vehicle is not running, the operation in FIG. 4 ends.
  • step S4 the operations accepted by the operating device 41 are limited by the operation of the operating signal processing unit 14 and the like. This restricts the driver's operations on the operating device 41. After that, the operation of FIG. 4 ends.
  • the operation determination device 1 according to the second embodiment as described above can reduce the cost or size of the operation determination device 1 similarly to the first embodiment. Further, according to the second embodiment, the operation determination device 1 can restrict the driver's operation when the vehicle is running.
  • FIG. 5 is a diagram for explaining the reception of infrared rays by the infrared light receiving element 42a according to the first modification.
  • the light-receiving surface 42b of the infrared light-receiving element 42a is oriented toward the driver's seat rather than the passenger's seat.
  • the light receiving surface 42b is directed toward the left arm of the driver who operates the operating device 41.
  • the light-receiving surface 42b is directed toward the right arm of the driver who operates the operating device 41.
  • the intensity of infrared rays obtained when the driver operates the operating device 41 of the display device 40 can be increased, and the intensity of the infrared rays obtained when the driver operates the operating device 41 of the display device 40 can be increased.
  • the intensity of the infrared radiation obtained can be weakened. Therefore, the accuracy of determining whether the driver has operated the operating device 41 can be improved.
  • FIG. 6 is a diagram for explaining the reception of infrared rays by the infrared light receiving element 42a according to the second modification.
  • the infrared light receiving element 42a is provided with a limiting portion 42c that reduces the light receiving angle of the infrared light receiving element 42a.
  • the light receiving angle is the maximum value of the incident angle of light that can enter the light receiving surface 42b of the infrared light receiving element 42a.
  • the restricting portion 42c is a cylindrical member provided on the light receiving surface 42b of the infrared light receiving element 42a, but is not limited to this.
  • the restricting portion 42c may be an optical lens or the like.
  • the restricting portion 42c reduces the light receiving angle of the infrared light receiving element 42a in at least one of the vertical direction and the horizontal direction. If the vehicle is a right-hand drive vehicle, the range of light receiving angles includes the driver's left arm, and if the vehicle is a left hand drive vehicle, the range of light receiving angles includes the driver's right arm.
  • the directivity of light reception by the infrared light receiving element 42a can be improved.
  • the intensity of infrared rays obtained when the driver operates the operating device 41 of the display device 40 can be increased, and the intensity of the infrared rays obtained when the passenger operates the operating device 41 of the display device 40 can be increased.
  • the intensity of infrared rays can be weakened. Therefore, the accuracy of determining whether the driver has operated the operating device 41 can be improved.
  • FIG. 7 is a front view showing the positional relationship between the DMS 30 and the display device 40 according to Modification 3
  • FIG. 8 is a cross-sectional view showing the positional relationship.
  • the infrared light receiving element 42a is provided around the operating device 41 on the infrared light emitting element 31a side and in a range closer to the driver's seat than the passenger seat of the vehicle.
  • the operating device 41 is a touch panel provided integrally with the display 44, and the operating device 41 and the display 44 are illustrated in the same way.
  • the infrared light emitting element 31a is provided on the upper side and the vehicle is a right-hand drive vehicle
  • the infrared light receiving element 42a is provided on the upper side and on the right side of the periphery of the operating device 41. It is being Although not shown, for example, if the infrared light emitting element 31a is provided on the upper side and the vehicle is a left-hand drive vehicle, the infrared light receiving element 42a is provided on the upper side and on the left side of the periphery of the operating device 41. .
  • the light-receiving surface 42b of the infrared light-receiving element 42a is directed toward the forearm 61b, which is the part of the driver's arm 61a that operates the operating device 41, between the upper arm 61c and the hand. There is. In the example of FIG. 8, the light receiving surface 42b is inclined downward with respect to the horizontal direction.
  • the intensity of infrared rays obtained when the driver operates the operating device 41 of the display device 40 can be increased. Therefore, the accuracy of determining whether the driver has operated the operating device 41 can be improved.
  • the infrared light emitting element 31a may be provided within the operating device 41 instead of around the operating device 41. According to such a configuration, the determination accuracy can be increased and the size of the display device 40 can be reduced.
  • ⁇ Modification 4> For example, if the manufacturers of the DMS 30 and the display device 40 are different, the threshold value used to determine whether the driver has operated the operating device 41 may not be appropriate, resulting in low determination accuracy.
  • the infrared light emitting element 31a may be configured to repeatedly emit infrared light and turn on and off.
  • the operation restriction determination unit 12a determines whether the driver has operated the operating device 41 based on the intensity when the infrared light emission is on and the intensity when the infrared light emission is off. may be configured to control a threshold of intensity that is applied.
  • the display device 40 displays a display prompting the driver to operate the operating device 41, and determines whether or not the operating device 41 has been operated.
  • the operation restriction determination unit 12a determines the maximum intensity value when the infrared light emission is on and the maximum intensity value when the infrared light emission is off during the period from the start of the threshold setting mode to the time when the operating device 41 is operated. A value between the minimum intensity value is set as an intensity threshold. According to such a configuration, determination accuracy can be improved.
  • FIG. 9 is a block diagram showing the configuration of the operation determination device 1 according to the third embodiment.
  • the same or similar components as those described above will be given the same or similar reference numerals, and different components will be mainly explained.
  • control unit 33 of the DMS 30 and the operation restriction determination unit 12a of the operation determination device 1 are communicably connected.
  • FIG. 10 is a diagram showing an example of an image captured by the infrared camera 32 of the DMS 30.
  • the image in FIG. 10 includes the face and upper arm 61c of the driver 61.
  • the control unit 33 of the DMS 30 determines whether the upper arm 61c of the driver 61 is moving toward the operating device 41 based on the image, and outputs the determination result to the operation restriction determination unit 12a.
  • the operation restriction determination unit 12a determines whether the driver has operated the operating device 41 based on the intensity of the infrared rays acquired by the received light intensity acquisition unit 11a and the determination result from the DMS 30.
  • the operation restriction determination unit 12a combines two conditions: whether the intensity of infrared rays is equal to or higher than a threshold value, and two conditions, whether or not the upper arm 61c is moving toward the operating device 41. Street conditions may also be determined. Then, the operation restriction determining unit 12a determines that when one of the following conditions is determined: the intensity of the infrared rays is equal to or higher than the threshold value, and the upper arm 61c is moving toward the operating device 41 side, the driver operates the operating device 41. 41 may be determined to have been operated. The operation restriction determination unit 12a may determine that the driver has not operated the operating device 41 when any of the remaining three states is determined.
  • the operation restriction determining unit 12a lowers the threshold value when a determination result that the upper arm 61c is moving toward the operating device 41 side is obtained, and the upper arm 61c moves toward the operating device 41 side.
  • the threshold value may be set higher if the determination result is that it is not.
  • the operation restriction determining unit 12a may determine whether the driver has operated the operating device 41 based on whether the intensity of the infrared rays is equal to or higher than a threshold value.
  • the intensity of infrared rays and the determination result of whether the upper arm 61c of the driver 61 is moving toward the operating device 41 side determined by the DMS 30 are used. Based on this, it is determined whether the driver 61 has operated the operating device 41 or not. According to such a configuration, since it is determined whether or not the driver 61 has operated the operating device 41 by taking into consideration the determination result of the DMS, the determination accuracy can be improved.
  • the control unit 33 of the DMS 30 determines whether the driver's 61's line of sight is directed toward the operating device 41 based on the image of the eyes 61d in the image of FIG. 10, and transmits the determination result to the operation restriction determination unit. It may be output to 12a.
  • the operation restriction determining unit 12a determines whether the driver has operated the operating device 41 based on the intensity of the infrared rays acquired by the received light intensity acquiring unit 11a and the determination result from the DMS 30. good.
  • the fact that the driver's 61's line of sight is directed toward the operating device 41 corresponds to the fact that the upper arm 61c described in the third embodiment is moving toward the operating device 41.
  • the fact that the driver's 61's line of sight is not directed toward the operating device 41 corresponds to the fact that the upper arm 61c described in the third embodiment is not moving toward the operating device 41.
  • the determination accuracy can be improved as in the third embodiment.
  • the third embodiment and this modification may be combined.
  • the above-described acquisition unit 11 and determination unit 12 in FIG. 1 will be hereinafter referred to as "acquisition unit 11 etc.”
  • the acquisition unit 11 and the like are realized by a processing circuit 81 shown in FIG. That is, the processing circuit 81 includes an infrared light receiving section 42 capable of receiving infrared light emitted from the infrared light emitting section 31 included in the DMS that monitors the driver of the vehicle and reflected by the body of the driver who operates the operating device 41. Regarding this, it includes an acquisition section 11 that acquires the intensity of the infrared rays received by the infrared light receiving section 42, and a determination section 12 that determines whether the driver has operated the operating device 41 based on the intensity.
  • Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in a memory may be applied.
  • the processor include a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, and a DSP (Digital Signal Processor).
  • the processing circuit 81 is dedicated hardware, the processing circuit 81 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination of these.
  • the functions of each unit such as the acquisition unit 11 may be realized by a circuit in which processing circuits are distributed, or the functions of each unit may be realized by a single processing circuit.
  • the processing circuit 81 When the processing circuit 81 is a processor, the functions of the acquisition unit 11 and the like are realized in combination with software and the like. Note that software and the like correspond to, for example, software, firmware, or software and firmware. Software etc. are written as programs and stored in memory. As shown in FIG. 12, a processor 82 applied to a processing circuit 81 realizes the functions of each part by reading and executing a program stored in a memory 83. That is, when the operation determination device 1 is executed by the processing circuit 81, the infrared light is emitted from the infrared light emitting unit 31 included in the DMS that monitors the driver of the vehicle, and is reflected by the body of the driver who operates the operation device 41.
  • a memory 83 is provided for storing a program that will result in the execution of the steps. In other words, this program can be said to cause the computer to execute the procedures and methods of the acquisition unit 11 and the like.
  • the memory 83 is a non-volatile or Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc), their drive devices, or any storage media that will be used in the future. It's okay.
  • each function of the acquisition unit 11 and the like is realized by either hardware or software.
  • the present invention is not limited to this, and a configuration may be adopted in which part of the acquisition unit 11 and the like is implemented by dedicated hardware, and another part is implemented by software or the like.
  • the function of the acquisition unit 11 is realized by a processing circuit 81 and an acquisition processing circuit as dedicated hardware, and for other parts, the processing circuit 81 as a processor 82 reads and executes a program stored in a memory 83. By doing so, it is possible to realize this function.
  • the processing circuit 81 can implement the above-mentioned functions using hardware, software, etc., or a combination thereof.
  • the operation determination device 1 described above is constructed as a system by appropriately combining a vehicle device, a communication terminal, a function of an application installed in at least one of the vehicle device and the communication terminal, and a server. It can also be applied to an operation determination system.
  • the vehicle device includes, for example, a PND (Portable Navigation Device), a navigation device, and the like.
  • Communication terminals include, for example, mobile phones, smartphones, tablets, and the like.
  • Each function or each component of the operation determination device described above may be distributed and arranged in each device that constructs the system, or may be arranged centrally in any one of the devices.
  • FIG. 13 is a block diagram showing the configuration of the server 91 according to this modification.
  • the server 91 in FIG. 13 includes a communication section 91a and a control section 91b, and can perform wireless communication with the vehicle device 93 of the vehicle 92.
  • the communication unit 91a which is an acquisition unit, receives the same infrared intensity as above acquired by the vehicle device 93 by wirelessly communicating with the vehicle device 93.
  • the control unit 91b has the same function as the determination unit 12 in FIG. 1 by a processor (not shown) of the server 91 executing a program stored in a memory (not shown) of the server 91. That is, the control unit 91b determines whether the driver of the vehicle 92 has operated the operating device based on the intensity received by the communication unit 91a. The communication unit 91a then transmits the determination result of the control unit 91b to the vehicle device 93. According to the server 91 configured in this way, the same effects as the operation determination device 1 described in the first embodiment can be obtained.
  • FIG. 14 is a block diagram showing the configuration of a communication terminal 96 according to this modification.
  • the communication terminal 96 in FIG. 14 includes a communication unit 96a similar to the communication unit 91a and a control unit 96b similar to the control unit 91b, and is capable of wireless communication with the vehicle device 98 of the vehicle 97.
  • the communication terminal 96 may be a mobile terminal such as a mobile phone, a smartphone, or a tablet carried by the driver of the vehicle 97, for example. According to the communication terminal 96 configured in this way, it is possible to obtain the same effects as the operation determination device 1 described in the first embodiment.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

操作判定装置のコストまたはサイズを低減可能な技術を提供することを目的とする。操作判定装置は、車両で用いられる操作装置での操作を判定する操作判定装置であって、ＤＭＳに含まれる赤外線発光部から発せられ、操作装置に操作を行う運転者の身体で反射された赤外線を受光可能な赤外線受光部に関して、赤外線受光部で受光された赤外線の強度を取得する取得部と、強度に基づいて、運転者が操作装置を操作したか否かを判定する判定部とを備える。

Description

操作判定装置及び操作判定方法
　本開示は、操作判定装置及び操作判定方法に関する。
　運転者と助手席者とのどちらが、タッチパネルなどの操作装置に対して操作したかを判定する操作判定装置について、様々な技術が提案されている。例えば特許文献１には、近傍範囲内の手などを検出する赤外線センサーが操作装置の助手席側及び運転席側に設けられ、当該赤外線センサーの検出結果に基づいて、運転者と助手席者とのどちらが操作したかを判定する操作判定装置が提案されている。
特開２０２０－４１８２６号公報
　しかしながら、従来の操作判定装置は、赤外線センサーを構成する赤外線発光部及び赤外線受光部の両方を備えるため、操作判定装置のコストまたはサイズが比較的大きくなるという問題があった。
　そこで、本開示は、上記のような問題点に鑑みてなされたものであり、操作判定装置のコストまたはサイズを低減可能な技術を提供することを目的とする。
　本開示に係る操作判定装置は、車両で用いられる操作装置での操作を判定する操作判定装置であって、車両の運転者をモニタするドライバーモニタリングシステムに含まれる赤外線発光部から発せられ、操作装置に操作を行う運転者の身体で反射された赤外線を受光可能な赤外線受光部に関して、赤外線受光部で受光された赤外線の強度を取得する取得部と、強度に基づいて、運転者が操作装置を操作したか否かを判定する判定部とを備える。
　本開示によれば、ドライバーモニタリングシステムに含まれる赤外線発光部から発せられる赤外線を用いて、運転者が操作装置を操作したか否かを判定するので、操作判定装置のコストまたはサイズを低減することができる。
　本開示の目的、特徴、局面及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１に係る操作判定装置の構成を示すブロック図である。 実施の形態２に係る操作判定装置の構成を示すブロック図である。 実施の形態２に係る赤外線の受光を説明するための図である。 実施の形態２に係る操作判定装置の動作を示すフローチャートである。 変形例１に係る赤外線の受光を説明するための図である。 変形例２に係る赤外線の受光を説明するための図である。 変形例３に係るＤＭＳ及び表示装置の位置関係を示す正面図である。 変形例３に係るＤＭＳ及び表示装置の位置関係を示す断面図である。 実施の形態３に係る操作判定装置の構成を示すブロック図である。 実施の形態３に係る赤外線カメラで撮像される画像例を示す図である。 その他の変形例に係る操作判定装置のハードウェア構成を示すブロック図である。 その他の変形例に係る操作判定装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。
　＜実施の形態１＞
　図１は、本実施の形態１に係る操作判定装置１の構成を示すブロック図である。図１の操作判定装置１は、車両で用いられる操作装置４１での操作を判定する。操作判定装置１は、車両に設けられてもよいし、本明細書の最後に説明するように車両外に設けられてもよい。
　一方、赤外線発光部３１は、車両に設けられており、当該車両の運転者をモニタするドライバーモニタリングシステム（ＤＭＳ）に含まれる。赤外線発光部３１は、操作判定装置１と個別に設けられており、操作判定装置１に備えられていない。赤外線発光部３１は、運転者をストロボで撮像するために、運転者に向けられた状態で赤外線を発する。
　図１の操作判定装置１は、操作装置４１及び赤外線受光部４２と通信可能に接続されている。なお、図１の例では、操作装置４１及び赤外線受光部４２は、操作判定装置１と個別に設けられているが、操作装置４１及び赤外線受光部４２の少なくともいずれか１つは、操作判定装置１に備えられてもよい。
　操作装置４１は、運転者及び車両の同乗者の操作を受け付ける。操作装置４１は、例えば車両のインストルメントパネルなどに設けられたタッチパネル及び操作ボタンの少なくともいずれか１つを含む。同乗者は、助手席者であってもよいし、後部座席の同乗者であってもよい。
　赤外線受光部４２は、赤外線発光部３１から発せられ、操作装置４１に操作を行う運転者の身体で反射された赤外線を受光可能に構成されている。運転者の身体は、例えば運転者の肩から手までの少なくとも一部を含む。赤外線受光部４２は、運転者の身体で反射された赤外線だけでなく、それ以外の赤外線を受光する場合もある。
　赤外線受光部４２は、受光した赤外線に基づいて、当該赤外線の強度を検出する。赤外線受光部４２は、運転者が操作装置４１に操作を行った場合に、赤外線受光部４２で受光される赤外線の強度が変化する位置に設けられる。
　図１の操作判定装置１は、取得部１１と、判定部１２とを備える。
　取得部１１は、赤外線受光部４２で受光されて検出された赤外線の強度を、赤外線受光部４２から取得する。取得部１１は、例えば、赤外線受光部４２のインターフェースであってもよいし、操作判定装置１が赤外線受光部４２を備える場合には赤外線受光部４２そのものであってもよい。
　判定部１２は、取得部１１で取得された強度に基づいて、運転者が操作装置４１を操作したか否かを判定する。判定部１２には、後述する処理回路などが用いられる。
　例えば、判定部１２は、取得部１１で取得された強度が変化したと判定した場合に、運転者が操作装置４１を操作したと判定し、取得部１１で取得された強度が変化しなかったと判定した場合に、運転者が操作装置４１を操作しなかったと判定する。また、判定部１２は、運転者が操作装置４１を操作しなかったと判定されたにも関わらず、操作装置４１が操作された場合には、同乗者が操作装置４１を操作したと判定する。なお、取得部１１で取得された強度が変化した場合としては、例えば、当該強度が閾値以上になった場合、または、当該強度の変化が閾値以上になった場合が想定される。
　＜実施の形態１のまとめ＞
　以上のような本実施の形態１に係る操作判定装置１では、ＤＭＳに含まれる赤外線発光部３１から発せられる赤外線を用いて、運転者が操作装置４１を操作したか否かを判定する。このような構成によれば、操作判定装置１に専用の赤外線発光部を設けなくても、運転者及び同乗者のどちらが操作装置４１を操作したかを判定することができるので、操作判定装置１のコストまたはサイズを低減することができる。
　＜実施の形態２＞
　図２は、本実施の形態２に係る操作判定装置１の構成を示すブロック図である。以下、本実施の形態２に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
　本実施の形態２に係る操作判定装置１は、表示装置４０に備えられる。表示装置４０は、ＤＭＳ３０と個別に設けられ、車速検出部５１及びヘッドユニット５２と通信可能に接続されている。表示装置４０について説明する前に、ＤＭＳ３０、車速検出部５１及びヘッドユニット５２について説明する。
　ＤＭＳ３０は、赤外線発光素子３１ａと、赤外線カメラ３２と、制御部３３とを備える。赤外線発光素子３１ａは、図１の赤外線発光部３１の概念に含まれ、赤外線を運転者６１に向かって発する。赤外線カメラ３２は、運転者６１から反射された赤外線に基づいて、運転者６１の画像を撮像する。制御部３３は、赤外線発光素子３１ａ及び赤外線カメラ３２を制御して、赤外線発光素子３１ａが赤外線を発するタイミングと、赤外線カメラ３２が画像を撮像するタイミングとを合わせる。また、制御部３３は、赤外線カメラ３２で撮像された画像に基づいて、例えば運転者６１の表情、姿勢及び動作などを判定し、モニタリングする。制御部３３は、例えばＣＰＵ（Central Processing Unit）を含む。
　車速検出部５１は、車両の速度である車速を検出する。ヘッドユニット５２は、操作判定装置１から操作信号を受け付けた場合に、例えばナビゲーション情報の画像、車両情報の画像、ＨＭＩ（ヒューマンインターフェース）画像、ディスプレイ４４の制御信号などを生成し、後述する表示制御部４３に出力する。
　次に、図２の表示装置４０の構成について説明する。図２の表示装置４０は、操作判定装置１と、操作装置４１と、赤外線受光素子４２ａと、表示制御部４３と、ディスプレイ４４とを備える。操作判定装置１は、受光強度取得部１１ａと、距離算出部１１ｂと、操作制限判定部１２ａと、車速信号受信部１３と、操作信号処理部１４と、通信制御部１５とを備える。操作装置４１は、操作ボタン４１ａと、タッチパネル４１ｂとを備える。
　なお、操作装置４１は、図１の操作装置４１の概念に含まれ、赤外線受光素子４２ａは、図１の赤外線受光部４２の概念に含まれる。また、受光強度取得部１１ａ及び距離算出部１１ｂは、図１の取得部１１の概念に含まれ、操作制限判定部１２ａは、図１の判定部１２の概念に含まれる。
　操作ボタン４１ａは、運転者及び車両の同乗者の操作を受け付け、当該操作を示す操作信号を生成する。操作ボタン４１ａは、例えば押下ボタン、及び、ノブなどを含む。タッチパネル４１ｂは、運転者及び車両の同乗者の操作を受け付け、当該操作を示す操作信号を生成する。以下、タッチパネル４１ｂは、ディスプレイ４４に一体的に設けられる場合について説明するが、このことは必須ではない。
　赤外線受光素子４２ａは、赤外線発光素子３１ａから発せられ、操作装置４１に操作を行う運転者６１の腕６１ａで反射された赤外線を受光可能に構成されている。赤外線受光素子４２ａは、受光した赤外線に基づいて、当該赤外線の強度を検出する。
　受光強度取得部１１ａは、赤外線受光素子４２ａで検出された赤外線の強度を、赤外線受光素子４２ａから取得する。距離算出部１１ｂは、受光強度取得部１１ａで取得された赤外線の強度に基づいて、運転者６１の腕６１ａと、操作装置４１との間の距離を算出する。例えば、受光強度取得部１１ａで取得された赤外線の強度が強いほど、腕６１ａと操作装置４１との間の距離として、短い距離が算出する。
　操作制限判定部１２ａは、距離算出部１１ｂで算出された距離に基づいて、運転者が操作装置４１を操作したか否かを判定する。例えば、操作制限判定部１２ａは、距離算出部１１ｂで算出された距離が閾値以上である場合には、運転者が操作装置４１を操作したと判定し、距離算出部１１ｂで算出された距離が閾値未満である場合には、運転者が操作装置４１を操作しなかったと判定する。
　図３は、本実施の形態２に係る赤外線の受光を説明するための図である。なお以下では、車両が右ハンドル車両である場合について主に説明するが、車両が左ハンドル車両である場合も左右が逆になるだけで以下と同様である。
　図３に示すように、運転者が、表示装置４０の操作装置４１に操作を行わない場合には、赤外線発光素子３１ａから発せられた赤外線は、運転者で実質的に反射されず、赤外線受光素子４２ａで実質的に受光されない。また、赤外線発光素子３１ａは助手席側に向けられていないので、助手席者が表示装置４０の操作装置４１に操作を行うか否かに関わらず、赤外線発光素子３１ａから発せられた赤外線は、助手席者で実質的に反射されず、赤外線受光素子４２ａで実質的に受光されない。この場合、操作制限判定部１２ａは、赤外線受光素子４２ａで受光される赤外線の強度、ひいては距離算出部１１ｂで算出された距離は閾値未満になり、運転者が操作装置４１を操作しなかったと判定するように構成される。
　一方、運転者が表示装置４０の操作装置４１に操作を行う場合には、赤外線発光素子３１ａから発せられた赤外線は、運転者にて反射され、赤外線受光素子４２ａで受光される。この場合、操作制限判定部１２ａは、赤外線受光素子４２ａで受光される赤外線の強度、ひいては距離算出部１１ｂで算出された距離は閾値以上になり、運転者が操作装置４１を操作したと判定するように構成される。
　図２の車速信号受信部１３は、車速検出部５１で検出された車速の信号を受信する。
　操作制限判定部１２ａは、車速信号受信部１３で受信された信号に基づいて、車両が走行しているか否かを判定する。操作制限判定部１２ａは、車両が走行していると判定し、かつ、運転者が操作装置４１を操作したと判定した場合には、操作装置４１で受け付けた操作を制限すると判定する。一方、操作制限判定部１２ａは、車両が走行していないと判定した場合、または、運転者が操作装置４１を操作しなかったと判定した場合には、操作装置４１で受け付けた操作を制限しないと判定する。
　操作制限判定部１２ａで操作を制限すると判定された場合、操作信号処理部１４は、操作装置４１で生成された操作信号を通信制御部１５に出力せずに、操作不可または禁止などの旨を示す画像を表示制御部４３に出力する。一方、操作制限判定部１２ａで操作を制限しないと判定された場合、操作信号処理部１４は、操作装置４１で生成された操作信号を通信制御部１５に出力する。
　通信制御部１５は、ヘッドユニット５２と通信可能に構成されており、操作信号処理部１４からの操作信号をヘッドユニット５２に送信する。これにより、操作制限判定部１２ａで操作を制限しないと判定された場合には、操作装置４１で受け付けた操作が、ヘッドユニット５２に反映される。一方、操作制限判定部１２ａで操作を制限すると判定された場合には、操作装置４１で受け付けた操作が、ヘッドユニット５２に反映されない。
　表示制御部４３は、操作信号処理部１４及びヘッドユニット５２からの画像及び信号に基づいて、ディスプレイ４４の表示を制御する。ディスプレイ４４は、表示制御部４３の制御により、操作信号処理部１４及びヘッドユニット５２からの画像（例えばＨＭＩ画像）などを適宜表示する。
　＜動作＞
　図４は、本実施の形態２に係る操作判定装置１の動作を示すフローチャートである。
　まずステップＳ１にて、受光強度取得部１１ａは、赤外線受光素子４２ａで検出された赤外線の強度を取得し、距離算出部１１ｂは、受光強度取得部１１ａで取得された赤外線の強度に基づいて、運転者の腕と、操作装置４１との間の距離を算出する。
　ステップＳ２にて、操作制限判定部１２ａは、距離算出部１１ｂで算出された距離が閾値以上であるか否かを判定する。距離算出部１１ｂで算出された距離が閾値以上であると判定された場合、操作制限判定部１２ａは運転者が操作装置４１を操作したと判定し、処理がステップＳ３に進む。距離算出部１１ｂで算出された距離が閾値未満であると判定された場合、操作制限判定部１２ａは運転者が操作装置４１を操作しなかったと判定し、図４の動作が終了する。
　ステップＳ３にて、操作制限判定部１２ａは、車速信号受信部１３で受信された信号に基づいて、車両が走行しているか否かを判定する。車両が走行していると判定された場合には処理がステップＳ４に進み、車両が走行していないと判定された場合には図４の動作が終了する。
　ステップＳ４にて、操作信号処理部１４の動作などによって、操作装置４１で受け付けた操作が制限される。これにより、操作装置４１への運転者の操作が制限される。その後、図４の動作が終了する。
　なお、以上の説明では、距離算出部１１ｂで算出された距離が閾値以上であるか否かに基づいて運転者が操作装置４１を操作したか否かが判定されたが、これに限ったものではない。例えば、距離算出部１１ｂを設けずに、受光強度取得部１１ａで取得された赤外線の強度が閾値以上であるか否かに基づいて運転者が操作装置４１を操作したか否かが判定されてもよい。
　＜実施の形態２のまとめ＞
　以上のような本実施の形態２に係る操作判定装置１は、実施の形態１と同様に操作判定装置１のコストまたはサイズを低減することができる。また本実施の形態２によれば、操作判定装置１は、車両が走行している場合に運転者の操作を制限することができる。
　＜変形例１＞
　図５は、本変形例１に係る赤外線受光素子４２ａでの赤外線の受光を説明するための図である。図５では、赤外線受光素子４２ａの受光面４２ｂは、助手席側よりも運転席側に向けられている。図５に示すように、車両が右ハンドル車両である場合には、受光面４２ｂは操作装置４１に操作を行う運転者の左腕側に向けられている。図示しないが、車両が左ハンドル車両である場合には、受光面４２ｂは操作装置４１に操作を行う運転者の右腕側に向けられている。
　このような構成によれば、運転者が表示装置４０の操作装置４１に操作を行う場合に取得される赤外線の強度を高めることができ、同乗者が表示装置４０の操作装置４１に操作を行う場合に取得される赤外線の強度を弱めることができる。このため、運転者が操作装置４１を操作したか否かの判定精度を高めることができる。
　＜変形例２＞
　図６は、本変形例２に係る赤外線受光素子４２ａでの赤外線の受光を説明するための図である。図６では、赤外線受光素子４２ａの受光角度を小さくする制限部４２ｃが赤外線受光素子４２ａに設けられている。受光角度は、赤外線受光素子４２ａの受光面４２ｂに入射可能な光の入射角度の最大値である。なお図６の例では、制限部４２ｃは、赤外線受光素子４２ａの受光面４２ｂに設けられた筒状の部材であるが、これに限ったものではない。例えば、制限部４２ｃは、光学レンズなどであってもよい。
　制限部４２ｃは、例えば、赤外線受光素子４２ａの上下方向及び左右方向の少なくともいずれかの受光角度を小さくする。車両が右ハンドル車両である場合には、受光角度の範囲は運転者の左腕を含み、車両が左ハンドル車両である場合には、受光角度の範囲は運転者の右腕を含む。
　このような構成によれば、赤外線受光素子４２ａの受光の指向性を高めることができる。これにより、運転者が表示装置４０の操作装置４１に操作を行う場合に取得される赤外線の強度を高めることができ、同乗者が表示装置４０の操作装置４１に操作を行う場合に取得される赤外線の強度を弱めることができる。このため、運転者が操作装置４１を操作したか否かの判定精度を高めることができる。
　＜変形例３＞
　図７は、本変形例３に係るＤＭＳ３０及び表示装置４０の位置関係を示す正面図であり、図８は、その位置関係を示す断面図である。
　赤外線受光素子４２ａは、操作装置４１の周囲のうち、赤外線発光素子３１ａ側で、かつ、車両の助手席よりも運転席の近くの範囲に設けられている。図７では、操作装置４１は、ディスプレイ４４に一体的に設けられたタッチパネルであり、操作装置４１とディスプレイ４４とが同じように図示されている。
　図７では、赤外線発光素子３１ａが上側に設けられ、車両が右ハンドル車両である場合が示されており、赤外線受光素子４２ａは、操作装置４１の周囲のうち、上側で、かつ、右側に設けられている。図示しないが、例えば、赤外線発光素子３１ａが上側に設けられ、車両が左ハンドル車両である場合には、赤外線受光素子４２ａは、操作装置４１の周囲のうち、上側で、かつ、左側に設けられる。
　図８に示すように、赤外線受光素子４２ａの受光面４２ｂは、操作装置４１に操作を行う運転者の腕６１ａのうち、上腕６１ｃと手との間の部分である前腕６１ｂ側に向けられている。図８の例では、受光面４２ｂは、水平方向に対して下側に傾斜している。
　このような構成によれば、運転者が表示装置４０の操作装置４１に操作を行う場合に取得される赤外線の強度を高めることができる。このため、運転者が操作装置４１を操作したか否かの判定精度を高めることができる。
　なお、赤外線発光素子３１ａは、操作装置４１の周囲ではなく、操作装置４１内の範囲に設けられてもよい。このような構成によれば、判定精度を高めることができ、かつ、表示装置４０のサイズを小さくすることができる。
　＜変形例４＞
　例えばＤＭＳ３０及び表示装置４０のメーカが異なる場合、運転者が操作装置４１を操作したか否かの判定に用いる閾値が適切でなく、判定精度が低くなってしまう場合がある。
　そこで、赤外線発光素子３１ａは、赤外線の発光を繰り返してオン及びオフするように構成されてもよい。そして、操作制限判定部１２ａは、赤外線の発光がオンのときの強度と、赤外線の発光がオフのときの強度とに基づいて、運転者が操作装置４１を操作したか否かの判定に用いられる強度の閾値を制御するように構成されてもよい。
　例えば、閾値設定モードが実行されると、表示装置４０は、運転者に操作装置４１を操作するように促す表示を行い、操作装置４１が操作されたか否かを判定する。操作制限判定部１２ａは、閾値設定モードの開始時点から操作装置４１が操作された時点までの期間内において、赤外線の発光がオンのときの強度の最大値と、赤外線の発光がオフのときの強度の最小値との間の値を、強度の閾値として設定する。このような構成によれば、判定精度を高めることができる。
　＜実施の形態３＞
　図９は、本実施の形態３に係る操作判定装置１の構成を示すブロック図である。以下、本実施の形態３に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。
　本実施の形態３では、ＤＭＳ３０の制御部３３と、操作判定装置１の操作制限判定部１２ａとが通信可能に接続されている。
　図１０は、ＤＭＳ３０の赤外線カメラ３２で撮像される画像例を示す図である。図１０の画像には、運転者６１の顔及び上腕６１ｃが含まれる。ＤＭＳ３０の制御部３３は、当該画像に基づいて、運転者６１の上腕６１ｃが操作装置４１側に向かって動いているか否かを判定し、その判定結果を操作制限判定部１２ａに出力する。
　操作制限判定部１２ａは、受光強度取得部１１ａで取得された赤外線の強度と、ＤＭＳ３０からの判定結果とに基づいて、運転者が操作装置４１を操作したか否かを判定する。
　第１例として、操作制限判定部１２ａは、赤外線の強度が閾値以上か否かという２通りと、上腕６１ｃが操作装置４１側に向かって動いているか否かの２通りとを組わせた４通りの状態を判定してもよい。そして、操作制限判定部１２ａは、赤外線の強度が閾値以上であり、かつ、上腕６１ｃが操作装置４１側に向かって動いているという１通りの状態が判定された場合に、運転者が操作装置４１を操作したと判定してもよい。そして、操作制限判定部１２ａは、残りの３通りのいずれかの状態が判定された場合に、運転者が操作装置４１を操作しなかったと判定してもよい。
　第２例として、操作制限判定部１２ａは、上腕６１ｃが操作装置４１側に向かって動いているという判定結果が得られた場合に閾値を低くし、上腕６１ｃが操作装置４１側に向かって動いていないという判定結果が得られた場合に閾値を高くしてもよい。そして、操作制限判定部１２ａは、実施の形態２と同様に、赤外線の強度が閾値以上か否かに基づいて運転者が操作装置４１を操作したか否かを判定してもよい。
　＜実施の形態３のまとめ＞
　以上のような本実施の形態３に係る操作判定装置１では、赤外線の強度と、ＤＭＳ３０で判定される、運転者６１の上腕６１ｃが操作装置４１側に向かって動いているか否かの判定結果とに基づいて、運転者６１が操作装置４１を操作したか否かを判定する。このような構成によれば、ＤＭＳの判定結果も加味して運転者６１が操作装置４１を操作したか否かを判定するので、判定精度を高めることができる。
　＜変形例＞
　ＤＭＳ３０の制御部３３は、図１０の画像のうちの目６１ｄの画像に基づいて、運転者６１の視線が操作装置４１側に向いているか否かを判定し、その判定結果を操作制限判定部１２ａに出力してもよい。そして、操作制限判定部１２ａは、受光強度取得部１１ａで取得された赤外線の強度と、ＤＭＳ３０からの判定結果とに基づいて、運転者が操作装置４１を操作したか否かを判定してもよい。
　なお、運転者６１の視線が操作装置４１側に向いていることは、実施の形態３で説明した上腕６１ｃが操作装置４１側に向かって動いていることに対応する。そして、運転者６１の視線が操作装置４１側に向いていないことは、実施の形態３で説明した上腕６１ｃが操作装置４１側に向かって動いていないことに対応する。
　このような構成によれば、実施の形態３と同様に判定精度を高めることができる。なお、実施の形態３と本変形例とを組み合わせてもよい。
　＜その他の変形例＞
　上述した図１の取得部１１及び判定部１２を、以下「取得部１１等」と記す。取得部１１等は、図１１に示す処理回路８１により実現される。すなわち、処理回路８１は、車両の運転者をモニタするＤＭＳに含まれる赤外線発光部３１から発せられ、操作装置４１に操作を行う運転者の身体で反射された赤外線を受光可能な赤外線受光部４２に関して、赤外線受光部４２で受光された赤外線の強度を取得する取得部１１と、強度に基づいて、運転者が操作装置４１を操作したか否かを判定する判定部１２と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。
　処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部１１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
　処理回路８１がプロセッサである場合、取得部１１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１２に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、操作判定装置１は、処理回路８１により実行されるときに、車両の運転者をモニタするＤＭＳに含まれる赤外線発光部３１から発せられ、操作装置４１に操作を行う運転者の身体で反射された赤外線を受光可能な赤外線受光部４２に関して、赤外線受光部４２で受光された赤外線の強度を取得するステップと、強度に基づいて、運転者が操作装置４１を操作したか否かを判定するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、それらのドライブ装置、または、今後使用されるあらゆる記憶媒体であってもよい。
　以上、取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部１１については専用のハードウェアとしての処理回路８１、取得処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　また、以上で説明した操作判定装置１は、車両装置と、通信端末と、車両装置及び通信端末の少なくとも１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される操作判定システムにも適用することができる。車両装置は、例えば、ＰＮＤ（Portable Navigation Device）、及び、ナビゲーション装置などを含む。通信端末は、例えば、携帯電話、スマートフォン及びタブレットなどを含む。以上で説明した操作判定装置の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。
　図１３は、本変形例に係るサーバ９１の構成を示すブロック図である。図１３のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、車両９２の車両装置９３と無線通信を行うことが可能となっている。
　取得部である通信部９１ａは、車両装置９３と無線通信を行うことにより、車両装置９３で取得された上記と同様の赤外線の強度を受信する。
　制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図１の判定部１２と同様の機能を有している。つまり、制御部９１ｂは、通信部９１ａで受信された強度に基づいて、車両９２の運転者が操作装置を操作したか否かを判定する。そして、通信部９１ａは、制御部９１ｂの判定結果を車両装置９３に送信する。このように構成されたサーバ９１によれば、実施の形態１で説明した操作判定装置１と同様の効果を得ることができる。
　図１４は、本変形例に係る通信端末９６の構成を示すブロック図である。図１４の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、車両９７の車両装置９８と無線通信を行うことが可能となっている。なお、通信端末９６には、例えば車両９７の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末９６によれば、実施の形態１で説明した操作判定装置１と同様の効果を得ることができる。
　なお、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。
　上記した説明は、すべての局面において、例示であって、限定的なものではない。例示されていない無数の変形例が、想定され得るものと解される。
　１　操作判定装置、１１　取得部、１２　判定部、３０　ＤＭＳ、３１　赤外線発光部、４１　操作装置、４２　赤外線受光部、４２ｂ　受光面、４２ｃ　制限部、６１　運転者、６１ａ　腕、６１ｂ　前腕、６１ｃ　上腕。

Claims (11)

  1. 　車両で用いられる操作装置での操作を判定する操作判定装置であって、
    　前記車両の運転者をモニタするドライバーモニタリングシステムに含まれる赤外線発光部から発せられ、前記操作装置に操作を行う前記運転者の身体で反射された赤外線を受光可能な赤外線受光部に関して、前記赤外線受光部で受光された赤外線の強度を取得する取得部と、
    　前記強度に基づいて、前記運転者が前記操作装置を操作したか否かを判定する判定部と
    を備える、操作判定装置。
  2. 　請求項１に記載の操作判定装置であって、
    　前記赤外線受光部の受光面は、前記車両の助手席側よりも運転席側に向けられている、操作判定装置。
  3. 　請求項２に記載の操作判定装置であって、
    　前記車両が右ハンドル車両である場合には、前記受光面は前記操作装置に操作を行う前記運転者の左腕側に向けられており、前記車両が左ハンドル車両である場合には、前記受光面は前記操作装置に操作を行う前記運転者の右腕側に向けられている、操作判定装置。
  4. 　請求項１に記載の操作判定装置であって、
    　前記赤外線受光部の受光角度を小さくする制限部が前記赤外線受光部に設けられている、操作判定装置。
  5. 　請求項４に記載の操作判定装置であって、
    　前記制限部は、前記赤外線受光部の上下方向及び左右方向の少なくともいずれかの前記受光角度を小さくする、操作判定装置。
  6. 　請求項４または請求項５に記載の操作判定装置であって、
    　前記車両が右ハンドル車両である場合には、前記受光角度の範囲は前記運転者の左腕を含み、前記車両が左ハンドル車両である場合には、前記受光角度の範囲は前記運転者の右腕を含む、操作判定装置。
  7. 　請求項１に記載の操作判定装置であって、
    　前記赤外線受光部は、前記操作装置内の範囲、または、前記操作装置の周囲のうち、前記赤外線発光部側で、かつ、前記車両の助手席よりも運転席の近くの範囲に設けられ、
    　前記赤外線受光部の受光面は、前記操作装置に操作を行う前記運転者の前腕側に向けられている、操作判定装置。
  8. 　請求項１から請求項７のうちのいずれか１項に記載の操作判定装置であって、
    　前記判定部は、
    　前記強度と、前記ドライバーモニタリングシステムで判定される、前記運転者の視線が前記操作装置側に向いているか否かの判定結果とに基づいて、前記運転者が前記操作装置を操作したか否かを判定する、操作判定装置。
  9. 　請求項１から請求項８のうちのいずれか１項に記載の操作判定装置であって、
    　前記判定部は、
    　前記強度と、前記ドライバーモニタリングシステムで判定される、前記運転者の上腕が前記操作装置側に向かって動いているか否かの判定結果とに基づいて、前記運転者が前記操作装置を操作したか否かを判定する、操作判定装置。
  10. 　請求項１から請求項９のうちのいずれか１項に記載の操作判定装置であって、
    　前記赤外線発光部は、前記赤外線の発光を繰り返してオン及びオフし、
    　前記判定部は、前記赤外線の発光がオンのときの前記強度と、前記赤外線の発光がオフのときの前記強度とに基づいて、前記運転者が前記操作装置を操作したか否かの判定に用いられる前記強度の閾値を制御する、操作判定装置。
  11. 　車両で用いられる操作装置での操作を判定する操作判定方法であって、
    　前記車両の運転者をモニタするドライバーモニタリングシステムに含まれる赤外線発光部から発せられ、前記操作装置に操作を行う前記運転者の身体で反射された赤外線を受光可能な赤外線受光部に関して、前記赤外線受光部で受光された赤外線の強度を取得し、
    　前記強度に基づいて、前記運転者が前記操作装置を操作したか否かを判定する、操作判定方法。
PCT/JP2022/026453 2022-07-01 2022-07-01 操作判定装置及び操作判定方法 WO2024004195A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026453 WO2024004195A1 (ja) 2022-07-01 2022-07-01 操作判定装置及び操作判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026453 WO2024004195A1 (ja) 2022-07-01 2022-07-01 操作判定装置及び操作判定方法

Publications (1)

Publication Number Publication Date
WO2024004195A1 true WO2024004195A1 (ja) 2024-01-04

Family

ID=89381827

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026453 WO2024004195A1 (ja) 2022-07-01 2022-07-01 操作判定装置及び操作判定方法

Country Status (1)

Country Link
WO (1) WO2024004195A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007302223A (ja) * 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
JP2020041826A (ja) * 2018-09-06 2020-03-19 本田技研工業株式会社 車載用ナビゲーション装置
WO2021044567A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 操作者判定装置および操作者判定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007302223A (ja) * 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
JP2020041826A (ja) * 2018-09-06 2020-03-19 本田技研工業株式会社 車載用ナビゲーション装置
WO2021044567A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 操作者判定装置および操作者判定方法

Similar Documents

Publication Publication Date Title
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
US11301678B2 (en) Vehicle safety system with no-control operation
JP2012069114A (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
JP2007259931A (ja) 視線検出装置
US9612655B2 (en) Method for inputting a control command for a component of a motor vehicle
EP3640070B1 (en) Apparatus for in-vehicle impairment detection with driver verification
US10752256B2 (en) Method and device for controlling at least one driver interaction system
US20150234536A1 (en) Input apparatus
KR101979026B1 (ko) 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법
JP2021512392A (ja) バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
US20130187845A1 (en) Adaptive interface system
JP2018503899A (ja) 発光ユニットの同期作動によって自動車の乗員のジェスチャおよび／または視線方向を認識するための取込装置、操作装置、自動車、ならびに方法
WO2024004195A1 (ja) 操作判定装置及び操作判定方法
JP6581482B2 (ja) 画像認識装置
KR101678093B1 (ko) 차량 및 그 제어방법
KR20150028619A (ko) 오인식 저감형 모션 인식 장치 및 그 방법
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
US20140184491A1 (en) System and method for providing user interface using an optical scanning
WO2022149251A1 (ja) ジェスチャ認識装置およびジェスチャ認識方法
US20230408679A1 (en) Occupant determination apparatus and occupant determination method
KR20150135933A (ko) 동작 인식 장치 및 그 동작 방법
KR20140120650A (ko) 차량용 제스처 인식 시스템 및 방법
US20230367402A1 (en) Information processing device, information processing system, information processing method, and non-transitory computer readable medium
WO2020183519A1 (ja) 情報処理装置、情報処理方法、プログラム、表示システム、表示方法及び電子筆記具
JP2022107865A (ja) 制御装置、制御方法および制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22949468

Country of ref document: EP

Kind code of ref document: A1