WO2023170777A1 - 乗員監視装置、乗員監視方法、及び乗員監視プログラム - Google Patents

乗員監視装置、乗員監視方法、及び乗員監視プログラム Download PDF

Info

Publication number
WO2023170777A1
WO2023170777A1 PCT/JP2022/009954 JP2022009954W WO2023170777A1 WO 2023170777 A1 WO2023170777 A1 WO 2023170777A1 JP 2022009954 W JP2022009954 W JP 2022009954W WO 2023170777 A1 WO2023170777 A1 WO 2023170777A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
sensing
calibration
occupant
vehicle
Prior art date
Application number
PCT/JP2022/009954
Other languages
English (en)
French (fr)
Inventor
瑞貴 川瀬
太郎 熊谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2024505692A priority Critical patent/JPWO2023170777A1/ja
Priority to PCT/JP2022/009954 priority patent/WO2023170777A1/ja
Publication of WO2023170777A1 publication Critical patent/WO2023170777A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an occupant monitoring device, an occupant monitoring method, and an occupant monitoring program.
  • Patent Document 1 describes detecting the direction of the driver's line of sight using a captured image and determining whether or not the driver is driving inattentively.
  • Patent Document 1 describes that calibration is performed in order to correct a detection error in the direction of the line of sight due to individual differences between drivers.
  • Patent Document 2 describes that the position and direction of the imaging section are measured, and calibration is performed according to the measured position and direction of the imaging section.
  • the imaging unit is generally arranged on the steering column or center console.
  • many devices other than the imaging section are arranged on the steering column and center console, there are restrictions on the layout of the imaging section. Therefore, it is conceivable to arrange the imaging section in a movable part such as a rearview mirror, which has more layout space than the steering column and center console. In this case, even if calibration is performed using the method described in Patent Document 1 or Patent Document 2, sensing performance will deteriorate because the positional relationship between the imaging unit and the occupant changes when the occupant corrects the angle of the rearview mirror. The problem arises.
  • the present disclosure has been made to solve the above-mentioned problems, and in an occupant monitoring device in which the imaging unit is provided in a movable part within a vehicle, the sensing performance deteriorates due to a change in the position of the imaging unit.
  • the purpose is to suppress the
  • the occupant monitoring device includes an image acquisition unit that acquires an image of the inside of the vehicle by an imaging unit provided in a movable part in the vehicle, and image processing of the captured image to determine the condition of the occupant and a sensing unit that performs sensing that is at least one of personal authentication; a position estimation unit that estimates whether there is a change in the position of the imaging unit; and a calibration unit that performs calibration for image processing in the sensing unit. and a determination unit that causes the calibration unit to perform calibration without causing the sensing unit to perform sensing when the position estimating unit estimates that there is a change in the position of the imaging unit.
  • the occupant monitoring method includes the steps of acquiring an image of the interior of the vehicle by an imaging unit provided in a movable part within the vehicle, and image processing of the captured image to determine the condition of the occupant and the identity of the occupant.
  • a step of performing sensing which is at least one of authentication, a step of estimating whether or not there is a change in the position of the imaging unit, a step of performing calibration for image processing, and a step of performing sensing if there is a change in the position of the imaging unit. If it is estimated that there is, the sensing is not performed and the calibration is performed.
  • the occupant monitoring program includes a procedure for acquiring an image of the interior of the vehicle by an imaging unit provided in a movable part within the vehicle, and image processing of the captured image to determine the condition of the occupant and the identity of the occupant.
  • a procedure for performing sensing which is at least one of authentication, a procedure for estimating whether or not there is a change in the position of the imaging unit, a procedure for performing calibration for image processing, and a procedure for performing sensing if there is a change in the position of the imaging unit. If it is estimated that there is a problem, the computer is caused to perform a procedure of not performing sensing and performing calibration.
  • an imaging unit in which an imaging unit is provided in a movable part within a vehicle, when it is estimated that there is a change in the position of the imaging unit, sensing is not performed and calibration is performed. Accordingly, it is possible to suppress a decrease in sensing performance due to a change in the position of the imaging unit.
  • FIG. 1 is a block diagram showing a part of a vehicle equipped with an occupant monitoring device according to a first embodiment.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the occupant monitoring device according to the first embodiment.
  • FIG. 3 is a flowchart showing the processing operation of the occupant monitoring device according to the first embodiment.
  • FIG. 4 is a block diagram showing part of a vehicle equipped with the occupant monitoring device according to the second embodiment.
  • FIG. 5 is a flowchart showing the processing operation of the occupant monitoring device according to the second embodiment.
  • FIG. 6 is a flowchart showing the processing operation of the occupant monitoring device according to the third embodiment.
  • FIG. 7 is a block diagram showing a part of a vehicle equipped with the occupant monitoring device according to the fourth embodiment.
  • FIG. 8 is a flowchart showing the processing operation of the occupant monitoring device according to the fourth embodiment.
  • FIG. 1 is a block diagram showing a part of a vehicle 1 equipped with an occupant monitoring device 2 according to the first embodiment.
  • the occupant monitoring device 2 is a driver monitoring system (DMS), and performs various sensing operations for the occupant in the vehicle 1 through image processing of the occupant.
  • the vehicle 1 shown in FIG. 1 includes an occupant monitoring device 2, an imaging section 8, and a notification section 9.
  • the occupant monitoring device 2 includes an image acquisition section 3 , a sensing section 4 , a position estimation section 5 , a calibration section 6 , and a determination section 7 .
  • the occupant is either the driver of the vehicle 1 or a fellow passenger.
  • the imaging unit 8 is a camera provided in a movable part within the vehicle 1, and images the inside of the vehicle 1.
  • the movable parts in the vehicle 1 are configured such that their positions or angles can be changed by an operation by a passenger or an instruction from the vehicle 1, and include, for example, a rearview mirror and a steering wheel telescope.
  • the rearview mirror is installed vertically on the ceiling at the front of the vehicle 1, and is configured to allow the driver to change the angle of the rearview mirror in order to check the rear of the vehicle 1.
  • the steering wheel telescope is configured so that the position of the steering wheel can be changed, and the driver can optimize his driving posture by adjusting the steering wheel telescope.
  • the imaging unit 8 images an imaging area that extends from the installation position at a preset camera angle of view.
  • the imaging unit 8 is installed so that the imaging area includes the face of the occupant in the vehicle 1, which is the imaging target.
  • the imaging unit 8 images the occupant inside the vehicle 1 at an interval of 30 to 60 fps (frames per second), for example, and outputs the captured image to the image acquisition unit 3.
  • the image acquisition unit 3 acquires a captured image from the imaging unit 8. Then, the image acquisition section 3 outputs the acquired captured image to the position estimation section 5, sensing section 4, and calibration section 6.
  • the sensing unit 4 performs sensing, which is at least one of determining the state of the occupant, such as drowsy driving and distracted driving, or authenticating the individual of the occupant, through image processing of the captured image.
  • Image processing of the captured image in the sensing unit 4 includes, for example, detection of face direction, degree of eye opening, direction of line of sight, and the like.
  • the position estimating unit 5 estimates whether there is a change in the position of the imaging unit 8.
  • the imaging unit 8 is provided in a movable part such as a rearview mirror and a steering wheel telescope in the vehicle 1. Therefore, the position of the imaging unit 8 may change by adjusting the angle of the rearview mirror or the steering wheel telescope.
  • the change in the position of the imaging unit 8 means that the position of the imaging unit 8 in at least one of the rotational direction and the translational direction changes compared to when the previous calibration was performed.
  • the position estimating unit 5 determines whether the amount of rotation of the imaging unit 8 is equal to or greater than a first threshold of the preset amount of rotation, and if the amount of translation of the imaging unit 8 is equal to or greater than the first threshold of the amount of rotation set in advance. It may be estimated that there is a change in the position of the imaging unit 8 in at least one of the cases where the value is equal to or greater than the threshold value.
  • the first threshold value for the amount of rotation and the first threshold value for the amount of translation are each set to be larger than a change in the position of the imaging unit 8 due to vibrations of the vehicle 1 that occur when the vehicle 1 travels, for example.
  • the amount of rotation of the imaging section 8 is the amount of change in the rotational direction of the imaging section 8
  • the amount of translation of the imaging section 8 is the amount of change in the translational direction of the imaging section 8
  • the amount of change in the position of the imaging section 8 is The amount is the amount of movement and rotation of the imaging unit 8.
  • At least one of the cases is expressed as a case in which the amount of change in the position of the imaging unit 8 is greater than or equal to the first threshold value.
  • the amount of rotation of the imaging unit 8 is less than the first threshold of the preset amount of rotation, and the amount of translation of the imaging unit 8 is less than the first threshold of the amount of translation set in advance. , the amount of change in the position of the imaging unit 8 is less than the first threshold value.
  • the position estimation unit 5 calculates the coordinate position of a preset object in the captured image.
  • the preset target object is an object installed in the vehicle 1 that exists within the imaging range of the imaging unit 8, and is, for example, a vehicle seat, a headrest, or a window frame. Even if the position of the imaging unit 8 changes due to, for example, the driver adjusting the angle of the rearview mirror or steering wheel telescope, the preset target object exists at a position that is assumed to be included in the imaging range of the imaging unit 8. It is an installed object, and is set as appropriate depending on the installation location of the imaging unit 8.
  • the position estimation unit 5 calculates the coordinate position of the object in the captured image, and stores the calculated coordinate position for a preset time. Then, the position estimating unit 5 compares the coordinate position of the object in the current captured image with the coordinate position of the target in the past captured image, and calculates the amount of rotation and translation of the imaging unit 8. Next, the position estimation unit 5 compares the calculated rotation amount and translation amount of the imaging unit 8 with a first threshold value of the rotation amount and a first threshold value of the translation amount, respectively. Then, the position estimating unit 5 estimates that there is a change in the position of the imaging unit 8 when the amount of change in the position of the imaging unit 8 is greater than or equal to the first threshold value. Further, the position estimating unit 5 can also estimate the amount of change in the imaging unit 8 using the captured image, for example, by the method described in Patent Document 2.
  • the method of estimating whether there is a change in the position of the imaging unit 8 by the position estimating unit 5 is not limited to the above-mentioned method.
  • the position estimating part 5 may acquire information from the vehicle 1 indicating that the position of the movable part in the vehicle 1 has changed. Accordingly, it may be estimated whether or not the imaging unit 8 has moved. Further, the position estimating unit 5 may acquire information indicating the amount of change in the movable parts in the vehicle 1 from the vehicle 1, and estimate the amount of change in the imaging unit 8 based on the acquired information.
  • the calibration unit 6 calibrates the image processing of the sensing unit 4. Calibration is a process for correcting individual differences among occupants who are sensing targets in image processing. Generally, sensing results by the sensing unit 4 involve detection errors due to individual differences among occupants. Therefore, the calibration unit 6 ensures the sensing accuracy in the sensing unit 4 by performing calibration. A specific example of calibration will be described below, but the calibration is not limited thereto, and other known means may be used.
  • the calibration unit 6 corrects a standard model used for line-of-sight direction detection.
  • the sensing unit 4 holds a standard model for detecting the line-of-sight direction in which a captured image of the occupant's face is associated with the line-of-sight direction of the occupant. Then, the sensing unit 4 detects the direction of the occupant's line of sight from the captured image using a standard model, and determines, for example, whether the occupant is driving inattentively.
  • the standard model held in the sensing unit 4 needs to be corrected in accordance with individual differences among the occupants.
  • the calibration unit 6 corrects the standard model based on the actual line-of-sight direction of the occupant and the captured image in that state. For example, the calibration unit 6 detects the direction of the passenger's line of sight, and uses the result to estimate the vehicle equipment that the passenger is gazing at. Then, the calibration unit 6 determines the direction of the vehicle equipment as seen from the occupant as a reference line-of-sight direction, and corrects the standard model based on the error between this reference line-of-sight direction and the detected line-of-sight direction. Further, the calibration unit 6 may correct the standard model by associating the line of sight when the occupant is operating each device in the vehicle 1 with the position of the device where this operation is being performed. Thereby, the sensing unit 4 can accurately detect the direction of the line of sight regardless of individual differences among the occupants.
  • the calibration unit 6 may correct the standard model used for face orientation detection.
  • the sensing unit 4 holds a 3D model that is a standard model, uses the 3D model to detect the direction of the occupant's face from the captured image, and determines, for example, whether the occupant is driving inattentively.
  • the 3D model is, for example, a 3D model that reflects the size of a standard adult face and the feature points of facial parts. That is, the 3D model does not reflect the size of the occupant's face and the feature points of facial parts.
  • the calibration unit 6 extracts feature points corresponding to the feature points of the 3D model from the occupant in the captured image.
  • the method for extracting the feature points of the occupant from the captured image is not particularly limited, and the feature points are extracted by, for example, a feature point extraction technique based on machine learning, an image recognition technique such as edge extraction, or template matching.
  • the calibration unit 6 compares the positions of the feature points of the 3D model and the positions of the feature points of the occupant extracted from the captured image on the captured image.
  • the calibration unit 6 positions the feature points of the 3D model so that the error between the position of the feature points of the 3D model and the position of the feature points of the passenger extracted from the captured image is within a preset threshold. is calibrated according to the position of the passenger's feature points extracted from the captured image.
  • the sensing unit 4 can accurately detect the direction of the face regardless of individual differences among the occupants.
  • the calibration unit 6 may correct the standard model used for eye opening degree detection.
  • the sensing unit 4 holds a standard model for detecting the degree of eye opening of the occupant. Then, the sensing unit 4 detects the occupant's eyes from the captured image, and uses a standard model to detect the degree of eye opening, which is the degree to which the occupant's eyes are opened.
  • the standard model for detecting the degree of eye opening includes information on a standard flatness ratio, which is a value obtained by dividing the width of the eyes by the height of the eyes when the eyes are open, but the standard flatness ratio varies depending on individual differences among occupants.
  • the calibration unit 6 calculates the width and height of the eyes of the occupant from the captured image, and calculates the standard flatness of the occupant. Then, the calibration unit 6 corrects the standard model based on the error between the reference flatness of the standard model and the calculated standard flatness of the occupant. Thereby, the sensing unit 4 can accurately detect the degree of eye opening regardless of individual differences among the occupants.
  • the determining unit 7 determines whether or not to perform the sensing in the sensing unit 4 and the calibration by the calibration unit 6, depending on the estimation result of the position estimating unit 5. More specifically, when determining that the position of the imaging unit 8 has changed using the estimation result of the position estimation unit 5, the determination unit 7 causes the calibration unit 6 to perform calibration. Then, the determining unit 7 does not cause the sensing unit 4 to perform sensing while the calibration is being performed, and restarts the sensing in the sensing unit 4 after the calibration is completed. Alternatively, the determination unit 7 may not output the sensing results from the sensing unit 4 while the calibration is being performed, but may output the sensing results from the sensing unit 4 after the calibration is completed. In the following, not performing sensing in the sensing unit 4 includes both not performing sensing and performing sensing but not outputting a sensing result. Detailed processing operations of the determination unit 7 will be explained in the passenger monitoring method described later.
  • the notification unit 9 is, for example, a speaker or display provided in the vehicle 1, which notifies the occupants of information.
  • the notification unit 9 acquires information indicating the sensing result from the sensing unit 4, it notifies the occupant of the sensing result. Further, when the notification unit 9 acquires a signal indicating that sensing will not be performed from the determination unit 7, it notifies the occupant that sensing will not be performed. Furthermore, when the notification unit 9 acquires information indicating that the sensing result will not be output from the sensing unit 4 or the determination unit 7, it notifies the occupant that sensing will not be performed.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the occupant monitoring device 2 according to the first embodiment.
  • the image acquisition unit 3, sensing unit 4, position estimation unit 5, calibration unit 6, and determination unit 7 of the occupant monitoring device 2 may be a processing circuit 12 that is dedicated hardware as shown in FIG. 2A. Alternatively, it may be the processor 13 that executes a program stored in the memory 14 as shown in FIG. 2B.
  • the processing circuit 12 may be a single circuit, for example. This includes a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-programmable Gate Array), or a combination of these.
  • the functions of the image acquisition section 3, sensing section 4, position estimation section 5, calibration section 6, and judgment section 7 may be realized by a processing circuit, or the functions of each section may be realized by a single processing circuit. It may be realized.
  • the functions of each section are software, firmware, or software and firmware. This is realized by a combination of Software or firmware is written as a program and stored in memory 14.
  • the processor 13 realizes the functions of the image acquisition section 3, sensing section 4, position estimation section 5, calibration section 6, and determination section 7 by reading and executing programs stored in the memory 14. That is, when the image acquisition unit 3, sensing unit 4, position estimation unit 5, calibration unit 6, and determination unit 7 are executed by the processor 13, the image acquisition unit 3, sensing unit 4, position estimation unit 5, calibration unit 6, and determination unit 7 are A memory 14 is provided for storing a program that will result in each of the steps shown. It can also be said that these programs cause the computer to execute the procedures or methods of the image acquisition unit 3, sensing unit 4, position estimation unit 5, calibration unit 6, and determination unit 7.
  • the processor 13 refers to, for example, a CPU (Central Processing Unit), a processing device, an arithmetic unit, a processor, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • the memory 14 is, for example, RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrical It may be a non-volatile or volatile semiconductor memory such as y EPROM). However, it may be a magnetic disk such as a hard disk or a flexible disk, or an optical disk such as a mini disk, a CD (Compact Disc), or a DVD (Digital Versatile Disc).
  • the processing circuit 12 in the occupant monitoring device 2 can implement the above-mentioned functions using hardware, software, firmware, or a combination thereof.
  • FIG. 3 is a flowchart showing the processing operation of the occupant monitoring device 2 according to the first embodiment.
  • the occupant monitoring device 2 starts operating, for example, at the timing when the imaging unit 8 starts to be activated, and repeats the operation while the vehicle 1 is traveling.
  • the sensing unit 4 is performing sensing at START in FIG. 3 .
  • step S1 the image acquisition unit 3 acquires a captured image from the imaging unit 8. Then, the image acquisition section 3 outputs the acquired captured image to the position estimation section 5, sensing section 4, and calibration section 6.
  • step S2 the position estimating unit 5 determines whether the amount of change in the position of the imaging unit 8 is greater than or equal to a first threshold value. Then, if the amount of change in the position of the imaging unit 8 is equal to or greater than the first threshold (YES in step S2), the position estimating unit 5 estimates that there is a change in the position of the imaging unit 8 (step S3). If the amount of change in the position of the imaging unit 8 is less than the first threshold (NO in step S2), the position estimating unit 5 estimates that there is no change in the position of the imaging unit 8 (step S4).
  • the determining unit 7 determines that the sensing unit 4 should perform sensing (step S5). That is, the determining unit 7 causes the sensing unit 4 to continue sensing.
  • the determining unit 7 determines not to perform sensing by the sensing unit 4 (step S6). That is, the determining unit 7 interrupts sensing by the sensing unit 4.
  • step S7 the determination unit 7 outputs a signal to the notification unit 9 indicating that sensing is not performed. Thereby, the notification unit 9 notifies the occupant that sensing will not be performed. Step S7 may be performed simultaneously with step S6. Furthermore, the notification unit 9 may continue to notify the occupant that sensing will not be performed until the processing operation in step S10, which will be described later.
  • step S8 the determining unit 7 determines whether the position estimating unit 5 estimates that the position of the imaging unit 8 does not change over a preset time. If the position estimating unit 5 does not estimate that the position of the imaging unit 8 does not change over a preset time period (NO in step S8), the determining unit 7 determines whether the position of the imaging unit 8 has been set in advance in the position estimating unit 5. Step S8 is repeated until it is estimated that there is no change over time.
  • the preset time is set to, for example, the time required for the position or angle of the movable part in the vehicle 1 to be changed by an operation by a passenger or an instruction from the vehicle 1.
  • the preset time is, for example, 30 seconds.
  • the determining unit 7 causes the calibration unit 6 to perform calibration (step S9).
  • the determination unit 7 causes the sensing unit 4 to perform sensing in step S10.
  • step S11 the sensing unit 4 outputs the sensing result to the notification unit 9. Thereby, the notification unit 9 notifies the occupant of the sensing result. With the above, the processing operation of the occupant monitoring device 2 is completed.
  • a conventional occupant monitoring device performs sensing on an occupant by processing an image captured by an imaging unit 8 installed at a fixed part in the vehicle 1, such as a steering column or a center console.
  • the conventional occupant monitoring device performs calibration, for example, when a preset time has elapsed.
  • the imaging unit 8 is installed in a fixed part within the vehicle 1, so the position of the imaging unit 8 does not change easily. Therefore, calibration is performed when a preset time has elapsed. By implementing this, sensing performance can be maintained.
  • many devices other than the imaging section 8 are arranged in fixed parts within the vehicle 1 such as the steering column and the center console, there are restrictions on the layout of the imaging section 8.
  • the occupant monitoring device 2 of the present embodiment performs image processing on an image captured by an image capturing unit 8 provided in a movable part in the vehicle 1, such as a rearview mirror and a steering wheel telescope, and performs sensing for the occupant. do.
  • an image capturing unit 8 provided in a movable part in the vehicle 1, such as a rearview mirror and a steering wheel telescope, and performs sensing for the occupant. do.
  • a case will be considered in which calibration is performed when a preset time has elapsed, similar to the conventional occupant monitoring device.
  • the occupant monitoring device 2 of the present embodiment includes an image acquisition section 3 that acquires an image of the inside of the vehicle 1 taken by an imaging section 8 provided in a movable part within the vehicle 1, and an image processing unit 3 for acquiring an image of the inside of the vehicle 1.
  • a sensing unit 4 that performs sensing for at least one of passenger status determination and passenger personal authentication; a position estimation unit 5 that estimates whether there is a change in the position of the imaging unit 8; and a sensing unit If the position estimation unit 5 estimates that there is a change in the position of the imaging unit 8, the calibration unit 6 performs calibration for the image processing in 4, and the position estimation unit 5 performs calibration without causing the sensing unit 4 to perform sensing. 6 is provided.
  • the occupant monitoring device 2 of the present embodiment performs calibration when it is estimated that there is a change in the position of the imaging unit 8, so that the sensing performance due to the change in the position of the imaging unit 8 is adjusted. It is possible to suppress the decrease in
  • the determining unit 7 causes the calibration unit 6 to perform calibration.
  • the preset time is, for example, the time required for the position or angle of the movable part in the vehicle 1 to be changed by an operation by a passenger or an instruction from the vehicle 1.
  • the determination unit 7 does not perform calibration while the position of the imaging unit 8 is changing, so that the processing load can be reduced. Note that the processing operation of step S8 shown in FIG. 3 does not need to be performed. That is, when the position estimation unit 5 estimates that there is a change in the position of the imaging unit 8, the determination unit 7 may cause the calibration unit 6 to perform calibration.
  • the determining unit 7 causes the sensing unit 4 to perform sensing after the calibration unit 6 completes the calibration. Thereby, sensing can be quickly restarted after calibration is completed.
  • the determining unit 7 outputs a signal indicating that sensing is not performed to the notification unit 9 that notifies the occupant of information. Thereby, it is possible to notify the occupant that sensing is not being performed in the occupant monitoring device 2.
  • step S8 in FIG. 3 the occupant monitoring device 2 repeatedly performs step S9. Therefore, the period during which sensing by the sensing unit 4 is not performed becomes long.
  • the position estimating unit 5 determines whether the amount of rotation of the imaging unit 8 is equal to or greater than the first threshold of the preset amount of rotation, and if the amount of translation of the imaging unit 8 is equal to or greater than the first threshold of the amount of rotation set in advance. It is estimated that there is a change in the position of the imaging unit 8 in at least one of the cases where the value is equal to or greater than the threshold value.
  • the first threshold value for the amount of rotation and the first threshold value for the amount of translation are each larger than a change in the position of the imaging unit 8 due to vibrations of the vehicle 1 that occur when the vehicle 1 travels, for example.
  • the occupant monitoring device 2 can suppress a decrease in sensing performance due to a change in the position of the movable part within the vehicle 1.
  • a change in the position of the imaging unit 8 due to vibrations of the vehicle 1 caused by the vehicle 1 running is a change in the position of the imaging unit 8 due to a change in the position of a movable part within the vehicle 1.
  • the decrease in sensing performance due to vibrations of the vehicle 1 caused by traveling of the vehicle 1 is smaller than the decrease in sensing performance due to a change in the position of the movable part within the vehicle 1.
  • FIG. 4 is a block diagram showing a part of the vehicle 1 equipped with the occupant monitoring device 2 according to the second embodiment.
  • the occupant monitoring device 2 according to the second embodiment is characterized in that the sensing section 4 includes a storage section 10.
  • the rest of the configuration of the occupant monitoring device 2 is the same as that of the first embodiment.
  • Components similar to those in Embodiment 1 are given the same reference numerals.
  • the sensing unit 4 performs sensing that is at least one of determining the state of the occupant, such as drowsy driving and distracted driving, or authenticating the individual of the occupant, by image processing of the captured image.
  • the sensing section 4 has a storage section 10.
  • the storage unit 10 stores at least the results of the previous sensing. Then, according to the signal from the determination section 7, the previous sensing result is output to the notification section 9. Note that the storage unit 10 may be provided in the occupant monitoring device 2 separately from the sensing unit 4.
  • FIG. 5 is a flowchart showing the processing operation of the occupant monitoring device 2 according to the second embodiment.
  • the occupant monitoring device 2 starts operating, for example, at the timing when the imaging unit 8 starts to be activated, and repeats the operation while the vehicle 1 is traveling.
  • the sensing unit 4 is performing sensing at START in FIG. 5 .
  • Steps S1 to S6 and steps S8 to S10 are similar to the processing operations of the occupant monitoring device 2 of the first embodiment shown in FIG.
  • the determining unit 7 determines not to cause the sensing unit 4 to perform sensing (step S6), and proceeds to step S20. Further, in step S6, if the sensing unit 4 performs sensing but does not output the sensing result, the sensing unit 4 does not store the sensing result in the storage unit 10 as valid data.
  • step S20 the determining unit 7 causes the sensing unit 4 to output the previous sensing result to the notification unit 9. Thereby, the notification unit 9 notifies the occupant of the sensing result of the sensing unit 4 before the position of the imaging unit 8 is estimated to have changed.
  • Step S20 may be performed simultaneously with step S6. Further, the notification unit 9 may continuously notify the occupant of the sensing result in the sensing unit 4 before the position of the imaging unit 8 is estimated to have changed, until the processing operation in step S21 described later.
  • the occupant monitoring device 2 executes the processing operations of steps S8 to S10.
  • step S21 the determination unit 7 causes the sensing unit 4 to output the latest sensing result to the notification unit 9. With the above, the processing operation of the occupant monitoring device 2 is completed.
  • the occupant monitoring device 2 of this embodiment includes an image acquisition section 3 that acquires a captured image captured by an imaging section 8 provided in a movable part within the vehicle 1; a sensing unit 4 that performs sensing that is at least one of determining the status of the occupant and authenticating the individual of the occupant through image processing; a position estimating unit 5 that estimates whether there is a change in the position of the imaging unit 8;
  • the determination unit 7 includes a determination unit 7 that causes the calibration unit 6 to perform calibration. Thereby, deterioration in sensing performance due to a change in the position of the imaging unit 8 can be suppressed.
  • the sensing unit 4 stores at least the result of the previous sensing, and the determining unit 7 causes the sensing unit 4 to output the result of the previous sensing to the notification unit 9 when not causing the sensing unit 4 to perform sensing.
  • the occupant monitoring device 2 outputs the sensing result of the sensing unit 4 before the position of the imaging unit 8 changes while the position of the imaging unit 8 is changing and during calibration. Erroneous detection by the sensing unit 4 can be suppressed.
  • FIG. 6 is a flowchart showing the processing operation of the occupant monitoring device 2 according to the third embodiment.
  • the occupant monitoring device 2 of the third embodiment is different from the occupant monitoring devices 2 of the first and second embodiments in the processing operation of the determining unit 7.
  • the rest of the configuration of the occupant monitoring device 2 is the same as that of the first embodiment or the second embodiment.
  • Components similar to those in Embodiment 1 are given the same reference numerals.
  • Steps S1 to S8 are similar to the processing operations of the occupant monitoring device 2 of the first embodiment shown in FIG.
  • the position estimating unit 5 estimates that the position of the imaging unit 8 does not change over a preset time period (YES in step S8)
  • the determining unit 7 calibration is performed (step S9).
  • the determining unit 7 It is determined whether or not the occupant who is the object of sensing by the sensing unit 4 is captured in the captured image (step S30).
  • the determining unit 7 may have the sensing unit 4 or the calibration unit 6 determine whether or not the occupant who is the object of sensing by the sensing unit 4 is imaged in the captured image.
  • Step S9 to S11 are similar to the processing operations of the occupant monitoring device 2 of the first embodiment shown in FIG.
  • step S30 When the determining unit 7 determines that the occupant is not captured in the captured image (NO in step S30), the determining unit 7 repeats step S30 until it determines that the occupant is not captured in the captured image. That is, the determination unit 7 does not perform the calibration (step S9) and sensing (step S10) when the passenger is not captured in the captured image. With the above, the processing operation of the occupant monitoring device 2 is completed.
  • the occupant monitoring device 2 of this embodiment includes an image acquisition unit 3 that acquires an image of the inside of the vehicle 1 captured by an imaging unit 8 provided in a movable part within the vehicle 1; , a sensing unit 4 that performs sensing, which is at least one of determining the status of the occupant and authenticating the individual of the occupant, through image processing of captured images; and a position estimation unit that estimates whether there is a change in the position of the imaging unit 8.
  • unit 5 a calibration unit 6 that performs calibration for image processing in the sensing unit 4, and a position estimation unit 5 that performs sensing by the sensing unit 4 when it is estimated that there is a change in the position of the imaging unit 8.
  • the determination unit 7 is provided to cause the calibration unit 6 to perform calibration without causing the calibration. Thereby, deterioration in sensing performance due to a change in the position of the imaging unit 8 can be suppressed.
  • the determination unit 7 can suppress unnecessary processing by not performing calibration and sensing when the captured image does not include the occupant.
  • FIG. 7 is a block diagram showing a part of the vehicle 1 equipped with the occupant monitoring device 2 according to the fourth embodiment.
  • Vehicle 1 according to the fourth embodiment includes a vehicle speed sensor 11 that detects the speed of vehicle 1.
  • the occupant monitoring device 2 uses the sensing unit 4 to perform sensing, which is at least one of determining the condition of the occupant, such as drowsy driving and distracted driving, and authenticating the individual of the occupant. Thereby, the occupant monitoring device 2 can improve the safety and comfort of the occupant.
  • the occupant monitoring device 2 of Embodiments 1 to 3 does not cause the sensing section 4 to perform sensing, and causes the calibration section 6 to perform calibration. By doing so, it is possible to suppress a decrease in sensing accuracy.
  • the sensing unit 4 will make a false detection differs depending on the amount of change in the position of the imaging unit 8. That is, the greater the amount of change in the position of the imaging unit 8, the lower the sensing accuracy.
  • the occupant monitoring device 2 of the fourth embodiment is implemented in that the position estimating unit 5 estimates the amount of change in the position of the imaging unit 8, and the determining unit 7 makes a determination according to the amount of change in the position of the imaging unit 8. This is different from the occupant monitoring device 2 of Forms 1 to 3.
  • the rest of the configuration of the occupant monitoring device 2 is the same as any of the first to third embodiments. Components similar to those in Embodiment 1 are given the same reference numerals.
  • the position estimating unit 5 estimates that there is a change in the position of the imaging unit 8 when the amount of change in the position of the imaging unit 8 is greater than or equal to the first threshold value.
  • the determining unit 7 determines whether the rotation amount of the imaging unit 8 is equal to or greater than a preset second threshold for the rotation amount, and whether the translation amount of the imaging unit 8 is equal to or larger than the preset second threshold for the translation amount. Determine whether or not the above is true.
  • the second threshold for the amount of rotation and the second threshold for the amount of translation are set to values larger than the first threshold for the amount of rotation and the first threshold for the amount of translation, respectively.
  • the second threshold value for the amount of rotation and the second threshold value for the amount of translation are appropriately set depending on how much sensing accuracy by the sensing unit 4 is desired to be ensured.
  • the second threshold value for the amount of rotation and the second threshold value for the amount of translation are determined by experimentally calculating the amount of change in the position of the imaging unit 8 and the probability that the sensing unit 4 will make a false detection.
  • the amount of change in the position of the imaging unit 8 is set to have a probability of 80%.
  • the case where the rotation amount of the imaging unit 8 is equal to or greater than a preset second rotation amount threshold, and the case where the translation amount of the imaging unit 8 is equal to or greater than a preset second translation amount threshold At least one of these cases is expressed as a case where the amount of change in the position of the imaging unit 8 is equal to or greater than the second threshold. Further, the case where the amount of rotation of the imaging unit 8 is less than the second threshold of the preset amount of rotation, and the amount of translation of the imaging unit 8 is less than the second threshold of the amount of translation set in advance. , the amount of change in the position of the imaging unit 8 is less than the second threshold.
  • the determining unit 7 makes the following determination. If the determining unit 7 determines that the amount of change in the position of the imaging unit 8 is less than the second threshold, the determining unit 7 causes the sensing unit 4 to perform sensing until the vehicle 1 stops, for example, and causes the calibration unit 6 to perform calibration. do not allow the implementation of the Further, when the determining unit 7 determines that the amount of change in the position of the imaging unit 8 is equal to or greater than the second threshold, the determining unit 7 does not allow the sensing unit 4 to perform sensing regardless of the running state of the vehicle 1. , perform calibration.
  • FIG. 8 is a flowchart showing the processing operation of the occupant monitoring device 2 according to the fourth embodiment.
  • the occupant monitoring device 2 starts operating, for example, at the timing when the imaging unit 8 starts to be activated, and repeats the operation while the vehicle 1 is traveling. In the following description, it is assumed that the sensing unit 4 is performing sensing at START in FIG. 8 .
  • Steps S1 to S4 are similar to the processing operations of the occupant monitoring device 2 of the first embodiment shown in FIG.
  • the position estimating unit 5 estimates that there is a change in the position of the imaging unit 8 (step S3)
  • the determining unit 7 determines whether the amount of change in the position of the imaging unit 8 is greater than or equal to a second threshold. (Step S40).
  • step S40 If the amount of change in the position of the imaging unit 8 is equal to or greater than the second threshold (YES in step S40), the process advances to step S6. If the amount of change in the position of the imaging unit 8 is less than the second threshold (YES in step S40), the determining unit 7 causes the sensing unit 4 to continue sensing (step S41). Then, the determination unit 7 acquires information indicating the speed of the vehicle 1 from the vehicle speed sensor 11, and determines whether the vehicle 1 is stopped (step S42). If the vehicle 1 is stopped (YES in step S42), the process advances to step S5. If the vehicle 1 is not stopped (NO in step S42), step S42 is repeated.
  • Steps S6 to S101 are similar to the processing operations of the occupant monitoring device 2 of the first embodiment shown in FIG. With the above, the processing operation of the occupant monitoring device 2 is completed.
  • the occupant monitoring device 2 of this embodiment includes an image acquisition unit 3 that acquires an image of the inside of the vehicle 1 captured by an imaging unit 8 provided in a movable part within the vehicle 1; , a sensing unit 4 that performs sensing, which is at least one of determining the status of the occupant and authenticating the individual of the occupant, through image processing of captured images; and a position estimation unit that estimates whether there is a change in the position of the imaging unit 8.
  • unit 5 a calibration unit 6 that performs calibration for image processing in the sensing unit 4, and a position estimation unit 5 that performs sensing by the sensing unit 4 when it is estimated that there is a change in the position of the imaging unit 8.
  • the determination unit 7 is provided to cause the calibration unit 6 to perform calibration without causing the calibration. Thereby, deterioration in sensing performance due to a change in the position of the imaging unit 8 can be suppressed.
  • the determination unit 7 determines that when the amount of rotation of the imaging unit 8 is less than a second threshold of the amount of rotation set in advance, and the amount of translation of the imaging unit 8 is If the amount of translation is less than the second threshold set in advance, that is, if the amount of change in the position of the imaging unit 8 is greater than or equal to the first threshold and less than the second threshold, the sensing unit continues until the vehicle 1 stops. 4 is performed, and calibration by the calibration unit 6 is not performed. Then, after the vehicle 1 has stopped, the determination unit 7 does not cause the sensing unit 4 to perform sensing, but causes the calibration unit 6 to perform calibration.
  • the second threshold value may be set as appropriate depending on how much sensing accuracy by the sensing unit 4 is desired to be ensured.
  • the second threshold value is determined by experimentally calculating the amount of change in the position of the imaging unit 8 and the probability that the sensing unit 4 will make a false detection
  • the second threshold value is determined by calculating the amount of change in the position of the imaging unit 8 and the probability that the sensing unit 4 will make a false detection.
  • the occupant monitoring device 2 can improve the safety and comfort of the occupant by performing sensing while the vehicle 1 is running.
  • sensing accuracy cannot be guaranteed, and the determination unit 7 causes calibration to be performed regardless of the driving state of the vehicle 1. In this way, when sensing accuracy cannot be guaranteed, priority can be given to improving sensing accuracy.
  • the determination unit 7 acquires information indicating the speed of the vehicle 1 from the vehicle speed sensor 11 and determines whether the vehicle 1 is stopped, but the present invention is not limited to this.
  • the determining unit 7 may, for example, obtain information from the vehicle 1 indicating whether the door is open or closed or whether the ignition switch is on or off, and determine whether the vehicle 1 is stopped.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

乗員監視装置（２）は、車両（１）内の可動部に設けられた撮像部（８）により車両（１）内が撮像された撮像画像を取得する画像取得部（３）と、撮像画像の画像処理により、乗員の状態判定及び前記乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部（４）と、撮像部（８）の位置に変化があるか否かを推定する位置推定部（５）と、センシング部（４）における画像処理に対するキャリブレーションを実施するキャリブレーション部（６）と、位置推定部（５）において撮像部（８）の位置に変化があると推定された場合に、センシング部（４）によるセンシングを実施させず、キャリブレーション部（６）によるキャリブレーションを実施させる判断部（７）を備える。これにより、撮像部（８）の位置が変化したことに起因するセンシング性能の低下を抑制することができる。

Description

乗員監視装置、乗員監視方法、及び乗員監視プログラム
　本開示は、乗員監視装置、乗員監視方法、及び乗員監視プログラムに関する。
　乗員監視装置は、車両内の乗員が撮像された撮像画像を取得し、取得した撮像画像を画像処理することにより、乗員に対する種々のセンシングを実施する。例えば特許文献１では、撮像画像を用いて運転者の視線方向を検出し、脇見運転の有無を判断することが記載されている。そして、特許文献１では、運転者の個体差に起因した視線方向の検出誤差を補正するためにキャリブレーションを実施することが記載されている。また、特許文献２には、撮像部の位置及び方向を計測し、計測した撮像部の位置及び方向に従いキャリブレーションを実施することが記載されている。
特開２００５―３１３８４３号公報 特開２０１０―１８１２０９号公報
　ここで、撮像部は一般的にステアリングコラム又はセンターコンソールに配置されている。しかしながら、ステアリングコラム及びセンターコンソールは撮像部以外にも多くの機器が配置されるため、撮像部のレイアウトに制限がある。そこで、ステアリングコラム及びセンターコンソールよりもレイアウトに余裕がある例えばルームミラー等の可動部に撮像部を配置することが考えられる。この場合、特許文献１又は特許文献２に記載の方法でキャリブレーションを実施しても、乗員がルームミラーの角度を修正した際に撮像部と乗員の位置関係が変化するため、センシング性能が低下するという課題が生じる。
　本開示は、上述した課題を解決するためになされたものであり、撮像部が車両内の可動部に設けられた乗員監視装置において、撮像部の位置が変化したことに起因するセンシング性能の低下を抑制することを目的とするものである。
　本開示に係る乗員監視装置は、車両内の可動部に設けられた撮像部により車両内が撮像された撮像画像を取得する画像取得部と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部と、撮像部の位置に変化があるか否かを推定する位置推定部と、センシング部における画像処理に対するキャリブレーションを実施するキャリブレーション部と、位置推定部において撮像部の位置に変化があると推定された場合に、センシング部によるセンシングを実施させず、キャリブレーション部によるキャリブレーションを実施させる判断部とを備えたものである。
　本開示に係る乗員監視方法は、車両内の可動部に設けられた撮像部により車両内が撮像された撮像画像を取得するステップと、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するステップと、撮像部の位置に変化があるか否かを推定するステップと、画像処理に対するキャリブレーションを実施するステップと、撮像部の位置に変化があると推定された場合に、センシングを実施させず、キャリブレーションを実施させるステップとを備えたものである。
　本開示に係る乗員監視プログラムは、車両内の可動部に設けられた撮像部により車両内が撮像された撮像画像を取得する手順と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施する手順と、撮像部の位置に変化があるか否かを推定する手順と、画像処理に対するキャリブレーションを実施する手順と、撮像部の位置に変化があると推定された場合に、センシングを実施させず、キャリブレーションを実施させる手順とをコンピュータに実行させるものである。
　本開示によれば、撮像部が車両内の可動部に設けられた乗員監視装置において、撮像部の位置に変化があると推定された場合に、センシングを実施させず、キャリブレーションを実施させることにより、撮像部の位置が変化したことに起因するセンシング性能の低下を抑制することができる。
図１は実施の形態１の乗員監視装置を備えた車両の一部を示すブロック図である。 図２は実施の形態１の乗員監視装置のハードウェア構成例を示すブロック図である。 図３は実施の形態１の乗員監視装置の処理動作を示すフローチャートである。 図４は実施の形態２の乗員監視装置を備えた車両の一部を示すブロック図である。 図５は実施の形態２の乗員監視装置の処理動作を示すフローチャートである。 図６は実施の形態３の乗員監視装置の処理動作を示すフローチャートである。 図７は実施の形態４の乗員監視装置を備えた車両の一部を示すブロック図である。 図８は実施の形態４の乗員監視装置の処理動作を示すフローチャートである。
実施の形態１．
　実施の形態１における乗員監視装置２について図１を用いて説明する。図１は実施の形態１の乗員監視装置２を備えた車両１の一部を示すブロック図である。乗員監視装置２はドライバモニタリングシステム（ＤＭＳ：Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）であり、車両１内の乗員に対する画像処理により、乗員を対象とした種々のセンシングを行う。図１に示す車両１は、乗員監視装置２、撮像部８、及び通知部９を備える。乗員監視装置２は、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７を備える。ここで、乗員は車両１の運転者及び同乗者のいずれか一方である。
　撮像部８は車両１内の可動部に設けられたカメラであり、車両１内を撮像する。車両１内の可動部とは、乗員の操作又は車両１からの指示により位置又は角度が変更可能に構成されたものであり、例えばルームミラー及びハンドルテレスコである。ルームミラーは、車両１内前方部の天井に垂設され、運転者が車両１の後方を確認するためにルームミラーの角度を変更可能に構成される。ハンドルテレスコはステアリングホイールの位置を変更可能に構成されたものであり、運転者はハンドルテレスコを調整することにより、運転姿勢を最適化することができる。
　撮像部８は、設置位置から予め設定されたカメラの画角で広がる撮像領域を撮像する。撮像部８は、撮像領域に撮像対象である車両１内の乗員の顔が含まれるように設置される。撮像部８は例えば３０～６０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）の間隔で車両１内の乗員を撮像し、撮像画像を画像取得部３に出力する。
　画像取得部３は撮像部８から撮像画像を取得する。そして、画像取得部３は位置推定部５、センシング部４、及びキャリブレーション部６に取得した撮像画像を出力する。
　センシング部４は、撮像画像の画像処理により、居眠り運転及び脇見運転等の乗員の状態判定、又は乗員の個人認証の少なくともいずれか一方であるセンシングを実施する。センシング部４における撮像画像の画像処理は、例えば顔向き、開眼度、及び視線方向の検出等である。
　位置推定部５は、撮像部８の位置に変化があるか否かを推定する。上述のとおり、撮像部８は車両１内のルームミラー及びハンドルテレスコ等の可動部に設けられる。そのため、ルームミラー又はハンドルテレスコの角度調整によって、撮像部８の位置が変化する可能性がある。撮像部８の位置が変化するとは、前回のキャリブレーション実施時と比較して、撮像部８の回転方向及び並進方向の少なくとも一方の位置が変化することである。また、位置推定部５は、撮像部８の回転量が予め設定された回転量の第一の閾値以上である場合、及び、撮像部８の並進量が予め設定された並進量の第一の閾値以上である場合の少なくとも一方の場合に、撮像部８の位置に変化があると推定してもよい。回転量の第一の閾値及び並進量の第一の閾値は、例えば車両１が走行することにより発生する車両１の振動に起因した撮像部８の位置の変化よりもそれぞれ大きく設定される。
　ここで、撮像部８の回転量とは撮像部８の回転方向の変化量であり、撮像部８の並進量とは撮像部８の並進方向の変化量であり、撮像部８の位置の変化量とは、撮像部８の移動量及び回転量である。また、撮像部８の回転量が予め設定された回転量の第一の閾値以上である場合、及び、撮像部８の並進量が予め設定された並進量の第一の閾値以上である場合の少なくとも一方の場合を、撮像部８の位置の変化量が第一の閾値以上である場合と表現する。そして、撮像部８の回転量が予め設定された回転量の第一の閾値未満である場合、かつ、撮像部８の並進量が予め設定された並進量の第一の閾値未満である場合を、撮像部８の位置の変化量が第一の閾値未満である場合と表現する。
　位置推定部５による撮像部８の位置に変化があるか否かを推定する方法の一例を説明する。位置推定部５は撮像画像における予め設定された対象物の座標位置を算出する。予め設定された対象物は、撮像部８の撮像範囲に存在する車両１内の設置物であり、例えば車両シート、ヘッドレスト、又は窓枠である。予め設定された対象物は、例えば運転者によりルームミラー又はハンドルテレスコの角度が調整され撮像部８の位置が変化した場合でも、撮像部８の撮像範囲に含まれると想定される位置に存在する設置物であり、撮像部８の設置場所に応じて適宜設定される。位置推定部５は撮像画像における対象物の座標位置を算出し、算出した座標位置を予め設定された時間記憶する。そして、位置推定部５は現在の撮像画像における対象物の座標位置と過去の撮像画像における対象物の座標位置とを比較し、撮像部８の回転量及び並進量を算出する。次に、位置推定部５は、算出した撮像部８の回転量及び並進量と、回転量の第一の閾値及び並進量の第一の閾値とをそれぞれ比較する。そして、位置推定部５は、撮像部８の位置の変化量が第一の閾値以上である場合に、撮像部８の位置に変化があると推定する。また、例えば特許文献２に記載の方法により、位置推定部５は撮像画像を用いて撮像部８の変化量を推定することも可能である。
　また、位置推定部５による撮像部８の位置に変化があるか否かを推定する方法は上述の方法に限られない。例えば、位置推定部５は撮像部８が設けられた車両１内の可動部の位置が変化した場合に、車両１内の可動部の位置が変化したことを示す情報を車両１から取得することにより、撮像部８が移動したか否かを推定してもよい。また、位置推定部５は車両１内の可動部の変化量を示す情報を車両１から取得し、取得した情報に基づき撮像部８の変化量を推定してもよい。
　キャリブレーション部６は、センシング部４の画像処理に対するキャリブレーションを実施する。キャリブレーションとは、画像処理においてセンシング対象である乗員の個体差を補正するための処理である。一般的に、センシング部４によるセンシング結果は乗員の個体差に起因した検出誤差を伴う。そこで、キャリブレーション部６はキャリブレーションを実施することにより、センシング部４におけるセンシング精度を確保する。以下に、キャリブレーションの具体例を説明するが、これに限らずその他の公知の手段を用いてもよい。
　まず、キャリブレーション部６は視線方向検出に用いる標準モデルを補正する例を説明する。この場合、センシング部４は乗員の顔が撮像された撮像画像と乗員の視線方向とを対応づけた視線方向検出用の標準モデルを保持する。そして、センシング部４は標準モデルを用いて撮像画像から乗員の視線方向を検出し、例えば脇見運転の有無を判断する。ここで、センシング部４に保持された標準モデルは、乗員の個体差に対応して補正する必要がある。
　そこで、キャリブレーション部６は、実際の乗員の視線方向及びその状態での撮像画像に基づき標準モデルを補正する。例えば、キャリブレーション部６は乗員の視線方向を検出し、その結果を用いて乗員が注視している車両装備品を推定する。そして、キャリブレーション部６は乗員から見た当該車両装備品の方向を視線方向の基準として定め、この基準となる視線方向と検出した視線方向との誤差に基づいて、標準モデルを補正する。また、キャリブレーション部６は乗員が車両１内の各機器の操作を行っているときの視線とこの操作が行われている機器の位置を対応させることで標準モデルを補正してもよい。これにより、センシング部４は乗員の個体差に関係なく視線方向を精度よく検出することができる。
　また、キャリブレーション部６は顔向き検出に用いる標準モデルを補正してもよい。この場合、センシング部４は標準モデルである３Ｄモデルを保持し、３Ｄモデルを用いて撮像画像から乗員の顔方向を検出し、例えば脇見運転の有無を判断する。３Ｄモデルは、例えば標準的な成人の顔のサイズ、及び顔のパーツの特徴点を反映した３Ｄのモデルである。すなわち、３Ｄモデルは乗員の顔のサイズ、及び顔のパーツの特徴点を反映したものではない。
　そこで、キャリブレーション部６は、３Ｄモデルの特徴点に対応する特徴点を撮像画像中の乗員から抽出する。撮像画像から乗員の特徴点を抽出する方法は特に限定されず、例えば機械学習による特徴点抽出技術、エッジ抽出等の画像認識技術、又はテンプレートマッチングによって特徴点を抽出する。そして、キャリブレーション部６は、３Ｄモデルの特徴点の位置と撮像画像から抽出した乗員の特徴点の位置とを撮像画像上で比較する。次に、キャリブレーション部６は、３Ｄモデルの特徴点の位置と撮像画像から抽出した乗員の特徴点の位置との誤差が予め設定された閾値以内となるように、３Ｄモデルの特徴点の位置を撮像画像から抽出した乗員の特徴点の位置にあわせて校正する。これにより、センシング部４は乗員の個体差に関係なく顔方向を精度よく検出することができる。
　また、キャリブレーション部６は開眼度検出に用いる標準モデルを補正してもよい。この場合、センシング部４は乗員の開眼度検出用の標準モデルを保持する。そして、センシング部４は撮像画像から乗員の目を検出し、標準モデルを用いて乗員の目の開き具合である開眼度を検出する。開眼度検出用の標準モデルは、例えば開眼時における目の幅を目の高さで除した値である基準扁平率の情報を含むが、基準扁平率は乗員の個体差により異なる。
　そこで、キャリブレーション部６は、撮像画像から乗員の目の幅及び目の高さを算出し乗員の基準扁平率を算出する。そして、キャリブレーション部６は、標準モデルの基準扁平率と算出した乗員の基準扁平率との誤差に基づいて、標準モデルを補正する。これにより、センシング部４は乗員の個体差に関係なく開眼度を精度よく検出することができる。
　判断部７は、位置推定部５の推定結果に応じて、センシング部４におけるセンシング及びキャリブレーション部６によるキャリブレーションをそれぞれ実施させるか否かを判断する。より具体的には、判断部７は、位置推定部５の推定結果を用いて撮像部８の位置が変化したと判断した場合に、キャリブレーション部６によりキャリブレーションを実施させる。そして、判断部７は、キャリブレーション実施中はセンシング部４におけるセンシングを実施させず、キャリブレーション終了後にセンシング部４におけるセンシングを再開させる。或いは、判断部７は、キャリブレーション実施中はセンシング部４におけるセンシング結果を出力させず、キャリブレーション終了後にセンシング部４におけるセンシング結果を出力させてもよい。以下では、センシング部４におけるセンシングを実施しないとは、センシングを実施しないこと及びセンシングを実施するがセンシング結果を出力しないことの両方を含むこととする。判断部７の詳細な処理動作は、後述の乗員監視方法において説明する。
　通知部９は乗員に情報を通知する、例えば車両１に設けられたスピーカ又はディスプレイである。通知部９は、センシング部４からセンシング結果を示す情報を取得した場合に、乗員にセンシング結果を通知する。また、通知部９は、判断部７からセンシングが実施されないことを示す信号を取得した場合に、乗員にセンシングが実施されないことを通知する。さらに、通知部９は、センシング部４又は判断部７からセンシング結果が出力されないことを示す情報を取得した場合に、乗員にセンシングが実施されないことを通知する。
　次に、乗員監視装置２のハードウェア構成例を説明する。図２は実施の形態１の乗員監視装置２のハードウェア構成例を示すブロック図である。乗員監視装置２の、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７は、図２Ａに示すように専用のハードウェアである処理回路１２であってもよいし、図２Ｂに示すようにメモリ１４に格納されているプログラムを実行するプロセッサ１３であってもよい。
　図２Ａに示すように、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７が専用のハードウェアである場合、処理回路１２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
　図２Ｂに示すように、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７がプロセッサ１３である場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１４に格納される。プロセッサ１３は、メモリ１４に記憶されたプログラムを読み出して実行することにより、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７の各機能を実現する。すなわち、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７は、プロセッサ１３により実行されるときに、後述する図３、図５、図６又は図８に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１４を備える。また、これらのプログラムは、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７の手順又は方法をコンピュータに実行させるものであるともいえる。
　ここで、プロセッサ１３とは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等のことである。メモリ１４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　なお、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、乗員監視装置２における処理回路１２は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　次に、乗員監視装置２による乗員監視方法について説明する。図３は実施の形態１の乗員監視装置２の処理動作を示すフローチャートである。乗員監視装置２は、例えば撮像部８が起動を開始したタイミングで動作を開始し、車両１が走行中は動作を繰り返す。以下では、図３のＳＴＡＲＴにおいて、センシング部４はセンシングを実施しているものとして説明する。
　ステップＳ１では、画像取得部３は撮像部８から撮像画像を取得する。そして、画像取得部３は位置推定部５、センシング部４、及びキャリブレーション部６に取得した撮像画像を出力する。
　ステップＳ２では、位置推定部５は撮像部８の位置の変化量が第一の閾値以上であるか否かを判断する。そして、位置推定部５は撮像部８の位置の変化量が第一の閾値以上である場合（ステップS２のYES）、撮像部８の位置に変化があると推定する（ステップS３）。位置推定部５は撮像部８の位置の変化量が第一の閾値未満である場合（ステップS２のNO）、撮像部８の位置に変化がないと推定する（ステップS４）。
　位置推定部５において撮像部８の位置に変化がないと推定された場合（ステップS４）に、判断部７はセンシング部４によるセンシングを実施させると判断する（ステップＳ５）。すなわち、判断部７はセンシング部４によるセンシングを継続させる。
　位置推定部５において撮像部８の位置に変化があると推定された場合（ステップＳ３）、判断部７はセンシング部４によるセンシングを実施させないと判断する（ステップＳ６）。すなわち、判断部７はセンシング部４によるセンシングを中断させる。
　ステップＳ７では、判断部７はセンシングが実施されないことを示す信号を通知部９に出力する。これにより、通知部９は乗員にセンシングが実施されないことを通知させる。ステップＳ７はステップＳ６と同時に実施してもよい。また、通知部９は後述するステップＳ１０の処理動作まで、継続して乗員にセンシングが実施されないことを通知してもよい。
　ステップＳ８では、判断部７は位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定されたか否かを判断する。位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定されない場合（ステップＳ８のＮＯ）は、判断部７は位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定されるまで、ステップＳ８を繰り返す。予め設定された時間は、例えば、乗員の操作又は車両１の指示により車両１内の可動部の位置又は角度が変更されるために要する時間に設定される。予め設定された時間は例えば３０秒である。
　位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定された場合（ステップＳ８のＹＥＳ）、判断部７はキャリブレーション部６によるキャリブレーションを実施させる（ステップＳ９）。
　キャリブレーション部６によるキャリブレーションが終了後に、ステップＳ１０では判断部７はセンシング部４によるセンシングを実施させる。
　ステップＳ１１では、センシング部４はセンシング結果を通知部９に出力する。これにより、通知部９はセンシング結果を乗員に通知する。
　以上により、乗員監視装置２の処理動作を終了する。
　次に、本実施の形態１の乗員監視装置２の効果を従来の乗員監視装置と比較して説明する。従来の乗員監視装置は、例えばステアリングコラム又はセンターコンソール等の車両１内の固定部に設置された撮像部８により撮像された撮像画像を画像処理し、乗員に対するセンシングを実施する。そして、従来の乗員監視装置は、例えば予め設定された時間が経過した場合にキャリブレーションを実施する。従来の乗員監視装置では、撮像部８は車両１内の固定部に設置されているため、撮像部８の位置は容易には変化しないため、予め設定された時間が経過した場合にキャリブレーションを実施することにより、センシング性能を維持することができる。しかしながら、ステアリングコラム及びセンターコンソール等の車両１内の固定部は撮像部８以外にも多くの機器が配置されるため、撮像部８のレイアウトに制限がある。
　一般的に、車両１内の可動部は固定部と比較してレイアウトに余裕がある。そこで、本実施の形態の乗員監視装置２は、例えばルームミラー及びハンドルテレスコ等の車両１内の可動部に設けられた撮像部８により撮像された撮像画像を画像処理し、乗員に対するセンシングを実施する。ここで、本実施の形態の乗員監視装置２において、従来の乗員監視装置と同様に予め設定された時間が経過した場合にキャリブレーションを実施する場合を考える。この場合、例えば撮像部８が設けられた可動部の角度が変更され、撮像部８と乗員の位置関係が変化しても、乗員監視装置２は予め設定された時間が経過するまでキャリブレーションを実施せずセンシングを継続する。そのため、センシング性能が低下した状態が継続されるという課題がある。
　そこで、本実施の形態の乗員監視装置２は、車両１内の可動部に設けられた撮像部８により車両１内が撮像された撮像画像を取得する画像取得部３と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部４と、撮像部８の位置に変化があるか否かを推定する位置推定部５と、センシング部４における画像処理に対するキャリブレーションを実施するキャリブレーション部６と、位置推定部５において撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる判断部７を備える。これにより、本実施の形態の乗員監視装置２は、撮像部８の位置に変化があると推定された場合にキャリブレーションを実施するため、撮像部８の位置が変化したことに起因するセンシング性能の低下を抑制することができる。
　また、判断部７は、位置推定部５において撮像部８の位置が予め設定された時間継続して変化しないと推定された場合に、キャリブレーション部６によるキャリブレーションを実施させる。予め設定された時間は、例えば乗員の操作又は車両１の指示により車両１内の可動部の位置又は角度が変更されるために要する時間である。これにより、判断部７は、撮像部８の位置が変化している間はキャリブレーションを実施させないので、処理負荷を軽減することができる。なお、図３に示すステップS８の処理動作は実施しなくてもよい。すなわち、位置推定部５において撮像部８の位置に変化があると推定された場合、判断部７はキャリブレーション部６によるキャリブレーションを実施させてもよい。
　また、判断部７は、位置推定部５において撮像部８の位置に変化があると推定された場合に、キャリブレーション部６によるキャリブレーションが終了後にセンシング部４によるセンシングを実施させる。これにより、キャリブレーション終了後に、センシングを迅速に再開させることができる。
　また、判断部７は、センシング部４によるセンシングを実施させない場合に、センシングが実施されないことを示す信号を、乗員に情報を通知する通知部９に出力する。これにより、乗員監視装置２においてセンシングが実施されていないことを乗員に通知することができる。
　また、車両１は走行することにより車両１全体に振動が発生するため、車両１が走行中、撮像部８の位置は厳密には変化している。そのため、位置推定部５の精度が車両１振動に起因した撮像部８の位置の変化を検出可能な程度に高い場合は、乗員監視装置２は図３のステップS８が繰り返し実施する。或いは、乗員監視装置２は図３のステップS８を実施しない場合、ステップS９を繰り返し実施する。そのため、センシング部４によるセンシングが実施されない期間が長くなる。
　そこで、位置推定部５は、撮像部８の回転量が予め設定された回転量の第一の閾値以上である場合、及び、撮像部８の並進量が予め設定された並進量の第一の閾値以上である場合の少なくとも一方の場合に、撮像部８の位置に変化があると推定する。回転量の第一の閾値及び並進量の第一の閾値は、例えば車両１が走行することにより発生する車両１の振動に起因した撮像部８の位置の変化よりもそれぞれ大きい。これにより、乗員監視装置２は車両１内の可動部の位置が変更されたことに起因するセンシング性能の低下を抑制することができる。なお、車両１が走行することにより発生する車両１の振動に起因した撮像部８の位置の変化は、車両１内の可動部の位置が変更されたことに起因した撮像部８の位置の変化と比較して小さい。そのため、車両１内の可動部の位置が変更されたことに起因したセンシング性能の低下よりも、車両１が走行することにより発生する車両１の振動に起因したセンシング性能の低下の方が小さい。
実施の形態２．
　実施の形態２の乗員監視装置２について図４を用いて説明する。図４は実施の形態２の乗員監視装置２を備えた車両１の一部を示すブロック図である。実施の形態２の乗員監視装置２はセンシング部４が記憶部１０を有することを特徴とする。その他の乗員監視装置２の構成は実施の形態１と同様である。実施の形態１と同様の構成については、同一符号が付されている。
　実施の形態１と同様に、センシング部４は、撮像画像の画像処理により、居眠り運転及び脇見運転等の乗員の状態判定、又は乗員の個人認証の少なくともいずれか一方であるセンシングを実施する。そして、センシング部４は記憶部１０を有する。
　記憶部１０は少なくとも前回のセンシングの結果を記憶する。そして、判断部７からの信号に従い、通知部９に前回のセンシングの結果を出力する。なお、記憶部１０はセンシング部４とは別に乗員監視装置２に備えられてもよい。
　次に、乗員監視装置２による乗員監視方法について説明する。図５は実施の形態２の乗員監視装置２の処理動作を示すフローチャートである。乗員監視装置２は、例えば撮像部８が起動を開始したタイミングで動作を開始し、車両１が走行中は動作を繰り返す。以下では、図５のＳＴＡＲＴにおいて、センシング部４はセンシングを実施しているものとして説明する。
　ステップＳ１～ステップＳ６、及びステップＳ８～ステップＳ１０は図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。位置推定部５において撮像部８の位置に変化があると推定された場合（ステップＳ３）、判断部７はセンシング部４によるセンシングを実施させないと判断（ステップＳ６）し、ステップＳ２０に進む。また、ステップＳ６において、センシング部４はセンシングを実施するがセンシングの結果を出力しない場合は、センシング部４は記憶部１０にセンシングの結果を有効なデータとして記憶しない。
　ステップＳ２０では、判断部７はセンシング部４に前回のセンシングの結果を通知部９に出力させる。これにより、通知部９は、撮像部８の位置が変化したと推定される前のセンシング部４におけるセンシングの結果を乗員に通知する。ステップＳ２０はステップＳ６と同時に実施してもよい。また、通知部９は後述するステップＳ２１の処理動作まで、継続して撮像部８の位置が変化したと推定される前のセンシング部４におけるセンシングの結果を乗員に通知してもよい。次に、乗員監視装置２はステップＳ８～ステップＳ１０の処理動作を実施する。
　ステップＳ２１では、判断部７はセンシング部４に最新のセンシングの結果を通知部９に出力させる。
　以上により、乗員監視装置２の処理動作を終了する。
　実施の形態１と同様に、本実施の形態の乗員監視装置２は、車両１内の可動部に設けられた撮像部８により撮像された撮像画像を取得する画像取得部３と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部４と、撮像部８の位置に変化があるか否かを推定する位置推定部５と、センシング部４における画像処理に対するキャリブレーションを実施するキャリブレーション部６と、位置推定部５において撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる判断部７を備える。これにより、撮像部８の位置が変化したことに起因するセンシング性能の低下を抑制することができる。
　また、撮像部８の位置が変化している間、及びキャリブレーション実施中は、センシング部４はセンシング精度を担保できず誤検出する可能性が高い。そこで、センシング部４は少なくとも前回のセンシングの結果を記憶し、判断部７はセンシング部４によるセンシングを実施させない場合に、センシング部４に前回のセンシングの結果を通知部９に出力させる。これにより、乗員監視装置２は、撮像部８の位置が変化している間、及びキャリブレーション実施中は、撮像部８の位置が変化する前におけるセンシング部４のセンシングの結果を出力するので、センシング部４による誤検出を抑制することができる。
実施の形態３．
　実施の形態３の乗員監視装置２について図６を用いて説明する。図６は実施の形態３の乗員監視装置２の処理動作を示すフローチャートである。実施の形態３の乗員監視装置２は、判断部７の処理動作が実施の形態１及び実施の形態２の乗員監視装置２と異なる。その他の乗員監視装置２の構成は実施の形態１又は実施の形態２と同様である。実施の形態１と同様の構成については、同一符号が付されている。
　ステップＳ１～ステップＳ８は図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。実施の形態１の乗員監視装置２は、位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定された場合（ステップＳ８のＹＥＳ）、判断部７はキャリブレーション部６によるキャリブレーションを実施させる（ステップＳ９）。
　これに対し、本実施の形態の乗員監視装置２は、位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定された場合（ステップＳ８のＹＥＳ）、判断部７は撮像画像にセンシング部４によるセンシング対象である乗員は撮像されているか否かを判断する（ステップＳ３０）。判断部７は撮像画像にセンシング部４によるセンシング対象である乗員は撮像されているか否かを、例えばセンシング部４又はキャリブレーション部６により判断させてもよい。
　判断部７において撮像画像に乗員が撮像されていると判断された場合（ステップＳ３０のＹＥＳ）、ステップＳ９に進む。ステップＳ９～ステップＳ１１は図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。
　判断部７において撮像画像に乗員が撮像されていないと判断された場合（ステップＳ３０のＮＯ）、判断部７は撮像画像に乗員が撮像されていないと判断するまでステップＳ３０を繰り返す。すなわち、判断部７は、撮像画像に乗員が撮像されていない場合に、キャリブレーション（ステップＳ９）及びセンシング（ステップＳ１０）を実施させない。
　以上により、乗員監視装置２の処理動作を終了する。
　実施の形態１と同様に、本実施の形態の乗員監視装置２は、車両１内の可動部に設けられた撮像部８により車両１内が撮像された撮像画像を取得する画像取得部３と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部４と、撮像部８の位置に変化があるか否かを推定する位置推定部５と、センシング部４における画像処理に対するキャリブレーションを実施するキャリブレーション部６と、位置推定部５において撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる判断部７を備える。これにより、撮像部８の位置が変化したことに起因するセンシング性能の低下を抑制することができる。
　また、撮像部８に乗員が撮像されていない場合、キャリブレーション部６及びセンシング部４は、それぞれキャリブレーション及びセンシングを実施することができない。そこで、判断部７は、撮像画像に乗員が撮像されていない場合に、キャリブレーション及びセンシングを実施させないことにより、無駄な処理を抑制することができる。
実施の形態４．
　実施の形態４の乗員監視装置２について説明する。図７は実施の形態４の乗員監視装置２を備えた車両１の一部を示すブロック図である。実施の形態４の車両１は、車両１の速度を検出する車速センサ１１を備える。
　上述のとおり乗員監視装置２は、センシング部４により居眠り運転及び脇見運転等の乗員の状態判定、又は乗員の個人認証の少なくともいずれか一方であるセンシングを実施する。これにより、乗員監視装置２は乗員の安全性及び快適性を向上することができる。
　一方で、撮像部８が設けられた可動部の位置が変更されると、撮像部８と乗員の位置関係が変化するためセンシング部４は誤検出をする可能性が高まり、乗員の安全性及び快適性が低下する。そこで、実施の形態１から３の乗員監視装置２は、撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させることにより、センシング精度の低下を抑制することができる。
　ところで、撮像部８の位置の変化量によってセンシング部４が誤検出をする可能性は異なる。すなわち、撮像部８の位置の変化量が大きいほど、センシング精度は低下する。実施の形態４の乗員監視装置２は、位置推定部５は撮像部８の位置の変化量を推定し、判断部７は撮像部８の位置の変化量に応じた判断を実施する点において実施の形態１から３の乗員監視装置２と異なる。その他の乗員監視装置２の構成は実施の形態１から３のいずれかと同様である。実施の形態１と同様の構成については、同一符号が付されている。
　実施の形態１と同様に、位置推定部５は撮像部８の位置の変化量が第一の閾値以上である場合に、撮像部８の位置に変化があると推定する。
　判断部７は、撮像部８の回転量が予め設定された回転量の第二の閾値以上であるか否か、及び、撮像部８の並進量が予め設定された並進量の第二の閾値以上であるか否かを判断する。回転量の第二の閾値及び並進量の第二の閾値は回転量の第一の閾値及び並進量の第一の閾値よりもそれぞれ大きい値に設定される。回転量の第二の閾値及び並進量の第二の閾値は、センシング部４によるセンシング精度をどの程度担保したいかによって適宜設定される。例えば回転量の第二の閾値及び並進量の第二の閾値は、撮像部８の位置の変化量とセンシング部４が誤検出する確率を実験的に算出し、センシング部４によるセンシングの誤検出の可能性が８０％である撮像部８の位置の変化量にそれぞれ設定される。
　以下では、撮像部８の回転量が予め設定された回転量の第二の閾値以上である場合、及び、撮像部８の並進量が予め設定された並進量の第二の閾値以上である場合の少なくとも一方の場合を、撮像部８の位置の変化量が第二の閾値以上である場合と表現する。また、撮像部８の回転量が予め設定された回転量の第二の閾値未満である場合、かつ、撮像部８の並進量が予め設定された並進量の第二の閾値未満である場合を、撮像部８の位置の変化量が第二の閾値未満である場合と表現する。
　そして、位置推定部５は撮像部８の位置の変化量が第一の閾値以上であり、撮像部８の位置に変化があると推定した場合に、判断部７は次の判断を実施する。判断部７は、撮像部８の位置の変化量が第二の閾値未満であると判断した場合に、例えば車両１が停止するまで、センシング部４によるセンシングを実施させ、キャリブレーション部６によるキャリブレーションを実施させない。また、判断部７は撮像部８の位置の変化量が第二の閾値以上であると判断した場合に、判断部７は車両１の走行状態に関わらず、センシング部４によるセンシングを実施させず、キャリブレーションを実施させる。
　次に、乗員監視装置２による乗員監視方法について説明する。図８は実施の形態４の乗員監視装置２の処理動作を示すフローチャートである。乗員監視装置２は、例えば撮像部８が起動を開始したタイミングで動作を開始し、車両１が走行中は動作を繰り返す。以下では、図８のＳＴＡＲＴにおいて、センシング部４はセンシングを実施しているものとして説明する。
　ステップＳ１～ステップＳ４は図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。位置推定部５において撮像部８の位置に変化があると推定された場合（ステップＳ３）、判断部７は撮像部８の位置の変化量は第二の閾値以上であるか否かを判断する（ステップＳ４０）。
　撮像部８の位置の変化量が第二の閾値以上である場合（ステップＳ４０のＹＥＳ）、ステップＳ６に進む。撮像部８の位置の変化量が第二の閾値未満である場合（ステップＳ４０のＹＥＳ）、判断部７はセンシング部４によるセンシングを継続させる（ステップS４１）。そして、判断部７は車速センサ１１から車両１の速度を示す情報を取得し、車両１が停止しているか否かを判断する（ステップＳ４２）。車両１が停止している場合（ステップＳ４２のＹＥＳ）はステップＳ５に進む。車両１が停止していない場合（ステップＳ４２のＮＯ）は、ステップＳ４２を繰り返す。すなわち、車両１が停止していない場合（ステップＳ４２のＮＯ）は、車両１が停止するまでセンシングが継続される。ステップＳ６～ステップＳ１０１図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。
　以上により、乗員監視装置２の処理動作を終了する。
　実施の形態１と同様に、本実施の形態の乗員監視装置２は、車両１内の可動部に設けられた撮像部８により車両１内が撮像された撮像画像を取得する画像取得部３と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部４と、撮像部８の位置に変化があるか否かを推定する位置推定部５と、センシング部４における画像処理に対するキャリブレーションを実施するキャリブレーション部６と、位置推定部５において撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる判断部７を備える。これにより、撮像部８の位置が変化したことに起因するセンシング性能の低下を抑制することができる。
　また、本実施の形態の乗員監視装置２は、判断部７は、撮像部８の回転量が予め設定された回転量の第二の閾値未満である場合、かつ、撮像部８の並進量が予め設定された並進量の第二の閾値未満である場合、すなわち撮像部８の位置の変化量が第一の閾値以上かつ第二の閾値未満である場合は、車両１が停止するまでセンシング部４によるセンシングを実施させ、キャリブレーション部６によるキャリブレーションを実施させない。そして、判断部７は車両１が停止後に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる。第二の閾値は、センシング部４によるセンシング精度をどの程度担保したいかによって適宜設定するとよい。例えば、第二の閾値は、撮像部８の位置の変化量とセンシング部４が誤検出する確率を実験的に算出し、センシング部４によるセンシングの誤検出の可能性が８０％である撮像部８の位置の変化量に設定された場合を考える。
　この場合、センシングの誤検出の可能性が８０％未満である場合はセンシング精度を担保できているとして、判断部７は車両１が停止するまでセンシングを継続させる。これにより、乗員監視装置２は車両１が走行中はセンシングを実施することにより、乗員の安全性及び快適性を向上させることができる。
　また、センシングの誤検出の可能性が８０％以上である場合はセンシング精度を担保できないとして、判断部７は車両１の走行状態に関わらずキャリブレーションを実施させる。このように、センシング精度を担保できていない場合はセンシング精度を向上させることを優先させることができる。
　なお、本実施の形態では判断部７は車速センサ１１から車両１の速度を示す情報を取得し、車両１が停止しているか否かを判断する例を示したがこれに限られない。判断部７は例えば車両１からドアの開閉状態、イグニッションスイッチのオンオフを示す情報を取得し、車両１が停止しているか否かを判断してもよい。
　また、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。
１　車両、２　乗員監視装置、３　画像取得部、４　センシング部、５　位置推定部、６　キャリブレーション部、７　判断部、８　撮像部、９　通知部、１０　記憶部、１１　車速センサ、１２　処理回路、１３　プロセッサ、１４　メモリ

Claims (11)

  1. 　車両内の可動部に設けられた撮像部により前記車両内が撮像された撮像画像を取得する画像取得部と、
    　前記撮像画像の画像処理により、乗員の状態判定及び前記乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部と、
    　前記撮像部の位置に変化があるか否かを推定する位置推定部と、
    　前記センシング部における前記画像処理に対するキャリブレーションを実施するキャリブレーション部と、
    　前記位置推定部において前記撮像部の位置に変化があると推定された場合に、前記センシング部による前記センシングを実施させず、前記キャリブレーション部による前記キャリブレーションを実施させる判断部と、
    　を備える乗員監視装置。
  2. 　前記判断部は、前記位置推定部において前記撮像部の位置が予め設定された時間継続して変化しないと推定された場合に、前記キャリブレーション部による前記キャリブレーションを実施させることを特徴とする請求項１に記載の乗員監視装置。
  3. 　前記判断部は、前記位置推定部において前記撮像部の位置に変化があると推定された場合に、前記キャリブレーション部による前記キャリブレーションが終了後に前記センシング部による前記センシングを実施させることを特徴とする請求項１又は請求項２に記載の乗員監視装置。
  4. 　前記判断部は、前記センシング部による前記センシングを実施させない場合に、前記センシングが実施されないことを示す信号を、前記乗員に情報を通知する通知部に出力することを特徴とする請求項１から請求項３のいずれか一項に記載の乗員監視装置。
  5. 　前記センシング部は、少なくとも前回の前記センシングの結果を記憶し、
    　前記判断部は、前記センシング部による前記センシングを実施させない場合に、前記センシング部に前回の前記センシングの前記結果を、前記乗員に情報を通知する通知部に出力させることを特徴とする請求項１から請求項３のいずれか一項に記載の乗員監視装置。
  6. 　前記判断部は、前記撮像画像に前記乗員が撮像されていない場合に、前記キャリブレーション及び前記センシングを実施させないことを特徴とする請求項１から請求項５のいずれか一項に記載の乗員監視装置。
  7. 　前記位置推定部は前記撮像部の回転量が予め設定された回転量の第一の閾値以上である場合、及び、前記撮像部の並進量が予め設定された並進量の第一の閾値以上である場合の少なくとも一方の場合に、前記撮像部の位置に変化があると推定することを特徴とする請求項１から請求項６のいずれか一項に記載の乗員監視装置。
  8. 　前記回転量の第一の閾値及び前記並進量の第一の閾値は、前記車両が走行することにより発生する前記車両の振動に起因した前記撮像部の位置の変化よりもそれぞれ大きいことを特徴とする請求項７に記載の乗員監視装置。
  9. 　前記判断部は、前記撮像部の前記回転量が予め設定された回転量の第二の閾値未満である場合、かつ、前記撮像部の前記並進量が予め設定された並進量の第二の閾値未満である場合は、前記車両が停止するまで前記センシング部による前記センシングを実施させ、前記キャリブレーション部による前記キャリブレーションを実施させず、前記車両が停止後に、前記センシング部による前記センシングを実施させず、前記キャリブレーション部による前記キャリブレーションを実施させ、前記撮像部の前記回転量が前記回転量の第二の閾値以上である場合、及び、前記撮像部の並進量が前記並進量の第二の閾値以上である場合の少なくとも一方の場合には、前記センシング部による前記センシングを実施させず、前記キャリブレーション部による前記キャリブレーションを実施させる特徴とする請求項７又は請求項８に記載の乗員監視装置。
  10. 　車両内の可動部に設けられた撮像部により前記車両内が撮像された撮像画像を取得するステップと、
    　前記撮像画像の画像処理により、乗員の状態判定及び前記乗員の個人認証の少なくともいずれか一方であるセンシングを実施するステップと、
    　前記撮像部の位置に変化があるか否かを推定するステップと、
    　前記画像処理に対するキャリブレーションを実施するステップと、
    　前記撮像部の位置に変化があると推定された場合に、前記センシングを実施させず、前記キャリブレーションを実施させるステップと、
    　を備える乗員監視方法。
  11. 　車両内の可動部に設けられた撮像部により前記車両内が撮像された撮像画像を取得する手順と、
    　前記撮像画像の画像処理により、乗員の状態判定及び前記乗員の個人認証の少なくともいずれか一方であるセンシングを実施する手順と、
    　前記撮像部の位置に変化があるか否かを推定する手順と、
    　前記画像処理に対するキャリブレーションを実施する手順と、
    　前記撮像部の位置に変化があると推定された場合に、前記センシングを実施させず、前記キャリブレーションを実施させる手順と、
    　をコンピュータに実行させる乗員監視プログラム。
PCT/JP2022/009954 2022-03-08 2022-03-08 乗員監視装置、乗員監視方法、及び乗員監視プログラム WO2023170777A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024505692A JPWO2023170777A1 (ja) 2022-03-08 2022-03-08
PCT/JP2022/009954 WO2023170777A1 (ja) 2022-03-08 2022-03-08 乗員監視装置、乗員監視方法、及び乗員監視プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/009954 WO2023170777A1 (ja) 2022-03-08 2022-03-08 乗員監視装置、乗員監視方法、及び乗員監視プログラム

Publications (1)

Publication Number Publication Date
WO2023170777A1 true WO2023170777A1 (ja) 2023-09-14

Family

ID=87936246

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009954 WO2023170777A1 (ja) 2022-03-08 2022-03-08 乗員監視装置、乗員監視方法、及び乗員監視プログラム

Country Status (2)

Country Link
JP (1) JPWO2023170777A1 (ja)
WO (1) WO2023170777A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013166414A (ja) * 2012-02-14 2013-08-29 Clarion Co Ltd 車両後席用表示装置および車両用表示装置
JP2015186026A (ja) * 2014-03-24 2015-10-22 クラリオン株式会社 カメラキャリブレーション装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013166414A (ja) * 2012-02-14 2013-08-29 Clarion Co Ltd 車両後席用表示装置および車両用表示装置
JP2015186026A (ja) * 2014-03-24 2015-10-22 クラリオン株式会社 カメラキャリブレーション装置

Also Published As

Publication number Publication date
JPWO2023170777A1 (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
JPWO2017159510A1 (ja) 駐車支援装置、車載カメラ、車両および駐車支援方法
US10706585B2 (en) Eyeball information estimation device, eyeball information estimation method, and eyeball information estimation program
US10664712B2 (en) Eyelid opening/closing determination apparatus and drowsiness detection apparatus
JP2007259931A (ja) 視線検出装置
US10861191B2 (en) Apparatus and method for calibrating driver monitoring camera
JP7138175B2 (ja) バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
WO2023170777A1 (ja) 乗員監視装置、乗員監視方法、及び乗員監視プログラム
US10953811B2 (en) Vehicle image controller, system including the same, and method thereof
JP2010129044A (ja) 運転支援装置
JP7267467B2 (ja) 注意方向判定装置および注意方向判定方法
US11915495B2 (en) Information processing apparatus, and recording medium
JP6594595B2 (ja) 運転不能状態判定装置および運転不能状態判定方法
US20190147271A1 (en) Driver determination apparatus and driver state determination apparatus including driver determination apparatus, method for driver determination and driver state determination, and recording medium
JPWO2020174601A1 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
JP7175381B2 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
US11983896B2 (en) Line-of-sight detection apparatus and line-of-sight detection method
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
WO2024079779A1 (ja) 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム
US20230060049A1 (en) Face detection device
JP2017061216A (ja) 車載撮像システム、車両および撮像方法
WO2022172400A1 (ja) 車両監視装置及び車両監視システム
JP7003332B2 (ja) 運転者監視装置及び運転者監視方法
WO2024075205A1 (ja) 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム
JP7275409B2 (ja) 乗員状態判定装置および乗員状態判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22930763

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024505692

Country of ref document: JP