WO2023021918A1 - 顔認証システム及び乗員撮像装置 - Google Patents

顔認証システム及び乗員撮像装置 Download PDF

Info

Publication number
WO2023021918A1
WO2023021918A1 PCT/JP2022/028351 JP2022028351W WO2023021918A1 WO 2023021918 A1 WO2023021918 A1 WO 2023021918A1 JP 2022028351 W JP2022028351 W JP 2022028351W WO 2023021918 A1 WO2023021918 A1 WO 2023021918A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
camera
occupant
image
attention
Prior art date
Application number
PCT/JP2022/028351
Other languages
English (en)
French (fr)
Inventor
貴洋 石川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to JP2023542282A priority Critical patent/JPWO2023021918A1/ja
Publication of WO2023021918A1 publication Critical patent/WO2023021918A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a face authentication system and an occupant imaging device.
  • Patent Literature 1 an occupant of a vehicle is taken as an imaging target, and various facial orientation conditions and lighting conditions are combined to register the feature amount of the facial image of the occupant, so that face authentication can be performed under various facial orientation conditions and lighting conditions.
  • a technique is disclosed that reduces the possibility of authentication failure even when the combination of the above is performed.
  • Patent Document 1 it is necessary to register multiple face images by combining various face direction conditions and lighting conditions, and there is a problem that the memory capacity required to store face images increases. Moreover, if the number of registered face images increases, the chances of matching the face images increase accordingly, and there is also the problem that the amount of processing required for face authentication increases. Furthermore, when focusing on the face direction, the authentication accuracy decreases when the occupant's face is not facing the camera, so the face image is authenticated when the occupant's face is facing the camera. is desirable.
  • the present disclosure suppresses an increase in the memory capacity required to store face images and the amount of processing required for face authentication, and authenticates the face image when the occupant's face is facing the camera.
  • the purpose is to improve authentication accuracy.
  • the camera captures an image around the face of the passenger sitting on the seat in the vehicle interior.
  • the image acquisition unit acquires a camera image captured by the camera.
  • the attention-calling control unit causes an attention-calling device provided in the vicinity of the camera to perform an attention-calling operation for the occupant to be imaged at the timing when the camera performs the image capturing operation.
  • the face authentication unit authenticates the passenger's face image included in the camera image captured by the camera.
  • the attention calling device performs the attention calling operation at the timing when the camera performs the image capturing operation, so that the face of the occupant to be imaged faces the direction of the attention calling device, and the face of the occupant to be imaged faces the camera. It is possible to authenticate the facial image when the occupant's face faces the camera. While suppressing increases in the amount of memory required to store facial images and the amount of processing required for facial recognition, it also improves recognition accuracy by recognizing facial images when the occupant's face is facing the camera. be able to.
  • FIG. 1 shows one embodiment and is a diagram schematically showing the interior of the vehicle
  • FIG. 2 is a diagram schematically showing the interior of the vehicle as viewed from the rear of the vehicle
  • FIG. 3 is a functional block diagram of the face authentication system
  • FIG. 4 is a diagram showing a mode in which the camera is arranged in the immediate vicinity of the room light
  • FIG. 5 is a diagram showing a mode in which the camera is arranged in the immediate vicinity of the ambient light
  • FIG. 6 is a diagram showing a mode in which the camera is arranged in the immediate vicinity of the indicator
  • FIG. 1 shows one embodiment and is a diagram schematically showing the interior of the vehicle
  • FIG. 2 is a diagram schematically showing the interior of the vehicle as viewed from the rear of the vehicle
  • FIG. 3 is a functional block diagram of the face authentication system
  • FIG. 4 is a diagram showing a mode in which the camera is arranged in the immediate vicinity of the room light
  • FIG. 5 is a diagram showing a mode in which the camera is
  • FIG. 7 is a diagram showing a mode in which the camera is arranged in the immediate vicinity of the speaker
  • FIG. 8 is a diagram showing a mode in which the camera is arranged in the immediate vicinity of the air conditioner outlet
  • FIG. 9 is a diagram showing a mode in which the camera is arranged in the immediate vicinity of the window
  • FIG. 10 is a flow chart.
  • the left-right direction means the width direction of the vehicle
  • the front-rear direction means the length direction of the vehicle
  • the up-down direction means the height direction of the vehicle. Also, the description will be made with reference to a vehicle in which the driver's seat is arranged on the right side when facing the front of the vehicle. Only the arrangement relationship with the seats is replaced, and the others can be applied in the same way.
  • a driver's seat 2 and a passenger's seat 3 are arranged side by side in the left-right direction inside the vehicle compartment 1 .
  • a right rear seat 4 and a left rear seat 5 are arranged behind the driver seat 2 and the passenger seat 3 as rear seats.
  • a front window 6 is arranged in front of the driver's seat 2 and the passenger's seat 3 .
  • a right B-pillar 8 is arranged near the right side of the headrest 2a of the driver's seat 2 in the passenger compartment 1.
  • the right B-pillar 8 is formed in a curved shape from the bottom to the top in accordance with the shape of the vehicle body.
  • a right C-pillar 9 is arranged near the right side of the headrest 4 a of the right rear seat 4 .
  • the right C-pillar 9 is also formed in a curved shape from the bottom to the top in accordance with the shape of the vehicle body.
  • the right end portion of the ceiling 7, which is connected to the upper end of the right B-pillar 8, the right rear seat door 10, and the upper end of the right C-pillar 9, is inclined.
  • the portion is a right inclined surface portion 11 .
  • the normal direction of the right inclined surface portion 11 is obliquely downward.
  • a left B-pillar 12 is arranged near the left side of the headrest 3a of the passenger seat 3.
  • the left B-pillar 12 is formed in a curved shape from the bottom to the top in accordance with the shape of the vehicle body.
  • a left C-pillar 13 is arranged near the left side of the headrest 5 a of the left rear seat 5 .
  • the left C-pillar 13 is also formed in a curved shape from the bottom to the top in accordance with the shape of the vehicle body.
  • the left end portion of the ceiling 7, which is connected to the upper end portion of the left B-pillar 12, the upper end portion of the left rear seat door 14, and the upper end portion of the left C-pillar 13, is inclined.
  • a left inclined surface portion 15 is provided. The normal direction of the left inclined surface portion 15 is obliquely downward.
  • a right interior lamp 16 , a right air conditioner outlet 17 and a right speaker 18 are arranged on the right inclined surface portion 11 .
  • a left interior lamp 19 , a left air conditioner outlet 20 and a left speaker 21 are arranged on the left inclined surface portion 15 .
  • Ambient lights 22 are arranged on the ceiling 7 .
  • the ambient light 22 is configured by connecting a plurality of linear segments 22a to 22h, and is arranged so as to wrap around the end of the ceiling 7. For example, the ambient light 22 is always lit when the ignition is turned on.
  • a plurality of linear segments 22a to 22h are individually controlled to turn on, blink, and turn off.
  • the occupant condition monitoring system that monitors the occupant condition includes a face recognition system that authenticates the occupant's facial image.
  • the face authentication system 23 includes a control device 24, a camera 25, and an LED 26.
  • the camera 25 corresponds to an occupant imaging device.
  • the camera 25 is an image sensor having an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the camera 25 outputs the imaged camera image to the control device 24 with the vicinity of the headrest of the seat as the imaging direction.
  • a plurality of cameras 25 may be used, and a configuration in which a plurality of cameras 25 perform imaging operations in synchronization may be employed.
  • the LED 26 emits near-infrared light around the headrest of the seat. That is, for example, if the camera 25 is a rear seat occupant camera for imaging a rear seat occupant and the LED 26 is a rear seat occupant LED for illuminating a rear seat occupant, the passenger is seated in the rear seat. In the state, the near-infrared light emitted from the LED 26 is irradiated around the face of the rear-seat passenger, and the camera 25 captures an image of the near-infrared light-irradiated rear-seat passenger's face.
  • a plurality of LEDs 26 may be provided, and a configuration in which a plurality of LEDs 26 perform lighting operations in synchronization may be used.
  • the control device 24 connects the right interior light 16, the left interior light 19, the ambient light 22, the indicator 27, the right speaker 18, the left speaker 21, the air conditioner 28, and the window opening/closing device 29. are doing.
  • the right interior light 16, the left interior light 19, the ambient light 22, the indicator 27, the right speaker 18, the left speaker 21, the air conditioner 28, and the window opening/closing device 29 correspond to attention calling devices.
  • the control device 24 is composed of a microcomputer having a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and I/O (Input/Output).
  • the microcomputer executes the computer program stored in the non-transitional physical storage medium, executes processing corresponding to the computer program, and controls the overall operation of the face authentication system 23 .
  • Microcomputer is synonymous with processor.
  • the non-transitional physical storage medium may share hardware with other computer resources.
  • the control device 24 includes the camera 25, the LED 26, the right interior light 16, the left interior light 19, the ambient light 22, the indicator 27, the right speaker 18, the left speaker 21, the air conditioner 28, the window opening and closing device 29, and CAN (Controller Area Data communication is possible by wired connection such as Network (registered trademark) or wireless connection such as wireless LAN or Bluetooth (registered trademark).
  • the indicator 27 indicates whether or not the recognition operation of the camera 25 is valid, and is embodied by a pilot lamp, an icon, or the like. The indicator 27 lights up when the recognition operation of the camera 25 is valid, and goes off when the recognition operation of the camera 25 is invalid.
  • the control device 24 includes an image acquisition section 24a, an attention calling control section 24b, a face orientation calculation section 24c, a facing determination section 24d, and a face authentication section 24e. These units 24a to 24e correspond to functions executed by the face detection program. That is, the control device 24 performs the functions of the units 24a to 24e by executing the face detection program.
  • the image acquisition unit 24a when detecting that the door has been opened, activates the face authentication software, outputs an imaging instruction to the camera 25, and causes the camera 25 to perform an imaging operation.
  • the camera 25 outputs the captured camera image to the control device 24 when performing the imaging operation.
  • the image acquisition unit 24a receives and acquires the camera image captured by the camera 25 from the camera 25 .
  • the attention calling control unit 24b determines whether or not it is time for the camera 25 to perform an imaging operation.
  • the attention alert control unit 24b determines that it is time for the camera 25 to perform an imaging operation, and issues an attention alert start instruction to the right interior light 16, the left interior light 19, or the ambient light. 22, the indicator 27, the right speaker 18, the left speaker 21, the air conditioner device 28, and the window opening/closing device 29 are output to start an operation to alert the occupant to be imaged.
  • the alerting control unit 24b outputs an alerting end instruction to the right interior light 16, the left interior light 19, the ambient light 22, the indicator 27, the right speaker 18, the left speaker 21, the air conditioner 28, and the window opening/closing device 29. , terminates the operation for calling attention to the occupant to be imaged.
  • the attention collection control unit 24b when calling attention with the right interior light 16 or the left interior light 19, the attention collection control unit 24b outputs an attention collection start instruction to the right interior light 16 or the left interior light 19.
  • the light 16 and the left interior light 19 are lit or blinked.
  • the alerting control unit 24b outputs an alerting end instruction to the right interior light 16 and the left interior light 19 to turn off the right interior light 16 and the left interior light 19.
  • FIG. When the ambient light 22 is used to draw attention, the attention controller 24b outputs an instruction to start drawing attention to the ambient light 22, blinks only the segment closest to the location where the camera 25 is arranged, and blinks other segments than the nearest segment. Turn off the segment.
  • the attention alert control unit 24b can blink only the segment closest to the location where the camera 25 is arranged.
  • the alerting control unit 24b outputs an alerting end instruction to the ambient light 22, and returns all the segments to the state before the alerting start instruction was output.
  • the attention drawing control unit 24b When using the indicator 27 to draw attention, the attention drawing control unit 24b outputs an instruction to start drawing attention to the indicator 27, causing the indicator 27 to blink. In addition, the attention calling control unit 24b outputs an attention calling end instruction to the indicator 27 to turn off the indicator 27.
  • FIG. When the attention is called by the right speaker 18 or the left speaker 21, the attention call control unit 24b outputs the attention call start instruction to the right speaker 18 or the left speaker 21, and outputs the sound from the right speaker 18 or the left speaker 21. to start. Further, the attention calling control unit 24b outputs an attention calling end instruction to the right speaker 18 and the left speaker 21, and terminates the sound output from the right speaker 18 and the left speaker 21.
  • the alert control unit 24b When alerting is performed by the air conditioner device 28, the alert control unit 24b outputs an alert start instruction to the air conditioner device 28 to start blowing air from the right air conditioner outlet 17 and the left air conditioner outlet 20. In addition, the alert control unit 24b outputs an alert termination instruction to the air conditioner device 28, and terminates air blowing from the right air conditioner outlet 17 and the left air conditioner outlet 20.
  • FIG. When the window opening/closing device 29 is used to call attention, the attention calling control unit 24b outputs an instruction to start calling attention to the window opening/closing device 29, and starts opening and closing the windows of the right rear door 10 and the left rear door 14. Let Further, the attention calling control unit 24b outputs an attention calling end instruction to the window opening/closing device 29, and ends the opening and closing of the windows of the right rear door 10 and the left rear door 14.
  • the facial orientation calculation unit 24c calculates the facial orientation of the passenger based on the facial image of the passenger included in the camera image captured by the camera 25.
  • the face direction calculation unit 24c extracts feature points such as contours, eyebrows, eyes, nose, and mouth from the face image of the occupant included in the image acquired from the camera 25.
  • the feature points extracted from the face image when the face is facing straight are collated, and the face orientation is calculated according to the angle difference between the two.
  • the face orientation calculation unit 24c calculates a numerical value indicating that the deviation of the face orientation from the time of facing straight is large if the angle difference between the two is large, and that the difference between the two angles is small, the face orientation from the time of facing straight is calculated.
  • a numerical value indicating that the deviation is small is calculated.
  • the facing determination unit 24d determines whether the occupant's face is facing the camera 25 based on the calculation result of the face orientation calculation unit 24c. When the face orientation determination unit 24d determines that the numerical value calculated by the face orientation calculation unit 24c is less than the threshold value and that the deviation of the face orientation from the face orientation calculation unit 24c is small, the occupant's face faces the camera 25. determine that there is When the face direction determination unit 24d determines that the numerical value calculated by the face direction calculation unit 24c is not less than the threshold value and that the deviation of the face direction from the face direction is large, the occupant's face is facing the camera 25. judge not.
  • the threshold used as the criterion for determining whether or not the passenger's face faces the camera 25 includes the allowable range in the yaw direction, pitch direction, and roll direction. That is, if the numerical value calculated by the face orientation calculation unit 24c is within the allowable range, the facing determination unit 24d determines that the occupant's face is facing the camera 25, and the face orientation calculation unit 24c If the calculated numerical value is out of the allowable range, it is determined that the occupant's face is not facing the camera 25 directly.
  • the face authentication unit 24e authenticates the passenger's face image included in the camera image captured by the camera 25.
  • the face authentication unit 24e extracts feature points such as contours, eyebrows, eyes, nose, and mouth from the facial image of the occupant included in the image acquired from the camera 25.
  • the feature points extracted from the paired face images are compared with each other, and the rate of matching between the feature points is calculated. If the matching rate is equal to or higher than a predetermined value, the face authentication unit 24e identifies that the passenger imaged by the camera 25 is a pre-registered person, and identifies successful authentication. If the matching rate is less than a predetermined value, the face authentication unit 24e identifies that the occupant imaged by the camera 25 is different from the pre-registered person, and identifies authentication failure.
  • the arrangement position of the camera 25 described above will be explained.
  • the camera 25 can be placed in close proximity to the left interior light 19, as shown in FIG.
  • the camera 25 can be placed in close proximity to the segment 22b of the ambient light 22, as shown in FIG.
  • the camera 25 can be placed in close proximity to the indicator 27, as shown in FIG.
  • the camera 25 can be placed in close proximity to the left speaker 21, as shown in FIG.
  • the camera 25 can be arranged in the immediate vicinity of the left air conditioner outlet 20, as shown in FIG.
  • the camera 25 can be positioned proximate the top edge of the window on the left rear door 14, as shown in FIG.
  • “nearest” means that the occupant is looking at the left interior light 19, the ambient light 22, the indicator 27, the left speaker 21, the left air conditioner outlet 20, and the upper end of the window of the left rear seat door 14. This is the position at which there is a high possibility that the face of the occupant is determined to face the camera 25 by the pair determination unit 24d, that is, the position at which the camera 25 can image the face of the occupant from the front.
  • the control device 24 starts the face authentication process when the conditions for starting the face authentication process are met, for example, when the rear seat door is opened.
  • the control device 24 activates face authentication software (S1).
  • the control device 24 outputs an imaging instruction to the camera 25 to cause the camera 25 to perform an imaging operation (S2).
  • the control device 24 outputs a warning start instruction to the left interior lamp 19 to light or blink the left interior lamp 19 (S3). That is, the camera 25 performs the imaging operation at the timing when the left interior light 19 provided in the immediate vicinity performs the alerting operation.
  • the camera 25 can capture the face of the occupant facing toward the left interior light 19 .
  • the control device 24 acquires the camera image captured by the camera 25 (S4), and stores the passenger's face image included in the acquired camera image as an authentication candidate image (S5).
  • the control device 24 calculates the facial orientation of the passenger based on the facial image of the passenger (S6), compares the numerical value indicating the displacement of the facial orientation with a threshold value, and determines whether the passenger's face faces the camera 25. It is determined whether or not there is (S7).
  • control device 24 determines that the numerical value indicating the deviation of the face direction is less than the threshold value and that the deviation of the face direction from the time when facing the camera 25 is small, and determines that the occupant's face is facing the camera 25 ( S7: YES), and the authentication candidate image stored at that time is determined as the authentication image (S8).
  • the facial image of the occupant determined as the authentication image is authenticated (S9).
  • the control device 24 outputs an instruction to terminate the alerting to the left interior light 19, turns off the left interior light 19 (S10), and terminates the face authentication process.
  • control device 24 determines that the numerical value indicating the deviation of the face direction is not less than the threshold value, and that the deviation of the face direction from the time of facing the camera 25 is large. Then (S7: NO), for example, it is determined whether or not the elapsed time from the activation of the face authentication software has reached a predetermined time, and it is determined whether or not the time has expired (S11).
  • the control device 24 determines that the elapsed time has not reached the predetermined time, and determines that the time has not expired (the retry condition is satisfied) (S11: NO)
  • the image capturing instruction is output to the camera 25 again.
  • the camera 25 is caused to perform the imaging operation again (S12).
  • the control device 24 continues to turn on or blink the left interior light 19 .
  • the control device 24 acquires the camera image captured by the camera 25 (S13), calculates the face orientation of the passenger based on the face image of the passenger included in the acquired camera image (S14), and determines the face orientation.
  • a numerical value indicating the deviation is compared with a threshold to determine whether or not the passenger's face faces the camera 25 (S15).
  • control device 24 determines that the numerical value indicating the deviation of the face direction is less than the threshold value and that the deviation of the face direction from the time when facing the camera 25 is small, and determines that the occupant's face is facing the camera 25 ( S15: YES), the current face image of the passenger is overwritten and stored as an authentication candidate image, the authentication candidate image is updated (S16), and steps S8 and subsequent steps are performed.
  • the control device 24 determines that the numerical value indicating the deviation of the face direction is not less than the threshold value, and that the deviation of the face direction from the time of facing the camera 25 is large. Then (S15: NO), the current face image and the authentication candidate image are compared, and it is determined which image is closer to the face facing the camera 25 (S17). When the control device 24 determines that the current face image is closer to the face facing the camera 25 (S17: YES), it overwrites and saves the current face image as an authentication candidate image. is updated (S18), and the above-described step S11 and subsequent steps are performed. When the control device 24 determines that the authentication candidate image is closer to the face facing the camera 25 (S17: NO), the above-described step S11 and subsequent steps are performed without updating the authentication candidate image.
  • control device 24 determines that the elapsed time has reached a certain time, and determines that the time has expired (retry condition is not satisfied) (S11: YES), the above step S8 and subsequent steps are performed.
  • the camera 25 is arranged close to the left interior light 19, but the camera 25 is installed in the right interior light 16, the ambient light 22, the indicator 27, the right speaker 18, the left speaker 21, and the right air conditioner outlet. 17, the left air conditioner outlet 20, the right rear door 10, and the left rear door 14. That is, it is not limited to lighting or blinking the left interior light 19, lighting or blinking the right interior light 16, blinking the ambient light 22 or the indicator 27, sound output from the right speaker 18 or the left speaker 21.
  • the face of the occupant may face the camera 25 directly.
  • the camera 25 is placed close to the ambient light 22, only the segment 22b closest to the location where the camera 25 is placed is blinked, and the segments 22a, 22c to 22h other than the closest segment 22b are turned off. make a call.
  • the attention-calling action performed using the interior lights 16, 19, the ambient light 22, the indicator 27, and the windows of the doors 10, 14 corresponds to the visual attention-calling action.
  • the attention-calling action performed using the speakers 18 and 21 corresponds to the auditory attention-calling action.
  • the alert action performed using air blown from the air conditioner outlets 17 and 20 corresponds to a tactile alert action.
  • the decorative lighting units may be lighted or blinked together with the sound output from the speakers 18 and 21 to call attention.
  • the decorative lighting units may be lit or blinked together with the blowing of air from the air conditioner outlets 17 and 20 to alert the driver.
  • the above is the case where, for example, whether or not the camera 25 performs the imaging operation again is limited by time by determining whether or not the elapsed time after starting the face authentication software has reached a certain time. , the number of retries may be counted and whether or not the number of retries has reached a certain number may be determined to limit the number of times whether or not the imaging operation is to be performed again in the camera 25 .
  • the left interior light 19 near the camera 25 is lit or blinked at the timing when the camera 25 performs the imaging operation.
  • the face of the occupant to be imaged can face the camera 25, and the occupant's face faces the camera 25.
  • face image can be authenticated.
  • authentication accuracy is improved by authenticating the face image when the occupant's face is facing the camera 25. can be enhanced.
  • the area around the occupant's face is imaged again. By retrying the imaging, it is possible to increase the possibility of improving the authentication accuracy.
  • the image capturing is retried only when the elapsed time from the activation of the face recognition software has not reached a certain time and the time has not expired. , When the elapsed time reaches a certain time and the time is up, the imaging is not retried. It is possible to limit the opportunity to retry imaging, and if the authentication result is urgently required, the authentication result can be obtained quickly by setting a short fixed time to reduce the opportunity to retry. be able to. On the other hand, if the authentication result is not urgently required, the accuracy of authentication can be improved by setting a longer fixed period of time to increase the chances of retrying.
  • an authentication candidate image which is the face image closest to the state in which the occupant's face is facing the camera 25 among the plurality of images captured by the camera 25, is selected.
  • the image is determined as the authentication image.
  • Room lights 16, 19, an ambient light 22, an indicator 27, air conditioner outlets 17, 20, speakers 18, 21 are used, and existing mounted equipment is used, so that new mounted equipment is not arranged separately. be able to.
  • the controller and techniques described in this disclosure may be implemented by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by the computer program.
  • the controller and techniques described in this disclosure may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits.
  • the controller and techniques described in this disclosure can be implemented by a combination of a processor and memory programmed to perform one or more functions and a processor configured with one or more hardware logic circuits. It may also be implemented by one or more dedicated computers configured.
  • the computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

顔認証システム（２３）は、車室内において座席に着座している乗員の顔周辺を撮像するカメラ（２５）と、カメラにより撮像されたカメラ画像を取得する画像取得部（２４ａ）と、カメラの直近に設けられている注意喚起機器において当該カメラが撮像動作を行うタイミングで撮像対象の乗員に対する注意喚起動作を行わせる注意喚起制御部（２４ｂ）と、カメラにより撮像されたカメラ画像に含まれる乗員の顔画像を認証する顔認証部（２４ｅ）と、を備える。

Description

顔認証システム及び乗員撮像装置 関連出願の相互参照
　本出願は、２０２１年８月２０日に出願された日本出願番号２０２１－１３４８４３号に基づくもので、ここにその記載内容を援用する。
　本開示は、顔認証システム及び乗員撮像装置に関する。
　従来より、人物の顔画像を認証する顔認証システムが供されている。例えば特許文献１には、車両の乗員を撮像対象とし、様々な顔向き条件及び照明条件を組み合わせて乗員の顔画像の特徴量を登録することで、顔認証を様々な顔向き条件及び照明条件の組み合わせで行った場合でも、認証失敗となる可能性を低減させる技術が開示されている。
特許第４５５３１３８号公報
　特許文献１では、様々な顔向き条件及び照明条件を組み合わせて複数枚の顔画像を登録する必要があり、顔画像を保存するために必要なメモリ容量が増大する問題がある。又、登録されている顔画像の枚数が増大すれば、その分、顔画像を照合する機会が増大し、顔認証に要する処理量が増大する問題もある。更に、顔向きに着眼すると、乗員の顔がカメラに対して正対していない場合には認証精度が低下することから、乗員の顔がカメラに対して正対しているときの顔画像を認証することが望ましい。
　本開示は、顔画像を保存するために必要なメモリ容量や顔認証に要する処理量の増大を抑制すると共に、乗員の顔がカメラに対して正対しているときの顔画像を認証することで認証精度を高めることを目的とする。
　本開示の一態様によれば、カメラは、車室内において座席に着座している乗員の顔周辺を撮像する。画像取得部は、カメラにより撮像されたカメラ画像を取得する。注意喚起制御部は、カメラの直近に設けられている注意喚起機器において当該カメラが撮像動作を行うタイミングで撮像対象の乗員に対する注意喚起動作を行わせる。顔認証部は、カメラにより撮像されたカメラ画像に含まれる乗員の顔画像を認証する。
　カメラが撮像動作を行うタイミングで注意喚起機器が注意喚起動作を行うことで、撮像対象の乗員の顔を注意喚起機器の方向に向かせ、撮像対象の乗員の顔をカメラに対して正対させることができ、乗員の顔がカメラに対して正対しているときの顔画像を認証することができる。顔画像を保存するために必要なメモリ容量や顔認証に要する処理量の増大を抑制すると共に、乗員の顔がカメラに対して正対しているときの顔画像を認証することで認証精度を高めることができる。
　本開示についての上記目的及びその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、一実施形態を示し、車室内を模式的に示す図であり、 図２は、車両後方から見た車室内を模式的に示す図であり、 図３は、顔認証システムの機能ブロック図であり、 図４は、室内灯の直近にカメラが配置されている態様を示す図であり、 図５は、アンビエント灯の直近にカメラが配置されている態様を示す図であり、 図６は、インジケータの直近にカメラが配置されている態様を示す図であり、 図７は、スピーカの直近にカメラが配置されている態様を示す図であり、 図８は、エアコン吹出口の直近にカメラが配置されている態様を示す図であり、 図９は、ウィンドウの直近にカメラが配置されている態様を示す図であり、 図１０は、フローチャートである。
　以下、一実施形態について図面を参照して説明する。尚、左右方向とは車両の幅方向を意味し、前後方向とは車両の長さ方向を意味し、上下方向とは車両の高さ方向を意味する。又、車両前方に向かってドライバ席が右側に配置されている車両を対象として説明するが、車両前方に向かってドライバ席が左側に配置されている車両を対象とした場合にはドライバ席とパッセンジャ席との配置関係が入れ替わるのみであり、他は同様に適用することができる。
　図１に示すように、車室１内にはドライバ席２とパッセンジャ席３とが左右方向に並んで配置されている。ドライバ席２及びパッセンジャ席３の後方には後部座席として右側後席４及び左側後席５が配置されている。ドライバ席２及びパッセンジャ席３の前方にはフロントウィンドウ６が配置されている。
　図２にも示すように、車室１内において、ドライバ席２のヘッドレスト２ａの右側付近には右側Ｂピラー８が配置されている。右側Ｂピラー８は、車体ボデーの形状に合わせて下方から上方にかけて湾曲した形状に成形されている。右側後席４のヘッドレスト４ａの右側付近には右側Ｃピラー９が配置されている。右側Ｃピラー９も、車体ボデーの形状に合わせて下方から上方にかけて湾曲した形状に成形されている。天井７の右側端部であって右側Ｂピラー８の上端部、右側後席ドア１０の上端部に連なる部分及び右側Ｃピラー９の上端部に連なる部分は傾斜しており、その傾斜している部分は右側傾斜面部１１とされている。右側傾斜面部１１の法線方向は斜め下方向となっている。
　同様に、パッセンジャ席３のヘッドレスト３ａの左側付近には左側Ｂピラー１２が配置されている。左側Ｂピラー１２は、車体ボデーの形状に合わせて下方から上方にかけて湾曲した形状に成形されている。左側後席５のヘッドレスト５ａの左側付近には左側Ｃピラー１３が配置されている。左側Ｃピラー１３も、車体ボデーの形状に合わせて下方から上方にかけて湾曲した形状に成形されている。天井７の左側端部であって左側Ｂピラー１２の上端部、左側後席ドア１４の上端部に連なる部分及び左側Ｃピラー１３の上端部に連なる部分は傾斜しており、その傾斜している部分は左側傾斜面部１５とされている。左側傾斜面部１５の法線方向は斜め下方向となっている。
　右側傾斜面部１１には、右側室内灯１６、右側エアコン吹出口１７及び右側スピーカ１８が配置されている。左側傾斜面部１５には、左側室内灯１９、左側エアコン吹出口２０及び左側スピーカ２１が配置されている。天井７にはアンビエント灯２２が配置されている。アンビエント灯２２は、複数の線形状のセグメント２２ａ～２２ｈが連結して構成され、天井７の端部を周回するように配置されており、例えばイグニッションオン状態で常時点灯する。複数の線形状のセグメント２２ａ～２２ｈは、点灯、点滅、消灯が個別に制御される。
　乗員の状態を監視する乗員状態監視システムは、乗員の顔画像を認証する顔認証システムを含む。図３に示すように、顔認証システム２３は、制御装置２４と、カメラ２５と、ＬＥＤ２６とを備える。カメラ２５は乗員撮像装置に相当する。カメラ２５は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを有する画像センサである。カメラ２５は、座席のヘッドレスト周辺を撮像方向とし、撮像したカメラ画像を制御装置２４に出力する。カメラ２５の個数は複数でも良く、複数のカメラ２５が同期して撮像動作を行う構成でも良い。
　ＬＥＤ２６は、近赤外光を座席のヘッドレスト周辺に出射する。即ち、例えばカメラ２５が後席の乗員を撮像対象とする後席乗員用カメラであり、ＬＥＤ２６が後席の乗員を照明対象とする後席乗員用ＬＥＤであれば、乗員が後席に着座した状態では、ＬＥＤ２６から出射された近赤外光が後席の乗員の顔周辺に照射され、近赤外光が照射された後席の乗員の顔周辺がカメラ２５により撮像される。ＬＥＤ２６の個数は複数でも良く、複数のＬＥＤ２６が同期して照明動作を行う構成でも良い。
　制御装置２４は、上記した右側室内灯１６と、左側室内灯１９と、アンビエント灯２２と、インジケータ２７と、右側スピーカ１８と、左側スピーカ２１と、エアコン装置２８と、ウィンドウ開閉装置２９とを接続している。右側室内灯１６、左側室内灯１９、アンビエント灯２２、インジケータ２７、右側スピーカ１８、左側スピーカ２１、エアコン装置２８及びウィンドウ開閉装置２９は注意喚起機器に相当する。
　制御装置２４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）を有するマイクロコンピュータにより構成されている。マイクロコンピュータは、非遷移的実体的記憶媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、顔認証システム２３の動作全般を制御する。マイクロコンピュータはプロセッサと同じ意味である。顔認証システム２３において、非遷移的実体的記憶媒体は、ハードウェアを他のコンピュータ資源と共有していても良い。
　制御装置２４は、上記したカメラ２５、ＬＥＤ２６、右側室内灯１６、左側室内灯１９、アンビエント灯２２、インジケータ２７、右側スピーカ１８、左側スピーカ２１、エアコン装置２８及びウィンドウ開閉装置２９とＣＡＮ（Controller Area Network）（登録商標）等の有線接続又は無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続によりデータ通信可能である。インジケータ２７は、カメラ２５の認識動作が有効であるか否かを示し、パイロットランプやアイコン等により具現化される。インジケータ２７は、カメラ２５の認識動作が有効である場合に点灯し、カメラ２５の認識動作が無効である場合に消灯する。
　制御装置２４は、画像取得部２４ａと、注意喚起制御部２４ｂと、顔向き算出部２４ｃと、正対判定部２４ｄと、顔認証部２４ｅとを備える。これらの各部２４ａ～２４ｅは、顔検出プログラムにより実行される機能に相当する。即ち、制御装置２４は、顔検出プログラムを実行することで各部２４ａ～２４ｅの機能を行う。
　画像取得部２４ａは、例えばドアが開放されたことを検知すると、顔認証ソフトウェアを起動し、撮像指示をカメラ２５に出力し、カメラ２５において撮像動作を行わせる。カメラ２５は、撮像動作を行うと、その撮像したカメラ画像を制御装置２４に出力する。画像取得部２４ａは、カメラ２５により撮像されたカメラ画像を当該カメラ２５から入力して取得する。
　注意喚起制御部２４ｂは、カメラ２５が撮像動作を行うタイミングであるか否かを判定する。注意喚起制御部２４ｂは、画像取得部２４ａが顔認証ソフトウェアを起動すると、カメラ２５が撮像動作を行うタイミングであると判定し、注意喚起開始指示を右側室内灯１６や左側室内灯１９、アンビエント灯２２、インジケータ２７、右側スピーカ１８や左側スピーカ２１、エアコン装置２８及びウィンドウ開閉装置２９に出力し、撮像対象の乗員に対する注意喚起動作を開始させる。又、注意喚起制御部２４ｂは、注意喚起終了指示を右側室内灯１６や左側室内灯１９、アンビエント灯２２、インジケータ２７、右側スピーカ１８や左側スピーカ２１、エアコン装置２８及びウィンドウ開閉装置２９に出力し、撮像対象の乗員に対する注意喚起動作を終了させる。
　具体的には、注意喚起を右側室内灯１６や左側室内灯１９で行う場合には、注意喚起制御部２４ｂは、注意喚起開始指示を右側室内灯１６や左側室内灯１９に出力し、右側室内灯１６や左側室内灯１９を点灯又は点滅させる。又、注意喚起制御部２４ｂは、注意喚起終了指示を右側室内灯１６や左側室内灯１９に出力し、右側室内灯１６や左側室内灯１９を消灯させる。注意喚起をアンビエント灯２２で行う場合には、注意喚起制御部２４ｂは、注意喚起開始指示をアンビエント灯２２に出力し、カメラ２５の配置箇所に直近のセグメントだけを点滅させると共に直近のセグメント以外のセグメントを消灯させる。注意喚起制御部２４ｂは、注意喚起開始指示をアンビエント灯２２に出力する際に点滅対象のセグメントを指定することで、カメラ２５の配置箇所に直近のセグメントだけを点滅させることが可能である。又、注意喚起制御部２４ｂは、注意喚起終了指示をアンビエント灯２２に出力し、全てのセグメントを注意喚起開始指示の出力前の状態に戻す。
　注意喚起をインジケータ２７で行う場合には、注意喚起制御部２４ｂは、注意喚起開始指示をインジケータ２７に出力し、インジケータ２７を点滅させる。又、注意喚起制御部２４ｂは、注意喚起終了指示をインジケータ２７に出力し、インジケータ２７を消灯させる。注意喚起を右側スピーカ１８や左側スピーカ２１で行う場合には、注意喚起制御部２４ｂは、注意喚起開始指示を右側スピーカ１８や左側スピーカ２１に出力し、右側スピーカ１８や左側スピーカ２１からの音出力を開始させる。又、注意喚起制御部２４ｂは、注意喚起終了指示を右側スピーカ１８や左側スピーカ２１に出力し、右側スピーカ１８や左側スピーカ２１からの音出力を終了させる。
　注意喚起をエアコン装置２８で行う場合には、注意喚起制御部２４ｂは、注意喚起開始指示をエアコン装置２８に出力し、右側エアコン吹出口１７や左側エアコン吹出口２０からの送風を開始させる。又、注意喚起制御部２４ｂは、注意喚起終了指示をエアコン装置２８に出力し、右側エアコン吹出口１７や左側エアコン吹出口２０からの送風を終了させる。注意喚起をウィンドウ開閉装置２９で行う場合には、注意喚起制御部２４ｂは、注意喚起開始指示をウィンドウ開閉装置２９に出力し、右側後席ドア１０や左側後席ドア１４のウィンドウの開閉を開始させる。又、注意喚起制御部２４ｂは、注意喚起終了指示をウィンドウ開閉装置２９に出力し、右側後席ドア１０や左側後席ドア１４のウィンドウの開閉を終了させる。
　顔向き算出部２４ｃは、カメラ２５により撮像されたカメラ画像に含まれる乗員の顔画像に基づいて当該乗員の顔向きを算出する。顔向き算出部２４ｃは、カメラ２５から取得した画像に含まれる乗員の顔画像から輪郭、眉毛、目、鼻、口等の特徴点を抽出し、その抽出した特徴点と、予め登録されている正対時の顔画像から抽出した特徴点とを照合し、両者の角度差に応じて顔向きを算出する。顔向き算出部２４ｃは、両者の角度差が大きければ、正対時からの顔向きのずれが大きいことを示す数値を算出し、両者の角度差が小さければ、正対時からの顔向きのずれが小さいことを示す数値を算出する。
　正対判定部２４ｄは、顔向き算出部２４ｃの算出結果に基づいて乗員の顔がカメラ２５に対して正対しているか否かを判定する。正対判定部２４ｄは、顔向き算出部２４ｃにより算出された数値が閾値未満であり、正対時からの顔向きのずれが小さいと判定すると、乗員の顔がカメラ２５に対して正対していると判定する。正対判定部２４ｄは、顔向き算出部２４ｃにより算出された数値が閾値未満でなく、正対時からの顔向きのずれが大きいと判定すると、乗員の顔がカメラ２５に対して正対していないと判定する。尚、乗員の顔がカメラ２５に対して正対しているか否かの判定基準となる閾値は、ヨー方向、ピッチ方向、ロール方向において許容範囲を含む。即ち、正対判定部２４ｄは、顔向き算出部２４ｃにより算出された数値が許容範囲内であれば、乗員の顔がカメラ２５に対して正対していると判定し、顔向き算出部２４ｃにより算出された数値が許容範囲外であれば、乗員の顔がカメラ２５に対して正対していないと判定する。
　顔認証部２４ｅは、カメラ２５により撮像されたカメラ画像に含まれる乗員の顔画像を認証する。顔認証部２４ｅは、カメラ２５から取得した画像に含まれる乗員の顔画像から輪郭、眉毛、目、鼻、口等の特徴点を抽出し、その抽出した特徴点と、予め登録されている正対時の顔画像から抽出した特徴点とを照合し、両者の特徴点の一致率を算出する。顔認証部２４ｅは、一致率が所定値以上であれば、カメラ２５により撮像された乗員が予め登録されている人物であると特定し、認証成功を特定する。顔認証部２４ｅは、一致率が所定値未満であれば、カメラ２５により撮像された乗員が予め登録されている人物とは異なる人物であると特定し、認証失敗を特定する。
　上記したカメラ２５の配置位置について説明する。カメラ２５は、図４に示すように、左側室内灯１９の直近に配置可能である。カメラ２５は、図５に示すように、アンビエント灯２２のセグメント２２ｂの直近に配置可能である。カメラ２５は、図６に示すように、インジケータ２７の直近に配置可能である。カメラ２５は、図７に示すように、左側スピーカ２１の直近に配置可能である。カメラ２５は、図８に示すように、左側エアコン吹出口２０の直近に配置可能である。カメラ２５は、図９に示すように、左側後席ドア１４のウィンドウの上端部の直近に配置可能である。ここでいう直近とは、乗員が左側室内灯１９、アンビエント灯２２、インジケータ２７、左側スピーカ２１、左側エアコン吹出口２０、左側後席ドア１４のウィンドウの上端部を目視した状態で、上記した正対判定部２４ｄにより乗員の顔がカメラ２５に対して正対していると判定される可能性が高い位置であり、即ち、カメラ２５が乗員の顔を真正面から撮像可能となる位置である。
　次に、上記した構成の作用について図１０を参照して説明する。尚、ここでは、カメラ２５が左側室内灯１９の直近に配置されている場合を説明する。
　制御装置２４は、例えば後席ドアが開放されたことで顔認証処理の開始条件が成立すると、顔認証処理を開始する。制御装置２４は、顔認証処理を開始すると、顔認証ソフトウェアを起動する（Ｓ１）。制御装置２４は、撮像指示をカメラ２５に出力し、カメラ２５において撮像動作を行わせる（Ｓ２）。このとき、制御装置２４は、注意喚起開始指示を左側室内灯１９に出力し、左側室内灯１９を点灯又は点滅させる（Ｓ３）。即ち、カメラ２５は、直近に設けられている左側室内灯１９が注意喚起動作を行うタイミングで撮像動作を行う。撮像対象の乗員は、左側室内灯１９の点灯又は点滅に気付くと、点灯又は点滅している左側室内灯１９の方向に顔を向ける可能性がある。乗員が左側室内灯１９の方向に顔を向けると、カメラ２５は、その左側室内灯１９の方向に向いた乗員の顔を撮像することが可能となる。
　制御装置２４は、カメラ２５により撮像されたカメラ画像を取得し（Ｓ４）、その取得したカメラ画像に含まれる乗員の顔画像を認証候補画像として保存する（Ｓ５）。制御装置２４は、その乗員の顔画像に基づいて当該乗員の顔向きを算出し（Ｓ６）、顔向きのずれを示す数値を閾値と比較し、乗員の顔がカメラ２５に対して正対しているか否かを判定する（Ｓ７）。
　制御装置２４は、顔向きのずれを示す数値が閾値未満であり、正対時からの顔向きのずれが小さいと判定し、乗員の顔がカメラ２５に対して正対していると判定すると（Ｓ７：ＹＥＳ）、その時点で保存している認証候補画像を認証画像として決定し（Ｓ８）。その認証画像として決定した乗員の顔画像を認証する（Ｓ９）。制御装置２４は、注意喚起終了指示を左側室内灯１９に出力し、左側室内灯１９を消灯させ（Ｓ１０）、顔認証処理を終了する。
　一方、制御装置２４は、顔向きのずれを示す数値が閾値未満でなく、正対時からの顔向きのずれが大きいと判定し、乗員の顔がカメラ２５に対して正対していないと判定すると（Ｓ７：ＮＯ）、例えば顔認証ソフトウェアを起動してからの経過時間が一定時間に到達したか否かを判定し、タイムアップしたか否かを判定する（Ｓ１１）。
　制御装置２４は、経過時間が一定時間に到達していないと判定し、タイムアップしていない（リトライ条件が成立している）と判定すると（Ｓ１１：ＮＯ）、撮像指示をカメラ２５に再度出力し、カメラ２５において撮像動作を再度行わせる（Ｓ１２）。このとき、制御装置２４は、左側室内灯１９を点灯又は点滅を継続している。制御装置２４は、カメラ２５により撮像されたカメラ画像を取得し（Ｓ１３）、その取得したカメラ画像に含まれる乗員の顔画像に基づいて当該乗員の顔向きを算出し（Ｓ１４）、顔向きのずれを示す数値を閾値と比較し、乗員の顔がカメラ２５に対して正対しているか否かを判定する（Ｓ１５）。
　制御装置２４は、顔向きのずれを示す数値が閾値未満であり、正対時からの顔向きのずれが小さいと判定し、乗員の顔がカメラ２５に対して正対していると判定すると（Ｓ１５：ＹＥＳ）、今回の乗員の顔画像を認証候補画像として上書き保存し、認証候補画像を更新し（Ｓ１６）、上記したステップＳ８以降を行う。
　一方、制御装置２４は、顔向きのずれを示す数値が閾値未満でなく、正対時からの顔向きのずれが大きいと判定し、乗員の顔がカメラ２５に対して正対していないと判定すると（Ｓ１５：ＮＯ）、今回の顔画像と認証候補画像とを比較し、何れの画像がカメラ２５に対して正対している顔向きに近いかを判定する（Ｓ１７）。制御装置２４は、今回の顔画像の方がカメラ２５に対して正対している顔向きに近いと判定すると（Ｓ１７：ＹＥＳ）、今回の顔画像を認証候補画像として上書き保存し、認証候補画像を更新し（Ｓ１８）、上記したステップＳ１１以降を行う。制御装置２４は、認証候補画像の方がカメラ２５に対して正対している顔向きに近いと判定すると（Ｓ１７：ＮＯ）、認証候補画像を更新せずに、上記したステップＳ１１以降を行う。
　制御装置２４は、経過時間が一定時間に到達したと判定し、タイムアップした（リトライ条件が成立していない）と判定すると（Ｓ１１：ＹＥＳ）、上記したステップＳ８以降を行う。
　以上は、カメラ２５が左側室内灯１９の直近に配置されている場合を例示したが、カメラ２５が右側室内灯１６、アンビエント灯２２、インジケータ２７、右側スピーカ１８や左側スピーカ２１、右側エアコン吹出口１７や左側エアコン吹出口２０、右側後席ドア１０や左側後席ドア１４のウィンドウの上端部の直近に配置されている場合も同様である。即ち、左側室内灯１９を点灯又は点滅させることに限らず、右側室内灯１６を点灯又は点滅させること、アンビエント灯２２やインジケータ２７を点滅させること、右側スピーカ１８や左側スピーカ２１からの音出力を開始させること、右側エアコン吹出口１７や左側エアコン吹出口２０からの送風を開始させること、右側後席ドア１０や左側後席ドア１４のウィンドウの開閉を開始させることで注意喚起を行い、撮像対象の乗員の顔をカメラ２５に対して正対させても良い。カメラ２５がアンビエント灯２２の直近に配置されている場合には、カメラ２５の配置箇所に直近のセグメント２２ｂだけを点滅させると共に直近のセグメント２２ｂ以外のセグメント２２ａ，２２ｃ～２２ｈを消灯させることで注意喚起を行う。
　室内灯１６，１９、アンビエント灯２２、インジケータ２７、ドア１０，１４のウィンドウを利用して行う注意喚起動作は視覚的な注意喚起動作に相当する。スピーカ１８，２１を利用して行う注意喚起動作は聴覚的な注意喚起動作に相当する。エアコン吹出口１７，２０からの送風を利用して行う注意喚起動作は触覚的な注意喚起動作に相当する。例えばカメラ２５が左側室内灯１９及び左側エアコン吹出口２０の両方の直近に配置可されていれば、これらの注意喚起動作を組み合わせて同時に行っても良い。スピーカ１８，２１の周囲に加飾照明部が配置されている構成では、スピーカ１８，２１からの音出力と共に加飾照明部を点灯又は点滅させて注意喚起動作を行っても良い。エアコン吹出口１７，２０の周囲に加飾照明部が配置されている構成では、エアコン吹出口１７，２０からの送風と共に加飾照明部を点灯又は点滅させて注意喚起動作を行っても良い。
　又、以上は、例えば顔認証ソフトウェアを起動してからの経過時間が一定時間に到達したか否かを判定することで、カメラ２５において撮像動作を再度行わせるか否かを時間で制限する場合を例示したが、リトライ回数をカウントし、リトライ回数が一定回数に到達したか否かを判定することで、カメラ２５において撮像動作を再度行わせるか否かを回数で制限しても良い。
　以上に説明したように本実施形態によれば、次に示す作用効果を得ることができる。
　顔認証システム２３において、カメラ２５が撮像動作を行うタイミングで当該カメラ２５の直近の左側室内灯１９が点灯又は点滅するようにした。撮像対象の乗員の顔を左側室内灯１９の方向に向かせ、撮像対象の乗員の顔をカメラ２５に対して正対させることができ、乗員の顔がカメラ２５に対して正対しているときの顔画像を認証することができる。顔画像を保存するために必要なメモリ容量や顔認証に要する処理量の増大を抑制すると共に、乗員の顔がカメラ２５に対して正対しているときの顔画像を認証することで認証精度を高めることができる。
　乗員の顔がカメラ２５に対して正対していないと判定すると、乗員の顔周辺を再度撮像するようにした。撮像をリトライすることで、認証精度が高まる可能性を高めることができる。
　乗員の顔がカメラに対して正対していないと判定すると、例えば顔認証ソフトウェアを起動してからの経過時間が一定時間に到達しておらずタイムアップしていない場合に限って撮像をリトライし、経過時間が一定時間に到達してタイムアップしている場合には撮像をリトライしないようにした。撮像をリトライする機会に制限を持たせることができ、認証結果を早急に必要とする場合であれば、一定時間を短く設定してリトライする機会を少なくすることで、認証結果を早急に取得することができる。一方、認証結果を早急に必要としない場合であれば、一定時間を長く設定してリトライする機会を多くすることで、認証精度を高めることができる。
　経過時間が一定時間に到達してタイムアップすると、カメラ２５により撮像された複数の画像の中で乗員の顔がカメラ２５に対して正対している状態に最も近い顔画像である認証候補画像を認証画像として決定するようにした。乗員の顔がカメラ２５に対して正対している状態に最も近い顔画像を認証画像として決定することで、認証成功となる可能性を高めることができる。
　室内灯１６，１９、アンビエント灯２２、インジケータ２７、エアコン吹出口１７，２０、スピーカ１８，２１を利用し、既存の搭載機器を利用することで、新たな搭載機器を別途配置することなく実現することができる。
　本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
　本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。又、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

Claims (7)

  1. 　車室内において座席に着座している乗員の顔周辺を撮像するカメラ（２５）と、
    　前記カメラにより撮像されたカメラ画像を取得する画像取得部（２４ａ）と、
    　前記カメラの直近に設けられている注意喚起機器において当該カメラが撮像動作を行うタイミングで撮像対象の乗員に対する注意喚起動作を行わせる注意喚起制御部（２４ｂ）と、
    　前記カメラにより撮像されたカメラ画像に含まれる乗員の顔画像を認証する顔認証部（２４ｅ）と、を備える顔認証システム（２３）。
  2. 　前記注意喚起制御は、注意喚起動作として視覚的な注意喚起動作、聴覚的な注意喚起動作及び触覚的な注意喚起動作の少なくとも何れか一つを含む請求項１に記載した顔認証システム。
  3. 　前記カメラにより撮像されたカメラ画像に含まれる乗員の顔画像に基づいて当該乗員の顔向きを算出する顔向き算出部（２４ｃ）と、
    　前記乗員の顔が前記カメラに対して正対しているか否かを判定する正対判定部（２４ｄ）と、を備え、
    　前記顔認証部は、前記乗員の顔が前記カメラに対して正対していると判定されると、その乗員の顔が前記カメラに対して正対していると判定された顔画像を認証する請求項１又は２に記載した顔認証システム。
  4. 　前記カメラは、前記乗員の顔が前記カメラに対して正対していないと判定されると、前記乗員の顔周辺を再度撮像する請求項３に記載した顔認証システム。
  5. 　前記カメラは、前記乗員の顔が前記カメラに対して正対していないと判定されると、リトライ条件が成立している場合に限って前記乗員の顔周辺を再度撮像する請求項４に記載した顔認証システム。
  6. 　前記顔認証部は、前記乗員の顔が前記カメラに対して正対していないと判定されると、リトライ条件が成立していない場合には、前記カメラにより撮像された複数の画像の中で前記乗員の顔が前記カメラに対して正対している状態に最も近い顔画像を認証する請求項５に記載した顔認証システム。
  7. 　車室内において座席に着座している乗員の顔周辺を撮像する乗員撮像装置であって、
    　自装置の直近に設けられている注意喚起機器が注意喚起動作を行うタイミングで撮像動作を行う乗員撮像装置。
PCT/JP2022/028351 2021-08-20 2022-07-21 顔認証システム及び乗員撮像装置 WO2023021918A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023542282A JPWO2023021918A1 (ja) 2021-08-20 2022-07-21

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-134843 2021-08-20
JP2021134843 2021-08-20

Publications (1)

Publication Number Publication Date
WO2023021918A1 true WO2023021918A1 (ja) 2023-02-23

Family

ID=85240570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028351 WO2023021918A1 (ja) 2021-08-20 2022-07-21 顔認証システム及び乗員撮像装置

Country Status (2)

Country Link
JP (1) JPWO2023021918A1 (ja)
WO (1) WO2023021918A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007253821A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 乗員撮像装置
JP2014199546A (ja) * 2013-03-29 2014-10-23 富士通株式会社 運転支援装置及び運転支援方法
WO2016140192A1 (ja) * 2015-03-04 2016-09-09 三菱電機株式会社 車両用表示制御装置および車両用表示装置
JP2019028959A (ja) * 2017-08-04 2019-02-21 パナソニックＩｐマネジメント株式会社 画像登録装置、画像登録システムおよび画像登録方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007253821A (ja) * 2006-03-23 2007-10-04 Toyota Motor Corp 乗員撮像装置
JP2014199546A (ja) * 2013-03-29 2014-10-23 富士通株式会社 運転支援装置及び運転支援方法
WO2016140192A1 (ja) * 2015-03-04 2016-09-09 三菱電機株式会社 車両用表示制御装置および車両用表示装置
JP2019028959A (ja) * 2017-08-04 2019-02-21 パナソニックＩｐマネジメント株式会社 画像登録装置、画像登録システムおよび画像登録方法

Also Published As

Publication number Publication date
JPWO2023021918A1 (ja) 2023-02-23

Similar Documents

Publication Publication Date Title
JP5549721B2 (ja) ドライバモニタ装置
US9888875B2 (en) Driver monitoring apparatus
JP7287239B2 (ja) 乗員体格判定装置
US11498457B2 (en) Vehicle mounted system, vehicle control system and method for monitoring an infant in a vehicle cabin
JP5059551B2 (ja) 車両の乗員検出装置
US11048951B2 (en) Occupant state recognition apparatus
JP2008199515A (ja) 同乗者着座姿勢検出・判定装置及び方法
EP2860665A2 (en) Face detection apparatus, and face detection method
US11625927B2 (en) Abnormality determination apparatus
JP2020164316A (ja) 監視装置
WO2023021918A1 (ja) 顔認証システム及び乗員撮像装置
CN108791119A (zh) 车辆控制系统及方法
JP7024332B2 (ja) ドライバモニタシステム
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
KR101859761B1 (ko) 차량용 얼굴인증 장치 및 방법
JP6594595B2 (ja) 運転不能状態判定装置および運転不能状態判定方法
JP2021068087A (ja) 画像処理装置、コンピュータプログラム、および画像処理システム
JP2022129153A (ja) 車両の乗員監視装置
JP7363758B2 (ja) 状態監視装置及び状態監視プログラム
EP4129795A1 (en) System for preventing drunk driving and method for controlling the same
JP2021188295A (ja) 車両制御システム、及び車両制御方法
JP2004330979A (ja) 車両の駆動制御装置
WO2023157720A1 (ja) 車両用顔登録制御装置及び車両用顔登録制御方法
JP2012240590A (ja) 車両灯体制御装置
CN114643934B (zh) 车辆车门倚靠检测系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22858240

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023542282

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE