WO2023203956A1 - 検出システム - Google Patents

検出システム Download PDF

Info

Publication number
WO2023203956A1
WO2023203956A1 PCT/JP2023/011442 JP2023011442W WO2023203956A1 WO 2023203956 A1 WO2023203956 A1 WO 2023203956A1 JP 2023011442 W JP2023011442 W JP 2023011442W WO 2023203956 A1 WO2023203956 A1 WO 2023203956A1
Authority
WO
WIPO (PCT)
Prior art keywords
divided image
light
face
image area
pixel values
Prior art date
Application number
PCT/JP2023/011442
Other languages
English (en)
French (fr)
Inventor
賢太郎 大友
Original Assignee
矢崎総業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矢崎総業株式会社 filed Critical 矢崎総業株式会社
Publication of WO2023203956A1 publication Critical patent/WO2023203956A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to a detection system.
  • the use of a sunshade during the day when outside light (sunlight) enters the vehicle interior, the setting sun, and the use of external lighting at night cast a shadow on a part of the driver's face, and the near-infrared light is reflected across the driver's face. Even if the light is directed toward the face, the light reflected from the face may not be uniform. Although it is possible to detect facial feature points (e.g., the outline of the face, the shape and position of the eyes, nose, and mouth, and the presence or absence of glasses) from the face image obtained in this situation, For local areas, the difference in brightness values is larger than that in the face area where the difference in brightness values is small. Therefore, there is a risk that the accuracy of detecting the iris of the eye and the like may be reduced, and there is room for further improvement in this respect.
  • facial feature points e.g., the outline of the face, the shape and position of the eyes, nose, and mouth, and the presence or absence of glasses
  • An object of the present invention is to provide a detection system that can suppress a decrease in detection accuracy of facial feature points.
  • a detection system is a light source having a plurality of light emitting elements, each of the plurality of light emitting elements emitting near-infrared light toward a different part of the face of an occupant of a vehicle.
  • an imaging unit that captures a facial image using reflected light of near-infrared light irradiated onto the face of the occupant; and a facial feature point and a facial image area of the occupant's face from the facial image captured by the imaging unit.
  • a control unit that detects the light emitting elements corresponding to each of the divided image areas based on a plurality of divided image areas obtained by dividing the face image area according to each of the plurality of light emitting elements.
  • the feature is that the light can be adjusted individually.
  • the detection system individually adjusts the light emitting elements corresponding to each divided image area based on the plurality of divided image areas obtained by dividing the face image area according to each of the plurality of light emitting elements, so that This has the effect of suppressing a decrease in the detection accuracy of feature points.
  • FIG. 1 is a schematic diagram showing an example of application of a detection system according to an embodiment to a vehicle.
  • FIG. 2 is a schematic diagram showing a configuration example of a detection system according to an embodiment.
  • FIG. 3 is a block diagram showing a configuration example of a detection system according to an embodiment.
  • FIG. 4 is a diagram showing the correspondence between the irradiation range of the light emitting element and the divided image areas according to the embodiment.
  • FIG. 5 is a flowchart illustrating an example of dimming control of the detection system according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of a facial image area and feature points in a facial image captured under a measurement environment.
  • FIG. 7 is a diagram showing an example of divided image areas divided from the face image area of FIG. 6.
  • FIG. 8 is a diagram showing an example of a measurement image area extracted from the divided image area of FIG. 7.
  • FIG. 9 is a diagram illustrating an example of a facial image area and feature points in a facial image captured under a reference environment.
  • FIG. 10 is a diagram illustrating an example of divided image areas divided from the face image area of FIG. 9.
  • FIG. 11 is a diagram showing an example of a measurement image area extracted from the divided image area of FIG. 10.
  • the detection system 1 is mounted on a vehicle 100 such as an automobile, for example, and monitors the eye condition of a driver D seated in a driver's seat 102 of the vehicle 100.
  • Driver D is a passenger of vehicle 100.
  • the condition of the eyes includes the direction of the line of sight of the driver D, the opening/closing (blinking) state of the eyes, and the like.
  • the vertical direction used in the following description is the vertical direction of the imaging unit 2 that constitutes the detection system 1, as shown in FIG.
  • the front-back direction is the front-back direction of the imaging unit 2.
  • the left-right direction is the left-right direction of the imaging unit 2.
  • the detection system 1 includes, for example, an imaging unit 2 and a control section 3, as shown in FIG.
  • the imaging unit 2 irradiates the face F of the driver D with near-infrared light to capture facial images 40, 50 (see FIGS. 6 to 11) including the eyes E of the driver D.
  • the imaging unit 2 is installed at a position where it can capture facial images 40, 50 of the driver D, and is installed, for example, on a steering column.
  • the face images 40 and 50 are images of the same subject (driver D) taken under different environments.
  • the face image 40 is a face image of the driver D in which the face F of the driver D is imaged by the imaging unit 2 under the measurement environment.
  • the measurement environment is, for example, an environment in which the driver D is driving the vehicle 100 during the day or at night. In the measurement environment, for example, there is a possibility that a shadow may be cast on a part of the face F of the driver D due to external light (environmental light) entering the vehicle interior 101, a sunshade, or the like.
  • the face image 50 is an image taken under a reference environment, and is, for example, an image registered when driving authentication is used or a face image of driver D taken as a calibration during first use. Further, the face image 50 is an image in which the luminance value of the face within the face image 50 is uniform.
  • the reference environment is an environment in which the luminance value of the face F in the face image 50 is uniform to some extent with respect to the measurement environment.
  • the imaging unit 2 includes a substrate section 10, a light source section 11, and an imaging section 12.
  • the board section 10 is a so-called printed circuit board on which various electronic components are mounted and constitutes an electronic circuit that electrically connects the electronic components.
  • the substrate section 10 has a wiring pattern (print pattern) formed (printed) on an insulating layer made of an insulating material such as epoxy resin, glass epoxy resin, paper epoxy resin, or ceramic using a conductive material such as copper foil. ing.
  • the substrate section 10 is, for example, a multilayered structure (that is, a multilayer substrate) in which a plurality of insulating layers each having a wiring pattern formed thereon are laminated.
  • the substrate section 10 is formed in a rectangular shape, and has a light source section 11 and an imaging section 12 mounted thereon, which are electrically connected to the substrate section 10 .
  • the light source section 11 emits near-infrared light.
  • the light source section 11 emits, for example, near-infrared rays under the control of the control section 3 .
  • the light source section 11 includes a first LED 11A, a second LED 11B, a third LED 11C, and a fourth LED 11D as a plurality of light emitting elements.
  • the four first LEDs 11A to fourth LEDs 11D are mounted on the substrate section 10, and are provided at intervals on the substrate section 10, respectively.
  • the four first LEDs 11A to fourth LEDs 11D are arranged in two rows along the left-right direction (width direction) of the substrate section 10 and arranged in two rows along the up-down direction (height direction). , are arranged at intervals in the horizontal and vertical directions.
  • the four first to fourth LEDs 11A to 11D each emit near-infrared light toward different parts of the face F of the driver D of the vehicle 100. For example, as shown in FIG. 4, when the face F of the driver D is present approximately in the center of the photographing range of the imaging unit 12, the four first LEDs 11A to the fourth LED 11D each have an LED corresponding to the face F of the driver D.
  • the four first to fourth LEDs 11A to 11D each have an irradiation angle ⁇ that irradiates the corresponding first irradiation range 31A to fourth irradiation range 31D with near-infrared light. Furthermore, the four first to fourth LEDs 11A to 11D are designed so that the radiation intensity 32 is strong to some extent.
  • the first irradiation range 31A to the fourth irradiation range 31D may overlap with each other as shown in the figure.
  • the image capturing unit 12 captures a face image 40 using reflected light of near-infrared light irradiated onto the face F of the driver D.
  • the face image 40 is an image including the face F of the driver D, as shown in FIGS. 6 to 11.
  • the face image 40 may be a still image or a single frame image obtained from a moving image.
  • the imaging unit 12 is, for example, a near-infrared camera, and is mounted approximately at the center of the substrate unit 10. As shown in FIG. 4, the imaging unit 12 is arranged in the substrate unit 10 at a position where a diagonal line passing through the first LED 11A and the fourth LED 11D intersects a diagonal line passing through the second LED 11B and the third LED 11C.
  • the imaging unit 12 has a camera lens arranged to face the face F of the driver D, and captures a face image 40 of the driver D.
  • the imaging unit 12 captures a facial image 40 of the driver D by receiving, for example, reflected light of near-infrared light irradiated onto the face F of the driver D by the light source unit 11 .
  • the imaging unit 12 is activated when the vehicle's ACC (accessory) power source or IG (ignition) power source is turned on, and images the facial image 40 of the driver D until these power sources are turned off.
  • the imaging unit 12 is connected to the control unit 3 via the substrate unit 10 and the like, and outputs the captured facial image 40 of the driver D to the control unit 3.
  • the control section 3 controls the imaging unit 2.
  • the control unit 3 includes a control board 21 and a CPU 22.
  • the control board 21 is a so-called printed circuit board on which various electronic components are mounted and constitutes an electronic circuit that electrically connects the electronic components.
  • the control board 21 has a wiring pattern formed of a conductive member such as copper foil on an insulating layer made of an insulating material such as epoxy resin, glass epoxy resin, paper epoxy resin, or ceramic.
  • the control board 21 is, for example, a multilayered board made by laminating a plurality of insulating layers on which wiring patterns are formed (that is, a multilayer board).
  • the control board 21 is equipped with a CPU 22, and the CPU 22 is electrically connected to the control board 21. Further, the control board 21 is connected to the imaging unit 2 via the communication line T.
  • the CPU 22 controls the imaging unit 2.
  • the CPU 22 includes, for example, an extraction section 23, a calculation section 24, a storage section 25, and a light control section 26 shown in FIG. 3, and these functions are installed in one IC (Integrated Circuit). Note that the extraction unit 23 and calculation unit 24 constitute face recognition middleware.
  • the extraction unit 23 extracts a face image area 41 (or face image area 51) from the face image 40 (or face image 50) based on the feature points 60 of the face F of the driver D.
  • the face image areas 41 and 51 are rectangular frames surrounding the face F of the driver D, and are also called “bounding boxes.”
  • the feature points 60 of the face F are so-called “key points” and include eyebrows, eyes, nose, mouth, outline, etc.
  • the feature points 60 of the face F of this embodiment include a right eyebrow 61, a left eyebrow 62, a right eye 63, a left eye 64, a nose 65, a mouth 66, and an outline 67.
  • the extraction unit 23 extracts each feature point 60 of the face using a general face recognition algorithm.
  • the face image area 41 is a rectangular area that includes the face F extracted from the face image 40.
  • the extraction unit 23 extracts the facial image area 41 based on a plurality of feature points including a right eyebrow 61, a left eyebrow 62, a right eye 63, a left eye 64, a nose 65, a mouth 66, and an outline 67.
  • the extraction unit 23 divides the extracted face image area 41 (or face image area 51) into four equal parts. Specifically, as shown in FIG. 7 (or FIG. 10), the extraction unit 23 divides the face image area 41 into four first divided image areas 42A (first divided image area) according to each of the four first LED 11A to fourth LED 11D. 1 divided image area 52A), 2nd divided image area 42B (2nd divided image area 52B), 3rd divided image area 42C (3rd divided image area 52C), and 4th divided image area 42D (4th divided image area 52D).
  • the first divided image area 42A (first divided image area 52A) corresponds to the first LED 11A and the first irradiation range 31A.
  • the second divided image area 42B corresponds to the second LED 11B and the second irradiation range 31B.
  • the third divided image area 42C corresponds to the third LED 11C and the third irradiation range 31C.
  • the fourth divided image area 42D (fourth divided image area 52D) corresponds to the fourth LED 11D and the fourth irradiation range 31D.
  • the first divided image area 42A to the fourth divided image area 42D and the first divided image area 52A to the fourth divided image area 52D are all formed in a rectangular shape.
  • the first divided image area 42A, the second divided image area 42B, the third divided image area 42C and the fourth divided image area 42D are separated by a face image 40 (or face image 50) with a boundary line (equal dividing line) Y in between. are adjacent in the X direction.
  • the first divided image area 42A and the third divided image area 42C, and the second divided image area 42B and the fourth divided image area 42D are connected to each other with a boundary line (equal dividing line) 50) adjacent in the Y direction.
  • the boundaries of the first divided image area 42A to the fourth divided image area 42D, including the boundary lines X and Y, are determined depending on the installation position of the imaging unit 12, the irradiation range 31 of each LED, and the like.
  • the extraction unit 23 extracts the first divided image area 42A to fourth divided image area 42D (or first divided image area 52A to fourth divided image area 52D).
  • a measurement image region 45 (or measurement image region 55) is extracted from each divided image region 42 (or each divided image region 52) based on the feature points 60 included in each.
  • the measurement image area 45 (or the measurement image area 55) includes feature points 60 included in each of the first divided image area 42A to the fourth divided image area 42D (or each of the first divided image area 52A to the fourth divided image area 52D).
  • the end point 45x (or end point 55x) is the position furthest away from the boundary line X along the Y direction among the plurality of feature points 60 included in the first divided image area 42A (or first divided image area 52A).
  • the end point 45y (or 55y) is located at the position furthest from the boundary line Y along the X direction among the plurality of feature points 60 included in the first divided image area 42A (or first divided image area 52A). This is a characteristic point.
  • the end points 45x, 45y (or 55x, 55y) are specified in the first divided image area 42A (or first divided image area 52A) by the above method, but the second divided image area 42B to the fourth divided image area 42D (or the second divided image area 52B to the fourth divided image area 52D), each end point is also specified by the above method.
  • the measurement image area 45 (or 55) is extracted in each of the first to fourth divided image areas 42A to 42D (or each of the first to fourth divided image areas 52A to 52D).
  • the side passing through the end point 45x (or 55x) is located parallel to the boundary line Y
  • the side passing through the end point 45y (or 55y) is located parallel to the boundary line X.
  • the calculation unit 24 calculates the average value of pixel values based on all the pixel values of the plurality of pixels included in each of the at least two measurement image regions 45 (55) extracted by the extraction unit 23. Specifically, the calculation unit 24 calculates the average value of pixel values based on all pixels in each measurement image area 45 (55) for each of the first divided image areas 42A to 4th divided image area 42D (or each of the first divided image areas 42A to 42D). The measured values (or reference values) corresponding to the divided image areas 52A to 4th divided image area 52D are stored in the storage unit 25.
  • the storage unit 25 stores the measured values and reference values calculated by the calculation unit 24.
  • the storage unit 25 stores an average value of pixel values obtained based on the face image 50 and based on all the pixel values of a plurality of pixels included in the measurement image area 55 in the first divided image area 52A to the fourth divided image area 52D. are stored in advance as reference values corresponding to each of them.
  • the storage unit 25 also stores an average value of pixel values obtained based on the face image 40 and based on all pixel values of a plurality of pixels included in each of the first divided image area 42A to the fourth divided image area 42D.
  • the measurement values are saved as the measured values corresponding to the first divided image area 42A to the fourth divided image area 42D.
  • the light control unit 26 causes the four first to fourth LEDs 11A to 11D to emit light and control the light.
  • the light control unit 26 causes all of the first LED 11A to fourth LED 11D to emit light at a preset initial light amount.
  • the light control section 26 controls the light of each of the first LED 11A to the fourth LED 11D.
  • the light control unit 26 can increase or decrease the light amount of the first LED 11A, for example.
  • the light control unit 26 uses the reference values corresponding to each of the first divided image area 52A to the fourth divided image area 52D stored in the storage unit 25, and the reference values corresponding to each of the first divided image area 42A to the fourth divided image area 42D.
  • Light control is performed by increasing or decreasing the light amount of each of the first LED 11A to fourth LED 11D based on the corresponding measurement value.
  • the light control unit 26 compares the difference between the reference value and the measured value read from the storage unit 25 with a threshold value. If the light adjustment unit 26 determines that the difference between the reference value and the measured value is equal to or greater than the first threshold, the light control unit 26 determines that the corresponding divided image area 42 is too bright, and changes the first divided image area 42A to the fourth divided image area. The amount of light from the first LED 11A to the fourth LED 11D corresponding to 42D is reduced.
  • the light control unit 26 determines that the corresponding divided image area 42 is too dark, and the first divided image area 42A to the fourth divided image area 42D.
  • the amount of light from the first LED 11A to the fourth LED 11D corresponding to the 1st to 4th LEDs 11D is increased.
  • the light control unit 26 reduces only the first LED 11A corresponding to the first divided image area 42A among the four first divided image areas 42A to the fourth divided image area, according to the comparison result between the difference and the threshold value. It can emit light or increase its brightness.
  • first threshold>second threshold If the difference between the measured value and the reference value is zero (0), dimming is not necessary. In other words, when the difference is between the first threshold value and the second threshold value, the dimming and increasing of light by the dimming unit 26 becomes unnecessary.
  • step S1 the light control unit 26 causes all of the four first LEDs 11A to four fourth LEDs 11D to emit light at a preset initial light intensity, and illuminates the face F of the driver D with near-infrared light from each of the first LEDs 11A to fourth LEDs 11D. irradiate.
  • step S2 the imaging unit 12 receives reflected light of the near-infrared light irradiated onto the face F of the driver D from all of the four first LEDs 11A to fourth LED 11D, and images the imaged driver.
  • the face image 40 of D is output to the control section 3.
  • the control unit 3 acquires the face image 40 of the driver D from the imaging unit 12, and inputs the face image 40 to face recognition middleware.
  • step S3 the extraction unit 23 extracts the facial image area 41 from the facial image 40 acquired in step S2 based on the feature points 60 of the face F of the driver D.
  • step S4 the extraction unit 23 divides the face image area 41 into four first divided image areas 42A to fourth divided image areas 42D.
  • step S5 the extraction unit 23 extracts the measurement image area 45 based on the feature points 60 in each of the first divided image area 42A to the fourth divided image area 42D.
  • step S6 the calculation unit 24 calculates the average value of the pixel values based on all the pixel values of the plurality of pixels included in each measurement image area 45, and stores it in the storage unit 25.
  • step S7 the light control unit 26 compares the difference between the reference value and the measured value read from the storage unit 25 with a threshold value.
  • step S8 the light control unit 26 determines whether the difference is greater than or equal to the first threshold value.
  • the process proceeds to step S9.
  • step S10 the process proceeds to step S10.
  • step S9 the light control unit 26 selects an LED (at least among the first LED 11A to fourth LED 11D) corresponding to the divided image area whose difference is equal to or greater than the first threshold value among the first divided image area 42A to fourth divided image area 42D. 1), and the process ends.
  • step S10 the light control unit 26 determines whether the difference is less than or equal to the second threshold.
  • the process proceeds to step S11. On the other hand, if it is determined that the difference is not equal to or less than the second threshold, this process is ended.
  • step S11 the light adjustment unit 26 selects an LED (at least among the first LED 11A to fourth LED 11D) corresponding to a divided image area whose difference is equal to or less than the second threshold among the first divided image area 42A to fourth divided image area 42D. 1) increases the light intensity, and ends this process.
  • the control unit 3 repeats the processes from step S5 to step S11 described above until the dimming of the four first to fourth LEDs 11A to 11D in the light source unit 11 is completed.
  • the control unit 3 detects the iris of the eye, etc., based on the face image 40 obtained at the timing when light adjustment becomes unnecessary. As a result, the difference in brightness values within the face image area 41 becomes smaller, so that it is possible to suppress a decrease in detection accuracy of the feature points 60 of the face F.
  • the detection system 1 includes the imaging unit 2 having the light source section 11 and the imaging section 12, and the control section 3.
  • each of the four first to fourth LEDs 11A to 11D irradiates near-infrared light toward different parts of the face F of the driver D of the vehicle 100.
  • the image capturing section 12 captures facial images 40 and 50 using reflected light of near-infrared light irradiated onto the face F of the driver D from the light source section 11 .
  • the control unit 3 extracts the feature points 60 and the face image region 41 of the face F of the driver D based on the captured face images 40 and 50.
  • the control unit 3 corresponds to each divided image area 42 based on four first divided image areas 42A to 4th divided image area 42D obtained by dividing the face image area 41 according to each of the four first LED 11A to fourth LED 11D. Dim the LEDs individually.
  • the detection system 1 can, for example, brighten the LED corresponding to the divided image area 42 that is darkened due to a shadow on a part of the face F of the driver D due to the sunshade, or brighten the LED corresponding to the divided image area 42 where a shadow is not generated.
  • the other LEDs corresponding to 42 can be dimmed.
  • the detection system 1 can bring the face image 40 closer to the face image 50, reduce the change in brightness (luminance) of the entire face image area 41 obtained from the face image 40, and reduce the change in the feature points of the face F. 60 detection accuracy can be suppressed.
  • the detection system 1 can suppress a decrease in detection accuracy by increasing the light amount of the corresponding LED. Further, the detection system 1 can perform dimming of the light source section 11 without changing the conventional device configuration. Furthermore, since the detection system 1 includes a light source section 11 that irradiates near-infrared light and an imaging section 12 that is a near-infrared camera, many images can be captured even at night or when the driver D is wearing sunglasses. The facial image 40 can be acquired without requiring a large amount of light. Furthermore, the detection system 1 can reduce power consumption by dimming the light source section 11 during the daytime, suppress heat generation of the light source section 11, and extend the product life.
  • Some conventional driver monitoring systems adjust the amount of light by using a near-infrared light sensor that receives reflected near-infrared light irradiated onto an object (for example, Japanese Patent Laid-Open No. 59 -86973).
  • a near-infrared light sensor since a near-infrared light sensor is used to suppress a decrease in detection accuracy, the cost of parts increases and it is necessary to add a control circuit for the sensor. Since the detection system 1 can suppress a decrease in detection accuracy without using a near-infrared light sensor, it can suppress an increase in product costs.
  • the light control unit 26 compares the difference between the reference value and the measured value with a threshold value every time the face image 40 is captured in the measurement environment, and the difference is equal to or greater than the threshold value. If so, the light amount of the LED corresponding to the divided image area 42 is decreased, and if the difference is less than the threshold value, the light amount of the light emitting element corresponding to the divided image area 42 is increased. As a result, for example, when the area near the iris of the eye E in the face image area 41 is dark, the light intensity of the corresponding LED is increased, and when it is bright, the light intensity of the corresponding LED is decreased, so that the iris of the eye etc. Decrease in detection accuracy can be suppressed.
  • each of the first divided image area 42A to the fourth divided image area 42D is a first irradiation range 31A to a first irradiation range 31A of near-infrared light irradiated by each of the first LED 11A to the fourth LED 11D.
  • This is a rectangular area divided into equal parts according to the four irradiation ranges 31D.
  • the face image area 41 (or 51) is rectangular, the face image area 41 (or 51) can be divided according to the positional relationship between each LED and each divided image area, and multiple divisions can be performed.
  • the correspondence between the image area 42 (or 52) and the irradiation range 31 of the plurality of LEDs becomes clear.
  • the calculation unit 24 calculates the average value of the pixel values and the measured value of the pixel values based on the measurement image region 45 (or 55) extracted by the extraction unit 23. It is not limited to this.
  • the calculation unit 24 calculates the average value of pixel values based on each of the first divided image area 42A to fourth divided image area 42D (or each of the first divided image area 52A to fourth divided image area 52D),
  • the configuration may be such that a measured value of the value is calculated. Thereby, the above-mentioned effects can be obtained.
  • the extraction unit 23 extracts the face image region 41 based on the feature points 60 of the face F, but the extraction unit 23 is not limited to this, and the extraction unit 23 extracts the face image region 41 based on the feature points 60 of the face F. 60 may be extracted.
  • the measurement image area 45 (or 55) is a rectangular area, but is not limited to this.
  • the area formed by the line 70 and the boundary lines X and Y may be used, and the area in which the pixel values are calculated is not limited.
  • the light source section 11 has the four first to fourth LEDs 11A to 11D, but the invention is not limited to this.
  • the arrangement positions of the plurality of LEDs are determined depending on the installation position of the imaging section 12, the irradiation range 31 of each LED, and the like.
  • the imaging unit 2 is installed on the steering column, but is not limited to this, and may be installed on the instrument panel, dashboard, room mirror, etc.
  • the CPU 22 includes the extraction section 23, the calculation section 24, the storage section 25, and the light control section 26, and an example has been described in which these functions are installed in one IC.
  • the above functions may be distributed and installed in a plurality of ICs.
  • control unit 3 has been described as having each processing function realized by a single processor, but the present invention is not limited to this.
  • the control unit 3 may realize each processing function by combining a plurality of independent processors and having each processor execute a program. Further, the processing functions of the control unit 3 may be appropriately distributed or integrated into a single processing circuit or a plurality of processing circuits. Further, all or any part of the processing functions of the control unit 3 may be realized by a program, or may be realized by hardware using wired logic or the like.
  • the detection system 1 is applied to the vehicle 100 such as an automobile, but the detection system 1 is not limited to this, and may be applied to, for example, a ship or an aircraft other than a vehicle. Furthermore, although the detection system 1 is divided into an imaging unit 2 and a control section 3, these may be configured as one unit.
  • Detection system 2 Imaging unit 3 Control section 11 Light source section 11A 1st LED (light emitting element) 11B 2nd LED (light emitting element) 11C 3rd LED (light emitting element) 11D 4th LED (light emitting element) 12 Imaging unit 23 Extracting unit 24 Calculating unit 25 Storage unit (first storage unit, second storage unit) 26 Light control unit 40, 50 Face image 41, 51 Face image area 42, 52 Divided image area 42A, 52A First divided image area 42B, 52B Second divided image area 42C, 52C Third divided image area 42D, 52D Fourth Divided image area 45, 55 Measured image area 60 Feature points 100 Vehicle D Driver F Face E Eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

検出システム（１）は、複数の発光素子（１１Ａ～１１Ｄ）を有し複数の発光素子（１１Ａ～１１Ｄ）のそれぞれが車両（１００）の乗員（Ｄ）の顔（Ｆ）の異なる部分に向けて近赤外光を照射する光源部（１１）と、乗員（Ｄ）の顔（Ｆ）に照射された近赤外光の反射光により顔画像（４０）を撮像する撮像部（１２）と、撮像部（１２）により撮像された顔画像（４０）から乗員（Ｄ）の顔（Ｆ）の特徴点（６０）及び顔画像領域（４１）を抽出する制御部（３）とを備える。制御部３は、顔画像領域（４１）を複数の発光素子（１１Ａ～１１Ｄ）のそれぞれに応じて分割した複数の分割画像領域（４２Ａ～４２Ｄ）に基づいて各分割画像領域（４２Ａ～４２Ｄ）に対応する発光素子（１１Ａ～１１Ｄ）を個別に調光する。

Description

検出システム
　本発明は、検出システムに関する。
　近年、ドライバーの脇見運転や居眠り運転を防止する目的で、例えば、近赤外カメラと近赤外光源を用いてドライバーの顔を撮影し、顔の向きや眼の開閉度、視線方向などを検出する顔画像撮像装置が開示されている（例えば、特許文献１参照）。
特開２００９－１１６７９７号公報
　ところで、車室内に外光（太陽光）が入射する日中におけるサンシェードの使用や西日、夜間の外部照明等によってドライバーの顔の一部に影が生じ、近赤外光をドライバーの顔全体に向けて照射したとしても、顔からの反射光が一律でない場合がある。このような状況で得られた顔画像から顔の特徴点（例えば、顔の輪郭、眼や鼻、口の形及び位置、眼鏡の有無）の検出は可能だが、例えば、眼の虹彩のような局所的なものについては、顔領域内の輝度値の差分が小さいものと比較して、輝度値の差分が大きくなる。そのため、眼の虹彩等の検出精度が低下するおそれがあり、この点で更なる改善の余地がある。
　本発明は、顔の特徴点の検出精度低下を抑制することができる検出システムを提供することを目的とする。
　上記目的を達成するために、本発明に係る検出システムは、複数の発光素子を有し複数の前記発光素子のそれぞれが車両の乗員の顔の異なる部分に向けて近赤外光を照射する光源部と、前記乗員の顔に照射された近赤外光の反射光により顔画像を撮像する撮像部と、前記撮像部により撮像された顔画像から前記乗員の顔の特徴点及び顔画像領域を検出する制御部と、を備え、前記制御部は、前記顔画像領域を複数の前記発光素子のそれぞれに応じて分割した複数の分割画像領域に基づいて各前記分割画像領域に対応する前記発光素子を個別に調光する、ことを特徴とする。
　本発明に係る検出システムは、顔画像領域を複数の発光素子のそれぞれに応じて分割した複数の分割画像領域に基づいて各分割画像領域に対応する発光素子を個別に調光するので、顔の特徴点の検出精度低下を抑制することができる、という効果を奏する。
図１は、実施形態に係る検出システムの車両への適用例を示す模式図である。 図２は、実施形態に係る検出システムの構成例を示す概略図である。 図３は、実施形態に係る検出システムの構成例を示すブロック図である。 図４は、実施形態に係る発光素子の照射範囲と分割画像領域との対応関係を示す図である。 図５は、実施形態に係る検出システムの調光制御の一例を示すフローチャートである。 図６は、測定環境下で撮像された顔画像における顔画像領域及び特徴点の一例を示す図である。 図７は、図６の顔画像領域から分割された分割画像領域の一例を示す図である。 図８は、図７の分割画像領域から抽出された測定画像領域の一例を示す図である。 図９は、基準環境下で撮像された顔画像における顔画像領域及び特徴点の一例を示す図である。 図１０は、図９の顔画像領域から分割された分割画像領域の一例を示す図である。 図１１は、図１０の分割画像領域から抽出された測定画像領域の一例を示す図である。
　以下に、本発明に係る検出システムの実施形態を図面を参照しつつ詳細に説明する。なお、下記実施形態により本発明が限定されるものではない。すなわち、下記実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれ、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
［実施形態］
　本実施形態に係る検出システムを図１～図１１を参照して説明する。検出システム１は、図１に示すように、例えば、自動車等の車両１００に搭載され、当該車両１００の運転席１０２に着座した運転者Ｄの眼の状態を監視するものである。運転者Ｄは、車両１００の乗員である。眼の状態とは、運転者Ｄの視線方向や眼の開閉（まばたき）状態等が含まれる。
　なお、以下の説明で用いる上下方向は、図２に示すように、検出システム１を構成する撮像ユニット２の上下方向である。前後方向は、撮像ユニット２の前後方向である。左右方向は、撮像ユニット２の左右方向である。
　検出システム１は、例えば、図１に示すように、撮像ユニット２と、制御部３とを備える。
　撮像ユニット２は、運転者Ｄの顔Ｆに近赤外光を照射して運転者Ｄの眼Ｅを含む顔画像４０，５０（図６～図１１参照）を撮像するものである。撮像ユニット２は、運転者Ｄの顔画像４０，５０を撮像することが可能な位置に設置され、例えば、ステアリングコラム等に設置される。顔画像４０，５０は、同一の被写体（運転者Ｄ）に対して異なる環境下で撮像されたものである。
　顔画像４０は、測定環境下において、撮像ユニット２により運転者Ｄの顔Ｆが撮像された運転者Ｄの顔画像である。測定環境は、例えば、運転者Ｄが日中や夜間等に車両１００を運転している環境である。測定環境化では、例えば、車室１０１内に入射する外光（環境光）やサンシェード等によって運転者Ｄの顔Ｆの一部に影が生じる可能性がある。
　顔画像５０は、基準となる環境下で撮像されたものであり、例えば、運転認証使用時に登録される画像や初回使用時にキャリブレーションとして撮影された運転者Ｄの顔画像である。また、顔画像５０は、顔画像５０内の顔の輝度値が一様な画像である。基準となる環境（基準環境）とは、測定環境に対して、顔画像５０内の顔Ｆの輝度値がある程度一様な環境である。
　具体的には、撮像ユニット２は、基板部１０と、光源部１１と、撮像部１２とを備える。
　基板部１０は、種々の電子部品が実装され、当該電子部品を電気的に接続する電子回路を構成するものであり、いわゆるプリント回路基板（Ｐｒｉｎｔｅｄ　Ｃｉｒｃｕｉｔ　Ｂｏａｒｄ）である。基板部１０は、例えば、エポキシ樹脂、ガラスエポキシ樹脂、紙エポキシ樹脂やセラミック等の絶縁性の材料からなる絶縁層に銅箔等の導電性部材によって配線パターン（プリントパターン）が形成（印刷）されている。基板部１０は、例えば、配線パターンが形成された絶縁層を複数枚積層させ多層化されたもの（つまり、多層基板）である。基板部１０は、矩形状に形成され、光源部１１及び撮像部１２が搭載され、これらが当該基板部１０に電気的に接続されている。
　光源部１１は、近赤外光を照射するものである。光源部１１は、制御部３の制御により、例えば、近赤外線を照射する。光源部１１は、図３に示すように、複数の発光素子として、第１ＬＥＤ１１Ａ、第２ＬＥＤ１１Ｂ、第３ＬＥＤ１１Ｃ、及び第４ＬＥＤ１１Ｄを有する。４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、基板部１０に搭載され、それぞれが間隔を空けて当該基板部１０に設けられている。
　４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、図２に示すように、基板部１０の左右方向（幅方向）に沿って２行に配置され且つ上下方向（高さ方向）に沿って２列に配置され、それぞれが左右方向及び上下方向において間隔を空けて配置されている。４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、それぞれが車両１００の運転者Ｄの顔Ｆの異なる部分に向けて近赤外光を照射する。４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、例えば、図４に示すように、撮像部１２の撮影範囲の略中央に運転者Ｄの顔Ｆが存在する場合、それぞれが運転者Ｄの顔Ｆに応じて設定された４つの第１照射範囲３１Ａ，第２照射範囲３１Ｂ、第３照射範囲３１Ｃ、及び第３照射範囲３１Ｃに近赤外光を照射するように構成される。４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、それぞれが対応する第１照射範囲３１Ａ～第４照射範囲３１Ｄに近赤外光を照射する照射角θを有する。また、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄは、放射強度３２がある程度強くなるように設計されている。第１照射範囲３１Ａ～第４照射範囲３１Ｄは、図示のように、互いに重複する部分があってもよい。
　撮像部１２は、運転者Ｄの顔Ｆに照射された近赤外光の反射光により顔画像４０を撮像するものである。顔画像４０は、図６～図１１に示すように、運転者Ｄの顔Ｆを含む画像である。顔画像４０は、静止画像であってもよいし、動画から得られる１つのフレーム画像であってもよい。撮像部１２は、例えば、近赤外線カメラであり、基板部１０のほぼ中央に搭載されている。撮像部１２は、図４に示すように、基板部１０において、第１ＬＥＤ１１Ａ及び第４ＬＥＤ１１Ｄを通る対角線と、第２ＬＥＤ１１Ｂ及び第３ＬＥＤ１１Ｃを通る対角線とが交差する位置に配置される。撮像部１２は、カメラレンズが運転者Ｄの顔Ｆに向けて配置され、当該運転者Ｄの顔画像４０を撮像する。撮像部１２は、例えば、光源部１１により運転者Ｄの顔Ｆに照射された近赤外光による反射光を受光して運転者Ｄの顔画像４０を撮像する。撮像部１２は、車両のＡＣＣ（アクセサリー）電源又はＩＧ（イグニッション）電源がオンされた場合に起動し、これらの電源がオフされるまで運転者Ｄの顔画像４０を撮像する。撮像部１２は、基板部１０等を介して制御部３に接続され、撮像した運転者Ｄの顔画像４０を制御部３に出力する。
　制御部３は、撮像ユニット２を制御するものである。制御部３は、制御基板２１と、ＣＰＵ２２とを備える。
　制御基板２１は、種々の電子部品が実装され、当該電子部品を電気的に接続する電子回路を構成するものであり、いわゆるプリント回路基板である。制御基板２１は、例えば、エポキシ樹脂、ガラスエポキシ樹脂、紙エポキシ樹脂やセラミック等の絶縁性の材料からなる絶縁層に銅箔等の導電性部材によって配線パターンが形成されている。制御基板２１は、例えば、配線パターンが形成された絶縁層を複数枚積層させ多層化されたもの（つまり、多層基板）である。制御基板２１は、ＣＰＵ２２が搭載され、当該ＣＰＵ２２が制御基板２１に電気的に接続されている。また、制御基板２１は、通信線Ｔを介して撮像ユニット２に接続されている。
　ＣＰＵ２２は、撮像ユニット２を制御するものである。ＣＰＵ２２は、例えば、図３に示す抽出部２３、算出部２４、記憶部２５、及び調光部２６を備え、これらの機能が１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）に搭載されている。なお、抽出部２３及び算出部２４は、顔認識ミドルウェアを構成する。
　抽出部２３は、図６（または図９）に示すように、顔画像４０（または顔画像５０）から運転者Ｄの顔Ｆの特徴点６０に基づいて顔画像領域４１（または顔画像領域５１）を抽出する。顔画像領域４１，５１は、運転者Ｄの顔Ｆを囲う矩形状の枠であり、いわゆる「バウンディングボックス」とも呼ばれる。顔Ｆの特徴点６０は、いわゆる「キーポイント」であり、眉、眼、鼻、口、輪郭等が含まれる。本実施形態の顔Ｆの特徴点６０は、図６に示すように、右眉６１、左眉６２、右眼６３、左眼６４、鼻６５、口６６、輪郭６７が含まれる。抽出部２３は、一般的な顔認識アルゴリズムを利用して、顔の特徴点６０をそれぞれ抽出する。顔画像領域４１は、顔画像４０から抽出される顔Ｆを含む矩形状の領域である。抽出部２３は、右眉６１、左眉６２、右眼６３、左眼６４、鼻６５、口６６、輪郭６７を含む複数の特徴点に基づいて顔画像領域４１を抽出する。
　抽出部２３は、抽出した顔画像領域４１（または顔画像領域５１）を４等分する。具体的には、抽出部２３は、図７（または図１０）に示すように、顔画像領域４１を、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのそれぞれに応じて４つの第１分割画像領域４２Ａ（第１分割画像領域５２Ａ）、第２分割画像領域４２Ｂ（第２分割画像領域５２Ｂ）、第３分割画像領域４２Ｃ（第３分割画像領域５２Ｃ）、及び第４分割画像領域４２Ｄ（第４分割画像領域５２Ｄ）に分割する。第１分割画像領域４２Ａ（第１分割画像領域５２Ａ）は、第１ＬＥＤ１１Ａ、及び、第１照射範囲３１Ａに対応する。第２分割画像領域４２Ｂ（第２分割画像領域５２Ｂ）は、第２ＬＥＤ１１Ｂ、及び、第２照射範囲３１Ｂに対応する。第３分割画像領域４２Ｃ（第３分割画像領域５２Ｃ）は、第３ＬＥＤ１１Ｃ、及び、第３照射範囲３１Ｃに対応する。第４分割画像領域４２Ｄ（第４分割画像領域５２Ｄ）は、第４ＬＥＤ１１Ｄ、及び、第４照射範囲３１Ｄに対応する。第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ及び第１分割画像領域５２Ａ～第４分割画像領域５２Ｄは、いずれも矩形状に形成されている。
　第１分割画像領域４２Ａと第２分割画像領域４２Ｂ、第３分割画像領域４２Ｃと第４分割画像領域４２Ｄとは、境界線（等分線）Ｙを挟んで顔画像４０（または顔画像５０）のＸ方向において隣接する。また、第１分割画像領域４２Ａと第３分割画像領域４２Ｃ、第２分割画像領域４２Ｂと第４分割画像領域４２Ｄとは、境界線（等分線）Ｘを挟んで顔画像４０（または顔画像５０）のＹ方向において隣接する。境界線Ｘ，Ｙを含む第１分割画像領域４２Ａ～第４分割画像領域４２Ｄの境界は、撮像部１２の設置位置、各ＬＥＤの照射範囲３１等に応じて定まる。
　抽出部２３は、図８（または図１０、図１１）に示すように、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）のそれぞれに含まれる特徴点６０に基づいて、各分割画像領域４２（または各分割画像領域５２）から測定画像領域４５（または測定画像領域５５）を抽出する。測定画像領域４５（または測定画像領域５５）は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）に含まれる特徴点６０のＸ方向及びＹ方向における各端点４５ｘ，４５ｙ（または各端点５５ｘ，５５ｙ）と境界線Ｘ，Ｙとに基づいて形成される矩形状の領域である。例えば、端点４５ｘ（または端点５５ｘ）は、第１分割画像領域４２Ａ（または第１分割画像領域５２Ａ）に含まれる複数の特徴点６０のうち、Ｙ方向に沿って境界線Ｘから最も離間した位置にある特徴点である。また、端点４５ｙ（または５５ｙ）は、第１分割画像領域４２Ａ（または第１分割画像領域５２Ａ）に含まれる複数の特徴点６０のうち、Ｘ方向に沿って境界線Ｙから最も離間した位置にある特徴点である。端点４５ｘ，４５ｙ（または５５ｘ，５５ｙ）は、第１分割画像領域４２Ａ（または第１分割画像領域５２Ａ）において、上記方法により特定されるが、第２分割画像領域４２Ｂ～第４分割画像領域４２Ｄ（または第２分割画像領域５２Ｂ～第４分割画像領域５２Ｄ）のそれぞれにおいても上記方法により各端点が特定される。このように、測定画像領域４５（または５５）は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）において抽出される。各測定画像領域４５（または５５）は、端点４５ｘ（または５５ｘ）を通る辺が境界線Ｙと平行に位置し、端点４５ｙ（または５５ｙ）を通る辺が境界線Ｘと平行に位置する。
　算出部２４は、抽出部２３にて抽出された少なくとも２つの測定画像領域４５（５５）のそれぞれに含まれる複数の画素の全画素値に基づいて画素値の平均値を算出するものである。具体的には、算出部２４は、各測定画像領域４５（５５）内の全画素に基づく画素値の平均値を、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）に対応する測定値（または基準値）として記憶部２５に保存する。
　記憶部２５は、算出部２４により算出された測定値及び基準値を保存するものである。記憶部２５は、顔画像５０に基づいて得られ、測定画像領域５５に含まれる複数の画素の全画素値に基づく画素値の平均値を、第１分割画像領域５２Ａ～第４分割画像領域５２Ｄのそれぞれに対応する基準値として予め保存する。また、記憶部２５は、顔画像４０に基づいて得られ、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに含まれる複数の画素の全画素値に基づく画素値の平均値を、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに対応する測定値として保存する。
　調光部２６は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄを発光させ、調光するものである。調光部２６は、第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのすべてを、予め設定された初期光量で発光させる。調光部２６は、第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのそれぞれを調光する。調光部２６は、例えば、第１ＬＥＤ１１Ａの光量を増やしたり、減らすことができる。調光部２６は、記憶部２５に保存された各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄに対応する基準値、及び、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに対応する測定値に基づいて、各第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄの光量を増やしたり、減らしたりして調光を行う。調光部２６は、記憶部２５から読みだした測定値に対する基準値の差分を閾値と比較する。調光部２６は、測定値に対する基準値の差分が第１閾値以上であると判定した場合、該当する分割画像領域４２が明るすぎると判定し、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに対応する第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄの光量を減らす。また、調光部２６は、測定値に対する基準値の差分が第２閾値以下である場合、該当する分割画像領域４２が暗すぎると判定し、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに対応する第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄの光量を増やす。例えば、調光部２６は、差分と閾値との比較結果に応じて、４つの第１分割画像領域４２Ａ～第４分割画像領域のうち、第１分割画像領域４２Ａに対応する第１ＬＥＤ１１Ａのみを減光したり、増光したりすることができる。
　上述した第１閾値と第２閾値との関係は、第１閾値＞第２閾値となる。測定値に対する基準値の差分がゼロ（０）の場合は、調光が不要となる。つまり、差分が第１閾値と第２閾値との間にある場合、調光部２６による減光及び増光は不要となる。
　次に、検出システム１における光源部１１の調光制御について図５のフローチャートを参照して説明する。
　ステップＳ１では、調光部２６は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのすべてを、予め設定された初期光量で発光させて、各第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄから運転者Ｄの顔Ｆに近赤外光を照射する。
　次に、ステップＳ２では、撮像部１２は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのすべてから運転者Ｄの顔Ｆに照射された近赤外光の反射光を受光して撮像し、撮像した運転者Ｄの顔画像４０を制御部３に出力する。制御部３は、撮像部１２から運転者Ｄの顔画像４０を取得し、当該顔画像４０を顔認識ミドルウェアに入力する。
　次に、ステップＳ３では、抽出部２３は、ステップＳ２で取得された顔画像４０から運転者Ｄの顔Ｆの特徴点６０に基づいて顔画像領域４１を抽出する。
　次に、ステップＳ４では、抽出部２３は、顔画像領域４１を、４つの第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに分割する。
　次に、ステップＳ５では、抽出部２３は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ内の特徴点６０に基づいて測定画像領域４５をそれぞれ抽出する。
　次に、ステップＳ６では、算出部２４は、各測定画像領域４５に含まれる複数の画素の全画素値に基づいて画素値の平均値を算出し、記憶部２５に保存する。
　次に、ステップＳ７では、調光部２６は、記憶部２５から読みだした測定値に対する基準値の差分を閾値と比較する。
　次に、ステップＳ８では、調光部２６は、差分が第１閾値以上か否かを判定する。調光部２６は、差分が第１閾値以上であると判定した場合、ステップＳ９へ進む。一方、差分が第１閾値以上でないと判定した場合、ステップＳ１０へ進む。
　ステップＳ９では、調光部２６は、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄのうち、差分が第１閾値以上の分割画像領域に対応するＬＥＤ（第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのうちの少なくとも１つ）の光量を減らし、本処理を終了する。
　ステップＳ１０では、調光部２６は、差分が第２閾値以下か否かを判定する。調光部２６は、差分が第２閾値以下であると判定した場合、ステップＳ１１へ進む。一方、差分が第２閾値以下でないと判定した場合、本処理を終了する。
　ステップＳ１１では、調光部２６は、第１分割画像領域４２Ａ～第４分割画像領域４２Ｄのうち、差分が第２閾値以下の分割画像領域に対応するＬＥＤ（第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのうちの少なくとも１つ）の光量を増やし、本処理を終了する。
　制御部３は、光源部１１における４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄの調光が終了するまで、上述のステップＳ５からステップＳ１１の処理を繰り返す。制御部３は、調光が不要になると、不要となったタイミングで得られた顔画像４０に基づいて眼の虹彩等の検出を行う。これにより、顔画像領域４１内の輝度値の差分が小さくなるので、顔Ｆの特徴点６０の検出精度の低下を抑制することができる。
　以上説明したように、本実施形態に係る検出システム１は、光源部１１及び撮像部１２を有する撮像ユニット２と、制御部３とを備える。光源部１１は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのそれぞれが車両１００の運転者Ｄの顔Ｆの異なる部分に向けて近赤外光を照射する。撮像部１２は、光源部１１から運転者Ｄの顔Ｆに照射された近赤外光の反射光により顔画像４０，５０を撮像する。制御部３は、撮像された顔画像４０，５０に基づいて運転者Ｄの顔Ｆの特徴点６０及び顔画像領域４１を抽出する。制御部３は、顔画像領域４１を４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄのそれぞれに応じて分割した４つの第１分割画像領域４２Ａ～第４分割画像領域４２Ｄに基づいて各分割画像領域４２に対応するＬＥＤを個別に調光する。
　上記構成により、検出システム１は、例えばサンシェードにより運転者Ｄの顔Ｆの一部に影が生じて暗くなった分割画像領域４２に対応するＬＥＤを明るくしたり、影が生じていない分割画像領域４２に対応する他のＬＥＤを暗くすることができる。この結果、検出システム１は、顔画像４０を顔画像５０に近づけること可能となり、顔画像４０から得られる顔画像領域４１全体の明るさ（輝度）の変化を少なくして、顔Ｆの特徴点６０の検出精度の低下を抑制することができる。検出システム１は、例えば、顔画像領域４１における眼Ｅの虹彩付近が暗い場合には、対応するＬＥＤの光量をあげることで検出精度の低下を抑制することができる。また、検出システム１は、従来の装置構成を変更することなく、光源部１１の調光を行うことが可能となる。また、検出システム１は、近赤外光を照射する光源部１１と、近赤外カメラである撮像部１２とを備えるので、夜間の撮像や運転者Ｄがサングラスをかけている場合でも多くの光量を必要とせず、顔画像４０を取得することができる。また、検出システム１は、例えば、日中において光源部１１を減光することで消費電力を下げて、光源部１１の発熱を抑えることでき、製品寿命を延ばすことができる。
　従来のドライバー監視システムの中には、対象物に照射された近赤外光の反射光を受光する近赤外光センサを利用して、光量を調節するものがある（例えば、特開昭５９－８６９７３号公報）。上記従来技術では、検出精度の低下を抑制するために近赤外光センサを用いることから、部品コストが増加したり、センサの制御回路を追加する必要がある。検出システム１は、近赤外光センサを用いることなく、検出精度の低下を抑制することができるので、製品のコストアップを抑制することができる。
　また、本実施形態に係る検出システム１は、調光部２６が、測定環境下で顔画像４０が撮像される度に、測定値に対する基準値の差分を閾値と比較して、差分が閾値以上である場合、分割画像領域４２に対応するＬＥＤの光量を減らし、差分が閾値未満である場合、分割画像領域４２に対応する発光素子の光量を増やす。これにより、例えば、顔画像領域４１内の眼Ｅの虹彩付近が暗い場合には、対応するＬＥＤの光量をあげたり、明るい場合には、対応するＬＥＤの光量を下げるので、眼の虹彩等の検出精度低下を抑制することができる。
　また、本実施形態に係る検出システム１は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄが、各第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄにより照射される近赤外光の第１照射範囲３１Ａ～第４照射範囲３１Ｄに応じて等分に分割した矩形状の領域である。これにより、顔画像領域４１（または５１）が矩形状である場合、各ＬＥＤと各分割画像領域との位置関係に合わせて顔画像領域４１（または５１）を分割することができ、複数の分割画像領域４２（または５２）と複数のＬＥＤの照射範囲３１との対応が明確になる。
　なお、上記実施形態では、算出部２４は、抽出部２３により抽出された測定画像領域４５（または５５）に基づいて画素値の平均値、及び、画素値の測定値を算出しているが、これに限定されるものではない。例えば、算出部２４は、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）に基づいて画素値の平均値、及び、画素値の測定値を算出する構成であってもよい。これにより、上述した効果を得ることができる。
　また、上記実施形態では、抽出部２３は、顔Ｆの特徴点６０に基づいて顔画像領域４１を抽出しているが、これに限定されず、顔画像領域４１に基づいて顔Ｆの特徴点６０を抽出してもよい。
　また、上記実施形態では、測定画像領域４５（または５５）は、矩形状の領域であるが、これに限定されるものではない。例えば、図１０に示すように、各第１分割画像領域４２Ａ～第４分割画像領域４２Ｄ（または各第１分割画像領域５２Ａ～第４分割画像領域５２Ｄ）内の複数の特徴点６０を結んだ線７０と境界線Ｘ，Ｙにより形成される領域であってもよく、画素値を算出する領域については限定しない。
　また、上記実施形態では、光源部１１は、４つの第１ＬＥＤ１１Ａ～第４ＬＥＤ１１Ｄを有するが、これに限定されるものではない。複数のＬＥＤの配置位置は、撮像部１２の設置位置、各ＬＥＤの照射範囲３１等に応じて定まる。
　また、上記実施形態では、撮像ユニット２は、ステアリングコラムに設置されているが、これに限定されず、インストルメントパネル、ダッシュボード、ルームミラー等に設置されていてもよい。
　また、上記実施形態では、ＣＰＵ２２は、抽出部２３、算出部２４、記憶部２５、及び調光部２６とを備え、これらの機能が１つのＩＣに搭載されている例について説明したが、これに限定されず、上記機能が複数のＩＣに分散して搭載されていてもよい。
　また、上記実施形態では、制御部３は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。制御部３は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、制御部３が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、制御部３が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
　また、上記実施形態では、検出システム１は、自動車等の車両１００に適用されているが、これに限定されず、例えば車両以外の船舶や航空機等に適用してもよい。また、検出システム１は、撮像ユニット２と、制御部３とに分かれているが、これらが一体に構成されていてもよい。
　１　検出システム
　２　撮像ユニット
　３　制御部
　１１　光源部
　１１Ａ　第１ＬＥＤ（発光素子）
　１１Ｂ　第２ＬＥＤ（発光素子）
　１１Ｃ　第３ＬＥＤ（発光素子）
　１１Ｄ　第４ＬＥＤ（発光素子）
　１２　撮像部
　２３　抽出部
　２４　算出部
　２５　記憶部（第１記憶部、第２記憶部）
　２６　調光部
　４０，５０　顔画像
　４１，５１　顔画像領域
　４２，５２　分割画像領域
　４２Ａ，５２Ａ　第１分割画像領域
　４２Ｂ，５２Ｂ　第２分割画像領域
　４２Ｃ，５２Ｃ　第３分割画像領域
　４２Ｄ，５２Ｄ　第４分割画像領域
　４５，５５　測定画像領域
　６０　特徴点
　１００　車両
　Ｄ　運転者
　Ｆ　顔
　Ｅ　眼

Claims (4)

  1. 　複数の発光素子を有し複数の前記発光素子のそれぞれが車両の乗員の顔の異なる部分に向けて近赤外光を照射する光源部と、
    　前記乗員の顔に照射された近赤外光の反射光により顔画像を撮像する撮像部と、
    　前記撮像部により撮像された顔画像から前記乗員の顔の特徴点及び顔画像領域を検出する制御部と、を備え、
    　前記制御部は、
    　前記顔画像領域を複数の前記発光素子のそれぞれに応じて分割した複数の分割画像領域に基づいて各前記分割画像領域に対応する前記発光素子を個別に調光する、
    　ことを特徴とする検出システム。
  2. 　前記制御部は、
    　各前記分割画像領域に含まれる前記特徴点に基づいて、各前記分割画像領域から測定画像領域を抽出する抽出部と、
    　各前記測定画像領域に含まれる複数の画素の全画素値に基づいて画素値の平均値を算出する算出部と、
    　基準となる環境下で撮像された顔画像に基づいて得られ、各前記測定画像領域に含まれる複数の画素の全画素値に基づく画素値の平均値を、各前記分割画像領域に対応する基準値として予め保存する第１記憶部と、
    　測定環境下で撮像された顔画像に基づいて得られ、各前記測定画像領域に含まれる複数の画素の全画素値に基づく画素値の平均値を、各前記分割画像領域に対応する測定値として保存する第２記憶部と、
    　前記測定値に対する前記基準値の差分を閾値と比較して、前記差分が閾値以上である場合、前記分割画像領域に対応する前記発光素子の光量を減らし、前記差分が閾値未満である場合、前記分割画像領域に対応する前記発光素子の光量を増やす調光部と、を有する、
    　請求項１に記載の検出システム。
  3. 　前記制御部は、
    　各前記分割画像領域に含まれる複数の画素の全画素値に基づいて画素値の平均値を算出する算出部と、
    　基準となる環境下で撮像された顔画像に基づいて得られ、各前記分割画像領域に含まれる複数の画素の全画素値に基づく画素値の平均値を、各前記分割画像領域に対応する基準値として予め保存する第１記憶部と、
    　測定環境下で撮像された顔画像に基づいて得られ、各前記分割画像領域に含まれる複数の画素の全画素値に基づく画素値の平均値を、各前記分割画像領域に対応する測定値として保存する第２記憶部と、
    　前記測定値に対する前記基準値の差分を閾値と比較して、前記差分が閾値以上である場合、前記分割画像領域に対応する前記発光素子の光量を減らし、前記差分が閾値未満である場合、前記分割画像領域に対応する前記発光素子の光量を増やす調光部と、有する、
    　請求項１に記載の検出システム。
  4. 　各前記分割画像領域は、
    　各前記発光素子により照射される光の照射範囲に応じて等分に分割した矩形状の領域である、
    　請求項１から３のいずれか１項に記載の検出システム。
    　
PCT/JP2023/011442 2022-04-20 2023-03-23 検出システム WO2023203956A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-069254 2022-04-20
JP2022069254A JP7481392B2 (ja) 2022-04-20 2022-04-20 検出システム

Publications (1)

Publication Number Publication Date
WO2023203956A1 true WO2023203956A1 (ja) 2023-10-26

Family

ID=88419602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011442 WO2023203956A1 (ja) 2022-04-20 2023-03-23 検出システム

Country Status (2)

Country Link
JP (1) JP7481392B2 (ja)
WO (1) WO2023203956A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008002827A (ja) * 2006-06-20 2008-01-10 Honda Motor Co Ltd 乗員検知装置
JP2009116797A (ja) * 2007-11-09 2009-05-28 Aisin Seiki Co Ltd 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP2017188851A (ja) * 2016-04-08 2017-10-12 東芝アルパイン・オートモティブテクノロジー株式会社 車室内用カメラの顔撮影方法および車室内用カメラ
JP2019057797A (ja) * 2017-09-20 2019-04-11 パナソニックＩｐマネジメント株式会社 暗視撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008002827A (ja) * 2006-06-20 2008-01-10 Honda Motor Co Ltd 乗員検知装置
JP2009116797A (ja) * 2007-11-09 2009-05-28 Aisin Seiki Co Ltd 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP2017188851A (ja) * 2016-04-08 2017-10-12 東芝アルパイン・オートモティブテクノロジー株式会社 車室内用カメラの顔撮影方法および車室内用カメラ
JP2019057797A (ja) * 2017-09-20 2019-04-11 パナソニックＩｐマネジメント株式会社 暗視撮像装置

Also Published As

Publication number Publication date
JP2023159530A (ja) 2023-11-01
JP7481392B2 (ja) 2024-05-10

Similar Documents

Publication Publication Date Title
JP6643969B2 (ja) 車両用表示装置
US7916169B2 (en) Face image capture apparatus
US11972597B2 (en) Vehicular driver monitoring system with camera view optimization
EP1683668B1 (en) Variable transmissivity window system
WO2017022172A1 (ja) 車両用表示装置及び表示方法
WO2014054199A1 (ja) 状態監視装置
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
US11938795B2 (en) Vehicular vision system with glare reducing windshield
US11930264B2 (en) Vehicular driver monitoring system with camera view optimization
JP2007216722A (ja) 対象物検出システム、作動装置制御システム、車両
WO2021054222A1 (ja) 表示装置
JP2010176382A (ja) 照明装置、及び当該装置で用いられる照明方法
CN110901531B (zh) 后方显示装置、后方显示方法以及记录介质
JP2020205551A (ja) 撮像制御装置
WO2023203956A1 (ja) 検出システム
JP4950570B2 (ja) 撮像画像を基に照度を測定する車室内観測装置
JP4669445B2 (ja) 乗員検知装置
US20230286441A1 (en) Vehicular overhead console integrated with interior mirror and electronic content
US20190289186A1 (en) Imaging device
US11272086B2 (en) Camera system, vehicle and method for configuring light source of camera system
WO2014061175A1 (ja) 状態監視装置
US10432891B2 (en) Vehicle head-up display system
JP2009096323A (ja) カメラ照明制御装置
JP2021002181A (ja) 検出システム
US20240059220A1 (en) Auto dimming mirror

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23791609

Country of ref document: EP

Kind code of ref document: A1