WO2021024470A1 - モニタリング装置 - Google Patents

モニタリング装置 Download PDF

Info

Publication number
WO2021024470A1
WO2021024470A1 PCT/JP2019/031440 JP2019031440W WO2021024470A1 WO 2021024470 A1 WO2021024470 A1 WO 2021024470A1 JP 2019031440 W JP2019031440 W JP 2019031440W WO 2021024470 A1 WO2021024470 A1 WO 2021024470A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
exposure condition
range
recognition
Prior art date
Application number
PCT/JP2019/031440
Other languages
English (en)
French (fr)
Inventor
慶伸 青木
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to JP2021537530A priority Critical patent/JP7315006B2/ja
Priority to PCT/JP2019/031440 priority patent/WO2021024470A1/ja
Publication of WO2021024470A1 publication Critical patent/WO2021024470A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a monitoring device, particularly a monitoring device for detecting a predetermined organ.
  • a high-pixel image sensor is required as an imaging means in order to detect the face and facial organs to the line of sight with the monitoring device.
  • the processing load in the recognition unit composed of the ECU (Electronic Control Unit) is inevitably heavy in the conventional method.
  • the driver to be monitored is wearing glasses or sunglasses.
  • the area around the eyes is often underexposed due to the influence of glasses, sunglasses, and the like. Then, the S / N ratio of the image around the eyes deteriorates, and eventually, the recognition accuracy and the detection accuracy in the algorithm for eye opening / closing recognition and line-of-sight detection deteriorate.
  • the present disclosure provides a monitoring device having a light processing load for eye opening / closing recognition and line-of-sight detection in the recognition unit (ECU).
  • the present disclosure provides a monitoring device that improves eye opening / closing recognition accuracy and line-of-sight detection accuracy by appropriately controlling exposure conditions.
  • the monitoring device includes a camera and a recognition unit composed of an electronic control unit.
  • the camera cuts out the image sensor, the image compression unit that compresses the image captured by the image sensor at a predetermined compression ratio and outputs the compressed image to the recognition unit, and the image captured by the image sensor within a predetermined cropping range. Includes an image cropping section that outputs the cropped image to the recognition section.
  • the recognition unit includes a face detection unit that detects the face frame including the facial organs from the compressed image output by the image compression unit, and a facial organ detection unit that detects the facial organs from the face frame data output by the face detection unit.
  • It also includes an eye image cutout range determining unit that determines a range to be cut out as an image including eyes from the data on the facial organs output by the facial organ detecting unit.
  • the predetermined cutout range cut out by the image cutout range determination unit is a range cut out as an image including the eyes determined by the eye image cutout range determination unit.
  • the monitoring device By using the monitoring device according to the present disclosure, it is possible to reduce the processing load for eye opening / closing recognition and line-of-sight detection in the recognition unit (ECU).
  • the monitoring device for example, even when the target driver wears glasses or sunglasses, the eye opening / closing recognition accuracy and the line-of-sight detection accuracy do not deteriorate.
  • FIG. It is a block diagram which shows the structure of the monitoring apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the processing sequence in a camera and a recognition part included in the monitoring apparatus which concerns on Embodiment 1.
  • FIG. The figure for demonstrating the face frame detected by the face detection part and the eye image cutout range determined by the eye image cutout range determination part in the recognition part included in the monitoring apparatus which concerns on Embodiment 1. Is.
  • FIG. It is a block diagram which shows the structure of the monitoring apparatus which concerns on Embodiment 2.
  • FIG. FIG. FIG.
  • FIG. 6A shows a face frame determined by the face detection unit and an eye image cutout range determined by the eye image cutout range determination unit in the recognition unit included in the monitoring device according to the first embodiment. Is a diagram for explaining.
  • FIG. 6B is a luminance value histogram in the face frame in FIG. 6A.
  • FIG. 6 (c) is a luminance value histogram within the eye image cropping range in FIG. 6 (a).
  • exposure by a camera exposure by a camera, image data transfer from a camera to a recognition unit, recognition of image data by the recognition unit, determination of exposure conditions and cutting range by the recognition unit, and It is a figure which shows a plurality of cycles which consisted of setting to a camera. It is a figure which shows the mounting form of the monitoring device including a camera and a recognition part (ECU) in a vehicle (automobile).
  • ECU recognition part
  • FIG. 8 is a diagram showing an application example of the monitoring device 1 according to the present disclosure.
  • the monitoring device 1 according to the present disclosure is mounted on, for example, a vehicle (automobile) and includes a camera 2 and a recognition unit 4.
  • the camera 2 includes a high pixel image sensor and a predetermined electronic circuit.
  • the camera 2 of the monitoring device 1 shown in FIG. 8 is provided in the vicinity of the steering wheel in the automobile, and constantly captures the facial expression of the driver.
  • the camera 2 may be provided near the meter panel or near the center console.
  • the recognition unit 4 is composed of an ECU (Electronic Control Unit: electronic control unit). For example, the recognition unit 4 detects the driver's face frame and facial organs from an image captured by a high-pixel image sensor, and is used for an image, which will be described later. The exposure condition of the image and the cutout range in the image are determined, the driver's eye opening / closing is recognized and the line of sight is detected in real time, and the detection result and the recognition result are output.
  • ECU Electronic Control Unit: electronic control unit
  • the monitoring device can reduce the processing load for eye opening / closing recognition and line-of-sight detection in the recognition unit. Further, the monitoring device according to the present disclosure can accurately perform eye opening / closing recognition and line-of-sight detection even when the driver wears glasses or sunglasses.
  • FIG. 1 is a block diagram showing a configuration of a monitoring device 1 according to the present embodiment.
  • the monitoring device 1 includes a camera 2 and a recognition unit (ECU) 4.
  • ECU recognition unit
  • the camera 2 includes a high-pixel image sensor 3, an image compression unit 6 that compresses an image captured by the image sensor 3 at a predetermined compression ratio, and an image captured by the image sensor 3 in the recognition unit 4. It includes an image cutting unit 8 that cuts out in the cutting range determined by the eye image cutting range determining unit 14 (described later).
  • the image sensor 3 may be, for example, an infrared sensor.
  • the predetermined compression ratio in the image compression unit 6 is preferably 1/4, for example, and at this time, a binning process is performed in which 2 ⁇ 2 pixels are compressed into one pixel. That is, the image compression unit 6 compresses the original image of 960 pixels in the vertical direction and 1280 pixels in the horizontal direction into an image of 480 pixels in the vertical direction and 640 pixels in the horizontal direction.
  • the predetermined compression ratio may be another numerical value, for example, 1/9 or 1/16.
  • the image compression unit 6 calculates, for example, the average value of 4 pixels in 2 ⁇ 2 pixels and outputs it as 1 pixel.
  • the method of compression may be another method.
  • the image compression unit 6 converts the (a) original image (length 960 pixels x width 1280 pixels) captured by the image sensor 3 into an image (b) length 480 pixels x width 640 pixels. ,Compress.
  • the cropping range of the image cropping section 8 is, for example, a range of 1/4 of all the pixels in the image captured by the image sensor 3. That is, it is desirable that the image cutting unit 8 cuts out an image in the range of 480 pixels in the vertical direction and 640 pixels in the horizontal direction from the original image of 960 pixels in the vertical direction and 1280 pixels in the horizontal direction.
  • the cropping range may be a narrower range, for example, 1/9 of the original image. If the cropping range is relatively large, the cropped image will surely include the image of the eye and the area around the eye. If the cutting range is relatively small, the processing load on the recognition unit 4 will be reduced.
  • the image cutting unit 8 has a range of (a) an original image (960 pixels in length ⁇ 1280 pixels in width) taken by the image sensor 3 to (c) 480 pixels in length ⁇ 640 pixels in width. Cut out the image.
  • the recognition unit 4 includes a face detection unit 10, a face organ detection unit 12, an eye image cutout range determination unit 14, an eye opening / closing recognition and line-of-sight detection unit 16, and a recognition result output unit 18.
  • the face detection unit 10 detects a face frame including facial organs from the compressed image output by the image compression unit 6.
  • the face organ detection unit 12 detects facial organs from the face frame data output by the face detection unit 10. By providing the face detection unit 10 and the face organ detection unit 12, the image of the eye itself is surely included in the cutout range determined by the eye image cutout range determination unit 14 described later. Further, the detection result of the facial organ is also transferred to the recognition result output unit 18.
  • the face detection unit 10 and the face organ detection unit 12 may be combined as one part.
  • the rectangular frame with a long broken line in the face image of FIG. 3 shows an example of the face frame F detected by the face detection unit 10.
  • the eye image cutout range determination unit 14 determines the range to be cut out as an image including the eyes from the data on the facial organs output by the facial organ detection unit 12.
  • the cutout range is an image of the eye itself and its surroundings, and is, for example, a range of 1/4 of all the pixels in the image captured by the image sensor 3.
  • the cropping range may be a narrower range or a range of 1/9 of the original image.
  • the rectangular frame by the dotted line in the face image of FIG. 3 shows an example of the cutout range E determined by the eye image cutout range determination unit 14.
  • the eye opening / closing recognition and line-of-sight detection unit 16 inputs the cut-out image output by the image cutting-out unit 8, recognizes the opening / closing state of the eyes in the cut-out image, and detects the line-of-sight direction if it recognizes that the eyes are open. To do.
  • the recognition result of opening and closing the eyes and the detection result of the line of sight are transferred to the recognition result output unit 18.
  • the recognition result output unit 18 outputs the detection result of the facial organs output by the facial organ detection unit 12, and the eye opening / closing recognition and the eye opening / closing recognition result and the line of sight in the cutout image output by the eye opening / closing recognition and eye line detection unit 16 together with the detection result.
  • the detection result of is output to, for example, an external device.
  • the recognition result output unit 18 outputs only the eye opening / closing recognition result and the line-of-sight detection result in the cut-out image, which are output by the eye opening / closing recognition and the line-of-sight detection unit 16, to, for example, an external device.
  • the external device is, for example, a warning device for the driver, and the warning device here determines, for example, whether or not the driver keeps his eyes closed (that is, whether or not he is asleep, for example). And notify the driver of a warning sound if necessary.
  • FIG. 2 is a diagram showing a processing sequence between the camera and the recognition unit included in the monitoring device according to the first embodiment.
  • steps S02 to S22 are shown, but in actual operation, steps S02 to S22 are repeated. For example, when the camera captures images at 60 fps (frames / second), steps S02 to S22 are repeated 30 times per second.
  • the image sensor 3 of the camera 2 captures the driver's face image (step S02).
  • the image compression unit 6 of the camera 2 compresses the face image captured by the image sensor 3 at a predetermined compression ratio (for example, 1/4) (step S04) (see FIGS. 4 (a) and 4 (b)). ..
  • the compressed image is transferred from the camera 2 to the recognition unit 4.
  • the face detection unit 10 detects the face frame including the main organs of the face from the compressed image (step S07), and the face organ detection unit 12 detects the facial organs from the data of the face frame (step S08) (FIG. See 3.).
  • the eye image cutout range determination unit 14 determines the cutout range to be cut out as an image including the eyes from the data related to the facial organs (step S10).
  • the cutout range is transferred from the recognition unit 4 to the camera 2 (step S14). At this time, the next shooting (step S12) of the driver's face image by the image sensor 3 of the camera 2 may be completed.
  • the image cutting unit 8 of the camera 2 cuts out the next face image taken by the image sensor 3 within the cutting range (step S16) (see FIGS. 4 (a) and 4 (c)).
  • the cut-out image is transferred from the camera 2 to the recognition unit 4 (step S18).
  • the eye opening / closing recognition and line-of-sight detection unit 16 recognizes the opening / closing state of the eyes in the cut-out image, and if it recognizes that the eyes are open, detects the line-of-sight direction (step S20).
  • the recognition result output unit 18 outputs the detection result of the facial organs output by the face organ detection unit 12, and the eye opening / closing recognition and the eye opening / closing recognition result and the line of sight in the cutout image output by the eye opening / closing detection unit 16 together with the detection result.
  • the detection result of is output to the outside.
  • the recognition result output unit 18 may output only the eye opening / closing recognition result and the line-of-sight detection result in the cut-out image, which are output by the eye opening / closing recognition and the line-of-sight detection unit 16 (step S22).
  • the recognition unit 4 and the camera 2 repeat steps S02 to S22. Since each of the imaging (step S02 and step S12) is executed at, for example, 60 fps, steps S02 to S22 are repeated, for example, 30 times per second. The cycle of repetition may be longer or shorter.
  • the monitoring device 1 includes a camera 2 and a recognition unit 4 composed of an electronic control unit.
  • the camera 2 determines the image sensor 3, the image compression unit 6 that compresses the image captured by the image sensor 3 at a predetermined compression ratio and outputs the compressed image to the recognition unit 4, and the image captured by the image sensor 3.
  • the recognition unit 4 includes a face detection unit 10 that detects a face frame including a face organ from a compressed image output by the image compression unit 6, and a face organ that detects a face organ from the face frame data output by the face detection unit 10.
  • the predetermined cutting range cut out by the image cutting unit 8 is a range cut out as an image including the eyes determined by the eye image cutting range determining unit 14.
  • the amount of image data sent from the camera 2 to the recognition unit 4 is, for example, 1/4 or less of the original image captured by the camera 2. Since the recognition unit 4 once recognizes the opening and closing of the eyes and detects the line of sight based on the two images, the compressed image and the cut-out image from the camera 2, the amount of data required for the recognition of the opening and closing of the eyes and the detection of the line of sight. Will be half that of the prior art, for example. That is, the capacity of the RAM for the recognition unit 4 to temporarily hold the data of the camera 2 is, for example, 1/4 or less of the conventional one, and further, it is necessary for recognizing the opening and closing of the eyes and detecting the line of sight. The amount of data is, for example, 1/4 or less. Therefore, the processing load for eye opening / closing recognition and line-of-sight detection in the recognition unit 4 is greatly reduced.
  • the monitoring device according to the second embodiment is substantially the same as the monitoring device according to the first embodiment described above, and the difference between the two will be mainly described.
  • FIG. 5 is a block diagram showing a configuration of the monitoring device 1 according to the present embodiment.
  • the monitoring device 1 includes a camera 2 and a recognition unit (ECU) 4. Similar to the first embodiment, the camera 2 includes an image sensor 3, an image compression unit 6, and an image cropping unit 8. Similar to the first embodiment, the recognition unit 4 includes a face detection unit 10, a face organ detection unit 12, an eye opening / closing recognition and line-of-sight detection unit 16, and a recognition result output unit 18.
  • the camera 2 includes an image sensor 3, an image compression unit 6, and an image cropping unit 8.
  • the recognition unit 4 includes a face detection unit 10, a face organ detection unit 12, an eye opening / closing recognition and line-of-sight detection unit 16, and a recognition result output unit 18.
  • the recognition unit 4 of the monitoring device 1 includes a face image exposure condition determination unit 11 and an eye image cutout range and an exposure condition determination unit 15.
  • the eye image cutout range and exposure condition determination unit 15 are provided in place of the eye image cutout range determination unit 14 in the recognition unit 4 of the monitoring device 1 according to the first embodiment.
  • the face image exposure condition determination unit 11 takes a picture with the image sensor 3 for the original image of the compressed image of the next and subsequent times (frame) based on the brightness distribution in the image data of the face frame output by the face detection unit 10. Determine the exposure conditions of.
  • the reason why the face image exposure condition determination unit 11 determines the exposure condition for shooting the original image of the compressed image "from the next time onward" is "exposure-> image transfer-> image recognition-> exposure condition" for the compressed image. This is because the updated exposure condition can be reflected after at least one cycle of "determination-> setting update", and for example, a time for a plurality of frames at 60 fps may be required for the at least one cycle.
  • the operation of the cycle of "exposure-> image transfer-> image recognition-> exposure condition determination-> setting update" for the compressed image will be described in detail later with reference to FIG. 7.
  • the face image exposure condition determination unit 11 determines the exposure condition for shooting for the original image of the compressed image from the luminance distribution in the image data of the face frame will be described later using FIG. explain.
  • the eye image cutout range and the exposure condition determination unit 15 determine the range to be cut out as an image including the eyes from the data on the facial organs output by the facial organ detection unit 12. Further, the eye image cropping range and the exposure condition determination unit 15 determines the cropped image as an image including the eyes in the next and subsequent times (frames) based on the brightness distribution in the image data of the cropping range as the image including the eyes. The exposure condition of the image sensor 3 for the original image is determined. The reason why the eye image cutout range and the exposure condition determination unit 15 determine the exposure conditions for shooting for the original image of the cutout image "after the next time" is that the face image exposure condition determination unit 11 described above determines the "next time".
  • the eye image cropping range and the exposure condition determination unit 15 determines the exposure condition for shooting for the original image of the cropped image from the luminance distribution in the image data of the cropping range as the image including the eyes. Will be described later with reference to FIG.
  • the image sensor 3 alternately performs imaging under the exposure conditions determined by the face image exposure condition determining unit 11 and imaging under the exposure conditions determined by the eye image cutting range and the exposure condition determining unit 15.
  • the image taken under the exposure condition determined by the face image exposure condition determination unit 11 is converted into a compressed image via the image compression unit 6 and transferred to the recognition unit 4.
  • the image taken under the exposure conditions determined by the eye image cutting range and the exposure condition determination unit 15 is converted into a cutout image through the image cutting unit 8 and transferred to the recognition unit 4.
  • FIG. 6A The rectangular frame with a long broken line in the face image of FIG. 6A shows an example of the face frame F detected by the face detection unit 10, and the rectangular frame with a dotted line in the face image of FIG. 6A also shows an example.
  • An example of the cutout range E determined by the eye image cutout range and the exposure condition determination unit 15 is shown.
  • FIG. 6B is a luminance value histogram in the face frame F, where the horizontal axis shows the luminance value (0-255) and the vertical axis shows the number of pixels of each luminance value.
  • the face image exposure condition determination unit 11 determines the exposure condition so that the feature amount in all or a part of the brightness value histogram of the image data of the face frame satisfies a predetermined magnitude relationship with one or a plurality of predetermined threshold values. To control and determine. The determination of the exposure condition of the face image will be described below with an example.
  • the face image exposure condition determining unit 11 removes a predetermined ratio of pixels from the one having the highest luminance value. For example, in the luminance value histogram of FIG. 6B, the face image exposure condition determination unit 11 particularly removes pixels in at least ⁇ .
  • the face image exposure condition determination unit 11 controls the exposure condition so that if the median value of the residual brightness value histogram is larger than the threshold value 1 set on the higher side, it becomes darker, and it is smaller than the threshold value 2 set on the lower side.
  • the exposure condition is controlled so that it becomes brighter.
  • the face image exposure condition determination unit 11 may control the exposure condition by using the average value or the mode value of the residual histogram as the feature amount instead of the median value of the residual brightness value histogram. ..
  • the face image exposure condition determination unit 11 transfers the determined exposure condition to the camera 2.
  • the camera 2 updates the setting of the transferred exposure condition as an exposure condition for capturing the original image of the compressed image including the face image.
  • FIG. 6C is a luminance value histogram in the eye image cutout range E, where the horizontal axis shows the luminance value (0-255) and the vertical axis shows the number of pixels of each luminance value.
  • the eye image cutout range and the exposure condition determination unit also have a predetermined feature amount in all or part of the brightness value histogram of the image data of the eye image cutout range including the eye image, with one or a plurality of predetermined threshold values.
  • the exposure conditions are controlled and determined so as to satisfy the magnitude relationship. The determination of the exposure condition of the eye image will also be described below with an example.
  • the eye image cropping range and the exposure condition determination unit 15 removes a predetermined ratio of pixels from the one with the highest luminance value in order to eliminate the influence of bright spots in particular. For example, in the luminance value histogram of FIG. 6C, the eye image cropping range and the exposure condition determination unit 15 particularly remove the pixels in at least the ⁇ portion.
  • the eye image cropping range and the exposure condition determination unit 15 control the exposure condition so that if the median value of the residual luminance value histogram is larger than the threshold value 3 set to be higher, the exposure condition is controlled so that the threshold value is set to the lower one.
  • the exposure condition is controlled so that the image becomes brighter if it is smaller than 4.
  • the eye image cutout range and the exposure condition determination unit 15 control the exposure condition by using the average value or the mode value of the residual histogram as the feature amount instead of the median value of the residual brightness value histogram. You may.
  • the eye image cutout range and the exposure condition determination unit 15 transfer the determined exposure condition to the camera 2.
  • the camera 2 updates the setting of the transferred exposure condition as an exposure condition for capturing the original image in the eye image cropping range.
  • FIG. 7 shows the exposure by the camera 2, the image data transfer from the camera 2 to the recognition unit 4, the recognition of the image data by the recognition unit 4, and the recognition unit 4 in the monitoring device according to the present embodiment. It is a figure which shows a plurality of cycles including the determination of the exposure condition and the cut-out range, the setting to the camera 2, and the setting of.
  • the first column shows that frames are continuously photographed by exposure (exposure) at 60 fps (period 16.7 ms).
  • (B0), (b1), (b2), (b3), (b4) ... Indicates an image connected to the compressed image.
  • (b1) "exposure” indicates the occurrence of exposure for the image (b1) in camera 2.
  • (C0), (c1), (c2), (c3), (c4) ... Indicates an image connected to the cropped image.
  • (c1) "exposure” indicates the occurrence of exposure for the image (c1) in camera 2.
  • the image connected to the compressed image ((b0), (b1), (b2), (b3), (b4) ...) and the image connected to the cutout image ((c0), ( c1), (c2), (c3), (c4)) are alternately photographed (see FIGS. 4B and 4c).
  • the second column shows that the captured image data is transferred from the camera 2 to the recognition unit 4.
  • (b1) "recognition start” indicates that the recognition unit 4 starts recognizing the compressed image of the image (b1).
  • the face detection unit 10 detects the face frame data with respect to the compressed image of the image (b1), and the face image exposure condition determination unit 11 is for an image connected to the compressed image based on the face image of the face frame. , Determine the exposure conditions.
  • the determined exposure condition (b1) is not in time for the exposure setting for the image (b2) leading to the next compressed image. That is, the determined exposure condition (b1) is not in time for the setting for (b2) "exposure”. Therefore, the determined exposure condition (b1) is set for the next and subsequent exposures for the image (b3) connected to the compressed image.
  • (B1) The long dashed line from "exposure setting" to (b3) indicates the setting.
  • the facial organ detection unit 12 detects the facial organ data with respect to the compressed image of the image (b1), and the eye image cutting range and the exposure condition determining unit 15 cut out based on the data related to the facial organ.
  • the exposure conditions for the image connected to the image and the cropping range of the cropped image are determined.
  • the determined exposure condition and cropping range (b1) are not in time for setting the exposure for the image (c1) connected to the next cropped image and setting the cropping range for the next cropped image. That is, the determined exposure condition and cutout range (b1) are not in time for the settings for (c1) "exposure” and (c1) "data transfer”.
  • the determined exposure condition and cropping range (b1) are set for the exposure for the image (c2) connected to the cropped image in the next and subsequent times, and the cropped image (c2) in the subsequent times.
  • Set for the cutout range for. (B1) The dotted line from “range specification” and “exposure setting” to (c2) indicates those settings.
  • the exposure condition (b0) determined based on the compressed image of the image (b0) is set for the next and subsequent exposures for the image (b2) connected to the compressed image.
  • the exposure condition and the cropping range (b0) determined based on the compressed image of the image (b0) are set for the next and subsequent exposures for the image (c1) connected to the cropped image, and from the next time onward. It is set for the cutout range for the cutout image (c1) of the times.
  • the exposure condition (b2) determined based on the compressed image of the image (b2) is set for the next and subsequent exposures for the image (b4) connected to the compressed image.
  • the exposure condition and the cropping range (b2) determined based on the compressed image of the image (b2) are set for the next and subsequent exposures for the image (c3) connected to the cropped image, and from the next time onward. It is set for the cutout range for the cutout image (c3) of the times.
  • the eye opening / closing recognition and the line-of-sight detection unit 16 recognize the opening / closing state of the eyes in the cut-out image, and detect and recognize the line-of-sight direction.
  • the result output unit 18 outputs the detection result of the facial organ, the recognition result of opening and closing of the eyes, and the detection result of the line of sight to the outside.
  • FIG. 7 is a diagram showing an operation cycle of the monitoring device 1 in a shooting period of about 8 frames, the operation cycle shown in FIG. 7 is actually repeated many times.
  • the monitoring device 1 includes a camera 2 and a recognition unit 4 composed of an electronic control unit.
  • the camera 2 determines the image sensor 3, the image compression unit 6 that compresses the image captured by the image sensor 3 at a predetermined compression ratio and outputs the compressed image to the recognition unit 4, and the image captured by the image sensor 3.
  • the recognition unit 4 is based on the face detection unit 10 that detects the face frame including the facial organs from the compressed image output by the image compression unit 6 and the brightness distribution in the image data of the face frame output by the face detection unit 10.
  • a face that detects facial organs from face image exposure condition determination unit 11 that determines the first exposure condition of shooting by the image sensor 3 for the original image of the compressed image and face frame data output by the face detection unit 10. From the data related to the organ detection unit 12 and the facial organs output by the face organ detection unit 12, the range to be cut out as an image including eyes is determined, and further, the brightness in the image data of the cutout range as an image including eyes. It includes an eye image cropping range and an exposure condition determining unit 15 that determine a second exposure condition for shooting by the image sensor 3 for the original image of the cropped image as an image including eyes based on the distribution.
  • the predetermined cutout range cut out by the image cutting unit 8 is a range cut out as an image including the eye image cutting range and the eyes determined by the exposure condition determining unit 15.
  • the image sensor 3 alternately performs imaging under the first exposure condition determined by the face image exposure condition determining unit 11 and imaging under the second exposure condition determined by the eye image cutting range and the exposure condition determining unit 15. ..
  • the amount of image data sent from the camera 2 to the recognition unit 4 is, for example, 1/4 or less of the original image captured by the camera 2. Since the recognition unit 4 once recognizes the opening and closing of the eyes and detects the line of sight based on the two images, the compressed image and the cut-out image from the camera 2, the amount of data required for the recognition of the opening and closing of the eyes and the detection of the line of sight. Will be half that of the prior art, for example. That is, the capacity of the RAM for the recognition unit 4 to temporarily hold the data of the camera 2 is, for example, 1/4 or less of the conventional one, and further, it is necessary for recognizing the opening and closing of the eyes and detecting the line of sight. The amount of data is, for example, 1/4 or less. Therefore, the processing load for eye opening / closing recognition and line-of-sight detection in the recognition unit 4 is greatly reduced.
  • the exposure conditions are appropriately controlled based on the brightness value histogram in the image data of the face frame, the brightness value histogram in the image data around the eyes, and the like. Even when wearing sunglasses, the eye opening / closing recognition accuracy and the line-of-sight detection accuracy do not deteriorate.
  • Embodiments 1 and 2 have been described as examples of the techniques disclosed in this application. However, the technique in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, etc. are made as appropriate.
  • the monitoring device 1 monitors the driver of the automobile.
  • the monitoring device 1 can also be applied to other applications. For example, it can be applied to a device that monitors whether factory workers are working intensively and efficiently. Further, it can be applied to a device that detects a specific person after installing a camera in a station, a plaza, or the like, and detects a detailed operation of the person.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本開示に係るモニタリング装置は、カメラと、及び、ＥＣＵで構成される認識部とを備える。カメラは、イメージセンサと、イメージセンサが撮影した画像を所定の圧縮比で圧縮し圧縮画像を認識部に出力する画像圧縮部と、及び、イメージセンサが撮影した画像を所定の切り出し範囲で切り出した切り出し画像を認識部に出力する画像切り出し部とを含む。認識部は、画像圧縮部が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部と、顔検出部が出力する顔枠データから顔の器官を検出する顔器官検出部と、及び、顔器官検出部が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する目画像切り出し範囲決定部とを含む。画像切り出し範囲決定部が切り出す所定の切り出し範囲は、目画像切り出し範囲決定部が決定する目を含む画像として切り出す範囲である。

Description

モニタリング装置
　　本開示は、モニタリング装置、特に、所定の器官を検出するためのモニタリング装置に関する。
　従来、車両内のドライバの顔を撮影し、ドライバの目等の顔器官の位置をその撮影画像中で特定するモニタリング装置の技術が知られている。また、顔器官の位置に基づいて、ドライバの居眠り運転や脇見運転等を検出するためにドライバの目の開閉、視線等の目に関する動作状態をリアルタイムで検出して、ドライバへの注意喚起に繋げる技術が知られている（例えば、特許文献１参照）。
特開２００５－１８６５６号公報
　モニタリング装置により顔及び顔器官の検出から視線の検出までを行うには、撮影手段として高画素のイメージセンサが必要である。しかしながら、高画素のイメージセンサを用いるがゆえに、従来の手法ではＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ：電子制御ユニット）で構成される認識部における処理負荷がどうしても重くなってしまう。
　また、モニタリングの対象ドライバが、眼鏡やサングラスを掛けている場合を想定する。この場合に、イメージセンサが撮影する顔の全体に対して適正露出となるような画像では、目周辺に関しては眼鏡やサングラスなどの影響によりアンダー露出となることが多い。そうすると、目周辺の画像のＳ／Ｎ比が悪くなり、結局、目開閉認識及び視線検出のためのアルゴリズムにおける、認識精度及び検出精度が低下してしまう。
　以上の問題点を踏まえて、本開示は、認識部（ＥＣＵ）における目開閉認識及び視線検出のための処理負荷が軽いモニタリング装置を提供する。
　更に、本開示は、露出条件を適宜制御することにより、目開閉認識精度及び視線検出精度を向上させるモニタリング装置を提供する。
　本開示に係るモニタリング装置は、カメラと、及び、電子制御ユニットで構成される認識部とを備える。カメラは、イメージセンサと、イメージセンサが撮影した画像を所定の圧縮比で圧縮し圧縮画像を認識部に出力する画像圧縮部と、及び、イメージセンサが撮影した画像を所定の切り出し範囲で切り出した切り出し画像を認識部に出力する画像切り出し部とを含む。認識部は、画像圧縮部が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部と、顔検出部が出力する顔枠データから顔の器官を検出する顔器官検出部と、及び、顔器官検出部が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する目画像切り出し範囲決定部とを含む。画像切り出し範囲決定部が切り出す所定の切り出し範囲は、目画像切り出し範囲決定部が決定する目を含む画像として切り出す範囲である。
　本開示に係るモニタリング装置を利用することにより、認識部（ＥＣＵ）における目開閉認識及び視線検出のための処理負荷を軽くすることができる。
　更に、本開示に係るモニタリング装置を利用することにより、例えば、対象ドライバが眼鏡やサングラスを掛けている場合であっても、目開閉認識精度及び視線検出精度が低下することがない。
実施の形態１に係るモニタリング装置の構成を示すブロック図である。 実施の形態１に係るモニタリング装置に含まれる、カメラと認識部とにおける処理シーケンスを示す図である。 実施の形態１に係るモニタリング装置に含まれる認識部における、顔検出部により検出される顔枠と、及び、目画像切り出し範囲決定部により決定される目画像切り出し範囲とを、説明するための図である。 実施の形態１に係るモニタリング装置に含まれるカメラが、認識部に対して出力する画像である、圧縮画像と切り出し画像を説明するための図である。 実施の形態２に係るモニタリング装置の構成を示すブロック図である。 図６（ａ）は、実施の形態１に係るモニタリング装置に含まれる認識部における、顔検出部により決定される顔枠と、及び、目画像切り出し範囲決定部により決定される目画像切り出し範囲とを、説明するための図である。図６（ｂ）は、図６（ａ）における顔枠内の輝度値ヒストグラムである。図６（ｃ）は、図６（ａ）における目画像切り出し範囲内の輝度値ヒストグラムである。 実施の形態２に係るモニタリング装置における、カメラでの露光と、カメラから認識部への画像データ転送と、認識部による画像データの認識と、並びに、認識部での露出条件及び切り出し範囲の決定並びにカメラへの設定と、からなるサイクルを、複数示す図である。 カメラと認識部（ＥＣＵ）とを含むモニタリング装置の車両（自動車）への搭載形態を示す図である。
　以下、適宜図面を参照しながら、本発明に係る実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（適用例）
　本開示に係るモニタリング装置が適用可能な例について、図８を用いて説明する。図８は、本開示に係るモニタリング装置１の適用例を示す図である。図８に示すように、本開示に係るモニタリング装置１は、例えば車両（自動車）に搭載され、カメラ２と、認識部４とを含む。
　カメラ２は、高画素のイメージセンサや所定の電子回路を含む。図８に示すモニタリング装置１のカメラ２は、自動車内のステアリングホイールの近辺に設けられて、ドライバの表情を常時撮影している。カメラ２は、メータパネルの近辺やセンターコンソールの近辺に設けられてもよい。
　認識部４は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ：電子制御ユニット）で構成され、例えば、高画素のイメージセンサが撮影する画像からドライバの顔枠や顔器官を検出し、後で説明する、画像のための露出条件や画像における切り出し範囲を決定し、ドライバの目開閉の認識や視線の検出をリアルタイムで行い、検出結果及び認識結果を出力する。
　本開示に係るモニタリング装置は、認識部における目開閉認識及び視線検出のための処理負荷を軽くすることができる。更に、本開示に係るモニタリング装置は、ドライバが眼鏡やサングラスを掛けている場合も、精度よく目開閉認識及び視線検出を行うことができる。
（構成例）
　以下、モニタリング装置１の構成例としての実施の形態を説明する。
（実施の形態１）
（１．１．構成）
　実施の形態１に係るモニタリング装置１の構成について、図１を用いて説明する。図１は、本実施の形態に係るモニタリング装置１の構成を示すブロック図である。
　図１に示すように、本実施の形態に係るモニタリング装置１は、カメラ２と、認識部（ＥＣＵ）４とを含む。
　カメラ２は、高画素のイメージセンサ３と、イメージセンサ３が撮影した画像を所定の圧縮比で圧縮する画像圧縮部６と、及び、イメージセンサ３が撮影した画像を、認識部４に含まれる（後で説明する）目画像切り出し範囲決定部１４により決定される切り出し範囲で切り出す、画像切り出し部８とを含む。イメージセンサ３は、例えば赤外線センサであってもよい。
　画像圧縮部６における所定の圧縮比は、例えば、１／４であることが望ましく、このとき、２×２画素が１画素に圧縮されるビニング処理が行われる。つまり、画像圧縮部６は、縦９６０画素×横１２８０画素の元画像を、縦４８０画素×横６４０画素の画像に、圧縮する。勿論、所定の圧縮比は他の数値でもよく、例えば、１／９や１／１６等でもよい。画像圧縮部６は、例えば、２×２画素において４画素の平均値を算出して、１画素として出力する。圧縮の方法は、他のものであってもよい。
　例えば、図４に示すように、画像圧縮部６は、イメージセンサ３が撮影した（ａ）元画像（縦９６０画素×横１２８０画素）を、（ｂ）縦４８０画素×横６４０画素の画像に、圧縮する。
　画像切り出し部８における切り出し範囲は、後でも示すように、例えば、イメージセンサ３が撮影する画像における全画素の１／４の範囲であることが望ましい。つまり、画像切り出し部８は、縦９６０画素×横１２８０画素の元画像から、縦４８０画素×横６４０画素の範囲の画像を切り出すことが望ましい。勿論、切り出し範囲は、より狭い範囲でもよく、例えば、元画像の１／９の範囲でもよい。切り出し範囲が比較的大きければ、切り出し画像に目及び目の周辺の画像が確実に含まれることになる。切り出し範囲が比較的小さければ、認識部４における処理負荷が軽減されることになる。
　例えば、図４に示すように、画像切り出し部８は、イメージセンサ３が撮影した（ａ）元画像（縦９６０画素×横１２８０画素）から、（ｃ）縦４８０画素×横６４０画素の範囲の画像を切り出す。
　認識部４は、顔検出部１０と、顔器官検出部１２と、目画像切り出し範囲決定部１４と、目開閉認識及び視線検出部１６と、及び、認識結果出力部１８とを含む。顔検出部１０は、画像圧縮部６が出力する圧縮画像から顔の器官を含む顔枠を検出する。顔器官検出部１２は、顔検出部１０が出力する顔枠データから顔の器官を検出する。顔検出部１０と顔器官検出部１２とを設けることにより、後で説明する目画像切り出し範囲決定部１４が決定する切り出し範囲に、確実に目そのものの画像が含まれることになる。また、顔の器官の検出結果は、認識結果出力部１８にも転送される。なお、顔検出部１０と顔器官検出部１２とは、一つの部位として纏められてもよい。
　図３の顔画像における長破線による矩形の枠は、顔検出部１０により検出される顔枠Ｆの例を示している。
　目画像切り出し範囲決定部１４は、顔器官検出部１２が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する。切り出し範囲は、目そのものとその周囲の画像であり、イメージセンサ３が撮影する画像における全画素の、例えば、１／４の範囲である。前述のように、切り出し範囲はより狭い範囲でもよく、元画像の１／９の範囲でもよい。
　図３の顔画像における点線による矩形の枠は、目画像切り出し範囲決定部１４により決定される切り出し範囲Ｅの例を示している。
　目開閉認識及び視線検出部１６は、画像切り出し部８が出力する切り出し画像を入力して、切り出し画像内の目の開閉具合を認識し、目が開いていると認識すればその視線方向を検出する。目開閉の認識結果及び視線の検出結果は、認識結果出力部１８に転送される。
　認識結果出力部１８は、顔器官検出部１２が出力する顔の器官の検出結果と、それと併せて、目開閉認識及び視線検出部１６が出力する、切り出し画像内の目開閉の認識結果及び視線の検出結果とを、例えば、外部の機器に出力する。或いは、認識結果出力部１８は、目開閉認識及び視線検出部１６が出力する、切り出し画像内の目開閉の認識結果及び視線の検出結果のみを、例えば、外部の機器に出力する。外部の機器は、例えば、ドライバへの警告装置であり、ここでの警告装置は、例えば、ドライバが目を閉じ続けているか否か（即ち、例えば、居眠りしているか否か）等を判断して、必要に応じてドライバに警告音を通告する。
（１．２．動作）
　以上のように構成される本実施の形態に係るモニタリング装置１の動作について図２を用いて説明する。図２は、実施の形態１に係るモニタリング装置に含まれる、カメラと認識部とにおける処理シーケンスを示す図である。図２では、ステップＳ０２からステップＳ２２が示されているが、実際の動作ではこのステップＳ０２からステップＳ２２までが繰り返される。例えば、カメラが６０ｆｐｓ（フレーム／秒）で撮像を行うものである場合、１秒間あたりステップＳ０２からステップＳ２２までが３０回繰り返される。
　先ず、カメラ２のイメージセンサ３が、ドライバの顔画像を撮影する（ステップＳ０２）。カメラ２の画像圧縮部６が、イメージセンサ３により撮影された顔画像を所定の圧縮比（例えば、１／４）で圧縮する（ステップＳ０４）（図４（ａ）及び（ｂ）参照。）。圧縮画像はカメラ２から認識部４に転送される。
　顔検出部１０が、圧縮画像から顔の主要な器官を含む顔枠を検出し（ステップＳ０７）、顔器官検出部１２が、顔枠のデータから顔の器官を検出する（ステップＳ０８）（図３参照。）。目画像切り出し範囲決定部１４が、顔の器官に関するデータから、目を含む画像として切り出すべき、切り出し範囲を決定する（ステップＳ１０）。
　切り出し範囲は認識部４からカメラ２に転送される（ステップＳ１４）。このとき、カメラ２のイメージセンサ３による、ドライバの顔画像の次の撮影（ステップＳ１２）が終わっていてもよい。
　カメラ２の画像切り出し部８が、イメージセンサ３により撮影された次の顔画像を、切り出し範囲で切り出す（ステップＳ１６）（図４（ａ）及び（ｃ）参照。）。切り出し画像はカメラ２から認識部４に転送される（ステップＳ１８）。
　目開閉認識及び視線検出部１６が、切り出し画像内の目の開閉具合を認識し、目が開いていると認識すればその視線方向を検出する（ステップＳ２０）。認識結果出力部１８が、顔器官検出部１２が出力する顔の器官の検出結果と、それと併せて、目開閉認識及び視線検出部１６が出力する、切り出し画像内の目開閉の認識結果及び視線の検出結果とを、外部に出力する。認識結果出力部１８は、目開閉認識及び視線検出部１６が出力する、切り出し画像内の目開閉の認識結果及び視線の検出結果のみを、外部に出力することもある（ステップＳ２２）。
　前述のように、認識部４とカメラ２は、ステップＳ０２～ステップＳ２２を繰り返す。撮像（ステップＳ０２及びステップＳ１２）は夫々が、例えば、６０ｆｐｓで実行されるので、ステップＳ０２～ステップＳ２２は、例えば、毎秒３０回繰り返される。繰り返しの周期は、より長いものでもより短いものでもよい。
（１．３．まとめ）
　以上のように、本実施の形態に係るモニタリング装置１は、カメラ２と、及び、電子制御ユニットで構成される認識部４とを備える。カメラ２は、イメージセンサ３と、イメージセンサ３が撮影した画像を所定の圧縮比で圧縮し圧縮画像を認識部４に出力する画像圧縮部６と、及び、イメージセンサ３が撮影した画像を所定の切り出し範囲で切り出した切り出し画像を認識部に出力する画像切り出し部８とを含む。認識部４は、画像圧縮部６が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部１０と、顔検出部１０が出力する顔枠データから顔の器官を検出する顔器官検出部１２と、及び、顔器官検出部１２が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する目画像切り出し範囲決定部１４とを含む。画像切り出し部８が切り出す所定の切り出し範囲は、目画像切り出し範囲決定部１４が決定する目を含む画像として切り出す範囲である。
　以上のモニタリング装置１によると、カメラ２から認識部４に送られる画像のデータ量が、カメラ２で撮影される元画像の、例えば１／４以下になる。カメラ２からの圧縮画像と切り出し画像との二つの画像により、認識部４は一度、目開閉の認識と視線の検出を行うため、目開閉の認識と視線の検出の、一度あたりに要するデータ量は、例えば従来技術によるものの半分で済むことになる。つまり、認識部４がカメラ２のデータを一時的に保持するためのＲＡＭの容量は、例えば従来の１／４以下で済むことになり、更に、目開閉の認識と視線の検出のために必要なデータ量も、例えば１／４以下で済むことになる。よって、認識部４における目開閉認識及び視線検出のための処理負荷が大きく軽減される。
（実施の形態２）
　次に、実施の形態２に係るモニタリング装置を説明する。実施の形態２に係るモニタリング装置は、上述の実施の形態１に係るモニタリング装置と略同様のものであり、両者の差異を中心に説明する。
（２．１．構成）
　実施の形態２に係るモニタリング装置１の構成について、図５を用いて説明する。図５は、本実施の形態に係るモニタリング装置１の構成を示すブロック図である。
　図５に示すように、実施の形態１と同様に、実施の形態２に係るモニタリング装置１は、カメラ２と、認識部（ＥＣＵ）４とを含む。実施の形態１と同様に、カメラ２は、イメージセンサ３と、画像圧縮部６と、及び、画像切り出し部８とを含む。実施の形態１と同様に、認識部４は、顔検出部１０と、顔器官検出部１２と、目開閉認識及び視線検出部１６と、及び、認識結果出力部１８とを含む。
　更に加えて、本実施の形態に係るモニタリング装置１の認識部４は、顔画像露出条件決定部１１と、及び、目画像切り出し範囲及び露出条件決定部１５とを含む。目画像切り出し範囲及び露出条件決定部１５は、実施の形態１に係るモニタリング装置１の認識部４における目画像切り出し範囲決定部１４と置き換えて、設けられるものである。
　顔画像露出条件決定部１１は、顔検出部１０が出力する顔枠の画像データにおける輝度分布に基づいて、次回以降の回（フレーム）の圧縮画像の元画像のための、イメージセンサ３による撮影の露出条件を決定する。顔画像露出条件決定部１１が、「次回以降の回の」圧縮画像の元画像のための撮影の露出条件を決定する理由は、圧縮画像のための「露光→画像転送→画像認識→露出条件決定→設定更新」の少なくとも１サイクルを経て、更新した露出条件が反映され得るからであり、その少なくとも１サイクルに、例えば、６０ｆｐｓにおける複数フレーム分の時間が必要になることがあるからである。圧縮画像のための「露光→画像転送→画像認識→露出条件決定→設定更新」のサイクルの動作については、図７を用いて後で詳細に説明する。
　また、顔画像露出条件決定部１１が、顔枠の画像データにおける輝度分布から圧縮画像の元画像のための撮影の露出条件を、どのように決定するかについては、図６を用いて後で説明する。
　目画像切り出し範囲及び露出条件決定部１５は、顔器官検出部１２が出力する顔の器官に関するデータから目を含む画像として切り出すべき範囲を決定する。更に、目画像切り出し範囲及び露出条件決定部１５は、目を含む画像としての切り出し範囲の画像データにおける輝度分布に基づいて、次回以降の回（フレーム）の、目を含む画像としての切り出し画像の元画像のための、イメージセンサ３による撮影の露出条件を決定する。目画像切り出し範囲及び露出条件決定部１５が、「次回以降の回の」切り出し画像の元画像のための撮影の露出条件を決定する理由は、上述の、顔画像露出条件決定部１１が「次回以降の回の」圧縮画像の元画像のための撮影の露出条件を決定する理由と同様である。切り出し画像のための「露光→画像転送→画像認識→露出条件決定→設定更新」のサイクルの動作についても、図７を用いて後で詳細に説明する。
　また、目画像切り出し範囲及び露出条件決定部１５が、目を含む画像としての切り出し範囲の画像データにおける輝度分布から切り出し画像の元画像のための撮影の露出条件を、どのように決定するかについては、図６を用いて後で説明する。
　イメージセンサ３は、顔画像露出条件決定部１１が決定する露出条件による撮影と、目画像切り出し範囲及び露出条件決定部１５が決定する露出条件による撮影と
を、交互に行う。顔画像露出条件決定部１１が決定する露出条件により撮影される画像は、画像圧縮部６を経て圧縮画像とされ、認識部４に転送される。目画像切り出し範囲及び露出条件決定部１５が決定する露出条件により撮影される画像は、画像切り出し部８を経て切り出し画像とされ、認識部４に転送される。
（２．１．１．顔画像露出条件決定部）
　図６（ａ）の顔画像における長破線による矩形の枠は、顔検出部１０により検出される顔枠Ｆの例を示し、同じく図６（ａ）の顔画像における点線による矩形の枠は、目画像切り出し範囲及び露出条件決定部１５により決定される切り出し範囲Ｅの例を示している。図６（ｂ）は、顔枠Ｆ内における輝度値ヒストグラムであって、横軸は輝度値（０－２５５）を示し、縦軸は各輝度値の画素数を示している。
　顔画像露出条件決定部１１は、顔枠の画像データの輝度値ヒストグラムの全部若しくは一部における特徴量が、一つ若しくは複数の所定の閾値との、所定の大小関係を満たすように、露出条件を制御して決定する。顔画像の露出条件の決定について、以下、例を挙げて説明する。
　ドライバが眼鏡やサングラスを着用している場合、カメラ２による撮影の際に、顔画像の眼鏡やサングラスの表面において、輝点が生じることが多い。眼鏡やサングラスの画像、及び、輝点の画像を含めた上で、顔画像や目を含む画像のための露出条件が決定されると、特に目周辺の画像においてアンダー露出となる（即ち、眼鏡やサングラスの画像が暗くなる）。そうすると目周辺の画像のＳ／Ｎ比が悪くなり、結局、目開閉認識及び視線検出のためのアルゴリズムにおける、認識精度及び検出精度が低下してしまう。　
　そこで、特に輝点の影響を排除すべく、顔画像露出条件決定部１１は、輝度値の高い方から所定の割合の画素を除去する。例えば、図６（ｂ）の輝度値ヒストグラムでは、顔画像露出条件決定部１１は、特に、少なくともαの部分の画素を除去する。顔画像露出条件決定部１１は、残余の輝度値ヒストグラムの中央値が、高い方に設定された閾値１より大きければ暗くなるように露出条件を制御し、低い方に設定された閾値２より小さければ明るくなるように露出条件を制御する。ここで、顔画像露出条件決定部１１は、残余の輝度値ヒストグラムの中央値の代わりに、特徴量として、残余のヒストグラムの平均値や最頻値を用いて、露出条件を制御してもよい。
　顔画像露出条件決定部１１は、決定した露出条件をカメラ２に転送する。カメラ２では、転送された露出条件を、顔画像を含む圧縮画像の元画像を撮影するための露出条件として、設定更新する。
（２．１．２．目画像切り出し範囲及び露出条件決定部の、目画像露出条件決定について）
　図６（ｃ）は、目画像切り出し範囲Ｅ内における輝度値ヒストグラムであって、横軸は輝度値（０－２５５）を示し、縦軸は各輝度値の画素数を示している。
　目画像切り出し範囲及び露出条件決定部も、目の画像を含む目画像切り出し範囲の画像データの輝度値ヒストグラムの全部若しくは一部における特徴量が、一つ若しくは複数の所定の閾値との、所定の大小関係を満たすように、露出条件を制御して決定する。目画像の露出条件の決定についても、以下、例を挙げて説明する。
　目画像切り出し範囲及び露出条件決定部１５は、特に輝点の影響を排除すべく、輝度値の高い方から所定の割合の画素を除去する。例えば、図６（ｃ）の輝度値ヒストグラムでは、目画像切り出し範囲及び露出条件決定部１５は、特に、少なくともβの部分の画素を除去する。目画像切り出し範囲及び露出条件決定部１５は、残余の輝度値ヒストグラムの中央値が、高い方に設定された閾値３より大きければ暗くなるように露出条件を制御し、低い方に設定された閾値４より小さければ明るくなるように露出条件を制御する。ここで、目画像切り出し範囲及び露出条件決定部１５は、残余の輝度値ヒストグラムの中央値の代わりに、特徴量として、残余のヒストグラムの平均値や最頻値を用いて、露出条件を制御してもよい。
　目画像切り出し範囲及び露出条件決定部１５は、決定した露出条件をカメラ２に転送する。カメラ２では、転送された露出条件を、目画像切り出し範囲の元画像を撮影するための露出条件として、設定更新する。
（２．２．動作）
　以上のように構成される本実施の形態に係るモニタリング装置１の動作について、図７を用いて説明する。図７は、本実施の形態に係るモニタリング装置における、カメラ２での露光と、カメラ２から認識部４への画像データ転送と、認識部４による画像データの認識と、並びに、認識部４での露出条件及び切り出し範囲の決定並びにカメラ２への設定と、からなるサイクルを、複数示す図である。
　図７において、１列目は、６０ｆｐｓ（周期１６．７ｍｓ）で、露光（露出）によりフレームが連続して撮影されていることを示す。（ｂ０）、（ｂ１）、（ｂ２）、（ｂ３）、（ｂ４）・・・は、圧縮画像に繋がる画像を示す。例えば、（ｂ１）「露出」は、カメラ２における画像（ｂ１）のための露出の発生を示す。（ｃ０）、（ｃ１）、（ｃ２）、（ｃ３）、（ｃ４）・・・は、切り出し画像に繋がる画像を示す。例えば、（ｃ１）「露出」は、カメラ２における画像（ｃ１）のための露出の発生を示す。１列目に示すように、圧縮画像に繋がる画像（（ｂ０）、（ｂ１）、（ｂ２）、（ｂ３）、（ｂ４）・・・）と、切り出し画像に繋がる画像（（ｃ０）、（ｃ１）、（ｃ２）、（ｃ３）、（ｃ４））とは、交互に撮影される（図４（ｂ）（ｃ）参照）。
　図７において、２列目は、撮影された画像のデータが、カメラ２から認識部４へ転送されることを示す。
　続く列にて、画像（ｂ１）に関して言うと、（ｂ１）「認識開始」は、認識部４において、画像（ｂ１）の圧縮画像の認識が開始することを示す。画像（ｂ１）の圧縮画像に対して、顔検出部１０が顔枠データの検出を行い、その顔枠の顔画像に基づいて顔画像露出条件決定部１１が、圧縮画像に繋がる画像のための、露出条件を決定する。決定された露出条件（ｂ１）は、次の圧縮画像に繋がる画像（ｂ２）のための露光に対する設定には、間に合わない。つまり、決定された露出条件（ｂ１）は、（ｂ２）「露出」に対する設定には、間に合わない。従って、決定された露出条件（ｂ１）は、次回以降の回の、圧縮画像に繋がる画像（ｂ３）のための露光に対して設定される。（ｂ１）「露出設定」から（ｂ３）への長破線は、その設定を示している。
　また、画像（ｂ１）の圧縮画像に対して、顔器官検出部１２が顔器官データの検出を行い、その顔の器官に関するデータからに基づいて目画像切り出し範囲及び露出条件決定部１５が、切り出し画像に繋がる画像のための露出条件と、切り出し画像の切り出し範囲とを、決定する。決定された露出条件及び切り出し範囲（ｂ１）は、次の切り出し画像に繋がる画像（ｃ１）のための露光に対する設定、及び次の切り出し画像のための切り出し範囲の設定には、間に合わない。つまり、決定された露出条件及び切り出し範囲（ｂ１）は、（ｃ１）「露出」及び（ｃ１）「データ転送」に対する設定には、間に合わない。従って、決定された露出条件及び切り出し範囲（ｂ１）は、次回以降の回の、切り出し画像に繋がる画像（ｃ２）のための露光に対して設定され、次回以降の回の、切り出し画像（ｃ２）のための切り出し範囲に対して設定される。（ｂ１）「範囲指定」「露出設定」から（ｃ２）への点線は、それらの設定を示している。
　以上と同様にして、画像（ｂ０）の圧縮画像に基づいて、決定された露出条件（ｂ０）は、次回以降の回の、圧縮画像に繋がる画像（ｂ２）のための露光に対して設定される。画像（ｂ０）の圧縮画像に基づいて、決定された露出条件及び切り出し範囲（ｂ０）は、次回以降の回の、切り出し画像に繋がる画像（ｃ１）のための露光に対して設定され、次回以降の回の、切り出し画像（ｃ１）のための切り出し範囲に対して設定される。
　画像（ｂ２）の圧縮画像に基づいて、決定された露出条件（ｂ２）は、次回以降の回の、圧縮画像に繋がる画像（ｂ４）のための露光に対して設定される。画像（ｂ２）の圧縮画像に基づいて、決定された露出条件及び切り出し範囲（ｂ２）は、次回以降の回の、切り出し画像に繋がる画像（ｃ３）のための露光に対して設定され、次回以降の回の、切り出し画像（ｃ３）のための切り出し範囲に対して設定される。
　なお、夫々の切り出し画像（ｃ０、ｃ１、ｃ２、ｃ３）に対しては、目開閉認識及び視線検出部１６により、切り出し画像内の目の開閉具合が認識され、且つ視線方向が検出され、認識結果出力部１８により、顔の器官の検出結果と、目開閉の認識結果及び視線の検出結果とが外部に出力される。
　図７は、８フレーム程度の撮影期間における、モニタリング装置１の動作のサイクルを示す図であるので、実際には図７に示す動作のサイクルが多数回繰り返される。
（２．３．まとめ）
　以上のように、本実施の形態に係るモニタリング装置１は、カメラ２と、及び、電子制御ユニットで構成される認識部４とを備える。カメラ２は、イメージセンサ３と、イメージセンサ３が撮影した画像を所定の圧縮比で圧縮し圧縮画像を認識部４に出力する画像圧縮部６と、及び、イメージセンサ３が撮影した画像を所定の切り出し範囲で切り出した切り出し画像を認識部４に出力する画像切り出し部とを含む。認識部４は、画像圧縮部６が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部１０と、顔検出部１０が出力する顔枠の画像データにおける輝度分布に基づいて、圧縮画像の元画像のための、イメージセンサ３による撮影の第１の露出条件を決定する顔画像露出条件決定部１１と、顔検出部１０が出力する顔枠データから顔の器官を検出する顔器官検出部１２と、及び、顔器官検出部１２が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定し、更に、目を含む画像としての切り出し範囲の画像データにおける輝度分布に基づいて、目を含む画像としての切り出し画像の元画像のための、イメージセンサ３による撮影の第２の露出条件を決定する目画像切り出し範囲及び露出条件決定部１５とを含む。画像切り出し部８が切り出す所定の切り出し範囲は、目画像切り出し範囲及び露出条件決定部１５が決定する目を含む画像として切り出す範囲である。イメージセンサ３は、顔画像露出条件決定部１１が決定する第１の露出条件による撮影と、目画像切り出し範囲及び露出条件決定部１５が決定する第２の露出条件による撮影とを、交互に行う。
　以上のモニタリング装置１によると、カメラ２から認識部４に送られる画像のデータ量が、カメラ２で撮影される元画像の、例えば１／４以下になる。カメラ２からの圧縮画像と切り出し画像との二つの画像により、認識部４は一度、目開閉の認識と視線の検出を行うため、目開閉の認識と視線の検出の、一度あたりに要するデータ量は、例えば従来技術によるものの半分で済むことになる。つまり、認識部４がカメラ２のデータを一時的に保持するためのＲＡＭの容量は、例えば従来の１／４以下で済むことになり、更に、目開閉の認識と視線の検出のために必要なデータ量も、例えば１／４以下で済むことになる。よって、認識部４における目開閉認識及び視線検出のための処理負荷が大きく軽減される。
　更に、以上のモニタリング装置１によると、顔枠の画像データにおける輝度値ヒストグラムや目周辺の画像データにおける輝度値ヒストグラム等に基づいて、露出条件が適宜制御されるので、例えば、対象ドライバが眼鏡やサングラスを掛けている場合であっても、目開閉認識精度及び視線検出精度が低下することがない。
（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１及び２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
　また、上記の各実施の形態では、モニタリング装置１が自動車のドライバをモニタする例を示した。モニタリング装置１は他の用途に適用することもできる。例えば、工場作業者が集中して効率よく作業しているかどうかを監視する装置に適用され得る。また、カメラを駅や広場等に設置した上で、特定の人物を検出して、その人物の詳細な動作を検出する装置に適用され得る。
　また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
1・・・モニタリング装置、２・・・カメラ、３・・・イメージセンサ、４・・・認識部、６・・・画像圧縮部、８・・・画像切り出し部、１０・・・顔検出部、１１・・・顔画像露出条件決定部、１２・・・顔器官検出部、１４・・・目画像切り出し範囲決定部、１５・・・目画像切り出し範囲及び露出条件決定部、１６・・・目開閉及び視線検出部、１８・・・認識結果出力部。

Claims (4)

  1. 　カメラと、及び、電子制御ユニットで構成される認識部とを備え、
    　前記カメラは、
    イメージセンサと、
    前記イメージセンサが撮影した画像を所定の圧縮比で圧縮し圧縮画像を前記認識部に出力する画像圧縮部と、及び、
    前記イメージセンサが撮影した画像を所定の切り出し範囲で切り出した切り出し画像を前記認識部に出力する画像切り出し部とを含み、
    　前記認識部は、
    前記画像圧縮部が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部と、
    前記顔検出部が出力する顔枠データから顔の器官を検出する顔器官検出部と、及び、
    前記顔器官検出部が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する目画像切り出し範囲決定部とを含み、
    　前記画像切り出し部が切り出す所定の切り出し範囲は、前記目画像切り出し範囲決定部が決定する目を含む画像として切り出す範囲である、
    モニタリング装置。
  2. 　前記認識部は、更に、
    前記顔検出部が出力する顔枠の画像データにおける輝度分布に基づいて、圧縮画像の元画像のための、前記イメージセンサによる撮影の第１の露出条件を決定する顔画像露出条件決定部を含み、並びに、
    前記目画像切り出し範囲決定部に代えて、目画像切り出し範囲及び露出条件決定部を含み、
    　前記目画像切り出し範囲及び露出条件決定部は、
    前記顔器官検出部が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定し、更に、目を含む画像としての切り出し範囲の画像データにおける輝度分布に基づいて、目を含む画像としての切り出し画像の元画像のための、前記イメージセンサによる撮影の第２の露出条件を決定するものであり、
    　前記画像切り出し部が切り出す所定の切り出し範囲は、前記目画像切り出し範囲及び露出条件決定部が決定する目を含む画像として切り出す範囲であり、
    　前記イメージセンサは、前記顔画像露出条件決定部が決定する第１の露出条件による撮影と、前記目画像切り出し範囲及び露出条件決定部が決定する第２の露出条件による撮影とを、交互に行う、
    請求項１に記載のモニタリング装置。
  3. 　前記顔画像露出条件決定部は、
    顔枠の画像データの輝度値ヒストグラムの全部若しくは一部における特徴量が、一つ若しくは複数の所定の閾値との、所定の大小関係を満たすように露出条件を制御して、第１の露出条件を決定し、
    　前記目画像切り出し範囲及び露出条件決定部は、
    目の画像を含む切り出し範囲の画像データの輝度値ヒストグラムの全部若しくは一部における特徴量が、一つ若しくは複数の所定の閾値との、所定の大小関係を満たすように露出条件を制御して、第２の露出条件を決定する、
    請求項２に記載のモニタリング装置。
  4. 　更に、前記認識部は、
    前記画像切り出し部が出力する切り出し画像を入力して、切り出し画像内の目の開閉具合を認識し、視線方向を検出する目開閉認識及び視線検出部と、及び、
    前記目開閉認識及び視線検出部が出力する切り出し画像内の目開閉の認識結果及び視線の検出結果を、外部に出力する認識結果出力部とを含む、
    請求項１又は２に記載のモニタリング装置。
PCT/JP2019/031440 2019-08-08 2019-08-08 モニタリング装置 WO2021024470A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021537530A JP7315006B2 (ja) 2019-08-08 2019-08-08 モニタリング装置
PCT/JP2019/031440 WO2021024470A1 (ja) 2019-08-08 2019-08-08 モニタリング装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031440 WO2021024470A1 (ja) 2019-08-08 2019-08-08 モニタリング装置

Publications (1)

Publication Number Publication Date
WO2021024470A1 true WO2021024470A1 (ja) 2021-02-11

Family

ID=74502553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031440 WO2021024470A1 (ja) 2019-08-08 2019-08-08 モニタリング装置

Country Status (2)

Country Link
JP (1) JP7315006B2 (ja)
WO (1) WO2021024470A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022224423A1 (ja) * 2021-04-23 2022-10-27 三菱電機株式会社 車載用露光制御装置及び露光制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251560A (ja) * 2006-03-15 2007-09-27 Omron Corp 画像処理システム、画像処理装置および画像処理方法、撮像装置および撮像方法、並びにプログラム
JP2010198313A (ja) * 2009-02-25 2010-09-09 Denso Corp 開眼度特定装置
JP2012068937A (ja) * 2010-09-24 2012-04-05 Panasonic Corp 瞳孔検出装置及び瞳孔検出方法
JP2013138301A (ja) * 2011-12-28 2013-07-11 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び撮像装置
JP2019082743A (ja) * 2016-03-18 2019-05-30 三菱電機株式会社 情報処理装置及び情報処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5055939B2 (ja) * 2006-10-12 2012-10-24 株式会社ニコン デジタルカメラ
JP2009237977A (ja) * 2008-03-27 2009-10-15 Seiko Epson Corp 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
JP2011018989A (ja) * 2009-07-07 2011-01-27 Casio Computer Co Ltd 撮像装置、画像選択方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251560A (ja) * 2006-03-15 2007-09-27 Omron Corp 画像処理システム、画像処理装置および画像処理方法、撮像装置および撮像方法、並びにプログラム
JP2010198313A (ja) * 2009-02-25 2010-09-09 Denso Corp 開眼度特定装置
JP2012068937A (ja) * 2010-09-24 2012-04-05 Panasonic Corp 瞳孔検出装置及び瞳孔検出方法
JP2013138301A (ja) * 2011-12-28 2013-07-11 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び撮像装置
JP2019082743A (ja) * 2016-03-18 2019-05-30 三菱電機株式会社 情報処理装置及び情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022224423A1 (ja) * 2021-04-23 2022-10-27 三菱電機株式会社 車載用露光制御装置及び露光制御方法

Also Published As

Publication number Publication date
JPWO2021024470A1 (ja) 2021-02-11
JP7315006B2 (ja) 2023-07-26

Similar Documents

Publication Publication Date Title
KR101633445B1 (ko) 카메라 노출 제어 장치 및 제어 방법
EP2471691B1 (en) Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method
US20200327323A1 (en) System and method for improving signal to noise ratio in object tracking under poor light conditions
KR20120008519A (ko) 감시장치
JP4957711B2 (ja) 検出装置および方法、並びに、プログラム
JP4551270B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびカメラ
JP2016161973A (ja) 認識装置、認識方法及びプログラム
US11240439B2 (en) Electronic apparatus and image capture apparatus capable of detecting halation, method of controlling electronic apparatus, method of controlling image capture apparatus, and storage medium
WO2021024470A1 (ja) モニタリング装置
JP2020102059A (ja) 画像処理装置
JP7375552B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006332809A (ja) 撮像装置
JP4751638B2 (ja) 色変換装置および撮影装置
TWI630818B (zh) Dynamic image feature enhancement method and system
JP2009244944A (ja) 画像回復装置および撮影装置
JP4586548B2 (ja) 物体検出装置および物体検出方法
CN108259819B (zh) 动态影像特征加强方法与系统
WO2022224423A1 (ja) 車載用露光制御装置及び露光制御方法
JP5973941B2 (ja) カメラ装置および映像表示システムならびに正常性検出方法
CN115211098A (zh) 图像处理装置、图像处理方法和程序
JP7137746B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
US20190289185A1 (en) Occupant monitoring apparatus
WO2023171030A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP3644256B2 (ja) 画像監視装置および画像監視方法
JPH06255388A (ja) 運転状態検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940326

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021537530

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940326

Country of ref document: EP

Kind code of ref document: A1