WO2021181775A1 - 映像処理装置、映像処理方法および映像処理プログラム - Google Patents

映像処理装置、映像処理方法および映像処理プログラム Download PDF

Info

Publication number
WO2021181775A1
WO2021181775A1 PCT/JP2020/046087 JP2020046087W WO2021181775A1 WO 2021181775 A1 WO2021181775 A1 WO 2021181775A1 JP 2020046087 W JP2020046087 W JP 2020046087W WO 2021181775 A1 WO2021181775 A1 WO 2021181775A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
face
motion detection
speed
Prior art date
Application number
PCT/JP2020/046087
Other languages
English (en)
French (fr)
Inventor
久 小磯
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP20924415.1A priority Critical patent/EP4120015A4/en
Priority to CN202080095764.7A priority patent/CN115104062A/zh
Publication of WO2021181775A1 publication Critical patent/WO2021181775A1/ja
Priority to US17/823,534 priority patent/US11871118B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene

Definitions

  • the present invention relates to a video processing apparatus, a video processing method, and a video processing program.
  • the video obtained by photographing the interior of the vehicle is stored in the storage device.
  • the image processing device stores the state of the vehicle interior as an image, stores the image mainly by the driver, and the like.
  • Patent Document 1 discloses an anti-shake camera that appropriately controls the use of a strobe.
  • the camera shake amount is detected by the camera shake amount detection unit, and the shutter speed when the strobe is not used is determined by the shutter speed determination unit based on the brightness of the subject.
  • the blur prevention camera predicts the amount of blur with respect to the shutter speed when the strobe is not used, which is determined by the shutter speed determination unit, by the blur amount prediction unit. Based on the output of the blur amount prediction unit, the blur prevention camera determines whether or not to emit the strobe by the strobe light emission determining unit.
  • the conventional anti-shake camera described in Patent Document 1 appropriately controls the light emission or non-light emission of the strobe, but does not change the light emission intensity so as to increase or decrease when the strobe is emitting light. For example, if a driver monitor irradiates the face of a vehicle driver or the like with light such as infrared light at a constant emission intensity to take a picture, it becomes a burden on the driver's eyes.
  • the present inventor detects movements such as the contour of the eyes in order to analyze the state of opening and closing of the eyes in a vehicle driver or the like, the present inventor changes the shutter opening period and the light emission intensity according to the speed of the movements. I realized that it could reduce the strain on my eyes.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a video processing apparatus, a video processing method, and a video processing program capable of reducing the burden on the eyes due to irradiation of light. To do.
  • the image processing apparatus is composed of a light irradiation unit that irradiates the face of the imaged object with light, an image acquisition unit that acquires an image obtained by photographing the face of the imaged object, and the image acquisition unit.
  • a motion detection unit that detects the speed of movement in at least a part of the face from the acquired image, and a shutter opening period in the image acquisition unit and the light irradiation based on the speed detected by the motion detection unit. It is provided with an image pickup control unit that changes the light emission intensity of the unit.
  • Another aspect of this embodiment is a video processing method.
  • This image processing method is performed from a light irradiation step of irradiating the face of an imaged object with light, an image acquisition step of acquiring an image of the face of the imaged object, and the image acquired by the image acquisition step.
  • the shutter opening period in the image acquisition step and the light emission intensity by the light irradiation step are changed. It is provided with an imaging control step to be performed.
  • This image processing program is composed of a light irradiation step of irradiating the face of the imaged object with light, an image acquisition step of acquiring an image of the face of the imaged object, and the image acquired by the image acquisition step. Based on the motion detection step that detects the velocity of motion in at least a part of the face and the velocity detected by the motion detection step, the shutter opening period in the image acquisition step and the light emission intensity by the light irradiation step are changed. Let the computer execute the imaging control step to be performed.
  • FIG. 2 (a) to 2 (c) are schematic views showing an example of motion detection by the motion detection unit. It is a timing chart which shows the case of shortening the opening period of a shutter. It is a timing chart which shows the case where the opening period of a shutter is lengthened. It is a flowchart which shows the procedure of the shutter and the light emission intensity change processing in an image processing apparatus. It is a block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 2.
  • FIGS. 1 to 6 based on a preferred embodiment.
  • the same or equivalent components and members shown in the drawings shall be designated by the same reference numerals, and redundant description will be omitted as appropriate.
  • some of the members that are not important for explaining the embodiment in each drawing are omitted and displayed.
  • FIG. 1 is a block diagram showing a configuration of a video processing device 100 according to the first embodiment.
  • the image processing device 100 is, for example, a driver monitor, which is mounted on the vehicle and continuously photographs the occupants in the vehicle interior in time.
  • the image processing device 100 may record the captured image, or may discard the captured image without recording the image.
  • the image processing device 100 is arranged, for example, on a dashboard below the windshield of the vehicle.
  • the image processing device 100 photographs, for example, a driver in a vehicle as an imaged object, and recognizes the entire face of the photographed object or a facial part such as an eye.
  • the image processing device 100 irradiates the face of the imaged object with light such as infrared light so that the imaged object can recognize it even in a dark scene such as at night or in a tunnel.
  • Infrared light used for photographing has a property that it is difficult for the driver or the like to visually recognize it, but it is possible to reduce the burden on the eyes by further suppressing the emission intensity.
  • the image captured by the image processing device 100 is used, for example, for discriminating the contours of the left and right eyes and analyzing the eye parts such as the degree of opening and closing of the eyes and the inclination of the left and right eyes.
  • the description of the analysis function regarding the state of the face portion, for example, the eyes is omitted, but the image processing apparatus 100 may be provided with the analysis function regarding the degree of opening and closing of the eyes, the inclination of the left and right eyes, and the like.
  • the external device may analyze the facial portion.
  • the analysis functions such as the degree of opening and closing of the eyes and the inclination of the left and right eyes are used, for example, for determining the degree of drowsiness in the imaged object and determining an emotional state (for example, a normal state or a tense state).
  • the image processing device 100 includes an imaging unit 10, a light irradiation unit 11, a recording unit 20, an image processing unit 30, an external input unit 40 and an external output unit 41, an image accuracy detection unit 50, and the like.
  • the image pickup unit 10 is a camera having a detector such as a CCD, and takes a picture of, for example, a driver in a vehicle as an image subject.
  • the imaging unit 10 continuously acquires images in time and sends them to an image acquisition unit 31, which will be described later.
  • the light irradiation unit 11 appropriately irradiates the imaged object, particularly the face portion, with light such as infrared light so that the imaged object such as the driver can take a picture even when it is dark such as at night.
  • the emission intensity of the light emitted from the light irradiation unit 11 is set by the image pickup control unit 34 of the image processing unit 30, which will be described later.
  • the light emitting period of the light emitted by the light irradiating unit 11 preferably coincides with the opening period of the shutter, but there may be a slight time lag with the opening period of the shutter.
  • the recording unit 20 is, for example, a removable medium such as an SD card or a USB memory, a hard disk, or the like, and can record and delete the video acquired by the video acquisition unit 31.
  • a removable medium such as an SD card or a USB memory, a hard disk, or the like
  • the configuration in which the recording unit 20 is provided will be described, but if the image processing device 100 does not have a portion for recording an image, the recording unit 20 may not be provided.
  • the recording unit 20 can be removed from the video processing device 100 and the video can be played back on another PC or the like.
  • the external input unit 40 acquires vehicle speed information, position information, and the like from an external device. Further, the external output unit 41 outputs the video information or the like processed by the video processing unit 30 to the external device.
  • the video processing device 100 may add speed information, position information, and the like acquired by the external input unit 40 to the video for recording or output to the outside.
  • the video processing unit 30 includes a video acquisition unit 31, a video recognition unit 32, a motion detection unit 33, and an imaging control unit 34.
  • the video processing unit 30 is configured by, for example, a CPU or the like, and executes the processing by each of the above-mentioned units by operating according to a computer program.
  • the storage unit 30a is composed of a data storage device such as a RAM (RandomAccessMemory), a flash memory, and a hard disk storage device, and stores a computer program or the like executed by the video processing unit 30. Further, the storage unit 30a stores a recognition dictionary for recognizing the face, eyes, and the like of the image subject from the captured image.
  • the image acquisition unit 31 acquires the image captured by the imaging unit 10, performs processing such as data compression, and outputs the image to the recording unit 20.
  • the image acquisition unit 31 may be configured to include the imaging unit 10.
  • the opening period of the shutter for photographing the image subject in the image acquisition unit 31 is set by the image pickup control unit 34, which will be described later.
  • the frame rate of the video frame is also set by the image pickup control unit 34.
  • the image recognition unit 32 recognizes the face and eyes of the image subject from the image input from the image acquisition unit 31 based on the recognition dictionary stored in the storage unit 30a.
  • the recognition dictionary stored in the storage unit 30a includes shape data such as faces and eyes, and the image recognition unit 32 extracts the shape pattern appearing in the image and includes it in the recognition dictionary.
  • the face, eyes, etc. are recognized by collating with the shape data.
  • the image recognition unit 32 can recognize faces, eyes, and the like from images by using known image recognition processing methods that have been developed in various fields.
  • the motion detection unit 33 detects the motion of at least a part of the face of the image subject, and particularly detects the speed of the motion.
  • 2 (a) to 2 (c) are schematic views showing an example of motion detection by the motion detection unit 33.
  • the motion detection unit 33 detects the blink speed in the eye portion recognized by the image recognition unit 32 and outputs the blink speed to the image pickup control unit 34. Blinking of the eyes is caused by the movement of the contour of the eyes up and down from moment to moment.
  • the blinking speed of the eyes When the blinking speed of the eyes is slow, the open state and the closed state of the eyes caused by the blinking of the eyes can be recognized even if the opening period of the shutter in the image acquisition unit 31 is lengthened. On the contrary, when the blinking speed of the eyes is high, if the opening period of the shutter in the image acquisition unit 31 is long, it becomes impossible to recognize the open state and the closed state of the eyes caused by the blinking of the eyes. It is necessary to set the opening period short.
  • the motion detection unit 33 detects the speed of the movement of the line of sight in the eye portion recognized by the image recognition unit 32 and outputs it to the image pickup control unit 34.
  • the movement of the line of sight of the eyes is caused by the movement of the pupil part from side to side or up and down from moment to moment.
  • the image can be recognized from the captured image of the line-of-sight movement even if the shutter opening period in the image acquisition unit 31 is lengthened. Further, when the speed of movement of the line of sight is high, it is necessary to set the shutter opening period in the image acquisition unit 31 short.
  • the motion detection unit 33 detects the speed of the motion of the entire face swaying with respect to the entire face recognized by the image recognition unit 32 and outputs the speed to the imaging control unit 34.
  • the movement of the face to shake is caused by the movement of the contour of the face or a specific part (for example, the nose part) to move left and right or up and down from moment to moment.
  • the image can be recognized from the captured image of the face shaking movement even if the shutter opening period in the image acquisition unit 31 is lengthened. Further, when the speed of the movement of the face swinging is high, it is necessary to set the shutter opening period in the image acquisition unit 31 short.
  • the image pickup control unit 34 changes the shutter opening period of the image acquisition unit 31 and the light emission intensity of the light irradiation unit 11 based on the speed of movement of at least a part of the face of the image subject detected by the motion detection unit 33. Make settings to make it.
  • FIG. 3 is a timing chart showing a case where the shutter opening period is shortened
  • FIG. 4 is a timing chart showing a case where the shutter opening period is lengthened.
  • the shutter opening period in the image acquisition unit 31 is set to a short value L1 and the light emission intensity by the light irradiation unit 11 is set to a large value P2 as shown in FIG. do.
  • the image pickup control unit 34 sets a predetermined threshold value in advance for the movement speed of at least a part of the face of the image subject, and the movement speed of at least a part of the face input from the movement detection unit 33 is equal to or higher than the threshold value. It is assumed that the speed of movement is high, and that the speed of movement is slow when it is below the threshold value.
  • the shutter opening period in the image acquisition unit 31 is set to a long value L2 (L2> L1), and the light emission intensity by the light irradiation unit 11 is set.
  • L2 long value
  • P1 small value
  • the image pickup control unit 34 sets a predetermined threshold value in advance for the movement speed of at least a part of the face of the image subject, and the movement speed of at least a part of the face input from the movement detection unit 33 is equal to or higher than the threshold value. It is assumed that the speed of movement is high, and that the speed of movement is slow when it is below the threshold value.
  • the shutter opening periods L1 and L2, and the emission intensities P1 and P2 may be predetermined in consideration of a dark environment such as at night and the speed of movement of the face of the image subject.
  • the image pickup control unit 34 prolongs the opening period of the shutter in the image acquisition unit 31 as compared with the case where the speed of movement is high, and the light irradiation unit 11 Set the emission intensity to a small value. Further, the image pickup control unit 34 may set the shutter opening period and the light emission intensity by continuously changing according to the speed of movement of at least a part of the face of the image subject.
  • the movements of at least a part of the face of the image subject include blinking eyes, movements of the line of sight, movements of the face shaking, and the like, and the imaging control unit 34 responds to these movements by the shutter.
  • the opening period and emission intensity are changed and set.
  • the image accuracy detection unit 50 detects the image recognition accuracy of the face of the image subject and the parts such as the eyes and nose of the face, and confirms whether sufficient image recognition accuracy is secured.
  • Image recognition accuracy is a measure of whether, for example, facial parts such as eyes and nose and facial contours can be recognized separately from adjacent parts, and specifically, image blurring of boundary parts. The degree is used as an index.
  • the image accuracy may be defined based on the difference in the brightness values of. That is, the image accuracy is low when the difference in the brightness values of each portion is small, and the image accuracy is high when the difference in the brightness values is large.
  • the image pickup control unit 34 when changing the shutter opening period from a short value to a long value, if the image recognition accuracy is better than a predetermined threshold value, the image pickup control unit 34 changes the setting of the shutter opening period to a long value. After changing the setting of the shutter opening period to a long value, the image pickup control unit 34 returns the shutter opening period to a short value when the image recognition accuracy cannot be sufficiently ensured.
  • the image pickup control unit 34 when changing the emission intensity from a large value to a small value, the image pickup control unit 34 changes the setting of the emission intensity to a small value when the image recognition accuracy is better than a predetermined threshold value. After changing the setting of the light emission intensity to a small value, the image pickup control unit 34 returns the light emission intensity to a large value when the image recognition accuracy cannot be sufficiently ensured.
  • the image pickup control unit 34 gradually sets the shutter opening period from a short value while confirming that the image recognition accuracy of the image accuracy detecting unit 50 is good. You may change the setting to a longer value.
  • the imaging control unit 34 changes the setting of the light emission intensity to a small value
  • the image accuracy detection unit 50 gradually reduces the light emission intensity from a large value while confirming that the image recognition accuracy is good. You may change the setting to the value.
  • FIG. 5 is a flowchart showing a procedure for changing the shutter and the light emission intensity in the image processing apparatus 100.
  • the light irradiating unit 11 of the image processing device 100 starts irradiating the imaged body with light (S1), and the image capturing unit 31 acquires the image of the imaged body captured by the imaging unit 10 (S2).
  • the image recognition unit 32 image-recognizes at least a part of the face of the image subject, and the motion detection unit 33 detects the speed of movement of the recognized portion (S3).
  • the imaging control unit 34 determines whether or not the speed of movement detected by the motion detection unit 33 is equal to or greater than a predetermined threshold value (S4).
  • a predetermined threshold value S4
  • the image acquisition unit 31 sets the shutter opening period to a short value and sets the light irradiation unit 34 to a short value.
  • the emission intensity according to 11 is set to a large value (S5), and the process is terminated.
  • the shutter opening period is short and the emission intensity is set to a large value before the determination in step S4
  • the image pickup control unit 34 maintains the set state.
  • step S4 When the image pickup control unit 34 determines in step S4 that the speed of movement of at least a part of the face of the image subject is less than the threshold value (S4: NO), the shutter opening period in the image acquisition unit 31 is set to a long value. The emission intensity by the light irradiation unit 11 is set to a small value (S6), and the process is completed.
  • the image pickup control unit 34 sets the shutter opening period to a short value and causes the light irradiation unit 11.
  • the emission intensity may be changed to a large value.
  • the image pickup control unit 34 may set the shutter opening period and the light emission intensity by continuously changing according to the speed of movement of at least a part of the face of the image subject. good.
  • the image processing apparatus 100 sets the opening period of the shutter in the image acquisition unit 31 to a long value, and the light emission intensity by the light irradiation unit 11. Set to a small value.
  • the image processing apparatus 100 reduces the burden on the eyes of the imaged object by setting the light emission intensity to a small value, and sets the shutter opening period to a long value to reduce the amount of light required for photographing the imaged object. It is possible to obtain a bright image by irradiating.
  • the image processing apparatus 100 sets the shutter opening period in the image acquisition unit 31 to a short value, and the light emission intensity by the light irradiation unit 11. Set to a large value.
  • the image processing apparatus 100 suppresses a decrease in image recognition accuracy when at least a part of the face of the image subject moves quickly by setting the shutter opening period to a short value, and sets the light emission intensity to a large value. A bright image can be obtained by.
  • the image processing device 100 detects blinking of the eyes, movement of the line of sight, movement of the face, and the like as movements of at least a part of the face of the image subject by the motion detection unit 33. By changing the shutter opening period and the light emission intensity according to the blinking speed of the eyes in the image subject, it is possible to reliably acquire images in the open state and the closed state of the eyes.
  • FIG. 6 is a block diagram showing the configuration of the video processing device 100 according to the second embodiment.
  • the image processing apparatus 100 according to the second embodiment further includes a blur amount detecting unit 35 in the configuration according to the first embodiment.
  • the blur amount detection unit 35 determines the amount of blur in the image of the image to be imaged caused by, for example, the vibration of the vehicle on which the image processing device 100 is mounted, and the degree of double reflection or blurring of the edge portion in the image acquired by the image acquisition unit 31. Detect from.
  • the image pickup control unit 34 changes the values of the shutter opening periods L1 and L2 and the emission intensities P1 and P2 according to the amount of blur detected by the blur amount detection unit 35.
  • the image pickup control unit 34 is set so that the shutter opening period is short and the light emission intensity is large. Further, the image pickup control unit 34 is set so that when the amount of blurring is small, the shutter opening period is long and the light emission intensity is small.
  • the image processing apparatus 100 suppresses a decrease in image recognition accuracy by changing the values of the shutter opening periods L1 and L2 and the emission intensities P1 and P2 according to the amount of blur detected by the blur amount detecting unit 35. At the same time, the burden on the eyes of the image subject can be reduced.
  • the shutter opening period and the light emission intensity are variable within a range in which the frame rate of the image is not changed, but the frame rate of the image may be further changed.
  • the image pickup control unit 34 sufficiently secures image recognition accuracy for analyzing the degree of opening and closing of the eyes and the inclination of the left and right eyes.
  • the frame rate of the image acquired by the image acquisition unit 31 may be set to be lowered within the range.
  • the image processing device 100 further reduces the burden on the eyes of the image-imposed object by lowering the frame rate of the image to be acquired by the image pickup control unit 34 and further reducing the emission intensity by lengthening the shutter opening period. be able to.
  • the motion detection unit 33 detects blinking of the eyes, movement of the line of sight, movement of the face, and the like as movements of at least a part of the face of the image subject. Or the movement of the nose or the like may be detected.
  • the motion detection unit 33 may detect one or more motions such as blinking of eyes and motion of the line of sight as the motion of at least a part of the face of the image subject.
  • the image pickup control unit 34 may change the shutter opening period and the light emission intensity based on the speed of one or more movements.
  • the image pickup control unit 34 may set the light emission intensity by the light irradiation unit 11 to 0 when the external light emitted to the image subject is strong and the amount of light is sufficiently secured. If there is a margin in the amount of light, the image pickup control unit 34 may set the shutter opening period short in order to improve the image recognition accuracy. Further, the image processing device 100 further provides an eye opening / closing detection unit (not shown) for detecting the open state and the closed state of the eyes from the image, and when the eyes are closed, giving priority to the image recognition accuracy of the shutter. The opening period may be shortened and the emission intensity may be increased.
  • the image processing device 100 detects the presence of sunglasses or the like that cut the wavelength band of the light source used in the light irradiation unit 11, and when the image subject is wearing the corresponding sunglasses, the image recognition accuracy is prioritized. Therefore, the shutter opening period may be shortened and the light emission intensity may be increased.
  • the image processing device 100 includes a light irradiation unit 11, an image acquisition unit 31, a motion detection unit 33, and an image pickup control unit 34.
  • the light irradiation unit 11 irradiates the face of the image subject with light.
  • the image acquisition unit 31 acquires an image of the face of the image subject.
  • the motion detection unit 33 detects the speed of motion in at least a part of the face from the image acquired by the image acquisition unit 31.
  • the image pickup control unit 34 lengthens the shutter opening period in the image acquisition unit 31 to reduce the light emission intensity by the light irradiation unit 11.
  • the shutter opening period in the image acquisition unit 31 is shortened to increase the light emission intensity by the light irradiation unit 11.
  • the image processing apparatus 100 can set the light emission intensity to a small value and reduce the burden on the eyes of the image subject due to the irradiation of light.
  • the motion detection unit 33 detects the blinking speed in the eye portion from the image.
  • the image processing apparatus 100 can change the shutter opening period and the light emission intensity according to the blinking speed of the eyes, and can surely acquire the images in the open state and the closed state of the eyes.
  • the motion detection unit 33 detects the speed of the movement of the line of sight from the image.
  • the image processing device 100 can change the opening period of the shutter and the light emission intensity according to the speed of the movement of the line of sight, and can reliably acquire an image that captures the movement of the line of sight.
  • the motion detection unit 33 detects the speed of the motion of the face shaking from the image.
  • the image processing device 100 changes the shutter opening period and the light emission intensity according to the speed of the shaking motion of the face, thereby capturing an image in which direction the image subject is facing, left or right or up or down. You can definitely get it.
  • the image processing device 100 further includes a blur amount detection unit 35 that detects the blur amount of the image subject.
  • the image pickup control unit 34 changes the shutter opening period and the light emission intensity according to the amount of blur detected by the blur amount detection unit 35. As a result, the image processing apparatus 100 can reduce the burden on the eyes of the image subject while suppressing a decrease in image recognition accuracy.
  • the video processing device 100 changes the frame rate of the video acquired by the video acquisition unit 31 based on the speed detected by the motion detection unit 33.
  • the image processing apparatus 100 can further reduce the burden on the eyes of the image subject by lowering the frame rate of the acquired image and further extending the shutter opening period to reduce the emission intensity. ..
  • the image processing method includes a light irradiation step, an image acquisition step, a motion detection step, and an imaging control step.
  • the light irradiation step irradiates the face of the image subject with light.
  • the image acquisition step acquires an image of the face of the image subject.
  • the motion detection step detects the velocity of motion in at least a part of the face from the image acquired by the image acquisition step.
  • the imaging control step when the speed detected by the motion detection step is slower than a predetermined threshold value, the shutter opening period in the image acquisition step is lengthened to reduce the light emission intensity by the light irradiation step, and the speed is predetermined.
  • the shutter opening period in the image acquisition step is shortened to increase the emission intensity in the light irradiation step.
  • the light emission intensity can be set to a small value, and the burden on the eyes of the image subject due to the irradiation of light can be reduced.
  • the image processing program causes the computer to execute a light irradiation step, an image acquisition step, a motion detection step, and an imaging control step.
  • the light irradiation step irradiates the face of the image subject with light.
  • the image acquisition step acquires an image of the face of the image subject.
  • the motion detection step detects the velocity of motion in at least a part of the face from the image acquired by the image acquisition step.
  • the imaging control step when the speed detected by the motion detection step is slower than a predetermined threshold value, the shutter opening period in the image acquisition step is lengthened to reduce the light emission intensity by the light irradiation step, and the speed is predetermined.
  • the shutter opening period in the image acquisition step is shortened to increase the emission intensity in the light irradiation step.
  • the emission intensity can be set to a small value, and the burden on the eyes of the image subject due to the irradiation of light can be reduced.
  • the present invention relates to a video processing device such as a driver monitor, a video processing method, and a video processing program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

映像処理装置（１００）は、光照射部（１１）、映像取得部（３１）、動き検出部（３３）および撮像制御部（３４）を備える。光照射部（１１）は被撮像体の顔へ光を照射する。映像取得部（３１）は被撮像体の顔を撮影した映像を取得する。動き検出部（３３）は、映像取得部（３１）によって取得された映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御部（３４）は、動き検出部（３３）によって検出された速度に基づいて、映像取得部（３１）におけるシャッターの開期間、および光照射部（１１）による発光強度を変化させる。

Description

映像処理装置、映像処理方法および映像処理プログラム
　本発明は、映像処理装置、映像処理方法および映像処理プログラムに関する。
　例えば車両に搭載されるドライバーモニター等の映像処理装置では、車室内を撮影して得られる映像を記憶装置に記憶する。映像処理装置は、車室内の様子を映像として記憶することや、運転者を中心に映像を記憶することなどが行われる。
　例えば特許文献１には、ストロボ使用を適正に制御するブレ防止カメラが開示されている。ブレ防止カメラは、カメラの手ブレ量をブレ量検出部で検出し、被写体の輝度に基づいてストロボ非使用時のシャッター速度をシャッター速度決定部によって決定する。ブレ防止カメラは、シャッター速度決定部によって決定されたストロボ非使用時のシャッター速度に対するブレ量をブレ量予測部によって予測する。ブレ防止カメラは、ブレ量予測部の出力に基づいて、ストロボを発光させるか否かをストロボ発光決定部によって判断する。
特開平０６－３１３９１８号公報
　特許文献１に記載の従来のブレ防止カメラは、ストロボの発光または非発光を適正に制御するが、ストロボが発光している場合にその発光強度を増減するように可変とするものではない。例えば、ドライバーモニターにおいて車両の運転者等の顔に対して赤外光などの光を一定の発光強度で照射して撮影すると、運転者の目にとって負担となってしまう。本発明者は、車両の運転者等における目開閉度等の状態を分析するために目の輪郭等の動きを検出する場合、動きの速度に応じてシャッターの開期間や発光強度を変えることで目への負担を軽減し得ることに気付いた。
　本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、光の照射による目への負担を軽減することができる映像処理装置、映像処理方法および映像処理プログラムを提供することにある。
　本実施形態のある態様の映像処理装置は、被撮像体の顔へ光を照射する光照射部と、前記被撮像体の顔を撮影した映像を取得する映像取得部と、前記映像取得部によって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出部と、前記動き検出部によって検出された前記速度に基づいて、前記映像取得部におけるシャッターの開期間、および前記光照射部による発光強度を変化させる撮像制御部と、を備える。
　また本実施形態の別の態様は映像処理方法である。この映像処理方法は、被撮像体の顔へ光を照射する光照射ステップと、前記被撮像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、前記動き検出ステップによって検出された前記速度に基づいて、前記映像取得ステップにおけるシャッターの開期間、および前記光照射ステップによる発光強度を変化させる撮像制御ステップと、を備える。
　また本実施形態の別の態様は映像処理プログラムである。この映像処理プログラムは、被撮像体の顔へ光を照射する光照射ステップと、前記被撮像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、前記動き検出ステップによって検出された前記速度に基づいて、前記映像取得ステップにおけるシャッターの開期間、および前記光照射ステップによる発光強度を変化させる撮像制御ステップと、をコンピュータに実行させる。
　本実施形態によれば、光の照射による目への負担を軽減することができる。
実施形態１に係る映像処理装置の構成を示すブロック図である。 図２（ａ）～図２（ｃ）は、動き検出部による動きの検出例を示す模式図である。 シャッターの開期間を短くする場合を示すタイミングチャートである。 シャッターの開期間を長くした場合を示すタイミングチャートである。 映像処理装置におけるシャッターおよび発光強度の変更処理の手順を示すフローチャートである。 実施形態２に係る映像処理装置の構成を示すブロック図である。
　以下、本発明を好適な実施の形態をもとに図１から図６を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
（実施形態１）
　図１は、実施形態１に係る映像処理装置１００の構成を示すブロック図である。映像処理装置１００は、例えばドライバーモニターであり、車両に搭載され、車両の車室内の乗員を時間的に連続して撮影する。映像処理装置１００は撮影した映像を記録するようにしてもよいし、記録せずに破棄してもよい。映像処理装置１００は、例えば車両のフロントガラスの下方におけるダッシュボード上などに配置される。映像処理装置１００は、例えば車両に搭乗している運転者を被撮像体として撮影し、撮影された被撮像体の顔全体、または目などの顔の部位を認識する。
　映像処理装置１００は、夜間やトンネル内などの暗い場面でも被撮像体が認識できるように、被撮像体の顔に赤外光などの光を照射して撮影する。撮影の際に用いる赤外光は、運転者等の視覚では認識し難い性質があるものの、発光強度をより抑制することで目の負担を軽減することができる。
　映像処理装置１００によって撮影された映像は、例えば左右の目の輪郭を判別し、目の開閉度や、左右の目の傾きなど目の部分に関する分析に用いられる。本実施形態では、顔の部分、例えば目などの状態に関する分析機能に関して記載を省略するが、映像処理装置１００において、目の開閉度や左右の目の傾き等に関する分析機能を設けてもよい。また映像処理装置１００によって蓄積または出力される映像に基づいて、外部装置において顔の部分に関する分析を行うようにしてもよい。尚、目の開閉度や左右の目の傾き等の分析機能は、例えば、被撮像体における眠気の度合判定や、感情状態（例えば平常状態や緊張状態など）の判定などに用いられる。
　映像処理装置１００は、撮像部１０、光照射部１１、記録部２０、映像処理部３０、外部入力部４０および外部出力部４１、画像精度検出部５０等を備える。撮像部１０は、例えばＣＣＤ等の検出器を有するカメラであり、車両に搭乗している例えば運転者を被撮像体として撮影する。撮像部１０は、時間的に連続して映像を取得し、後述する映像取得部３１へ送出する。
　光照射部１１は、夜間等の暗い時でも運転者等の被撮像体が撮影できるように、適宜、赤外光などの光を被撮像体、とくに顔部分に照射する。光照射部１１から照射される光の発光強度は、後述する映像処理部３０の撮像制御部３４によって設定される。また光照射部１１によって照射される光の発光期間は、シャッターの開期間と一致することが好ましいが、シャッターの開期間との間で多少の時間ずれがあってもよい。
　記録部２０は、例えばＳＤカードやＵＳＢメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像取得部３１で取得された映像を記録し、削除することができるものとする。以下、記録部２０が設けられた構成について説明するが、映像処理装置１００が映像を記録する部分を持たない場合には記録部２０は設けなくてもよい。記録部２０は、映像処理装置１００に着脱可能とすることで、映像処理装置１００から取り外し、別のＰＣ等で映像を再生等することができる。
　外部入力部４０は、車両の速度情報および位置情報等を外部装置から取得する。また外部出力部４１は、映像処理部３０によって処理された映像情報等を外部装置へ出力する。映像処理装置１００は、外部入力部４０によって取得した速度情報および位置情報等を映像に付加して記録または外部へ出力するようにしてもよい。
　映像処理部３０は、映像取得部３１、映像認識部３２、動き検出部３３および撮像制御部３４を有する。映像処理部３０は、例えばＣＰＵなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部３０ａは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、映像処理部３０で実行するコンピュータプログラム等を記憶する。また記憶部３０ａは、撮影された映像から被撮像体の顔や目等を認識するための認識用辞書を記憶している。
　映像取得部３１は、撮像部１０において撮影された映像を取得してデータ圧縮等の処理を行い、記録部２０に出力する。尚、映像取得部３１は、撮像部１０を含んで構成されていてもよい。映像取得部３１において被撮像体を撮影するシャッターの開期間は、後述する撮像制御部３４によって設定される。また映像フレームのフレームレートについても撮像制御部３４によって設定される。
　映像認識部３２は、記憶部３０ａに記憶された認識用辞書に基づいて、映像取得部３１から入力された映像から被撮像体の顔や目を認識する。記憶部３０ａに記憶した認識用辞書には、顔や目等の形状データ等が含まれており、映像認識部３２は、映像に表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって顔や目等を認識する。映像認識部３２は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から顔や目等を認識することができる。
　動き検出部３３は、被撮像体の顔の少なくとも一部分における動きを検出しており、とくに動きの速度を検出する。図２（ａ）～図２（ｃ）は、動き検出部３３による動きの検出例を示す模式図である。動き検出部３３は、図２（ａ）に示すように、映像認識部３２によって認識された目の部分において、瞬きの速度を検出して撮像制御部３４へ出力する。目の瞬きは、時々刻々に目の輪郭部分が上下へ移動する動きによって発生する。
　目の瞬きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を長くしても、目の瞬きによって発生する目の開状態および閉状態を認識することができる。逆に目の瞬きの速度が速い場合には、映像取得部３１におけるシャッターの開期間が長いと、目の瞬きによって発生する目の開状態および閉状態を認識することができなくなるので、シャッターの開期間を短く設定しておく必要がある。
　また、動き検出部３３は、図２（ｂ）に示すように、映像認識部３２によって認識された目の部分において、視線の動きの速度を検出して撮像制御部３４へ出力する。目の視線の動きは、時々刻々に瞳の部分が左右や上下へ移動する動きによって発生する。
　視線の動きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を長くしても、視線の動きを撮影した映像から画像認識することができる。また、視線の動きの速度が速い場合には、映像取得部３１におけるシャッターの開期間を短く設定しておく必要がある。
　また、動き検出部３３は、図２（ｃ）に示すように、映像認識部３２によって認識された顔全体について、顔全体が振れる動きの速度を検出して撮像制御部３４へ出力する。顔が振れる動きは、時々刻々に顔の輪郭や特定の部分（例えば鼻部分）が左右や上下へ移動する動きによって発生する。
　顔が振れる動きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を長くしても、顔が振れる動きを撮影した映像から画像認識することができる。また、顔が振れる動きの速度が速い場合には、映像取得部３１におけるシャッターの開期間を短く設定しておく必要がある。
　撮像制御部３４は、動き検出部３３によって検出された被撮像体の顔の少なくとも一部分における動きの速度に基づいて、映像取得部３１におけるシャッターの開期間、および光照射部１１による発光強度を変化させる設定を行う。図３はシャッターの開期間を短くした場合を示すタイミングチャートであり、図４はシャッターの開期間を長くした場合を示すタイミングチャートである。
　被撮像体の顔の少なくとも一部分における動きの速度が速い場合、図３に示すように映像取得部３１におけるシャッターの開期間を短い値Ｌ１とし、光照射部１１による発光強度を大きい値Ｐ２に設定する。撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度について所定の閾値を予め定めておき、動き検出部３３から入力された顔の少なくとも一部分における動きの速度が閾値以上である場合に動きの速度が速いとし、閾値未満である場合に動きの速度が遅いとする。
　被撮像体の顔の少なくとも一部分における動きの速度が遅い場合、図４に示すように映像取得部３１におけるシャッターの開期間を長い値Ｌ２（Ｌ２＞Ｌ１）とし、光照射部１１による発光強度を小さい値Ｐ１（Ｐ１＜Ｐ２）に設定する。撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度について所定の閾値を予め定めておき、動き検出部３３から入力された顔の少なくとも一部分における動きの速度が閾値以上である場合に動きの速度が速いとし、閾値未満である場合に動きの速度が遅いとする。尚、シャッターの開期間であるＬ１およびＬ２、並びに発光強度Ｐ１およびＰ２は、夜間等の暗い環境や被撮像体の顔の動きの速度などを想定して予め定めておくようにしてもよい。
　撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度が遅い場合は、動きの速度が速い場合に比べて、映像取得部３１におけるシャッターの開期間を長くし、光照射部１１による発光強度を小さく設定する。また、撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度に応じて、シャッターの開期間、および発光強度を連続的に変化させて設定するようにしてもよい。
　上述のように、被撮像体の顔の少なくとも一部分における動きとは、目の瞬き、視線の動き、および顔が振れる動きなどであり、撮像制御部３４は、これらの動きに応じて、シャッターの開期間および発光強度を変化させて設定する。
　画像精度検出部５０は、被撮像体の顔や、顔の目や鼻などの部分の画像認識精度を検出し、十分な画像認識精度が確保されているかを確認する。画像認識精度は、例えば、目や鼻等の顔の部分や、顔の輪郭などが、隣接する部分と区別して認識可能であるかどうかの尺度であり、具体的には境界部分の画像ぼけの程度等を指標とする。
　また、目の開閉度および目の傾き等を分析する場合には、分析が可能な程度に画像精度が確保されているかを確認するようにしてもよい。目の開閉度および目の傾き等を分析する場合、例えば、まぶた、白目および瞳の各部分の輝度値が、それぞれの部分を区別可能な程度に差を有しているかが問題となり、各部分の輝度値の差に基づいて画像精度を規定するようにしてもよい。即ち、各部分の輝度値の差が小さい場合に画像精度が低く、輝度値の差が大きい場合に画像精度が高いなどとする。
　例えば、シャッターの開期間を短い値から長い値に変化させるとき、画像認識精度が所定の閾値よりも良好である場合に、撮像制御部３４は、シャッターの開期間を長い値に設定変更する。撮像制御部３４は、シャッターの開期間を長い値に設定変更した後、画像認識精度が十分に確保できない場合には、シャッターの開期間を短い値に戻す。同様に、例えば、発光強度を大きい値から小さい値に変化させるとき、画像認識精度が所定の閾値よりも良好である場合に、撮像制御部３４は、発光強度を小さい値に設定変更する。撮像制御部３４は、発光強度を小さい値に設定変更した後、画像認識精度が十分に確保できない場合には、発光強度を大きい値に戻す。
　また撮像制御部３４は、シャッターの開期間を長い値に設定変更する場合に、画像精度検出部５０での画像認識精度が良好であることを確認しつつ、徐々にシャッター開期間を短い値から長い値に設定変更していくようにしてもよい。同様に、撮像制御部３４は、発光強度を小さい値に設定変更する場合に、画像精度検出部５０での画像認識精度が良好であることを確認しつつ、徐々に発光強度を大きい値から小さい値に設定変更していくようにしてもよい。
　次に映像処理装置１００の動作について、シャッターおよび発光強度の変更処理に基づいて説明する。図５は、映像処理装置１００におけるシャッターおよび発光強度の変更処理の手順を示すフローチャートである。映像処理装置１００の光照射部１１は被撮像体への光の照射を開始し（Ｓ１）、撮像部１０で撮影された被撮像体の映像を映像取得部３１によって取得する（Ｓ２）。映像認識部３２によって被撮像体の顔の少なくとも一部分を画像認識し、認識された部分の動きの速度を動き検出部３３によって検出する（Ｓ３）。
　撮像制御部３４は、動き検出部３３によって検出された動きの速度が所定の閾値以上であるか否かを判定する（Ｓ４）。撮像制御部３４は、被撮像体の顔の少なくとも一部分の動きの速度が閾値以上であると判定した場合（Ｓ４：ＹＥＳ）、映像取得部３１におけるシャッターの開期間を短い値とし、光照射部１１による発光強度を大きい値に設定し（Ｓ５）、処理を終了する。但し、撮像制御部３４は、ステップＳ４における判定前からシャッターの開期間が短く、発光強度を大きい値に設定されている場合には、当該設定状態を維持する。
　撮像制御部３４は、ステップＳ４において被撮像体の顔の少なくとも一部分の動きの速度が閾値未満であると判定した場合（Ｓ４：ＮＯ）、映像取得部３１におけるシャッターの開期間を長い値とし、光照射部１１による発光強度を小さい値に設定し（Ｓ６）、処理を終了する。
　撮像制御部３４は、更に、ステップＳ６の後に取得される映像に対して画像精度検出部５０によって検出される画像認識精度が低下した場合、シャッターの開期間を短い値とし、光照射部１１による発光強度を大きい値に設定変更するようにしてもよい。また、上述のように、撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度に応じて、シャッターの開期間、および発光強度を連続的に変化させて設定するようにしてもよい。
　映像処理装置１００は、被撮像体の顔の少なくとも一部分の動きの速度が所定の閾値よりも遅い場合には、映像取得部３１におけるシャッターの開期間を長い値とし、光照射部１１による発光強度を小さい値に設定する。映像処理装置１００は、発光強度を小さい値に設定することによって被撮像体の目の負担を軽減し、シャッターの開期間を長い値に設定することによって被撮像体に対して撮影に必要な光量を照射して明るい映像を取得することができる。
　映像処理装置１００は、被撮像体の顔の少なくとも一部分の動きの速度が所定の閾値よりも速い場合には、映像取得部３１におけるシャッターの開期間を短い値とし、光照射部１１による発光強度を大きい値に設定する。映像処理装置１００は、シャッターの開期間を短い値に設定することによって被撮像体の顔の少なくとも一部分の動きが速い場合に画像認識精度の低下を抑制し、発光強度を大きい値に設定することによって明るい映像を取得することができる。
　映像処理装置１００は、動き検出部３３によって、被撮像体の顔の少なくとも一部分の動きとして、目の瞬き、視線の動き、および顔が振れる動きなどを検出する。被撮像体における目の瞬きの速度に応じてシャッターの開期間および発光強度を変化させることで、目の開状態および閉状態の映像を確実に取得することができる。
　また視線の動きの速度に応じてシャッターの開期間および発光強度を変化させることで、視線の動きを捉えた映像を確実に取得することができる。同様に、顔が振れる動きの速度に応じてシャッターの開期間および発光強度を変化させることで、被撮像体が左右および上下のどの方向を向いているかを捉えた映像を確実に取得することができる。
（実施形態２）
　図６は実施形態２に係る映像処理装置１００の構成を示すブロック図である。実施形態２における映像処理装置１００は、実施形態１における構成にブレ量検出部３５を更に備える。ブレ量検出部３５は、例えば映像処理装置１００が搭載される車両の振動などによって生じる被撮像体の映像におけるブレ量を、映像取得部３１によって取得した映像におけるエッジ部分の２重映りやボケ具合から検出する。
　撮像制御部３４は、ブレ量検出部３５によって検出したブレ量に応じて、シャッターの開期間Ｌ１およびＬ２、並びに発光強度Ｐ１およびＰ２の値を変化させる。撮像制御部３４は、ブレ量が大きい場合には、シャッターの開期間が短く、発光強度が大きくなるように設定する。また、撮像制御部３４は、ブレ量が小さい場合には、シャッターの開期間が長く、発光強度が小さくなるように設定する。
　映像処理装置１００は、ブレ量検出部３５によって検出したブレ量に応じて、シャッターの開期間Ｌ１およびＬ２、並びに発光強度Ｐ１およびＰ２の値を変化させることで、画像認識精度の低下を抑制しつつ、被撮像体の目への負担を軽減することができる。
（変形例）
　上述の各実施形態では、映像のフレームレートを変更しない範囲で、シャッターの開期間および発光強度を可変とする例を示したが、更に映像のフレームレートを変化させるようにしてもよい。撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度が遅くブレ量も少ない場合、目の開閉度や左右の目の傾き等の分析のための画像認識精度が十分に確保される範囲で、映像取得部３１によって取得する映像のフレームレートを下げるように設定してもよい。
　映像処理装置１００は、撮像制御部３４によって、取得する映像のフレームレートを下げ、さらにシャッターの開期間を長くして発光強度を小さくすることで、被撮像体の目への負担をより軽減することができる。
　また上述の各実施形態において、動き検出部３３によって、被撮像体の顔の少なくとも一部分の動きとして、目の瞬き、視線の動き、および顔が振れる動きなどを検出する例を示したが、口や鼻等の動きを検出するようにしてもよい。また、動き検出部３３は、被撮像体の顔の少なくとも一部分の動きとして、目の瞬きおよび視線の動きなどの一または複数の動きを検出してもよい。撮像制御部３４は、一または複数の動きの速度に基づいて、シャッターの開期間および発光強度を変化させるようにしてもよい。
[規則91に基づく訂正 24.12.2020]　
　また撮像制御部３４は、被撮像体に対して照射される外光が強く、光量が十分に確保されている場合には、光照射部１１による発光強度を０に設定してもよい。撮像制御部３４は、光量に余裕があれば、画像認識精度を上げるためにシャッターの開期間を短く設定してもよい。また映像処理装置１００は、更に目の開状態および閉状態を映像から検出する目開閉検出部（図示略）を設け、目が閉じている場合には、画像認識精度を優先して、シャッターの開期間を短く、発光強度を大きくしてもよい。
[規則91に基づく訂正 24.12.2020]　
　また映像処理装置１００は、光照射部１１において用いる光源の波長帯をカットするサングラス等の存在を検知し、被撮像体が該当するサングラスを着用している場合には、画像認識精度を優先して、シャッターの開期間を短く、発光強度を大きくしてもよい。
　次に、上述の各実施形態および変形例に係る映像処理装置１００、映像処理方法および映像処理プログラムの特徴を説明する。
　映像処理装置１００は、光照射部１１、映像取得部３１、動き検出部３３および撮像制御部３４を備える。光照射部１１は被撮像体の顔へ光を照射する。映像取得部３１は被撮像体の顔を撮影した映像を取得する。動き検出部３３は、映像取得部３１によって取得された映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御部３４は、動き検出部３３によって検出された速度が所定の閾値よりも遅い場合には、映像取得部３１におけるシャッターの開期間を長くして光照射部１１による発光強度を小さくし、速度が所定の閾値よりも速い場合には、映像取得部３１におけるシャッターの開期間を短くして光照射部１１による発光強度を大きくする。これにより、映像処理装置１００は、発光強度を小さい値に設定し、光の照射による被撮像体の目の負担を軽減することができる。
　また動き検出部３３は、映像から目部分における瞬きの速度を検出する。これにより、映像処理装置１００は、目の瞬きの速度に応じてシャッターの開期間および発光強度を変化させ、目の開状態および閉状態の映像を確実に取得することができる。
　また動き検出部３３は、映像から視線の動きの速度を検出する。これにより、映像処理装置１００は、視線の動きの速度に応じてシャッターの開期間および発光強度を変化させ、視線の動きを捉えた映像を確実に取得することができる。
　また動き検出部３３は、映像から顔が振れる動きの速度を検出する。これにより、映像処理装置１００は、顔が振れる動きの速度に応じてシャッターの開期間および発光強度を変化させることで、被撮像体が左右および上下のどの方向を向いているかを捉えた映像を確実に取得することができる。
　映像処理装置１００は、被撮像体のブレ量を検出するブレ量検出部３５を更に備える。撮像制御部３４は、ブレ量検出部３５によって検出されたブレ量に応じてシャッターの開期間および発光強度を変化させる。これにより、映像処理装置１００は、画像認識精度の低下を抑制しつつ、被撮像体の目への負担を軽減することができる。
　また映像処理装置１００は、動き検出部３３によって検出された速度に基づいて、映像取得部３１によって取得する映像のフレームレートを変化させる。これにより、映像処理装置１００は、取得する映像のフレームレートを下げ、さらにシャッターの開期間を長くして発光強度を小さくすることで、被撮像体の目への負担をより軽減することができる。
　映像処理方法は、光照射ステップ、映像取得ステップ、動き検出ステップおよび撮像制御ステップを備える。光照射ステップは被撮像体の顔へ光を照射する。映像取得ステップは被撮像体の顔を撮影した映像を取得する。動き検出ステップは、映像取得ステップによって取得された映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御ステップは、動き検出ステップによって検出された速度が所定の閾値よりも遅い場合には、映像取得ステップにおけるシャッターの開期間を長くして光照射ステップによる発光強度を小さくし、速度が所定の閾値よりも速い場合には、映像取得ステップにおけるシャッターの開期間を短くして光照射ステップによる発光強度を大きくする。この映像処理方法によれば、発光強度を小さい値に設定し、光の照射による被撮像体の目の負担を軽減することができる。
　映像処理プログラムは、光照射ステップ、映像取得ステップ、動き検出ステップおよび撮像制御ステップをコンピュータに実行させる。光照射ステップは被撮像体の顔へ光を照射する。映像取得ステップは被撮像体の顔を撮影した映像を取得する。動き検出ステップは、映像取得ステップによって取得された映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御ステップは、動き検出ステップによって検出された速度が所定の閾値よりも遅い場合には、映像取得ステップにおけるシャッターの開期間を長くして光照射ステップによる発光強度を小さくし、速度が所定の閾値よりも速い場合には、映像取得ステップにおけるシャッターの開期間を短くして光照射ステップによる発光強度を大きくする。この映像処理プログラムによれば、発光強度を小さい値に設定し、光の照射による被撮像体の目の負担を軽減することができる。
　以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。
　本発明は、ドライバーモニター等の映像処理装置、映像処理方法および映像処理プログラムに関する。
　１１　光照射部、　３１　映像取得部、　３３　動き検出部、
　３４　撮像制御部、　３５　ブレ量検出部、　１００　映像処理装置。

Claims (9)

  1. 　被撮像体の顔へ光を照射する光照射部と、
    　前記被撮像体の顔を撮影した映像を取得する映像取得部と、
    　前記映像取得部によって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出部と、
    　前記動き検出部によって検出された前記速度に基づいて、前記映像取得部におけるシャッターの開期間、および前記光照射部による発光強度を変化させる撮像制御部と、
    を備えることを特徴とする映像処理装置。
  2. 　前記動き検出部は、前記映像から目部分における瞬きの速度を検出することを特徴とする請求項１に記載の映像処理装置。
  3. 　前記動き検出部は、前記映像から視線の動きの速度を検出することを特徴とする請求項１に記載の映像処理装置。
  4. 　前記動き検出部は、前記映像から顔が振れる動きの速度を検出することを特徴とする請求項１に記載の映像処理装置。
  5. 　前記被撮像体のブレ量を検出するブレ量検出部を更に備え、
    　前記撮像制御部は、前記ブレ量検出部によって検出された前記ブレ量に応じてシャッターの開期間および発光強度を変化させることを特徴とする請求項１に記載の映像処理装置。
  6. 　前記動き検出部によって検出された前記速度に基づいて、前記映像取得部によって取得する前記映像のフレームレートを変化させることを特徴とする請求項１から５のいずれか１項に記載の映像処理装置。
  7. 　前記動き検出部によるシャッターの開期間および発光強度を変化させる制御の後に取得される映像に対する画像認識精度を検出する画像精度検出部を更に備え、
    　前記撮像制御部は、検出された前記画像認識精度に応じてシャッターの開期間および発光強度の設定を変更することを特徴とする請求項１から６のいずれか１項に記載の映像処理装置。
  8. 　被撮像体の顔へ光を照射する光照射ステップと、
    　前記被撮像体の顔を撮影した映像を取得する映像取得ステップと、
    　前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、
    　前記動き検出ステップによって検出された前記速度に基づいて、前記映像取得ステップにおけるシャッターの開期間、および前記光照射ステップによる発光強度を変化させる撮像制御ステップと、
    を備えることを特徴とする映像処理方法。
  9. 　被撮像体の顔へ光を照射する光照射ステップと、
    　前記被撮像体の顔を撮影した映像を取得する映像取得ステップと、
    　前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、
    　前記動き検出ステップによって検出された前記速度に基づいて、前記映像取得ステップにおけるシャッターの開期間、および前記光照射ステップによる発光強度を変化させる撮像制御ステップと、
    をコンピュータに実行させることを特徴とする映像処理プログラム。
PCT/JP2020/046087 2020-03-12 2020-12-10 映像処理装置、映像処理方法および映像処理プログラム WO2021181775A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20924415.1A EP4120015A4 (en) 2020-03-12 2020-12-10 VIDEO PROCESSING APPARATUS, VIDEO PROCESSING METHOD AND VIDEO PROCESSING PROGRAM
CN202080095764.7A CN115104062A (zh) 2020-03-12 2020-12-10 影像处理装置、影像处理方法以及影像处理程序
US17/823,534 US11871118B2 (en) 2020-03-12 2022-08-31 Video processing apparatus, video processing method, and recording medium for video processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020042921A JP7342746B2 (ja) 2020-03-12 2020-03-12 映像処理装置、映像処理方法および映像処理プログラム
JP2020-042921 2020-03-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/823,534 Continuation US11871118B2 (en) 2020-03-12 2022-08-31 Video processing apparatus, video processing method, and recording medium for video processing

Publications (1)

Publication Number Publication Date
WO2021181775A1 true WO2021181775A1 (ja) 2021-09-16

Family

ID=77671567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046087 WO2021181775A1 (ja) 2020-03-12 2020-12-10 映像処理装置、映像処理方法および映像処理プログラム

Country Status (5)

Country Link
US (1) US11871118B2 (ja)
EP (1) EP4120015A4 (ja)
JP (2) JP7342746B2 (ja)
CN (1) CN115104062A (ja)
WO (1) WO2021181775A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7319710B2 (ja) * 2021-09-03 2023-08-02 株式会社ユニバーサルエンターテインメント 遊技機

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06313918A (ja) 1993-04-28 1994-11-08 Olympus Optical Co Ltd ブレ防止カメラ
JP2007026213A (ja) * 2005-07-19 2007-02-01 Nikon Corp 撮像装置
JP2010028635A (ja) * 2008-07-23 2010-02-04 Mitsubishi Electric Engineering Co Ltd 車載型映像記録装置
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法
JP2014179686A (ja) * 2013-03-13 2014-09-25 Canon Inc 撮像装置、その制御方法、および制御プログラム
JP2017004389A (ja) * 2015-06-12 2017-01-05 学校法人早稲田大学 運転支援装置及び運転支援方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158357A1 (en) * 2007-01-03 2008-07-03 International Business Machines Corporation Apparatus for driver analysis using rearview mirror
JP6234762B2 (ja) * 2013-10-09 2017-11-22 アイシン精機株式会社 眼部検出装置、方法、およびプログラム
JP6735955B2 (ja) * 2018-05-10 2020-08-05 三菱電機株式会社 乗員監視装置及び乗員監視方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06313918A (ja) 1993-04-28 1994-11-08 Olympus Optical Co Ltd ブレ防止カメラ
JP2007026213A (ja) * 2005-07-19 2007-02-01 Nikon Corp 撮像装置
JP2010028635A (ja) * 2008-07-23 2010-02-04 Mitsubishi Electric Engineering Co Ltd 車載型映像記録装置
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法
JP2014179686A (ja) * 2013-03-13 2014-09-25 Canon Inc 撮像装置、その制御方法、および制御プログラム
JP2017004389A (ja) * 2015-06-12 2017-01-05 学校法人早稲田大学 運転支援装置及び運転支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4120015A4

Also Published As

Publication number Publication date
JP2021144150A (ja) 2021-09-24
EP4120015A1 (en) 2023-01-18
JP7342746B2 (ja) 2023-09-12
EP4120015A4 (en) 2023-09-06
US20220417408A1 (en) 2022-12-29
CN115104062A (zh) 2022-09-23
US11871118B2 (en) 2024-01-09
JP2023164485A (ja) 2023-11-10

Similar Documents

Publication Publication Date Title
JP5212927B2 (ja) 顔撮影システム
JP5761074B2 (ja) 撮像制御装置及びプログラム
US10521683B2 (en) Glare reduction
EP1933256B1 (en) Eye closure recognition system and method
JP4853389B2 (ja) 顔画像撮像装置
JP7138168B2 (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
JP3316725B2 (ja) 顔画像撮像装置
US20100094176A1 (en) Eye opening detection system and method of detecting eye opening
WO2020179174A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2008146172A (ja) 眼部検出装置、眼部検出方法及びプログラム
JP2007004448A (ja) 視線検出装置
JP2020145724A (ja) 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
JP2007025758A (ja) 人の顔画像抽出方法及び同装置
JP2023164485A (ja) 映像処理装置、映像処理方法および映像処理プログラム
EP2060993B1 (en) An awareness detection system and method
CN109565549A (zh) 用于运行内饰摄像机的方法和设备
JP2008171108A (ja) 顔状況判定処理装置および撮像装置
US20210357619A1 (en) Video processing device, video processing method, and recording medium for video processing
JP5206190B2 (ja) ドライバー監視装置
KR102038371B1 (ko) 운전자의 눈 위치 검출 장치 및 방법
CN111200709A (zh) 设定照相机系统的光源的方法、照相机系统及车辆
JP7472706B2 (ja) 視点位置検出システム
JP2022138279A (ja) 目開閉判定装置および目開閉判定方法
JP2008171107A (ja) 顔状況判定処理装置および撮像装置
JP2024000525A (ja) まばたき検出方法及びシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924415

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020924415

Country of ref document: EP

Effective date: 20221012