WO2014054199A1 - 状態監視装置 - Google Patents

状態監視装置 Download PDF

Info

Publication number
WO2014054199A1
WO2014054199A1 PCT/JP2013/003045 JP2013003045W WO2014054199A1 WO 2014054199 A1 WO2014054199 A1 WO 2014054199A1 JP 2013003045 W JP2013003045 W JP 2013003045W WO 2014054199 A1 WO2014054199 A1 WO 2014054199A1
Authority
WO
WIPO (PCT)
Prior art keywords
light emission
exposure period
light
state
unit
Prior art date
Application number
PCT/JP2013/003045
Other languages
English (en)
French (fr)
Inventor
大見　拓寛
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/421,923 priority Critical patent/US9386231B2/en
Priority to DE112013004861.2T priority patent/DE112013004861B4/de
Priority to CN201380051831.5A priority patent/CN104718743B/zh
Publication of WO2014054199A1 publication Critical patent/WO2014054199A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/045—Lens hoods or shields
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0503—Built-in units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0589—Diffusors, filters or refraction means
    • G03B2215/0592—Diffusors, filters or refraction means installed in front of light emitter

Definitions

  • the present disclosure relates to a technology that is mounted on a vehicle and monitors a state of a driver who controls the vehicle.
  • a state monitoring device mounted on a vehicle uses a face image obtained by photographing a driver's face in order to monitor the state of the driver.
  • the state monitoring device receives a light emitting unit that emits illumination light toward a prescribed region that is defined in advance as a region in which the operator's face is located, and light that is incident from the prescribed region.
  • an imaging unit for photographing the face is a unit for photographing the face.
  • Patent Document 1 discloses an imaging device with a flash device that includes a flash related to the above-described light emitting unit and an imaging element related to the above-described imaging unit.
  • the length of the exposure period in which the imaging element is in the exposure state is constant. Then, according to the brightness of the subject to be photographed, the length of the flash emission period in the exposure period, and thus the light emission amount, is changed. Further, the light emission start timing of the flash is adjusted according to the light emission amount of the flash.
  • the length of the exposure period in the imaging unit can be changed.
  • the tone value of the face image can be adjusted to be within a predetermined range regardless of the intensity of the ambient light reaching the pilot's face.
  • the light emitting unit is controlled to continue emitting illumination light during the exposure period.
  • the inventor of the present disclosure pays attention to the light emission of the light emitting unit that is continued during the exposure period, and has studied to reduce the heat generated by such light emission.
  • the illumination brightness of the illumination light emitted from the light emitting unit is lowered to reduce heat generation, the face image cannot be captured correctly when the ambient light reaching the driver's face is strong. It has been found.
  • ambient light illuminates only part of the pilot's face. Then, it becomes impossible to adjust the entire face image to an appropriate gradation value by adjusting the length of the exposure period.
  • the function of the light emitting unit that reduces the influence of ambient light is not exhibited, so that the imaging unit cannot correctly capture the face image.
  • An object of the present disclosure is to provide a state monitoring device that can correctly capture a face image while reducing heat generation due to light emission.
  • a state monitoring device that is mounted on a vehicle and monitors the state of the driver using a face image obtained by photographing the face of the driver who controls the vehicle. Provided as follows. By receiving light incident from a predetermined area that is defined in advance as an area where the pilot's face is located, the imaging unit that generates the face image and the length of the exposure period in which the imaging unit is exposed are changed.
  • the imaging control unit that adjusts the tone value of the face image
  • the light emitting unit that continuously emits illumination light toward the specified area during the exposure period set by the imaging control unit
  • the exposure by the imaging control unit A light emission control unit that controls the light emission unit so that the light emission luminance at the start of the exposure period increases as the period is shortened.
  • a state monitoring method for causing a computer to execute a process for monitoring a state of a driver mounted on a vehicle and using a face image obtained by photographing a face of the driver who controls the vehicle.
  • An imaging step for generating a face image by receiving light incident from a predetermined region that is defined in advance as a region where the operator's face is located, and an exposure period that is set in an exposure state in the imaging step.
  • An imaging control step for adjusting the gradation value of the face image by changing, a light emission step for continuously emitting illumination light toward the specified region during the exposure period set by the imaging control step, and an imaging control step And a light emission control step for controlling the light emission step so that the light emission luminance at the start of the exposure period increases as the exposure period is shortened.
  • the storage medium is a non-transition storage medium, and the medium includes instructions that are read and executed by a computer, and the instructions are the state monitoring method according to the second aspect described above. And the method is computer mounted.
  • the exposure period when photographing the face is shortened in order to reduce the tone value of the face image. Then, the emission luminance of the illumination light emitted toward the specified range at the start of the exposure period is increased. Then, since strong illumination light continues to be applied to the face of the pilot, the influence of ambient light when photographing a face image can be reduced.
  • the exposure time for photographing the face is lengthened in order to improve the tone value of the face image. Then, the emission luminance of the illumination light emitted toward the specified area at the start of the exposure period is lowered.
  • the environmental light since the environmental light is weak, the influence of the environmental light on the face image can be small even if the luminance of the illumination light applied to the face is low. And since the light emission luminance at the start of the exposure period is kept low, it is possible to reduce the heat generated by the light emission.
  • the state monitoring apparatus 100 is mounted on a vehicle 1 as a “moving body” and is referred to as a driver (hereinafter referred to as a driver) who drives or controls the vehicle.
  • a driver who drives or controls the vehicle.
  • This is a driver status monitor that monitors the status of
  • the state monitoring device 100 includes an imaging unit 10, a light projecting unit 15, a control circuit 20, and a housing 60 (see FIG. 3) that houses these configurations.
  • the state monitoring device 100 is connected to an actuation unit 90 and the like mounted on the vehicle.
  • the imaging unit 10 shown in FIGS. 1 and 2 is a device that generates a face image 51 (see also FIG. 4) obtained by photographing a driver's face in the state monitoring device 100 installed on the upper surface of the steering column 81.
  • the image capturing unit 10 captures a predetermined area PA defined in advance in the vehicle 1.
  • This prescribed area PA includes an area where the face of the driver who is seated in the driver's seat is assumed to be located.
  • the prescribed area PA is defined on the basis of the iris assumed from the eye range of each eye of the driver, and is defined to include, for example, the 99th percentile of the iris.
  • the imaging unit 10 is a so-called near-infrared camera, and is configured by combining the imaging element 11 with an optical lens, an optical filter, and the like.
  • the imaging element 11 generates an electrical signal corresponding to the intensity of received light by a plurality of pixels arranged along the imaging surface.
  • the image sensor 11 is arranged in a posture in which the imaging surface is directed to the defined area PA.
  • the imaging device 11 is in an exposure state based on a control signal from the control circuit 20 and receives incident light incident from the defined area PA, thereby generating a monochrome face image 50 drawn with shades of white and black. .
  • the face images 50 thus photographed are sequentially output from the imaging unit 10 to the control circuit 20.
  • the light projecting unit 15 continuously emits illumination light toward the defined area PA during the exposure period of the imaging unit 10.
  • the light projecting unit 15 includes a light emitting diode 16 and a driving unit 17.
  • the light emitting diode 16 is provided adjacent to the imaging unit 10 (see FIG. 3), and emits illumination light including a near infrared band.
  • the light emitted from the light emitting diode 16 is emitted toward the defined area PA and reflected toward the imaging unit 10 by the driver's face or the like. Thereby, the light emitted from the light projecting unit 15 is included in the incident light received by the image sensor 11.
  • the drive unit 17 is a circuit that applies a predetermined current to the light emitting diode 16.
  • the drive unit 17 switches between an on state and an off state of the current applied to the light emitting diode 16 in accordance with the exposure period of the imaging unit 10 based on the control signal from the control circuit 20.
  • a constant current circuit is used as the drive unit 17, but the drive unit may not be a constant current circuit.
  • the control circuit 20 is a circuit that controls the operation of these components by a control signal output to the imaging unit 10, the light projecting unit 15, the actuation unit 90, and the like.
  • the control circuit 20 is mainly configured by a microcomputer including a processor that performs various arithmetic processes, a RAM that functions as a work area for the arithmetic processes, and a flash memory that stores programs used for the arithmetic processes.
  • the control circuit 20 includes a power supply circuit that supplies power to the imaging unit 10, the light projecting unit 15, and the like.
  • the control circuit 20 includes a plurality of functional blocks such as an image acquisition unit 21, a state determination unit 31, and a warning control unit 33 by executing a program stored in advance by a processor.
  • This functional block is also referred to as a functional section.
  • the image acquisition unit 21 is a functional block that performs driver's face recognition using the face image 50.
  • the image acquisition unit 21 sets an imaging condition in the imaging unit 10 and a light emission condition in the light projecting unit 15 in order to acquire a face image 50 from which the driver's face can be extracted. Then, the image acquisition unit 21 outputs a control signal to the image capturing unit 10 and the light projecting unit 15 in order to cause the image capturing unit 10 and the light projecting unit 15 to perform an operation in accordance with the set image capturing condition and light emission condition.
  • the image acquisition unit 21 acquires the face image 50 thus captured from the imaging unit 10.
  • the image acquisition unit 21 performs image processing on the acquired face image 50 to obtain values related to the driver's face orientation and the degree of eye opening (hereinafter referred to as “eyes open degree”) and the degree of driver drowsiness. Calculate related values.
  • the state determination unit 31 compares the value calculated by the image acquisition unit 21 with a preset threshold value. By this comparison processing, the state determination unit 31 estimates whether, for example, a sign of driving aside or a sign of dozing operation is detected. And the state determination part 31 which detected the above-mentioned sign determines with the state which should alert a driver
  • the warning control unit 33 is connected to the actuation unit 90.
  • the warning control unit 33 outputs a control signal to the actuation unit 90 by performing a warning process when the state determination unit 31 determines that a situation that should warn the driver has occurred.
  • the warning control unit 33 issues a warning to the driver by operating the actuation unit 90.
  • the housing 60 includes a main body member 63, a front cover member 66, a rear cover member (not shown), and the like as shown in FIG.
  • the main body member 63 holds the sub-board 62 on which the light projecting unit 15 and the imaging unit 10 are mounted.
  • a main board 61 on which the control circuit 20 is formed is attached to the sub board 62 in a posture orthogonal to the sub board 62.
  • the body member 63 is provided with an insertion hole 64 and a light distribution portion 65.
  • the insertion hole 64 is provided in the central portion of the main body member 63 in the horizontal direction, and allows the imaging unit 10 mounted on the sub-board 62 to be inserted.
  • the insertion hole 64 cooperates with a light blocking hole provided in the sub-substrate 66 to exhibit a light blocking function between the light projecting unit 15 and the imaging unit 10, thereby Light leakage to the imaging unit 10 is prevented.
  • the light distribution unit 65 is disposed so as to sandwich the insertion hole 64 in the horizontal direction, and faces the light projecting unit 15 mounted on the sub-board 62.
  • the light distribution unit 65 distributes light to the defined area PA (see FIG. 1) while transmitting the light emitted from the light projecting unit 15.
  • the front cover member 66 is provided with a visible light filter 67.
  • the visible light filter 67 mainly transmits light in the red to near-infrared band used for generating the face image 50 (see FIG. 4) and shields light in the visible light band that is unnecessary for generating the face image 50. To do.
  • the visible light filter 67 covers an opening 68 formed at a position facing the light distribution portion 65 in the front cover member 66.
  • the rear cover member is disposed on the opposite side of the front cover member 66 with the main body member 63 interposed therebetween. The rear cover member covers the substrates 61 and 62 to protect them from dust and dirt in the atmosphere.
  • the 2 includes, for example, a speaker 91, a seat vibration device 93, an air conditioner 95, and the like mounted on the vehicle 1 (see FIG. 1).
  • the speaker 91 alerts the driver by reproducing audio data based on a control signal from the warning control unit 33.
  • the seat vibration device 93 is installed inside the seat surface of the driver's seat or the like, and alerts the driver by vibrating the driver's seat based on a control signal from the warning control unit 33.
  • the air conditioner 95 alerts the driver by an operation such as introducing outside air into the vehicle 1 based on a control signal from the warning control unit 33.
  • the image acquisition unit 21 includes an image processing block 22, a temperature monitoring block 26, a condition setting block 23, a rating monitoring block 27, an imaging control block 24, and a light emission control block 25 as sub function blocks.
  • the image processing block 22 acquires the face image 50 captured based on the control signal from the imaging control block 24 from the imaging unit 10. Then, the image processing block 22 sets, for example, the driver's eyebrow gap as the recognition target region RA (see FIG. 4). Then, the image processing block 22 extracts the brightness, that is, the gradation value of the recognition target part RA while tracking the recognition target part RA.
  • the temperature monitoring block 26 is connected to the temperature sensor 35.
  • the temperature sensor 35 is provided in the state monitoring device 100 and detects a device temperature related to the device 100.
  • the temperature monitoring block 26 acquires the apparatus temperature detected by the temperature sensor 35.
  • the condition setting block 23 performs control for adjusting the gradation value extracted by the image processing block 22. Specifically, the condition setting block 23 performs imaging in the imaging unit 10 based on a preset control table so that a face image 50 with excellent contrast is captured based on an exposure instruction from the image acquisition unit 21. Set conditions. As this imaging condition, the condition setting block 23 changes, for example, a gain value, an exposure time, an exposure timing, and the like.
  • the gain value is an input / output ratio when the signal output from the image sensor 11 is amplified and output.
  • the gain value is maintained at a substantially constant value even when the gradation value of the recognition target region RA varies, or increases slightly as the gradation value of the recognition target region RA becomes low (darkens).
  • the exposure time is the length of the exposure period in which the exposure state is maintained during one shooting. The exposure time is set longer as the gradation value of the recognition target region RA becomes lower. Therefore, as shown in FIG. 5, the length et_s of the exposure period in an environment with a lot of ambient light is set shorter than the length et_l of the exposure period in an environment with little ambient light.
  • the exposure timing is for instructing the start time t_es of the exposure period so that shooting is performed at the period T.
  • the imaging unit 10 (see FIG. 2) can appropriately change the shooting period T in a shooting mode (snapshot mode) in which the face image 50 is continuously shot. For example, by setting the period T to about 33 milliseconds, the face image 50 is captured at 30 frames per second.
  • the above exposure timing is associated with the light emission timing described later.
  • condition setting block 23 shown in FIG. 2 sets the light emission conditions according to the imaging conditions.
  • the condition setting block 23 changes, for example, the light emission time and the light emission timing.
  • the light emission luminance of the light emitting diode 16 (see FIG. 2) in the first embodiment is equal to or higher than the light emission luminance at the start time t_es from the start time t_es to the end time t_ef of the exposure period. , Maintained at maximum brightness.
  • the light emission time is the length of the light emission period in which the light emission state is maintained during one shooting.
  • the light emission time varies depending on the exposure time and is set to be longer than the exposure time.
  • the light emission timing indicates the start time t_ls of the light emission period.
  • the start time t_ls of the light emission period in which the light emitting diode 16 is in the light emitting state is set to precede the start time t_es of the exposure period.
  • a period preceding the start time t_ls of the light emission period with respect to the start time t_es of the exposure period (hereinafter referred to as “preceding period”) is set longer as the exposure period is shortened.
  • the length at1 of the preceding period when the length of the exposure period is et_s is secured longer than the length at2 of the preceding period when the length of the exposure period is et_l.
  • the light emission luminance of the light emitting diode 16 at the start time t_es of the exposure period increases as the exposure period becomes shorter.
  • the emission luminance at the start t_es of the exposure period when the preceding period is at1 is equal to the maximum luminance (100%), whereas the emission luminance when the preceding period is at2, This is about 30% of the maximum luminance.
  • the preceding period is adjusted, for example, between about 0 to 100 microseconds.
  • the value related to the light emission timing may be set in consideration of the time constant in the circuit of the light projecting unit 15 and the rise time of the current required when the light emission of the light emitting diode 16 transitions from the off state to the on state. desirable.
  • the waveform indicating the light emission state substantially indicates the value of the current flowing through the light emitting diode 16.
  • condition setting block 23 shown in FIG. 2 sets the light emission condition, specifically, the preceding period provided in the light emission timing, based on the apparatus temperature acquired by the temperature monitoring block 26.
  • the preceding period is set shorter as the apparatus temperature increases. Therefore, the length at3 of the preceding period when the environmental temperature is T2 is shorter than the length at1 of the preceding period when the environmental temperature is T1 lower than T2.
  • the light emission luminance of the light emitting diode 16 at the start time t_es of the exposure period decreases as the apparatus temperature increases.
  • the light emission luminance when the preceding period is at3 is about 90% of the maximum luminance.
  • the rating monitoring block 27 shown in FIG. 2 stores the rating conditions of the light emitting diode 16. More specifically, the light emitting diode 16 is defined with a maximum value of the on-duty ratio corresponding to the period T and the current value as a rated condition.
  • the rating monitoring block 27 monitors whether or not the on-duty ratio determined by the light emission timing and the light emission time satisfies the rated condition for the light emission condition set by the condition setting block 23. When the light emission condition set by the condition setting block 23 exceeds the rated condition, the rating monitoring block 27 changes the light emission condition to a value that does not exceed the rated condition in order to prevent the light emitting diode 16 from being damaged.
  • the imaging control block 24 generates a control signal based on the control value calculated by the condition setting block 23 and outputs the control signal to the imaging unit 10.
  • the control value used in the imaging control block 24 is a value in accordance with the imaging condition set by the condition setting block 23.
  • the light emission control block 25 generates a control signal based on the control value calculated by the condition setting block 23 and outputs the control signal to the light projecting unit 15.
  • the control value used in the light emission control block 25 is a value according to the light emission condition set by the condition setting block 23.
  • each waveform in FIGS. 6 to 8 is enlarged in the time axis direction with respect to the shape of each waveform in FIG.
  • the area obtained by time integration in the exposure period for the waveform representing the light emission state is the area obtained by time integration in the exposure period for the waveform representing the exposure state.
  • the divided value is defined as the light coverage.
  • the illumination coverage ratio changes according to the exposure period and the apparatus temperature.
  • FIG. 6 is a diagram in which waveforms are superimposed when the length of the exposure period is et_s and the apparatus temperature is t1.
  • the light emission luminance of the light emitting diode 16 reaches the maximum luminance prior to the start time t_es of the exposure period. Therefore, the entire region showing the on state of the exposure state is covered with the region showing the on state of the light emitting state. Therefore, the illumination coverage is substantially 100%.
  • FIG. 7 is a diagram in which waveforms are superimposed when the length of the exposure period is et_l and the apparatus temperature is t1.
  • the preceding period at2 is shorter than the preceding period at1 (see FIG. 6)
  • the light emission luminance of the light emitting diode 16 reaches the maximum luminance after the start of the exposure period. Therefore, a part of the region indicating the on state of the exposure state deviates from the region indicating the on state of the light emitting state. Thereby, the illumination coverage is about 95%, for example.
  • FIG. 8 is a diagram in which waveforms are superimposed when the length of the exposure period is et_s and the apparatus temperature is t2.
  • the preceding period at3 is shorter than the preceding period at1 (see FIG. 6)
  • the light emission luminance of the light emitting diode 16 reaches the maximum luminance after the start of the exposure period. In this way, a part of the area showing the on state of the exposure state deviates from the area showing the on state of the light emitting state, so that the illumination coverage is about 90%, for example.
  • the light projecting unit 15 shown in FIG. 2 is controlled to emit light so that the illumination coverage rate increases as the exposure period is shortened.
  • the light projecting unit 15 is controlled to emit light so that the illumination cover ratio decreases as the apparatus temperature increases.
  • FIG. 9 is started by the image acquisition unit 21 when the ignition of the vehicle 1 (see FIG. 1) is turned on.
  • each section is expressed as S101, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.
  • control values of the imaging unit 10 and the light projecting unit 15 used for control by the light emission control block 25 and the imaging control block 24 are set.
  • a default value defined in advance is used.
  • the control values calculated in the previous S109 and S111 are used.
  • the control signals output from the control blocks 24 and 25 are used to instruct to capture the face image 50, and the process proceeds to S102.
  • the light projecting unit 15 emits illumination light, and the imaging unit 10 generates a face image 50 and outputs it to the image processing block 22.
  • S102 the face image 50 photographed based on the instruction in S101 is acquired, and the process proceeds to S103.
  • S103 image processing of the face image 50 acquired in S102 is performed, and the process proceeds to S104.
  • S104 it is determined whether or not the driver's face recognition is successful in the image processing in S103. If it is determined in S104 that the face recognition is not successful, the process proceeds to S109. On the other hand, if it is determined in S104 that the face recognition is successful, the process proceeds to S105.
  • S105 based on the result of the image processing performed in S103, the direction of the driver's face, the degree of eye opening, and the like are detected, and the degree of drowsiness of the driver is estimated. Then, the direction of the face, the degree of eye opening, the degree of drowsiness, etc. are converted into numerical values so as to be quantitatively evaluated, and the process proceeds to S106.
  • S106 by comparing the value calculated in S105 with a preset threshold value, it is determined whether there is a value for which a warning should be performed. If there is a warning value in S106 and it is determined that a sign of aside driving or a sign of dozing is detected, the process proceeds to S107. In S107, a warning process for operating the actuation unit 90 is performed, and the process proceeds to S108. On the other hand, if it is determined in S106 that there is no warning value, the process proceeds to S108.
  • S108 it is determined whether or not the control value of the imaging unit 10 set in S101 is appropriate. Specifically, it is determined whether or not the gradation value of the recognition target region RA (see FIG. 4) is within an appropriate range. If it is determined in S108 that the control value of the imaging unit 10 is appropriate, the process returns to S101. On the other hand, if it is determined in S108 that the control value of the imaging unit 10 is not appropriate, the process proceeds to S109.
  • the imaging condition and the light emission condition for the next frame shooting are calculated. That is, the control values of the light projecting unit 15 and the imaging unit 10 are determined so that the gradation value of the recognition target region RA described above falls within an appropriate range.
  • the apparatus temperature detected by the temperature sensor 35 is acquired, and the process proceeds to S111.
  • the preceding period is determined based on the exposure period in the imaging conditions calculated in S109 and the apparatus temperature acquired in S111.
  • the light emission timing (the start time t_ls of the light emission period) is calculated from the determined preceding period.
  • the control values determined in S109 and S111 are set in the light emission control block 25 and the imaging control block 24 in the next S101, and are reflected in the photographing of the face image 50.
  • S112 following S111, it is determined whether or not the ignition ON state of the vehicle 1 is continued. If a negative determination is made in S112 because the ignition is turned off, the process is terminated. On the other hand, if a positive determination is made in S112, the process returns to S101.
  • the emission luminance of the illumination light emitted at the start t_es of the exposure period is , Raised. Therefore, the influence of ambient light at the time of photographing the face image 50 can be reduced. Therefore, a situation where ambient light illuminates only a part of the driver's face and the face image 50 having an appropriate contrast cannot be captured is avoided.
  • the exposure time is extended when the ambient light reaching the driver's face is weak, the emission luminance of the illumination light emitted at the start t_es of the exposure period is lowered.
  • the influence of the ambient light on the face image 50 can be small even if the luminance of the illumination light applied to the face is low. Then, by suppressing the light emission luminance at the start time t_es of the exposure period, it is possible to reduce the heat generation of the light projecting unit 15 due to light emission.
  • the emission luminance of the illumination light is kept high from the start time t_es to the end time t_ef of the exposure period. In this way, by irradiating the driver's face with strong illumination light over the entire exposure period, the effect of reducing the influence of the ambient light when photographing the face image 50 is exhibited with higher reliability.
  • the first embodiment by increasing the preceding period, high emission luminance at the start time t_es of the exposure period is ensured.
  • a long transition period (see the current rise time lt_s in FIG. 6) in which the light emission of the light-emitting diode 16 transitions from the off state to the on state can be ensured. Therefore, it is possible to realize an operation of increasing the light emission luminance at the start time t_es of the exposure period while suppressing electrical noise generated when the light emitting diode 16 is switched between the on state and the off state.
  • the lifetime due to the cumulative lighting time of the light-emitting diode 16 as in the first embodiment becomes a factor that can be significantly shortened including the drive unit 17 and the like when the operation in a high temperature environment is continued. Therefore, the state monitoring apparatus 100 reduces the load on the light emitting diode 16 and the drive unit 17 by suppressing the light emission luminance at the start time t_es of the exposure period as the apparatus temperature increases. With such control, a long-term reliable operation of the light projecting unit 15 can be realized by allowing a decrease in light emission luminance at the start time t_es of the exposure period.
  • the vehicle 1 is also referred to as a moving body
  • the imaging unit 10 is also referred to as an imaging device or imaging means
  • the light projecting unit 15 is also referred to as a light emitting unit, a light emitting device, or a light emitting means.
  • the condition setting block 23 and the imaging control block 24 work together as an imaging control unit, and are also referred to as an imaging control device or an imaging control means.
  • the case setting block 23 and the light emission control block 25 function as a light emission control unit in cooperation, and are also referred to as a light emission control device or an issue control means.
  • the temperature sensor 35 is also referred to as a temperature detection unit, a temperature detection device, or a temperature detection means.
  • S101 is also referred to as an imaging section or imaging step and a light emission section or light emission step.
  • S109 is also referred to as an imaging control section or an imaging control step.
  • S111 is also referred to as a light emission control section or a light emission control step.
  • the second embodiment of the present disclosure shown in FIGS. 10 and 11 is a modification of the first embodiment.
  • the falling start timing hereinafter referred to as “extinguishing timing”
  • t_lf with respect to the end time t_ef of the exposure period is the exposure time. It is changed according to the length of the period and the apparatus temperature.
  • the turn-off timing t_lf is defined after the end of the exposure period, as in the first embodiment shown in FIG.
  • FIG. 10 is a diagram in which waveforms are superimposed when the length of the exposure period is et_l and the apparatus temperature is t1.
  • the turn-off timing t_lf is defined to precede the exposure time t_ef. Therefore, the light emission luminance at the end of the exposure period t_ef is, for example, about 30% of the maximum luminance, similar to the light emission luminance at the start time t_es of the exposure period. As a result, the illumination coverage is about 90%.
  • FIG. 11 is a diagram in which waveforms are superimposed when the length of the exposure period is et_s and the apparatus temperature is t2.
  • the turn-off timing t_lf is defined to precede the end time t_ef of the exposure period. Therefore, the emission luminance at the end of the exposure period t_ef is, for example, about 90% of the maximum luminance. As a result, the illumination coverage is about 85%.
  • the light projecting unit 15 controls the light emission so that the light emission luminance at the end of the exposure period t_ef increases as the exposure period is shortened. . Therefore, as in the first embodiment, the illumination cover ratio increases as the exposure period decreases. Therefore, even in the state monitoring apparatus according to the second embodiment, when the ambient light is strong, the face image 50 (see FIG. 4) is correctly captured by irradiation with strong illumination light, and when the ambient light is weak, the light is emitted. By suppressing it, it becomes possible to realize a remarkable effect of reducing heat generation.
  • the light projecting unit 15 (see FIG. 2) of the second embodiment is controlled to emit light so that the emission luminance at the end of the exposure period t_ef decreases as the apparatus temperature increases.
  • the control for reducing the load on the light emitting diode 16 (see FIG. 2) and the drive unit 17 (see FIG. 2) when the apparatus temperature is high as in the first embodiment, A long-term reliable operation of the light projecting unit 15 can be realized.
  • the illumination cover ratio can be flexibly changed according to the length of the exposure period by controlling the turn-off timing t_lf in addition to the light emission timing (t_ls). Therefore, the feasibility of light emission control and imaging control for reducing heat generation while correctly capturing the face image 50 (see FIG. 4) is further enhanced.
  • the third embodiment of the present disclosure shown in FIGS. 12 and 13 is another modification of the first embodiment.
  • the transition period during lighting in which the light emitting state of the light emitting diode 16 is changed from the off state to the on state, that is, the rise time of the current due to the driving of the driving unit 17 is the length of the exposure period and the apparatus temperature.
  • FIG. 12 is a diagram in which waveforms are superimposed when the length of the exposure period is et_l and the apparatus temperature is t1.
  • the current rise time lt_l is controlled to be longer than the rise time lt_s (see FIG. 6) when the length of the exposure period is et_l.
  • the light emission luminance at the start time t_es of the exposure period is set to about 30% of the maximum luminance.
  • FIG. 13 is a diagram in which waveforms are superimposed when the length of the exposure period is et_s and the apparatus temperature is t2.
  • the current rise time lt_h is controlled to be longer than the rise time lt_s (see FIG. 6) when the apparatus temperature is t2.
  • the light emission luminance at the start time t_es of the exposure period is set to about 90% of the maximum luminance.
  • the light projecting unit 15 (see FIG. 2) of the third embodiment has the preceding period increased and the current rise time shortened as the exposure period is shortened. In this way, the light projecting unit 15 is controlled to emit light so that the light emission luminance at the start time t_es of the exposure period increases. Therefore, even in the state monitoring device according to the third embodiment, when the ambient light is strong, the face image 50 is correctly captured by irradiation with strong illumination light, and when the ambient light is weak, heat generation is suppressed by suppressing light emission. It is possible to realize a remarkable effect of reducing.
  • the light projecting unit 15 (see FIG. 2) of the third embodiment is controlled to emit light so that the emission luminance at the start time t_es of the exposure period decreases as the apparatus temperature increases.
  • the control for reducing the load on the light emitting diode 16 and the driving unit 17 when the apparatus temperature is high the light projecting unit 15 can be reliably used over a long period of time as in the first embodiment. Operation becomes feasible.
  • the exposure period when the exposure period is long, a long rise time of the current is secured. Therefore, generation
  • the exposure period when the exposure period is short, the light emission period can be shortened by shortening the rise time of the current. Therefore, the effect of reducing heat generation due to light emission is further improved.
  • a drive unit that can change the current value applied to the light emitting diode 16 is employed. Accordingly, as shown in FIG. 14, when the length of the exposure period is et_l, the maximum current value i_l applied to the light emitting diode 16 is the maximum current value i_Max applied when the length of the exposure period is et_s. (See FIG. 6). Also by such control, the light emission luminance at the start time t_es of the exposure period can be set to about 30% of the maximum luminance.
  • the light emission luminance at the end of the exposure period t_ef is lower than the light emission luminance at the start time t_es of the period.
  • the current value for determining the light emission luminance is constant after reaching the maximum from the start time t_es of the exposure period to the end time t_ef of the exposure period.
  • the current value varies slightly in the exposure period, and may be, for example, lower than the current value at the start time t_es of the exposure period.
  • each illumination cover rate illustrated in the said embodiment is a conceptual value, and it changes suitably according to the specification of an imaging part and a light projection part so that the face image 50 excellent in contrast may be image
  • an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) can be used as appropriate as the image sensor of the imaging unit.
  • the frequency region of light detected by the image sensor is not limited to the near infrared region, and may be a visible light region or the like. Furthermore, it is desirable that the light emitting diodes be appropriately changed in the frequency region, the number, the arrangement, and the like of the emitted light so as to correspond to the specifications of the image sensor.
  • the shutter that controls the exposure of the image sensor may be a global shutter that exposes all pixels on the imaging surface substantially simultaneously, or a rolling shutter that sequentially exposes a specific pixel row. There may be. Even in a form that employs such a rolling shutter, if the frame rate set in the imaging unit is large and the on-duty ratio in the exposure state is small, the same effect as that in the form that employs the global shutter can be exhibited.
  • the light emission luminance at the end of the exposure period t_ef is lower than the light emission luminance at the start time t_es of the period.
  • the current value for determining the light emission luminance is constant after reaching the maximum from the start time t_es of the exposure period to the end time t_ef of the exposure period.
  • the current value varies slightly in the exposure period, and may be, for example, lower than the current value at the start time t_es of the exposure period.
  • the installation positions of the imaging unit 10 and the state monitoring device 100 that are the upper surface of the steering column 81 may be changed as appropriate as long as the imaging of the specified area PA is possible.
  • the state monitoring device may be installed on the upper surface of the instrument panel, for example, or may be attached to a ceiling portion near the sun visor.
  • the imaging unit may be provided separately from the main body of the state monitoring device and at a position suitable for photographing the defined area PA.
  • the method for determining the prescribed area PA in the above embodiment may be changed as appropriate.
  • the defined area PA may be defined to include the 95th percentile of Ilips.
  • the method for determining the prescribed area PA is not limited to the method for determining from the iris.
  • the prescribed area PA may be determined experimentally by actually sitting a plurality of drivers of different races, genders, ages, etc. on the driver's seat. Such a defined area PA is desirably defined in consideration of the movement of the face accompanying the driving operation.
  • the plurality of functions provided by the control circuit 20 that has executed the state monitoring program may be provided by hardware and software different from the above-described control device, or a combination thereof.
  • functions corresponding to each functional block and sub-functional block may be provided by an analog circuit that performs a predetermined function without depending on a program.
  • the present disclosure monitors not only the so-called driver status monitor for automobiles as vehicles, but also the state of the driver by various moving bodies (transport equipment) such as motorcycles, tricycles, ships, and aircraft as vehicles.
  • the present invention can be applied to a state monitoring device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

　状態監視装置（１００）は、車両（１）に搭載され、運転者の顔画像（５０）を用いて運転者の状態を監視する。状態監視装置は、投光部（１５）から規定領域（ＰＡ）に向けて光を出射させ、規定領域に位置すると想定される運転者の顔面にて反射した光を、撮像部（１０）にて受光する。状態監視装置の制御回路（２０）は、撮像部の撮像素子（１１）が露光状態とされる露光期間の長さを変更することにより、顔画像の階調値を調整する。さらに制御回路は、撮像素子の露光期間が短くされるに従い、露光期間の開始時（ｔ_ｅｓ）における発光輝度が高くなるよう投光部の発光を制御する。

Description

状態監視装置 関連出願の相互参照
　本開示は、２０１２年１０月２日に出願された日本出願番号２０１２－２２０６６４号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両に搭載され、車両を操縦する操縦者の状態を監視する技術に関する。
　従来、車両に搭載される状態監視装置は、操縦者の状態を監視するために、操縦者の顔面を撮影した顔画像を用いている。こうした顔画像の撮影のために、状態監視装置は、操縦者の顔面が位置する領域として予め規定された規定領域に向けて照明光を出射させる発光部と、規定領域から入射する光を受光することで顔面を撮影する撮像部とを備えている。
　ここで、特許文献１には、上述の発光部に関連するフラッシュと、上述の撮像部に関連する撮像素子とを備えた閃光装置付撮像装置が開示されている。この撮像装置において、撮像素子が露光状態とされる露光期間の長さは、一定とされている。そして、撮影する被写体の明るさに応じて、露光期間におけるフラッシュの発光期間の長さ、ひいては発光量が変更される。さらに、フラッシュの発光量に応じて、フラッシュの発光開始タイミングが調整される。
　一方で、上述したような状態監視装置では、特許文献１の撮像装置とは異なり、撮像部における露光期間の長さが、変更可能とされている。これにより、操縦者の顔面に到達している環境光の強さに関わらず、顔画像の階調値が、予め規定された範囲内となるよう調整され得る。そして、発光部は、露光期間において照明光の出射を継続するよう制御される。
特開２００７―１９３０６１号公報
　さて、本開示の発明者は、露光期間において継続される発光部の発光に着目し、こうした発光に伴う発熱を低減させることを検討した。しかし、発熱を低減させるために、発光部から出射される照明光の発光輝度を低くしてしまうと、操縦者の顔面に到達している環境光が強い場合に、顔画像を正しく撮影できなくなることが判明した。
　詳記すると、環境光は、操縦者の顔面の一部のみを強く照明してしまう。すると、露光期間の長さを調整することにより顔画像の全体を適切な階調値に調整することが、不可能となる。このように、顔画像の撮影時において環境光の影響を低減させる発光部の機能が発揮されなくなることにより、撮像部は、顔画像を正しく撮影することができなくなるのである。
　本開示の目的は、発光に伴う発熱を低減させたうえで、顔画像を正しく撮影することが可能な状態監視装置を提供することである。
　上記目的を達成するために、本開示の第一の観点として、車両に搭載され、車両を操縦する操縦者の顔面を撮影した顔画像を用いて当該操縦者の状態を監視する状態監視装置が次のように提供される。操縦者の顔面が位置する領域として予め規定された規定領域から入射する光を受光することにより、顔画像を生成する撮像部と、撮像部が露光状態とされる露光期間の長さを変更することにより、顔画像の階調値を調整する撮像制御部と、撮像制御部によって設定された露光期間に、規定領域に向けて照明光を継続して出射させる発光部と、撮像制御部によって露光期間が短くされるに従い、露光期間の開始時おける発光輝度が高くなるよう発光部を制御する発光制御部と、を備える。
　本開示の第二の観点として、車両に搭載され、車両を操縦する操縦者の顔面を撮影した顔画像を用いて当該操縦者の状態を監視する処理をコンピュータに実行させる状態監視方法であって、操縦者の顔面が位置する領域として予め規定された規定領域から入射する光を受光することにより、顔画像を生成させる撮像ステップと、撮像ステップにて露光状態とされる露光期間の長さを変更することにより、顔画像の階調値を調整する撮像制御ステップと、撮像制御ステップによって設定された露光期間に、規定領域に向けて照明光を継続して出射させる発光ステップと、撮像制御ステップによって露光期間が短くされるに従い、露光期間の開始時における発光輝度が高くなるよう発光ステップを制御する発光制御ステップと、を備える。
　本開示のさらに第三の観点として、非遷移の記憶媒体であり、前記媒体は、コンピュータにより読み出されてそして実行されるインストラクションを含み、前記インストラクションは上記の第二の観点の前記状態監視方法を含み、前記方法は、コンピュータ搭載される。
　これらの上記の観点によれば、操縦者の顔面に到達している環境光が強い場合、顔画像の階調値を低減させるため、顔面を撮影する際の露光期間は、短くされる。すると、露光期間の開始時に規定範囲に向けて出射される照明光の発光輝度は、高くされる。すると、操縦者の顔面に強い照明光が照射され続けるので、顔画像の撮影時における環境光の影響は、低減可能となる。
　一方で、操縦者の顔面に到達している環境光が弱い場合、顔画像の階調値を向上させるため、顔面を撮影する際の露光時間は、長くされる。すると、露光期間の開始時に規定領域に向けて出射される照明光の発光輝度は、低くされる。この場合、環境光が弱いので、顔面に照射される照明光の輝度が低くても、顔画像への環境光の影響は、僅かとなり得る。そして、露光期間の開始時における発光輝度が低く抑えられることにより、発光に伴う発熱の低減が実現可能となる。
　これらにより、発光に伴う発熱を低減したうえで、顔画像を正しく撮影することが可能となるのである。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
本開示の第一実施形態による状態監視装置の車両における配置を説明するための図であり、 状態監視装置の電気的構成を説明するためのブロック図であり、 状態監視装置の機械的構成を説明するための斜視図であり、 顔画像の一例を模式的に示す図であり、 装置温度、露光状態、及び発光状態の推移を示すタイムチャートであり、 露光状態を示す波形に発光状態を示す波形を重ね合わせた図であり、 露光状態を示す波形に発光状態を示す波形を重ね合わせた図であり、 露光状態を示す波形に発光状態を示す波形を重ね合わせた図であり、 画像取得部によって実施される処理を示すフローチャートであり、 図７の変形例を示す図であり、 図８の変形例を示す図であり、 図７の別の変形例を示す図であり、 図８の別の変形例を示す図であり、 図７のさらに別の変形例を示す図であり、 図８のさらに別の変形例を示す図である。
　以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。こうした複数の実施形態に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
　本開示の第一実施形態による状態監視装置１００は、図１に示すように、「移動体」としての車両１に搭載され、車両を運転あるいは操縦する操縦者（以下、運転者とも言及される）の状態を監視するドライバステータスモニタである。状態監視装置１００は、図２に示すように、撮像部１０、投光部１５、及び制御回路２０、並びにこれらの構成を収容する筐体６０（図３参照）を備えている。また状態監視装置１００は、車両に搭載されたアクチュエーション部９０等と接続されている。
　図１，２に示す撮像部１０は、ステアリングコラム８１の上面に設置された状態監視装置１００において、運転者の顔面を撮影した顔画像５１（図４も参照）を生成する装置である。撮像部１０は、車両１の室内において予め規定された規定領域ＰＡを撮影する。この規定領域ＰＡには、運転席に着座した運転者の顔面が位置すると想定される領域が含まれている。こうした規定領域ＰＡは、具体的には、運転者の各眼のアイレンジから想定されるアイリプスに基づいて規定され、例えば、アイリプスの９９パーセンタイルを包含するように規定されている。
　撮像部１０は、所謂近赤外線カメラであって、撮像素子１１に、光学レンズ及び光学フィルタ等を組み合わせることによって構成されている。撮像素子１１は、撮像面に沿って配列された複数の画素により、受光した光の強度に応じた電気信号を生じさせる。撮像素子１１は、撮像面を規定領域ＰＡに向けた姿勢にて、配置されている。撮像素子１１は、制御回路２０からの制御信号に基づいて露光状態となり、規定領域ＰＡから入射する入射光を受光することによって、白と黒の濃淡によって描画されたモノクロームの顔画像５０を生成する。こうして撮影された顔画像５０は、撮像部１０から制御回路２０に向けて逐次出力される。
　投光部１５は、撮像部１０の露光期間に、規定領域ＰＡに向けて照明光を継続して出射させる。投光部１５は、発光ダイオード１６及び駆動部１７を有している。発光ダイオード１６は、撮像部１０に隣接して設けられており（図３参照）、近赤外の帯域を含む照明光を放出する。発光ダイオード１６から放出された光は、規定領域ＰＡに向けて出射され、運転者の顔面等によって撮像部１０に向けて反射される。これにより、撮像素子１１の受光する入射光には、投光部１５から出射された光が含まれることとなる。駆動部１７は、所定の電流を発光ダイオード１６に印加する回路である。駆動部１７は、制御回路２０からの制御信号に基づくことで、撮像部１０の露光期間に合わせて、発光ダイオード１６に印加する電流のオン状態及びオフ状態を切り替える。尚、第一実施形態では、定電流回路が駆動部１７として用いられているが、駆動部は、定電流回路でなくてもよい。
　制御回路２０は、撮像部１０、投光部１５、及びアクチュエーション部９０等に出力する制御信号によって、これらの構成の作動を制御する回路である。制御回路２０は、各種の演算処理を行うプロセッサ、演算処理の作業領域として機能するＲＡＭ、及び演算処理に用いられるプログラム等が格納されたフラッシュメモリ等を備えたマイクロコンピュータを中心に構成されている。加えて制御回路２０は、撮像部１０及び投光部１５等に電力を供給する電源回路を備えている。
　制御回路２０は、予め記憶されたプログラムをプロセッサによって実行することにより、画像取得部２１、状態判定部３１、及び警告制御部３３等の複数の機能ブロックを備える。この機能ブロックは機能セクションとも言及される。
　画像取得部２１は、顔画像５０を用いて運転者の顔認識を行う機能ブロックである。画像取得部２１は、運転者の顔面を抽出可能な顔画像５０を取得するため、撮像部１０における撮像条件及び投光部１５における発光条件を設定する。そして画像取得部２１は、設定した撮像条件及び発光条件に則った作動を撮像部１０及び投光部１５に実施させるため、これら撮像部１０及び投光部１５に制御信号を出力する。こうして撮像された顔画像５０を画像取得部２１は撮像部１０から取得する。そして画像取得部２１は、取得した顔画像５０の画像処理により、運転者の顔の向き及び各眼の開き具合（以下「開眼度」という）に関連する値や、運転者の眠気の度合いに関連する値等を演算する。
　状態判定部３１は、画像取得部２１によって演算された値と予め設定された閾値とを比較する。この比較処理により、状態判定部３１は、例えば脇見運転の兆候や居眠り運転の兆候等が検出されたか否かを推定する。そして、上述した兆候を検出した状態判定部３１は、運転者に警告を実施すべき状態が生じていると判定する。
　警告制御部３３は、アクチュエーション部９０と接続されている。警告制御部３３は、状態判定部３１によって運転者に警告すべき状況が生じていると判定された場合に、警告処理を実施することで、アクチュエーション部９０に制御信号を出力する。こうして警告制御部３３は、アクチュエーション部９０を作動させることにより、運転者に警告を行う。
　筐体６０は、図３に示すように、本体部材６３、フロントカバー部材６６、及び図示しないリヤカバー部材等によって構成されている。
　本体部材６３は、投光部１５及び撮像部１０等の実装されたサブ基板６２を保持している。サブ基板６２には、制御回路２０の形成されたメイン基板６１が、当該サブ基板６２と直交する姿勢にて取り付けられている。本体部材６３には、挿通孔６４及び配光部６５が設けられている。挿通孔６４は、本体部材６３の水平方向における中央部分に設けられており、サブ基板６２に実装された撮像部１０を挿通させる。挿通孔６４は、サブ基板６６に設けられた遮光のための孔部と協働して、投光部１５と撮像部１０との間にて遮光機能を発揮することで、投光部１５から撮像部１０への光の漏れを防いでいる。配光部６５は、挿通孔６４を水平方向において挟むように配置されており、サブ基板６２に実装された投光部１５と対向している。配光部６５は、投光部１５から放射された光を透過させつつ、規定領域ＰＡ（図１参照）に配光する。
　フロントカバー部材６６には、可視光フィルタ６７が設けられている。可視光フィルタ６７は、顔画像５０（図４参照）の生成に用いられる赤色から近赤外の帯域の光を主に透過させると共に、顔画像５０の生成に不要な可視光帯域の光を遮蔽する。可視光フィルタ６７は、フロントカバー部材６６において配光部６５と対向する位置に形成された開口６８を覆っている。リヤカバー部材は、本体部材６３を挟んでフロントカバー部材６６とは反対側に配置されている。リヤカバー部材は、各基板６１，６２を覆うことにより、これらを雰囲気中の塵及び埃等から保護している。
　図２に示すアクチュエーション部９０には、車両１（図１参照）に搭載された、例えばスピーカ９１、シート振動装置９３、及び空調装置９５等が含まれている。スピーカ９１は、警告制御部３３からの制御信号に基づいて音声データを再生することにより、運転者に注意を喚起する。シート振動装置９３は、運転席の座面の内部等に設置されており、警告制御部３３からの制御信号に基づいて運転席を振動させることにより、運転者に注意を喚起する。空調装置９５は、警告制御部３３からの制御信号に基づいて車両１の室内に外気を導入させる等の作動により、運転者に注意を喚起する。
　次に、画像取得部２１によって実施される投光部１５の制御の詳細を説明する。画像取得部２１は、サブ機能ブロックとして、画像処理ブロック２２、温度監視ブロック２６、条件設定ブロック２３、定格監視ブロック２７、撮像制御ブロック２４、及び発光制御ブロック２５を有する。
　画像処理ブロック２２は、撮像制御ブロック２４からの制御信号に基づいて撮影された顔画像５０を、撮像部１０から取得する。そして画像処理ブロック２２は、例えば運転者の眉間等を認識対象部位ＲＡ（図４参照）として設定する。そして画像処理ブロック２２は、認識対象部位ＲＡを追尾しつつ、この認識対象部位ＲＡの明るさ、即ち階調値を抽出する。
　温度監視ブロック２６は、温度センサ３５と接続されている。温度センサ３５は、状態監視装置１００内に設けられており、当該装置１００に係る装置温度を検出する。温度監視ブロック２６は、温度センサ３５によって検出された装置温度を取得する。
　条件設定ブロック２３は、画像処理ブロック２２によって抽出される階調値を調整するための制御を行う。具体的に、条件設定ブロック２３は、画像取得部２１による露光指示に基づいて、コントラストに優れた顔画像５０が撮影されるように、予め設定された制御テーブルに基づいて、撮像部１０における撮像条件を設定する。この撮像条件として、条件設定ブロック２３は、例えばゲイン値、露光時間、及び露光タイミング等を変更する。
　ゲイン値は、撮像素子１１から出力される信号を増幅して出力する際の入出力の比である。ゲイン値は、認識対象部位ＲＡの階調値が変動してもほぼ一定の値に維持されるか、又は認識対象部位ＲＡの階調値が低くなる（暗くなる）に従って僅かに増加する。露光時間は、図５に示すように、一回の撮影時において露光状態が維持される露光期間の長さである。露光時間は、認識対象部位ＲＡの階調値が低くなるに従って、長く設定されるようになる。故に、図５の如く、環境光の多い環境下での露光期間の長さｅｔ_ｓは、環境光の少ない環境下での露光期間の長さｅｔ_ｌよりも、短く設定される。露光タイミングは、周期Ｔで撮影が実施されるように、露光期間の開始時ｔ_ｅｓを指示するものである。
撮像部１０（図２参照）は、連続して顔画像５０を撮影する撮影モード（スナップショットモード）において、撮影の周期Ｔを適宜変更することができる。例えば、周期Ｔが約３３ミリ秒に設定されることで、毎秒３０フレームにて顔画像５０の撮影が実施される。以上の露光タイミングは、後述する発光タイミングと関連付けられている。
　加えて図２示す条件設定ブロック２３は、撮像条件に合わせて、発光条件を設定する。この発光条件として、条件設定ブロック２３は、例えば発光時間及び発光タイミング等を変更する。第一実施形態における発光ダイオード１６（図２参照）の発光輝度は、図６に示すように、露光期間の開始時ｔ_ｅｓから終了時ｔ_ｅｆまで、当該期間の開始時ｔ_ｅｓの発光輝度以上となるよう、最大輝度に維持される。
　発光時間は、一回の撮影時において発光状態が維持される発光期間の長さである。発光時間は、露光時間に応じて変化し、露光時間よりも長くなるよう設定される。発光タイミングは、発光期間の開始時ｔ_ｌｓを指示するものである。発光ダイオード１６が発光状態とされる発光期間の開始時ｔ_ｌｓは、露光期間の開始時ｔ_ｅｓよりも先行するように設定されている。発光期間の開始時ｔ_ｌｓが露光期間の開始時ｔ_ｅｓに対して先行する期間（以下、「先行期間」という）は、露光期間が短くされるに従い、長く設定される。故に、露光期間の長さがｅｔ_ｓである場合の先行期間の長さａｔ１は、露光期間の長さがｅｔ_ｌである場合の先行期間の長さａｔ２よりも、長く確保される。以上により、露光期間の開始時ｔ_ｅｓにおける発光ダイオード１６の発光輝度は、露光期間が短くなるに従い、高くなる。具体的には、先行期間がａｔ１である場合の露光期間の開始時ｔ_ｅｓにおける発光輝度は、最大輝度と同等（１００％）であるのに対し、先行期間がａｔ２である場合の発光輝度は、最大輝度の３０％程度となる。
　尚、先行期間は、例えば０～１００マイクロ秒程度の間で調整される。こうした発光タイミングに係る値は、投光部１５の回路における時定数、及び発光ダイオード１６の発光がオフ状態からオン状態へと遷移する際に要する電流の立ち上がり時間を考慮して設定されることが望ましい。また、図５において発光状態を示す波形は、実質的に発光ダイオード１６に流れる電流値を示している。
　さらに図２示す条件設定ブロック２３は、温度監視ブロック２６の取得した装置温度に基づいて、発光条件、具体的には発光タイミングに設けられる先行期間を設定する。この先行期間は、図５に示すように、装置温度が高くなるに従い、短く設定される。故に、環境温度がＴ２である場合の先行期間の長さａｔ３は、環境温度がＴ２よりも低いＴ１である場合の先行期間の長さａｔ１よりも、短縮される。これにより、露光期間の開始時ｔ_ｅｓにおける発光ダイオード１６の発光輝度は、装置温度が高くなるに従い、低くなる。具体的に、先行期間がａｔ３である場合の発光輝度は、最大輝度の９０％程度となる。
　図２に示す定格監視ブロック２７は、発光ダイオード１６の定格条件を記憶している。詳記すると、発光ダイオード１６には、定格条件として、周期Ｔ及び電流値に対応したオンデューティ比の最大値が規定されている。定格監視ブロック２７は、条件設定ブロック２３によって設定される発光条件につき、発光タイミング及び発光時間により決まるオンデューティ比が定格条件を満たしているか否かを監視する。定格監視ブロック２７は、条件設定ブロック２３の設定した発光条件が定格条件を超えていた場合、発光ダイオード１６の損傷を防ぐため、定格条件を超えない値に発光条件を変更させる。
　撮像制御ブロック２４は、条件設定ブロック２３によって演算された制御値に基づく制御信号を生成し、撮像部１０に出力する。撮像制御ブロック２４にて用いられる制御値は、条件設定ブロック２３によって設定された撮像条件に則った値となる。発光制御ブロック２５は、条件設定ブロック２３によって演算された制御値に基づく制御信号を生成し、投光部１５に出力する。発光制御ブロック２５にて用いられる制御値は、条件設定ブロック２３によって設定された発光条件に則った値となる。
　ここまで説明した発光制御の詳細を、図６～８を用いてさらに説明する。図６～８では、露光状態を示すタイムチャートの波形に、発光状態を示すタイムチャートの波形が重ね合わされている。加えて、発光状態を表す波形のオン状態及びオフ状態を示す位置は、露光状態を表す波形のオン状態及びオフ状態を示す位置に、それぞれ揃えられている。そして、図６～８における各波形の形状は、図５における各波形の形状に対して、時間軸の方向に拡大されている。
　また、発光状態を表す波形につき露光期間での時間積分によって得られる面積（図６～８の濃いドットの領域を参照）を、露光状態を表す波形につき露光期間での時間積分によって得られる面積で除した値を、照明カバー率と定義する。後述するように、照明カバー率は、露光期間及び装置温度に応じて変化することとなる。
　図６は、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ１である場合に、各波形を重ね合わせた図である。この場合、先行期間ａｔ１が長く確保されているので、発光ダイオード１６（図２参照）の発光輝度は、露光期間の開始時ｔ_ｅｓに先行して最大輝度に到達する。故に、露光状態のオン状態を示す領域の全体が、発光状態のオン状態を示す領域に覆われる。よって、照明カバー率は、実質的に１００％となる。
　図７は、露光期間の長さがｅｔ_ｌであり且つ装置温度がｔ１である場合に、各波形を重ね合わせた図である。この場合、先行期間ａｔ２が上述の先行期間ａｔ１（図６参照）よりも短くされているので、発光ダイオード１６（図２参照）の発光輝度は、露光期間の開始後に最大輝度に到達する。故に、露光状態のオン状態を示す領域の一部は、発光状態のオン状態を示す領域から外れる。これにより、照明カバー率は、例えば９５％程度となる。
　図８は、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ２である場合に、各波形を重ね合わせた図である。この場合、先行期間ａｔ３が上述の先行期間ａｔ１（図６参照）よりも短くされているので、発光ダイオード１６（図２参照）の発光輝度は、露光期間の開始後に最大輝度に到達する。こうして、露光状態のオン状態を示す領域の一部が発光状態のオン状態を示す領域から外れることにより、照明カバー率は、例えば９０％程度となる。
　以上の説明から明らかなように、図２に示す投光部１５は、露光期間が短くされるに従い、照明カバー率が高くなるよう発光を制御される。加えて、投光部１５は、装置温度が高くなるに従い、照明カバー率が低くなるよう発光を制御される。
　次に、ここまで説明したような撮像制御に関連付けられた発光制御を実現するために、画像取得部２１によって実施される処理を、図９に基づいて詳細に説明する。図９に示す処理は、車両１（図１参照）のイグニッションがオン状態とされることにより、画像取得部２１によって開始される。
　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１０１と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
　Ｓ１０１では、発光制御ブロック２５及び撮像制御ブロック２４による制御に用いられる撮像部１０及び投光部１５の制御値を設定する。イグニッションがオン状態とされた後の初回のＳ１０１では、予め規定されたデフォルト値を使用する。一方で、二回目以降のＳ１０１では、前回のＳ１０９及びＳ１１１にて演算された制御値を使用する。そして、各制御ブロック２４，２５から出力される制御信号により、顔画像５０の撮影を指示し、Ｓ１０２に進む。このＳ１０１の処理により、投光部１５が照明光を出射させると共に、撮像部１０が、顔画像５０を生成して画像処理ブロック２２に出力する。
　Ｓ１０２では、Ｓ１０１の指示に基づいて撮影された顔画像５０を取得し、Ｓ１０３に進む。Ｓ１０３では、Ｓ１０２にて取得された顔画像５０の画像処理を実施し、Ｓ１０４に進む。Ｓ１０４では、Ｓ１０３の画像処理において、運転者の顔認識に成功したか否かを判定する。Ｓ１０４にて、顔認識に成功しなかったと判定した場合には、Ｓ１０９に進む。一方で、Ｓ１０４にて、顔認識に成功したと判定した場合には、Ｓ１０５に進む。
　Ｓ１０５では、Ｓ１０３にて実施された画像処理の結果に基づいて、運転者の顔の向き及び開眼度等を検出し、運転者の眠気の度合いを推定する。そして、これら顔の向き、開眼度、及び眠気の度合い等を定量的に評価できるよう数値化し、Ｓ１０６に進む。
　Ｓ１０６では、Ｓ１０５にて演算した値と、予め設定された閾値とを比較することにより、警告を実施すべき値の有無を判定する。Ｓ１０６にて、警告する値が有り、脇見運転の兆候や居眠り運転の兆候等が検出されたと判定した場合には、Ｓ１０７に進む。Ｓ１０７では、アクチュエーション部９０を作動させるための警告処理を実施し、Ｓ１０８に進む。一方で、Ｓ１０６にて、警告する値が無いと判定した場合には、Ｓ１０８に進む。
　Ｓ１０８では、Ｓ１０１にて設定された撮像部１０の制御値が適切か否かを判定する。具体的には、上述した認識対象部位ＲＡ（図４参照）の階調値が適切な範囲内にあるか否かを判定する。Ｓ１０８にて、撮像部１０の制御値が適切であると判定した場合には、Ｓ１０１に戻る。一方で、Ｓ１０８にて、撮像部１０の制御値が適切でないと判定した場合には、Ｓ１０９に進む。
　Ｓ１０４の否定判定及びＳ１０８の否定判定に基づくＳ１０９では、次フレーム撮影時の撮像条件及び発光条件を演算する。即ち、上述した認識対象部位ＲＡの階調値が適切な範囲内となるように、投光部１５及び撮像部１０の制御値を決定する。
　Ｓ１０９に続くＳ１１０では、温度センサ３５によって検出された装置温度を取得し、Ｓ１１１に進む。Ｓ１１１では、Ｓ１０９にて演算された撮像条件のうちの露光期間と、Ｓ１１１にて取得された装置温度とに基づいて、先行期間を決定する。そして、決定した先行期間から発光タイミング（発光期間の開始時ｔ_ｌｓ）を演算する。以上のＳ１０９及びＳ１１１にて決定された制御値は、次回のＳ１０１にて発光制御ブロック２５及び撮像制御ブロック２４に設定され、顔画像５０の撮影に反映される。
　Ｓ１１１に続くＳ１１２では、車両１のイグニッションのオン状態が継続されているか否かを判定する。イグニッションがオフ状態とされたことで、Ｓ１１２にて否定判定をした場合には、処理を終了する。一方で、Ｓ１１２にて肯定判定をした場合には、Ｓ１０１に戻る。
　ここまで説明した第一実施形態によれば、運転者の顔面に到達している環境光が強い場合に露光期間が短くされると、露光期間の開始時ｔ_ｅｓに出射される照明光の発光輝度は、高くされる。故に、顔画像５０の撮影時における環境光の影響は、低減可能となる。よって、環境光が運転者の顔面の一部のみを強く照明してしまい、適切なコントラストの顔画像５０が撮影できなくなる事態は、回避される。
　一方で、運転者の顔面に到達している環境光が弱い場合に露光時間が長くされると、露光期間の開始時ｔ_ｅｓに出射される照明光の発光輝度は、低くされる。この場合、環境光が弱いので、顔面に照射される照明光の輝度が低くても、顔画像５０への環境光の影響は、僅かとなり得る。そして、露光期間の開始時ｔ_ｅｓにおける発光輝度が低く抑えられることにより、発光に伴う投光部１５の発熱の低減が実現可能となる。
　したがって、発光に伴う発熱及び消費エネルギーを低減したうえで、顔画像５０を正しく撮影することが可能となるのである。
　加えて第一実施形態によれば、露光期間の開始時ｔ_ｅｓから終了時ｔ_ｅｆまで、照明光の発光輝度は、高いまま維持される。こうして、露光期間の全体に亘って運転者の顔面に強い照明光が照射されることにより、顔画像５０の撮影時に環境光の影響を低減する効果は、さらに高い確実性をもって発揮される。
　また第一実施形態では、先行期間を長くすることにより、露光期間の開始時ｔ_ｅｓにおける高い発光輝度が確保されている。こうした形態では、発光ダイオード１６の発光をオフ状態からオン状態へと遷移させる遷移期間（図６における電流の立ち上がり時間ｌｔ_ｓを参照）が、長く確保され得る。よって、発光ダイオード１６のオン状態及びオフ状態を切り替える際に発生する電気的なノイズを抑制しつつ、露光期間の開始時ｔ_ｅｓに発光輝度を高くする作動が、実現可能となる。
　さらに第一実施形態のような発光ダイオード１６の累積点灯時間による寿命は、高温環境下での作動が継続された場合に、駆動部１７等を含め顕著に短縮させ得る要因となる。そこで、状態監視装置１００は、装置温度が高くなるに従って露光期間の開始時ｔ_ｅｓにおける発光輝度を抑えることにより、発光ダイオード１６及び駆動部１７等の負荷を軽減させている。こうした制御により、露光期間の開始時ｔ_ｅｓにおける発光輝度の低下を許容することで、投光部１５の長期に亘る確実な作動が、実現可能となる。
　尚、第一実施形態において、車両１は移動体とも言及され、撮像部１０は撮像デバイスあるいは撮像ミーンズとも言及され、投光部１５は発光部、発光デバイス、あるいは発光ミーンズとも言及される。条件設定ブロック２３及び撮像制御ブロック２４が協働で撮像制御部として機能し、撮像制御デバイスあるいは撮像制御ミーンズとも言及される。件設定ブロック２３及び発光制御ブロック２５が協働で発光制御部として機能し、発光制御デバイスあるいは発行制御ミーンズとも言及される。温度センサ３５は温度検出部、温度検出デバイス、あるいは温度検出ミーンズとも言及される。Ｓ１０１は撮像セクションあるいは撮像ステップ、及び発光セクションあるいは発光ステップとも言及される。Ｓ１０９は撮像制御セクションあるいは撮像制御ステップとも言及される。Ｓ１１１は発光制御セクションあるいは発光制御ステップとも言及される。
　（第二実施形態）
　図１０，１１に示される本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態では、発光状態をオン状態からオフ状態へと遷移させる消灯時の遷移期間につき、露光期間の終了時ｔ_ｅｆに対する立ち下げの開始タイミング（以下、「消灯タイミング」という）ｔ_ｌｆが、露光期間の長さ及び装置温度に応じて変更される。以下、図１０，１１を図６と比較しつつ、第二実施形態にて実施される発光制御の詳細を説明する。
　第二実施形態において、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ１である場合、図６に示す第一実施形態と同様に、消灯タイミングｔ_ｌｆは、露光期間の終了後に規定される。これにより、露光期間の終了時ｔ_ｅｆまで発光ダイオード１６（図２参照）が最大輝度を維持するので、照明カバー率は、第一実施形態と同様に１００％となる。
　図１０は、露光期間の長さがｅｔ_ｌであり且つ装置温度がｔ１である場合に、各波形を重ね合わせた図である。この場合、消灯タイミングｔ_ｌｆは、露光期間の終了時ｔ_ｅｆよりも先行するように規定される。故に、露光期間の終了時ｔ_ｅｆにおける発光輝度は、露光期間の開始時ｔ_ｅｓにおける発光輝度と同様に、例えば最大輝度の３０％程度となる。以上により、照明カバー率は、９０％程度となる。
　図１１は、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ２である場合に、各波形を重ね合わせた図である。この場合、消灯タイミングｔ_ｌｆは、露光期間の終了時ｔ_ｅｆよりも先行するように規定されている。故に、露光期間の終了時ｔ_ｅｆにおける発光輝度は、例えば最大輝度の９０％程度となる。以上により、照明カバー率は、８５％程度となる。
　以上の説明から明らかなように、第二実施形態の投光部１５（図２参照）は、露光期間が短くされるに従い、露光期間の終了時ｔ_ｅｆにおける発光輝度が高くなるよう発光を制御される。よって、第一実施形態と同様に、露光期間が短くなるに従って、照明カバー率は高くなる。故に、第二実施形態による状態監視装置でも、環境光が強い場合には、強い照明光の照射によって顔画像５０（図４参照）を正しく撮影し、且つ環境光が弱い場合には、発光を抑えることで発熱を低減させる、という顕著な効果が実現可能となるのである。
　加えて第二実施形態の投光部１５（図２参照）は、装置温度が高くなるに従い、露光期間の終了時ｔ_ｅｆにおける発光輝度が低くなるよう発光を制御される。このように、装置温度が高温である場合に発光ダイオード１６（図２参照）及び駆動部１７（図２参照）等の負荷を軽減させる制御の実施によれば、第一実施形態と同様に、投光部１５の長期に亘る確実な作動が、実現可能となる。
　また第二実施形態では、発光タイミング（ｔ_ｌｓ）に加えて消灯タイミングｔ_ｌｆも制御することにより、露光期間の長さに応じた照明カバー率の変更が、柔軟に実施できる。したがって、顔画像５０（図４参照）を正しく撮影しつつ、発熱を低減させるための発光制御及び撮像制御の実現性が、いっそう高められるのである。
　（第三実施形態）
　図１２，１３に示される本開示の第三実施形態は、第一実施形態の別の変形例である。第三実施形態では、発光ダイオード１６の発光状態をオフ状態からオン状態へと遷移させる点灯時の遷移期間、即ち、駆動部１７の駆動による電流の立ち上がり時間が、露光期間の長さ及び装置温度に応じて積極的に制御される。以下、図１２，１３と図６を比較しつつ、第三実施形態にて実施される発光制御の詳細を説明する。
　図１２は、露光期間の長さがｅｔ_ｌであり且つ装置温度がｔ１である場合に、各波形を重ね合わせた図である。この場合の電流の立ち上がり時間ｌｔ_ｌは、露光期間の長さがｅｔ_ｌである場合の立ち上がり時間ｌｔ_ｓ（図６参照）よりも長くなるよう制御される。こうした制御により、露光期間の開始時ｔ_ｅｓにおける発光輝度は、最大輝度の３０％程度とされる。
　図１３は、露光期間の長さがｅｔ_ｓであり且つ装置温度がｔ２である場合に、各波形を重ね合わせた図である。この場合の電流の立ち上がり時間ｌｔ_ｈは、装置温度がｔ２である場合の立ち上がり時間ｌｔ_ｓ（図６参照）よりも長くなるよう制御される。こうした制御により、露光期間の開始時ｔ_ｅｓにおける発光輝度は、最大輝度の９０％程度とされる。
　以上の説明から明らかなように、第三実施形態の投光部１５（図２参照）は、露光期間が短くされるに従い、先行期間を長くされると共に、電流の立ち上がり時間を短くされる。こうして投光部１５は、露光期間の開始時ｔ_ｅｓおける発光輝度が高くなるよう発光を制御される。故に、第三実施形態による状態監視装置でも、環境光が強い場合には、強い照明光の照射によって顔画像５０を正しく撮影し、且つ環境光が弱い場合には、発光を抑えることで発熱を低減させる、という顕著な効果が実現可能となるのである。
　加えて第三実施形態の投光部１５（図２参照）は、装置温度が高くなるに従い、露光期間の開始時ｔ_ｅｓにおける発光輝度が低くなるよう発光を制御される。このように、装置温度が高温である場合に発光ダイオード１６及び駆動部１７等の負荷を軽減させる制御の実施によれば、第一実施形態と同様に、投光部１５の長期に亘る確実な作動が、実現可能となる。
　さらに第三実施形態において、露光期間が長い場合には、電流の立ち上がり時間が長く確保される。故に、発光ダイオード１６のスイッチング動作に伴う電気的なノイズの発生が抑制される。加えて、露光期間が短い場合には、電流の立ち上がり時間の短縮によって発光期間の短縮が可能となる。故に、発光に伴う発熱を低減させる効果がいっそう向上する。
　（他の実施形態）
　以上、本開示による複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
　上記実施形態の変形例１では、発光ダイオード１６に印加する電流値を変更可能な駆動部が採用されている。これにより、図１４の如く、露光期間の長さがｅｔ_ｌである場合に、発光ダイオード１６に印加する電流値の最大ｉ_ｌは、露光期間の長さがｅｔ_ｓである場合に印加する最大電流値ｉ_Ｍａｘ（図６参照）よりも低くなるように制御される。
こうした制御によっても、露光期間の開始時ｔ_ｅｓにおける発光輝度を、最大輝度の３０％程度とすることができる。
　上記実施形態の変形例では、露光期間の終了時ｔ_ｅｆにおける発光輝度は、当該期間の開始時ｔ_ｅｓにおける発光輝度よりも低くされている。また上記実施形態では、露光期間の開始時ｔ_ｅｓから露光期間の終了時ｔ_ｅｆまでの間、発光輝度を決定する電流値は、最大となった後に一定で推移していた。しかし、電流値は、露光期間のうちで僅かに変動し、例えば露光期間の開始時ｔ_ｅｓの電流値を下回ってもよい。
　また、図１５の如く、装置温度がｔ２である場合に、発光ダイオード１６に印加する電流値の最大ｉ_ｈは、装置温度がｔ１である場合に印加する最大電流値ｉ_Ｍａｘ（図６参照）よりも低くなるように制御される。こうした制御によっても、露光期間の開始時ｔ_ｅｓにおける発光輝度を、最大輝度の９０％程度とすることができる。尚、上記実施形態にて例示した各照明カバー率は、概念的な値であって、コントラストに優れた顔画像５０が撮影されるように、撮像部及び投光部の仕様に応じて適宜変更されてよい。
　上記実施形態における撮像部の撮像素子には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサが適宜採用可能である。また、撮像素子によって検出される光の周波数領域は、近赤外領域に限定されず、可視光領域等であってもよい。さらに、発光ダイオードは、撮像素子の仕様に対応するように、放射する光の周波数領域、個数、及び配置等を適宜変更されることが望ましい。
　また、撮像素子の露光を制御するシャッターは、撮像面の全ての画素を実質的に同時に露光状態とさせるグローバルシャッターであってもよく、又は、特定の画素列から順次露光状態とさせるローリングシャッターであってもよい。こうしたローリングシャッターを採用した形態であっても、撮像部に設定されたフレームレートが大きく且つ露光状態のオンデューティ比が小さければ、グローバルシャッターを採用した形態と同等の効果が発揮され得る。
　上記実施形態の変形例では、露光期間の終了時ｔ_ｅｆにおける発光輝度は、当該期間の開始時ｔ_ｅｓにおける発光輝度よりも低くされている。また上記実施形態では、露光期間の開始時ｔ_ｅｓから露光期間の終了時ｔ_ｅｆまでの間、発光輝度を決定する電流値は、最大となった後に一定で推移していた。しかし、電流値は、露光期間のうちで僅かに変動し、例えば露光期間の開始時ｔ_ｅｓの電流値を下回ってもよい。
　上記実施形態において、ステアリングコラム８１の上面とされていた撮像部１０及び状態監視装置１００の設置位置は、規定領域ＰＡの撮影が可能であれば、適宜変更されてよい。状態監視装置は、例えばインスツルメントパネルの上面に設置されていてもよく、又はサンバイザ近傍の天井部分に取り付けられていてもよい。さらに、撮像部は、状態監視装置の本体部分とは別体で、規定領域ＰＡの撮影に好適な位置に設けられていてもよい。
　上記実施形態における規定領域ＰＡの決定方法は、適宜変更されてよい。例えば、規定領域ＰＡは、アイリプスの９５パーセンタイルを包含するように規定されてもよい。さらに、規定領域ＰＡの決定方法は、アイリプスから決定する方法に限定されない。例えば、人種、性別、及び年齢等が異なる複数の運転者を実際に運転席に着座させることにより、規定領域ＰＡを実験的に決定してもよい。こうした規定領域ＰＡは、運転動作に伴う顔面の移動を想定したうえで、規定されることが望ましい。
　上記実施形態において、状態監視プログラムを実行した制御回路２０によって提供されていた複数の機能は、上述の制御装置と異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供されてよい。例えば、プログラムによらないで所定の機能を果たすアナログ回路によって、各機能ブロック及びサブ機能ブロックに相当する機能が提供されていてもよい。
　上記実施形態では、車両に搭載されて、車両の運転者の状態を監視する状態監視装置に本開示を適用した例を示した。しかし、本開示は、車両としての自動車用の所謂ドライバステータスモニタだけでなく、車両としての、二輪車、三輪車、船舶及び航空機等の各種移動体（輸送機器）にて、その操縦者の状態を監視する状態監視装置に適用することが可能である。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (8)

  1. 　車両（１）に搭載され、前記車両を操縦する操縦者の顔面を撮影した顔画像（５０）を用いて当該操縦者の状態を監視する状態監視装置であって、
    　前記操縦者の顔面が位置する領域として予め規定された規定領域（ＰＡ）から入射する光を受光することにより、前記顔画像を生成する撮像部（１０）と、
    　前記撮像部が露光状態とされる露光期間の長さを変更することにより、前記顔画像の階調値を調整する撮像制御部（２３，２４，Ｓ１０９）と、
    　前記撮像制御部によって設定された前記露光期間に、前記規定領域に向けて照明光を継続して出射させる発光部（１５）と、
    　前記撮像制御部によって前記露光期間が短くされるに従い、前記露光期間の開始時（ｔ_ｅｓ）における発光輝度が高くなるよう前記発光部を制御する発光制御部（２３，２５，Ｓ１１１）と、を備えることを特徴とする状態監視装置。
  2. 　前記発光制御部は、
    　前記発光部が発光状態とされる発光期間の開始時（ｔ_ｌｓ）を、前記露光期間の開始時よりも先行させ、
    　前記露光期間が短くされるに従い、前記発光期間の開始時が前記露光期間の開始時に対して先行する先行期間を長くすることを特徴とする請求項１に記載の状態監視装置。
  3. 　前記露光期間の終了時（ｔ_ｅｆ）における前記発光部の発光輝度は、前記露光期間の開始時における発光輝度以上であることを特徴とする請求項１又は２に記載の状態監視装置。
  4. 　前記発光部の発光輝度は、前記露光期間の開始時から終了時（ｔ_ｅｆ）まで、当該露光期間の開始時の発光輝度以上に維持されることを特徴とする請求項１～３のいずれか一項に記載の状態監視装置。
  5. 　前記発光制御部は、前記露光期間が短くされるに従い、前記発光部の発光をオフ状態からオン状態へと遷移させる遷移期間を短くすることを特徴とする請求項１～４のいずれか一項に記載の状態監視装置。
  6. 　前記状態監視装置に係る装置温度を検出する温度検出部（３５）、をさらに備え、
    　前記発光制御部は、前記撮像制御部によって検出される前記装置温度が高くなるに従い、前記露光期間の開始時における発光輝度が低くなるよう前記発光部を制御することを特徴とする請求項１～５のいずれか一項に記載の状態監視装置。
  7. 　車両（１）に搭載され、前記車両を操縦する操縦者の顔面を撮影した顔画像（５０）を用いて当該操縦者の状態を監視する処理をコンピュータに実行させる状態監視方法であって、
    　前記操縦者の顔面が位置する領域として予め規定された規定領域（ＰＡ）から入射する光を受光することにより、前記顔画像を生成させる撮像ステップ（Ｓ１０１）と、
    　前記撮像ステップにて露光状態とされる露光期間の長さを変更することにより、前記顔画像の階調値を調整する撮像制御ステップ（Ｓ１０９）と、
    　前記撮像制御ステップによって設定された前記露光期間に、前記規定領域に向けて照明光を継続して出射させる発光ステップ（Ｓ１０１）と、
    　前記撮像制御ステップによって前記露光期間が短くされるに従い、前記露光期間の開始時（ｔ_ｅｓ）における発光輝度が高くなるよう前記発光ステップを制御する発光制御ステップ（Ｓ１１１）と、を備えるところの
    　状態監視方法。
  8. 　非遷移の記憶媒体であり、前記媒体は、コンピュータにより読み出されてそして実行されるインストラクションを含み、
    　前記インストラクションは請求項７に記載の前記状態監視方法を含み、前記方法は、コンピュータ搭載される
    　ところの記憶媒体。
PCT/JP2013/003045 2012-10-02 2013-05-13 状態監視装置 WO2014054199A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/421,923 US9386231B2 (en) 2012-10-02 2013-05-13 State monitoring apparatus
DE112013004861.2T DE112013004861B4 (de) 2012-10-02 2013-05-13 Zustandsüberwachungsvorrichtung zur Steuerung einer Belichtungsperiode und einer Lichtemissionshelligkeit
CN201380051831.5A CN104718743B (zh) 2012-10-02 2013-05-13 状态监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012220664A JP5867355B2 (ja) 2012-10-02 2012-10-02 状態監視装置及び状態監視プログラム
JP2012-220664 2012-10-02

Publications (1)

Publication Number Publication Date
WO2014054199A1 true WO2014054199A1 (ja) 2014-04-10

Family

ID=50434550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003045 WO2014054199A1 (ja) 2012-10-02 2013-05-13 状態監視装置

Country Status (5)

Country Link
US (1) US9386231B2 (ja)
JP (1) JP5867355B2 (ja)
CN (1) CN104718743B (ja)
DE (1) DE112013004861B4 (ja)
WO (1) WO2014054199A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298066A (zh) * 2021-05-13 2021-08-24 广州文远知行科技有限公司 图像采集控制方法、装置、传感器和存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9783137B2 (en) * 2013-10-30 2017-10-10 Powervoice Co., Ltd. Sound QR system for vehicular services
FR3044504A1 (fr) * 2015-12-01 2017-06-02 Valeo Comfort & Driving Assistance Dispositif de capture d'image et dispositif de surveillance d'un conducteur utilisant un tel dispositif de capture d'image
KR101774692B1 (ko) * 2016-05-16 2017-09-04 현대자동차주식회사 에어백 제어 장치 및 방법
JP6655824B2 (ja) * 2017-01-20 2020-02-26 パナソニックＩｐマネジメント株式会社 撮像装置
JP7113283B2 (ja) 2017-05-26 2022-08-05 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
CN109426772A (zh) * 2017-08-24 2019-03-05 中国科学院城市环境研究所 一种城市人为热排放时空变化的遥感检测方法
EP3485799B9 (en) * 2017-11-16 2022-02-16 Aptiv Technologies Limited Eye tracking device
JP6720952B2 (ja) * 2017-11-21 2020-07-08 オムロン株式会社 乗員監視装置
CN110278367B (zh) * 2018-03-14 2021-11-19 厦门歌乐电子企业有限公司 基于拍摄装置的人眼检测方法、系统、设备及其介质
JP6650118B2 (ja) * 2018-03-15 2020-02-19 オムロン株式会社 乗員監視装置
JP6780671B2 (ja) * 2018-03-15 2020-11-04 オムロン株式会社 乗員監視装置
US10691926B2 (en) * 2018-05-03 2020-06-23 Analog Devices, Inc. Single-pixel sensor
US11093768B2 (en) * 2018-05-10 2021-08-17 Mitsubishi Electric Corporation Occupant monitoring device and occupant monitoring method
CN109167927B (zh) * 2018-07-24 2021-01-05 吉利汽车研究院（宁波）有限公司 一种驾驶员监测系统照明光源的控制装置及方法
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
DE102020209187A1 (de) 2020-07-22 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Beobachtungsvorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311345A (ja) * 2005-04-28 2006-11-09 Fuji Photo Film Co Ltd デジタルカメラ
JP2010215000A (ja) * 2009-03-13 2010-09-30 Omron Corp 情報処理装置及び方法、並びにプログラム
JP2011142500A (ja) * 2010-01-07 2011-07-21 Toyota Motor Corp 撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3814383B2 (ja) 1997-09-29 2006-08-30 キヤノン株式会社 カメラ
US20030015645A1 (en) * 2001-07-17 2003-01-23 Brickell Christopher Gavin Optical imager circuit with tolerance of differential ambient illumination
US6778769B2 (en) 2002-10-11 2004-08-17 Fuji Photo Film Co., Ltd. Camera
JP2005151123A (ja) 2003-11-14 2005-06-09 Apic Yamada Corp 画像取り込み装置
JP2005338279A (ja) 2004-05-25 2005-12-08 Nikon Corp 撮影用照明装置およびカメラシステム
JP2006033049A (ja) * 2004-07-12 2006-02-02 Konica Minolta Photo Imaging Inc 撮像装置
US7777778B2 (en) * 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
JP2006209325A (ja) 2005-01-26 2006-08-10 Denso Corp 車両用警報装置及び車両における警報発生方法
JP4887795B2 (ja) 2006-01-19 2012-02-29 カシオ計算機株式会社 閃光装置付撮像装置、及び撮像方法
US7646422B2 (en) * 2006-10-04 2010-01-12 Branislav Kisacanin Illumination and imaging system with glare reduction and method therefor
US8130311B2 (en) 2008-02-14 2012-03-06 Sony Ericsson Mobile Communications Ab Method of capturing an image with a mobile device
JP5040776B2 (ja) * 2008-03-31 2012-10-03 アイシン精機株式会社 撮像装置
US20100014711A1 (en) * 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
CN101533557B (zh) * 2009-03-02 2014-06-04 上海高德威智能交通系统有限公司 交通信息检测方法和交通信息检测装置
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311345A (ja) * 2005-04-28 2006-11-09 Fuji Photo Film Co Ltd デジタルカメラ
JP2010215000A (ja) * 2009-03-13 2010-09-30 Omron Corp 情報処理装置及び方法、並びにプログラム
JP2011142500A (ja) * 2010-01-07 2011-07-21 Toyota Motor Corp 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298066A (zh) * 2021-05-13 2021-08-24 广州文远知行科技有限公司 图像采集控制方法、装置、传感器和存储介质
CN113298066B (zh) * 2021-05-13 2022-04-05 广州文远知行科技有限公司 图像采集控制方法、装置、传感器和存储介质

Also Published As

Publication number Publication date
JP2014075637A (ja) 2014-04-24
DE112013004861T5 (de) 2015-07-02
CN104718743B (zh) 2018-03-30
CN104718743A (zh) 2015-06-17
DE112013004861B4 (de) 2020-07-02
US20150237246A1 (en) 2015-08-20
US9386231B2 (en) 2016-07-05
JP5867355B2 (ja) 2016-02-24

Similar Documents

Publication Publication Date Title
JP5867355B2 (ja) 状態監視装置及び状態監視プログラム
US11386709B2 (en) System and method for improving signal to noise ratio in object tracking under poor light conditions
US10055658B2 (en) State monitoring device
JP2007276766A (ja) 監視装置および方法、記録媒体、並びに、プログラム
JP6627866B2 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
CN113691776B (zh) 一种车内摄像系统及补光方法
JP2007245911A (ja) 監視装置および方法、記録媒体、並びに、プログラム
KR101601324B1 (ko) 차량용 카메라 시스템의 영상 획득 방법
JP6646879B2 (ja) 撮像装置
EP3331235A1 (en) Image processing device, image capture device, driver monitoring system, mobile body, and image processing method
WO2014061175A1 (ja) 状態監視装置
JP6322723B2 (ja) 撮像装置および車両
KR101188564B1 (ko) 협각렌즈와 광각렌즈를 이용한 폐쇄회로 카메라 시스템 및 그 구현방법
WO2014196166A1 (ja) 撮像制御装置
WO2014041758A1 (ja) 状態監視装置
JP2011049788A (ja) 撮像装置
JP2009096323A (ja) カメラ照明制御装置
JP2006264404A (ja) 車両用撮像装置
WO2022024411A1 (ja) 赤外線撮像装置、及び赤外線撮像システム
JP7009334B2 (ja) 画像表示装置、画像表示システム
JP5838587B2 (ja) 移動体監視装置及び移動体監視システム
EP4339023A1 (en) Controller for lighting control, vehicle lamp system
JP2006137383A (ja) 車両用撮像装置
JP2022025343A (ja) 赤外線撮像システム、赤外線撮像方法、及び赤外線照射装置
JP2006050474A (ja) 監視カメラ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13844161

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14421923

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120130048612

Country of ref document: DE

Ref document number: 112013004861

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13844161

Country of ref document: EP

Kind code of ref document: A1