WO2017073059A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2017073059A1
WO2017073059A1 PCT/JP2016/004712 JP2016004712W WO2017073059A1 WO 2017073059 A1 WO2017073059 A1 WO 2017073059A1 JP 2016004712 W JP2016004712 W JP 2016004712W WO 2017073059 A1 WO2017073059 A1 WO 2017073059A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
subject
optical system
light
Prior art date
Application number
PCT/JP2016/004712
Other languages
English (en)
French (fr)
Inventor
知文 小石
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP16859297.0A priority Critical patent/EP3370410B1/en
Priority to JP2017547620A priority patent/JP6431210B2/ja
Priority to US15/769,975 priority patent/US10376199B2/en
Publication of WO2017073059A1 publication Critical patent/WO2017073059A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10—Optical coatings produced by application to, or surface treatment of, optical elements
    • G02B1/11—Anti-reflection coatings
    • G02B1/113—Anti-reflection coatings using inorganic layer materials only
    • G02B1/115—Multilayers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the embodiment of the present disclosure relates to an imaging apparatus for monitoring the state of a subject such as a vehicle driver.
  • Patent Document 1 discloses an infrared LED that illuminates the driver's face with near infrared rays, a CCD camera that captures the driver's face, and a blink that detects the open / closed state of the subject's eyes based on the face image.
  • a doze alarm device is disclosed that includes a detection circuit and a wakefulness reduction detection circuit that detects a decrease in the wakefulness of a subject.
  • An imaging apparatus includes: An imaging optical system that forms an optical image of the face of the subject in the vehicle; An image sensor that captures the imaged optical image to generate a captured image; An image processing unit that determines the state of the subject based on the captured image, When the F value of the imaging optical system is F, the focal length is f, and the pixel pitch of the imaging element is p, F ⁇ 0.0003f 2 / p is satisfied.
  • FIG. 1 It is a block diagram which shows schematic structure of the subject monitoring system which concerns on one Embodiment. It is the figure which looked at the vehicle provided with the subject monitoring system of FIG. 1 from the left side. It is sectional drawing along the optical axis which shows schematic structure of the lens contained in an imaging optical system. It is a figure which shows the relationship between a focal distance and F value. It is a figure which shows the relationship between the square of a focal distance / tolerance circle diameter, and F value. It is a figure which shows the transmittance
  • a target person monitoring system 10 according to an embodiment of the present disclosure will be described with reference to FIG.
  • the subject monitoring system 10 includes a lighting device 11, an imaging device 12, and a warning device 13. Each component of the target person monitoring system 10 can transmit and receive information via the network 14.
  • the network 14 may include, for example, wireless, wired, or CAN (Controller Area Network). In other embodiments, some or all of the components of the subject monitoring system 10 may be integrally configured as one device.
  • the lighting device 11 is in an arbitrary position where the face of the subject 15 can be irradiated with light.
  • the subject 15 may include a driver of the vehicle 16, for example.
  • the lighting device 11 may be disposed on a dashboard 17 of the vehicle 16.
  • the light emitted from the illumination device 11 is also referred to as illumination light.
  • the imaging device 12 is in an arbitrary position where the face of the subject 15 can be imaged.
  • the imaging device 12 may be disposed on the dashboard 17 of the vehicle 16, for example.
  • the imaging device 12 generates a captured image in which the pupil of the eye of the subject 15 on the image is bright.
  • a captured image with a bright pupil is also referred to as a bright pupil image.
  • the imaging device 12 may generate a bright pupil image by arranging the illumination device 11 and the imaging device 12 close to each other.
  • the imaging device 12 generates a captured image in which the pupil of the eye of the subject 15 on the image is dark.
  • a captured image with a dark pupil is also referred to as a dark pupil image.
  • the dark device image may be generated by the imaging device 12 by arranging the illumination device 11 and the imaging device 12 apart from each other.
  • the warning device 13 issues a warning to the target person 15.
  • the warning device 13 may be arranged at an arbitrary position in the vehicle 16.
  • the warning device 13 may be arranged at an arbitrary position where the vibration is transmitted to the subject 15.
  • the warning device 13 may be disposed on a driver's seat, a steering wheel, a shift knob, or a footrest in the vehicle 16.
  • the imaging device 12 will be described. As shown in FIG. 1, the imaging device 12 includes an imaging optical system 22, an imaging element 23, an AFE (Analog Front End) 24, an image processing unit 25, a communication unit 26, and a camera control unit 27. Prepare.
  • AFE Analog Front End
  • the imaging optical system 22 may include a diaphragm, one or more lenses, and a lens barrel that holds them.
  • the imaging optical system 22 forms a subject image by light passing through the imaging optical system 22.
  • the imaging optical system 22 transmits light of at least a predetermined wavelength band.
  • the predetermined wavelength band may include the wavelength of illumination light emitted from the illumination device 11 as described later.
  • the predetermined wavelength band may be a band including the wavelength of the infrared light.
  • the imaging optical system 22 may further include a filter that passes light in the predetermined wavelength band.
  • the imaging optical system 22 is at an arbitrary position at which reflected light from the irradiation destination of the illumination light emitted from the illumination device 11 can be taken.
  • the imaging optical system 22 can form a subject image including the face of the subject 15 irradiated with the illumination light emitted from the illumination device 11.
  • an AR (Anti-Reflective) coating layer is formed on each of the two or more lens surfaces.
  • the AR coating layer may be formed by multi-coating, for example.
  • the transmittance of light in an arbitrary band can be controlled by the AR coating layer.
  • the transmittance of light in the visible light band may be controlled.
  • the transmittance of light in an arbitrary band may be controlled by forming an AR coating layer having different characteristics for each lens surface.
  • an AR coating layer is formed on each of the two or more lens surfaces so that the transmittance of illumination light emitted from the illumination device 11 is greater than the transmittance of visible light. Details of the light transmittance of the AR coating layer will be described later.
  • the F value of the lens included in the imaging optical system 22 is determined according to the pixel pitch of the imaging element 23. Details of the method for determining the F value of the lens will be described later.
  • the image sensor 23 may include, for example, a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. A plurality of pixels may be arranged on the light receiving surface of the image sensor 23 at an arbitrary pixel pitch.
  • the image sensor 23 captures a subject image formed by the imaging optical system 22 and generates a captured image.
  • the image pickup device 23 may have each function described later of the AFE 24.
  • the AFE 24 may include, for example, CDS (Correlated Double Sampling), AGC (Auto Gain Control), and ADC (Analog-to-Digital Converter).
  • the AFE 24 performs predetermined pre-stage image processing on the analog captured image generated by the image sensor 23.
  • the pre-stage image processing may include correlated double sampling, gain adjustment, A / D conversion, and the like.
  • the image processing unit 25 includes one or more processors.
  • the processor may include a dedicated processor specialized for a specific process and a general-purpose processor that executes a specific function by reading a specific program.
  • the dedicated processor may include a DSP (Digital Signal Processor) and an application specific IC (ASIC; Application Specific Integrated Circuit).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the illuminating device control unit 21 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or a plurality of processors cooperate.
  • the image processing unit 25 performs predetermined subsequent image processing on the captured image that has been subjected to the previous image processing by the AFE 24.
  • the post-stage image processing may include, for example, exposure adjustment processing.
  • the post-stage image processing may include a restoration process for reducing blurring of the captured image.
  • the lens included in the imaging optical system 22 has an F value of an appropriate size in order to obtain performance substantially equal to the diffraction limit in the entire region of the captured image.
  • the response of the lens to the point source is a rotationally symmetric zinc function distribution.
  • the response of the lens to the point light source may be indicated by, for example, a point spread function (PSF).
  • PSF point spread function
  • the deconvolution filter may include, for example, a Wiener filter.
  • the image processing unit 25 performs restoration processing on the captured image using a single deconvolution filter corresponding to the point spread function.
  • the restoration process may include a deconvolution process.
  • the image processing unit 25 detects the eye or pupil of the subject 15 on the captured image on which the subsequent image processing has been performed. Any method can be adopted for detecting the eye or the pupil. For example, a method using pattern matching or a method of extracting feature points on the captured image (for example, feature points corresponding to the contour of the face, eyes, nose, mouth, etc.) can be employed.
  • the feature points on the captured image may include, for example, points corresponding to the face outline, eyes, pupils, nose, mouth, and the like of the subject 15.
  • the image processing unit 25 determines the state of the subject 15 based on the detection result of the eye or pupil of the subject 15 on the captured image. For example, when the subject 15 is looking away or drowsy, the image processing unit 25 may not be able to detect the eye or pupil of the subject 15 on the captured image over a plurality of consecutive frames.
  • the state in which the target person 15 is looking away or driving asleep is also referred to as a driving inappropriate state.
  • the image processing unit 25 may determine that the subject 15 is in a driving inappropriate state when the eye or pupil of the subject 15 on the captured image is not detected over a predetermined number of consecutive frames.
  • the image processing unit 25 may generate a control signal for causing the warning device 13 to issue a warning according to the determination result of the state of the subject 15.
  • the image processing unit 25 may output the control signal to the warning device 13 via the communication unit 26.
  • the image processing unit 25 generates and outputs the control signal when it is determined that the subject 15 is in a driving inappropriate state.
  • the communication unit 26 may include an interface for inputting and outputting information via the network 14.
  • input of information is also referred to as acquisition or reception of information.
  • the output of information is also called information transmission.
  • the camera control unit 27 includes one or more processors.
  • the processor may include a dedicated processor specialized for a specific process and a general-purpose processor that executes a specific function by reading a specific program.
  • the dedicated processor may include an ASIC.
  • the processor may include a PLD.
  • the PLD may include an FPGA.
  • the lighting device control unit 21 may be any of SoC and SiP in which one or more processors cooperate.
  • the camera control unit 27 controls the entire operation of the imaging device 12. For example, the camera control unit 27 generates a synchronization signal indicating the imaging timing, controls the operation of the communication unit 26, and causes the illumination device 11 to output the synchronization signal. When the synchronization signal is output, the camera control unit 27 controls the operation of the image sensor 23 to capture a subject image.
  • the synchronization signal may be generated by a device other than the imaging device 12 among the devices provided in the vehicle 16.
  • the synchronization signal may be generated by an ECU (Electronic Control Unit) mounted on the lighting device 11, the warning device 13, or the vehicle 16.
  • the generated synchronization signal may be input to the imaging device 12 and the illumination device 11, respectively.
  • the illumination device 11 includes one or more light sources 18, an illumination optical system 19, an illumination device communication unit 20, and an illumination device control unit 21.
  • the light source 18 includes, for example, an LED.
  • the light source 18 emits light of at least a predetermined wavelength band.
  • the light emitted from the light source 18 may be continuous light emission or pulse light emission.
  • the light in the predetermined wavelength band is light that can be photoelectrically converted by the image sensor 23 of the imaging device 12.
  • the light source 18 may be an infrared LED that emits diffused light in the infrared band.
  • the illumination optical system 19 includes a lens whose angle of view is adjusted, for example.
  • the illumination optical system 19 irradiates light that passes through the illumination optical system 19.
  • the illumination light emitted from the light source 18 and transmitted through the illumination optical system 19 is applied to the entire face of the subject 15.
  • the lighting device communication unit 20 includes an interface for inputting and outputting information via the network 14.
  • the lighting device control unit 21 includes one or more processors.
  • the processor may include a dedicated processor specialized for a specific process and a general-purpose processor that executes a specific function by reading a specific program.
  • the dedicated processor may include an ASIC.
  • the processor may include a PLD.
  • the PLD may include an FPGA.
  • the lighting device control unit 21 may be any of SoC and SiP in which one or more processors cooperate.
  • the lighting device control unit 21 controls the operation of each part of the lighting device 11. For example, the illumination device control unit 21 causes the light source 18 to emit light in synchronization with the imaging timing of the imaging device 12.
  • the illuminating device control unit 21 causes the light source 18 to emit light in the infrared band for a predetermined time periodically according to the synchronization signal acquired via the illuminating device communication unit 20.
  • the imaging device 12 performs imaging according to the synchronization signal. For this reason, the light emission timing of the illuminating device 11 and the imaging timing of the imaging device 12 are synchronized.
  • the warning device 13 will be described.
  • the warning device 13 may include, for example, a speaker and a vibrator.
  • the warning device 13 receives the control signal described above from the imaging device 12, the warning device 13 issues a warning to the subject 15.
  • the warning may be performed by, for example, at least one of sound and vibration. By warning, for example, it is possible to alert the subject 15 who is performing a look-ahead driving or a drowsy driving to the driving.
  • the lens 28 included in the imaging optical system 22 of the imaging device 12 and a method for determining the F value of the lens 28 will be specifically described.
  • the lens 28 forms an image of light incident from the object side on the light receiving surface position of the image sensor 23.
  • the focal length of the lens 28 is f [mm]
  • the F value is F
  • the rear depth of field is D n [mm]
  • the front depth of field is D f [mm]
  • the shooting distance is S [mm]
  • the depth of field (rear depth of field D n + forward depth of field D f ) is expressed by the following equation (1).
  • the imaging distance between the imaging device 12 and the subject 15 can change according to individual differences or postures of the subject 15.
  • predetermined system requirements may be imposed on the imaging device 12 so that a shooting range that can be taken by the shooting distance is within the depth of field.
  • the system requirements may be determined according to, for example, the vehicle constant of the vehicle 16 and the arrangement of the imaging device 12 in the vehicle 16.
  • four system requirements are considered, for example, shooting range, horizontal field angle ⁇ , pixel pitch p, and allowable circle of confusion diameter ⁇ .
  • An example of each system requirement value is shown below.
  • Pixel pitch p 0.003mm to 0.006mm
  • Allowable confusion circle diameter ⁇ : ⁇ 2p
  • the focal length f that satisfies the above system requirements will be described.
  • the focal length f is calculated for various combinations in which the numerical values of the system requirements are different.
  • a plurality of focal lengths f are calculated by changing the pixel pitch p, the number of horizontal pixels of the image sensor 23, and the horizontal angle of view ⁇ .
  • the pixel pitch p may be changed within a range of 0.003 mm to 0.006 mm, for example.
  • the number of horizontal pixels may be changed, for example, in the range of 640 pixels to 1920 pixels.
  • the horizontal angle of view ⁇ may be changed in the range of 30 ° to 60 °, for example.
  • a part of the calculated focal length f is shown in Table 1 below.
  • Table 1 shows that the pixel pitch p is 0.006 mm or 0.003 mm, the number of horizontal pixels of the image sensor 23 is 640 pixels, 1280 pixels, or 1920 pixels, and the horizontal angle of view ⁇ is 30 °, 50 °, or 60 °.
  • the focal length f calculated so as to satisfy the above system requirements is illustrated for 10 combinations of
  • the lower limit value of the F value that satisfies the above system requirements is calculated.
  • the lower limit value of the F value is calculated using the above equation (1). For example, each focal length f when the pixel pitch p is 0.006 mm or 0.003 mm, the number of horizontal pixels is 640 pixels, 1280 pixels, or 1920 pixels, and the horizontal angle of view ⁇ is changed from 30 ° to 60 °.
  • the lower limit value of the F value is calculated for.
  • FIG. 4 is a graph in which the calculated F value is plotted with the horizontal axis representing the focal length f and the vertical axis representing the F value.
  • FIG. 5 is a graph obtained by re-plotting the lower limit value of the F value shown in FIG. 4 with the horizontal axis being f 2 / ⁇ .
  • the slope of the straight line passing through each plot shown in FIG. 5 is 0.0006, and the intercept is 0. Therefore, the range of the F value that satisfies the system requirements is expressed by the following equation (3).
  • the imaging device 12 that satisfies the above system requirements can be realized.
  • the captured image may become dark unless the illumination light output from the illumination device 11 is increased, for example. In such a case, the detection accuracy of the state of the subject 15 may be reduced or may not be detected. On the other hand, for example, from the viewpoint of heat generation or power consumption, the output of illumination light from the illumination device 11 may not be increased. Therefore, an appropriate upper limit value of the F value may be determined.
  • the lens 28 having a large F value can be easily corrected for aberrations by design and has low tolerance sensitivity. Therefore, the imaging optical system 22 including the lens 28 having a large F value can obtain performance substantially equal to the diffraction limit in the entire region of the captured image.
  • the entire area of the captured image may correspond to the entire light receiving surface of the image sensor 23.
  • the resolution performance may be resolution. Therefore, the minimum F value that can obtain performance substantially equal to the diffraction limit may be determined, and the determined value may be set as the upper limit value of the F value.
  • a method for determining the upper limit value of the F value will be specifically described.
  • ⁇ 2.44 ⁇ F (4)
  • ⁇ is the wavelength of light.
  • ⁇ is the center wavelength of the illumination light in the infrared band by the illumination device 11.
  • the optical member includes a lens 28.
  • Four configurations will be described in the case where the number of AR coating layers formed on one lens surface is one or two and the number of lens surfaces on which the AR coating layer is formed is four or six.
  • FIG. 6 is a graph showing the light wavelength ⁇ [nm] on the horizontal axis and the light transmittance [%] on the vertical axis.
  • FIG. 6 shows configuration A in which the number of AR coating layers is one and the number of lens surfaces is four, configuration B in which the number of AR coating layers is one and the number of lens surfaces is six, and the AR coating layer The relationship between wavelength and transmittance is shown for the configuration C in which the number is 2 and the number of lens surfaces is 4, and the configuration D in which the number of AR coating layers is 2 and the number of lens surfaces is 6 ing.
  • the solid line in the figure corresponds to configuration A.
  • a broken line in the figure corresponds to the configuration B.
  • a one-dot chain line in the figure corresponds to the configuration C.
  • a two-dot chain line in the figure corresponds to the configuration D.
  • the AR coating layer reduces the transmittance of light in the visible light band while maintaining the transmittance of light in the infrared band from the lighting device 11 at a relatively high value.
  • the visible light band may include a wavelength band of 360 nm to 760 nm, for example.
  • the infrared band may include a wavelength band of 850 nm to 940 nm, for example.
  • magnesium fluoride (MgF 2 ) is used for the AR coating layer.
  • MgF 2 is a low refractive index material that transmits light from deep ultraviolet to near infrared.
  • MgF 2 is used for the first layer and zirconium dioxide (ZrO 2 ) is used for the second layer.
  • ZrO 2 is a highly refractive material that transmits light from 340 nm to 8 ⁇ m.
  • MgF 2 is used for the first layer and titanium oxide (TiO 2 ) is used for the second layer.
  • TiO 2 is a highly refractive material that absorbs light in the ultraviolet band.
  • the transmittance is about 80% near 420 nm, and the transmittance in the visible light band is relatively high.
  • the transmittance in the visible light band is relatively high in the configurations A and B. The rate has been reduced.
  • the transmittance is about 10% near 480 nm, for example, and the transmittance in the visible light band is even lower than the configuration C.
  • the transmittance near 400 nm is about 85% in the configuration C, and is about 25% in the configuration D.
  • the transmittance near 700 nm is about 80% in the configuration C and about 55% in the configuration D.
  • the transmittance of the configuration D is further reduced over the visible light band as compared with the configuration C.
  • the configuration of the imaging optical system 22 according to the present embodiment is not limited to the configuration C and the configuration D described above.
  • the type of the AR coating layer may include, for example, the material included in the AR coating layer and the number of layers formed.
  • TiO at any lens surface AR coating layer ZrO 2 is used for the MgF 2 and the second layer is subjected to a first layer, in other lens surface, the MgF 2 and the second layer to the first layer
  • An AR coating layer using 2 may be formed.
  • a desired wavelength characteristic can be realized by adjusting the type of the AR coating layer formed on each of two or more lens surfaces.
  • the F value of the lens 28 is relatively large. For this reason, the intensity of light in the visible light band of outside light becomes relatively small when passing through the lens 28. For example, when the intensity of illumination light from the illumination device 11 is sufficiently large compared to outside light, a practically good captured image can be obtained if the outside light is reduced to a certain extent by a plurality of AR coating layers as described above. . Therefore, for example, the visible light cut filter can be omitted and the configuration of the imaging optical system 22 can be simplified and downsized as compared with a configuration in which the imaging optical system includes a visible light cut filter.
  • the lens 28 of the image pickup apparatus 12 uses the F value, the focal length f, and the pixel pitch p of the image pickup device 23 to satisfy F ⁇ 0. It may be determined to satisfy 0003 f 2 / p. With such a configuration, it is possible to realize the imaging device 12 that is installed in the vehicle 16 and can be used in a special usage environment in which the subject 15 is imaged.
  • an imaging device other than the imaging device 12 according to an embodiment is used.
  • the space in the vehicle is limited and the imaging distance from the imaging device to the subject is short, so that the depth of field of the imaging device becomes shallow.
  • the shooting distance can vary depending on individual differences or postures of the subject. For this reason, if the depth of field is shallow, the subject is not necessarily focused and the captured image may be blurred. The captured image in which the blur has occurred may cause a decrease in detection accuracy of the state of the subject.
  • the imaging device 12 for example, the imaging device 12 that secures a sufficient depth of field to capture the subject 15 whose posture can change in the vehicle 16 can be realized. It is. Therefore, the occurrence of blur in the captured image is suppressed, and the detection accuracy of the state of the subject 15 is improved.
  • the F value can be increased.
  • the aperture of the lens 28 can be reduced.
  • the lens barrel of the imaging optical system 22 can be reduced in size, and the entire imaging apparatus 12 can be reduced in size.
  • Aberration correction is facilitated by increasing the F value. Therefore, for example, the number of lenses included in the imaging optical system 22 can be reduced as compared with a configuration using a lens that satisfies F ⁇ 0.0003 f 2 / p that does not satisfy the above-described formula (1), and the imaging apparatus 12 as a whole further. Miniaturization is possible. Increasing the F value increases the depth of focus.
  • the F value of the lens 28 may be determined using the central wavelength ⁇ of the illumination light that illuminates the subject 15 so as to satisfy F ⁇ 1.64p / ⁇ , which is the above-described equation (6). With this configuration, it is possible to realize the imaging device 12 having a good balance between the resolution performance due to the diffraction limit and the brightness of the captured image.
  • an imaging device other than the imaging device 12 according to an embodiment In order to increase the depth of field, it is conceivable to increase the F value of the imaging device. However, when the F value is increased, the brightness of the captured image becomes darker. For this reason, the detection accuracy of the state of the subject may be reduced or cannot be detected.
  • the imaging device 12 may perform a restoration process on the captured image using a single deconvolution filter. As described above, by determining the F value of the lens 28 so as to satisfy the expression (3) and sufficiently deepening the depth of field, the distribution of the zinc function having a substantially uniform point spread function in the entire region of the captured image. It becomes. In other words, by using the lens 28 having a deep depth of field, the imaging device 12 can be designed so that the spread of the point image over the entire photographing distance has a constant distribution. Specifically, the illumination light from the illumination device 11 is infrared band light having a predetermined center wavelength, and chromatic aberration can be ignored in practice.
  • the spread of the point image becomes a substantially uniform distribution in the entire region of the captured image.
  • the lens 28 having a large F value has low tolerance sensitivity. For this reason, performance close to the design value can be obtained. Therefore, the blur of the captured image can be reduced using a single deconvolution filter corresponding to the point spread function. For this reason, for example, the processing load is reduced compared to a configuration in which the point spread function is nonuniform in the entire region of the captured image and the restoration process is performed using a plurality of filters. When the performance is close to the diffraction limit, the filter size can be reduced.
  • Different types of coating layers may be formed on two or more lens surfaces of one or more lenses included in the imaging optical system 22.
  • desired wavelength characteristics can be obtained. For example, it is possible to increase the transmittance in the infrared band while reducing the transmittance in the visible light band and the ultraviolet band.
  • the visible light cut filter can be omitted as compared with a configuration in which the imaging optical system has a visible light cut filter. For this reason, the configuration of the imaging optical system 22 can be simplified and downsized.
  • the imaging device 12 or the like may be realized as a communication device such as a mobile phone, and may be connected to other components of the target person monitoring system 10 by wire or wirelessly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Inorganic Chemistry (AREA)
  • Combustion & Propulsion (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Studio Devices (AREA)
  • Surface Treatment Of Optical Elements (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

対象者の状態の検出精度を向上させた撮像装置を提供する。　撮像装置１２は、車両内の対象者の顔の光学像を結像させる撮像光学系２２と、結像された光学像を撮像して撮像画像を生成する撮像素子２３と、撮像画像に基づいて対象者の状態を判定する画像処理部２５と、を備える。撮像光学系２２のＦ値をＦ、焦点距離をｆ、および撮像素子２３の画素ピッチをｐとしたとき、Ｆ≧０．０００３ｆ2／ｐが満たされる。

Description

撮像装置 関連出願の相互参照
　本出願は、２０１５年１０月２６日に日本国に特許出願された特願２０１５－２１００９５の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示の実施形態は、車両の運転者などの対象者の状態を監視するための撮像装置に関する。
　従来、例えば車両の運転者などの対象者の状態を監視する装置が知られている。例えば特許文献１には、運転者の顔を近赤外線で照明する赤外線ＬＥＤと、運転者の顔を撮影するＣＣＤカメラと、顔画像をもとに対象者の眼の開閉状態を検出する瞬目検出回路と、対象者の覚醒度の低下を検出する覚醒度低下検出回路と、を備える居眠り警報装置が開示されている。
特開平８－２９０７２６号公報
　本開示の実施形態に係る撮像装置は、
　車両内の対象者の顔の光学像を結像させる撮像光学系と、
　結像された前記光学像を撮像して撮像画像を生成する撮像素子と、
　前記撮像画像に基づいて前記対象者の状態を判定する画像処理部と、を備え、
　前記撮像光学系のＦ値をＦ、焦点距離をｆ、および前記撮像素子の画素ピッチをｐとしたとき、Ｆ≧０．０００３ｆ2／ｐを満たす。
一実施形態に係る対象者監視システムの概略構成を示すブロック図である。 図１の対象者監視システムを備える車両を左側方から見た図である。 撮像光学系に含まれるレンズの概略構成を示す光軸に沿った断面図である。 焦点距離とＦ値との関係を示す図である。 焦点距離の２乗／許容錯乱円直径とＦ値との関係を示す図である。 撮像光学系に含まれるレンズの被コーティング面数およびＡＲコーティング層数に応じた、波長に対する撮像光学系の光の透過率を示す図である。
　以下、本開示の実施形態について、図面を参照して説明する。
　図１を参照して、本開示の一実施形態に係る対象者監視システム１０について説明する。
　図１に示すように、対象者監視システム１０は、照明装置１１と、撮像装置１２と、警告装置１３と、を備える。対象者監視システム１０の各構成要素は、ネットワーク１４を介して情報を送受信可能である。ネットワーク１４には、例えば無線、有線、またはＣＡＮ（Controller Area Network）などが含まれてよい。他の実施形態において、対象者監視システム１０の一部または全部の構成要素が、１つの装置として一体的に構成されてよい。
　照明装置１１は、対象者１５の顔に光を照射可能な任意の位置にある。対象者１５は、例えば車両１６の運転者を含んでよい。例えば図２に示すように、照明装置１１は、車両１６のダッシュボード１７に配置されてよい。以下、照明装置１１から出る光を照明光ともいう。
　撮像装置１２は、対象者１５の顔を撮像可能な任意の位置にある。撮像装置１２は、例えば車両１６のダッシュボード１７に配置されてよい。一実施形態において、撮像装置１２は、画像上の対象者１５の眼の瞳孔が明るい撮像画像を生成する。以下、瞳孔が明るい撮像画像を、明瞳孔画像ともいう。例えば、照明装置１１および撮像装置１２が近接して配置されることによって、撮像装置１２に明瞳孔画像を生成させてよい。他の実施形態において、撮像装置１２は、画像上の対象者１５の眼の瞳孔が暗い撮像画像を生成する。以下、瞳孔が暗い撮像画像を、暗瞳孔画像ともいう。例えば、照明装置１１および撮像装置１２が離れて配置されることによって、撮像装置１２に暗瞳孔画像を生成させてよい。
　警告装置１３は、対象者１５に対する警告を行う。例えば、音によって警告が行われる場合には、警告装置１３は、車両１６内の任意の位置に配置されてよい。例えば、振動によって警告が行われる場合には、警告装置１３は、振動が対象者１５に伝わるような任意の位置に配置されてよい。例えば、警告装置１３は、車両１６内の運転者用座席、ステアリングホイール、シフトノブ、またはフットレストなどに配置されてよい。
　対象者監視システム１０の各構成要素について説明する。
　撮像装置１２について説明する。図１に示すように、撮像装置１２は、撮像光学系２２と、撮像素子２３と、ＡＦＥ（Analog Front End）２４と、画像処理部２５と、通信部２６と、カメラ制御部２７と、を備える。
　撮像光学系２２は、絞り、１以上のレンズ、およびこれらを保持する鏡筒を含んでよい。撮像光学系２２は、撮像光学系２２を通過する光による被写体像を結像させる。撮像光学系２２は、少なくとも所定の波長帯域の光を通過させる。所定の波長帯域は、後述するように照明装置１１から出る照明光の波長を含んでよい。例えば、照明光が赤外光を含む場合、所定の波長帯域は、当該赤外光の波長が含まれる帯域であってよい。一実施形態において、撮像光学系２２は、当該所定の波長帯域の光を通過させるフィルタをさらに含んでよい。撮像光学系２２は、照明装置１１から出る照明光の照射先からの反射光を取込可能となる任意の位置にある。一実施形態において、撮像光学系２２は、照明装置１１から出る照明光が照射された対象者１５の顔を含む被写体像を結像可能である。
　撮像光学系２２に含まれる１以上のレンズにおいて、２以上のレンズ面それぞれには、ＡＲ（Anti-Reflective）コーティング層が形成される。ＡＲコーティング層は、例えばマルチコーティングによって形成されてよい。ＡＲコーティング層によって、任意の帯域の光の透過率が制御可能である。例えば、可視光帯域の光の透過率が制御されてよい。例えば、レンズ面毎に特性が異なるＡＲコーティング層が形成されることによって、任意の帯域の光の透過率が制御されてよい。一実施形態において、照明装置１１から出る照明光の透過率が可視光の透過率よりも大きくなるように、２以上のレンズ面それぞれにＡＲコーティング層が形成される。ＡＲコーティング層による光の透過率の詳細については後述する。
　一実施形態において、撮像光学系２２に含まれるレンズのＦ値は、撮像素子２３の画素ピッチに応じて決定される。レンズのＦ値の決定手法の詳細については後述する。
　撮像素子２３は、例えばＣＣＤ（Charge-Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子２３の受光面に複数の画素が任意の画素ピッチで配列されてよい。撮像素子２３は、撮像光学系２２によって結像される被写体像を撮像して、撮像画像を生成する。撮像素子２３がＣＭＯＳ撮像素子を含む場合には、ＡＦＥ２４の後述する各機能を撮像素子２３が有する構成であってよい。
　ＡＦＥ２４は、例えばＣＤＳ（Correlated Double Sampling）、ＡＧＣ（Auto Gain Control）、およびＡＤＣ（Analog-to-Digital Converter）を含んでよい。ＡＦＥ２４は、撮像素子２３によって生成されたアナログの撮像画像に対し、所定の前段画像処理を施す。前段画像処理には、例えば相関二重サンプリング、ゲイン調整、およびＡ／Ｄ変換などが含まれてよい。
　画像処理部２５は、１以上のプロセッサを含む。プロセッサには、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサが含まれてよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。照明装置制御部２１は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。画像処理部２５は、ＡＦＥ２４によって前段画像処理が施された撮像画像に対して、所定の後段画像処理を施す。
　後段画像処理には、例えば露出調整処理などが含まれてよい。後段画像処理には、撮像画像のボケを低減する復元処理が含まれてよい。後述するように、撮像光学系２２に含まれるレンズは、撮像画像の全領域で回折限界に略等しい性能を得るために適切な大きさのＦ値を有する。回折限界において、レンズの点光源に対する応答は、回転対称のジンク関数の分布となる。レンズの点光源に対する応答は、例えば点拡がり関数（ＰＳＦ：Point Spread Function）で示されてよい。撮像画像の全領域で点拡がり関数が略均一なジンク関数の分布となる場合、当該点拡がり関数に対応する単一のデコンボリューションフィルタを用いることによって、撮像画像のボケが低減可能である。デコンボリューションフィルタには、例えばウィナーフィルタが含まれてよい。画像処理部２５は、当該点拡がり関数に対応する単一のデコンボリューションフィルタを用いて、撮像画像に対して復元処理を施す。復元処理には、デコンボリューション処理が含まれてよい。
　画像処理部２５は、後段画像処理が施された撮像画像上の対象者１５の眼または瞳孔を検出する。眼または瞳孔の検出には、任意の手法が採用可能である。例えば、パターンマッチングを用いる手法、または撮像画像上の特徴点（例えば、顔の輪郭、眼、鼻、および口などに対応する特徴点）を抽出する手法などが採用可能である。撮像画像上の特徴点は、例えば対象者１５の顔の輪郭、眼、瞳孔、鼻、および口などに対応する点を含んでよい。
　画像処理部２５は、撮像画像上の対象者１５の眼または瞳孔の検出結果に基づいて対象者１５の状態を判定する。例えば、対象者１５がよそ見運転または居眠り運転をしていると、画像処理部２５は、撮像画像上の対象者１５の眼または瞳孔を、連続する複数のフレームに亘って検出できない場合がある。以下、対象者１５がよそ見運転または居眠り運転をしている状態を、運転不適状態ともいう。画像処理部２５は、連続する所定数のフレームに亘って撮像画像上の対象者１５の眼または瞳孔が検出されない場合、対象者１５が運転不適状態であると判定してよい。
　画像処理部２５は、対象者１５の状態の判定結果に応じて、警告装置１３に警告を行わせるための制御信号を生成してよい。画像処理部２５は、通信部２６を介して警告装置１３へ当該制御信号を出力してよい。一実施形態において、画像処理部２５は、対象者１５が運転不適状態であると判定された場合に、当該制御信号を生成し出力する。
　通信部２６は、ネットワーク１４を介して情報の入力および出力を行うインターフェースを含んでよい。以下、情報の入力を、情報の取得または受信ともいう。情報の出力を、情報の送信ともいう。
　カメラ制御部２７は、１以上のプロセッサを含む。プロセッサには、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサが含まれてよい。専用のプロセッサには、ＡＳＩＣが含まれてよい。プロセッサには、ＰＬＤが含まれてよい。ＰＬＤには、ＦＰＧＡが含まれてよい。照明装置制御部２１は、１つまたは複数のプロセッサが協働するＳｏＣ、およびＳｉＰのいずれかであってよい。カメラ制御部２７は、撮像装置１２全体の動作を制御する。例えば、カメラ制御部２７は、撮像のタイミングを示す同期信号を生成し、通信部２６の動作を制御して当該同期信号を照明装置１１へ出力させる。カメラ制御部２７は、同期信号が出力されると、撮像素子２３の動作を制御して、被写体像を撮像させる。他の実施形態において、同期信号は、車両１６に備えられた装置のうち、撮像装置１２以外の装置によって生成されてよい。例えば、照明装置１１、警告装置１３、または車両１６に搭載されたＥＣＵ（Electronic Control Unit）などによって、同期信号が生成されてよい。生成された同期信号は、撮像装置１２および照明装置１１にそれぞれ入力されてよい。
　照明装置１１について説明する。照明装置１１は、１以上の光源１８と、照明光学系１９と、照明装置通信部２０と、照明装置制御部２１と、を備える。
　光源１８は、例えばＬＥＤなどを含む。光源１８は、少なくとも所定の波長帯域の光を発する。光源１８の発光は、連続発光またはパルス発光であってよい。所定の波長帯域の光は、撮像装置１２の撮像素子２３が光電変換可能な光である。一実施形態において、光源１８は赤外帯域の拡散光を発する赤外ＬＥＤであってよい。
　照明光学系１９は、例えば画角が調整されたレンズを含む。照明光学系１９は、照明光学系１９を透過する光を照射する。一実施形態において、光源１８によって発せられ照明光学系１９を透過した照明光は、対象者１５の顔全体に照射される。
　照明装置通信部２０は、ネットワーク１４を介して情報の入力および出力を行うインターフェースを含む。
　照明装置制御部２１は、１以上のプロセッサを含む。プロセッサには、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサが含まれてよい。専用のプロセッサには、ＡＳＩＣが含まれてよい。プロセッサには、ＰＬＤが含まれてよい。ＰＬＤには、ＦＰＧＡが含まれてよい。照明装置制御部２１は、１つまたは複数のプロセッサが協働するＳｏＣ、およびＳｉＰのいずれかであってよい。照明装置制御部２１は、照明装置１１の各部位の動作を制御する。例えば、照明装置制御部２１は、撮像装置１２の撮像タイミングと同期して、光源１８を発光させる。一実施形態において、照明装置制御部２１は、照明装置通信部２０を介して取得する同期信号に応じて周期的に、光源１８に赤外帯域の光を所定の時間発光させる。上述したように、撮像装置１２は、同期信号に応じて撮像を行う。このため、照明装置１１の発光タイミングと、撮像装置１２の撮像タイミングと、が同期される。
　警告装置１３について説明する。警告装置１３は、例えばスピーカおよびバイブレータなどを備えてよい。警告装置１３は、撮像装置１２から上述した制御信号を受信すると、対象者１５に対して警告を行う。警告は、例えば音および振動の少なくとも一方によって行われてよい。警告によって、例えばよそ見運転または居眠り運転などを行う対象者１５に対する運転への注意喚起が可能である。
　図３を参照して、撮像装置１２の撮像光学系２２に含まれるレンズ２８およびレンズ２８のＦ値の決定手法について具体的に説明する。レンズ２８は、物体側から入射した光を、撮像素子２３の受光面位置に結像させる。以下、レンズ２８の焦点距離をｆ［ｍｍ］、Ｆ値をＦ、後方被写界深度をＤn［ｍｍ］、前方被写界深度をＤf［ｍｍ］、撮影距離をＳ［ｍｍ］、許容錯乱円直径をδ［ｍｍ］、および撮像素子２３の画素ピッチをｐ［ｍｍ］とおく。
　被写界深度（後方被写界深度Ｄn＋前方被写界深度Ｄf）は、次式（１）で示される。
Figure JPOXMLDOC01-appb-M000001
　撮像装置１２と対象者１５との間の撮像距離は、対象者１５の個人差または姿勢に応じて変化し得る。対象者監視システム１０において、撮影距離が取り得ると想定される撮影範囲が被写界深度内に収まるように、撮像装置１２に所定のシステム要件が課されてよい。システム要件は、例えば車両１６の車両定数および車両１６における撮像装置１２の配置に応じて定められてよい。一実施形態において、例えば撮影範囲、水平画角θ、画素ピッチｐ、および許容錯乱円直径δの４つのシステム要件が考慮される。各システム要件の値の一例を以下に示す。
・撮影範囲：４００ｍｍ～１０００ｍｍ
・水平画角θ：３０°～６０°
・画素ピッチｐ：０．００３ｍｍ～０．００６ｍｍ
・許容錯乱円直径δ：δ＝２ｐ
　上記のシステム要件を満たす焦点距離ｆについて説明する。各システム要件の数値を異ならせた多様な組み合わせについて、焦点距離ｆを算出する。各焦点距離ｆは、像高をｈ［ｍｍ］として、次式（２）を用いて算出される。
　ｈ＝ｆ×ｔａｎ（θ／２）　　　　　　　　　　　（２）
　画素ピッチｐ、撮像素子２３の水平画素数、および水平画角θをそれぞれ変化させて、複数の焦点距離ｆを算出する。画素ピッチｐを、例えば０．００３ｍｍ～０．００６ｍｍの範囲で変化させてよい。水平画素数を、例えば６４０ピクセル～１９２０ピクセルの範囲で変化させてよい。水平画角θを、例えば３０°～６０°の範囲で変化させてよい。算出された焦点距離ｆの一部を、次の表１に示す。表１は、画素ピッチｐを０．００６ｍｍまたは０．００３ｍｍとし、撮像素子２３の水平画素数を６４０ピクセル、１２８０ピクセル、または１９２０ピクセルとし、水平画角θを３０°、５０°、または６０°とした場合の１０通りの組み合わせについて、上記のシステム要件を満たすように算出された焦点距離ｆを例示している。
Figure JPOXMLDOC01-appb-T000001
　算出された焦点距離ｆを用いて、上記のシステム要件を満たすＦ値の下限値を算出する。Ｆ値の下限値は、上述の式（１）を用いて算出される。例えば、画素ピッチｐを０．００６ｍｍまたは０．００３ｍｍとし、水平画素数を６４０ピクセル、１２８０ピクセル、または１９２０ピクセルとし、水平画角θを３０°から６０°まで変化させたときの各焦点距離ｆについてＦ値の下限値が算出される。
　図４は、横軸を焦点距離ｆ、および縦軸をＦ値とし、算出されたＦ値をプロットしたグラフである。図４は、画素ピッチｐ＝０．００３ｍｍとした場合のＦ値の下限値と、画素ピッチｐ＝０．００６ｍｍとした場合のＦ値の下限値と、を例示している。画素ピッチｐ＝０．００３ｍｍとした場合、許容錯乱円直径δ＝２ｐ＝０．００６ｍｍである。画素ピッチｐ＝０．００６ｍｍとした場合、許容錯乱円直径δ＝２ｐ＝０．０１２ｍｍである。
　図５は、横軸をｆ2／δとして、図４に示すＦ値の下限値をプロットし直したグラフである。図５に示す各プロットを通る直線の傾きは０．０００６、切片は０である。したがって、上記のシステム要件を満たすＦ値の範囲は、次式（３）で示される。
　Ｆ≧０．０００３ｆ2／ｐ　　　　　　　　　　　（３）
　上述の式（３）を満たすようにレンズ２８のＦ値を決定することによって、上記のシステム要件を満たす撮像装置１２が実現可能である。
　しかしながら、単純にＦ値を大きくすると、例えば照明装置１１による照明光の出力を上げない限り、撮像画像が暗くなる場合がある。かかる場合、対象者１５の状態の検出精度が低下し、または検出できない場合がある。一方、例えば発熱または消費電力の観点から、照明装置１１による照明光の出力を上げることができない場合がある。したがって、Ｆ値の適切な上限値を決定してもよい。
　Ｆ値が大きいレンズ２８は、設計上収差補正が容易であり、公差感度が低い。したがって、Ｆ値が大きいレンズ２８を含む撮像光学系２２によって、撮像画像の全領域で回折限界に略等しい性能を得ることができる。撮像画像の全領域は、撮像素子２３の受光面の全面に対応してよい。一方、Ｆ値を必要以上に大きくしても、回折限界によって解像性能が制限される。解像性能は、分解能であってよい。したがって、回折限界に略等しい性能を得ることができる最小のＦ値を決定し、決定された値をＦ値の上限値に定めてもよい。以下、Ｆ値の上限値の決定手法について、具体的に説明する。
　回折限界におけるエアリーディスクの直径φは、次式（４）で示される。
　φ＝２．４４λＦ　　　　　　　　　　　　　　　（４）
ここで、λは光の波長である。一実施形態において、λは、照明装置１１による赤外帯域の照明光の中心波長である。
　本実施形態において、エアリーディスクの直径φと画素ピッチｐとの関係が次式（５）を満たす場合に、実用上で回折限界に略等しい性能を得られることが実験で明らかになった。
　φ≦４ｐ　　　　　　　　　　　　　　　　　　　（５）
　上述した式（４）および式（５）から、Ｆ値の範囲は次式（６）で示される。
　Ｆ≦１．６４ｐ／λ　　　　　　　　　　　　　　（６）
　上述の式（６）を満たすようにレンズ２８のＦ値を決定することによって、撮像画像の全領域で回折限界に略等しい性能が得られる撮像装置１２が実現可能である。
　図６を参照して、撮像光学系２２に含まれる少なくとも１つの光学部材に形成されたＡＲコーティング層による光の透過率の詳細について説明する。一実施形態において、当該光学部材には、レンズ２８が含まれる。１つのレンズ面に形成されるＡＲコーティング層の数を１層または２層とし、ＡＲコーティング層が形成されるレンズ面の数を４面または６面とした場合の４通りの構成について説明する。
　図６は、横軸を光の波長λ［ｎｍ］、縦軸を光の透過率［％］を示すグラフである。図６は、ＡＲコーティング層の数が１層かつレンズ面の数が４面である構成Ａ、ＡＲコーティング層の数が１層かつレンズ面の数が６面である構成Ｂ、ＡＲコーティング層の数が２層かつレンズ面の数が４面である構成Ｃ、およびＡＲコーティング層の数が２層かつレンズ面の数が６面である構成Ｄについて、それぞれ波長と透過率との関係を示している。図中の実線は、構成Ａに対応する。図中の破線は、構成Ｂに対応する。図中の一点鎖線は、構成Ｃに対応する。図中の二点鎖線は、構成Ｄに対応する。
　一実施形態では、ＡＲコーティング層によって、可視光帯域の光の透過率を低減させる一方、照明装置１１からの赤外帯域の光の透過率を比較的高い値に維持する。可視光帯域は、例えば３６０ｎｍ～７６０ｎｍの波長帯域を含んでよい。赤外帯域は、例えば、８５０ｎｍ～９４０ｎｍの波長帯域を含んでよい。ＡＲコーティング層数が１層である構成Ａおよび構成Ｂにおいて、ＡＲコーティング層にはフッ化マグネシウム（ＭｇＦ2）が用いられている。ＭｇＦ2は、深紫外から近赤外までの光を透過する低屈折率材料である。ＡＲコーティング層数が２層である構成Ｃにおいて、第１層にはＭｇＦ2、第２層には二酸化ジルコニウム（ＺｒＯ2）が用いられている。ＺｒＯ2は、３４０ｎｍから８μｍまでの光を透過する高屈折材料である。ＡＲコーティング層数が２層である構成Ｄにおいて、第１層にはＭｇＦ2、第２層には酸化チタン（ＴｉＯ2）が用いられている。ＴｉＯ2は、紫外帯域の光を吸収する高屈折材料である。
　図６に示すように、ＡＲコーティング層数が１層である構成Ａおよび構成Ｂでは、例えば４２０ｎｍ付近で透過率が約８０％であり、可視光帯域における透過率は比較的高い。一方、ＡＲコーティング層数が２層かつレンズ面の数が４面である構成Ｃでは、例えば５３０ｎｍ付近で透過率が約５５％であり、構成Ａおよび構成Ｂと比較して可視光帯域における透過率が低減されている。
　また、ＡＲコーティング総数が２層かつレンズ面の数が６面である構成Ｄでは、例えば４８０ｎｍ付近で透過率が約１０％であり、可視光帯域における透過率が構成Ｃよりもさらに低い。また、例えば４００ｎｍ付近の透過率は、構成Ｃで約８５％であるのに対し、構成Ｄで約２５％である。同様に、例えば７００ｎｍ付近の透過率は、構成Ｃで約８０％であるのに対し、構成Ｄで約５５％である。このように、構成Ｄは、構成Ｃと比較して可視光帯域に亘って透過率がさらに低減されている。本実施形態に係る撮像光学系２２の構成は、上述した構成Ｃおよび構成Ｄに限られない。２以上のレンズ面に異なる種類のＡＲコーティング層が形成されてもよい。ＡＲコーティング層の種類には、例えばＡＲコーティング層に含まれる材質および形成される層の数が含まれてよい。例えば、任意のレンズ面において、第１層にＭｇＦ2および第２層にＺｒＯ2が用いられたＡＲコーティング層が施され、他のレンズ面において、第１層にＭｇＦ2および第２層にＴｉＯ2が用いられたＡＲコーティング層が形成されてよい。２以上のレンズ面にそれぞれ形成させるＡＲコーティング層の種類を調整することによって、所望の波長特性を実現し得る。
　上述したように、一実施形態においてレンズ２８のＦ値は比較的大きい。このため、外光のうち可視光帯域の光の強度は、レンズ２８を通過すると比較的小さくなる。例えば照明装置１１による照明光の強度が外光と比較して十分大きい場合には、上述したように複数のＡＲコーティング層によって外光を一定程度低減すれば、実用上良好な撮像画像が得られる。したがって、例えば撮像光学系が可視光カットフィルタを有する構成と比較して、可視光カットフィルタが省略可能であり、撮像光学系２２の構成が簡素化および小型化できる。
　以上述べたように、一実施形態に係る撮像装置１２のレンズ２８は、Ｆ値、焦点距離ｆ、および撮像素子２３の画素ピッチｐを用いて、上述した式（１）であるＦ≧０．０００３ｆ2／ｐを満たすように決定されてよい。かかる構成によって、車両１６内に設置され対象者１５を撮像するという特殊な使用環境にも利用できる撮像装置１２が実現可能である。
　一実施形態に係る撮像装置１２以外の撮像装置が用いられる例について説明する。例えば、車両内空間の広さは限られており、撮像装置から対象者までの撮影距離が短いため、撮像装置の被写界深度が浅くなる。撮影距離は、対象者の個人差または姿勢などによって変化し得る。このため、被写界深度が浅いと必ずしも対象者にピントが合わず、撮像画像にボケが発生する場合がある。ボケが発生した撮像画像は、対象者の状態の検出精度の低下を引き起こし得る。
　これに対して、一実施形態に係る撮像装置１２によれば、例えば車両１６内で姿勢が変化し得る対象者１５を撮像するのに十分な被写界深度を確保した撮像装置１２が実現可能である。したがって、撮像画像のボケの発生が抑制され、対象者１５の状態の検出精度が向上する。
　Ｆ＝０．０００３ｆ2／ｐとした場合には、被写界深度を確保しつつ比較的明るい撮像画像が生成される。このため、撮像画像の明るさの観点から対象者１５の状態の検出精度がさらに向上する。
　上述した式（１）によれば、Ｆ値を大きくすることができる。Ｆ値を大きくすることによって、レンズ２８の口径を小さくできる。このため、撮像光学系２２の鏡筒を小型化でき、撮像装置１２全体として小型化が可能である。Ｆ値を大きくすることによって、収差補正が容易になる。このため、例えば上述した式（１）を満たさないＦ＜０．０００３ｆ2／ｐであるレンズを用いる構成と比較して、撮像光学系２２が有するレンズ枚数を削減でき、撮像装置１２全体としてさらに小型化が可能である。Ｆ値を大きくすることによって、焦点深度が深くなる。したがって、例えば上述した式（１）を満たさないＦ＜０．０００３ｆ2／ｐであるレンズを用いる構成と比較してデフォーカス特性に余裕があるある。このため、例えばガラスレンズに比べて線膨張係数が大きい樹脂レンズの積極的な採用が可能である。したがって、採用可能なレンズの選択肢が多様化する。多様な性質を有する樹脂レンズの採用が可能であり、撮像装置１２全体としてさらに小型化が可能である。
　レンズ２８のＦ値は、対象者１５を照らす照明光の中心波長λを用いて、上述した式（６）であるＦ≦１．６４ｐ／λを満たすように決定されてよい。かかる構成によって、回折限界による解像性能と、撮像画像の明るさと、の良好なバランスを有する撮像装置１２が実現可能である。
　一実施形態に係る撮像装置１２以外の撮像装置が用いられる例について説明する。被写界深度を深くするために、撮像装置のＦ値を大きくすることが考えられる。しかしながら、Ｆ値を大きくすると、撮像画像の明るさが暗くなる。このため、対象者の状態の検出精度が低下し、または検出できない場合がある。
　これに対して、一実施形態に係る撮像装置１２によれば、Ｆ＝１．６４ｐ／λであるレンズ２８を有する撮像光学系２２によって、撮像画像の全領域で回折限界に略等しい性能を得ることができ、解像性能が向上する。Ｆ＜１．６４ｐ／λであるレンズ２８を有する撮像光学系２２によって、レンズ２８のＦ値をＦ＝１．６４ｐ／λとした場合よりも解像性能は低下し得る一方、撮像画像が明るくなる。このため、例えば発熱または消費電力の観点から照明装置１１の出力を上げることができない場合にも利用できる撮像装置１２が実現可能である。一方、式（６）を満たさないＦ＞１．６４ｐ／λであるレンズが採用される構成であっても、回折限界によって解像性能は変化しない。しかしながら、撮像画像が暗くなる場合がある。このため、式（６）を満たす場合と比較して、対象者１５の状態の検出精度が低下する場合がある。
　撮像装置１２は、単一のデコンボリューションフィルタを用いて、撮像画像に対して復元処理を施してよい。上述したように、式（３）を満たすようにレンズ２８のＦ値を決定して被写界深度を十分深くすることによって、撮像画像の全領域で点拡がり関数が略均一なジンク関数の分布となる。換言すると、被写界深度が深いレンズ２８を用いることによって、撮影距離全域の点像の広がりが一定の分布となるように撮像装置１２が設計可能である。具体的には、照明装置１１による照明光は所定の中心波長を有する赤外帯域の光であり、色収差が実用上無視できる。このため、レンズ２８の口径を小さくすることで、撮像画像の全領域で点像の広がりが略均一の分布となる。さらに、上述したようにＦ値が大きいレンズ２８は公差感度が低い。このため、設計値に近い性能が得られる。したがって、点拡がり関数に対応する単一のデコンボリューションフィルタを用いて撮像画像のボケが低減可能である。このため、例えば撮像画像の全領域で点拡がり関数が不均一であって複数のフィルタを用いて復元処理を行う構成と比較して、処理負担が軽減される。回折限界に近い性能である場合には、フィルタサイズを小さくすることができる。
　撮像光学系２２に含まれる１以上のレンズの２以上のレンズ面に異なる種類のコーティング層が形成されてよい。かかる構成によって、所望の波長特性を得ることができる。例えば、可視光帯域および紫外帯域の透過率を低減しつつ、赤外帯域の透過率を増大させることができる。例えば撮像光学系が可視光カットフィルタを有する構成と比較して、可視光カットフィルタが省略可能である。このため、撮像光学系２２の構成が簡素化および小型化できる。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
　上述の実施形態に係る対象者監視システム１０の構成要素の一部は、車両１６の外部に設けられてもよい。例えば、撮像装置１２などは、携帯電話などの通信機器として実現され、対象者監視システム１０の他の構成要素と有線または無線によって接続されてもよい。
１０　　対象者監視システム
１１　　照明装置
１２　　撮像装置
１３　　警告装置
１４　　ネットワーク
１５　　対象者
１６　　車両
１７　　ダッシュボード
１８　　光源
１９　　照明光学系
２０　　照明装置通信部
２１　　照明装置制御部
２２　　撮像光学系
２３　　撮像素子
２４　　ＡＦＥ
２５　　画像処理部
２６　　通信部
２７　　カメラ制御部
２８　　レンズ

Claims (5)

  1. 　車両内の対象者の顔の光学像を結像させる撮像光学系と、
    　結像された前記光学像を撮像して撮像画像を生成する撮像素子と、
    　前記撮像画像に基づいて前記対象者の状態を判定する画像処理部と、を備え、
    　前記撮像光学系のＦ値をＦ、焦点距離をｆ、および前記撮像素子の画素ピッチをｐとしたとき、以下の式を満たす、撮像装置。
    　Ｆ≧０．０００３ｆ2／ｐ
  2. 　請求項１に記載の撮像装置であって、
    　前記対象者を照らす照明光の波長をλとしたとき、以下の式を満たす、撮像装置。
    　Ｆ≦１．６４ｐ／λ
  3. 　請求項１または２に記載の撮像装置であって、
    　前記画像処理部は、単一のデコンボリューションフィルタを用いて、前記撮像画像に対して復元処理を施す、撮像装置。
  4. 　請求項３に記載の撮像装置であって、
    　前記デコンボリューションフィルタは、回転対称のジンク関数の分布を示す点拡がり関数に対応するフィルタである、撮像装置。
  5. 　請求項１乃至４の何れか一項に記載の撮像装置であって、
    　前記撮像光学系は、１以上のレンズを含み、２以上のレンズ面に異なる種類のコーティング層が形成され、前記対象者を照らす照明光の透過率が可視光の透過率よりも大きい、撮像装置。
PCT/JP2016/004712 2015-10-26 2016-10-26 撮像装置 WO2017073059A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16859297.0A EP3370410B1 (en) 2015-10-26 2016-10-26 Imaging device
JP2017547620A JP6431210B2 (ja) 2015-10-26 2016-10-26 撮像装置
US15/769,975 US10376199B2 (en) 2015-10-26 2016-10-26 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015210095 2015-10-26
JP2015-210095 2015-10-26

Publications (1)

Publication Number Publication Date
WO2017073059A1 true WO2017073059A1 (ja) 2017-05-04

Family

ID=58630190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004712 WO2017073059A1 (ja) 2015-10-26 2016-10-26 撮像装置

Country Status (4)

Country Link
US (1) US10376199B2 (ja)
EP (1) EP3370410B1 (ja)
JP (1) JP6431210B2 (ja)
WO (1) WO2017073059A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346416A (zh) * 2017-06-09 2017-11-14 湖北天业云商网络科技有限公司 一种基于人体拓扑结构的身体运动状态检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252094A (ja) * 2008-04-09 2009-10-29 Toyota Motor Corp 顔画像検出装置
JP2009282551A (ja) * 2009-08-31 2009-12-03 Canon Inc 撮像装置および撮像システム
WO2015093004A1 (ja) * 2013-12-18 2015-06-25 株式会社デンソー 顔画像撮影装置、および運転者状態判定装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08290726A (ja) 1995-04-21 1996-11-05 Mitsubishi Electric Corp 居眠り警報装置
JP4290935B2 (ja) * 2002-07-18 2009-07-08 オリンパス株式会社 電子撮像装置
EP2430826A1 (en) * 2009-05-12 2012-03-21 Koninklijke Philips Electronics N.V. Camera, system comprising a camera, method of operating a camera and method for deconvoluting a recorded image
JP5897769B2 (ja) * 2013-04-16 2016-03-30 富士フイルム株式会社 撮像装置、キャリブレーションシステム、及びプログラム
CN203535250U (zh) 2013-11-11 2014-04-09 成都市晶林电子技术有限公司 一种红外镀膜镜片
DE102014203444A1 (de) * 2014-02-26 2015-08-27 Application Solutions (Electronics and Vision) Ltd. Vorrichtung und Verfahrung zur Ermittlung eines Augenzustands eines Fahrzeuginsassen
CN106165390B (zh) * 2014-03-28 2019-06-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252094A (ja) * 2008-04-09 2009-10-29 Toyota Motor Corp 顔画像検出装置
JP2009282551A (ja) * 2009-08-31 2009-12-03 Canon Inc 撮像装置および撮像システム
WO2015093004A1 (ja) * 2013-12-18 2015-06-25 株式会社デンソー 顔画像撮影装置、および運転者状態判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3370410A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346416A (zh) * 2017-06-09 2017-11-14 湖北天业云商网络科技有限公司 一种基于人体拓扑结构的身体运动状态检测方法及系统

Also Published As

Publication number Publication date
US10376199B2 (en) 2019-08-13
EP3370410A1 (en) 2018-09-05
EP3370410B1 (en) 2020-11-25
JPWO2017073059A1 (ja) 2018-07-05
JP6431210B2 (ja) 2018-11-28
US20180310868A1 (en) 2018-11-01
EP3370410A4 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
US10097752B2 (en) Lens barrel, imaging device body, and imaging device with apodization filters
US10132971B2 (en) Vehicle camera with multiple spectral filters
JP2008268868A (ja) 撮像装置
EP2490060A1 (en) Focusing device and focusing method
WO2004063989A3 (en) Camera with image enhancement functions
JP2010213274A (ja) 拡張された被写界深度の監視用撮像システム
JP2008246004A (ja) 瞳孔検出方法
KR20140068042A (ko) 촬상 장치 및 필터
US11675174B2 (en) Single optic for low light and high light level imaging
JP6431210B2 (ja) 撮像装置
CN105430310B (zh) 图像处理方法、摄像装置以及图像处理装置
JP6330474B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
JP2010175713A (ja) 撮像光学系および撮像装置
JP2008132160A (ja) 瞳孔検出装置及び瞳孔検出方法
JP2021021892A (ja) 撮像装置及び撮像システム
US20140016188A1 (en) Lens System
JP2003102029A (ja) カラー撮像装置、カラー撮像装置の光学フィルタ、及びカラー撮像装置の交換レンズ
JP6463975B2 (ja) 眼の開閉状態の判定方法、画像処理装置、および判定システム
WO2023181630A1 (ja) 画像処理装置、および撮像システム
JP2016177215A (ja) 撮像装置
JP5286495B2 (ja) レンズ装置及び撮像装置
JP2015087494A (ja) 撮像装置
JP6632314B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2017068385A (ja) 撮像装置、および監視システム
JP2017220811A (ja) 撮像装置およびカメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16859297

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017547620

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15769975

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016859297

Country of ref document: EP