WO2014017061A1 - 状態監視装置 - Google Patents

状態監視装置 Download PDF

Info

Publication number
WO2014017061A1
WO2014017061A1 PCT/JP2013/004432 JP2013004432W WO2014017061A1 WO 2014017061 A1 WO2014017061 A1 WO 2014017061A1 JP 2013004432 W JP2013004432 W JP 2013004432W WO 2014017061 A1 WO2014017061 A1 WO 2014017061A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
state monitoring
imaging
unit
area
Prior art date
Application number
PCT/JP2013/004432
Other languages
English (en)
French (fr)
Inventor
大見 拓寛
高広 山本
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012164971A external-priority patent/JP6119136B2/ja
Priority claimed from JP2012164973A external-priority patent/JP6106979B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN201380038808.2A priority Critical patent/CN104488257B/zh
Priority to US14/408,397 priority patent/US9679209B2/en
Priority to EP13822127.0A priority patent/EP2860960B1/en
Publication of WO2014017061A1 publication Critical patent/WO2014017061A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • G03B11/04Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/045Lens hoods or shields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0503Built-in units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0564Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567Solid-state light source, e.g. LED, laser
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0589Diffusors, filters or refraction means
    • G03B2215/0592Diffusors, filters or refraction means installed in front of light emitter

Definitions

  • the present disclosure relates to a state monitoring device that generates an image and an optical member used therefor.
  • Patent Document 1 a state monitoring device (a so-called driver monitoring system) that monitors the state of an occupant of a vehicle is known (for example, Patent Document 1) for the purpose of realizing safe traveling of the vehicle. reference).
  • This type of state monitoring device includes an imaging system that generates an image, and a state monitoring unit that monitors the state of an occupant of the host vehicle based on the result of image processing of the image generated by the imaging system.
  • the imaging system includes at least one projector that emits light having a wavelength including at least near infrared (hereinafter referred to as illumination light), and light that is reflected from an area irradiated with illumination light by the projector and incident on a camera lens. And a camera that generates an image by forming an image with an imaging device having a plurality of pixels.
  • the camera used in the imaging system is an average body type seated on the seat of the host vehicle (for example, “ISO4513 Road vehicles-Visibility-Methods for establishment of eylipses for driver's drive IS”
  • a lens having an angle of view such that an area where the face is likely to be located is taken as an imaging area in consideration of a change in posture in a normal operation during driving by an occupant of the “eye range” (Ilips 99th percentile)
  • eye range Ilips 99th percentile
  • the eyelips “eyellipse” is a shortening of the eye “eye” and the ellipse “ellipse” and is used to depict a statistical distribution of eye positions.
  • JP, 2005-271876, A As mentioned above, when irradiating an illumination field with intensity more than an intensity standard value and uniform illumination light, it is possible to realize with a plurality of light projectors. In this case, even when each of the projectors is installed at a plurality of locations, or even when installed at one location, it is conceivable to install a plurality of light sources constituting the projector, for example, LED light sources in an array.
  • the projection is unnecessary for the system, such as projecting the area that is not the imaging area.
  • the overall configuration of the apparatus increases, such as an increase in the number of projectors for light, and an increase in power consumed by the projectors cannot be reduced.
  • An object of the present disclosure is to suppress, as much as possible, an increase in the size of the entire apparatus while irradiating the imaging region with intensity and uniform illumination light that is equal to or greater than the intensity reference value as much as possible in the state monitoring apparatus. In addition, an increase in power consumed by the projector is suppressed as much as possible.
  • Another object of the present invention is to generate an image capable of stably monitoring a passenger's state in the state monitoring device.
  • the state monitoring device includes at least one light emitting unit, an imaging unit, a state monitoring section, and a light control unit.
  • the light emitting unit emits light so that illumination light, which is light having a wavelength including at least near-infrared wavelengths, is applied to a defined region defined as a region where the occupant's face is located in the interior space of the host vehicle.
  • the imaging unit generates an image by receiving light incident from the defined region by an imaging element having a plurality of pixels.
  • the state monitoring section monitors the state of the occupant of the host vehicle based on the result of image processing of the image generated by the imaging unit.
  • the light control unit is at least a partial region of the light receiving surface of the imaging element of the imaging unit, and the region corresponding to the defined region is an imaging defined region, and is incident on each pixel constituting the imaging defined region Of which the intensity of light is equal to or greater than an intensity reference value defined in advance as the intensity of light that is suitable for image processing in the state monitoring section, and is incident on each pixel constituting the imaging definition area
  • the light distribution is controlled such that the intensity distribution is within a first reference range defined in advance.
  • the state monitoring device includes at least one light emitting unit, an imaging unit, a state monitoring unit, and an optical control unit.
  • the light emitting unit emits light so that illumination light, which is light having a wavelength including at least near-infrared wavelengths, is applied to a defined region defined as a region where the occupant's face is located in the interior space of the host vehicle.
  • the imaging unit generates an image by receiving light incident from the defined region by an imaging element having a plurality of pixels.
  • the state monitoring unit monitors the state of the passenger of the host vehicle based on the result of image processing of the image generated by the imaging unit.
  • the optical control unit includes an incident unit and an output unit.
  • An incident part condenses the illumination light light-emitted by each of the said light emission part.
  • the emission part is at least a part of a light receiving surface of the image pickup device of the image pickup part, and the intensity of light incident on each pixel constituting the image pickup prescribed area corresponding to the prescribed area is in the state
  • the intensity distribution of light that is not less than a predetermined intensity reference value as the intensity of light that becomes an image suitable for image processing in the monitoring unit, and that is incident on each pixel constituting the imaging definition area is
  • the illumination light collected at each of the incident portions is distributed on the exit surface that emits the vehicle interior space so that it falls within the prescribed first reference range.
  • an optical member used in a state monitoring device mounted on a vehicle is provided as follows.
  • the state monitoring device emits at least light so that illumination light, which is light having a wavelength including at least near-infrared wavelength, is applied to a defined region defined as a region where the occupant's face is located in the interior space of the host vehicle.
  • illumination light which is light having a wavelength including at least near-infrared wavelength
  • an imaging unit that generates an image having a plurality of pixels by receiving at least light incident from the specified region by the imaging device, and an image generated by the imaging unit
  • a state monitoring unit that monitors the state of the occupant of the host vehicle.
  • the optical member includes an incident part that collects the illumination light emitted from each of the light emitting parts, and an area corresponding to the prescribed area that is at least a part of a light receiving surface of the imaging element of the imaging unit.
  • the intensity of light incident on each pixel constituting a certain imaging definition region is equal to or greater than an intensity reference value defined in advance as the intensity of light that is an image suitable for image processing in the state monitoring unit, and
  • the illumination light collected by each of the incident portions is arranged in the vehicle interior space so that the distribution of the intensity of light incident on each pixel constituting the imaging definition region falls within a first reference range defined in advance.
  • an emission part that distributes light at the emission surface that emits light.
  • FIG. 1 It is a diagram showing an installation position of a state monitoring device to which an embodiment of the present disclosure is applied, It is a block diagram showing a schematic configuration of a state monitoring device, It is a perspective view showing the structure of the imaging system, It is a figure which shows the structure of the attenuation
  • the state monitoring device 1 is used for a vehicle occupant (in this embodiment, a driver) Hm of the vehicle AM for the purpose of realizing a safe driving of the automobile AM or a comfortable driving environment for the occupant.
  • This is a so-called driver monitoring system that monitors the state of the occupant Hm based on an image including the head.
  • the state monitoring device 1 includes an imaging system 5 that generates an image PI, and a state monitoring ECU (Electronic Control Unit) that performs image recognition processing on the image PI to monitor the state of the occupant Hm. 40). Furthermore, the state monitoring device 1 is connected to an actuator unit 50 including various devices mounted on the host vehicle AM.
  • an imaging system 5 that generates an image PI
  • a state monitoring ECU Electronic Control Unit
  • the state monitoring device 1 is connected to an actuator unit 50 including various devices mounted on the host vehicle AM.
  • the imaging system 5 is a system that emits light having a wavelength including at least wavelengths in the near-infrared region (hereinafter referred to as illumination light) and generates an image PI.
  • the imaging system 5 includes an imaging unit 7, a light emitting unit 9 (also referred to as a projector 9), an optical member 11 (also referred to as an optical element, a light control unit or means, an optical unit or means), An optical member 13 and a substrate 21 are provided.
  • the imaging unit 7 functions as an imaging unit
  • the light emitting unit 9 functions as a light emitting unit.
  • the imaging system 5 makes the imaging area the area
  • the prescribed area PA in the present embodiment is an area that includes an elliptical area (that is, an iris) representing a position where the eyes of the driver who is in a normal driving posture are present, for example.
  • the defined area PA may be defined in advance from the viewpoint of the eyelips, and is an area in the vicinity of the headrest of the driver seat DS when viewed from the imaging unit 7.
  • the area included in the prescribed area PA may be the 99th percentile of the Ilipse or the 95th percentile.
  • the Ilips are uniquely determined by the seat position. For this reason, there is a possibility that an area where the head of the occupant Hm is not actually located is determined as the prescribed area PA for a vehicle in which the position range where the seat position can be set is different from the general position range. was there.
  • the method for determining the prescribed area PA is not limited to the method of design determination based on the eyelips, but when the occupant Hm (subject) is seated on the seat in a normal posture during driving, the head of each occupant Hm is determined by experiments. You may determine from the distribution of the area
  • each of the rectangular areas indicated by broken lines indicates that the subjects of various races, genders, and ages set the driving position in a posture suitable for each driving.
  • the area surrounding the subject's head is surrounded by a rectangular area indicated by an alternate long and short dash line, in which the head of the occupant Hm of the host vehicle AM may be located (ie, the prescribed area PA). It is.
  • the prescribed area PA is determined by this method, it can be reduced that the area where the head of the occupant Hm is not actually located is determined as the prescribed area PA.
  • the defined area PA is not limited to a normal driving posture, but is preferably defined in consideration of a certain amount of face movement accompanying the driving operation.
  • the installation position in this embodiment is the upper outer surface of the steering column SC to which the steering wheel SH is connected.
  • the central axis (irradiation reference axis: see FIG. 5) of the imaging system 5 has a predetermined angle (elevation angle) between the horizontal axis (see FIG. 5). .
  • the imaging unit 7 is a well-known imaging apparatus having peripheral electronic circuits such as an imaging element (an image sensor such as a CCD or CMOS), an optical lens, an optical filter, an oscillator, an interface circuit, and a power supply. Each pixel receives the light incident on the element, and generates an image PI with a shadow corresponding to the intensity of the light.
  • the imaging unit 7 in the present embodiment is configured to be actively controlled by auto or manual according to the surrounding environment, and has a communication function so that the imaging timing can be arbitrarily set. I have.
  • the image sensor is preferably an element having high sensitivity to near infrared light.
  • the light emitting unit 9 is a light emitter that emits illumination light in accordance with a control command CO from the state monitoring ECU 40.
  • the light emitting device in the present embodiment is each of two light emitting diodes (LEDs (Light Emitting Diodes)).
  • the optical member 11 collects and reflects the illumination light from the light emitting unit 9 and distributes the collected illumination light to the specified area PA.
  • the substrate 21 is a printed circuit board on which electronic components are mounted and wirings are formed.
  • the imaging unit 7 is fixed at a substantially central portion of the substrate, and one or more light emitting units are disposed at a position appropriately separated from the imaging unit 7. 9 is fixed.
  • the component 23 has a mechanism for connecting to the substrate 21.
  • a hole (hereinafter referred to as a first insertion hole) 25 through which the imaging unit 7 is inserted is formed at a position facing the position where the imaging unit 7 is fixed on the substrate 21.
  • the component 23 includes a holding structure that holds the optical member 11 in a predetermined positional relationship at a position facing the position where the light emitting unit 9 is fixed on the substrate 21.
  • the positional relationship between the light emitting portion 9 and the optical member 11 is important as the irradiation characteristics of the projector, and if these cause a positional shift, sufficient performance cannot be obtained. To be compensated.
  • the component 23 and the optical member 11 may be formed by integral molding.
  • the optical member 13 is a member that removes unnecessary light from the illumination light that has passed through the optical member 11 and shields the light emitted from the light emitting unit 9 from being incident on the imaging unit 7 due to internal reflection.
  • the optical member 13 includes a visible light cut filter 30 and a shade 31 and is integrated by two-color molding or the like. Therefore, the optical member 13 also functions as a filter unit or filter means.
  • the visible light cut filter 30 (also referred to as a filter unit or filter means) is an optical filter formed in a rectangular plate shape as a whole, and is predetermined as a light component suitable for image processing in the state monitoring ECU 40. It transmits at least most of light components (for example, wavelengths in the near-infrared region), that is, wavelength components of the projector, is unnecessary for the imaging unit 7, and the light emitting unit 9 is difficult for the driver Hm to see directly. It is made of a material that cuts visible light as much as possible.
  • the shade 31 has a holding structure for holding the visible light cut filter 30.
  • the shade 31 has a hole 33 (hereinafter referred to as a second insertion hole) through which the imaging unit 7 is inserted at a position facing the position where the imaging unit 7 is fixed on the substrate 21, and the optical member 11. Openings 35 and 36 are formed at positions facing each other so as to pass light emitted from the.
  • the optical member 13 is arrange
  • the shade 31 is made of a light shielding material that does not transmit light including near infrared light, and the illumination light emitted from the light emitting unit 9 is light that is stronger than necessary due to surface reflection or internal propagation. Is provided with a light-shielding portion 15 for preventing incidence.
  • a cylindrical light shielding portion 17 that is fitted into the first insertion hole 25 is provided so as to cover the periphery of the imaging unit 7.
  • an attenuation portion 19 that attenuates illumination light that propagates unintentionally in the optical member 13 is provided.
  • the attenuating portion 19 is formed in each part between the openings 35 and 36 of the shade 31 and the second insertion hole 33 on at least one of the upper side and the lower side of the visible light cut filter 30.
  • the attenuating unit 19 repeats the rectilinear movement and the reflection regularly at the medium interface of the visible light cut filter 30 with respect to light incident from a specific direction. Although it propagates internally, it is also called a labyrinth shape in the sense of blocking this path, and the installation interval is determined by design from the relationship between the thickness of the visible light cut filter and the incident angle of light. Moreover, although it is preferable that the depth of the attenuating part 19 is deep, it is necessary to design it within a range where the mechanical strength of the visible light cut filter 30 is not weakened. In FIG. 4, hatched portions are formed as a plurality of voids. Alternatively, the hatched portion is formed of a member having a different refractive index from the others.
  • the attenuating portion 19 is not limited to the gaps formed at equal intervals as shown in the figure, and may be sawtooth-shaped notches formed in the optical member 13, and illumination light formed in the optical member 13 may be used. It may be formed by increasing the reflectance to reflect, or may be configured by a combination thereof.
  • the light shielding unit 15, the light shielding unit 17, and the attenuation unit 19 also function as an incident reduction unit or an incident reduction unit that reduces incident light.
  • the intensity standard that is defined in advance as the intensity of light that makes the image PI suitable for the image processing in the state monitoring ECU 40 in which the intensity of light incident on each pixel constituting the imaging defining region is the light intensity.
  • the distribution of the intensity of light that is equal to or greater than the value and is incident on each pixel constituting the imaging definition region is set within a first reference range defined in advance.
  • region said here is an area
  • the first reference range here is a range in which the distribution of light intensity can be regarded as a minimum variation suitable for image processing.
  • the light distribution by the optical member 11 of the present embodiment is as shown in FIG. The closer the region is, the stronger the region is, and the farther away from the central region in the horizontal direction the weaker the region.
  • the center existing area referred to here is an area where the occupant's face center (center axis) is highly likely to be located on the irradiated surface.
  • the irradiation surface is, for example, a vertical surface that divides an area including the prescribed area PA, and is a virtual plane that divides forward and backward with respect to the traveling direction of the vehicle.
  • the prescribed area PA is a three-dimensional space, but the irradiation surface is a two-dimensional plane for convenience, and the reflection characteristic of the front surface of the flat plate is assumed to have no directivity. There is a high possibility that the face (head) of the occupant Hm is present on the irradiated surface in the defined area PA.
  • the light distribution with respect to the center existing area by the optical member 11 is performed so that the intensity distribution of the illumination light along the vertical direction in the defined area PA becomes uniform.
  • This uniform means that, for example, the intensity distribution of illumination light is within a second reference range defined in advance.
  • the hatching density is increased in the region where the intensity of the illuminating light reaching is strong, and the hatching density is decreased in the region where the intensity of the illuminating light reaching is weak.
  • the range in which the intensity of the illumination light changes stepwise including the center existing area is represented by an elliptical shape.
  • the range in which the intensity of illumination light shown in FIG. 5 changes stepwise is an example, and is not limited to an elliptical shape.
  • the change in the intensity of the illumination light is shown in stages, but in practice, the change in the intensity of the illumination light is continuously smoothed.
  • the optical member 11 of the present embodiment includes a light emitting unit 9 (or an imaging unit 7) among a plurality of minute regions (hereinafter referred to as configuration points) constituting an irradiation surface.
  • the light emitting unit 9 includes an emitting unit that distributes the illumination light incident from the light emitting unit 9 so that the farther the distance from the configuration point is, the stronger the intensity of the illumination light reaching the configuration point is.
  • the emission part of the optical member 11 in the present embodiment is configured such that the amount of light that reaches the configuration point that is farther from the light-emitting part 9 (or the imaging unit 7) increases.
  • the optical member 11 in the present embodiment is constituted by an optical element, and may be realized by, for example, at least one of known lenses, prisms, mirrors, diffraction gratings, or a combination thereof.
  • the illumination light emitted from the light emitting unit 9 is distributed to the defined area PA through the optical member 11.
  • the intensity of the illumination light reaching the irradiation surface is greater than the reference value, and the intensity of the illumination light reaching the configuration point increases as the distance from the light emitting unit 9 increases. To be stronger.
  • the imaging unit 7 of the imaging system 5 forms an image PI by forming an image of light incident on the imaging element via the optical lens. Since the imaging system 5 of the present embodiment uses the defined area PA as the imaging area, the image PI generated by the imaging unit 7 usually includes the head (face) of the occupant Hm of the host vehicle AM.
  • the intensity of light incident on each pixel constituting the imaging definition region is equal to or greater than the intensity reference value, and the imaging definition region is configured.
  • the intensity distribution of light incident on each pixel is within the first reference range.
  • the state monitoring ECU 40 is configured around a known microcomputer including at least a ROM 41, a RAM 42, and a CPU 43.
  • the ROM 41 is a storage device that stores data and programs that need to retain stored contents even when the power is turned off.
  • the RAM 42 is a memory that temporarily stores data
  • the CPU 43 is an arithmetic processing unit that executes processing according to a program stored in the ROM 41 or the RAM 42.
  • the state monitoring ECU 40 (also referred to as the state monitoring unit 40) of the present embodiment determines the state of the occupant Hm of the host vehicle AM based on the result of performing image processing on the image PI generated by the imaging unit 7.
  • the imaging system 5 is controlled while monitoring.
  • the state monitoring ECU 40 controls the actuator unit 50 based on the result of monitoring the state of the occupant Hm of the host vehicle AM.
  • the actuator unit 50 includes a notification unit 51, a vibration unit 52, and an air conditioning control device 53.
  • the vibration unit 52 is incorporated in the seat of the host vehicle AM (including the seat DS of the driver's seat in this embodiment), and includes a seat vibration unit that vibrates the seat according to the control signal CS from the state monitoring ECU 40, and a steering wheel SH.
  • a steering vibration unit (not shown) that vibrates according to the control signal CS is included.
  • the air conditioning control device 53 controls the air conditioning device mounted on the host vehicle AM.
  • the notification unit 51 is a mechanism that notifies according to the control signal CS from the state monitoring ECU 40, and includes a speaker unit 54 and a display unit 55.
  • the speaker unit 54 is a mechanism that outputs sound
  • the display unit 55 is a mechanism (for example, a liquid crystal display or an indicator) that displays information of different contents by changing the display mode.
  • the state monitoring ECU 40 that has executed the state monitoring process includes a control unit 45 that controls at least one of emission of illumination light by the light emitting unit 9 and generation of an image PI by the imaging unit 7, and an image An image processing unit 46 that performs image processing on the PI, a state estimation unit 47 that estimates the state of the occupant Hm of the host vehicle AM based on the image PI that has been subjected to image processing by the image processing unit 46, and Based on the estimation result in the state estimation unit 47, it functions as an alarm determination unit 48 that controls the actuator unit 50.
  • the state monitoring process is started when power is supplied to the state monitoring device 1 (in this embodiment, when the ignition switch is turned on).
  • each section is expressed as S110, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.
  • control value of the light emitting unit 9 and the control value of the imaging unit 7 are set to predetermined initial values (S110).
  • the control value of the light emitting unit 9 referred to here includes at least the level (intensity) of illumination light output from the light emitting unit 9. More specifically, it is controlled by energy per unit time for energizing the projector and energization time.
  • the control value of the level of the illumination light has a certain control range, and at least the upper limit value of the control range is defined in IEC (International Electrotechnical Commission) 62471 when the occupant Hm reaches the face. Exempt level or less (e.g., Table 6.1 Emission limits for risk groups of continuous wave lamps of Symbol L R, L iR, E IR) is predetermined such that.
  • control value of the imaging unit 7 includes an exposure time, a gain, and the like, and a control value setting range obtained in advance through experiments or the like is defined so that an image PI suitable for image processing is captured. ing.
  • a control command CO is output to the light emitting unit 9 (S120).
  • the light emission part 9 light-emits, and irradiates illumination light to the prescription
  • the image capturing unit 7 captures an image PI (S130).
  • the timing at which the light emitting unit 9 emits light and the timing at which the imaging unit 7 captures the image PI are the periods during which illumination light is emitted from the light emitting unit 9, as shown in FIG. Is defined to be longer than the exposure period (exposure timing in the figure) of the imaging unit 7.
  • imaging of the image PI (from the start of exposure to the end of exposure) by the imaging unit 7 is performed by the light emitting unit 9 during the near infrared light emission period.
  • the symbol ta in the figure represents the imaging interval of the image PI by the imaging unit 7, and is the interval at which S150 is executed in a series of cycles from S120 to S200 in FIG.
  • the reason that the light emission period is longer than the exposure period is because the time lag from when the start of light emission is instructed until the projector actually emits light at 100% power is taken into account, and there is no rise delay of the projector and it is steep. There is no problem even if it is a light emitting device that stands up. Further, it is not always necessary to delay the light-emitting unit turn-off timing for the same reason as described above, and it may be the same time or earlier than the end of exposure.
  • image processing for monitoring the state of the occupant Hm is performed on the image PI captured in S130 (S140).
  • the image processing executed in S140 includes well-known image processing for identifying the position of the head of the occupant Hm in the image PI (hereinafter referred to as face position specifying processing), and the eye opening of the occupant Hm.
  • face position specifying processing for identifying the position of the head of the occupant Hm in the image PI
  • eye opening of the occupant Hm hereinafter referred to as eye opening of the occupant Hm.
  • Known image processing, and known image processing for detecting the direction of the line of sight of the occupant Hm are included.
  • the left and right end portions of the occupant's Hm face reflected in the image PI are detected, and the face is formed in the region sandwiched between the detected left and right end portions.
  • Each part to be detected here, eyes, mouth, nose, etc.
  • crew Hm on the image PI is detected, and the position of the passenger
  • the head position of the occupant Hm is generally specified using a head model (see FIG. 12) simulating a human head in a cylindrical shape.
  • a warning needs to be output to the passenger compartment of the host vehicle AM (S160).
  • S160 for example, if the awakening level of the occupant Hm is less than a predetermined threshold (that is, if the occupant Hm feels drowsy), the occupant Hm performs a side-view driving. It is assumed that a warning needs to be output.
  • control signal CS is output to the actuator unit 50 and a warning is output (S170).
  • a warning that is output in S170 of the present embodiment when the wakefulness of the occupant Hm is less than the threshold value for example, a warning that encourages rest is output from the notification unit 51, or the driver's seat is provided via the vibration unit 52.
  • the DS or the steering wheel SH may be vibrated, or cold air may be blown toward the occupant Hm via the air conditioning control device 53.
  • a voice notification is output from the notification unit 51, or the driver seat DS is transmitted via the vibration unit 52.
  • all the pixels constituting the head of the occupant Hm (hereinafter referred to as a face position area) on the image PI specified in the face position specifying process performed in S140 above correspond to the imaging regulation area. It is determined whether or not it is within the area on the image sensor to be performed. As a result of the determination in S180, if all the pixels constituting the face position area are not within the area on the image sensor corresponding to the imaging regulation area (S180: NO), the process proceeds to S190. Thus, it can be said that the state monitoring ECU 40 functions as a position determination section in S180.
  • the digital gain of the imaging unit 7 is set so that the luminance value of the face position area in the image PI generated in S130 of the next cycle becomes a predetermined luminance value so that an image suitable for image processing can be acquired.
  • Correction control that is calculated by post-processing such as addition is executed.
  • the state monitoring ECU 40 functions as a luminance correction section in S190.
  • the correction by the digital gain or the like should be executed before the processing of S140, but is executed with a frame delay in order to calculate a correction value based on the result of the recognition processing. In the case of this system in which continuous imaging is performed at high speed (for example, 30 fps), the delay is hardly a problem.
  • the correction control in the present embodiment includes all face RTs that are outside the region on the image sensor corresponding to the imaging prescribed region among the face position regions obtained by image processing.
  • a digital gain is calculated and the captured image is processed so that the luminance value of the pixel becomes a predetermined luminance value in the next imaging.
  • the predetermined luminance value in the present embodiment is that the luminance values of all the pixels constituting the face position area are equal to or higher than the luminance value corresponding to the intensity reference value, and the luminance value distribution of each pixel is the first luminance value. It is a luminance value that falls within one reference range.
  • the correction control may be executed so as to converge stepwise in the process of repeating a series of cycles from S120 to S200 in FIG.
  • the reason for this execution is that the optimum imaging conditions may change greatly for each imaging frame due to various factors in the actual vehicle environment, and a phenomenon such as hunting occurs by changing the setting values on the control table at once. This is because there is a possibility that will occur.
  • an optimum value is derived for at least one of the control value of the light emitting unit 9 and the control value of the imaging unit 7.
  • the control value derived in S200 is, for example, an exposure time, an analog gain value added when outputting a pixel value, light emission intensity, and the like.
  • the derivation of the control value in S200 may be executed according to a table or the like that associates the relationship between the state of the image PI and the optimum value of the control value, which is obtained in advance through experiments or the like.
  • Some of the constituent points on such an irradiation surface are likely to be components (eye, nose, mouth, etc.) of the face of the occupant Hm existing in the defined area PA, and the illumination light emitted from the light emitting unit 9 It is likely to be a point to reflect. Normally, if the distance from the light emitting unit 9 to the configuration point that reflects the illumination light is long, the light reflected at the configuration point is attenuated by being scattered before entering the light receiving surface of the image sensor. For this reason, the image generated by the conventional state monitoring device may not be an image PI suitable for execution of the state monitoring process in the state monitoring ECU.
  • the optical member 11 is configured such that the intensity of the illumination light reaching the configuration point increases as the configuration point is further away from the light emitting unit 9. Yes.
  • the more specific light distribution characteristic of the optical member 11 is that the intensity of light incident on each pixel constituting the imaging definition region is greater than or equal to the intensity reference value and is incident on each pixel constituting the imaging definition region. The distribution of the intensity of light to be within the first reference range.
  • the intensity of light incident on each pixel constituting the imaging regulation region is equal to or higher than the intensity reference value, and the intensity of light incident on each pixel constituting the imaging regulation region is An image PI with a uniform distribution can be generated, and an image PI suitable for execution of the state monitoring process can be generated.
  • the generation of the image PI suitable for execution of the state monitoring process can be suppressed as compared with the conventional state monitoring device, so that light emission to a useless area can be suppressed.
  • the effect of illumination can be enhanced without causing it to occur. Therefore, according to the state monitoring apparatus 1, compared with the conventional state monitoring apparatus, it can suppress that the structure of the whole state monitoring apparatus 1 enlarges as much as possible, and can increase the electric power consumed by a light-emitting device. It can be suppressed as much as possible.
  • the state monitoring apparatus 1 it is possible to increase the overall configuration of the apparatus as much as possible while irradiating the imaging region with intensity and uniform illumination light that is equal to or greater than the intensity reference value as much as possible. While suppressing, the increase in the power consumed by the projector can be suppressed as much as possible.
  • the light distribution characteristic of the optical member 11 is such that the intensity of the illumination light is stronger in a region closer to the center existing region and weaker in a region away from the center existing region along the horizontal direction.
  • the image PI generated under such a light distribution characteristic the shadow becomes more conspicuous, but the detection performance can be prevented from lowering than when the illumination distribution is created in the other axial directions. Therefore, the image PI matches the properties of the head model used for the face position specifying process.
  • the state monitoring device 1 it is possible to generate an image PI suitable for the state monitoring process in the state monitoring ECU 40 without irradiating the entire imaging region with illumination light that is stronger than necessary.
  • correction control is performed so that the luminance values of all the pixels constituting the region RT that is outside the range of the imaging definition region in the face position region become a predetermined luminance value in the next imaging. Is running. With this correction control, the state monitoring apparatus 1 can generate an image PI optimal for execution of the state monitoring process with high probability.
  • a light shielding part 15 is provided on the optical member 13. For this reason, according to the state monitoring device 1, it is possible to prevent the illumination light emitted from the light emitting unit 9 from entering the imaging unit 7 more than necessary, and to generate an image PI optimal for execution of the state monitoring process with high probability. can do.
  • the state monitoring device 1 it is possible to increase the monitoring accuracy of the state of the occupant Hm.
  • each of the light emitting units 9 in the imaging system 5 is configured by an LED.
  • the light emitting unit 9 is not limited to this, and any light emitting device that emits illumination light may be used. But it ’s okay.
  • the number of the light emitting units 9 is two, but the number of the light emitting units 9 is not limited to this. That is, as shown in FIG. 10, the light emitting unit 67 (also referred to as a projector 67) may be three or more projectors arranged densely in the vertical direction as compared to the horizontal direction. In this case, each of the light emitting units 67 is preferably a device that emits light having high straightness as illumination light.
  • the intensity of light incident on each pixel constituting the imaging definition region is greater than or equal to the intensity reference value, and the light incident on each pixel constituting the imaging definition region
  • An image PI in which the intensity distribution is within the first reference range can be generated, and an image PI suitable for execution of the state monitoring process can be generated.
  • the plurality of light emitting units (projectors) 67 function as a light control unit or a light control unit.
  • the state monitoring device includes illumination light emitted from a plurality of light emitters.
  • An optical member that collects light and distributes the light to the defined area PA may be provided.
  • the correction control for adjusting the digital gain of the imaging unit 7 so that the value becomes a predetermined luminance value is executed
  • the content of the correction control is not limited to this.
  • the correction control may be executed regardless of whether the face position area is within the area corresponding to the imaging regulation area.
  • the execution content of the correction control is that the luminance value of the pixel corresponding to the face position area is equal to or higher than the luminance value corresponding to the intensity reference value, and the distribution of the luminance value of each pixel is within the first reference range. It is also possible to adjust the digital gain so that
  • the correction control may be performed at the timing of capturing the image PI, or may be performed by correcting the luminance value of the image PI after capturing the image PI.
  • the relationship between the timing at which the light emitting unit 9 emits the illumination light and the timing at which the imaging unit 7 captures the image PI, and the period during which the light emitting unit 9 emits the illumination light is the exposure of the imaging unit 7.
  • the image PI is captured (from the start of exposure to the end of exposure) by the image capturing unit 7 after being defined to be longer than the period, the timing at which the light emitting unit 9 emits the illumination light.
  • the imaging timing of the image PI are not limited to this. That is, the exposure period of the imaging unit 7 may be longer than the period in which the light emitting unit 9 emits illumination light.
  • the state monitoring ECU 40 may control the light emitting unit 9 so that it always emits illumination light.
  • the installation position in the above embodiment is the outer surface of the upper part of the steering column SC to which the steering wheel SH is connected
  • the installation position is not limited to this.
  • the installation position may be in the vicinity of the inner rear view mirror in the vehicle interior, on the dashboard, on the meter surface, or inside the meter.
  • the state monitoring apparatus 1 in the above embodiment includes the optical member 13, it does not need to include the optical member 13.
  • the activation condition for the state monitoring process is the case where the ignition switch is turned on.
  • the activation condition for the state monitoring process is not limited to this, for example, when the host vehicle AM is unlocked. There may be a case where a dedicated switch is turned on.
  • the installation object of the state monitoring apparatus 1 was made into the motor vehicle, the installation object of the state monitoring apparatus 1 is not restricted to a motor vehicle, A bicycle and a rail vehicle may be sufficient. That is, the installation target of the state monitoring device 1 may be any vehicle as long as it is a vehicle.
  • At least one light emitting means has at least a near-infrared wavelength in a prescribed region designed in advance from an eyelip or the like as a region where the occupant's face is located in the interior space of the host vehicle.
  • Illumination light including
  • an area in the vehicle interior including the prescribed area is set as an imaging area, and the imaging unit forms an image by forming light incident from the imaging area on an imaging element having a plurality of pixels.
  • the state monitoring unit Based on the result of image processing of the image generated by the imaging unit, the state monitoring unit detects and estimates the state of the occupant of the host vehicle, and performs actuation according to the state.
  • an area on the image sensor corresponding to the specified area which is at least a part of the light receiving surface of the image sensor of the imaging unit, is set as the imaging specified area, and the light control unit performs imaging.
  • the intensity of light incident on each pixel constituting the defined area is equal to or greater than an intensity reference value defined in advance as the intensity of light that is suitable for image processing in the state monitoring unit, and the imaging defined area
  • the light distribution is controlled so that the distribution of the intensity of light incident on each pixel constituting the pixel is within the first reference range defined in advance.
  • the distribution referred to here includes at least controlled variation.
  • the intensity of light incident on each pixel constituting the imaging prescribed area is equal to or greater than the intensity reference value, and the intensity of light incident on each pixel constituting the imaging prescribed area Can be realized without increasing the number of light emitting means from the conventional state monitoring device.
  • the state monitoring device of this aspect it is possible to suppress as much as possible the overall configuration of the state monitoring device as compared with the conventional state monitoring device, and to increase the power consumed by the light emitting means. Can be suppressed as much as possible.
  • the configuration of the entire apparatus is increased in size while irradiating the imaging area with intensity equal to or greater than the intensity reference value as much as possible and with uniform illumination light as much as possible. It is possible to suppress the increase in power consumed by the projector as much as possible.
  • each component (eye, nose, mouth, etc.) of the occupant's face existing in the specified region is highly likely to be present at a position irradiated with illumination light emitted from the light emitting means.
  • illumination light When this illumination light is applied to the face, the light is reflected from the face, but if the illumination light is scattered light that is not coherent if the distance from the light source in the light emitting means to the reflection point is long The light reflected by is attenuated by being scattered before entering the light receiving surface of the image sensor.
  • the light control means in this aspect is more likely to be present at a point farther from the light source in the light emitting means among the parts of the occupant's face that are likely to exist in the specified region.
  • the light distribution may be controlled so that the intensity of the illumination light reaching the point is increased.
  • the intensity distribution according to the distance is taken into consideration in advance so that the prescribed light reaches the imaging prescribed region. It is good to design so that it may shine.
  • the light attenuation is affected not only by the distance but also by the peripheral light quantity ratio of the imaging lens. That is, when light of the same distance and the same luminance enters the image sensor from different angles, the intensity of light reaching the center of the image sensor is stronger than the intensity of light reaching the periphery.
  • the optical control means of this aspect may distribute the light so as to increase as the distance from the optical center increases in consideration of the light amount ratio (correction may be added to the light distribution). Also, depending on the incident angle to the imaging lens, it may be greatly attenuated due to the influence of surface reflection. Therefore, in the light control means of this aspect, it is effective to control the light distribution characteristics in consideration thereof. .
  • the intensity of light incident on each pixel constituting the imaging regulation region is greater than or equal to the intensity reference value for the image subjected to image processing by the situation monitoring unit, and the imaging regulation is performed.
  • the intensity distribution of light incident on each pixel constituting the region can be within the first reference range.
  • the image described above is an image when a virtual plane (irradiation surface in the embodiment) is assumed in the specified region.
  • a virtual plane irradiation surface in the embodiment
  • such an image is, for example, about a part having a low reflectance such as eyebrows or a part that is shaded with respect to the optical axis of the irradiation light such as a nostril.
  • the image becomes dark locally and the shadow becomes clear. This image is more suitable for image processing.
  • an area in a defined area where the occupant's face center is likely to be located may be a center existing area, and an area corresponding to the center existing area on the light receiving surface may be an imaging defined area.
  • the center existing area in this aspect is preferably an area including an area in which the entire face does not deviate from the imaging regulation area when the eyes are present in an ellipse defined as an iris that varies depending on the type of vehicle.
  • A2 Head of “Human Body Size Database (http://riodb.ibase.aist.go.jp/dhbodydb/91-92/)” published by AIST. It may be determined with reference to, for example, breadth, A15: Morphologic face height, A36: Total head height.
  • the light control means in this aspect is a range in which the distribution of the intensity of the illumination light along the vertical direction is considered to be uniform in the vertical direction compared to the other directions with respect to the center existing area.
  • the light distribution may be controlled so as to be within the second reference range defined in advance.
  • the vertical direction mentioned here includes a direction perpendicular to the horizontal plane, and further includes a direction within a predetermined angle range from a vertical axis with respect to the horizontal plane.
  • a state monitoring device it is common to perform occupant face orientation detection, occupant drowsiness detection, occupant gaze detection, etc. as image processing by the state monitoring means. It is necessary to detect at least one of the occupant's face and facial parts (eyes, nose, mouth, etc.).
  • the head model may be a three-dimensional model with a standard face using the human body size database or the like, or may be represented by a simple cylindrical model as shown in FIG.
  • the cylindrical model irradiated with light usually has the property that it is brighter as it is closer to the central axis, darker as it moves away from the central axis along the radial direction, and the shadow becomes clear. Is often treated).
  • the light control means in this aspect is such that the intensity of the illumination light is stronger in the area closer to the center existing area, and the intensity of the illumination light is lower in the area away from the center existing area along the horizontal direction.
  • the light distribution may be controlled so that As a result, the shadow becomes more prominent, but the deterioration in detection performance can be suppressed as compared with the case where the illumination distribution is created in the other axial direction.
  • the light distribution realized by such a light control means matches the properties of the head model. As a result, an image suitable for image processing in the state monitoring unit can be generated without irradiating the entire imaging region with illumination light that is stronger than necessary.
  • the horizontal direction referred to herein includes a direction parallel to the horizontal plane, and further includes a direction within a predetermined angle range from an axis horizontal to the horizontal plane.
  • the configuration of the state monitoring device according to the second embodiment is ⁇ 1.1 state monitoring device> according to the first embodiment, and the following points are the same as those described with reference to FIGS. It is the same except for. Description of similar points is omitted.
  • the configuration of the attenuating portion 19 having the function of attenuating illumination light that propagates unintentionally in the optical member 13 shown in FIG. 4 is not essential.
  • diffusion plates 37 and 38 are provided between the visible light cut filter 30 and the shade 31 in the optical unit 13.
  • Each of the diffusion plates 37 and 38 is a lens diffusion plate formed in a shape covering the openings 35 and 36 of the shade 31.
  • the diffusion plates 37 and 38 are filters that diffuse the illumination light that has passed through the openings 35 and 36, respectively, in a predetermined angular range (for example, 5 degrees to 20 degrees).
  • a microlens array having irregularities on the surface of a substrate formed in a sheet shape is formed on the diffusion plates 37 and 38. Yes.
  • the optical member 11 in the second embodiment has a feature in its configuration in addition to the first embodiment.
  • the description of the characteristics of the optical member will be added below.
  • the optical member 11 is a lens integrally formed by connecting the incident portion 60 and the emitting portion 75 at a plane 68 (hereinafter referred to as a connection surface) through which illumination light passes.
  • the connection surface 68 is provided with an engagement portion 87 that is a plate-like portion protruding from the connection surface 68 and that engages with the periphery of the fitting hole 27 provided in the component 23.
  • the optical member 11 is made of a material that transmits illumination light, such as glass or resin.
  • a material that can withstand high temperatures because it is installed in the vicinity of the light emitting portion 9 for example, COC (Cyclic Olefin Polymer), COP (Cyclic Olefin Polymer), PC (polycarbonate).
  • COC Cyclic Olefin Polymer
  • COP Cyclic Olefin Polymer
  • PC polycarbonate
  • a material having a high glass transition temperature such as high optical properties (high transparency and low birefringence) is preferable.
  • FIG. 15A is a perspective view in which the optical member 11 is seen from the emitting portion 75
  • FIG. 15B is a perspective view in which the optical member 11 is seen from the incident portion 60
  • FIG. FIG. 16A is a front view of the optical member 11 as viewed from the emitting portion 75
  • FIG. 16B is a side view of the optical member 11.
  • 16C is a cross-sectional view taken along the line AA in FIG. 16A
  • FIG. 16D is a front view of the optical member 11 viewed from the incident portion 60.
  • the incident part 60 includes a convex part 62, an introduction part 64, and a reflection part 66.
  • the reflection part 66 is a part formed in a cylindrical shape whose diameter extends from the extended surface 70 to the connection surface 68.
  • the extending surface 70 is a plane virtually defined in the incident portion 60 and is a surface of the reflecting portion 66 on which the convex portion 62 and the introducing portion 64 are provided.
  • the convex part 62 is a part formed in a cone, and is provided so as to protrude from the central part of the extending surface 70 of the reflecting part 66.
  • the cone representing the shape of the convex portion 62 is, for example, a cone.
  • the side surface of the convex portion 62 may be a curved surface that continuously changes from the top of the convex portion 62 to the extending surface 70.
  • the curved surface mentioned here includes an aspherical surface.
  • the opening diameter of the convex portion 62 is adjusted so that the ratio of the amount of light directed upward in the vertical direction on the irradiation surface to the amount of light irradiated on the entire irradiation surface provides a uniform light distribution in the vertical direction.
  • the introduction part 64 is a ring-shaped part surrounding the convex part 62 along the circumferential direction, and is provided so as to protrude from the extending surface 70 of the reflection part 66.
  • the apex of the introduction part 64 is provided to be higher than the apex of the convex part 62.
  • the cross-sectional shape of the portion protruding from the extending surface 70 is, for example, a triangle or other shapes.
  • the triangular shape includes a substantially triangular shape in which the apex portion is chamfered.
  • the outer peripheral surface of the introducing portion 64 is provided on the extending surface 70 so as to coincide with the outer periphery of the reflecting portion 66, and is provided so as to expand from the apex of the introducing portion 64 to the extending surface 70. .
  • the side surface of the incident portion 60 formed by the outer peripheral surface of the introducing portion 64 and the outer peripheral surface of the reflecting portion 66 is referred to as a condensing outer peripheral surface 74.
  • the condensing outer peripheral surface 74 is formed into a curved surface that continuously changes from the connection surface 68 to the apex of the introduction portion 64.
  • the curved surface of the condensing outer peripheral surface 74 has a curvature with a critical angle that totally reflects the illumination light incident from the inner peripheral surface (also referred to as a transmission surface) 72 of the introducing portion 64 to the connection surface 68. ing.
  • the inner peripheral surface 72 of the introducing portion 64 may be formed in a shape corresponding to the side surface of the cylinder, and the light beam refracted on the inner peripheral surface is efficiently reflected by the reflecting portion 66 to the output surface. It may be formed in a shape that guides.
  • the convex portion 62 may be configured such that the ratio of the incident light amount is, for example, 1.0 to 3.0 times that of the introducing portion 64.
  • the emitting unit 75 is a part that emits the illumination light collected by each of the incident units 60 from the emitting surface and distributes the light.
  • the emitting unit 75 in the present embodiment includes a cylindrical part 77 and prism parts 79 and 83.
  • the cylindrical portion 77 is a well-known cylindrical lens connected to the central portion of the connection surface 68 so that the cylindrical surface 89 is at least a part of the exit surface.
  • the cylindrical portion 77 (cylindrical lens) is connected to the connection surface 68 such that the axis along the axial direction of the cylindrical lens coincides with the axis along the vertical direction of the host vehicle.
  • cylindrical surface 89 in this embodiment is an aspherical surface.
  • the cutting amount z that realizes the aspherical shape is expressed by the following well-known expressions (1) and (2).
  • c in the equation (1) is the reciprocal of the reference radius of curvature
  • k is a conical coefficient
  • C 2n is an aspheric coefficient
  • R is the distance from the lens center to the corresponding location.
  • the cylindrical surface 89 is not limited to an aspherical surface but may be a spherical surface. Further, the curvature of the cylindrical surface 89 is appropriately determined according to the positional relationship between the installation position of the imaging system 5 and the center existing region so that the irradiation light passing through the cylindrical surface 89 is refracted and irradiated onto the defined region PA. Just decide.
  • the respective curvature and aspheric coefficient C 2n are based on the aspect ratio of the irradiated surface. To decide. Specifically, in the case of the cylindrical surface 89, if the aspect ratio of the irradiated surface is large, the curvature is set small. Thereby, a shadow can be given to a horizontal (left-right) direction.
  • the prism portions 79 and 83 are prisms each formed in a triangular prism shape.
  • the prism portions 79 and 83 (prisms) are connected to the connection surface 68 with one side in contact with the cylindrical lens portion 77 so as to sandwich the cylindrical lens portion 77.
  • the prism portions 79 and 83 are connected so that one of the plurality of surfaces of each prism is inclined surfaces 81 and 85 that are inclined along the vertical direction of the host vehicle AM. 68.
  • the inclination of the inclined surfaces 81 and 85 along the vertical direction is higher from the connection surface 68 as it is closer to the top plate of the host vehicle AM, and from the connection surface 68 as it is farther from the top plate of the host vehicle AM. Is provided to be low.
  • the inclination of the inclined surfaces 81 and 85 along the vertical direction is preferably designed to be 10 ° to 50 °, for example, when the elevation angle is 20 ° to 30 °.
  • the inclined surfaces 81 and 85 each have an inclination along the horizontal direction of the host vehicle.
  • the inclination along the horizontal direction is formed such that the height from the connection surface 68 decreases as the distance from the cylindrical portion 77 increases, and the height from the connection surface 68 increases as the distance from the cylindrical portion 77 approaches. .
  • the inclination angles of the inclined surfaces 81 and 85 are such that the installation position of the imaging system 5 and the center existing region are such that the irradiation light passing through the inclined surfaces 81 and 85 is refracted and applied to the defined region PA. It may be determined according to the positional relationship.
  • the positional relationship between the installation position of the imaging system 5 and the center existing area requires uniformity with respect to the irradiation center at the angle (elevation angle) formed by the reference axis and the horizontal axis of the imaging system 5.
  • each coefficient in the above equation (1), the inclination angle of the inclined surfaces 81 and 85, the opening diameter of the convex portion 62, the lens diameter of the optical member 11 itself, and the lens surface dimensions are appropriately determined. It is done by changing.
  • the illumination light incident from the convex portion 62 of the incident unit 60 is connected.
  • the light is guided to the cylindrical portion 77 of the emitting portion 75 through the surface 68.
  • the illumination light guided to the cylindrical portion 77 is refracted when passing through the cylindrical surface 89 and is irradiated to the center existing region of the defined region PA.
  • the illumination light incident from the inner peripheral surface 72 of the introduction unit 64 is reflected by the outer peripheral surface of the reflection unit 66 or the outer peripheral surface of the introduction unit 64 and is connected to the connection surface 68. Then, the light is guided to the emission part 75.
  • the illumination light guided through the inner peripheral surface 72 of the introduction part 64 and guided to the emission part 75 the illumination light guided to the cylindrical part 77 is concentrated in the center existing area of the defined area PA. However, the light is refracted when passing through the cylindrical surface 89 so that the illuminating light to be irradiated decreases as the distance from the center existing region decreases.
  • the illumination light guided to the prism portions 79 and 83 is inclined so that the illumination light is concentrated in the center existing area of the defined area PA, and as the distance from the center existing area decreases, the irradiated illumination light decreases. Refracted according to the inclination along the horizontal direction of 81,85. Further, the illumination light guided to the prism portions 79 and 83 is refracted according to the inclination of the inclined surfaces 81 and 85 along the vertical direction so as to have uniform intensity along the vertical direction in the defined area PA.
  • the illumination light distributed to the defined area PA has a configuration point whose intensity of illumination light reaching the irradiation surface is greater than or equal to a reference value and is far from the light emitting unit 9.
  • the intensity of the illuminating light that reaches is increased.
  • the distribution of the intensity of light incident on the configuration points along the vertical direction in the center existing area is within the second reference range, and is separated from the center existing area along the horizontal direction. The intensity of the illumination light decreases as the area increases.
  • the imaging unit 7 of the imaging system 5 forms an image PI by forming an image of light incident on the imaging element via the optical lens. Since the imaging system 5 of the present embodiment uses the defined area PA as the imaging area, the image PI generated by the imaging unit 7 usually includes the head (face) of the occupant Hm of the host vehicle AM.
  • the intensity of light incident on each pixel constituting the imaging definition region is equal to or greater than the intensity reference value, and the imaging definition region is configured.
  • the intensity distribution of light incident on each pixel is within the first reference range.
  • the image processing in this embodiment is a known process for specifying the position of the head of the occupant Hm in the image PI (hereinafter referred to as a face position specifying process), or a known process for deriving the eye opening of the occupant Hm.
  • a face position specifying process a known process for specifying the position of the head of the occupant Hm in the image PI
  • Well-known processing for detecting the direction of the line of sight of the occupant Hm is included.
  • a known process for specifying the position of the head of the occupant Hm is generally performed using a head model imitating a human head in a cylindrical shape as shown in FIG. .
  • this face position specifying process for example, the left and right end portions of the Hm face of the occupant reflected in the image PI are detected, and each portion constituting the face is present in a region sandwiched between the detected left and right end portions ( Here, eyes, mouth, nose, etc.) are detected.
  • crew Hm on the image PI is detected, and the position of the passenger
  • the awakening level of the occupant Hm is less than a predetermined threshold (that is, when the occupant Hm feels drowsy), or the occupant Hm performs a side-view driving.
  • the actuator unit 50 is controlled.
  • the driver seat DS or the steering wheel For example, the SH may be vibrated, and cold air may be blown toward the occupant Hm via the air conditioning control device 53.
  • a voice notification is output from the notification unit 51, or the driver seat DS and the steering wheel SH are vibrated via the vibration unit 52. And blowing cool air toward the occupant Hm through the air conditioning control device 53.
  • the emission surface of the optical member 11 is configured such that the intensity of the illumination light reaching the configuration point increases as the configuration point is further away from the light emitting unit 9. .
  • the inclined surfaces 81 and 85 that are part of the emission surface of the optical member 11 are inclined along the vertical direction.
  • the illumination light transmitted through the inclined surfaces 81 and 85 can be refracted, and the illumination light can be concentrated in the center existing region.
  • a cylindrical surface 89 is provided as a part of the exit surface of the optical member 11. Further, the inclined surfaces 81 and 85 are inclined along the horizontal direction. The cylindrical surface 89 and the inclined surfaces 81 and 85 refract the illumination light transmitted through the inclined surfaces 81 and 85, and the intensity of the illumination light increases as the distance from the center existing region increases. It is possible to realize illumination light distribution specification in which the intensity of the illumination light becomes weaker as the distance increases.
  • the intensity of light incident on each pixel constituting the imaging regulation region is equal to or higher than the intensity reference value, and the intensity of light incident on each pixel constituting the imaging regulation region is It is possible to generate an image PI having a height distribution within the first reference range. That is, the image PI generated by the state monitoring device 1 is suitable for detecting the position of the face of the occupant Hm by the state monitoring process, and thus can be an image PI that can stably monitor the state of the occupant Hm. it can.
  • the state monitoring device 1 since the above-mentioned effects can be suppressed compared with the conventional state monitoring device, light emission to a useless area can be suppressed, so that the illumination effect can be enhanced without increasing the number of light emitters. it can. Therefore, according to the state monitoring apparatus 1, compared with the conventional state monitoring apparatus, it can suppress that the structure of the whole state monitoring apparatus 1 enlarges as much as possible, and can increase the electric power consumed by a light-emitting device. It can be suppressed as much as possible.
  • the state monitoring apparatus 1 it is possible to increase the overall configuration of the apparatus as much as possible while irradiating the imaging region with intensity and uniform illumination light that is equal to or greater than the intensity reference value as much as possible. While suppressing, the increase in the power consumed by the projector can be suppressed as much as possible.
  • the light distribution characteristic of the optical member 11 is such that the intensity of the illumination light is stronger as it is closer to the center existing area, and is weaker as it is farther from the center existing area along the horizontal direction.
  • the image PI generated under such a light distribution characteristic is more conspicuous, it is possible to suppress a decrease in detection performance than when an illumination distribution is created in the other axial direction. Therefore, the image PI can be matched with the properties of the head model used for the face position specifying process.
  • the illumination light generally attenuates in proportion to the distance.
  • the illumination light reaching the irradiation surface is specified as a light distribution with uniform intensity, it is essentially the same depending on the distance from the light emitting unit to each component point and the distance from each component point to the light receiving surface of the image sensor. Even in a pixel that should have a luminance value, the luminance value varies.
  • the image generated by the conventional technique has a large shade even in the center existing region, and may not be an image PI that can stably monitor the state of the occupant Hm.
  • the state monitoring device 1 can generate an image PI that can stably monitor the state of the occupant Hm.
  • the filter is discolored, and the occupant Hm may feel uncomfortable.
  • the state monitoring device 1 a diffusion plate is provided between each light emitting unit 9 and the optical member 13. For this reason, according to the state monitoring apparatus 1, the passenger
  • the optical member 13 in the above embodiment includes the visible light cut filter 30, the shade 31, and the diffusion plates 37 and 38, but the configuration of the optical member 13 is not limited to this. That is, as shown in FIG. 19, the optical member 13 includes a visible light cut filter 30 and a shade 31, and the diffusion plates 37 and 38 may be omitted.
  • optical member 13 itself may be omitted.
  • the number of light emitters constituting one light emitting unit 9 is one, but the number of light emitters constituting one light emitting unit 9 is not limited to one.
  • one light emitting unit 9 may be composed of a plurality of light emitters. In this case, it is preferable to arrange a plurality of light emitters (LEDs) close to each other so as to function as one light emitter.
  • LEDs light emitters
  • Each of the light emitting units 9 in the imaging system 5 is configured by an LED, but the structure of the light emitting unit 9 is not limited to this, and any light emitting device that emits illumination light may be used. .
  • the installation position of the imaging system 5 in the above embodiment is the outer surface of the upper part of the steering column SC to which the steering wheel SH is connected.
  • the installation position of the imaging system 5 is not limited to this.
  • the installation position of the imaging system 5 may be in the vicinity of the inner rear view mirror in the vehicle interior.
  • the inclined surfaces 81 and 85 of the optical member 11 are further away from the connection surface 68 and the inclined surfaces 81 and 85 as the distance from the top plate of the host vehicle AM increases.
  • the height from the connection surface 68 to the inclined surfaces 81 and 85 is decreased as the height of the vehicle becomes higher and the height closer to the top plate of the host vehicle AM is decreased. .
  • the installation position of the imaging system 5 may be on the dashboard, on the meter surface, inside the meter, or the like. That is, in the optical member 11, the illumination light reaching the irradiation surface described in the above embodiment is not less than a reference value defined as a value corresponding to the intensity reference value, and among the constituent points, the light emitting unit 9 As long as it can be realized that the intensity of the illumination light reaching the configuration point becomes stronger as the configuration point is farther away from the configuration point, it may be configured in any way.
  • the installation object of the state monitoring apparatus 1 was made into the motor vehicle, the installation object of the state monitoring apparatus 1 is not restricted to a motor vehicle, A bicycle and a rail vehicle may be sufficient. That is, the installation target of the state monitoring device 1 may be any vehicle as long as it is a vehicle.
  • At least one light emitting means has at least a near-infrared wavelength in a prescribed region designed in advance from an eyelip or the like as a region where the occupant's face is located in the interior space of the host vehicle.
  • Illumination light including Then, an area in the vehicle interior including the prescribed area is set as an imaging area, and the imaging unit forms an image by forming light incident from the imaging area on an imaging element having a plurality of pixels.
  • the state monitoring unit Based on the result of image processing of the image generated by the imaging unit, the state monitoring unit detects and estimates the state of the occupant of the host vehicle, and performs actuation according to the state.
  • the state monitoring apparatus includes optical means.
  • This optical means includes an incident part and an emission part.
  • the incident part condenses the illumination light emitted by each of the light emitting means, and the emission part has an intensity of light incident on each pixel constituting the imaging prescribed region that is equal to or higher than the intensity reference value, and performs imaging.
  • An exit that emits illumination light collected at each of the incident portions to the interior space of the vehicle so that the distribution of the intensity of light incident on each pixel constituting the defined region falls within the first reference range defined in advance.
  • the imaging prescribed area is an area on the imaging element corresponding to the prescribed area at least a part of the light receiving surface in the imaging element of the imaging means, and the intensity reference value is an image obtained by the state monitoring means. It is defined in advance as the intensity of light that provides an image suitable for processing.
  • the intensity of light incident on each pixel constituting the imaging prescribed area is equal to or greater than the intensity reference value, and the intensity of light incident on each pixel constituting the imaging prescribed area Can be within the first reference range. That is, according to the state monitoring device of this aspect, it is possible to generate an image capable of stably monitoring the occupant's state, and it can be realized without increasing the number of light emitting means from the conventional state monitoring device.
  • the state monitoring device of this aspect it is possible to suppress as much as possible the overall configuration of the state monitoring device as compared with the conventional state monitoring device, and to increase the power consumed by the light emitting means. Can be suppressed as much as possible.
  • the configuration of the entire apparatus is increased in size while irradiating the imaging area with intensity equal to or greater than the intensity reference value as much as possible and with uniform illumination light as much as possible. It is possible to suppress the increase in power consumed by the projector as much as possible.
  • each component (eye, nose, mouth, etc.) of the occupant's face existing in the specified region is highly likely to be present at a position irradiated with illumination light emitted from the light emitting means.
  • illumination light When this illumination light is applied to the face, the light is reflected from the face, but if the illumination light is scattered light that is not coherent if the distance from the light source in the light emitting means to the reflection point is long The light reflected by is attenuated by being scattered before entering the light receiving surface of the image sensor.
  • the emission part in this aspect is a component point that is farther from the light source in the light emitting means among the parts of the occupant's face that are likely to exist in the specified region. It is good also as a structure which distributes light so that the intensity of the illumination light which reaches
  • the intensity distribution according to the distance is taken into consideration in advance so that the prescribed light reaches the imaging prescribed region. It is good to design so that it may shine.
  • the light attenuation is affected not only by the distance but also by the peripheral light quantity ratio of the imaging lens. That is, when light of the same distance and the same luminance enters the image sensor from different angles, the intensity of light reaching the center of the image sensor is stronger than the intensity of light reaching the periphery.
  • the optical control means of this aspect may distribute the light so as to increase as the distance from the optical center increases in consideration of the light amount ratio (correction may be added to the light distribution). Also, depending on the incident angle to the imaging lens, it may be greatly attenuated due to the influence of surface reflection. Therefore, in the light control means of this aspect, it is effective to control the light distribution characteristics in consideration thereof. .
  • the intensity of light incident on each pixel constituting the imaging regulation area is greater than or equal to the intensity reference value for the image that is subjected to image processing by the situation monitoring unit, and the imaging regulation area
  • the distribution of the intensity of light incident on each pixel that constitutes can be within the first reference range.
  • the above image describes the image when no occupant is present in the specified area.
  • such an image is, for example, about a part having a low reflectance such as eyebrows or a part that is shaded with respect to the optical axis of the irradiation light such as a nostril.
  • the image becomes dark locally and the shadow becomes clear. This image is more suitable for image processing.
  • an area in a defined area where the occupant's face center is likely to be located may be a center existing area, and an area corresponding to the center existing area on the light receiving surface may be an imaging defined area.
  • the emission part of this aspect is within the second reference range that is defined in advance as a range in which the distribution of the intensity of the illumination light along the vertical direction with respect to the center existing region can be regarded as uniform. It is good also as a structure which distributes light like this.
  • the vertical direction mentioned here includes a direction perpendicular to the horizontal plane, and further includes a direction within a predetermined angle range from a vertical axis with respect to the horizontal plane.
  • region in this viewpoint is an area
  • A2 Head of “Human Body Size Database (http://riodb.ibase.aist.go.jp/dhbodydb/91-92/)” published by AIST. It may be determined with reference to, for example, breadth, A15: Morphologic face height, A36: Total head height.
  • a state monitoring device it is common to perform occupant face orientation detection, occupant drowsiness detection, occupant gaze detection, etc. as image processing by the state monitoring means. It is necessary to detect at least one of the occupant's face and facial parts (eyes, nose, mouth, etc.).
  • the head model may be a three-dimensional model with a standard face using the human body size database or the like, or may be represented by a simple cylindrical model as shown in FIG.
  • the cylindrical model irradiated with light usually has the property that it is brighter as it is closer to the central axis, darker as it moves away from the central axis along the radial direction, and the shadow becomes clear. Is often treated).
  • the emission unit of this aspect may be configured to distribute light so that the intensity of illumination light is stronger in a region closer to the center existing region and weaker in a region away from the center existing region along the horizontal direction.
  • Such a light distribution has a more pronounced shadow, but can suppress a decrease in detection performance as compared to a grayscale image with illumination distribution in other axial directions.
  • the horizontal direction contains the direction parallel to a horizontal surface, and also includes in the predetermined angle range from the horizontal axis with respect to a horizontal surface.
  • the optical means in this aspect can be realized by an optical member in which the emission part is connected to the connection surface which is a flat surface formed in the incident part.
  • the emission part has a cylindrical shape as at least a part of the emission surface, and is arranged on the connection surface so that the axis along the axial direction coincides with the vertical direction of the host vehicle.
  • a cylindrical lens may be provided.
  • the emission part is formed in a triangular prism shape, and one of the plurality of surfaces is at least part of the emission surface, and one of the plurality of surfaces is inclined along the vertical direction.
  • There may be provided at least one prism arranged on the connection surface so that
  • this viewpoint may be made

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)

Abstract

 撮像システム(5)では、発光部(9)にて発光された照明光は、光学部材(11)にて集光、反射されると共に、規定領域に対して配光される。この規定領域に対する配光は、発光部からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強く、かつ予め定められた基準値以上となる。撮像システムでは、このように照明光を配光するため、撮像規定領域を構成する各画素に入射する光の強さは、強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となる。

Description

状態監視装置 関連出願の相互参照
 本開示は、2012年7月25日に出願された日本出願番号2012-164971号と、2012年7月25日に出願された日本出願番号2012-164973号に基づくもので、ここにその記載内容を援用する。
 本開示は、画像を生成する状態監視装置、およびそれに用いる光学部材に関する。
 従来、車両に搭載され、当該車両の安全な走行を実現することを目的として、当該車両の乗員の状態を監視する状態監視装置(いわゆるドライバーモニタリングシステム)が知られている(例えば、特許文献1参照)。
 この種の状態監視装置は、画像を生成する撮像システムと、その撮像システムで生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視部とを備えている。撮像システムは、少なくとも近赤外を含む波長の光(以下、照明光と称す)を発光する少なくとも一つの投光器と、投光器により照明光が照射される領域から反射しカメラレンズに入射される光を、複数の画素を有する撮像素子にて結像することで画像を生成するカメラとを備えている。
 撮像システムに用いられるカメラは、自車両のシートに着座した平均的な体型(例えば「ISO4513 Road vehicles-Visibility-Method for establishment of eyellipses for driver’s eye location」 あるいは、「JIS D 0021 自動車の運転者アイレンジ」に規定されアイリプス99パーセンタイル)の乗員が、運転時の通常動作において姿勢変化することを考慮して、顔面が位置する可能性の高い領域を撮像領域とするような画角を有するレンズとともに、適切な位置に設置される。このようなカメラを用いて乗員の状態を安定して監視するためには、撮像領域に対して、状態監視部での画像処理に適した明るさ及びコントラストの画像を連続して取得できるように、被撮像物に対する光の強さとして予め規定された強度基準値以上の強さの照明光をなるべく均一に照射することが求められる。アイリプス「eyellipse」は、眼「eye」と楕円「ellipse」の短縮であり、眼の位置の統計的な分布を描くのに使用される。
特開2005-271876号公報 上述したように、撮像領域に対して強度基準値以上の強さかつ均一な照明光を照射する場合、複数の投光器にて実現することが考えられる。この場合、投光器の各々を複数箇所に設置したり、一箇所に設置する場合でも、投光器を構成する光源、例えばLED光源をアレイ状に複数設置したりすることが考えられる。
 しかしながら、このような方法では、撮像システムにおいて投光器の占める面積が大きくなり、システム全体の構成が大型化したり、投光器の数が増加することにより、投光器にて消費する電力が増加したりする。
 つまり、従来の状態監視装置では、撮像領域に対して強度基準値以上の強さかつ均一な照明光を照射するために、撮像領域ではない領域に対しても投光するなどシステムにとって不要な投光をするために投光器の数が増加するなど、装置全体の構成が大型化すると共に、投光器にて消費する電力の増加を低減できない。
 本開示の目的は、状態監視装置において、撮像領域に対して可能な限り強度基準値以上の強さかつ均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することである。また、状態監視装置において、乗員の状態を安定して監視可能な画像を生成することも目的とする。
 上記の目的を達成するための、本開示のひとつの例として、車両に搭載される状態監視装置は次のように提供される。状態監視装置は、少なくとも一つの発光部、撮像部、状態監視セクション、および光制御部を含む。発光部は、自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する。撮像部は、前記規定領域から入射する光を、複数の画素を有した撮像素子にて受光することで画像を生成する。状態監視セクションは、前記撮像部で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する。光制御部は、前記撮像部の撮像素子における受光面の少なくとも一部の領域であって、前記規定領域に対応する領域を撮像規定領域とし、前記撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視セクションでの画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように配光を制御する。
 本開示のもうひとつの例として、車両に搭載される状態監視装置は次のように提供される。状態監視装置は、少なくとも一つの発光部、撮像部、状態監視部、および光学制御部を含む。発光部は自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する。撮像部は、前記規定領域から入射する光を、複数の画素を有した撮像素子にて受光することで画像を生成する。状態監視部は前記撮像部で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する。光学制御部は、入射部と出射部とを含む。入射部は、前記発光部のそれぞれにて発光された照明光を集光する。出射部は、前記撮像部の撮像素子における受光面の少なくとも一部の領域であって前記規定領域に対応する領域である撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視部での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように、前記入射部のそれぞれにて集光した照明光を前記車室内空間に出射する出射面にて配光する。
 本開示のさらにもうひとつの例として、車両に搭載される状態監視装置に用いられる光学部材は次のように、提供される。状態監視装置は、自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する少なくとも一つの発光部と、少なくとも前記規定領域から入射する光を撮像素子にて受光することで複数の画素を有した画像を生成する撮像部と、前記撮像部で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視部とを有する。光学部材は、前記発光部のそれぞれにて発光された照明光を集光する入射部と、前記撮像部の撮像素子における受光面の少なくとも一部の領域であって前記規定領域に対応する領域である撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視部での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように、前記入射部のそれぞれにて集光した照明光を前記車室内空間に出射する出射面にて配光する出射部とを備える。
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
本開示の実施形態が適用された状態監視装置の設置位置を示す図であり、 状態監視装置の概略構成を示すブロック図であり、 撮像システムの構造を示す斜視図であり、 光学(フィルタ)部材における減衰部の構造を示す図であり、 光学部材によって制御される配光特性を示す図であり、 状態監視ECUの機能ブロック図であり、 状態監視処理の処理手順を示すフローチャートであり、 露光タイミング及び発光タイミングを示す説明図であり、 補正制御の実行開始基準を示す説明図であり、 投光器の配置に関する変形例を示す説明図であり、 状態監視装置の設置位置の変形例を示す図であり、 頭部モデルを説明する説明図であり、 規定領域の設定方法の変形例を示す説明図であり、 光学部材の構造を示す図であり、 光学部材の外観を示す斜視図であり、 光学部材の構造を示す図であり、 光学部材による配光の様子を説明する説明図であり、 光学部材による配光の様子を説明する説明図であり、 光学部材の変形例を示す図である。
 以下、本開示の実施形態を図面と共に説明する。
 (第一実施形態)
 〈1.1 状態監視装置〉
 図1に示すように、状態監視装置1は、自動車AMの安全な走行または乗員の快適な運転環境を実現することを目的として、自車両AMの乗員(本実施形態では、運転者)Hmの頭部を含む画像に基づいて、乗員Hmの状態を監視する、いわゆるドライバモニタリングシステムである。
 この状態監視装置1は、図2に示すように、画像PIを生成する撮像システム5と、画像PIに対して画像認識処理を実行して乗員Hmの状態を監視する状態監視ECU(Electronic Control Unit)40とを備えている。さらに、状態監視装置1には、自車両AMに搭載された各種装置を含むアクチュエータ部50が接続されている。
 撮像システム5は、少なくとも近赤外領域の波長を含む波長の光(以下、照明光と称す)を発光すると共に、画像PIを生成するシステムである。撮像システム5は、図3に示すように、撮像部7と、発光部9(投光器9とも言う)と、光学部材11(光学素子、光制御部あるいは手段、光学部あるいは手段とも言う)と、光学部材13と、基板21とを備えている。撮像部7は撮像手段して機能し、発光部9は発光手段として機能する。
 そして、撮像システム5は、自車両AMの乗員Hmの頭部が位置する可能性のある車室内空間での領域(以下、規定領域PA(図1参照)と称す)含む領域を撮像領域とするように予め規定された設置位置に設置される。本実施形態における規定領域PAとは、例えば、通常の運転姿勢をとっている運転者の目が存在する位置を表す楕円状の領域(即ち、アイリプス)内を包含する領域である。この規定領域PAは、例えば、予めアイリプスから設計上規定すれば良く、撮像部7から見た場合、運転席DSのヘッドレスト近傍の領域となる。規定領域PAが包含する領域は、アイリプスの99パーセンタイルであったり、95パーセンタイルであっても良い。
 通常、アイリプスは、シート位置によって一義的に決定される。このため、シート位置を設定可能な位置の範囲が一般的な位置の範囲とは異なる車両に対しては、乗員Hmの頭部が実際に位置しない領域を規定領域PAとして決定している可能性があった。
 そこで、規定領域PAの決定方法は、アイリプスから設計上決定する方法に限らず、実験により、運転時の通常姿勢にて乗員Hm(被験者)をシートに着座させた場合に、各乗員Hmの頭部が位置する領域の分布から決定しても良い(図13参照)。具体的には、例えば、各乗員Hmの頭部が位置する領域の分布において、規定された割合以上の領域を包含する範囲を規定領域PAとして決定することが考えられる。ただし、ここで言う多くの乗員Hm(被験者)は、人種や性別、年齢などが異なる様々な人物であることが好ましい。
 なお、図13においては、破線にて示した矩形の領域のそれぞれが、様々な人種、性別、年齢の被験者が各々の運転に適した姿勢にドライビングポジションをセットしたときの撮像結果から、当該被験者の頭部が位置する領域を囲んだものであり、一点鎖線にて示した矩形の領域が、自車両AMの乗員Hmの頭部が位置する可能性のある領域(即ち、規定領域PA)である。
 この方法にて規定領域PAを決定すれば、乗員Hmの頭部が実際に位置しない領域が規定領域PAとして決定されることを低減できる。ただし、規定領域PAは、通常の運転姿勢に限定するのではなく、運転動作に伴うある程度の顔移動を見込んで規定しておくことが好ましい。
 なお、本実施形態における設置位置は、ステアリングホイールSHが接続されるステアリングコラムSCの上側外表面である。このような設置位置に撮像システム5を設置する場合、撮像システム5の中心軸(照射基準軸:図5参照)は、水平軸(図5参照)との間に所定の角度(仰角)を有する。
 撮像部7は、撮像素子(いわゆるCCDやCMOSなどイメージセンサ)、光学レンズ、光学フィルタ、発振器、インターフェース回路、電源等の周辺電子回路を有した周知の撮像装置であり、光学レンズを介して撮像素子に入射した光を各画素が受光して、光の強弱に応じた陰影のある画像PIを生成する。
 本実施形態における撮像部7は、周囲の環境に応じてゲインや露光時間などをオートまたはマニュアルによってアクティブに制御されるよう構成されており、また、撮像タイミングも任意に設定できるように通信機能を備えている。なお、撮像素子は近赤外光に対する感度が高い素子が好ましい。
 発光部9は、状態監視ECU40からの制御指令COに従って、照明光を発光する発光器である。本実施形態における発光器は、2つの発光ダイオード(LED(Light Emitting Diode))の各々である。
 光学部材11は、発光部9からの照明光を集光、反射すると共に、その集光した照明光を規定領域PAに対して配光する。基板21は、電子部品が実装され、配線が形成されたプリント基板であり、基板のほぼ中央部に撮像部7が固定され、撮像部7から適度に離れた位置に、1つ以上の発光部9が固定される。
 部品23は、基板21に接続する機構を有している。この部品23には、基板21において撮像部7が固定される位置と対向する位置に、撮像部7が挿通する孔(以下、第一挿通孔と称す)25が形成されている。さらに、部品23には、基板21において発光部9が固定される位置と対向する位置に、光学部材11を所定の位置関係を保持する保持構造を備えている。発光部9と光学部材11の位置関係は、投光器の照射特性として重要であり、これらが位置ズレを起こすと十分な性能が得られないため、基板21と部品23は位置決めピンなどで位置ズレ精度が補償されるようにする。なお、部品23と光学部材11は一体成型で構成されていても良い。
 光学部材13は、光学部材11を通過した照明光のうち不要光を除去すると共に、発光部9から発せられた光が内部反射により撮像部7に入射しないように遮蔽する部材である。光学部材13は、可視光カットフィルタ30と、シェード31とを備え、2色成形等により一体化されている。よって、光学部材13は、フィルター部あるいはフィルター手段としても機能する。
 可視光カットフィルタ30(フィルター部あるいはフィルター手段とも言う)は、全体として、矩形の板状に形成された光学フィルタであり、状態監視ECU40での画像処理に適した光の成分として予め定められた光の成分(例えば、近赤外領域の波長)、すなわち投光器の波長成分の光の多くを少なくとも透過するとともに、撮像部7にとって不要であり、かつ、発光部9を運転者Hmが直接見えにくくすることを目的として可視光をできるだけカットするような材料で作られる。
 シェード31は、可視光カットフィルタ30を保持する保持構造を有している。このシェード31には、基板21において撮像部7が固定される位置と対向する位置に撮像部7が挿通する孔(以下、第二挿通孔と称す)33が形成されていると共に、光学部材11から出射された光を通すようにそれぞれと対向する位置に開口35、36が形成されている。
 なお、光学部材13は、発光部9から規定領域PAまでの照明光の経路上にて、撮像部7及び発光部9(光学部材11)を覆うように配置される。さらに、シェード31は、近赤外光を含む光を通さない遮光材料で作られており、発光部9にて発光した照明光が表面反射や内部伝搬等により撮像部7に必要以上に強い光として入射することを防止する遮光部15を備えている。
 本実施形態では、遮光部15の一つとして、撮像部7の周囲を覆うように、第一挿通孔25に嵌挿される筒状の遮光部17を備えている。また、本実施形態では、遮光部15の一つとして、図4に示すように、光学部材13内を意図せず伝播する照明光を減衰させる減衰部19を備えている。この減衰部19は、可視光カットフィルタ30の上辺及び下辺の少なくとも一方における、シェード31の開口35、36それぞれから第二挿通孔33までの間の部位それぞれに形成されている。この減衰部19は、可視光カットフィルタ30が一定厚さの板状である場合、特定の方向から入射された光に対し、可視光カットフィルタ30の媒質界面で直進と反射を繰り返し規則的に内部伝搬していくが、この経路を遮る意味でラビリンス形状とも呼ばれ、その設置間隔は可視光カットフィルタの厚みや光の入射角度の関係から設計的に形状が決められる。また、減衰部19の深さは深いほうが好ましい場合もあるが、可視光カットフィルタ30の機械的強度が弱くならない範囲で設計する必要がある。図4においては、ハッチングを施した部位が複数の空隙として形成される。または、ハッチングを施した部位が他と異なる屈折率をもった部材で形成される。
 なお、減衰部19は、図示したように等間隔に形成された空隙に限らず、光学部材13内に形成された鋸歯状の切り欠きでも良いし、光学部材13内に形成された照明光を反射する反射率を高めることで形成されていても良いし、これらの組み合わせによって構成されていても良い。なお、遮光部15、遮光部17、減衰部19は、おのおの入射する光を低減する入射低減部あるいは入射低減手段としても機能する。
 〈1.2 光学部材による配光〉
 光学部材11による配光は、撮像規定領域を構成する各画素に入射する光の強さが、状態監視ECU40での画像処理に適した画像PIとなる光の強さとして予め規定された強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるようになされる。なお、ここで言う撮像規定領域とは、撮像部7の撮像素子における受光面において、規定領域PAからの光が入射する領域である。規定領域PAに存在する被写体の形状や反射率により撮像規定領域における受光量は異なるため、便宜上、規定領域PAには鉛直でどの角度から見ても一定な反射率を為す平板が存在すると仮定して説明している。また、ここで言う第一基準範囲とは、光の強さの分布が、画像処理に適した最低限度のばらつきであるとみなせる範囲である。
 撮像素子の受光面において、上述したような光の入射を実現するために、本実施形態の光学部材11による配光は、図5に示すように、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるようになされている。
 ここで言う中心存在領域とは、照射面において、乗員の顔面中心(中心軸)が位置する可能性が高い領域である。なお、照射面とは、例えば、規定領域PAを含む領域を分割する鉛直面であり、車両の進行方向に対し前後に分割する仮想的な平面である。規定領域PAは、3次元的な空間であるが、照射面は便宜上2次元平面であり、平板正面の反射特性は指向性を持たないものとして説明する。この照射面には、規定領域PAにて乗員Hmの顔面(頭部)が存在する可能性が高い。
 さらに、光学部材11による中心存在領域内に対する配光は、規定領域PAにおける鉛直方向に沿った照明光の強さの分布が均一となるようになされる。この均一とは、例えば、照明光の強さの分布が、予め規定された第二基準範囲内となることである。
 なお、図5においては、到達する照明光の強さが強い領域ほど、ハッチングの濃度を濃くし、到達する照明光の強さが弱い領域ほど、ハッチングの濃度を薄くしている。
 また、図5に示す例では、中心存在領域をはじめとした、照明光の強さが段階的に変化する範囲を、楕円形状にて表した。しかし、図5に示す照明光の強さが段階的に変化する範囲は、一例であって、楕円形状に限るものではない。さらには、図5に示す例では、照明光の強さの変化を段階的に示しているが、実際には、照明光の強さの変化は、連続的に滑らかとなるようになされる。
 <1.3 光学部材による配光>
 このような配光を実現するために、本実施形態の光学部材11は、照射面を構成する複数の微小領域(以下、構成ポイントと称す)のうち、発光部9(または、撮像部7)からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるように、発光部9から入射された照明光を配光する出射部を備える。
 本実施形態における光学部材11の出射部は、発光部9(または、撮像部7)からの距離が遠い構成ポイントほど、到達する光量が多くなるように構成されている。
 本実施形態における光学部材11は、光学素子によって構成されるものであり、例えば、周知のレンズやプリズム、鏡、回折格子のうちの少なくとも一つや、これらの組み合わせによって実現すれば良い。
 以上説明したように撮像システム5では、発光部9にて発光された照明光は、光学部材11を通して、規定領域PAに対して配光される。この規定領域PAに対する配光は、照射面に到達する照明光の強さが基準値以上となり、かつ発光部9からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるようになされる。
 一方、撮像システム5の撮像部7では、光学レンズを介して撮像素子に入射した光を結像して画像PIを生成する。本実施形態の撮像システム5は、規定領域PAを撮像領域としているため、撮像部7が生成する画像PIには、通常、自車両AMの乗員Hmの頭部(顔面)が含まれる。
 しかも、撮像システム5では、上述したように照明光を配光するため、撮像規定領域を構成する各画素に入射する光の強さは、強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となる。
 〈1.4 状態監視ECU〉
 図2に示すように状態監視ECU40は、ROM41と、RAM42と、CPU43とを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。
 ROM41は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する記憶装置である。RAM42は、データを一時的に格納するメモリであり、CPU43は、ROM41またはRAM42に記憶されたプログラムに従って処理を実行する演算処理装置である。
 ROM41には、乗員Hmの状態を監視した結果、自車両AMの運転に対する乗員Hmの安全性が低い状態である場合に注意喚起や警告を行うことで自車両AMの安全な走行が実現されるようにアクチュエータ部50を制御して乗員Hmに働きかける状態監視処理を、CPU43が実行するためのプログラムが格納されている。
 つまり、本実施形態の状態監視ECU40(状態監視部40とも言う)は、撮像部7にて生成した画像PIに対して画像処理を実行した結果に基づいて、自車両AMの乗員Hmの状態を監視すると共に、撮像システム5を制御する。さらに、状態監視ECU40は、自車両AMの乗員Hmの状態を監視した結果に基づいて、アクチュエータ部50を制御する。
 アクチュエータ部50には、報知部51と、振動部52と、空調制御装置53とが含まれている。振動部52は、自車両AMのシート(本実施形態では、運転席のシートDSを含む)に内蔵され、状態監視ECU40からの制御信号CSに従ってシートを振動させるシート振動部や、ステアリングホイールSHを制御信号CSに従って振動させるステアリング振動部(図示せず)を含む。空調制御装置53は、自車両AMに搭載された空調装置を制御する。
 報知部51は、状態監視ECU40からの制御信号CSに従って報知する機構であり、スピーカ部54と、表示部55とを含む。スピーカ部54は、音を出力する機構であり、表示部55は、異なる内容の情報を表示態様の変更によって示す機構(例えば、液晶ディスプレイやインジケータ)である。
 状態監視処理を実行した状態監視ECU40は、図6に示すように、発光部9による照明光の発光、及び撮像部7による画像PIの生成のうちの少なくとも一方を制御する制御部45と、画像PIに対して画像処理を実行する画像処理部46と、画像処理部46にて画像処理が実行された画像PIに基づいて、自車両AMの乗員Hmの状態を推定する状態推定部47と、状態推定部47での推定結果に基づいて、アクチュエータ部50を制御する警報判定部48として機能する。
 〈1.5 状態監視処理について〉
 次に、状態監視処理は、状態監視装置1に電力が供給されると(本実施形態では、イグニッションスイッチがオンされると)起動されるものである。
 ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション(あるいはステップと言及される)から構成され、各セクションは、たとえば、S110と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
 この状態監視処理は、起動されると、図7に示すように、発光部9の制御値及び撮像部7の制御値を、予め定められた初期値に設定する(S110)。
 ここで言う発光部9の制御値には、少なくとも、発光部9が出力する照明光のレベル(強度)が含まれる。より具体的には、投光器に通電する単位時間あたりのエネルギーや通電時間により制御する。この照明光のレベルの制御値は、一定の制御範囲を有しており、少なくとも、制御範囲の上限値が、乗員Hmの顔面への到達時点で、IEC(International Electrotechnical Comission)62471に規定されたExemptレベル以下(例えば、Table 6.1 Emission limits for risk groups of continuous wave lamps の Symbol L、LiR、EIR)となるように予め定められている。
 さらに、撮像部7の制御値には、露光時間やゲインなどが含まれており、画像処理に適した画像PIが撮像されるように予め実験などによって求められた制御値の設定範囲が規定されている。
 続いて、発光部9に対して制御指令COを出力する(S120)。これにより、発光部9が発光し、規定領域PAに照明光を照射する。続いて、または同時に撮像部7に撮像させ、画像PIを取得する(S130)。
 本実施形態において、発光部9が発光するタイミング、及び撮像部7が画像PIを撮像するタイミングは、図8に示すように、発光部9から照明光を発光する期間(図中、発光タイミング)が、撮像部7の露光期間(図中、露光タイミング)よりも長く規定されている。その上で、撮像部7による画像PIの撮像(露光開始から露光終了まで)は、発光部9が近赤外光の発光期間中に実行される。なお、図中の符号taは、撮像部7による画像PIの撮像間隔を表しており、図7におけるS120~S200までの一連のサイクルにて、S150が実行される間隔である。ここで、発光期間が露光期間より長いと説明したのは、発光開始を指示してから実際に100%パワーで投光器が発光するまでのタイムラ
グを考慮したためであり、投光器の立ち上がり遅延がなく急峻に立ち上がる発光デバイスであれば同時としても問題ない。また、発光部の消灯タイミングについては上記と同様の理由で必ずしも遅らす必要がなく同時もしくは露光終了よりも早いタイミングであっても構わない。
 さらに、S130で撮像した画像PIに対して、乗員Hmの状態を監視することを目的とした画像処理を実行する(S140)。このS140にて実行される画像処理には、画像PIにおける乗員Hmの頭部の位置を特定する周知の画像処理(以下、顔位置特定処理と称す)や、乗員Hmの目の開度を導出する周知の画像処理、乗員Hmの視線の方向を検出する周知の画像処理が含まれる。
 なお、本実施形態の顔位置特定処理では、画像PIに写り込んだ乗員のHmの顔面における左右の端部を検出し、その検出した左右の端部によって挟まれる領域に存在し、顔を構成する各部(ここでは、目や口、鼻など)を検出することがなされる。そして、各部の位置関係を特定すると共に、画像PI上における乗員Hmの顔面中心を検出し、乗員Hmの頭部の位置を特定することがなされる。なお、顔位置特定処理では、人の頭部を円筒状に模した頭部モデル(図12参照)を用いて、乗員Hmの頭部の位置を特定することも一般的になされている。
 そして、S140での画像処理の結果に基づいて、乗員Hmの覚醒度を推定する周知の処理や、運転者が脇見運転をしているか否か等を判定する周知の処理を、乗員Hmの状態を判定する状態判定として実行する(S150)。このように状態監視ECU40は、S140-S150にて、状態監視セクションとして機能するとも言える。
 続いて、S150での状態判定の結果に基づいて、自車両AMの車室内に警告を出力する必要の有無を判定する(S160)。本実施形態におけるS160での判定では、例えば、乗員Hmの覚醒度が予め規定された閾値未満であれば(すなわち、乗員Hmが眠気を感じている場合)や、乗員Hmが脇見運転を実施している場合に、警告を出力する必要があるものとする。
 そして、S160での判定の結果、警告を出力する必要があれば(S160:YES)、アクチュエータ部50に対して制御信号CSを出力して警告を出力する(S170)。
 乗員Hmの覚醒度が閾値未満である場合に本実施形態のS170にて出力される警告としては、例えば、休息を促す旨を報知部51から出力することや、振動部52を介して運転席DSやステアリングホイールSHを振動させること、空調制御装置53を介して乗員Hmに向けて冷風を吹き付けることなどがある。また、乗員Hmが脇見運転を実施している場合に本実施形態のS170にて出力される警告としては、音声による報知を報知部51から出力することや、振動部52を介して運転席DSやステアリングホイールSHを振動させること、空調制御装置53を介して乗員Hmに向けて冷風を吹き付けることなどがある。その後、S180へと移行する。
 なお、S160での判定の結果、警告を出力する必要が無ければ(S160:NO)、S170を実行することなく、S180へと移行する。
 このS180では、先のS140にて実施した顔位置特定処理にて特定した画像PI上における乗員Hmの頭部(以下、顔位置領域と称す)を構成する全ての画素が、撮像規定領域に対応する撮像素子上の領域内であるか否かを判定する。このS180での判定の結果、顔位置領域を構成する全ての画素が、撮像規定領域に対応する撮像素子上の領域内でなければ(S180:NO)、S190へと進む。このように状態監視ECU40は、S180にて、位置判定セクションとして機能するとも言える。
 そのS190では、次のサイクルのS130にて生成する画像PIにおける顔位置領域の輝度値が、画像処理に適した画像を取得できるように、所定の輝度値となるように撮像部7のデジタルゲイン付加等の後処理により演算する補正制御を実行する。このように状態監視ECU40は、S190にて、輝度補正セクションとして機能するとも言える。本来は、このデジタルゲイン等による補正は、S140処理の前に実行すべきであるが、認識処理した結果により補正値を演算するため、フレーム遅れで実行する。連続した撮像を高速(例えば30fps)で実施する本システムの場合、その遅延はほとんど問題にならない。
 本実施形態における補正制御は、図9に示すように、画像処理することによって得られた顔位置領域のうち、撮像規定領域に対応する撮像素子上の領域外となる領域RTを構成する全ての画素の輝度値が、次回の撮像において、所定の輝度値となるように、デジタルゲインを演算し撮像画像を加工処理する。なお、本実施形態における所定の輝度値とは、顔位置領域を構成する全ての画素の輝度値が、強度基準値に対応する輝度値以上であり、かつ、各画素の輝度値の分布が第一基準範囲内となる輝度値である。
 また、補正制御は、図7におけるS120~S200までの一連のサイクルを繰り返す過程で、段階的に収束するように実行しても良い。このように実行する理由は、実車環境では様々な要因により、最適な撮像条件が撮像フレームごとに大きく変更になる場合があり、制御テーブル上の設定値を一気に変更することでハンチングのような現象が起きる可能性があるからである。
 その後、S200へと移行する。
 一方、S180での判定の結果、顔位置領域を構成する全ての画素が撮像規定領域に対応する撮像素子上の領域内であれば(S180:YES)、S190を実行することなく、S200へと進む。
 このようにして移行したS200では、発光部9の制御値、及び撮像部7の制御値のうち、少なくとも一方について最適値を導出する。このS200にて導出される制御値とは、例えば、露光時間、画素値を出力する際に付加するアナログゲイン値、発光強度などである。このS200での制御値の導出は、予め実験などで求めた、画像PIの状態と制御値の最適値との関係を対応付けたテーブルなどに従って実行すれば良い。
 その後、S120へと戻り、S190にて演算されたデジタルゲインや、S200にて導出した制御値を設定して、S120へと移行する。これにより、設定された制御値により新たに撮像される画像にデジタルゲインの演算値を付加して画像PIが生成される。
 そして、乗員Hmによりイグニッションスイッチがオフされるまで、S120~S200を繰り返す。
 <1.6 第一実施形態の効果>
 ところで、上述した設置位置に撮像システム5を設置した場合、鉛直方向及び水平方向の平面である照射面における構成ポイントは、それぞれ、撮像システム5からの距離が異なる。
 このような照射面における構成ポイントの一部は、規定領域PAに存在する乗員Hmの顔面の各部品(眼、鼻、口など)である可能性が高く、発光部9から照射される照明光を反射するポイントとなる可能性が高い。通常、この照明光を反射する構成ポイントまでの発光部9からの距離が遠いと、当該構成ポイントにて反射された光は、撮像素子の受光面に入射するまでに散乱することで減衰する。このため、従来の状態監視装置にて生成される画像は、状態監視ECUにおける状態監視処理の実行に適した画像PIとならない可能性がある。
 これに対し、本実施形態の状態監視装置1では、発光部9からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるように、光学部材11を構成している。しかも、光学部材11のより具体的な配光特性は、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となるようになされている。
 このような状態監視装置1によれば、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が均一な画像PIを生成でき、状態監視処理の実行に適した画像PIを生成できる。
 しかも、状態監視装置1によれば、状態監視処理の実行に適した画像PIの生成を、従来の状態監視装置と比較して無駄な領域への発光を抑止できることから、発光器の数を増加させることなく照明の効果を高めることができる。したがって、状態監視装置1によれば、従来の状態監視装置に比べて、状態監視装置1全体の構成が大型化することを可能な限り抑制できると共に、発光器にて消費する電力の増加を可能な限り抑制することができる。
 換言すれば、状態監視装置1によれば、撮像領域に対して可能な限り強度基準値以上の強さかつ均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することができる。
 なお、光学部材11の配光特性は、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるようになされている。
 このような配光特性のもとで生成された画像PIは、陰影がより顕著になるが、他の軸方向に照明分布を作るよりも検知性能の低下を抑制することができる。よって、画像PIは、顔位置特定処理に用いられる頭部モデルの性質に合致したものとなる。
 この結果、状態監視装置1によれば、必要以上に強い照明光を撮像領域全体に対して照射することなく、状態監視ECU40での状態監視処理に適した画像PIを生成することができる。
 さらに、状態監視装置1では、顔位置領域のうち、撮像規定領域の範囲外となる領域RTを構成する全ての画素の輝度値が、次回の撮像において、所定の輝度値となるように補正制御を実行している。この補正制御により、状態監視装置1によれば、状態監視処理の実行に最適な画像PIを高い確率で生成することができる。
 さらには、状態監視装置1には、光学部材13に遮光部15が設けられている。このため、状態監視装置1によれば、発光部9にて発光した照明光が撮像部7に必要以上に入射することが防止され、状態監視処理の実行に最適な画像PIを高い確率で生成することができる。
 これらにより、状態監視装置1によれば、乗員Hmの状態の監視精度を高いものとすることができる。
 <1.7 第一実施形態の変形例>
 以上、第一実施形態について説明したが、上記実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
 例えば、上記実施形態では、撮像システム5における発光部9の各々を、LEDにて構成したが、発光部9はこれに限るものではなく、照明光を発光する発光器であればどのようなものでも良い。
 また上記実施形態では、発光部9の数を2つとしていたが、発光部9の数は、これに限るものではない。すなわち、図10に示すように、発光部67(投光器67とも言う)は、水平方向に比して鉛直方向に沿って密に配置した3つ以上の投光器であっても良い。この場合、発光部67のそれぞれは、高い直進性を有した光を照明光として発光する装置であることが好ましい。
 このような発光部9の構造であっても、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内とした画像PIを生成でき、状態監視処理の実行に適した画像PIを生成できる。この場合、複数の発光部(投光器)67は、光制御部あるいは光制御手段として機能する。
 さらに、発光部67のそれぞれを、直進性を有した光を照明光として発光する発光器によって構成する場合、状態監視装置には、各発光部67を、複数の発光器が発光する照明光を集光して規定領域PAに配光する光学部材を設けても良い。
 また、上記実施形態のS190では、補正制御として、顔位置領域を構成する全ての画素が撮像規定領域に対応する領域内でない場合に、次のサイクルにて生成する画像PIにおける顔位置領域の輝度値が、所定の輝度値となるように撮像部7のデジタルゲインを調整する補正制御を実行していたが、補正制御の内容は、これに限るものではない。例えば、補正制御は、顔位置領域が撮像規定領域に対応する領域内であるか否かに拘わらず実行しても良い。この場合、補正制御の実行内容は、顔位置領域に対応する画素の輝度値が、強度基準値に対応する輝度値以上であり、かつ、各画素の輝度値の分布が第一基準範囲内となるようにデジタルゲインを調整することでも良い。
 なお、補正制御は、画像PIを撮像するタイミングで実施しても良いし、画像PIを撮像した後に、当該画像PIの輝度値に補正を加えることで実施しても良い。
 また、上記実施形態では、発光部9が照明光を発光するタイミングと、撮像部7が画像PIを撮像するタイミングとの関係を、発光部9が照明光を発光する期間を撮像部7の露光期間よりも長く規定した上で、撮像部7による画像PIの撮像(露光開始から露光終了まで)を、発光部9が照明光の発光期間中に実行していたが、照明光を発光するタイミングと、画像PIの撮像タイミングとの関係は、これに限るものではない。つまり、撮像部7の露光期間が、発光部9が照明光を発光する期間よりも長くとも良い。
 さらには、状態監視ECU40は、発光部9が、照明光を常時発光するように制御しても良い。
 ところで、上記実施形態における設置位置は、ステアリングホイールSHが接続されるステアリングコラムSCの上部の外表面であったが、設置位置は、これに限るものではない。この場合、設置位置は、例えば、図11に示すように、車室内のインナーリアビューミラーの近傍であっても良いし、ダッシュボード上や、メータ表面、メータ内部などであっても良い。
 また、上記実施形態における状態監視装置1は、光学部材13を備えていたが、光学部材13を備えていなくとも良い。
 上記実施形態では、状態監視処理の起動条件を、イグニッションスイッチがオンされた場合としたが、状態監視処理の起動条件はこれに限るものではなく、例えば、自車両AMが開錠された場合であっても良いし、専用のスイッチがオンされた場合であっても良い。
 なお、上記実施形態では、状態監視装置1の設置対象を自動車としたが、状態監視装置1の設置対象は、自動車に限るものではなく、自転車や鉄道車両であっても良い。つまり、状態監視装置1の設置対象は、車両であればどのようなものでも良い。
 <1.8 第一実施形態の開示の観点>
 第一実施形態の開示の観点について、以下に、記載する。開示の観点として、状態監視装置では、少なくとも一つの発光手段が、自車両の車室内空間において乗員の顔面が位置する領域として予めアイリプス等から設計上規定された規定領域に、少なくとも近赤外波長を含む照明光を照射する。そして、規定領域を含む車室内の領域を撮像領域とし、撮像手段が、撮像領域から入射する光を、複数の画素を有する撮像素子にて結像することで画像を生成する。その撮像手段で生成された画像を画像処理した結果に基づいて、状態監視手段が、自車両の乗員の状態を検知、推定し、その状態に応じてアクチュエーションを実行する。
 さらに、本観点の状態監視装置では、撮像手段の撮像素子における受光面の少なくとも一部の領域であって、規定領域に対応する撮像素子上の領域を撮像規定領域とし、光制御手段が、撮像規定領域を構成する各画素に入射する光の強さが、状態監視手段での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように配光を制御する。なお、ここで言う分布とは、少なくとも、制御されたばらつきを含むものである。
 本観点の状態監視装置によれば、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となることを、従来の状態監視装置から発光手段の数を増加させることなく実現できる。
 この結果、本観点の状態監視装置によれば、従来の状態監視装置に比べて、状態監視装置全体の構成が大型化することを可能な限り抑制できると共に、発光手段にて消費する電力の増加を可能な限り抑制することができる。
 換言すれば、本観点の状態監視装置によれば、撮像領域に対して可能な限り強度基準値以上の強さかつ必要最小限に均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することができる。
 なお、規定領域に存在する乗員の顔面の各部品(眼、鼻、口など)は、発光手段から照射される照明光が照射される位置に存在する可能性が高い。この照明光が顔に照射されると顔面からその光を反射することになるが、反射するポイントまでの発光手段における光源からの距離が遠いと、照明光がコヒーレントでない散乱光の場合、当該ポイントにて反射された光は、撮像素子の受光面に入射するまでに散乱することで減衰する。
 この減衰する光の強さを考慮すると、本観点における光制御手段は、規定領域において存在する可能性が高い乗員の顔面の各部品のうち、発光手段における光源からの距離が遠いポイントほど、当該ポイントに到達する照明光の強さが強くなるように配光を制御しても良い。
 通常、光は、距離の2乗に反比例して減衰するため、本観点の光制御手段においては、撮像規定領域に規定の光が届くように、予め距離に応じた強度分布を考慮して配光するように設計すると良い。
 さらに、光の減衰は、距離だけでなく、撮像系レンズの周辺光量比にも影響を受ける。すなわち、同一距離同一輝度の光が異なる角度から撮像素子に入射する場合、撮像素子の中央に到達する光の強さは、周辺に到達する光の強さより強くなる。このため、本観点の光学制御手段は、その光量比を考慮して光学中心から離れることに応じて強くするように配光しても良い(配光に補正を加えても良い)。また、撮像レンズへの入射角度によっては、表面反射の影響で大きく減衰する場合があるので、本観点の光制御手段においては、それを考慮した配光特性になるように制御すると効果的である。
 このような光制御手段によれば、状況監視手段にて画像処理を実行する画像について、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布を第一基準範囲内とすることができる。
 ただし、上記画像は、規定領域に仮想的な平面(実施形態における照射面)を想定した場合における画像について説明したものである。このような画像は、規定領域に乗員が存在する場合には、例えば、眉毛のように反射率が低い部位や、鼻の穴のように照射光の光軸に対して陰となる部位については、局所的に暗くなり、陰影がはっきりとした画像となる。この画像であれば、画像処理により適したものとなる。
 また、本観点においては、乗員の顔面中心が位置する可能性が高い規定領域での領域を中心存在領域とし、受光面において中心存在領域に対応する領域を撮像規定領域としても良い。
 この場合、本観点における中心存在領域は、車両の種類によって異なるアイリプスとして定義される楕円内に目が存在するときの顔全体が撮像規定領域から外れない領域を包含する領域であることが好ましい。なお目位置を基準にした顔の大きさについてはAISTから公開されている「人体寸法データベース(http://riodb.ibase.aist.go.jp/dhbodydb/91-92/)」のA2:Head breadth、A15:Morphologic face height、A36:Total head heightなどを参照して決定しても良い。
 さらに、本観点における光制御手段は、中心存在領域に対しては鉛直方向に沿った照明光の強さの分布が、それ以外の方向と比較して鉛直方向に均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように配光を制御しても良い。
 このような光制御手段によれば、中心存在領域に対応する各画素のうち垂直方向に沿った画素における輝度値の分布を垂直以外の方向と比較して均一化することができる。なお、ここで言う垂直方向とは、水平面に対して鉛直である方向を含み、さらには、水平面に対する垂直軸から所定の角度範囲内を含む方向である。
 このような状態監視装置では、状態監視手段による画像処理として、乗員の顔向き検出、乗員の眠気検出,乗員の視線検出などを実施することが一般的であり、これらの検出を行う場合には、乗員の顔及び顔部品(目、鼻、口など)の少なくとも一つの検出が必要となる。
 乗員の顔向きを検出する処理では、人の頭部を模擬した頭部モデルを用いることが一般的である。頭部モデルは、前記人体寸法データベース等を用いて標準顔とした3次元モデルもあれば、図12に示すように、単純な円筒モデルで表されることもある。光が照射された円筒モデルは、通常、中心軸に近いほど明るく、径方向に沿って中心軸から離れるほど暗くなり、陰影が明確になるという性質があり、それを折り込んだ検出アルゴリズム(または前処理)になっていることが多い。
 この性質を考慮すると、本観点における光制御手段は、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど照明光の強さが弱くなるように配光を制御しても良い。これにより、陰影がより顕著になるが、他の軸方向に照明分布を作るよりも検知性能の低下を抑制することができる。
 このような光制御手段によって実現される配光は、頭部モデルの性質に合致したものとなる。この結果、必要以上に強い照明光を撮像領域全体に対して照射することなく、状態監視手段における画像処理に適した画像を生成することができる。なお、ここで言う水平方向とは、水平面に対して平行である方向を含み、さらには、水平面に対して水平な軸から所定の角度範囲内での方向を含む。
 <2 第二実施形態>
 <2.1 状態監視装置>
 第二実施形態の状態監視装置の構成は、第一実施形態の<1.1 状態監視装置>で、図1、2、3、4、5、13を参照して説明したものと次の点を除き、同様である。同様な点の説明は省略する。第一実施形態と異なり、まず、図4で示した、光学部材13内を意図せず伝播する照明光を減衰させる機能を持つ減衰部19の構成を必須としていない。
 一方、図14に示すように、光学部13には、拡散板37,38(拡散部あるいは拡散手段とも言う)が、可視光カットフィルタ30とシェード31の間に提供される。拡散板37,38のそれぞれは、シェード31の開口35,36を覆う形状に形成されたレンズ拡散板である。この拡散板37,38は、それぞれ、開口35,36を通過した照明光を、予め規定された角度範囲(例えば、5度から20度)に拡散させるフィルタである。拡散板37,38には、規定された角度範囲への照明光の拡散を実現することを目的として、例えば、シート状に形成された基板の表面に凹凸を有したマイクロレンズアレイが形成されている。
 <2.2 光学部材による配光>
 第二実施形態の光学部材による配光の構成は、第一実施形態の<1.2 光学部材による配光>で、図5を参照して説明したものと同様であり、ここでは、省略する。
 <2.3 光学部材の構成>
 上述した配光を実現するため、本第二実施形態における光学部材11は、第一実施形態に加え、さらにその構成に特徴を有する。以下に、その光学部材の特徴の説明を加える。図15,図16に示すように、発光部9からの照明光が入射される入射部60と、入射部60にて集光した照明光を規定領域PAに対して配光する出射部75とを備えている。光学部材11は、照明光が通過する平面(以下、接続面と称す)68にて、入射部60と出射部75とが接続され、一体に成型されたレンズである。接続面68には、当該接続面68から突出する板状の部位であり、かつ、部品23に設けられた嵌合孔27の周縁と係合する係合部87が設けられている。
 光学部材11は、照明光を透過する材料、例えば、ガラスや,樹脂などによって形成されている。樹脂材料で形成する場合、発光部9の近傍に設置されるため高温に耐える材料、例えば、COC(Cyclic Olefin Copolymer:環状オレフィンコポリマー)、COP(Cyclic Olefin Polymer:環状オレフィンポリマー)、PC(ポリカーボネート)など高いガラス転移温度を有し、高光学特性(高透明性、低複屈折)を有する材料が好ましい。
 なお、図15(A)は、光学部材11を出射部75から斜視した斜視図であり、図15(B)は、光学部材11を入射部60から斜視した斜視図である。また、図16(A)は、光学部材11を出射部75から視た正面図であり、図16(B)は、光学部材11の側面図である。図16(C)は、図16(A)におけるA-A断面図であり、図16(D)は、光学部材11を入射部60から視た正面図である。
 入射部60は、凸部62と、導入部64と、反射部66とを備えている。
 反射部66は、延出面70から接続面68に渡って拡径する円柱状に形成された部位である。延出面70とは、入射部60内に仮想的に規定した平面であり、凸部62及び導入部64が設けられる反射部66の面である。本実施形態においては、図16(C)に記載した一点鎖線での断面が延出面70に該当する。
 凸部62は、錐体に形成された部位であり、反射部66の延出面70における中央部から突出するように設けられている。本実施形態において、凸部62の形状を表す錐体とは、例えば、円錐である。なお、凸部62の側面は、凸部62の頂部から延出面70に渡って連続して変化する曲面であっても良い。ここで言う曲面には、非球面を含む。
 そして、凸部62の開口径は、照射面における鉛直方向の上方へと向かう光量と照射面全体を照射する光量の比が、鉛直方向に均一な配光となるように調整されている。
 導入部64は、凸部62を周方向に沿って囲む環状に形成された部位であり、反射部66の延出面70から突出するように設けられている。この当該導入部64の頂点は、凸部62の頂点よりも高くなるように設けられている。
 この導入部64において、延出面70から突出する部分の断面形状は、例えば、三角形や、その他の形状である。三角形状には、頂点部分が面取りされたほぼ三角形状を含む。
 導入部64の外周面は、延出面70において、反射部66の外周と一致するように設けられていると共に、導入部64の頂点から延出面70に渡って拡径するように設けられている。
 以下、導入部64の外周面と、反射部66の外周面とによって形成される入射部60の側面を、集光外周面74と称す。
 その集光外周面74は、接続面68から導入部64の頂点に渡って連続して変化する曲面に形成されている。そして、集光外周面74の曲面は、導入部64の内周面(透過面とも言える)72から入射した照明光を接続面68へと全反射するような臨界角を備えた曲率を有している。
 なお、導入部64の内周面72は、円筒の側面に相当する形状に形成されていても良いし、当該内周面で屈折した光線が反射部66にて、効率よく出射面へと光線を導く形状に形成されていても良い。
 また、凸部62は、入射光量の割合が、導入部64に対して、例えば、1.0~3.0倍となるように構成されていても良い。
 次に、出射部75は、入射部60のそれぞれにて集光した照明光を出射面から出射して配光する部位である。本実施形態における出射部75は、シリンドリカル部77と、プリズム部79,83とを備えている。
 シリンドリカル部77は、シリンドリカル面89が出射面の少なくとも一部分となるように、接続面68の中央部分に接続された周知のシリンドリカルレンズである。このシリンドリカル部77(シリンドリカルレンズ)の接続面68への接続は、シリンドリカルレンズの軸方向に沿った軸が、自車両の鉛直方向に沿った軸に一致するようになされている。
 なお、本実施形態におけるシリンドリカル面89は、非球面である。この非球面の形状を実現する削り量zは、周知の下記(1),(2)式によって表される。
Figure JPOXMLDOC01-appb-M000001
 
 ただし、(1)式中のcは、基準となる曲率半径の逆数であり、kは、円錐係数であり、C2nは、非球面係数である。また、rは、レンズ中心から該当箇所までの距離である。
 ただし、シリンドリカル面89は、非球面に限らず、球面であっても良い。また、シリンドリカル面89の曲率は、シリンドリカル面89を通過する照射光が屈折して規定領域PAへと照射されるように、撮像システム5の設置位置と中心存在領域との位置関係に応じて適宜決定すれば良い。
 なお、凸部62の側面における曲率、及び集光外周面74の曲面の曲率を実現する削り量zについては、上記(1),(2)式に基づいて決定しても良い。このように、シリンドリカル面89、及び凸部62の側面を、上記(1),(2)式に基づいて決定する場合、それぞれの曲率や非球面係数C2nは、照射面のアスペクト比に基づいて決定すれば良い。具体的には、シリンドリカル面89であれば、照射面のアスペクト比が大きければ、曲率を小さく設定する。これにより、水平(左右)方向に陰影を与えることができる。
 プリズム部79,83は、それぞれ、三角柱状に形成されたプリズムである。プリズム部79,83(プリズム)は、シリンドリカルレンズ部77を挟み込むように、シリンドリカルレンズ部77に一辺が当接して接続面68に接続されている。
 さらに、プリズム部79,83(プリズム)は、それぞれのプリズムが有する複数の面のうちの一つの面が、自車両AMの鉛直方向に沿って傾斜する傾斜面81,85となるように接続面68に配置される。傾斜面81,85における鉛直方向に沿った傾斜は、自車両AMの天板に近いほど接続面68からの高さが高くなり、自車両AMの天板から離れるほど接続面68からの高さが低くなるように設けられている。
 この傾斜面81,85における鉛直方向に沿った傾斜は、仰角が20°~30°である場合には、例えば、10°から50°に設計することが好ましい。
 さらに、傾斜面81,85は、それぞれ、自車両の水平方向に沿った傾斜を有している。この水平方向に沿った傾斜は、シリンドリカル部77から離れるほど、接続面68からの高さが低くなり、シリンドリカル部77に近づくほど、接続面68からの高さが高くなるように形成されている。
 なお、傾斜面81,85の傾斜角は、それぞれ、傾斜面81,85を通過する照射光が屈折して規定領域PAへと照射されるように、撮像システム5の設置位置と中心存在領域との位置関係に応じて決定すれば良い。
 具体的には、撮像システム5の設置位置と中心存在領域との位置関係として、撮像システム5の基準軸と水平軸とがなす角(仰角)の照射中心に対して、均一性が必要となる照射面における領域(即ち、中心存在領域)の上方部分までの距離と、光学部材11から照射面までの距離とを用いても良い。
 すなわち、上述した配光特性の実現は、上記(1)式における各係数、及び傾斜面81,85の傾斜角、凸部62の開口径、光学部材11自体のレンズ径、レンズ面寸法を適宜変更することでなされる。
 上述したように形成された光学部材11では、図17,図18に示すように、発光部9にて発光された照明光のうち、入射部60の凸部62から入射した照明光は、接続面68を経て、出射部75のシリンドリカル部77へと導かれる。そして、シリンドリカル部77へと導かれた照明光は、シリンドリカル面89を通過する際に屈折し、規定領域PAの中心存在領域に照射される。
 また、発光部9にて発光された照明光のうち、導入部64の内周面72から入射した照明光は、反射部66の外周面または導入部64の外周面にて反射し接続面68を経て、出射部75へと導かれる。この導入部64の内周面72を透過して出射部75へと導かれた照明光のうち、シリンドリカル部77へと導かれた照明光は、規定領域PAの中心存在領域に照明光が集中し、中心存在領域から離れる程、照射される照明光が少なくなるように、シリンドリカル面89を通過する際に屈折される。
 一方、プリズム部79,83へと導かれた照明光は、規定領域PAの中心存在領域に照明光が集中し、中心存在領域から離れる程、照射される照明光が少なくなるように、傾斜面81,85の水平方向に沿った傾斜に従って屈折される。さらに、プリズム部79,83へと導かれた照明光は、規定領域PAにおける鉛直方向に沿って均一の強さとなるように、傾斜面81,85の鉛直方向に沿った傾斜に従って屈折される。
 以上説明したように規定領域PAに配光される照明光は、照射面に到達する照明光の強さが基準値以上となり、かつ発光部9からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなる。さらに、規定領域PAに対する配光は、中心存在領域における鉛直方向に沿った構成ポイントに入射する光の強さの分布が第二基準範囲内となり、かつ、中心存在領域から水平方向に沿って離れた領域ほど照明光の強さが弱くなる。
 一方、撮像システム5の撮像部7では、光学レンズを介して撮像素子に入射した光を結像して画像PIを生成する。本実施形態の撮像システム5は、規定領域PAを撮像領域としているため、撮像部7が生成する画像PIには、通常、自車両AMの乗員Hmの頭部(顔面)が含まれる。
 しかも、撮像システム5では、上述したように照明光を配光するため、撮像規定領域を構成する各画素に入射する光の強さは、強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となる。
 <2.4 状態監視ECU>
 第二実施形態の状態監視ECUの構成は、第一実施形態の<1.4 状態監視ECU>で
図2、6を参照して説明したものと同様であり、ここでは、省略する。
 <2.5 各種処理>
 本実施形態における画像処理とは、画像PIにおける乗員Hmの頭部の位置を特定する周知の処理(以下、顔位置特定処理と称す)や、乗員Hmの目の開度を導出する周知の処理、乗員Hmの視線の方向を検出する周知の処理が含まれる。
 顔位置特定処理では、図12に示すような、人の頭部を円筒状に模した頭部モデルを用いて、乗員Hmの頭部の位置を特定する周知の処理が一般的になされている。この顔位置特定処理では、例えば、画像PIに写り込んだ乗員のHmの顔面における左右の端部を検出し、その検出した左右の端部によって挟まれる領域に存在し、顔を構成する各部(ここでは、目や口、鼻など)を検出することがなされる。そして、各部の位置関係を特定すると共に、画像PI上における乗員Hmの顔面中心を検出し、乗員Hmの頭部の位置を特定することがなされる。
 そして、状態監視処理では、画像処理の結果、乗員Hmの覚醒度が予め規定された閾値未満である場合(すなわち、乗員Hmが眠気を感じている場合)や、乗員Hmが脇見運転を実施している場合に、アクチュエータ部50を制御する。
 例えば、乗員Hmの覚醒度が閾値未満である場合のアクチュエータ部50の制御としては、例えば、休息を促す旨を報知部51から出力することや、振動部52を介して運転席DSやステアリングホイールSHを振動させること、空調制御装置53を介して乗員Hmに向けて冷風を吹き付けることなどがある。また、乗員Hmが脇見運転を実施している場合のアクチュエータ部50の制御としては、音声による報知を報知部51から出力することや、振動部52を介して運転席DSやステアリングホイールSHを振動させること、空調制御装置53を介して乗員Hmに向けて冷風を吹き付けることなどがある。
 <2.6 第二実施形態の効果>
 本実施形態の状態監視装置1では、発光部9からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるように、光学部材11の出射面を構成している。
 具体的には、光学部材11の出射面の一部である傾斜面81,85を、鉛直方向に沿って傾斜させている。この傾斜面81,85により、当該傾斜面81,85を透過する照明光を屈折させ、中心存在領域に照明光を集中させることができる。これにより、光学部材11によれば、撮像規定領域における鉛直方向に沿った各画素に入射する光の強さの分布が第二基準範囲内となる照明光の配光特性を実現できる。
 また、光学部材11の出射面の一部としてシリンドリカル面89を設けている。さらに、傾斜面81,85を、水平方向に沿って傾斜させている。これらシリンドリカル面89及び傾斜面81,85により、当該傾斜面81,85を透過する照明光を屈折させ、中心存在領域に近いほど照明光の強さが強く、中心存在領域から水平方向に沿って離れるほど照明光の強さが弱くなる照明光の配光特定を実現できる。
 このような状態監視装置1によれば、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布を第一基準範囲内とした画像PIを生成できる。すなわち、状態監視装置1が生成する画像PIを、状態監視処理による乗員Hmの顔面の位置を検出することに適した、ひいては、乗員Hmの状態を安定して監視可能な画像PIとすることができる。
 しかも、状態監視装置1によれば、上述した効果を従来の状態監視装置と比較して無駄な領域への発光を抑止できることから、発光器の数を増加させることなく照明の効果を高めることができる。したがって、状態監視装置1によれば、従来の状態監視装置に比べて、状態監視装置1全体の構成が大型化することを可能な限り抑制できると共に、発光器にて消費する電力の増加を可能な限り抑制することができる。
 換言すれば、状態監視装置1によれば、撮像領域に対して可能な限り強度基準値以上の強さかつ均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することができる。
 光学部材11の配光特性は、照明光の強さが、中心存在領域に近いほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるようになされている。
 このような配光特性のもとで生成された画像PIは、濃淡がより顕著になるが、他の軸方向に照明分布を作るよりも検知性能の低下を抑制することができる。よって、画像PIは、顔位置特定処理に用いられる頭部モデルの性質に合致したものとすることができる。
 なお、照明光は、一般的に、距離に比例して減衰する。例えば、照射面に到達する照明光を均一な強さとなる配光特定とした場合、発光部から各構成ポイントまでの距離や、各構成ポイントから撮像素子の受光面までの距離によって、本来、同等の輝度値であるべき画素であっても、輝度値にばらつきが生じる。
 このため、従来技術によって生成する画像は、中心存在領域内であっても濃淡が大きくなり、乗員Hmの状態を安定して監視可能な画像PIとならない可能性がある。
 これに対し、状態監視装置1によれば、乗員Hmの状態を安定して監視可能な画像PIを生成できる。
 ところで、従来の状態監視装置では、発光部が強い照明光を発光すると、フィルタが変色してしまい、乗員Hmが違和感を覚えることがあった。
 これに対し、状態監視装置1では、発光部9それぞれと光学部材13との間に拡散板を設けている。このため、状態監視装置1によれば、乗員Hmが違和感を覚える可能性を低減できる。
 <2.7 第二実施形態の変形例>
 以上、第二実施形態について説明したが、上記実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
 例えば、上記実施形態における光学部材13は、可視光カットフィルタ30と、シェード31と、拡散板37,38とを備えていたが、光学部材13の構成はこれに限るものではない。すなわち、光学部材13は、図19に示すように、可視光カットフィルタ30と、シェード31とを備え、拡散板37,38が省略されていても良い。
 さらには、光学部材13自体が省略されていても良い。
 また、上記実施形態では、一つの発光部9を構成する発光器の数を一つとしていたが、一つの発光部9を構成する発光器の数は、一つに限るものではない。例えば、一つの発光部9を複数の発光器にて構成しても良い。この場合、複数の発光器(LED)を近接して配置し、一つの発光器として機能させることが好ましい。
 撮像システム5における発光部9の各々は、LEDにて構成されていたが、発光部9の構造は、これに限るものではなく、照明光を発光する発光器であればどのようなものでも良い。
 ところで、上記実施形態における撮像システム5の設置位置は、ステアリングホイールSHが接続されるステアリングコラムSCの上部の外表面であったが、撮像システム5の設置位置は、これに限るものではない。撮像システム5の設置位置は、例えば、図11に示すように、車室内のインナーリアビューミラーの近傍であっても良い。
 撮像システム5の設置位置を、車室内のインナーリアビューミラーの近傍とする場合、光学部材11の傾斜面81,85は、自車両AMの天板から離れるほど、接続面68から傾斜面81,85までの高さが高くなり、自車両AMの天板に近づくほど、接続面68から傾斜面81,85までの高さが低くなるように、鉛直方向に沿った傾きを有するように形成される。
 また、撮像システム5の設置位置は、ダッシュボード上や、メータ表面、メータ内部などであっても良い。すなわち、光学部材11は、上記実施形態に記載された、照射面に到達する照明光が、強度基準値に対応する値として規定された基準値以上となり、かつ、構成ポイントのうち、発光部9からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなることを実現できれば、どのように構成されていても良い。
 なお、上記実施形態では、状態監視装置1の設置対象を自動車としたが、状態監視装置1の設置対象は、自動車に限るものではなく、自転車や鉄道車両であっても良い。つまり、状態監視装置1の設置対象は、車両であればどのようなものでも良い。
 <2.8 第二実施形態の開示の観点>
 第二実施形態の開示の観点について、以下に、記載する。開示の観点として、状態監視装置では、少なくとも一つの発光手段が、自車両の車室内空間において乗員の顔面が位置する領域として予めアイリプス等から設計上規定された規定領域に、少なくとも近赤外波長を含む照明光を照射する。そして、規定領域を含む車室内の領域を撮像領域とし、撮像手段が、撮像領域から入射する光を、複数の画素を有する撮像素子にて結像することで画像を生成する。その撮像手段で生成された画像を画像処理した結果に基づいて、状態監視手段が、自車両の乗員の状態を検知、推定し、その状態に応じてアクチュエーションを実行する。
 さらに、本観点の状態監視装置は、光学手段を備えている。この光学手段は、入射部と、出射部とを備えている。
 入射部は、発光手段のそれぞれにて発光された照明光を集光し、出射部は、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように、入射部のそれぞれにて集光した照明光を車室内空間に出射する出射面にて配光する。なお、撮像規定領域とは、撮像手段の撮像素子における受光面の少なくとも一部の領域であって規定領域に対応する撮像素子上の領域であり、強度基準値とは、状態監視手段での画像処理に適した画像となる光の強さとして予め規定されたものである。
 なお、ここで言う分布とは、少なくとも、制御されたばらつきを含むものである。
 本観点の状態監視装置によれば、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布を第一基準範囲内とすることができる。つまり、本観点の状態監視装置によれば、乗員の状態を安定して監視することが可能な画像を生成でき、しかも、従来の状態監視装置から発光手段の数を増加させることなく実現できる。
 この結果、本観点の状態監視装置によれば、従来の状態監視装置に比べて、状態監視装置全体の構成が大型化することを可能な限り抑制できると共に、発光手段にて消費する電力の増加を可能な限り抑制することができる。
 換言すれば、本観点の状態監視装置によれば、撮像領域に対して可能な限り強度基準値以上の強さかつ必要最小限に均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することができる。
 なお、規定領域に存在する乗員の顔面の各部品(眼、鼻、口など)は、発光手段から照射される照明光が照射される位置に存在する可能性が高い。この照明光が顔に照射されると顔面からその光を反射することになるが、反射するポイントまでの発光手段における光源からの距離が遠いと、照明光がコヒーレントでない散乱光の場合、当該ポイントにて反射された光は、撮像素子の受光面に入射するまでに散乱することで減衰する。
 この減衰する光の強さを考慮すると、本観点における出射部は、規定領域において存在する可能性が高い乗員の顔面の各部品のうち、発光手段における光源からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるように配光する構成としても良い。
 通常、光は、距離の2乗に反比例して減衰するため、本観点の光制御手段においては、撮像規定領域に規定の光が届くように、予め距離に応じた強度分布を考慮して配光するように設計すると良い。
 さらに、光の減衰は、距離だけでなく、撮像系レンズの周辺光量比にも影響を受ける。すなわち、同一距離同一輝度の光が異なる角度から撮像素子に入射する場合、撮像素子の中央に到達する光の強さは、周辺に到達する光の強さより強くなる。このため、本観点の光学制御手段は、その光量比を考慮して光学中心から離れることに応じて強くするように配光しても良い(配光に補正を加えても良い)。また、撮像レンズへの入射角度によっては、表面反射の影響で大きく減衰する場合があるので、本観点の光制御手段においては、それを考慮した配光特性になるように制御すると効果的である。
 このような出射部によれば、状況監視手段にて画像処理を実行する画像について、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布を第一基準範囲内とすることができる。
 ただし、上記画像は、規定領域に乗員などが存在していない場合における画像について説明したものである。このような画像は、規定領域に乗員が存在する場合には、例えば、眉毛のように反射率が低い部位や、鼻の穴のように照射光の光軸に対して陰となる部位については、局所的に暗くなり、陰影がはっきりとした画像となる。この画像であれば、画像処理により適したものとなる。
 また、本観点においては、乗員の顔面中心が位置する可能性が高い規定領域での領域を中心存在領域とし、受光面において中心存在領域に対応する領域を撮像規定領域としても良い。この場合、本観点の出射部は、中心存在領域に対しては垂直方向に沿った照明光の強さの分布が、均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように配光する構成としても良い。
 このような出射部によれば、中心撮像領域を構成する各画素のうち垂直方向に沿った画素における輝度値の分布を垂直以外の方向と比較して均一化することができる。なお、ここで言う垂直方向とは、水平面に対して鉛直である方向を含み、さらには、水平面に対する垂直軸から所定の角度範囲内を含む方向である。
 なお、本観点における中心存在領域は、車両の種類によって異なるアイリプスとして定義される楕円内に目が存在するときの顔全体が撮像規定領域から外れない領域を包含する領域であることが好ましい。なお目位置を基準にした顔の大きさについてはAISTから公開されている「人体寸法データベース(http://riodb.ibase.aist.go.jp/dhbodydb/91-92/)」のA2:Head breadth、A15:Morphologic face height、A36:Total head heightなどを参照して決定しても良い。
 このような状態監視装置では、状態監視手段による画像処理として、乗員の顔向き検出、乗員の眠気検出,乗員の視線検出などを実施することが一般的であり、これらの検出を行う場合には、乗員の顔及び顔部品(目、鼻、口など)の少なくとも一つの検出が必要となる。
 乗員の顔向きを検出する処理では、人の頭部を模擬した頭部モデルを用いることが一般的である。頭部モデルは、前記人体寸法データベース等を用いて標準顔とした3次元モデルもあれば、図12に示すように、単純な円筒モデルで表されることもある。光が照射された円筒モデルは、通常、中心軸に近いほど明るく、径方向に沿って中心軸から離れるほど暗くなり、陰影が明確になるという性質があり、それを折り込んだ検出アルゴリズム(または前処理)になっていることが多い。
 そこで、本観点の出射部は、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるように配光する構成としても良い。
 このような配光は、陰影がより顕著になるが、他の軸方向に照明分布ができた濃淡画像よりも検知性能の低下を抑制することができる。
 このような出射部によって実現される配光は、頭部モデルの性質に合致したものとなる。この結果、必要以上に強い照明光を撮像領域全体に対して照射することなく、状態監視手段における画像処理に適した画像を生成することができる。なお、ここで言う水平方向とは、水平面に対して平行である方向を含み、さらには、水平面に対する水平軸から所定の角度範囲内を含む。
 本観点における光学手段は、入射部に形成された平面である接続面に、出射部が接続された光学部材によって実現できる。
 光学手段が光学部材によって実現される場合、出射部は、シリンドリカル形状を出射面の少なくとも一部分として有し、かつ自車両の鉛直方向に軸方向に沿った軸が一致するように、接続面に配置されたシリンドリカルレンズを備えていても良い。さらに、出射部は、三角柱状に形成され、複数の面のうちの一つの面を出射面の少なくとも一部分とし、かつ当該複数の面のうちの一つの面が鉛直方向に沿って傾斜する傾斜面となるように接続面に配置された、少なくとも一つのプリズムを備えていても良い。
 なお、本観点は、少なくとも一つの発光手段と、撮像手段と、状態監視手段とを有した状態監視装置に用いられる光学部材としてなされていても良い。
 本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (26)

  1.  車両に搭載され、
     自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する少なくとも一つの発光部(9,67)と、
     前記規定領域から入射する光を、複数の画素を有した撮像素子にて受光することで画像を生成する撮像部(7)と、
     前記撮像部で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視セクション(40,S140~S150)と、
     前記撮像部の撮像素子における受光面の少なくとも一部の領域であって、前記規定領域に対応する領域を撮像規定領域とし、前記撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視セクションでの画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように配光を制御する光制御部(11,67)と
     を備えることを特徴とする状態監視装置。
  2.  前記光制御部は、
     前記規定領域において存在する可能性が高い前記乗員の顔面の各ポイントのうち、前記発光部における光源からの距離が遠いポイントほど、当該ポイントに到達する前記照明光の強さが強くなるように配光を制御する
     ことを特徴とする請求項1に記載の状態監視装置。
  3.  前記乗員の顔面における中心軸が位置する可能性が高い前記規定領域での領域を中心存在領域とし、
     前記受光面において前記中心存在領域に対応する領域を含む領域を前記撮像規定領域とする
     ことを特徴とする請求項1または請求項2に記載の状態監視装置。
  4.  前記光制御部は、
     前記中心存在領域に対しては鉛直方向に沿った前記照明光の強さの分布が、均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように配光を制御する
     ことを特徴とする請求項3に記載の状態監視装置。
  5.  前記光制御部は、
     前記中心存在領域に近いほど前記照明光の強さが強く、前記中心存在領域から水平方向に沿って離れた領域ほど前記照明光の強さが弱くなるように配光を制御する
     ことを特徴とする請求項3または請求項4に記載の状態監視装置。
  6.  前記光制御部は、
     少なくとも一つの光学素子(11)によって構成される
     ことを特徴とする請求項1から請求項5のいずれか一項に記載の状態監視装置。
  7.  前記発光部は、
     前記照明光を発光する投光器(9,67)それぞれを備え、
     前記光制御部は、
     前記規定領域において存在する可能性が高い前記乗員の顔面の各ポイントのうち、前記発光部における光源からの距離が遠いポイントほど、当該ポイントに到達する前記照明光の強さが強くなるように配置した複数の前記投光器である
     ことを特徴とする請求項1に記載の状態監視装置。
  8.  前記投光器は、高い直進性を有した光を前記照明光として発光するものであり、
     前記乗員の顔面における中心が位置する可能性が高い前記規定領域での領域を中心存在領域とし、
     前記光制御部は、
     前記中心存在領域に対しては鉛直方向に沿った前記照明光の強さの分布が、均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように
     水平方向に比して鉛直方向に沿って密に配置した複数の前記投光器(67)である
     ことを特徴とする請求項7に記載の状態監視装置。
  9.  前記乗員の顔面が存在する位置が前記規定領域の範囲内であるか否かを判定する位置判定セクション(40,S180)と、
     前記位置判定セクションでの判定の結果、前記乗員の顔面が存在する位置が前記規定領域の範囲外であれば、前記画像において前記乗員の顔面が存在する位置に対応する領域を構成する各画素の輝度値が大きくなるように補正する補正制御を実行する輝度補正セクション(40,S190)と
     を備え、
     前記輝度補正セクションにて補正制御が実行された画像を、前記撮像部で生成した画像とする
     ことを特徴とする請求項1から請求項8のいずれか一項に記載の状態監視装置。
  10.  前記輝度補正セクションは、
     前記撮像部にて前記画像を生成する場合に前記補正制御を実行する
     ことを特徴とする請求項9に記載の状態監視装置。
  11.  前記輝度補正セクションは、
     前記撮像部にて生成した前記画像に対して前記補正制御を実行する
     ことを特徴とする請求項9に記載の状態監視装置。
  12.  前記発光部から前記規定領域までの前記照明光の経路上に配置され、かつ近赤外波長を含む波長の光を透過するフィルタを有したフィルタ部(13)と、
     前記フィルタ部を介して撮像素子に入射する光を低減する入射低減部(15,17,19)と
     を備えることを特徴とする請求項1から請求項11のいずれか一項に記載の状態監視装置。
  13.  前記入射低減部は、
     前記フィルタ内に配置され、かつ当該フィルタ内を伝播する前記照明光を減衰させる減衰部(19)である
     ことを特徴とする請求項12に記載の状態監視装置。
  14.  車両に搭載され、
     自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する少なくとも一つの発光部(9)と、
     前記規定領域から入射する光を、複数の画素を有した撮像素子にて受光することで画像を生成する撮像部(7)と、
     前記撮像部で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視部(40)と、
     前記発光部のそれぞれにて発光された照明光を集光する入射部(60)と、前記撮像部の撮像素子における受光面の少なくとも一部の領域であって前記規定領域に対応する領域である撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視部での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように、前記入射部のそれぞれにて集光した照明光を前記車室内空間に出射する出射面にて配光する出射部(75)とを有した光制御部(11)と
     を備えることを特徴とする状態監視装置。
  15.  前記出射部は、
     前記規定領域において前記乗員の顔面が存在する可能性が高い平面を構成する複数の微小領域の各々である構成ポイントのうち、前記発光部からの距離が遠い構成ポイントほど、当該構成ポイントに到達する前記照明光の強さが強くなるように配光する
     ことを特徴とする請求項14に記載の状態監視装置。
  16.  前記乗員の顔面における中心軸が位置する可能性が高い前記規定領域での領域を中心存在領域とし、
     前記出射部は、
     前記中心存在領域に対しては鉛直方向に沿った前記照明光の強さの分布が、均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように配光する
     ことを特徴とする請求項14または請求項15に記載の状態監視装置。
  17.  前記出射部は、
     前記中心存在領域に近いほど前記照明光の強さが強く、前記中心存在領域から水平方向に沿って離れた領域ほど前記照明光の強さが弱くなるように配光を制御する
     ことを特徴とする請求項16に記載の状態監視装置。
  18.  前記光制御部は、
     前記入射部に形成された平面である接続面に、前記出射部が接続された光学部材である
     ことを特徴とする請求項14から請求項17のいずれか一項に記載の状態監視装置。
  19.  前記出射部は、
     シリンドリカル面を前記出射面の少なくとも一部分として、かつ前記自車両の鉛直方向に軸方向に沿った軸が一致するように、前記接続面に配置されたシリンドリカルレンズ(77)
     を備えることを特徴とする請求項18に記載の状態監視装置。
  20.  前記出射部は、
     三角柱状に形成され、複数の面のうちの一つの面を前記出射面の少なくとも一部分とし、かつ当該複数の面のうちの一つの面が鉛直方向に沿って傾斜する傾斜面となるように前記接続面に配置された、少なくとも一つのプリズム(79,83)
    を備えることを特徴とする請求項18または請求項19に記載の状態監視装置。
  21.  前記出射部は、
     シリンドリカル面を前記出射面の少なくとも一部分として、かつ前記自車両の鉛直方向に軸方向の軸が一致するように、前記接続面に配置されるシリンドリカルレンズ(77)と、
     三角柱状に形成され、複数の面のうちの一つの面を前記出射面の少なくとも一部分とし、かつ当該複数の面のうちの一つの面が鉛直方向に沿って傾斜する傾斜面となるように前記接続面に配置される、2つのプリズム(79,83)と
    を備え、
     前記2つプリズムは、
     前記シリンドリカルレンズを挟み込むように配置される
    ことを特徴とする請求項18に記載の状態監視装置。
  22.  前記傾斜面は、
     前記出射部の中心に向かうほど前記接続面からの高さが高くなるように、水平方向に沿って傾斜している
     ことを特徴とする請求項20または請求項21に記載の状態監視装置。
  23.  前記入射部は、
     錐体状に形成され、かつ前記発光部からの照明光の一部が透過し、その透過した照明光の一部を前記出射部へと導く凸部(62)と、
     前記凸部を周方向に沿って囲むように環状に形成され、かつ前記発光部からの照明光の一部が透過する面である透過面を有した導入部(64)と、
     前記凸部及び前記導入部が延出される面から前記接続面に掛けて拡径する柱体状に形成され、かつ前記導入部の透過面を透過した前記照明光の少なくとも一部を、前記出射部へと導くように反射する側面を有した反射部(66)と
     を備えることを特徴とする請求項18から請求項22のいずれか一項に記載の状態監視装置。
  24.  前記反射部の側面は、
     前記導入部の透過面を透過した前記照明光を全反射する曲面に形成されている
     ことを特徴とする請求項23に記載の状態監視装置。
  25.  前記発光部から前記規定領域までの前記照明光の経路上に配置され、かつ前記照明光を透過するフィルタを有したフィルタ部(30)と、
     前記光制御部と前記フィルタ部との間に配置され、前記光学制御部を通過した照明光を拡散させる拡散部(37,38)と
     を備えることを特徴とする請求項14から請求項24のいずれか一項に記載の状態監視装置。
  26.  車両に搭載され、自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する少なくとも一つの発光部(9)と、少なくとも前記規定領域から入射する光を撮像素子にて受光することで複数の画素を有した画像を生成する撮像部(7)と、前記撮像部で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視部(40)とを有した状態監視装置に用いられる光学部材であって、
     前記発光部のそれぞれにて発光された照明光を集光する入射部(60)と、
     前記撮像部の撮像素子における受光面の少なくとも一部の領域であって前記規定領域に対応する領域である撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視部での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように、前記入射部のそれぞれにて集光した照明光を前記車室内空間に出射する出射面にて配光する出射部(75)と
     を備えることを特徴とする光学部材。
PCT/JP2013/004432 2012-07-25 2013-07-22 状態監視装置 WO2014017061A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380038808.2A CN104488257B (zh) 2012-07-25 2013-07-22 状态监视装置
US14/408,397 US9679209B2 (en) 2012-07-25 2013-07-22 State monitoring apparatus
EP13822127.0A EP2860960B1 (en) 2012-07-25 2013-07-22 State monitoring device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-164973 2012-07-25
JP2012-164971 2012-07-25
JP2012164971A JP6119136B2 (ja) 2012-07-25 2012-07-25 状態監視装置
JP2012164973A JP6106979B2 (ja) 2012-07-25 2012-07-25 状態監視装置,及び光学部材

Publications (1)

Publication Number Publication Date
WO2014017061A1 true WO2014017061A1 (ja) 2014-01-30

Family

ID=49996889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004432 WO2014017061A1 (ja) 2012-07-25 2013-07-22 状態監視装置

Country Status (4)

Country Link
US (1) US9679209B2 (ja)
EP (1) EP2860960B1 (ja)
CN (1) CN104488257B (ja)
WO (1) WO2014017061A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016023662A1 (de) * 2014-08-11 2016-02-18 Robert Bosch Gmbh Fahrerbeobachtungssystem in einem kraftfahrzeug

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198542A1 (ja) 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
US10503987B2 (en) 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
DE102015206211A1 (de) * 2015-04-08 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Warneinheit in einem Fahrzeug zum Warnen des Fahrers bei einer drohenden Gefahr
DE102015222861A1 (de) * 2015-11-19 2017-05-24 Robert Bosch Gmbh Beleuchtungsvorrichtung zum Beleuchten eines Innenraums eines Fahrzeugs, Steuereinheit zum Steuern zumindest einer Beleuchtungsvorrichtung und Fahrerbeobachtungssystem für ein Fahrzeug
JP6655824B2 (ja) 2017-01-20 2020-02-26 パナソニックIpマネジメント株式会社 撮像装置
WO2018227436A1 (zh) * 2017-06-14 2018-12-20 深圳市锐明技术股份有限公司 疲劳分心智能检测装置、智能检测分析系统、智能检测处理方法
US10343593B2 (en) * 2017-10-10 2019-07-09 Gm Global Technology Operations Llc. Real-time analysis and augmented pathway projection for vehicle passengers
JP6756326B2 (ja) 2017-11-09 2020-09-16 株式会社デンソー 状態検出装置
EP3485799B9 (en) * 2017-11-16 2022-02-16 Aptiv Technologies Limited Eye tracking device
JP7060790B2 (ja) * 2018-02-06 2022-04-27 ミツミ電機株式会社 カメラおよび乗員検知システム
CN209765246U (zh) 2018-05-31 2019-12-10 松下知识产权经营株式会社 摄像装置
CN109059795B (zh) * 2018-06-29 2020-11-03 歌尔光学科技有限公司 深度测量方法、深度测量装置及拍摄设备
DE102018215671A1 (de) * 2018-09-14 2020-03-19 Continental Automotive Gmbh Optisches Element, strahlungsemittierende Vorrichtung und Kamerasystem
JP7180228B2 (ja) * 2018-09-20 2022-11-30 いすゞ自動車株式会社 車両用監視装置
CN209962065U (zh) * 2018-11-26 2020-01-17 深圳辰锐软件开发有限公司 一种补光装置
DE102019204132A1 (de) * 2019-03-26 2020-10-01 Robert Bosch Gmbh Optisches Element und Deckscheibe mit optischem Element
CN110081824B (zh) * 2019-05-14 2021-04-02 宁波均普智能制造股份有限公司 一种壳体内壁膜切缝检测装置及方法
CN110435665A (zh) * 2019-08-14 2019-11-12 东风汽车有限公司 一种驾驶员检测装置及汽车
WO2021124709A1 (ja) * 2019-12-19 2021-06-24 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102022109756A1 (de) 2022-04-22 2023-10-26 Valeo Schalter Und Sensoren Gmbh Verfahren zur bestimmung eines zustands einer fahrerüberwachungseinrichtung und fahrerüberwachungseinrichtung

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241409A (ja) * 1995-03-03 1996-09-17 Hamamatsu Photonics Kk パターン認識装置及びその方法
JPH1078562A (ja) * 1996-09-02 1998-03-24 Canon Inc 立体ディスプレイ装置
JP2005271876A (ja) 2004-03-26 2005-10-06 Denso Corp 撮影装置及びサンバイザ
JP2005301742A (ja) * 2004-04-13 2005-10-27 Denso Corp 運転者の外観認識システム
JP2009071404A (ja) * 2007-09-11 2009-04-02 Casio Comput Co Ltd 被写体照明制御装置及びそのプログラム
JP2011069893A (ja) * 2009-09-24 2011-04-07 Nikon Corp 照明装置およびカメラシステム
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置
JP2012121564A (ja) * 2007-02-02 2012-06-28 Denso Corp 乗員撮影装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
JP3984910B2 (ja) * 2002-12-13 2007-10-03 キヤノン株式会社 照明装置
JP4297876B2 (ja) 2003-03-28 2009-07-15 富士通株式会社 撮影装置、光源制御方法、およびコンピュータプログラム
US20060222264A1 (en) * 2005-03-31 2006-10-05 Siemens Ag Method for vertically orienting a face shown in a picture
JP2007218626A (ja) * 2006-02-14 2007-08-30 Takata Corp 対象物検出システム、作動装置制御システム、車両
JP4853389B2 (ja) 2007-06-07 2012-01-11 株式会社デンソー 顔画像撮像装置
JP4780088B2 (ja) * 2007-11-09 2011-09-28 アイシン精機株式会社 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP5100457B2 (ja) * 2008-03-10 2012-12-19 オリンパスメディカルシステムズ株式会社 内視鏡観察システム
KR101345566B1 (ko) 2008-07-28 2014-01-07 삼성전자주식회사 양면 조명용 led 렌즈와 led 모듈 및 이를 이용한led 양면 조명장치
JP2010129050A (ja) 2008-12-01 2010-06-10 Calsonic Kansei Corp 顔向き検出装置
JP5269843B2 (ja) 2010-07-26 2013-08-21 株式会社遠藤照明 Led配光レンズ、そのled配光レンズを備えたled照明モジュール及びそのled照明モジュールを備えた照明器具
KR101756825B1 (ko) 2010-08-24 2017-07-11 삼성전자주식회사 광학 렌즈, 이를 구비하는 led 모듈 및 조명 장치
JP2012089367A (ja) 2010-10-20 2012-05-10 Konica Minolta Opto Inc Led照明装置、led照明器具及びled照明装置用レンズ
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
JP6106979B2 (ja) 2012-07-25 2017-04-05 株式会社デンソー 状態監視装置,及び光学部材

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241409A (ja) * 1995-03-03 1996-09-17 Hamamatsu Photonics Kk パターン認識装置及びその方法
JPH1078562A (ja) * 1996-09-02 1998-03-24 Canon Inc 立体ディスプレイ装置
JP2005271876A (ja) 2004-03-26 2005-10-06 Denso Corp 撮影装置及びサンバイザ
JP2005301742A (ja) * 2004-04-13 2005-10-27 Denso Corp 運転者の外観認識システム
JP2012121564A (ja) * 2007-02-02 2012-06-28 Denso Corp 乗員撮影装置
JP2009071404A (ja) * 2007-09-11 2009-04-02 Casio Comput Co Ltd 被写体照明制御装置及びそのプログラム
JP2011069893A (ja) * 2009-09-24 2011-04-07 Nikon Corp 照明装置およびカメラシステム
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2860960A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016023662A1 (de) * 2014-08-11 2016-02-18 Robert Bosch Gmbh Fahrerbeobachtungssystem in einem kraftfahrzeug
CN106660492A (zh) * 2014-08-11 2017-05-10 罗伯特·博世有限公司 机动车中的驾驶员观察系统
CN106660492B (zh) * 2014-08-11 2019-09-13 罗伯特·博世有限公司 机动车中的驾驶员观察系统

Also Published As

Publication number Publication date
EP2860960B1 (en) 2020-10-14
EP2860960A4 (en) 2016-10-19
CN104488257A (zh) 2015-04-01
US20150186737A1 (en) 2015-07-02
CN104488257B (zh) 2018-02-09
US9679209B2 (en) 2017-06-13
EP2860960A1 (en) 2015-04-15

Similar Documents

Publication Publication Date Title
WO2014017061A1 (ja) 状態監視装置
JP6119136B2 (ja) 状態監視装置
JP6278106B2 (ja) 状態監視装置,及び光学部材
JP6106979B2 (ja) 状態監視装置,及び光学部材
US20110267624A1 (en) Sensor system in a motor vehicle
JP2006252138A (ja) 運転者撮影装置および運転者監視装置
CN105620386B (zh) 驾驶者监控装置和用于控制其照明器的方法
JP2008052029A (ja) 撮像システム、車両乗員検出システム、作動装置制御システム、車両
JP5761046B2 (ja) 防眩制御装置
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
JP6433383B2 (ja) 投光装置
JP2005126068A (ja) 適応画像化暗視装置
KR20200011929A (ko) 거리 계측 시스템
US20190100219A1 (en) Drowsiness prevention system for vehicle
EP3462237B1 (en) Camera module
JP2016049259A (ja) 視線検出装置
JP2007029712A (ja) 視線検出装置
JP5573820B2 (ja) 状態監視装置
JP2008238925A (ja) 可視光レーザビーム照射システム、および、車両に可視光レーザビーム照射装置を搭載する方法
KR102320030B1 (ko) 차량의 내부 감시용 카메라 시스템
JP6434708B2 (ja) 可視情報提示装置
JP2020082974A (ja) 車室内撮像装置
JP6774854B2 (ja) 表示装置、及び、内装部材ユニット
JP2021002181A (ja) 検出システム
US11895441B2 (en) Device for monitoring vehicle occupant(s)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13822127

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14408397

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013822127

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE