WO2018230203A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2018230203A1
WO2018230203A1 PCT/JP2018/017963 JP2018017963W WO2018230203A1 WO 2018230203 A1 WO2018230203 A1 WO 2018230203A1 JP 2018017963 W JP2018017963 W JP 2018017963W WO 2018230203 A1 WO2018230203 A1 WO 2018230203A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pulsed light
fan
imaging
shaped
Prior art date
Application number
PCT/JP2018/017963
Other languages
English (en)
French (fr)
Inventor
勝次 井口
高橋 幸司
秀典 河西
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US16/620,472 priority Critical patent/US11172108B2/en
Publication of WO2018230203A1 publication Critical patent/WO2018230203A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0564Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567Solid-state light source, e.g. LED, laser
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0582Reflectors
    • G03B2215/0585Movable reflectors, e.g. change of illumination angle or direction
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • G03B7/17Selection of modes in flash units by exposure control arrangements

Definitions

  • the present invention relates to an imaging device that captures a clear image in an environment such as rain, heavy fog, or snow.
  • a light beam sews between these fallouts as a method for obtaining a clear image by avoiding the influence of raindrops, snowflakes, etc. in a rainy environment such as rain, heavy fog or snow.
  • the method of radiating is proposed.
  • Patent Document 1 discloses an invention that reduces the shielding effect of water droplets such as steam, although it is not in a rainy environment.
  • the present invention proposes a method for removing reflection from water droplets by installing polarizers on both the irradiation side and the light receiving side in a rainy weather camera and changing the arrangement of these two polarizers by 90 degrees. ing.
  • Patent Document 2 proposes to suppress blooming of a camera that receives polarized light in the same direction as the light source as an image sensor using the polarizer described above.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2016-2224021 (Released on December 28, 2016)”
  • the position of the raindrop in question must be measured first. Don't be.
  • the target visual field must be photographed with high resolution.
  • the camera must be focused from the nearest position to the target farthest distance, and an extremely high-definition and high-accuracy and expensive camera system is required.
  • the camera system must operate at high speed.
  • a processor having high processing capability is required for image processing, and the system must be very expensive. Therefore, there is a need for a simpler and less expensive device.
  • the method of removing the influence of water droplets with a simple system by utilizing polarized light is simple as a system and inexpensive.
  • the entire field of view is irradiated with laser light, the irradiation intensity is greatly reduced at a distance, and the measurement range is limited to a short distance.
  • the direct reflected light from the water droplet can be removed, a signal received by the reflected light from the object or the water droplet after being reflected by another object cannot be excluded.
  • the conventional method has a problem that a noise component due to multiple reflection is small and only a short distance object can obtain a good image.
  • the present invention has been made in view of the above-described conventional problems, and an object thereof is to provide an imaging apparatus capable of obtaining a clear image over a relatively long distance in a rainy environment.
  • an imaging device scans the light source that emits pulsed light and the pulsed light emitted from the light source in one direction, and the scanned pulsed light when scanning. Illuminating the object in a direction perpendicular to the scan direction and polarized in a direction perpendicular to the scan direction, and imaging for receiving reflected light from the object and exposing the pixel And a polarizing filter that transmits light polarized in parallel with the scan direction out of reflected light received by the imaging unit, and the imaging unit exposes only pixels that are synchronized with the scan of the pulsed light It is characterized by doing.
  • an imaging device capable of obtaining a clear image over a relatively long distance in a rainy environment.
  • FIG. 1 It is a block diagram which shows the whole structure of the camera for rainy weather in Embodiment 1 of this invention. It is a perspective view which shows the structure of the fan-shaped pulsed light irradiation part of the pulsed light illumination system with which the said camera for rainy weather was equipped. It is a figure which shows the structure of the imaging part in the light-receiving system with which the said camera for rainy weather was equipped. It is a circuit diagram which shows the structure of the pixel in the said imaging part. (A)-(f) is a timing chart which shows the drive timing of the pixel in the said imaging part. It is a side view which shows the optical path of the emitted light when imaging using the said camera for rainy weather.
  • FIG. 2 It is a block diagram which shows the whole structure of the camera for rainy weather in Embodiment 2 of this invention. It is a perspective view which shows the structure of the fan-shaped pulsed light irradiation part of the pulsed light illumination system with which the said camera for rainy weather was equipped. It is a figure which shows the structure of the imaging part in the light-receiving system with which the said camera for rainy weather was equipped.
  • (A)-(f) is a timing chart which shows the drive timing of the pixel in the said imaging part.
  • FIG. 1 is a block diagram showing the overall configuration of a rainy day camera 1A of the present embodiment.
  • FIG. 1 shows the overall configuration of the rainy camera 1A as viewed from above.
  • a rainy day camera 1 ⁇ / b> A as an imaging apparatus includes a pulsed light illumination system 10 ⁇ / b> A that irradiates a target visual field OV with a fan-shaped pulsed light PL, and light from at least a part of the target visual field OV. And a light receiving system 20A for receiving light.
  • the pulsed light illumination system 10A includes a light source 11A that emits pulsed light, and a fan-shaped pulsed light irradiation unit 12A that irradiates the target visual field OV with a fan shape in the horizontal direction and scans in the vertical direction with the pulsed light emitted from the light source 11A. ing.
  • the light source 11A includes, for example, a semiconductor laser chip that emits edge light, and emits pulsed light polarized in a direction parallel to the semiconductor active layer.
  • the fan-shaped pulsed light irradiation unit 12A spreads the pulsed light emitted from the light source 11A in a fan shape in the horizontal direction and irradiates the entire target visual field OV by performing one-dimensional scanning in the vertical direction, that is, the vertical direction.
  • the light receiving system 20A includes an imaging unit 21A having a light receiving unit 21a, an imaging optical system 22 that forms an image on the light receiving unit 21a of the imaging unit 21A, and a polarizing filter 23 on the front surface, that is, outside of the imaging optical system 22. I have.
  • the imaging unit 21A has functions such as control of the pulsed light illumination system 10A and communication with the external system 2 in addition to functions related to imaging.
  • the polarizing filter 23 is disposed so as to pass light linearly polarized in a direction parallel to the scanning direction of the fan-shaped pulsed light PL.
  • the light source 11A emits fan-shaped pulsed light PL that is linearly polarized in a direction perpendicular to the scanning direction.
  • the polarization filter 23 of the light receiving system 20A is disposed so as to pass light linearly polarized in a direction parallel to the scanning direction of the fan-shaped pulsed light PL.
  • Pulse light illumination system Pulse light illumination system
  • the detailed structure of the rainy day camera 1A of the present embodiment will be described in order.
  • the pulsed light illumination system 10A will be described in detail.
  • the fan-shaped pulsed light PL emitted from the pulsed light illumination system 10A spreads in a fan shape in the horizontal plane, and the spread angle is ⁇ h.
  • the vertical spread angle of the fan-shaped pulsed light PL is small, and here, the beam thickness is ⁇ (half-value width). Note that the spread angle ⁇ h in the horizontal plane >> beam thickness ⁇ (half-value width).
  • the fan-shaped pulsed light PL is scanned using the fan-shaped pulsed light irradiation unit 12A within the vertical direction, that is, within the vertical spread angle ⁇ v, so that the target field of view OV having the spread angle ⁇ h in the horizontal plane and the spread angle ⁇ v in the vertical direction is obtained. Can be sequentially irradiated with light.
  • Ns is the total number of scans in the vertical direction. Since the fan-shaped pulse lights PL-1 to Ns are scanned in the vertical direction, many of them have an optical path inclined from the horizontal plane. However, since it is assumed that the spread angle ⁇ h in the horizontal plane is greater than the spread angle ⁇ v in the vertical direction and has an optical path parallel to the horizontal plane, in the following, “fan-shaped pulsed light spreads in the horizontal plane” Sometimes expressed.
  • the spread angle ⁇ h in the horizontal plane is greater than the spread angle ⁇ v in the vertical direction, and many of the objects in the target field of view OV are detected by the initial partial scan without completing all the scans in the vertical direction. be able to. That is, on land, an obstacle to be detected is rarely floating in the air, and often stands vertically from the road surface or the ground. For this reason, for example, if the fan-shaped pulsed light PL is irradiated from a low height just in parallel to the horizontal plane, most obstacles can be detected. Therefore, an obstacle can be detected early before the period of one field, which is a period for scanning all of the vertical spread angle ⁇ v, ends.
  • the fan-shaped pulsed light PL is preferably uniform in the target visual field OV, but the detection sensitivity tends to be high at a place where the light intensity is strong. For this reason, in the target visual field OV, when there is a place that particularly needs to be watched, it is possible to obtain a light intensity distribution in which the intensity in the vicinity is enhanced.
  • the camera for rainy weather 1A is mounted on, for example, an automobile and the traveling direction is monitored, it is necessary to watch the horizontal direction, and it is preferable to increase the intensity of pulsed light in a narrow angle range centered on a horizontal plane. In the region where the downward deflection angle is large, the pulsed light intensity may be weak because the pulsed light PL illuminates a nearby road surface.
  • the angle range is 10 degrees or less, more preferably 5 degrees or less.
  • FIG. 2 is a perspective view showing the configuration of the fan-shaped pulsed light irradiation unit 12A of the pulsed light illumination system 10A.
  • the fan-shaped pulsed light irradiation unit 12A includes a collimated light generator 12a for shaping the light from the light source 11A into a substantially parallel spot light SL (in the YZ plane), and the spot light SL in the vertical direction.
  • a one-dimensional scanning device 12b that swings in the (Y direction: longitudinal direction) and at least a fan-shaped beam generator 12c that spreads the spot light SL whose vertical traveling angle has been changed by the one-dimensional scanning device 12b into a fan shape in the horizontal direction. ing.
  • the light source 11A emits pulsed light polarized in a direction parallel to the semiconductor active layer from the semiconductor laser chip that emits edge light.
  • the polarization direction can be controlled by the rotation angle around the optical axis of the semiconductor laser chip.
  • the active layer of the semiconductor laser chip is arranged parallel to the X axis.
  • the collimated light generator 12a includes a collimator lens (not shown) and maintains the polarization state of the light source 11A.
  • a VCSEL Very (Cavity Surface Emitting LASER)
  • the VCSEL has a specific linear polarization state depending on the shape of the cavity and the crystal orientation of the semiconductor crystal.
  • the VCSEL may be installed so that the linearly polarized light is parallel to the X axis.
  • the one-dimensional scanning device 12b includes a MEMS (Micro Electro Mechanical Systems) mirror element having a reflecting surface that rotates around a single axis (X axis) in a horizontal plane (XZ plane). Since the polarization direction of the spot light SL incident on the reflection surface of the one-dimensional scanning device 12b is parallel to the reflection surface, the polarization state is not changed by reflection.
  • MEMS Micro Electro Mechanical Systems
  • the fan-shaped beam generator 12c includes, for example, a Powell lens.
  • the collimated light generator 12a forms spot light SL having a divergence angle of about 0.05 degrees and a diameter of about 0.8 mm at the entrance of a Powell lens having a diameter of 6 mm.
  • the optical path of the fan-shaped pulsed light irradiation unit 12A preferably passes through the fan-shaped beam generator 12c after passing through the one-dimensional scanning device 12b. Since the spot light SL is polarized perpendicular to the scanning direction, there is an advantage that the polarization does not change and the polarization does not deteriorate when reflected by the one-dimensional scanning device 12b. In the opposite case, the incident angle at which the fan-shaped light is incident on the mirror surface of the one-dimensional scanning device 12b is different between the central portion and the end portion of the fan. As a result, the closer to the end of the mirror surface, the polarization direction is not parallel to the reflection surface, and the polarization is reduced by reflection.
  • the MEMS mirror element is, for example, an electromagnetic type, and changes the deflection angle of the mirror by controlling the amount of current to flow.
  • the deflection angle of the mirror can be changed by controlling the applied voltage.
  • the MEMS mirror element has an advantage that the apparatus can be miniaturized.
  • the control of the one-dimensional scanning device 12b is included in the imaging unit 21A. This is because it is necessary to synchronously control the deflection angle of the mirror and the light receiving system 20A so as to detect a signal from the object irradiated with the fan-shaped pulsed light PL.
  • a separate control device may be provided, and the one-dimensional scanning device 12b and the imaging unit 21A may be controlled from this control device. Alternatively, both may be controlled directly from the external system 2, and the method is not limited to the method controlled by the imaging unit 21A.
  • the one-dimensional scanning device 12b may have other configurations such as a polygon mirror and a liquid crystal waveguide system other than the MEMS mirror element.
  • the fan-shaped beam generator 12c it is possible to adopt another configuration different from the Powell lens.
  • the use of the Powell lens has the advantage of reducing the size of the apparatus and improving the robustness in that it has no moving parts and can spread the pulsed light with relatively small optical components.
  • the light source 11A may be a light source that generates linearly polarized pulsed light by emitting light in a non-polarized state and then passing through a polarizing filter or a polarizing splitter to obtain a linearly polarized state.
  • a semiconductor laser chip it is preferable to use a semiconductor laser chip to generate linearly polarized pulsed light and output it as it is without loss of light.
  • the light source 11A can be downsized.
  • the light source 11A is a light source capable of emitting pulses such as a laser or an LED.
  • the emission wavelength of the light source 11A may be monochromatic visible light or visible light including three colors of RGB, but is preferably infrared light having a wavelength of about 700 nm to 1000 nm.
  • the longer wavelength Since it is invisible to the human eye, it does not get in the way, and the longer wavelength has the advantage of higher safety for animal eyes. Furthermore, a longer wavelength is generally preferable because the background light intensity also decreases. Further, it is preferable that the emission wavelength band is narrow and the temperature fluctuation of the emission peak wavelength is small, and as a result, an infrared laser is preferable. In particular, a VCSEL (Vertical Cavity Surface Emitting LASER: vertical cavity surface emitting laser) having a narrow emission wavelength band and little temperature fluctuation of the emission peak wavelength is preferable. Although not shown in FIG. 1, a temperature control circuit for controlling the temperature of the light source 11 ⁇ / b> A may be added in order to suppress the temperature fluctuation of the emission peak wavelength.
  • VCSEL Vertical Cavity Surface Emitting LASER: vertical cavity surface emitting laser
  • the light source 11A emits pulses in synchronization with the imaging unit 21A.
  • the light emission intensity and pulse width may be variable.
  • the pulse width of the pulsed light is about 1 nsec to several hundred nsec.
  • the peak power of the pulsed light is several W to several hundred W.
  • Fan-shaped pulsed light PL-480 is irradiated from 480 different fan-shaped pulsed lights PL-1.
  • the angle of the reflecting surface of the one-dimensional scanning device 12b is changed to a set value, and the light source 11A emits pulses.
  • Each fan-shaped pulsed light PL-k irradiates an object with one pulse and acquires an image signal, so that the light emission period of the pulsed light is approximately 14.4 kHz.
  • the imaging optical system 22 of the light receiving system 20A is generally a lens.
  • the imaging optical system 22 can select a focal length and an F number according to the size and the viewing angle (FOV) of the light receiving unit 21a.
  • the imaging optical system 22 preferably has high transmittance and low aberration at the center wavelength of the optical bandpass filter 24.
  • a lens is shown as the imaging optical system 22.
  • the imaging optical system 22 may be a reflection optical system other than the lens.
  • a polarizing filter 23 is disposed in front of the imaging optical system 22.
  • the polarizing filter 23 transmits polarized light perpendicular to the polarization direction of the fan-shaped pulsed light PL.
  • the optical bandpass filter 24 in the optical path from the polarizing filter 23 to the light receiving unit 21a.
  • the optical bandpass filter 24 has a transmission band in a band having a constant width with the wavelength peak of the fan-shaped pulsed light PL as the center.
  • the width of the transmission band (half width of wavelength distribution of transmittance) is several nm to several tens of nm. In detail, about 10 nm to 20 nm is particularly preferable.
  • the operating temperature range is widened.
  • the wavelength distribution of the fan-shaped pulsed light PL needs to be within the transmission band. Therefore, by arranging the optical bandpass filter 24, background light outside the band can be reduced.
  • the temperature shift of the peak wavelength is about 0.07 nm / degree
  • the half width of the emission peak is about 1 nm
  • the center of the transmission band of the optical bandpass filter 24 is 0.025 nm / degree.
  • the relative wavelength shift between the peak wavelength and the transmission band center wavelength is about 5.6 nm
  • the optical bandpass filter has a transmission band of about 10 nm. 24 can be used. That is, since the optical bandpass filter 24 having a narrow transmission band can be used, the background light signal can be suppressed and an image can be obtained farther.
  • the positional relationship among the polarizing filter 23, the imaging optical system 22, and the optical bandpass filter 24 need not be in the order shown in FIG.
  • the order may be reversed, and the polarization filter 23 and the optical bandpass filter 24 may be disposed in front of the imaging optical system 22.
  • the polarizing filter 23 and the optical bandpass filter 24 may be incorporated in the imaging optical system 22.
  • the polarizing filter 23 may be disposed on the surface of the light receiving unit 21a, and various arrangements are possible.
  • the polarizing filter 23 is preferably a wire grid type having a high transmittance in the near infrared wavelength band and a large extinction effect.
  • the optical bandpass filter 24 can be omitted.
  • FIG. 3 is a diagram illustrating a configuration of the imaging unit 21A in the light receiving system 20A provided in the rainy camera 1A.
  • the imaging unit 21A of the present embodiment is a sensor that receives light from a line-shaped portion of the target visual field OV illuminated by the fan-shaped pulsed light PL and outputs an image signal.
  • pixels Px (i, j) are arranged in a two-dimensional matrix of M rows and N columns. For this reason, the optical signal from the target visual field OV is projected onto the two-dimensional matrix of M rows and N columns by the imaging optical system 22.
  • the pixels Px (i, j) are not all activated at once. That is, since the pulse light irradiated toward the target visual field OV is the fan-shaped pulse light PL, only the pixels in the k rows corresponding to the fan-shaped pulse light PL-k are activated.
  • Ns Ns
  • Px i, j
  • Px (k, j) is activated when the fan-shaped pulsed light PL-k is irradiated.
  • Px (k, j) is activated, at least in Px (k, j), the light receiving unit 21a receives the optical signal, accumulates the photoelectrically converted electric signal, and outputs the signal from the pixel to the outside. A series of steps is shown. Details will be described later.
  • the imaging unit 21A includes a light receiving unit 21a that performs photoelectric conversion, a circuit that transmits an output of the light receiving unit 21a to the signal storage processing circuit 30b, and the like.
  • a photodiode is used as the light receiving unit 21a.
  • An avalanche photodiode (analog mode, Geiger mode) may be used.
  • the imaging unit 21A is provided with a row selection circuit 30c adjacent to the light receiving unit 21a as a circuit for selecting k rows of pixels Px (k, j) corresponding to the fan-shaped pulsed light PL-k. .
  • the row selection circuit 30c transmits the selected row to each pixel Px (i, j) by the row control signal R ⁇ (i).
  • the row control signal R ⁇ (i) is not limited to a single signal line, and may be a plurality of signal lines having different polarities and voltages.
  • the row selection circuit 30c selects the kth row to be activated in synchronization with the operation of the one-dimensional scanning device 12b of the fan-shaped pulsed light irradiation unit 12A. A signal for synchronization is generated from the control unit 30d.
  • each column signal line C (j) is connected to a horizontal signal line Rx via a column selection switch CS (j) via a column circuit CA (j) that performs noise cancellation and amplification.
  • the horizontal signal line Rx is connected to the signal storage processing circuit 30b.
  • the column selection switch CS (j) is controlled by the column selection circuit 30e.
  • FIG. 4 is a circuit diagram showing a configuration of the pixel Px (i, j) in the imaging unit 21A.
  • the pixel Px (i, j) includes a light receiving element 31, a transfer switch 32, a reset switch 33, a pixel amplifier 34, a pixel selection switch 35, a capacitor 36, and the like.
  • the imaging unit 21A of the present embodiment is basically the same as a rolling shutter type CMOS image sensor. The difference is that the exposure time of the activated row is short. The exposure of each row is performed immediately after the start of irradiation with the corresponding fan-shaped pulsed light PL. (2 ⁇ Dmax / c) + ⁇ T It is time until.
  • c is the speed of light
  • Dmax is the maximum distance to the measurement object
  • ⁇ T is the pulse width of the fan-shaped pulsed light PL.
  • the exposure time is a maximum of 433 nsec. After this time, the reflected light of the fan-shaped pulsed light PL from the measurement object does not return. Therefore, even if the time is extended, the background light signal increases and the SN ratio only decreases.
  • the operation timing related to the pixel Px (k, j) in the imaging unit 21A having the above-described configuration will be described based on (a) to (f) of FIG. (A) to (f) of FIG. 5 are timing charts showing pixel drive timings in the imaging unit 21A.
  • the exposure start of the imaging unit 21A is simultaneous with the start of the irradiation of the fan-shaped pulsed light PL, even the nearest object can be photographed. However, if it is not necessary to photograph the nearest object and only the object far from the certain distance Dmin is photographed, as shown in FIGS. 5 (d), (e), and (f), irradiation is performed. The exposure may be delayed by 2 ⁇ Dmin / c from the start timing.
  • the exposure starts from the timing when the transfer switch 32 and the reset switch 33 are turned from on to off, and FIGS. ),
  • the transfer switch 32 is turned on and the pixel selection switch 35 is turned on.
  • the row control signals R1 (i), R2 (i), and R3 (i) control ON / OFF of the pixel selection switch 35, the reset switch 33, and the transfer switch 32, respectively.
  • FIG. 6 is a side view showing an optical path of emitted light when imaging is performed using the rainy camera 1A.
  • the fan-shaped pulsed light PL reaches the object M1, and the light reflected and returned to the rainy camera 1A is directed to the object M1 as shown in FIG.
  • the light is incident substantially perpendicularly and is reflected vertically.
  • reflected light RL1 is diffusely reflected, and usually the polarization of the fan-shaped pulsed light PL is lost. Therefore, even if the intensity is halved by the polarizing filter 23, it can be detected as a signal.
  • the fan-shaped pulsed light PL is reflected by the raindrop RD or the like and returns to the rainy camera 1A before reaching the object M1 as in the optical path B, the physical properties of waterdrops and snowflakes are almost the same. It becomes specular reflection.
  • the reflected light RL2 in such a case maintains the polarization state of the fan-shaped pulsed light PL. Therefore, the reflected light RL2 can be eliminated by the polarizing filter 23. This is because the polarization state of the fan-shaped pulsed light PL and the polarization state of the polarization filter 23 are orthogonal to each other in the present embodiment.
  • the polarization is lost due to multiple reflection. For this reason, the polarizing filter 23 cannot be excluded.
  • the multiple reflected light from the raindrop RD and the target portion can be greatly reduced.
  • the light reflected by the nearby object M2 or the raindrop RD by the irradiation with the fan-shaped pulsed light PL-k is reflected by the pixel Px (k, j) by another raindrop RD or the object M2.
  • the probability of being reflected in the direction of is very small, if not zero. This is because, in order to receive such light, a plurality of reflections must occur on the plane along which the fan-shaped pulsed light PL-k travels, but such a probability is very small.
  • the camera 1A for rainy weather is intended to detect an object at a distance of at least 30 m or more, preferably 50 m or more in a rainy environment. Accordingly, the relatively long distance is at least 30 m or more, preferably 50 m or more.
  • the rainy day camera 1A as the imaging device in the present embodiment scans the light source 11A that emits pulsed light in one direction and the pulse light that is scanned when scanning.
  • Fan-shaped pulsed light irradiating unit 12A as an irradiating unit that spreads light in a direction perpendicular to the scanning direction and radiates on the target in a state polarized in the direction perpendicular to the scanning direction, and reflected light from the target
  • An imaging unit 21A that receives light and exposes the pixels, and a polarizing filter 23 that transmits light polarized in parallel to the scan direction out of the reflected light received by the imaging unit 21A. Then, the imaging unit 21A exposes only the pixels synchronized with the pulsed light scan.
  • the pulsed light emitted from the light source 11A is spread in the horizontal direction, which is a direction perpendicular to the scan direction, and is emitted to the object.
  • the emitted pulsed light is polarized in a direction perpendicular to the scan direction. That is, since scanning is performed in the vertical direction, the pulsed light has polarization parallel to the horizontal direction.
  • fan-shaped horizontally polarized pulsed light having a predetermined thickness is emitted while scanning in the vertical direction, and light can be applied to the entire object.
  • the light reflected from the object enters the imaging unit 21A via the polarizing filter 23 and is exposed to the pixels of the imaging unit 21A.
  • the fan-shaped horizontally polarized pulsed light having a predetermined thickness is emitted while being scanned in the vertical direction, so that a large amount of pulsed light is also emitted to a part of the object. Can be irradiated. Furthermore, since the imaging unit 21A exposes only the pixels that are synchronized with the scan of the pulsed light, only the reflected light of the pulsed light that is irradiated with a large amount of light is also exposed to the pixels.
  • a polarizing filter 23 that transmits light polarized in parallel with the scanning direction out of the reflected light received by the imaging unit 21A is provided. For this reason, the polarization direction of the reflected light of the returned raindrops and the polarization direction of the polarizing filter 23 are orthogonal to each other. Therefore, the reflected light of the returned raindrops is blocked by the polarizing filter 23 and appears in the pixels of the imaging unit 21A. Not exposed. As a result, the reflected light of raindrops can be removed.
  • the imaging unit 21A exposes only the pixels synchronized with the pulsed light scan, so that the multiple reflected light can be greatly reduced as compared to exposing all of the irradiation region simultaneously. .
  • the pulsed light is infrared.
  • infrared rays are not visible to human eyes, they do not get in the way.
  • the longer the wavelength such as infrared rays the higher the safety for the eyes of animals.
  • the longer the wavelength the lower the background light intensity, which is preferable.
  • the light source 11A is preferably a semiconductor laser chip that emits linearly polarized light. Accordingly, linearly polarized pulsed light can be easily output by adjusting the direction of the semiconductor laser chip.
  • the fan-shaped pulsed light irradiation unit 12A includes a one-dimensional scanning device 12b that scans the pulsed light emitted from the light source 11A in one direction, and the scanned pulsed light in the scanning direction. Is provided with a fan-shaped beam generator 12c that spreads in a vertical direction and radiates to an object.
  • the pulsed light emitted from the light source passes through the scanning device and the beam generator in this order.
  • the spot light emitted from the light source 11A can be efficiently spread in a fan shape.
  • the rainy day camera 1A preferably includes an optical bandpass filter 24 that transmits pulsed light having a certain wavelength band in the reflected light.
  • the optical bandpass filter 24 that transmits only light of a certain wavelength band including the center wavelength of the pulsed light before entering the pixel. be able to. Therefore, the SN ratio of the obtained image can be increased.
  • the scanning direction when the pulsed light in the fan-shaped pulsed light irradiation unit 12A is scanned in one direction is the vertical direction.
  • the rainy day camera 1A when the rainy day camera 1A is applied to an in-vehicle camera, the height of a general building or the like that is an object is limited. For this reason, it is possible to narrow the scan angle.
  • the fan-shaped beam generator 12c is preferably a Powell lens.
  • the shape of the Powell lens is very similar to a cylindrical prism with a rounded roof. Therefore, the Powell lens functions as a so-called laser line generator, and can extend the laser beam into a linear shape with uniform intensity. Specifically, the strength of the center portion is decreased while increasing the strength at both ends of the generated beam line. Therefore, it is suitable for spreading the pulsed light emitted from the light source into a fan shape.
  • the one-dimensional scanning device 12b is preferably a MEMS mirror element.
  • the MEMS mirror element is an electromagnetically driven mirror that applies MEMS (Micro-Electro-Mechanical Systems) technology.
  • MEMS Micro-Electro-Mechanical Systems
  • By arranging a magnet under the mirror it is possible to realize ultra-small size.
  • Lorentz force is generated by Fleming's law, and the mirror can be driven. Thereby, a wide optical deflection angle and a high mirror reflectivity can be realized with low power consumption.
  • the camera for rainy weather 1A in the present embodiment can be driven during rain, snow or fog. Thereby, the influence of rain, snow or fog can be avoided and a clear image can be acquired, so that the effect can be particularly exerted during rain, snow or fog.
  • the rainy day camera 1B of the present embodiment differs from the rainy day camera 1A of the first embodiment in the configuration of the pulsed light illumination system 10B and the light receiving system 20B.
  • FIG. 7 is a block diagram showing the overall configuration of the rainy day camera 1B in the present embodiment.
  • FIG. 8 is a perspective view showing a configuration of the fan-shaped pulsed light irradiation unit 12B of the pulsed light illumination system 10B provided in the rainy day camera 1B.
  • FIG. 9 is a diagram illustrating a configuration of the imaging unit 21B in the light receiving system 20B provided in the rainy camera 1B.
  • the fan-shaped pulsed light PL is scanned in the vertical direction with the fan surface extending in the horizontal direction.
  • the fan-shaped pulsed light PLv is scanned in the horizontal direction with the fan surface extending in the vertical direction.
  • the polarization direction of the fan-shaped pulsed light PLv is also polarized in the horizontal direction in the rainy weather camera 1A of the first embodiment, whereas in the rainy weather camera 1B of the present embodiment, it is linearly polarized in the vertical direction. Yes.
  • the light receiving system 20B shown in FIG. 7 is arranged in the horizontal direction although the polarization direction of the polarization filter 23v is perpendicular to the polarization direction of the fan-shaped pulsed light PLv. This is different from the first embodiment.
  • the circuit arrangement of the light receiving unit 21b is switched between the vertical and horizontal directions compared to the imaging unit 21A.
  • Pulse light illumination system Pulse light illumination system
  • each element of the camera 1B for rainy weather of this Embodiment is explained in full detail.
  • the pulsed light illumination system 10B will be described.
  • the fan-shaped pulsed light irradiating unit 12B of the pulsed light illumination system 10B according to the present embodiment is changed from the light source 11B shown in FIG.
  • the optical axes up to 13c are arranged in the XZ plane. That is, the rainy day camera 1A of the first embodiment is arranged on the YZ plane, and this point of the rainy day camera 1B is different from the rainy day camera 1A.
  • the light source 11B of the pulsed light illumination system 10B is different from the first embodiment in the polarization direction of the generated fan-shaped pulsed light PLv.
  • the direction of the polarizer is 90 degrees different from that of the first embodiment, and the light polarized in the vertical direction is output.
  • the light source 11B includes an edge emitting semiconductor laser chip
  • the light is polarized in the vertical direction by adjusting the direction of the chip so that the semiconductor active layer of the semiconductor laser chip is parallel to the vertical direction.
  • the pulsed light can be output.
  • the fan-shaped pulsed light PLv spreads in a fan shape in the vertical plane, and the spread angle is defined as a vertical spread angle ⁇ v.
  • the spread angle in the horizontal plane is small, and the beam thickness is ⁇ (half-value width).
  • the vertical spread angle ⁇ v >> beam thickness ⁇ (half-value width).
  • the target visual field OV having a spread angle in the horizontal plane of ⁇ h and a vertical spread angle of ⁇ v is sequentially irradiated with light. be able to.
  • the spread angle ⁇ h in the horizontal plane > beam thickness ⁇ (half-value width).
  • fan-shaped pulsed light PLv-1 When it is necessary to distinguish the irradiated fan-shaped pulsed light PLv having different angles in the horizontal direction, they are referred to as fan-shaped pulsed light PLv-1 to fan-shaped pulsed light PLv-Na.
  • Na is the total number of scans in the horizontal direction.
  • the fan-shaped pulsed light PLv is preferably uniform in the target field of view OV, but the detection sensitivity of the place where the light intensity is strong becomes high. For this reason, in the target visual field OV, when there is a place that particularly needs to be watched, it is possible to obtain a light intensity distribution in which the intensity in the vicinity is enhanced.
  • the fan-shaped pulsed light irradiation unit 12B includes a collimated light generator 13a for shaping the light from the light source 11B into a substantially parallel spot light SLv (in the XZ plane), and the spot light SLv in the horizontal direction. It includes at least a one-dimensional scanning device 13b that swings in the (X direction) and a fan-shaped beam generator 13c that expands the spot light SLv whose horizontal traveling angle is changed by the one-dimensional scanning device 13b into a fan shape.
  • the active layer of the semiconductor laser chip is arranged parallel to the Y axis.
  • the collimated light generator 13a includes a collimator lens and maintains the polarization state of the light source 11B.
  • the one-dimensional scanning device 13b is configured by a MEMS mirror element having a reflecting surface that rotates around a single axis (Y axis) in a vertical plane (YZ plane).
  • the polarization direction of the spot light SLv incident on the reflection surface of the one-dimensional scanning device 13b is parallel to the reflection surface, the polarization state is not changed by reflection.
  • the fan-shaped beam generator 13c includes, for example, a Powell lens.
  • the collimated light generator 13a forms a spot light SLv having a divergence angle of about 1.5 degrees and a diameter of about 1.0 mm at the entrance of a Powell lens having a diameter of 6 mm, and is a one-dimensional scan composed of MEMS mirror elements.
  • the laser beam is swung ⁇ 16 degrees with respect to the horizontal plane by the device 13b.
  • the entire target visual field OV can be irradiated with the fan-shaped pulsed light PLv polarized in parallel with the fan surface.
  • the MEMS mirror element has a difference in deflection angle and the like, the same device as that of the first embodiment can be used.
  • the light source 11B emits pulses in synchronization with the imaging unit 21B.
  • the light emission intensity and pulse width may be variable.
  • the pulse width of the pulsed light is about 1 nsec to several hundred nsec.
  • the peak power of the pulsed light is several W to several hundred W.
  • the time allotted to the irradiation with the fan-shaped pulsed light PLv-k is 1/19000 seconds, and during this time, the angle of the reflecting surface of the one-dimensional scanning device 13b is changed to a set value, and the light source 11B emits pulses.
  • Each fan-shaped pulsed light PLv-k irradiates an object with one pulse to acquire an image signal, and thus the light emission period of the pulsed light is approximately 19.2 kHz.
  • the light receiving unit 21b of the imaging unit 21B has pixels Pxa (i, j) arranged in a two-dimensional matrix of M rows and N columns, and an optical signal from the target visual field OV. Is projected onto the two-dimensional matrix of M rows and N columns by the imaging optical system 22 as in the first embodiment.
  • the pixels in the k column corresponding to the fan-shaped pulsed light PLv-k spreading in the vertical direction receive the pulsed light reflected light, so that the corresponding pixel Pxa (i, k) is assigned to each column.
  • the roles of the row and column circuits are switched from those of the first embodiment.
  • the signal line is arranged on the row side with respect to the pixel Px (i, j) of the first embodiment (row signal line Rs (i)), and the control signal A line is arranged on the column side (C ⁇ (i)).
  • the other configuration of the pixel Pxa (i, j) is the same as that of the pixel Px (i, j) of the first embodiment, and thus description of the internal circuit configuration is omitted.
  • a column selection circuit 31e is provided adjacent to the light receiving unit 21b as a circuit for selecting the k columns of pixels Pxa (i, k) corresponding to the fan-shaped pulsed light PLv-k. Yes. Further, a column control signal C ⁇ (j) that transmits a signal of the column selection circuit 31e to each pixel Pxa (i, j) is provided. The column control signal C ⁇ (j) selects k columns to be activated in synchronization with the operation of the one-dimensional scanning device 13b of the fan-shaped pulsed light irradiation unit 12B. A signal for synchronization is generated from the control unit 31d.
  • the row signal line Rs (i) is connected to the vertical signal line Cx via the row selection switch RS (i) via the row circuit RA (i) that performs noise cancellation and amplification, and the vertical signal line Cx is a signal storage processing circuit. It is connected to 31b.
  • the row selection switch RS (i) is controlled by the row selection circuit 31c.
  • the imaging unit 21B has the same configuration as the imaging unit 21A of the first embodiment, although the matrix arrangement is reversed, and basically the same technology can be applied.
  • the rainy day camera 1B of the present embodiment differs from the rainy day camera 1A of the first embodiment in the scanning direction of the fan-shaped pulsed light PLv and the direction of polarization is different by 90 degrees. An imaging result can be obtained.
  • the scanning direction when scanning the pulsed light in the fan-shaped pulsed light irradiation unit 12B in one direction is the horizontal direction.
  • the width of the road is limited when only the front side of the road is imaged as an object. For this reason, it is possible to narrow the scan angle.
  • the rainy day camera 1A of the present embodiment is not changed in hardware compared to the configuration of the rainy day camera 1A of the first embodiment, and the scanning method and the driving method of the imaging unit 21A are different.
  • FIGS. (A) to (f) of FIG. 10 are timing charts showing pixel drive timings in the imaging unit 21A.
  • the rainy day camera 1A of the present embodiment as a vehicle camera, for example.
  • a wide viewing angle is required to cover the entire road width as the target field of view OV even at a short distance.
  • a narrower viewing angle is sufficient when looking only at a distant place.
  • the pulsed light illumination system 10A can scan the fan-shaped pulsed light PL in a concentrated manner, for example, only in an arbitrary half of the target visual field OV, not the entire target visual field OV.
  • the signal intensity in the irradiation region is doubled by exposing the target visual field OV using two successive pulse lights 1 and 2. can do. In the present embodiment, this is hereinafter referred to as “two-pulse exposure”.
  • the maximum distance Dmax to be measured is larger than that in the first embodiment.
  • the maximum distance Dmax is about 1.4 times.
  • the emission frequency of the fan-shaped pulsed light PL is 14.4 kHz, but the emission interval between the pulsed light 1 and the pulsed light 2 must be shortened. This is because when the light emission frequency is 14.4 kHz, there is a time of about 69000 nsec between continuous light emission, and noise due to background light exceeds the signal as it is. Therefore, it is preferable to emit the pulsed light 2 after the emission of the pulsed light 1 with a time as long as possible and longer than 2 ⁇ Dmax / c + ⁇ T (about several hundreds nsec).
  • the difference between the time difference between the emission timings of the pulsed light 1 and the pulsed light 2 and 2 ⁇ Dmax / c + ⁇ T is ⁇ Ti.
  • ⁇ Ti is preferably as short as possible.
  • the light emission method and the scan method can be set in accordance with the purpose within the range of the capability of the pulsed light illumination system 10A and the restriction of the safety standard regarding laser irradiation.
  • the two-pulse light exposure is adopted in the rainy camera 1A of the first embodiment.
  • the present invention is not necessarily limited to this, and the two-pulse light exposure can perform the same exposure control with respect to a plurality of pulse lights even for the hardware of the rainy day camera 1B of the second embodiment.
  • the light source 11A emitted laser light having a wavelength of 800 nm with a pulse width (half-value width) of 100 nsec and a peak power of 100 W.
  • the specific configuration of the light receiving system 20A is such that the pixel size of the imaging unit 21A is 10 ⁇ m square, the size of the photodiode is approximately 7 ⁇ m square, and 640 pixels in the horizontal direction and 480 pixels in the vertical direction are arranged. That is, it is equivalent to VGA.
  • the size of the light receiving portion 21a is 6.4 mm ⁇ 4.8 mm.
  • the viewing angle is 32 degrees. From the pixel size, the angular resolution in the field of view is 0.05 degrees, which is the same as the beam thickness ⁇ (half-value width) of the fan-shaped pulsed light PL.
  • the optical bandpass filter 24 was arranged with a center wavelength of 800 nm and a transmission band width of 10 nm.
  • the exposure timing of the imaging unit 21A was started at the same time as the light emission of the light source 11A and was exposed to 433 nsec.
  • the fan-shaped pulsed light PL was not emitted, the signal was completely at the same level as the noise at the time of darkness.
  • the object could be imaged even at a distance of 50 m, although it was weak (signal intensity about twice the noise level).
  • the signal amount is reduced by about 10% compared to when there is no rain, and it is considered that this amount of light deviates from the optical path due to scattering by raindrops.
  • the imaging device (rainy cameras 1A and 1B) according to aspect 1 of the present invention scans the light sources 11A and 11B that emit pulsed light and the pulsed light emitted by the light sources 11A and 11B in one direction,
  • An irradiation unit (fan-shaped pulsed light irradiation units 12A and 12B) that radiates the scanned pulsed light in a direction perpendicular to the scanning direction and that is polarized in a direction perpendicular to the scanning direction;
  • Imaging units 21A and 21B that receive reflected light from an object and expose the pixels, and polarization filters that transmit light polarized in parallel to the scan direction among reflected light received by the imaging units 21A and 21B 23 and 23v, and the imaging units 21A and 21B are characterized by exposing only pixels synchronized with the pulsed light scan.
  • the irradiation unit scans the pulsed light emitted from the light source in one direction, spreads the scanned pulsed light in a direction perpendicular to the scanning direction, and the scanning direction. Radiates to the object in a vertically polarized state.
  • the pulsed light emitted from the light source is spread in the horizontal direction, which is a direction perpendicular to the scan direction, and is emitted to the object.
  • the emitted pulsed light is polarized in a direction perpendicular to the scan direction. That is, when scanned in the vertical direction, it has polarized light parallel to the horizontal direction.
  • fan-shaped horizontally polarized pulsed light having a predetermined thickness is emitted while scanning in the vertical direction, and light can be applied to the entire object.
  • the light reflected from the object enters the imaging unit via the polarizing filter and is exposed to the pixels of the imaging unit.
  • the amount of light applied to a part of the object is small, and therefore, the light is reflected from a part of the object and is reflected on the imaging unit.
  • the amount of input reflected light was also small.
  • the fan-shaped horizontally polarized pulsed light having a predetermined thickness is emitted while being scanned in the vertical direction. Pulse light can be irradiated. Furthermore, in one embodiment of the present invention, the imaging unit exposes only the pixels synchronized with the pulsed light scan, so only the reflected light of the pulsed light irradiated with a large amount of light to a part of the object is applied to the pixels. Exposure.
  • the irradiation intensity at a long distance is large, and the measurement range can be a long distance.
  • the reflected light when the pulsed light is applied to the raindrop does not change the polarization state of the reflected light because the surface of the raindrop can be regarded as a mirror surface.
  • the reflected light when irradiated with raindrops returns to the imaging unit while maintaining a horizontal polarization state.
  • a polarizing filter that transmits light polarized in parallel to the scan direction out of reflected light received by the imaging unit is provided.
  • the polarization direction of the reflected light of the returned raindrop and the polarization direction of the polarizing filter are orthogonal to each other, so that the reflected light of the returned raindrop is blocked by the polarizing filter and is not exposed to the pixels of the imaging unit. As a result, the reflected light of raindrops can be removed.
  • the imaging unit exposes only the pixels that are synchronized with the pulsed light scan, so the multiple reflected light can be greatly reduced compared to exposing all of the irradiation region simultaneously. it can.
  • the pulsed light is preferably infrared.
  • the longer the wavelength such as infrared rays the higher the safety for the eyes of animals.
  • the longer the wavelength the lower the background light intensity, which is preferable.
  • the light sources 11A, 11B are preferably semiconductor laser chips that emit linearly polarized light.
  • linearly polarized pulsed light can be easily output by adjusting the direction of the semiconductor laser chip.
  • the irradiation unit (fan-shaped pulsed light irradiation unit 12A, 12B) scans the pulsed light emitted from the light sources 11A, 11B in one direction.
  • One-dimensional scanning devices 12b and 13b and a beam generator (fan-shaped beam generators 12c and 13c) that radiates the scanned pulsed light in a direction perpendicular to the scanning direction to an object. .
  • the pulsed light emitted from the light source passes through the scanning device and the beam generator in this order.
  • the pulsed light scanned using the beam generator is spread in a plane perpendicular to the scanning direction and emitted to the object. . Therefore, it becomes possible to efficiently spread the spot light emitted from the light source into a fan shape.
  • the imaging device includes a filter (optical bandpass filter 24) that transmits pulsed light having a certain wavelength band in the reflected light.
  • the operating temperature range is widened because there is background light not limited to darkness.
  • background light outside the band may be incident on the pixel. Therefore, most of the background light can be cut by providing a filter that transmits only light of a certain wavelength band including the center wavelength of the pulsed light before entering the pixel.
  • the SN ratio of the obtained image can be increased.
  • the scan direction when the pulsed light is scanned in one direction in the irradiation unit is a vertical direction.
  • the scanning direction when scanning the pulsed light in one direction in the irradiation unit is a horizontal direction.
  • the width of the road is limited when only the front side of the road is imaged as an object. For this reason, it is possible to narrow the scan angle.
  • the beam generator (fan-shaped beam generators 12c and 13c) is preferably a Powell lens.
  • the shape of the Powell lens is very similar to a cylindrical prism with a rounded roof. Therefore, the Powell lens functions as a so-called laser line generator, and can extend the laser beam into a linear shape with uniform intensity. Specifically, the strength of the center portion is decreased while increasing the strength at both ends of the generated beam line.
  • the scanning device is preferably a MEMS mirror element.
  • the MEMS mirror element is an electromagnetically driven mirror that applies MEMS® (Micro-Electro-Mechanical® Systems) technology.
  • MEMS® Micro-Electro-Mechanical® Systems
  • By arranging a magnet under the mirror it is possible to realize ultra-small size.
  • Lorentz force is generated by Fleming's law, and the mirror can be driven. Thereby, a wide optical deflection angle and a high mirror reflectivity can be realized with low power consumption.
  • the exposure of the imaging unit can be performed on a plurality of pulse lights.
  • the imaging apparatus (rainy weather cameras 1A and 1B) according to aspect 11 of the present invention can be driven during rain, snow or fog.
  • 1A / 1B Rainy weather camera (Imaging device) 10A / 10B Pulse light illumination system 11A / 11B Light source 12a / 13a Collimated light generator 12A / 12B Fan-shaped pulse light irradiation unit (irradiation unit) 12b / 13b One-dimensional scanning device (scanning device) 12c ⁇ 13c Fan-shaped beam generator (beam generator) 20A / 20B Light receiving system 21A / 21B Imaging unit 21a / 21b Light receiving unit 30b / 31b Signal storage processing circuit 30c / 31c Row selection circuit 30d / 31d Control unit 30e / 31e Column selection circuit 22 Imaging optical system 23 / 23v Polarizing filter 24 Optical bandpass filter (filter) 31 Photodetector 32 Transfer switch 33 Reset switch 34 Pixel amplifier 35 Pixel selection switch 36 Capacitance M1 / M2 Object RD Raindrop Px (i, j) Pixel Pxa (i, j) Pixel ⁇ h Spread angle ⁇ v in the horizontal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

降水環境において、比較的長距離まで鮮明な画像を得ることができる撮像装置を提供する。雨天用カメラ(1A)は、パルス光を発する光源(11A)と、光源(11A)の発するパルス光を一方向にスキャンすると共に、スキャンするときに該スキャンされるパルス光を、スキャン方向とは垂直な方向に広げ、かつ該スキャン方向とは垂直方向に偏光した状態で対象物に放射する扇状パルス光照射部(12A)と、対象物からの反射光を受光して画素に露光させる撮像部(21A)と撮像部(21A)に受光される反射光のうち、スキャン方向と平行に偏光した光を透過する偏光フィルタ(23)とを備える。撮像部(21A)は、パルス光のスキャンに同期する画素のみを露光する。

Description

撮像装置
 本発明は、雨、濃霧又は雪といった環境で鮮明なイメージを撮像する撮像装置に関するものである。
 雨、濃霧又は雪等の降水環境下で、雨滴や雪片等の影響を回避して、クリアなイメージを取得する方法として、非特許文献1では、これらの降下物の間を、光ビームが縫うように放射する方法を提案している。
 また、特許文献1では、降水環境下ではないが、湯気等の水滴による遮蔽効果を低減する発明が開示されている。この発明では、雨天用カメラにおいて、照射側と受光側との両方に偏光子を設置し、これら2個の偏光子の配置を90度変えることによって、水滴からの反射を除去する方法を提案している。
 一方、特許文献2は、前述した偏光子を使うイメージセンサとしては、光源と同じ方向の偏光を受光するカメラのブルーミングを抑制することを提案している。
日本国公開特許公報「特開2016-224021号(2016年12月28日公開)」 日本国公開特許公報「特開2010-148130号(2010年7月1日公開)」
de Charette,R., Tamburo,R., Barnum,P.C., Rowe, A., Kanade,T., Narasimhan,S. G.," Fast Reactive Control for Illumination Through Rain and Snow. " IEEE International Conference on Computational Photography (ICCP), Seattle, Washington 2012
 しかしながら、上記従来の技術では、以下の課題がある。
 降水に伴う降下物(雨滴、雪片、等)や空中に漂う水滴(霧)の間を縫って光ビームを対象物まで往復させるためには、まず、問題となる雨滴の位置を計測しなければならない。そのためには、対象視野を高解像度で撮影しなければならない。しかも、直近の位置から目標となる最遠距離までの間において焦点を合わさなければならず、非常に高精細及び高精度であって、かつ高価なカメラシステムが必要となる。また、得られた画像を解析し、全ての雨滴を抽出し、その位置を計算しなければならなない。そのためには、カメラシステムは高速で動作しなければならない。また、画像処理のために高度な処理能力を持つプロセッサも必要となり、非常に高価なシステムとならざるを得ない。したがって、より単純で安価な装置が求められている。
 ここで、偏光を活用することによって単純なシステムで水滴の影響を除く方法は、システムとしては単純であり、コストも安い。しかし、視野全体にレーザ光を照射するため、遠方での照射強度低下が著しく、測定範囲が近距離に限られる。また、水滴からの直接反射光は取り除けるが、対象物や水滴からの反射光が、別の物体での反射を経て、受光される信号を排除することができない。
 この結果、従来の方式では、多重反射によるノイズ成分が少なく、かつ近距離の物体しかよいイメージを取得することができないという問題点を有している。
 本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、降水環境において、比較的長距離まで鮮明な画像を得ることができる撮像装置を提供することにある。
 本発明の一態様における撮像装置は、上記の課題を解決するために、パルス光を発する光源と、前記光源の発するパルス光を一方向にスキャンすると共に、スキャンするときに該スキャンされるパルス光を、スキャン方向とは垂直な方向に広げ、かつ該スキャン方向とは垂直方向に偏光した状態で対象物に放射する照射部と、前記対象物からの反射光を受光して画素に露光させる撮像部と、前記撮像部に受光される反射光のうち、前記スキャン方向と平行に偏光した光を透過する偏光フィルタとを備え、前記撮像部は、前記パルス光のスキャンに同期する画素のみを露光することを特徴としている。
 本発明の一態様によれば、降水環境において、比較的長距離まで鮮明な画像を得ることができる撮像装置を提供することができるという効果を奏する。
本発明の実施形態1における雨天用カメラの全体構成を示すブロック図である。 前記雨天用カメラに備えられたパルス光照明系の扇状パルス光照射部の構成を示す斜視図である。 前記雨天用カメラに備えられた受光系における撮像部の構成を示す図である。 前記撮像部における画素の構成を示す回路図である。 (a)~(f)は、前記撮像部における画素の駆動タイミングを示すタイミングチャートである。 前記雨天用カメラを用いて撮像するときの出射光の光路を示す側面図である。 本発明の実施形態2における雨天用カメラの全体構成を示すブロック図である。 前記雨天用カメラに備えられたパルス光照明系の扇状パルス光照射部の構成を示す斜視図である。 前記雨天用カメラに備えられた受光系における撮像部の構成を示す図である。 (a)~(f)は、前記撮像部における画素の駆動タイミングを示すタイミングチャートである。
 〔実施の形態1〕
 本発明の一実施形態について図1~図6に基づいて説明すれば、以下のとおりである。
 (雨天用カメラの概要)
 本実施の形態の撮像装置としての雨天用カメラ1Aの全体構成について、図1に基づいて説明する。尚、以下では、雨、濃霧又は雪等の降水環境用のカメラとして、「雨天用カメラ」という名称を用いているが、雨に限定している訳ではない。また、本実施の形態の撮像装置は、静止画を撮像するカメラであってよく、動画を撮影する動画撮影機であってもよい。図1は、本実施の形態の雨天用カメラ1Aの全体構成を示すブロック図である。尚、図1は、雨天用カメラ1Aを上側から見た全体構成を示している。
 本実施の形態の撮像装置としての雨天用カメラ1Aは、図1に示すように、対象視野OVに扇状パルス光PLを照射するパルス光照明系10Aと、対象視野OVの少なくとも一部からの光を受光する受光系20Aとを備えている。
 パルス光照明系10Aは、パルス光を発する光源11Aと、光源11Aから発せられたパルス光を対象視野OVに水平方向に扇状に照射しかつ垂直方向にスキャンする扇状パルス光照射部12Aとを備えている。
 光源11Aは、例えば端面発光する半導体レーザチップを含み、半導体活性層と平行方向に偏光したパルス光を放射する。
 扇状パルス光照射部12Aは、光源11Aから発せられたパルス光を水平方向に扇状に広げると共に、垂直方向つまり縦方向に一次元スキャンすることによって対象視野OV全体を照射する。
 前記受光系20Aは、受光部21aを備えた撮像部21Aと、撮像部21Aの受光部21aに結像する結像光学系22と、結像光学系22の前面つまり外側に偏光フィルタ23とを備えている。
 撮像部21Aは、撮像に関する機能の他、パルス光照明系10Aの制御、及び外部システム2とのコミュニケーション等の機能を有している。
 偏光フィルタ23は、扇状パルス光PLのスキャン方向とは平行方向に直線偏光した光を通過させるように配置されている。詳細には、本実施の形態では、光源11Aはスキャン方向とは垂直方向に直線偏光した扇状パルス光PLを発光する。これに対して、受光系20Aの偏光フィルタ23は、扇状パルス光PLのスキャン方向とは平行方向に直線偏光した光を通過させるように配置されている。
 尚、本明細書では、分かり易くするために、偏光に関しては、直線偏光を前提に記述しているが、厳密な意味での直線偏光に限定する訳ではなく、楕円率の比較的小さな楕円偏光も含まれる。楕円偏光であっても、楕円率が小さい場合は、本明細書に記載した効果が得られる。例えば楕円率が1/√10(=0.316)の場合、短軸方向に偏光した光の強度は長軸方向に偏光した光の強度の1/10となり、10%程度の影響は残るにしても、大きな効果が得られる。
 (パルス光照明系)
 以下、本実施の形態の雨天用カメラ1Aにおける詳細構造について、順に説明する。最初に、パルス光照明系10Aについて詳述する。
 図1に示すように、パルス光照明系10Aから出射される扇状パルス光PLは、水平面内では扇状に広がっており、その広がり角度をθhとする。一方、扇状パルス光PLの垂直方向の広がり角度は小さく、ここでは、ビーム厚Δθ(半値幅)とする。尚、水平面内の広がり角度θh>>ビーム厚Δθ(半値幅)である。
 この扇状パルス光PLを扇状パルス光照射部12Aを用いて垂直方向のつまり縦方向の広がり角度θv内でスキャンすることによって、水平面内の広がり角度θh、及び垂直方向の広がり角度θvの対象視野OVを順次光照射することができる。尚、垂直方向の広がり角度θv>ビーム厚Δθ(半値幅)である。
 ここで、以下の説明において、垂直方向に異なる角度で照射される扇状パルス光PLを区別する必要がある場合は、扇状パルス光PL-1~PL-Nsと記すことにする。Nsは垂直方向のスキャン総数である。尚、扇状パルス光PL-1~Nsは垂直方向にスキャンされているために、多くは水平面から傾斜した光路を有する。しかし、水平面内の広がり角度θh>垂直方向の広がり角度θvを想定しており、かつ水平面に平行な光路を有するものもあるため、以下では、「扇状パルス光は、水平面内に広がっている」と表現する場合がある。
 通常、水平面内の広がり角度θh>垂直方向の広がり角度θvであり、垂直方向のスキャンを全て完了しなくても、初期の部分的なスキャンによって、対象視野OV内の対象物の多くを検出することができる。すなわち、陸上では、検出すべき障害物が空中に浮かんでいる場合は稀であり、路面や地面から垂直方向に立っている場合が多い。このため、例えば低い高さから、丁度水平面に平行に扇状パルス光PLを照射すれば、大概の障害物を検知することができる。したがって、垂直方向の広がり角度θvを全てスキャンする期間である1フィールドの期間が終わる前に、早く障害物を検出することができる。
 扇状パルス光PLは、対象視野OV内において均一であることが好ましいが、光強度が強い場所の検出感度が高くなる傾向がある。このため、対象視野OV内において、特に注視する必要が有る場所が存在する場合は、その付近の強度を強化した光強度分布とすることも可能である。雨天用カメラ1Aを、例えば自動車へ搭載し、進行方向をモニターする場合には、水平方向を注視する必要があり、水平面を中心とする狭い角度範囲のパルス光強度を強くすることが好ましい。下方への振れ角が大きい領域では、パルス光PLは近傍の路面を照らすため、パルス光強度は弱くてもよい。角度範囲としては10度以下、さらに好ましくは5度以下である。
 ここで、パルス光照明系10Aの扇状パルス光照射部12Aの構成について、図2に基づいて詳述する。図2は、パルス光照明系10Aの扇状パルス光照射部12Aの構成を示す斜視図である。
 扇状パルス光照射部12Aは、図2に示すように、前記光源11Aの光を略平行なスポット光SL(Y-Z面内)に整形するコリメート光発生器12aと、スポット光SLを垂直方向(Y方向:縦方向)に振る一次元スキャン装置12bと、一次元スキャン装置12bによって垂直方向の進行角度を変えられたスポット光SLを水平方向に扇状に広げる扇状ビーム生成器12cとを少なくとも備えている。
 光源11Aは、前述したように、端面発光する半導体レーザチップから半導体活性層と平行方向に偏光したパルス光を放射する。この場合、半導体レーザチップの光軸回りの回転角によって、偏光方向を制御することができる。図2では、半導体レーザチップの活性層はX軸と平行に配置されている。コリメート光発生器12aは図示しないコリメータレンズを含み、光源11Aの偏光状態を保つ。光源11Aとして、例えばVCSEL(Vertical Cavity Surface Emitting LASER:垂直共振器面発光レーザ)を用いる場合には、レーザはキャビティの形状や半導体結晶の結晶方位によって特定の直線偏光状態を有するため、VCSELが有する直線偏光がX軸と平行となるように、VCSELを設置すればよい。
 一次元スキャン装置12bは、水平面(X-Z面)内の一軸(X軸とする)の回りに回転運動する反射面を有するMEMS(Micro Electro Mechanical Systems)ミラー素子等により構成されている。一次元スキャン装置12bの反射面に入射するスポット光SLの偏光方向は、反射面と平行であるため、反射によって偏光状態を変えることはない。
 扇状ビーム生成器12cは、例えばパウエルレンズを含む。例えば、コリメート光発生器12aによって発散角0.05度程度、及び口径6mmのパウエルレンズの入射部での径が0.8mm程度のスポット光SLを形成する。次いで、このスポット光SLをMEMSミラー素子からなる一次元スキャン装置12bによって、レーザ光を水平面に対して、±12度振る。前記パウエルレンズはレーザ光を水平面内の広がり角度θh=32度、及び発散角Δθ=0.05度で放射するため、扇状パルス光PLは水平面内の広がり角度θh=32度、及び垂直方向の広がり角度θv=24度の範囲を照射することができる。以上の構成により、扇面と平行に偏光した扇状パルス光PLを対象視野OV全体に照射することができる。
 扇状パルス光照射部12Aの光路は、上述のように、一次元スキャン装置12bを通過した後に、扇状ビーム生成器12cを通過することが好ましい。スポット光SLはスキャン方向と垂直に偏光しているため、一次元スキャン装置12bにおいて反射する際に、偏光が変わらず、偏光性が悪化しないという利点がある。逆の場合には、扇状に広がった光が一次元スキャン装置12bのミラー面に入射する際の入射角度が、扇の中心部と端部とでは異なる。この結果、ミラー面の端部に近い程、偏光方向が反射面に対して平行ではなくなり、反射によって偏光性が低下する。
 MEMSミラー素子は、本実施の形態では、例えば電磁式であり、流す電流量を制御することによって、ミラーの振れ角を変更する。静電式や圧電式では、印加する電圧を制御することによって、ミラーの振れ角を変更することができる。MEMSミラー素子は、装置を小型化できるという利点がある。
 一次元スキャン装置12bの制御は、撮像部21Aに含めている。扇状パルス光PLが照射された対象物からの信号を検出するように、ミラーの振れ角と受光系20Aとを同期制御する必要があるためである。尚、前記同期制御に関しては、例えば、制御装置を別に設けて、この制御装置から一次元スキャン装置12bと撮像部21Aとを制御してもよい。或いは、外部システム2から直接両者を制御してもよく、撮像部21Aが制御する方法に限定されない。一次元スキャン装置12bは、MEMSミラー素子以外には、ポリゴンミラーや液晶導波路方式等の他の構成であってもよい。
 扇状ビーム生成器12cとして、パウエルレンズとは異なる他の構成を採用することも可能である。しかし、パウエルレンズを用いることは、可動部がなく、比較的小さな光学部品によってパルス光を広げられる点で、装置の小型化や堅固性向上という利点がある。
 尚、光源11Aは、非偏光状態で発光させた後、偏光フィルタや偏光スプリッタを通過させて、直線偏光状態にすることにより直線偏光したパルス光を生成する光源であっても構わない。しかし、前述したように、半導体レーザチップを用いて、直線偏光したパルス光を生成し、そのまま出力することが、光のロスがなく好ましい。また、光源11Aを小型化できるという利点もある。光源11AはレーザやLEDのようにパルス発光が可能な光源である。光源11Aの発光波長は、単色の可視光でもよく、又はRGBの3色を含む可視光でもよいが、波長700nmから1000nm程度の赤外線であることが好ましい。人の目に見えないため、邪魔にならない上に、長波長程、動物の目に対する安全性が高いという利点がある。さらに、波長が長い程、一般には、背景光強度も低下するため好ましい。また、発光波長帯域が狭く、発光ピーク波長の温度変動少ないことが好ましく、その結果、赤外線レーザが好ましい。特に、発光波長帯域が狭く、発光ピーク波長の温度変動少ないVCSEL(Vertical Cavity Surface Emitting LASER:垂直共振器面発光レーザ)が好ましい。図1には記載してないが、発光ピーク波長の温度変動を抑制するために、光源11Aの温度制御を行う温度制御回路を加えてもよい。
 光源11Aは、撮像部21Aと同期して、パルス発光する。発光強度やパルス幅(発光時間の半値幅)は可変であってもよい。ここで、パルス光のパルス幅は1nsecから数百nsec程度である。パルス光のピークパワーは数Wから数百Wである。
 雨天用カメラ1Aが、毎秒30フレームのデータを取得し、各フレームの画素分解能が0.05度、及び垂直方向の広がり角度θv=24度の場合、例えば、1フレームは垂直方向に進行角度が異なる480個の扇状パルス光PL-1から扇状パルス光PL-480が照射される。扇状パルス光PL-k(kは正の整数)の照射に割り当てられる時間は、1/14400(=1/30/480)秒である。この間に一次元スキャン装置12bの反射面の角度を設定値に変更し、光源11Aをパルス発光させる。各扇状パルス光PL-kは1発のパルスを対象物に照射し、画像信号を取得するため、パルス光の発光周期は凡そ14.4kHzである。
 (受光系)
 次に、受光系20Aの詳細構造について、前記図1に基づいて説明する。
 図1に示すように、受光系20Aの結像光学系22は、一般的にはレンズである。結像光学系22は、受光部21aの大きさ及び視野角(FOV)によって、焦点距離やFナンバーを選択することができる。結像光学系22は、光学バンドパスフィルタ24の中心波長において、透過率が高く、収差が少ないことが好ましい。尚、図1においては、結像光学系22としてレンズを示したが、結像光学系22はレンズ以外の反射光学系であっても構わない。
 次に、本実施の形態では、結像光学系22の前面に偏光フィルタ23が配置されている。偏光フィルタ23は、扇状パルス光PLの偏光方向と垂直な偏光を透過する。
 ここで、偏光フィルタ23から受光部21aまでの光路に、光学バンドパスフィルタ24を配置することによって、帯域外の背景光を低減することが好ましい。
 すなわち、光学バンドパスフィルタ24は、扇状パルス光PLの波長ピークを中心に、一定幅の帯域に透過帯を有している。透過帯の幅(透過率の波長分布の半値幅)は数nmから数十nmである。詳細には、特に、10nmから20nm程度が好ましい。一般に、屋外で動作させる場合、動作温度範囲が広くなる。その結果、扇状パルス光PLのピーク波長が温度と共に変化するため、少なくとも動作温度範囲では、扇状パルス光PLの波長分布は前記透過帯に納まっている必要がある。そこで、光学バンドパスフィルタ24を配置することによって、帯域外の背景光を低減することができる。
 本実施の形態においてVCSEL(垂直共振器面発光レーザ)を使用する場合、ピーク波長の温度シフトは0.07nm/度程度、発光ピークの半値幅が1nm程度、光学バンドパスフィルタ24の透過帯中心波長の温度シフトが0.025nm/度である。このため、85℃から-40℃の温度帯を考慮しても、ピーク波長と透過帯中心波長との相対的な波長シフトは5.6nm程度であり、10nm程度の透過帯域の光学バンドパスフィルタ24を使用することができる。すなわち、透過帯域の狭い光学バンドパスフィルタ24を使用することができるため、背景光信号を抑制することができ、より遠方まで画像を得ることができる。
 尚、偏光フィルタ23、結像光学系22及び光学バンドパスフィルタ24の位置関係は、図1に示す順序である必要はない。例えば、逆の順でもよいし、結像光学系22の前に偏光フィルタ23と光学バンドパスフィルタ24とを配置してもよい。或いは、偏光フィルタ23及び光学バンドパスフィルタ24を、結像光学系22の内部に組み込んでもよい。さらに、偏光フィルタ23を受光部21aの表面に配置してもよく、種々の配置が可能である。偏光フィルタ23としては、近赤外線波長帯で透過率が高く、かつ消光効果の大きいワイヤーグリッドタイプが好ましい。また、雨天用カメラ1Aの用途を豪雨用に限定する場合等、背景光が強くない場合には、光学バンドパスフィルタ24を省略することができる。
 (撮像部)
 次に、受光系20Aの撮像部21Aの詳細構造について、図3に基づいて説明する。図3は、雨天用カメラ1Aに備えられた受光系20Aにおける撮像部21Aの構成を示す図である。
 本実施の形態の撮像部21Aは、通常のCMOSイメージセンサとは異なり、扇状パルス光PLによって照らされる対象視野OVのライン状部分からの光を受光し、画像信号を出力するセンサである。
 一例として、図3に示すように、撮像部21Aの受光部21aには、画素Px(i,j)がM行N列の2次元マトリックスに配置されている。このため、対象視野OVからの光信号が前記結像光学系22によって、このM行N列の2次元マトリックス上に投影される。画素Px(i,j)は、全部が一度に活性化される訳ではない。すなわち、対象視野OVへ向けて照射されるパルス光が扇状パルス光PLであるため、この扇状パルス光PL-kに対応した、k行にある画素のみが活性化される。尚、ここでは、便宜上、扇状パルス光PLは、最下部から最上部に向けて、1からNs(=M)までの番号を付け、対応するPx(i,j)のiは最上部から最下部へ、1からMまでの番号を付ける。この理由は、結像光学系22を介することにより、両者の順番は逆になるためであり、ここでは、このように対応させている。尚、結像光学系22の性質に依存して、この表記を変更することは可能である。
 本実施の形態では、扇状パルス光PL-kが照射される際に、Px(k,j)が活性化される。ここで、Px(k,j)が活性化されるとは、少なくともPx(k,j)において、受光部21aが光信号を受け、光電変換した電気信号を蓄積し、画素から外部へ出力する一連の工程を示している。尚、詳細は後述する。
 図3に示すように、撮像部21Aは、光電変換する受光部21aと、受光部21aの出力を信号記憶処理回路30bへ伝える回路等とを含んでいる。受光部21aとしては、フォトダイオードが用いられる。アバランシェフォトダイオード(アナログモード、ガイガーモード)でもよい。
 撮像部21Aには、扇状パルス光PL-kに対応するk行の画素Px(k,j)の選択をするための回路として、受光部21aに隣接して行選択回路30cが設けられている。行選択回路30cは、選択した行を行制御信号Rα(i)によって、各画素Px(i,j)に伝える。
 行制御信号Rα(i)は、単一の信号線とは限らず、極性や電圧が異なる複数の信号線であってもよい。行選択回路30cは、扇状パルス光照射部12Aの一次元スキャン装置12bの動作と同期して、活性化する第k行を選択する。同期するための信号は、制御部30dから発せられる。
 図3に示すように、各列信号線C(j)は、ノイズキャンセルや増幅を行う列回路CA(j)を経て、列選択スイッチCS(j)を介して水平信号線Rxに繋がっている。また、水平信号線Rxは、信号記憶処理回路30bに繋がっている。尚、列選択スイッチCS(j)は、列選択回路30eによって制御される。
 次に、画素Px(i,j)の詳細構造について、図4に基づいて説明する。図4は、前記撮像部21Aにおける画素Px(i,j)の構成を示す回路図である。
 画素Px(i,j)は、図4に示すように、受光素子31、転送スイッチ32、リセットスイッチ33、画素増幅器34、画素選択スイッチ35、及び容量36等により構成されている。
 本実施の形態の撮像部21Aは、ローリングシャッタ型のCMOSイメージセンサと基本的に同じである。異なる点は、活性化される行の露光時間が短い点である。各行の露光は、対応する扇状パルス光PLの照射開始直後から、
 (2・Dmax/c)+ΔT
までの時間である。ここで、cは光速であり、Dmaxは測定対象までの最大距離であり、ΔTは扇状パルス光PLのパルス幅である。
 例えば、扇状パルス光PLのパルス幅がΔT=100nsecであり、かつ50mまでを測定対象とする場合には、露光時間は最大433nsecになる。これ以降の時間は、測定対象からの扇状パルス光PLの反射光は帰ってこないため、時間を伸ばしても、背景光の信号が増え、SN比が低下するだけである。
 前述した構成の撮像部21Aにおける画素Px(k,j)に関する動作タイミングについて、図5の(a)~(f)に基づいて説明する。図5の(a)~(f)は、撮像部21Aにおける画素の駆動タイミングを示すタイミングチャートである。
 本実施の形態の雨天用カメラ1Aでは、撮像部21Aの露光開始は、扇状パルス光PLの照射開始と同時であれば、直近の対象物まで、撮影対象にできる。しかし、直近の対象物を撮影する必要性が低く、一定距離Dminよりも遠い所の対象物だけを撮影するのであれば、図5の(d)(e)(f)に示すように、照射開始のタイミングから、2・Dmin/cだけ、露光を遅らせてもよい。
 そこで、本実施の形態では、図5の(a)(b)に示すように、露光は転送スイッチ32とリセットスイッチ33とがオンからオフとなるタイミングから始まり、図5の(a)(c)に示すように、転送スイッチ32がオンとなり、画素選択スイッチ35がオンとなるタイミングで終わる。尚、行制御信号R1(i)・R2(i)・R3(i)が、それぞれ、画素選択スイッチ35、リセットスイッチ33、転送スイッチ32のオン/オフを制御する。
 (効果の説明)
 本実施の形態の雨天用カメラ1Aを用いて、雨天において撮像したときの効果について、図6に基づいて説明する。図6は、雨天用カメラ1Aを用いて撮像するときの出射光の光路を示す側面図である。
 図6において光路Aにて示すように、対象物M1まで扇状パルス光PLが到達し、反射して雨天用カメラ1Aに戻ってくる光は、同図に示すように、対象物M1に対して略垂直入射し、かつ垂直反射する場合である。鏡や磨かれた金属板を除けば、このような反射光RL1は拡散反射であり、通常、扇状パルス光PLの偏光性は失われる。したがって、偏光フィルタ23によって、強度は半減するにしても、信号として検知することができる。
 しかし、光路Bのように、扇状パルス光PLが対象物M1に到達するまでに、雨滴RD等によって反射されて、雨天用カメラ1Aの方向に戻ってくる場合、水滴や雪片の物性上、殆ど鏡面反射となる。このため、このような場合の反射光RL2は扇状パルス光PLの偏光状態を維持している。したがって、反射光RL2は、偏光フィルタ23によって、排除することができる。本実施の形態では、扇状パルス光PLの偏光状態と偏光フィルタ23の偏光状態とは直交しているためである。
 尚、雨滴RDや対象部による多重反射光に関しては、多重反射によって偏光性を失っている。このため、偏光フィルタ23では排除できない。しかし、扇状パルス光PL-kの照射下において、画素Px(k,j)だけを受光することによって、雨滴RDや対象部による多重反射光を大幅に低減することができる。
 すなわち、光路Cのように、扇状パルス光PL-kの照射によって、近くの対象物M2や雨滴RDに反射された光が、別の雨滴RD又は対象物M2によって、画素Px(k,j)の方向に反射される確率は、ゼロではないにしても、非常に小さい。なぜなら、そのような光を受光するためには、複数回の反射が、扇状パルス光PL-kが進む平面上で生じなければならないが、そのような確率は非常に小さいからである。
 ここで、ライン状に照明し、ライン状に受光する構成を取らない場合、例えばグローバルシャッタのイメージセンサを用いる場合には、対象視野OV全体を扇状パルス光PLがスキャンしている間中、露光状態にしておく必要がある。その結果、グローバルシャッタのイメージセンサでは、所定の画素Px(k,j)には、扇状パルス光PL-k以外のパルス光からの多重反射光も届く。このような、多重反射は1ライン分だけなら、上述のように大きくはないが、全スキャン分が加算されれば無視できない量となる。このように、本実施の形態では、ライン状に照明し、そのラインの信号だけを信号として取り込むことによって、多重反射光も抑制することができる。
 前記の効果について、実際に、実現できるか否かについて、後述する実施例に示すように、自動車の運転が危険と言われている50mm/時の降水を想定し、水滴の平均粒径が5mmの環境において、雨天用カメラ1Aから一定の距離においた反射率50%の拡散反射性の反射面を持つ物体に対して、水滴を除去して撮像できるか否か実験した。
 その結果、本実施の形態の雨天用カメラ1Aによって、雨天時において、比較的長距離まで鮮明な画像を得ることが可能であることが確認できた。雨天用カメラ1Aは、少なくとも30m以上、好ましくは50m以上離れた距離にある対象物を降雨環境下で検知することを目的としている。したがって、比較的長距離とは少なくとも30m以上、好ましくは50m以上である。
 このように、本実施の形態における撮像装置としての雨天用カメラ1Aは、パルス光を発する光源11Aと、光源11Aの発するパルス光を一方向にスキャンすると共に、スキャンするときに該スキャンされるパルス光を、スキャン方向とは垂直な方向に広げ、かつ該スキャン方向とは垂直方向に偏光した状態で対象物に放射する照射部としての扇状パルス光照射部12Aと、対象物からの反射光を受光して画素に露光させる撮像部21Aと、撮像部21Aに受光される反射光のうち、スキャン方向と平行に偏光した光を透過する偏光フィルタ23とを備える。そして、撮像部21Aは、パルス光のスキャンに同期する画素のみを露光する。
 このため、一方向としての縦方向にスキャンするときには、光源11Aから発せられたパルス光は、スキャン方向とは垂直な方向である水平方向に広げられて、対象物に放射される。また、この放射されたパルス光は、スキャン方向とは垂直方向に偏光している。つまり、縦方向にスキャンされるので、パルス光は水平方向に平行な偏光を有している。この結果、所定厚みを有する扇状の水平偏光パルス光を縦方向にスキャンしながら放射することになり、対象物全体に光を与えることができるものとなる。
 一方、対象物から反射された光は、偏光フィルタ23を介して撮像部21Aに入射され、撮像部21Aの画素に露光される。
 この結果、本実施の形態の雨天用カメラ1Aでは、所定厚みを有する扇状の水平偏光パルス光を縦方向にスキャンしながら放射するので、対象物の一部に対しても大きな光量のパルス光を照射することができる。さらに、撮像部21Aは、パルス光のスキャンに同期する画素のみを露光するので、対象物の一部に対しても大きな光量で照射されたパルス光の反射光のみ画素に露光する。
 また、本実施の形態では、撮像部21Aに受光される反射光のうち、スキャン方向と平行に偏光した光を透過する偏光フィルタ23を備えている。このため、戻ってきた雨滴の反射光の偏光方向と偏光フィルタ23の偏光方向とは互いに直交するので、戻ってきた雨滴の反射光は、偏光フィルタ23に遮られて撮像部21Aの画素には露光されない。この結果、雨滴の反射光を除去することができる。
 尚、雨滴からの反射光が別の物体での反射を経て受光される雨滴の多重反射光に関しては、多重反射によって偏光性を失っている。このため、偏光フィルタ23では排除できない。しかし、本実施の形態では、撮像部21Aはパルス光のスキャンに同期する画素のみを露光するので、照射領域の全てを同時に露光するのに比べて、多重反射光を大幅に低減することができる。
 したがって、降水環境において、比較的長距離まで鮮明な画像を得ることができる雨天用カメラ1Aを提供することができる。また、これにより、自動車事故等を防ぐことができる。
 また、本実施の形態における雨天用カメラ1Aでは、パルス光は、赤外線である。これにより、赤外線は、人の目に見えないため、邪魔にならない。また、赤外線等の長波長程、動物の目に対する安全性が高い。さらに、波長が長い程、背景光強度も低下するため好ましい。
 また、本実施の形態における雨天用カメラ1Aでは、光源11Aは、直線偏光した光を放射する半導体レーザチップであることが好ましい。これにより、半導体レーザチップの向きを整えることによって、直線偏光のパルス光を容易に出力することができる。
 また、本実施の形態における雨天用カメラ1Aでは、扇状パルス光照射部12Aは、光源11Aの発するパルス光を一方向にスキャンする一次元スキャン装置12bと、スキャンされるパルス光を、スキャン方向とは垂直な方向に広げて対象物に放射する扇状ビーム生成器12cと備えている。
 これにより、光源を発したパルス光は、スキャン装置とビーム生成器とをこの順に通過する。この結果、光源11Aから発せられたスポット光を効率よく扇状に広げることが可能となる。
 また、本実施の形態における雨天用カメラ1Aでは、反射光における一定幅の波長帯のパルス光を透過させる光学バンドパスフィルタ24を備えていることが好ましい。
 このように、画素に入射される前に、パルス光の中心波長を含む一定幅の波長帯の光のみを透過させる光学バンドパスフィルタ24を備えておくことによって、大部分の背景光をカットすることができる。したがって、得られる画像のSN比を高めることができる。
 また、本実施の形態における雨天用カメラ1Aでは、扇状パルス光照射部12Aにおけるパルス光を一方向にスキャンさせるときのスキャン方向は、鉛直方向である。
 これにより、例えば、雨天用カメラ1Aを車載カメラに適用する場合、対象物となる一般の建物等の高さは限られている。このため、スキャンの角度を狭くすることが可能となる。
 また、本実施の形態における雨天用カメラ1Aでは、扇状ビーム生成器12cは、パウエルレンズであることが好ましい。
 すなわち、パウエルレンズの形状は、丸みを帯びたルーフをもつ円柱型のプリズムによく似ている。このため、パウエルレンズは、所謂レーザーラインジェネレータとして機能し、レーザビームを均一な強度の直線形状に伸張することができる。具体的には、生成されるビームライン両端部での強度を増加させつつ、センター部分の強度を減少させる。したがって、光源から発せられたパルス光を扇状に広げるのに好適である。
 また、本実施の形態における雨天用カメラ1Aでは、一次元スキャン装置12bは、MEMSミラー素子であることが好ましい。MEMSミラー素子は、MEMS (Micro-Electro-Mechanical Systems)技術を応用した電磁駆動式のミラーである。ミラーの下に磁石を配置することによって、超小型を実現することができる。磁石の磁界中において、ミラー周辺のコイルに電流を流すと、フレミングの法則によってローレンツ力が発生し、ミラーを駆動することができる。これにより、低消費電力と共に、広い光学的振れ角、高いミラー反射率を実現することができる。
 また、本実施の形態における雨天用カメラ1Aでは、降雨、降雪又は霧時に駆動可能であることが好ましい。これにより、雨、雪又は霧の影響を回避して、鮮明な画像を取得することができるので、降雨、降雪又は霧時に特に効果を発揮することができる。
 〔実施の形態2〕
 本発明の他の実施の形態について図7~図9に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、前記実施の形態1と同じである。また、説明の便宜上、前記の実施の形態1の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
 (雨天用カメラの概要)
 本実施の形態の雨天用カメラ1Bは、前記実施の形態1の雨天用カメラ1Aの構成に比べて、パルス光照明系10B及び受光系20Bの構成が異なっている。
 本実施の形態の雨天用カメラ1Bの構成について、図7~9に基づいて説明する。図7は、本実施の形態における雨天用カメラ1Bの全体構成を示すブロック図である。図8は、雨天用カメラ1Bに備えられたパルス光照明系10Bの扇状パルス光照射部12Bの構成を示す斜視図である。図9は、雨天用カメラ1Bに備えられた受光系20Bにおける撮像部21Bの構成を示す図である。
 前記実施の形態1の雨天用カメラ1Aでは、扇状パルス光PLは扇面が水平方向に広がり、かつ垂直方向にスキャンされていた。これに対して、本実施の形態の雨天用カメラ1Bでは、図8に示すように、扇状パルス光PLvは扇面が垂直方向に広がり、かつ水平方向にスキャンされるようになっている。また、扇状パルス光PLvの偏光方向も、実施の形態1の雨天用カメラ1Aでは水平方向に偏光していたのに対し、本実施の形態の雨天用カメラ1Bでは、垂直方向に直線偏光している。
 また、本実施の形態では、図7に示す受光系20Bは、偏光フィルタ23vの偏光方向が、扇状パルス光PLvの偏光方向に対して垂直な方向ではあるが、水平方向に配置されている点で、実施の形態1とは異なっている。この結果、本実施の形態では、スキャン方向が変わるため、図9に示すように、撮像部21Bでは、受光部21bの回路配置が撮像部21Aに比べて、縦横方向が入れ替わる。
 尚、他の構成、例えば、赤外線を用いる利点、半導体レーザを用いる利点、一次元スキャン装置13bと扇状ビーム生成器13cの光路上の順序、一次元スキャン装置13bとしてMEMSミラー素子を使う利点、及び扇状ビーム生成器13cとしてパウエルレンズを使う利点等は、実施の形態1の雨天用カメラ1Aと変わりない。
 (パルス光照明系)
 以下、本実施の形態の雨天用カメラ1Bの各要素について詳述する。最初に、パルス光照明系10Bについて説明する。
 図8に示すように、本実施の形態のパルス光照明系10Bの扇状パルス光照射部12Bは、図7に示す光源11Bから、コリメート光発生器13a、一次元スキャン装置13b及び扇状ビーム生成器13cまでの光軸は、X-Z面に配置されている。すなわち、実施の形態1の雨天用カメラ1AではY-Z面に配置されており、この点が、本実施の形態の雨天用カメラ1Bは雨天用カメラ1Aと異なっている。
 また、本実施の形態では、パルス光照明系10Bの光源11Bは、発生する扇状パルス光PLvの偏光方向が、実施の形態1と異なっている。
 すなわち、非偏光光を偏光子で直線偏光にする場合には、偏光子の向きが実施の形態1とは90度異なり、垂直方向に偏光した光を出力する。ここで、光源11Bが端面発光型の半導体レーザチップを備えている場合は、半導体レーザチップの半導体活性層が、垂直方向と平行となるように、チップの向きを整えることによって、垂直方向に偏光したパルス光を出力することができる。
 本実施の形態では、扇状パルス光PLvは垂直面内では扇状に広がっており、その広がり角度を垂直方向の広がり角度θvとする。一方、水平面内の広がり角度は小さく、ビーム厚Δθ(半値幅)とする。ここで、垂直方向の広がり角度θv>>ビーム厚Δθ(半値幅)である。
 この扇状パルス光PLvを水平方向に、水平面内の広がり角度θh内でスキャンすることによって、水平面内の広がり角度がθhであり、かつ垂直方向の広がり角度がθvの対象視野OVを順次光照射することができる。尚、水平面内の広がり角度θh>ビーム厚Δθ(半値幅)である。
 照射される水平方向の角度の異なる扇状パルス光PLvを区別する必要がある場合は、扇状パルス光PLv-1~扇状パルス光PLv-Naと記すことにする。Naは水平方向のスキャン総数である。
 扇状パルス光PLvは対象視野OV内において、均一であることが好ましいが、光強度が強い場所の検出感度が高くなる。このため、対象視野OV内において、特に注視する必要がある場所が存在する場合は、その付近の強度を強化した光強度分布とすることも可能である。
 扇状パルス光照射部12Bは、図8に示すように、光源11Bの光を、略平行なスポット光SLv(X-Z面内)に整形するコリメート光発生器13aと、スポット光SLvを水平方向(X方向)に振る一次元スキャン装置13bと、一次元スキャン装置13bによって水平方向の進行角度を変えられたスポット光SLvを扇状に広げる扇状ビーム生成器13cとを少なくとも含む。図8では、半導体レーザチップの活性層は、Y軸と平行に配置されている。コリメート光発生器13aは、コリメータレンズを含み、光源11Bの偏光状態を保つ。一次元スキャン装置13bは、垂直面(Y-Z面)内の一軸(Y軸とする)の回りに回転運動する反射面を有するMEMSミラー素子等により構成される。
 一次元スキャン装置13bの反射面に入射するスポット光SLvの偏光方向は、反射面と平行であるため、反射によって偏光状態を変えることはない。
 扇状ビーム生成器13cは、例えばパウエルレンズを含む。例えば、コリメート光発生器13aによって、発散角1.5度程度、かつ口径6mmのパウエルレンズの入射部での径が1.0mm程度のスポット光SLvを形成し、MEMSミラー素子からなる一次元スキャン装置13bによって、レーザ光を水平面に対して、±16度振る。
 前記パウエルレンズはレーザ光を垂直面内の広がり角度θv=24度、及びビーム厚Δθ(半値幅)Δθ=0.05度で放射する。このため、この扇状パルス光PLvは水平面内の広がり角度θh=32度、及び垂直方向の広がり角度θv=24度の範囲を照射することができる。
 以上の構成により、扇面と平行に偏光した扇状パルス光PLvを対象視野OV全体に照射することができる。MEMSミラー素子は振れ角等の相違はあるが、実施の形態1と同様の装置を使用することができる。
 また、光源11Bは、撮像部21Bと同期して、パルス発光する。発光強度やパルス幅(発光時間の半値幅)は可変であってもよい。ここで、パルス光のパルス幅は1nsecから数百nsec程度である。パルス光のピークパワーは数Wから数百Wである。
 本実施の形態では、雨天用カメラ1Bが、毎秒30フレームのデータを取得し、各フレームの画素分解能が0.05度、及び水平面内の広がり角度θh=32度の場合、例えば、1フレームは水平方向に進行角度が異なる640個の扇状パルス光PLv-1から扇状パルス光PLv-640が照射される。扇状パルス光PLv-kの照射に割り当てられる時間は、1/19200秒であり、この間に一次元スキャン装置13bの反射面の角度を設定値に変更し、光源11Bをパルス発光させる。各扇状パルス光PLv-kは,1発のパルスを対象物に照射し、画像信号を取得するため、パルス光の発光周期は凡そ19.2kHzである。
 (撮像部)
 図9に示すように、本実施の形態の撮像部21Bの受光部21bは、画素Pxa(i,j)をM行N列の2次元マトリックスに配置されており、対象視野OVからの光信号が結像光学系22によって、このM行N列の2次元マトリックス上に投影される点は実施の形態1と変わりない。尚、便宜上、扇状パルス光PLvは、対象視野に向かって左から右に向けて、1からNa(=N)までの番号を付け、対応するPxa(i,j)のjは左から右へ1からMまでの番号を付ける。結像光学系22を介して、両者の順番は逆になるため、このように対応させている。尚、結像光学系22の性質に依存して、この並びを変更することは可能である。
 本実施の形態では、垂直方向に広がった扇状パルス光PLv-kに対応した、k列にある画素のみがパルス光反射光を受光するため、該当する画素Pxa(i,k)を列毎に活性化する点で、実施の形態1とは行と列の回路の役割が入れ替わっている。
 具体的には、画素Pxa(i,j)は、実施の形態1の画素Px(i,j)に対して、信号線が行側に配置され(行信号線Rs(i))、制御信号線が列側に配置されている(Cα(i))。尚、画素Pxa(i,j)については、これ以外の構成は、実施の形態1の画素Px(i,j)と同じであるので、内部の回路構成に関する説明は省略する。
 また、本実施の形態では、扇状パルス光PLv-kに対応するk列の画素Pxa(i,k)を選択するための回路として、受光部21bに隣接して列選択回路31eが設けられている。さらに、列選択回路31eの信号を各画素Pxa(i,j)に伝える列制御信号Cα(j)が設けられている。列制御信号Cα(j)は、扇状パルス光照射部12Bの一次元スキャン装置13bの動作と同期して、活性化するk列を選択する。同期するための信号は制御部31dから発せられる。
 行信号線Rs(i)は、ノイズキャンセルや増幅を行う行回路RA(i)を経て、行選択スイッチRS(i)を介して垂直信号線Cxに繋がり、垂直信号線Cxは信号記憶処理回路31bに繋がっている。行選択スイッチRS(i)は、行選択回路31cによって制御される。
 以上のように、撮像部21Bは、行列の配置が逆転しているものの、実施の形態1の撮像部21Aと同様の構成であり、基本的には同じ技術を適用できる。
 また、本実施の形態の雨天用カメラ1Bは、実施の形態1の雨天用カメラ1Aと扇状パルス光PLvのスキャン方向が異なり、偏光の方向も90度異なるが、全く同様に、降水環境で良好な撮像結果を得ることができる。
 このように、本実施の形態における雨天用カメラ1Bでは、扇状パルス光照射部12Bにおけるパルス光を一方向にスキャンさせるときのスキャン方向は、水平方向である。
 これにより、例えば、雨天用カメラ1Bを車載カメラに適用する場合、対象物として道路の前方のみを撮像する場合には、道路の幅は限られている。このため、スキャンの角度を狭くすることが可能となる。
 〔実施の形態3〕
 本発明のさらに他の実施の形態について図10に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、前記実施の形態1と同じである。また、説明の便宜上、前記の実施の形態1の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
 本実施の形態の雨天用カメラ1Aは、前記実施の形態1の雨天用カメラ1Aの構成に比べて、ハード的には変更はなく、スキャン方法と撮像部21Aの駆動方法とが異なっている。
 本実施の形態の雨天用カメラ1Aの扇状パルス光照射部12Aのスキャン方法及び撮像部21Aの駆動方法について、図10の(a)~(f)に基づいて説明する。図10の(a)~(f)は、撮像部21Aにおける画素の駆動タイミングを示すタイミングチャートである。
 本実施の形態の雨天用カメラ1Aを、例えば車両用のカメラとして適用することを考える。車両用のカメラでは、近距離でも対象視野OVとして道路幅全体をカバーしようとすれば、広い視野角が必要となる。しかし、遠方だけを注視する場合には、より狭い視野角で十分である。特に、降雨量が多く、視界が悪い場合には、道路上をできる限り遠方まで監視したい場合がある。
 このような場合、パルス光照明系10Aは、対象視野OVの全体ではなく、例えば、対象視野OVの任意の半分だけに集中して扇状パルス光PLをスキャンすることができる。
 この場合、図10の(a)~(f)に示すように、連続する2発のパルス光1及びパルス光2を用いて対象視野OVを露光することによって照射領域の信号強度を2倍にすることができる。尚、本実施の形態では、以降、これを「2パルス露光」と呼ぶ。
 これにより、撮像できる距離を大幅に伸ばすことができる。すなわち、測定する最大距離Dmaxは、実施の形態1よりは大きくなる。例えば、実施の形態1と同じ条件では、最大距離Dmaxは約1.4倍となる。
 ここで、実施の形態1では、扇状パルス光PLの発光周波数は14.4kHzであったが、パルス光1とパルス光2との発光間隔は、縮めなければならない。この理由は、発光周波数は14.4kHzでは、連続する発光の間に69000nsec程度の時間が存在し、そのままでは、背景光によるノイズが信号を上回ってしまうからである。したがって、パルス光1の発光後、2・Dmax/c+ΔT(数百nsec程度)よりも長く、かつできるだけ短い時間をおいて、パルス光2を発光することが好ましい。ここで、パルス光1とパルス光2との発光タイミングの時間差と2・Dmax/c+ΔTとの差をΔTiとする。ΔTiは、短い程好ましい。
 尚、連続するさらに多くのパルス光に対して、露光することも可能である。また、例えば、フレーム数を半減すれば、それに応じて、全対象視野OVに対して2パルス光露光を行うこともできる。さらに、パルス光照明系10Aの能力と、レーザ照射に関する安全性基準の制約との範囲内において、目的に応じて、発光方式とスキャン方式とを設定することができる。
 尚、前述の説明では、実施の形態1の雨天用カメラ1Aに2パルス光露光を採用することについて説明した。しかし、必ずしもこれに限らず、2パルス光露光は、実施の形態2の雨天用カメラ1Bのハードウエアに対しても、同様の複数パルス光に対する露光制御が可能である。
 本実施の形態の雨天用カメラ1Aの効果を検証するために、自動車の運転が危険と言われている50mm/時の降水を想定し、水滴の平均粒径が5mmの環境において、雨天用カメラ1Aから一定の距離においた反射率50%の拡散反射性の反射面を持つ物体に対して、水滴を除去して撮像できるか否か実験した。
 実験条件として、光源11Aは波長800nmのレーザ光を、パルス幅(半値幅)100nsec、かつピークパワー100Wで発光させた。水平面内の広がり角度θh=32度とし、ビーム厚Δθ(半値幅)=0.05度とし、垂直方向の広がり角度θv=24度の範囲をスキャンした。尚、垂直方向には480ステップのスキャンを行っている。
 受光系20Aの具体的構成は、撮像部21Aの画素サイズが10μm角であり、フォトダイオードの大きさは約7μm角相当であり、水平方向に640画素及び垂直方向に480画素を配置した。つまり、VGA相当である。受光部21aの大きさは、6.4mm×4.8mmである。結像光学系22は、焦点距離f=11.2mm、かつF=1.2のレンズを用いた。視野角は32度である。画素サイズから、視野内の角度分解能は0.05度であり、扇状パルス光PLのビーム厚Δθ(半値幅)と同じである。光学バンドパスフィルタ24は、中心波長800nm、かつ透過帯幅10nmのものを配置した。
 また、撮像部21Aの露光タイミングとしては、光源11Aの発光と同時に開始し、433nsecまで露光した。扇状パルス光PLの発光がない場合は、信号は全く暗時ノイズと同じレベルであった。
 その結果、距離50mでも、微弱ながら(ノイズレベルの約2倍の信号強度)、物体を撮像することができた。距離50mでは、雨がない場合に比べて、約10%信号量が少なくなっており、この程度の光量が雨滴による散乱によって、光路から外れたと考えられる。
 一方、2パルス露光の実験として、Dmin=3m、Dmax=70m、ΔTi=10nsecとして、パルス光1の発光後、577sec後にパルス光2を発光した。露光時間は、1123nsecであった。距離50mでの信号強度は、前述の1パルス露光に比べてほぼ2倍となり、画像がより明瞭となった。さらに、最大距離70mにおいても、対象物を識別することができた。
 〔まとめ〕
 本発明の態様1における撮像装置(雨天用カメラ1A・1B)は、パルス光を発する光源11A・11Bと、前記光源11A・11Bの発するパルス光を一方向にスキャンすると共に、スキャンするときに該スキャンされるパルス光を、スキャン方向とは垂直な方向に広げ、かつ該スキャン方向とは垂直方向に偏光した状態で対象物に放射する照射部(扇状パルス光照射部12A・12B)と、前記対象物からの反射光を受光して画素に露光させる撮像部21A・21Bと、前記撮像部21A・21Bに受光される反射光のうち、前記スキャン方向と平行に偏光した光を透過する偏光フィルタ23・23vとを備え、前記撮像部21A・21Bは、前記パルス光のスキャンに同期する画素のみを露光することを特徴としている。
 上記の構成によれば、照射部は、光源の発するパルス光を一方向にスキャンすると共に、スキャンするときに該スキャンされるパルス光を、スキャン方向とは垂直な方向に広げ、かつ該スキャン方向とは垂直方向に偏光した状態で対象物に放射する。
 このため、一方向としての例えば縦方向にスキャンするときには、光源から発せられたパルス光は、スキャン方向とは垂直な方向である水平方向に広げられて、対象物に放射される。また、この放射されたパルス光は、スキャン方向とは垂直方向に偏光している。つまり、縦方向にスキャンされる場合は、水平方向に平行な偏光を有している。この結果、所定厚みを有する扇状の水平偏光パルス光を縦方向にスキャンしながら放射することになり、対象物全体に光を与えることができるものとなる。
 一方、対象物から反射された光は、偏光フィルタを介して撮像部に入射され、撮像部の画素に露光される。
 この結果、従来の撮像装置では、対象物に対して全体的に照射していたので、対象物の一部に照射される光量は小さく、そのため、対象物の一部から反射されて撮像部に入力される反射光の光量も小さいものであった。
 これに対して、本発明の一態様では、前述したように、所定厚みを有する扇状の水平偏光パルス光を縦方向にスキャンしながら放射するので、対象物の一部に対しても大きな光量のパルス光を照射することができる。さらに、本発明の一態様では、撮像部は、パルス光のスキャンに同期する画素のみを露光するので、対象物の一部に対しても大きな光量で照射されたパルス光の反射光のみ画素に露光する。
 この結果、本発明の一態様では、遠方での照射強度が大きく、測定範囲を遠距離にすることが可能となる。
 ところで、一般的に、対象物にパルス光を照射した場合、対象物の表面は粗面となっている場合が多いので反射光は散乱光となる。このため、反射光の偏光状態も変化する。これに対して、パルス光が雨滴に照射されたときの反射光は、雨滴の表面が鏡面と看做せるため、反射光の偏光状態が変化しない。この結果、雨滴に照射されたときの反射光は、水平の偏光状態を維持して、撮像部に戻ってくる。ここで、本発明の一態様では、撮像部に受光される反射光のうち、スキャン方向と平行に偏光した光を透過する偏光フィルタを備えている。このため、戻ってきた雨滴の反射光の偏光方向と偏光フィルタの偏光方向とは互いに直交するので、戻ってきた雨滴の反射光は、偏光フィルタに遮られて撮像部の画素には露光されない。この結果、雨滴の反射光を除去することができる。
 尚、雨滴からの反射光が別の物体での反射を経て受光される雨滴の多重反射光に関しては、多重反射によって偏光性を失っている。このため、偏光フィルタでは排除できない。しかし、本発明の一態様では、撮像部はパルス光のスキャンに同期する画素のみを露光するので、照射領域の全てを同時に露光するのに比べて、前記多重反射光を大幅に低減することができる。
 したがって、降水環境において、比較的長距離まで鮮明な画像を得ることができる撮像装置を提供することができる。
 本発明の態様2における撮像装置(雨天用カメラ1A・1B)では、前記パルス光は、赤外線であることが好ましい。
 これにより、赤外線は、人の目に見えないため、邪魔にならない。また、赤外線等の長波長程、動物の目に対する安全性が高い。さらに、波長が長い程、背景光強度も低下するため好ましい。
 本発明の態様3における撮像装置(雨天用カメラ1A・1B)では、前記光源11A・11Bは、直線偏光した光を放射する半導体レーザチップであることが好ましい。
 これにより、半導体レーザチップの向きを整えることによって、直線偏光のパルス光を容易に出力することができる。
 本発明の態様4における撮像装置(雨天用カメラ1A・1B)では、前記照射部(扇状パルス光照射部12A・12B)は、前記光源11A・11Bの発するパルス光を一方向にスキャンするスキャン装置(一次元スキャン装置12b・13b)と、前記スキャンされるパルス光を、スキャン方向とは垂直な方向に広げて対象物に放射するビーム生成器(扇状ビーム生成器12c・13c)と備えている。
 これにより、光源を発したパルス光は、スキャン装置とビーム生成器とをこの順に通過する。この結果、スキャン装置を用いて光源の発するパルス光を一方向にスキャンした後、ビーム生成器を用いてスキャンされるパルス光を、スキャン方向とは垂直な面内に広げて対象物に放射する。したがって、光源から発せられたスポット光を効率よく扇状に広げることが可能となる。
 本発明の態様5における撮像装置(雨天用カメラ1A・1B)では、前記反射光における一定幅の波長帯のパルス光を透過させるフィルタ(光学バンドパスフィルタ24)を備えていることが好ましい。
 一般に、屋外で撮像装置の撮像を行う場合、雨天であっても暗闇とは限らず、背景光が存在するため、動作温度範囲が広くなる。その結果、パルス光のピーク波長が温度と共に変化するため、帯域外の背景光が画素に入射される可能性がある。そこで、画素に入射される前に、パルス光の中心波長を含む一定幅の波長帯の光のみを透過させるフィルタを備えておくことによって、大部分の背景光をカットすることができる。
 したがって、得られる画像のSN比を高めることができる。
 本発明の態様6における撮像装置(雨天用カメラ1A)では、前記照射部(扇状パルス光照射部12A)における前記パルス光を一方向にスキャンさせるときのスキャン方向は、鉛直方向である。
 これにより、例えば、撮像装置を車載カメラに適用する場合、対象物となる一般の建物等の高さは限られている。このため、スキャンの角度を狭くすることが可能となる。
 本発明の態様7における撮像装置(雨天用カメラ1B)では、前記照射部(扇状パルス光照射部12B)における前記パルス光を一方向にスキャンさせるときのスキャン方向は、水平方向である。
 これにより、例えば、撮像装置を車載カメラに適用する場合、対象物として道路の前方のみを撮像する場合には、道路の幅は限られている。このため、スキャンの角度を狭くすることが可能となる。
 本発明の態様8における撮像装置(雨天用カメラ1A・1B)では、前記ビーム生成器(扇状ビーム生成器12c・13c)は、パウエルレンズであることが好ましい。
 すなわち、パウエルレンズの形状は、丸みを帯びたルーフをもつ円柱型のプリズムによく似ている。このため、パウエルレンズは、所謂レーザーラインジェネレータとして機能し、レーザビームを均一な強度の直線形状に伸張することができる。具体的には、生成されるビームライン両端部での強度を増加させつつ、センター部分の強度を減少させる。
 したがって、光源から発せられたパルス光を扇状に広げるのに好適である。
 本発明の態様9における撮像装置(雨天用カメラ1A・1B)では、前記スキャン装置(一次元スキャン装置12b・13b)は、MEMSミラー素子であることが好ましい。
 MEMSミラー素子は、MEMS (Micro-Electro-Mechanical Systems)技術を応用した電磁駆動式のミラーである。ミラーの下に磁石を配置することによって、超小型を実現することができる。磁石の磁界中において、ミラー周辺のコイルに電流を流すと、フレミングの法則によってローレンツ力が発生し、ミラーを駆動することができる。これにより、低消費電力と共に、広い光学的振れ角、高いミラー反射率を実現することができる。
 本発明の態様10における撮像装置(雨天用カメラ1A・1B)では、前記撮像部の露光は、複数のパルス光に対して行われるとすることが可能である。
 これにより、照射領域の信号強度を複数倍にすることができるので、撮像できる距離を大幅に伸ばすことができる。
 本発明の態様11における撮像装置(雨天用カメラ1A・1B)では、降雨、降雪又は霧時に駆動可能であることが好ましい。
 これにより、雨、雪又は霧の影響を回避して、鮮明な画像を取得することができるので、降雨、降雪又は霧時に特に効果を発揮することができる。
 尚、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
 1A・1B    雨天用カメラ(撮像装置)
10A・10B   パルス光照明系
11A・11B   光源
12a・13a   コリメート光発生器
12A・12B   扇状パルス光照射部(照射部)
12b・13b   一次元スキャン装置(スキャン装置)
12c・13c   扇状ビーム生成器(ビーム生成器)
20A・20B   受光系
21A・21B   撮像部
21a・21b   受光部
30b・31b   信号記憶処理回路
30c・31c   行選択回路
30d・31d   制御部
30e・31e   列選択回路
22        結像光学系
23・23v    偏光フィルタ
24        光学バンドパスフィルタ(フィルタ)
31        受光素子
32        転送スイッチ
33        リセットスイッチ
34        画素増幅器
35        画素選択スイッチ
36        容量
M1・M2     対象物
RD        雨滴
Px(i,j)   画素
Pxa(i,j)  画素
θh        水平面内の広がり角度
θv        垂直方向の広がり角度
Δθ        ビーム厚

Claims (11)

  1.  パルス光を発する光源と、
     前記光源の発するパルス光を一方向にスキャンすると共に、スキャンするときに該スキャンされるパルス光を、スキャン方向とは垂直な方向に広げ、かつ該スキャン方向とは垂直方向に偏光した状態で対象物に放射する照射部と、
     前記対象物からの反射光を受光して画素に露光させる撮像部と、
     前記撮像部に受光される反射光のうち、前記スキャン方向と平行に偏光した光を透過する偏光フィルタとを備え、
     前記撮像部は、前記パルス光のスキャンに同期する画素のみを露光することを特徴とする撮像装置。
  2.  前記パルス光は、赤外線であることを特徴とする請求項1に記載の撮像装置。
  3.  前記光源は、直線偏光した光を放射する半導体レーザチップであることを特徴とする請求項1又は2に記載の撮像装置。
  4.  前記照射部は、
     前記光源の発するパルス光を一方向にスキャンするスキャン装置と、
     前記スキャンされるパルス光を、スキャン方向とは垂直な方向に広げて対象物に放射するビーム生成器と備えていることを特徴とする請求項1~3のいずれか1項に記載の撮像装置。
  5.  前記反射光における一定幅の波長帯のパルス光を透過させるフィルタを備えていることを特徴とする請求項1~4のいずれか1項に記載の撮像装置。
  6.  前記照射部における前記パルス光を一方向にスキャンさせるときのスキャン方向は、鉛直方向であることを特徴とする請求項1~5のいずれか1項に記載の撮像装置。
  7.  前記照射部における前記パルス光を一方向にスキャンさせるときのスキャン方向は、水平方向であることを特徴とする請求項1~5のいずれか1項に記載の撮像装置。
  8.  前記ビーム生成器は、パウエルレンズであることを特徴とする請求項4に記載の撮像装置。
  9.  前記スキャン装置は、MEMSミラー素子であることを特徴とする請求項4に記載の撮像装置。
  10.  前記撮像部の露光は、複数のパルス光に対して行われることを特徴とする請求項1~9のいずれか1項に記載の撮像装置。
  11.  降雨、降雪又は霧時に駆動可能であることを特徴とする請求項1~10のいずれか1項に記載の撮像装置。
PCT/JP2018/017963 2017-06-13 2018-05-09 撮像装置 WO2018230203A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/620,472 US11172108B2 (en) 2017-06-13 2018-05-09 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-116204 2017-06-13
JP2017116204 2017-06-13

Publications (1)

Publication Number Publication Date
WO2018230203A1 true WO2018230203A1 (ja) 2018-12-20

Family

ID=64658690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017963 WO2018230203A1 (ja) 2017-06-13 2018-05-09 撮像装置

Country Status (2)

Country Link
US (1) US11172108B2 (ja)
WO (1) WO2018230203A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020034965A (ja) * 2018-08-27 2020-03-05 セイコーエプソン株式会社 光射出装置および画像表示システム
GB202004950D0 (en) * 2020-04-03 2020-05-20 Secr Defence Computer implemented method for detecting pulsed radiation
CN114179723A (zh) * 2020-09-14 2022-03-15 宝能汽车集团有限公司 雨天驾车辅助装置及其控制方法、车辆
CN114217493A (zh) * 2021-12-23 2022-03-22 深圳市华拓半导体技术有限公司 一种光学成像系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09145321A (ja) * 1995-11-17 1997-06-06 Minolta Co Ltd 3次元計測のための投光装置及び撮像装置
JP2016057365A (ja) * 2014-09-05 2016-04-21 船井電機株式会社 画像投影装置
WO2016182985A1 (en) * 2015-05-10 2016-11-17 Magik Eye Inc. Distance sensor
JP2016224021A (ja) * 2015-06-03 2016-12-28 上田 智章 デプスカメラ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141105A (en) 1995-11-17 2000-10-31 Minolta Co., Ltd. Three-dimensional measuring device and three-dimensional measuring method
US7733464B2 (en) 2002-08-05 2010-06-08 Elbit Systems Ltd. Vehicle mounted night vision imaging system and method
US10051247B2 (en) 2014-09-05 2018-08-14 Funai Electric Co., Ltd. Image projection apparatus
US10360459B2 (en) * 2016-04-06 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Detection device, detection method, and non-transitory computer-readable recording medium storing detection program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09145321A (ja) * 1995-11-17 1997-06-06 Minolta Co Ltd 3次元計測のための投光装置及び撮像装置
JP2016057365A (ja) * 2014-09-05 2016-04-21 船井電機株式会社 画像投影装置
WO2016182985A1 (en) * 2015-05-10 2016-11-17 Magik Eye Inc. Distance sensor
JP2016224021A (ja) * 2015-06-03 2016-12-28 上田 智章 デプスカメラ

Also Published As

Publication number Publication date
US11172108B2 (en) 2021-11-09
US20200120247A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
US10018724B2 (en) System and method for scanning a surface and computer program implementing the method
US11212512B2 (en) System and method of imaging using multiple illumination pulses
US7418115B2 (en) Iris imaging using reflection from the eye
US7428320B2 (en) Iris imaging using reflection from the eye
WO2018230203A1 (ja) 撮像装置
JP6387407B2 (ja) 周辺検知システム
US11675064B2 (en) Optical radar apparatus
JP6293134B2 (ja) 立体ゲーテッド画像システム及び方法
US10571574B1 (en) Hybrid LADAR with co-planar scanning and imaging field-of-view
US20140009611A1 (en) Camera System and Method for Observing Objects at Great Distances, in Particular for Monitoring Target Objects at Night, in Mist, Dust or Rain
US11614517B2 (en) Reducing interference in an active illumination environment
US11792383B2 (en) Method and system for reducing returns from retro-reflections in active illumination system
EP3726247B1 (en) Lidar imaging apparatus for a motor vehicle
US11561287B2 (en) LIDAR sensors and methods for the same
JPH0719861A (ja) 走査式光学距離計
EP3925210A2 (en) System and method for glint reduction
EP3591436B1 (en) Lidar system and lidar method for a motor vehicle
EP3428687A1 (en) A vision system and vision method for a vehicle
US20210318439A1 (en) Hybrid LADAR with Co-Planar Scanning and Imaging Field-of-View
US11320535B2 (en) Optical system for determining interferer locus among two or more regions of a transmissive liquid crystal structure
EP3588140B1 (en) A vision system and vision method for a vehicle
WO2022153126A1 (en) Synchronization of multiple lidar systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18818445

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18818445

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP