WO2018105476A1 - 撮像装置、及びそれに用いられる固体撮像素子 - Google Patents

撮像装置、及びそれに用いられる固体撮像素子 Download PDF

Info

Publication number
WO2018105476A1
WO2018105476A1 PCT/JP2017/042990 JP2017042990W WO2018105476A1 WO 2018105476 A1 WO2018105476 A1 WO 2018105476A1 JP 2017042990 W JP2017042990 W JP 2017042990W WO 2018105476 A1 WO2018105476 A1 WO 2018105476A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
area
imaging
subject
information
Prior art date
Application number
PCT/JP2017/042990
Other languages
English (en)
French (fr)
Inventor
賢二 岩橋
弘紀 新出
智宏 本多
清水 規貴
岩井 浩
柴田 修
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2018554957A priority Critical patent/JP6541119B2/ja
Priority to EP17878837.8A priority patent/EP3550261A4/en
Priority to CN201780075071.XA priority patent/CN110050171B/zh
Publication of WO2018105476A1 publication Critical patent/WO2018105476A1/ja
Priority to US16/429,965 priority patent/US11200688B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02Details
    • G01C9/06Electric or photoelectric indication or reading means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02Details
    • G01C9/06Electric or photoelectric indication or reading means
    • G01C2009/066Electric or photoelectric indication or reading means optical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Definitions

  • the present invention relates to an imaging apparatus for imaging a subject.
  • Patent Document 1 an imaging device that images a subject is known (see, for example, Patent Document 1).
  • the imaging apparatus it is desired to improve the distance measurement accuracy of the subject and / or the detection accuracy of the subject.
  • an object of the present invention is to provide an imaging apparatus capable of improving the distance measurement accuracy of the subject and / or the detection accuracy of the subject, and a solid-state imaging device used therefor.
  • An imaging apparatus is mounted on a transport device, and uses a light source that emits irradiation light, a solid-state imaging device that images a subject and outputs an imaging signal indicating an exposure amount, and the imaging signal.
  • An imaging apparatus including a calculation unit that calculates subject information related to the subject, wherein the solid-state imaging device includes a first pixel that captures an image using reflected light reflected by the subject, and the subject.
  • An imaging region captured by the solid-state imaging device is composed of at least a first region captured by the first pixel and a second region captured by the second pixel; One area or the second area is provided around the second area or the first area, which is the other area, and the calculation unit is based on information from the first area and information from the second area. , Calculate the subject information , Irradiation angle of the irradiation light in the vertical direction of the transportation equipment is narrower than the angle of view of the imaging area in the vertical direction of the transportation equipment.
  • a solid-state imaging device is mounted on a transportation device, and includes an optical source that irradiates irradiation light, and an arithmetic unit that calculates subject information about the subject using an imaging signal indicating an exposure amount.
  • a solid-state imaging device that images the subject and outputs the imaging signal, the first pixel that captures an image using reflected light reflected by the subject, and a first pixel that captures the subject
  • the imaging region captured by the solid-state imaging device includes at least a first region captured by the first pixel and a second region captured by the second pixel, and the first region or The second area is provided around the second area or the first area, which is the other area, and the calculation unit is configured to determine the subject based on information from the first area and information from the second area. Calculate the information, before Irradiation angle of the irradiation light in the vertical direction of the transportation equipment is narrower than the angle of view of the imaging area in the vertical direction of the transportation equipment.
  • the imaging apparatus and the solid-state imaging device having the above-described configuration, it is possible to improve subject ranging accuracy and / or subject detection accuracy as compared with the related art.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment.
  • FIG. 2 is a schematic diagram illustrating a pixel array included in the solid-state imaging device according to the embodiment.
  • FIG. 3 is a timing chart showing the relationship between the light emission timing and the exposure timing during distance measurement by the TOF distance measurement method.
  • FIG. 4 is a block diagram illustrating an example in which the imaging apparatus according to the embodiment is mounted on a vehicle and used.
  • FIG. 5A is a side view schematically illustrating an example of an imaging region of the imaging device according to the embodiment.
  • FIG. 5B is a side view schematically illustrating an example of an imaging region of the imaging device according to the embodiment.
  • FIG. 5A is a side view schematically illustrating an example of an imaging region of the imaging device according to the embodiment.
  • FIG. 5B is a side view schematically illustrating an example of an imaging region of the imaging device according to the embodiment.
  • FIG. 6 is a side view schematically illustrating an example of an imaging region of the imaging device according to the embodiment.
  • FIG. 7A is a plan view schematically illustrating an example of an imaging region of the imaging device according to the embodiment.
  • FIG. 7B is a plan view schematically illustrating an example of an imaging region of the imaging device according to the embodiment.
  • FIG. 7C is a plan view schematically illustrating an example of an imaging region of the imaging device according to the embodiment.
  • FIG. 8 is a schematic diagram illustrating a state in which the imaging apparatus according to the embodiment images a road surface.
  • FIG. 9A is a schematic diagram illustrating a state in which the imaging apparatus according to the embodiment images another vehicle.
  • FIG. 9B is a schematic diagram illustrating a state in which the imaging apparatus according to the embodiment images another vehicle.
  • FIG. 10 is a schematic diagram illustrating a state in which the imaging apparatus according to the embodiment images a road surface.
  • FIG. 11 is a schematic diagram illustrating an example of the relationship between the output order of IR captured images and the output order of W captured images.
  • FIG. 12A is a schematic diagram illustrating an example of the relationship between the output order of IR captured images and the output order of IR interpolated captured images.
  • FIG. 12B is a schematic diagram illustrating an example of the relationship between the output order of the W captured image and the output order of the W interpolation captured image.
  • An imaging apparatus is mounted on a transportation device, and includes a light source that emits irradiation light, a solid-state imaging device that images a subject and outputs an imaging signal indicating an exposure amount, and the imaging signal.
  • An imaging apparatus including a calculation unit that calculates subject information related to the subject, wherein the solid-state imaging device includes a first pixel that captures an image using reflected light reflected by the subject, and the subject.
  • An imaging region captured by the solid-state imaging device is composed of at least a first region captured by the first pixel and a second region captured by the second pixel; One area or the second area is provided around the second area or the first area, which is the other area, and the calculation unit is based on information from the first area and information from the second area. , Calculate the subject information , Irradiation angle of the irradiation light in the vertical direction of the transportation equipment is narrower than the angle of view of the imaging area in the vertical direction of the transportation equipment.
  • an irradiation angle of the irradiation light in the horizontal direction of the transport device may be different from an angle of view of the imaging region in the horizontal direction of the transport device.
  • an irradiation angle of the irradiation light in a horizontal direction of the transport device may be larger than an irradiation angle of the irradiation light in a vertical direction of the transport device.
  • the subject is an object existing on a road surface on which the transportation device travels
  • the solid-state imaging device sequentially performs the imaging, and the object is in the first area at a first time.
  • the object information at the second time is calculated up to the object at the first time. Information regarding the distance may be used.
  • the subject is an object existing on a road surface on which the transportation device travels
  • the solid-state imaging device sequentially performs the imaging, and the object is in the second area at a first time.
  • the object information at the second time is calculated using the object information at the first time. Information regarding the appearance may be used.
  • the solid-state imaging element sequentially performs the imaging, and the calculation performed by the calculation unit includes information from the first area or the second area at a first time, and the first time.
  • the information from the first area is information related to the distance to the subject
  • the information from the second area is information related to the appearance of the subject
  • the calculation unit The calculation to be performed may include a process of estimating a distance to the subject in the second area
  • the subject information may include information indicating an estimated distance to the subject in the second area.
  • the calculation result of the first area is used for the calculation of the subject information in the second area. It may be related.
  • the first region includes a first a region where the reflected light reflected by the irradiation light reaches the solid-state imaging device by a road surface on which the transportation device travels, and the reflected light is the solid-state imaging device. It is good also as having 1b area
  • the subject information is calculated in the region other than the first a region in the calculation of the subject information. Calculation results may be associated with each other.
  • the transport device is a vehicle traveling on a road surface
  • the information from the first area is information related to the inclination of the road surface
  • the information from the second area is the road surface.
  • the calculation performed by the calculation unit includes a process of estimating a slope of the road surface in the second area, and the subject information is estimated of the road surface in the second area.
  • Information indicating inclination may be included.
  • the irradiation light may be infrared light
  • the first pixel may receive infrared light
  • the second pixel may receive visible light
  • the imaging apparatus may include a diffusion plate that adjusts the irradiation angle.
  • a solid-state imaging device is mounted on a transport device, and includes an optical source that emits irradiation light, and an arithmetic unit that calculates subject information about the subject using an imaging signal that indicates an exposure amount
  • a solid-state imaging device that images the subject and outputs the imaging signal, the first pixel that captures an image using reflected light reflected by the subject, and a first pixel that captures the subject
  • the imaging region captured by the solid-state imaging device includes at least a first region captured by the first pixel and a second region captured by the second pixel, and the first region or The second area is provided around the second area or the first area, which is the other area, and the calculation unit is configured to determine the subject based on information from the first area and information from the second area. Calculate the information, before Irradiation angle of the irradiation light in the vertical direction of the transportation equipment is narrower than the angle of view of the imaging area in the vertical direction of the transportation equipment.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 1 according to the embodiment.
  • the imaging device 1 includes a light source 10, a solid-state imaging device 20, a calculation unit 30, a control unit 40, a diffusion plate 50, a lens 60, and a bandpass filter 70. Composed.
  • the light source 10 emits irradiation light. More specifically, the light source 10 emits irradiation light that irradiates the subject at a timing indicated by the light emission signal generated by the control unit 40.
  • the light source 10 includes, for example, a capacitor, a driving circuit, and a light emitting element, and emits light by driving the light emitting element with electric energy accumulated in the capacitor.
  • the light emitting element is realized by a laser diode, a light emitting diode, or the like.
  • the light source 10 may have a configuration including one type of light emitting element or may include a plurality of types of light emitting elements according to the purpose.
  • the light emitting element is, for example, a laser diode that emits near infrared light, a light emitting diode that emits near infrared light, and the irradiation light emitted from the light source 10 is near infrared light.
  • the irradiation light emitted from the light source 10 need not be limited to near infrared light. Irradiation light emitted by the light source 10 may be, for example, infrared light in a frequency band other than near infrared light.
  • the solid-state imaging device 20 images a subject and outputs an imaging signal indicating the exposure amount. More specifically, the solid-state imaging device 20 performs exposure at a timing indicated by the exposure signal generated by the control unit 40, and outputs an imaging signal indicating the exposure amount.
  • the solid-state imaging device 20 has a pixel array in which first pixels that are imaged using reflected light that is reflected by a subject and irradiation pixels are arranged in an array.
  • the solid-state imaging device 20 may have a logic function such as a cover glass or an AD converter as necessary.
  • the reflected light is near-infrared light, as is the case with the irradiated light.
  • the reflected light need not be limited to near-infrared light as long as the irradiated light is reflected by the subject.
  • FIG. 2 is a schematic diagram showing the pixel array 2 included in the solid-state imaging device 20.
  • the pixel array 2 includes a first pixel 21 (IR pixel) that captures an image using reflected light that is reflected by the subject, and a second pixel 22 (W pixel) that captures the subject.
  • IR pixel first pixel 21
  • W pixel second pixel 22
  • the second pixels 22 and the first pixels 21 are arranged so as to be adjacent to each other in the row direction and arranged in a stripe shape in the row direction.
  • the present invention is not limited to this. Instead, it may be arranged in multiple rows (for example, every two rows). That is, the first row arranged so that the second pixels 22 are adjacent in the row direction and the second row arranged so that the first pixels 21 are adjacent in the row direction are arranged every M rows (M is a natural number). You may arrange
  • the first row in which the second pixels 22 are arranged adjacent to each other in the row direction and the second row in which the first pixels 21 are arranged adjacent to each other in the row direction are different from each other (the first row is N rows and second rows may be arranged in such a manner that L rows are alternately repeated (N and L are different natural numbers).
  • the first pixel 21 is realized by, for example, a near-infrared light pixel having sensitivity to near-infrared light that is reflected light.
  • the second pixel 22 is realized by, for example, a visible light pixel having sensitivity to visible light.
  • the near-infrared light pixel includes, for example, an optical filter that transmits only near-infrared light, a microlens, a light-receiving element as a photoelectric conversion unit, a storage unit that accumulates charges generated by the light-receiving element, and the like.
  • the visible light pixel includes, for example, an optical filter that transmits only visible light, a microlens, a light receiving element as a photoelectric conversion unit, and a storage unit that accumulates charges converted by the light receiving element.
  • the optical filter of the visible light pixel may transmit both visible light and near-infrared light. Among visible light, specific filters such as red (R), green (G), and blue (B) are used. Only light in the wavelength band may be transmitted.
  • the computing unit 30 computes subject information related to the subject using the imaging signal output by the solid-state imaging device 20.
  • the calculation unit 30 is configured by an arithmetic processing device such as a microcomputer, for example.
  • the microcomputer includes a processor (microprocessor), a memory, and the like, and a driving program stored in the memory is executed by the processor to generate a light emission signal and an exposure signal.
  • the arithmetic unit 30 may use an FPGA, an ISP, or the like, and may be configured by one hardware or a plurality of hardware.
  • the calculation unit 30 calculates the distance to the subject by, for example, a TOF ranging method performed using the imaging signal from the first pixel 21 of the solid-state imaging device 20.
  • FIG. 3 shows the light emission timing of the light emitting element of the light source 10 and the exposure timing of the first pixel 21 of the solid-state imaging element 20 when the calculation unit 30 calculates the distance to the subject using the TOF distance measurement method. It is a timing diagram which shows the relationship.
  • Tp is a light emission period in which the light emitting element of the light source 10 emits irradiation light
  • Td is a reflected light that is reflected by the subject after the light emitting element of the light source 10 emits irradiation light.
  • the first exposure period has the same timing as the light emission period in which the light source 10 emits irradiation light
  • the second exposure period has a timing from the end of the first exposure period until the light emission period Tp elapses. It has become.
  • q1 indicates the total amount of exposure at the first pixel 21 of the solid-state imaging device 20 due to the reflected light in the first exposure period
  • q2 indicates the solid-state imaging element due to the reflected light within the second exposure period. The total amount of exposure in 20 first pixels 21 is shown.
  • the distance d to the subject is as follows: It can be represented by the formula (Formula 1).
  • the calculation unit 30 can calculate the distance to the subject using the imaging signal from the first pixel 21 of the solid-state imaging device 20 by using Equation 1.
  • the calculation unit 30 uses, for example, an imaging signal from the second pixel 22 of the solid-state imaging device 20 to detect a subject and calculate a distance to the subject.
  • the arithmetic unit 30 includes a first visible light image captured by the plurality of second pixels 22 of the solid-state image sensor 20 at the first time, and a plurality of second images of the solid-state image sensor 20 at the second time.
  • the second visible light image captured by the pixel 22 is compared, and based on the difference between these visible light images, the subject is detected and the distance to the subject is calculated.
  • the detection of the subject may be realized, for example, by determining the shape by pattern recognition by detecting the edge of the singular point of the subject.
  • the calculation of the distance to the subject may be performed using world coordinate conversion.
  • the control unit 40 generates a light emission signal indicating the timing of light emission and an exposure signal indicating the timing of exposure. Then, the control unit 40 outputs the generated light emission signal to the light source 10 and outputs the generated exposure signal to the solid-state imaging device 20.
  • control unit 40 generates and outputs a light emission signal so that the light source 10 emits light at a predetermined cycle, and generates and outputs an exposure signal so that the solid-state imaging device 20 is exposed at a predetermined cycle.
  • the imaging apparatus 1 may realize continuous imaging at a predetermined frame rate.
  • the control unit 40 is configured by an arithmetic processing device such as a microcomputer, for example.
  • the microcomputer includes a processor (microprocessor), a memory, and the like, and a driving program stored in the memory is executed by the processor to generate a light emission signal and an exposure signal.
  • the control unit 40 may use an FPGA, an ISP, or the like, and may be configured by one piece of hardware or a plurality of pieces of hardware.
  • the diffusion plate 50 adjusts the angle of the irradiation light.
  • the lens 60 is an optical lens that condenses light entering from the outside of the imaging device 1 on the surface of the pixel array 2 of the solid-state imaging device 20.
  • the band pass filter 70 is an optical filter that transmits near-infrared light, which is reflected light, and visible light.
  • the imaging device 1 having the above configuration is used by being mounted on a transportation device.
  • the imaging apparatus 1 will be described as being mounted and used on a vehicle traveling on a road surface.
  • the transportation device on which the imaging apparatus 1 is mounted is not necessarily limited to the vehicle.
  • the imaging device 1 may be used by being mounted on a transport device other than a vehicle such as a motorcycle, a boat, an airplane, and the like.
  • calculation unit 30 does not use the imaging signal from the first pixel 21 of the solid-state imaging device 20, although the accuracy is lower than the distance to the subject calculated by the TOF ranging method described above. It is also possible to calculate the distance to the subject.
  • FIG. 4 is a block diagram illustrating an example in which the imaging apparatus 1 is mounted on the vehicle 100 and used.
  • the imaging device 1 is used by being connected to, for example, an ADAS (Advanced Driver Assistance System) / AD-ECU (Automated Driving Engine Control Unit) 110 mounted on the vehicle 100.
  • ADAS Advanced Driver Assistance System
  • AD-ECU Automatic Driving Engine Control Unit
  • the ADAS / AD-ECU 110 is a system that controls automatic driving of the vehicle 100 using signals from the imaging device 1 and the sensors 12A to 12C mounted on the vehicle 100, and specifies the position of the vehicle.
  • a locator unit 111 and a control unit 112 for controlling a brake, a handle, an engine, and the like are included.
  • the imaging device 1 can be mounted at various positions of the vehicle 100.
  • the imaging device 1 can be mounted at the front center of the vehicle 100, that is, at the center between both headlights, and the front of the vehicle 100 can be the imaging region.
  • FIG. 5A shows that when the imaging device 1 is mounted on the front center of the vehicle 100 for forward monitoring of the vehicle 100, the imaging distance by visible light such as daytime on a sunny day is better. It is a side view showing typically an example of the image pick-up field of image pick-up device 1 when it is longer than the image pick-up distance by reflected light.
  • the first area 110 is an area that is imaged by at least the first pixel 21.
  • the first region 110 is a region where the irradiation light emitted from the light source 10 is reflected by the subject and the reflected light can reach the solid-state imaging device 20.
  • the second area 120 is an area that is imaged by the second pixel 22. That is, the second region 120 is a region where ambient light that is visible light can reach the solid-state imaging device 20.
  • the irradiation angle of the irradiation light in the vertical direction of the vehicle 100 is narrower than the angle of view of the imaging region in the vertical direction of the vehicle 100 by appropriately adjusting the diffusion plate 50.
  • the irradiation angle of the irradiation light in the vertical direction of the vehicle 100 may be about 20 degrees, and the field angle of the imaging region in the vertical direction of the vehicle 100 may be about 30 degrees.
  • the irradiation range of the irradiation light is adjusted to be narrower than the angle of view of the imaging region, it is possible to irradiate the irradiation light of the finite energy emitted from the light source 10 within a particularly desired range. Thereby, the reach distance of the reflected light within the desired range can be made longer than when the irradiation light is not reduced.
  • the second area 120 exists on the far side from the first area 110. That is, in the case of such an external environment, the second area 120 is provided around the first area 110 as the other.
  • the first area 110 includes a first a area 110a and a first b area 110b.
  • the first a region 110 a is a region in the first region 110 where reflected light from the road surface 130 (reference surface) and reflected light from a subject above the road surface 130 in the elevation angle direction can reach the solid-state imaging device 20. is there.
  • the reflected light from the subject in the elevation angle direction above the road surface 130 in the first region 110 can reach the solid-state image sensor 20, but the reflected light from the road surface reaches the solid-state image sensor 20. This is a non-reachable area.
  • the second region 120 includes a second a region 120a and a second b region 120b.
  • the second a region 120a is a region of the second region 120 that is above the boundary surface between the first a region 110a and the first b region 110b in the elevation direction.
  • the second b region 120b is a region on the lower side in the elevation angle direction than the boundary surface between the first a region 110a and the first b region 110b in the second region 120.
  • FIG. 5B shows a case where the imaging distance by the reflected light is longer than the imaging distance by the visible light when the imaging device 1 is mounted on the front central portion of the vehicle 100 for forward monitoring of the vehicle 100 (an example) 2 is a side view schematically showing an example of an imaging region of the imaging device 1 when the external environment is at night, rainy weather, dense fog, and the like.
  • the first region 110 exists on the far side from the second region 120. That is, in the case of such an external environment, the first area 110 is provided around the second area 120 as the other.
  • the range of the second region 120 may change due to an external factor (for example, an external environment).
  • the range of the first region 110 can change due to an external factor (for example, an external environment).
  • the imaging device 1 is not limited to the case where it is used for forward monitoring of the vehicle 100 as shown in FIGS. 5A and 5B.
  • it may be used for the rear monitoring of the vehicle 100. That is, the imaging device 1 can be mounted, for example, in the center of the back of the vehicle, that is, in the center between both taillights, and the rear of the vehicle 100 can be used as the imaging region.
  • FIG. 6 shows that when the imaging apparatus 1 is mounted in the center of the back of the vehicle 100 for monitoring the rear of the vehicle 100, the imaging distance by visible light, such as daytime on a sunny day, is better. It is a side view showing typically an example of the image pick-up field of image pick-up device 1 when it is longer than the image pick-up distance by reflected light.
  • FIG. 7A illustrates a case where the imaging distance by the visible light is longer than the imaging distance by the reflected light when the imaging device 1 is mounted on the front center portion of the vehicle 100 for forward monitoring of the vehicle 100 (an example) 2 is a plan view schematically showing an example of an imaging region of the imaging device 1 in a case where the external environment is a sunny daytime or the like.
  • the angle of the first region 110 in the horizontal direction of the vehicle is substantially equal to the angle of the second region 120 in the horizontal direction of the vehicle. That is, the irradiation angle of the irradiation light in the horizontal direction of the vehicle 100 is approximately adjusted to the angle of view of the imaging region in the horizontal direction of the vehicle 100 by appropriately adjusting with the diffusion plate 50.
  • the irradiation angle of the irradiation light in the horizontal direction of the vehicle 100 may be about 90 degrees, and the range of the imaging region in the horizontal direction of the vehicle 100 may be about 90 degrees.
  • the irradiation angle of the irradiation light in the horizontal direction of the vehicle 100 substantially equal to the angle of view of the imaging region in the horizontal direction of the vehicle 100, subjects in the range up to the full angle of view in the horizontal direction of the vehicle can be obtained.
  • Imaging can be performed with the first pixel 21.
  • the irradiation angle of the irradiation light in the horizontal direction of the vehicle 100 may be different from the angle of view of the imaging region in the horizontal direction of the vehicle 100.
  • the irradiation angle of the irradiation light in the horizontal direction of the vehicle 100 is set so that the subject within the range up to the full angle of view in the horizontal direction of the vehicle can be captured more reliably by the first pixel 21. It may be wider than the angle of view of the imaging area in the horizontal direction. For example, when the range of the imaging region in the horizontal direction of the vehicle 100 is about 90 degrees, the irradiation angle of the irradiation light in the horizontal direction of the vehicle 100 may be about 92 degrees.
  • the imaging device 1 may be used for oblique monitoring of the vehicle 100 or may be used for lateral monitoring of the vehicle 100.
  • 7A is more preferably used as one of a plurality of sensing devices for performing emergency brake control of the vehicle 100.
  • FIG. 7A is more preferably used as a sensing device for measuring a long distance than in the case of FIGS. 7B and 7C described later.
  • FIG. 7B shows a case where the imaging distance by the visible light is longer than the imaging distance by the reflected light when the imaging apparatus 1 is mounted near the headlight of the vehicle 100 for oblique monitoring of the vehicle 100 ( As an example, it is a plan view schematically showing an example of an imaging region of the imaging device 1 in a case where the external environment is daytime on a sunny day).
  • FIG. 7C illustrates a case where the imaging distance by visible light is longer than the imaging distance by reflected light when the imaging device 1 is mounted on the side of the door mirror of the vehicle 100 for lateral monitoring of the vehicle 100 (an example) 2 is a plan view schematically showing an example of an imaging region of the imaging device 1 in a case where the external environment is a sunny daytime or the like.
  • 7B and 7C are more preferably used as one of a plurality of sensing devices for performing automatic driving control of the vehicle 100.
  • FIGS. 7B and 7C are more preferably used as a sensing device for measuring a medium distance from a short distance than in the case of FIG. 7A.
  • the imaging apparatus 1 when used for oblique monitoring or lateral monitoring of the vehicle 100, the irradiation angle of the irradiation light in the horizontal direction of the vehicle 100 and the image of the imaging region in the horizontal direction of the vehicle 100 are described. It is preferable to make it approximately equal to the corner.
  • FIG. 8 is a schematic diagram illustrating an example of a state in which the imaging device 1 captures the road surface 130 when the relationship between the first region 110 and the second region 120 is the relationship illustrated in FIGS. 5A and 7A.
  • FIG. 2 is a schematic diagram of an imaging apparatus 1 according to an imaging viewpoint.
  • the second area 120 exists from the upper end of the angle of view of the captured image to the lower end of the angle of view, but the first area 110 is the upper end of the angle of view of the captured image. It exists only below the lower end of the angle of view from below.
  • both the first area 110 and the second area 120 exist from the left end to the right end of the captured image in the horizontal direction of the vehicle 100.
  • the second c region 120 c is a region within the second a region 120 a and outside the first a region 110 a where the reflected light may reach the solid-state image sensor 20. Is an unstable region. For this reason, the calculating part 30 does not use the imaging signal from the 1st pixel 21 applicable to the 2c area
  • the second d region 120 d is a region in the second b region 120 b and outside the first b region 110 b, where the reflected light may reach the solid-state imaging device 20. This is a region where the arrival of is unstable. For this reason, the calculating part 30 does not use the imaging signal from the 1st pixel 21 applicable to the 2d area
  • FIG. 4 is a schematic diagram illustrating an example of a state in which another vehicle 200 traveling on a road surface 130 is imaged at a later second time, and is a schematic diagram from an imaging viewpoint of the imaging device 1.
  • a vehicle 200a and a vehicle 200c are other vehicles 200 that are imaged at a first time, and a vehicle 200b and a vehicle 200d are imaged at a second time that is a time later than the first time. Another vehicle 200 to be used.
  • the example shown in FIGS. 9A and 9B is an example corresponding to a scene in which the distance between the vehicle 100 and another vehicle 200 approaches while the time elapses from the first time and becomes the second time. .
  • the distance to the other vehicle 200 is different between the example shown in FIG. 9A and the example shown in FIG. 9B.
  • the other vehicle 200a exists in the first region 110 and in the second region 120.
  • the calculation unit 30 detects the other vehicle 200a that is the subject based on the information from the second region 120, that is, the imaging signal from the second pixel 22 at the first time, and the first Based on the information from the area 110, that is, the imaging signal from the first pixel 21 at the first time, the distance to the other vehicle 200a that is the subject is calculated with relatively high accuracy by the TOF ranging method.
  • the other vehicle 200b exists outside the first region 110 and inside the second region 120.
  • the calculation unit 30 detects the other vehicle 200b that is the subject based on the information from the second region 120, that is, the imaging signal from the second pixel 22 at the second time, while the first The distance to the other vehicle 200b that is the subject is not calculated by the TOF ranging method based on the information from the area 110, that is, the imaging signal from the first pixel 21. Instead, the calculation unit 30 calculates the distance to the other vehicle 200b that is the subject, based on the information from the second region 120, that is, the imaging signal from the second pixel 22, regardless of the TOF ranging method. To do.
  • the calculating part 30 associates the information from the 1st area
  • the calculation unit 30 estimates the distance to the subject in the second area. More specifically, the calculation unit 30 includes information indicating the distance to the other vehicle 200a calculated by the TOF ranging method at the first time, the detection result of the other vehicle 200b at the second time, The distance to the vehicle 200b at the second time is estimated based on the information indicating the distance to the other vehicle 200b calculated regardless of the TOF ranging method at two times.
  • the calculation unit 30 can estimate the distance to the vehicle 200b at the second time with higher accuracy than the case of calculating based on only the imaging signal from the second pixel 22 at the second time.
  • the other vehicle 200c exists outside the first region 110 and inside the second region 120.
  • the calculation unit 30 detects the other vehicle 200c that is a subject and uses the TOF distance measurement method based on the information from the second region 120, that is, the imaging signal from the second pixel 22 at the first time. The calculation of the distance to the other vehicle 200c that is the subject is not performed.
  • the subject is an object (vehicle 200a or vehicle 200b) that exists on the road surface on which the transportation device travels, and the solid-state imaging device 20 sequentially performs imaging, and the above-described object is
  • the second area 120 is imaged at a second time after a certain period of time has elapsed from the first time, and the subject (vehicle 200b) information at the second time is calculated.
  • the information related to the distance to the above-described object (vehicle 200a) at the first time is used.
  • the other vehicle 200d exists in the first region 110 and in the second region 120.
  • the calculation unit 30 detects the other vehicle 200d that is the subject based on the information from the second region 120, that is, the imaging signal from the second pixel 22 at the second time, and the first Based on the information from the area 110, that is, the imaging signal from the first pixel 21 at the second time, the distance to the other vehicle 200d that is the subject is calculated with relatively high accuracy by the TOF ranging method.
  • the calculating part 30 performs the said detection and the said calculation based also on the detection result of the other vehicle 200c in 1st time.
  • the arithmetic unit 30 performs, for example, the detection and the calculation based on the detection result of the other vehicle 200c at the first time with the search range limited to a part of the region.
  • the calculating part 30 can implement
  • the calculation unit 30 detects the other vehicle 200d at the second time based on the detection result of the other vehicle 200c at the first time and the imaging signal from the second pixel 22 at the second time. Do.
  • the arithmetic unit 30 can realize the detection of the other vehicle 200d at the second time with higher accuracy than the case where the detection is performed based on the detection result of the other vehicle 200c at the first time.
  • the subject is an object (vehicle 200c or vehicle 200d) that exists on the road surface on which the transportation device travels, and the solid-state imaging device 20 sequentially performs imaging, and the above-described object is
  • the first area 110 is imaged at the second time after a certain period of time has elapsed from the first time, and the subject (vehicle 200d) information is calculated at the second time.
  • the information relating to the appearance of the object (vehicle 200c) at the first time is used.
  • the position of the subject changes from (1) the first area 110 to the second area 120 as the second time elapses from the first time.
  • FIG. 10 is a schematic diagram illustrating an example of a state in which the imaging device 1 images the road surface 130 when the relationship between the first region 110 and the second region 120 is the relationship illustrated in FIGS. 5A and 7A.
  • FIG. 2 is a schematic diagram of an imaging apparatus 1 according to an imaging viewpoint. That is, the example shown in FIG. 10 corresponds to a scene similar to the example shown in FIG. However, FIG. 10 illustrates a part of the illustrated contents in a partly different manner from the contents illustrated in FIG. 8 in order to explain the operation of the arithmetic unit 30 in a more understandable manner.
  • the shoulder boundary 140 indicating the shoulder of the road surface 130 includes a shoulder boundary region 140a and a shoulder boundary region 140b included in the first a region 110a, and a shoulder not included in the first a region 110a.
  • the boundary line area 140c to the road shoulder boundary line area 140f are included.
  • the calculation unit 30 determines the road surface 130 (that is, the road shoulder region) in the road shoulder boundary region 140a and the road shoulder boundary region 140b based on the information from the second region 120, that is, the imaging signal from the second pixel 22. ) And the road surface in the road shoulder boundary region 140a and the road shoulder boundary region 140b by the TOF distance measurement method based on the information from the first a region 110a, that is, the imaging signal from the first pixel 21.
  • the distance to 130 (that is, the road shoulder region) is calculated with relatively high accuracy.
  • the calculation unit 30 can calculate the appearance and inclination of the road surface 130 (that is, the road shoulder area) in the road shoulder boundary area 140a and the road shoulder boundary area 140b.
  • the calculation unit 30 determines the road surface 130 (that is, the road shoulder area) in the road shoulder boundary area 140c to the road shoulder boundary area 140f based on the information from the second area 120, that is, the imaging signal from the second pixel 22. While detecting the road surface 130 in the road shoulder boundary area 140c to the road shoulder boundary area 140f by the TOF distance measurement method based on the information from the first a area 110a, that is, the imaging signal from the first pixel 21 (that is, The distance to the shoulder area) is not calculated.
  • the calculation unit 30 does not depend on the TOF distance measurement method, but in the road shoulder boundary area 140c to the road shoulder boundary area 140f.
  • the distance to the road surface 130 (that is, the road shoulder region) is calculated.
  • the calculation unit 30 calculates the appearance of the road surface 130 (that is, the road shoulder area) in the road shoulder boundary area 140c to the road shoulder boundary area 140f, while calculating the information from the first area 110a and the second area 120. Associate information with More specifically, the calculation unit 30 detects the road surface 130 (that is, the road shoulder region) in the road shoulder boundary region 140a and the road shoulder boundary region 140b, and the road surface in the road shoulder boundary region 140c to the road shoulder boundary region 140f. 130 (that is, the shoulder region), and the road surface 130 (that is, the shoulder region) in the shoulder boundary region 140a and the shoulder boundary region 140b, and the shoulder boundary region 140c to the shoulder boundary region 140f.
  • road surface 5 is determined to be a part of the road surface 130 (that is, the road shoulder region) in the same road shoulder boundary 140, the road shoulder boundary line calculated by the TOF ranging method Information indicating the distance to the road surface 130 (that is, the shoulder region) in the region 140a and the shoulder boundary region 140b; Road 130 (i.e., shoulder region) in the shoulder border region 140c ⁇ shoulder border region 140f associates the detection results of the (attached cord).
  • the calculation unit 30 estimates the slope of the road surface 130 (that is, the road shoulder area) in the road shoulder boundary area 140c to the road shoulder boundary area 140f. More specifically, the calculation unit 30 calculates the appearance and inclination of the road surface 130 (that is, the road shoulder area) in the road shoulder boundary area 140a and the road shoulder boundary area 140b, and the road shoulder boundary area 140c to the road shoulder boundary line.
  • the continuity of the road shoulder shape is estimated from the appearance of the road surface 130 (that is, the road shoulder region) in the region 140f, and the road surface 130 in the road shoulder boundary region 140c to the road shoulder boundary region 140f is estimated based on the estimated road shoulder shape continuity. (Ie, the shoulder area) is estimated.
  • the calculation unit 30 can estimate the inclination of the road surface 130 in the region other than the first a region 110a with higher accuracy than the case of calculating based on only the imaging signal from the second pixel 22.
  • the calculation result of the first region 110 is associated with the calculation of the subject information in the second region 120.
  • the subject when the subject is an object (road shoulder boundary 140) continuously provided in the first region 110 and the second region 120, the subject in the region (second region 120, first b region 110b) other than the first a region 110a
  • the calculation result of the 1a area 110a is associated with the calculation of information.
  • the imaging device 1 performs, for example, imaging by the first pixel 21 and imaging by the second pixel 22 at timings shifted from each other at a predetermined frame rate, and the imaging signal from the first pixel 21 (hereinafter referred to as “IR imaging”).
  • IR imaging the imaging signal from the first pixel 21
  • W imaging signal the imaging signal from the second pixel 22
  • FIG. 11 is a schematic diagram illustrating an example of the relationship between the output order of the IR imaging signals and the output order of the W imaging signals when the imaging apparatus 1 has the above-described configuration.
  • the imaging device 1 may be configured to interpolate an IR imaging signal with a W imaging signal, for example.
  • FIG. 12A shows the output order of IR imaging signals and the imaging signals obtained by complementing the IR imaging signals with the W imaging signals (hereinafter also referred to as “IR interpolated imaging signals”) when the imaging apparatus 1 has the above configuration. .) Is a schematic diagram showing an example of the relationship with the output order.
  • an IR interpolation image signal a500a is an IR interpolation image signal that is generated based on the W image signal a400a and complements between the IR image signal a300a and the IR image signal b300b.
  • the IR interpolation imaging signal b500b is an IR interpolation imaging signal that is generated based on the W imaging signal b400b and complements between the IR imaging signal b300b and the IR imaging signal c300c.
  • the IR interpolation image signal c500c is an IR interpolation image signal that is generated based on the W image signal c400c and complements between the IR image signal c300c and the IR image signal d (not shown).
  • the imaging device 1 having the above configuration can substantially increase the output frame rate of the IR imaging signal. Thereby, the imaging device 1 having the above-described configuration can further improve the subject ranging accuracy and / or the subject detection accuracy.
  • the imaging apparatus 1 when the imaging apparatus 1 generates, for example, an IR interpolation imaging signal (for example, an IR interpolation imaging signal a500a), in addition to the corresponding W imaging signal (for example, the W imaging signal a400a), the IR imaging before and after that It may be configured to generate based on signals (for example, IR imaging signal a300a and IR imaging signal b300b). Thereby, the imaging device 1 having the above configuration can generate the IR interpolation imaging signal with higher accuracy.
  • an IR interpolation imaging signal for example, an IR interpolation imaging signal a500a
  • the IR imaging before and after that It may be configured to generate based on signals (for example, IR imaging signal a300a and IR imaging signal b300b).
  • the imaging apparatus 1 may be configured to interpolate a W imaging signal with an IR imaging signal, for example.
  • FIG. 12B shows the output order of the W imaging signal and the imaging signal obtained by complementing the W imaging signal with the IR imaging signal (hereinafter also referred to as “W interpolation imaging signal”) when the imaging apparatus 1 has the above configuration. .) Is a schematic diagram showing an example of the relationship with the output order.
  • a W interpolation image pickup signal b600b is a W interpolation image pickup signal that is generated based on the IR image pickup signal b300b and complements between the W image pickup signal a400a and the W image pickup signal b400b.
  • the W interpolation imaging signal c600c is a W interpolation imaging signal that is generated based on the IR imaging signal c300c and complements between the W imaging signal c400b and the W imaging signal c400c.
  • the imaging apparatus 1 having the above configuration can substantially increase the output frame rate of the W imaging signal.
  • the imaging device 1 having the above-described configuration can further improve the subject ranging accuracy and / or the subject detection accuracy.
  • the imaging apparatus 1 when the imaging apparatus 1 generates a W-interpolation imaging signal (for example, a W-interpolation imaging signal b600b), in addition to the corresponding IR imaging signal (for example, the IR imaging signal b300b), W imaging before and after that It may be configured to generate based on signals (for example, W imaging signal a400a and W imaging signal b400b).
  • W imaging signal a400a and W imaging signal b400b for example, W imaging signal a400a and W imaging signal b400b.
  • the calculation unit 30 and the control unit 40 have been described as examples of configurations realized by a calculation processing device such as a microprocessor.
  • the arithmetic unit 30 and the control unit 40 do not necessarily have to be limited to the configuration example that is realized according to the above implementation example as long as they have the same functions as the above implementation example.
  • the calculation unit 30 and the control unit 40 may be an example of a configuration in which some or all of the components configuring the calculation unit 30 and the control unit 40 are realized by a dedicated circuit.
  • Each component in the imaging device 1 may be individually made into one chip by a semiconductor device such as IC (Integrated Circuit), LSI (Large Scale Integration), or one chip so as to include a part or all of it. May be used. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used. Furthermore, if integrated circuit technology that replaces LSI appears as a result of progress in semiconductor technology or other derived technology, functional blocks may be integrated using this technology. Biotechnology can be applied as a possibility.
  • IC Integrated Circuit
  • LSI Large Scale Integration
  • the present invention can be widely used in imaging devices that image a subject.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置(1)は、輸送機器に搭載され、照射光を照射する光源(10)と、固体撮像素子(20)と、演算部(30)とを備え、固体撮像素子(20)は、照射光が被写体により反射した反射光を用いて撮像する第1画素(21)と、被写体を撮像する第2画素(22)とを有し、固体撮像素子(20)が撮像する撮像領域は、少なくとも第1画素(21)で撮像する第1領域(110)と、第2画素(22)で撮像する第2領域(120)とからなり、第1領域(110)又は第2領域(120)は、他方となる第2領域(120)又は第1領域(110)の周囲に備わり、演算部(30)は、第1領域(110)からの情報と第2領域(120)からの情報とに基づいて、被写体情報の演算を行い、輸送機器の垂直方向における照射光の照射角度は、輸送機器の垂直方向における撮像領域の画角よりも狭い。

Description

撮像装置、及びそれに用いられる固体撮像素子
 本発明は、被写体を撮像する撮像装置に関する。
 従来、被写体を撮像する撮像装置が知られている(例えば、特許文献1参照)。
特開2011-64498号公報
 撮像装置において、被写体の測距精度、及び/又は被写体の検知精度の向上が望まれる。
 そこで、本発明は、従来よりも、被写体の測距精度、及び/又は被写体の検知精度を向上し得る撮像装置、及びそれに用いられる固体撮像素子を提供することを目的とする。
 本発明の一態様に係る撮像装置は、輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第1画素と、前記被写体を撮像する第2画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第1画素で撮像する第1領域と、前記第2画素で撮像する第2領域とからなり、前記第1領域又は前記第2領域は、他方となる前記第2領域又は前記第1領域の周囲に備わり、前記演算部は、前記第1領域からの情報と前記第2領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
 本発明の一態様に係る固体撮像素子は、輸送機器に搭載され、照射光を照射する光源と、露光量を示す撮像信号を用いて被写体に係る被写体情報を演算する演算部とを備える撮像装置に用いられる、前記被写体を撮像して前記撮像信号を出力する固体撮像素子であって、前記照射光が前記被写体により反射した反射光を用いて撮像する第1画素と、前記被写体を撮像する第2画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第1画素で撮像する第1領域と、前記第2画素で撮像する第2領域とからなり、前記第1領域又は前記第2領域は、他方となる前記第2領域又は前記第1領域の周囲に備わり、前記演算部は、前記第1領域からの情報と前記第2領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
 上記構成の撮像装置、及び固体撮像素子によると、従来よりも、被写体の測距精度、及び/又は被写体の検知精度を向上し得る。
図1は、実施の形態に係る撮像装置の構成を示すブロック図である。 図2は、実施の形態に係る固体撮像素子が有する画素アレイを示す模式図である。 図3は、TOF測距方式による測距時における、発光タイミングと露光タイミングとの関係を示すタイミング図である。 図4は、実施の形態に係る撮像装置が、車両に搭載されて利用される一例を示すブロック図である。 図5Aは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。 図5Bは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。 図6は、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す側面図である。 図7Aは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。 図7Bは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。 図7Cは、実施の形態に係る撮像装置の撮像領域の一例を模式的に示す平面図である。 図8は、実施の形態に係る撮像装置が路面を撮像する様子を示す模式図である。 図9Aは、実施の形態に係る撮像装置が他の車両を撮像する様子を示す模式図である。 図9Bは、実施の形態に係る撮像装置が他の車両を撮像する様子を示す模式図である。 図10は、実施の形態に係る撮像装置が路面を撮像する様子を示す模式図である。 図11は、IR撮像画像の出力順と、W撮像画像の出力順との関係の一例を示す模式図である。 図12Aは、IR撮像画像の出力順と、IR補間撮像画像の出力順との関係の一例を示す模式図である。 図12Bは、W撮像画像の出力順と、W補間撮像画像の出力順との関係の一例を示す模式図である。
 本開示の一態様に係る撮像装置は、輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第1画素と、前記被写体を撮像する第2画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第1画素で撮像する第1領域と、前記第2画素で撮像する第2領域とからなり、前記第1領域又は前記第2領域は、他方となる前記第2領域又は前記第1領域の周囲に備わり、前記演算部は、前記第1領域からの情報と前記第2領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
 また、上記撮像装置において、前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の水平方向における前記撮像領域の画角と異なるとしてもよい。
 また、上記撮像装置において、前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記照射光の照射角度よりも大きいとしてもよい。
 また、上記撮像装置において、前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、前記固体撮像素子は、前記撮像を逐次行い、前記物体が、第1時刻に前記第1領域で撮像され、前記第1時刻から一定期間経過後となる第2時刻に前記第2領域が撮像される場合に、前記第2時刻における前記被写体情報の演算に、前記第1時刻における前記物体までの距離に係る情報を用いるとしてもよい。
 また、上記撮像装置において、前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、前記固体撮像素子は、前記撮像を逐次行い、前記物体が、第1時刻に前記第2領域で撮像され、前記第1時刻から一定期間経過後となる第2時刻に前記第1領域が撮像される場合に、前記第2時刻における前記被写体情報の演算に、前記第1時刻における前記物体の外観に係る情報を用いるとしてもよい。
 また、上記撮像装置において、前記固体撮像素子は、前記撮像を逐次行い、前記演算部が行う前記演算は、第1時刻における前記第1領域又は前記第2領域からの情報と、前記第1時刻とは異なる第2時刻における前記他方となる前記第2領域又は前記第1領域からの情報とを関連付ける処理を含むとしてもよい。
 また、上記撮像装置において、前記第1領域からの情報は、前記被写体までの距離に係る情報であり、前記第2領域からの情報は、前記被写体の外観に係る情報であり、前記演算部が行う前記演算は、前記第2領域における前記被写体までの距離を推定する処理を含み、前記被写体情報は、前記第2領域における前記被写体までの、推定される距離を示す情報を含むとしてもよい。
 また、上記撮像装置において、前記被写体が、前記第1領域と前記第2領域に連続して備わる物体である場合、前記第2領域における前記被写体情報の演算に、前記第1領域の演算結果を関連付けるとしてもよい。
 また、上記撮像装置において、前記第1領域は、前記輸送機器が走行する路面によって前記照射光が反射する反射光が前記固体撮像素子に到達する第1a領域と、前記反射光が前記固体撮像素子に到達しない第1b領域を有するとしてもよい。
 また、上記撮像装置において、前記被写体が、前記第1領域と前記第2領域に連続して備わる物体である場合、前記第1a領域以外の領域における前記被写体情報の演算に、前記第1a領域の演算結果を関連付けるとしてもよい。
 また、上記撮像装置において、前記輸送機器は路面を走行する車両であって、前記第1領域からの情報は、前記路面の傾きに係る情報であり、前記第2領域からの情報は、前記路面の外観に係る情報であり、前記演算部が行う前記演算は、前記第2領域における前記路面の傾きを推定する処理を含み、前記被写体情報は、前記第2領域における前記路面の、推定される傾きを示す情報を含むとしてもよい。
 また、上記撮像装置において、前記照射光は、赤外光であり、前記第1画素は、赤外光を受光し前記第2画素は、可視光を受光するとしてもよい。
 また、上記撮像装置において、前記照射角度を調整する拡散板を備えるとしてもよい。
 本開示の一態様に係る固体撮像素子は、輸送機器に搭載され、照射光を照射する光源と、露光量を示す撮像信号を用いて被写体に係る被写体情報を演算する演算部とを備える撮像装置に用いられる、前記被写体を撮像して前記撮像信号を出力する固体撮像素子であって、前記照射光が前記被写体により反射した反射光を用いて撮像する第1画素と、前記被写体を撮像する第2画素とを有し、前記固体撮像素子が撮像する撮像領域は、少なくとも前記第1画素で撮像する第1領域と、前記第2画素で撮像する第2領域とからなり、前記第1領域又は前記第2領域は、他方となる前記第2領域又は前記第1領域の周囲に備わり、前記演算部は、前記第1領域からの情報と前記第2領域からの情報とに基づいて、前記被写体情報の演算を行い、前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い。
 以下、本開示の一態様に係る撮像装置の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ(工程)及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
 (実施の形態)
 図1は、実施の形態に係る撮像装置1の構成を示すブロック図である。
 図1に示されるように、撮像装置1は、光源10と、固体撮像素子20と、演算部30と、制御部40と、拡散板50と、レンズ60と、バンドパスフィルタ70とを含んで構成される。
 光源10は、照射光を照射する。より具体的には、光源10は、制御部40で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。
 光源10は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源10は、1種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。
 以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、近赤外線光を発光する発光ダイオード等であって、光源10が照射する照射光は、近赤外線光であるとして説明する。しかしながら、光源10が照射する照射光は、近赤外線光に限定される必要はない。光源10が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外線光であっても構わない。
 固体撮像素子20は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子20は、制御部40で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。
 固体撮像素子20は、照射光が被写体により反射した反射光を用いて撮像する第1画素と、被写体を撮像する第2画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子20は、例えば、必要に応じて、カバーガラス、ADコンバータ等のロジック機能を有していても構わない。
 以下では、照射光と同様に、反射光は、近赤外線光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、近赤外線光に限定される必要はない。
 図2は、固体撮像素子20が有する画素アレイ2を示す模式図である。
 図2に示されるように、画素アレイ2は、照射光が被写体により反射した反射光を用いて撮像する第1画素21(IR画素)と、被写体を撮像する第2画素22(W画素)とが列単位で交互に並ぶように、アレイ状に配置されて構成される。
 また、図2では、画素アレイ2において、第2画素22と第1画素21が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き(一例として、2行置き)に配置されていてもよい。つまり、第2画素22が行方向に隣接するように並べられる第1の行と第1画素21が行方向に隣接するように並べられる第2の行は、M行置き(Mは自然数)に交互に配置されてもよい。更に、第2画素22が行方向に隣接するように並べられる第1の行と第1画素21が行方向に隣接するように並べられる第2の行は、異なる行置き(第1の行はN行、第2の行はL行を交互に繰り返す(NとLは、異なる自然数))に配置されていてもよい。
 第1画素21は、例えば、反射光である近赤外線光に感度を有する近赤外線光画素で実現される。第2画素22は、例えば、可視光に感度を有する可視光画素で実現される。
 近赤外線光画素は、例えば、近赤外線光のみを透過させる光学フィルタ、マイクロレンズ、光電変換部としての受光素子、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ、マイクロレンズ、光電変換部としての受光素子、受光素子で変換された電荷を蓄積する蓄積部等含んで構成される。なお、可視光画素の光学フィルタは、可視光と近赤外線光との双方を透過させても構わないし、可視光のうち、赤(R)、緑(G)、青(B)等の特定の波長帯域の光だけを透過させても構わない。
 再び図1に戻って、撮像装置1の説明を続ける。
 演算部30は、固体撮像素子20によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。
 演算部30は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ(マイクロプロセッサ)、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、演算部30は、FPGAやISP等を用いてもよく、1つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。
 演算部30は、例えば、固体撮像素子20の第1画素21からの撮像信号を用いて行うTOF測距方式により、被写体までの距離を算出する。
 以下、図面を参照しながら、演算部30が行うTOF測距方式による被写体までの距離の算出について説明する。
 図3は、演算部30が、TOF測距方式を用いて行う被写体までの距離の算出を行う際における、光源10の発光素子の発光タイミングと、固体撮像素子20の第1画素21の露光タイミングとの関係を示すタイミング図である。
 図3において、Tpは光源10の発光素子が照射光を発光する発光期間であり、Tdは、光源10の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子20に戻ってくるまでの遅延時間である。そして、第1露光期間は、光源10が照射光を発光する発光期間と同じタイミングとなっており、第2露光期間は、第1露光期間の終了時点から、発光期間Tpが経過するまでのタイミングとなっている。
 図3において、q1は、第1露光期間内における反射光による、固体撮像素子20の第1画素21における露光量の総量を示し、q2は、第2露光期間内における反射光による、固体撮像素子20の第1画素21における露光量の総量を示す。
 光源10の発光素子による照射光の発光と、固体撮像素子20の第1画素21による露光とを、図3に示されるタイミングで行うことで、被写体までの距離dは、光速をcとして、次式(式1)で表すことができる。
 d=c×Tp/2×q1/(q1+q2)           …式1
 このため、演算部30は、式1を利用することで、固体撮像素子20の第1画素21からの撮像信号を用いて、被写体までの距離を算出することができる。
 再び図1に戻って、撮像装置1の説明を続ける。
 演算部30は、例えば、固体撮像素子20の第2画素22からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行う。
 すなわち、演算部30は、第1の時刻において、固体撮像素子20の複数の第2画素22によって撮像された第1可視光画像と、第2の時刻において、固体撮像素子20の複数の第2画素22によって撮像された第2可視光画像とを比較し、これら可視光画像間の差分に基づいて、被写体の検知、及び被写体までの距離の算出を行う。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行なうことで実現してもよい。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。
 演算部30が行う他の演算例については、後述する。
 制御部40は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、制御部40は、生成した発光信号を光源10へ出力し、生成した露光信号を固体撮像素子20へ出力する。
 制御部40は、例えば、所定の周期で光源10を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子20を露光させるように露光信号を生成して出力することで、撮像装置1に、所定のフレームレートによる連続撮像を実現させてもよい。
 制御部40は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ(マイクロプロセッサ)、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、制御部40は、FPGAやISP等を用いてもよく、1つのハードウェアから構成されても、複数のハードウェアから構成されても構わない。
 拡散板50は、照射光の角度を調整する。
 レンズ60は、撮像装置1の外部から入る光を、固体撮像素子20の画素アレイ2の表面に集光する光学レンズである。
 バンドパスフィルタ70は、反射光である近赤外線光と、可視光とを透過させる光学フィルタである。
 上記構成の撮像装置1は、輸送機器に搭載されて利用される。以下では、撮像装置1は、路面を走行する車両に搭載されて利用されるとして説明するが、撮像装置1が搭載される輸送機器は、必ずしも車両に限定される必要はない。撮像装置1は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。
 なお、演算部30は、上述したTOF測距方式により算出する被写体までの距離と比べて、その精度は低下してしまうものの、固体撮像素子20の第1画素21からの撮像信号を用いずに、被写体までの距離を算出することも可能である。
 図4は、撮像装置1が、車両100に搭載されて利用される一例を示すブロック図である。
 図4に示されるように、撮像装置1は、例えば、車両100に搭載されるADAS(Advanced Driver Assistance System)/AD-ECU(Automated Driving - Engine Control Unit)110に接続されて利用される。
 ADAS/AD-ECU110は、車両100に搭載される、撮像装置1、及びセンサ12A~12Cからの信号を利用して、車両100の自動運転を制御するシステムであって、車両の位置を特定するロケイタ部111、及び、ブレーキ、ハンドル、エンジン等を制御するコントロール部112等を含む。
 撮像装置1は、車両100の様々な位置に搭載され得る。例えば、撮像装置1は、車両100の前面中央部、すなわち、両ヘッドライト間の中央部に搭載され、車両100の前方をその撮像領域とすることができる。
 図5Aは、撮像装置1が、車両100の前方監視用に、車両100の前面中央部に搭載された場合において、外部環境が、晴れの日の昼間といった、可視光による撮像距離の方が、反射光による撮像距離よりも長いときにおける、撮像装置1の撮像領域の一例を模式的に示す側面図である。
 図5Aにおいて、第1領域110は、少なくとも第1画素21で撮像する領域である。すなわち、第1領域110は、光源10から照射された照射光が被写体により反射し、反射した反射光が、固体撮像素子20に到達し得る領域である。
 図5Aにおいて、第2領域120は、第2画素22で撮像する領域である。すなわち、第2領域120は、可視光である環境光が、固体撮像素子20に到達し得る領域である。
 図5Aに示される例では、車両100の垂直方向における照射光の照射角度は、拡散板50により適切に調整されることで、車両100の垂直方向における撮像領域の画角よりも狭くなっている。例えば、車両100の垂直方向における照射光の照射角度は20度程度であってよく、車両100の垂直方向における撮像領域の画角は30度程度であってよい。
 このように、照射光の照射範囲を、撮像領域の画角よりも狭く調整することで、光源10の発する有限エネルギーの照射光を、特に着目したい範囲内に絞って照射することができる。これにより、その着目したい範囲内における、反射光の到達距離を、照射光を絞らない場合にくらべて、より長くすることができる。
 図5Aに示されるように、可視光による撮像距離の方が、反射光による撮像距離よりも長くなる外部環境の場合には、第1領域110よりも遠方側に第2領域120が存在する。すなわち、このような外部環境の場合には、第2領域120は、他方となる第1領域110の周囲に備わる。
 また、第1領域110は、図5Aに示されるように、第1a領域110aと、第1b領域110bとからなる。
 第1a領域110aは、第1領域110のうち、路面130(基準面)からの反射光、及び路面130よりも仰角方向上方の被写体からの反射光が、固体撮像素子20に到達し得る領域である。
 第1b領域110bは、第1領域110のうち、路面130よりも仰角方向上方の被写体からの反射光が、固体撮像素子20に到達し得るが、路面からの反射光が、固体撮像素子20に到達しない領域である。
 また、第2領域120は、図5Aに示されるように、第2a領域120aと、第2b領域120bとからなる。
 第2a領域120aは、第2領域120のうち、第1a領域110aと第1b領域110bとの境界面よりも仰角方向上方側の領域である。
 第2b領域120bは、第2領域120のうち、第1a領域110aと第1b領域110bとの境界面よりも仰角方向下方側の領域である。
 図5Bは、撮像装置1が、車両100の前方監視用に、車両100の前面中央部に搭載された場合において、反射光による撮像距離の方が、可視光による撮像距離よりも長い場合(一例として、外部環境が、夜間、雨天、濃霧時等の場合)における、撮像装置1の撮像領域の一例を模式的に示す側面図である。
 図5Bに示されるように、反射光による撮像距離の方が、可視光による撮像距離よりも長くなる外部環境の場合には、第2領域120よりも遠方側に第1領域110が存在する。すなわち、このような外部環境の場合には、第1領域110は、他方となる第2領域120の周囲に備わる。
 図5A、図5Bで説明したように、第2領域120は外部要因(一例として外部環境)により、その範囲が変化し得る。また、同様に、第1領域110は、外部要因(一例として外部環境)により、その範囲が変化し得る。
 撮像装置1は、図5A、図5Bで示されるように、車両100の前方監視用に利用される場合に限定されない。例えば、車両100の後方監視用にも利用されても構わない。すなわち、撮像装置1は、例えば、車両の背面中央部、すなわち、両テールライト間の中央部に搭載され、車両100の後方をその撮像領域とすることもできる。
 図6は、撮像装置1が、車両100の後方監視用に、車両100の背面中央部に搭載された場合において、外部環境が、晴れの日の昼間といった、可視光による撮像距離の方が、反射光による撮像距離よりも長いときにおける、撮像装置1の撮像領域の一例を模式的に示す側面図である。
 図7Aは、撮像装置1が、車両100の前方監視用に、車両100の前面中央部に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合(一例として、外部環境が、晴れの日の昼間等の場合)における、撮像装置1の撮像領域の一例を模式的に示す平面図である。
 図7Aで示される例では、車両の水平方向における第1領域110の角度は、車両の水平方向における第2領域120の角度と略等しくなっている。すなわち、車両100の水平方向における照射光の照射角度は、拡散板50により適切に調整されることで、車両100の水平方向における撮像領域の画角と略等しくなっている。例えば、車両100の水平方向における照射光の照射角度は90度程度であってよく、車両100の水平方向における撮像領域の範囲は90度程度であってよい。
 このように、車両100の水平方向における照射光の照射角度を、車両100の水平方向における撮像領域の画角と略等しくすることで、車両の水平方向における画角一杯までの範囲の被写体を、第1画素21で撮像することができる。
 なお、車両100の水平方向における照射光の照射角度を、車両100の水平方向における撮像領域の画角と異ならせても良い。一例として、車両の水平方向における画角一杯までの範囲の被写体を、より確実に第1画素21で撮像することができるように、車両100の水平方向における照射光の照射角度を、車両100の水平方向における撮像領域の画角よりも広くしても構わない。例えば、車両100の水平方向における撮像領域の範囲は90度程度である場合に、車両100の水平方向における照射光の照射角度は92度程度であってよい。
 さらに、撮像装置1は、車両100の斜方監視用にも利用されても構わないし、車両100の側方監視用として利用されても構わない。
 なお、図7Aは、車両100の緊急ブレーキ制御を行うための複数のセンシング装置の一つとして用いられることがより好ましい。
 さらに、図7Aは、後述する図7B及び図7Cの場合よりも、遠距離を測定するセンシング装置として用いられることがより好ましい。
 図7Bは、撮像装置1が、車両100の斜方監視用に、車両100のヘッドライト付近に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合(一例として、外部環境が、晴れの日の昼間等の場合)における、撮像装置1の撮像領域の一例を模式的に示す平面図である。
 図7Cは、撮像装置1が、車両100の側方監視用に、車両100のドアミラー側面に搭載された場合において、可視光による撮像距離の方が、反射光による撮像距離よりも長い場合(一例として、外部環境が、晴れの日の昼間等の場合)における、撮像装置1の撮像領域の一例を模式的に示す平面図である。
 なお、図7B及び図7Cは、車両100の自動運転制御を行うための複数のセンシング装置の一つとして用いられることがより好ましい。
 さらに、図7B及び図7Cは、図7Aの場合よりも、短距離から中距離を測定するセンシング装置として用いられることがより好ましい。
 特に、撮像装置1を、車両100の斜方監視用、又は側方監視用に利用する場合には、車両100の水平方向における照射光の照射角度と、車両100の水平方向における撮像領域の画角と略等しくすることが好ましい。
 図8は、第1領域110と第2領域120との関係が、図5A、図7Aで示される関係である場合において、撮像装置1が、路面130を撮像する様子の一例を示す模式図であって、撮像装置1の撮像視点による模式図である。
 図8に示されるように、車両100の垂直方向において、第2領域120は、撮像画像の画角上端から画角下端まで存在しているが、第1領域110は、撮像画像の画角上端よりも下方から画角下端よりも上方に限って存在している。
 一方で、図8に示されるように、車両100の水平方向において、第1領域110と第2領域120との双方は、撮像画像の左端から右端まで存在している。
 図8において、第2c領域120cは、第2a領域120a内でかつ第1a領域110a外の領域のうち、反射光が固体撮像素子20に到達する可能性がある領域であるが、反射光の到達が不安定となる領域である。このため、演算部30は、第2c領域120cに該当する第1画素21からの撮像信号を、演算部30が行う演算において利用しない。
 また、図8において、第2d領域120dは、第2b領域120b内でかつ第1b領域110b外の領域のうち、反射光が固体撮像素子20に到達する可能性がある領域であるが、反射光の到達が不安定となる領域である。このため、演算部30は、第2c領域120cと同様に、第2d領域120dに該当する第1画素21からの撮像信号を、演算部30が行う演算において利用しない。
 図9A、図9Bは、第1領域110と第2領域120との関係が、図5A、図7Aで示される関係である場合において、撮像装置1が、第1時刻と、第1時刻よりも後の第2時刻とにおいて、路面130を走行中の他の車両200を撮像する様子の一例を示す模式図であって、撮像装置1の撮像視点による模式図である。
 図9A、図9Bにおいて、車両200a、車両200cは、第1時刻において撮像される他の車両200であり、車両200b、車両200dは、第1時刻よりも後の時刻である第2時刻において撮像される他の車両200である。
 図9A、図9Bで示される例は、第1時刻から時間が経過して第2時刻になる間に、車両100と他の車両200との距離が接近するシーンに対応する例となっている。但し、他の車両200までの距離は、図9Aで示される例と、図9Bで示される例とで異なっている。
 図9Aに示される例において、他の車両200aは、第1領域110内でかつ第2領域120内に存在している。
 このため、演算部30は、第2領域120からの情報、すなわち、第1時刻における第2画素22からの撮像信号に基づいて、被写体である他の車両200aの検知を行い、かつ、第1領域110からの情報、すなわち、第1時刻における第1画素21からの撮像信号に基づいて、TOF測距方式により、被写体である他の車両200aまでの距離を、比較的精度良く算出する。
 一方、図9Aに示される例において、他の車両200bは、第1領域110外でかつ第2領域120内に存在している。
 このため、演算部30は、第2領域120からの情報、すなわち、第2時刻における第2画素22からの撮像信号に基づいて、被写体である他の車両200bの検知を行う一方で、第1領域110からの情報、すなわち、第1画素21からの撮像信号に基づく、TOF測距方式による、被写体である他の車両200bまでの距離を算出しない。替わりに、演算部30は、第2領域120からの情報、すなわち、第2画素22からの撮像信号に基づいて、TOF測距方式によらず、被写体である他の車両200bまでの距離を算出する。
 そして、演算部30は、第1時刻における第1領域110からの情報と、第2時刻における第2領域120からの情報とを関連付ける。より具体的には、演算部30は、第1時刻における車両200aの検知結果と、第2時刻における車両200bの検知結果を比較して、車両200aと車両200bとが同一の車両200であると判定する場合に、第1時刻における、TOF測距方式により算出された他の車両200aまで距離を示す情報と、第2時刻における、車両200bの検知結果とを関連付ける(紐付けする)。
 そして、演算部30は、第2領域における被写体までの距離を推定する。より具体的には、演算部30は、第1時刻における、TOF測距方式により算出された他の車両200aまで距離を示す情報と、第2時刻における、他の車両200bの検知結果と、第2時刻における、TOF測距方式によらず算出された他の車両200bまでの距離を示す情報とに基づいて、第2時刻における車両200bまでの距離を推定する。
 これにより、演算部30は、第2時刻による車両200bまでの距離を、第2時刻における第2画素22からの撮像信号のみに基づいて算出する場合よりも、より精度良く推定し得る。
 図9Bに示される例において、他の車両200cは、第1領域110外でかつ第2領域120内に存在している。
 このため、演算部30は、第2領域120からの情報、すなわち、第1時刻における第2画素22からの撮像信号に基づいて、被写体である他の車両200cの検知と、TOF測距方式によらない、被写体である他の車両200cまでの距離の算出とを行う。
 つまり、図9Aで示される例において、被写体は、輸送機器が走行する路面上に存在する物体(車両200aまたは車両200b)であり、固体撮像素子20は、撮像を逐次行い、上述の物体が、第1時刻に第1領域110で撮像され、第1時刻から一定期間経過後となる第2時刻に第2領域120が撮像される場合に、第2時刻における被写体(車両200b)情報の演算に、第1時刻における上述の物体(車両200a)までの距離に係る情報を用いる。
 一方、図9Bに示される例において、他の車両200dは、第1領域110内でかつ第2領域120内に存在している。
 このため、演算部30は、第2領域120からの情報、すなわち、第2時刻における第2画素22からの撮像信号に基づいて、被写体である他の車両200dの検知を行い、かつ、第1領域110からの情報、すなわち、第2時刻における第1画素21からの撮像信号に基づいて、TOF測距方式により、被写体である他の車両200dまでの距離を、比較的精度良く算出する。但し、演算部30は、上記検知と上記算出とを、第1時刻における他の車両200cの検知結果にも基づいて行う。
 すなわち、演算部30は、例えば、第1時刻における他の車両200cの検知結果に基づいて、上記検知と上記算出とを、その探索範囲を一部の領域に限定して行う。
 これにより、演算部30は、上記検知と上記算出とを、車両200cの検知結果に基づくことなく行う場合よりも、より短時間で実現し得る。
 また、演算部30は、例えば、第1時刻における他の車両200cの検出結果と、第2時刻における第2画素22からの撮像信号とに基づいて、第2時刻における他の車両200dの検知を行う。
 これにより、演算部30は、第2時刻における他の車両200dの検知を、第1時刻における他の車両200cの検知結果に基づくことなく行う場合よりも、より精度良く実現し得る。
 つまり、図9Bで示される例において、被写体は、輸送機器が走行する路面上に存在する物体(車両200cまたは車両200d)であり、固体撮像素子20は、撮像を逐次行い、上述の物体が、第1時刻に第2領域120で撮像され、第1時刻から一定期間経過後となる第2時刻に第1領域110が撮像される場合に、第2時刻における被写体(車両200d)情報の演算に、第1時刻における前記物体(車両200c)の外観に係る情報を用いる。
 以上、図9A、図9Bを用いて説明したように、第1時刻から第2時刻の経過において、被写体(車両200a~200d)の位置が(1)第1領域110から第2領域120に変わる場合、(2)第2領域120から第1領域110に変わる場合、のいずれの場合においても、第1時刻における第1領域110又は第2領域120からの情報と、第1時刻とは異なる第2時刻における他方となる前記第2領域120又は第1領域110からの情報とを関連付けを行うことにより、第2時刻時における被写体のセンシング(測距、検知、等)を、短時間に、かつ/または、精度良く行うことが出来る。
 図10は、第1領域110と第2領域120との関係が、図5A、図7Aで示される関係である場合において、撮像装置1が、路面130を撮像する様子の一例を示す模式図であって、撮像装置1の撮像視点による模式図である。すなわち、図10に示す例は、図8に示す例と同様のシーンに対応する図面になっている。しかしながら、図10は、演算部30の動作をより分かりやすく説明するために、その図示内容の一部を、図8において図示する内容とは一部異なる方法で図示している。
 図10で示される例において、路面130の路肩を示す路肩境界線140は、第1a領域110aに含まれる路肩境界線領域140a、及び路肩境界線領域140bと、第1a領域110aに含まれない路肩境界線領域140c~路肩境界線領域140fとを含んでいる。
 上述したように、路肩境界線領域140a、及び路肩境界線領域140bは、第1a領域110aに含まれる。このため、演算部30は、第2領域120からの情報、すなわち、第2画素22からの撮像信号に基づいて、路肩境界線領域140a、及び路肩境界線領域140bにおける路面130(すなわち、路肩領域)の検知を行い、かつ、第1a領域110aからの情報、すなわち、第1画素21からの撮像信号に基づいて、TOF測距方式により、路肩境界線領域140a、及び路肩境界線領域140bにおける路面130(すなわち、路肩領域)までの距離を、比較的精度良く算出する。
 これにより、演算部30は、路肩境界線領域140a、及び路肩境界線領域140bにおける路面130(すなわち、路肩領域)についての、外観、及び傾きを算出することができる。
 一方、上述したように、路肩境界線領域140c~路肩境界線領域140fは、第1a領域110aに含まれない。このため、演算部30は、第2領域120からの情報、すなわち、第2画素22からの撮像信号に基づいて、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)の検知を行う一方で、第1a領域110aからの情報、すなわち、第1画素21からの撮像信号に基づく、TOF測距方式による、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)までの距離を算出しない。替わりに、演算部30は、第2領域120からの情報、すなわち、第2画素22からの撮像信号に基づいて、TOF測距方式によらず、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)までの距離を算出する。
 そして、演算部30は、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)についての外観を算出する一方で、第1a領域110aからの情報と、第2領域120からの情報とを関連付ける。より具体的には、演算部30は、路肩境界線領域140a、及び路肩境界線領域140bにおける路面130(すなわち、路肩領域)の検知結果と、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)の検知結果とを比較して、路肩境界線領域140a、及び路肩境界線領域140bにおける路面130(すなわち、路肩領域)と、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)とが、同一の路肩境界線140における路面130(すなわち、路肩領域)の一部であると判定する場合に、TOF測距方式により算出された、路肩境界線領域140a、及び路肩境界線領域140bにおける路面130(すなわち、路肩領域)までの距離を示す情報と、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)の検知結果とを関連付ける(紐付ける)。
 そして、演算部30は、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)の傾きを推定する。より具体的には、演算部30は、路肩境界線領域140a、及び路肩境界線領域140bにおける路面130(すなわち、路肩領域)についての、外観、及び傾きと、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)の外観とから、路肩形状の連続性を推定し、推定した路肩形状の連続性に基づいて、路肩境界線領域140c~路肩境界線領域140fにおける路面130(すなわち、路肩領域)の傾きを推定する。
 これにより、演算部30は、第1a領域110a以外の領域における路面130の傾きを、第2画素22からの撮像信号のみに基づいて算出する場合よりも、より精度良く推定し得る。
 つまり、被写体が、第1領域110と第2領域120に連続して備わる物体(路肩境界線140)である場合、第2領域120における被写体情報の演算に、第1領域110の演算結果を関連付ける。
 または、被写体が、第1領域110と第2領域120に連続して備わる物体(路肩境界線140)である場合、第1a領域110a以外の領域(第2領域120、第1b領域110b)における被写体情報の演算に、第1a領域110aの演算結果を関連付ける。
 また、撮像装置1は、例えば、第1画素21による撮像と第2画素22による撮像とを、所定のフレームレートにおける互いにずれたタイミングで行い、第1画素21による撮像信号(以下、「IR撮像信号」とも呼ぶ。)の出力と第2画素22による撮像信号(以下、「W撮像信号とも呼ぶ」)の出力とを、上記所定のフレームレートにおける互いにずれたタイミングで行う構成であっても構わない。
 図11は、撮像装置1が上記構成である場合における、IR撮像信号の出力順と、W撮像信号の出力順との関係の一例を示す模式図である。
 さらに、撮像装置1は、例えば、IR撮像信号を、W撮像信号で補間する構成であっても構わない。
 図12Aは、撮像装置1が上記構成である場合における、IR撮像信号の出力順と、W撮像信号でIR撮像信号を補完することで得られる撮像信号(以下、「IR補間撮像信号」とも呼ぶ。)の出力順との関係の一例を示す模式図である。
 図12Aにおいて、IR補間撮像信号a500aは、W撮像信号a400aに基づいて生成される、IR撮像信号a300aとIR撮像信号b300bとの間を補完するIR補間撮像信号である。IR補間撮像信号b500bは、W撮像信号b400bに基づいて生成される、IR撮像信号b300bとIR撮像信号c300cとの間を補完するIR補間撮像信号である。IR補間撮像信号c500cは、W撮像信号c400cに基づいて生成される、IR撮像信号c300cとIR撮像信号d(図示されず)との間を補完するIR補間撮像信号である。
 図12Aに示されるように、上記構成の撮像装置1は、実質的に、IR撮像信号の出力フレームレートを高めることができる。これにより、上記構成の撮像装置1は、被写体の測距精度、及び/又は被写体の検知精度を、さらに向上し得る。
 また、撮像装置1は、例えば、IR補間撮像信号(例えば、IR補間撮像信号a500a)を生成する際に、対応するW撮像信号(例えば、W撮像信号a400a)に加えて、その前後のIR撮像信号(例えば、IR撮像信号a300aとIR撮像信号b300bと)にも基づいて生成する構成であっても構わない。これにより、上記構成の撮像装置1は、より精度良くIR補間撮像信号を生成することができるようになる。
 さらに、撮像装置1は、例えば、W撮像信号を、IR撮像信号で補間する構成であっても構わない。
 図12Bは、撮像装置1が上記構成である場合における、W撮像信号の出力順と、IR撮像信号でW撮像信号を補完することで得られる撮像信号(以下、「W補間撮像信号」とも呼ぶ。)の出力順との関係の一例を示す模式図である。
 図12Bにおいて、W補間撮像信号b600bは、IR撮像信号b300bに基づいて生成される、W撮像信号a400aとW撮像信号b400bとの間を補完するW補間撮像信号である。W補間撮像信号c600cは、IR撮像信号c300cに基づいて生成される、W撮像信号c400bとW撮像信号c400cとの間を補完するW補間撮像信号である。
 図12Bに示されるように、上記構成の撮像装置1は、実質的に、W撮像信号の出力フレームレートを高めることができる。これにより、上記構成の撮像装置1は、被写体の測距精度、及び/又は被写体の検知精度を、さらに向上し得る。
 また、撮像装置1は、例えば、W補間撮像信号(例えば、W補間撮像信号b600b)を生成する際に、対応するIR撮像信号(例えば、IR撮像信号b300b)に加えて、その前後のW撮像信号(例えば、W撮像信号a400aとW撮像信号b400bと)にも基づいて生成する構成であっても構わない。これにより、上記構成の撮像装置1は、より精度良くW補間撮像信号を生成することができるようになる。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態について説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
 (1)本開示において、演算部30、及び制御部40は、マイクロプロセッサ等の演算処理装置によって実現される構成の例であるとして説明した。しかしながら、演算部30、及び制御部40は、上記実現例と同等の機能を有していれば、必ずしも上記実現例通りに実現される構成の例に限定される必要はない。例えば、演算部30、及び制御部40は、演算部30、及び制御部40を構成する構成要素の一部又は全部が、専用回路によって実現される構成の例であっても構わない。
 (2)撮像装置1における各構成要素は、IC(Integrated Circuit)、LSI(Large Scale Integration)等の半導体装置により個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
 (3)上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
 本発明は、被写体を撮像する撮像装置に広く利用可能である。
1 撮像装置
10 光源
20 固体撮像素子
21 第1画素
22 第2画素
30 演算部
40 制御部
50 拡散板
110 第1領域
110a 第1a領域
110b 第1b領域
120 第2領域
120a 第2a領域
120b 第2b領域

Claims (14)

  1.  輸送機器に搭載され、照射光を照射する光源と、被写体を撮像して露光量を示す撮像信号を出力する固体撮像素子と、前記撮像信号を用いて前記被写体に係る被写体情報を演算する演算部とを備える撮像装置であって、
     前記固体撮像素子は、前記照射光が前記被写体により反射した反射光を用いて撮像する第1画素と、前記被写体を撮像する第2画素とを有し、
     前記固体撮像素子が撮像する撮像領域は、少なくとも前記第1画素で撮像する第1領域と、前記第2画素で撮像する第2領域とからなり、
     前記第1領域又は前記第2領域は、他方となる前記第2領域又は前記第1領域の周囲に備わり、
     前記演算部は、前記第1領域からの情報と前記第2領域からの情報とに基づいて、前記被写体情報の演算を行い、
     前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い
     撮像装置。
  2.  前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の水平方向における前記撮像領域の画角と異なる
     請求項1に記載の撮像装置。
  3.  前記輸送機器の水平方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記照射光の照射角度よりも大きい
     請求項1又は2に記載の撮像装置。
  4.  前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、
     前記固体撮像素子は、前記撮像を逐次行い、
     前記物体が、第1時刻に前記第1領域で撮像され、前記第1時刻から一定期間経過後となる第2時刻に前記第2領域が撮像される場合に、
     前記第2時刻における前記被写体情報の演算に、前記第1時刻における前記物体までの距離に係る情報を用いる
     請求項1~3のいずれか1項に記載の撮像装置。
  5.  前記被写体は、前記輸送機器が走行する路面上に存在する物体であり、
     前記固体撮像素子は、前記撮像を逐次行い、
     前記物体が、第1時刻に前記第2領域で撮像され、前記第1時刻から一定期間経過後となる第2時刻に前記第1領域が撮像される場合に、
     前記第2時刻における前記被写体情報の演算に、前記第1時刻における前記物体の外観に係る情報を用いる
     請求項1~4のいずれか1項に記載の撮像装置。
  6.  前記固体撮像素子は、前記撮像を逐次行い、
     前記演算部が行う前記演算は、第1時刻における前記第1領域又は前記第2領域からの情報と、前記第1時刻とは異なる第2時刻における前記他方となる前記第2領域又は前記第1領域からの情報とを関連付ける処理を含む
     請求項1~3のいずれか1項に記載の撮像装置。
  7.  前記第1領域からの情報は、前記被写体までの距離に係る情報であり、
     前記第2領域からの情報は、前記被写体の外観に係る情報であり、
     前記演算部が行う前記演算は、前記第2領域における前記被写体までの距離を推定する処理を含み、
     前記被写体情報は、前記第2領域における前記被写体までの、推定される距離を示す情報を含む
     請求項6に記載の撮像装置。
  8.  前記被写体が、前記第1領域と前記第2領域に連続して備わる物体である場合、
     前記第2領域における前記被写体情報の演算に、前記第1領域の演算結果を関連付ける
     請求項1~7のいずれか1項に記載の撮像装置。
  9.  前記第1領域は、前記輸送機器が走行する路面によって前記照射光が反射する反射光が前記固体撮像素子に到達する第1a領域と、前記反射光が前記固体撮像素子に到達しない第1b領域を有する
     請求項1~8のいずれか1項に記載の撮像装置。
  10.  前記被写体が、前記第1領域と前記第2領域に連続して備わる物体である場合、
     前記第1a領域以外の領域における前記被写体情報の演算に、前記第1a領域の演算結果を関連付ける
     請求項9に記載の撮像装置。
  11.  前記輸送機器は路面を走行する車両であって、
     前記第1領域からの情報は、前記路面の傾きに係る情報であり、
     前記第2領域からの情報は、前記路面の外観に係る情報であり、
     前記演算部が行う前記演算は、前記第2領域における前記路面の傾きを推定する処理を含み、
     前記被写体情報は、前記第2領域における前記路面の、推定される傾きを示す情報を含む
     請求項1~7のいずれか1項に記載の撮像装置。
  12.  前記照射光は、赤外光であり、
     前記第1画素は、赤外光を受光し
     前記第2画素は、可視光を受光する
     請求項1~11のいずれか1項に記載の撮像装置。
  13.  更に、
     前記照射角度を調整する拡散板を備える
     請求項1~12のいずれか1項に記載の撮像装置。
  14.  輸送機器に搭載され、照射光を照射する光源と、露光量を示す撮像信号を用いて被写体に係る被写体情報を演算する演算部とを備える撮像装置に用いられる、前記被写体を撮像して前記撮像信号を出力する固体撮像素子であって、
     前記照射光が前記被写体により反射した反射光を用いて撮像する第1画素と、前記被写体を撮像する第2画素とを有し、
     前記固体撮像素子が撮像する撮像領域は、少なくとも前記第1画素で撮像する第1領域と、前記第2画素で撮像する第2領域とからなり、
     前記第1領域又は前記第2領域は、他方となる前記第2領域又は前記第1領域の周囲に備わり、
     前記演算部は、前記第1領域からの情報と前記第2領域からの情報とに基づいて、前記被写体情報の演算を行い、
     前記輸送機器の垂直方向における前記照射光の照射角度は、前記輸送機器の垂直方向における前記撮像領域の画角よりも狭い
     固体撮像素子。
PCT/JP2017/042990 2016-12-05 2017-11-30 撮像装置、及びそれに用いられる固体撮像素子 WO2018105476A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018554957A JP6541119B2 (ja) 2016-12-05 2017-11-30 撮像装置
EP17878837.8A EP3550261A4 (en) 2016-12-05 2017-11-30 IMAGE CAPTURE DEVICE AND IMAGE CAPTURE ELEMENT USED THEREIN
CN201780075071.XA CN110050171B (zh) 2016-12-05 2017-11-30 摄像装置和该摄像装置中使用的固体摄像元件
US16/429,965 US11200688B2 (en) 2016-12-05 2019-06-03 Imaging apparatus and solid-state imaging device used therein

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662430035P 2016-12-05 2016-12-05
US62/430,035 2016-12-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/429,965 Continuation US11200688B2 (en) 2016-12-05 2019-06-03 Imaging apparatus and solid-state imaging device used therein

Publications (1)

Publication Number Publication Date
WO2018105476A1 true WO2018105476A1 (ja) 2018-06-14

Family

ID=62491916

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042990 WO2018105476A1 (ja) 2016-12-05 2017-11-30 撮像装置、及びそれに用いられる固体撮像素子

Country Status (5)

Country Link
US (1) US11200688B2 (ja)
EP (1) EP3550261A4 (ja)
JP (1) JP6541119B2 (ja)
CN (1) CN110050171B (ja)
WO (1) WO2018105476A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170745A1 (ja) * 2019-02-21 2020-08-27 日立オートモティブシステムズ株式会社 走行路認識装置
US20220210316A1 (en) * 2019-04-25 2022-06-30 Canon Kabushiki Kaisha Image pickup apparatus of measuring distance from subject to image pickup surface of image pickup device and method for controlling the same
US12104894B2 (en) 2018-09-20 2024-10-01 Samsung Electronics Co., Ltd. Illumination device and electronic apparatus including the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064498A (ja) 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2015206888A (ja) * 2014-04-21 2015-11-19 株式会社リコー 光源装置、および画像表示装置
WO2015182135A1 (ja) * 2014-05-30 2015-12-03 パナソニックIpマネジメント株式会社 センシングシステム及び運転支援システム
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
JP2016133399A (ja) * 2015-01-20 2016-07-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
EP3217191A1 (en) * 2016-03-08 2017-09-13 Continental Automotive GmbH Distance measuring apparatus and method for measuring a distance

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067110A (en) * 1995-07-10 2000-05-23 Honda Giken Kogyo Kabushiki Kaisha Object recognizing device
JP3995846B2 (ja) * 1999-09-24 2007-10-24 本田技研工業株式会社 物体認識装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
JP3909691B2 (ja) * 2002-09-12 2007-04-25 株式会社日立製作所 車載用画像処理装置
US6860350B2 (en) * 2002-12-20 2005-03-01 Motorola, Inc. CMOS camera with integral laser ranging and velocity measurement
JP2007263563A (ja) * 2004-06-03 2007-10-11 Matsushita Electric Ind Co Ltd カメラモジュール
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
JP4244964B2 (ja) * 2005-06-06 2009-03-25 オムロン株式会社 車両用測距装置
JP2007104171A (ja) * 2005-10-03 2007-04-19 Omron Corp 前方監視装置
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
DE102009020328A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
US8599027B2 (en) * 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
US8692980B2 (en) * 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
WO2012067028A1 (ja) * 2010-11-16 2012-05-24 コニカミノルタオプト株式会社 画像入力装置および画像処理装置
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8825260B1 (en) * 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 測距撮像システム
DE102014103010A1 (de) * 2014-03-06 2015-09-10 Skidata Ag Digitalkamera
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
US10356337B2 (en) * 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems
JP6291144B2 (ja) * 2015-09-11 2018-03-14 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
JP2017112169A (ja) * 2015-12-15 2017-06-22 ソニー株式会社 イメージセンサ、撮像システム及びイメージセンサの製造方法
US10491879B2 (en) * 2016-01-15 2019-11-26 Blue River Technology Inc. Plant feature detection using captured images
EP3423865B1 (en) * 2016-03-01 2024-03-06 Brightway Vision Ltd. Gated imaging apparatus, system and method
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
CN109076163B (zh) * 2016-04-27 2021-08-31 索尼公司 成像控制装置、成像控制方法以及成像装置
CN113727000A (zh) * 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
JP7018022B2 (ja) * 2016-11-29 2022-02-09 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置及び測距撮像装置
US10397497B1 (en) * 2017-08-14 2019-08-27 Apple Inc. Solar invariant imaging system for object detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064498A (ja) 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2015206888A (ja) * 2014-04-21 2015-11-19 株式会社リコー 光源装置、および画像表示装置
WO2015182135A1 (ja) * 2014-05-30 2015-12-03 パナソニックIpマネジメント株式会社 センシングシステム及び運転支援システム
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
JP2016133399A (ja) * 2015-01-20 2016-07-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
EP3217191A1 (en) * 2016-03-08 2017-09-13 Continental Automotive GmbH Distance measuring apparatus and method for measuring a distance

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3550261A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12104894B2 (en) 2018-09-20 2024-10-01 Samsung Electronics Co., Ltd. Illumination device and electronic apparatus including the same
WO2020170745A1 (ja) * 2019-02-21 2020-08-27 日立オートモティブシステムズ株式会社 走行路認識装置
JP2020134367A (ja) * 2019-02-21 2020-08-31 日立オートモティブシステムズ株式会社 走行路認識装置
JP7257814B2 (ja) 2019-02-21 2023-04-14 日立Astemo株式会社 走行路認識装置
US20220210316A1 (en) * 2019-04-25 2022-06-30 Canon Kabushiki Kaisha Image pickup apparatus of measuring distance from subject to image pickup surface of image pickup device and method for controlling the same

Also Published As

Publication number Publication date
CN110050171A (zh) 2019-07-23
US20190287256A1 (en) 2019-09-19
US11200688B2 (en) 2021-12-14
EP3550261A4 (en) 2019-12-25
EP3550261A1 (en) 2019-10-09
JPWO2018105476A1 (ja) 2019-06-24
JP6541119B2 (ja) 2019-07-10
CN110050171B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
WO2018105476A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
CN105723239B (zh) 测距摄像系统以及固体摄像元件
KR102559910B1 (ko) 차량 주변 환경을 특성화하기 위한 시스템
US20160096477A1 (en) Vehicle vision system with gray level transition sensitive pixels
US20160180182A1 (en) Vehicle vision system with 3d registration for distance estimation
WO2020066637A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
WO2020066236A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
CN110293973B (zh) 驾驶支援系统
JP7450163B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
JP7135081B2 (ja) 装置および方法
US20150035974A1 (en) Combined imager and range finder
JP2015187832A (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
US20230078063A1 (en) Distance measurement device and distance measurement system
JP6003396B2 (ja) 撮像装置、車載用監視装置および対象物検知方法
JP7147729B2 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
JP4315175B2 (ja) 光検出方法および光検出装置
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
US20180054608A1 (en) Image capturing device and image capturing method
JP2021131385A (ja) 物体検出装置
US20230142762A1 (en) Sensing system
WO2022239459A1 (ja) 測距装置及び測距システム
US20230003895A1 (en) Method and apparatus for controlling distance measurement apparatus
WO2021166912A1 (ja) 物体検出装置
CN115136026A (zh) 感测系统和距离测量系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17878837

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018554957

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017878837

Country of ref document: EP