WO2018180391A1 - 画像認識装置および距離画像生成方法 - Google Patents

画像認識装置および距離画像生成方法 Download PDF

Info

Publication number
WO2018180391A1
WO2018180391A1 PCT/JP2018/009376 JP2018009376W WO2018180391A1 WO 2018180391 A1 WO2018180391 A1 WO 2018180391A1 JP 2018009376 W JP2018009376 W JP 2018009376W WO 2018180391 A1 WO2018180391 A1 WO 2018180391A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light emission
measurement
distance
emission pulse
Prior art date
Application number
PCT/JP2018/009376
Other languages
English (en)
French (fr)
Inventor
繁 齋藤
信三 香山
征人 竹本
基範 石井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US16/497,754 priority Critical patent/US11467285B2/en
Priority to CN201880020159.6A priority patent/CN110446943B/zh
Priority to EP18775304.1A priority patent/EP3605141A4/en
Publication of WO2018180391A1 publication Critical patent/WO2018180391A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present disclosure relates to an image recognition device and a distance image generation method.
  • the measurement object As a method of measuring the distance from the image recognition device to the object to be measured (hereinafter referred to as the measurement object), the time from the light source irradiating the measurement object to the measurement object and reflecting back from the measurement object is measured.
  • a so-called TOF (Time Of Flight) method is known.
  • the TOF method is disadvantageous in that it requires a light source in addition to the distance measuring device as compared with other distance measuring methods such as a compound eye method, while the distance of an object at a distance is increased by strengthening the light source. It is an advantage that can be performed with high resolution.
  • Patent Document 1 discloses a technique in which a plurality of light sources are provided in a distance image generation device and the light amount of each light source is controlled independently for the purpose of suppressing flare when there is a highly reflective region within the imaging range. Has been. Further, in the distance image generation device disclosed in Patent Document 2, short-distance and long-distance distance image generation is achieved by changing the light emission intensity of the light source between a short distance and a long distance.
  • JP 2012-168049 A International Publication No. 2016/084323
  • the technology of the present disclosure has been made in view of such a point, and in an image recognition apparatus, even when a measurement object with low reflectance exists, high-accuracy image recognition is performed without reducing the frame rate. It aims to be realized.
  • An image recognition apparatus includes a light source that irradiates a measurement space with a light emission pulse, a light receiving unit that receives reflected light from a measurement object in the measurement space, and a light reception signal based on the reflected light from the light receiving unit.
  • the image generation unit that generates a distance image based on the received light signal, and the time range corresponding to the distance in the irradiation direction of the light emission pulse is divided into a plurality of measurement sections and corresponds to the reflectance for each measurement section
  • a light emission pulse control unit that adjusts the amount of light emission pulse emitted from the light source in accordance with the correction coefficient in each measurement section.
  • the distance image generation method emits a predetermined number of light emission pulses to the measurement space, and calculates the reflectance of the measurement object from the distance to the measurement object in the measurement space and the intensity of reflected light. A corresponding correction coefficient is calculated, a light emission pulse having an irradiation amount corresponding to the correction coefficient is emitted to the measurement object, and a distance image is generated based on the reflected light.
  • the image recognition device and the distance image generation method according to the present disclosure can realize high-accuracy image recognition even when a measurement object with low reflectance exists. Further, it is possible to prevent the frame rate from being lowered.
  • FIG. 1 is a block diagram illustrating a configuration example of an image recognition apparatus according to an embodiment.
  • FIG. 2 is a diagram including an example of an image generated by the image generation unit.
  • FIG. 3 is a graph showing an example of the number of pixels with low reflectance in each measurement section.
  • FIG. 4 is a diagram illustrating an example of drive control of the light source and the light receiving element for each frame.
  • FIG. 5 is a diagram illustrating an example of a distance image before the number of light emission pulses is controlled.
  • FIG. 6 is a diagram illustrating an example of a distance image after controlling the number of light emission pulses.
  • FIG. 7 is a flowchart illustrating an operation example of the image recognition apparatus including the distance image generation method according to the embodiment.
  • An image recognition device includes a light source that irradiates a measurement space with a light emission pulse, a light receiving unit that receives reflected light from a measurement object in the measurement space, and a reflected light from the light receiving element.
  • An image generation unit that receives a received light signal and generates a distance image based on the received light signal, and a time range corresponding to the distance in the irradiation direction of the light emission pulse is divided into a plurality of measurement sections, and reflection for each measurement section
  • a calculation unit that calculates a correction coefficient corresponding to the rate; and a light emission pulse control unit that adjusts an irradiation amount of the light emission pulse emitted from the light source according to the correction coefficient of each measurement section.
  • adjustment of the irradiation amount of the light emission pulse includes adjustment of the number of light emission pulses, adjustment of the light emission intensity of the light emission pulse, and adjustment of the pulse length of the light emission pulse.
  • a correction coefficient corresponding to the reflectance of each measurement section divided in time is calculated, and the irradiation amount of the light emission pulse emitted from the light source is adjusted according to the correction coefficient.
  • the light reception intensity at the light receiving unit can be increased by adjusting the light emission intensity of the light emission pulse.
  • the number of times the light emission pulse is acquired by the light receiving unit can be increased. If it does so, even if it is a measuring object with a low reflectance, the probability that reflected light will be received in a light-receiving part increases.
  • the S / N ratio of the signal (reflected light) used for the distance image generation in the image generation unit can be improved. Therefore, even when a measurement object with low reflectance exists, high-accuracy image recognition can be realized.
  • the number of light emission pulses and the light emission pulse intensity may be decreased for a measurement object having a high reflectance.
  • the number of light emission pulses and the light emission pulse intensity may be decreased for a measurement object having a high reflectance.
  • the number of light emission pulses and the light emission pulse intensity may be decreased for a measurement object having a high reflectance.
  • the number of light emission pulses and the light emission pulse intensity may be decreased for a measurement object having a high reflectance.
  • the number of light emission pulses and the light emission pulse intensity may be decreased for a measurement object having a high reflectance.
  • the distance image generation method irradiates a predetermined number of light emission pulses to a measurement space, and corresponds to the reflectance of the measurement object from the distance to the measurement object in the measurement space and the intensity of reflected light.
  • a step of calculating a correction coefficient and a measurement object whose reflectance is estimated are irradiated with a light emission pulse having an irradiation amount corresponding to the estimated reflectance, and a distance image is generated based on the reflected light. And steps.
  • the irradiation amount of the light emission pulse emitted from the light source is adjusted according to the correction coefficient estimated from the distance to the measurement object and the intensity of the reflected light.
  • the number of emission pulses emission pulse intensity
  • the number of emission pulses can be increased for a measurement object having a low reflectance, or conversely, the number of emission pulses can be decreased for a measurement object having a high reflectance. it can. Therefore, even when there is a measurement object with low reflectance, high-accuracy image recognition can be realized. Further, it is possible to prevent the frame rate from being lowered.
  • FIG. 1 is a block diagram showing a configuration example of an image recognition apparatus A according to the embodiment.
  • the image recognition apparatus A includes a light source 1, a light receiving element 2 as a light receiving unit, a drive control unit 3 that drives the light source 1 and the light receiving element 2, an image generation unit 4, and a reflectance calculation.
  • the light source 1 irradiates a measurement space which is a target for generating a distance image with a light emission pulse.
  • the light source 1 is configured by a laser, an LED, or the like configured to emit a near-infrared wavelength band (for example, 800 to 1200 nm) from the viewpoint of not obstructing human vision. Furthermore, the light source 1 is synchronized with the light receiving element 2 and is intensity-modulated over time.
  • the installation location of the image recognition device is a passenger car, for example, a person or a passenger car passing in the traveling direction of the passenger car is the measurement object, and the space in the traveling direction is exemplified as the measurement space.
  • a direction in which a light emission pulse is emitted from the light source 1 is referred to as an irradiation direction
  • a direction orthogonal to the irradiation direction is referred to as an irradiation orthogonal direction.
  • the light receiving element 2 is an element in which semiconductor materials such as silicon photodiodes, wirings and oxide films are integrated, and has a plurality of pixels divided (arranged) in the irradiation orthogonal direction. Each pixel has a photoelectric conversion unit that receives reflected light reflected from the measurement object in the measurement space and photoelectrically converts the reflected light. Thus, the light receiving element 2 can obtain information from the measurement object by receiving the reflected light from the measurement object.
  • the drive control unit 3 includes a light source drive control unit 31 for driving and controlling the light source 1 and a light receiving element control unit 32 for driving and controlling the light receiving element 2.
  • the light source drive control unit 31 performs drive control of the light source 1 according to predetermined measurement conditions during the frame period.
  • the light receiving element control unit 32 performs drive control of the light receiving element 2 in accordance with predetermined measurement conditions so that the light source 1 and the light receiving element 2 are synchronized.
  • the predetermined measurement condition is set based on, for example, a measurement distance time range that is a time range corresponding to a measurement distance range from a predetermined position as a starting point to an end point set on the far side in the irradiation direction. More specifically, the light source drive control unit 31 divides the measurement distance time range into k (k is a natural number of 2 or more) measurement sections d1 to dk, and each of the measurement sections d1 to dk has the same phase.
  • the light source 1 is driven and controlled so that a plurality of shots of light emission pulses are emitted. Furthermore, the light source drive control unit 31 drives and controls the light source 1 so that a light emission pulse whose phase is shifted for each measurement section is emitted. Then, the light receiving element control unit 32 controls the light receiving element 2 so that the light receiving element 2 is exposed in at least one measurement section among the k measurement sections d1 to dk from which the light source 1 emits a light emission pulse. Drive control. From the light receiving element 2 that has received the drive control, a light reception signal SX that is an exposure result is output to the image generation unit 4.
  • the value of the number of divisions k in the measurement sections d1 to dk (in other words, the distance between the measurement sections) can be arbitrarily set. For example, it may be arbitrarily set based on the number of light emission pulses for each frame, required image recognition accuracy, and the like.
  • the image generation unit 4 includes a distance image generation unit 41 that generates a distance image based on the light reception signal SX, a luminance image generation unit 42 that generates a luminance image based on the light reception signal SX, and a reflection image generation unit 43. ing.
  • the distance image generation unit 41 generates a distance image by estimating the distance from the measurement object based on the time until the emission pulse is reflected from the measurement section where the measurement object exists and returns.
  • FIG. 2 is a diagram including an example of an image generated by the image generation unit 4. Specifically, FIG. 2B shows an example of a luminance image when the imaging scene illustrated in FIG. FIG. 2C shows an example of a distance image when the imaging scene of FIG. 2A is similarly captured.
  • the imaging scene shown in FIG. 2 (a) there are pedestrians wearing white clothes with high reflectivity and cars with low reflectivity at a short distance, and pedestrians wearing white clothes and white cars at long distances.
  • An example is shown.
  • the reflected light reflected from the measurement object having a low reflectance for example, black clothes or a black car
  • the distance image of the measurement object having a low reflectance may be partially lost, and the S / N ratio may deteriorate.
  • the number of light emission pulses emitted from the light source 1 is controlled according to the reflectance in each of the measurement sections d1 to dk. This will be described in detail below.
  • the reflection image generation unit 43 generates a reflectance image based on the distance value D acquired from the distance image and the luminance value S acquired from the luminance image. Specifically, when the emission intensity of the light source 1 is I and the reflectance R of the measurement object is, the following relational expression (1) holds.
  • the reflection image generation unit 43 can grasp the light emission intensity of the light source 1, the reflectance of the measurement object in each measurement section d1 to dk is estimated based on the distance value D and the luminance value S. be able to.
  • the reflection image generation unit 43 generates a reflectance image based on the estimated reflectance.
  • FIG. 2D shows an example of a reflectance image generated based on the luminance image shown in FIG. 2B and the distance image shown in FIG.
  • the reflection image generation unit 43 may refer to a value stored in a memory or the like built in advance as the light emission intensity of the light source 1 or indicate the light emission intensity from the outside (for example, the light source control unit). A signal may be received.
  • the reflectance calculation unit 5 calculates a correction coefficient corresponding to the reflectance in each measurement section based on the reflectance image generated by the reflection image generation unit 43.
  • the correction coefficient only needs to correspond to the reflectance estimated by the reflection image generation unit 43, and may be, for example, the reflectance itself, a value proportional to the reflectance, or a value that can be converted to the reflectance. It's okay.
  • the reflectance calculation unit 5 defines, for example, that the reflectance satisfies the condition of the following expression (2) as a low reflectance, and counts the number of low reflectance pixels in each measurement section.
  • the threshold value Rth is, for example, 10%. In this case, a reflectance of less than 10% is defined as a low reflectance.
  • the threshold value Rth is not limited to 10% and can be set arbitrarily.
  • FIG. 3 is a graph showing the number of low reflectance pixels in each of the measurement sections d1 to dk. The horizontal axis of the figure shows k measurement sections d1 to dk obtained by dividing the above-described measurement distance time range. The vertical axis represents the number of low-reflectance pixels defined by Equation (2).
  • the light emission pulse control unit 6 performs control to increase the number of light emission pulses emitted from the light source 1 in a measurement section in which the number of low reflectance pixels is equal to or greater than a predetermined threshold Pth.
  • control is performed to reduce the number of light emission pulses in a measurement section in which the number of pixels having a low reflectance is less than a predetermined threshold Pth or a measurement section in which no measurement object exists.
  • FIG. 4 shows an example of drive control of the light source 1 and the light receiving element 2 for each frame before and after performing the feedback control.
  • the horizontal axis represents time
  • the vertical axis represents the light emission intensity of the light source 1.
  • FIG. 4A shows an example of drive control before feedback control. The reflected light becomes weaker depending on the distance, so that the light source 1 is proportional to the square of the distance value D from the light source 1. The number of pulses to be emitted is increased.
  • FIG. 4B feedback control is performed on the number of light emission pulses in the measurement section (measurement section d2 and measurement section d6 in FIG. 4B) in which the number of low reflectance pixels exceeds a predetermined threshold. Increased than before.
  • the number of light emission pulses is decreased.
  • FIG. 5 and 6 show examples in which a distance image is generated for the same measurement object, that is, an example in which image recognition is performed.
  • FIG. 5 is a distance image before the feedback control
  • FIG. 6 is a distance image after the feedback control.
  • the distance image of FIG. 5 the distance image is partially missing for the black car and the black person, which are measurement objects having low reflectivity, but in the distance image of FIG. 6, the missing portion is greatly reduced. It can be seen that the image recognition accuracy is improved.
  • the present embodiment there is a measurement object with a low reflectance by calculating the reflectance in each of the measurement sections d1 to dk (for example, counting the number of pixels with a low reflectance).
  • the measurement interval can be specified.
  • the number of light emission pulses is increased for the measurement section where the measurement object with low reflectance exists.
  • control is performed to reduce the number of light emission pulses without reducing the frame rate.
  • Highly accurate image recognition can be realized. That is, when the image recognition accuracy is increased by space division as in the prior art, the frame rate may decrease.
  • the technique of the present disclosure is a time division method and performs the feedback control as described above. Because there is no such thing. For example, when the installation location of the image recognition apparatus is a passenger car, there may be many measurement sections in which there are no measurement objects such as other passenger cars or people in the measurement space, and a particularly remarkable effect is obtained.
  • FIG. 7 is a flowchart illustrating an operation example of the image recognition apparatus A including the distance image generation method according to the embodiment.
  • the steps related to the distance image constitute a distance image generation method.
  • the image recognition apparatus A divides the frame period into a plurality of measurement sections d1 to dk in a time range corresponding to the distance in the emission direction of the light emission pulse, executes loop 1 for each frame, and measures loop 2 Execute for each section.
  • the image recognition apparatus A first emits a predetermined number of light emission pulses from the light source 1 to the measurement space, and receives the reflected light by the light receiving element 2 (S3). At this time, if the correction coefficient has already been calculated in the previous frame, the light emission pulse is emitted with the irradiation amount adjusted according to the correction coefficient.
  • the image recognition device A generates a distance image based on the light reception signal (S4).
  • the distance image generation unit 41 estimates the distance from the measurement object based on the time until the light emission pulse is reflected from the measurement section where the measurement object exists and returns.
  • the image recognition apparatus A generates a luminance image by the luminance image generation unit 42 (S5), and generates a reflectance image by the reflection image generation unit 43 (S6).
  • the image recognition apparatus A calculates a correction coefficient corresponding to the reflectance based on the luminance image and the distance image in the reflectance calculation unit 5 (S8), and based on the correction coefficient in the light emission pulse control unit 6.
  • the light emission pulse dose is adjusted for each measurement section (S9).
  • the reflectance calculation unit 5 may calculate a correction coefficient based on the reflectance image.
  • the irradiation amount of the light emission pulse emitted from the light source is adjusted according to the correction coefficient estimated from the distance to the measurement object and the intensity of the reflected light.
  • the number of light emission pulses (light emission pulse intensity) is increased for a measurement object having a low reflectance, and conversely, the number of light emission pulses is decreased for a measurement object having a high reflectance. Therefore, even when there is a measurement object with low reflectance, high-accuracy image recognition can be realized. Further, it is possible to prevent the frame rate from being lowered.
  • the number of light emission pulses is increased in the measurement section in which the number of low reflectance pixels satisfying Equation (2) is equal to or greater than a predetermined threshold.
  • a predetermined threshold it is not limited to this.
  • the reflectance R may be obtained as a correction coefficient based on the relationship of the formula (1).
  • a reference value may be set based on the relationship of Expression (1), and the correction coefficient may be obtained based on the reference value.
  • the number of light emission pulses may be increased by a certain amount for a measurement interval in which the number of low reflectance pixels is equal to or greater than a predetermined threshold. The increase / decrease amount of the number of pulses may be adjusted according to the ratio of the number of pixels.
  • the number of light emission pulses is normalized in proportion to the square of the distance, and then the normalized number of light emission pulses is multiplied by the increase / decrease in the number of light emission pulses as described above. Good.
  • the reflection intensity of light is weakened in inverse proportion to the square of the distance due to diffuse reflection spreading in a spherical shape, so that it can be compensated in advance by the above normalization.
  • As a standardization of the number of light emission pulses for example, there is a method of making the total number of pulses constant.
  • the “threshold number of pixels with low reflectance” used for feedback control by the light emission pulse controller 6 is a fixed value, but is not limited thereto.
  • the distance from the light source 1 is increased as shown by a one-dot chain line or two-dot chain line in FIG. Accordingly, the “threshold number of pixels having low reflectance” may be reduced.
  • a threshold value corresponding to the measurement object may be set. By doing so, it becomes possible to more reliably determine the presence of the specific measurement object.
  • a plurality of threshold values may be set as shown by the one-dot chain line and the two-dot chain line in FIG.
  • FIG. 3 shows an example in which a threshold value for a person is set by a one-dot chain line and a threshold value for a passenger car is set by a two-dot chain line. Further, when it is desired to extract a measurement object of a certain size or more, a threshold value for the number of pixels having a low reflectance is determined based on the minimum measurement object (for example, refer to a one-dot chain line in FIG. 6). Further, it becomes possible to recognize a measurement object (for example, a passenger car) having a size larger than that, and to prevent the influence of noise.
  • the reflected image generation part 43 produces
  • the reflectance calculating part 5 calculates the reflectance in each measurement area based on a reflectance image.
  • the reflectance calculation unit 5 may calculate the reflectance of each of the measurement sections d1 to dk without generating a reflectance image based on the distance image, the luminance image, and the above equation (1). .
  • the light emission pulse control part 6 is irradiated from the light source 1 based on whether the pixel number of a low reflectance exceeds a predetermined threshold value as control of the number of light emission pulses according to a reflectance.
  • the light emission pulse controller 6 emits light in the measurement sections d1 to dk (measurement distance range) in which the occupancy ratio of the low reflectance pixels obtained from the reflectance image to all the pixels is equal to or greater than a predetermined threshold.
  • the number of emission pulses may be decreased for the measurement sections d1 to dk (measurement distance range) in which the occupation ratio is less than a predetermined threshold. Even when such control is performed, high-accuracy image recognition can be realized without reducing the frame rate.
  • the image recognition apparatus includes the light source 1 that irradiates the measurement space with the light emission pulse, and the light receiving unit that receives the reflected light from the measurement object in the measurement space (that is, the light receiving element 2).
  • a calculation unit that divides and calculates a correction coefficient corresponding to the reflectance for each measurement section that is, the reflectance calculation unit 5
  • a light emission pulse controller 6 to be adjusted.
  • the light emission pulse control unit 6 may adjust the number of light emission pulses emitted from the light source 1, adjust the light emission intensity of the light emission pulse, or adjust the pulse of the light emission pulse. The length may be adjusted.
  • the light reception intensity at the light receiving unit can be increased.
  • the number of light emission pulses emitted from the light source the number of times the light emission pulse is acquired by the light receiving unit can be increased. If it does so, even if it is a measuring object with a low reflectance, the probability that reflected light will be received in a light-receiving part increases.
  • the S / N ratio of the signal reflected light used for the distance image generation in the image generation unit 4 can be improved by adjusting the irradiation amount of the light emission pulse according to the correction coefficient. Thereby, even when a measurement object with low reflectance exists, high-accuracy image recognition can be realized.
  • the image generation unit 4 includes a distance image generation unit 41 that generates a distance image based on the reflected light, and a luminance image generation unit 42 that generates a luminance image based on the reflected light, and the reflectance calculation unit 5. May calculate the correction coefficient based on the distance image and the luminance image.
  • the light emission pulse control unit 6 emits light from the light source 1 to a measurement interval in which a predetermined number or more of low reflectance pixels whose reflectance corresponding to the correction coefficient is equal to or less than a predetermined threshold are present in the measurement interval. Control for increasing the irradiation amount of the emitted light pulse may be performed.
  • the light emission pulse control unit 6 emits from the light source 1 to at least one of the measurement section in which the number of pixels having low reflectance is less than a predetermined threshold or the measurement section in which no measurement target exists. Control may be performed to reduce the number of emitted light pulses.
  • the light emission pulse control unit 6 emits light from the light source 1 to the measurement section in which the occupancy ratio of all the pixels of the low reflectance whose reflectance is equal to or lower than a predetermined threshold among the measurement sections is equal to or higher than the predetermined threshold. While increasing the amount of emitted light pulses to be emitted, control may be performed to reduce the number of light emission pulses for a measurement interval in which the occupation ratio is less than a predetermined threshold.
  • the light emission pulse control unit 6 controls the irradiation amount of the light emission pulse emitted from the light source 1 according to the correction coefficient of each measurement section and the distance from the light source 1 to the measurement object in each measurement section. Good.
  • the distance image generation method emits a predetermined number of light emission pulses to the measurement space, and calculates the reflectance of the measurement object from the distance to the measurement object in the measurement space and the intensity of reflected light. A corresponding correction coefficient is calculated, a light emission pulse having an irradiation amount corresponding to the correction coefficient is emitted to the measurement object, and a distance image is generated based on the reflected light.
  • the time range corresponding to the distance in the emission direction of the light emission pulse is divided into a plurality of measurement sections, and the light emission pulse is determined from the measurement section where the measurement target exists. You may estimate based on time until it returns and returns.
  • the image recognition apparatus can be applied to, for example, an image recognition apparatus mounted on a passenger car or the like because high-accuracy image recognition can be realized even when a measurement object with low reflectance exists.
  • a Image recognition device 1 Light source 2 Light receiving element (light receiving part) 4 Image generator 5 Reflectance calculator 6 Light emission pulse controller SX Light reception signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

画像認識装置（Ａ）は、測定空間に発光パルスを照射する光源（１）と、受光素子（２）で得られた反射光に基づいて距離画像を生成する画像生成部（４）と、測定区間毎の反射率に対応する補正係数を演算する反射率演算部（５）と、各測定区間の補正係数に応じて光源から照射される発光パルス数を制御する発光パルス制御部（６）とを備えている。

Description

画像認識装置および距離画像生成方法
　本開示は、画像認識装置および距離画像生成方法に関するものである。
　画像認識装置から測定対象の物体（以下、測定対象物という）までの距離測定方法として、光源から測定対象物に向けて光を照射し、測定対象物から反射して帰還するまでの時間を測定する、いわゆるＴＯＦ(Time Of Flight)法が知られている。ＴＯＦ法では、複眼方式等の他の距離測定方法と比較して、距離測定装置の他に光源が必要になる点が短所である一方、光源を強くすることにより、遠方にある物体の距離測定を高分解能で行うことができる点が長所である。
　例えば、特許文献１には、撮影範囲内に高反射領域がある場合におけるフレアの抑制を目的として、距離画像生成装置に複数の光源を設け、各光源の光量を独立して制御する技術が開示されている。また、特許文献２に開示された距離画像生成装置では、光源の発光強度を近距離と遠距離とで変えることにより、近距離および長距離の距離画像生成を両立させている。
特開２０１２－１６８０４９号公報 国際公開第２０１６／０８４３２３号
　しかしながら、特許文献１に記載されているような複数の光源を用いる構成では、撮像空間を複数に分割（空間分割）して光を照射しているため、その分割数が増加すればするほど、全体の撮像時間が増加するとともに、フレームレートが低下してしまうという問題がある。
　また、特許文献２に記載されているような距離に応じて光源の発光強度を変化させる方法では、測定対象の物体が複数存在する場合、物体によって反射率が異なるため、単純に距離のみで発光強度を変化させても、反射率の低い測定対象物の距離測定が困難であるという問題がある。
　本開示の技術は、かかる点に鑑みてなされたものであり、画像認識装置において、反射率の低い測定対象物が存在する場合においても、フレームレートを低下させることなく、高精度の画像認識を実現することを目的とする。
　本開示に係る画像認識装置は、測定空間に発光パルスを照射する光源と、前記測定空間にある測定対象物からの反射光を受光する受光部と、前記受光部から前記反射光に基づく受光信号を受け、当該受光信号に基づいて距離画像を生成する画像生成部と、前記発光パルスの照射方向の距離に対応する時間範囲を複数の測定区間に分割し、当該測定区間毎の反射率に対応する補正係数を演算する演算部と、前記各測定区間の前記補正係数に応じて前記光源から照射される発光パルスの照射量を調整する発光パルス制御部とを備える。
　また、本開示にかかる距離画像生成方法は、測定空間に所定数の発光パルスを出射し、当該測定空間にある測定対象物との距離および反射光の強度から、当該測定対象物の反射率に対応した補正係数を演算し、前記測定対象物に対して、前記補正係数に応じた照射量の発光パルスを出射し、その反射光に基づいて距離画像を生成する。
　本開示に係る画像認識装置および距離画像生成方法によれば、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。また、フレームレートの低下を防止することができる。
図１は、実施の形態に係る画像認識装置の構成例を示すブロック図である。 図２は、画像生成部で生成される画像の例を含む図である。 図３は、各測定区間における低反射率の画素数の一例を示すグラフである。 図４は、フレーム毎の光源および受光素子の駆動制御の一例を示す図である。 図５は、発光パルス数を制御する前の距離画像の一例を示す図である。 図６は、発光パルス数を制御した後の距離画像の一例を示す図である。 図７は、実施の形態における距離画像生成方法を含む、画像認識装置の動作例を示すフローチャートである。
　本開示の一態様に係る画像認識装置は、測定空間に発光パルスを照射する光源と、前記測定空間にある測定対象物からの反射光を受光する受光部と、前記受光素子から前記反射光に基づく受光信号を受け、当該受光信号に基づいて距離画像を生成する画像生成部と、前記発光パルスの照射方向の距離に対応する時間範囲を複数の測定区間に分割し、当該測定区間毎の反射率に対応する補正係数を演算する演算部と、前記各測定区間の前記補正係数に応じて前記光源から出射される発光パルスの照射量を調整する発光パルス制御部とを備えている。
　ここで、「発光パルスの照射量の調整」には、発光パルス数の調整、発光パルスの発光強度の調整、発光パルスのパルス長の調整が含まれる。
　これによれば、時間分割された測定区間毎の反射率に対応する補正係数を演算し、その補正係数に応じて光源から出射される発光パルスの照射量を調整するようにしている。例えば、補正係数に応じた発光パルスの照射量の調整の一例として、発光パルスの発光強度を高める調整をすることで、受光部での受光強度を高めることができる。また、例えば、光源から照射する発光パルスの数を増やすことで、受光部による発光パルスの取得回数を増やすことができる。そうすると、反射率の低い測定対象物であっても受光部で反射光を受光できる確率が高まる。
　このように、補正係数に応じて発光パルスの照射量を調整することにより、画像生成部において距離画像生成に用いる信号（反射光）のＳ／Ｎ比を向上させることができる。これにより、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。
　さらに、補正係数に応じた発光パルスの照射量の調整として、例えば、反射率が高い測定対象物に対して、発光パルス数や発光パルス強度を減少させてもよい。反射率が高い画像については、発光パルス数が少ない場合や、発光パルス強度が低い場合においても測定対象物からの反射光を受光できる可能性が高い。したがって、発光パルス数を減少させ、または、発光パルス強度を低下させたとしても画像認識の精度が低下する蓋然性が低い。一方で、このような反射率が高い画像の発光パルス数を減少させることで、フレーム全体としての画像認識で考えた場合に、そのフレームレートの低下を防止することができる。また、反射率が高い画像の発光パルス強度を低下させることで、消費電力を削減することができる。
　本開示に係る距離画像生成方法は、測定空間に所定数の発光パルスを照射し、当該測定空間にある測定対象物との距離および反射光の強度から、当該測定対象物の反射率に対応した補正係数を演算するステップと、前記反射率を推定した測定対象物に対して、当該推定された反射率に応じた照射量の発光パルスを照射し、その反射光に基づいて距離画像を生成するステップとを備えている。
　これによれば、測定対象物との距離および反射光の強度から推定された補正係数に応じて、光源から出射される発光パルスの照射量を調整するようにしている。これにより、反射率が低い測定対象物に対して発光パルス数（発光パルス強度）を増加させたり、逆に、反射率が高い測定対象物に対して、発光パルス数を減少させたりすることができる。したがって、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。また、フレームレートの低下を防止することができる。
　以下、本実施の形態を図面に基づいて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　図１は実施の形態に係る画像認識装置Ａの構成例を示すブロック図である。図１に示すように、画像認識装置Ａは、光源１と、受光部としての受光素子２と、光源１および受光素子２を駆動する駆動制御部３と、画像生成部４と、反射率演算部５と、発光パルス制御部６とを備えている。
　光源１は、距離画像を生成する対象となる測定空間に発光パルスを照射する。光源１は、人の視覚の妨げにならないようにする観点から、近赤外の波長帯（例えば、８００～１２００ｎｍ）を出射できるように構成されたレーザーやＬＥＤ等により構成されている。さらに、光源１は、受光素子２と同期しており、時間的に強度変調されている。画像認識装置の設置場所が乗用車の場合、例えば、その乗用車の進行方向を通行している人や乗用車等が測定対象物であり、進行方向の空間が測定空間として例示される。なお、以下の説明では、光源１から発光パルスが出射される方向を照射方向と呼び、照射方向と直交する方向を照射直交方向と呼ぶものとする。
　受光素子２は、主に、シリコンフォトダイオード、配線および酸化膜等の半導体材料を集積した素子であり、照射直交方向に分割された（並べて配置された）複数の画素を有する。各画素は、測定空間内の測定対象物から反射された反射光を受け、その反射光を光電変換する光電変換部を有している。このように、受光素子２は、測定対象物からの反射光を受光することで、測定対象物からの情報を得ることができる。
　駆動制御部３は、光源１を駆動制御する光源駆動制御部３１と、受光素子２を駆動制御する受光素子制御部３２とを備えている。
　光源駆動制御部３１は、フレーム期間中に所定の測定条件にしたがって光源１の駆動制御を行う。受光素子制御部３２は、光源１と受光素子２とが同期するように、所定の測定条件にしたがって受光素子２の駆動制御を行う。所定の測定条件とは、例えば、所定位置を起点とし、起点から照射方向の奥側に設定された終点までの測定距離範囲に対応する時間範囲である測定距離時間範囲に基づいて設定される。より具体的には、光源駆動制御部３１は、測定距離時間範囲をｋ個（ｋは２以上の自然数）の測定区間ｄ１～ｄｋに分割し、各測定区間ｄ１～ｄｋにおいて、それぞれ、同位相の発光パルスが複数ショット出射されるように光源１を駆動制御する。さらに、光源駆動制御部３１は、測定区間毎に位相をずらした発光パルスが出射されるように光源１を駆動制御する。そして、受光素子制御部３２は、上記光源１が発光パルスを出射したｋ個の測定区間ｄ１～ｄｋのうち、少なくとも１つの測定区間において、受光素子２が露光されるように、受光素子２を駆動制御する。駆動制御を受けた受光素子２からは、露光結果である受光信号ＳＸが画像生成部４に出力される。なお、測定区間ｄ１～ｄｋの分割数ｋの値（換言すると各測定区間の距離）は、任意に設定することができる。例えば、フレーム毎の発光パルス数や、要求される画像認識精度等に基づいて、任意に設定すればよい。
　画像生成部４は、受光信号ＳＸに基づいて距離画像を生成する距離画像生成部４１と、受光信号ＳＸに基づいて輝度画像を生成する輝度画像生成部４２と、反射画像生成部４３とを備えている。
　距離画像生成部４１は、発光パルスが測定対象物の存在する測定区間から反射して帰還するまでの時間に基づいて、測定対象物との距離を推定することにより距離画像を生成する。
　図２は、画像生成部４で生成される画像の例を含む図である。具体的に、図２の（ｂ）は、図２の（ａ）に例示した撮像シーンを撮像した場合における輝度画像の一例を示す。図２の（ｃ）は、同じように図２の（ａ）の撮像シーンを撮像した場合における距離画像の一例を示している。
　図２の（ａ）に示す撮像シーンでは、近距離に反射率の高い白い服を着た歩行者および反射率の低い車があり、遠距離に黒い服を着た歩行者および白い車がある例を示している。このような撮像シーンでは、測定対象物の距離の遠近にかかわらず、反射率の低い測定対象物（例えば、黒い服や黒い車）から反射される反射光が小さくなり、受光素子２で受光できない部分が生じる場合がある。そうすると、図２の（ｃ）に示すように、反射率の低い測定対象物の距離画像が部分的に欠けて、Ｓ／Ｎ比が悪化する場合がある。
　そこで、本実施の形態では、各測定区間ｄ１～ｄｋにおける反射率に応じて光源１から照射される発光パルス数を制御するようにしている。以下において、詳細に説明する。
　反射画像生成部４３では、距離画像から取得された距離値Ｄおよび輝度画像から取得された輝度値Ｓに基づいて反射率画像を生成する。具体的には、光源１の発光強度をＩとし、測定対象物の反射率Ｒとすると、以下の式（１）の関係式が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　ここで、反射画像生成部４３は、光源１の発光強度を把握することができるので、距離値Ｄおよび輝度値Ｓに基づいて、各測定区間ｄ１～ｄｋにおける測定対象物の反射率を推定することができる。反射画像生成部４３では、この推定された反射率に基づいて反射率画像を生成する。図２の（ｄ）には、図２の（ｂ）の輝度画像および図２の（ｃ）の距離画像に基づいて生成された反射率画像の一例を示している。なお、反射画像生成部４３は、光源１の発光強度として、あらかじめ内蔵されたメモリ等に格納された値を参照するようにしてもよいし、外部（例えば、光源制御部）から発光強度を示す信号を受信するようにしてもよい。
　反射率演算部５では、反射画像生成部４３で生成された反射率画像に基づいて、各測定区間における反射率に対応する補正係数を演算する。なお、補正係数は、反射画像生成部４３で推定された反射率に対応していればよく、例えば、反射率そのものでもよいし、反射率に比例する値でもよいし、反射率と換算できる値でよい。
　さらに、反射率演算部５は、例えば、反射率が以下の式（２）の条件を満たすものを低反射率と定義し、各測定区間における低反射率の画素数をカウントする。
Figure JPOXMLDOC01-appb-M000002
　ここで、閾値Ｒｔｈは、例えば１０％とする。この場合、反射率が１０％未満のものが低反射率であると定義される。なお、閾値Ｒｔｈは１０％に限定されるものではなく任意に設定することができる。図３は、各測定区間ｄ１～ｄｋにおける低反射率の画素数をグラフで表したものである。同図の横軸は、前述の測定距離時間範囲を分割したｋ個の測定区間ｄ１～ｄｋを示す。縦軸は、式（２）で定義される低反射率の画素数である。
　発光パルス制御部６では、反射率演算部５で演算された各測定区間ｄ１～ｄｋの補正係数（または反射率でもよい）に基づいて、駆動制御部３による光源１および受光素子２の駆動制御に対するフィードバック制御を行う。具体的には、例えば、発光パルス制御部６は、低反射率の画素数が所定の閾値Ｐth以上の測定区間において、光源１から照射される発光パルス数を増加させる制御を行う。一方で、低反射率の画素数が所定の閾値Ｐthより少ない測定区間や、測定対象物が存在しないような測定区間について、発光パルス数を減少させる制御を行う。
　図４は、上記フィードバック制御を行う前後におけるフレーム毎の光源１および受光素子２の駆動制御の一例を示している。同図の横軸は時間を、縦軸は光源１の発光強度を示す。図４の（ａ）は、フィードバック制御前の駆動制御の例を示しており、距離に応じて反射光が弱くなるため、光源１からの距離値Ｄの二乗に比例するように、光源１から出射させるパルス数を増加させている。これに対し、図４の（ｂ）では、低反射率の画素数が所定の閾値を超えた測定区間（図４の（ｂ）では測定区間ｄ２および測定区間ｄ６）の発光パルス数をフィードバック制御前よりも増加させている。一方で、その他の測定区間では、発光パルス数を減少させている。
　図５および図６は同一の測定対象物に対して距離画像を生成した例、すなわち画像認識を行った例を示している。図５は上記フィードバック制御前の距離画像であり、図６は上記フィードバック制御後の距離画像である。図５の距離画像では、反射率の低い測定対象物である黒い車および黒い人について、距離画像が部分的に欠落しているが、図６の距離画像では、欠落部分が大幅に減少しており、画像認識精度が向上していることがわかる。
　以上のように、本実施の形態によると、各測定区間ｄ１～ｄｋにおける反射率を演算する（例えば、低反射率の画素数をカウントする）ことにより、反射率の低い測定対象物が存在する測定区間を特定することができる。そして、この反射率の低い測定対象物が存在する測定区間に対して、発光パルス数を増加させるようにしている。これにより、Ｓ／Ｎ比を向上させることができるため、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。
　さらに、例えば、低反射率の画素数が少ない測定区間や、測定対象物が存在しないような測定区間について、発光パルス数を減少させる制御を行うようにすることで、フレームレートを低下させることなく、高精度の画像認識を実現することができる。すなわち、従来技術のように空間分割により画像認識精度を高める場合には、フレームレートが低下する場合があるが、本開示の技術は、時分割方式であり、上記のようなフィードバック制御を行うことができるため、そのようなことがない。例えば、画像認識装置の設置場所が乗用車のような場合、測定空間内に他の乗用車や人等の測定対象物が存在しない測定区間が多いことが考えられ、特に顕著な効果が得られる。
　次に、実施の形態における距離画像生成方法について説明する。
　図７は、実施の形態における距離画像生成方法を含む、画像認識装置Ａの動作例を示すフローチャートである。図中、距離画像に関係するステップは、距離画像生成方法を構成する。
　同図において画像認識装置Ａは、フレーム期間を、発光パルスの出射方向の距離に対応する時間範囲を複数の測定区間ｄ１～ｄｋに分割し、ループ１をフレーム毎に実行し、ループ２を測定区間毎に実行する。
　ループ２において、画像認識装置Ａは、まず、測定空間に所定数の発光パルスを光源１から出射し、受光素子２で反射光を受光する（Ｓ３）。このとき前フレームで既に補正係数が演算されている場合には、補正係数に応じて調整された照射量で発光パルスが出射される。
　さらに、画像認識装置Ａは、受光信号に基づいて距離画像を生成する（Ｓ４）。このとき、距離画像生成部４１は、測定対象物との距離を、発光パルスが測定対象物の存在する測定区間から反射して帰還するまでの時間に基づいて推定する。
　さらに、画像認識装置Ａは、輝度画像生成部４２により輝度画像を生成し（Ｓ５）、反射画像生成部４３により反射率画像を生成する（Ｓ６）。
　ループ２の終了後、画像認識装置Ａは、反射率演算部５において輝度画像および距離画像に基づいて反射率に対応する補正係数を演算し（Ｓ８）、発光パルス制御部６において補正係数に基づき測定区間毎に発光パルスの照射量を調整する（Ｓ９）。なお、ステップＳ８において、反射率演算部５は、反射率画像に基づいて補正係数を演算してもよい。
　これによれば、測定対象物との距離および反射光の強度から推定された補正係数に応じて、光源から出射される発光パルスの照射量を調整している。この調整では、例えば、反射率が低い測定対象物に対して発光パルス数（発光パルス強度）を増加させ、逆に、反射率が高い測定対象物に対して、発光パルス数を減少させる。したがって、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。また、フレームレートの低下を防止することができる。
　＜その他＞
　上記実施の形態では、補正係数に応じた発光パルスの照射量の調整として、式（２）を満たす低反射率の画素数が所定の閾値以上の測定区間について、発光パルス数を増加させるものとしたが、これに限定されない。
　例えば、式（１）の関係に基づいて、補正係数として反射率Ｒを求めるようにしてもよい。また、式（１）の関係に基づいて基準値を設定し、その基準値に基づいて補正係数を求めてもよい。例えば、補正係数に基づいて発光パルス数を増減させる場合、低反射率の画素数が所定の閾値以上の測定区間について、発光パルス数を一定量増加させるようにしてもよいし、低反射率の画素数の割合に応じて、パルス数の増減量を調整するようにしてもよい。
　さらに、距離の２乗に比例して発光パルス数を規格化し、その後、その規格化された発光パルス数に対して、これまでに説明したような発光パルス数の増減を掛け合わせるようにしてもよい。通常、光の反射強度は、球面状に広がる拡散反射により距離の２乗に反比例して弱まるため、上記規格化によりそれをあらかじめ補うことができる。なお、発光パルス数の規格化として、例えば、全体のパルス数を一定にする方法がある。
　また、上記実施の形態では発光パルスの照射量として、発光パルス数を調整する例について説明したが、前述のとおり、発光パルス数の調整に加えてまたは代えて、発光パルスの発光強度の調整、発光パルスのパルス長の調整等を行ってもよく、同様の効果が得られる。
　上記の実施の形態では、図３に示すように、発光パルス制御部６がフィードバック制御に用いる「低反射率の画素数の閾値」は、固定値であるものとしたが、これに限定されない。例えば、光源１から測定対象物までの距離に応じて測定対象物の見える大きさが小さくなるという観点から、図３の一点鎖線または二点鎖線で示すように、光源１からの距離が遠くなるにしたがって、「低反射率の画素数の閾値」を小さくするようにしてもよい。また、測定対象物が、人や乗用車といったように特定されている場合に、その測定対象物に応じた閾値を設定するようにしてもよい。そうすることで、特定の測定対象物の存在をより確実に判断することができるようになる。また、図３の一点鎖線および二点鎖線で示すように、複数の閾値を設定するようにしてもよい。図３では、一点鎖線で人に対する閾値を設定し、二点鎖線で乗用車に対する閾値を設定した例を示している。また、ある大きさ以上の測定対象物を抽出できるようにしたい場合には、最小の測定対象物（例えば、図６の一点鎖線参照）に基づいて低反射率の画素数の閾値を決めることで、それ以上の大きさの測定対象物（例えば、乗用車）を認識できるようになるとともに、ノイズの影響を防ぐことができる。
　また、上記実施の形態では、反射画像生成部４３が、距離画像および輝度画像に基づいて反射率画像を生成し、反射率演算部５が、反射率画像に基づいて各測定区間における反射率を演算するものとしたがこれに限定されない。例えば、反射率演算部５が、距離画像および輝度画像および上式（１）に基づいて、反射率画像を生成することなく、各測定区間ｄ１～ｄｋの反射率を演算するようにしてもよい。
　また、上記実施の形態では、発光パルス制御部６は、反射率に応じた発光パルス数の制御として、低反射率の画素数が所定の閾値を超えるか否かに基づいて、光源１から照射される発光パルス数を増加させるものとしたがこれに限定されない。例えば、発光パルス制御部６は、反射率画像から得られる低反射率の画素が全画素に対して占める占有率が所定の閾値以上の測定区間ｄ１～ｄｋ（測定距離範囲）に対しては発光パルス数を増加させる一方で、同占有率が所定の閾値未満の測定区間ｄ１～ｄｋ（測定距離範囲）に対しては発光パルス数を減少させるようにしてもよい。このような制御を行った場合においても、フレームレートを低下させることなく、高精度の画像認識を実現することができる。
　以上説明してきたように本開示の一態様における画像認識装置は、測定空間に発光パルスを照射する光源１と、測定空間にある測定対象物からの反射光を受光する受光部（つまり受光素子２）と、受光部から反射光に基づく受光信号を受け、当該受光信号に基づいて距離画像を生成する画像生成部４と、発光パルスの照射方向の距離に対応する時間範囲を複数の測定区間に分割し、当該測定区間毎の反射率に対応する補正係数を演算する演算部（つまり反射率演算部５）と、各測定区間の補正係数に応じて光源から照射される発光パルスの照射量を調整する発光パルス制御部６とを備える。
　これによれば、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。また、フレームレートの低下を防止することができる。
　ここで、発光パルス制御部６は、照射量の調整として、光源１から照射される発光パルス数を調整してもよいし、発光パルスの発光強度を調整してもよいし、発光パルスのパルス長を調整してもよい。
　これによれば、例えば、補正係数に応じた発光パルスの照射量の調整の一例として、発光パルスの発光強度を高める調整をすることで、受光部での受光強度を高めることができる。また、例えば、光源から照射する発光パルスの数を増やすことで、受光部による発光パルスの取得回数を増やすことができる。そうすると、反射率の低い測定対象物であっても受光部で反射光を受光できる確率が高まる。
　このように、補正係数に応じて発光パルスの照射量を調整することにより、画像生成部４において距離画像生成に用いる信号反射光のＳ／Ｎ比を向上させることができる。これにより、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができる。
　ここで、画像生成部４は、反射光に基づいて距離画像を生成する距離画像生成部４１と、反射光に基づいて輝度画像を生成する輝度画像生成部４２とを備え、反射率演算部５は、距離画像および輝度画像に基づいて補正係数を演算してもよい。
　ここで、発光パルス制御部６は、測定区間のうち、補正係数に対応する反射率が所定の閾値以下である低反射率の画素数が所定数以上存在する測定区間に対して光源１から出射される発光パルスの照射量を増加させる制御を行ってもよい。
　ここで、発光パルス制御部６は、測定区間のうち、低反射率の画素数が所定の閾値未満の測定区間または測定対象物の存在しない測定区間のうちの少なくとも一方に対して光源１から出射する発光パルス数を減少させる制御を行ってもよい。
　ここで、発光パルス制御部６は、測定区間のうち、反射率が所定の閾値以下である低反射率の画素の全画素に対する占有率が所定の閾値以上の測定区間に対して光源１から出射される発光パルスの照射量を増加させる一方で、占有率が所定の閾値未満の測定区間に対して発光パルス数を減少させる制御を行ってもよい。
　ここで、発光パルス制御部６は、各測定区間の補正係数および当該各測定区間の光源１から測定対象物との距離に応じて光源１から出射される発光パルスの照射量を制御してもよい。
　また、本開示に係る距離画像生成方法は、測定空間に所定数の発光パルスを出射し、当該測定空間にある測定対象物との距離および反射光の強度から、当該測定対象物の反射率に対応した補正係数を演算し、測定対象物に対して、補正係数に応じた照射量の発光パルスを出射し、その反射光に基づいて距離画像を生成する。
　ここで、距離画像の生成において、測定対象物との距離を、発光パルスの出射方向の距離に対応する時間範囲を複数の測定区間に分割し、発光パルスが測定対象物の存在する測定区間から反射して帰還するまでの時間に基づいて推定してもよい。
　本開示に係る画像認識装置は、反射率の低い測定対象物が存在する場合においても、高精度の画像認識を実現することができるため、例えば、乗用車等に搭載する画像認識装置に応用できる。
Ａ　画像認識装置
１　光源
２　受光素子（受光部）
４　画像生成部
５　反射率演算部
６　発光パルス制御部
ＳＸ　受光信号

Claims (9)

  1. 　測定空間に発光パルスを照射する光源と、
    　前記測定空間にある測定対象物からの反射光を受光する受光部と、
    　前記受光部から前記反射光に基づく受光信号を受け、当該受光信号に基づいて距離画像を生成する画像生成部と、
    　前記発光パルスの照射方向の距離に対応する時間範囲を複数の測定区間に分割し、当該測定区間毎の反射率に対応する補正係数を演算する演算部と、
    　前記各測定区間の前記補正係数に応じて前記光源から照射される発光パルスの照射量を調整する発光パルス制御部とを備えている、
    画像認識装置。
  2. 　前記発光パルス制御部は、前記照射量の調整として、前記光源から照射される発光パルス数を調整する、
    請求項１に記載の画像認識装置。
  3. 　前記画像生成部は、前記反射光に基づいて前記距離画像を生成する距離画像生成部と、前記反射光に基づいて輝度画像を生成する輝度画像生成部とを備え、
    前記演算部は、前記距離画像および前記輝度画像に基づいて前記補正係数を演算する、
    請求項１に記載の画像認識装置。
  4. 　前記発光パルス制御部は、前記測定区間のうち、反射率が所定の閾値以下である低反射率の画素数が所定数以上存在する測定区間に対して前記光源から出射される発光パルスの照射量を増加させる制御を行う、
    請求項１に記載の画像認識装置。
  5. 　前記発光パルス制御部は、前記測定区間のうち、前記低反射率の画素数が所定の閾値未満の測定区間または前記測定対象物の存在しない測定区間のうちの少なくとも一方に対して前記光源から出射する発光パルス数を減少させる制御を行う、
    請求項４に記載の画像認識装置。
  6. 　前記発光パルス制御部は、前記測定区間のうち、反射率が所定の閾値以下である低反射率の画素の全画素に対する占有率が所定の閾値以上の測定区間に対して前記光源から出射される発光パルスの照射量を増加させる一方で、前記占有率が所定の閾値未満の測定区間に対して発光パルス数を減少させる制御を行う、
    請求項１に記載の画像認識装置。
  7. 　前記発光パルス制御部は、前記各測定区間の前記補正係数および当該各測定区間の前記光源から前記測定対象物との距離に応じて前記光源から出射される発光パルスの照射量を制御する、
    請求項１に記載の画像認識装置。
  8. 　測定空間に所定数の発光パルスを出射し、当該測定空間にある測定対象物との距離および反射光の強度から、当該測定対象物の反射率に対応した補正係数を演算し、
    　前記測定対象物に対して、前記補正係数に応じた照射量の発光パルスを出射し、その反射光に基づいて距離画像を生成する、
    距離画像生成方法。
  9. 　前記距離画像の生成において、前記測定対象物との距離を、前記発光パルスの出射方向の距離に対応する時間範囲を複数の測定区間に分割し、前記発光パルスが前記測定対象物の存在する測定区間から反射して帰還するまでの時間に基づいて推定する、
    請求項８に記載の距離画像生成方法。
PCT/JP2018/009376 2017-03-30 2018-03-12 画像認識装置および距離画像生成方法 WO2018180391A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/497,754 US11467285B2 (en) 2017-03-30 2018-03-12 Image recognition device and distance image generation method
CN201880020159.6A CN110446943B (zh) 2017-03-30 2018-03-12 图像识别装置以及距离图像生成方法
EP18775304.1A EP3605141A4 (en) 2017-03-30 2018-03-12 IMAGE DETECTING DEVICE AND DISTANCE IMAGING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017068085A JP6846708B2 (ja) 2017-03-30 2017-03-30 画像認識装置および距離画像生成方法
JP2017-068085 2017-03-30

Publications (1)

Publication Number Publication Date
WO2018180391A1 true WO2018180391A1 (ja) 2018-10-04

Family

ID=63677197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009376 WO2018180391A1 (ja) 2017-03-30 2018-03-12 画像認識装置および距離画像生成方法

Country Status (5)

Country Link
US (1) US11467285B2 (ja)
EP (1) EP3605141A4 (ja)
JP (1) JP6846708B2 (ja)
CN (1) CN110446943B (ja)
WO (1) WO2018180391A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021032831A1 (en) 2019-08-21 2021-02-25 Lumileds Holding B.V. Infrared imaging assembly
WO2021059698A1 (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距装置の制御方法、並びに、電子機器
JPWO2021065175A1 (ja) * 2019-09-30 2021-04-08
WO2021065176A1 (ja) * 2019-09-30 2021-04-08 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
EP3990943A4 (en) * 2019-06-25 2023-07-05 Opsys Tech Ltd. ADAPTIVE MULTIPULSE LIDAR SYSTEM
US11740331B2 (en) 2017-07-28 2023-08-29 OPSYS Tech Ltd. VCSEL array LIDAR transmitter with small angular divergence
US11762068B2 (en) 2016-04-22 2023-09-19 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US11802943B2 (en) 2017-11-15 2023-10-31 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
US11846728B2 (en) 2019-05-30 2023-12-19 OPSYS Tech Ltd. Eye-safe long-range LIDAR system using actuator
US11906663B2 (en) 2018-04-01 2024-02-20 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
US11927694B2 (en) 2017-03-13 2024-03-12 OPSYS Tech Ltd. Eye-safe scanning LIDAR system
US11965964B2 (en) 2019-04-09 2024-04-23 OPSYS Tech Ltd. Solid-state LIDAR transmitter with laser control

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020191727A1 (zh) * 2019-03-28 2020-10-01 华为技术有限公司 一种雷达功率控制方法及装置
JPWO2020241294A1 (ja) * 2019-05-31 2020-12-03
US11637978B1 (en) * 2020-12-17 2023-04-25 Meta Platforms Technologies, Llc Autonomous gating selection to reduce noise in direct time-of-flight depth sensing
CN116400379B (zh) * 2023-06-08 2023-09-12 合肥国家实验室 单光子激光雷达三维成像系统和三维成像方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10332827A (ja) * 1997-05-30 1998-12-18 Fuji Xerox Co Ltd 距離測定方法及び装置
JP2001148867A (ja) * 1999-11-19 2001-05-29 Asahi Optical Co Ltd ３次元画像検出装置
US20020036765A1 (en) * 2000-08-09 2002-03-28 Mccaffrey Nathaniel Joseph High resolution 3-D imaging range finder
JP2004157044A (ja) * 2002-11-07 2004-06-03 Nippon Signal Co Ltd:The 走査型レーザレーダ
JP2008241435A (ja) * 2007-03-27 2008-10-09 Stanley Electric Co Ltd 距離画像生成装置
JP2012168049A (ja) 2011-02-15 2012-09-06 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
WO2016084323A1 (ja) 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3321026B2 (ja) * 1997-06-09 2002-09-03 矢崎総業株式会社 測距方法、測距装置、測距方法を用いた車間距離測距方法、及び車間距離測距装置
JP5308088B2 (ja) * 2008-07-24 2013-10-09 パナソニック株式会社 距離画像センサ
JP5743390B2 (ja) * 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
TWI540312B (zh) * 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
JP5190721B2 (ja) * 2012-05-09 2013-04-24 スタンレー電気株式会社 距離画像生成装置
JP2013137324A (ja) * 2013-03-07 2013-07-11 Toyota Motor Corp 画像取得装置及び方法
JP6435513B2 (ja) * 2013-06-26 2018-12-12 パナソニックＩｐマネジメント株式会社 測距撮像装置及びその測距方法、固体撮像素子
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
CN106461762B (zh) * 2014-05-23 2022-03-18 昕诺飞控股有限公司 对象检测系统和方法
JPWO2018181250A1 (ja) * 2017-03-30 2020-02-06 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
JP7408265B2 (ja) * 2017-06-13 2024-01-05 株式会社キーエンス 共焦点変位計
JP2020085477A (ja) * 2018-11-16 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 光測距装置及び光測距方法
JP7434128B2 (ja) * 2020-09-18 2024-02-20 株式会社東芝 距離計測装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10332827A (ja) * 1997-05-30 1998-12-18 Fuji Xerox Co Ltd 距離測定方法及び装置
JP2001148867A (ja) * 1999-11-19 2001-05-29 Asahi Optical Co Ltd ３次元画像検出装置
US20020036765A1 (en) * 2000-08-09 2002-03-28 Mccaffrey Nathaniel Joseph High resolution 3-D imaging range finder
JP2004157044A (ja) * 2002-11-07 2004-06-03 Nippon Signal Co Ltd:The 走査型レーザレーダ
JP2008241435A (ja) * 2007-03-27 2008-10-09 Stanley Electric Co Ltd 距離画像生成装置
JP2012168049A (ja) 2011-02-15 2012-09-06 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
WO2016084323A1 (ja) 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3605141A4

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11762068B2 (en) 2016-04-22 2023-09-19 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US11927694B2 (en) 2017-03-13 2024-03-12 OPSYS Tech Ltd. Eye-safe scanning LIDAR system
US11740331B2 (en) 2017-07-28 2023-08-29 OPSYS Tech Ltd. VCSEL array LIDAR transmitter with small angular divergence
US11802943B2 (en) 2017-11-15 2023-10-31 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
US11906663B2 (en) 2018-04-01 2024-02-20 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
US11965964B2 (en) 2019-04-09 2024-04-23 OPSYS Tech Ltd. Solid-state LIDAR transmitter with laser control
US11846728B2 (en) 2019-05-30 2023-12-19 OPSYS Tech Ltd. Eye-safe long-range LIDAR system using actuator
EP3990943A4 (en) * 2019-06-25 2023-07-05 Opsys Tech Ltd. ADAPTIVE MULTIPULSE LIDAR SYSTEM
WO2021032831A1 (en) 2019-08-21 2021-02-25 Lumileds Holding B.V. Infrared imaging assembly
US11936973B2 (en) 2019-08-21 2024-03-19 Lumileds Llc Pulse chain-driven infrared imaging assembly
US11350022B2 (en) 2019-08-21 2022-05-31 Lumileds Llc Pulse chain-driven infrared imaging assembly
WO2021059698A1 (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距装置の制御方法、並びに、電子機器
WO2021065175A1 (ja) * 2019-09-30 2021-04-08 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
JP7311617B2 (ja) 2019-09-30 2023-07-19 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
JPWO2021065176A1 (ja) * 2019-09-30 2021-04-08
WO2021065176A1 (ja) * 2019-09-30 2021-04-08 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
JP7348300B2 (ja) 2019-09-30 2023-09-20 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
JPWO2021065175A1 (ja) * 2019-09-30 2021-04-08
US20220206159A1 (en) * 2019-09-30 2022-06-30 Fujifilm Corporation Processing apparatus, electronic apparatus, processing method, and program
US11979666B2 (en) 2019-09-30 2024-05-07 Fujifilm Corporation Processing apparatus, electronic apparatus, processing method, and program

Also Published As

Publication number Publication date
JP6846708B2 (ja) 2021-03-24
EP3605141A4 (en) 2020-04-08
US11467285B2 (en) 2022-10-11
CN110446943B (zh) 2023-03-24
JP2018169336A (ja) 2018-11-01
CN110446943A (zh) 2019-11-12
EP3605141A1 (en) 2020-02-05
US20200025932A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
WO2018180391A1 (ja) 画像認識装置および距離画像生成方法
US9921312B2 (en) Three-dimensional measuring device and three-dimensional measuring method
US11194023B2 (en) Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
CN109959942B (zh) 距离测量设备、识别设备和距离测量方法
US10775502B2 (en) Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
US11561290B2 (en) Distance image generating device and distance image generating method
JP6120611B2 (ja) ビーム走査型表示装置
US10132926B2 (en) Range finder, mobile object and range-finding method
US11598859B2 (en) Electronic apparatus and method
JP2009192499A (ja) 距離画像生成装置
EP3279691B1 (en) Rangefinder based on parallax calculation
JP2020056698A (ja) 測距撮像装置
JP2012225807A (ja) 距離画像カメラおよび距離画像合成方法
JP7167708B2 (ja) 距離情報生成装置
JP2008005017A (ja) 撮像画像を基に照度を測定する車室内観測装置
JP5349257B2 (ja) 視認状況測定装置
JP2012198337A (ja) 撮像装置
US20220284543A1 (en) Signal processing apparatus and signal processing method
US20230044712A1 (en) Distance measurement system, distance measurement device, and distance measurement method
CN108663685B (zh) 补光方法、装置及系统
WO2022172690A1 (ja) 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム
US20230341749A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
WO2020218283A1 (ja) ＴｏＦカメラ、車両用灯具、自動車
JP7297714B2 (ja) 測距装置及び光源の発光診断方法
JP2022117201A (ja) 物体認識装置、物体認識方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18775304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018775304

Country of ref document: EP

Effective date: 20191030