WO2021256223A1 - 物体検知システム及び物体検知方法 - Google Patents

物体検知システム及び物体検知方法 Download PDF

Info

Publication number
WO2021256223A1
WO2021256223A1 PCT/JP2021/020469 JP2021020469W WO2021256223A1 WO 2021256223 A1 WO2021256223 A1 WO 2021256223A1 JP 2021020469 W JP2021020469 W JP 2021020469W WO 2021256223 A1 WO2021256223 A1 WO 2021256223A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
object information
optical sensor
unit
generation unit
Prior art date
Application number
PCT/JP2021/020469
Other languages
English (en)
French (fr)
Inventor
佑亮 湯浅
繁 齋藤
信三 香山
裕 廣瀬
明弘 小田川
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2022532459A priority Critical patent/JPWO2021256223A1/ja
Priority to CN202180034295.2A priority patent/CN115552280A/zh
Publication of WO2021256223A1 publication Critical patent/WO2021256223A1/ja
Priority to US17/982,104 priority patent/US20230053841A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present disclosure relates to an object detection system and an object detection method, and more particularly to an object detection system and an object detection method that process information about a distance to an object.
  • Patent Document 1 discloses an image monitoring device that detects intruding objects and moving objects in the imaging field of view in a series of image data captured by the image pickup device and records a series of image data including those objects.
  • This image monitoring device includes an imaging unit that captures an image of a surveillance area and inputs quantized image data, an input image storage means that stores the image data, and a reference image storage means that stores a background image of the surveillance area.
  • a moving object is detected by comparing the difference calculation means that outputs the difference image between the input image and the reference image with the object position one frame before the difference image, and at the same time, the pixels in the area excluding the moving object are calculated by the value of the input image.
  • It is provided with an animal body detecting means for updating and a display means for displaying an input image and notifying the detection result of a moving object.
  • Patent Document 2 discloses an information processing device that continues high-precision tracking.
  • This information processing device has an acquisition unit that acquires information in which a vertical position, a horizontal position, and a depth position of an object are associated with each other at a plurality of time points, and an acquisition unit previously acquired by the acquisition unit.
  • the prediction unit Based on the position of the predetermined object in the information, the prediction unit that predicts the position of the predetermined object in the information acquired this time by the acquisition unit, and the position of the predetermined object from the information this time.
  • a plurality of objects satisfying the predetermined conditions according to the above conditions are extracted, and among the plurality of objects in the present information, based on the degree of similarity between each image of the plurality of objects and the image of the predetermined object. It is provided with an extraction unit for extracting the same object as the predetermined object in the previous information.
  • the object of the present disclosure is to provide an object detection system and an object detection method for detecting an object at high speed.
  • the object detection system in one embodiment of the present disclosure includes a light emitting unit that emits light, an optical sensor that receives the reflected light reflected in the range in which the light can be measured in the target space, and a light sensor. It includes a light emitting unit, a control unit that controls the optical sensor, and a signal processing unit that processes information indicated by an electric signal generated by the optical sensor, and the control unit divides the distance-measurable range.
  • the distance section signal which is a signal from the pixel that received the light among the plurality of pixels included in the optical sensor, is output from the optical sensor for each of the plurality of distance sections.
  • the light emitting unit and the optical sensor are controlled, and the signal processing unit has a plurality of generation units capable of parallel operation, and the plurality of distance sections are based on the distance section signal output from the optical sensor.
  • the object information generation unit that generates object information indicating the characteristics of the object detected by the optical sensor, and the object corresponding to each of the plurality of distance sections generated by the object information generation unit.
  • the object information generation unit includes a storage unit for storing object information and an output unit for outputting the object information corresponding to each of the plurality of distance sections, and the object information generation unit has the same for each of the plurality of distance sections.
  • the object information is generated by comparing the past object information stored in the storage unit with the current feature of the object detected by the optical sensor.
  • the object detection method in one embodiment of the present disclosure includes a light emitting unit that emits light and an optical sensor that receives the reflected light reflected in the range in which the light can be measured in the target space.
  • a method for detecting an object by an object detection system including the control step of controlling the light emitting unit and the optical sensor, and a signal processing step of processing information indicated by an electric signal generated by the optical sensor.
  • the control step for each of the plurality of distance sections configured by dividing the distance-measurable range, the distance section signal is a signal from the pixel that received the light among the plurality of pixels included in the optical sensor.
  • an object information generation sub-step for generating object information indicating the characteristics of the object detected by the optical sensor, and the plurality of objects generated in the object information generation sub-step.
  • the object includes a storage sub-step for storing the object information corresponding to each of the distance sections of the above and an output sub-step for outputting the object information corresponding to each of the plurality of distance sections.
  • the information generation substep the past object information stored in the storage unit is compared with the characteristics of the current object detected by the optical sensor for each of the plurality of distance sections. Generate object information.
  • the object detection system and the object detection method in the present disclosure can detect an object at high speed.
  • FIG. 1 is a diagram showing a configuration of an object detection system according to an embodiment.
  • FIG. 2 is a diagram showing an outline of a method of measuring a distance to an object by an object detection system according to an embodiment.
  • FIG. 3A is a diagram showing a configuration of an information processing system included in the object detection system according to the embodiment.
  • FIG. 3B is a timing chart showing the processing of the information processing system included in the object detection system according to the present embodiment.
  • FIG. 4 is a flowchart showing a flow of processing performed by the object information generation unit of the object detection system according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of distance interval image generation processing by the object information generation unit of the object detection system according to the embodiment.
  • FIG. 6 is a diagram illustrating a speed generation process by the object information generation unit of the object detection system according to the embodiment.
  • FIG. 7 is a diagram illustrating an example of object information that can be generated by the object information generation unit of the object detection system according to the embodiment.
  • FIG. 8 is a diagram illustrating an example of changing the distance measurement setting by the object information generation unit of the object detection system according to the embodiment.
  • FIG. 9A is a diagram illustrating an example of an image displayed by the presentation unit of the object detection system according to the embodiment.
  • FIG. 9B is a diagram illustrating correction of the center coordinates of an object using a luminance image by the object information generation unit of the object detection system according to the embodiment.
  • FIG. 9C is a diagram illustrating a method of calculating the depth distance of an object using distance section signals of a plurality of distance sections by the object information generation unit of the object detection system according to the embodiment.
  • FIG. 10 is a timing chart showing an example of the order of processing in the object detection system according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of distance measurement by the object information generation unit in the modified example of the embodiment.
  • FIG. 1 is a diagram showing a configuration of an object detection system 200 according to an embodiment. Note that FIG. 1 also shows an external device 5 connected to the object detection system 200 via a communication path. As shown in FIG. 1, the object detection system 200 includes an information processing system 100, a light emitting unit 1, an optical sensor 2, and a presentation unit 4. The object detection system 200 is a system that directly detects an object for each of a plurality of distance sections by using a TOF (Time of Flight) method.
  • the external device 5 is a storage device such as a semiconductor memory, a computer device, a display, or the like.
  • the light emitting unit 1 includes a light source for emitting measurement light to an object under the control of the control unit 101a.
  • the measurement light is pulsed light.
  • the measurement light has a single wavelength, the pulse width is relatively short, and the peak intensity is relatively high.
  • the wavelength of the measured light has low human visual sensitivity and is affected by the disturbance light from sunlight. It is preferable that the wavelength range is in the near-infrared band, which is difficult to receive.
  • the light source is composed of, for example, a laser diode, and outputs a pulse laser.
  • the intensity of the pulsed laser output by the light source meets the class 1 or class 2 standard of the safety standard for laser products (JIS C 6802).
  • the light source is not limited to the above configuration, and may be a light emitting diode (LED: Light Emitting Diode), a surface emitting laser (VCSEL: Vertical Cavity Surface Emitting Laser), a halogen lamp, or the like. Further, the measurement light may be in a wavelength range different from the near infrared band.
  • the optical sensor 2 is a sensor that receives the reflected light reflected by the measurement light within the range that can be measured in the target space, and includes a pixel portion including a plurality of pixels. An avalanche photodiode is arranged in each pixel. Other photodetection elements may be arranged in each pixel. Each pixel is configured to be able to switch between an exposed state that receives reflected light and a non-exposed state that does not receive reflected light under the control of the control unit 101a. The optical sensor 2 outputs a charge based on the reflected light received by each pixel in the exposed state.
  • the information processing system 100 includes a control unit 101a that controls the light emitting unit 1 and the optical sensor 2, and a signal processing unit 101b that processes information indicated by an electric signal generated by the optical sensor 2.
  • the distance section signal which is a signal from the pixel that received the light among the plurality of pixels included in the optical sensor 2
  • the light emitting unit 1 and the optical sensor 2 are controlled (that is, the control step is executed) so as to be output from the optical sensor 2.
  • the signal processing unit 101b processes the information indicated by the electric signal generated by the optical sensor 2 (that is, executes the signal processing step). Therefore, the signal processing unit 101b generates object information indicating the characteristics of the object detected by the optical sensor 2 in each of the plurality of distance sections, based on the distance interval signal output from the optical sensor 2. That is, the object information generation unit 102 having a plurality of generation units (first generation unit to fifth generation unit) capable of parallel processing (which executes the object information generation substep), and a plurality of output from the optical sensor 2.
  • Each of the composite image generation unit 104 that generates a composite image (that is, executes the composite image generation substep) from the plurality of distance section signals corresponding to the distance sections, and the plurality of distance sections generated by the object information generation unit 102.
  • the storage unit 103 that stores the object information corresponding to (that is, executes the storage substep), and the output unit 105 that outputs the object information and the composite image corresponding to each of the plurality of distance sections to the external device 5.
  • the object information generation unit 102 compares the past object information stored in the storage unit 103 with the characteristics of the current object detected by the optical sensor 2 for each of the plurality of distance sections. Generate object information.
  • each distance section For each distance section, light reception consisting of light emission of measurement light and exposure operation of each pixel of the optical sensor 2 is performed one or more times, and each pixel receives light for the number of times the light is received in the light reception operation. Outputs the corresponding electrical signal.
  • the number of times of light receiving operation is not particularly limited, but may be about 50 times in one example.
  • FIG. 2 is a diagram showing an outline of a method for measuring a distance to an object by the object detection system 200 according to the embodiment.
  • the object detection system 200 measures the distance to the object by using the light reflected by the object for the measurement light emitted from the light emitting unit 1.
  • the object detection system 200 can be used, for example, as an in-vehicle object detection system mounted on an automobile to detect an obstacle, a surveillance camera for detecting an object or a person, a security camera, or the like.
  • the object detection system 200 measures the distance to an object existing in the range-measurable range FR of the target space.
  • the range-finding range FR is determined according to the time (set time) from when the light emitting unit 1 emits the measured light to when the optical sensor 2 finally performs the exposure operation under the control of the control unit 101a.
  • the distance-measurable range FR is not particularly limited, but as an example, it is several tens of centimeters to several tens of meters.
  • the range-finding range FR may be fixed or variable. Here, it is assumed that the setting can be made variably.
  • the object information generation unit 102 determines the presence / absence of an object in each of one or more (here, five as an example) distance sections R1 to R5 included in the range-finding range FR. judge. Further, the object information generation unit 102 generates object information which is information about the feature amount of the object for the distance section where it is determined that the object exists.
  • the plurality of distance sections R1 to R5 are sections in which the distance-measurable range FR is cut out according to the difference in the elapsed time from the time when the light emitting unit 1 emits the measurement light. That is, the distance-measurable range FR is composed of a plurality of distance sections R1 to R5.
  • the plurality of distance sections R1 to R5 have the same length.
  • each of the plurality of distance sections R1 to R5 is several cm to several m.
  • the plurality of distance sections R1 to R5 do not necessarily have to have the same length, and the number of distance sections is not particularly limited.
  • the number of distance intervals can typically be selected from 1 to 15.
  • the interval between the distance sections is not particularly limited.
  • a distance between a certain distance section and an adjacent distance section may be set to be several meters so that the distance is not measured, or a part of some distance sections may be set to overlap. ..
  • the control unit 101a is, for example, at a time point after the lapse of time corresponding to twice the distance to the latest point of the target distance section among the plurality of distance sections R1 to R5 after the light emitting unit 1 emits the measurement light. Then, the light emitting unit 1 and the optical sensor 2 are controlled so as to start the exposure of the pixels by the optical sensor 2. Further, the control unit 101a uses light so as to end the exposure of the pixels by the optical sensor 2 (end of the exposure operation) at the time when the time corresponding to twice the distance to the farthest point in this distance section elapses. Control the sensor 2.
  • the optical axis of the object detection system 200 of the object among the plurality of pixels of the optical sensor 2 Light is received by the pixels in the region corresponding to the position in the plane perpendicular to.
  • the object information generation unit 102 can obtain information about the presence / absence of the object and the two-dimensional position of the object in the target distance section. Further, the object information generation unit 102 assigns a value of "1" or "0" to each of the plurality of pixels depending on whether or not light is received, so that the object can be an object in a target distance section. It is possible to generate a binary image (distance interval image) showing a two-dimensional position where is present.
  • control unit 101a may perform light emission of the measurement light and light reception including the exposure operation of each pixel of the optical sensor 2 a plurality of times in the measurement in each distance section.
  • the object information generation unit 102 may determine that the object is at the position corresponding to the pixel when the number of times the light is received in each pixel (the number of times of light reception) exceeds the threshold value.
  • the object information generation unit 102 can determine the presence or absence of the object in each distance section and acquire the object information. Will be.
  • an object exists in each of the plurality of distance sections R1 to R5.
  • a tree exists as an object in the distance section R1
  • an electric pole exists as an object in the distance section R2
  • a person exists as an object in the distance section R3
  • a tree exists as an object in the distance section R4.
  • a fence exists as an object in the distance section R5.
  • the distance from the object detection system 200 to the distance section R1 is D0
  • the lengths of the distance sections R1 to R5 are D1 to D5, respectively.
  • the distance from the object detection system 200 to the farthest point in the distance section R1 corresponds to D0 + D1. Further, D0 is 0 m as an example. Further, the width of the depth of the distance-measurable range FR is represented by D0 + D1 + D2 + D3 + D4 + D5.
  • the object detection system 200 when determining the presence or absence of an object in the distance section R1, in the object detection system 200, the time (2 ⁇ (2 ⁇ ) after the light emitting unit 1 emits the measurement light under the control of the control unit 101a.
  • D0 + D1) / c) has elapsed, the exposure of the optical sensor 2 is terminated.
  • c is the speed of light.
  • the object information generation unit 102 obtains the distance section image Im1 shown in FIG. 2 as an image showing the object existing in the distance section R1 for the distance section R1.
  • the object information generation unit 102 obtains the distance section images Im3 to Im5 shown in FIG. 2, respectively.
  • a part of the tree that is an object existing in the distance section R4 is actually hidden by a person who is an object existing in the distance section R3 closer to the object detection system 200.
  • the actual shape of the tree is shown in the distance section image Im4. The same applies to other distance section images.
  • the composite image generation unit 104 further synthesizes the plurality of distance section images Im1 to Im5 obtained for the plurality of distance sections R1 to R5, and as an example of the composite image, the distance image Im100 for the distance-measurable range FR. To generate. Specifically, the composite image generation unit 104 assigns different weights to the pixels in the region corresponding to the object among the plurality of distance section images Im1 to Im5 for each of the distance sections R1 to R5, and a plurality of them. The distance section images Im1 to Im5 are superimposed. As a result, for example, the distance image Im100 shown in FIG. 2 is generated.
  • the distance image Im100 is an example of a composite image generated by the composite image generation unit 104, and is an image in which a plurality of distance interval images, which are binary images, are weighted and composited.
  • a plurality of distance interval images which are binary images
  • it is not always necessary to give different weights for each distance interval R1 to R5 it is not always necessary to give different weights for each distance interval R1 to R5, and the composition may be performed with the same weight, or by ORing at the same pixel position. There may be.
  • the composite image generation unit 104 generates a luminance image as a composite image in addition to generating the distance image Im100. That is, the composite image generation unit 104 further adds an electric signal obtained by executing one or more exposure operations for each of the plurality of distance sections R1 to R5 for each pixel. As a result, for example, a luminance image showing the luminance of each pixel in 8 bits is generated.
  • the luminance image is another example of the composite image generated by the composite image generation unit 104, and is an image composed of information indicating the luminance of each pixel.
  • the object detection system 200 of the present embodiment it is possible to generate a distance section image Im1 to Im5, a distance image Im100, and a luminance image by the operation as described above.
  • the object detection system 200 does not necessarily have to generate the distance section images Im1 to Im5, and may generate information (signal) that can generate the distance section images Im1 to Im5. For example, an image having information on the number of times of light reception for each pixel may be generated as "information that can generate distance interval images Im1 to Im5". The same applies to the distance image Im100 and the luminance image.
  • the information processing system 100 includes a control unit 101a, a signal processing unit 101b, an output unit 105, and a presentation unit 4.
  • the control unit 101a and the signal processing unit 101b can be realized by, for example, a computer system including one or more processors and one or more memories. That is, one or more processors execute one or more programs stored in one or more memories, thereby functioning as the control unit 101a and the signal processing unit 101b.
  • the program is pre-recorded in the memory here, it may be recorded and provided through a telecommunication circuit such as the Internet or a non-temporary storage medium such as a memory card.
  • the control unit 101a is configured to control the light emitting unit 1 and the optical sensor 2.
  • control unit 101a controls the timing of outputting the measured light from the light source of the light emitting unit 1 (light emitting timing), the pulse width of the measured light output from the light source of the light emitting unit 1, and the like.
  • control unit 101a controls the timing (exposure timing) of exposing each pixel of the optical sensor 2 to the exposure state, the exposure period, the reading timing of the electric signal, and the like.
  • the control unit 101a controls, for example, the light emission timing of the light emitting unit 1 and each operation timing of the light sensor 2 based on the timing stored internally.
  • the control unit 101a sequentially measures the distances of the plurality of distance sections R1 to R5 constituting the distance-measurable range FR. That is, the control unit 101a first emits light from the light emitting unit 1 and exposes the light sensor 2 to the distance section R1 closest to the object detection system 200, so that the distance section signal Si1 relating to the distance section R1 is transmitted from the optical sensor 2. To generate. Next, the control unit 101a emits light from the light emitting unit 1 and exposes the light sensor for the distance section R2 second closest to the object detection system 200, so that the distance section signal Si2 relating to the distance section R2 is transmitted from the optical sensor 2. To generate. The control unit 101a also sequentially generates distance section signals Si3 to Si5 from the optical sensor 2 for the distance sections R3 to R5. The control unit 101a repeatedly causes the optical sensor 2 to generate such distance interval signals Si1 to Si5.
  • the signal processing unit 101b receives the electric signal output from the optical sensor 2.
  • the electric signal includes any of the distance section signals Si1 to Si5.
  • the electric signal received by the signal processing unit 101b is processed by the signal processing unit 101b.
  • FIG. 3A is a diagram showing a configuration of an information processing system 100 included in the object detection system 200 according to the embodiment.
  • the information processing system 100 includes a control unit 101a and a signal processing unit 101b (object information generation unit 102, synthetic image generation unit 104, storage unit 103, and output unit 105).
  • the object information generation unit 102 targets the object information, which is information about the feature amount of the object existing in each of the plurality of distance sections R1 to R5, among the electric signals generated by the optical sensor 2. Generated based on the distance interval signal associated with the interval.
  • the object information generation unit 102 includes, for example, a generation unit (first generation unit 102a to fifth generation unit 102e) capable of parallel operation according to the number of distance sections (five here).
  • the first generation unit 102a receives the distance section signal Si1 from the optical sensor 2.
  • the first generation unit 102a generates object information regarding an object existing in the distance section R1 based on the distance section signal Si1 which is an electric signal related to the distance section R1.
  • the second generation unit 102b generates object information regarding an object existing in the distance section R2 based on the distance section signal Si2 which is an electric signal related to the distance section R2.
  • the third generation unit 102c generates object information regarding an object existing in the distance section R3 based on the distance section signal Si3 which is an electric signal related to the distance section R3.
  • the fourth generation unit 102d generates object information regarding an object existing in the distance section R4 based on the distance section signal Si4 which is an electric signal related to the distance section R4.
  • the fifth generation unit 102e generates object information regarding an object existing in the distance section R5 based on the distance section signal Si5 which is an electric signal related to the distance section R5.
  • a plurality of distance section signals Si1 to Si5 are input to the object information generation unit 102 through different routes, and different elements in the object information generation unit 102 ( It is assumed that the processing is performed by the first generation unit 102a to the fifth generation unit 102e). However, not limited to this, the plurality of distance section signals Si1 to Si5 may be input to the object information generation unit 102 by the same route and processed by the same element.
  • FIG. 3B is a timing chart showing the processing of the information processing system 100 included in the object detection system 200 according to the present embodiment.
  • a timing chart showing an example of parallel operation of the first generation unit 102a to the fifth generation unit 102e is shown.
  • “distance section” indicates an arrangement of five subframes (distance sections R1 to R5) constituting each frame
  • "light emission” indicates the timing at which the light emitting unit 1 emits the measured light, and "exposure”.
  • the first generation unit 102a to the fifth generation unit 102e generate object information, respectively. Indicates the processing period to be performed.
  • an example is shown in which object information is generated for each pair of light emission and exposure.
  • the generation of the object information in the distance section R1 is started by the first generation unit 102a after the light emission and the exposure for the distance section R1 are performed. Subsequently, in the subframe of the distance section R2, after the light emission and the exposure for the distance section R2 are performed, the generation of the object information in the distance section R2 by the second generation unit 102b is started, and so on. , The distance section R3, the distance section R4, and the distance section R5 are sequentially processed in the subframe.
  • Each of the first generation unit 102a to the fifth generation unit 102e does not wait for the input of the signal (distance section signal) to the other generation unit and the completion of the processing in the other generation unit, and the signal (distance section signal). Starts processing as soon as is entered. That is, the first generation unit 102a to the fifth generation unit 102e operate in parallel. As a result, the generation of the object information corresponding to each of the five distance sections is speeded up by the first generation unit 102a to the fifth generation unit 102e operating in parallel.
  • some of the processes of the first generation unit 102a to the fifth generation unit 102e overlap in time, but whether or not they overlap in time depends on the processing load. It does not necessarily have to overlap in time. For example, depending on the processing load, the processing of the first generation unit 102a to the fifth generation unit 102e may be completed within the subframe of the corresponding distance section.
  • FIG. 4 is a flowchart showing a flow of processing performed by the object information generation unit 102 of the object detection system 200 in the present embodiment.
  • the third generation unit 102c of the object information generation unit 102 first receives the distance section signal Si3 related to the target distance section R3 among the plurality of distance sections R1 to R5 from the optical sensor 2, and receives the distance section signal.
  • a distance interval image generation process is performed on Si3 using the reference image Im101 that has been acquired in advance and stored in the storage unit 103 (S1 in FIG. 4).
  • FIG. 5 is a diagram illustrating an example of a distance interval image generation process performed by the object information generation unit 102 of the object detection system 200 in the present embodiment.
  • the reference image Im101 (upper part of FIG. 5) is a distance image acquired in advance by the object detection system 200 and stored in the storage unit 103 (upper part of FIG. 5).
  • the distance image Im102 (lower part of FIG. 5) shows the distance section signals Si1 to Si5 input to the object information generation unit 102.
  • the third generation unit 102c assumes that the equivalent object exists at the same distance as the object included in the reference image Im101 among the received distance interval signal Si3 in the distance interval image generation process.
  • the position information is rewritten to the information that the object does not exist.
  • the unit 102c When the above-mentioned distance section image generation process is performed, the unit 102c generates a signal derived from a person as the distance section image Im3 (generates an image in which "1" is stored in the human area). As the other distance section images Im1, Im2, Im4, and Im5, signals derived from the respective objects are not generated (images in which "0" is stored in all regions are generated). In this way, the object information generation unit 102 shows the difference between the distance section signal related to the distance section corresponding to the reference image Im101 stored in the storage unit 103 and the reference image Im101. A distance interval image is generated as one of the object information.
  • the method of the reference image Im101 and the distance interval image generation processing is not particularly limited to such processing.
  • the reference image Im101 may be immutable or may be updated during the operation of the object detection system 200.
  • the reference image Im101 is constantly updated as the distance section signal Si3 one frame before, and the third generation unit 102c calculates the optical flow in the distance section image generation process, and the object included in the reference image Im101 is It may be determined how much the object has moved in the current distance interval signal Si3, and when the movement amount of the object exceeds the threshold value, it may be determined that the object exists and a distance interval image may be generated.
  • the distance interval image generated by the above process is a binary image in which a value of "1" is assigned to the pixels in the area where the object exists and a value of "0" is assigned to the pixels in the area where the object does not exist. ..
  • the third generation unit 102c may perform noise filter processing in general image processing.
  • the third generation unit 102c may apply a morphology operation or a median filter (S2 in FIG. 4). This may reduce noise and shorten subsequent processing time.
  • the third generation unit 102c may encode the distance interval image by a method capable of reducing the amount of data. For example, it may be compressed using run-length coding.
  • the third generation unit 102c performs labeling processing (S3 in FIG. 4).
  • labeling processing when the area to which "1" is assigned is connected by pixels adjacent to each other, it is determined that this block of connected pixels is one object, and a different label is given to each object. .. If the pixel to which "1" is assigned does not exist, it is determined that the object does not exist in the target distance section.
  • the third generation unit 102c performs a feature amount generation process (S4 in FIG. 4).
  • the feature amount generation process the feature amount of the object is generated based on the region of consecutive pixels considered to correspond to one object.
  • the type of feature amount is not particularly limited, but here, as an example, a given label, information indicating a distance interval, an object area, a circumference length, a first-order moment, a center of gravity, and a position of the center of gravity in the world coordinate system are used.
  • the world coordinate system is a three-dimensional Cartesian coordinate system in a virtual space corresponding to the target space.
  • the information indicating the position of the center of gravity of the object in the world coordinate system is an example of the object position information regarding the position of the object in the three-dimensional space.
  • the third generation unit 102c performs an object filter process after the feature amount generation process (S5 in FIG. 4).
  • the feature amount of each object is referred to, and the objects other than the objects satisfying the specified conditions are deleted.
  • the specified conditions are not particularly limited, but for example, the area (number of pixels) of the object is 100 pixels or more.
  • the third generation unit 102c performs object link processing using the past object information stored in the storage unit 103 (S6 in FIG. 4).
  • object link processing a similarity is defined in which the value increases as the current object and the past object become similar to each other for a plurality of distance sections, and the similarity is the highest among the past objects. It is determined that the object to be enlarged is the same object as itself, and the object is linked. At this time, the label of the past object to be linked is added to the feature amount of the current object as a linker so that the same past object to be linked can be searched later.
  • the ones for which the similarity is calculated and selected as the candidate to be linked are typically the objects one frame before, but the objects two or more frames before may be the candidates.
  • the definition of similarity is not particularly limited, and can be defined as a function in which the distance between the centers of gravity, the primary moment, and the area contribute. If there is no past object to be linked, a specific value indicating that there is no object to be linked is added as one of the features. If there is no past object to be linked, for example, the label of the current object itself may be added to the feature amount as a linker.
  • the third generation unit 102c executes a speed generation process for generating the moving speed of the object (S7 in FIG. 4).
  • the third generation unit 102c can trace back to the past object linked to the object.
  • the linker that goes back to the past object is stored in the past object that goes back, it is possible to go back to the time when the object first appears in the range-finding range FR.
  • the velocity generation process for example, by going back to the same object N seconds ago and referring to the object position information at each time, the movement distance is calculated from the movement trajectory of the center of gravity up to the present in the world coordinate system. Then, divide by the elapsed time (N seconds) to calculate the speed, and add it as one of the feature quantities.
  • the object information generation unit 102 uses the distance section signals of the plurality of distance sections to obtain object position information regarding the position of the object in the three-dimensional space.
  • the moving speed of the generated object is calculated by using the object position information of the past object which is the same as the current object.
  • the definition of how far back to calculate the speed is not particularly limited, and it may be defined as before N frames.
  • the frame rate at which the third generation unit 102c generates the distance interval image is variable, if it is defined as N frames before, the number of frames to be traced back is fixed when calculating the speed, and the frame rate is set to the frame rate. It is possible to reduce the influence of the calculation error of the center of gravity position due to the independent noise.
  • the method of calculating the speed is not particularly limited, and for example, for simplification of the calculation, it is calculated from the linear distance between the world coordinate system position of the center of gravity N seconds ago and the world coordinate system position of the current center of gravity. Is also good.
  • FIG. 6 is a diagram illustrating an example of a method of generating a moving direction of an object by the object information generation unit 102 (here, the third generation unit 102c) of the object detection system 200 in the present embodiment.
  • the method for estimating the moving direction is not particularly limited, but here, a method using an arc approximation of the locus of the object in the world coordinate system is adopted. For example, when using the movement path of an object for N seconds, the set of the centers of gravity of the object from N seconds before to the present in the world coordinate system is used.
  • the direction of movement of the object is the direction away from the position of the center of gravity N seconds before the object along the tangent line at the current center of gravity of the arc 71 centered on the center of rotation and passing through the position of the current center of gravity.
  • the object information generation unit 102 (here, the third generation unit 102c) approximates the locus of the same object as the current object in the past with a curve, so that the moving speed of the object Is calculated.
  • the feature amount to be used does not necessarily have to be the center of gravity, and other feature amounts related to the position of the object in the world coordinate system, such as the upper left point of the circumscribing rectangle given to the object. But it may be.
  • the third generation unit 102c sets the velocity and the moving direction of the object as the velocity vector 72 of the object, and adds it as one of the feature quantities.
  • the third generation unit 102c executes the movement destination prediction process from the speed of the object (S8 in FIG. 4). By executing the velocity generation process, the third generation unit 102c can estimate the position where the object will move in the near future.
  • the method of moving destination prediction processing is not particularly limited, but for example, when predicting a moving destination after N seconds, it is predicted that the distance obtained by multiplying the speed by N is linearly moved in the moving direction.
  • the predicted position of the destination where the destination prediction process is executed is added as one of the feature quantities. In this way, the object information generation unit 102 (here, the third generation unit 102c) generates a future predicted position of the object from the moving speed of the object.
  • FIG. 7 is a diagram showing an example of object information that can be generated by the object information generation unit 102 (here, the third generation unit 102c) of the object detection system 200 in the present embodiment.
  • the object information shown in this figure includes various feature quantities (center coordinates, area, aspect ratio) related to the two objects O1 and O2 detected at time t and the two objects O3 and O4 detected at time t + 1. , Speed, Linker) is included.
  • the linker which is one of the feature quantities of the object O3 detected at time t + 1, refers to the object O2 detected at time t, so that the object O2 and the object O3 detected at different times are the same. It can be seen that it is determined to be an object.
  • the linker which is one of the feature quantities of the object O4 detected at time t + 1, points to the object O1 detected at time t, the object O1 and the object O4 detected at different times are the same object. It can be seen that it is judged to be a thing.
  • the object information includes tracking information of the same object.
  • FIG. 8 is a diagram illustrating an example of changing the distance measurement setting by the object information generation unit 102 of the object detection system 200 in the present embodiment. That is, this figure is a diagram illustrating an example of a method of changing the setting stored in the control unit 101a based on the object information.
  • the object information generation unit 102 extracts a distance section including the predicted position 81 of the movement destination, and measures only three distance sections including the distance sections before and after the distance section.
  • the setting stored in the control unit 101a is changed. For example, in the example of FIG. 2, when the predicted position 81 of the destination of the person detected in the distance section R3 is the distance section R4 ((a) in FIG. 8), the control unit 101a is changed by the above setting.
  • the light emission timing and the exposure timing are controlled so that the distance sections R1 and R2 are ignored and only the distance sections R3 to R5 are measured ((b) in FIG. 8).
  • the range to be measured is changed to the distance sections R2 to R4.
  • the object information generation unit 102 generates the object information only for the changed distance section. In this way, the control unit 101a changes the control signal to the light emitting unit 1 and the optical sensor 2 so that the number of distance sections and the target distance section for generating the object information change.
  • control unit 101a has a distance section signal corresponding to a distance section that does not include the predicted position of the object among the plurality of distance sections (in FIG. 8B, the distance section signals of the distance sections R1 and R2). ) Is not output from the optical sensor 2, and the control signal to the light emitting unit 1 and the optical sensor 2 is changed.
  • the feature amount used to change the range to be measured is not particularly limited, and for example, a method of measuring a distance section including the current center of gravity position and a distance section before and after the current center of gravity may be used. Further, the number of distance sections to be measured after changing the range to be measured is not particularly limited.
  • the output unit 105 outputs the feature amount of the object to the presentation unit 4 or the external device 5 as the object information (S9 in FIG. 4).
  • the output unit 105 completes the processing of the object information generation unit 102 (more specifically, each of the first generation unit 102a to the fifth generation unit 102e) without waiting for the end of the measurement in all the distance sections.
  • the generated object information is sequentially output.
  • the output unit 105 may output not only the object information but also, for example, a luminance image, a distance image, or a distance interval image.
  • the output unit 105 may output information in the form of a wireless signal.
  • the presentation unit 4 visualizes the information output from the output unit 105.
  • the presentation unit 4 may include a two-dimensional display such as a liquid crystal display or an organic EL display.
  • the presentation unit 4 may include a three-dimensional display for displaying a distance image in three dimensions.
  • FIG. 9A is an example of the image 91 displayed by the presentation unit 4 of the object detection system 200 in the present embodiment.
  • a rectangle (detection frame) indicating that the detection has been detected is displayed on the vehicle, which is a moving object reflected in the screen, and the depth distance (“Deepth27.0 m”) and speed (“Speed45.”) Included in the object information. 9km / h ”) and the direction of the velocity vector (arrows in the figure) are shown.
  • FIG. 9B is a diagram illustrating correction of the center coordinates of the object using the luminance image by the object information generation unit 102.
  • FIG. 9B (a) shows an example of an object frame (“detection frame”) detected by the object information generation unit 102 at time t
  • FIG. 9B (b) is a composite image generation unit at time t.
  • An example of the brightness image generated in 104 is shown, and FIG.
  • 9B (c) shows an example of a frame (“detection frame”) of the same object detected by the object information generation unit 102 at time t + 1.
  • (D) of 9B shows an example of correction of the center coordinates of the object by the object information generation unit 102 at time t + 1.
  • the object information generation unit 102 specified a rectangle surrounding the detected object as a detection frame in a certain distance section image, and detected the center of the detection frame. Specify as the center coordinates of the object (“object center”).
  • the object information generation unit 102 detects a rectangle surrounding the same object as the object detected at time t in the distance section image or another distance section image. It is specified as a frame, and the center of the detection frame is specified as the provisional center coordinates (“object center”) of the object.
  • the object information generation unit 102 calculates the coordinate shift amount of the object in the distance interval image at time t + 1 by using the brightness image of the object at time t as a template (that is, the reference image), and the calculated coordinate shift amount.
  • the provisional center coordinates are shifted in the opposite direction by the amount of.
  • the center coordinates of the object are corrected by using the high-precision luminance image, so that the center coordinates of the object can be specified with high accuracy as compared with the case of using only the distance interval image.
  • the center coordinates of the object thus identified are used to calculate the depth distance, velocity and velocity vector of the object.
  • the feature amount to be corrected is not limited to the center coordinates of the object.
  • the position of the circumscribed rectangle of the object itself, the position of a specific point such as the upper right corner point of the circumscribed rectangle, or the position of the silhouette of the object may be corrected.
  • the object information generation unit 102 is one of the object information by using the distance section signals (or distance section images) of a plurality of distance sections when calculating the depth distance of the detected object. Correct the depth distance of the object (that is, calculate the depth distance with high accuracy).
  • FIG. 9C is a diagram illustrating a method of calculating the depth distance of an object by using the distance section signals of a plurality of distance sections by the object information generation unit 102.
  • an object composed of a point cloud detected in each of the five distance sections is shown in the detection frame. For example, 8 white circles are points detected in a distance section of 1.5 m, 15 black circles are points detected in a distance section of 3.0 m, and 2 triangles are 4.
  • the object information generation unit 102 weights the distance of each point cloud by the number of points as the depth distance of the object in the detection frame, that is, the average distance, that is, (8 ⁇ 1.5 m + 15 ⁇ 3). It is specified as 0.0 m + 2 ⁇ 4.5 m + 1 ⁇ 21.0 m + 1 ⁇ 22.5 m) / (8 + 15 + 2 + 1 + 1) ⁇ 4.05 m.
  • the distance of the object is calculated using the distance section signals of a plurality of distance sections, so that the distance is more accurate and realistic considering the depth of the object as compared with the case of using only one distance section signal.
  • the plurality of distance section signals used may be a plurality of distance section images after processing by the object information generation unit 102.
  • the object information may be corrected by the composite image generation unit 104 by using a part or all of the distance image generated as the composite image.
  • the calculation method for the depth distance of an object is not particularly limited.
  • the weighted average may be calculated so that the weight corresponding to the distance interval in which the most points are detected is the heaviest.
  • a weighted average in which the weight is multiplied by 1/2 as the distance interval is 1.5 m from the center of 3.0 m where the most points are detected, that is, ( 8 ⁇ 1.5m / 2 + 15 ⁇ 3.0m + 2 ⁇ 4.5m / 2 + 1 ⁇ 21.0m / 4096 + 1 ⁇ 22.5m / 8192) / (8 + 15 + 2 + 1 + 1) ⁇ 2.06m is specified as the depth distance of the object.
  • the weighted average method may work effectively for accurate depth distance calculation when noise is mixed in the point cloud corresponding to the object.
  • the points detected in the distance sections of 21 m and 22.5 m may be noise. It is plausible to specify the depth distance between 1.5m and 3.0m.
  • the generation of the object information including the time-dependent feature amount and the tracking of the object regarding the object existing in each of one or more distance sections Is generated based on the distance interval signal associated with the target distance interval.
  • FIG. 10 is a timing chart showing an example of the order of processing in the object detection system 200 according to the present embodiment. That is, in this figure, the light receiving operation by the optical sensor 2 (“measurement”), the object information generation operation by the first generation unit 102a to the fifth generation unit 102e (“information generation”), and the object by the output unit 105. The outline of the time relationship between the output operation (“data output”) and the distance image generation operation (“image composition”) by the composite image generation unit 104 is shown. More specifically, in FIG. 10, the “measurement” stage indicates the distance section in which the optical sensor 2 measures the distance in the distance sections R1 to R5.
  • the “information generation” stage indicates the timing at which the object information generation unit 102 processes the distance section signal to generate the object information among the distance section signals Si1 to Si5.
  • the “data output” stage indicates the timing of the object information output by the output unit 105.
  • the “image composition” stage indicates the timing at which the composite image generation unit 104 generates the distance image Im102. Further, in the figure, the start point of the arrow in each stage indicates the start time point of the process, and the end point of the arrow indicates the end point point of the process.
  • each of the distance section signals is processed by each of the first generation unit 102a to the fifth generation unit 102e without waiting for the processing of the other distance interval signals, and the object information is generated. , It is possible to shorten the processing time.
  • the processes by the first generation unit 102a to the fifth generation unit 102e are performed in order (that is, in different time zones), but when the load of "information generation" is large, the first is The processing times of the 1 generation unit 102a to the 5th generation unit 102e may overlap (that is, parallel processing may be performed).
  • the object detection system 200 of the present embodiment since the object detection system 200 generates the object information and tracks the object, the distance image is output to the external device 5 and the target is output by the external device 5. It is possible to significantly reduce the amount of information data output to the external device 5 as compared with the case of generating the object information and tracking the object. It is also possible to improve the processing speed by reducing the amount of data to be output.
  • the object information generation unit 102 When at least one of the object information corresponding to each of the plurality of distance sections satisfies a predetermined condition, the object information generation unit 102 further generates the object information or stores the object information in the storage unit 103. The storage is stopped, or the output unit 105 stops the output of the object information.
  • the object information generation unit 102 determines whether or not the detected object is a person by matching the outer shape pattern between the detected object and the model indicating the human pattern, and is not a person. When it is determined that the object information is not important, further generation of the object information or storage of the object information in the storage unit 103 is stopped. Alternatively, the output unit 105 stops the output of the object information. As a result, an object detection system that generates detailed object information by focusing on people as detection targets is realized.
  • the light emitting unit 1 that emits light
  • the light sensor 2 that receives the reflected light reflected by the light within the range that can be measured in the target space
  • the light emitting unit 1 that receives the reflected light reflected by the light within the range that can be measured in the target space
  • the control unit 101a for controlling the sensor 2 and the signal processing unit 101b for processing the information indicated by the electric signal generated by the optical sensor 2 are provided, and the control unit 101a is configured by dividing the distance-measurable range. For each of the plurality of distance sections, the light emitting unit 1 and the optical sensor so that the distance section signal, which is a signal from the pixel that received the light among the plurality of pixels included in the optical sensor 2, is output from the optical sensor 2.
  • the signal processing unit 101b has a plurality of generation units (first generation unit 102a to fifth generation unit 102e) capable of parallel operation, and is based on a distance interval signal output from the optical sensor 2.
  • the object information generation unit 102 that generates the object information indicating the characteristics of the object detected by the optical sensor 2 and the plurality of distance sections generated by the object information generation unit 102 for each of the plurality of distance sections.
  • a storage unit 103 for storing object information corresponding to each and an output unit 105 for outputting object information corresponding to each of a plurality of distance sections are provided, and the object information generation unit 102 includes a plurality of distance sections. For each, the object information is generated by comparing the past object information stored in the storage unit 103 with the characteristics of the current object detected by the optical sensor 2.
  • the object information generation unit 102 has a plurality of generation units (first generation unit 102a to fifth generation unit 102e) capable of parallel operation, and is detected by the optical sensor 2 for a plurality of distance sections. Since the object information indicating the characteristics of the object is generated, the object detection system 200 for detecting the object at high speed is realized.
  • the object detection system 200 includes a composite image generation unit 104 that generates a composite image from a plurality of distance section signals corresponding to a plurality of distance sections output from the optical sensor 2, and the output unit 105 is a composite image generation unit.
  • the composite image generated in 104 is output.
  • the storage unit 103 stores the reference image corresponding to at least one of the plurality of distance sections
  • the object information generation unit 102 stores the distance related to the distance section corresponding to the reference image stored in the storage unit 103.
  • Object information is generated by comparing the section signal with the reference image. As a result, object information indicating the same or different points as the reference image is generated. Therefore, for example, by using a past image as the reference image, it is possible to immediately know only the changed portion.
  • the object information generation unit 102 corrects the object information by using the composite image.
  • the object information corresponding to each of the distance sections is corrected by using the composite image having the overall information over the plurality of distance sections, so that the accuracy of the object information corresponding to each distance section is improved.
  • the accuracy of the center coordinates of the detected object is improved.
  • the object information generation unit 102 corrects the object information by using the distance section signals of a plurality of distance sections. As a result, the object information corresponding to each of the distance sections is corrected by using the distance section signals of the plurality of distance sections, so that the object information having a three-dimensional shape existing over the plurality of distance sections is obtained.
  • the accuracy of is improved. For example, the accuracy of the depth distance to an object having a three-dimensional shape is improved.
  • the object information generation unit 102 generates object position information regarding the position of the object in the three-dimensional space by using the distance interval signals of a plurality of distance sections, and the same past object as the current object.
  • the moving speed of the object is calculated by using the object position information of the object. As a result, the moving speed of the object in the three-dimensional space can be obtained.
  • the object information generation unit 102 calculates the moving speed of the object by approximating the trajectory of the same object as the current object in the past with a curve. As a result, the moving speed of the object is calculated with higher accuracy than the linear approximation.
  • the object information generation unit 102 generates the future predicted position 81 of the object as the object information from the moving speed. As a result, the future predicted position 81 of the object is known in advance.
  • control unit 101a changes the control signals to the light emitting unit 1 and the optical sensor 2 so that the number of distance sections, the distance width of the distance sections, or the target distance section for generating the object information changes.
  • control unit 101a sends the light emitting unit 1 and the optical sensor 2 so that the distance section signal corresponding to the distance section not including the predicted position 81 of the object is output from the optical sensor 2 among the plurality of distance sections. Change the control signal.
  • the object information generation unit 102 further generates the object information or stores the object information in the storage unit 103.
  • the storage is stopped, or the output unit 105 stops the output of the object information.
  • the object detection method is an object detection system 200 including a light emitting unit 1 that emits light and an optical sensor 2 that receives reflected light reflected in a range that can be measured in the target space.
  • a control step for controlling the light emitting unit 1 and the optical sensor 2 and a signal processing step for processing information indicated by an electric signal generated by the optical sensor 2 are included in the object detection method.
  • the distance section signal which is a signal from the pixel that received the light among the plurality of pixels included in the optical sensor 2, is output from the optical sensor 2.
  • the light emitting unit 1 and the optical sensor 2 are controlled so as to be output from the optical sensor 2 by a plurality of generation units (first generation unit 102a to fifth generation unit 102e) capable of parallel operation.
  • An object information generation substep that generates object information indicating the characteristics of an object detected by the optical sensor 2 in a plurality of distance sections based on a distance section signal, and a plurality of distances output from the optical sensor 2.
  • the storage unit 103 stores the composite image generation sub-step for generating a composite image from a plurality of distance section signals corresponding to the section and the object information corresponding to each of the plurality of distance sections generated in the object information generation sub-step.
  • the storage substep includes an object information corresponding to each of the plurality of distance sections and an output substep for outputting a composite image.
  • the storage unit 103 stores each of the plurality of distance sections.
  • the object information is generated by comparing the stored past object information with the characteristics of the current object detected by the optical sensor 2.
  • the object information generation substep a plurality of generation units (first generation unit 102a to fifth generation unit 102e) capable of parallel operation, based on the distance section signals output from the optical sensor 2, a plurality of generation units. Since the object information indicating the characteristics of the object detected by the optical sensor 2 is generated in the distance section, the object detection method for detecting the object at high speed is realized.
  • the program according to one aspect is a program for causing one or more processors to execute the above information processing method.
  • the program may be recorded and provided on a computer-readable medium.
  • the object information generation unit 102 reduces the distance interval to be measured as in the above embodiment when changing the setting stored in the control unit 101a by using the feature amount of the object.
  • the distance may be measured around the position of the center of gravity of the object or the predicted position 81 of the moving destination by reducing the width of the distance section.
  • FIG. 11 is a diagram illustrating an example of distance measurement by the object information generation unit 102 in the modified example of the embodiment. For example, as shown in FIG. 11A, when a person is detected in the distance section R3 in the distance sections R1 to R5, as shown in FIG. 11B, from the next frame.
  • a group of sections obtained by dividing the three distance sections R2 to R4 in the immediately preceding frame into five may be newly set as the distance sections R1 to R5 and the distance may be measured.
  • the control unit 101a changes the control signal to the light emitting unit 1 and the optical sensor 2 so that the distance width of the distance section changes. More specifically, the control unit 101a reduces the distance-measurable range to the distance width including the predicted position of the object, and shortens the distance width of each of the plurality of distance sections.
  • the control signal to the optical sensor 2 is changed. In the above modification, the resolution of the measurement distance is improved, and the accuracy of the object information may be improved.
  • the object information generation unit 102 may detect an object by expanding the range-finding range FR at regular time intervals. According to the above modification, it is possible to find an object that appears at a distant position from an object that has already been detected.
  • the object detection system 200 may generate a distance section signal by an indirect TOF method instead of the direct TOF as in the embodiment.
  • the object information generation unit 102 may include an inter-section information generation unit.
  • the inter-section information generation unit generates object information for each of a plurality of different distance section signals, and then compares the object information generated in different distance sections to determine whether or not they indicate the same object. If it is determined that they are the same object, the object information is regenerated as one object and output to the storage unit 103 and the output unit 105.
  • the object detection system 200 and the object detection method of the present disclosure have been described above based on the embodiments and modifications, but the present disclosure is not limited to these embodiments and modifications. As long as it does not deviate from the gist of the present disclosure, various modifications that can be conceived by those skilled in the art are applied to the present embodiment and the modified examples, and other forms constructed by combining some components in the embodiments and the modified examples. Is also included within the scope of this disclosure.
  • the present disclosure discloses an object detection system that detects an object for each of a plurality of distance sections, particularly an object detection system that detects an object at high speed, for example, an in-vehicle object detection system that is mounted on an automobile and detects an obstacle, an object.
  • an object detection system that detects an object at high speed
  • it can be used as a surveillance camera, a security camera, or the like for detecting a person or the like.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

物体検知システム（２００）であって、発光部（１）と、光センサ（２）と、制御部（１０１ａ）と、信号処理部（１０１ｂ）とを備え、制御部（１０１ａ）は、複数の距離区間の各々についての距離区間信号が光センサ（２）から出力されるように発光部（１）及び光センサ（２）を制御し、信号処理部（１０１ｂ）は、並列動作可能な複数の生成部（第１生成部（１０２ａ）～第５生成部（１０２ｅ））を有し、かつ、複数の距離区間について、対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成部（１０２）と、対象物情報を記憶する記憶部（１０３）とを備え、対象物情報生成部（１０２）は、記憶部（１０３）に記憶された過去の対象物情報と、光センサ（２）によって検出された現在の対象物の特徴とを比較することで、対象物情報を生成する。

Description

物体検知システム及び物体検知方法
　本開示は、物体検知システム及び物体検知方法に関し、より詳細には、対象物までの距離についての情報を処理する物体検知システム及び物体検知方法に関する。
　特許文献１は、撮像装置により取り込まれる一連の画像データにおいて、撮像視野内の侵入物体や移動物体を検出し、それらの物体を含む一連の画像データを記録する画像監視装置を開示する。この画像監視装置は、監視区域を撮像し量子化された画像データを入力する撮像手段と、前記画像データを記憶する入力画像記憶手段と、監視区域の背景画像を記憶する基準画像記憶手段と、入力画像と基準画像の差分画像を出力する差分演算手段と、前記差分画像について１フレーム前の物体位置との比較により移動物体を検出し、同時に移動物体を除く領域の画素を入力画像の値で更新する動物体検出手段と、入力画像を表示し移動物体の検出結果を通報する表示手段と、を備える。
　特許文献２は、精度の高いトラッキングを継続する情報処理装置を開示する。この情報処理装置は、複数の時点における、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応付けられた情報を取得する取得部と、前記取得部により以前に取得された前記情報における前記所定の物体の位置に基づき、前記取得部により今回取得された前記情報における前記所定の物体の位置を予測する予測部と、今回の前記情報から、前記所定の物体の位置に応じた所定の条件を満たす複数の物体を抽出し、前記複数の物体の各画像と、前記所定の物体の画との類似度に基づいて、今回の前記情報における前記複数の物体のうち、以前の前記情報における前記所定の物体と同一の物体を抽出する抽出部と、を備える。
特許第３４２３６２４号公報 特開２０１８－８８２３３号公報
　本開示は、高速に物体を検知する物体検知システム及び物体検知方法を提供することを目的とする。
　上記目的を達成するために、本開示の一形態における物体検知システムは、光を出射する発光部と、前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサと、前記発光部及び前記光センサを制御する制御部と、前記光センサで生成される電気信号で示される情報を処理する信号処理部とを備え、前記制御部は、前記測距可能範囲を区分して構成される複数の距離区間の各々について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、前記信号処理部は、並列動作可能な複数の生成部を有し、かつ、前記光センサから出力される前記距離区間信号に基づいて、前記複数の距離区間について、前記光センサによって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成部と、前記対象物情報生成部が生成した前記複数の距離区間の各々に対応する前記対象物情報を記憶する記憶部と、前記複数の距離区間の各々に対応する前記対象物情報を出力する出力部とを備え、前記対象物情報生成部は、前記複数の距離区間の各々について、前記記憶部に記憶された過去の前記対象物情報と、前記光センサによって検出された現在の前記対象物の特徴とを比較することで、前記対象物情報を生成する。
　上記目的を達成するために、本開示の一形態における物体検知方法は、光を出射する発光部と、前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサとを備える物体検知システムによる物体検知方法であって、前記発光部及び前記光センサを制御する制御ステップと、前記光センサで生成される電気信号で示される情報を処理する信号処理ステップとを含み、前記制御ステップでは、前記測距可能範囲を区分して構成される複数の距離区間の各々について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、前記信号処理ステップでは、並列動作可能な複数の生成部により、前記光センサから出力される前記距離区間信号に基づいて、前記複数の距離区間について、前記光センサによって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成サブステップと、前記対象物情報生成サブステップで生成した前記複数の距離区間の各々に対応する前記対象物情報を記憶部に記憶させる記憶サブステップと、前記複数の距離区間の各々に対応する前記対象物情報を出力する出力サブステップとを含み、前記対象物情報生成サブステップでは、前記複数の距離区間の各々について、前記記憶部に記憶された過去の対象物情報と、前記光センサによって検出された現在の対象物の特徴とを比較することで、前記対象物情報を生成する。
　本開示における物体検知システム及び物体検知方法は、高速に物体を検知することが可能である。
図１は、実施の形態における物体検知システムの構成を示す図である。 図２は、実施の形態における物体検知システムによる対象物までの距離の測定方法の概略を示す図である。 図３Ａは、実施の形態における物体検知システムに含まれる情報処理システムの構成を示す図である。 図３Ｂは、本実施の形態における物体検知システムに含まれる情報処理システムの処理を示すタイミングチャートである。 図４は、実施の形態における物体検知システムの対象物情報生成部が行う処理の流れを示すフローチャートである。 図５は、実施の形態における物体検知システムの対象物情報生成部による距離区間画像生成処理の一例を説明する図である。 図６は、実施の形態における物体検知システムの対象物情報生成部による速度生成処理を説明する図である。 図７は、実施の形態における物体検知システムの対象物情報生成部によって生成され得る対象物情報の一例を説明する図である。 図８は、実施の形態における物体検知システムの対象物情報生成部による測距の設定変更の一例を説明する図である。 図９Ａは、実施の形態における物体検知システムの提示部が表示する画像の一例を説明する図である。 図９Ｂは、実施の形態における物体検知システムの対象物情報生成部による輝度画像を用いた物体の中心座標の補正を説明する図である。 図９Ｃは、実施の形態における物体検知システムの対象物情報生成部による複数の距離区間の距離区間信号を用いた物体の奥行距離の算出方法を説明する図である。 図１０は、実施の形態における物体検知システム内での処理の順番の一例を示すタイミングチャートである。 図１１は、実施の形態の変化例における対象物情報生成部による測距の一例を説明する図である。
　以下、図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、又は、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が必要以上に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することを意図していない。
　以下、図１～図１１を用いて、実施の形態を説明する。
　［１．構成］
　［１－１．物体検知システムの構成］
　図１は、実施形態に係る物体検知システム２００の構成を示す図である。なお、図１には、物体検知システム２００と通信路を介して接続される外部装置５も合わせて図示されている。図１に示すように、物体検知システム２００は、情報処理システム１００と、発光部１と、光センサ２と、提示部４とを備える。物体検知システム２００は、直接ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式を利用して複数の距離区間の各々について物体を検知するシステムである。外部装置５は、半導体メモリ等の記憶装置、コンピュータ装置、ディスプレイ等である。
　発光部１は、制御部１０１ａによる制御の下で対象物に測定光を出射するための光源を備える。測定光は、パルス状の光である。ＴＯＦ方式を利用した距離測定において、測定光は、単一波長であり、パルス幅が比較的短く、ピーク強度が比較的高いことが好ましい。また、物体検知システム２００（より厳密には、光センサ２）を市街地等で利用することを考慮して、測定光の波長は、人間の視感度が低く、太陽光からの外乱光の影響を受けにくい近赤外帯の波長域であることが好ましい。本実施形態では、光源は、例えばレーザーダイオードで構成されており、パルスレーザを出力する。光源が出力するパルスレーザの強度は、レーザ製品の安全基準（ＪＩＳ　Ｃ　６８０２）のクラス１又はクラス２の基準を満たしている。なお、光源は、上記の構成に限らず、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、面発光レーザ（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ　Ｃａｖｉｔｙ　Ｓｕｒｆａｃｅ　Ｅｍｉｔｔｉｎｇ　ＬＡＳＥＲ）、ハロゲンランプ等であってもよい。また、測定光は、近赤外帯とは異なる波長域であってもよい。
　光センサ２は、測定光が対象空間における測距可能範囲で反射された反射光を受光するセンサであり、複数の画素を含む画素部を備える。各画素には、アバランシェフォトダイオードが配置されている。各画素に他の光検出素子が配置されても良い。各画素は、反射光を受光する露光状態と、反射光を受光しない非露光状態とを制御部１０１ａによる制御の下で切り替え可能に構成されている。光センサ２は、露光状態において各画素で受光した反射光に基づく電荷を出力する。
　情報処理システム１００は、発光部１及び光センサ２を制御する制御部１０１ａと、光センサ２で生成される電気信号で示される情報を処理する信号処理部１０１ｂとを備える。制御部１０１ａは、測距可能範囲を区分して構成される複数の距離区間の各々について、光センサ２に含まれる複数の画素のうちで光を受け取った画素からの信号である距離区間信号が光センサ２から出力されるように、発光部１及び光センサ２を制御する（つまり、制御ステップを実行する）。
　信号処理部１０１ｂは、光センサ２で生成される電気信号で示される情報を処理する（つまり、信号処理ステップを実行する）。そのために、信号処理部１０１ｂは、光センサ２から出力される距離区間信号に基づいて、複数の距離区間の各々において光センサ２によって検出された対象物の特徴を示す対象物情報を生成する（つまり、対象物情報生成サブステップを実行する）並列処理可能な複数の生成部（第１生成部～第５生成部）を有する対象物情報生成部１０２と、光センサ２から出力される複数の距離区間に対応する複数の距離区間信号から合成画像を生成する（つまり、合成画像生成サブステップを実行する）合成画像生成部１０４と、対象物情報生成部１０２が生成した複数の距離区間の各々に対応する対象物情報を記憶する（つまり、記憶サブステップを実行する）記憶部１０３と、複数の距離区間の各々に対応する対象物情報及び合成画像を外部装置５に出力する出力部１０５とを備える。対象物情報生成部１０２は、複数の距離区間の各々について、記憶部１０３に記憶された過去の対象物情報と、光センサ２によって検出された現在の対象物の特徴とを比較することで、対象物情報を生成する。
　物体検知システム２００では、各距離区間について、測定光の発光及び光センサ２の各画素の露光動作からなる受光を一回以上行い、各画素は、受光動作のうちで光を受け取った回数分に相当する電気信号を出力する。受光動作を行う回数（受光回数）は、特に限定されないが、一例において５０回程度であっても良い。
　［１－２．距離測定の概要］
　図２は、実施形態に係る物体検知システム２００による対象物までの距離の測定方法の概略を示す図である。
　物体検知システム２００は、図１に示すように、発光部１から出射される測定光が対象物で反射された光を利用して、対象物までの距離を測定する。物体検知システム２００は、例えば、自動車に搭載され障害物を検知する車載物体検知システム、物体あるいは人等を検知する監視カメラ、セキュリティカメラ等に利用することができる。
　物体検知システム２００は、対象空間の測距可能範囲ＦＲに存在する対象物までの距離を測定する。測距可能範囲ＦＲは、制御部１０１ａによる制御の下で、発光部１が測定光を出射してから、光センサ２が露光動作を最後に行うまでの時間（設定時間）に応じて決まる。測距可能範囲ＦＲは特に限定されないが、一例として、数十ｃｍ～数十ｍである。物体検知システム２００では、測距可能範囲ＦＲが固定であっても良いし、可変に設定可能であっても良い。ここでは、可変に設定可能であるものとする。
　より詳細には、対象物情報生成部１０２は、測距可能範囲ＦＲに含まれる、１つ以上（ここでは例として５つ）の距離区間Ｒ１～Ｒ５の各々において、対象物の存在の有無を判定する。また、対象物情報生成部１０２は、対象物が存在すると判定された距離区間については、この対象物の特徴量に関する情報である対象物情報を生成する。複数の距離区間Ｒ１～Ｒ５は、発光部１が測定光を出射した時点からの経過時間の違いに応じて、測距可能範囲ＦＲを切り取った区間である。つまり、測距可能範囲ＦＲは、複数の距離区間Ｒ１～Ｒ５で構成されている。ここでは、複数の距離区間Ｒ１～Ｒ５は、同じ長さとする。特に限定されないが、一例として、複数の距離区間Ｒ１～Ｒ５の各々は数ｃｍ～数ｍである。なお、複数の距離区間Ｒ１～Ｒ５は、必ずしも同じ長さである必要はなく、距離区間の数も特に限定されない。距離区間の数は、典型的には１～１５の中から選択されうる。さらに、距離区間間の間隔も特に限定されない。例えば、ある距離区間と、隣接する距離区間との間隔を数ｍ空けて、該間隔を測距しないという設定にしても良く、いくつかの距離区間の一部が重なるように設定しても良い。ここでは、例として距離区間間の間隔はなく、重なりもないものとする。
　制御部１０１ａは、例えば、発光部１が測定光を出射してから、複数の距離区間Ｒ１～Ｒ５のうちで対象とする距離区間の最近点までの距離の２倍に対応する時間の経過時点で、光センサ２での画素の露光を開始するように、発光部１及び光センサ２を制御する。また、制御部１０１ａは、この距離区間の最遠点までの距離の２倍に対応する時間の経過時点で、光センサ２での画素の露光を終了する（露光動作の終了）ように、光センサ２を制御する。このように光センサ２を動作させれば、対象とする距離区間内に対象物が存在する場合には、光センサ２の複数の画素のうちで、対象物の、物体検知システム２００の光軸と垂直な平面内での位置に対応する領域の画素で、光が受光される。これにより、対象物情報生成部１０２は、対象とする距離区間において、対象物の存在の有無及び対象物の２次元位置についての情報を得ることができる。また、対象物情報生成部１０２は、複数の画素の各々に対して、光を受け取ったか否かに応じて「１」又は「０」の値を割り当てることで、対象とする距離区間において対象物が存在する二次元位置を示す二値画像（距離区間画像）を生成することができる。
　なお、制御部１０１ａは、各距離区間での測定において、測定光の発光及び光センサ２の各画素の露光動作からなる受光を、複数回行ってもよい。この場合には、対象物情報生成部１０２は、各画素において光を受け取った回数（受光回数）が閾値を超えると、この画素に対応する位置に対象物があると判定してもよい。受光動作を複数回行うことで、ノイズ等の影響が軽減されうる。
　対象物情報生成部１０２は、複数の距離区間Ｒ１～Ｒ５の各々で上記の動作を行うことで、各距離区間での対象物の存在の有無の判定、対象物情報の取得を行うことが可能となる。
　図２の例を用いて、上記の物体検知システム２００の動作をより詳細に説明する。図２の例では、複数の距離区間Ｒ１～Ｒ５の各々に、対象物が存在している。距離区間Ｒ１には対象物として木が存在し、距離区間Ｒ２には対象物として電柱が存在し、距離区間Ｒ３には対象物として人が存在し、距離区間Ｒ４には対象物として木が存在し、距離区間Ｒ５には対象物としてフェンスが存在している。以下では便宜上、物体検知システム２００から距離区間Ｒ１までの距離をＤ０、距離区間Ｒ１～Ｒ５の長さをそれぞれＤ１～Ｄ５とする。なお、物体検知システム２００から距離区間Ｒ１の最遠点までの距離はＤ０＋Ｄ１に相当する。また、Ｄ０は、例として０ｍとする。また、測距可能範囲ＦＲの奥行の幅は、Ｄ０＋Ｄ１＋Ｄ２＋Ｄ３＋Ｄ４＋Ｄ５で表わされる。
　例えば、距離区間Ｒ１での対象物の存在の有無を判定する場合、物体検知システム２００では、制御部１０１ａによる制御の下で、発光部１が測定光を出射してから、時間（２×（Ｄ０＋Ｄ１）／ｃ）が経過した時点で光センサ２の露光を終了する。ここで、ｃは光速である。図２に示すように、距離区間Ｒ１では、対象物としての人が、光センサ２の複数の画素のうちで下側の画素の領域に対応する位置に存在している。そのため、光センサ２では、人の存在位置に対応する領域の画素では、光を受け取った受光回数が閾値を超え、その他の画素では受光回数が閾値を超えない。これにより、対象物情報生成部１０２により、距離区間Ｒ１については、距離区間Ｒ１に存在する対象物を示す画像として、図２に示す距離区間画像Ｉｍ１が得られる。
　距離区間Ｒ２～Ｒ５についても同様にして、対象物情報生成部１０２により、図２に示す距離区間画像Ｉｍ３～Ｉｍ５がそれぞれ得られる。
　なお、例えば距離区間Ｒ４に存在する対象物である木の一部は、実際にはそれより物体検知システム２００に近い距離区間Ｒ３に存在する対象物である人によって隠される。ただし、図２では、簡単のため、距離区間画像Ｉｍ４において実際の木の形状を示している。他の距離区間画像についても、同様である。
　合成画像生成部１０４は、さらに、複数の距離区間Ｒ１～Ｒ５について得られた複数の距離区間画像Ｉｍ１～Ｉｍ５を合成することで、合成画像の一例として、測距可能範囲ＦＲについての距離画像Ｉｍ１００を生成する。具体的には、合成画像生成部１０４は、複数の距離区間画像Ｉｍ１～Ｉｍ５のうちで、対象物に対応する領域の画素に、距離区間Ｒ１～Ｒ５ごとに異なる重みを付与して、複数の距離区間画像Ｉｍ１～Ｉｍ５を重ね合わせる。これにより、例えば図２に示す距離画像Ｉｍ１００が生成される。距離画像Ｉｍ１００は、合成画像生成部１０４によって生成される合成画像の一例であり、二値画像である複数の距離区間画像が重みづけて合成された画像である。なお、複数の距離区間画像の合成では、距離区間Ｒ１～Ｒ５ごとに異なる重みを付与することは、必ずしも必須ではなく、同じ重みによる合成であってもよいし、同じ画素位置における論理和等であってもよい。
　合成画像生成部１０４は、合成画像として、距離画像Ｉｍ１００の生成に加えて、輝度画像の生成も行う。つまり、合成画像生成部１０４は、さらに、複数の距離区間Ｒ１～Ｒ５について、それぞれ１回以上の露光動作を実行して得られた電気信号を、画素毎に加算する。これにより、例えば、各画素の輝度を８ビットで示す輝度画像が生成される。輝度画像は、合成画像生成部１０４によって生成される合成画像の他の一例であり、各画素の輝度を示す情報から構成される画像である。
　本実施形態の物体検知システム２００では、上述のような動作で、距離区間画像Ｉｍ１～Ｉｍ５、距離画像Ｉｍ１００及び輝度画像を生成することが可能となる。
　なお、物体検知システム２００は、必ずしも距離区間画像Ｉｍ１～Ｉｍ５を生成しなくてよく、距離区間画像Ｉｍ１～Ｉｍ５を生成しうる情報（信号）を生成すればよい。例えば、受光回数に関する情報を画素毎に保有した画像を、「距離区間画像Ｉｍ１～Ｉｍ５を生成しうる情報」として、生成してもよい。距離画像Ｉｍ１００及び輝度画像についても同様である。
　［１－３．情報処理システムの構成］
　図１に示すように、情報処理システム１００は、制御部１０１ａと、信号処理部１０１ｂと、出力部１０５と、提示部４と、を備える。制御部１０１ａ及び信号処理部１０１ｂは、例えば、１以上のプロセッサと１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラムを実行することで、制御部１０１ａ及び信号処理部１０１ｂとして機能する。プログラムは、ここではメモリに予め記録されているが、インターネット等の電気通信回路を通じて、又はメモリカード等の非一時的な記憶媒体に記録されて提供されても良い。
　制御部１０１ａは、発光部１及び光センサ２の制御を行うように構成される。
　発光部１については、制御部１０１ａは、発光部１の光源から測定光を出力させるタイミング（発光タイミング）、発光部１の光源から出力される測定光のパルス幅等を制御する。
　光センサ２については、制御部１０１ａは、光センサ２の各画素を露光状態にするタイミング（露光タイミング）、露光期間、電気信号の読み出しタイミング等を制御する。
　制御部１０１ａは、例えば、内部に記憶されたタイミングに基づいて、発光部１での発光タイミング及び光センサ２での各動作タイミングを制御する。
　制御部１０１ａは、測距可能範囲ＦＲを構成する複数の距離区間Ｒ１～Ｒ５について、順次、距離の測定を行う。すなわち、制御部１０１ａは、まず、物体検知システム２００に最も近い距離区間Ｒ１について、発光部１の発光及び光センサ２の露光を行うことで、光センサ２から、距離区間Ｒ１に関する距離区間信号Ｓｉ１を生成させる。次に、制御部１０１ａは、物体検知システム２００に二番目に近い距離区間Ｒ２について、発光部１の発光及び光センサの露光を行うことで、光センサ２から、距離区間Ｒ２に関する距離区間信号Ｓｉ２を生成させる。制御部１０１ａは、距離区間Ｒ３～Ｒ５についても、順次、光センサ２から、距離区間信号Ｓｉ３～Ｓｉ５を生成させる。制御部１０１ａは、光センサ２に対して、このような距離区間信号Ｓｉ１～Ｓｉ５を生成させることを繰り返し行う。
　信号処理部１０１ｂは、光センサ２から出力される電気信号を受信する。電気信号は、距離区間信号Ｓｉ１～Ｓｉ５のいずれかを含む。信号処理部１０１ｂが受信した電気信号は、信号処理部１０１ｂで処理される。
　図３Ａは、実施の形態における物体検知システム２００に含まれる情報処理システム１００の構成を示す図である。なお、本図では、情報処理システム１００の外にある光センサ２及び提示部４も合わせて図示されている。情報処理システム１００は、制御部１０１ａ及び信号処理部１０１ｂ（対象物情報生成部１０２、合成画像生成部１０４、記憶部１０３、及び出力部１０５）を備える。
　対象物情報生成部１０２は、複数の距離区間Ｒ１～Ｒ５の各々に存在する対象物の特徴量に関する情報である対象物情報を、光センサ２で生成される電気信号のうちで対象とする距離区間に関連する距離区間信号に基づいて生成する。
　対象物情報生成部１０２は、例えば距離区間の数（ここでは５つ）に応じた並列動作可能な生成部（第１生成部１０２ａ～第５生成部１０２ｅ）を備えている。第１生成部１０２ａは、光センサ２から距離区間信号Ｓｉ１を受け取る。第１生成部１０２ａは、距離区間Ｒ１に存在する対象物に関する対象物情報を、この距離区間Ｒ１に関連する電気信号である距離区間信号Ｓｉ１に基づいて生成する。同様に、第２生成部１０２ｂは、距離区間Ｒ２に存在する対象物に関する対象物情報を、この距離区間Ｒ２に関連する電気信号である距離区間信号Ｓｉ２に基づいて生成する。第３生成部１０２ｃは、距離区間Ｒ３に存在する対象物に関する対象物情報を、この距離区間Ｒ３に関連する電気信号である距離区間信号Ｓｉ３に基づいて生成する。第４生成部１０２ｄは、距離区間Ｒ４に存在する対象物に関する対象物情報を、この距離区間Ｒ４に関連する電気信号である距離区間信号Ｓｉ４に基づいて生成する。第５生成部１０２ｅは、距離区間Ｒ５に存在する対象物に関する対象物情報を、この距離区間Ｒ５に関連する電気信号である距離区間信号Ｓｉ５に基づいて生成する。
　なお、及び上記の説明では、単に分かりやすさのためだけに、複数の距離区間信号Ｓｉ１～Ｓｉ５が、異なる経路を通じて対象物情報生成部１０２に入力され、対象物情報生成部１０２における異なる要素（第１生成部１０２ａ～第５生成部１０２ｅ）で処理されているとしている。しかしながら、これに限らず、複数の距離区間信号Ｓｉ１～Ｓｉ５は、同一の経路で対象物情報生成部１０２に入力されて同一の要素で処理されてもよい。
　［２．動作］
　次に、以上のように構成された本実施の形態における物体検知システム２００の動作について説明する。
　［２－１．情報処理システムの動作］
　図３Ｂは、本実施の形態における物体検知システム２００に含まれる情報処理システム１００の処理を示すタイミングチャートである。ここでは、第１生成部１０２ａ～第５生成部１０２ｅの並列動作の一例を示すタイミングチャートが示されている。本図において、「距離区間」は、各フレームを構成する５つのサブフレーム（距離区間Ｒ１～Ｒ５）の並びを示し、「発光」は、発光部１が測定光を発するタイミングを示し、「露光」は、光センサ２が反射光を受光する期間を示し、「第１生成部」～「第５生成部」は、それぞれ、第１生成部１０２ａ～第５生成部１０２ｅが対象物情報を生成する処理期間を示す。ここでは、発光及び露光の１対ごとに対象物情報が生成される例が示されている。
　図３Ｂに示されるように、距離区間Ｒ１のサブフレームにおいて、距離区間Ｒ１のための発光及び露光が行われた後に第１生成部１０２ａによる距離区間Ｒ１での対象物情報の生成が開始され、続いて、距離区間Ｒ２のサブフレームにおいて、距離区間Ｒ２のための発光及び露光が行われた後に第２生成部１０２ｂによる距離区間Ｒ２での対象物情報の生成が開始され、以下、同様にして、距離区間Ｒ３、距離区間Ｒ４、及び、距離区間Ｒ５のサブフレームでの処理が順次行われる。
　第１生成部１０２ａ～第５生成部１０２ｅのそれぞれは、他の生成部への信号（距離区間信号）の入力及び他の生成部での処理の完了を待たずに、信号（距離区間信号）が入力されると直ちに処理を開始する。つまり、第１生成部１０２ａ～第５生成部１０２ｅは、並列に動作する。これにより、５つの距離区間のそれぞれに対応する対象物情報の生成は、並列に動作する第１生成部１０２ａ～第５生成部１０２ｅにより、高速化が図られている。
　なお、図３Ｂでは、第１生成部１０２ａ～第５生成部１０２ｅの処理は、一部が時間的に重なっているが、時間的に重なるか否かは、処理負荷に依存するものであり、必ずしも時間的に重なる必要はない。例えば、処理負荷によっては、第１生成部１０２ａ～第５生成部１０２ｅの処理は、対応する距離区間のサブフレーム内に終了してもよい。
　［２－２．対象物情報生成部の動作］
　次に、本実施形態における物体検知システム２００の対象物情報生成部１０２による対象物情報の生成方法について、説明する。図４は、本実施形態における物体検知システム２００の対象物情報生成部１０２が行う処理の流れを示すフローチャートである。
　なお、以下では、図２における、距離区間Ｒ３に関する動作に着目して説明を行うが、他の距離区間の場合の動作についても同様である。
　対象物情報生成部１０２の第３生成部１０２ｃは、まず、複数の距離区間Ｒ１～Ｒ５のうち対象とする距離区間Ｒ３に関連する距離区間信号Ｓｉ３を光センサ２から受け取り、受け取った距離区間信号Ｓｉ３に対し、事前に取得して記憶部１０３に保存しておいた参照画像Ｉｍ１０１を利用して距離区間画像生成処理を行う（図４のＳ１）。
　図５は、本実施形態における物体検知システム２００の対象物情報生成部１０２が行う距離区間画像生成処理の一例を説明する図である。ここでは、参照画像Ｉｍ１０１（図５の上段）及び距離画像Ｉｍ１０２（図５の下段）の例が示されている。参照画像Ｉｍ１０１（図５の上段）は、事前に物体検知システム２００で取得して記憶部１０３に保存された距離画像である（図５の上段）。距離画像Ｉｍ１０２（図５の下段）は、対象物情報生成部１０２に入力される距離区間信号Ｓｉ１～Ｓｉ５を示している。このような例では、第３生成部１０２ｃは、距離区間画像生成処理において、受け取った距離区間信号Ｓｉ３のうち、参照画像Ｉｍ１０１に含まれる対象物と同等の距離に、同等の対象物が存在すると判定する場合、位置情報を、対象物が存在しないという情報に書き換える。上記の処理により、距離区間信号Ｓｉ３に含まれる対象物のうち、参照画像Ｉｍ１０１に含まれる対象物以外だけに着目することができる。図５の上段の例（参照画像Ｉｍ１０１）に基づいた、図５の下段の例（距離画像Ｉｍ１０２）において、参照画像Ｉｍ１０１の取得時に、距離区間Ｒ３に人が存在していないので、第３生成部１０２ｃは、上記の距離区間画像生成処理を行った場合、距離区間画像Ｉｍ３として、人に由来する信号を生成する（人の領域において「１」が格納された画像を生成する）。なお、他の距離区間画像Ｉｍ１、Ｉｍ２、Ｉｍ４、Ｉｍ５として、それぞれの対象物に由来する信号が生成されない（すべての領域において「０」が格納された画像を生成する）。このようにして、対象物情報生成部１０２は、記憶部１０３に記憶された参照画像Ｉｍ１０１に対応する距離区間に関連する距離区間信号と参照画像Ｉｍ１０１とを比較することで、それらの差分を示す距離区間画像を、対象物情報の一つとして生成する。
　ただし、参照画像Ｉｍ１０１及び距離区間画像生成処理の方法は、このような処理に特に限定されない。また、参照画像Ｉｍ１０１は、物体検知システム２００の動作中に不変であっても良いし、更新されるものであっても良い。例えば、参照画像Ｉｍ１０１を、１フレーム前の距離区間信号Ｓｉ３として常に更新し、第３生成部１０２ｃは、距離区間画像生成処理において、オプティカルフローを算出し、参照画像Ｉｍ１０１に含まれる対象物が、現在の距離区間信号Ｓｉ３においてどれだけ移動したかを判定し、対象物の移動量が閾値を超えた場合に、対象物が存在すると判定し、距離区間画像を生成してもよい。
　上記処理で生成された距離区間画像は、対象物が存在する領域の画素には「１」の値、対象物が存在しない領域の画素には「０」の値を割り当てた二値画像である。
　ここで、第３生成部１０２ｃは、一般的な画像処理におけるノイズフィルタ処理を行っても良い。例えば、第３生成部１０２ｃは、モルフォロジー演算、あるいはメディアンフィルタを適用しても良い（図４のＳ２）。これにより、ノイズを低減し、その後の処理時間を短縮する可能性がある。
　また、第３生成部１０２ｃは、距離区間画像を、データ量を削減可能な方法で符号化しても良い。例えば、ランレングス符号化を用いて圧縮しても良い。
　次に、第３生成部１０２ｃは、ラベリング処理を行う（図４のＳ３）。ラベリング処理では、「１」が割り当てられた領域が、互いに隣接する画素同士で連結している場合に、この連結画素の塊を１つの物体であると判定し、物体毎に異なるラベルを付与する。なお、「１」が割り当てられた画素が存在しない場合、対象とする距離区間には対象物が存在しないと判定される。
　ラベリング処理の後、第３生成部１０２ｃは、特徴量生成処理を行う（図４のＳ４）。特徴量生成処理では、１つの対象物に対応するとみなされた連続する画素の領域に基づいて、対象物の特徴量を生成する。特徴量の種類は、特に限定されないが、ここでは例として、付与されたラベル、距離区間を示す情報、対象物の面積、周囲長、１次モーメント、重心、及び重心の世界座標系での位置とする。世界座標系は、対象空間に相当する仮想空間における３次元直交座標系である。対象物の重心の世界座標系での位置を示す情報は、対象物の３次元空間上の位置に関する対象物位置情報の一例である。
　第３生成部１０２ｃは、特徴量生成処理の後、対象物フィルタ処理を行う（図４のＳ５）。対象物フィルタ処理では、各対象物の特徴量を参照し、規定の条件を満たす対象物以外を消去する。規定の条件は、特に限定されないが、例えば、対象物の面積（画素数）が、１００画素以上であること、とする。上記の対象物フィルタ処理により、注目したい物体以外を消去し、後の処理時間を短縮しうる。
　次に、第３生成部１０２ｃは、記憶部１０３に記憶された過去の対象物情報を利用し、物体リンク処理を行う（図４のＳ６）。物体リンク処理では、複数の距離区間を対象として、現在の対象物と、過去の対象物とが、類似するほど値が大きくなる類似度を定義し、過去の対象物の中で最も類似度が大きくなる対象物を、自身と同一対象物であると判定し、リンクさせる。この時、リンクさせる過去の同一対象物を後に検索可能なように、リンクさせる過去の対象物のラベルを、リンカとして、現在の対象物の特徴量に追加する。過去の対象物のうち、類似度を算出し、リンクさせる候補として選ぶものは、典型的には１フレーム前の対象物であるが、２フレーム以上前の対象物を候補としてもよい。なお、類似度の定義は特に限定されず、例えば重心同士の距離と、１次モーメントと、面積が寄与する関数として定義しうる。リンクさせるべき過去の対象物が存在しない場合は、リンクさせる対象物が存在しないことを示す特定の値を、特徴量の１つとして追加する。なお、リンクさせるべき過去の対象物が存在しない場合は、例えば現在の対象物自身のラベルを、リンカとして、特徴量に追加しても良い。
　次に、第３生成部１０２ｃは、対象物の移動速度を生成する速度生成処理を実行する（図４のＳ７）。前記物体リンク処理を行ったことにより、第３生成部１０２ｃは、対象物とリンクした過去の対象物へと遡ることができる。また、遡った、過去の対象物にも、さらに過去の対象物へと遡るリンカが記憶されているため、対象物が初めて測距可能範囲ＦＲに現れた時刻まで遡ることが可能である。速度生成処理では、例えばＮ秒前の同一対象物へと遡り、各時刻における対象物位置情報を参照することで、現在に至るまでの重心の世界座標系での移動軌跡から、移動距離を算出し、経過時間（Ｎ秒）で割って速さを算出し、特徴量の１つとして追加する。このようにして、対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）は、複数の距離区間の前記距離区間信号を用いて対象物の３次元空間上の位置に関する対象物位置情報を生成し、現在の対象物と同一の過去の対象物の対象物位置情報を利用して、対象物の移動速度を算出する。
　なお、速さを算出するためにどこまで遡るかについての定義は特に限定されず、Ｎフレーム前などと定義しても良い。例えば、第３生成部１０２ｃが距離区間画像を生成するフレームレートが可変であった場合、Ｎフレーム前などと定義すれば、速さを算出する際に、遡るフレーム数が固定となり、フレームレートに依存しないノイズによる、重心位置の算出誤差の影響を低減する可能性がある。また、速さの算出方法は特に限定されず、例えば、計算の簡単化のために、Ｎ秒前の重心の世界座標系位置と、現在の重心の世界座標系位置の直線距離から算出しても良い。
　速度生成処理では、対象物の移動方向を推定する。図６は、本実施の形態における物体検知システム２００の対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）による対象物の移動方向を生成する方法の一例を説明する図である。移動方向の推定方法は、特に限定されないが、ここでは、対象物の、世界座標系における軌跡の、円弧近似を利用する方法を採用する。例えば、Ｎ秒間の対象物の移動経路を利用する場合、世界座標系における、Ｎ秒前から現在までの、対象物の重心の集合を利用する。各行に対象物の重心の座標を格納した行列に対し、主成分分析を適用し、第３主成分ベクトルを法線とする平面を、重心の軌跡によく当てはまる平面であると推定する。次に、前記平面において、Ｎ秒前と、Ｎ／２秒前と、現在の重心位置の３点から等距離にある点を、重心の軌跡の、仮想的な回転中心とする。ここで、Ｎ／２秒前の重心位置は、Ｎ／２－１秒前と、Ｎ／２秒前と、Ｎ／２＋１秒前と、の重心位置の平均で更新する。対象物は、前記回転中心を中心として、Ｎ秒間円弧を描く運動を行うものと仮定する。前記回転中心を中心とし、現在の重心位置を通る円弧７１の、現在の重心位置における接線に沿い、対象物のＮ秒前の重心位置から遠ざかる向きを対象物の移動方向とする。上記のように、対象物の移動軌跡を簡単な曲線で近似することで、ノイズ等を原因として発生する重心位置の誤差が速度ベクトル７２の誤差に影響しにくくなる。このように、対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）は、現在の対象物と同一の対象物が過去に移動した軌跡を曲線で近似することにより、対象物の移動速度を算出する。なお、上記の速度ベクトル７２の算出方法において、利用する特徴量は必ずしも重心である必要はなく、対象物に付与した外接矩形の左上点など、世界座標系における対象物の位置に関する他の特徴量でもよい。
　第３生成部１０２ｃは、前記対象物の速さと移動方向を、対象物の速度ベクトル７２とし、特徴量の１つとして追加する。
　次に、第３生成部１０２ｃは、対象物の速度から、移動先予測処理を実行する（図４のＳ８）。前記速度生成処理を実行したことにより、第３生成部１０２ｃは、対象物が近い未来に移動する位置の推測が可能である。移動先予測処理の方法は、特に限定されないが、例えば、Ｎ秒後の移動先を予測する場合、前記速度にＮを乗じただけの距離を、前記移動方向に直線移動すると予測する。前記移動先予測処理を実行した移動先の予測位置を、特徴量の１つとして追加する。このようにして対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）は、対象物の移動速度から、対象物の未来の予測位置を生成する。
　図７は、本実施の形態における物体検知システム２００の対象物情報生成部１０２（ここでは、第３生成部１０２ｃ）によって生成され得る対象物情報の一例を示す図である。本図に示される対象物情報には、時刻ｔで検出された２つの物体Ｏ１及びＯ２、並びに、時刻ｔ＋１で検出された２つの物体Ｏ３及びＯ４に関する各種特徴量（中心座標、面積、アスペクト比、速度、リンカ）が含まれている。この例では、時刻ｔ＋１で検出された物体Ｏ３の特徴量の一つであるリンカは時刻ｔで検出された物体Ｏ２を指しているので、異なる時刻に検出された物体Ｏ２と物体Ｏ３とは同一対象物と判定されていることが分かる。同様に、時刻ｔ＋１で検出された物体Ｏ４の特徴量の一つであるリンカは時刻ｔで検出された物体Ｏ１を指しているので、異なる時刻に検出された物体Ｏ１と物体Ｏ４とは同一対象物と判定されていることが分かる。このようにして、対象物情報には、同一対象物の追跡情報が含まれている。
　図８は、本実施の形態における物体検知システム２００の対象物情報生成部１０２による測距の設定変更の一例を説明する図である。つまり、本図は、対象物情報に基づいて制御部１０１ａに記憶された設定を変更する方法の一例を説明する図である。対象物情報生成部１０２は、上述した移動先予測処理の後、移動先の予測位置８１が含まれる距離区間を抽出し、その前後の距離区間を含めた３つの距離区間だけを測距するように、制御部１０１ａに記憶された設定を変更する。例えば、図２の例で、距離区間Ｒ３で検知された人の、移動先の予測位置８１が距離区間Ｒ４であった場合（図８の（ａ））、制御部１０１ａは、上記設定変更により、次のフレームからは、距離区間Ｒ１とＲ２を無視し、距離区間Ｒ３～Ｒ５のみを測距するように、発光タイミングと露光タイミングを制御する（図８の（ｂ））。その後、例えばその人の移動先の予測位置８１が距離区間Ｒ３となった場合、測距する範囲を距離区間Ｒ２～Ｒ４に変更する。そして、制御部１０１ａによる制御の下で、対象物情報生成部１０２は、変更後の距離区間だけを対象として対象物情報を生成する。このように、制御部１０１ａは、距離区間の数、及び、対象物情報を生成する対象となる距離区間が変わるように、発光部１及び光センサ２への制御信号を変更する。より詳しくは、制御部１０１ａは、複数の距離区間のうち、対象物の予測位置を含まない距離区間に対応する距離区間信号（図８の（ｂ）では、距離区間Ｒ１及びＲ２の距離区間信号）が光センサ２から出力されないように、発光部１及び光センサ２への制御信号を変更する。
　上記のように、検知された対象物の特徴量から、測距する範囲を絞ることで、対象物を検知する処理を短縮することが可能になる。なお、測距する範囲を変更するために利用する特徴量は特に限定されず、例えば現在の重心位置が含まれる距離区間とその前後の距離区間を測距するという方法でも良い。また、測距する範囲を変更した後に、測距する距離区間の数は特に限定されない。
　最後に、出力部１０５は、対象物の前記特徴量を、対象物情報として提示部４あるいは外部装置５に出力する（図４のＳ９）。出力部１０５は、全ての距離区間での測定の終了を待つことなく、対象物情報生成部１０２（より詳しくは、第１生成部１０２ａ～第５生成部１０２ｅの各々）の処理が終了して生成された対象物情報を順次出力する。出力部１０５は、対象物情報のみでなく、例えば輝度画像、距離画像あるいは距離区間画像を出力しても良い。出力部１０５は、無線信号の形で情報を出力しても良い。
　提示部４は、出力部１０５から出力された情報を可視化する。提示部４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の二次元ディスプレイを備えていても良い。提示部４は、距離画像を３次元表示するための３次元ディスプレイを備えていても良い。
　図９Ａは、本実施形態における物体検知システム２００の提示部４で表示される画像９１の例である。画面内に写る移動体である車両に、検知されたことを示す矩形（検知枠）が表示され、対象物情報に含まれる、奥行距離（「Ｄｅｐｔｈ２７．０ｍ」）と、速さ（「Ｓｐｅｅｄ４５．９ｋｍ／ｈ」）と、速度ベクトルの向き（図中の矢印）が示されている。
　なお、対象物情報生成部１０２は、このように検知された物体の奥行距離、速さ及び速度ベクトルを算出する際に、合成画像の一つである輝度画像を用いて、対象物情報の一つである物体の中心座標を補正する。図９Ｂは、対象物情報生成部１０２による輝度画像を用いた物体の中心座標の補正を説明する図である。図９Ｂの（ａ）は、時刻ｔにおいて対象物情報生成部１０２によって検知された物体の枠（「検知枠」）の例を示し、図９Ｂの（ｂ）は、時刻ｔにおいて合成画像生成部１０４で生成された輝度画像の例を示し、図９Ｂの（ｃ）は、時刻ｔ＋１において対象物情報生成部１０２によって検知された同一の物体の枠（「検知枠」）の例を示し、図９Ｂの（ｄ）は、時刻ｔ＋１における対象物情報生成部１０２による物体の中心座標の補正例を示す。
　時刻ｔにおいて、図９Ｂの（ａ）に示すように、対象物情報生成部１０２は、ある距離区間画像において、検知した物体を囲む矩形を検知枠として特定し、検知枠の中心を、検知した物体の中心座標（「物体中心」）として特定する。時刻ｔ＋１において、図９Ｂの（ｃ）に示すように、対象物情報生成部１０２は、その距離区間画像又は他の距離区間画像において、時刻ｔで検知した物体と同一の物体を囲む矩形を検知枠として特定し、検知枠の中心を物体の暫定的な中心座標（「物体中心」）として特定する。そして、対象物情報生成部１０２は、時刻ｔにおける物体の輝度画像をテンプレート（つまり、基準画像）として用いることで時刻ｔ＋１における距離区間画像における物体の座標シフト量を算出し、算出した座標シフト量の分だけ暫定的な中心座標を逆方向にシフトさせる。これにより、精度の高い輝度画像を用いて、物体の中心座標が補正されるので、距離区間画像だけを用いる場合に比べ、高い精度で、物体の中心座標が特定される。このように特定された物体の中心座標は、物体の奥行距離、速さ及び速度ベクトルを算出するのに用いられる。
　なお、補正される特徴量は、物体の中心座標に限定されない。例えば、物体の外接矩形そのものや、外接矩形の右上のコーナー点などの特定の点の位置、あるいは物体のシルエットの位置を補正するものであってもよい。
　また、対象物情報生成部１０２は、検知された物体の奥行距離を算出する際に、複数の距離区間の距離区間信号（あるいは、距離区間画像）を用いて、対象物情報の一つである物体の奥行距離を補正する（つまり、高い精度で奥行距離を算出する）。図９Ｃは、対象物情報生成部１０２による複数の距離区間の距離区間信号を用いた物体の奥行距離の算出方法を説明する図である。ここでは、５つの距離区間のそれぞれで検知された点群で構成される物体が検知枠内に示されている。例えば、８個の白丸は、１．５ｍの距離区間で検知された点であり、１５個の黒丸は、３．０ｍの距離区間で検知された点であり、２個の三角は、４．５ｍの距離区間で検知された点であり、１個の四角は、２１．０ｍの距離区間で検知された点であり、１個の×は、２２．５ｍの距離区間で検知された点である。このようなケースにおいて、対象物情報生成部１０２は、検知枠内の物体の奥行距離として、点群それぞれの距離を個数で重み付けして得られる平均距離、つまり、（８×１．５ｍ＋１５×３．０ｍ＋２×４．５ｍ＋１×２１．０ｍ＋１×２２．５ｍ）／（８＋１５＋２＋１＋１）≒４．０５ｍと、特定する。これにより、複数の距離区間の距離区間信号を用いて、物体の距離が算出されるので、一つの距離区間信号だけを用いる場合に比べ、高い精度で、物体の奥行を考慮した現実的な距離が算出される。なお、用いられる複数の距離区間信号は、対象物情報生成部１０２での処理後における複数の距離区間画像であってもよい。また、前記対象物情報は、合成画像生成部１０４において、合成画像として生成された距離画像の一部または全部を利用して補正されるものであってもよい。
　なお、物体の奥行距離の前記計算方法は特に限定されない。例えば、最も多くの点が検知された距離区間に対応する重みが最も重くなるように、重みつき平均を計算してもよい。例えば、図９Ｃの例において、前記最も多くの点が検出された３．０ｍを中心に、距離区間が１．５ｍ離れるほど、重みが１／２倍されるような重み付き平均、つまり、（８×１．５ｍ／２＋１５×３．０ｍ＋２×４．５ｍ／２＋１×２１．０ｍ／４０９６＋１×２２．５ｍ／８１９２）／（８＋１５＋２＋１＋１）≒２．０６ｍを、物体の奥行距離と特定する。前記重み付き平均による方法は、対象物に対応する点群にノイズが混在していた場合の、正確な奥行距離計算に有効に働く可能性がある。前記図９Ｃの例では、３．０ｍの距離区間の次に１．５ｍの距離区間で検知された点が多いことから、２１ｍおよび２２．５ｍの距離区間で検知された点はノイズである可能性があり、奥行距離は１．５ｍと３．０ｍとの間と特定するのが尤もらしい。
　以上説明したように、本実施形態の物体検知システム２００によれば、１つ以上の距離区間の各々に存在する対象物に関する、時間依存特徴量を含む対象物情報の生成と、対象物の追跡を、対象とする距離区間に関連する距離区間信号に基づいて生成される。
　図１０は、本実施の形態における物体検知システム２００内での処理の順番の一例を示すタイミングチャートである。つまり、本図は、光センサ２による受光動作（「測定」）、第１生成部１０２ａ～第５生成部１０２ｅによる対象物情報の生成動作（「情報生成」）、出力部１０５による対象物の出力動作（「データ出力」）、合成画像生成部１０４による距離画像の生成動作（「画像合成」）の間の、時間関係の概略を示す。より詳しくは、図１０において、「測定」の段は、距離区間Ｒ１～Ｒ５のうちで、光センサ２が距離の測定を行った距離区間を示す。「情報生成」の段は、距離区間信号Ｓｉ１～Ｓｉ５のうちで、対象物情報生成部１０２が距離区間信号の処理を行って対象物情報を生成したタイミングを示す。「データ出力」の段は、対象物情報のうちで、出力部１０５が出力したタイミングを示す。「画像合成」の段は、合成画像生成部１０４が距離画像Ｉｍ１０２を生成するタイミングを示す。また、図では、各段の矢印の始点が処理の開始時点を示し、矢印の終点が処理の終了時点を示す。
　上記説明したように、距離区間信号のそれぞれは、第１生成部１０２ａ～第５生成部１０２ｅのそれぞれによって、他の距離区間信号の処理を待たずに処理され、対象物情報が生成されるため、処理時間の短縮を図ることが可能となる。なお、図１０では、第１生成部１０２ａ～第５生成部１０２ｅによる処理は、順に（つまり、異なる時間帯）に行われているが、「情報生成」の負荷が大きい場合等においては、第１生成部１０２ａ～第５生成部１０２ｅのそれぞれの処理時間が重なってもよい（つまり、並列処理が行われてもよい）。
　さらに、本実施形態の物体検知システム２００では、物体検知システム２００内で対象物情報の生成と対象物の追跡とが行われるので、外部装置５へ距離画像を出力し、外部装置５にて対象物情報の生成と対象物の追跡を行う場合に比べて、外部装置５へ出力される情報のデータ量を大幅に圧縮することが可能である。出力するデータ量の低減によっても、処理速度の向上を図ることが可能となる。
　なお、複数の距離区間の各々に対応する対象物情報の少なくとも一つが所定の条件を満たす場合に、対象物情報生成部１０２は、当該対象物情報のさらなる生成若しくは当該対象物情報を記憶部１０３に記憶させることを中止する、又は、出力部１０５は、当該対象物情報の出力を中止する。例えば、対象物情報生成部１０２は、検出した対象物と、人の型を示すひな型との外形パターンのマッチングを行うことで、検出した対象物が人であるか否かを判断し、人でないと判断した場合に、当該対象物情報は重要ではないと判断し、当該対象物情報のさらなる生成若しくは当該対象物情報を記憶部１０３に記憶させることを中止する。あるいは、出力部１０５は、当該対象物情報の出力を中止する。これにより、検知対象として人に絞って詳細な対象物情報を生成する物体検知システムが実現される。
　以上のように、物体検知システム２００であって、光を出射する発光部１と、光が対象空間における測距可能範囲で反射された反射光を受光する光センサ２と、発光部１及び光センサ２を制御する制御部１０１ａと、光センサ２で生成される電気信号で示される情報を処理する信号処理部１０１ｂとを備え、制御部１０１ａは、測距可能範囲を区分して構成される複数の距離区間の各々について、光センサ２に含まれる複数の画素のうちで光を受け取った画素からの信号である距離区間信号が光センサ２から出力されるように、発光部１及び光センサ２を制御し、信号処理部１０１ｂは、並列動作可能な複数の生成部（第１生成部１０２ａ～第５生成部１０２ｅ）を有し、かつ、光センサ２から出力される距離区間信号に基づいて、複数の距離区間について、光センサ２によって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成部１０２と、対象物情報生成部１０２が生成した複数の距離区間の各々に対応する対象物情報を記憶する記憶部１０３と、複数の距離区間の各々に対応する対象物情報を出力する出力部１０５とを備え、対象物情報生成部１０２は、複数の距離区間の各々について、記憶部１０３に記憶された過去の対象物情報と、光センサ２によって検出された現在の対象物の特徴とを比較することで、対象物情報を生成する。
　これにより、対象物情報生成部１０２は、並列動作可能な複数の生成部（第１生成部１０２ａ～第５生成部１０２ｅ）を有し、かつ、複数の距離区間について、光センサ２によって検出された対象物の特徴を示す対象物情報をそれぞれ生成するので、高速に物体を検知する物体検知システム２００が実現される。
　また、物体検知システム２００は、光センサ２から出力される複数の距離区間に対応する複数の距離区間信号から合成画像を生成する合成画像生成部１０４を備え、出力部１０５は、合成画像生成部１０４で生成された合成画像を出力する。これにより、複数の距離区間の各々に関する情報（つまり、対象物情報）だけでなく、複数の距離区間の全体にわかる情報（つまり、合成画像）も得られる。
　また、記憶部１０３は、少なくとも複数の距離区間の一つに対応する参照画像を記憶し、対象物情報生成部１０２は、記憶部１０３に記憶された参照画像に対応する距離区間に関連する距離区間信号と参照画像とを比較することで、対象物情報を生成する。これにより、参照画像と同一又は異なる点を示す対象物情報が生成されるので、例えば、参照画像として、過去の画像を用いることで、変化があった箇所だけを即座に知ることができる。
　また、対象物情報生成部１０２は、合成画像を用いて対象物情報の補正を行う。これにより、距離区間の各々に対応する対象物情報が、複数の距離区間にわたる全体的な情報をもつ合成画像を用いて補正されるので、各距離区間に対応する対象物情報の精度が向上される。例えば、検出される対象物の中心座標の精度が向上される。
　また、対象物情報生成部１０２は、複数の距離区間の距離区間信号を用いて対象物情報の補正を行う。これにより、距離区間の各々に対応する対象物情報が、複数の距離区間の距離区間信号を用いて補正されるので、複数の距離区間にわたって存在する３次元形状をもつ対象物についての対象物情報の精度が向上される。例えば、３次元形状をもつ対象物までの奥行距離の精度が向上される。
　また、対象物情報生成部１０２は、複数の距離区間の距離区間信号を用いて、対象物の３次元空間上の位置に関する対象物位置情報を生成し、現在の対象物と同一の過去の対象物の対象物位置情報を利用して、対象物の移動速度を算出する。これにより、３次元空間における対象物の移動速度が得られる。
　また、対象物情報生成部１０２は、現在の対象物と同一の対象物が過去に移動した軌跡を曲線で近似することにより、対象物の移動速度を算出する。これにより、直線近似に比べ、より高い精度で対象物の移動速度が算出される。
　また、対象物情報生成部１０２は、移動速度から、対象物情報として、対象物の未来の予測位置８１を生成する。これにより、対象物の未来の予測位置８１が事前に判明する。
　また、制御部１０１ａは、距離区間の数、距離区間の距離幅又は対象物情報を生成する対象となる距離区間が変わるように、発光部１と及び光センサ２への制御信号を変更する。例えば、制御部１０１ａは、複数の距離区間のうち、対象物の予測位置８１を含まない距離区間に対応する距離区間信号が光センサ２から出力されないように、発光部１及び光センサ２への制御信号を変更する。これにより、測定対象の距離区間を対象物が含まれる重要な距離区間だけに絞ることで、無駄な距離区間に対する処理が回避され、処理全体の高速化及び消費電力の削減が図られる。
　また、複数の距離区間の各々に対応する対象物情報の少なくとも一つが所定の条件を満たす場合に、対象物情報生成部１０２は、当該対象物情報のさらなる生成若しくは当該対象物情報を記憶部１０３に記憶させることを中止する、又は、出力部１０５は、当該対象物情報の出力を中止する。これにより、無駄な対象物情報のさらなる処理が回避され、処理全体の高速化及び消費電力の削減が図られる。
　また、上記実施の形態に係る物体検知方法は、光を出射する発光部１と、光が対象空間における測距可能範囲で反射された反射光を受光する光センサ２とを備える物体検知システム２００による物体検知方法であって、発光部１及び光センサ２を制御する制御ステップと、光センサ２で生成される電気信号で示される情報を処理する信号処理ステップとを含み、制御ステップでは、測距可能範囲を区分して構成される複数の距離区間の各々について、光センサ２に含まれる複数の画素のうちで光を受け取った画素からの信号である距離区間信号が光センサ２から出力されるように、発光部１及び光センサ２を制御し、信号処理ステップでは、並列動作可能な複数の生成部（第１生成部１０２ａ～第５生成部１０２ｅ）により、光センサ２から出力される距離区間信号に基づいて、複数の距離区間において光センサ２によって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成サブステップと、光センサ２から出力される複数の距離区間に対応する複数の距離区間信号から合成画像を生成する合成画像生成サブステップと、対象物情報生成サブステップで生成した複数の距離区間の各々に対応する対象物情報を記憶部１０３に記憶させる記憶サブステップと、複数の距離区間の各々に対応する対象物情報及び合成画像を出力する出力サブステップとを含み、対象物情報生成サブステップでは、複数の距離区間の各々について、記憶部１０３に記憶された過去の対象物情報と、光センサ２によって検出された現在の対象物の特徴とを比較することで、対象物情報を生成する。
　これにより、対象物情報生成サブステップでは、並列動作可能な複数の生成部（第１生成部１０２ａ～第５生成部１０２ｅ）により、光センサ２から出力される距離区間信号に基づいて、複数の距離区間において光センサ２によって検出された対象物の特徴を示す対象物情報がそれぞれ生成されるので、高速に物体を検知する物体検知方法が実現される。
　［３．変形例］
　上述の実施形態は、本開示の様々な実施形態の１つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る情報処理システム１００と同様の機能は、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記憶媒体等で具現化されても良い。
　一態様に係るプログラムは、１以上のプロセッサに、上記の情報処理方法を実行させるためのプログラムである。プログラムは、コンピュータ可読な媒体に記録されて提供されても良い。以下、上述の実施形態の変形例を列挙する。以下に説明する変形例は、上述の実施形態と適宜組み合わせて適用可能である。
　一変形例において、対象物情報生成部１０２は、対象物の特徴量を利用して制御部１０１ａに記憶された設定を変更する際に、上述の実施形態のように測距する距離区間を減らす方法でなく、対象物の重心位置あるいは移動先の予測位置８１の周囲を、距離区間の幅を細かくして測距しても良い。図１１は、実施の形態の変化例における対象物情報生成部１０２による測距の一例を説明する図である。例えば、図１１の（ａ）に示されるように、距離区間Ｒ１～Ｒ５のうち、人が距離区間Ｒ３で検知されたとき、図１１の（ｂ）に示されるように、次のフレームから、直前のフレームにおける３つの距離区間Ｒ２～Ｒ４を５つに分割した区間群を、新しく距離区間Ｒ１～Ｒ５に設定し、測距しても良い。これにより、制御部１０１ａは、距離区間の距離幅が変わるように、発光部１及び光センサ２への制御信号を変更する。より詳しくは、制御部１０１ａは、測距可能範囲を、対象物の予測位置が含まれる距離幅に縮小し、かつ、複数の距離区間の各々の距離幅が短くなるように、発光部１及び光センサ２への制御信号を変更する。上記の変形例では、測定距離の分解能が向上され、対象物情報の精度が向上する可能性を有する。
　一変形例において、対象物情報生成部１０２は、一定の時間間隔で、測距可能範囲ＦＲを広げて対象物検知を行なっても良い。上記の変形例によれば、すでに検知された対象物から、遠く離れた位置に現れる対象物を発見することが可能になる。
　一変形例において、物体検知システム２００は、実施の形態のような直接ＴＯＦではなく、間接ＴＯＦの方式で距離区間信号を生成しても良い。
　一変形例において、対象物情報生成部１０２は、区間間情報生成部を備えても良い。区間間情報生成部は、複数の異なる距離区間信号のそれぞれにおける対象物情報を生成したのち、異なる距離区間で生成された対象物情報を比較することで、互いに同一物体を示すものか否かを判定し、同一物体であると判定された場合に、一つの対象物として対象物情報を生成し直し、記憶部１０３と出力部１０５に出力する。
　以上、本開示の物体検知システム２００及び物体検知方法について、実施の形態及び変形例に基づいて説明したが、本開示は、これらの実施の形態及び変形例に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態及び変形例に施したものや、実施の形態及び変形例における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
　本開示は、複数の距離区間の各々について物体を検知する物体検知システムとして、特に、高速に物体を検知する物体検知システムとして、例えば、自動車に搭載され障害物を検知する車載物体検知システム、物体あるいは人等を検知する監視カメラ、セキュリティカメラ等に利用することができる。
　１　発光部
　２　光センサ
　４　提示部
　５　外部装置
　７１　円弧
　７２　速度ベクトル
　８１　予測位置
　９１　画像
　１００　情報処理システム
　１０１ａ　制御部
　１０１ｂ　信号処理部
　１０２　対象物情報生成部
　１０２ａ　第１生成部
　１０２ｂ　第２生成部
　１０２ｃ　第３生成部
　１０２ｄ　第４生成部
　１０２ｅ　第５生成部
　１０３　記憶部
　１０４　合成画像生成部
　１０５　出力部
　２００　物体検知システム
　Ｉｍ１～Ｉｍ５　距離区間画像
　Ｉｍ１００、Ｉｍ１０２　距離画像
　Ｉｍ１０１　参照画像

Claims (11)

  1. 　光を出射する発光部と、
    　前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサと、
    　前記発光部及び前記光センサを制御する制御部と、
    　前記光センサで生成される電気信号で示される情報を処理する信号処理部とを備え、
    　前記制御部は、前記測距可能範囲を区分して構成される複数の距離区間の各々について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、
    　前記信号処理部は、
    　並列動作可能な複数の生成部を有し、かつ、前記光センサから出力される前記距離区間信号に基づいて、前記複数の距離区間について、前記光センサによって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成部と、
    　前記対象物情報生成部が生成した前記複数の距離区間の各々に対応する前記対象物情報を記憶する記憶部と、
    　前記複数の距離区間の各々に対応する前記対象物情報を出力する出力部とを備え、
    　前記対象物情報生成部は、前記複数の距離区間の各々について、前記記憶部に記憶された過去の前記対象物情報と、前記光センサによって検出された現在の前記対象物の特徴とを比較することで、前記対象物情報を生成する、
    　物体検知システム。
  2. 　前記光センサから出力される前記複数の距離区間に対応する複数の前記距離区間信号から合成画像を生成する合成画像生成部を備え、
    　前記出力部は、前記合成画像生成部で生成された前記合成画像を出力する、
    　請求項１に記載の物体検知システム。
  3. 　前記記憶部は、少なくとも前記複数の距離区間の一つに対応する参照画像を記憶し、
    　前記対象物情報生成部は、前記記憶部に記憶された前記参照画像に対応する距離区間に関連する前記距離区間信号と前記参照画像とを比較することで、前記対象物情報を生成する、
    　請求項１又は２に記載の物体検知システム。
  4. 　前記対象物情報生成部は、前記合成画像を用いて前記対象物情報の補正を行う、
    　請求項２に記載の物体検知システム。
  5. 　前記対象物情報生成部は、前記複数の距離区間の前記距離区間信号を用いて前記対象物情報の補正を行う、
    　請求項１から４のいずれかに記載の物体検知システム。
  6. 　前記対象物情報生成部は、前記複数の距離区間の前記距離区間信号を用いて、前記対象物の３次元空間上の位置に関する対象物位置情報を生成し、現在の対象物と同一の過去の対象物の前記対象物位置情報を利用して、前記対象物の移動速度を算出する、
    　請求項１から５のいずれかに記載の物体検知システム。
  7. 　前記制御部は、前記距離区間の数、前記距離区間の距離幅又は前記対象物情報を生成する対象となる前記距離区間が変わるように、前記発光部及び前記光センサへの制御信号を変更する、
    　請求項１から６のいずれかに記載の物体検知システム。
  8. 　前記制御部は、前記複数の距離区間のうち、対象物の未来の予測位置を含まない距離区間に対応する距離区間信号が前記光センサから出力されないように、前記発光部及び前記光センサへの制御信号を変更する、
    　請求項７に記載の物体検知システム。
  9. 　前記制御部は、前記測距可能範囲を、対象物の未来の予測位置が含まれる距離幅に縮小し、かつ、前記複数の距離区間の各々の距離幅が短くなるように、前記発光部及び前記光センサへの制御信号を変更する、
    　請求項７に記載の物体検知システム。
  10. 　前記複数の距離区間の各々に対応する前記対象物情報の少なくとも一つが所定の条件を満たす場合に、前記対象物情報生成部は、当該対象物情報のさらなる生成若しくは当該対象物情報を前記記憶部に記憶させることを中止する、又は、前記出力部は、当該対象物情報の出力を中止する、
    　請求項１から９のいずれかに記載の物体検知システム。
  11. 　光を出射する発光部と、前記光が対象空間における測距可能範囲で反射された反射光を受光する光センサとを備える物体検知システムによる物体検知方法であって、
    　前記発光部及び前記光センサを制御する制御ステップと、
    　前記光センサで生成される電気信号で示される情報を処理する信号処理ステップとを含み、
    　前記制御ステップでは、前記測距可能範囲を区分して構成される複数の距離区間の各々について、前記光センサに含まれる複数の画素のうちで前記光を受け取った画素からの信号である距離区間信号が前記光センサから出力されるように、前記発光部及び前記光センサを制御し、
    　前記信号処理ステップでは、
    　並列動作可能な複数の生成部により、前記光センサから出力される前記距離区間信号に基づいて、前記複数の距離区間について、前記光センサによって検出された対象物の特徴を示す対象物情報をそれぞれ生成する対象物情報生成サブステップと、
    　前記対象物情報生成サブステップで生成した前記複数の距離区間の各々に対応する前記対象物情報を記憶部に記憶させる記憶サブステップと、
    　前記複数の距離区間の各々に対応する前記対象物情報を出力する出力サブステップと、
    　を含み、
    　前記対象物情報生成サブステップでは、前記複数の距離区間の各々について、前記記憶部に記憶された過去の対象物情報と、前記光センサによって検出された現在の対象物の特徴とを比較することで、前記対象物情報を生成する、
    　物体検知方法。
PCT/JP2021/020469 2020-06-19 2021-05-28 物体検知システム及び物体検知方法 WO2021256223A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022532459A JPWO2021256223A1 (ja) 2020-06-19 2021-05-28
CN202180034295.2A CN115552280A (zh) 2020-06-19 2021-05-28 物体检测系统以及物体检测方法
US17/982,104 US20230053841A1 (en) 2020-06-19 2022-11-07 Object detection system and object detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-106125 2020-06-19
JP2020106125 2020-06-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/982,104 Continuation US20230053841A1 (en) 2020-06-19 2022-11-07 Object detection system and object detection method

Publications (1)

Publication Number Publication Date
WO2021256223A1 true WO2021256223A1 (ja) 2021-12-23

Family

ID=79267889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020469 WO2021256223A1 (ja) 2020-06-19 2021-05-28 物体検知システム及び物体検知方法

Country Status (4)

Country Link
US (1) US20230053841A1 (ja)
JP (1) JPWO2021256223A1 (ja)
CN (1) CN115552280A (ja)
WO (1) WO2021256223A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002228750A (ja) * 2001-02-05 2002-08-14 Mitsubishi Heavy Ind Ltd レーザレーダ装置及びこれを用いる撮像方法
JP2010008093A (ja) * 2008-06-24 2010-01-14 Toshiba Corp 赤外線撮像装置および赤外線撮像方法
JP2010145255A (ja) * 2008-12-19 2010-07-01 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
US8988662B1 (en) * 2012-10-01 2015-03-24 Rawles Llc Time-of-flight calculations using a shared light source

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002228750A (ja) * 2001-02-05 2002-08-14 Mitsubishi Heavy Ind Ltd レーザレーダ装置及びこれを用いる撮像方法
JP2010008093A (ja) * 2008-06-24 2010-01-14 Toshiba Corp 赤外線撮像装置および赤外線撮像方法
JP2010145255A (ja) * 2008-12-19 2010-07-01 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
US8988662B1 (en) * 2012-10-01 2015-03-24 Rawles Llc Time-of-flight calculations using a shared light source

Also Published As

Publication number Publication date
CN115552280A (zh) 2022-12-30
US20230053841A1 (en) 2023-02-23
JPWO2021256223A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
CN110084895B (zh) 对点云数据进行标注的方法和设备
CN109949372B (zh) 一种激光雷达与视觉联合标定方法
US10491885B1 (en) Post-processing by lidar system guided by camera information
CN107305126B (zh) 记录介质、环境地图的制作系统和方法及更新系统和方法
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP2020052694A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN109934108B (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
US11620734B2 (en) Machine-learned depth dealiasing
US11568654B2 (en) Object recognition method and object recognition device performing the same
US10812745B2 (en) Bit depth reduction of image pixels
CN113160327A (zh) 一种点云补全的实现方法和系统
US20220011440A1 (en) Ranging device
US11961306B2 (en) Object detection device
JP6876445B2 (ja) データ圧縮装置、制御方法、プログラム及び記憶媒体
US20210065392A1 (en) Optimized exposure control for improved depth mapping
US20200213499A1 (en) Active sensor, object identification system, vehicle and vehicle lamp
WO2021256223A1 (ja) 物体検知システム及び物体検知方法
Khalil et al. Licanext: Incorporating sequential range residuals for additional advancement in joint perception and motion prediction
US20230290153A1 (en) End-to-end systems and methods for streaming 3d detection and forecasting from lidar point clouds
US20210383134A1 (en) Advanced driver assist system and method of detecting object in the same
KR20230079999A (ko) 교통 수신호 인식 시스템 및 방법
WO2021199225A1 (ja) 情報処理システム、センサシステム、情報処理方法、及びプログラム
WO2020105225A1 (ja) 機械学習方法、学習済みモデル、制御プログラム、および物体検知システム
EP4170305A1 (en) System and method for simultaneous online lidar intensity calibration and road marking change detection
US20220404499A1 (en) Distance measurement apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21826700

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532459

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21826700

Country of ref document: EP

Kind code of ref document: A1