WO2022172719A1 - 物体情報生成システム、物体情報生成方法、および、物体情報生成プログラム - Google Patents

物体情報生成システム、物体情報生成方法、および、物体情報生成プログラム Download PDF

Info

Publication number
WO2022172719A1
WO2022172719A1 PCT/JP2022/001976 JP2022001976W WO2022172719A1 WO 2022172719 A1 WO2022172719 A1 WO 2022172719A1 JP 2022001976 W JP2022001976 W JP 2022001976W WO 2022172719 A1 WO2022172719 A1 WO 2022172719A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
information generation
object information
unit
image
Prior art date
Application number
PCT/JP2022/001976
Other languages
English (en)
French (fr)
Inventor
佑亮 湯浅
繁 齋藤
悠吾 能勢
翔太 山田
信三 香山
昌幸 澤田
裕 廣瀬
明弘 小田川
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202280014674.XA priority Critical patent/CN116848436A/zh
Priority to JP2022581288A priority patent/JPWO2022172719A1/ja
Publication of WO2022172719A1 publication Critical patent/WO2022172719A1/ja
Priority to US18/448,712 priority patent/US20230386058A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present disclosure relates to an object information generation system that generates distance information of an object existing in a target section from a plurality of segmented images obtained by dividing the target space by distance.
  • Patent Document 1 discloses a distance measuring device capable of improving the resolution of the measured distance.
  • the distance measuring section calculates the distance to the object based on the time from when the wave transmitting section transmits the measuring wave to when the wave receiving section receives the measuring wave.
  • the distance measurement unit measures the amount of received waves in the period corresponding to the preceding distance section, and , the distance to the object is calculated based on the amount of received waves in the period corresponding to the latter distance section.
  • Patent Document 1 the calculation accuracy of the distance value to the object is improved by using the ratio of the amount of received light signals corresponding to adjacent distance sections for each pixel.
  • Patent Document 1 when the technique of Patent Document 1 is actually used, it is necessary to measure the same pixel a plurality of times in order to remove noise. Therefore, there is a problem that it takes time to calculate the distance value.
  • the present disclosure has been made in view of this point, and aims to enable an object information generation system to generate object distance information in a short period of time.
  • An object information generation system includes an imaging unit that captures a plurality of segmented images respectively corresponding to a plurality of distance segments into which a target space is divided; a signal processing unit for generating information about an object existing in space, wherein the signal processing unit is an object region extracting unit for extracting an object region, which is a pixel region containing an image of the object, from the plurality of segmented images; determining a window for extracting pixels to be calculated for the object region, and calculating using information of a plurality of pixels in the window in two or more segmented images among the plurality of segmented images. and an object information generation unit that generates distance information of the object.
  • an object information generation system it is possible to generate highly accurate distance information of an object in a short time.
  • Configuration of object information generation system is a scene in which a person exists in the target space and the arrival pattern of the reflected light reflected by the person, and (b) is an example of a segmented image captured.
  • Example of signal level for each distance segment in pixels with a human image is a scene with people in the target space, and (b) is an example of window settings.
  • Example of object information generation method is an object area extraction step, and (b) is an object information generation step (a) is a scene with multiple objects in the target space, and (b) is an example of window settings.
  • An object information generation system includes an imaging unit that captures a plurality of segmented images respectively corresponding to a plurality of distance segments into which a target space is divided; a signal processing unit for generating information about an object existing in space, wherein the signal processing unit is an object region extracting unit for extracting an object region, which is a pixel region containing an image of the object, from the plurality of segmented images; determining a window for extracting pixels to be calculated for the object region, and calculating using information of a plurality of pixels in the window in two or more segmented images among the plurality of segmented images. and an object information generator for generating object distance information.
  • the imaging unit captures a plurality of segmented images respectively corresponding to a plurality of distance segments into which the target space is divided.
  • the object area extraction section extracts an object area, which is a pixel area including an image of the object, from the plurality of segmented images.
  • the object information generation unit determines a window for extracting pixels to be calculated for the object region, and performs calculation using information of a plurality of pixels in the window in the two or more segmented images, Object distance information is generated. For this reason, noise can be removed by using information of a plurality of pixels, and it becomes unnecessary to measure the same pixel a plurality of times for noise removal.
  • the pixels within the window determined for the object region are the object of calculation, the amount of calculation is significantly reduced compared to the method in which all pixels are the object of calculation. Therefore, distance information can be generated in a short time.
  • the object information generation unit may set a plurality of different windows for the object region, and generate distance information of the object using each of the windows.
  • the object information generation unit may generate information about the shape of the object using the distance information of the object generated using each of the windows.
  • information about the shape of the object can be generated from the distance information of multiple locations on the object.
  • the object information generation unit may determine whether or not the object region can be separated using the object distance information generated using each window.
  • the object information generation unit may determine the number of pixels used for calculation according to the distance of the distance segment corresponding to the segmented image to be calculated.
  • the signal processing unit includes an image synthesizing unit that generates a distance image in which a distance value is assigned to each pixel using the plurality of segmented images, and the object area extracting unit extracts the object in the distance image. It is also possible to extract the region.
  • the object area can be extracted using the range image.
  • the signal processing unit includes an image synthesis unit that generates a distance image in which a distance value is assigned to each pixel using the plurality of segmented images, and the object information generation unit uses the distance image to: Generating object distance information.
  • the distance information of the object can be generated using the distance image.
  • An object information generation method processes a plurality of segmented images respectively corresponding to a plurality of distance segments into which a target space is divided to generate information about an object existing in the target space. a step of extracting an object region, which is a pixel region including an image of an object, from the plurality of segmented images; and a step of determining a window for extracting pixels to be calculated for the object region; calculating using information of a plurality of pixels within the window in two or more segmented images of the plurality of segmented images to generate object distance information.
  • an object region which is a pixel region containing an image of an object
  • a window for extracting pixels to be calculated for the object region is determined, calculation is performed using information of a plurality of pixels in the window in two or more segmented images, and object distance information is generated.
  • noise can be removed by using information of a plurality of pixels, and it becomes unnecessary to measure the same pixel a plurality of times for noise removal.
  • the pixels within the window determined for the object region are the object of calculation, the amount of calculation is significantly reduced compared to the method in which all pixels are the object of calculation. Therefore, distance information can be generated in a short time.
  • a program according to one aspect of the present disclosure causes a computer system including one or more processors to execute the object information generating method of the aspect.
  • FIG. 1 is a block diagram showing the configuration of an object information generation system according to an embodiment.
  • the object information generation system 1 includes an imaging section 10 , a signal processing section 20 and an output section 30 .
  • the object information generation system 1 is a system that acquires distance information to an object using the TOF method (TOF: Time Of Flight) and processes the generated image.
  • TOF Time Of Flight
  • the object information generation system 1 includes, for example, a surveillance camera that detects objects (people), a system that tracks people's flow lines in factories and commercial facilities to improve labor productivity and analyze consumer purchasing behavior, and automobiles. It can be used for a system that detects obstacles mounted on it.
  • the imaging unit 10 includes a light emitting unit 11, a light receiving unit 12, and a control unit 13.
  • the imaging unit 10 emits measurement light from the light emitting unit 11 into the target space, captures the reflected light reflected by the object existing in the target space with the light receiving unit 12, and uses the TOF method to determine the distance to the object. It is configured to be able to measure and generate images.
  • the light emitting unit 11 is configured to project measurement light onto the target space.
  • the light receiving unit 12 is configured to receive reflected light reflected by an object existing in the target space and generate an image.
  • the control unit 13 is configured to perform light emission control of the light emitting unit 11 and light reception control of the light receiving unit 12 .
  • the control unit 13 controls the light emitting unit 11 and the light receiving unit 12 so that the light receiving unit 12 generates a plurality of segmented images respectively corresponding to a plurality of distance segments obtained by dividing the target space.
  • the signal processing unit 20 is configured to process a plurality of segmented images generated by the imaging unit 10 and generate information about objects existing in the target space.
  • the signal processing unit 20 includes an object area extracting unit 21 and an object information generating unit 22 .
  • the object region extraction unit 21 is configured to extract an object region, which is a pixel region containing an image of an object, from the segmented images generated by the imaging unit 10 .
  • the object information generating section 22 is configured to generate information regarding an object included in the object area extracted by the object area extracting section 21 .
  • the output unit 30 is configured to output the object information generated by the signal processing unit 20 to the external device 2 .
  • the object information generation system 1 of this embodiment uses a plurality of pixels of a plurality of segmented images to generate information including a distance value or a shape for each object existing in the target space. Therefore, in the object information generation system 1 of this embodiment, each object existing in the target space can be separated in the depth direction. Furthermore, it is possible to perform processing for separating objects in the depth direction at high speed.
  • the imaging unit 10 includes the light emitting unit 11, the light receiving unit 12, and the control unit 13.
  • the imaging unit 10 emits measurement light from the light emitting unit 11 into the target space, and the light receiving unit 12 captures an image of the reflected light reflected by an object existing in the target space, and uses the TOF method to determine the distance to the object. It is configured to be able to measure and generate images.
  • the light emitting unit 11 is configured to project measurement light onto the target space.
  • the light emitting unit 11 includes a light source 111 for projecting measurement light onto the target space.
  • the measurement light is pulsed light.
  • the measurement light preferably has a single wavelength, a relatively short pulse width, and a relatively high peak intensity.
  • the wavelength of the measurement light should be in the near-infrared band, which has low human visibility and is less susceptible to disturbance light from sunlight. preferably a region.
  • the light source 111 is composed of, for example, a laser diode and outputs a pulsed laser.
  • the intensity of the pulsed laser output by the light source meets the class 1 or class 2 standards of the safety standards for laser products (JIS C 6802).
  • the light source 111 is not limited to the above configuration, and may be a light emitting diode (LED), a vertical cavity surface emitting laser (VCSEL), a halogen lamp, or the like.
  • the measurement light may be in a wavelength range different from the near-infrared band.
  • the light emitting unit 11 may further include a projection optical system 112 such as a lens that projects the measurement light onto the target space.
  • the light receiving unit 12 is configured to receive reflected light reflected by an object existing in the target space and generate an image.
  • the light receiving unit 12 includes an imaging device 121 including a plurality of pixels, and is configured to receive reflected light reflected by an object existing in the target space and generate segmented images.
  • Each pixel is provided with an avalanche photodiode. Another photodetector may be arranged in each pixel.
  • Each pixel is configured to be switchable between an exposed state in which it receives reflected light and a non-exposed state in which it does not receive reflected light.
  • the light receiving unit 12 outputs a pixel signal based on the reflected light received by each pixel in an exposed state.
  • the signal level of the pixel signal corresponds to the number of pulses of light received by the pixel.
  • the signal level of the pixel signal may be correlated to other properties of light, such as reflected light intensity.
  • the light-receiving unit 12 may further include a light-receiving optical system 122, such as a lens, that collects the reflected light on the light-receiving surface of the imaging device.
  • the light receiving section 12 may further include a filter that blocks or transmits light of a specific frequency. In this case, it is possible to obtain information about the frequency of light.
  • FIG. 2 is a diagram showing an outline of image generation by the light receiving unit 12.
  • the light receiving unit 12 For each distance division into which the target space is divided into one or more, the light receiving unit 12 generates, in each pixel, a detection signal based on light reflected from the object when an object exists in the distance division, and obtains a divided image. Generate and output lm1-5.
  • the distance to the innermost part of the target space is determined according to the time from when the light emitting unit 11 emits the measurement light until when the imaging element 121 finally performs the exposure operation.
  • the distance to the innermost part of the target space is not particularly limited, but is, for example, several tens of centimeters to several tens of meters.
  • the distance to the innermost part of the target space may be fixed or may be set variably. Here, it is assumed that it can be set variably.
  • the control unit 13 is configured to perform light emission control of the light emitting unit 11 and light reception control of the light receiving unit 12 .
  • the control unit 13 is composed of, for example, a microcomputer having a processor and memory.
  • the processor functions as the control unit 13 by executing appropriate programs.
  • the program may be prerecorded in a memory, or may be provided via an electric line such as the Internet, or from a non-temporary recording medium such as a memory card.
  • a setting reception unit such as a keyboard may be provided so that the control method can be changed by receiving settings from the operator.
  • control unit 13 controls the timing of outputting light from the light source 111, the pulse width of the light output from the light source 111, and the like.
  • control unit 13 controls the timing of exposure (exposure timing), the exposure width (exposure time), etc. by controlling the operation timing of the transistor in each of the plurality of pixels. Control.
  • the exposure timing and exposure time may be the same for all pixels, or may be different for each pixel.
  • control unit 13 causes the light source 111 to output the measurement light multiple times during a period corresponding to one distance measurement.
  • the number of times the measurement light is output in one measurement cycle is the same as the number of distance sections into which the object information generation system 1 divides the target space.
  • One measurement cycle includes a plurality of measurement periods.
  • the number of measurement periods in one measurement cycle is the same as the number of distance segments.
  • one measurement period corresponds to a plurality of distance segments on a one-to-one basis.
  • the time length of each divided period is, for example, 10 ns.
  • the control unit 13 causes the light source 111 to emit light in the first divided period in each measurement period.
  • the light emission period for one light emission may have the same length of time as the divided period, or may have different lengths of time.
  • control unit 13 causes the light receiving unit 12 to be exposed during one of a plurality of divided periods in each measurement period. Specifically, the control unit 13 sequentially shifts the timing of exposing the light receiving unit 12 by one from the first divided period to the n-th divided period for each measurement period. That is, in one measurement cycle, the light receiving section 12 is exposed during all of a plurality of divided periods.
  • the exposure period in one exposure may have the same time length as the division period, or may have different time lengths.
  • the timing of exposing the light receiving section 12 may be performed in a different order instead of sequentially shifting from the first divided period to the n-th divided period.
  • the light receiving unit 12 can receive the reflected light reflected by the object only during the exposure period.
  • the control unit 13 repeats the measurement cycle p times, and in each pixel, among the pixel signals generated in each measurement cycle, integrates the signal generated by exposure in the same divided period, and calculates the value corresponding to each divided period.
  • the light receiving section 12 is controlled so as to output as pixels of the segmented image.
  • p is an integer of 1 or more.
  • the number of times of light emission and the number of times of exposure in each divided period is 1.
  • each pixel signal has a maximum value of 1. That is, when the measurement cycle is repeated p times and the pixel signals are integrated, the signal level corresponding to each pixel is equal to p at maximum.
  • the maximum signal level of pixel signals of all pixels in an image is p.
  • An image may be generated including measurement cycles in which no exposure is performed in one or more divided periods so that the maximum value of the signal level changes for each divided period.
  • the signal processing unit 20 is configured to generate information about an object from the multiple segmented images generated by the imaging unit 10 .
  • the signal processing unit 20 includes an object area extracting unit 21 and an object information generating unit 22 .
  • the object region extraction unit 21 is configured to extract an object region, which is a pixel region containing an image of an object, from the segmented images generated by the imaging unit 10 .
  • the object region extracting unit 21 is realized, for example, by a computer system having a processor and memory.
  • the object region extracting section 21 functions when the processor executes an appropriate program.
  • the program may be prerecorded in a memory, or may be provided through a telecommunications line such as the Internet, or from a non-temporary recording medium such as a memory card.
  • the processor processes the image output from the light receiving unit 12, and the memory holds the image and the result of processing by the processor (information on the extracted object region).
  • Information held in the memory is output to the object information generator 22 at a predetermined timing.
  • the object region information held in the memory may be in the form of an image, may be converted into a form such as a run length code or a chain code, or may be in another form.
  • the object region extraction unit 21 extracts, as an object region, regions in which pixels with high signal levels exist at high density in each of the plurality of segmented images.
  • the method of object region extraction processing is not limited to this.
  • a region in which high-level pixels exist at high density may be extracted as an object region.
  • Fig. 3(a) shows a scene in which a person exists in the target space and the arrival pattern of the reflected light reflected by the person
  • Fig. 3(b) shows an example of an imaged segmented image.
  • a person exists across the k-th distance segment and the k+1-th distance segment.
  • FIG. Set the window WD to cut out.
  • the size of the window WD is 2 ⁇ u in width and 2 ⁇ v in height.
  • Sk be the signal level of the k-th distance segment in pixel (u, v)
  • the function den(u, v, t) is set as shown in Equation (1) below.
  • a threshold value Th that satisfies 0 ⁇ Th ⁇ 1 is prepared, and pixels (u, v) that satisfy den(u, v, t)>Th are determined as candidate regions in which an object image is shown. Then, candidate areas that are connected to each other in any of the eight adjacent directions are extracted as one object area.
  • processing may be inserted before and after the calculation of den(u, v, t) for the purpose of limiting the object region or increasing the sensitivity of the object region extraction processing.
  • each segmented image showing the background is generated and stored as a reference segmented image, and before calculating den(u, v, t), the reference segmented image corresponding to the generated segmented image
  • a process of selecting an image and subtracting the signal level of the reference segmented image from the signal level of the segmented image for each pixel may be inserted.
  • the process of subtracting the signal level of the reference segmented image from the signal level of the segmented image for each pixel corresponds to the process of removing the background image from the segmented image targeted for object region extraction.
  • a filtering method such as morphological operation is used to exclude candidate regions derived from noise or The candidate areas may be easily connected to each other.
  • the contents of pre-processing and post-processing for object region extraction are not limited to those described above, and other methods may be used.
  • the method for extracting candidate regions in the segmented image is not necessarily limited to formula (1), and other calculation methods may be used.
  • the object information generating section 22 is configured to generate information regarding an object included in the object area extracted by the object area extracting section 21 .
  • the object information generation unit 22 is realized, for example, by a computer system having a processor and memory.
  • the object information generator 22 functions when the processor executes an appropriate program.
  • the program may be prerecorded in a memory, or may be provided through a telecommunications line such as the Internet, or from a non-temporary recording medium such as a memory card.
  • the processor executes object information generation processing, and the memory holds the generated object information.
  • the object information held in the memory is output to the output unit 30 at a predetermined timing.
  • the object information held in the memory may be an image, or may be in other formats such as vectors and character strings.
  • the object information generating unit 22 generates, for example, information about the three-dimensional position coordinates of the center, the area, and the three-dimensional shape of each object included in the object region, and generates the information of the dimension equal to the number of the above information. Output as an object information vector. It should be noted that, in the present embodiment, it is determined that one object region corresponds to one object image for simplification of explanation. However, it is not always necessary to determine that one object region corresponds to one image of an object, and it may be determined that a plurality of objects exist in one object region as described in a modified example below. . Alternatively, it may be determined that a plurality of object regions correspond to one object.
  • the object information generation unit 22 may generate other features instead of generating the above object information. For example, the direction and velocity of an object in three-dimensional space may be generated by processing between multiple measurement cycles. Alternatively, two-dimensional features such as the moment of the object image or the aspect ratio of the bounding rectangle of the object image may be generated. Further, when it is determined that a plurality of objects exist in the target space, the relationship such as relative positions with other objects may be generated. Furthermore, the object information generation unit 22 may output the generated object information in another format instead of outputting it as a vector for each object. Also, it is not necessary to output the same type of object information in every measurement cycle.
  • the object information generation unit 22 generates the three-dimensional position coordinates of the center of the object using multiple pixels of multiple segmented images.
  • FIG. 4 is a diagram showing an example of signal levels in the first to n-th distance divisions in the pixels showing the human image shown in FIG. 3(a).
  • a person exists across the k-th distance segment and the k+1-th distance segment. Therefore, as shown in FIG. 4, the signal level at the pixel corresponding to the image of a person becomes maximum at the kth distance segment, and then exhibits a large value at the k+1th distance segment.
  • the distance to a person can be obtained in units finer than the size of the distance segment.
  • the magnitude relationship of signal levels in each distance segment may be reversed or the ratio of signal levels may change due to local features such as noise and uneven patterns on the surface of an object. Therefore, the method of using the ratio of signal levels for a single pixel may not provide sufficient representative information for the object.
  • the object information generation unit 22 generates a distance using the signal levels of the three distance segments before and after centering on the most likely distance segment where the center of the object exists.
  • a plausible distance section k in which the center of the object exists is calculated, for example, by the following equation (2).
  • the method of calculating the distance segment k is not limited to the formula (2), and other calculation methods may be used.
  • the center distance of the object is generated by the following equation (3).
  • the distance to the center of the k-th distance division is dk.
  • the above calculations allow the generation of distance values in units smaller than the size of the distance segment, allowing objects existing in the same segmented image to be separated in the depth direction.
  • the formulas (2) and (3) use the rectangular window WD shown in FIG. 3B to cut out pixels to be calculated. Calculation of formula (3) enables measurement in units of distance about 1/4 ⁇ u ⁇ v times in the same number of measurement cycles as compared with the technique described in Patent Document 1.
  • Equation (3) does not necessarily have to be used to calculate the center distance of the object.
  • more segmented images may be used instead of segmented images corresponding to three distance segments before and after the k-th distance segment.
  • the calculation may be performed using two segmented images corresponding to only the k-th distance segment and the k+1-th distance segment over which the person straddles.
  • a rectangular window WD is used to cut out pixels to be calculated.
  • the window for extracting pixels to be calculated may have other shapes such as a shape close to a circle, a shape like a picture frame, or the like.
  • the pixels in the window may be thinned out and used as the calculation target. By decimating the pixels in the window and using them as calculation targets, it is possible to reduce the amount of calculation without losing the information of the entire object region.
  • the number of pixels used for calculation may be determined according to the distance dk of the distance segment corresponding to the segmented image to be calculated. For example, pixels in the window may be thinned out so that the number of pixels to be calculated is proportional to dk ⁇ 2. As a result, in the process of calculating distances for objects of similar size, it is possible to suppress variation in calculation amount and calculation accuracy depending on the distance of the object.
  • the window may be formed in the same shape as the image of the object, or in a shape that cuts out a part of the image of the object, instead of applying a fixed shape such as a circumscribing rectangle to all the object regions. I don't mind.
  • the object information generation unit 22 can calculate the distance for parts other than the center of the object using the above formula (3) or the like.
  • the coordinates near the center of the part to be calculated should be clipped with a window to calculate the distance. .
  • the object information generation unit 22 generates information about the three-dimensional shape of the object.
  • the information about the three-dimensional shape of the object it is determined whether the object has a concave shape, a convex shape, or a plane in the depth direction.
  • the object information generation unit 22 sets a plurality of windows for the object region, and generates information about the shape of the object based on the distance information of the object obtained using each window.
  • FIG. 5 is a diagram showing an example of a scene in which a person exists in the target space and an imaged segmented image.
  • a person is standing sideways with respect to the object information generating system 1 and has both hands outstretched.
  • the object information generator 22 uses two different windows WD1 and WD2 to calculate the distance using Equation (3).
  • the first window WD1 is set to be the same as the circumscribing rectangle of the object image (width 2 ⁇ u1, height 2 ⁇ v1)
  • the second window WD2 is smaller than the object image and cuts out the vicinity of the object image. (width 2 ⁇ u2, height 2 ⁇ v2).
  • the first window WD1 is an example of a window including the entire object area
  • the second window WD2 is an example of a window including a part of the object area.
  • the first window WD1 contains more pixels with larger distance values than the second window WD2. Therefore, the distance d1 calculated using the first window WD1 is longer than the distance d2 calculated using the second window WD2.
  • the object information generator 22 sets a predetermined positive threshold Th cv , and determines that an object satisfying Th cv ⁇ d1 ⁇ d2 has a convex shape.
  • a predetermined positive threshold value Th cc is set, and an object satisfying Th cc ⁇ d2 ⁇ d1 is determined to have a concave shape. If the shape is neither convex nor concave, it is determined to be flat.
  • the value of (d1-d2) or the values of d1 and d2 may be generated as object information.
  • the output unit 30 is configured to output the object information generated by the object information generation unit 22 to the external device 2 .
  • the external device 2 is, for example, a display device such as a liquid crystal display or an organic EL display (EL: Electro Luminescence).
  • the output unit 30 causes the external device 2 to display the object information generated by the object information generation unit 22 .
  • the external device 2 is a computer system having a processor and a memory
  • the output unit 30 outputs the object information generated by the object information generation unit 22 to the external device 2
  • the external device 2 further outputs the object information may be used to analyze the shape, position or movement of an object appearing in the target space.
  • the external device 2 is not limited to the display device or computer system as described above, and may be another device.
  • the imaging unit 10 captures a plurality of segmented images respectively corresponding to a plurality of distance segments obtained by dividing the target space.
  • the object area extracting unit 21 extracts an object area, which is a pixel area including an image of the object, from the plurality of segmented images.
  • the object information generator 22 determines a window for extracting pixels to be calculated from the object region, and performs calculation using information of a plurality of pixels in the window in two or more segmented images. , object distance information is generated. For this reason, noise can be removed by using information of a plurality of pixels, and it becomes unnecessary to measure the same pixel a plurality of times for noise removal.
  • the pixels within the window determined for the object region are the object of calculation, the amount of calculation is significantly reduced compared to the method in which all pixels are the object of calculation. Therefore, distance information can be generated in a short time.
  • each window may be used to generate object distance information. This makes it possible to easily obtain distance information for a plurality of locations on the object. Furthermore, information about the shape of the object may be generated using the distance information of the object generated using each window.
  • the distance calculation may be performed multiple times for the object area by changing the conditions. For example, the distance calculation may be performed multiple times by changing the number of pixels used for calculation within the window. Alternatively, the distance calculation may be performed multiple times by changing the shape of the window.
  • the object information generation method is a method of acquiring distance information to an object using the TOF method (TOF: Time Of Flight) and processing the generated image.
  • TOF Time Of Flight
  • FIGS. 6 and 7 are flowcharts showing an example of an object information generating method.
  • the imaging step S10 a plurality of segmented images are generated for each distance segment obtained by dividing the target space in the depth direction.
  • the object region extraction step S21 as shown in FIG. 7A, in each of the segmented images, candidate regions that may be the image of the object are extracted (S211), and the connected candidate regions are extracted as object regions. (S212).
  • the object information generating step S22 as shown in FIG. 7B, for the object area extracted in the object area extracting step S21, a target point is determined (S221), and a window including its surroundings is determined (S222). , the pixels in the window are used to calculate the distance value (S223).
  • the calculated distance value itself or information about the feature of the object using the distance value is generated as object information (S224).
  • the above-described processing is executed for each object region, and the object information generating step S22 ends when the processing for all object regions is completed (S225).
  • the generated object information is output to the external device (S30).
  • the object information generation method may be embodied by a computer program or a non-temporary recording medium on which the program is recorded.
  • the program causes the computer system to execute the object information raw method.
  • the object information generation system includes a computer system in the object information generation unit.
  • a computer system is mainly composed of a processor and a memory as hardware. Functions such as an object information generation section are realized by the processor executing a program recorded in the memory of the computer system.
  • the program may be recorded in advance in the memory of the computer system, may be provided through an electric communication line, or may be recorded in a non-temporary recording medium such as a computer system-readable memory card, optical disk, or hard disk drive. may be provided.
  • a processor in a computer system consists of one or more electronic circuits, including semiconductor integrated circuits (ICs) or large scale integrated circuits (LSIs). A plurality of electronic circuits may be integrated into one chip, or may be distributed over a plurality of chips. A plurality of chips may be integrated in one device, or may be distributed in a plurality of devices. Also, the function as the object information generation system may be realized by the cloud (cloud computing).
  • object information is generated based on the assumption that one object region corresponds to one object image. , it may be determined whether or not the object region can be separated.
  • Fig. 8(a) shows a scene in which a plurality of objects exist in the target space
  • Fig. 8(b) shows a segmented image in which the objects are captured.
  • two objects OB1 and OB2 are arranged horizontally with respect to the object information generating system 1, and captured as the same segmented image.
  • the pixels in the range in which the images of the two objects OB1 and OB2 appear are extracted as candidate areas, and are extracted as one object area based on their connectivity with each other.
  • the object information generation system 1 determines whether the object regions can be separated, that is, whether the object regions of the objects OB1 and OB2 can be separated.
  • the object information generation unit 22 executes the separability determination process twice for each object area to determine whether the object area can be separated. That is, the object area separability determination is performed once in the horizontal direction and once in the vertical direction.
  • the separability determination process first, the separability determination is performed for the object area in the horizontal direction.
  • a window WD5 is set (width ⁇ u3, height 2 ⁇ v3) centered at (u′′ ⁇ u3/2,v′′) and including the left half of the area within the bounding rectangle.
  • the object OB2 on the right side of the screen is far away and the object OB1 on the left side is near, so the relationship between the calculated distances dc, dr, and dl is dl ⁇ dc ⁇ dr becomes.
  • the object information generator 22 generates and outputs object information for the left and right objects OB1 and OB2, respectively.
  • the object information generation unit 22 does not generate object information for each of the object areas determined to be separable in the separability determination process, but generates one piece of object information for the object area. , as one piece of object information, information on whether or not the object can be separated may be generated and output. Alternatively, separable coordinates may be output.
  • the number of times to determine whether separation is possible is not limited to two, and may be one or three or more.
  • the distance drl is calculated in a window for cutting out the left half of the right half of the circumscribing rectangle.
  • the distance dlr is calculated.Then, the distances drl, dc, and dlr may be used to further determine whether or not the object can be separated.By repeating this process, for example, when the object has a gentle slope in the horizontal direction, It can be determined whether there is a step in the depth direction near the center (multiple objects overlap).
  • the shape and size of the window are not limited to those described above.
  • the light receiving unit 12 is configured to output a plurality of segmented images
  • the object region extraction unit 21 and the object information generation unit 22 use the segmented images to extract the object region and generate the object information.
  • the object information generating system 1 includes an image synthesizing unit that uses a plurality of segmented images output by the light receiving unit 12 to generate a distance image that stores distance information for each pixel, and an object region
  • the extraction unit 21 and the object information generation unit 22 may be configured to extract the object region and generate the object information using the distance image.
  • the distance corresponding to the distance section with the highest signal level is calculated for each pixel and stored as the pixel value of the pixel in the distance image.
  • the distance corresponding to the distance segment is stored as the pixel value of the pixel in the distance image, and the plurality of distances Processing may be performed to store a value indicating that the measurement is invalid if the highest signal level in the segment is less than or equal to Th b .
  • the method of generating the pixel values of the distance image is not limited to the above.
  • the distance may be calculated in smaller units and stored as pixel values of the distance image.
  • the image synthesizing unit in this modified example applies the above-described processing to all pixels, and outputs the distance image to the object region extracting unit 21.
  • the object region extraction unit 21 extracts the connected pixel group as one object region.
  • the determination of connectivity is not limited to this, and for example, if a pixel of interest is connected in any one of the four directions of up, down, left, and right, it may be considered to be connected.
  • a binary image is created in which 1 is stored in the coordinates of pixels having the same distance value and 0 is stored in the coordinates of other pixels, and morphological operations and median calculations are performed on this binary image. Connectivity may be determined for this binary image after performing preprocessing using a filter or the like.
  • the object information generating unit 22 uses the pixel values of the distance image generated by the image synthesizing unit to generate information related to the three-dimensional position coordinates of the object and the three-dimensional shape of the object, or to determine whether or not the object can be separated. A distance value in the region is also calculated.
  • the object information generation unit 22 sets the center coordinates of the window to (u′, v′), and the number of pixels showing the distance equal to dk in the window. Ck, and the distance is calculated by the following equation (4).
  • the object information generation unit 22 uses d(u', v') to generate information related to the three-dimensional position coordinates and three-dimensional shape of the object, or to determine whether or not the object can be separated.
  • the object information generation system can generate object distance information in a short period of time. Useful.
  • Imaging unit 20 Signal processing unit 21 Object region extraction unit 22 Object information generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

物体情報生成システムにおいて、距離情報の生成を短時間で行えるようにする。物体情報生成システム（１）では、撮像部（１０）は、目標空間を分割した複数の距離区分にそれぞれ対応する複数の区分画像を撮像する。信号処理部（２０）では、物体領域抽出部（２１）は、複数の区分画像から、物体の像が含まれる画素領域である物体領域を抽出する。物体情報生成部（２２）は、物体領域に対して計算対象とする画素を切り出すためのウィンドウを決定し、２以上の区分画像におけるウィンドウ内の複数個の画素の情報を用いて計算を行い、物体の距離情報を生成する。

Description

物体情報生成システム、物体情報生成方法、および、物体情報生成プログラム
　本開示は、目標空間を距離毎に分割した複数の区分画像から、目標区間に存在する物体の距離情報を生成する物体情報生成システムに関する。
　特許文献１では、測定距離の分解能の向上を図ることができる距離測定装置が開示されている。この距離測定装置では、距離測定部は、送波部が測定波を送波してから受波部が測定波を受波するまでの時間に基づいて、対象物までの距離を算出する。測定可能距離を分割した複数の距離区間のうち、連続する前段距離区間と後段距離区間とにわたって対象物が存在する場合に、距離測定部は、前段距離区間に対応した期間における受波量、および、後段距離区間に対応した期間における受波量に基づいて、対象物までの距離を算出する。
国際公開第２０１９／１８１５１８号
　特許文献１では、画素毎に、隣接する距離区間に対応する受光信号量の比を用いることによって、対象物までの距離値の計算精度を向上させている。ところが、特許文献１の手法を実際に利用する場合には、ノイズ除去のために、同じ画素について複数回の測定が必要になる。このため、距離値を算出するために時間を要する、という問題がある。
　本開示は、かかる点に鑑みてなされたもので、物体情報生成システムにおいて、物体の距離情報の生成を短時間で行えるようにすることを目的とする。
　本開示の一態様に係る物体情報生成システムは、目標空間を分割した複数の距離区分にそれぞれ対応する、複数の区分画像を撮像する撮像部と、前記複数の区分画像を処理して、前記目標空間に存在する物体に関する情報を生成する信号処理部とを備え、前記信号処理部は、前記複数の区分画像から、物体の像が含まれる画素領域である物体領域を抽出する物体領域抽出部と、前記物体領域に対して計算対象とする画素を切り出すためのウィンドウを決定し、前記複数の区分画像のうちの２以上の区分画像における、前記ウィンドウ内の複数個の画素の情報を用いて計算を行い、物体の距離情報を生成する物体情報生成部とを備える、ように構成されている。
　本開示によって、物体情報生成システムにおいて、物体の高精度な距離情報の生成を短時間で行うことができる。
実施形態に係る物体情報生成システムの構成 撮像部による区分画像生成の概略 （ａ）は目標空間に人が存在するシーンと人で反射する反射光の到来パターン、（ｂ）は撮像される区分画像の例 人の像が写っている画素における各距離区分の信号レベルの例 （ａ）は目標空間に人が存在するシーン、（ｂ）はウィンドウ設定の例 実施形態に係る物体情報生成方法の例 （ａ）は物体領域抽出ステップ、（ｂ）は物体情報生成ステップ （ａ）は目標空間に複数の物体が存在するシーン、（ｂ）はウィンドウ設定の例
　（概要）
　本開示の一態様に係る物体情報生成システムは、目標空間を分割した複数の距離区分にそれぞれ対応する、複数の区分画像を撮像する撮像部と、前記複数の区分画像を処理して、前記目標空間に存在する物体に関する情報を生成する信号処理部とを備え、前記信号処理部は、前記複数の区分画像から、物体の像が含まれる画素領域である物体領域を抽出する物体領域抽出部と、前記物体領域に対して計算対象とする画素を切り出すためのウィンドウを決定し、前記複数の区分画像のうちの２以上の区分画像における、前記ウィンドウ内の複数個の画素の情報を用いて計算を行い、物体の距離情報を生成する物体情報生成部とを備える。
　これにより、物体情報生成システムでは、撮像部によって、目標空間を分割した複数の距離区分にそれぞれ対応する、複数の区分画像が撮像される。信号処理部では、物体領域抽出部によって、複数の区分画像から、物体の像が含まれる画素領域である物体領域が抽出される。そして、物体情報生成部によって、物体領域に対して計算対象とする画素を切り出すためのウィンドウが決定され、２以上の区分画像におけるウィンドウ内の複数個の画素の情報を用いて計算が行われ、物体の距離情報が生成される。このため、複数個の画素の情報を利用することによってノイズ除去が可能になり、ノイズ除去のために同じ画素で複数回の測定を行うことが不要になる。また、物体領域に対して決定したウィンドウ内の画素が計算対象となるため、全画素を計算対象にする手法に比べて計算量が格段に低減される。したがって、距離情報の生成を短時間で行うことができる。
　また、前記物体情報生成部は、前記物体領域に対して、異なる複数の前記ウィンドウを、設定し、前記各ウィンドウを用いて、それぞれ、物体の距離情報を生成する、としてもよい。
　これにより、物体について、複数箇所の距離情報を、容易に生成することができる。
　さらに、前記物体情報生成部は、前記各ウィンドウを用いてそれぞれ生成した物体の距離情報を用いて、物体の形状に関する情報を生成する、としてもよい。
　これにより、物体の複数箇所の距離情報から、物体の形状に関する情報を、生成することができる。
　あるいは、前記物体情報生成部は、前記各ウィンドウを用いてそれぞれ生成した物体の距離情報を用いて、物体領域の分離可否を判定する、としてもよい。
　これにより、物体領域における複数位置の距離情報から、物体領域の分離可否を、判定することができる。
　また、前記物体情報生成部は、計算に用いる画素の個数を、計算対象となる区分画像に対応する距離区分の距離に応じて、決定する、としてもよい。
　これにより、物体の距離によって計算量および計算精度にばらつきが生じることを抑制することが可能になる。
　また、前記信号処理部は、前記複数の区分画像を用いて、画素毎に距離値を付与した距離画像を生成する画像合成部を備え、前記物体領域抽出部は、前記距離画像において、前記物体領域を抽出する、としてもよい。
　これにより、物体領域の抽出を、距離画像を利用して行うことができる。
　また、前記信号処理部は、前記複数の区分画像を用いて、画素毎に距離値を付与した距離画像を生成する画像合成部を備え、前記物体情報生成部は、前記距離画像を用いて、物体の距離情報を生成する、としてもよい。
　これにより、物体の距離情報を、距離画像を利用して生成することができる。
　本開示の一態様に係る物体情報生成方法は、目標空間を分割した複数の距離区分にそれぞれ対応する、複数の区分画像を処理して、前記目標空間に存在する物体に関する情報を生成するものであって、前記複数の区分画像から、物体の像が含まれる画素領域である物体領域を抽出するステップと、前記物体領域に対して計算対象とする画素を切り出すためのウィンドウを決定するステップと、前記複数の区分画像のうちの２以上の区分画像における、前記ウィンドウ内の複数個の画素の情報を用いて計算を行い、物体の距離情報を生成するステップとを備える。
　これにより、物体情報生成方法では、目標空間を分割した複数の距離区分にそれぞれ対応する、複数の区分画像から、物体の像が含まれる画素領域である物体領域が抽出される。そして、物体領域に対して計算対象とする画素を切り出すためのウィンドウが決定され、２以上の区分画像におけるウィンドウ内の複数個の画素の情報を用いて計算が行われ、物体の距離情報が生成される。このため、複数個の画素の情報を利用することによってノイズ除去が可能になり、ノイズ除去のために同じ画素で複数回の測定を行うことが不要になる。また、物体領域に対して決定したウィンドウ内の画素が計算対象となるため、全画素を計算対象にする手法に比べて計算量が格段に低減される。したがって、距離情報の生成を短時間で行うことができる。
　また、本開示の一態様に係るプログラムは、１以上のプロセッサを含むコンピュータシステムに、前記態様の物体情報生成方法を実行させるものとする。
　以下、図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が必要以上に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
　［１．概要］
　図１は実施形態に係る物体情報生成システムの構成を示すブロック図である。図１に示すように、物体情報生成システム１は、撮像部１０と、信号処理部２０と、出力部３０と、を備える。物体情報生成システム１は、ＴＯＦ法（TOF: Time Of Flight）を利用して物体までの距離の情報を取得し、生成した画像を処理するシステムである。物体情報生成システム１は、例えば、物体（人）を検知する監視カメラ、工場や商業施設内の人の動線を追跡して労働生産性の向上や消費者購買行動を解析するシステム、自動車に搭載され障害物を検知するシステム等に利用することができる。
　撮像部１０は、発光部１１と、受光部１２と、制御部１３と、を備える。撮像部１０は、発光部１１から目標空間に測定光を発光し、目標空間内に存在する物体で反射された反射光を受光部１２で撮像し、ＴＯＦ法を利用して物体までの距離を測定し、画像を生成可能なように構成されている。発光部１１は、測定光を目標空間に投光するように構成されている。受光部１２は、目標空間に存在する物体で反射された反射光を受光し、画像を生成するように構成されている。制御部１３は、発光部１１の発光制御及び受光部１２の受光制御を行うように構成されている。制御部１３は、受光部１２が、目標空間を分割した複数の距離区分のそれぞれに対応する複数の区分画像を生成するように、発光部１１と受光部１２を制御する。
　信号処理部２０は、撮像部１０によって生成された複数の区分画像を処理して、目標空間に存在する物体に関する情報を生成するように構成されている。信号処理部２０は、物体領域抽出部２１と、物体情報生成部２２と、を備える。物体領域抽出部２１は、撮像部１０によって生成された区分画像から、物体の像が含まれる画素領域である物体領域を抽出するように構成されている。物体情報生成部２２は、物体領域抽出部２１によって抽出された物体領域に含まれる物体に関する情報を生成するように構成されている。
　出力部３０は、信号処理部２０によって生成された物体情報を外部装置２に出力するように構成されている。
　本実施形態の物体情報生成システム１では、目標空間に存在する物体のそれぞれに対し、複数の区分画像の複数の画素を利用して、距離値または形状を含む情報を生成する。したがって、本実施形態の物体情報生成システム１では、目標空間に存在する物体それぞれを奥行き方向に分離することが可能である。さらに、物体を奥行き方向に分離する処理を高速に実行することが可能である。
　［２．構成］
　［２－１．撮像部］
　上述したとおり、撮像部１０は、発光部１１と、受光部１２と、制御部１３と、を備える。撮像部１０は、発光部１１から目標空間に測定光を発光し、目標空間内に存在する物体で反射された反射光を受光部１２によって撮像し、ＴＯＦ法を利用して物体までの距離を測定し、画像を生成可能なように構成されている。
　［２－１－１．発光部］
　発光部１１は、測定光を目標空間に投光するように構成されている。発光部１１は、目標空間に測定光を投光するための光源１１１を備える。測定光は、パルス状の光である。測定光は、単一波長であり、パルス幅が比較的短く、ピーク強度が比較的高いことが好ましい。
　また、目標空間に人が存在する市街地等で利用することを考慮して、測定光の波長は、人間の視感度が低く、太陽光からの外乱光の影響を受けにくい近赤外帯の波長域であることが好ましい。本実施形態では、光源１１１は、例えばレーザダイオードで構成されており、パルスレーザを出力する。光源が出力するパルスレーザの強度は、レーザ製品の安全基準（JIS C 6802）のクラス１又はクラス２の基準を満たしている。なお、光源１１１は、上記の構成に限らず、発光ダイオード（ＬＥＤ：Light Emitting Diode）、面発光レーザ（ＶＣＳＥＬ:Vertical Cavity Surface Emitting LASER）、ハロゲンランプ等であってもよい。また、測定光は、近赤外帯とは異なる波長域であってもよい。発光部１１は、レンズ等の、測定光を目標空間に投射する投光光学系１１２をさらに備えていても良い。
　［２－１－２．受光部］
　受光部１２は、目標空間に存在する物体で反射された反射光を受光し、画像を生成するように構成されている。受光部１２は、複数の画素を含む撮像素子１２１を備え、目標空間に存在する物体で反射された反射光を受光し、区分画像を生成するように構成されている。各画素には、アバランシェフォトダイオードが配置されている。各画素に他の光検出素子が配置されていても良い。各画素は、反射光を受光する露光状態と、反射光を受光しない非露光状態とを切り替え可能に構成されている。受光部１２は、露光状態において、各画素で受光した反射光に基づく画素信号を出力する。画素信号の信号レベルは、画素が受光した光のパルス数に相当する。画素信号の信号レベルは、反射光強度等、光の他の特性に相関するものであっても良い。
　受光部１２は、レンズ等の、撮像素子の受光面に反射光を集光させる受光光学系１２２をさらに備えていても良い。また、受光部１２は、特定の周波数の光を遮断または透過させるフィルターをさらに備えていても良い。この場合、光の周波数に関する情報の取得が可能となる。
　図２は受光部１２による画像生成の概略を示す図である。受光部１２は、目標空間を１つ以上に区分した各距離区分のそれぞれについて、距離区分内に物体が存在する場合に、物体からの反射光に基づく検出信号を各画素で生成し、区分画像ｌｍ１～５を生成し出力する。目標空間の最奥部までの距離は、発光部１１が測定光を出射してから、撮像素子１２１が露光動作を最後に行うまでの時間に応じて決まる。目標空間の最奥部までの距離は、特に限定されないが、一例として、数十ｃｍ～数十ｍである。物体情報生成システム１では、目標空間の最奥部までの距離が固定であっても良く、可変に設定可能であっても良い。ここでは、可変に設定可能であるものとする。
　［２－１－３．制御部］
　制御部１３は、発光部１１の発光制御、及び受光部１２の受光制御を行うように構成されている。制御部１３は、例えば、プロセッサ及びメモリを有するマイクロコンピュータで構成されている。そして、プロセッサが適宜のプログラムを実行することにより、制御部１３として機能する。プログラムは、メモリに予め記録されていても良いし、インターネット等の電気回線を通じて、またはメモリカード等の非一時的な記録媒体から提供されても良い。さらに、キーボード等の設定受付部を有し、操作者からの設定を受け付けて制御方法を変更可能になっていても良い。
　制御部１３は、発光部１１の発光制御において、光源１１１から光を出力させるタイミング、光源１１１から出力される光のパルス幅等を制御する。また、制御部１３は、受光部１２の受光制御において、複数の画素のそれぞれにおいて、画素内のトランジスタの動作タイミング等の制御により、露光するタイミング（露光タイミング）、露光幅（露光時間）等を制御する。露光タイミングと露光時間は、全ての画素で等しくてもよいし、画素ごとに異なっていても良い。
　具体的には、制御部１３は、１回の距離測定に対応する期間で、光源１１１から測定光を複数回出力させる。１つの測定サイクルにおける測定光の出力回数は、物体情報生成システム１が目標空間を分割した複数の距離区分の数と同じである。１つの測定サイクルには、複数の測定期間が含まれている。１つの測定サイクルにおける測定期間の数は、複数の距離区分の数と同じである。また、１つの測定期間は、複数の距離区分と一対一に対応している。各分割期間の時間長は、例えば１０ｎｓである。
　制御部１３は、各測定期間における最初の分割期間に、光源１１１を発光させる。１回の発光での発光期間は、分割期間と同じ時間長であってもよいし、互いに異なる時間長であってもよい。
　また、制御部１３は、各測定期間において複数の分割期間のいずれかに、受光部１２を露光させる。具体的には、制御部１３は、測定期間ごとに、受光部１２を露光させるタイミングを、第１分割期間から第ｎ分割期間まで１つずつ順次ずらす。つまり、１つの測定サイクルにおいて、複数の分割期間のすべてで受光部１２が露光することとなる。１回の露光での露光期間は、分割期間と同じ時間長であってもよいし、互いに異なる時間長であっても良い。また、受光部１２を露光させるタイミングは、第１分割期間から第ｎ分割期間までを順番にずらすのではなく、他の順序で行っても良い。
　つまり、各測定期間において、発光と露光とが１回ずつ行われ、測定期間ごとに発光タイミングと露光タイミングとの時間差が異なる。従って、複数の距離区分の数をｎとした場合、１つの測定サイクル内での発光回数及び露光回数がｎとなる。１秒あたりの測定サイクルの数をｆとすると、１秒間における発光回数及び露光回数はｆ×ｎとなる。
　受光部１２は、露光している期間のみ、物体で反射された反射光を受光することができる。発光部１１が発光してから受光部１２が反射光を受光するまでの時間は、物体情報生成システム１から物体までの距離に応じて変化する。物体情報生成システム１から物体までの距離をｄ、光の速度をｃとすると、発光部１１が発光してから、時間ｔ＝２ｄ／ｃ後に反射光が受光部１２に到達する。したがって、発光部１１が発光してから受光部１２が反射光を受光するまでの時間に基づいて、物体までの距離を算出することができる。また、測定可能距離は、分割期間の時間長Ｔｓに基づいて、ｎ×Ｔｓ×ｃ／２となる。
　制御部１３は、測定サイクルをｐ回繰り返し、各画素において、各測定サイクルで生成された画素信号のうち、同一の分割期間で露光して生成された信号を積算し、各分割期間に対応する区分画像の画素として出力するように、受光部１２を制御する。ｐは１以上の整数である。本実施形態では、一回の測定サイクルでは、各分割期間での発光回数及び露光回数が１となるため、各画素信号の信号レベルが受光したパルス数に相当することを考慮すると、各画素信号の最大値は１となる。つまり、測定サイクルをｐ回繰り返し、画素信号を積算したときの各画素に対応する信号レベルは最大でｐと等しい。本実施形態では、画像内の全ての画素の画素信号の信号レベルは最大でｐとする。なお、分割期間ごとに信号レベルの最大値が変わるように、１つ以上の分割期間での露光を行わない測定サイクルを含んで、画像を生成しても良い。
　[２－２．信号処理部]
　信号処理部２０は、撮像部１０によって生成された複数の区分画像から、物体に関する情報を生成するように構成されている。信号処理部２０は、物体領域抽出部２１と、物体情報生成部２２と、を備える。
　[２－２－１．物体領域抽出部]
　物体領域抽出部２１は、撮像部１０によって生成された区分画像から、物体の像が含まれる画素領域である物体領域を抽出するように構成されている。
　物体領域抽出部２１は、例えば、プロセッサ及びメモリを有するコンピュータシステムで実現されている。そして、物体領域抽出部２１は、プロセッサが適宜のプログラムを実行することにより機能する。プログラムは、メモリに予め記録されていても良いし、インターネット等の電気通信回線を通じて、またはメモリカード等の非一時的な記録媒体から提供されても良い。
　より詳細には、例えばプロセッサが受光部１２から出力された画像に対して処理を行い、メモリは、画像と、プロセッサで処理された結果（抽出された物体領域の情報）を保持する。メモリに保持された情報が、所定のタイミングで物体情報生成部２２に出力される。メモリに保持される物体領域の情報は、画像の形式であっても良く、ラン・レングス・コードやチェインコードのような形式に変換されても良く、他の形式であっても良い。
　物体領域抽出部２１は、例えば、複数の区分画像のそれぞれにおいて、信号レベルの高い画素が高密度で存在する領域を物体領域として抽出する。ただし、物体領域抽出処理の方法はこれに限られるものではなく、例えば、全ての区分画像に渡って同一の画素の信号レベルを加算することによって輝度画像を生成し、輝度画像の中で、信号レベルが高い画素が高密度で存在する領域を、物体領域として抽出しても良い。
　図３（ａ）は目標空間に人が存在するシーンと人で反射する反射光の到来パターンを示し、図３（ｂ）は撮像される区分画像の例を示す。図３（ａ）のシーンでは、人は第ｋ距離区分と第ｋ＋１距離区分に跨って存在している。ここで例えば、図３（ｂ）に示すように、水平方向の座標をｕ、垂直方向の座標をｖとする画像領域において、画素（ｕ’，ｖ’）に対して、計算対象とする画素を切り出すウィンドウＷＤを設定する。ウィンドウＷＤのサイズは、幅が２Δｕ、高さが２Δｖである。画素（ｕ，ｖ）における第ｋ距離区分の信号レベルをＳｋとし、関数ｄｅｎ（ｕ，ｖ，ｔ）を、以下の式（１）のように設定する。
Figure JPOXMLDOC01-appb-M000001
０≦Ｔｈ＜１となる閾値Ｔｈを用意し、ｄｅｎ（ｕ，ｖ，ｔ）＞Ｔｈとなる画素（ｕ,ｖ）を、物体の像が写っている候補領域として判定する。そして、隣接８方向のいずれかで互いに接続している候補領域を、一つの物体領域として抽出する。
　なお、ｄｅｎ（ｕ，ｖ，ｔ）の計算をする前後の段階で、物体領域を制限する目的あるいは物体領域抽出処理の感度を高める目的で、処理を挿入しても良い。例えば、計測前に、背景が写った各区分画像を生成して参照区分画像として記憶しておき、ｄｅｎ（ｕ，ｖ，ｔ）を計算する以前に、生成された区分画像に対応する参照区分画像を選択し、該区分画像の信号レベルから該参照区分画像の信号レベルを画素毎に減算する処理を挿入しても良い。区分画像の信号レベルから参照区分画像の信号レベルを画素毎に減算する処理は、物体領域抽出の対象となる区分画像から背景の像を除去する処理に相当する。
　また、例えば、ｄｅｎ（ｕ，ｖ，ｔ）を計算し、候補領域を抽出したのちに、モルフォロジー演算等のフィルタリング手法を用いて、ノイズに由来する候補領域を除外したり、互いに近傍に存在する候補領域同士を接続しやすくしたりしても良い。物体領域抽出の前後処理の内容は、上述したものに限られるものではなく、他の手法を利用しても良い。
　区分画像における候補領域の抽出方法は、必ずしも式（１）に限られるものではなく、他の計算方法を利用しても良い。
　[２－２－２．物体情報生成部]
　物体情報生成部２２は、物体領域抽出部２１によって抽出された物体領域に含まれる物体に関する情報を生成するように構成されている。
　物体情報生成部２２は、例えば、プロセッサ及びメモリを有するコンピュータシステムで実現されている。そして、物体情報生成部２２は、プロセッサが適宜のプログラムを実行することにより機能する。プログラムは、メモリに予め記録されていても良いし、インターネット等の電気通信回線を通じて、またはメモリカード等の非一時的な記録媒体から提供されても良い。
　より詳細には、例えばプロセッサが物体情報生成処理を実行し、メモリは生成された物体情報を保持する。所定のタイミングで、メモリに保持された物体情報が出力部３０へ出力される。この時、メモリに保持される物体情報は画像であっても良く、ベクトルや文字列等、他の形式であっても良い。
　物体情報生成部２２は、例えば、物体領域に含まれる物体の１つ１つに対し、中心の３次元位置座標、面積、３次元形状に関する情報を生成し、上記の情報の数と等しい次元の物体情報ベクトルとして出力する。なお、本実施形態では、説明の簡単化のため、１つの物体領域が１つの物体の像に相当すると判定する。ただし、必ずしも１つの物体領域が１つの物体の像に相当すると判定する必要はなく、後述の変形例に記載するように、１つの物体領域の中に複数の物体が存在すると判定しても良い。あるいは、複数の物体領域が１つの物体に相当すると判定しても良い。
　また、物体情報生成部２２は、必ずしも上記の物体情報を生成するのではなく、他の特徴を生成しても良い。例えば、複数の測定サイクル間での処理を行うことで、物体の３次元空間での移動方向と速度を生成しても良い。あるいは、物体の像のモーメントや、物体の像の外接矩形のアスペクト比等の２次元特徴を生成しても良い。また、目標空間に複数の物体が存在すると判定された場合に、他の物体との相対位置などの関係を生成しても良い。さらに、物体情報生成部２２は、生成した物体情報を、物体毎のベクトルとして出力せず、他の形式で出力しても良い。また、必ずしもすべての測定サイクルで同じ種類の物体情報を出力しなくても良い。
　本実施形態では、物体情報生成部２２は、物体の中心の３次元位置座標を、複数の区分画像の、複数の画素を利用して生成する。
　図４は図３（ａ）に示す人の像が写っている画素における第１～第ｎ距離区分の信号レベルの一例を示す図である。図３（ａ）の例では、人が第ｋ距離区分と第ｋ＋１距離区分に跨って存在する。したがって、図４に示すように、人の像に相当する画素における信号レベルは、第ｋ距離区分で最大となり、次いで第ｋ＋１距離区分で大きい値を示す。この信号レベルの比率を利用して、人の距離を、距離区分のサイズより細かい単位で取得することができる。しかし、実際にはノイズや物体表面の凹凸のパターン等の局所的特徴等によって、各距離区分における信号レベルの大小関係が逆転したり、信号レベルの比率が変化したりする。したがって、単一画素に係る信号レベルの比率を利用する方法は、物体の代表の情報としては不十分になる場合がある。
　物体情報生成部２２は、物体の中心が存在する尤もらしい距離区分を中心にして、前後３距離区分の信号レベルを利用して距離を生成する。物体の中心が存在する尤もらしい距離区分ｋは、例えば以下の式（２）で算出する。
Figure JPOXMLDOC01-appb-M000002
なお、距離区分ｋの算出方法は、式（２）に限られるものではなく、他の計算方法で実現しても良い。
　次に、第ｋ距離区分とその前後の距離区分である第ｋ－１距離区分及び第ｋ＋１距離区分の信号レベルを利用し、物体の中心距離を以下の式（３）で生成する。
Figure JPOXMLDOC01-appb-M000003
ただし、第ｋ距離区分の中央までの距離をｄｋとしている。上述の計算により、距離区分のサイズより小さい単位での距離値の生成が可能になり、同一の区分画像内に存在する物体を奥行き方向に分離することが可能になる。なお、式（２），（３）では、図３（ｂ）に示す矩形のウィンドウＷＤを、計算対象とする画素を切り出すために利用している。式（３）の計算により、特許文献１に記載の技術と比較して、同じ回数の測定サイクルで１／４ΔｕΔｖ倍程度の距離単位での計測が可能になる。
　なお、物体の中心距離の計算には、必ずしも式（３）を利用しなくてもよい。例えば、第ｋ距離区分を中心とした前後３つの距離区分に対応する区分画像でなく、より多くの区分画像を利用しても良い。あるいは、人が跨がって存在する第ｋ距離区分と第ｋ＋１距離区分の２つのみに対応する２つの区分画像を利用して計算を行ってもよい。
　また、上述した式（１）～（３）では、計算対象とする画素を切り出すために矩形のウィンドウＷＤを利用している。ただし、計算対象とする画素を切り出すためのウィンドウは、例えば、円形に近い形、額縁のような形状など、他の形状であってもかまわない。
　また、ウィンドウ内のすべての画素を計算に利用するのではなく、ウィンドウ内の画素を間引きして計算対象としても良い。ウィンドウ内の画素を間引きして計算対象にすることによって、物体領域の大域の情報を失わずに、計算量を低減することができる。
　また、計算に用いる画素の個数を、計算対象となる区分画像に対応する距離区分の距離ｄｋに応じて決定してもよい。例えば、計算対象の画素数がｄｋ＾２に比例するように、ウィンドウ内における画素を間引いてもよい。これにより、同程度の大きさの物体に対する距離計算の過程において、物体の距離によって計算量及び計算精度にばらつきが生じることを抑制することが可能になる。
　さらに、ウィンドウを、全ての物体領域に対して外接矩形等の決まった形状で適用するのではなく、物体の像と同一の形状や、物体の像の一部を切り出す形状等で形成してもかまわない。
　物体情報生成部２２は、物体の中心以外の部位について、上述の式（３）等を利用して距離を計算することができる。物体の中心以外の部位の距離を計算する場合は、例えば、物体の中心付近の座標ではなく、計算対象とする部位の中心付近の座標の周りでウィンドウによる切り抜きを行い、距離を算出すればよい。
　また、物体情報生成部２２は、物体の３次元形状に関する情報を生成する。本実施形態では、物体の３次元形状に関する情報として、物体が、奥行き方向において凹形状であるか凸形状であるか、あるいは平面であるかを判定する。物体情報生成部２２は、物体領域に対して、ウィンドウを複数個設定し、各ウィンドウを用いて求めた物体の距離情報を基にして、物体の形状に関する情報を生成する。
　図５は目標空間に人が存在するシーンと、撮像される区分画像の一例を示す図である。図５（ａ）では、人は物体情報生成システム１に対して横向きに立っており、両手を拡げている。物体情報生成部２２は、図５（ｂ）に示すように、異なる２つのウィンドウＷＤ１，ＷＤ２を用いて、式（３）を利用して距離を算出する。例えば、第１ウィンドウＷＤ１は、物体の像の外接矩形と同一となるように設定し（幅２Δｕ１，高さ２Δｖ１）、第２ウィンドウＷＤ２は物体の像より小さく、物体の像の中心付近を切り抜くように設定する（幅２Δｕ２，高さ２Δｖ２）。第１ウィンドウＷＤ１は物体領域の全体を含むウィンドウの一例であり、第２ウィンドウＷＤ２は物体領域の一部からなるウィンドウの一例である。
　物体（ここでは人）が物体情報生成システム１に対して凸である場合、第１ウィンドウＷＤ１には、第２ウィンドウＷＤ２よりも、距離値が大きい画素が多く含まれている。したがって、第１ウィンドウＷＤ１を利用して算出された距離ｄ１は、第２ウィンドウＷＤ２を利用して算出された距離ｄ２よりも、遠くなる。物体情報生成部２２は、所定の正の閾値Ｔｈｃｖを設定し、Ｔｈｃｖ＜ｄ１－ｄ２となる物体について、凸形状であると判定する。同様に、所定の正の閾値Ｔｈｃｃを設定し、Ｔｈｃｃ＜ｄ２－ｄ１となる物体について凹形状であると判定する。凸形状と凹形状のいずれにも該当しない場合に、平面であると判定する。
　ただし、上記の３種類の形状判定でなく、例えば、（ｄ１－ｄ２）の値や、ｄ１，ｄ２の値を、物体情報として生成しても良い。
　[３．出力部]
　出力部３０は、物体情報生成部２２が生成した物体情報を、外部装置２に出力するように構成されている。外部装置２は例えば、液晶ディスプレイ、有機ＥＬディスプレイ（EL: Electro Luminescence）等の表示装置である。出力部３０は、外部装置２に、物体情報生成部２２で生成された物体情報を表示させる。
　あるいは、外部装置２は、プロセッサ及びメモリを有するコンピュータシステムであって、出力部３０は、外部装置２に、物体情報生成部２２で生成された物体情報を出力し、外部装置２はさらに物体情報を利用し、目標空間に出現する物体の形状や位置あるいは動きの解析を行っても良い。
　外部装置２は、上述のような表示装置やコンピュータシステムに限らず、他の装置であっても良い。
　以上のように本実施形態によると、物体情報生成システム１では、撮像部１０によって、目標空間を分割した複数の距離区分にそれぞれ対応する、複数の区分画像が撮像される。信号処理部２０では、物体領域抽出部２１によって、複数の区分画像から、物体の像が含まれる画素領域である物体領域が抽出される。そして、物体情報生成部２２によって、物体領域に対して計算対象とする画素を切り出すためのウィンドウが決定され、２以上の区分画像におけるウィンドウ内の複数個の画素の情報を用いて計算が行われ、物体の距離情報が生成される。このため、複数個の画素の情報を利用することによってノイズ除去が可能になり、ノイズ除去のために同じ画素で複数回の測定を行うことが不要になる。また、物体領域に対して決定したウィンドウ内の画素が計算対象となるため、全画素を計算対象にする手法に比べて計算量が格段に低減される。したがって、距離情報の生成を短時間で行うことができる。
　また、物体領域に対して、異なる複数のウィンドウを設定し、各ウィンドウを用いて、それぞれ、物体の距離情報を生成してもよい。これにより、物体の複数箇所の距離情報を容易に得ることができる。さらに、各ウィンドウを用いてそれぞれ生成した物体の距離情報を用いて、物体の形状に関する情報を生成してもよい。
　また、物体領域に対して、条件を代えて、複数回距離計算を行ってもよい。例えば、ウィンドウ内において、計算に用いる画素数を変えて、複数回距離計算を行ってもよい。あるいは、ウィンドウの形状を変えて、複数回距離計算を行ってもよい。
　[４．物体情報生成方法]
　物体情報生成システムと同様の機能は、物体情報生成方法で具現化されても良い。物体情報生成方法は、ＴＯＦ法（TOF: Time Of Flight）を利用して物体までの距離の情報を取得し、生成した画像を処理する方法である。
　図６および図７は物体情報生成方法の例を示すフローチャートである。撮像ステップＳ１０では、目標空間を奥行き方向に複数に分割した距離区分毎に、複数の区分画像を生成する。物体領域抽出ステップＳ２１では、図７（ａ）に示すように、区分画像のそれぞれにおいて、物体の像である可能性のある候補領域を抽出し（Ｓ２１１）、連結した候補領域を物体領域として抽出する（Ｓ２１２）。物体情報生成ステップＳ２２では、図７（ｂ）に示すように、物体領域抽出ステップＳ２１で抽出された物体領域について、注目点を決定し（Ｓ２２１）、その周囲を含むウィンドウを決定し（Ｓ２２２）、ウィンドウ内の画素を用いて距離値を算出する（Ｓ２２３）。そして、算出した距離値そのもの、あるいは距離値を利用した物体の特徴に関する情報を物体情報として生成する（Ｓ２２４）。上述の処理を、物体領域毎に実行し、全ての物体領域に対する処理が終了したときに、物体情報生成ステップＳ２２が終了する（Ｓ２２５）。生成された物体情報は、外部装置へ出力される（Ｓ３０）。
　物体情報生成方法は、コンピュータプログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。プログラムは、コンピュータシステムに物体情報生方法を実行させる。
　物体情報生成システムは、物体情報生成部等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、物体情報生成部等の機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。また、物体情報生成システムとしての機能は、クラウド（クラウドコンピューティング）によって実現されてもよい。
　[５．変形例]
　[５－１．第１変形例]
　上述した実施形態では、１つの物体領域は１つの物体の像に相当するとして物体情報を生成するものとしたが、１つの物体領域に複数の物体の像が含まれている可能性を考慮し、物体領域の分離可否判定を行うようにしてもよい。
　図８（ａ）は目標空間に複数の物体が存在するシーン、図８（ｂ）は物体が撮像された区分画像を示す図である。図８（ａ）では、物体情報生成システム１に対して２つの物体ＯＢ１，ＯＢ２が水平方向に並んでおり、同一の区分画像に撮像される。図８（ｂ）では、２つの物体ＯＢ１，ＯＢ２の像が写っている範囲の画素が候補領域として抽出され、互いの連結性より１つの物体領域として抽出される。このような場合に、本変形例では、物体情報生成システム１は、物体領域の分離可否、すなわち、物体ＯＢ１，ＯＢ２の物体領域が分離できるか否かを判定する。
　本変形例では、物体情報生成部２２は、物体領域毎に、物体領域の分離可否を判定する分離可否判定処理を２回実行する。すなわち、物体領域の分離可否判定を、水平方向に１回行い、垂直方向に１回行う。
　分離可否判定処理では、まず、物体領域に対して、水平方向において分離可否判定を行う。物体領域の外接矩形の中心となる（ｕ”,ｖ”）を中心とし、外接矩形を含むウィンドウＷＤ３を設定する（幅２Δｕ３，高さ２Δｖ３）。式（３）を用いて、（ｕ’，ｖ’）＝（ｕ”,ｖ”）、（Δｕ，Δｖ）＝（Δｕ３,Δｖ３）として、距離ｄｃを算出する。
　次に、（ｕ”＋Δｕ３／２,ｖ”）を中心とし、外接矩形内の領域の右半分を含むウィンドウＷＤ４を設定する（幅Δｕ３,高さ２Δｖ３）。式（３）を用いて、（ｕ’,ｖ’）＝（ｕ”＋Δｕ３／２,ｖ”），（Δｕ,Δｖ）＝（Δｕ３／２,Δｖ３）として、距離ｄｒを算出する。
　さらに、（ｕ”－Δｕ３／２,ｖ”）を中心とし、外接矩形内の領域の左半分を含むウィンドウＷＤ５を設定する（幅Δｕ３,高さ２Δｖ３）。式（３）を用いて、（ｕ’,ｖ’）＝（ｕ”－Δｕ３／２,ｖ”），（Δｕ,Δｖ）＝（Δｕ３／２,Δｖ３）として距離ｄｌを算出する。
　図８の例では、画面右側の物体ＯＢ２が遠く、左側の物体ＯＢ１が近くに存在するため、算出した距離ｄｃ、ｄｒ、ｄｌの関係は、
　ｄｌ＜ｄｃ＜ｄｒ
となる。
　分離可否判定処理では、（ｄｒ－ｄｃ）（ｄｃ－ｄｌ）＞０、かつ、所定閾値Ｔｈｓに対して、｜ｄｒ－ｄｌ｜＞Ｔｈｓであった場合に、ｕ＝ｕ”において物体領域を水平方向に分離可能であると判定する。物体情報生成部２２は、左右それぞれの物体ＯＢ１，ＯＢ２に対する物体情報を生成して出力する。
　上述の処理と同様の処理を垂直方向に適用することによって、垂直方向において分離可否判定を行うことができる。
　なお、物体情報生成部２２は、分離可否判定処理において分離可能と判定された物体領域に対し、それぞれの物体について物体情報を生成するのではなく、物体領域に対して一つの物体情報を生成し、物体情報の１つとして、分離可否の情報を生成して出力しても良い。また、分離可能な座標を出力しても良い。
　なお、分離可否を判定する回数は２回に限らず、１回あるいは３回以上の値でも良い。例えば、上述のようにｕ＝ｕ”において水平方向に分離可否を判断した後に、（ｕ’,ｖ’）＝（ｕ”＋Δｕ３／４,ｖ”）、（Δｕ,Δｖ）＝（Δｕ３／４,Δｖ３）として、外接矩形の右半分の領域の、さらに左半分の領域を切り出すウィンドウにおいて距離ｄｒｌを算出する。同様に、外接矩形の左半分の領域の、さらに右半分の領域を切り出すウィンドウにおいて距離ｄｌｒを算出する。そして、距離ｄｒｌ、ｄｃ、ｄｌｒを利用して、さらに分離可否を判定しても良い。この繰り返しを行うことによって、例えば、物体が水平方向になだらかな傾斜を有しているか、中心付近で奥行き方向に段差を有している（複数物体が重なっている）かを判定することができる。
　また、例えば、（ｄｒ－ｄｃ）（ｄｃ－ｄｌ）＞０、及び、ｄｒ－ｄｌ＞Ｔｈｓを満たし、（ｄｒｌ－ｄｃ）（ｄｃ－ｄｌｒ）＞０、又はｄｒｌ－ｄｌｒ＞Ｔｈｓを満たさなかった場合等には、分離可能である座標がｕ＝ｕ”でない可能性が考えられる。したがって、中心付近において任意にウィンドウを変形し、分離可能点を詳細に探索するような処理を実行しても良い。また、分離可否を判定する方向は、水平方向や垂直方向に限らない。
　また、分離可否判定処理において、ウィンドウの形状やサイズは、上述したものに限らない。
　[５－２．第２変形例]
　上述した例では、受光部１２は複数の区分画像を出力するように構成され、物体領域抽出部２１及び物体情報生成部２２は、区分画像を利用して物体領域の抽出と物体情報の生成を行うように構成されていた。この構成に限らず、物体情報生成システム１が、受光部１２で出力された複数の区分画像を利用して画素毎に距離に関する情報を格納した距離画像を生成する画像合成部を備え、物体領域抽出部２１及び物体情報生成部２２が、距離画像を利用して、物体領域の抽出と物体情報の生成を行うように構成されていても良い。
　本変形例における画像合成部では、各画素について、信号レベルが最も高い距離区分に対応する距離を算出し、距離画像における当該画素の画素値として格納する。あるいは、例えば、各画素について、複数の距離区分における最も高い信号レベルが閾値Ｔｈｂより大きい場合にのみ、当該距離区分に対応する距離を距離画像における当該画素の画素値として格納し、複数の距離区分における最も高い信号レベルがＴｈｂ以下であった場合には測定が無効であることを示す値を格納する処理を行っても良い。
　ただし、距離画像の画素値の生成方法は上記に限らず、例えば、各画素について、信号レベルが最も高い距離区分を中心にして、その前後の距離区分における信号レベルの比から、距離区分のサイズより小さい単位で距離を算出し、距離画像の画素値として格納しても良い。
　本変形例における画像合成部は、上述したような処理をすべての画素に適用し、距離画像を物体領域抽出部２１へ出力する。
　物体領域抽出部２１は、距離画像において、同一の距離値を有する画素同士が、隣接する８方向のいずれかで連結している場合に、該連結した画素群を一つの物体領域として抽出する。なお、連結性の判定はこれに限られるものではなく、例えば、注目画素の上下左右の４方向のいずれかで連結している場合に連結しているとみなしてもよい。あるいは、連結性の判定を行う前に、同じ距離値を有する画素の座標に１を、それ以外の画素の座標に０を格納した二値画像を作成し、この二値画像にモルフォロジー演算やメディアンフィルタ等を使用して前処理を行った後に、この二値画像に対して連結性を判定しても良い。
　物体情報生成部２２は、画像合成部で生成した距離画像の画素値を利用し、物体の３次元位置座標や物体の３次元形状に関する情報の生成、あるいは分離可否判定等に利用するため、物体領域における距離値をさらに算出する。
　例えば、物体情報生成部２２は、注目する物体領域が第ｋ距離区分で抽出されたとき、ウィンドウの中心座標を（ｕ’,ｖ’）、ウィンドウ内でｄｋと等しい距離を示す画素の数をＣｋとし、距離を以下の式（４）で算出する。
Figure JPOXMLDOC01-appb-M000004
　物体情報生成部２２は、ｄ（ｕ’,ｖ’）を利用し、物体の３次元位置座標や３次元形状に関する情報の生成、あるいは分離可否判定等を生成する。
　本発明に係る物体情報生成システムは、物体の距離情報の生成を短時間で行うことができるので、例えば、監視カメラ、人の行動を解析するシステム、障害物を検知するシステム等への利用に有用である。
１　物体情報生成システム
１０　撮像部
２０　信号処理部
２１　物体領域抽出部
２２　物体情報生成部

Claims (9)

  1. 　目標空間を分割した複数の距離区分にそれぞれ対応する、複数の区分画像を撮像する撮像部と、
    　前記複数の区分画像を処理して、前記目標空間に存在する物体に関する情報を生成する信号処理部とを備え、
    　前記信号処理部は、
    　前記複数の区分画像から、物体の像が含まれる画素領域である物体領域を抽出する物体領域抽出部と、
    　前記物体領域に対して計算対象とする画素を切り出すためのウィンドウを決定し、前記複数の区分画像のうちの２以上の区分画像における、前記ウィンドウ内の複数個の画素の情報を用いて計算を行い、物体の距離情報を生成する物体情報生成部とを備える
    ことを特徴とする物体情報生成システム。
  2. 　請求項１記載の物体情報生成システムにおいて、
    　前記物体情報生成部は、
    　前記物体領域に対して、異なる複数の前記ウィンドウを、設定し、
    　前記各ウィンドウを用いて、それぞれ、物体の距離情報を生成する
    ことを特徴とする物体情報生成システム。
  3. 　請求項２記載の物体情報生成システムにおいて、
    　前記物体情報生成部は、
    　前記各ウィンドウを用いてそれぞれ生成した物体の距離情報を用いて、物体の形状に関する情報を生成する
    ことを特徴とする物体情報生成システム。
  4. 　請求項２記載の物体情報生成システムにおいて、
    　前記物体情報生成部は、
    　前記各ウィンドウを用いてそれぞれ生成した物体の距離情報を用いて、物体領域の分離可否を判定する
    ことを特徴とする物体情報生成システム。
  5. 　請求項１記載の物体情報生成システムにおいて、
    　前記物体情報生成部は、
    　計算に用いる画素の個数を、計算対象となる区分画像に対応する距離区分の距離に応じて、決定する
    ことを特徴とする物体情報生成システム。
  6. 　請求項１記載の物体情報生成システムにおいて、
    　前記信号処理部は、
    　前記複数の区分画像を用いて、画素毎に距離値を付与した距離画像を生成する画像合成部を備え、
    　前記物体領域抽出部は、前記距離画像において、前記物体領域を抽出する
    ことを特徴とする物体情報生成システム。
  7. 　請求項１記載の物体情報生成システムにおいて、
    　前記信号処理部は、
    　前記複数の区分画像を用いて、画素毎に距離値を付与した距離画像を生成する画像合成部を備え、
    　前記物体情報生成部は、前記距離画像を用いて、物体の距離情報を生成する
    ことを特徴とする物体情報生成システム。
  8. 　目標空間を分割した複数の距離区分にそれぞれ対応する、複数の区分画像を処理して、
    前記目標空間に存在する物体に関する情報を生成する物体情報生成方法であって、
    　前記複数の区分画像から、物体の像が含まれる画素領域である物体領域を抽出するステップと、
    　前記物体領域に対して計算対象とする画素を切り出すためのウィンドウを決定するステップと、
    　前記複数の区分画像のうちの２以上の区分画像における、前記ウィンドウ内の複数個の画素の情報を用いて計算を行い、物体の距離情報を生成するステップとを備える
    物体情報生成方法。
  9. 　１以上のプロセッサを含むコンピュータシステムに、請求項８に記載の物体情報生成方法を実行させるためのプログラム。
PCT/JP2022/001976 2021-02-15 2022-01-20 物体情報生成システム、物体情報生成方法、および、物体情報生成プログラム WO2022172719A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280014674.XA CN116848436A (zh) 2021-02-15 2022-01-20 物体信息生成系统、物体信息生成方法以及物体信息生成程序
JP2022581288A JPWO2022172719A1 (ja) 2021-02-15 2022-01-20
US18/448,712 US20230386058A1 (en) 2021-02-15 2023-08-11 Object information generation system, object information generation method, and object information generation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-021596 2021-02-15
JP2021021596 2021-02-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/448,712 Continuation US20230386058A1 (en) 2021-02-15 2023-08-11 Object information generation system, object information generation method, and object information generation program

Publications (1)

Publication Number Publication Date
WO2022172719A1 true WO2022172719A1 (ja) 2022-08-18

Family

ID=82838751

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001976 WO2022172719A1 (ja) 2021-02-15 2022-01-20 物体情報生成システム、物体情報生成方法、および、物体情報生成プログラム

Country Status (4)

Country Link
US (1) US20230386058A1 (ja)
JP (1) JPWO2022172719A1 (ja)
CN (1) CN116848436A (ja)
WO (1) WO2022172719A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009281895A (ja) * 2008-05-23 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
JP2010071704A (ja) * 2008-09-17 2010-04-02 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
JP2016136321A (ja) * 2015-01-23 2016-07-28 トヨタ自動車株式会社 物体検出装置及び物体検出方法
JP2018160049A (ja) * 2017-03-22 2018-10-11 パナソニックＩｐマネジメント株式会社 画像認識装置
WO2019181518A1 (ja) * 2018-03-20 2019-09-26 パナソニックＩｐマネジメント株式会社 距離測定装置、距離測定システム、距離測定方法、及びプログラム
US10445896B1 (en) * 2016-09-23 2019-10-15 Apple Inc. Systems and methods for determining object range
WO2020121973A1 (ja) * 2018-12-10 2020-06-18 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009281895A (ja) * 2008-05-23 2009-12-03 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
JP2010071704A (ja) * 2008-09-17 2010-04-02 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
JP2016136321A (ja) * 2015-01-23 2016-07-28 トヨタ自動車株式会社 物体検出装置及び物体検出方法
US10445896B1 (en) * 2016-09-23 2019-10-15 Apple Inc. Systems and methods for determining object range
JP2018160049A (ja) * 2017-03-22 2018-10-11 パナソニックＩｐマネジメント株式会社 画像認識装置
WO2019181518A1 (ja) * 2018-03-20 2019-09-26 パナソニックＩｐマネジメント株式会社 距離測定装置、距離測定システム、距離測定方法、及びプログラム
WO2020121973A1 (ja) * 2018-12-10 2020-06-18 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Also Published As

Publication number Publication date
US20230386058A1 (en) 2023-11-30
JPWO2022172719A1 (ja) 2022-08-18
CN116848436A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
JP7369921B2 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
US10755417B2 (en) Detection system
US9311715B2 (en) Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US8611598B2 (en) Vehicle obstacle detection system
JP5822255B2 (ja) 対象物識別装置及びプログラム
Reisman et al. Crowd detection in video sequences
González-Sabbagh et al. A survey on underwater computer vision
EP2779092A1 (en) Apparatus and techniques for determining object depth in images
US20050201612A1 (en) Method and apparatus for detecting people using stereo camera
JP6358552B2 (ja) 画像認識装置および画像認識方法
JP5353455B2 (ja) 周辺監視装置
CN111695402A (zh) 用于标注3d点云数据中人体姿态的工具和方法
KR20150086479A (ko) 관심 객체에 관한 적응적 조명을 사용하는 깊이 이미징 방법 및 장치
EP3789958A1 (en) Optical condition determination system and optical condition determination method
JP7503750B2 (ja) 物体検知システム及び物体検知方法
WO2022172719A1 (ja) 物体情報生成システム、物体情報生成方法、および、物体情報生成プログラム
US20230057655A1 (en) Three-dimensional ranging method and device
US20220214434A1 (en) Gating camera
Hiremath et al. Implementation of low cost vision based measurement system: motion analysis of indoor robot
Ponnaganti et al. Utilizing CNNs for Object Detection with LiDAR Data for Autonomous Driving
GB2605621A (en) Monocular depth estimation
US20240085553A1 (en) Obstacle detection device, obstacle detection method, and non-transitory computer-readable recording medium
JP2011170499A (ja) 車両の周辺監視装置
Najeeb et al. Implementation And Evaluation of Vehicle Tracking System
Zhou et al. Real-Time Ranging of Vehicles and Pedestrians for Mobile Application on Smartphones

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22752550

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022581288

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280014674.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22752550

Country of ref document: EP

Kind code of ref document: A1