WO2021182405A1 - 撮像回数を調整する距離画像撮像システム - Google Patents

撮像回数を調整する距離画像撮像システム Download PDF

Info

Publication number
WO2021182405A1
WO2021182405A1 PCT/JP2021/009022 JP2021009022W WO2021182405A1 WO 2021182405 A1 WO2021182405 A1 WO 2021182405A1 JP 2021009022 W JP2021009022 W JP 2021009022W WO 2021182405 A1 WO2021182405 A1 WO 2021182405A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
imaging
distance image
unit
Prior art date
Application number
PCT/JP2021/009022
Other languages
English (en)
French (fr)
Inventor
中村　稔
文和 藁科
祐輝 高橋
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to CN202180020624.8A priority Critical patent/CN115280183A/zh
Priority to US17/905,642 priority patent/US20230130830A1/en
Priority to DE112021000592.8T priority patent/DE112021000592T5/de
Priority to JP2022507183A priority patent/JP7410271B2/ja
Publication of WO2021182405A1 publication Critical patent/WO2021182405A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to a distance image imaging system, and particularly to a distance image imaging system that adjusts the number of imagings.
  • a TOF (time of flight) sensor that outputs a distance based on the flight time of light is known.
  • the TOF sensor irradiates the target space with reference light whose intensity is modulated in a predetermined cycle, and outputs a distance measurement value of the target space based on the phase difference between the reference light and the reflected light from the target space (so-called phase difference method). Indirect method) is often adopted. This phase difference can be obtained from the amount of reflected light received.
  • Another solution to reduce variation is averaging processing that averages the distance for each corresponding pixel between multiple distance images, time filters such as IIR (infinite impulse response) filters, median filters, and Gaussian filters. It is also possible to apply a spatial filter such as.
  • FIG. 8 shows a conventional averaging process of a distance image.
  • a perspective view of a distance image obtained by capturing a surface having a certain height as viewed from the distance measuring sensor is shown.
  • the average value ⁇ of the distance measurement values of each pixel in the surface region of this distance image and the variation ⁇ of the distance measurement values are shown.
  • the variation ⁇ of the distance measurement value of each pixel is reduced to ⁇ / N 0.5 as shown in the upper right side of the figure, and it is on the lower right side of the figure.
  • a composite distance image is generated that captures a generally flat surface.
  • a technique for synthesizing such a distance image a document described later is known.
  • the weighted average value of the distance information of each pixel corresponding to the same pixel position is calculated for each of a plurality of distance images captured while changing the exposure stepwise, and the calculated weighted average is obtained.
  • a composite distance image synthesized so that the value is the distance information of each pixel is obtained, and in the calculation of the weighted average value, the weight is calculated so as to correspond to the accuracy of the distance information according to the light receiving level information of the pixel. It is stated that a coefficient is used.
  • pixels showing a higher light-receiving intensity are extracted from a plurality of distance images acquired under different imaging conditions based on the light-receiving intensity associated with each pixel in the distance image, and the extracted pixels. Is described as being used for a composite distance image of a plurality of distance images.
  • Patent Document 3 describes in-plane HDR (high) that acquires a plurality of image data having different imaging sensitivities for each predetermined unit region and synthesizes the plurality of image data to generate image data having an expanded dynamic range. It is described that the dynamic range) processing is executed and the control is performed so that the direction in which the feature amount of the object appears more is the HDR processing direction.
  • the number of times a distance image is captured used for the above-mentioned averaging process or the like is generally a predetermined fixed number.
  • FIG. 9 shows an example of an increase in variation due to a change in an object.
  • the distance measuring sensor 10 outputs a predetermined number of distance images and can acquire a composite distance image with little distance measurement variation for the object W.
  • the amount of light received by the distance measuring sensor 10 decreases and the distance measuring variation increases.
  • the reflectance of the object W becomes low (for example, when the object W changes to a dark color)
  • the amount of reflected light decreases and the distance measurement variation increases. Therefore, it is difficult to guarantee the reduction of variation in a fixed number of composite distance images.
  • One aspect of the present disclosure is to synthesize a plurality of first-distance images with an image acquisition unit that acquires a plurality of first-distance images by imaging the object a plurality of times at the same imaging position and the same imaging posture with respect to the object. It is a distance image imaging system equipped with an image compositing unit that generates a second distance image, estimates a distance measurement error in the second distance image, and the estimated distance measurement error is less than or equal to a predetermined target error. Provided is a distance image imaging system including a imaging number determination unit for determining the imaging frequency of the first range image.
  • the number of imagings is automatically adjusted, it is possible to provide an image composition technique that realizes stable distance measurement accuracy and reduction of wasted time even if the object changes.
  • distance image refers to an image in which the distance measurement value from the distance measurement sensor to the target space is stored for each pixel
  • light intensity image refers to the reflection reflected in the target space. An image in which the light intensity value of light is stored for each pixel.
  • FIG. 1 shows the configuration of the distance image imaging system 1 in the present embodiment.
  • the distance image imaging system 1 includes an image acquisition unit 10 that outputs a distance image of the target space including the object W, and a host computer device 20 that controls the distance measurement sensor 10.
  • the image acquisition unit 10 may be a TOF sensor such as a TOF camera or a laser scanner, but may be another distance measuring sensor such as a stereo camera.
  • the host computer device 20 is communicably connected to the image acquisition unit 10 via wire or wireless.
  • the host computer device 20 includes processors such as a CPU (central processing unit), an FPGA (field-programmable gate array), and an ASIC (application specific integrated circuit). All the components of the host computer device 20 may be implemented as a part of the function of the distance measuring sensor.
  • the image acquisition unit 10 acquires a plurality of first-distance images by imaging the object W a plurality of times with the same imaging position and the same imaging posture with respect to the object W.
  • the image acquisition unit 10 may have a function of capturing an object W at the same imaging position and the same imaging posture to acquire a light intensity image.
  • the host computer device 20 includes an image synthesizing unit 21 that synthesizes a plurality of first distance images acquired by the image acquisition unit 10 to generate a second distance image.
  • the image synthesizing unit 21 generates a second-distance image by averaging a plurality of first-distance images for each corresponding pixel, and for the plurality of first-distance images, a time filter such as an IIR filter, a median filter, and a Gaussian.
  • a spatial filter such as a filter, or a filter process combining these may be performed to generate a second distance image. Distance measurement variation is reduced by such a composite distance image.
  • the higher-level computer device 20 may further include an image area designation unit 24 for designating an image area to be combined.
  • the image region to be synthesized may be, for example, a specific region of the object W (for example, a suction surface of the object W or a surface on which a predetermined operation (spot welding, sealing, screw fastening, etc.) is performed on the object W, etc.). ..
  • the image area to be combined may be manually specified by the user, or may be automatically specified by the host computer device 20. In the case of manual designation, for example, it is preferable to provide an input tool or the like for the user to specify the image area on the acquired distance image or the light intensity image. By limiting the image area to be combined, the distance image composition process can be speeded up.
  • the host computer device 20 may further include an object identification unit 25 that automatically identifies an image area in which at least a part of the object W is captured from a distance image or a light intensity image.
  • an object identification unit 25 that automatically identifies an image area in which at least a part of the object W is captured from a distance image or a light intensity image.
  • a known method for identifying the object W a known method such as matching processing such as pattern matching, blob analysis for analyzing the feature amount of an image, and clustering for classifying similar regions can be used.
  • the specified image area is designated as an image area to be combined by the image area designation unit 24.
  • the distance image imaging system 1 can be applied to, for example, a robot system.
  • the distance image imaging system 1 further includes a robot 40 and a robot control device 30 for controlling the robot 40, and the robot control device 30 issues a request command for a second distance image to the upper computer device 20 to perform a higher order.
  • the movement of the robot 40 can be corrected based on the second distance image (that is, at least one of the position and the posture of the object W; the same applies hereinafter) acquired from the computer device 20.
  • the host computer device 20 is connected to the robot control device 30 in a one-to-many manner so as to be able to communicate with the robot control device 30.
  • the upper computer device 20 side is responsible for image processing with a heavy load, and the robot control device 30 side can concentrate the performance on the control processing of the robot 40.
  • the robot 40 is an articulated robot, but may be another industrial robot such as a parallel link type robot.
  • the robot 40 may further include a tool 41 that performs work on the object W.
  • the tool 41 is a hand that grips the object W, but may be another tool that performs predetermined operations (spot welding, sealing, screw fastening, etc.) on the object W.
  • the object W is transported by the transport device 50 and arrives in the work area of the robot 40, but may have a system configuration in which the objects W are stacked in bulk on a pallet (not shown) or the like.
  • the conveyor 50 is a conveyor, but may be another conveyor such as an automatic guided vehicle (AGV).
  • AGV automatic guided vehicle
  • the image acquisition unit 10 is installed at the tip of the robot 40, but may be installed at a fixed point different from the robot 40.
  • the robot control device 30 includes an operation control unit 31 that controls the operations of the robot 40 and the tool 41 according to an operation program generated in advance by the teaching device (not shown).
  • the motion control unit 31 suspends the transfer device 50 and issues a request command for the second distance image to the upper computer device 20, but the tip of the robot 40
  • the request command for the second distance image may be given to the host computer device 20 while the unit follows the operation of the object W.
  • the image acquisition unit 10 acquires a plurality of first-distance images with the same imaging position and the same imaging posture with respect to the stationary object W.
  • the image acquisition unit 10 acquires a plurality of first distance images with the same imaging position and the same imaging posture with respect to the moving object W. Will be done.
  • the motion control unit 31 corrects the motion of at least one of the robot 40 and the tool 41 based on the second distance image acquired from the host computer device 20.
  • the host computer device 20 is characterized by including an imaging number determination unit 22 for determining the imaging frequency of the first distance image.
  • the imaging number determination unit 22 Upon receiving the request command for the second distance image, the imaging number determination unit 22 issues an imaging command to the image acquisition unit 10 to acquire a plurality of first distance images.
  • the imaging number determination unit 22 estimates the distance measurement error in the second distance image, and determines the number of times the first distance image is captured so that the estimated distance measurement error is equal to or less than a predetermined target error.
  • the number of images captured unit 22 may determine the number of first-distance images acquired by the image synthesizing unit 21 from the image acquisition unit 10 instead of the number of times of imaging, or the image synthesizing unit 21 may filter the time.
  • the time constant of the time filter may be determined.
  • FIG. 2 shows a graph for explaining the method of determining the number of imagings by the function method.
  • the TOF sensor can acquire a light intensity image at the same time as a distance image, and there is a certain correlation between the light intensity value s in the light intensity image and the distance measurement variation ⁇ in the distance image as shown in the graph.
  • This graph is approximated by the following equation.
  • f is the emission frequency of the reference light
  • a and k are constants including differences in the specifications of the components of the ranging sensor 10 and variations in individual characteristics.
  • a and k of the following equation can be experimentally acquired in advance or acquired as calibration data at the time of shipment.
  • the function mode by obtains the light intensity values s 1 from the light intensity image obtained by the first imaging substitutes the light intensity values s 1 obtained, for example, in Equation 1, the distance measuring error in the first distance image ⁇ 1 can be estimated.
  • linear interpolation or polynomial expression is performed on a data table that stores a plurality of relationships between the light intensity value s and the distance measurement variation ⁇ acquired in advance at the time of experimental or factory calibration.
  • the distance measurement error ⁇ 1 in the first distance image may be obtained by performing interpolation or the like.
  • the second distance was averaged for each corresponding pixel in the first distance image captured N times.
  • the distance measurement variation of the distance image is reduced by a reduction degree of 1 / N 0.5 according to the central limit theorem of statistics. That is, if this distance measurement variation ⁇ 1 / N 0.5 is considered as the distance measurement error in the second distance image, the distance measurement error ⁇ 1 / N 0.5 in the second distance image can be estimated. Then, the number of times N of imaging of the first distance image is determined so that the distance measurement error ⁇ 1 / N 0.5 in the estimated second distance image is equal to or less than the predetermined target error ⁇ TG. That is, when a plurality of first-distance images are averaged to generate a second-distance image, the number of imaging times N can be determined based on the following equation. It should be noted that different degrees of reduction are applied to the distance measurement error of the second distance image when a synthesis process other than the averaging process is applied.
  • the imaging number determination unit 22 determines the number of imagings of the first distance image based on the light intensity image acquired from the image acquisition unit 10. .. That is, the imaging frequency determination unit 22 determines the distance measurement error ⁇ 1 from the light intensity image to the second distance image based on the relationship (Equation 1) between the light intensity value s in the light intensity image and the distance measurement variation ⁇ in the distance image. / N 0.5 is estimated, and the number of imaging times N at which the ranging error ⁇ 1 / N 0.5 in the estimated second distance image is equal to or less than the target error ⁇ TG is determined.
  • the imaging frequency determining unit 22 may estimate the distance measurement error in the second distance image in units of pixels of the light intensity image, or may estimate the distance measurement error in the unit of the pixel region in the light intensity image.
  • the distance measurement error in the distance image may be estimated. That is, the number of times of imaging determination unit 22 may estimate the distance measurement error in the second distance image based on the light intensity value of a specific pixel of the object W, for example, or the specific pixel region of the object W (for example, The distance measurement error in the second distance image may be estimated based on the average value or the minimum value of the light intensity values of (3 ⁇ 3 pixel region).
  • the imaging frequency determination unit 22 may estimate the distance measurement error in the second distance image based on the average value or the minimum value of the light intensity values of the corresponding pixels among the plurality of light intensity images. It is good, or the distance measurement error in the second distance image is estimated based on the average value or the minimum value of the light intensity values of the corresponding pixel region (for example, 3 ⁇ 3 pixel region) among the plurality of light intensity images. May be good.
  • the distance measurement error in the second distance image (and thus the number of times the first distance image is captured) can be estimated more accurately or more accurately and less than the target error. Estimates are possible.
  • the target error ⁇ TG may be a predetermined fixed value, or may be a specified value specified by the user.
  • the distance image imaging system 1 may further include a target error designating unit 23 for designating the target error ⁇ TG.
  • a target error designating unit 23 for designating the target error ⁇ TG.
  • FIG. 3 shows the flow of the imaging count determination process by the function method.
  • step S11 based on the acquired image, the image area to be combined is manually specified as necessary, or the image area in which at least a part of the object W is copied is automatically specified.
  • the distance measurement error in the second distance image is estimated based on the light intensity image (image area).
  • the approximation formula 1 expressing the relationship between the light intensity value s in the light intensity image (image region) and the distance measurement variation ⁇ in the first distance image, and the data of the light intensity value s and the distance measurement variation ⁇
  • the distance measurement error in the second distance image may be estimated in units of pixels of the light intensity image (image area) or in units of pixel areas in the light intensity image (image area), or a plurality. Estimate the distance measurement error in the second distance image in units of corresponding pixels between (image areas) of light intensity images or in units of corresponding pixel areas between multiple light intensity images (image areas). You may.
  • step S13 the estimated distance measurement error ⁇ 1 of the first distance image and, for example, the reduction degree of the distance measurement error of the second distance image generated by averaging a plurality of first distance images 1 / N 0.5 . , based on the ranging error sigma 1 / N 0.5 second distance image is estimated, ranging error sigma 1 / N 0.5 in the second distance image estimated to determine the imaging count N becomes lower than the target error sigma TG ..
  • the number of imaging times N is determined by applying different degrees of reduction.
  • the distance measurement variation in the first distance image has a generally normal distribution variation, and if the distance measurement error in the estimated first distance image is represented by its standard deviation ⁇ , this first distance image is imaged n times.
  • the distance measurement error of the second distance image subjected to the averaging process for averaging the distance for each corresponding pixel is reduced to ⁇ n / n 0.5. Considering that the distance measurement error ⁇ n / n 0.5 in the second distance image reduced in this way is equal to or less than the target error ⁇ TG , the following equation is obtained.
  • ⁇ n 2 is a value statistically called a variance, and if the average of n data from x 1 to x n is ⁇ n, the variance ⁇ n 2 is as follows.
  • the mean ⁇ n and the variance ⁇ n 2 can be obtained by sequential calculation of the data as shown in the following equations, respectively.
  • the average ⁇ n and the variance ⁇ n 2 are sequentially calculated, and the determination is made by the determination formula 4 expressing the relationship between the variance ⁇ n 2 and the number of imaging times n.
  • the determination formula 4 expressing the relationship between the variance ⁇ n 2 and the number of imaging times n.
  • FIG. 4 shows a graph for explaining the imaging number determination method by this sequential method.
  • the method of synthesizing the second distance image is an averaging process that averages the distance for each corresponding pixel of the first distance image.
  • the horizontal axis of the graph indicates the number of imagings (the number of distance measurement values of a specific pixel), and the vertical axis of the graph indicates the distance (cm).
  • FIG. 4 shows an example (black dot) in which an object W actually at a distance of 100 cm is imaged 100 times (that is, 100 distance measurement values are acquired).
  • the sequential average (broken line) and the sequential variance (dashed line) of the distance measurement values are calculated each time the first distance image is captured.
  • FIG. 4 also shows the sequentially calculated values of the rvalue ⁇ n 2 / 1.5 2 (thick line) of the determination formula 4 when the target error ⁇ TG is 1.5 cm.
  • Reference numeral A indicates a time when the current number of imaging n (solid line) exceeds ⁇ n 2 / 1.5 2 (thick line), indicating that the condition of the determination formula 4 is satisfied. That is, when the number of times n of the first distance image is captured is the 33rd time, the distance measurement error ⁇ n 2 in the second distance image finally has a predetermined reliability (described later, in this example, the reliability is 68.3%). ) It shows that the target error is 1.5 cm or less. At this time, the average value Ave is 101.56 cm, and this value is the distance measurement value in the second distance image.
  • the number of times to be imaged determination unit 22 sequentially calculates the dispersion ⁇ n 2 of the distance measurement value in the unit of the corresponding pixel among the plurality of first distance images, but is constant when viewed from the distance measurement sensor 10.
  • synthesizing only the image region of the object W having a surface having a height of ⁇ n 2 May be calculated sequentially.
  • the target error ⁇ TG may be a predetermined fixed value, or may be a specified value specified by the user.
  • the current imaging count n (solid line in the graph of FIG. 4 ) Exceeds the sequential variance ⁇ n 2 (broken line), and time point B is also shown. That is, it is shown that when the number of times n of the first distance image is captured is the 92nd time, the distance measurement error ⁇ n 2 in the second distance image finally becomes the target error 1 cm or less with a predetermined reliability.
  • the average value Ave is 100.61 cm, and this value is the distance measurement value of the second distance image.
  • FIG. 5 shows the flow of the imaging count determination process by the sequential method.
  • step S21 based on the acquired image, the image area to be combined is manually specified as necessary, or the image area in which at least a part of the object W is copied is automatically specified.
  • step S24 the variance ⁇ n 2 of the distance required for estimating the distance measurement error in the second distance image is sequentially calculated.
  • the variance ⁇ n 2 is calculated in units of corresponding pixels among the plurality of first distance images (image areas) or in units of corresponding pixel areas within the plurality of first distance images (image areas). You may.
  • step S25 it is determined whether or not the number of imaging times n satisfies the determination formula 4 representing the relationship between the sequentially calculated variance ⁇ n 2 and the number of imaging times n.
  • the number of times the first distance image is captured n is automatically determined by determining the end of acquisition of the first distance image.
  • step S25 If the number of times of imaging n does not satisfy the determination formula 4 in step S25 (NO in step S25), the process returns to step S22 to further acquire the first distance image.
  • step S25 If the number of times of imaging n satisfies the determination formula 4 in step S25 (YES in step S25), the acquisition of the first distance image is completed, and the second distance image at this time becomes the final second distance image.
  • n ⁇ K K is the minimum number of imagings
  • the loop from step S22 to step S25 may be continued until the determination formula 4 is established in all the pixels of the first distance image or the image region specified in step S21, or a pixel failure or the like may occur.
  • the loop may be exited when the determination formula 4 is established with a predetermined ratio of pixels to the number of pixels in the image area, and when the maximum number of imagings is specified and the maximum number of imagings is exceeded, the maximum number of imagings may be specified. You may try to break out of the loop. Therefore, the distance image imaging system 1 may include a minimum number of times of imaging designation unit, a establishment ratio designation unit for designating the establishment ratio of the determination formula 4, and a maximum number of imagings designation unit. For example, it is preferable to provide a numerical input field or the like for the user to specify these on the user interface.
  • the number of imaging times N for achieving the target error ⁇ TG with a reliability of 95% can be obtained from the distance measurement error ⁇ 1 in the estimated first distance image by the following equation.
  • the confidence coefficient is 1.96, but in the case of the 90% confidence interval, the confidence coefficient is 1.65, and in the case of the 99% confidence interval, the confidence coefficient is 2. It becomes 58. Further, when the confidence coefficient is 1, the confidence interval is 68.3%. Therefore, it should be noted that the number of imagings determined by the above-mentioned functional method or sequential method is the number of imagings at which the estimated ranging error has a reliability of 68.3% and the target error ⁇ TG or less.
  • the distance image imaging system 1 may further include a reliability designation unit 26 for designating such a reliability cd.
  • the reliability cd may be a confidence interval ci or a confidence coefficient cc.
  • FIG. 7 shows a modified example of the configuration of the distance image imaging system 1.
  • the distance image imaging system 1 does not include the host computer device 20. That is, all the components mounted on the host computer device 20 are incorporated in the robot control device 30. In this case, the robot control device 30 issues an imaging command to the image acquisition unit 10.
  • Such a stand-alone configuration is suitable for a robot system including one robot 40 and one robot control device 30. It should be noted that all the configurations implemented in the host computer device 20 may be implemented as a part of the function of the distance measuring sensor.
  • the program executed by the above-mentioned processor and the program that executes the above-mentioned flowchart may be recorded and provided on a computer-readable non-temporary recording medium such as a CD-ROM, or may be provided by wire or wirelessly. It may be distributed and provided from a server device on a WAN (wide area network) or a LAN (local area network) via.
  • a computer-readable non-temporary recording medium such as a CD-ROM

Abstract

距離画像撮像システムは、対象物に対して同じ撮像位置及び同じ撮像姿勢で対象物を複数回撮像して複数の第一距離画像を取得する画像取得部と、複数の第一距離画像を合成して第二距離画像を生成する画像合成部と、第二距離画像における測距誤差を推定し、推定した測距誤差が予め定めた目標誤差以下になる、第一距離画像の撮像回数を決定する撮像回数決定部と、を備える。

Description

撮像回数を調整する距離画像撮像システム
　本発明は距離画像撮像システムに関し、特に撮像回数を調整する距離画像撮像システムに関する。
　物体までの距離を測定する測距センサとして、光の飛行時間に基づき距離を出力するＴＯＦ（time of flight）センサが公知である。ＴＯＦセンサは、所定周期で強度変調した参照光を対象空間に照射し、参照光と対象空間からの反射光との間の位相差に基づき対象空間の測距値を出力する位相差方式（いわゆる間接法）を採用するものが多い。この位相差は反射光の受光量から求められる。
　斯かるＴＯＦセンサに代表される測距センサの測距値にはバラツキがある。ＴＯＦセンサの場合、測距バラツキの主因はショットノイズであるが、測距バラツキは概ね正規分布的にばらつくことが分かっている。バラツキ低減のためには、ＴＯＦセンサのインテグレーションタイムや発光量の増大が有効であるが、この解決策は測距センサの受光素子の受光量の制約や発熱の制約等、測距センサの仕様として限界がある。
　距離画像から物体の位置や姿勢の検出を行う場合、その検出精度を維持するためには距離画像の誤差が規定値以下であることが望まれる。バラツキを低減する別の解決策としては、複数の距離画像の間で対応する画素毎に距離を平均化する平均化処理や、ＩＩＲ（infinite impulse response）フィルタ等の時間フィルタ、メディアンフィルタやガウシアンフィルタ等の空間フィルタの適用も考えられる。
　図８は従来の距離画像の平均化処理を示している。図の左下側には、測距センサから見て一定の高さの面を撮像した距離画像を斜視した様子が示されている。また図の左上側には、この距離画像の面領域における各画素の測距値の平均値μと測距値のバラツキσとが示されている。このような距離画像をＮ枚取得して平均化処理を行うと、図の右上側に示すように各画素の測距値のバラツキσがσ／Ｎ0.5まで低減し、図の右下側に示すように概ね平らな面を撮像した合成距離画像が生成される。このような距離画像の合成処理に関する技術としては、後述の文献が公知である。
　特許文献１には、露出を段階的に変更しながら撮像した複数の距離画像について、同一の画素位置に対応する各画素の距離情報の重み付き平均値を夫々算出し、算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求め、重み付き平均値の算出では、その画素の受光レベル情報に応じて距離情報の精度に対応するように算出される重み付き係数を用いることが記載されている。
　特許文献２には、異なる撮像条件で取得した複数の距離画像間において、距離画像内の各画素に対応付けられた受光強度に基づいて、より大きい受光強度を示す画素を抽出し、抽出した画素を複数の距離画像の合成距離画像に用いることが記載されている。
　特許文献３には、所定の単位領域毎に撮像感度の異なる複数の画像データを取得し、それら複数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成する面内ＨＤＲ（high dynamic range）処理を実行し、対象物の特徴量がより多く現れる方向がＨＤＲ処理方向となるように制御を行うことが記載されている。
特開２０１２－２２５８０７号公報 特開２０１７－１８１４８８号公報 特開２０１９－５７２４０号公報
　前述の平均化処理等に使用される距離画像の撮像回数は、予め定めた固定数であることが一般的である。しかしながら、固定数の距離画像の合成処理では、対象物の変化に起因した測距バラツキを低減するのが困難になり、測距精度が安定しなくなってしまう。
　図９は対象物の変化に起因したバラツキ増大の一例を示している。図の左側に示すように、測距センサ１０が予め定めた枚数の距離画像を出力し、対象物Ｗについて測距バラツキの少ない合成距離画像を取得できたとする。しかしながら、図の中央に示すように測距センサ１０から対象物Ｗまでの距離が遠くなると、測距センサ１０の受光量が低減して測距バラツキが増大してしまう。同様に、図の右側に示すように対象物Ｗの反射率が低くなると（例えば暗色の対象物Ｗに変わると）、反射光量が低減して測距バラツキが増大してしまう。従って、固定数の合成距離画像では、バラツキ低減の保証が難しい。
　逆にその為、固定数にマージンを持たせて撮像回数を増やしておくことも考えられる。しかしながら、大抵の場合、画像取得や画像合成に無駄な時間を費やすことになる。従って、対象物の状況に応じて距離画像の撮像回数を可変にすべきである。
　そこで、対象物が変化しても安定した測距精度と無駄時間の削減を実現した距離画像合成技術が求められている。
　本開示の一態様は、対象物に対して同じ撮像位置及び同じ撮像姿勢で対象物を複数回撮像して複数の第一距離画像を取得する画像取得部と、複数の第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、第二距離画像における測距誤差を推定し、推定した測距誤差が予め定めた目標誤差以下になる、第一距離画像の撮像回数を決定する撮像回数決定部を備える、距離画像撮像システムを提供する。
　本開示の一態様によれば、撮像回数が自動的に調整されるため、対象物が変化しても安定した測距精度と無駄時間の削減を実現した画像合成技術を提供できる。
一実施形態における距離画像撮像システムの構成を示すブロック図である。 関数方式による撮像回数決定手法を説明するためのグラフである。 関数方式による撮像回数決定処理の流れを示すフローチャートである。 逐次方式による撮像回数決定手法を説明するためのグラフである。 逐次方式による撮像回数決定処理の流れを示すフローチャートである。 撮像回数決定手法の変形例を説明するためのグラフである。 距離画像撮像システムの構成の変形例を示すブロック図である。 従来の距離画像の平均化処理の効果を示す概念図である。 対象物の変化に起因したバラツキ増大の一例を示す概念図である。
　以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。なお、本書において用語「距離画像」とは、測距センサから対象空間までの測距値を画素毎に格納した画像のことをいい、用語「光強度画像」とは、対象空間で反射した反射光の光強度値を画素毎に格納した画像のことをいう。
　図１は本実施形態における距離画像撮像システム１の構成を示している。距離画像撮像システム１は、対象物Ｗを含む対象空間の距離画像を出力する画像取得部１０と、測距センサ１０を制御する上位コンピュータ装置２０と、を備えている。画像取得部１０は、ＴＯＦカメラ、レーザスキャナ等のＴＯＦセンサでよいが、ステレオカメラ等の他の測距センサでもよい。上位コンピュータ装置２０は、有線又は無線を介して画像取得部１０に通信可能に接続する。上位コンピュータ装置２０は、ＣＰＵ（central processing unit）、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等のプロセッサを備えている。なお、上位コンピュータ装置２０の構成要素は全て、測距センサの一部の機能として実装されてもよい。
　画像取得部１０は、対象物Ｗに対して同じ撮像位置及び同じ撮像姿勢で対象物Ｗを複数回撮像して複数の第一距離画像を取得する。画像取得部１０は、第一距離画像に加えて、同じ撮像位置及び同じ撮像姿勢で対象物Ｗを撮像して光強度画像を取得する機能を兼ね備えているとよい。
　上位コンピュータ装置２０は、画像取得部１０で取得した複数の第一距離画像を合成して第二距離画像を生成する画像合成部２１を備えている。画像合成部２１は、複数の第一距離画像を対応する画素毎に平均化して第二距離画像を生成するが、複数の第一距離画像に対してＩＩＲフィルタ等の時間フィルタ、メディアンフィルタ、ガウシアンフィルタ等の空間フィルタ、又はこれらを組み合わせたフィルタ処理を行って第二距離画像を生成してもよい。このような合成距離画像によって測距バラツキが低減する。
　上位コンピュータ装置２０は、合成対象の画像領域を指定する画像領域指定部２４をさらに備えているとよい。合成対象の画像領域は、例えば対象物Ｗの特定の領域（例えば対象物Ｗの吸着面や対象物Ｗに対して所定の作業（スポット溶接、シーリング、ねじ締結等）を施す面等）でよい。合成対象の画像領域は、ユーザが手動で指定してもよいが、上位コンピュータ装置２０が自動で指定してもよい。手動指定の場合には、例えば取得した距離画像上又は光強度画像上でユーザが画像領域を指定するための入力ツール等を備えているとよい。合成対象の画像領域を制限することにより、距離画像の合成処理を高速化できる。
　上位コンピュータ装置２０は、距離画像又は光強度画像の中から対象物Ｗの少なくとも一部を写した画像領域を自動的に特定する対象物特定部２５をさらに備えていてもよい。対象物Ｗの特定手法としては、パターンマッチング等のマッチング処理、画像の特徴量を解析するブロブ解析、類似領域を分類するクラスタリング等の公知の手法を利用できる。特定された画像領域は、画像領域指定部２４によって合成対象の画像領域として指定される。
　距離画像撮像システム１は、例えばロボットシステムに適用可能である。距離画像撮像システム１は、ロボット４０と、ロボット４０を制御するロボット制御装置３０と、をさらに備え、ロボット制御装置３０は、上位コンピュータ装置２０に対して第二距離画像の要求指令を行い、上位コンピュータ装置２０から取得した第二距離画像（即ち、対象物Ｗの位置及び姿勢の少なくとも一方。以下同じ。）に基づいてロボット４０の動作を補正することができる。
　複数台のロボット４０と複数台のロボット制御装置３０を備えるロボットシステムでは、上位コンピュータ装置２０が一対多でロボット制御装置３０と通信可能に接続するとよい。このようなサーバ構成によれば、上位コンピュータ装置２０側では負荷の大きい画像処理を担い、ロボット制御装置３０側ではロボット４０の制御処理に性能を集中させることが可能になる。
　ロボット４０は、多関節ロボットであるが、パラレルリンク型ロボット等の他の産業用ロボットでもよい。ロボット４０は、対象物Ｗに対して作業を行うツール４１をさらに備えているとよい。ツール４１は、対象物Ｗを把持するハンドであるが、対象物Ｗに対して所定の作業（スポット溶接、シーリング、ねじ締結等）を行う他のツールでもよい。対象物Ｗは、搬送装置５０によって搬送されてロボット４０の作業領域内に到来するが、パレット（図示せず）等にバラ積みされたシステム構成であってもよい。搬送装置５０は、コンベヤであるが、無人搬送車（ＡＧＶ）等の他の搬送装置でもよい。
　画像取得部１０は、ロボット４０の先端部に設置されるが、ロボット４０とは別の固定点に設置されてもよい。ロボット制御装置３０は、教示装置（図示せず）で予め生成された動作プログラムに従ってロボット４０及びツール４１の動作を制御する動作制御部３１を備えている。対象物Ｗがロボット４０の作業領域内に到来すると、動作制御部３１は、搬送装置５０を一時停止させて第二距離画像の要求指令を上位コンピュータ装置２０に対して行うが、ロボット４０の先端部を対象物Ｗの動作に追従させながら第二距離画像の要求指令を上位コンピュータ装置２０に対して行ってもよい。
　搬送装置５０を一時停止させる場合、画像取得部１０は、静止している対象物Ｗに対して同じ撮像位置及び同じ撮像姿勢で複数の第一距離画像を取得することになる。一方で、ロボット４０が対象物Ｗの動作に追従している場合、画像取得部１０は、移動している対象物Ｗに対して同じ撮像位置及び同じ撮像姿勢で複数の第一距離画像を取得することになる。動作制御部３１は、上位コンピュータ装置２０から取得した第二距離画像に基づいてロボット４０及びツール４１の少なくとも一方の動作を補正する。
　上位コンピュータ装置２０は、第一距離画像の撮像回数を決定する撮像回数決定部２２を備えることを特徴としている。撮像回数決定部２２は、第二距離画像の要求指令を受けると、撮像指令を画像取得部１０に対して行い、複数の第一距離画像を取得する。撮像回数決定部２２は、第二距離画像における測距誤差を推定し、推定した測距誤差が予め定めた目標誤差以下になる、第一距離画像の撮像回数を決定する。なお、撮像回数決定部２２は、撮像回数の代わりに、画像合成部２１が画像取得部１０から取得する第一距離画像の取得枚数を決定してもよいし、又は画像合成部２１が時間フィルタを適用して第二距離画像を生成する場合には時間フィルタの時定数を決定してもよい。撮像回数決定手法としては、関数方式、逐次方式といった二つの手法があり、以下ではこれら二つの撮像回数決定手法について順に説明する。
　図２は関数方式による撮像回数決定手法を説明するためのグラフを示している。一般にＴＯＦセンサでは、距離画像と同時に光強度画像を取得でき、光強度画像における光強度値ｓと距離画像における測距バラツキσとの間にはグラフで示すような一定の相関がある。このグラフは次式で近似される。ここで、ｆは参照光の発光周波数であり、Ａ及びｋは測距センサ１０の構成部品の仕様の相違や個体特性バラツキを含む定数である。次式のＡ及びｋは、予め実験的に取得しておくか又は出荷時のキャリブレーションデータとして取得しておくことができる。
Figure JPOXMLDOC01-appb-M000001
　従って関数方式では、１回目の撮像で取得した光強度画像から光強度値ｓ1を取得し、取得した光強度値ｓ1を例えば式１に代入することにより、第一距離画像における測距誤差σ1を推定できる。或いは、このような近似式を用いず、予め実験的又は出荷時のキャリブレーション時に取得しておいた光強度値ｓと測距バラツキσの関係を複数記憶したデータテーブルに対して線形補間や多項式補間等を行って第一距離画像における測距誤差σ1を求めてもよい。さらに、第一距離画像における測距誤差σ1は概ね正規分布的なバラツキを持つため、Ｎ回撮像した第一距離画像を対応する画素毎に距離を平均化する平均化処理を行った第二距離画像の測距バラツキは、統計学の中心極限定理により１／Ｎ0.5の低減度で低減することが知られている。即ち、この測距バラツキσ1／Ｎ0.5を第二距離画像における測距誤差と考えれば、第二距離画像の測距誤差σ1／Ｎ0.5を推定できることになる。そして、推定した第二距離画像における測距誤差σ1／Ｎ0.5が予め定めた目標誤差σTG以下になる、第一距離画像の撮像回数Ｎを決定する。つまり、複数の第一距離画像を平均化処理して第二距離画像を生成する場合には、次式に基づいて撮像回数Ｎを決定することが可能である。なお、例示した平均化処理以外の合成処理を適用する場合の第二距離画像の測距誤差については夫々異なる低減度を適用することになる。
Figure JPOXMLDOC01-appb-M000002
　図１を再び参照すると、関数方式で撮像回数を決定する場合、撮像回数決定部２２は、画像取得部１０から取得した光強度画像に基づいて第一距離画像の撮像回数を決定することになる。つまり撮像回数決定部２２は、光強度画像における光強度値ｓと距離画像における測距バラツキσとの間の関係（式１）に基づいて光強度画像から第二距離画像における測距誤差σ1／Ｎ0.5を推定し、推定した第二距離画像における測距誤差σ1／Ｎ0.5が目標誤差σTG以下になる撮像回数Ｎを決定する。
　また撮像回数決定に際して、撮像回数決定部２２は、光強度画像の画素の単位で第二距離画像における測距誤差を推定してもよいし、又は光強度画像内の画素領域の単位で第二距離画像における測距誤差を推定してもよい。つまり撮像回数決定部２２は、例えば対象物Ｗの特定の画素の光強度値に基づいて第二距離画像における測距誤差を推定してもよいし、又は対象物Ｗの特定の画素領域（例えば３×３の画素領域）の光強度値の平均値又は最低値に基づいて第二距離画像における測距誤差を推定してもよい。
　さらに撮像回数決定に際して、光強度画像は、少なくとも１枚取得すればよいが、複数枚取得してもよい。複数枚取得する場合、撮像回数決定部２２は、複数の光強度画像の間で対応する画素の光強度値の平均値又は最低値に基づいて第二距離画像における測距誤差を推定してもよいし、又は複数の光強度画像の間で対応する画素領域（例えば３×３の画素領域）の光強度値の平均値又は最低値に基づいて第二距離画像における測距誤差を推定してもよい。このようにより多くの画素の光強度値を使用することにより、第二距離画像における測距誤差を（ひいては第一距離画像の撮像回数を）より精度の良い推定又はより確度高く目標誤差以下となる推定が可能になる。
　加えて撮像回数決定に際して、目標誤差σTGは、予め定めた固定値でもよいが、ユーザによって指定された指定値でもよい。指定値の場合、距離画像撮像システム１は、目標誤差σTGを指定する目標誤差指定部２３をさらに備えていてもよい。例えばユーザインタフェース上でユーザが目標誤差σTGを指定するための数値入力欄等を備えているとよい。目標誤差σTGを指定できることにより、ユーザの要望に応じた目標誤差で第二距離画像を生成することが可能になる。
　図３は関数方式による撮像回数決定処理の流れを示している。先ずステップＳ１０では、１回目の撮像（ｎ＝１）で第一距離画像とこれに対応する光強度画像を取得する。なお、複数回（ｎ＝２、３等）の撮像を行って複数の第一距離画像とこれらに対応する複数の光強度画像を取得してもよい。ステップＳ１１では、取得した画像に基づき、必要に応じて合成対象の画像領域を手動で指定するか、又は対象物Ｗの少なくとも一部を写した画像領域を自動で特定する。
　ステップＳ１２では、光強度画像（の画像領域）に基づいて第二距離画像における測距誤差を推定する。推定には、光強度画像（の画像領域）における光強度値ｓと第一距離画像における測距バラツキσとの間の関係を表す近似式１や、光強度値ｓと測距バラツキσのデータテーブルの線形補間や多項式補間等を用いる。このとき、光強度画像（の画像領域）の画素の単位で又は光強度画像（の画像領域）内の画素領域の単位で第二距離画像における測距誤差を推定してもよいし、又は複数の光強度画像（の画像領域）の間で対応する画素の単位で又は複数の光強度画像（の画像領域）の間で対応する画素領域の単位で第二距離画像における測距誤差を推定してもよい。
　ステップＳ１３では、推定した第一距離画像の測距誤差σ1と、例えば複数の第一距離画像を平均化処理して生成される第二距離画像の測距誤差の低減度１／Ｎ0.5と、に基づき、第二距離画像の測距誤差σ1／Ｎ0.5を推定し、推定した第二距離画像における測距誤差σ1／Ｎ0.5が目標誤差σTG以下になる撮像回数Ｎを決定する。なお、平均化処理以外のフィルタ処理を適用する場合は、夫々異なる低減度を適用して撮像回数Ｎを決定することになる。
　ステップＳ１４では、現在の撮像回数ｎが決定した撮像回数Ｎに達したか否かの判定を行う。ステップＳ１４において現在の撮像回数ｎが決定した撮像回数Ｎに達していない場合には（ステップＳ１４のＮＯ）、ステップＳ１５に進み、第一距離画像をさらに取得し（ｎ＝ｎ＋１）、ステップＳ１６で第一距離画像（の画像領域）を合成して（平均化処理等を行って）第二距離画像を生成する処理を繰り返す。ステップＳ１４において現在の撮像回数ｎが決定した撮像回数Ｎに達した場合には（ステップＳ１４のＹＥＳ）、第一距離画像の合成処理が終了し、この時の第二距離画像が最終的な第二距離画像となる。
　次に逐次方式による撮像回数決定手法について説明する。第一距離画像における測距バラツキは概ね正規分布的なバラツキを持ち、推定される第一距離画像における測距誤差をその標準偏差σで表すとした場合、この第一距離画像をｎ回撮像し対応する画素毎に距離を平均化する平均化処理を行った第二距離画像の測距誤差はσn／ｎ0.5に低減する。このように低減した第二距離画像における測距誤差σn／ｎ0.5が目標誤差σTG以下と考えると次式が得られる。
Figure JPOXMLDOC01-appb-M000003
　この式をさらに変形すると次式が得られる。
Figure JPOXMLDOC01-appb-M000004
　σn 2は統計学上分散と呼ばれる値であり、ｘ1～ｘnまでｎ個のデータの平均をμnとすると、その分散σn 2は次式の通りである。
Figure JPOXMLDOC01-appb-M000005
　ここで平均μn、分散σn 2は夫々、次式の通りデータの逐次計算によって求めることができる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　従って、撮像によって測距値が得られる毎に、平均μn、分散σn 2の逐次計算を行い、分散σn 2と撮像回数ｎとの間の関係を表す判定式４で判定することによって、平均μn（即ち第二距離画像）の測距誤差σn／ｎ0.5が目標誤差σTG以下かを推定できることになり、撮像回数ｎが自動的に決定されることになる。なお、適用する合成方法が異なり、撮像回数ｎに対する測距誤差の低減度が異なる場合には、低減度の比率を判定式４の右辺に乗じて判定を行うとよい。
　図４はこの逐次方式による撮像回数決定手法を説明するためのグラフを示している。ここでは第二距離画像の合成方法が第一距離画像の対応する画素毎に距離を平均化する平均化処理とする。図４では、グラフの横軸が撮像回数（特定画素の測距値の個数）を示し、グラフの縦軸が距離（ｃｍ）を示している。図４には、実際には１００ｃｍの距離にある対象物Ｗを１００回撮像（即ち、測距値を１００個取得）した例（黒点）が示されている。逐次方式では、第一距離画像を撮像する度に、測距値の逐次平均（破線）と逐次分散（一点鎖線）を計算していくことになる。
　図４には、目標誤差σTGが１．５ｃｍのときの判定式４の右辺値σn 2／１．５2（太線）の逐次計算値も示されている。符号Ａは、現在の撮像回数ｎ（実線）がσn 2／１．５2（太線）を超えた時点を示しており、判定式４の条件を満たしたことを示す。つまり第一距離画像の撮像回数ｎが３３回目のときに、ようやく第二距離画像における測距誤差σn 2が所定の信頼度で（後述するが、この例では６８．３％の信頼度で）目標誤差１．５ｃｍ以下になることを示している。なお、このとき平均値Ａｖｅは１０１．５６ｃｍであり、この値が第二距離画像における測距値となる。
　また撮像回数決定に際して、撮像回数決定部２２は、複数の第一距離画像の間で対応する画素の単位で測距値の分散σn 2を逐次計算するが、測距センサ１０から見て一定の高さの面を持つ対象物Ｗの画像領域のみを合成する場合には、複数の第一距離画像の間で対応する画素領域（例えば３×３の画素領域）の単位で分散σn 2を逐次計算してもよい。このようにより多くの画素の測距値を使用することにより、撮像回数をさらに低減でき、無駄時間の削減を実現できることになる。
　さらに撮像回数決定に際して、目標誤差σTGは、予め定めた固定値でもよいが、ユーザによって指定された指定値でもよい。例えば目標誤差σTGが１ｃｍで指定されたときの判定式３の右辺値σn 2／１2は、逐次分散σn 2そのものになるため、図４のグラフには現在の撮像回数ｎ（実線）が逐次分散σn 2（破線）を超えた時点Ｂも示されている。つまり第一距離画像の撮像回数ｎが９２回目のときに、ようやく第二距離画像における測距誤差σn 2が所定の信頼度で目標誤差１ｃｍ以下になることを示している。なお、このとき平均値Ａｖｅは１００．６１ｃｍであり、この値が第二距離画像の測距値となる。
　図５は逐次方式による撮像回数決定処理の流れを示している。先ずステップＳ２０では、１回目の撮像（ｎ＝１）で第一距離画像を取得する。ステップＳ２１では、取得した画像に基づき、必要に応じて合成対象の画像領域を手動で指定するか、又は対象物Ｗの少なくとも一部を写した画像領域を自動で特定する。
　ステップＳ２２では、第一距離画像をさらに取得し（ｎ＝ｎ＋１）、ステップＳ２３で複数の第一距離画像（の画像領域）を合成して（平均化処理等を行って）第二距離画像を生成する。なお、ステップＳ２３における第一距離画像の合成処理が、対応する画素毎に距離を平均化する平均化処理でない場合には、合成処理は撮像回数ｎを決定した後（即ち、ステップＳ２５の後）に行ってもよい。
　ステップＳ２４では、第二距離画像における測距誤差の推定に必要な距離の分散σn 2を逐次計算する。このとき、複数の第一距離画像（の画像領域）の間で対応する画素の単位で又は複数の第一距離画像（の画像領域）内で対応する画素領域の単位で分散σn 2を計算してもよい。
　ステップＳ２５では、逐次計算した分散σn 2と撮像回数ｎとの間の関係を表す判定式４を満たす撮像回数ｎであるかを判定する。換言すれば、第一距離画像の取得終了を判定することにより、第一距離画像の撮像回数ｎが自動的に決定されることになる。
　ステップＳ２５において撮像回数ｎが判定式４を満たさない場合には（ステップＳ２５のＮＯ）、ステップＳ２２に戻り、第一距離画像をさらに取得する。
　ステップＳ２５において撮像回数ｎが判定式４を満たす場合には（ステップＳ２５のＹＥＳ）、第一距離画像の取得を終了し、この時の第二距離画像が最終的な第二距離画像となる。
　なお、測距値の本来のバラツキに反し、最初の数個の測距値が偶発的に同程度の値であった場合には、逐次計算した分散σn 2が小さくなり、第二距離画像の誤差が所望の値以下になっていないにも拘わらず、判定式４を満たしてしまう可能性がある。この可能性を排除するため、ステップＳ２５の判定前にｎ≧Ｋ（Ｋは、最低撮像回数）の判定ステップを設けてもよい。
　また、ステップＳ２２～ステップＳ２５までのループは、第一距離画像の全領域又はステップＳ２１で指定された画像領域の全画素で判定式４が成立するまで続けてもよいし、又は画素故障等に配慮して画像領域内の画素数に対して予め定めた割合の画素で判定式４が成立したらループを抜けるようにしてもよく、また最大撮像回数を指定し最大撮像回数を超えた場合にはループを抜けるようにしてもよい。従って、距離画像撮像システム１は最低撮像回数指定部や、判定式４の成立割合を指定する成立割合指定部や、最大撮像回数指定部を備えていてもよい。例えばユーザインタフェース上でユーザがこれらを指定するための数値入力欄等を備えているとよい。
　次に第二距離画像における測距誤差の信頼度を指定する変形例について説明する。一般に値のバラツキが正規分布的である場合、サンプル数を大きくすることで高い精度で平均値を推定できるが、真の平均値に対して誤差は残存する。そのため、統計学では、信頼区間と、許容誤差ε、サンプル数ｎ、及び偏差σとの間の関係を定義している。図６は標準正規分布Ｎ（０，１）において信頼区間９５％との関係を示すグラフであるが、－１．９６σ～＋１．９６σの範囲に９５％の面積（＝確率）が分布することを示している。従って母集団の偏差σが既知で、信頼区間を９５％とした場合、許容誤差εとサンプル数ｎとの間には次式の関係がある。
Figure JPOXMLDOC01-appb-M000008
　従って、目標誤差σTGを９５％の信頼度で達成するための撮像回数Ｎは、関数方式の場合、推定した第一距離画像における測距誤差σ1から次式で求めることが可能である。
Figure JPOXMLDOC01-appb-M000009
　同様に逐次方式では、目標誤差σTGを９５％の信頼度で達成する撮像回数ｎであるか否かは、次式で判定すればよいことになる。
Figure JPOXMLDOC01-appb-M000010
　このように９５％信頼区間の場合、信頼係数は１．９６であるが、９０％信頼区間の場合には信頼係数が１．６５になり、９９％信頼区間の場合には信頼係数が２．５８になる。さらに信頼係数を１とした場合の信頼区間は６８．３％になる。従って、前述してきた関数方式や逐次方式で決定される撮像回数は、推定した測距誤差が６８．３％の信頼度で目標誤差σTG以下となる撮像回数であることに留意されたい。
　このように目標誤差に対して信頼度を付加した指定が行えることで、許容誤差に対してより直感的な指定が可能になり、ユーザの要望に応じた信頼度で第二距離画像を生成することが可能になる。図１を再び参照すると、距離画像撮像システム１は、このような信頼度ｃｄを指定する信頼度指定部２６をさらに備えていてもよい。信頼度ｃｄは、信頼区間ｃｉでもよいし、又は信頼係数ｃｃでもよい。例えばユーザインタフェース上でユーザが信頼度ｃｄを指定するための数値入力欄等を備えているとよい。
　図７は距離画像撮像システム１の構成の変形例を示している。距離画像撮像システム１は、前述の距離画像撮像システムとは異なり、上位コンピュータ装置２０を備えていない。つまり上位コンピュータ装置２０に実装されていた構成要素は全て、ロボット制御装置３０に組込まれている。この場合、ロボット制御装置３０が撮像指令を画像取得部１０に対して行うことになる。一台のロボット４０と一台のロボット制御装置３０を備えるロボットシステムでは、このようなスタンドアロン構成が好適である。なお、上位コンピュータ装置２０に実装されていた構成は全て、測距センサの一部の機能として実装されてもよい。
　なお、前述のプロセッサで実行されるプログラムや前述のフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよいし、或いは有線又は無線を介してＷＡＮ（wide area network）又はＬＡＮ（local area network）上のサーバ装置から配信して提供してもよい。
　以上の実施形態によれば、撮像回数が自動的に調整されるため、対象物Ｗが変化しても安定した測距精度と無駄時間の削減を実現した画像合成技術を提供できる。
　本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。
　１　距離画像撮像システム
　１０　画像取得部（測距センサ）
　２０　上位コンピュータ装置
　２１　画像合成部
　２２　撮像回数決定部
　２３　目標誤差指定部
　２４　画像領域指定部
　２５　対象物特定部
　２６　信頼度指定部
　３０　ロボット制御装置
　３１　動作制御部
　４０　ロボット
　４１　ツール
　５０　搬送装置
　Ｗ　対象物

Claims (14)

  1. 　対象物に対して同じ撮像位置及び同じ撮像姿勢で前記対象物を複数回撮像して複数の第一距離画像を取得する画像取得部と、前記複数の前記第一距離画像を合成して第二距離画像を生成する画像合成部と、を備えた距離画像撮像システムであって、
    　前記第二距離画像における測距誤差を推定し、推定した前記測距誤差が予め定めた目標誤差以下になる、前記第一距離画像の撮像回数を決定する撮像回数決定部を備える、距離画像撮像システム。
  2. 　前記画像取得部は前記同じ撮像位置及び前記同じ撮像姿勢で前記対象物を撮像して光強度画像を取得する機能をさらに備え、前記撮像回数決定部は前記光強度画像に基づいて前記第一距離画像の前記撮像回数を決定する、請求項１に記載の距離画像撮像システム。
  3. 　前記撮像回数決定部は光強度と測距バラツキとの間の関係に基づいて前記光強度画像から前記測距誤差を推定する、請求項２に記載の距離画像撮像システム。
  4. 　前記撮像回数決定部は、前記光強度画像の画素の単位で又は前記光強度画像内の画素領域の単位で前記測距誤差を推定する、請求項３に記載の距離画像撮像システム。
  5. 　前記撮像回数決定部は、前記第一距離画像が撮像される毎に、距離の分散を逐次計算し、前記分散と前記撮像回数との間の関係に基づいて前記第一距離画像の取得終了を判定する、請求項１に記載の距離画像撮像システム。
  6. 　前記撮像回数決定部は、前記複数の前記第一距離画像の間で対応する画素の単位で又は前記複数の前記第一距離画像の間で対応する画素領域の単位で前記分散を逐次計算する、請求項５に記載の距離画像撮像システム。
  7. 　合成対象の画像領域を指定する画像領域指定部をさらに備え、前記撮像回数決定部は前記画像領域指定部によって指定された前記画像領域における前記測距誤差を推定する、請求項１から６のいずれか一項に記載の距離画像撮像システム。
  8. 　前記対象物の少なくとも一部を写した画像領域を特定する対象物特定部をさらに備え、前記画像領域指定部は前記対象物特定部によって特定された前記画像領域を前記合成対象の画像領域として指定する、請求項７に記載の距離画像撮像システム。
  9. 　前記第二距離画像における前記測距誤差の信頼度を指定する信頼度指定部をさらに備える、請求項１から８のいずれか一項に記載の距離画像撮像システム。
  10. 　前記画像取得部がロボット先端部又は固定点に設置された、請求項１から９のいずれか一項に記載の距離画像撮像システム。
  11. 　前記画像取得部がＴＯＦセンサである、請求項１から１０のいずれか一項に記載の距離画像撮像システム。
  12. 　ロボットと、前記ロボットを制御するロボット制御装置と、前記画像合成部及び前記撮像回数決定部を備えた上位コンピュータ装置と、をさらに備え、前記ロボット制御装置が前記第二距離画像の要求指令を前記上位コンピュータ装置に対して行う、請求項１から１１のいずれか一項に記載の距離画像撮像システム。
  13. 　ロボットと、前記ロボットを制御するロボット制御装置と、をさらに備え、前記画像合成部及び前記撮像回数決定部は前記ロボット制御装置に組込まれる、請求項１から１１のいずれか一項に記載の距離画像撮像システム。
  14. 　前記ロボット制御装置は前記第二距離画像に基づいて前記ロボットの動作を補正する、請求項１２又は１３に記載の距離画像撮像システム。
PCT/JP2021/009022 2020-03-12 2021-03-08 撮像回数を調整する距離画像撮像システム WO2021182405A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180020624.8A CN115280183A (zh) 2020-03-12 2021-03-08 调整拍摄次数的距离图像拍摄系统
US17/905,642 US20230130830A1 (en) 2020-03-12 2021-03-08 Distance image capturing system adjusting number of image capturing operations
DE112021000592.8T DE112021000592T5 (de) 2020-03-12 2021-03-08 System zur Erfassung von Bildern aus der Entfernung, das die Anzahl der Erfassungen von Bildern einstellt
JP2022507183A JP7410271B2 (ja) 2020-03-12 2021-03-08 撮像回数を調整する距離画像撮像システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-043475 2020-03-12
JP2020043475 2020-03-12

Publications (1)

Publication Number Publication Date
WO2021182405A1 true WO2021182405A1 (ja) 2021-09-16

Family

ID=77671761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009022 WO2021182405A1 (ja) 2020-03-12 2021-03-08 撮像回数を調整する距離画像撮像システム

Country Status (5)

Country Link
US (1) US20230130830A1 (ja)
JP (1) JP7410271B2 (ja)
CN (1) CN115280183A (ja)
DE (1) DE112021000592T5 (ja)
WO (1) WO2021182405A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001317935A (ja) * 2000-05-09 2001-11-16 Minolta Co Ltd 測距装置
JP2006349506A (ja) * 2005-06-16 2006-12-28 Sokkia Co Ltd 距離測定装置及びその方法
JP2007155356A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 測距装置および測距方法
JP2008241435A (ja) * 2007-03-27 2008-10-09 Stanley Electric Co Ltd 距離画像生成装置
JP2010091377A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp 光学式測距装置及び方法
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
WO2015166712A1 (ja) * 2014-05-02 2015-11-05 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
JP2020146773A (ja) * 2019-03-12 2020-09-17 株式会社不二越 ハンドリング装置およびロボット装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225807A (ja) 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
JP2017181488A (ja) 2016-03-23 2017-10-05 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法及びプログラム
JP6859910B2 (ja) 2017-09-22 2021-04-14 株式会社デンソーウェーブ 撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001317935A (ja) * 2000-05-09 2001-11-16 Minolta Co Ltd 測距装置
JP2006349506A (ja) * 2005-06-16 2006-12-28 Sokkia Co Ltd 距離測定装置及びその方法
JP2007155356A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 測距装置および測距方法
JP2008241435A (ja) * 2007-03-27 2008-10-09 Stanley Electric Co Ltd 距離画像生成装置
JP2010091377A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp 光学式測距装置及び方法
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
WO2015166712A1 (ja) * 2014-05-02 2015-11-05 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
JP2020146773A (ja) * 2019-03-12 2020-09-17 株式会社不二越 ハンドリング装置およびロボット装置

Also Published As

Publication number Publication date
DE112021000592T5 (de) 2022-12-01
CN115280183A (zh) 2022-11-01
JPWO2021182405A1 (ja) 2021-09-16
JP7410271B2 (ja) 2024-01-09
US20230130830A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
US7526121B2 (en) Three-dimensional visual sensor
US20160379370A1 (en) Information processing apparatus, information processing method, and storage medium
US10083512B2 (en) Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
JP4608631B2 (ja) 車両用画像処理装置、運転支援装置
US11328442B2 (en) Object detection system using TOF sensor
WO2013132947A1 (ja) 距離算出装置及び距離算出方法
CN106447730B (zh) 参数估计方法、装置和电子设备
US5103105A (en) Apparatus for inspecting solder portion of a circuit board
WO2009110082A1 (ja) 画像撮影装置、画像撮影方法および画像撮影プログラム
KR20170048720A (ko) 구조광 기반 3차원 카메라의 최적 노출 시간 및 횟수 결정 방법과 시스템
JP6444233B2 (ja) 距離計測装置、距離計測方法、およびプログラム
CN112313541A (zh) 设备和方法
US10839479B2 (en) Imaging apparatus, image processing apparatus, image processing method, and medium
US9714829B2 (en) Information processing apparatus, assembly apparatus, information processing method, and storage medium that generate a measurement pattern having different amounts of irradiation light depending on imaging regions
KR20120048958A (ko) 객체 추적 및 위치 추정 방법
WO2021182405A1 (ja) 撮像回数を調整する距離画像撮像システム
JP2004062757A5 (ja)
JP6577595B2 (ja) 車両用外界認識装置
US9560250B2 (en) Information processing apparatus, measurement system, control system, light amount determination method and storage medium
KR101887945B1 (ko) 3d 카메라의 노출 시간 결정 방법 및 장치
JP7300331B2 (ja) 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム
JPWO2018168182A1 (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
JP6478492B2 (ja) 画像処理装置およびその方法
JP6959444B2 (ja) 計測情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21766936

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507183

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21766936

Country of ref document: EP

Kind code of ref document: A1