JP7364439B2 - Ｔｏｆセンサを用いた物体検出システム - Google Patents

Ｔｏｆセンサを用いた物体検出システム Download PDF

Info

Publication number
JP7364439B2
JP7364439B2 JP2019212636A JP2019212636A JP7364439B2 JP 7364439 B2 JP7364439 B2 JP 7364439B2 JP 2019212636 A JP2019212636 A JP 2019212636A JP 2019212636 A JP2019212636 A JP 2019212636A JP 7364439 B2 JP7364439 B2 JP 7364439B2
Authority
JP
Japan
Prior art keywords
imaging
tof sensor
imaging position
calculation unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019212636A
Other languages
English (en)
Other versions
JP2021085683A (ja
Inventor
稔 中村
祐輝 高橋
淳 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2019212636A priority Critical patent/JP7364439B2/ja
Priority to US17/029,037 priority patent/US11328442B2/en
Priority to DE102020007045.0A priority patent/DE102020007045A1/de
Priority to CN202011312029.5A priority patent/CN112835054A/zh
Publication of JP2021085683A publication Critical patent/JP2021085683A/ja
Application granted granted Critical
Publication of JP7364439B2 publication Critical patent/JP7364439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Manipulator (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、物体検出システムに関し、特にＴＯＦセンサを用いた物体検出システムに関する。
物体までの距離を測定する測距装置として、光の飛行時間に基づき距離を出力するＴＯＦ（time of flight）センサが公知である。ＴＯＦセンサは、所定周期で強度変調した参照光を対象空間に照射し、照射された参照光と対象空間からの反射光との間の位相差に基づき対象空間までの距離を算出する位相差方式（いわゆる間接法）を採用するものが多い。この位相差は反射光の受光量から求められる。斯かるＴＯＦセンサに関連する先行技術としては、次の文献が公知である。
特許文献１には、多重反射等に起因した距離画像のノイズの影響を受け難くし、高精度に対象物体の位置・姿勢を推定するため、画像特徴の検出は距離画像に対応した二次元画像から行い、画像特徴の座標算出は距離画像から行うことが記載されている。
特許文献２には、少ない計算コストで物品の三次元位置姿勢を認識するため、レンジセンサで取得した三次元情報に基づき、カメラで取得した二次元画像上で物品を探索する領域を探索条件として設定し、設定された探索条件内で二次元画像から物品の二次元位置情報を取得し、取得した二次元位置情報に基づいて三次元情報から物品の三次元位置姿勢の認識に使用する三次元点データを選定することが記載されている。
特許文献３には、ＴＯＦ法において、近距離の被写体に合わせて光を照射すると遠距離の被写体に届く光が少なくなって遠距離の被写体の測距精度が低下する一方で、遠距離の被写体に合わせて光を照射すると近距離の被写体に届く光は多くなって画素の電荷が飽和してしまうため、距離情報に基づいて第１の撮像条件を設定し、第１の撮像条件で被写体を撮像することが記載されている。
特許文献４には、雨や雪、窓汚れ等の悪環境であってもより一層感度を向上させて安定した距離検出性能を得るため、環境条件を検出し、検出された環境条件に応じて投光部の発光周期を変化させてレーザ光の検出時間を変更することが記載されている。
特開２０１２－１２３７８１号公報 特開２０１３－１０１０４５号公報 特開２０１１－６４４９８号公報 特開平１０－１９７６３５号公報
ＴＯＦセンサはその測距原理に起因した種々の弱点がある。一つの弱点は、撮像対象の距離や反射率に起因したものである。一般に、ＴＯＦセンサの測距値にはショットノイズの影響によるバラツキがあり、バラツキ幅は参照光の発光量等を増加させることによって低減するものの、参照光が強過ぎると、近距離物体や高反射率物体において、いわゆるサチュレーション、ハレーション等が発生して測距不能になることがある。他方、遠距離物体や低反射率物体においては、参照光の反射光量が不足して測距精度が悪化することがある。また、参照光と反射光との間の位相差を検出するＴＯＦセンサの測距原理上、参照光の発光周期が小さい程（発光周波数が高い程）、バラツキが低減するが、参照光の発光周期を小さくすると（発光周波数を高くすると）、測距レンジが縮小し、いわゆるエリアジングによる測距誤りを発生し易くなる。
ＴＯＦセンサのもう一つの弱点は、マルチパス（多重反射）の影響に起因したものである。例えば対象物の近傍に強反射物体があり、強反射物体で反射した参照光が対象物に照射されることにより、対象物の測距値が後方へシフトすることがある。
そこで、ＴＯＦセンサを用いて対象物の位置を精度良く検出する技術が求められている。
本開示の一態様は、対象空間に照射した参照光と対象空間からの反射光との位相差に基づき対象空間の画像を出力するＴＯＦセンサと、出力された画像に基づいて対象空間に存在する対象物の位置を検出する物体検出部と、検出された対象物の画像に基づいてＴＯＦセンサのインテグレーションタイム及び発光周期のうちの少なくとも一方を含む撮像条件を算出する撮像条件算出部と、検出された対象物の画像に基づいて変更後の撮像位置を少なくとも算出する撮像位置姿勢算出部と、算出された撮像位置へＴＯＦセンサ又は対象物の位置を少なくとも変更する移動機構と、を備え、撮像位置姿勢算出部は、検出された対象物に対するマルチパスの影響を与える物体の面を特定し、ＴＯＦセンサが照射する参照光が物体の面に照射されないように撮像位置の算出が可能であり、物体検出部は、出力された画像と予め記憶された対象物又は対象物の特徴部位の基準データとに基づいて対象物の類似度を示す評価値をさらに算出し、算出された評価値が予め定めた閾値より低い場合、撮像条件算出部が撮像条件を算出するか、又は撮像位置姿勢算出部が撮像位置を算出する、物体検出システムを提供する。
また、本開示の一態様は、対象空間に照射した参照光と対象空間からの反射光との位相差に基づき対象空間の画像を出力するＴＯＦセンサと、出力された画像に基づいて対象空間に存在する対象物の位置を検出する物体検出部と、検出された対象物の画像に基づいてＴＯＦセンサのインテグレーションタイム及び発光周期のうちの少なくとも一方を含む撮像条件を算出する撮像条件算出部と、検出された対象物の画像に基づいて変更後の撮像位置を少なくとも算出する撮像位置姿勢算出部と、算出された撮像位置へＴＯＦセンサ又は対象物の位置を少なくとも変更する移動機構と、を備え、撮像位置姿勢算出部は、検出された対象物に対するマルチパスの影響を与える物体の面を特定し、ＴＯＦセンサが照射する参照光が物体の面に照射されないように撮像位置の算出が可能であり、撮像位置姿勢算出部は、検出された対象物又は対象物の特徴部位が画像内でより大きく撮像されるように撮像位置を算出する、物体検出システムも提供する。
本開示の他の態様は、対象空間に照射した参照光と対象空間からの反射光との位相差に基づき対象空間の画像を出力するＴＯＦセンサと、出力された画像に基づいて対象空間に存在する対象物の位置を検出する物体検出部と、検出された対象物の画像に基づいてＴＯＦセンサのインテグレーションタイム及び発光周期のうちの少なくとも一方を含む撮像条件を算出する撮像条件算出部と、検出された対象物の画像に基づいて変更後のＴＯＦセンサの撮像位置を少なくとも算出する撮像位置姿勢算出部と、算出された撮像位置へＴＯＦセンサ又は対象物の位置を少なくとも変更する移動機構と、を備え、撮像位置姿勢算出部は、検出された対象物に対するマルチパスの影響を与える物体の面を特定し、ＴＯＦセンサが照射する参照光が物体の面に照射されないように撮像位置の算出が可能であり、物体検出部は、出力された画像と予め記憶された対象物又は対象物の特徴部位の基準データとに基づいて対象物の類似度を示す評価値をさらに算出し、算出された評価値が予め定めた閾値より低い場合、撮像条件算出部が撮像条件を算出するか、又は撮像位置姿勢算出部が撮像位置を算出する、物体検出システムを提供する。
また、本開示の他の態様は、対象空間に照射した参照光と対象空間からの反射光との位相差に基づき対象空間の画像を出力するＴＯＦセンサと、出力された画像に基づいて対象空間に存在する対象物の位置を検出する物体検出部と、検出された対象物の画像に基づいてＴＯＦセンサのインテグレーションタイム及び発光周期のうちの少なくとも一方を含む撮像条件を算出する撮像条件算出部と、検出された対象物の画像に基づいて変更後のＴＯＦセンサの撮像位置を少なくとも算出する撮像位置姿勢算出部と、算出された撮像位置へＴＯＦセンサ又は対象物の位置を少なくとも変更する移動機構と、を備え、撮像位置姿勢算出部は、検出された対象物に対するマルチパスの影響を与える物体の面を特定し、ＴＯＦセンサが照射する参照光が物体の面に照射されないように撮像位置の算出が可能であり、撮像位置姿勢算出部は、検出された対象物又は対象物の特徴部位が画像内でより大きく撮像されるように撮像位置を算出する、物体検出システムも提供する。
本開示の一態様によれば、ＴＯＦセンサの画像から検出された対象物の画像に基づいて撮像条件及び撮像位置のうちの少なくとも一方を変更することにより、対象物の位置を精度良く検出できる。
一実施形態における物体検出システムの構成を示すブロック図である。 代表的なＴＯＦセンサの受光と発光のタイミングを示す図である。 撮像条件（インテグレーションタイム）の算出方法の一例を示す図である。 撮像条件（インテグレーションタイム）の算出方法の変形例を示す図である。 撮像条件（インテグレーションタイム）の算出方法の変形例を示す図である。 撮像条件（インテグレーションタイム）の算出方法の他の変形例を示す図である。 撮像条件（インテグレーションタイム）の算出方法の他の変形例を示す図である。 エリアジングによる測距誤りの発生と適切な発光周波数の算出方法の一例を示す図である。 撮像位置の算出方法の一例を示す図である。 対象物をより大きく撮像する位置変更の前後の画像を示す図である。 対象物に対して予め設定された撮像位置及び撮像姿勢の一例を示す斜視図である。 対象物に対して予め設定された撮像位置及び撮像姿勢の一例を示す斜視図である。 マルチパスの影響を与える物体の面が見える撮像位置を示す図である。 マルチパスの影響を与える物体の面が見えなくなる撮像位置を示す図である。 移動機構の一例を示す図である。 移動機構の変形例を示す図である。 一実施形態における物体検出システムの動作を示すフローチャートである。 物体検出システムの構成の変形例を示すブロック図である。
以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。
図１は本実施形態における物体検出システム１の構成を示している。物体検出システム１は、例えばＴＯＦセンサ１０をロボットビジョンに使用したロボットシステムであり、ＴＯＦセンサ１０と、有線又は無線を介してＴＯＦセンサ１０に接続する制御装置２０と、制御装置２０によって制御されるロボット３０及びツール３１と、を備えていてよい。
ＴＯＦセンサ１０は、複数の発光素子及び複数の受光素子を備えたＴＯＦカメラでよいが、一つの発光素子及び一つの受光素子を備えたレーザスキャナ等でもよい。ＴＯＦセンサ１０は、いわゆる間接法のＴＯＦセンサであり、対象空間に照射した参照光Ｓと対象空間からの反射光との間の位相差に基づいて対象空間の距離画像を出力する。さらにＴＯＦセンサ１０は、対象空間から受光した光の光強度画像を出力してもよい。また距離画像及び光強度画像は、視認性を考慮したグレースケール画像でもよいし、又は色の変位で数値の大小を表したＲＧＢ画像でもよく、また単に配列型の数値でもよい。理解を容易にするため、以下では、ＴＯＦセンサ１０から出力される画像データを全て、単に「画像」という。
制御装置２０は、ＣＰＵ（central processing unit）、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等を備えた古典コンピュータ装置でよいが、量子プロセッサを備えた量子コンピュータ装置でもよい。制御装置２０は、ＴＯＦセンサ１０から出力された画像に基づいて対象物Ｗの位置（及び必要に応じて姿勢）を検出し、検出された対象物Ｗの位置に基づいて予め教示された移動機構の一部としてのロボット３０、及び移動機構の一部としてのツール３１の動作を補正するように構成される。
ロボット３０は、多関節ロボットでよいが、パラレルリンク型ロボット等の他の産業用ロボットでもよい。ツール３１は、対象物Ｗを吸着する吸着式ハンドでよいが、複数の爪部を備えたハンドでもよいし、又は対象物Ｗに対して行う作業内容に応じて他のツールでもよい。他のツールとしては、例えばシーリングツール、溶接ツール、ねじ締結ツール、半田付けツール、レーザ加工ツール等を含む。
図２は代表的なＴＯＦセンサ１０の発光と受光のタイミングを示している。ＴＯＦセンサ１０は、参照光を所定の発光周期Ｔで対象空間に照射し、対象空間からの反射光を複数の撮像タイミングで撮像し、電荷量Ｑ１～Ｑ４を夫々取得する。撮像タイミングは、参照光に対して、例えば０°、９０°、１８０°、及び２７０°だけ位相をずらしたタイミングでよいが、これに限定されない。ＴＯＦセンサ１０は、例えば公知の下記式に基づき、対象空間における距離ｄ、及び参照光の反射強度ｓを画素毎に算出する。ここで、式中のｃは光速であり、ｆは参照光の発光周波数である。なお、距離ｄ及び参照光の反射強度ｓは種々の算出手法が提案されており、本開示は当該算出手法を限定するものではない。
Figure 0007364439000001
Figure 0007364439000002
ＴＯＦセンサ１０は、予め定めた撮像条件及び予め定めた撮像位置で撮像を行う。撮像条件は、インテグレーションタイムＩＴ、参照光の発光周期Ｔ、参照光の発光強度、必要撮像回数Ｎ等を含む。インテグレーションタイムＩＴは、１つの電荷量Ｑｎを蓄積する積分時間に相当する。参照光の発光周期Ｔの代わりに、参照光の発光周波数ｆ（＝１／Ｔ）でもよい。参照光の発光強度は、発光させる発光素子の数で調整してもよいし、又は発光素子へ供給する電圧値又は電流値で調整してもよい。必要撮像回数Ｎは、複数の画像を合成処理（例えば画素毎に平均化）するために必要な、ＴＯＦセンサ１０で撮像して生成する画像の枚数に相当する。これにより、例えばＴＯＦセンサ１０は通常のフレームレートにとらわれない高速な連続撮像動作が可能になる。Ｎ枚の画像は、ＴＯＦセンサ１０側で合成してもよいし、又は制御装置２０側（或いは後述の上位コンピュータ装置５０側）で合成してもよい。前者の場合、ＴＯＦセンサ１０から出力される画像が合成画像となる。また、必要撮像回数Ｎの代わりに、時間フィルタ定数Ｎでもよい。時間フィルタとは、複数の時系列画像に適用される画像処理フィルタのことをいい、時間フィルタ定数Ｎは、時系列画像の枚数に相当する。時間フィルタは、ＴＯＦセンサ１０側で適用してもよいし、又は制御装置２０側（或いは後述の上位コンピュータ装置５０側）で適用してもよい。
図１を再び参照すると、物体検出システム１は、ＴＯＦセンサ１０から出力された画像に基づいて対象物Ｗの位置（必要に応じて姿勢も含む。以下同様。）を検出する物体検出部２１と、検出された対象物Ｗの画像に基づいて撮像条件を算出する撮像条件算出部２２と、算出された撮像条件にＴＯＦセンサ１０の設定を変更する撮像条件変更部２３と、を備え、物体検出部２１は、変更された撮像条件で出力された画像に基づいて対象物Ｗの位置を検出する。
さらに物体検出システム１は、検出された対象物Ｗの画像に基づいて撮像位置（必要に応じて撮像姿勢を含む。以下同様。）を算出する撮像位置姿勢算出部２４と、算出された撮像位置へＴＯＦセンサ１０又は対象物Ｗの位置（必要に応じて姿勢を含む。以下同様。）を変更する移動機構と、を備えていてもよい。この場合、物体検出部２１は、変更された撮像位置及び変更された撮像条件の少なくとも一方で出力された画像に基づいて対象物Ｗの位置を検出する。移動機構は、ＴＯＦセンサ１０を支持するロボット３０でよいが、対象物Ｗを支持するロボット３０でもよい。ロボット３０は、算出された撮像位置へＴＯＦセンサ１０又は対象物Ｗの位置を変更する。
代替実施形態として、物体検出システム１は、撮像条件算出部２２及び撮像条件変更部２３を備えなくてもよい。この場合、物体検出システム１は、撮像位置姿勢算出部２４及び移動機構を備え、物体検出部２１は、変更された撮像位置で出力された画像に基づいて対象物Ｗの位置を検出することになる。
物体検出部２１は、ＴＯＦセンサ１０から出力された画像と、記憶部２５（例えばメモリ）に予め記憶された対象物Ｗ又は対象物Ｗの特徴部位の基準データとに基づいて対象物Ｗの類似度を示す評価値を算出することにより、対象物Ｗの位置を検出する。物体検出部２１は、公知の物体検出手法、例えば画素照合を行うマッチング処理、画素塊の特徴量（面積、重心、長軸、短軸、コーナー数等）を解析するブロブ解析、機械学習又は深層学習によって構築した学習モデルを用いて物体を認識する物体認識等のうちの少なくとも一つを用いて対象物Ｗの位置を検出するとよい。基準データは、対象物Ｗ又は対象物Ｗの特徴部位の基準画像、基準モデル、基準特徴量、又は学習データでよく、二次元データでも三次元データでもよい。いずれの物体検出手法においても、物体検出部２１は、公知の評価関数を用いて対象物Ｗの類似度を示す評価値の算出を行い、最も評価値（類似度）が高い位置を対象物Ｗの位置として検出する。またこの時の評価値は後述の撮像条件算出部２２での判定に用いられる。評価関数は、例えばＳＳＤ（sum of absolute difference）、ＳＡＤ（sum of squared difference）、ＮＣＣ（normalized cross-correlation）、ＺＮＣＣ（zero-means normalized cross-correlation）等を利用してよい。評価関数は、機械学習又は深層学習等によって構築された学習モデルでもよい。検出された対象物Ｗ又は対象物Ｗの特徴部位が複数ある場合には、例えば評価値が高い順に、Ｗ１、Ｗ２、Ｗ３、・・・というようにラベルを割当て、後続の処理を行うとよい。
撮像条件算出部２２は、算出された評価値が予め定めた閾値より低い場合に、例えば最も評価値が高く検出された対象物Ｗ又は対象物Ｗの特徴部位に対して、ＴＯＦセンサ１０の最適な撮像条件を算出するとよい。撮像条件は、前述の通り、インテグレーションタイム、参照光の発光周期、参照光の発光強度、必要撮像回数等のうちの少なくとも一つを含む。撮像条件算出部２２は、検出された対象物Ｗ又は対象物Ｗの特定部位における光強度、距離等の画像に基づいて、即ち、取得した画像内において対象物Ｗ又は対象物Ｗの特徴部位として特定した画像領域の画像に基づいて、撮像条件を算出するとよい。言い換えると、予め定めた撮像条件及び予め定めた撮像位置で取得した第１画像に基づいて、物体検出部２１が対象物Ｗ又は対象物Ｗの特徴部位の位置と評価値の算出を行い、算出された評価値が予め定めた閾値より低い場合、撮像条件算出部２２が撮像条件を算出する。この算出された撮像条件で撮像された第２画像に基づいて、再度物体検出部２１は対象物Ｗ又は対象物Ｗの特徴部位の位置と評価値の算出を行う。
（インテグレーションタイムの算出方法１）
図３はインテグレーションタイムの算出方法の一例を示している。一般にＴＯＦセンサ１０の測距バラツキの大きさσは下記式で表すことができる。ここで、式中のｓは対象物Ｗ又は対象物Ｗの特定部位における参照光の反射強度であり、ｋはＴＯＦセンサ１０の定常的なノイズ成分や外光（環境光）の反射光強度等である。
Figure 0007364439000003
上記式から分かるように、バラツキの少ない測距値を得るためには、参照光の反射強度ｓを大きくすることが効果的である。インテグレーションタイムは、いわゆる一般的なカメラのシャッターが開いている露光時間と等価であるため、インテグレーションタイムを大きくすることによって参照光の反射強度ｓを大きくすることができる。サチュレーションが発生しない程度に参照光の反射強度ｓを大きくするため、撮像条件算出部２２は、例えば下記式に示すように、検出された対象物Ｗ又は対象物Ｗの特定部位における参照光の反射強度ｓ1と、サチュレーションの発生レベルｓstとの比に基づいてインテグレーションタイムＩＴ2を算出するとよい。ここで、式中のＩＴ1は調整前のインテグレーションタイムであり、αは予め定めたマージンである。本式でのαは、測定された参照光の反射強度ｓ１にマージンとして加えるべき比率を示すが、マージンは定数でもよく又は関数を使って求めてもよい。この場合、撮像条件変更部２３は、算出されたインテグレーションタイムＩＴ2にＴＯＦセンサ１０の設定を変更し、物体検出部２１は、変更されたインテグレーションタイムＩＴ2で出力された画像に基づいて対象物Ｗの位置を検出することになる。このように対象物Ｗ又は対象物Ｗの特定部位における参照光の反射強度ｓ1に基づいてインテグレーションタイムＩＴ2を調整することにより、対象物Ｗの測距バラツキが低減され、物体検出部２１が検出する対象物Ｗの位置の精度は向上する。
Figure 0007364439000004
（インテグレーションタイムの算出方法２）
図４及び図５はインテグレーションタイムの算出方法の変形例を示している。ＴＯＦセンサ１０は、参照光Ｓの反射光以外に、測定環境の周辺に存在する外光Ａ（環境光ともいう。）の反射光も受光する。図５に示すように参照光の反射強度ｓ1のみでインテグレーションタイムＩＴを調整した場合、外光の反射強度ａ１が強いときにサチュレーションが発生することがある。またインテグレーションタイムＩＴを増加させた場合、受光する外光の反射強度ａ２も比例的に増加するため、さらにサチュレーションが発生し易くなる。従って、外光の反射強度ａ１を加味してインテグレーションタイムＩＴを調整するとよい。外光の反射強度ａ１は例えば下記式から算出してもよいし、又は参照光Ｓを発光しないで（即ち、外光の反射光のみで）撮像して取得した電荷量から求めてもよい。撮像条件算出部２２は、例えば下記式に示すように、外光の反射強度ａ１を加味したインテグレーションタイムＩＴ2を算出する。この場合、撮像条件変更部２３は、算出されたインテグレーションタイムＩＴ2にＴＯＦセンサ１０の設定を変更し、物体検出部２１は、変更されたインテグレーションタイムＩＴ2で出力された画像に基づいて対象物Ｗの位置を検出することになる。このように対象物Ｗ又は対象物Ｗの特定部位における外光の反射強度ａ１を加味してインテグレーションタイムＩＴ2を調整することにより、外光Ａが強い環境下であっても、サチュレーションを発生させずに対象物Ｗの測距バラツキを低減できることになる。
Figure 0007364439000005
Figure 0007364439000006
（インテグレーションタイムの算出方法３）
図６及び図７はインテグレーションタイムの算出方法の他の変形例を示している。撮像位置の変更を伴う場合には、対象物Ｗ又は対象物Ｗの特定部位までの距離ｄ1、ｄ２を加味してインテグレーションタイムを算出するとよい。一般に参照光Ｓの反射強度ｓは、下記式に示すように対象物Ｗ又は対象物Ｗの特定部位までの距離ｄの二乗に反比例する。従って、対象物Ｗに接近した撮像位置Ｐ２における参照光の反射光Ｓ２の反射強度ｓ２は、撮像位置Ｐ１における参照光の反射光Ｓ１の反射強度ｓ１と比べて、撮像位置Ｐ１における対象物Ｗ又は対象物Ｗの特定部位までの距離ｄ１と撮像位置Ｐ２における対象物Ｗ又は対象物Ｗの特定部位までの距離ｄ２との比の二乗に応じて大きくなる。このためＴＯＦセンサ１０が対象物Ｗ又は対象物Ｗの特定部位に接近したときにサチュレーションが発生しない程度に参照光の反射光Ｓ２の反射強度ｓ２を大きくするため、撮像条件算出部２２は、例えば下記式に示すように、撮像位置の変更前の対象物Ｗ又は対象物Ｗの特定部位までの距離ｄ1と、撮像位置の変更後の対象物Ｗ又は対象物Ｗの特定部位までの距離ｄ2との比の二乗を加味してインテグレーションタイムＩＴ2を算出するとよい。なお、距離ｄ2は、撮像位置Ｐ１で撮像した画像から算出した対象物Ｗまでの距離ｄ１と次の撮像位置Ｐ２までの移動ベクトルＰから算出できる。また例えば対象物Ｗが暗い物体で撮像位置を先ず変更した後に撮像条件を調整する場合、距離ｄ2は、撮像位置Ｐ２へ移動した後にＴＯＦセンサ１０から出力された対象物Ｗの測距値を利用してもよい。このように撮像条件変更部２３は、算出されたインテグレーションタイムＩＴ2にＴＯＦセンサ１０の設定を変更し、物体検出部２１は、変更されたインテグレーションタイムＩＴ2で出力された画像に基づいて対象物Ｗの位置を検出することになる。このように対象物Ｗ又は対象物Ｗの特定部位までの距離ｄ1、ｄ2も加味してインテグレーションタイムＩＴ2を調整することにより、撮像位置の変更を伴う場合であっても、サチュレーションを発生させずに対象物Ｗの測距バラツキを低減できることになる。
Figure 0007364439000007
Figure 0007364439000008
（発光強度の算出方法）
図１を再び参照すると、撮像条件算出部２２は、前述したインテグレーションタイムの算出方法１～３と同様の考え方を利用して参照光の発光強度を算出してもよい。なお一般的に、インテグレーションタイムの増減によって外光の反射光の受光量も比例的に増減するが、発光強度の増減によって外光の反射光の受光量は変化しない。例えば下記式は、外光の反射強度ａ１を加味し、さらに撮像位置の変更を伴う場合の算出式で、式８に相当する。外光の反射強度を加味しない場合はａ１＝０とし、また撮像位置の変更が無い場合はｄ１＝ｄ２とすればよい。ここで、式中のＬＩ１は調整前の発光強度であり、この場合、撮像条件変更部２３は、算出された発光強度ＬＩ２にＴＯＦセンサ１０の設定を変更し、物体検出部２１は、変更された発光強度ＬＩ２で出力された画像に基づいて対象物Ｗの位置を検出することになる。参照光の発光強度は、前述の通り、発光させる発光素子の数で調整してもよいし、又は発光素子へ供給する電圧値又は電流値で調整してもよい。このように対象物Ｗ又は対象物Ｗの特定部位における光強度、距離等に基づいて発光強度を調整することにより、対象物Ｗの測距バラツキをより一層低減できることになる。
Figure 0007364439000009
（発光周期の算出方法）
式３で示したように一般にＴＯＦセンサ１０の測距バラツキの大きさσは参照光の発光周波数ｆ（＝１／Ｔ）が大きくなることで低減する。このため、撮像条件算出部２２は、検出された対象物Ｗ又は対象物Ｗの特定部位までの距離ｄに基づいて参照光の発光周波数ｆ（発光周期Ｔでもよい。以下同様。）をさらに算出してもよい。しかし単純に発光周波数ｆを大きくすると、エリアジングによる測距誤りが発生するので注意が必要である。図８はエリアジングによる測距誤りの発生と適切な発光周波数ｆの算出方法の一例を示している。例えば参照光の発光周波数ｆが３０ＭＨｚ（発光周期Ｔが３３ｎｍ）である場合、ＴＯＦセンサ１０の正しい測距が可能な測距レンジＬmaxは下記式から５ｍになる。このとき例えば検出された対象物Ｗ又は対象物Ｗの特定部位までの実際の距離ｄが６ｍであった場合、エリアジングによる測距誤りが発生することになる（誤って１ｍとして測距される）。従って、対象物Ｗ又は対象物Ｗの特定部位までの距離が不明な段階では低い発光周波数で撮像を行い、対象物Ｗ又は対象物Ｗの特定部位が検出され、その距離が判明したところでエリアジングの発生しない適切な発光周波数を算出するのがよい。例えば低い発光周波数の撮像において対象物Ｗ又は対象物Ｗの特定部位までの距離ｄが８０ｃｍであった場合、エリアジングによる測距誤りが発生しない程度に発光周波数ｆを大きくするため、撮像条件算出部２２は、例えば下記式に示すように、検出された距離ｄに所定のマージンβ（例えば２０ｃｍ）を加味した距離（例えば１ｍ）がＴＯＦセンサ１０の測距レンジＬmaxになるように、発光周波数ｆ＝１５０ＭＨｚ（発光周期Ｔ＝６ｎｍ）を算出する。この場合、撮像条件変更部２３は、算出された発光周波数ｆにＴＯＦセンサ１０の設定を変更し、物体検出部２１は、変更された発光周波数ｆで出力された画像に基づいて対象物Ｗの位置を検出することになる。このように対象物Ｗ又は対象物Ｗの特定部位までの距離ｄに基づいて発光周波数ｆを高くすることにより、エリアジングによる測距誤りを発生させずに対象物Ｗの測距バラツキをより一層低減できることになる。
Figure 0007364439000010
Figure 0007364439000011
式３に示すＴＯＦセンサ１０の測距バラツキは主にショットノイズに起因しており、測距バラツキは正規分布とみなせる分布を示す。このため、同一撮像位置から複数枚の画像を取得し、平均化といった処理を行うことで測距バラツキを低減した測距値が得られる。図１を再び参照すると、撮像条件算出部２２は、評価値が依然として予め定めた閾値より低い場合に、必要撮像回数（又は時間フィルタ定数）を増加させてもよい。この場合、撮像条件変更部２３は、算出された必要撮像回数（又は時間フィルタ定数）にＴＯＦセンサ１０の設定を変更し、物体検出部２１は、変更された必要撮像回数分（又は時間フィルタ定数分）撮像した複数の画像の合成画像に基づいて対象物Ｗの位置を検出する。このように必要撮像回数（又は時間フィルタ定数）を増加させることにより、対象物Ｗの測距バラツキをより一層低減できる。
撮像位置姿勢算出部２４は、算出された評価値が予め定めた閾値より低い場合に、撮像位置を少なくとも算出するとよい。この場合、移動機構であるロボット３０が、算出された撮像位置へＴＯＦセンサ１０又は対象物Ｗの位置を変更し、物体検出部２１は、変更された撮像位置で出力された画像に基づいて対象物Ｗの位置を検出することになる。
図９は撮像位置の算出例を示している。図９の左側に示すように、撮像位置Ｐ1では、対象物ＷがＴＯＦセンサ１０から比較的遠距離にあるため、対象物Ｗを撮像している画素数（即ち測距点数）も少なく、対象物Ｗにおける参照光Ｓの反射強度が弱いため、測距バラツキが比較的大きくなり易い。また一般のＴＯＦセンサの参照光Ｓの照射範囲は撮像範囲とほぼ同等になるように設計されているため、撮像位置Ｐ1では、対象物Ｗの近傍にある強反射物体Ｏで反射した参照光Ｓが対象物Ｗに照射され、例えば図内破線で示すように対象物Ｗの測距値ｄ1が後方へシフトしてしまうマルチパスと呼ばれる現象が発生する。従って、対象物Ｗの検出において評価値の向上と正しい位置検出のために、撮像位置姿勢算出部２４は、対象物Ｗを撮像する画素数が増加する撮像位置や、参照光Ｓの反射強度が大きくなる撮像位置や、マルチパスの影響が小さくなる撮像位置を算出するとよい。
（撮像位置の算出方法１）
一般的なＴＯＦセンサ（又はＦＡカメラ）にはズーム機能は無いため、図９の右上に示すように、撮像位置姿勢算出部２４は、検出された対象物Ｗ又は対象物Ｗの特徴部位に接近して画像内でより大きく撮像される撮像位置Ｐ2を算出するとよい。図１０は対象物Ｗに対して接近することで、画像内でより大きく撮像することが可能な撮像位置Ｐ2を示している。これにより、対象物Ｗ又は対象物Ｗの特徴部位に対する測距点数の増加や、対象物Ｗにおける参照光Ｓの反射強度の増加による測距バラツキの低下が期待できる。また撮像位置Ｐ2では、強反射物体ＯがＴＯＦセンサ１０の画角内（即ち、参照光Ｓの照射範囲）に入らないため、対象物Ｗが強反射物体Ｏによるマルチパスの影響を受けず、対象物Ｗの測距値ｄ2が後方にシフトする現象は発生しない。このように対象物Ｗ又は対象物Ｗの特徴部位が画像内でより大きく撮像される撮像位置Ｐ2に調整することにより、対象物Ｗの位置を精度良く検出できるようになる。
さらに撮像位置姿勢算出部２４は、検出された対象物Ｗ又は対象物Ｗの特徴部位がこれらの基準データに対して予め設定された撮像位置及び撮像姿勢の少なくとも一方で撮像されるように撮像位置及び撮像姿勢の少なくとも一方を算出するとよい。図１１Ａは対象物Ｗに対して予め設定された撮像位置及び撮像姿勢の一例を示している。一般にこれらは対象物の位置検出に適切な撮像位置及び撮像姿勢として設定される。また対象物Ｗの基準画像が基準データである場合は、その画像を取得したときの撮像位置や撮像姿勢であることが多い。さらに撮像位置及び撮像姿勢は対象物Ｗに対して複数設定してもよく、この場合には検出された対象物の状態によって適切なものを選択するとよい。図１１Ｂは対象物Ｗに対して予め設定された撮像位置姿勢Ｐ３を示している。撮像位置姿勢Ｐ１では、対象物Ｗが比較的遠距離で且つ予め傾いているため、評価値が低くなり易い。このように評価値が低くなる場合には、撮像位置姿勢算出部２４は、対象物Ｗの基準データに対して予め設定された撮像位置姿勢Ｐ３になるように、検出された対象物Ｗの位置に基づいて適切な撮像位置姿勢を算出するとよい。このような動作により、より適切な対象物Ｗの位置検出の検出が可能になる。
（撮像位置の算出方法２）
図９の右下に示すように、撮像位置姿勢算出部２４は、マルチパスの影響を与える強反射物体Ｏの面を特定し、物体Ｏの面に対してＴＯＦセンサ１０の参照光が照射されなくなる撮像位置Ｐ４を算出してもよい。一般のＴＯＦセンサは、参照光の照射部とその反射光の受光部が一体化されていて同一位置にあるとみなせるため、物体Ｏの面が見えなくなる撮像位置が、即ち物体Ｏの面に対して参照光が照射されない位置となり、物体Ｏの面からのマルチパスの影響は発生しなくなる。図１２Ａはマルチパスの影響を与える物体Ｏの面Ｆが見える撮像位置Ｐ1を示しており、図１２Ｂはマルチパスの影響を与える物体Ｏの面Ｆが見えなくなる撮像位置Ｐ４を示している。撮像位置姿勢算出部２４は、検出された対象物Ｗ又は対象物Ｗの特徴部位の近傍に存在する強反射物体Ｏの面を画像内から特定し、特定された面Ｆの位置及び姿勢を算出し、面Ｆの延長面上の点を撮像位置Ｐ４として算出するとよい。また対象物や強反射物体の配置状況によっては図９の右上や図１０の右に示すようにＴＯＦセンサ１０を対象物Ｗに近接させることによって強反射物体の面が見えなくなる撮像位置となる場合もある。このようにマルチパスの影響を与える強反射物体Ｏの面が見えなくなる撮像位置Ｐ４に調整することにより、対象物Ｗの位置を精度良く検出できるようになる。
図１３Ａは移動機構の一例を示しており、図１２Ｂは移動機構の変形例を示している。移動機構は、図１３Ａに示すようにＴＯＦセンサ１０を支持するロボット３０でよいが、図１３Ｂに示すように対象物Ｗを支持するロボットでもよい。図１３Ａでは、例えばロボットアームの先端にＴＯＦセンサ１０を取付け、ＴＯＦセンサ１０を支持するロボット３０が、算出された撮像位置へＴＯＦセンサ１０の位置を変更することにより、対象物Ｗの位置を精度良く検出できることになる。図１３Ｂでは、対象物Ｗの概算位置情報に基づいて対象物Ｗを支持したロボット３０が、支持した状態の物体の正しい位置、姿勢、大きさ等を、予め定めた固定点にＴＯＦセンサ１０にて検出する。対象物Ｗを支持したロボット３０が、算出された撮像位置へ対象物Ｗの位置を変更することにより、支持した対象物Ｗの位置、姿勢、大きな等をより精度良く検出することができる。このように移動機構をロボット３０で構成することによって、ロボット３０が本来行うピッキングや位置決め等の動作と物体検出動作の両立が可能となる。
図１４は本実施形態における物体検出システム１の動作を示している。物体検出システム１が検出処理を開始すると、ステップＳ１０では、予め定めた撮像条件及び予め定めた撮像位置でＴＯＦセンサの撮像を実行する。ステップＳ１１では、ＴＯＦセンサから出力された画像を取得する。必要撮像回数（又は時間フィルタ定数）が設定されている場合には、ステップＳ１２において合成画像を生成してもよい。合成画像は、ＴＯＦセンサ側で生成してもよいし、又は制御装置側（又は後述の上位コンピュータ装置側）で生成してよい。
ステップＳ１３では、ＴＯＦセンサから出力された画像と、予め記憶された対象物又は対象物の特徴部位の基準データとに基づいて対象物の類似度を示す評価値を算出することにより、対象物の位置を検出する。このとき検出された対象物が複数ある場合には、例えば評価値が高い順にＷ１、Ｗ２、Ｗ３、・・・というようにラベルを割当て、後続の処理を行ってもよい。ステップＳ１４は、必須の処理ではないが、対象物にマルチパスの影響を与える物体の面を特定するとよい。
ステップＳ１５では、算出された評価値が予め定めた閾値より低いか否かを判定する。また、マルチパスの影響を与える物体の面が特定されたか否かを判定してもよい。ステップＳ１５において、評価値が予め定めた閾値より低い場合又はマルチパスの影響を与える物体の面が特定された場合（ステップＳ１５のＮＯ）、ステップＳ１６に進む。ステップＳ１６では、対象物又は対象物の特徴部位における光強度、距離等に基づいて撮像条件を算出する。評価値が改善しない場合等、必要に応じて必要撮像回数（又は時間フィルタ定数）を算出してもよい。
ステップＳ１７では、対象物又は対象物の特徴部位の位置（必要に応じて姿勢）、マルチパスの影響を与える物体の面等に基づいて撮像位置を算出する。ステップＳ１６及びステップＳ１７は少なくとも一方を実行してもよい。ステップＳ１８では、撮像条件の変更及び撮像位置の変更のうちの少なくとも一方を実行する。そして、ステップＳ１０に戻る。ステップＳ１３では、変更された撮像条件及び変更された撮像位置のうちの少なくとも一方で出力された画像に基づいて評価値を再び算出することにより、対象物の位置を再び検出する。
ステップＳ１５において、評価値が予め定めた閾値より再び低い場合又はマルチパスの影響を与える物体の面が再び特定された場合（ステップＳ１５のＮＯ）、ステップＳ１６～ステップＳ１４を繰返す。なお、ループの回数制限を設け、予め定めた回数以上ループを繰返した場合、その旨を通知して検出処理を終了してもよい。ステップＳ１５において、評価値が予め定めた閾値より高く且つマルチパスの影響を与える物体の面も特定されない場合（ステップＳ１５のＹＥＳ）、ステップＳ１９において、検出された対象物Ｗの位置を最終位置として検出処理を終了する。そして、図示しないが、対象物Ｗの最終位置に基づいてロボットの動作が補正される。
図１５は物体検出システム１の構成の変形例を示している。本例の物体検出システム１は、複数のＴＯＦセンサ１０と、有線又は無線を介して複数のＴＯＦセンサ１０に接続する１つの上位コンピュータ装置５０と、上位コンピュータ装置５０から指令を受ける複数の制御装置２０と、複数の制御装置２０によって夫々制御される複数のロボット３０及び複数のツール３１と、を備えていてもよい。上位コンピュータ装置５０は、制御装置２０と同じく、古典コンピュータ又は量子コンピュータでよい。このように物体検出システム１の主たる構成要素を上位コンピュータ装置５０に集約することにより、物体検出システム１の処理性能、保守性等を向上させることができる。
以上の実施形態によれば、ＴＯＦセンサ１０の画像から検出された対象物Ｗの画像に基づいて撮像条件及び撮像位置のうちの少なくとも一方を変更することにより、対象物Ｗの位置を精度良く検出できる。
前述のプロセッサによって実行されるプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよい。
本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。
１ 物体検出システム
１０ ＴＯＦセンサ
２０ 制御装置
２１ 物体検出部
２２ 撮像条件算出部
２３ 撮像条件変更部
２４ 撮像位置姿勢算出部
２５ 記憶部
２６ 動作制御部
３０ ロボット
３１ ツール
Ｗ 対象物
Ｓ 参照光
Ｑ１－Ｑ４ 電荷量
ＩＴ、ＩＴ１、ＩＴ２ インテグレーションタイム
Ｔ 発光周期
Ｎ 必要撮像回数
Ｓ1、Ｓ2 参照光の反射光
ｓ1、ｓ2 参照光の反射強度
Ａ 外光
ａ、ａ1、ａ2 外光の反射強度
Ｐ1、Ｐ2、Ｐ４ 撮像位置
Ｐ３ 撮像位置姿勢
ｄ1、ｄ2 対象物又は対象物の特定部位までの距離
ｆ 発光周波数
Ｌmax 測距レンジ
Ｏ 強反射物体

Claims (12)

  1. 対象空間に照射した参照光と前記対象空間からの反射光との位相差に基づき前記対象空間の画像を出力するＴＯＦセンサと、
    出力された前記画像に基づいて前記対象空間に存在する対象物の位置を検出する物体検出部と、
    検出された前記対象物の画像に基づいて前記ＴＯＦセンサのインテグレーションタイム及び発光周期のうちの少なくとも一方を含む撮像条件を算出する撮像条件算出部と、
    検出された前記対象物の画像に基づいて変更後の撮像位置を少なくとも算出する撮像位置姿勢算出部と、
    算出された前記撮像位置へ前記ＴＯＦセンサ又は前記対象物の位置を少なくとも変更する移動機構と、
    を備え、
    前記撮像位置姿勢算出部は、検出された前記対象物に対するマルチパスの影響を与える物体の面を特定し、前記ＴＯＦセンサが照射する前記参照光が前記物体の面に照射されないように前記撮像位置の算出が可能であり、
    前記物体検出部は、出力された前記画像と予め記憶された前記対象物又は前記対象物の特徴部位の基準データとに基づいて前記対象物の類似度を示す評価値をさらに算出し、算出された前記評価値が予め定めた閾値より低い場合、前記撮像条件算出部が前記撮像条件を算出するか、又は前記撮像位置姿勢算出部が前記撮像位置を算出する、物体検出システム。
  2. 対象空間に照射した参照光と前記対象空間からの反射光との位相差に基づき前記対象空間の画像を出力するＴＯＦセンサと、
    出力された前記画像に基づいて前記対象空間に存在する対象物の位置を検出する物体検出部と、
    検出された前記対象物の画像に基づいて前記ＴＯＦセンサのインテグレーションタイム及び発光周期のうちの少なくとも一方を含む撮像条件を算出する撮像条件算出部と、
    検出された前記対象物の画像に基づいて変更後の撮像位置を少なくとも算出する撮像位置姿勢算出部と、
    算出された前記撮像位置へ前記ＴＯＦセンサ又は前記対象物の位置を少なくとも変更する移動機構と、
    を備え、
    前記撮像位置姿勢算出部は、検出された前記対象物に対するマルチパスの影響を与える物体の面を特定し、前記ＴＯＦセンサが照射する前記参照光が前記物体の面に照射されないように前記撮像位置の算出が可能であり、
    前記撮像位置姿勢算出部は、検出された前記対象物又は前記対象物の特徴部位が前記画像内でより大きく撮像されるように前記撮像位置を算出する、物体検出システム。
  3. 前記撮像位置姿勢算出部は、検出された前記対象物又は前記対象物の特徴部位が前記対象物又は前記対象物の特徴部位の基準データに対して予め設定された撮像位置及び撮像姿勢の少なくとも一方で撮像されるように前記撮像位置及び撮像姿勢の少なくとも一方を算出する、請求項１又は２に記載の物体検出システム。
  4. 前記移動機構は、前記ＴＯＦセンサを支持するロボットであるか、又は前記対象物を支持するロボットである、請求項１から３のいずれか一項に記載の物体検出システム。
  5. 前記撮像条件算出部は、検出された前記対象物又は前記対象物の特定部位における前記参照光の反射強度に基づいて前記インテグレーションタイムを算出する、請求項１から４のいずれか一項に記載の物体検出システム。
  6. 前記撮像条件算出部は、検出された前記対象物又は前記対象物の特定部位における外光の反射強度を加味して前記インテグレーションタイムを算出する、請求項５に記載の物体検出システム。
  7. 前記撮像条件算出部は、前記対象物又は前記対象物の特定部位までの距離を加味して前記インテグレーションタイムを算出する、請求項５又は６に記載の物体検出システム。
  8. 前記撮像条件算出部は、検出された前記対象物又は前記対象物の特定部位までの距離に基づいて前記発光周期を算出する、請求項１から７のいずれか一項に記載の物体検出システム。
  9. 前記撮像条件は前記ＴＯＦセンサの必要撮像回数をさらに含み、前記画像は前記必要撮像回数分撮像した複数の画像を合成した合成画像である、請求項１から８のいずれか一項に記載の物体検出システム。
  10. 前記撮像条件は前記ＴＯＦセンサの発光強度をさらに含み、前記撮像条件算出部は、検出された前記対象物の画像に基づいて前記発光強度を算出する、請求項１から９のいずれか一項に記載の物体検出システム。
  11. 対象空間に照射した参照光と前記対象空間からの反射光との位相差に基づき前記対象空間の画像を出力するＴＯＦセンサと、
    出力された前記画像に基づいて前記対象空間に存在する対象物の位置を検出する物体検出部と、
    検出された前記対象物の画像に基づいて前記ＴＯＦセンサのインテグレーションタイム及び発光周期のうちの少なくとも一方を含む撮像条件を算出する撮像条件算出部と、
    検出された前記対象物の画像に基づいて変更後の前記ＴＯＦセンサの撮像位置を少なくとも算出する撮像位置姿勢算出部と、
    算出された前記撮像位置へ前記ＴＯＦセンサ又は前記対象物の位置を少なくとも変更する移動機構と、
    を備え、
    前記撮像位置姿勢算出部は、検出された前記対象物に対するマルチパスの影響を与える物体の面を特定し、前記ＴＯＦセンサが照射する前記参照光が前記物体の面に照射されないように前記撮像位置の算出が可能であり、
    前記物体検出部は、出力された前記画像と予め記憶された前記対象物又は前記対象物の特徴部位の基準データとに基づいて前記対象物の類似度を示す評価値をさらに算出し、算出された前記評価値が予め定めた閾値より低い場合、前記撮像条件算出部が前記撮像条件を算出するか、又は前記撮像位置姿勢算出部が前記撮像位置を算出する、物体検出システム。
  12. 対象空間に照射した参照光と前記対象空間からの反射光との位相差に基づき前記対象空間の画像を出力するＴＯＦセンサと、
    出力された前記画像に基づいて前記対象空間に存在する対象物の位置を検出する物体検出部と、
    検出された前記対象物の画像に基づいて前記ＴＯＦセンサのインテグレーションタイム及び発光周期のうちの少なくとも一方を含む撮像条件を算出する撮像条件算出部と、
    検出された前記対象物の画像に基づいて変更後の前記ＴＯＦセンサの撮像位置を少なくとも算出する撮像位置姿勢算出部と、
    算出された前記撮像位置へ前記ＴＯＦセンサ又は前記対象物の位置を少なくとも変更する移動機構と、
    を備え、
    前記撮像位置姿勢算出部は、検出された前記対象物に対するマルチパスの影響を与える物体の面を特定し、前記ＴＯＦセンサが照射する前記参照光が前記物体の面に照射されないように前記撮像位置の算出が可能であり、
    前記撮像位置姿勢算出部は、検出された前記対象物又は前記対象物の特徴部位が前記画像内でより大きく撮像されるように前記撮像位置を算出する、物体検出システム。
JP2019212636A 2019-11-25 2019-11-25 Ｔｏｆセンサを用いた物体検出システム Active JP7364439B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019212636A JP7364439B2 (ja) 2019-11-25 2019-11-25 Ｔｏｆセンサを用いた物体検出システム
US17/029,037 US11328442B2 (en) 2019-11-25 2020-09-23 Object detection system using TOF sensor
DE102020007045.0A DE102020007045A1 (de) 2019-11-25 2020-11-18 Objektdetektionssystem mit Laufzeitsensor
CN202011312029.5A CN112835054A (zh) 2019-11-25 2020-11-20 使用tof传感器的物体检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019212636A JP7364439B2 (ja) 2019-11-25 2019-11-25 Ｔｏｆセンサを用いた物体検出システム

Publications (2)

Publication Number Publication Date
JP2021085683A JP2021085683A (ja) 2021-06-03
JP7364439B2 true JP7364439B2 (ja) 2023-10-18

Family

ID=75784678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212636A Active JP7364439B2 (ja) 2019-11-25 2019-11-25 Ｔｏｆセンサを用いた物体検出システム

Country Status (4)

Country Link
US (1) US11328442B2 (ja)
JP (1) JP7364439B2 (ja)
CN (1) CN112835054A (ja)
DE (1) DE102020007045A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166371A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 情報処理方法、情報処理装置、物体検出装置およびロボットシステム
EP3885069A1 (de) * 2020-03-25 2021-09-29 Bystronic Laser AG Qualitätskontrolle eines laserbearbeitungsprozesses mittels maschinellem lernen
JP7530336B2 (ja) 2021-06-15 2024-08-07 株式会社神戸製鋼所 染色浸透探傷検査装置および染色浸透探傷検査方法
EP4230955A1 (en) * 2022-02-16 2023-08-23 Topcon Corporation Laser scanning control device, laser scanning apparatus, laser scanning control method, and program
WO2023203727A1 (ja) * 2022-04-21 2023-10-26 ヤマハ発動機株式会社 多関節ロボットアーム制御装置
WO2024150720A1 (ja) * 2023-01-11 2024-07-18 株式会社Ｊｖｃケンウッド 三次元情報取得装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010019812A (ja) 2008-07-14 2010-01-28 Sony Corp 表面形状測定装置
WO2014002415A1 (ja) 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
JP2014533347A (ja) 2011-08-30 2014-12-11 マイクロソフト コーポレーション レーザー深度マップの範囲拡張方法
JP2016130663A (ja) 2015-01-13 2016-07-21 オムロン株式会社 検査装置及び検査装置の制御方法
JP2017217726A (ja) 2016-06-07 2017-12-14 トヨタ自動車株式会社 ロボット
JP2019015706A (ja) 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びモニタリング装置
US20190132573A1 (en) 2017-10-31 2019-05-02 Sony Corporation Generating 3d depth map using parallax

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197635A (ja) 1997-01-13 1998-07-31 Omron Corp レーザー測距装置
JP5743390B2 (ja) 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
JP5839929B2 (ja) 2010-11-19 2016-01-06 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010019812A (ja) 2008-07-14 2010-01-28 Sony Corp 表面形状測定装置
JP2014533347A (ja) 2011-08-30 2014-12-11 マイクロソフト コーポレーション レーザー深度マップの範囲拡張方法
WO2014002415A1 (ja) 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
JP2016130663A (ja) 2015-01-13 2016-07-21 オムロン株式会社 検査装置及び検査装置の制御方法
JP2017217726A (ja) 2016-06-07 2017-12-14 トヨタ自動車株式会社 ロボット
JP2019015706A (ja) 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びモニタリング装置
US20190132573A1 (en) 2017-10-31 2019-05-02 Sony Corporation Generating 3d depth map using parallax

Also Published As

Publication number Publication date
JP2021085683A (ja) 2021-06-03
DE102020007045A1 (de) 2021-05-27
US11328442B2 (en) 2022-05-10
US20210158562A1 (en) 2021-05-27
CN112835054A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
JP7364439B2 (ja) Ｔｏｆセンサを用いた物体検出システム
US9488721B2 (en) Image processing apparatus, image processing method, computer program, and movable body
US6873912B2 (en) Vehicle tracking system
US10755417B2 (en) Detection system
US9165368B2 (en) Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
JP5472538B2 (ja) 距離計測装置及び環境地図生成装置
US10354413B2 (en) Detection system and picture filtering method thereof
US10991105B2 (en) Image processing device
US10445872B2 (en) Machine control measurements device
JP5320880B2 (ja) 距離計測装置、距離計測方法および車両
US11762394B2 (en) Position detection apparatus, position detection system, remote control apparatus, remote control system, position detection method, and program
US10803625B2 (en) Detection system and picturing filtering method thereof
EP4148671B1 (en) Electronic device and method for controlling same
KR101233938B1 (ko) 객체 추적 로봇 및 그 방법
CN110309845B (zh) 信息处理系统以及信息处理方法
CN114502915A (zh) 用于移动尺寸标注的方法、系统和装置
US20230137706A1 (en) Distance measuring apparatus, distance measuring program
US20220244392A1 (en) High resolution lidar scanning
JP7375838B2 (ja) 測距補正装置、測距補正方法、測距補正プログラム、および測距装置
EP3062516B1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
JP7424800B2 (ja) 制御装置、その制御方法、及び制御システム
JP2017156177A (ja) 障害物検出装置および障害物検出方法
WO2022176679A1 (ja) 測距補正装置、測距補正方法、測距補正プログラム、および測距装置
CN113189601B (zh) 混合型深度估算系统
JP7124760B2 (ja) 画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231005

R150 Certificate of patent or registration of utility model

Ref document number: 7364439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150