JP7282317B2 - ３次元計測システム及び３次元計測方法 - Google Patents

３次元計測システム及び３次元計測方法 Download PDF

Info

Publication number
JP7282317B2
JP7282317B2 JP2021155958A JP2021155958A JP7282317B2 JP 7282317 B2 JP7282317 B2 JP 7282317B2 JP 2021155958 A JP2021155958 A JP 2021155958A JP 2021155958 A JP2021155958 A JP 2021155958A JP 7282317 B2 JP7282317 B2 JP 7282317B2
Authority
JP
Japan
Prior art keywords
dimensional
parallax
optical axis
unit
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021155958A
Other languages
English (en)
Other versions
JP2021192064A (ja
Inventor
康裕 大西
隆史 清水
慎也 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2021155958A priority Critical patent/JP7282317B2/ja
Publication of JP2021192064A publication Critical patent/JP2021192064A/ja
Application granted granted Critical
Publication of JP7282317B2 publication Critical patent/JP7282317B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、３次元計測システム及び３次元計測方法に関する。
従来、対象物の３次元計測を行うための種々の手法が知られており、それらは、光の性質に着目して、光の直進性を用いる手法と光の速度を用いる手法に大別される。これらのうち、光の直進性を用いる手法には、アクティブ計測（能動型計測）及びパッシブ計測（受動型計測）の何れかに分類される方式が含まれ、光の速度を用いる手法には、アクティブ計測（能動型計測）に分類される方式が含まれる。
ここで、例えば非特許文献１には、アクティブ計測方式の一例である空間コード化パターン投影法の具体例として、空間的な符号化（コード化）がなされたパターンの単一画像を含むパターン光を対象物に投影し、その単一画像が投影された対象物を撮像装置で撮像して距離計算することにより３次元形状を取得するいわゆるアクティブワンショット方式を用いた方法が記載されている。
また、パッシブ計測方式の一例として、２台の撮像装置を用いて対象物の３次元形状を求めるいわゆるステレオカメラ方式による方法が知られている。このステレオカメラ方式では、カメラ等の撮像装置を例えば左右に配置して対象物を同時に撮像し、得られた左右画像から対応する画素の対（すなわち基準画像における特徴点と比較画像における対応点）を探索し、左右画像における特徴点と対応点との視差（離間距離）を求め、この視差に基づいて各画素の３次元位置を算出することにより、対象物の３次元形状を特定する。
P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.
しかしながら、従来のステレオカメラ方式による方法では、計測分解能を撮像装置の画素単位まで高めることが可能である反面、その原理に起因して、計測時間が比較的長くかかってしまうと不都合があった。
そこで、本発明は、一側面では、かかる事情を鑑みてなされたものであり、３次元計測における計測分解能が高く、探索範囲を狭くすることにより高速処理を実現することが可能な３次元計測技術を提供することを目的とする。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本開示に係る３次元計測システムの一例は、概して、ステレオカメラ方式とは異なる３次元計測方式により、対象物の３次元情報として第１特徴点の視差を取得し、その結果に基づいて設定された制限された探索範囲においてステレオマッチングを行うステレオカメラ方式により、対象物の３次元情報として、第２特徴点の視差を取得し、得られた第１特徴点の視差及び第２特徴点の視差の両方を用いて、対象物の３次元形状を特定するものである。このとおり、本開示に係る３次元計測システムの一例では、ステレオカメラ方式とは異なる３次元計測方式により３次元計測を行った後に、ステレオカメラ方式による３次元計測を行う。
かかる構成では、ステレオカメラ方式とは異なる３次元計測方式によって得られた３次元情報に基づいて、その後に実施されるステレオカメラ方式による３次元計測の探索範囲を従来のステレオカメラ方式の探索範囲に比して狭くすることができるので、従来の如くステレオカメラ方式単独で３次元計測を行う手法に比して、処理速度を向上させることが可能となる。また、ステレオカメラ方式によって取得される３次元情報を用いるので、高い計測分解能を実現することができる。
〔１〕具体的には、本開示に係る３次元計測システムの一例は、互いに離間配置された第１撮像部及び第２撮像部を有しており、且つ、前記対象物における互いに異なる画像を撮像する撮像部と、前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出する第１算出部と、前記第１撮像部及び前記第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定する第２算出部とを備える。そして、前記第２算出部は、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する。
当該構成では、第１撮像部及び第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、第１特徴点の視差を算出することで、第１特徴点の間隔に応じた比較的粗い密度分布の視差マップが得られる。それから、ステレオカメラ方式により、第１撮像部及び第２撮像部を用いて、第２特徴点に対する対応点の探索を行い、その探索結果に基づいて第２特徴点の視差を算出することにより、撮像された画像の画素単位での比較的細かい密度分布の視差マップが得られる。そして、両者の視差マップから対象物の３次元形状が特定される。
ここで、従来のステレオカメラ方式のみによる画像処理では、通常、撮像された画像における広い範囲（計測レンジ）でのステレオマッチングによって特徴点に対する対応点の探索を行う必要があるため、処理時間が不可避的に長くなってしまう。これに対し、当該構成では、ステレオカメラ方式以外の３次元計測方式の距離情報又は距離を算出するための情報（例えば、位相情報、波長情報、焦点ぼけ情報等）を用いて得た第１特徴点の視差に基づいて、ステレオカメラ方式による探索を行う。これにより、各第２特徴点に対する対応点の探索範囲を、従来のステレオカメラ方式に比して格段に狭い範囲に限定することができる。その結果、ステレオマッチングの探索時間を格別に短縮して高速処理が可能となる。その一方で、ステレオマッチングにおける第２特徴点と対応点の探索は、撮像された画像の画素単位で行うことができるので、高い計測分解能を実現することができる。
なお、当該構成では、第２特徴点の視差を求めるための探索範囲を、各第１特徴点について得られた視差のうち１つの視差に基づいて設定してもよいし、各第１特徴点について得られた視差のうち複数の視差に基づいて設定してもよい。複数の視差に基づいて探索範囲を設定する場合、１つの視差に基づいて探索範囲を設定する場合に比して、探索領域をより正確に限定することができ、その結果、処理時間の更なる短縮、及び／又は、ステレオマッチング精度の更なる向上を実現することができる。
〔２〕上記構成において、より具体的には、３次元形状を特定するために前記対象物に計測光を投射する投射部を備えてもよい。
ここで、「計測光」としては、各種３次元計測方式で用いられる投射光又は照明光であれば特に制限されず、例えば、所定の固定ドットパターンを有するパターン光、ランダムドットパターンを有するパターン光、スリット光等を挙げることができる。かかる構成では、ステレオカメラ方式とは異なる３次元計測方式として特にアクティブ計測方式を用いて所定の計測光を投射する場合に有用である。
〔３〕上記構成において、前記第１特徴点及び前記第２特徴点は、同一点であっても異なる点であってもよい。特に、前記第１特徴点及び前記第２特徴点が、同一点であるか、又は、互いの近傍位置に存在するようにすると、第２の特徴点の探索範囲を更に正確に限定することができ、これにより、処理時間をより一層短縮し、及び／又は、ステレオマッチング精度をより一層向上させることができる。
ここで、一般に、対象物の３次元計測方式のうち光の直進性を用いるアクティブ計測方式としては、例えば、三角測距を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式（等高線方式）、照度差ステレオ方式（照射方向/Photometric Stereo）等、及び、同軸測距を基本原理とする照度差方式（単照射／Inverse Square+ Regression Forest）、レーザ共焦点方式、白色共焦点方式、干渉方式等が挙げられる。また、光の直進性を用いるパッシブ計測方式としては、例えば、三角測距を基本原理とするステレオカメラ方式（マルチベースラインステレオ含む）、視体積交差方式（Shape from silhouette）、因子分解方式（factorization）、Depth from Motion（Structure from Motion）方式、Depth from Shading方式等、及び、同軸測距を基本原理とするDepth from focusing方式、Depth from defocus方式、Depth from zoom方式等が挙げられる。さらに、光の速度を用いるアクティブ計測方式としては、例えば、同時測距を基本原理とする光時間差（TOF）測定方式、レーザースキャン方式、光時間差（TOF）測定方式、シングルショット方式、光位相差（TOF）測定方式、並びに、電波、音波及びミリ波による（TOF）方式等が挙げられる。
〔４〕そして、本開示に係る３次元計測システムの一例における「ステレオカメラ方式とは異なる３次元計測方式」としては、上述の各方式のうちステレオカメラ方式を除く方式であれば何れも制限なく適用することができ、また、これらの方式のなかでも、前記ステレオマッチングとは異なる３次元計測方式として、前記撮像部による１度の撮影により前記対象物の３次元情報を得るものを用いてもよい。
かかる構成では、ステレオカメラ方式による３次元計測の前に実施するステレオカメラ方式とは異なる３次元計測方式における撮像にかかる時間を短くすることができ、ひいては３次元計測システム全体で必要とする処理時間を短くすることができる。
〔５〕上記構成において、前記第２算出部は、前記探索範囲を前記第１特徴点の視差に基づいて設定しない場合に比して、前記ステレオカメラ方式における（ステレオマッチング）のマッチング度合いの指標の閾値を下げるように構成してもよい。
かかる構成では、従来のステレオカメラ方式では達成不能であった相互反射に対する優れたロバスト性を実現することもできる。
〔６〕上記構成において、前記第１算出部は、前記第１特徴点の３次元位置を示す３次元点群を復元するものであり、前記第２算出部は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を前記第１特徴点の視差に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を予め定めた所定の範囲に設定してもよい。
かかる構成によれば、対象物のうちの一部について、ステレオカメラ方式による３次元計測に先立つ最初の３次元計測（ステレオカメラ方式とは異なる３次元計測方式による３次元計測）で３次元点群を復元できない場合であっても、撮像された画像の全体に対して探索範囲を広げたステレオマッチングを行う必要がなく、処理の高速化が可能である。
〔７〕上記構成において、前記第１算出部が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差を算出する第２画像処理部とを有してもよい。また、前記第２算出部が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部と、前記第１特徴点の視差及び前記第２特徴点の視差に基づいて前記対象物の３次元形状を特定する第４画像処理部とを有してもよい。
当該構成では、上述した第１特徴点の視差の算出及び第２特徴点の視差の算出を好適に実行することができ、これにより、３次元計測における高い計測分解能と高速処理を一層確実に実現することができる。
〔８〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離と同等であるようにしてもよい。ここで、「撮像部の光軸」とは、撮像部の光学的な中心軸を示し、撮像部における光学系の構成によらず、撮像素子によって画成される撮像面の中心に垂直に入射する光線の光路（換言すれば、撮像面に垂直で且つ撮像面の中心を通る方向）をいう。また、「投射部の光軸」とは、投射部の光学的な中心軸を示し、投射部における光学系の構成によらず、光源又は発光素子によって画成される投射面の中心から垂直に出射される光線の光路（換言すれば、投射面に垂直で且つ投射面の中心を通る方向、或いは、投射面から投射される光の強度が最も大きくなる方向）をいう。
当該構成では、第１撮像部と第２撮像部との基線長が、投射部と第１撮像部又は第２撮像部との基線長と同等となり得るので、３次元計測における計測精度を向上させることができる。
〔９〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離よりも長いようにしてもよい。
当該構成では、第１撮像部と第２撮像部との基線長が、投射部と第１撮像部又は第２撮像部との基線長よりも大きくなり得るので、３次元計測における計測精度を向上させることができる。
〔１０〕上記構成において、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置されるようにしてもよい。
当該構成では、上記〔８〕及び〔９〕の何れの配置も構成することができ、また、投射部と第１撮像部及び第２撮像部を一体化して例えばセンサユニットを構成する場合に、第１撮像部と第２撮像部との基線長を比較的大きくすることができるので、ステレオカメラ方式による計測精度を更に向上させることが可能となる。
〔１１〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置され、前記投射部の光軸（計測光の光軸）が該平面上に配置されないようにしてもよい。
当該構成でも、上記〔８〕及び〔９〕の何れの配置も構成することができ、また、投射部と第１撮像部及び第２撮像部を一体化して例えばセンサユニットを構成する場合に、そのセンサユニットのフットプリントを比較的小さくしてシステムの設置面積を低減することができる。
〔１２〕上記構成において、前記投射部が、前記計測光とは異なる通常照明光を前記対象物に投射するようにしてもよい。なお、便宜的に、後記の実施形態においては、計測光を対象物に投射する構成要素を「第１投射部」と呼び、通常照明光を対象物に投射する構成要素を「第２投射部」と呼ぶことがある。
当該構成では、計測光とは異なる通常照明光を例えば検査用途の一般照明として使用することができるので、対象物が暗い周辺環境下にある場合においても、３次元計測を好適に実施することができる。さらに、通常照明が投射された対象物を撮像した画像と、予め設定又は保持された対象物の形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物の位置姿勢をより正確に把握することが可能となる。
〔１３〕本開示に係る３次元計測方法の一例は、上記構成の３次元計測システムの一例を用いて有効に実施し得る方法であり、以下の各ステップを含む。すなわち、当該方法は、互いに離間配置された第１撮像部及び第２撮像部を有する撮像部と、第１算出部と、第２算出部とを備える３次元計測システムを用い、前記撮像部が、前記対象物における互いに異なる画像を撮像するステップと、前記第１算出部が、前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出するステップと、前記第２算出部が、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、該第２特徴点の視差から前記対象物の３次元形状を特定するステップとを含む。そして、前記対象物の３次元形状を特定するステップにおいては、前記第２算出部が、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する。
なお、本開示において、「部」、「手段」、「装置」、及び「システム」とは、単に物理的手段を意味するものではなく、その「部」、「手段」、「装置」、及び「システム」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」、「手段」、「装置」、及び「システム」が有する機能が２つ以上の物理的手段や装置によって実現されてよく、或いは、２つ以上の「部」、「手段」、「装置」、及び「システム」の機能が１つの物理的手段や装置によって実現されてもよい。
本発明によれば、３次元計測における計測分解能を高め、探索範囲を狭くすることにより高速処理を実現することが可能となる。
実施形態に係る３次元計測システムの適用場面の一例の概略を模式的に示す平面図である。 実施形態に係る３次元計測システムのハードウェアの構成の一例を模式的に示す平面図である。 実施形態に係る３次元計測システムの機能構成の一例を模式的に示す平面図である。 実施形態に係る３次元計測システムの処理手順の一例を示すフローチャートである。 実施形態に係る３次元計測システムの処理手順の一例におけるタイミングチャートである。 （Ａ）及び（Ｂ）は、それぞれ、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像、及び、該画像を用いて第１画像処理を行って復元した３次元点群画像を示す。 （Ａ）は、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像の平行化画像、及び、その平行化画像に復元３次元点の３次元座標を２次元投影した画像の部分拡大図を示す。（Ｂ）は、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像の平行化画像、及び、その平行化画像に復元３次元点の３次元座標を２次元投影した画像の部分拡大図を示す。 複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを模式的に示す概念図である。 （Ａ）及び（Ｂ）は、それぞれ、対象物の一例に対して実施形態に係る３次元計測システムによって得た統合視差マップの一例を示す画像、及び、該画像を用いて復元した３次元形状を表す３次元点群画像を示す。 種々の対象物について、種々の方式による３次元計測を行った結果として最終的に得られた視差マップを表す画像の一覧を示す。 （Ａ）乃至（Ｄ）は、それぞれ、実施形態に係るセンサユニットの第１構成例乃至第４構成例を模式的に示す斜視図である。 （Ａ）及び（Ｂ）は、それぞれ、実施形態に係るセンサユニットの第５構成例及び第６構成例を模式的に示す斜視図である。 （Ａ）乃至（Ｃ）は、それぞれ、実施形態に係るセンサユニットの第９構成例乃至第１１構成例を模式的に示す平面図である。
以下、本開示の一例に係る実施の形態（以下「実施形態」とも表記する）について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
§１ 適用例
まず、図１を用いて、本開示の一例が適用される場面の一例について説明する。図１は、本実施形態に係る３次元計測システム１００の適用場面の一例の概略を模式的に示す平面図である。本実施形態に係る３次元計測システム１００は、計測対象である対象物ＯＢの３次元形状を計測するためのシステムである。
図１の例では、３次元計測システム１００は、対象物ＯＢに対向配置されたセンサユニット２００、及び、センサユニット２００に接続されたコンピュータ３００を備える。センサユニット２００は、３Ｄ用プロジェクタ１１０と、例えばその３Ｄ用プロジェクタ１１０を挟むように配置された第１カメラ２１０及び第２カメラ２２０とが、一体に構成されたものである。なお、３Ｄ用プロジェクタ１１０、第１カメラ２１０、及び第２カメラ２２０は、センサユニット２００として全部が一体化されておらず、それぞれ別体に設けられてもよく、一部が一体化されていてもよい。
３Ｄ用プロジェクタ１１０は、対象物ＯＢの３次元計測を行うための計測光（例えばパターン光）を含む照明（以下「３Ｄ用照明」ともいう）を、投射エリアＳ１１０で対象物ＯＢへ投射する。また、第１カメラ２１０及び第２カメラ２２０は、それぞれ例えば一般的な光学センサが搭載されたカメラ装置を含んで構成されており、３Ｄ用照明が投射された対象物ＯＢをそれぞれ視野角Ｓ２１０，Ｓ２２０で撮像する。
コンピュータ３００は、３Ｄ用プロジェクタ１１０による投射処理、並びに、第１カメラ２１０及び第２カメラ２２０による撮像処理を制御するとともに、第１カメラ２１０及び第２カメラ２２０によってそれぞれ撮像された互いに異なる画像Ｉｍｇ１，Ｉｍｇ２の画像処理を実行して、対象物ＯＢの３次元形状を特定する。
より具体的には、コンピュータ３００は、画像Ｉｍｇ１，Ｉｍｇ２の画像処理として、以下の（１）乃至（４）に示す第１画像処理乃至第４画像処理を行う。
（１）第１画像処理
例えばアクティブワンショット方式による３次元計測であり、画像Ｉｍｇ１，Ｉｍｇ２の少なくも何れか一方から、計測光（パターン光）に含まれるパターンに応じた複数の対象画素の３次元位置を示す３次元点群を復元する。このとき、例えば、複数の対象画素は、画像Ｉｍｇ１，Ｉｍｇ２における画素単位よりも粗い密度で分布している。なお、ステレオカメラ方式とは異なる３次元計測方式としてパッシブ計測方式を用いる場合には、計測光の投射を行わない、すなわち３Ｄ用プロジェクタ１１０を備えなくともよい。
（２）第２画像処理
複数の第１特徴点（対象画素）について復元された３次元点群における各点（復元３次元点）の３次元座標を画像Ｉｍｇ１，Ｉｍｇ２（それらに対して必要に応じて適宜の処理が施された画像を含む。以下同様とする。）に２次元投影し、画像Ｉｍｇ１，Ｉｍｇ２のそれぞれにおける各第１特徴点の２次元座標を求め、その２次元座標から各第１特徴点の視差を算出する。これにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップが得られる。
（３）第３画像処理
ステレオカメラ方式による３次元計測であり、画像Ｉｍｇ１，Ｉｍｇ２の一方を基準画像とし且つ他方を比較画像とし、ステレオマッチングを行う。ここでは、まず、基準画像において、第２特徴点の所定の近傍位置に存在する第１特徴点の視差に基づいて、第２特徴点と対応点との視差の推定値を求める。それから、その第２特徴点の視差の推定値に基づいて、第２特徴点に対する対応点の探索領域を限定的に設定（すなわち、探索領域を狭い範囲に限定）する。そして、その探索領域においてステレオマッチングを行って、第２特徴点の視差を算出する。これにより、上記（２）で得られた比較的粗い密度分布の視差マップを補完するように、画像Ｉｍｇ１，Ｉｍｇ２の画素単位での比較的細かい密度分布の視差マップが得られる。なお、第２特徴点の視差を求めるための探索範囲は、各第１特徴点について得られた視差のうち１つの視差に基づいて設定してもよいし、各第１特徴点について得られた視差のうち複数の視差に基づいて設定してもよい（後述する図８の説明も参照されたい。）。
（４）第４画像処理
上記（１）乃至（３）で得られたそれぞれの視差マップを統合して統合視差マップを作成し、その統合視差マップに対して必要に応じて適宜のフィルタリング等の後処理を実施した後、視差が求められた各画素（上記（１）における第１特徴点と上記（３）における第２特徴点）の視差を深さ方向の距離に変換（いわゆる視差・デプス変換）することにより、対象物ＯＢの３次元形状を特定する。
このとおり、センサユニット２００は、本発明における「投射部」（「第１投射部」）及び「撮像部」の一例に相当し、３Ｄ用プロジェクタ１１０は、本発明における「投射部」（「第１投射部」）の一例に相当し、第１カメラ２１０及び第２カメラ２２０は、それぞれ本発明における「第１撮像部」及び「第２撮像部」の一例に相当する。また、画像Ｉｍｇ１，Ｉｍｇ２は、本発明における「対象物における互いに異なる画像」の一例に相当する。さらに、コンピュータ３００における特に画像処理を行う部分（例えば後述する画像処理部３５０）は、本発明における「第１画像処理部」、「第２画像処理部」、及びそれらを有する「第１算出部」、並びに、「第３画像処理部」、「第４画像処理部」、及びそれらを有する「第２算出部」のそれぞれの一例に相当する。
以上のとおり、本実施形態は、対象物ＯＢの３次元形状を求めることができるステレオカメラ方式とは異なる３次元計測方式（例えば、計測光としてパターン光を対象物に投射するアクティブワンショット方式。但し、これに限定されない。）による３次元計測と、ステレオマッチングによって対象物ＯＢの３次元形状を求めることができるステレオカメラ方式による３次元計測を融合したハイブリッド３次元計測システム及びその方法の一例であるといえる。しかし、たとえ従来の両方式を単に組み合わせて用いたとしても、計測分解能を高めつつ、高速処理を実現し得ないことは、既述の個々の従来技術の課題から明らかである。
これに対し、本実施形態は、ステレオカメラ方式とは異なる３次元計測方式とステレオカメラ方式をただ単に組み合わせただけのものではなく、ステレオカメラ方式とは異なる３次元計測方式で得られた３次元情報（第１特徴点の視差）を用いることにより、ステレオマッチングにおける第２特徴点に対する対応点の探索領域を、通常のステレオカメラ方式に比して格段に狭い範囲に限定することを可能にしたものである。
換言すれば、本実施形態によれば、まず、ステレオカメラ方式とは異なる３次元計測方式で視差情報が得られた第１特徴点間に位置する他の画素（第２特徴点とその対応点）に関する視差情報をステレオカメラ方式によって補完することができる。そして、その際のステレオマッチングの探索領域を確からしい狭い範囲に限定することによって極めて短い処理時間を達成することができる。それらの結果、ステレオカメラ方式による高い計測分解能を保持しつつ、ステレオマッチングにおける探索時間ひいては処理時間を大幅に短縮することができる。しかも、そのように探索領域を限定することにより、相互反射に対する優れたロバスト性を実現することができるとともに、ステレオマッチングにおける画素間の誤対応を軽減することも可能となる。
§２ 構成例
［ハードウェア構成］
次に、図２を用いて、本実施形態に係る３次元計測システム１００のハードウェア構成の一例について説明する。図２は、本実施形態に係る３次元計測システム１００のハードウェアの構成の一例を模式的に示す平面図である。
図２の例では、３次元計測システム１００は、図１にも例示した３Ｄ用プロジェクタ１１０並びに第１カメラ２１０及び第２カメラ２２０を有して一体に構成されたセンサユニット２００と、センサユニット２００に接続されたコンピュータ３００を備える。
３Ｄ用プロジェクタ１１０は、例えば、レーザ光源１１１と、パターンマスク１１２と、レンズ１１３とを備える。レーザ光源１１１から出射された光は、パターンマスク１１２によって所定のパターンを有する計測光（パターン光）に変換され、レンズ１１３を介して外部へ投射される。レーザ光源１１１が生成するレーザ光の波長は特に限定されず、例えば赤外光、可視光、紫外光等を用いることができる。パターンマスク１１２は、所定のパターンが形成されたパターンマスクである。なお、３Ｄ用プロジェクタ１１０は、上記構成に限定されず、一般的なプロジェクタを利用してもよい。この場合、所定のパターンを形成するパターンマスク１１２をプロジェクタ本体に保存等して対応すればよい。なお、３Ｄ用プロジェクタ１１０の構成は上記に限定されず、各種の３次元計測方式で用いられる適宜の光源及び他の光学系部位を含む投影装置等を適用することができる。
コンピュータ３００は、制御演算部３０１、通信インタフェース（Ｉ／Ｆ）部３０２、記憶部３０３、入力部３０４、及び出力部３０５を含み、各部はバスライン３０６を介して相互に通信可能に接続され得る。
制御演算部３０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御及び各種演算を行う。
通信Ｉ／Ｆ部３０２は、例えば、有線又は無線により他の装置と通信するための通信モジュールである。通信Ｉ／Ｆ部３０２が他の装置との通信に用いる通信方式は任意であり、例えば、ＬＡＮ（Local Area Network）やＵＳＢ（Universal Serial Bus）等が挙げられる。特に、センサユニット２００における３Ｄ用プロジェクタ１１０、第１カメラ２１０、及び第２カメラ２２０は、通信Ｉ／Ｆ部３０２を介して、制御演算部３０１等と通信可能に設けることが可能である。
記憶部３０３は、例えばハード・ディスク・ドライブ（ＨＤＤ）、ソリッド・ステート・ドライブ（ＳＳＤ）等の補助記憶装置であり制御演算部３０１で実行される各種プログラム（センサユニット２００等のハードウェアの制御プログラム、画像処理プログラム等）、及び、計測光（例えば所定のパターンを有するパターン光）、撮像される画像Ｉｍｇ１，Ｉｍｇ２等のデータを記憶する。この他、対象物ＯＢのＣＡＤモデルデータ等も記憶部３０３に記憶されてもよい。ここで、画像処理プログラムは、上記適用例で説明した第１画像処理乃至第４画像処理を実行させるためのプログラムを含むものであり、かかる画像処理プログラムが制御演算部３０１で実行されることにより、後述する機能構成例における画像処理機能が実現される。
入力部３０４は、例えば、マウスやキーボード、タッチパネル等で実現し得る、ユーザからの各種入力操作を受け付けるためのインタフェースデバイスである。出力部３０５は、例えば、ディスプレイ、スピーカ、プリンタ等、表示、音声、印刷等により、３次元計測システム１００を利用するユーザ等へ各種情報を報知するためのインタフェースデバイスである。
［機能構成］
次に、図３を用いて、本実施形態に係る３次元計測システム１００の機能構成の一例を説明する。図３は、本実施形態に係る３次元計測システム１００の機能構成の一例を模式的に示す平面図である。
図２に示す３次元計測システム１００の制御演算部３０１は、記憶部３０３に記憶された各種プログラム（制御プログラム、画像処理プログラム等）をＲＡＭに展開する。そして、制御演算部３０１は、ＲＡＭに展開された各種プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図３に例示の如く、本実施形態に係る３次元計測システム１００は、制御部３１０、画像取得部３２０、画像記録部３３０、画像出力部３４０、及び画像処理部３５０を備える構成を実現し得る。
制御部３１０は、特に、センサユニット２００における３Ｄ用プロジェクタ１１０から対象物ＯＢへの３Ｄ用照明の投射、及び３Ｄ用照明が投射された対象物ＯＢの第１カメラ２１０及び第２カメラ２２０による撮像を制御する。画像取得部３２０は、第１カメラ２１０及び第２カメラ２２０から、それらによって撮像された対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２を取得する。画像記録部３３０は、画像取得部３２０によって取得された対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２、及び、画像処理部３５０での画像処理によって最終的に得られる対象物ＯＢの３次元形状を示す３次元点群画像等を保持する。画像出力部３４０は、そうして得られた対象物ＯＢの３次元形状を示す３次元点群画像等を、３次元計測システム１００のユーザが視認可能なようにディスプレイやプリンタ等に出力する。
画像処理部３５０は、第１画像処理部３５１、第２画像処理部３５２、第３画像処理部３５３、及び第４画像処理部３５４を備えて構成される。これらの第１画像処理部３５１、第２画像処理部３５２、第３画像処理部３５３、及び第４画像処理部３５４は、それぞれ、前記（１）乃至（４）に示す第１画像処理乃至第４画像処理を実行し、対象物ＯＢの３次元形状を示す３次元点群画像を得る。
なお、本実施形態では、３次元計測システム１００に備わるコンピュータ３００で実現される各機能が汎用のＣＰＵによって実現される例について説明したが、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、３次元計測システム１００に備わるコンピュータ３００の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてももちろんよい。また、「コンピュータ」とは、一般的な情報処理装置と解することができる。
§３ 動作例
次いで、図４乃至図８を用いて、３次元計測システム１００の動作の一例について説明する。図４は、本実施形態に係る３次元計測システム１００の処理手順の一例を示すフローチャートであり、３次元計測システム１００を用いた３次元計測方法の処理手順の一例を示すフローチャートでもある。また、図５は、本実施形態に係る３次元計測システム１００の処理手順の一例におけるタイミングチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。さらに、以下に説明する各「時刻ｔ」は、図５における処理の開始及び終了のタイミングを示す。
（起動）
まず、３次元計測システム１００のユーザは、３次元計測システム１００を起動し、起動した３次元計測システム１００に各種プログラム（制御プログラム、画像処理プログラム等）を実行させる。それから、コンピュータ３００における制御部３１０は、以下の処理手順に従って、センサユニット２００及びコンピュータ３００における各動作を制御し、また、対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２の画像処理を行う。
（ステップＳ１０）
まず、ステップＳ１０では、必要に応じて対象物ＯＢとセンサユニット２００との相対的な配置を調整し、また、３Ｄ用プロジェクタ１１０からの３Ｄ用照明の投射条件、並びに、第１カメラ２１０及び第２カメラ２２０の撮像条件を設定した後、時刻ｔ１における適宜のトリガ（タイミング信号）に基づいて、時刻ｔ１から時刻ｔ２において、３Ｄ用プロジェクタ１１０からパターン光を含む３Ｄ用照明を対象物ＯＢへ投射する。
（ステップＳ２０）
次に、ステップＳ２０では、３Ｄ用照明が投射されている時刻ｔ１から時刻ｔ２までの間に、第１カメラ２１０及び第２カメラ２２０による対象物ＯＢの撮像を行い、時刻ｔ１から時刻ｔ３において、それぞれ得られた画像Ｉｍｇ１，Ｉｍｇ２を第１カメラ２１０及び第２カメラ２２０から読み出す。続いて、時刻ｔ３から時刻ｔ５において、画像Ｉｍｇ１，Ｉｍｇ２を、それぞれ個別に連続して又は同時にコンピュータ３００へ転送する。なお、図５においては、時刻ｔ３から時刻ｔ４の間に画像Ｉｍｇ１を転送し，時刻ｔ４から時刻ｔ５の間に画像Ｉｍｇ２を転送する場合について例示する。
（ステップＳ３０）
次いで、ステップＳ３０では、画像Ｉｍｇ１，Ｉｍｇ２の少なくとも何れか一方を用いて、時刻ｔ４から時刻ｔ６において、前記（１）の第１画像処理（例えばアクティブワンショット方式による３次元計測）を実行し、画像Ｉｍｇ１，Ｉｍｇ２の少なくも何れか一方から、計測光（パターン光）に含まれるパターンに応じた複数の第１特徴点の３次元位置を示す３次元点群を復元する。なお、図４及び図５においては、画像Ｉｍｇ１を用いる場合について例示するが、画像Ｉｍｇ２を用いてもよく、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いてもよい。ここで、図６（Ａ）及び図６（Ｂ）は、それぞれ、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ１、及び、該画像Ｉｍｇ１を用いてステップＳ３０における第１画像処理を行って復元した３次元点群画像Ｉｍｇ３Ｄ１を示す。
（ステップＳ４０）
続いて、ステップＳ４０では、時刻ｔ６から時刻ｔ７において、以下の処理を行う。すなわち、ここでは、まず、画像Ｉｍｇ１，Ｉｍｇ２の一般的な平行化処理を行い、平行化された画像Ｉｍｇ１，Ｉｍｇ２（平行化画像）を用いて、前記（２）の第２画像処理（復元３次元点群投影）を実行する。これにより、復元３次元点群における各第１特徴点（復元３次元点）の３次元座標（つまり図６（Ｂ）における各点の３次元座標）が画像Ｉｍｇ１，Ｉｍｇ２に２次元投影される。なお、画像Ｉｍｇ１への２次元投影はステップＳ３０における画像Ｉｍｇ１の処理において、時刻ｔ４から時刻ｔ６の間に、実質的に同時に実行され得る。
ここで、図７（Ａ）は、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ１の平行化画像Ｉｍｇ１’（図６（Ａ）と実質的に同等）、及び、その平行化画像Ｉｍｇ１’に復元３次元点の３次元座標を２次元投影した画像Ｉｍｇ１０の部分拡大図を示す。同様に、図７（Ｂ）は、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ２の平行化画像Ｉｍｇ２’、及び、その平行化画像Ｉｍｇ２’に復元３次元点の３次元座標を２次元投影した画像Ｉｍｇ２０の部分拡大図を示す。画像Ｉｍｇ１０，２０における「＋」印のシンボルが復元３次元点（対象画素）の２次元投影点に相当する。
次に、画像Ｉｍｇ１，Ｉｍｇ２間における複数の第１特徴点（対象画素）の各視差として、画像Ｉｍｇ１０，Ｉｍｇ２０間における各復元３次元点の視差を算出する。ここで、図７（Ａ）の画像Ｉｍｇ１０に符号を例示した対象画素Ｇ１０～Ｇ１３は、それぞれ、図７（Ｂ）の画像Ｉｍｇ２０に符号を例示した対象画素Ｇ２０～Ｇ２３に対応し、対応する対象画素間の２次元座標から各第１特徴点（対象画素）の視差が算出される。これにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを得る。
ここでさらに、上述した画像Ｉｍｇ１，Ｉｍｇ２の平行化処理と、平行化画像に復元３次元点の３次元座標を２次元投影して２次元座標を得るための数値処理のより具体的な一例について、以下に説明する。
まず、平行化処理において、第１カメラ２１０の原点座標を基準座標と設定する。次に、第１カメラ２１０及び第２カメラ２２０のレンズの歪みは画像Ｉｍｇ１，Ｉｍｇ２から事前に除去されているとし、線形モデルで考えると、アクティブワンショット方式における３次元点ＸA、第１カメラ２１０による画像Ｉｍｇ１における対応２次元座標点ＵL、及び、第２カメラ２２０による画像Ｉｍｇ２における対応２次元座標点ＵRは、下記式（１）及び式（２）で表される関係としてモデル化することができる。
Figure 0007282317000001
上記式中、ＫLは、第１カメラ２１０の内部行列を示し、ＫRは、第２カメラ２２０の内部行列を示し、回転行列Ｒ2と並進ベクトルｔ2は、第１カメラ２１０に対する第２カメラ２２０の姿勢を表す。
次に、第１カメラ２１０及び第２カメラ２２０が水平設置されている場合、両者の画像Ｉｍｇ１，Ｉｍｇ２における対応画素が垂直方向において同じ位置に現れるようにするため、仮想的に第１カメラ２１０及び第２カメラ２２０の両方を回転させ、理想的な平行状態とする。ここでの平行化処理では、下記式（３）で表される条件を満たす回転行列Ｒrectと仮想的なカメラ行列Ｋrectと用い、第１カメラ２１０をＲrect・Ｒ2だけ、第２カメラ２２０をＲrectだけ、仮想的に回転させる。
Figure 0007282317000002
そして、下記式（４）及び式（５）で表される関係から、ステレオカメラ方式とは異なる３次元計測方式（例えばアクティブワンショット方式）による復元３次元点ＸAに対応する平行化画像Ｉｍｇ１’における対応２次元座標Ｕ’L、及び、平行化画像Ｉｍｇ２’における対応２次元座標Ｕ’Rを求めることができる。
Figure 0007282317000003
（ステップＳ５０）
次に、ステップＳ５０では、画像Ｉｍｇ１，Ｉｍｇ２を用いて、ステップＳ４０と同じく時刻ｔ６から時刻ｔ７において、前記の（３）第３画像処理（ステレオカメラ方式による３次元計測）を実行し、画像Ｉｍｇ１，Ｉｍｇ２（平行化処理を行った場合には、画像Ｉｍｇ１’，Ｉｍｇ２’）の一方を基準画像とし且つ他方を比較画像とし、基準画像における任意の第２特徴点とそれに対する比較画像における対応点とのステレオマッチングを行う。なお、画像Ｉｍｇ２を基準画像とし、画像Ｉｍｇ１を比較画像としてもよい。
まず、基準画像（例えば画像Ｉｍｇ１’）における第２特徴点を抽出し、その第２特徴点の所定の近傍位置に存在する第１特徴点の視差に基づいて、第２特徴点と対応点との視差の推定値を算出する。
ここで、図８は、ステップＳ４０で得た複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを模式的に示す概念図である。図８においては、行列に区分けされた各領域が基準画像における単位画素に相当し、任意に抽出された第２特徴点である画素ＧＡと、その近傍位置に存在し且つ視差マップにおいて視差が既知である第１特徴点である例えば対象画素Ｇ１０～Ｇ１３（図７（Ａ）参照）を併せて示す。ここで、第２特徴点である画素ＧＡとその対応点との視差の推定値を算出する手法の一例について、以下に説明する。但し、かかる推定方法は以下の手法に限定されない。また、ここでは、第１特徴点及び第２特徴点が異なる点であり且つ互いの近傍位置に存在する場合を例に説明するが、第１特徴点及び第２特徴点は、同一点であってもよく、また、異なる点である場合でも、両者が互いに近傍位置に存在する例に限定されない。さらに、第１特徴点及び第２特徴点が異なる点であり、ステレオカメラ以外の３次元計測方式により求めた第１特徴点の距離情報の精度が十分であれば、ステレオカメラ方式により第１特徴点の距離情報を求める処理を除外することで、計算速度を速めることが可能となる。
すなわち、第２特徴点である画素ＧＡの近傍位置に存在する第１特徴点である画素の視差がｄであった場合、第２特徴点である画素ＧＡの視差ｄGAは、例えば下記式（６）を満たす範囲内の値であると推定することができる。下記式（６）中、Δｄは、適宜設定され得るマージンを示す（以下同様）。
Figure 0007282317000004
また、例えば図８に示すように、第２特徴点である画素ＧＡの近傍位置に、視差が得られている第１特徴点である複数の対象画素Ｇ１０～Ｇ１３が存在する場合、式（６）の概念を発展させ、第２特徴点である画素ＧＡの視差ｄGAは、例えば下記式（７）を満たす範囲内の値であると推定することもできる。下記式（７）中、ｍｉｎ（ｄn）は、最小のｄnを選択する演算を示し、ｍａｘ（ｄn）は、最大のｄnを選択する演算を示し、ｄ0～ｄ3は、それぞれ、第１特徴点である画素Ｇ１０～Ｇ１３の視差を示す。
Figure 0007282317000005
こうして推定された第２特徴点である画素ＧＡの視差ｄGAに基づいて、その第２特徴点に対する対応点の探索領域を限定的に設定（すなわち、探索領域を狭い範囲に限定）する。そして、その探索領域において、平行化画像Ｉｍｇ１’，Ｉｍｇ２’のステレオマッチングを行い、第２特徴点である画素ＧＡにおける真の視差を算出する。なお、ステレオマッチングに先立って、必要に応じて、平行化画像Ｉｍｇ１’，Ｉｍｇ２’に対して適宜のフィルタリング等の前処理を実施してもよい。なお、ここでは、第２特徴点の視差を求めるための探索範囲を、各第１特徴点について得られた視差のうち複数の（４つの）視差に基づいて設定したが、これに限定されず、各第１特徴点について得られた視差のうち、１つ、２つ、３つ、又は５つ以上の視差に基づいて、第２特徴点の視差を求めるための探索範囲を設定してもよい。
以上の処理を複数の第２特徴点（例えば、図８に示す第１特徴点である画素以外の全ての画素）に対して実行することにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップ（図８）を補完するように、画像Ｉｍｇ１，Ｉｍｇ２の画素単位での比較的細かい密度分布の視差マップを得る（例えば、図８に示す第１特徴点である画素Ｇ１０～Ｇ１３以外の全ての第２特徴点の画素の視差が算出される。）。
（ステップＳ６０）
それから、ステップＳ６０では、時刻ｔ７から時刻ｔ８において、ステップＳ３０，Ｓ５０で得た視差情報を統合し、換言すれば、ステップＳ３０で得た比較的粗い密度分布の視差マップとステップＳ５０で得た比較的細かい密度分布の視差マップを統合して統合視差マップ（例えば、図８に示す全ての画素の視差が判明したマップ）を得る。次いで、その統合視差マップに対して必要に応じて適宜のフィルタリング等の後処理を実施した後、第１特徴点及び第２特徴点の全画素の視差を深さ方向の距離に変換（いわゆる視差・デプス変換）することにより、対象物ＯＢの３次元形状を特定する。
そして、得られた対象物ＯＢの３次元形状を示す３次元点群画像を、必要に応じて、３次元計測システム１００のユーザが視認可能なようにディスプレイやプリンタ等に出力して、一連の処理を終了する。ここで、図９（Ａ）及び図９（Ｂ）は、それぞれ、対象物ＯＢの一例（金属製のワーク）に対して３次元計測システム１００によって得た統合視差マップの一例を示す画像ＩｍｇＭ（ここでは、視差の大小をグレースケールで模式的に示す。）、及び、該画像ＩｍｇＭを用いて復元した３次元形状を表す３次元点群画像Ｉｍｇ３ＤＭを示す。
§４ 作用・効果
以上のとおり、本実施形態に係る３次元計測システム及び３次元計測方法の一例は、ステレオカメラ方式とは異なる３次元計測方式による３次元計測と、ステレオマッチングによって対象物の３次元位置を求めることができるステレオカメラ方式による３次元計測を融合したハイブリッド３次元計測システム及びその方法を提供する。
但し、本実施形態の一例は、ステレオカメラ方式とは異なる３次元計測方式とステレオカメラ方式をただ単に組み合わせただけのものではなく、ステレオカメラ方式とは異なる３次元計測方式で得られた３次元情報（第１特徴点の視差）を用いることにより、ステレオマッチングにおける第２特徴点に対する対応点の探索領域を、通常のステレオカメラ方式に比して格段に狭い範囲に限定することができる。
換言すれば、本実施形態の一例によれば、ステレオカメラ方式とは異なる３次元計測方式で得られた第１特徴点間の画素に注目し、その画素（第２特徴点とその対応点）に対する視差情報をステレオカメラ方式によって補完することができ、その際のステレオマッチングの探索領域を確からしい狭い範囲に限定することにより、極めて短い処理時間を達成することができる。その結果、画素単位の高い計測分解能を有するステレオカメラ方式のステレオマッチングにおける探索時間（図５に示す如く、ステップＳ４０の処理時間は時刻ｔ６から時刻ｔ７までの極めて短時間である。）及び全体の処理時間を大幅に短縮することができる。しかも、そのように探索領域を限定することにより、相互反射に対する優れたロバスト性を実現することができるとともに、ステレオマッチングにおける画素間の誤対応を軽減することも可能となる。
ここで、図１０は、表面の性状が種々異なる対象物ＯＢについて、種々の方式による３次元計測を行った結果として最終的に得られた視差マップを表す画像の一覧を表形式で示す。なお、何れの方式においても、センサユニットとしては、本実施形態の３次元計測システム１００におけるセンサユニット２００を用い、図１０には、得られた２種類の画像Ｉｍｇ１，Ｉｍｇ２（但し、パターンを消去）を示す。また、アクティブワンショット方式による画像処理のみを行って得た結果、及び、ステレオカメラ方式による画像処理のみを行って得た結果を、それぞれ便宜的に、「比較例１」及び「比較例２」として示す。また、本実施形態の３次元計測システム１００による画像処理を行って得た結果を「実施例１」として示す。さらに、対象物ＯＢとしては、Ａ. テクスチャなしのもの、Ｂ．形状エッジを有するもの、Ｃ．テクスチャを有するもの、及び、Ｄ．正反射を生じるワークを選定した。またさらに、図１０においては、各対象物ＯＢに対して各方式によって得られた視差マップの画像の欄に、良好な結果を示したものには「○」印を付し、良好な結果を示さなかったものには「×」印を付した。
図１０に示すとおり、比較例１（アクティブワンショット方式による画像処理のみ）では、Ａ. テクスチャなしのもの、及び、Ｄ．正反射を生じるワークに対しては良好な結果が得られたものの、Ｂ．形状エッジを有するもの、及び、Ｃ．テクスチャを有するものに対しては良好な結果が得られなかった。反対に、比較例２（ステレオカメラ方式による画像処理のみ）では、Ｂ．形状エッジを有するもの、及び、Ｃ．テクスチャを有するものに対しては良好な結果が得られたものの、Ａ. テクスチャなしのもの、及び、Ｄ．正反射を生じるワークに対しては良好な結果が得られなかった。これらに対し、実施例１（本実施形態の３次元計測システム１００による画像処理）では、何れの対象物ＯＢに対しても良好な結果が得られた。これらの結果は、本実施形態の３次元計測システム１００の他方式に対する優位性（特に対象物ＯＢの表面の性状の相違に対する高いロバスト性）の一例を示すものといえる。このとおり、本実施形態の一例は、ステレオカメラ方式とは異なる３次元計測方式（例えばアクティブワンショット方式）及びステレオカメラ方式のそれぞれの計測原理の相違に基づく計測可能領域の違いを効果的に組み合わせることにより、従来に比して優位な効果を得ることが確認された。
§５ 変形例
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述までの説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
＜５．１＞
例えば、上記実施形態の動作例におけるステップＳ３０における（１）第１画像処理においては、画像Ｉｍｇ１，Ｉｍｇ２のうち画像Ｉｍｇ１のみを用いる場合について言及したが、（１）第１画像処理は、画像Ｉｍｇ１，Ｉｍｇ２のうち画像Ｉｍｇ２のみを用いて実施してもよく、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いて実施してもよい。
特に、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いる構成によれば、比較的粗い密度分布の視差マップが２つ得られるので、特徴点の未知の視差の推定における精度及び／又は確度を向上させ得る。また、２つの画像のうち比較的良好な何れか一方の画像を選択的に用いる構成によっても、比較的粗い密度分布の視差マップ自体の精度が高まるので、この場合にも、特徴点の未知の視差の推定における精度及び／又は確度を向上させ得る。
なお、センサユニット２００に備わるカメラも各１台の第１カメラ２１０及び第２カメラ２２０（合計２台）に限られず、第１カメラ２１０及び第２カメラ２２０の少なくとも何れか一方が複数台（合計３台以上）であってもよい。また、各カメラで撮像される画像Ｉｍｇ１，Ｉｍｇ２は、それぞれ１画像に限られず、それぞれ複数画像であってももちろんよい。これらの構成によれば、比較的粗い密度分布の視差マップを得るために用いる画像の選択の幅が広がるので、この場合にも、特徴点の未知の視差の推定における精度及び／又は確度を更に向上させ得るとともに、ステレオカメラ方式で用いる２つの画像の選択性も高めることができるので、最終的に特定される３次元形状の精度及び／又は確度を一層向上させ得る。
＜５．２＞
ここでは、図１１（Ａ）乃至（Ｄ）を用いて、センサユニット２００における３Ｄ用プロジェクタ１１０並びに第１カメラ２１０及び第２カメラ２２０の相対的な幾何学的配置に係る構成例について説明する。
＜５．２．１＞
図１１（Ａ）は、センサユニット２００の第１構成例を模式的に示す斜視図である。当該第１構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１がその平面Ｐ１上に配置されないように構成されたものである。換言すれば、当該第１構成例では、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ１上の位置とは異なる位置に配置されるように構成される。また、当該第１構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離、及び、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第２カメラ２２０の光軸Ｐ２２との距離の何れとも同等となるように構成される。
当該第１構成例では、第１カメラ２１０と第２カメラ２２０との基線長（距離）が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れとも同等となるので、３次元計測における計測精度を向上させることができる。また、この場合、第１カメラ２１０を用いたアクティブワンショット方式による計測精度と、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を同等にすることができ、両方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
＜５．２．２＞
図１１（Ｂ）は、センサユニット２００の第２構成例を模式的に示す斜視図である。当該第２構成例も、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１がその平面Ｐ１上に配置されないように構成されたものである。換言すれば、当該第２構成例でも、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ１上の位置とは異なる位置に配置されるように構成される。また、当該第２構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離よりも長くなるように構成される。
当該第２構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長よりも大きくなるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第１構成例（図１１（Ａ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
＜５．２．３＞
図１１（Ｃ）は、センサユニット２００の第３構成例を模式的に示す斜視図である。当該第３構成例は、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ２上に（すなわち全て同一平面上に）配置されるように構成される。また、当該第３構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離、及び、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第２カメラ２２０の光軸Ｐ２２との距離の何れとも同等となるように構成される。
当該第３構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れよりも大きくなるので、３次元計測における計測精度を向上させることができる。また、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長が同等となるので、第１カメラ２１０を用いたアクティブワンショット方式による計測精度と、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を同等にすることができ、両方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、第１カメラ２１０と第２カメラ２２０との基線長を、例えば第１構成例（図１１（Ａ））や第２構成例（図１１（Ｂ））に比して大きくすることが可能となるので、他の計測パラメータやアルゴリズムが同一の条件であれば、ステレオカメラ方式による計測精度を更に向上させることができ、センサユニット２００の設置面積を広くしてでもステレオカメラ方式による計測精度を高めたい場合に有用である。
＜５．２．４＞
図１１（Ｄ）は、センサユニット２００の第４構成例を模式的に示す斜視図である。当該第４構成例も、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ２上に（すなわち全て同一平面Ｐ２上に）配置されるように構成される。また、当該第４構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離と同等になるように構成される。
当該第４構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長と同等になるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第３構成例（図１１（Ｃ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行い、且つ、アクティブワンショット方式による計測精度を更に高めたい場合に有用である。
＜５．３＞
次に、図１２（Ａ）及び（Ｂ）を用いて、センサユニット２００に、通常照明光を対象物ＯＢに投射するための２Ｄ用プロジェクタ１２０を加えて配置した構成例について説明する。このとおり、２Ｄ用プロジェクタ１２０は、本発明における「投射部」（「第２投射部」）の一例に相当し、３Ｄ用プロジェクタ１１０及び２Ｄ用プロジェクタ１２０は、本発明における「投射部」の一例に相当し、２Ｄ用プロジェクタ１２０を有するセンサユニット２００も、本発明における「投射部」の一例に相当する。
＜５．３．１＞
図１２（Ａ）は、センサユニット２００の第５構成例を模式的に示す斜視図である。当該第５構成例は、図１１（Ｂ）に示す第２構成例に、２Ｄ用プロジェクタ１２０が追設された配置を有している。また、当該第５構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と２Ｄ用プロジェクタ１２０の光軸Ｐ１２が、平面Ｐ１とは異なる同一平面Ｐ３上に配置されるように構成される。なお、平面Ｐ１と平面Ｐ３は、平行とされている。
当該第５構成例では、２Ｄ用プロジェクタ１２０を例えば検査用途の一般照明として使用することができるので、対象物ＯＢが暗い周辺環境下にある場合においても、３次元形状の計測を好適に実施することができる。また、２Ｄ用プロジェクタ１２０から通常照明が投射された対象物ＯＢを撮像した画像を取得し、その画像と、例えばコンピュータ３００の記憶部３０３又は画像記録部３３０に予め設定又は保持された対象物ＯＢの形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物ＯＢの位置姿勢をより正確に把握することが可能となる。
また、当該第５構成例は、２Ｄ用プロジェクタ１２０を除くセンサユニット２００の構成が第２構成例と同様であるので、第２構成例と同じく、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第１構成例（図１１（Ａ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
＜５．３．２＞
図１２（Ｂ）は、センサユニット２００の第６構成例を模式的に示す斜視図である。当該第６構成例は、図１１（Ｃ）に示す第３構成例に、２Ｄ用プロジェクタ１２０が追設された配置を有している。また、当該第６構成例は、２Ｄ用プロジェクタ１２０の光軸Ｐ１２が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１、第１カメラ２１０の光軸Ｐ２１、及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ４上の位置に（すなわち全て同一平面Ｐ４上に）配置されるように、且つ、２Ｄ用プロジェクタ１２０が、３Ｄ用プロジェクタ１１０と第２カメラ２２０との間に配置されるように構成される。
当該第６構成例では、第５構成例と同様に、２Ｄ用プロジェクタ１２０を例えば検査用途の一般照明として使用することができるので、対象物ＯＢが暗い周辺環境下にある場合においても、３次元形状の計測を好適に実施することができる。また、２Ｄ用プロジェクタ１２０から通常照明が投射された対象物ＯＢを撮像した画像を取得し、その画像と、例えばコンピュータ３００の記憶部３０３又は画像記録部３３０に予め設定又は保持された対象物ＯＢの形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物ＯＢの位置姿勢をより正確に把握することが可能となる。
また、当該第６構成例は、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れよりも大きくなるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第３構成例（図１１（Ｃ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行い、且つ、アクティブワンショット方式による計測精度を更に高めたい場合に有用である。さらに、第１カメラ２１０と第２カメラ２２０との基線長を、例えば第３構成例（図１１（Ｃ））に比して更に大きくすることが可能となるので、他の計測パラメータやアルゴリズムが同一の条件であれば、ステレオカメラ方式による計測精度を更に一層向上させることができ、センサユニット２００の設置面積を更に広くしてでもステレオカメラ方式による計測精度を更に高めたい場合に有用である。
＜５．４＞
なお、上記第１構成例乃至第６構成例におけるセンサユニット２００の配置は、ステレオカメラ方式とは異なる３次元計測方式として三角測距を基本原理とする計測方式によって得た計測情報に基づいて、ステレオカメラ方式によるステレオマッチングを実施する際に有用な構成として例示した。
一方、他の３次元計測方式を用いた形態として、ステレオカメラ方式とは異なる３次元計測方式として同軸測距を基本原理とする計測方式（各種TOF測定方式等）によって得た計測情報に基づいて、ステレオカメラ方式によるステレオマッチングを実施する第７構成例が挙げられる。当該第７構成例の場合でも、図１１（Ａ）乃至（Ｄ）並びに図１２（Ａ）及び（Ｂ）に示すセンサユニット２００を用いることができ、これらのなかでは、３Ｄ用プロジェクタ１１０（時間計測用の照明光）と第１カメラ２１０との基線長が極力短く（距離が近づく）なり、且つ、第１カメラ２１０と第２カメラとの基線長が極力長く（距離が離れる）なる図１１（Ｃ）及び図１２（Ｂ）に示す配置のものが、計測精度をより高めることができ、殊に図１２（Ｂ）に示す配置が有用である。
＜５．５＞
また、上記実施形態においては、例えば、第１カメラ２１０及び第２カメラ２２０のうちの一方（片方）を用い、アクティブワンショット方式による計測で測距した後に、第１特徴点の視差を求める構成について説明した。一方、更に他の３次元計測方式を用いた形態として、対象物ＯＢにパターン光を投影した状態で第１カメラ２１０及び第２カメラ２２０の両方を用いて空間コードを特定することにより、第１特徴点の視差を求める第８構成例が挙げられる。当該第８構成例による計測は、具体的には、空間コード化パターン投影方式、及び／又は、時間コード化パターン投影方式によって実施することができる。
＜５．６＞
さらに、図１３（Ａ）乃至（Ｃ）を用いて、センサユニット２００における３Ｄ用プロジェクタ１１０から投射される３Ｄ用照明の投射エリアＳ１１０に係る構成例について説明する。
＜５．６．１＞
図１３（Ａ）は、センサユニット２００の第９構成例を模式的に示す平面図である。当該第９構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の重複部分（共通視野）を覆うものを備える。当該第９構成例は、上述した実施形態における３次元計測システム１００において、１度の３Ｄ用照明の投射時に画像Ｉｍｇ１，Ｉｍｇ２を撮像し、それらの画像Ｉｍｇ１，Ｉｍｇ２を用いてハイブリッド３次元計測を行う場合に特に好適である。
＜５．６．２＞
図１３（Ｂ）は、センサユニット２００の第１０構成例を模式的に示す平面図である。当該第１０構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の何れか一方（単一視野）の全体を覆うものを備える。当該第１０構成例は、上述した実施形態における３次元計測システム１００において、アクティブワンショット方式で用いる画像を撮像する際に有用であり、この場合、ステレオカメラ方式で用いる画像は、異なる投射エリアの別の照明（例えば２Ｄ用プロジェクタ）で撮像することができる。
＜５．６．３＞
図１３（Ｃ）は、センサユニット２００の第１１構成例を模式的に示す平面図である。当該第１１構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の両方の全体部分（複数視野）を覆うものを備える。当該第１１構成例では、上述した実施形態における３次元計測システム１００において、１度の３Ｄ用照明の投射時に画像Ｉｍｇ１，Ｉｍｇ２を撮像し、それらの画像Ｉｍｇ１，Ｉｍｇ２を用いてハイブリッド３次元計測を行う場合、及び、アクティブワンショット方式で用いる画像とステレオカメラ方式で用いる画像を別々に撮像する場合の何れにも好適に対応することができる。
＜５．７＞
上記実施形態においては、ステップＳ３０において、画像Ｉｍｇ１，Ｉｍｇ２の少なくとも何れか一方を用いて、計測光（パターン光）に含まれるパターンに応じた複数の第１特徴点の３次元位置を示す３次元点群を復元したが、対象物ＯＢの形状や計測条件によっては、第１特徴点の一部について３次元点群を復元することができない場合も想定される。そこで、当該第１２構成例では、かかる場合に、例えば、３次元点群が復元された第１特徴点の領域に対応する第２特徴点については、ステレオマッチングにおける探索範囲を第１特徴点の視差に基づいて狭い範囲に設定する一方、３次元点群が復元されなかった第１特徴点の領域に対応する第２特徴点については、ステレオマッチングにおける探索範囲を予め定めた所定の範囲に設定するように構成する。なお、当該第１２構成例におけるハード構成は、他の実施形態及び他の構成例と同等のものとすることができる。
当該第１２構成例によれば、対象物ＯＢのうちの一部について、ステレオカメラ方式による３次元計測に先立つ最初の３次元計測（ステレオカメラ方式とは異なる３次元計測方式による３次元計測；例えばアクティブワンショット方式）で３次元点群を復元できない場合であっても、画像Ｉｍｇ１，Ｉｍｇ２の全体に対して探索範囲を広げたステレオマッチングを行う必要がなく、処理の高速化が可能となる。
§６ 付記
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
（付記１）
互いに離間配置された第１撮像部（２１０）及び第２撮像部（２２０）を有しており、且つ、前記対象物（ＯＢ）における互いに異なる画像（Ｉｍｇ１，Ｉｍｇ２）を撮像する撮像部（２００）と、
前記第１撮像部（２１０）及び前記第２撮像部（２２０）の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差（ｄ0～ｄ3）を算出する第１算出部（３５０）と、
前記第１撮像部（２１０）及び前記第２撮像部（２２０）を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差（ｄ0～ｄ3）と前記第２特徴点の視差から前記対象物（ＯＢ）の３次元形状を特定する第２算出部（３５０）と、
を備え、
前記第２算出部（３５０）は、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差（ｄ0～ｄ3）に基づいて設定する、
３次元計測システム（１００）。
（付記２）
３次元形状を特定するために前記対象物（ＯＢ）に計測光を投射する投射部（２００，１１０）を備える、
付記１記載の３次元計測システム（１００）。
（付記３）
前記第１特徴点及び前記第２特徴点は、同一点であるか、又は、互いの近傍位置に存在する、
付記１又は２記載の３次元計測システム（１００）。
（付記４）
前記ステレオカメラ方式とは異なる３次元計測方式は、前記撮像部（２００）による１度の撮像により前記対象物（ＯＢ）の３次元情報を得るものである、
付記１乃至３の何れか記載の３次元計測システム（１００）。
（付記５）
前記第２算出部（３５０）は、前記探索範囲を前記第１特徴点の視差（ｄ0～ｄ3）に基づいて設定しない場合に比して、前記ステレオカメラ方式におけるマッチング度合いの指標の閾値を下げる、
付記１乃至４の何れか記載の３次元計測システム（１００）。
（付記６）
前記第１算出部（３５０）は、前記第１特徴点の３次元位置を示す３次元点群を復元するものであり、
前記第２算出部（３５０）は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を前記第１特徴点の視差（ｄ0～ｄ3）に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を予め定めた所定の範囲に設定する、
付記１乃至５の何れか記載の３次元計測システム。
（付記７）
前記第１算出部（３５０）が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部（３５１）と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差（ｄ0～ｄ3）を算出する第２画像処理部（３５２）とを有し、
前記第２算出部（３５０）が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差（ｄ0～ｄ3）から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部（３５３）と、前記第１特徴点の視差（ｄ0～ｄ3）及び前記第２特徴点の視差に基づいて前記対象物（ＯＢ）の３次元形状を特定する第４画像処理部（３５４）とを有する、
付記１乃至６の何れか記載の３次元計測システム（１００）。
（付記８）
前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）との距離が、前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）又は前記第２撮像部（２２０）の光軸（Ｐ２２）との距離と同等である、
付記２乃至７の何れか記載の３次元計測システム（１００）。
（付記９）
前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）との距離が、前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）又は前記第２撮像部（２２０）の光軸（Ｐ２２）との距離よりも長い、
付記２乃至７の何れか記載の３次元計測システム（１００）。
（付記１０）
前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）が同一平面（Ｐ２）上に配置される、
付記２乃至９の何れか記載の３次元計測システム（１００）。
（付記１１）
前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）が同一平面（Ｐ１）上に配置され、前記投射部（１１０）の光軸（Ｐ１１）が該平面（Ｐ１）上に配置されない、
付記２乃至９の何れか記載の３次元計測システム（１００）。
（付記１２）
前記投射部（２００，１２０）は、前記計測光とは異なる通常照明光を前記対象物（ＯＢ）に投射する、
付記２乃至１１の何れか記載の３次元計測システム（１００）。
（付記１３）
互いに離間配置された第１撮像部（２１０）及び第２撮像部（２２０）を有する撮像部（２００）と、第１算出部（３５０）と、第２算出部（３５０）とを備える３次元計測システム（１００）を用い、
前記撮像部（２００）が、前記対象物（ＯＢ）における互いに異なる画像（Ｉｍｇ１，Ｉｍｇ２）を撮像するステップと、
前記第１算出部（３５０）が、前記第１撮像部（２１０）及び前記第２撮像部（２２０）の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差（ｄ0～ｄ3）を算出するステップと、
前記第２算出部（３５０）が、前記第１撮像部（２１０）及び前記第２撮像部（２２０）を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差（ｄ0～ｄ3）及び前記第２特徴点の視差から前記対象物（ＯＢ）の３次元形状を特定するステップと、
を含み、
前記対象物（ＯＢ）の３次元形状を特定するステップにおいては、前記第２算出部（３５０）が、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差（ｄ0～ｄ3）に基づいて設定する、
３次元計測方法。
１００…３次元計測システム、１１０…３Ｄ用プロジェクタ、１１１…レーザ光源、１１２…パターンマスク、１１３…レンズ、１２０…２Ｄ用プロジェクタ、２００…センサユニット、２１０…第１カメラ、２２０…第２カメラ、３００…コンピュータ、３０１…制御演算部、３０２…通信Ｉ／Ｆ部、３０３…記憶部、３０４…入力部、３０５…出力部、３０６…バスライン、３１０…制御部、３２０…画像取得部、３３０…画像記録部、３４０…画像出力部、３５０…画像処理部、３５１…第１画像処理部、３５２…第２画像処理部、３５３…第３画像処理部、３５４…第４画像処理部、ＯＢ…対象物、ｄ0～ｄ3…第１特徴点の視差、ｄGA…画素（第２特徴点）の視差（の推定値）、Ｇ１０～Ｇ１３…第１特徴点である画素、Ｇ２０～Ｇ２３…第１特徴点である画素、ＧＡ…画素（第２特徴点）、Ｉｍｇ１，Ｉｍｇ２…画像、Ｉｍｇ１’，Ｉｍｇ２’…平行化画像、Ｉｍｇ１０，２０…２次元投影した画像、Ｉｍｇ３Ｄ１，Ｉｍｇ３ＤＭ…３次元点群画像、ＩｍｇＭ…画像（統合視差マップ）、Ｐ１，Ｐ２，Ｐ３，Ｐ４…仮想的な平面、Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２…光軸、Ｓ１０～Ｓ６０…ステップ、Ｓ１１０…投射エリア、Ｓ２１０，Ｓ２２０…視野角、ｔ１～ｔ８…時刻。

Claims (10)

  1. ３次元形状を特定するために対象物に計測光を投射する単一の投射部と、
    互いに離間配置された第１撮像部及び第２撮像部を有しており、且つ、前記対象物における互いに異なる画像を同時に撮像する撮像部と、
    前記第１撮像部及び前記第２撮像部により撮像した前記対象物の画像の少なくとも何れか一方を用い、パターン投影方式に基づく画像処理により、前記計測光に含まれるパターンに応じた複数の第１特徴点の３次元位置を示す３次元点群を復元し、該３次元点群における各第１特徴点の３次元座標を前記対象物の画像の両方に２次元投影し、前記各第１特徴点の２次元座標を求め、該２次元座標から前記第１特徴点の視差を算出する第１算出部と、
    前記第１撮像部及び前記第２撮像部により撮像した前記対象物の画像の両方を用い、ステレオカメラ方式に基づく画像処理により、前記対象物の画像における第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定する第２算出部と、
    を備え、
    前記第２算出部は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記対応点の探索範囲を予め定めた所定の範囲に設定する、
    ３次元計測システム。
  2. 前記第１特徴点及び前記第２特徴点は、同一点であるか、又は、互いの近傍位置に存在する、
    請求項１記載の３次元計測システム。
  3. 前記第２算出部は、前記探索範囲を前記第１特徴点の視差に基づいて設定しない場合に比して、前記ステレオカメラ方式におけるマッチング度合いの指標の閾値を下げる、
    請求項１又は２記載の３次元計測システム。
  4. 前記第１算出部が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差を算出する第２画像処理部とを有し、
    前記第２算出部が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部と、前記第１特徴点の視差及び前記第２特徴点の視差に基づいて前記対象物の３次元形状を特定する第４画像処理部とを有する、
    請求項１乃至３の何れか１項記載の３次元計測システム。
  5. 前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記単一の投射部の光軸と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離と同等である、
    請求項１乃至４の何れか１項記載の３次元計測システム。
  6. 前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記単一の投射部の光軸と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離よりも長い、
    請求項１乃至４の何れか１項記載の３次元計測システム。
  7. 前記単一の投射部の光軸と前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置される、
    請求項１乃至６の何れか１項記載の３次元計測システム。
  8. 前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置され、前記単一の投射部の光軸が該平面上に配置されない、
    請求項１乃至６の何れか１項記載の３次元計測システム。
  9. 前記単一の投射部は、前記計測光とは異なる通常照明光を前記対象物に投射する光源を含む、
    請求項１乃至８の何れか１項記載の３次元計測システム。
  10. ３次元形状を特定するために対象物に計測光を投射する単一の投射部と、互いに離間配置された第１撮像部及び第２撮像部を有する撮像部と、第１算出部と、第２算出部とを備える３次元計測システムを用い、
    前記撮像部が、前記第１撮像部及び前記第２撮像部により前記対象物における互いに異なる画像を同時に撮像するステップと、
    前記第１算出部が、前記第１撮像部及び前記第２撮像部により撮像した前記対象物の画像の少なくとも何れか一方を用い、パターン投影方式に基づく画像処理により、前記計測光に含まれるパターンに応じた複数の第１特徴点の３次元位置を示す３次元点群を復元し、該３次元点群における各第１特徴点の３次元座標を前記対象物の画像の両方に２次元投影し、前記各第１特徴点の２次元座標を求め、該２次元座標から前記第１特徴点の視差を算出するステップと、
    前記第２算出部が、前記第１撮像部及び前記第２撮像部により撮像した前記対象物の画像の両方を用い、ステレオカメラ方式に基づく画像処理により、前記対象物の画像における第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定するステップと、
    を含み、
    前記対象物の３次元形状を特定するステップにおいては、
    前記第２算出部が、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記対応点の探索範囲を予め定めた所定の範囲に設定する、
    ３次元計測方法。
JP2021155958A 2018-02-14 2021-09-24 ３次元計測システム及び３次元計測方法 Active JP7282317B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021155958A JP7282317B2 (ja) 2018-02-14 2021-09-24 ３次元計測システム及び３次元計測方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018023744A JP7253323B2 (ja) 2018-02-14 2018-02-14 ３次元計測システム及び３次元計測方法
JP2021155958A JP7282317B2 (ja) 2018-02-14 2021-09-24 ３次元計測システム及び３次元計測方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018023744A Division JP7253323B2 (ja) 2018-02-14 2018-02-14 ３次元計測システム及び３次元計測方法

Publications (2)

Publication Number Publication Date
JP2021192064A JP2021192064A (ja) 2021-12-16
JP7282317B2 true JP7282317B2 (ja) 2023-05-29

Family

ID=67619431

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018023744A Active JP7253323B2 (ja) 2018-02-14 2018-02-14 ３次元計測システム及び３次元計測方法
JP2021155958A Active JP7282317B2 (ja) 2018-02-14 2021-09-24 ３次元計測システム及び３次元計測方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018023744A Active JP7253323B2 (ja) 2018-02-14 2018-02-14 ３次元計測システム及び３次元計測方法

Country Status (5)

Country Link
US (1) US11302022B2 (ja)
EP (1) EP3754295B1 (ja)
JP (2) JP7253323B2 (ja)
CN (1) CN111566437B (ja)
WO (1) WO2019160032A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111829456A (zh) 2019-04-19 2020-10-27 株式会社三丰 三维形状测定装置以及三维形状测定方法
EP4009274A4 (en) * 2019-09-10 2023-08-02 OMRON Corporation IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL MEASUREMENT SYSTEM, AND IMAGE PROCESSING METHOD
TWI748696B (zh) 2019-11-18 2021-12-01 德商博斯特比勒費爾德有限公司 用於決定印刷機之印刷參數的方法及測試平台
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
EP4131166A4 (en) * 2020-03-27 2023-05-10 Panasonic Intellectual Property Management Co., Ltd. THREE-DIMENSIONAL MODEL GENERATION METHOD AND THREE-DIMENSIONAL MODEL GENERATION DEVICE
WO2021202526A1 (en) * 2020-03-30 2021-10-07 Sg Gaming, Inc. Gaming state object tracking
CN112118438B (zh) * 2020-06-30 2022-04-05 中兴通讯股份有限公司 摄像系统、移动终端以及三维图像获取方法
DE112021005072T5 (de) * 2020-09-28 2023-07-20 Fanuc Corporation Vorrichtung und Verfahren zur Justierung von Bildgebungsbedingung
US11252386B1 (en) * 2020-10-23 2022-02-15 Himax Technologies Limited Structured-light scanning system and method
US11677921B2 (en) * 2021-01-02 2023-06-13 Dreamvu Inc. System and method for generating dewarped image using projection patterns captured from omni-directional stereo cameras
TWI762182B (zh) * 2021-02-05 2022-04-21 德制國際有限公司 自動加工方法及自動加工系統
CN113763545A (zh) * 2021-09-22 2021-12-07 拉扎斯网络科技（上海）有限公司 图像确定方法、装置、电子设备和计算机可读存储介质
CN118613712A (zh) * 2022-01-24 2024-09-06 特里纳米克斯股份有限公司 通过立体射束剖面分析实现增强的材料检测
CN116481456B (zh) * 2023-06-25 2023-09-08 湖南大学 基于光度立体视觉的单相机三维形貌与变形测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160205378A1 (en) 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
JP2017517737A (ja) 2014-06-11 2017-06-29 ソフトキネティク センサーズ エヌブイ Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
JPH0942940A (ja) * 1995-08-03 1997-02-14 Canon Inc ３次元物体の形状計測方法及び装置
JP4232167B1 (ja) 2007-08-27 2009-03-04 三菱電機株式会社 対象特定装置、対象特定方法および対象特定プログラム
JP4752918B2 (ja) * 2009-01-16 2011-08-17 カシオ計算機株式会社 画像処理装置、画像照合方法、および、プログラム
WO2012111404A1 (ja) * 2011-02-17 2012-08-23 コニカミノルタホールディングス株式会社 画像処理装置、そのプログラム、および画像処理方法
JP2012247364A (ja) 2011-05-30 2012-12-13 Panasonic Corp ステレオカメラ装置、ステレオカメラシステム、プログラム
US9275463B2 (en) * 2011-06-17 2016-03-01 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method
JP5769248B2 (ja) 2011-09-20 2015-08-26 Ｎｅｃソリューションイノベータ株式会社 ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP5773944B2 (ja) * 2012-05-22 2015-09-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
CN103900494B (zh) 2014-03-31 2016-06-08 中国科学院上海光学精密机械研究所 用于双目视觉三维测量的同源点快速匹配方法
CN104268880A (zh) 2014-09-29 2015-01-07 沈阳工业大学 基于特征和区域匹配相结合的深度信息获取方法
US9794543B2 (en) * 2015-03-02 2017-10-17 Ricoh Company, Ltd. Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and storage medium of program of method
US10853625B2 (en) * 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
JP6397801B2 (ja) * 2015-06-30 2018-09-26 日立オートモティブシステムズ株式会社 物体検知装置
US10455216B2 (en) * 2015-08-19 2019-10-22 Faro Technologies, Inc. Three-dimensional imager
US9858672B2 (en) 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
JP6744631B2 (ja) 2016-06-30 2020-08-19 株式会社サンセイアールアンドディ 遊技機
CN106355570B (zh) 2016-10-21 2019-03-19 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017517737A (ja) 2014-06-11 2017-06-29 ソフトキネティク センサーズ エヌブイ Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法
US20160205378A1 (en) 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging

Also Published As

Publication number Publication date
US20210358157A1 (en) 2021-11-18
CN111566437B (zh) 2021-10-29
WO2019160032A1 (ja) 2019-08-22
JP2021192064A (ja) 2021-12-16
EP3754295B1 (en) 2023-07-19
EP3754295A4 (en) 2021-10-27
US11302022B2 (en) 2022-04-12
CN111566437A (zh) 2020-08-21
JP2019138822A (ja) 2019-08-22
EP3754295A1 (en) 2020-12-23
JP7253323B2 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
JP7282317B2 (ja) ３次元計測システム及び３次元計測方法
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP6426968B2 (ja) 情報処理装置およびその方法
US8447099B2 (en) Forming 3D models using two images
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
JP2019120591A (ja) 視差値算出装置、視差値算出方法及びプログラム
JP2012504771A (ja) 三次元及び距離の面間推定を与えるための方法及びシステム
CN114746715A (zh) 三维模型生成方法、信息处理装置及程序
JP2021520008A (ja) 車両検査システムとその方法
JP2015206768A (ja) 前景領域抽出装置、前景領域抽出方法及びプログラム
US11348271B2 (en) Image processing device and three-dimensional measuring system
JP6285686B2 (ja) 視差画像生成装置
JP6655869B2 (ja) 画像処理装置、画像処理方法及びプログラム
JPWO2019187216A1 (ja) 物体識別装置、物体識別方法、及び制御プログラム
JP2019120590A (ja) 視差値算出装置、視差値算出方法及びプログラム
CN117474753A (zh) 一种基于双目结构光系统的点云拼接方法及相关产品
US11143499B2 (en) Three-dimensional information generating device and method capable of self-calibration
JP6388806B2 (ja) 射影画像生成装置と射影画像生成プログラムと射影画像生成方法
JP6867766B2 (ja) 情報処理装置およびその制御方法、プログラム
Kawasaki et al. Optimized aperture for estimating depth from projector's defocus
KR20200122870A (ko) 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
JP7374433B2 (ja) 構築物の三次元形状データの生成方法
CN114332373A (zh) 一种克服继电器金属表面反光的磁路落差检测方法及系统
KR101827847B1 (ko) 삼차원 영상 복원 장치 및 삼차원 영상 복원 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230430

R150 Certificate of patent or registration of utility model

Ref document number: 7282317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150