JP7401024B2 - 三次元計測装置 - Google Patents

三次元計測装置 Download PDF

Info

Publication number
JP7401024B2
JP7401024B2 JP2023510498A JP2023510498A JP7401024B2 JP 7401024 B2 JP7401024 B2 JP 7401024B2 JP 2023510498 A JP2023510498 A JP 2023510498A JP 2023510498 A JP2023510498 A JP 2023510498A JP 7401024 B2 JP7401024 B2 JP 7401024B2
Authority
JP
Japan
Prior art keywords
event data
measurement
output
stripe
brightness change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023510498A
Other languages
English (en)
Other versions
JPWO2022209151A1 (ja
Inventor
勇介 三谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Publication of JPWO2022209151A1 publication Critical patent/JPWO2022209151A1/ja
Application granted granted Critical
Publication of JP7401024B2 publication Critical patent/JP7401024B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

関連出願の相互参照
この出願は、2021年3月30日に日本に出願された特許出願第2021-56528号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
本発明は、計測対象物の三次元形状を計測する三次元計測装置に関するものである。
従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数枚の縞パターン画像を投影することでこの縞パターン画像を投影した計測対象物に関して三次元計測を行う手法である。このように位相シフト法を利用して三次元計測を行う技術として、下記特許文献1に開示されている三次元計測装置が知られている。この三次元計測装置は、各位相の縞を異なる波長の光に割り当て、これを合成した縞パターン画像を計測対象物に投影し、この縞パターン画像を投影している計測対象物をカラーカメラで撮影する。そして、撮影した画像から各色成分を抽出して1回の撮影で位相算出を行うことで、三次元形状の計測に要する時間の短縮を図っている。
特許第3723057号公報 米国特許出願公開第2016/0227135号明細書
ところで、より高速に計測対象物の画像を生成する技術として、上記特許文献2に開示されるイベントカメラが知られている。このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータ(イベントデータ)は出力しないといった特徴があるため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。
しかしながら、イベントカメラから出力されるイベントデータを用いて生成された計測対象物の撮像画像では、その撮像画像から画素単位での輝度変化の有無を把握できても輝度値を直接計測することができない。このため、輝度値を利用する位相シフト法などの三次元計測方法では、計測対象物の三次元形状の計測を実施できないという問題がある。
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータを利用して計測対象物の三次元形状の計測を実施可能な構成を提供することにある。
上記目的を達成するため、請求の範囲の請求項1に記載の発明は、
計測対象物(R)に対して所定の縞パターンを投影する投影部(20)と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部(30)と、
前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部(40)と、
を備える三次元計測装置(10)であって、
前記投影部は、発光開始タイミング及び消灯開始タイミングのいずれかから発光終了及び消灯終了のいずれかまでの時間を異ならせるようにして前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化と前記マイナス輝度変化とのいずれか一方のイベントデータの出力と他方のイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めることを特徴とする。
請求項2に記載の発明は、
計測対象物(R)に対して所定の縞パターンを投影する投影部(20)と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部(30)と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部(40)と、
を備える三次元計測装置(10)であって、
前記投影部は、計測開始のタイミングである発光開始及び消灯開始のいずれ
かから計測終了のタイミングである発光開始及び消灯開始のいずれまでの時間を異ならせるように前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合のプラス輝度変化のイベントデータと、暗くなる輝度変化の場合のマイナス輝度変化のイベントデータとの少なくともいずれかを出力するように構成され、
前記計測部は、前記撮像画像における画素単位での計測開始のタイミングである前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力と計測終了のタイミングである前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めることを特徴とする。
請求項3に記載の発明は、
計測対象物(R)に対して所定の縞パターンを投影する投影部(20)と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部(30)と、
前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部(40)と、
を備える三次元計測装置(10)であって、
前記投影部は、短パルス発光を利用して前記所定の縞パターンを投影し、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記計測部は、前記撮像画像における画素単位での前記イベントデータの前記単位時間当たりの出力回数に基づいて、前記縞パターン情報を求めることを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
請求項1の発明では、投影部は、計測対象物に対して、発光開始及び消灯開始のいずれかから発光終了及び消灯終了のいずれかまでの時間を異ならせるようにして所定の縞パターンを投影する。撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。この撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成される。そして、計測部は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて、縞パターン情報を求める。
投影部では、位相シフト法用の所定の縞パターンを投影するために、画素単位で発光若しくは消灯の時間が個別に調整されることになる。その一方で、撮像部では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じるとプラス輝度変化のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じてマイナス輝度変化のイベントデータが出力される。すなわち、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に応じてその画素での縞パターンを求めることができる。
ここで、縞パターンが複数ある場合、縞番号ごとに発光開始タイミング若しくは消灯開始タイミングを異ならせるように所定の縞パターンを投影するようにしてもよい。この場合には、縞パターンの値を求めた画素が属する縞パターンの縞番号を、上記時間差を構成する最初のイベントデータの出力タイミングから特定することができる。このため、縞パターンの値を求めた画素が属する縞番号を特定するために複数種類のグレイコードパターンを別途投影する必要もないので、高速化の阻害要因となるグレイコードパターンの投影時間を削減することができる。したがって、縞番号を特定するためのグレイコードパターンを投影することなく、イベントデータを利用して計測対象物の三次元形状を計測することができる。縞番号毎にタイミングを揃えるのに、発光(もしくは消灯)の開始タイミングではなく、終了タイミングを揃えるようにしても、縞番号を特定することができる。
請求項1の発明では、計測部は撮像画像における画素単位でのプラス若しくはマイナス輝度変化のイベントデータの出力とマイナス若しくはプラス輝度変化のイベントデータの出力との時間差に基づいて、縞パターン情報を求めていた。それに対し、請求項2の発明では、計測部は撮像画像における画素単位での計測開始のタイミングであるプラス輝度変化及びマイナス輝度変化のいずれかのイベントデータの出力と計測終了のタイミングであるプラス輝度変化及びマイナス輝度変化のいずれかのイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めている。いずれも、時間差で縞パターンを求めることでは共通しているが、請求項1の発明では計測開始のタイミングから計測終了のタイミングまで点灯若しくは消灯が連続している。それに対し、請求項2の発明は、計測開始のタイミングと計測終了のタイミングのみで点灯若しくは消灯を行うようにしている。
請求項3の発明では、投影部は、計測対象物に対して、発光若しくは消灯の少なくともいずれかの短パルスを利用して所定の縞パターンを投影する。撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。そして、計測部は、撮像画像における画素単位でのイベントデータの出力回数に基づいて、縞パターンの情報を求める。
投影部では、消費電力軽減等を目的として、画素単位での発光や消灯の状態をそれぞれ短パルスによって実現することができる。このような場合には、撮像素子の画素単位において、1回の短パルスに応じてプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力されることから、短パルス発光の発光や消灯の回数、すなわち、イベントデータの出力回数に基づいて、その発光状態の縞パターンの値を求めることができる。これにより、縞パターンを特定することができる。
そして、縞パターンが複数ある場合には、縞番号ごとに発光開始タイミング若しくは消灯開始タイミングを異ならせるように所定の縞パターンを投影してもよい。その場合には、縞パターンを求めた画素が属する縞番号を、最初のイベントデータの出力タイミングから特定することができる。このため、縞パターンを求めた画素が属する縞番号を特定するために複数種類のグレイコードパターンを別途投影する必要もないので、高速化の阻害要因となるグレイコードパターンの投影時間を削減することができる。したがって、縞番号を特定するためのグレイコードパターンを投影することなく、イベントデータを利用して計測対象物の三次元形状を計測することができる。なお、縞番号の特定は、発光(もしくは消灯)の開始タイミングに代えて終了タイミングを揃えるようにしても可能である。
請求項4の発明では、判定部により、前回の計測結果とより過去の計測結果との差に基づいて撮像部に対する計測対象物の相対距離変化が所定距離以上であるか否かについて判定される。そして、判定部により上記相対距離変化が上記所定距離未満であると判定されると、投影部は、短パルスを利用して所定の縞パターンを投影し、計測部は、撮像画像における画素単位でのイベントデータの出力回数に基づいて、縞パターンの情報を求める。その一方で、判定部により上記相対距離変化が上記所定距離以上であると判定されると、投影部は、単パルスを利用して所定の縞パターンを投影し、計測部は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との一方から他方までの時間差に基づいて、縞パターン情報を求める。
これにより、撮像部に対する計測対象物の相対距離変化に応じて、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める構成と、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める構成とを切り替えることができる。
第1実施形態に係る三次元計測装置の概略構成を示すブロック図である。 所定の縞パターンが計測対象物に投影された状態を説明する説明図である。 第1実施形態において、イベントデータの出力開始タイミングと縞番号との関係を説明する説明図であり、(A)及び(B)は、1縞目のイベントデータの出力状態を示し、(C)は、2縞目のイベントデータの出力状態を示し、(D)は、5縞目のイベントデータの出力状態を示す。 本実施形態によるイベントデータの出力タイミングの分散効果を説明する説明図である。 第3実施形態において、イベントデータの出力回数と縞番号との関係を説明する説明図であり、(A)及び(B)は、1縞目のイベントデータの出力状態を示し、(C)は、2縞目のイベントデータの出力状態を示し、(D)は、5縞目のイベントデータの出力状態を示す。 位相シフト法による三次元測定を説明する図である。 位相シフト法によるサイン波パターンを説明する図である。 第1実施形態におけるサイン波パターン作成を説明する図である。 第1実施形態での縞パターンを示すブロック図である。 第2実施形態での縞パターンを示すブロック図である。 第3実施形態での縞パターンを示すブロック図である。 縞パターンの他の例を示す図である。 縞パターンの更に他の例を示す図である。 第1実施形態において、縞番号の特定を出力開始タイミングに代えて出力終了タイミングを揃えることで行うことを説明する説明図である。 第3実施形態において、縞番号の特定を出力開始タイミングに代えて出力終了タイミングを揃えることで行うことを説明する説明図である。
[第1実施形態]
以下、本発明の三次元計測装置を具現化した第1実施形態について、図面を参照して説明する。
本実施形態に係る三次元計測装置10は、計測対象物Rの三次元形状を計測する装置であって、図1及び図2に示すように、計測対象物Rに対して位相シフト法用の所定の縞パターンを投影する投影部20と、所定の縞パターンが投影された計測対象物を撮像する撮像部30と、この撮像画像から計測対象物の三次元形状を計測する計測部40と、を備えるように構成されている。このように構成される三次元計測装置10は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Rの三次元形状を計測する。ここで、相対移動とは、ロボットのハンドに組付けられた三次元計測装置10の移動と、対象物Rの高速移動との間での相対的な移動を指している。三次元計測装置10が固定されている場合には相対移動は対象物の移動となる。
なお、図2では、便宜上、13縞目まである所定の縞パターンを簡略化して図示している。より具体的には、縞パターンは後述のようにサイン波パターンで表わされるので、縞パターンの白色と黒色は同様の幅となるが、図2では黒色部分の幅を小さくして線で表わしている。かつ、縞パターンの数も実施形態では13以上であるが、13に省略している。
投影部20は、いわゆるDLPプロジェクタであって、光源からの光をDMD素子にて反射することで後述する所定の縞パターンを投影する。DMD素子は、スクリーンに投影された画像の各画素に相当する微細なミラーをアレイ状に配置したものであり、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位でオン/オフするように構成されている。このため、各ミラーをオンにしている時間とオフにしている時間の比率によって、反射される光を変化させることにより、投影する画像の画像データに基づいた表示が可能になる。このような構成では、発光状態ごとに確保される単位時間内に1回発光される単パルス発光の発光時間に応じて発光状態を特定できる。
画素を、図1において左上を(1、1)、右下を(k、l)とした場合、k×l画素に対応するミラーを備えている。例えば、kが1140、lが912である。
一般的に、位相シフト法用の縞パターン(第1の方向にて輝度が周期的に変化してこの第1の方向に直交する第2の方向にて輝度が変化しないパターン)として、下記の式(1)の輝度値I(x,y,n)から特定されるサイン波パターンが採用される。すなわち、位相シフト回数をNとしたとき、N枚の位相シフトされた格子画像(縞画像)の輝度値I(x,y,n)が式(1)によって表される。
I(x,y,n)=a(x,y)cos{θ(x,y)+2πn/N}+b(x,y) ・・・(1)
ここで、点(x,y)は、格子画像内の1点で、a(x,y)は、輝度振幅、b(x,y)は、背景輝度を示し、θ(x,y)は、n=0の格子の位相を示し、N個の格子画像の輝度値I(x,y,n)から求めたθ(x,y)に応じて点(x,y)までの距離zを測定することができる。
撮像部30は、いわゆるイベントカメラであって、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータ(具体的には、二次元点データ、時間、輝度変化の極性)を出力する撮像素子を備えて、当該撮像素子から出力されるイベントデータから撮像画像を生成可能に構成されている。このため、撮像部30では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じるとプラス輝度変化のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じてマイナス輝度変化のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物を撮像した画像データが生成可能となり、撮像部30は、このように生成された画像データ又はイベントデータ(二次元点データ,時間,輝度変化の極性)を計測部40に出力するように構成されている。撮像部30の二次元点の数と投影部20の画素数とは、同数としてもよく、いずれかを他方より多くしてもよい。本例では投影部20の画素数の方が撮像部30の二次元点数より多くしている。いずれにせよ、撮像部30の二次元点データより、投影部20で投影された縞パターンに対応する画素が特定できるようにしている。
計測部40は、投影部20から後述する所定の縞パターンが投影されている状態の計測対象物Rを撮像部30により撮像した撮像画像から求められる縞パターンの情報を利用して、位相シフト法により計測対象物Rの三次元形状を計測するものである。上述したように、計測部40は、上記撮像画像における点(x,y)での輝度値I(x,y,n)を得ることで θ(x,y)を求め、このθ(x,y)に応じて点(x,y)までの距離zを測定する。このようにして撮像した計測対象物Rの各点(x,y)の距離zがそれぞれ測定されることで、その計測対象物Rの三次元形状を計測することができる。
例えば、図6のP1、P2の距離を求める場合、投影部20よりサイン波パターンを投影し、それを撮像部30で撮影する。撮影画像から、P1、P2が何縞目かという情報と、その点の位相値から、投影部20と撮像部30それぞれの角度θp、θcが分かる。そして、視差Lは既知なので、三角測量によりP1、P2点の距離値が求められる。この計算を計測エリア全体で行うことにより、3D計測を行うことができる。なお、サイン波パターンは、図7に示すように120度づつ位相をずらして照射している。
ここで、位相シフト法を利用して計測対象物Rの三次元形状を計測する際に、計測部40にて実施される三次元計測処理について以下詳述する。
本実施形態では、高速に相対移動する計測対象物Rを精度良く撮像するための撮像部30として、イベントカメラを採用している。このような構成では、輝度変化があった画素に対応するイベントデータが出力され、そのイベントデータには輝度値が含まれないため、位相シフト法に必要な輝度値I(x,y,n)を直接取得できない。
その一方で、発光開始のタイミングでプラス輝度変化のイベントデータが出力された後に、発光終了のタイミングでマイナス輝度変化のイベントデータが出力されるため、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差は測定できる。そこで、本実施形態では、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいてサイン波パターンに対応する縞パターンを求める。
サイン波パターンを特定するためには、特定ポイントにある程度の数が必要で、図8の例では、投影部20が30ポイントでサイン波パターンを投影し、撮像部30は15ポイントで投影されたサイン波パターンを撮影している。図8の例では、投影部20は30のポイント全てで、時間0で照射を開始している。そのため、撮像部30も15のポイント全てで撮影を開始している。一方、投影部20の照射終了、即ち、撮像部30での撮影終了の時間は、サイン波パターンに対応するように、各ポイント毎に時間を異ならしている。
撮像部30の1番目のポイントは約150マイクロ秒、2番目のポイントは約200マイクロ秒で投影部20の照射が終了している。そして、撮像部30の11番目と12番目のポイントでは約50マイクロ秒で、15番目のポイントでは約120マイクロ秒で投影部20の照射が終了している。
図8の例では、撮像部30の1番目から15番目の各ポイントは投影部20の2つの画素と対応しているが、1つのポイントに1つの画素が対応してもよい。逆に、撮像部30の二次元点の数が投影部20の画素より多ければ、複数のポイントで1つの画素を撮影することとなる。いずれにせよ、サイン波パターンが特定できる数の撮像部30の二次元点と投影部20の画素があればよい。
また、一つのサイン波パターンを特定するのに、図8の例では300マイクロ秒用いているが、より長い時間を掛けてもよく、逆により短い時間でサイン波パターンを特定してもよい。計測対象物Rの移動速度に比して、十分短い時間でサイン波パターンの特定ができればよい。
図9は、投影部20の投影時間と撮像部30の撮影時間との関係を示している。投影機の特定の画素からは投影開始(時間0)から所定時間投影し、所定時間後に照射は終了する。そして、その特定の画素が照射される部位を撮影する撮像部30は照射開始(時間0)と同時に輝度変化のイベント情報を得、かつ、照射終了(所定時間後)時にも輝度変化のイベント情報を得る。そして、照射開始と照射終了とのイベント情報の時間差を用いて、計測部40はサイン波パターンを作成し、サイン波パターンの情報から計測対象物Rまでの距離を測定する。
特に、本実施形態では、より高速に計測対象物Rの画像を生成するため、投影部20は、計測対象物Rに対して、複数存在する縞パターンの縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンを投影する。以下、縞番号ごとに発光開始タイミングを異ならせることで計測対象物Rの画像生成を高速化できる理由について説明する。
一般的に、複数の縞パターンが投影された計測対象物の三次元形状を位相シフト法によって計測する場合、撮像画像での縞番号のずれを防止するために、縞番号特定用のグレイコードパターンを投影した画像もあわせて撮像する。例えば、凸凹形状の計測対象物や不透明部位を有する計測対象物に縞パターンが投影される場合、投影部と撮像部との位置がずれているために、k縞目とすべき画像部分をk-1縞目と誤認してしまう場合があり、画素単位で縞番号を特定するための仕組みがないと、誤った距離計算を行ってしまうからである。この問題は、イベントカメラからのイベントデータ出力の時間差を利用して計測対象物の三次元形状を計測する場合でも同様に生じるものである。
しかしながら、縞番号特定用のグレイコードパターンは、縞パターンでの縞の数が多くなるほど投影される枚数が増えることになる。例えば、50縞程度の縞パターンだと、8種類のグレイコードパターンを投影して撮像する必要があり、このような複数種類のグレイコードパターンの投影時間等が、計測処理の高速化の阻害要因となってしまう。
そこで、本実施形態では、縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンを投影する。これにより、輝度値を求めた画素が属する縞番号を、縞番号特定用のグレイコードパターンを投影することなく、上記時間差を構成する最初のイベントデータの出力タイミングから特定することができる。
具体的には、例えば、単位時間内において、100μs時点で1縞目に対して発光が開始され、200μs時点で2縞目に対して発光が開始され、k×100μs時点でk縞目に対して発光が開始されるように、所定の縞パターンを投影することができる。このように所定の縞パターンが投影されることで、100μs時点では、1縞目に属する画素からイベントデータが出力される一方で、2縞目以降に属する画素からはイベントデータが出力されない。
このような所定の縞パターンでは、時間差25,500μsで輝度値255(時間差100μで輝度値1)に設定すると、例えば、1縞目の輝度値100となる画素では、図3(A)に示すようなプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力される。また、1縞目の輝度値201となる画素では、図3(B)に示すようなプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力される。なお、図8の例で示したように、サイン波パターンを特定するには、ある程度のポイント数が必要であり、図3(A)と図3(B)の2ポイントのみで1縞目の縞パターンが特定できるものではない。サイン波パターンを15ポイントで特定する場合、図3(A)と図3(B)は15ポイントのうち、開始から10000マイクロ秒後のポイントと開始から20100マイクロ秒後のポイントの2ポイントを例示しているのみである。
また、2縞目の輝度値100となる画素では、図3(C)に示すようなプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力される。また、5縞目の輝度値201となる画素では、図3(D)に示すようなプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとが出力される。図3(A)と図3(B)の場合と同様、図3(C)のみで2縞目の縞パターンが特定できるものではなく、図3(D)のみで5縞目の縞パターンが特定できるものでもない。実際には15以上のポイントで縞パターンを特定している。図3(C)は2縞目の15以上のポイントのうち開始から10000マイクロ秒後のポイントを例示したのみで、図3(D)は5縞目の15ポイント以上のポイントのうち開始から20100マイクロ秒後のポイントを例示したのみである。
なお、図3では、プラス輝度変化のイベントデータの出力を上向きの矢印にて図示し、マイナス輝度変化のイベントデータの出力を下向きの矢印にて図示している。
このため、計測部40にてなされる三次元計測処理では、図3(A)に示すようなイベントデータが出力される画素について、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差からサイン波パターンが求められ、サイン波パターンに基づき計測対象物Rまでの距離を測定する。併せて、各サイン波パターンを構成する最初のイベントデータの出力タイミングから1縞目か2縞目かn縞目かのいずれに属することが特定される。すなわち、2つ以上のサイン波パターンの最初の出力タイミングの差だけで、縞番号を求めることができる。
以上説明したように、本実施形態に係る三次元計測装置10では、投影部20において、位相シフト法用の所定の縞パターンを投影するために、画素単位で発光時間が個別に調整される。その一方で、撮像部30では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じるとプラス輝度変化のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じてマイナス輝度変化のイベントデータが出力される。すなわち、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に応じてその画素に対応するサイン波パターンを特定することができる。
特に、縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンが投影されるため、縞パターンを求めた画素が属する縞番号を、上記時間差を構成する最初のイベントデータの出力タイミングから特定することができる。このため、縞パターンを求めた画素が属する縞番号を特定するために複数種類のグレイコードパターンを別途投影する必要もないので、高速化の阻害要因となるグレイコードパターンの投影時間を削減することができる。したがって、縞番号を特定するためのグレイコードパターンを投影することなく、イベントデータを利用して計測対象物Rの三次元形状を計測することができる。なお、後述するように単位時間内に複数回発光される短パルス発光を利用して上記所定の縞パターンが投影される場合には、当該単位時間内において繰り返し生じるプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差の総和に基づいて輝度値を求めてもよい。
特に、本実施形態では、縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンが投影されるため、イベントデータの出力タイミングを分散させることができる。すなわち、図4に示すように、本実施形態において出力されるイベントデータのイベント数S1は、縞番号にかかわらず発光開始タイミングを同じにするように出力されるイベントデータのイベント数S2と比較して、単位時間開始直後で大きく減るため、時間当たりに出力されるイベント数を平均化することができる。このため、イベントデータの出力タイミングが集中するために生じるイベントデータの出力の遅延やイベントデータの取りこぼしなどを抑制することができる。
また、三次元計測に利用するサイン波パターンを特定するイベントデータは、投影部20の照射開始と照射終了との輝度変化に応じて出力されるものなので、イベントデータを利用しない通常の位相シフト法で苦手とする背景との輝度差が大きくなる計測対象物(例えば、白色机面上の黒色物体)の計測であっても、正確に計測することができる。
また、先にマイナス輝度変化のイベントデータが出力されてからプラス輝度変化のイベントデータが出力されるような所定の縞パターンを投影する場合には、両イベントデータの時間差から輝度値を求めて、マイナス輝度変化のイベントデータの出力タイミングから縞番号を特定することができる。即ち、図8の例では時間0で照射を開始し、所定時間で照射を終了することでサイン波パターンを特定したが、逆に、時間0で照射を終了(消灯開始)し、所定時間で照射を開始(消灯終了)してサイン波パターンを特定してもよい。
また、一つのサイン波パターンを特定するのに必要な時間と、縞番号毎の時間差とは、別々に設定できる。即ち、一つのサイン波パターンを特定するのに必要な時間を、縞番号毎の時間差より長くしてもよく、逆に短くしてもよい。
なお、図3の例では各縞毎に出力開始のタイミングをずらして何縞目のサイン波パターンであるかを特定しているが、出力終了のタイミングで何縞目のサイン波パターンであるかを特定するようにしてもよい。図14に示すように、例えば1縞目のサイン波パターンは複数ポイントの全てが30000マイクロ秒後に終了し、2縞目のサイン波パターンは複数ポイントの全てが30100マイクロ秒後に終了するように、100マイクロ秒ずつ終了タイミングをずらしてもよい。この場合、5縞目のサイン波パターンは、複数のポイントが全て30400マイクロ秒後に終了することとなる。図14では複数のポイントのうちの2ポイント(1縞目)か1ポイント(2縞目及び5縞目)のみ例示しているのは図3の例と同じである。
[第2実施形態]
次に、本第2実施形態に係る三次元計測装置について、図面を参照して説明する。
本第2実施形態では、撮像部30はプラス輝度変化のイベントデータかマイナス輝度変化のイメージデータのいずれかのみを用いてサイン波パターンを特定する時間差を測定することができる。
上述の第1実施形態では、図9に示すように、投影部20は照射開始(時間0)から照射終了(所定時間後)まで、照射(もしくは消灯)が継続し、照射終了時に消灯(もしくは照射)していた。そして、撮像部30は、照射開始のプラス輝度変化のイベントデータと照射終了のマイナス輝度変化のイベントデータを用いていた。
それに対し、第2実施形態では、図10に示すように、投影部20は照射開始(時間0)後ただちに投影を終了し、そして、所定時間後に投影部20は再度照射開始する。撮像部30は、時間0でプラス輝度変化のイベントデータを出力した後で。所定時間後に再度照射開始のプラス輝度変化のイベントデータを出力することとなる。この2つのプラス輝度変化のイベントデータの時間差を用いて、計測部ではサイン波パターンを特定する。時間差を用いてサイン波パターンを特定する点では第1実施形態と同様である。
このように第2実施形態では、撮像部30が、プラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとの双方を感知できる場合、プラス輝度変化のイベントデータのみを用いて時間を測定している。ただ、逆にマイナス輝度変化のイベントデータのみを用いて時間を測定してもよい。
更に、撮像部30が、プラス輝度変化のイベントデータとマイナス輝度変化のイメージデータとのいずれか一方しか感知できない場合には、その感知できる輝度変化のイベントデータを用いて時間を測定し、時間差よりサイン波パターンを特定するようにする。
〔第3実施形態〕
第3実施形態では、投影部20が単位時間内に複数回発光される短パルス発光の回数を利用して上記所定の縞パターンを投影する点が、上記第1実施形態や第2実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
本実施形態では、投影部20での消費電力軽減等を目的として、上記単位時間内に複数回発光される短パルス発光の回数を利用して上記所定の縞パターンを投影する。このような構成では、図11に示すように、短パルス発光の発光回数に応じてサイン波パターンを特定する。
そうすると、撮像素子の画素単位において、1回の短パルス発光に応じてプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータ(以下、一対のイベントデータともいう)とが短時間で出力されることから、短パルス発光の発光回数、すなわち、一対のイベントデータの出力回数に基づいて、サイン波パターンを求めることができる。
図8の例では、時間0からの照射時間でサイン波パターンを特定していたが、例えば、10マイクロ秒に一回発光させて1マイクロ秒後に消灯すると、発光回数が図8の発光時間と対応する。図8の例に対応させると、1番目のポイントは15回、2番目のポイントは20回照射している。そして、11番目と12番目のポイントでは5回で、15番目のポイントでは12回の照射を行う。この回数からサイン波パターンを特定することができる。
図11の例では、撮像部30が、プラス輝度変化のイベントデータとマイナス輝度変化のイメージデータとの双方を感知できる場合、プラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとの双方で各ポイントでの回数を測定している。ただ、プラス輝度変化のイベントデータとマイナス輝度変化のイベントデータとのいずれか一方のみで各ポイントでの回数を測定してもよい。
更に、撮像部30が、プラス輝度変化のイベントデータとマイナス輝度変化のイメージデータとのいずれか一方しか感知できない場合には、その感知できる輝度変化のイベントデータを用いて回数を測定し、測定した回数に応じてサイン波パターンを特定するようにしてもよい。
なお、複数の縞番号に合わせて、投影部20の照射開始時間を変えることができるのは、第1実施例と同様である。具体的には、例えば、100μs時点で1縞目に対して発光が開始され、200μs時点で2縞目に対して発光が開始され、k×100μs時点でk縞目に対して発光が開始されるように、所定の縞パターンを投影する際に、100回の短パルス発光でサイン波パターンの所定値に設定される場合を想定する。このような場合、例えば、1縞目の輝度値100となる画素では、図5(A)からわかるように、一対のイベントデータが100回出力される。また、1縞目の輝度値201となる画素では、図5(B)からわかるように、一対のイベントデータが201回出力される。
また、2縞目の輝度値100となる画素では、図5(C)からわかるように、投影部20の照射開始が200マイクロ秒からとなり、一対のイベントデータが100回出力される。また、5縞目の輝度値201となる画素では、図5(D)からわかるように、投影部20の照射開始が500マイクロ秒からとなり、一対のイベントデータが201回出力される。
なお、図5では、便宜上、一対のイベントデータのうちプラス輝度変化のイベントデータのみ図示し、マイナス輝度変化のイベントデータの図示を省略している。図11の例では一対のイベントデータを用いて発光回数を計測している。ただ、プラス輝度変化のイベントデータのみで発光回数が計測できるのは、上述の通りである。
また、一つのサイン波パターンを特定するのに、ある程度の数のポイントが必要となるのは、第1実施例と同様である。したがって、サイン波パターンを15ポイントとした場合、図5では、1縞目では、15ポイントの中の2ポイントのみ、2縞目と5縞目では15ポイントのうちの1ポイントのみを記載し、他を省略している。
このため、計測部40にてなされる三次元計測処理では、図5(A)に示すようなイベントデータが出力される画素について、一対のイベントデータの出力回数から対応するサイン波パターンが求められ、その最初のイベントデータの出力タイミングから1縞目に属することが特定される。すなわち、イベントデータの出力回数及び出力タイミングだけで、縞パターンの情報としてサイン波パターンの値及び縞番号を求めることができる。

なお、一対のイベントデータの出力回数から輝度値を求めることに限らず、プラス輝度変化のイベントデータの出力回数からサイン波パターンを特定してもよいし、マイナス輝度変化のイベントデータの出力回数からサイン波パターンを求めてもよいのは、上述の通りである。
また、出力開始のタイミングをずらして何縞目のサイン波パターンであるかを特定するのに代えて、出力終了のタイミングで何縞目のサイン波パターンであるかを特定するようにしてもよいことも、第1実施形態と同様である。図15に示すように、例えば1縞目のサイン波パターンは複数ポイントの全てが30000マイクロ秒後に終了し、2縞目のサイン波パターンは複数ポイントの全てが30100マイクロ秒後に終了し、5縞目のサイン波パターンは複数のポイントが全て30400マイクロ秒後に終了する。図15で複数のポイントのうちの2ポイント(1縞目)か1ポイント(2縞目及び5縞目)のみ例示しているのは図5の例と同じである。


また、撮像部30に対する計測対象物Rの相対距離変化に応じて、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める構成(本第3実施形態の特徴的構成)と、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める構成(上記第1実施形態の特徴的構成)とを切り替えてもよい。
具体的には、投影部20は、複数回発光される短パルス発光の回数を利用して所定の縞パターンを投影する状態と、1回発光される単パルス発光の時間を利用して所定の縞パターンを投影する状態とを切り替え可能に構成される。また、計測部40は、前回の計測結果とより過去の計測結果(例えば、前々回の計測結果)との差に基づいて撮像部30に対する計測対象物Rの相対距離変化が第1の所定距離以上であるか否かについて判定する判定部を備える。
そして、計測部40の判定部により上記相対距離変化が上記第1の所定距離未満であると判定されると、投影部20は、短パルス発光を利用して所定の縞パターンを投影し、計測部40は、撮像画像における画素単位でのイベントデータの出力回数と単位時間内での最初のイベントデータの出力タイミングから特定される縞番号とに基づいて、縞パターンの情報を求める。
その一方で、計測部40の判定部により上記相対距離変化が上記第1の所定距離以上であると判定されると、投影部20は、単パルス発光を利用して所定の縞パターンを投影し、計測部40は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差とこの時間差を構成する最初のイベントデータの出力タイミングから特定される縞番号とに基づいて、縞パターンの情報を求める。
これにより、相対距離変化が比較的小さな計測対象物R、すなわち、動きが比較的小さな計測対象物Rの三次元形状を計測する場合には、イベントデータの単位時間当たりの出力回数に基づいて縞パターンの情報を求めることで、計測対象物Rの色や周辺光の影響等に対するロバスト性を高めることができる。
これに対して、相対距離変化が比較的大きな計測対象物R、すなわち、動きが比較的大きな計測対象物Rの三次元形状を計測する場合には、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求めることで、上述のようにイベントデータの出力回数に基づいて輝度情報を求める場合と比較して、より迅速に輝度情報を求めることができる。
更に、撮像部30に対する計測対象物Rの相対距離変化に応じて、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める構成(本第3実施形態の特徴的構成)と、撮像画像における画素単位での計測開始のタイミングである輝度変化のイベントデータの出力と計測終了のタイミングである輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める構成(上記第2実施形態の特徴的構成)とを切り替えてもよい。
なお、本発明は上記各実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
(1)所定の縞パターンは、上述したように1縞目から順に発光開始(消灯開始)タイミングを異ならせるように投影されることに限らず、予め決められた縞番号順で発光開始(消灯開始)タイミングを異ならせるように投影されてもよい。このような場合でも、その予め決められた縞番号順に基づいて、縞番号をイベントデータの出力タイミングから特定することができる。また、縞番号に応じて、発光開始(消灯開始)のタイミングに代えて発光終了(消灯終了)のタイミングを揃えるようにしてもよい。
(2)三次元計測装置10は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らず、例えば、固定状態で使用されて、搬送ライン上を移動する計測対象物Rの三次元形状を計測してもよい。上述のように、この場合相対距離変化は計測対象物Rの速度となる。
(3)三次元計測装置10は、投影部20及び撮像部30と計測部40とが別体となって、計測部40が投影部20及び撮像部30と無線通信又は有線通信可能な情報処理端末として構成されてもよい。
(4)所定の縞パターン(例えば50の縞パターン)の全てを時間差で照射開始するのではなく、複数の組(例えば1番目の縞パターン、25番目の縞パターンの2組)で同時に投影部20の照射を開始してもよい。
(5)上述の実施形態では、縞番号ごとに発光開始タイミングを異ならせるように所定の縞パターンを投影していたが、全ての縞パターン(例えば、50の縞パターン)を同時に照射開始してもよい。図4に示すように、イベント数S2は多くなるが、縞パターンの数が限定されている場合には、対応可能である。
(6)上述の例では、縞パターンとしてサイン波パターンを用いていたが、他の形状の縞パターンも利用可能である。図12に示すようなのこぎり波を用いてもよく、図13のような三角波を用いてもよい。

Claims (7)

  1. 計測対象物に対して所定の縞パターンを投影する投影部と、
    前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
    前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
    を備える三次元計測装置であって、
    前記投影部は、発光開始及び消灯開始のいずれかから発光終了及び消灯終了のいずれかまでの時間を異ならせるように前記所定の縞パターンを投影し、
    前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
    前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
    前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力と他方のイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めることを特徴とする三次元計測装置。
  2. 計測対象物に対して所定の縞パターンを投影する投影部と、
    前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
    前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
    を備える三次元計測装置であって、
    前記投影部は、計測開始のタイミングである発光開始及び消灯開始のいずれ
    かから計測終了のタイミングである発光開始及び消灯開始のいずれまでの時間を異ならせるように前記所定の縞パターンを投影し、
    前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
    前記撮像素子は、明るくなる輝度変化の場合のプラス輝度変化のイベントデータと、暗くなる輝度変化の場合のマイナス輝度変化のイベントデータとの少なくともいずれかを出力するように構成され、
    前記計測部は、前記撮像画像における画素単位での計測開始のタイミングである前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力と計測終了のタイミングである前記プラス輝度変化及び前記マイナス輝度変化のいずれか一方のイベントデータの出力との時間差に基づいて、前記縞パターン情報を求めることを特徴とする三次元計測装置。
  3. 計測対象物に対して所定の縞パターンを投影する投影部と、
    前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
    前記撮像部の撮像画像から求められる縞パターン情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
    を備える三次元計測装置であって、
    前記投影部は、発光及び消灯の少なくともいずれかの短パルスを利用して前記所定の縞パターンを投影し、
    前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
    前記計測部は、前記撮像画像における画素単位での前記イベントデータの出力回数に基づいて、前記縞パターン情報を求めることを特徴とする三次元計測装置。
  4. 前記投影部は、前記短パルスの回数を利用して前記所定の縞パターンを投影する状態と単パルスの発光開始及び消灯開始のいずれかから発光終了及び消灯終了のいずれかまでの時間を利用して前記所定の縞パターンを投影する状態とを切り替え可能に構成され、
    前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
    前記計測部による前回の計測結果とより過去の計測結果との差に基づいて前記撮像部に対する前記計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部を備え、
    前記判定部により前記相対距離変化が前記所定距離未満であると判定されると、
    前記投影部は、前記短パルスを利用して前記所定の縞パターンを投影し、
    前記計測部は、前記撮像画像における画素単位での前記イベントデータの出力回数に基づいて、前記縞パターン情報を求め、
    前記判定部により前記相対距離変化が前記所定距離以上であると判定されると、
    前記投影部は、前記単パルスの発光開始及び消灯開始のいずれかから発光終了及び消灯終了のいずれかまでの時間を利用して前記所定の縞パターンを投影し、
    前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力及び前記マイナス輝度変化のイベントデータの出力のいずれか一方と他方との時間差に基づいて、前記縞パターン情報を求めることを特徴とする請求項3に記載の三次元計測装置。
  5. 前記投影部は、前記短パルスの回数を利用して前記所定の縞パターンを投影する状態と計測開始のタイミングである発光開始及び消灯開始のいずれかから計測終了のタイミングである発光開始及び消灯開始のいずれかまでの時間を異ならせるようにして前記所定の縞パターンを投影する状態とを切り替え可能に構成され、
    前記撮像素子は、明るくなる輝度変化の場合のプラス輝度変化イベントデータと暗くなる輝度変化の場合のマイナス輝度変化イベントデータとの少なくともいずれかを出力するように構成され、
    前記計測部による前回の計測結果とより過去の計測結果との差に基づいて前記撮像部に対する前記計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部を備え、
    前記判定部により前記相対距離変化が前記所定距離未満であると判定されると、
    前記投影部は、前記短パルスを利用して前記所定の縞パターンを投影し、
    前記計測部は、前記撮像画像における画素単位での前記イベントデータの出力回数に基づいて、前記縞パターン情報を求め、
    前記判定部により前記相対距離変化が前記所定距離以上であると判定されると、
    前記投影部は、前記計測開始のタイミングから前記計測終了のタイミングまでの時間を異ならせるようにして前記所定の縞パターンを投影し、
    前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化イベントデータの出力及び前記マイナス輝度変化イベントデータの出力のいずれかによる前記計測開始のタイミングと前記プラス輝度変化イベントデータの出力及び前記マイナス輝度変化イベントデータの出力のいずれかによる前記計測終了のタイミングとの時間差に基づいて、前記縞パターン情報を求めることを特徴とする請求項3に記載の三次元計測装置。
  6. 前記縞パターンは縞番号の異なる複数の縞パターンであり、
    前記投影部の、発光開始タイミング及び消灯開始タイミングのいずれかは、複数の縞パターンで互いに異なることを特徴とする請求項1乃至請求項5のいずれかに記載の三次元計測装置。
  7. 前記縞パターンは縞番号の異なる複数の縞パターンであり、
    前記投影部の、発光終了タイミング及び消灯終了タイミングのいずれかは、複数の縞パターンで互いに異なることを特徴とする請求項1乃至請求項5のいずれかに記載の三次元計測装置。

JP2023510498A 2021-03-30 2022-01-17 三次元計測装置 Active JP7401024B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021056528 2021-03-30
JP2021056528 2021-03-30
PCT/JP2022/001389 WO2022209151A1 (ja) 2021-03-30 2022-01-17 三次元計測装置

Publications (2)

Publication Number Publication Date
JPWO2022209151A1 JPWO2022209151A1 (ja) 2022-10-06
JP7401024B2 true JP7401024B2 (ja) 2023-12-19

Family

ID=83458569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023510498A Active JP7401024B2 (ja) 2021-03-30 2022-01-17 三次元計測装置

Country Status (4)

Country Link
EP (1) EP4317912A1 (ja)
JP (1) JP7401024B2 (ja)
CN (1) CN116964409A (ja)
WO (1) WO2022209151A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010293A1 (ja) 2012-07-13 2014-01-16 株式会社日本自動車部品総合研究所 位置検出装置、および位置検出プログラム
JP2014202540A (ja) 2013-04-02 2014-10-27 富士通株式会社 位置算出システム、位置算出プログラム、および、位置算出方法
EP2887009A1 (en) 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
JP2020020640A (ja) 2018-07-31 2020-02-06 株式会社デンソーアイティーラボラトリ 3次元形状計測システム、3次元形状計測方法、及び3次元形状計測プログラム
WO2021085419A1 (ja) 2019-10-28 2021-05-06 株式会社デンソーウェーブ 三次元計測装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3723057B2 (ja) 2000-08-02 2005-12-07 シーケーディ株式会社 三次元計測装置
EP3047647B1 (en) 2013-09-16 2020-05-27 Prophesee Dynamic, single photodiode pixel circuit and operating method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010293A1 (ja) 2012-07-13 2014-01-16 株式会社日本自動車部品総合研究所 位置検出装置、および位置検出プログラム
JP2014202540A (ja) 2013-04-02 2014-10-27 富士通株式会社 位置算出システム、位置算出プログラム、および、位置算出方法
EP2887009A1 (en) 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
JP2020020640A (ja) 2018-07-31 2020-02-06 株式会社デンソーアイティーラボラトリ 3次元形状計測システム、3次元形状計測方法、及び3次元形状計測プログラム
WO2021085419A1 (ja) 2019-10-28 2021-05-06 株式会社デンソーウェーブ 三次元計測装置

Also Published As

Publication number Publication date
WO2022209151A1 (ja) 2022-10-06
JPWO2022209151A1 (ja) 2022-10-06
CN116964409A (zh) 2023-10-27
EP4317912A1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
JP7371443B2 (ja) 三次元計測装置
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP4379056B2 (ja) 三次元画像撮像装置および方法
JP6153050B1 (ja) 投影システム
JP2017225115A (ja) 投影システム
US10359277B2 (en) Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
KR20130032368A (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
JP2006514739A5 (ja)
JP2002213931A (ja) 3次元形状計測装置および3次元形状計測方法
WO2017024869A1 (zh) 采用闪烁方式投影的手持激光三维扫描仪
EP3524929B1 (en) Projection system
TWI489079B (zh) 投影裝置與深度量測系統
JP2020144136A (ja) 深度感知システムおよび方法
WO2017212509A1 (ja) 投影システム
CN110291359A (zh) 三维测量装置
JP3414624B2 (ja) 実時間レンジファインダ
JPH0329806A (ja) 物体形状測定方法
JP2014115108A (ja) 距離計測装置
JP7401024B2 (ja) 三次元計測装置
JP2011075336A (ja) 3次元形状計測装置、3次元形状計測方法
JP2003279332A (ja) 3次元形状入力装置および位置ずれ検出方法
JP2010078339A (ja) 3次元形状計測装置および方法並びにプログラム
JP2015102532A (ja) 三次元形状測定装置
KR20040056489A (ko) 임의의 영사면에 대한 화면 왜곡현상 보정 시스템 및 그방법
JP2006170744A (ja) 3次元距離計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230222

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231120

R150 Certificate of patent or registration of utility model

Ref document number: 7401024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150