WO2021085419A1 - 三次元計測装置 - Google Patents

Abstract

イベントデータに基づき、計測対象物の三次元形状又はその形状を示す情報を計測する三次元計測装置（１０）が提供される。この装置（１０）では、投影部（２０）から所定の縞状パターンが光学的に投影される。この投影状態において、計測対象物（Ｒ）が撮像部（３０）により光学的に撮像され、イベントデータに基づく撮像画像が取得される。即ち、撮像部（３０）には、縞状パターンを受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータが撮像素子から出力され、このイベントデータに基づき計測対象物（Ｒ）の撮像画像が得られる。撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成される。さらに、計測部４０は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める。

Description

三次元計測装置

　本発明は、計測対象物の三次元形状又はその形状を示す情報を光学的に計測する三次元計測装置に係り、特に、イベントカメラを搭載した３次元計測装置に関する。

　従来、計測対象物の三次元形状又はその形状を示す情報を光学的に計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。
　この位相シフト法は、位相をずらした複数枚の縞状パターン画像（光学像）を投影することで、この縞状パターン画像を投影した計測対象物の形状等を光学的に三次元計測する手法である。このように位相シフト法を利用して三次元計測を行う技術として、下記特許文献１に開示されている三次元計測装置が知られている。この三次元計測装置は、各位相の縞を異なる波長の光に割り当て、これを合成した縞状パターン画像を計測対象物に投影し、この縞状パターン画像を投影している計測対象物をカラーカメラで撮影する。そして、撮影した画像から各色成分を抽出して１回の撮影で位相算出を行うことで、三次元形状の計測に要する時間の短縮を図っている。

特許第３７２３０５７号公報 米国特許出願公開第２０１６／０２２７１３５号

　ところで、より高速に計測対象物の画像を生成する技術として、上記特許文献２に開示されるイベントカメラが知られている。
　このイベントカメラは、生物の網膜構造にヒントを得て開発された輝度値差分出力カメラであり、画素ごとに輝度の変化を感知してその座標、時間、そして輝度変化の極性を出力するように構成されている。このような構成により、イベントカメラは、従来のカメラのように輝度変化のない画素情報、つまり冗長なデータ（イベントデータ）は出力しないといった特徴がある。このため、データ通信量の軽減や画像処理の軽量化等が実現されることで、より高速に計測対象物の画像を生成することができる。

　しかしながら、イベントカメラから出力されるイベントデータを用いて生成された計測対象物の撮像画像では、その撮像画像から画素単位での輝度変化の有無を把握できても輝度値を直接計測することができない。このため、輝度値を利用する位相シフト法などの三次元計測方法では、計測対象物の三次元形状の計測を実施できないという問題がある。

　本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、イベントデータを利用して計測対象物の三次元形状又はその形状を示す情報を計測する装置を提供することにある。

　上記目的を達成するため、第1の例示的実施例に記載の三次元計測装置は、
　計測対象物（Ｒ）に対して所定の縞状パターンを投影する投影部（２０）と、
　前記所定の縞状パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
　前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部（４０）と、
　を備える三次元計測装置（１０）であって、
　前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
　前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
　前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力と前記マイナス輝度変化のイベントデータの出力との時間差に基づいて前記輝度情報を求めることを特徴とする。

　また第２の例示的実施例に記載の三次元計測装置は、
　計測対象物（Ｒ）に対して所定の縞状パターンを投影する投影部（２０）と、
　前記所定の縞状パターンが投影された前記計測対象物を撮像する撮像部（３０）と、
　前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部（４０）と、
　を備える三次元計測装置（１０）であって、
　前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
　前記投影部は、単位時間内に複数回発光される短パルス発光を利用して前記所定の縞状パターンを投影し、
　前記計測部は、前記撮像画像における画素単位での前記イベントデータの前記単位時間当たりの出力回数に基づいて前記輝度情報を求めることを特徴とする。

　さらに、第３の例示的実施例に記載の三次元計測装置は、
　計測対象物（Ｒ）に対して光切断法用のパターンを投影する投影部（２０）と、
　前記所定のパターンが投影された前記計測対象物を撮像する撮像部（３０）と、
　前記撮像部により撮像される前記計測対象物の三次元形状を計測する計測部（４０）と、
　を備える三次元計測装置（１０）であって、
　前記光切断法用のパターンは、第１の方向において輝度が一定の割合で変化し前記第１の方向に直交する第２の方向において輝度が変化しないように投影され、
　前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
　前記計測部は、前記計測対象物を撮像した撮像画像において同時間帯に出力される前記イベントデータの位置に基づいて当該計測対象物の三次元形状を光切断法により計測することを特徴とする。
　なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

　第1の例示的実施例に記載の三次元計測装置では、投影部から所定の縞状パターンが投影された計測対象物を撮像する撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。この撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成される。そして、計測部は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める。

　投影部では、位相シフト法用の所定の縞状パターンを投影する際に、画素単位で、例えば、Ｒ色発光状態、Ｇ色発光状態、Ｂ色発光状態が所定の周期で繰り返されて、それぞれの発光時間が個別に調整される。その一方で、撮像部では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じるとプラス輝度変化のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じてマイナス輝度変化のイベントデータが出力される。そうすると、ある画素レベルでは、例えば、Ｒ色発光状態からＧ色発光状態までに、Ｒ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され、Ｒ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力され、Ｇ色発光開始のタイミングでプラス輝度変化のイベントデータが出力される。ここで、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間が長くなるほどＲ色が明るくなるため、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間に応じてＲ色の輝度情報（輝度値）を求めることができる。このため、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて上記輝度情報を求めることができ、この求めた輝度情報を利用して位相シフト法により計測対象物の三次元形状を計測することができる。すなわち、イベントデータを利用して計測対象物の三次元形状を計測することができる。

　第２の例示的実施例に記載の三次元計測装置明では、投影部から所定の縞状パターンが投影された計測対象物を撮像する撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。そして、投影部は、単位時間内に複数回発光される短パルス発光を利用して上記所定の縞状パターンを投影し、計測部は、撮像画像における画素単位でのイベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める。

　投影部では、消費電力軽減等を目的として、上述したＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態をそれぞれ短パルス発光によって実現することができる。このような場合には、発光状態ごとに確保される単位時間当たりの短パルス発光の発光回数が多くなるほどその発光色が明るくなる。そうすると、撮像素子の画素単位において、１回の短パルス発光に応じてプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータの出力とが出力されることから、単位時間当たりの短パルス発光の発光回数、すなわち、イベントデータの単位時間当たりの出力回数に基づいて、その発光色の輝度情報（輝度値）を求めることができる。このため、イベントデータの単位時間当たりの出力回数に基づいて求めた輝度情報を利用して位相シフト法により計測対象物の三次元形状を計測することができる。すなわち、イベントデータを利用して計測対象物の三次元形状を計測することができる。

　第２の例示的実施例に記載の三次元計測装置では、投影部から光切断法用のパターンが投影された計測対象物を撮像する撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、撮像素子から出力されるイベントデータから撮像画像を生成する。上記光切断法用のパターンは、第１の方向において輝度が一定の割合で変化し第１の方向に直交する第２の方向において輝度が変化しないように投影部から投影される。そして、計測部は、計測対象物を撮像した撮像画像において同時間帯に出力されるイベントデータの位置に基づいて当該計測対象物の三次元形状を計測する。

　投影部において、Ｒ色発光状態、Ｇ色発光状態、Ｂ色発光状態が所定の周期で繰り返されている状態で、例えば、Ｒ色を発光する際、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間が長くなるほどＲ色が明るくなる。この投影状態に応じて光を受光する撮像素子では、発光状態ごとに確保される単位時間内において、Ｒ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され、Ｒ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される。このため、例えば、左右方向（第１の方向）においてＲ色の輝度が左側から右側にかけて一定の割合で増加するように変化し上下方向（第２の方向）においてＲ色の輝度が変化しないように投影された光切断法用のパターンのみを撮像部にて撮像する場合、同時間帯に出力されるマイナス輝度変化のイベントデータ群が上下方向にライン状となって、上記単位時間内で左側から右側に移動するように撮像される。このようにライン状で移動するイベントデータ群は、光切断法にて用いられるライン状のレーザ光として利用することができるので、発光状態ごとに確保される単位時間内において、同時間帯に出力されるイベントデータの位置に基づいて計測対象物の三次元形状を光切断法により計測することができる。すなわち、イベントデータを利用して計測対象物の三次元形状を計測することができる。

　より具体的には、計測部は、前回の計測結果とより過去の計測結果との差に基づいて撮像部に対する計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部として機能する。そして、計測部により上記相対距離変化が上記所定距離未満であると判定されると、投影部は、短パルス発光を利用して所定の縞状パターンを投影し、計測部は、撮像画像における画素単位でのイベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める。その一方で、計測部により上記相対距離変化が上記所定距離以上であると判定されると、投影部は、単パルス発光を利用して所定の縞状パターンを投影し、計測部は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める。

　これにより、撮像部に対する計測対象物の相対距離変化に応じて、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める構成と、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める構成とを切り替えることができる。

　さらに別の例では、計測部は、前回の計測結果とより過去の計測結果との差に基づいて撮像部に対する計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部として機能する。そして、計測部により上記相対距離変化が上記所定距離以上であると判定されると、投影部は、光切断法用のパターンを投影し、計測部は、計測対象物を撮像した撮像画像において同時間帯に出力されるイベントデータの位置に基づいて当該計測対象物の三次元形状を光切断法により計測する。その一方で、計測部により上記相対距離変化が上記所定距離未満であると判定されると、投影部は、位相シフト法用の所定の縞状パターンを投影し、計測部は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて求められる輝度情報を利用して位相シフト法により計測対象物の三次元形状を計測する。

　これにより、撮像部に対する計測対象物の相対距離変化に応じて、撮像画像において同時間帯に出力されるイベントデータの位置に基づいて当該計測対象物の三次元形状を光切断法により計測する構成と、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて求められる輝度情報を利用して位相シフト法により計測対象物の三次元形状を計測する構成とを切り替えることができる。

第１実施形態に係る三次元計測装置の概略構成を示すブロック図である。 図２（Ａ）は、所定の縞状パターンを投影する際のある画素レベルでのＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態を説明する説明図であり、図２（Ｂ）は、図２（Ａ）と異なる画素レベルでのＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態を説明する説明図である。 第２実施形態に係る、短パルス発光を利用して所定の縞状パターンを投影する際のＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態を説明する説明図である。 第３実施形態に係る、光切断法用のパターンを例示する説明図である。 図４の光切断法用のパターンのみが投影された状態で出力されるイベントデータを利用して生成される撮像画像を説明する説明図であり、図５（Ａ）は、光切断法用のパターンの投影を開始してから１０μｓ後の状態を示し、図５（Ｂ）は、５０μｓ後の状態を示し、図５（Ｃ）は、１００μｓ後の状態を示す。 円形状の計測対象物に対して図４の光切断法用のパターンが投影された状態で出力されるイベントデータを利用して生成される撮像画像を説明する説明図であり、図６（Ａ）は、光切断法用のパターンの投影を開始してから１０μｓ後の状態を示し、図６（Ｂ）は、５０μｓ後の状態を示し、図６（Ｃ）は、１００μｓ後の状態を示す。

［第１実施形態］
　以下、本発明に係る、計測対象物の三次元形状又はその形状を示す情報を計測する三次元計測装置を具現化した第１実施形態について、図面を参照して説明する。
　本実施形態に係る三次元計測装置１０は、計測対象物Ｒの三次元形状を光学的に計測する装置である。この三次元計測装置１０は、図１に示すように、計測対象物Ｒに対して位相シフト法用の所定の縞状パターン（光学パターン）を投影する投影部２０と、所定の縞状パターンが投影された計測対象物を撮像して光学画像（撮像画像）を得る撮像部３０と、この撮像画像から計測対象物の三次元形状を計測する又は復元する計測部４０と、それぞれ別体として備えるように構成されている。このように構成される三次元計測装置１０は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Ｒの三次元形状を計測する。

　投影部２０は、いわゆるＤＬＰ(Digital　Light　Processing)プロジェクタであって、光源からの光をＤＭＤ（Digital　Mirror　Device）素子にて反射することで上記所定の縞状パターンを投影する。ＤＭＤ素子は、スクリーンに投影された画像の各画素に相当する微細なミラーをアレイ状に配置したものであり、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位でオン／オフするように構成されている。このため、各ミラーをオンにしている時間とオフにしている時間の比率によって、反射される光の階調を変化させることにより、投影する画像の画像データに基づいた階調表示が可能になる。特に、ＤＭＤ素子に入射する光は、Ｒ色（赤色）、Ｇ色（緑色）、Ｂ色（青色）が用意され、Ｒ色がミラーにて反射することで発光するＲ色発光状態とＧ色がミラーにて反射することで発光するＧ色発光状態とＢ色がミラーにて反射することで発光するＢ色発光状態とが短時間の所定の周期で繰り返されて、それぞれの発光時間が個別に調整されることで、カラー画像が投影可能となる。このような構成では、発光状態ごとに確保される単位時間内に１回発光される単パルス発光の発光時間が長くなるほどその発光色が明るくなる。

　本実施形態では、上述した位相シフト法用の所定の縞状パターン（光学パターン）として、下記の式（１）の輝度値Ｉ（ｘ，ｙ，ｎ）から特定されるサイン波パターンが採用される。すなわち、位相シフト回数をＮとしたとき、Ｎ枚の位相シフトされた格子画像（縞画像）の輝度値Ｉ（ｘ，ｙ，ｎ）が式（１）によって表される。
　　　I(x,y,n)=a(x,y)cos{θ(x,y)+2πn/N}+b(x,y)　　　　・・・（１）
　ここで、点（ｘ，ｙ）は、格子画像内の１点で、ａ（ｘ，ｙ）は、輝度振幅、ｂ（ｘ，ｙ）は、背景輝度を示し、θ（ｘ，ｙ）は、ｎ＝０の格子の位相を示し、Ｎ個の格子画像の輝度値Ｉ（ｘ，ｙ，ｎ）から求めたθ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。

　具体的には、本実施形態では、上述したＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態による１周期分で３つの格子画像を得ることを前提に、Ｎ＝３として、Ｒ色発光状態での輝度値Ｉ（ｘ，ｙ，０）とＧ色発光状態での輝度値Ｉ（ｘ，ｙ，１）とＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）とを、撮像画像から求める。このため、本実施形態における位相シフト法用の所定の縞状パターン（光学パターン）は、Ｒ色のみで構成されるサイン波パターンとＧ色のみで構成されるサイン波パターンとＢ色のみで構成されるサイン波パターンとを位相が２π／３ずれるようにして構成される。

　撮像部３０は、いわゆるイベントカメラ(Event-Based　Camera)として機能する撮像素子３０及びその撮像素子３０を駆動する回路、データ出力回路、閾値設定回路など（何れも図示せず）を搭載した撮像装置である。このため、撮像部３０は、そのイベントカメラによって、受光した際に輝度変化のあった画素それぞれに対応して当該各画素の位置が特定される二次元点データを含めたイベントデータ（具体的には、二次元点データ、時間、輝度変化の極性）を出力する撮像素子３０を備えて、当該撮像素子から出力されるイベントデータから撮像画像を生成可能に構成されている。このイベントカメラを成す撮像装置３０は、例えば、米国特許出願公開第２０１６／０２２７１３５号等により知られている。
　このため、撮像部３０では、撮像画像での各画素単位に関して、光を受光することで明るくなる輝度変化が生じるとプラス輝度変化のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じてマイナス輝度変化のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物を撮像した画像データが生成可能となり、撮像部３０は、このように生成された画像データ又はイベントデータ（二次元点データ，時間，輝度変化の極性）を計測部４０に出力するように構成されている。

　計測部４０は、投影部２０から上述した所定の縞状パターンが投影されている状態の計測対象物Ｒを撮像部３０により撮像した撮像画像に基づいて、その計測対象物Ｒの三次元形状を、位相シフト法に基づき計測するものである。具体的には、計測部４０は、上記撮像画像における点（ｘ，ｙ）での輝度値Ｉ（ｘ，ｙ，０）、輝度値Ｉ（ｘ，ｙ，１）、輝度値Ｉ（ｘ，ｙ，２）を得ることでθ（ｘ，ｙ）を求め、このように求めたθ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離ｚを測定する。
　なお、計測部４０は典型的には、ＣＰＵ４０Ａ及び各種のメモリ４０Ｂを備えたマイクロコンピュータとして構成される。このＣＰＵ４０Ａは、メモリ４０Ｂに予め保管された三次元計測のためのプログラムの各手順を順次実行し、かかる３次元計測に基づき計測対象物Ｒの３次元形状を示す情報が得らえる。
　一方で、この計測部４０、即ちＣＰＵ４０Ａは、かかる３次元計測を実行するために、投影部２０及び撮像部３０とも協働する必要があり、この協働制御のためのプログラムがはやりメモリ４０Ｂの別領域に予め保存されている。したがって、ＣＰＵ４０Ａはその制御プログラムを実行することで、投影部３０の駆動制御及び投光タイミングの制御、並びに、撮像部の駆動制御及び撮像部３０、即ち撮像素子３１から出力されるイベントデータの読出しタイミングの制御など担うことができる（図１の点線矢印参照）。
　このため、計測部４０は、三次元計測の計測手段及び上記各種の制御を行う制御手段として機能する。
　このように、本実施形態では、三次元計測装置１０の制御機能（制御手段、制御ユニット）は、計測部４０のコンピュータ構成が兼用で担う構成になっている。勿論、この制御機能（制御手段、制御ユニット）は、計測部４０とは別体で設けた制御専用ユニットに持たせてもよい。

　ここで、位相シフト法を利用して計測対象物Ｒの三次元形状を計測する際に、計測部４０にて実施される三次元計測処理について以下詳述する。
　本実施形態では、高速に相対移動する計測対象物Ｒを精度良く撮像するための撮像部３０の主要部として、イベントカメラを採用している。このような構成では、輝度変化があった画素に対応するイベントデータが出力され、そのイベントデータには輝度値が含まれないため、位相シフト法に必要な輝度値（Ｉ（ｘ，ｙ，０）、Ｉ（ｘ，ｙ，１）、Ｉ（ｘ，ｙ，２））を直接取得できない。

　そこで、本実施形態では、撮像画像における画素単位でのプラス輝度変化（輝度極性がプラスへ変化する）イベントデータの出力とマイナス輝度変化（輝度極性がマイナスへ変化する）のイベントデータの出力との時間差に基づいて輝度値（輝度情報）を、計測対象物Ｒの三次元形状を示す情報として求める。

　より詳細に説明するため、例えば、ある画素レベルにおいて、図２（Ａ）に例示するように、Ｒ色発光状態、Ｇ色発光状態、Ｂ色発光状態が所定の周期Ｔで繰り返されている場合を想定する。なお、図２（Ａ）及び図２（Ｂ）では、プラス輝度変化のイベントデータの出力を上向きの矢印にて図示し、マイナス輝度変化のイベントデータの出力を下向きの矢印にて図示している。

　このような発光状態では、Ｒ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され（図２（Ａ）のｔ１１参照）、Ｒ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される（図２（Ａ）のｔ１２参照）。その後、Ｇ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され（図２（Ａ）のｔ１３参照）、Ｇ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される（図２（Ａ）のｔ１４参照）。その後、Ｂ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され（図２（Ａ）のｔ１５参照）、Ｂ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される（図２（Ａ）のｔ１６参照）。

　また、例えば、図２（Ａ）での画素と異なる画素レベルでは、図２（Ｂ）に例示するように、Ｒ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され（図２（Ｂ）のｔ２１参照）、Ｒ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される（図２（Ｂ）のｔ２２参照）。その後、Ｇ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され（図２（Ｂ）のｔ２３参照）、Ｇ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される（図２（Ｂ）のｔ２４参照）。その後、Ｂ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され（図２（Ｂ）のｔ２５参照）、Ｂ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される（図２（Ｂ）のｔ２６参照）。

　ここで、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間が長くなるほどＲ色が明るくなるため、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間に応じてＲ色の輝度値を求めることができる。同様に、Ｇ色発光開始のタイミングからＧ色発光終了のタイミングまでの時間に応じてＧ色の輝度値を求めることができ、Ｂ色発光開始のタイミングからＢ色発光終了のタイミングまでの時間に応じてＢ色の輝度値を求めることができる。

　このため、計測部４０は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度値（輝度情報）を求めることができる。この輝度値（輝度情報）は、計測対象物Ｒの三次元形状を示す情報である。
　図２（Ａ）の例では、計測部４０は、Ｒ色発光状態に関してプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差であるｔ１２－ｔ１１に基づいてＲ色発光状態での輝度値Ｉ（ｘ，ｙ，０）を求めることができる。同様にして、時間差ｔ１４－ｔ１３及び時間差ｔ１６－ｔ１５に基づいて、Ｇ色発光状態での輝度値Ｉ（ｘ，ｙ，１）及びＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）を求めることができる。
　すなわち、計測部４０は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて、計測対象物の三次元形状を示す情報として輝度情報を求めることができる。
　このようにして求めた各輝度値を利用して位相シフト法により計測対象物の三次元形状を計測することができる。すなわち、イベントデータを利用して計測対象物の三次元形状を計測することができる。なお、後述するように単位時間内に複数回発光される短パルス発光を利用して上記所定の縞状パターンが投影される場合には、当該単位時間内において繰り返し生じるプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差の総和に基づいて輝度値を求めてもよい。

　特に、三次元計測に利用するイベントデータは、輝度変化に応じて出力されるものなので、イベントデータを利用しない通常の位相シフト法で苦手とする背景との輝度差が大きくなる計測対象物（例えば、白色机面上の黒色物体）の計測であっても、正確に計測することができる。

　また、カラーカメラを用いたＲＧＢ位相シフト法で苦手とする計測対象物と背景とのカラー帯域の重なりによる混色が生じる場合であっても、正確に計測することができる。

 
［第２実施形態］
　次に、本第２実施形態に係る三次元計測装置について、図面を参照して説明する。
　本第２実施形態では、投影部２０が単位時間内に複数回発光される、１つのパルス幅（時間幅）が短い短パルス発光を利用して上記所定の縞状パターンを投影する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

　本実施形態では、投影部２０での消費電力軽減等を目的として、上述したＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態をそれぞれ短パルス発光によって実現する。このような構成では、発光状態ごとに確保される単位時間（Ｔ／３）当たりの短パルス発光の発光回数が多くなるほどその発光色が明るくなる。

　そうすると、撮像素子３１の画素単位において、図３に示すように、１回の短パルス発光に応じてプラス輝度変化のイベントデータとマイナス輝度変化のイベントデータの出力とが出力されることから、上記単位時間当たりの短パルス発光の発光回数、すなわち、イベントデータの上記単位時間当たりの出力回数に基づいて、その発光色の輝度値を求めることができる。

　図３の例では、Ｒ色発光状態に関する上記単位時間当たりのイベントデータの出力回数（ｔ３１～ｔ３２間での出力回数）に基づいてＲ色発光状態での輝度値Ｉ（ｘ，ｙ，０）を求めることができる。同様にして、Ｇ色発光状態に関する上記単位時間当たりのイベントデータの出力回数（ｔ３３～ｔ３４間での出力回数）に基づいてＧ色発光状態での輝度値Ｉ（ｘ，ｙ，１）を求めることができる。また、Ｂ色発光状態に関する上記単位時間当たりのイベントデータの出力回数（ｔ３５～ｔ３６間での出力回数）に基づいてＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）を求めることができる。
　すなわち、計測部４０は、撮像画像における画素単位でのイベントデータの単位時間当たりの出力回数に基づいて輝度情報を、計測対象物の三次元形状を示す情報として求めることができる。

　このようにして求めた各輝度値を利用して位相シフト法により計測対象物の三次元形状を計測することができる。すなわち、投影部２０が短パルス発光を利用して上記所定の縞状パターンを投影する構成であっても、イベントデータを利用して計測対象物の三次元形状を計測することができる。

　なお、撮像部３０に対する計測対象物Ｒの相対距離変化に応じて、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める構成（本第２実施形態の特徴的構成）と、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める構成（上記第１実施形態の特徴的構成）とを切り替えてもよい。

　具体的には、投影部２０は、単位時間内に複数回発光される短パルス発光を利用して所定の縞状パターンを投影する状態と単位時間内に１回発光される単パルス発光を利用して所定の縞状パターンを投影する状態とを切り替え可能に構成される。また、計測部４０は、前回の計測結果とより過去の計測結果（例えば、前々回の計測結果）との差に基づいて撮像部３０に対する計測対象物Ｒの相対距離変化が第１の所定距離以上であるか否かについて判定する判定部として機能する。そして、計測部４０により上記相対距離変化が上記第１の所定距離未満であると判定されると、投影部２０は、短パルス発光を利用して所定の縞状パターンを投影し、計測部４０は、撮像画像における画素単位でのイベントデータの単位時間当たりの出力回数に基づいて輝度情報を求める。その一方で、計測部４０により上記相対距離変化が上記第１の所定距離以上であると判定されると、投影部２０は、単パルス発光を利用して所定の縞状パターンを投影し、計測部４０は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求める。この輝度情報は、計測対象物Ｒの三次元形状を示す情報である。

　これにより、相対距離変化が比較的小さな計測対象物Ｒ、すなわち、動きが比較的小さな計測対象物Ｒの三次元形状を計測する場合には、イベントデータの単位時間当たりの出力回数に基づいて輝度情報を求めることで、計測対象物Ｒの色や周辺光の影響等に対するロバスト性を高めることができる。これに対して、相対距離変化が比較的大きな計測対象物Ｒ、すなわち、動きが比較的大きな計測対象物Ｒの三次元形状を計測する場合には、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて輝度情報を求めることで、上述のようにイベントデータの出力回数に基づいて輝度情報を求める場合と比較して、より迅速に輝度情報を求めることができる。

 
［第３実施形態］
　次に、本第３実施形態に係る三次元計測装置について、図面を参照して説明する。
　本第３実施形態では、光切断法を利用して計測対象物の三次元形状を計測する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

　本実施形態では、光切断法を利用して計測対象物の三次元形状を計測するため、投影部２０は、計測対象物Ｒに対して光切断法用のパターンを投影するように構成されている。本実施形態における光切断法用のパターンは、Ｒ色、Ｇ色、Ｂ色のいずれかにおいて、第１の方向においてその輝度が左側から右側にかけて一定の割合で増加するように変化し第１の方向に直交する第２の方向においてその輝度が変化しないように投影される。
　また、計測部４０は、撮像画像において同時間帯に出力されるイベントデータの位置に基づいて計測対象物の三次元形状を光切断法に基づいて計測するように構成されている。

　以下、上述のように投影される光切断法用のパターンを利用した光切断法について説明する。
　投影部２０において、Ｒ色発光状態、Ｇ色発光状態、Ｂ色発光状態が所定の周期で繰り返されている状態で、例えば、Ｒ色を発光する際、Ｒ色発光開始のタイミングからＲ色発光終了のタイミングまでの時間が長くなるほどＲ色が明るくなる。この投影状態に応じて光を受光する撮像部３０の撮像素子３１では、発光状態ごとに確保される単位時間内において、Ｒ色発光開始のタイミングでプラス輝度変化のイベントデータが出力され、Ｒ色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される。

　ここで、図４に例示するように、左右方向（第１の方向）においてＲ色の輝度が左側から右側にかけて一定の割合で増加するように変化し上下方向（第２の方向）においてＲ色の輝度が変化しないように投影された光切断法用のパターンのみを撮像部３０にて撮像する場合（撮像画像）を想定する。

　このような場合、撮像部３０では、上記単位時間内にて、同時間帯に出力されるマイナス輝度変化のイベントデータ群が上下方向にライン状となって、上記単位時間内で左側から右側に移動するように動画的に撮像される。上記パターンの左端に近づくほど暗くなるためにＲ色発光終了のタイミングが左端に近づくほど早くなり、上記パターンの右端に近づくほど明るくなるためにＲ色発光終了のタイミングが右端に近づくほど遅くなり、上下方向ではＲ色発光終了のタイミングがほぼ同じになるからである。

　具体的には、例えば、投影部２０により上記光切断法用のパターンの投影を開始してから１０μｓ後に撮像部３０にて撮像された状態では、図５（Ａ）に示すように、上記パターンの左端近傍にてイベントデータ群Ｓが上下方向にライン状となるように撮像される。その後、例えば、５０μｓ後では、図５（Ｂ）に示すように、ライン状のイベントデータ群Ｓが右側に移動するように撮像され、１００μｓ後では、図５（Ｃ）に示すように、ライン状のイベントデータ群Ｓがさらに右側に移動するように撮像される。

　このようにライン状で移動するように撮像されるイベントデータ群は、光切断法にて用いられるライン状のレーザ光として利用することができる。具体的には、例えば、円形状の計測対象物Ｒに対して投影部２０から上記光切断法用のパターンの投影を開始してから１０μｓ後であって、図６（Ａ）に示すようにイベントデータ群Ｓが計測対象物Ｒに到達していない状態では、イベントデータ群Ｓが上下方向にライン状となるように撮像される。その後、例えば、５０μｓ後に、図６（Ｂ）に示すように、イベントデータ群Ｓが計測対象物Ｒに到達すると、その計測対象物Ｒに形状に応じてイベントデータ群Ｓの並びが変化するように撮像される。その後も、図６（Ｃ）に示すように、その計測対象物Ｒに形状に応じてイベントデータ群Ｓの並びが変化するように撮像される。

　このため、発光状態ごとに確保される単位時間内において、同時間帯に出力されるイベントデータの位置に基づいて計測対象物の三次元形状が計測部４０によって光切断法により計測することができる。すなわち、イベントデータを利用して計測対象物の三次元形状を計測することができる。

　なお、光切断法用のパターンは、左右方向においてＲ色の輝度が左側から右側にかけて一定の割合で増加するように変化し上下方向においてＲ色の輝度が変化しないように投影されることに限らず、例えば、左右方向においてＧ色（Ｂ色）の輝度が左側から右側にかけて一定の割合で増加するように変化し上下方向においてＧ色（Ｂ色）の輝度が変化しないように投影されてもよい。また、光切断法用のパターンは、左右方向においてＲ色（Ｇ色，Ｂ色）の輝度が左側から右側にかけて一定の割合で増加するように変化し上下方向においてＲ色（Ｇ色，Ｂ色）の輝度が変化しないように投影されることに限らず、Ｒ色、Ｇ色、Ｂ色のいずれかにおいて、第１の方向においてその輝度が一定の割合で変化し第１の方向に直交する第２の方向においてその輝度が変化しないように投影されればよい。

　なお、撮像部３０に対する計測対象物Ｒの相対距離変化に応じて、光切断法を利用して計測対象物の三次元形状を計測する構成（本第３実施形態の特徴的構成）と、位相シフト法を利用して計測対象物の三次元形状を計測する構成（上記第１実施形態の特徴的構成）とを切り替えてもよい。

　具体的には、投影部２０は、光切断法用のパターンを投影する状態と位相シフト法用の所定の縞状パターンを投影する状態とを切り替え可能に構成される。また、計測部４０は、前回の計測結果とより過去の計測結果（例えば、前々回の計測結果）との差に基づいて撮像部３０に対する計測対象物Ｒの相対距離変化が第２の所定距離以上であるか否かについて判定する判定部として機能する。そして、計測部４０により上記相対距離変化が上記第２の所定距離以上であると判定されると、投影部２０は、光切断法用のパターンを投影し、計測部４０は、計測対象物Ｒを撮像した撮像画像において同時間帯に出力されるイベントデータの位置に基づいて当該計測対象物の三次元形状を光切断法により計測する。その一方で、計測部４０により上記相対距離変化が上記第２の所定距離未満であると判定されると、投影部２０は、単パルス発光を利用して所定の縞状パターンを投影し、計測部４０は、撮像画像における画素単位でのプラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて求められる輝度情報に基づき位相シフト法により計測対象物の三次元形状を計測する。

　これにより、相対距離変化が比較的大きな計測対象物Ｒ、すなわち、動きが比較的大きな計測対象物Ｒの三次元形状を計測する場合には、同時間帯に出力されるイベントデータの位置に基づいて当該計測対象物Ｒの三次元形状を光切断法により計測することで、位相シフト法を利用する場合と比較して、より迅速に三次元形状を計測することができる。これに対して、相対距離変化が比較的小さな計測対象物Ｒ、すなわち、動きが比較的小さな計測対象物Ｒの三次元形状を計測する場合には、プラス輝度変化のイベントデータの出力とマイナス輝度変化のイベントデータの出力との時間差に基づいて求められる輝度情報を利用して計測対象物Ｒの三次元形状を位相シフト法により計測することで、光切断法を利用する場合と比較して、高精度に三次元形状を計測することができる。

　なお、本発明は上記各実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）三次元計測装置１０は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らず、例えば、固定状態で使用されて、搬送ライン上を移動する計測対象物の三次元形状を計測してもよい。

（２）三次元計測装置１０は、投影部２０及び撮像部３０と計測部４０とが別体となって、計測部４０が投影部２０及び撮像部３０と無線通信又は有線通信可能な情報処理端末として構成されてもよい。

（３）本発明は、ｄｏｔパターン投影法を利用して計測対象物の三次元形状を計測する三次元計測装置に適用されてもよい。この三次元計測装置では、上記第３実施形態にて述べた光切断法と同様に輝度情報を付与することにより、識別できる数は輝度情報の分解能に依存するものの、ドットそれぞれを個別に識別することができる。このｄｏｔパターン投影法では、光切断法と比較した場合に、データ転送量を低減させることが可能となるため、機能の高速化を行うことができる。

　１０…三次元計測装置
　２０…投影部
　３０…撮像部
　３１…イベントデータを出力する撮像素子（イベントカメラとして機能）
　４０…計測部（計測手段及び制御手段として機能する）
　Ｒ…計測対象物

Claims (5)

1. 　計測対象物に対して光学的に所定の縞状パターンを投影する投影部と、
   　前記所定の縞状パターンが投影された前記計測対象物を光学的に撮像して撮像画像を得る撮像部と、
   　前記撮像部で取得された光学的な前記撮像画像から求められる輝度情報に基づき位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
   　を備える三次元計測装置であって、
   　前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、前記撮像素子から出力されるイベントデータから前記撮像画像を生成するように構成され、
   　前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
   　前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力と前記マイナス輝度変化のイベントデータの出力との時間差に基づいて、前記計測対象物の三次元形状を示す情報として前記輝度情報を求めるように構成されていることを特徴とする三次元計測装置。
    
2. 　計測対象物に対して光学的に所定の縞状パターンを投影する投影部と、
   　前記所定の縞状パターンが投影された前記計測対象物を光学的に撮像して撮像画像を得る撮像部と、
   　前記撮像部で取得された光学的な前記撮像画像から求められる輝度情報に基づき位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
   　を備える三次元計測装置であって、
   　前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、前記撮像素子から出力されるイベントデータから前記撮像画像を生成するように構成され、
   　前記投影部は、単位時間内に複数回発光される短パルス発光を利用して前記所定の縞状パターンを投影するように構成され、
   　前記計測部は、前記撮像画像における画素単位での前記イベントデータの前記単位時間当たりの出力回数に基づいて前記輝度情報を、前記計測対象物の三次元形状を示す情報として求めるように構成されていることを特徴とする三次元計測装置。
    
3. 　計測対象物に対して光切断法用のパターンを光学的に投影する投影部と、
   　前記所定のパターンが投影された前記計測対象物を光学的に撮像して撮像画像を得る撮像部と、
   　前記撮像部で取得された光学的な前記撮像画像に基づいて、前記計測対象物の三次元形状を計測する計測部と、
   　を備える三次元計測装置であって、
   　前記投影部は、前記光切断法用のパターンを、第１の方向において輝度が一定の割合で変化し前記第１の方向に直交する第２の方向において輝度が変化しないように投影するように構成され、
   　前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備え、前記撮像素子から出力されるイベントデータから前記撮像画像を生成するように構成され、
   　前記計測部は、前記撮像画像において同時間帯に出力される前記イベントデータの位置に基づいて当該計測対象物の三次元形状を前記光切断法に基づいて計測するように構成されていることを特徴とする三次元計測装置。
    
4. 　前記投影部は、前記単位時間内に複数回発光される短パルス発光を利用して前記所定の縞状パターンを投影する状態と前記単位時間内に１回発光される単パルス発光を利用して前記所定の縞状パターンを投影する状態とを切り替え可能に構成され、
   　前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
   　前記計測部による前回の計測結果とより過去の計測結果との差に基づいて前記撮像部に対する前記計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部を備え、
   　前記判定部により前記相対距離変化が前記所定距離未満であると判定されると、
   　前記投影部は、前記短パルス発光をもとで前記所定の縞状パターンを投影し、
   　前記計測部は、前記撮像画像における画素単位での前記イベントデータの前記単位時間当たりの出力回数に基づいて前記輝度情報を求め、
   　前記判定部により前記相対距離変化が前記所定距離以上であると判定されると、
   　前記投影部は、前記単パルス発光をもとで前記所定の縞状パターンを投影し、
   　前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力と前記マイナス輝度変化のイベントデータの出力との時間差に基づいて前記輝度情報を求めることを特徴とする請求項２に記載の三次元計測装置。
    
5. 　前記投影部は、前記光切断法用のパターンを投影する状態と位相シフト法用の所定の縞状パターンを投影する状態とを切り替え可能に構成され、
   　前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
   　前記計測部による前回の計測結果とより過去の計測結果との差に基づいて前記撮像部に対する前記計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部を備え、
   　前記判定部により前記相対距離変化が前記所定距離以上であると判定されると、
   　前記投影部は、前記光切断法用のパターンを投影し、
   　前記計測部は、前記計測対象物を撮像した撮像画像において同時間帯に出力される前記イベントデータの位置に基づいて当該計測対象物の三次元形状を光切断法により計測し、
   　前記判定部により前記相対距離変化が前記所定距離未満であると判定されると、
   　前記投影部は、前記位相シフト法用の所定の縞状パターンを投影し、
   　前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力と前記マイナス輝度変化のイベントデータの出力との時間差に基づいて求められる輝度情報に基づいて位相シフト法により前記計測対象物の三次元形状を計測することを特徴とする請求項３に記載の三次元計測装置。

Images