JPWO2019177066A1 - ３次元形状計測装置、３次元形状計測方法及びプログラム - Google Patents

Abstract

３次元形状計測装置は、被計測物に、第１の周期で輝度が変化する第１の光パターンと、第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置と、第１又は第２の光パターンが投影された被計測物の画像を取得する撮像装置と、撮像装置が取得した画像を処理する画像処理装置と、を有する。画像処理装置は、第１の光パターンが投影された被計測物の画像の輝度値に基づき、被計測物の各部における相対位相値を算出する相対位相値演算部と、第２の光パターンが投影された被計測物の画像の輝度値及び相対位相値に基づき、被計測物の各部における絶対位相値を算出する絶対位相値演算部と、絶対位相値に基づき、被計測物の各部における３次元座標を算出する３次元座標演算部と、を有する。

Description

本発明は、３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体に関する。

従来、物体の３次元形状を計測する様々な方法が提案されている。例えば、複数のカメラを用いて被計測物を撮影し、三角測量の原理で立体形状を特定する方法や、被計測物に所定の光パターンを投射し、投影された光パターンを計測することにより立体形状を特定する方法が知られている。特許文献１乃至６には、被計測物に投射する光パターンとして正弦波パターンを用いることが記載されている。被計測物に投射する光パターンに正弦波パターンを用いることにより、投射される光の位相（輝度）を手がかりに被計測物上における位置を特定することができ、被計測物の立体形状を精度よく検出することができる。ただし、被計測物に投射する光パターンとして正弦波パターンのような周期性をもつ光パターンを用いる場合、その性質上、Ｎ周期シフトした点も候補となり得ることから、一意に立体形状を定めることが困難である。
そこで、特許文献１等においては、光パターンを投射するプロジェクタ又は被計測物を撮影するカメラを１つ以上追加することで上記の曖昧性を解消し、立体形状を一意に定めることが行われていた。また、特許文献６等においては、周期の異なる２種類の正弦波パターンをそれぞれ投射することで上記の曖昧性を解消し、立体形状を一意に定めることが行われていた。

特開２００１−０１２９２５号公報 特開２００３−２６９９２８号公報 特開２００６−２１４７８５号公報 特開２００８−００９８０７号公報 特開２００９−１１５６１２号公報 特開２０１０−２８１１７８号公報

周期の異なる２種類の正弦波パターンをそれぞれ投射することにより上記の曖昧性を解消する従来の方法は、光パターンの投射時間が倍になるため計測に要する時間が長くなるという問題があった。

本発明の目的は、より簡便なシステムで物体の立体形状を高精度且つ短時間で計測しうる３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体を提供することにある。

本発明の一観点によれば、被計測物に、第１の周期で輝度が変化する第１の光パターンと、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置と、前記第１の光パターン又は前記第２の光パターンが投影された前記被計測物の画像を取得する撮像装置と、前記撮像装置が取得した前記画像を処理する画像処理装置と、を有し、前記画像処理装置は、前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する相対位相値演算部と、前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する絶対位相値演算部と、前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する３次元座標演算部と、を有する３次元形状計測装置が提供される。

また、本発明の他の一観点によれば、被計測物に、第１の周期で輝度が変化する第１の光パターンを投射し、前記第１の光パターンが投影された前記被計測物の画像を取得するステップと、前記第１の光パターンの投射に用いる投影装置と同じ投影装置により、前記被計測物に、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射し、前記第２の光パターンが投影された前記被計測物の画像を取得するステップと、前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出するステップと、前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出するステップと、前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出するステップとを有する３次元形状計測方法が提供される。

また、本発明の更に他の一観点によれば、コンピュータを、１つの投影装置を制御して、被計測物に、第１の周期で輝度が変化する第１の光パターン、又は、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射させる手段、前記第１の光パターンが投影された前記被計測物の画像及び前記第２の光パターンが投影された前記被計測物の画像を取得する手段、前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する手段、前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する手段、前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する手段、として機能させるプログラムが提供される。

本発明によれば、より簡便なシステムで被計測物の立体形状を高精度且つ短時間で計測することができる。

図１は、本発明の第１実施形態による３次元形状計測装置の構成例を示す概略図である。 図２Ａは、本発明の第１実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。 図２Ｂは、本発明の第１実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。 図２Ｃは、本発明の第１実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。 図２Ｄは、本発明の第１実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。 図３Ａは、本発明の第１実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。 図３Ｂは、本発明の第１実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。 図４は、本発明の第１実施形態による３次元形状計測方法における絶対位相値の算出方法を示すグラフである。 図５は、本発明の第１実施形態による３次元形状計測方法を示すフローチャートである。 図６Ａは、本発明の第２実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。 図６Ｂは、本発明の第２実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。 図７は、本発明の第２実施形態による３次元形状計測方法における絶対位相値の算出方法を示すグラフである。 図８は、本発明の第２実施形態による３次元形状計測方法を示すフローチャートである。 図９Ａは、本発明の効果をコンピュータシミュレーションにより検証した結果を示すグラフである。 図９Ｂは、本発明の効果をコンピュータシミュレーションにより検証した結果を示すグラフである。 図１０は、本発明の第３実施形態による３次元形状計測装置の構成例を示す概略図である。 図１１Ａは、本発明の実施形態の変形例による光パターンの例を示す図である。 図１１Ｂは、本発明の実施形態の変形例による光パターンの例を示す図である。

［第１実施形態］
本発明の第１実施形態による３次元形状計測装置及び３次元形状計測方法について、図１乃至図５を用いて説明する。

図１は、本実施形態による３次元形状計測装置の構成例を示す概略図である。図２Ａ乃至図２Ｄは、本実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。図３Ａ及び図３Ｂは、本実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。図４は、本実施形態による３次元形状計測方法における絶対位相値の算出方法を示すグラフである。図５は、本実施形態による３次元形状計測方法を示すフローチャートである。

本実施形態による３次元形状計測装置１００は、図１に示すように、投影装置２０と、撮像装置３０と、画像処理装置４０と、を含む。画像処理装置４０は、投影パターン制御部４２と、画像取得部４４と、相対位相値演算部４６と、絶対位相値演算部４８と、３次元座標演算部５０と、制御部５２と、を含む。

投影装置２０は、３次元形状の計測対象である被計測物１０に、所定の光パターンを投射する装置である。投影装置２０は、特に限定されるものではないが、例えば、ＤＬＰ（Digital Light Processing）プロジェクタや液晶プロジェクタ等が挙げられる。ＤＬＰプロジェクタや液晶プロジェクタは、任意の光パターンを高速に投射することが可能であり、立体形状計測の短時間化を図るうえで好ましい。計測時間の短時間化は、特に、人物の顔認証を行う場合など、動きのある物体（動体）の立体形状を計測するうえで好適である。なお、被計測物１０に投射する光パターンの詳細については後述する。被計測物１０は、人物の顔、頭部、指、指紋、指紋の隆線、その他身体の一部を含むものであってもよいが、これに限定されない。

撮像装置３０は、投影装置２０から発せられた光パターンが投影された被計測物１０の画像を撮影する装置である。撮像装置３０は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等の固体撮像素子を含む。また、撮像装置３０は、被写体の像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素毎の輝度値を得る信号処理回路等を含む。

画像処理装置４０は、ＣＰＵ（Central Processing Unit）、メモリ、ディスプレイ、ハードディスク等の記憶装置、入出力用の各種インターフェース等を備える汎用の情報処理装置（コンピュータ）により構成され得る。また、画像処理装置４０は、後述する３次元形状計測方法を情報処理装置に実行させるためのプログラムを備えており、ＣＰＵが当該プログラムを実行することにより、画像処理装置４０の各部の機能を実現可能である。

投影パターン制御部４２は、被計測物１０に投射する光パターンを生成し、記憶装置に予め記憶する機能を有する。また、投影パターン制御部４２は、記憶装置に記憶された光パターンのデータを、ＤＶＩ（Digital Visual Interface）等の汎用のディスプレイ用インターフェースを介して投影装置２０へと伝送する機能を有する。また、投影パターン制御部４２は、ＲＳ２３２ＣやＵＳＢ（Universal Serial Bus）等の汎用の通信インターフェースを介して投影装置２０の動作（光源の点灯・消灯や光量調整等）を制御する機能を有する。

画像取得部４４は、撮像装置３０が撮影した画像データを取得しメモリに記憶する機能を有する。また、画像取得部４４は、ＲＳ２３２ＣやＵＳＢ等の汎用の通信インターフェースを介して撮像装置３０の動作（撮像のタイミング等）を制御する機能を有する。また、画像取得部４４は、投影パターン制御部４２に対して投影装置２０に光パターンを投射するように指示をする機能を有する。

相対位相値演算部４６は、撮像装置３０が撮影した画像に基づき、輝度値に応じた位相値（後述する位相値θ，φ）を画素毎に算出する機能を有する。なお、位相値の算出方法の詳細については、後述する。

絶対位相値演算部４８は、相対位相値演算部４６が算出した位相値に基づき、絶対位相値（後述する絶対位相値Θ）を画素毎に算出する機能を有する。なお、位相値の算出方法の詳細については、後述する。

３次元座標演算部５０は、絶対位相値演算部４８が算出した各画素の絶対位相値に基づき、画像上の点ｐ（ｘ，ｙ）に対応する被計測物１０上の投影点Ｐ（Ｘ，Ｙ，Ｚ）の３次元座標を演算により求める機能を有する。

制御部５２は、画像処理装置４０のこれら各部を統括的に制御する機能を有する。

次に、本実施形態による３次元形状計測方法を具体的に説明する前に、正弦波格子位相シフト法を用いた３次元形状計測方法の基本的な原理について説明する。

正弦波格子位相シフト法とは、図２Ａ乃至図２Ｄに示すような正弦波格子状の光パターン（以下、正弦波パターン）を、少しずつ位相をずらしながら被計測物１０に投射し、光パターンを投影した被計測物１０の撮影画像をもとにその立体形状を特定する方法である。

図２Ａ乃至図２Ｄには一例として、１／４波長ずつ位相をずらした４つの正弦波パターンを示している。図２Ａ乃至図２Ｄの各図は、光パターンの投射領域における輝度をグレースケールで表している。図２Ａ乃至図２Ｄの各図に示す正弦波パターンでは、図面の縦方向に沿って輝度が正弦波状に変化している。図２Ａは時刻ｔ＝０のときに投射する光パターンであり、図２Ｂは時刻ｔ＝π／２のときに投射する光パターンであり、図２Ｃは時刻ｔ＝πのときに投射する光パターンであり、図２Ｄは時刻ｔ＝３π／２のときに投射する光パターンである。

なお、ここでは変数ｔを「時刻」と表記し、輝度の振幅を変調することを想定して説明した。実装上では、図２Ａにおける光パターンを基準としたときの、縦方向の位相のずれ量を表していて、実際の時刻とは関係なく光パターンの投影タイミングを変更することもできる。後述する図３Ａ及び図３Ｂについても同様である。

正弦波パターンを投影した被計測物１０を撮像装置３０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｉ（ｘ，ｙ，ｔ）は、正弦波の振幅をＡ、位相値をθ、バイアス（正弦波の中心値）をＢとして、以下の式（１）のように表される。

投影装置２０により投射される光パターンは、投影装置２０から見た角度毎に位相値θが異なっていることから、座標（ｘ，ｙ）における位相値θを求めることができれば、座標（ｘ，ｙ）に対応する３次元的な位置を定めることができる。

式（１）における未知数は振幅Ａ、位相値θ及びバイアスＢの３つであることから、最少で３枚の光パターン投影画像があれば位相値θを算出することができる。光パターン投影画像を４枚以上撮影した場合には、最小二乗法などにより、より高精度に位相値θを算出することができる。

ここで、時刻ｔ＝０、時刻ｔ＝π／２、時刻ｔ＝π、時刻ｔ＝３π／２における画像をそれぞれ取得したとすると、各時刻における座標（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ，ｔ）は、以下の式（２）〜式（５）のように表される。

式（２）〜式（５）から最小二乗法により振幅Ａ、位相値θ及びバイアスＢを求めることにより、以下の式（６）〜式（８）が得られる。

一般に、正弦波格子位相シフト法では、一周期に相当する奥行の１／２００程度の分解能が得られることが経験的に判っており、一例では１００μｍ〜２００μｍ程度の精度が実際に得られている。

ただし、正弦波は繰り返し関数のため、得られる位相値θは−πからπの範囲（−π≦θ≦π）である。したがって、光パターンの投射領域に含まれる周期の数だけ同じ位相値θを示す点が存在する可能性があり、得られた位相値θから一意に座標を定めることはできない。撮影する画像の画面全体が１周期となるような正弦波パターンを用いればこの不確定性を解消することはできるが、奥行き計測精度がその分だけ悪化するというトレードオフの関係が存在する。そのため従来は、２つの撮像装置で取得した画像を利用してこの不確定性を解消する、いわゆる多眼正弦波格子位相シフト法を用いていた。しかしながら、多眼正弦波格子位相シフト法は、複数のプロジェクタ或いは複数の撮像装置を用いるため、システム構成や制御が複雑化する等の課題がある。

本実施形態による３次元形状計測方法では、被計測物１０に投射する光パターンとして、２種類の光パターンを用いる。これら２種類の光パターンは、繰り返し周期の数が互いに異なる周期的な光パターンであり、ここではこれらを短周期光パターン及び長周期光パターンとして区別するものとする。すなわち、本実施形態による３次元形状計測方法は、上述した正弦波位相シフト法による計測と同様の短周期光パターンを用いた位相値の計測に追加して、長周期光パターンを用いた位相値の計測を行うものである。

本実施形態では、短周期光パターン及び長周期光パターンとして、いずれも正弦波パターンを用いる。短周期光パターンは、計測の分解能を決定する光パターンである。撮像装置３０により撮影する画像の画面全体に含まれる短周期光パターンの周期の数が多いほど、計測の分解能は高くなる。そのため、短周期光パターンは、例えば図２Ａ乃至図２Ｄに示すように、撮影する画像の画面全体に複数周期のパターンを含む光パターンであることが望ましい。画面全体に含まれる短周期光パターンの周期の数は、計測に必要とされる分解能に応じて適宜設定することができる。長周期光パターンは、絶対位相値Θを特定するための光パターンであり、撮像装置３０により撮影する画像の画面全体に１周期以下のパターンを含む光パターンであることが望ましい。

長周期光パターンは、例えば図３Ａ及び図３Ｂに示すように、撮影する画像の画面全体に１周期のパターンを含む光パターンを適用可能である。図３Ａ及び図３Ｂの各図は、図２Ａ乃至図２Ｄと同様、光パターンの投射領域における輝度をグレースケールで表したものである。図３Ａ及び図３Ｂに示す正弦波パターンにおいても、図面の縦方向に沿って輝度が正弦波状に変化している。図３Ａは時刻ｔ＝０のときに投射する光パターンであり、図３Ｂは時刻ｔ＝π／２のときに投射する光パターンである。

短周期光パターンを投影した被計測物１０を撮像装置３０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｉ（ｘ，ｙ，ｔ）は、振幅をＡ、位相値をθ、バイアスをＢとすると、上述の式（１）のように表される。

ここで、時刻ｔ＝０、時刻ｔ＝π／２、時刻ｔ＝π、時刻ｔ＝３π／２における画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｉ（ｘ，ｙ，ｔ）は、上述の式（２）〜式（５）のように表される。また、式（２）〜式（５）から最小二乗法により振幅Ａ、位相値θ及びバイアスＢを求めることにより、上述の式（６）〜式（８）が得られる。

一方、長周期光パターンを投影した被計測物１０を撮像装置３０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｊ（ｘ，ｙ，ｔ）は、振幅をＡ′、位相値をφ、バイアスをＢ′とすると、以下の式（９）のように表される。

ここで、時刻ｔ＝０、時刻ｔ＝π／２、時刻ｔ＝π、時刻ｔ＝３π／２における画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｊ（ｘ，ｙ，ｔ）は、以下の式（１０）〜式（１３）のように表される。

式（１０）〜式（１３）から最小二乗法により振幅Ａ′、位相値φ及びバイアスＢ′を求めることにより、以下の式（１４）〜式（１６）が得られる。

一般に、正弦波格子位相シフト法では、１周期の幅に相当する奥行の１／２００程度の分解能が得られることが経験的に判っている。上述のような４回撮像の場合、絶対位相を高い確信度で決定できることを設計指針とすると、±３σ程度、すなわち（６／２００）^−１、つまり３３本程度繰り返す正弦波から求めた相対位相値から、その絶対位相値を決定できることとなる。

ここで、投影装置２０として、液晶プロジェクタやＤＬＰプロジェクタなど、任意の光パターンの投影が可能なプロジェクタを用いた場合、１つの投影装置２０により短周期光パターンと長周期光パターンとを高速に切り替えて投射することが可能である。そして、１つの投影装置２０により同じ光源から発せられた光をもとに生成した短周期光パターン及び長周期光パターンを投射する場合、これら光パターンの投射時における投影装置２０の基本的な物理特性は同一であると仮定することができる。すなわち、短周期光パターン及び長周期光パターンの被計測物１０への投影を同じ投影装置２０を用いて行う場合、以下の式（１７）が成立するものと考えられる。
Ａ＝Ａ′，Ｂ＝Ｂ′ …(17)

したがって、式（９）は、以下の式（１８）及び式（１９）のように書き換えることができ、未知数は、振幅Ａ′、位相値φ及びバイアスＢ′の３つではなく、位相値φの１つだけとなる。これにより、長周期光パターンを投影した被計測物１０を最少で１回だけ撮影すれば、位相値φを求めることが可能となる。

このような観点から、本実施形態においては、１つの投影装置２０から発せられる短周期光パターンと長周期光パターンとを被計測物１０に投射するように構成し、被計測物１０への投影回数を減らしつつ位相値φを算出することを可能としている。これにより、被計測物１０の立体形状を短時間で計測することができる。

長周期光パターンを投影した被計測物１０の撮影を２回行い最小二乗法により位相値φを求めることにより、位相値φの計測精度を向上することも可能である。この場合においても、最少３回の撮影が必要であった従来法と比較して撮影回数は減るため、被計測物１０の立体形状の計測時間を短縮することができる。

半周期ずらして２回の撮影を行う場合、すなわち、時刻ｔ＝０、時刻ｔ＝πにおける画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｊ（ｘ，ｙ，ｔ）は、以下の式（２０）及び式（２１）のように表される。

式（２０）及び式（２１）から最小二乗法により位相値φを求めることにより、以下の式（２２）が得られる。

ただし、式（１９）及び式（２２）により得られる位相値φの不確定性は、いずれも、２πの整数分ではなく、πの整数分となることに注意が必要である（得られる位相値φの範囲は、０≦φ≦π）。つまり、画像全体が１周期ではなく半周期となるような正弦波を投影しなければならない。これは、位相値φの相対的な誤差が２倍になることを意味する。

位相値φを２πの範囲で利用できるようにするためには、位相値φを求める式（１９）或いは式（２２）を、余弦関数ではなく正接関数の逆関数となるように書き換えればよい。１／４周期ずらす、すなわち、時刻ｔ＝０、時刻ｔ＝π／２の２回撮影を想定すると、座標（ｘ，ｙ）における輝度値Ｊ（ｘ，ｙ，ｔ）は、以下の式（２３）及び式（２４）のように表される。

式（２３）及び式（２４）から最小二乗法により位相値φを求めることにより、以下の式（２５）が得られる。これにより得られる位相値φの不確定性は、２πの整数分となる（得られる位相値φの範囲は、−π≦ψ≦π）。

なお、投影する長周期光パターンの位相値は全画面でなだらかに変化することから、平滑化やメディアンフィルタといったノイズ除去との相性がよいと想定できる。４回撮影時と同様の絶対位相決定精度となるように設計することで、撮影回数を減らしたことによるデメリットを打ち消すことが可能となる。

位相値θは、短周期光パターンの１周期毎の値、すなわち−π〜πの値となる。したがって、複数周期分が投影された光パターンにおける絶対位相値を求めるためには、次数ｎ（一端から他端に向かって数えてｎ周期目であるかを示す値）のパターンが、撮影した各画像上でどの位置にあるかを推定する処理が必要である。本実施形態では、短周期光パターンの次数ｎの推定に、位相値φを用いる。

図４は、画面内の短周期光パターンが１０周期であり長周期光パターンが１周期である場合における、相対位相値（位相値θ、位相値φ）と短周期光パターンの次数ｎとの関係の一例を示すグラフである。

図４に示すように、短周期光パターンの次数ｎは、位相値φの値に応じて一意に定めることができる。例えば、位相値φがπ／５〜２π／５の範囲において短周期光パターンの次数ｎは２であり、位相値φが−４π／５〜−３π／５の範囲において短周期光パターンの次数ｎは７である。

短周期光パターンの次数ｎが求まれば、位相値θと次数ｎから、絶対位相値Θ（＝θ＋２π（ｎ−１））を算出することができる。撮影した画像上において絶対位相値Θが等しい点を連結して得られる線（等位相線）は、光切断法による切断線と同じく被計測物１０をある平面で切断した断面の形状を表している。この絶対位相値Θをもとに三角測量の原理により被計測物１０の３次元形状（画像各点での高さ情報）を計測することができる。すなわち、絶対位相値Θ及び投影装置２０と撮像装置３０との光学的な配置に基づき、三角測量の原理により画像上の各画素に対応する被計測物上の投影点の３次元空間での絶対的な座標値を求めることにより、被計測物１０の３次元形状を特定することができる。

本実施形態による３次元形状計測方法は、短周期光パターン及び長周期光パターンの２つの光パターンを用いるため、１種類の光パターンを用いる場合と比較すると撮影時間は長くなる。しかしながら、光パターンの投射にＤＬＰプロジェクタや液晶プロジェクタ等を用いることで、絶対時間としては十分に短くすることができる。また、本実施形態による３次元形状計測方法によれば、前述の多眼正弦波格子位相シフト法のデメリットである、３次元座標の計算時間が長い、左右のカメラとプロジェクタとの位置関係が狂うと計測ができなくなる、という課題を解消することが期待できる。

また、従来法において、短周期光パターン及び長周期光パターンの２つの光パターンを用いる場合、それぞれについて最少３回、計６回の光パターンの投射及び撮影が必要であった。これに対し、本実施形態による３次元形状計測方法では、最少で、短周期光パターンを用いて３回、長周期光パターンを用いて１回、計４回の光パターンの投射及び撮影を行えばよい。したがって、本実施形態による３次元形状計測方法によれば、投影枚数を削減することができ、撮影時間を短くすることができる。

なお、上記説明では、短周期光パターンを用いた計測を先に行い、振幅Ａ及びバイアスＢを算出したが、長周期光パターンを用いた計測を先に行い、振幅Ａ′及びバイアスＢ′を算出するようにしてもよい。

本実施形態による３次元形状計測方法は、例えば図５に示すステップＳ１０１からステップＳ１１６に従って実行することができる。なお、ここでは、短周期光パターンである第１の光パターンを投射した被計測物１０の画像から振幅Ａ、バイアスＢ、位相値θを算出し、長周期光パターンである第２の光パターンを投射した被計測物１０の画像から位相値φを算出する場合を例にして説明する。ただし、長周期光パターンである第１の光パターンを投射した被計測物１０の画像から振幅Ａ′、バイアスＢ′、位相値φを算出し、短周期光パターンである第２の光パターンを投射した被計測物１０の画像から位相値θを算出するようにしてもよい。第２の光パターンの投射は、第１の光パターンの投射よりも先に行ってもよい。

まず、ステップＳ１０１において、第１の光パターンの投影回数Ｌを設定する。第１の光パターンを用いた計測は、振幅Ａ、バイアスＢ、位相値θを決定するためのものであり、投影回数Ｌは３回以上となる。最小二乗法等を用いてより高精度の計測を行うためには、投影回数Ｌは４回以上であることが望ましい。ここでは一例として、第１の光パターンの投影回数Ｌは、４回であるものとする。

次いで、ステップＳ１０２において、投影パターン制御部４２による制御のもと、投影装置２０により、計測対象の被計測物１０に第１の光パターンを投射する。ここでは一例として、被計測物１０に、短周期光パターンである第１の光パターンを投射するものとする。短周期光パターンとしては、例えば図２Ａのパターンを適用可能である。

次いで、ステップＳ１０３において、画像取得部４４による制御のもと、撮像装置３０により、第１の光パターンを投影した被計測物１０の画像を撮影する。

次いで、ステップＳ１０４において、第１の光パターンの投影回数Ｌを１減じる。投影回数Ｌは、第１の光パターンの残りの投影回数を表す。

次いで、ステップＳ１０５において、第１の光パターンの投影回数Ｌが０であるかどうか、すなわちステップＳ１０１で設定した投影回数Ｌだけ第１の光パターンの投影及び撮影を行ったかどうかを判定する。

ステップＳ１０５における判定の結果、投影回数Ｌが０でなければ（ステップＳ１０５の「Ｎｏ」）、ステップＳ１０６において、被計測物１０に投射する第１の光パターンの位相をずらし、ステップＳ１０２へと戻る。例えば、投影回数Ｌが４回の場合、投影パターン制御部４２は、１／４波長ずつ位相をずらした短周期光パターン（図２Ｂ、図２Ｃ及び図２Ｄを参照）のデータを順次用意し、投影装置２０へと伝送する。

ステップＳ１０５における判定の結果、投影回数Ｌが０であれば（ステップＳ１０５の「Ｙｅｓ」）、ステップＳ１０７に移行する。

次いで、ステップＳ１０７において、相対位相値演算部４６は、ステップＳ１０３において撮影したＬ枚の画像の各画素の輝度値Ｉに基づき、振幅Ａ、バイアスＢ、位相値θをそれぞれ算出する。振幅Ａ、バイアスＢ、位相値θは、例えば式（６）〜式（８）に基づいて算出することができる。

次いで、ステップＳ１０８において、第２の光パターンの投影回数Ｍを設定する。第２の光パターンを用いた計測は、位相値φを決定するためのものであり、投影回数Ｍは１回以上となる。最小二乗法等を用いてより高精度の計測を行うためには、投影回数Ｍは２回以上であることが望ましい。ここでは一例として、第２の光パターンの投影回数Ｍは、２回であるものとする。

次いで、ステップＳ１０９において、投影パターン制御部４２による制御のもと、投影装置２０により、計測対象の被計測物１０に第２の光パターンを投射する。ここでは一例として、被計測物１０に、長周期光パターンである第２の光パターンを投射するものとする。長周期光パターンとしては、例えば図３Ａのパターンを適用可能である。

次いで、ステップＳ１１０において、画像取得部４４による制御のもと、撮像装置３０により、第２の光パターンを投影した被計測物１０を撮影する。

次いで、ステップＳ１１１において、第２の光パターンの投影回数Ｍを１減じる。投影回数Ｍは、第２の光パターンの残りの投影回数を表す。

次いで、ステップＳ１１２において、第２の光パターンの投影回数Ｍが０であるかどうか、すなわちステップＳ１０８で設定した投影回数Ｍだけ第２の光パターンの投影及び撮影が行ったかどうかを判定する。

ステップＳ１１２における判定の結果、投影回数Ｍが０でなければ（ステップＳ１１２の「Ｎｏ」）、ステップＳ１１３において、被計測物１０に投射する第２のパターンの位相をずらし、ステップＳ１０９へと戻る。例えば、投影回数Ｍが２回の場合、投影パターン制御部４２は、位相を１／４波長ずらした長周期光パターン（図３Ｂを参照）のデータを用意し、投影装置２０へと伝送する。

ステップＳ１１２における判定の結果、投影回数Ｍが０であれば（ステップＳ１１２の「Ｙｅｓ」）、ステップＳ１１４に移行する。

次いで、ステップＳ１１４において、相対位相値演算部４６は、ステップＳ１０７において算出した振幅Ａ及びバイアスＢ、並びに、ステップＳ１１０において撮影したＭ枚の画像の各画素の輝度値Ｊに基づき、位相値φをそれぞれ算出する。位相値φは、例えば式（２５）に基づいて算出することができる。

次いで、ステップＳ１１５において、絶対位相値演算部４８は、ステップＳ１０７において算出した位相値θ及びステップＳ１１４において算出した位相値φに基づき、絶対位相値Θを算出する。

次いで、ステップＳ１１６において、３次元座標演算部５０は、ステップＳ１１５において算出した絶対位相値Θに基づき、撮影した画像上の各画素に対応する被計測物１０上の投影点の３次元空間での絶対的な座標値を算出する。これにより、被計測物１０の３次元形状を特定することができる。

このように、本実施形態による３次元計測方法は、最少で、短周期光パターンを用いて３回、長周期光パターンを用いて１回、計４回の光パターンの投射及び撮影を行うことにより、被計測物の立体形状を計測することができる。したがって、本実施形態による３次元計測方法は、最少で、短周期光パターンを用いて３回、長周期光パターンを用いて３回、計６回の光パターンの投射及び撮影が必要であった従来法と比較して投影枚数を削減することができ、ひいては計測時間を短縮することができる。動きのある計測対象の立体形状を計測する場合、例えば人物の顔認証を行う場合などにおいては特に、短時間で計測を終えることが求められる。より短い計測時間で高精度の計測が可能な本実施形態による３次元計測方法は、例えば動画での顔認証を高精度で実施するうえで極めて有用である。

また、本実施形態による３次元計測方法は、短周期光パターンの投射と長周期パターンの投射とを１つの投影装置により行い、被計測物に投影された光パターンの撮影を１つの撮像装置により行うことが可能である。したがって、本実施形態による３次元計測装置は、複数の投影装置や撮像装置を用いる従来法と比較して、システム構成や制御を簡略化することができる。

したがって、本実施形態によれば、より簡便なシステムで物体の立体形状を高精度且つ短時間で計測しうる３次元形状計測方法及び装置を実現することができる。

［第２実施形態］
本発明の第２実施形態による３次元形状計測装置及び３次元形状計測方法について、図６Ａ乃至図９Ｂを用いて説明する。第１実施形態による３次元形状計測装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

図６Ａ及び図６Ｂは、本実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。図７は、本実施形態による３次元形状計測方法における絶対位相値の算出方法を示すグラフである。図８は、本実施形態による３次元形状計測方法を示すフローチャートである。図９Ａ及び図９Ｂは、本発明の効果をコンピュータシミュレーションにより検証した結果を示すグラフである。

第１実施形態では、短周期光パターン及び長周期光パターンとして正弦波パターンを用いたが、短周期光パターン及び長周期光パターンは、必ずしも正弦波パターンである必要はなく、その他の周期パターンであってもよい。特に、長周期光パターンは、前画面上で場所が一意に定められれば十分であることから、種々の周期パターンを適用可能である。本実施形態では、その一例として、短周期光パターンとして正弦波パターンを用い、長周期光パターンとして輝度傾斜パターンを用いた例を説明する。

正弦波は、最大値・最小値付近の微分値が０に近いため、隣り合った角度において実質的に同じ輝度値を投影してしまう可能性が高い。実際、一般的なカメラ映像の大きさである６４０画素をカメラやプロジェクタの一般的な輝度量子化レベルである２５６のレベルで投影することを考えると、本発明のように光パターンの投射枚数を減らすことで正弦波の最大値・最小値付近での誤差が大きくなる。

このような問題を回避し、投射角度に依存しないようにするためには、微分値が一定値、すなわち輝度値が一定の割合で線形的に変化する輝度傾斜パターンを用いることが有効である。そこで、本実施形態においては、長周期光パターンとして、輝度傾斜パターンを適用する。図６Ａ及び図６Ｂに、輝度傾斜パターンの一例を示す。図６Ａは上から下に向かって輝度が一定の割合で明るくなる輝度傾斜パターンであり、図６Ｂは上から下に向かって輝度が一定の割合で暗くなる輝度傾斜パターンである。

輝度傾斜パターンを投影した被計測物１０を撮像装置３０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｋ（ｘ，ｙ，ｔ）は、以下の式（２６）のように表される。ここで、Ａ″は振幅、Ｂ″はバイアス、ωは−１≦ω≦１の範囲で線形的に値が変化する変数である。

輝度傾斜パターンを用いる場合においても、短周期光パターン及び長周期光パターンの投射に同じ投影装置２０を用いる場合、以下の式（２７）が成立する。したがって、長周期光パターンを投影した被計測物１０を最少で１回だけ撮影すれば、位相値φを求めることが可能となる。
Ａ＝Ａ″，Ｂ＝Ｂ″ …(27)

第１実施形態の場合と同様、輝度傾斜パターンを投影した被計測物１０の撮影を１回だけ行う場合、輝度値Ｋ（ｘ，ｙ，ｔ）及び変数ωは、式（２８）及び式（２９）のように表される。

また、輝度傾斜パターンを投影した被計測物１０の撮影を２回行い、最少二乗法により変数ωを求めることもできる。すなわち、時刻ｔ＝０、時刻ｔ＝１における画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｋ（ｘ，ｙ，ｔ）は、以下の式（３０）及び式（３１）のように表される。そして、変数ωは、以下の式（３２）のように表される。

変数ωは、全画面でなだらかに変化することから、平滑化やメディアンフィルタといったノイズ除去との相性がよいと想定できる。４枚投影時と同様の絶対位相決定精度となるように設計することで、枚数を減らしたことによるデメリットを打ち消すことができるものと思われる。また、位相値とは異なり、厳密には周期的なものではないため、古典的なノイズ除去処理がそのまま利用可能である。

図７は、画面内の短周期光パターンが１０周期であり長周期光パターン（輝度傾斜パターン）が１周期である場合における、相対位相値（位相値θ）及び変数ωと短周期光パターンの次数ｎとの関係を示すグラフである。

図７に示すように、短周期光パターンの次数ｎは、変数ωの値に応じて一意に定めることができる。例えば、変数ωが−０．８〜−０．６の範囲において短周期光パターンの次数ｎは２であり、変数ωが０．２〜０．４の範囲において短周期光パターンの次数ｎは７である。

短周期光パターンの次数ｎが求まれば、位相値θと次数ｎから、絶対位相値Θ（＝θ＋２π（ｎ−１））を算出することができる。撮影した画像上において絶対位相値Θが等しい点を連結して得られる線（等位相線）は、光切断法による切断線と同じく被計測物１０をある平面で切断した断面の形状を表している。この絶対位相値Θをもとに三角測量の原理により被計測物１０の３次元形状（画像各点での高さ情報）を計測することができる。すなわち、絶対位相値Θ及び投影装置２０と撮像装置３０との光学的な配置に基づき、三角測量の原理により画像上の各画素に対応する被計測物上の投影点の３次元空間での絶対的な座標値を求めることにより、被計測物１０の３次元形状を特定することができる。

本実施形態による３次元形状計測方法は、例えば図８に示すステップＳ２０１からステップＳ２１６に従って実行することができる。なお、ここでは、短周期光パターンである第１の光パターンを投射した被計測物１０の画像から振幅Ａ、バイアスＢ、位相値θを算出し、長周期光パターンである第２の光パターンを投射した被計測物１０の画像から位相値φを算出する場合を例にして説明する。ただし、長周期光パターンである第１の光パターンを投射した被計測物１０の画像から振幅Ａ′、バイアスＢ′、位相値φを算出し、短周期光パターンである第２の光パターンを投射した被計測物１０の画像から位相値θを算出するようにしてもよい。第２の光パターンの投射は、第１の光パターンの投射よりも先に行ってもよい。

まず、第１実施形態による３次元形状計測方法のステップＳ１０１からステップＳ１０７と同様にして、第１の光パターン（短周期光パターン）を用いた計測を行う。これにより、撮影したＬ枚の画像の各画素の輝度値Ｉに基づき、振幅Ａ、バイアスＢ、位相値θをそれぞれ算出する（ステップＳ２０１〜ステップＳ２０７）。

次いで、ステップＳ２０８において、第２の光パターン（輝度傾斜パターン）の投影回数Ｍを設定する。第２の光パターンを用いた計測は、変数ωを決定するためのものであり、投影回数Ｍは１回以上となる。最小二乗法等を用いてより高精度の計測を行うためには、投影回数Ｍは２回以上であることが望ましい。ここでは一例として、第２の光パターンの投影回数Ｍは、２回であるものとする。

次いで、ステップＳ２０９において、投影パターン制御部４２による制御のもと、投影装置２０により、被計測物１０に、輝度傾斜パターンである第２の光パターンを投射する。輝度傾斜パターンとしては、例えば図６Ａのパターンを適用可能である。

次いで、ステップＳ２１０において、画像取得部４４による制御のもと、撮像装置３０により、第２の光パターンを投影した被計測物１０を撮影する。

次いで、ステップＳ２１１において、第２の光パターンの投影回数Ｍを１減じる。投影回数Ｍは、第２の光パターンの残りの投影回数を表す。

次いで、ステップＳ２１２において、第２の光パターンの投影回数Ｍが０であるかどうか、すなわちステップＳ２０８で設定した投影回数Ｍだけ第２の光パターンの投影及び撮影を行ったかどうかを判定する。

ステップＳ２１２における判定の結果、投影回数Ｍが０でなければ（ステップＳ２１２の「Ｎｏ」）、ステップＳ２１３において、被計測物１０に投射する第２のパターンの位相をずらし、ステップＳ２０９へと戻る。例えば、投影回数Ｍが２回の場合、投影パターン制御部４２は、輝度傾斜を反転した輝度傾斜パターン（図６Ｂ参照）のデータを順次用意し、投影装置２０へと伝送する。

ステップＳ２１２における判定の結果、投影回数Ｍが０であれば（ステップＳ２１２の「Ｙｅｓ」）、ステップＳ２１４へ移行する。

次いで、ステップＳ２１４において、相対位相値演算部４６は、ステップＳ２０７において算出した振幅Ａ及びバイアスＢ、並びに、ステップＳ２１０において撮影したＭ枚の画像の各画素の輝度値Ｋに基づき、変数ωをそれぞれ算出する。変数ωは、例えば式（３２）に基づいて算出することができる。

次いで、ステップＳ２１５において、絶対位相値演算部４８は、ステップＳ２０７において算出した位相値θ及びステップＳ２１４において算出した変数ωに基づき、絶対位相値Θを算出する。

次いで、ステップＳ２１６において、３次元座標演算部５０は、ステップＳ２１５において算出した絶対位相値Θに基づき、撮影した画像上の各画素に対応する被計測物１０上の投影点の３次元空間での絶対的な座標値を算出する。これにより、被計測物１０の３次元形状を特定することができる。

図９Ａ及び図９Ｂに、本発明の効果をコンピュータシミュレーションにより検証した結果を示す。図９Ａは短周期光パターン及び長周期光パターンとして正弦波パターンを用いた第１実施形態の場合であり、図９Ｂは短周期光パターンとして正弦波パターンを用い長周期光パターンとして輝度傾斜パターンを用いた本実施形態の場合である。いずれの場合も、長周期光パターンの投射回数は２回を想定している。

コンピュータシミュレーションは、４８０×６４０画素の画像を対象として振幅Ａ＝６４、バイアスＢ＝１２７の正弦波パターン又は輝度傾斜パターンを生成した後、平均０、標準偏差σ＝３の正規ノイズを重畳させ、０〜２５５の範囲で量子化した。形状計測用の正弦波は１０回の繰り返しパターン（図２Ａ乃至図２Ｄ参照）、絶対位相決定用の正弦波は半周期のパターンとした。図において、×のプロットが短周期光パターンであり、標準偏差σの範囲のエラーバーとともに示している。また、□のプロットが長周期光パターンであり、標準偏差σの３倍の範囲のエラーバーとともに示している。

長周期光パターンとして正弦波パターンを用いた場合、図９Ａに示すように、長周期光パターンの微分値が０付近で、絶対位相値の決定に関わる精度が大きく落ちていることが判る。σが３のとき、長周期正弦波格子による位相推定精度の６倍範囲最大値は３３．０％となり、短周期正弦波格子は画面内で３周期程度まで落とさないと絶対位相の決定が難しくなることが判る。前述のように、正弦波は、最大値・最小値付近の微分値が０に近いため、隣り合った角度において実質的に同じ輝度値を投影してしまう可能性が高い。本発明のように光パターンの投射枚数を減らすことで正弦波の最大値・最小値付近での誤差が大きくなる。

一方、長周期光パターンとして輝度傾斜パターンを用いた場合、図９Ｂに示すように、絶対位相値の決定に関わる精度は場所に依存せず一定であり、図９Ａの場合と比較して全体で大きく改善できることが判る。σが３のとき、長周期正弦波格子による位相推定精度の６倍範囲最大値は４．５％となり、短周期正弦波格子は画面内で２０周期程度まで増やせることが判る。このように、長周期光パターンとして輝度傾斜パターンを適用することで、計測誤差の投射角度依存性を低減することができ、より高精度の計測が可能となる。

このように、本実施形態による３次元計測方法では、長周期光パターンとして輝度傾斜パターンを用いるため、長周期パターンとして正弦波パターンを用いる第１実施形態による３次元計測方法と比較して、計測誤差を低減することができる。これにより、第１実施形態により奏される効果に加え、計測精度を更に向上することができる。

したがって、本実施形態によれば、より簡便なシステムで物体の立体形状を高精度且つ短時間で計測しうる３次元形状計測方法及び装置を実現することができる。

［第３実施形態］
本発明の第３実施形態による３次元形状計測装置について、図１０を用いて説明する。第１及び第２実施形態による３次元形状計測装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１０は、本実施形態による３次元形状計測装置の構成例を示す概略図である。

第１及び第２実施形態による３次元形状計測装置は、例えば図１０のように構成することも可能である。すなわち、本実施形態による３次元形状計測装置１００は、被計測物１０に、第１の周期で輝度が変化する第１の光パターンと、第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置２０を有する。また、３次元形状計測装置１００は、第１の光パターン又は第２の光パターンが投影された被計測物１０の画像を取得する撮像装置３０と、撮像装置３０が取得した画像を処理する画像処理装置４０と、を有する。画像処理装置４０は、第１の光パターンが投影された被計測物１０の画像の各々の画素における輝度値に基づき、各々の画素に対応する被計測物１０の各部における相対位相値を算出する相対位相値演算部４６を有する。また、画像処理装置４０は、第２の光パターンが投影された被計測物１０の画像の各々の画素における輝度値及び相対位相値に基づき、各々の画素に対応する被計測物１０の各部における絶対位相値を算出する絶対位相値演算部４８を有する。また、画像処理装置４０は、絶対位相値に基づき、各々の画素に対応する被計測物１０の各部における３次元座標を算出する３次元座標演算部５０を有する。

このように構成することにより、より簡便なシステムで物体の立体形状を高精度且つ短時間で計測しうる３次元形状計測方法及び装置を実現することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、上記第１及び第２実施形態では、周期的な光パターンとして正弦波パターンを例示したが、周期的な光パターンは正弦波パターンに限定されるものではない。例えば、周期的な光パターンは、図１１Ａに示すようなのこぎり波パターンであってもよいし、図１１Ｂに示すような三角波パターンであってもよい。第２実施形態で示した輝度傾斜パターンは、図１１Ａに示すのこぎり波パターンの１周期分の波形、或いは、図１１Ｂに示す三角波パターンの半周期分の波形であるとも言える。かかる観点から、本明細書では、輝度傾斜パターンを、周期的な光パターンの一つとして扱うものとする。

また、上記実施形態では、被計測物１０の一例として動きのある物体を例示したが、上記実施形態に記載の３次元形状計測方法及び装置は、種々の物体の形状の計測に適用可能であり、被計測物１０は動体に限定されるものではない。

また、上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
被計測物に、第１の周期で輝度が変化する第１の光パターンと、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置と、
前記第１の光パターン又は前記第２の光パターンが投影された前記被計測物の画像を取得する撮像装置と、
前記撮像装置が取得した前記画像を処理する画像処理装置と、を有し、
前記画像処理装置は、
前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する相対位相値演算部と、
前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する絶対位相値演算部と、
前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する３次元座標演算部と、を有する
ことを特徴とする３次元形状計測装置。

（付記２）
前記撮像装置は、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像と、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像と、を取得する
ことを特徴とする付記１記載の３次元形状計測装置。

（付記３）
前記第１の光パターンは、正弦波パターンである
ことを特徴とする付記１又は２記載の３次元形状計測装置。

（付記４）
前記第２の光パターンは、正弦波パターンである
ことを特徴とする付記１乃至３のいずれか１項に記載の３次元形状計測装置。

（付記５）
前記第２の光パターンは、輝度が線形的に変化する輝度傾斜パターンである
ことを特徴とする付記１乃至３のいずれか１項に記載の３次元形状計測装置。

（付記６）
前記第２の光パターンは、前記画像の画面全体が１周期となるパターンである
ことを特徴とする付記４又は５記載の３次元形状計測装置。

（付記７）
前記投影装置は、同じ光源から発せられた光から前記第１の光パターン及び前記第２の光パターンを生成する
ことを特徴とする付記１乃至６のいずれか１項に記載の３次元形状計測装置。

（付記８）
前記投影装置は、ＤＬＰプロジェクタ又は液晶プロジェクタである
ことを特徴とする付記１乃至７のいずれか１項に記載の３次元形状計測装置。

（付記９）
前記被計測物は、動体である
ことを特徴とする付記１乃至８のいずれか１項に記載の３次元形状計測装置。

（付記１０）
前記動体は、人物の顔である
ことを特徴とする付記９記載の３次元形状計測装置。

（付記１１）
被計測物に、第１の周期で輝度が変化する第１の光パターンを投射し、前記第１の光パターンが投影された前記被計測物の画像を取得するステップと、
前記第１の光パターンの投射に用いる投影装置と同じ投影装置により、前記被計測物に、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射し、前記第２の光パターンが投影された前記被計測物の画像を取得するステップと、
前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出するステップと、
前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出するステップと、
前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出するステップと
を有することを特徴とする３次元形状計測方法。

（付記１２）
前記第１の光パターンが投影された前記被計測物の画像を取得するステップでは、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像を取得し、
前記第２の光パターンが投影された前記被計測物の画像を取得するステップでは、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像を取得する
ことを特徴とする付記１１記載の３次元形状計測方法。

（付記１３）
前記第１の光パターンは、正弦波パターンである
ことを特徴とする付記１１又は１２記載の３次元形状計測方法。

（付記１４）
前記第２の光パターンは、正弦波パターンである
ことを特徴とする付記１１乃至１３のいずれか１項に記載の３次元形状計測方法。

（付記１５）
前記第２の光パターンは、輝度が線形的に変化する輝度傾斜パターンである
ことを特徴とする付記１１乃至１３のいずれか１項に記載の３次元形状計測方法。

（付記１６）
前記第２の光パターンは、前記画像の画面全体において１周期となるパターンである
ことを特徴とする付記１４又は１５記載の３次元形状計測方法。

（付記１７）
前記投影装置は、同じ光源から発せられた光から前記第１の光パターン及び前記第２の光パターンを生成する
ことを特徴とする付記１１乃至１６のいずれか１項に記載の３次元形状計測方法。

（付記１８）
前記投影装置は、ＤＬＰプロジェクタ又は液晶プロジェクタである
ことを特徴とする付記１１乃至１７のいずれか１項に記載の３次元形状計測方法。

（付記１９）
前記被計測物は、動体である
ことを特徴とする付記１０乃至１７のいずれか１項に記載の３次元形状計測方法。

（付記２０）
前記動体は、人物の顔である
ことを特徴とする付記１９記載の３次元形状計測方法。

（付記２１）
コンピュータを、
１つの投影装置を制御して、被計測物に、第１の周期で輝度が変化する第１の光パターン、又は、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射させる手段、
前記第１の光パターンが投影された前記被計測物の画像及び前記第２の光パターンが投影された前記被計測物の画像を取得する手段、
前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する手段、
前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する手段、
前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する手段、
として機能させるプログラム。

（付記２２）
前記画像を取得する手段は、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像と、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像と、を取得する
ことを特徴とする付記２１記載のプログラム。

（付記２３）
付記２１又は２２記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。

この出願は、２０１８年３月１６日に出願された日本出願特願２０１８−０４９５４６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０…被計測物
２０…投影装置
３０…撮像装置
４０…画像処理装置
４２…投影パターン制御部
４４…画像取得部
４６…相対位相演算部
４８…絶対位相演算部
５０…３次元座標演算部

Claims (23)

1. 被計測物に、第１の周期で輝度が変化する第１の光パターンと、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置と、
   前記第１の光パターン又は前記第２の光パターンが投影された前記被計測物の画像を取得する撮像装置と、
   前記撮像装置が取得した前記画像を処理する画像処理装置と、を有し、
   前記画像処理装置は、
   前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する相対位相値演算部と、
   前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する絶対位相値演算部と、
   前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する３次元座標演算部と、を有する
   ことを特徴とする３次元形状計測装置。
2. 前記撮像装置は、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像と、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像と、を取得する
   ことを特徴とする請求項１記載の３次元形状計測装置。
3. 前記第１の光パターンは、正弦波パターンである
   ことを特徴とする請求項１又は２記載の３次元形状計測装置。
4. 前記第２の光パターンは、正弦波パターンである
   ことを特徴とする請求項１乃至３のいずれか１項に記載の３次元形状計測装置。
5. 前記第２の光パターンは、輝度が線形的に変化する輝度傾斜パターンである
   ことを特徴とする請求項１乃至３のいずれか１項に記載の３次元形状計測装置。
6. 前記第２の光パターンは、前記画像の画面全体が１周期となるパターンである
   ことを特徴とする請求項４又は５記載の３次元形状計測装置。
7. 前記投影装置は、同じ光源から発せられた光から前記第１の光パターン及び前記第２の光パターンを生成する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の３次元形状計測装置。
8. 前記投影装置は、ＤＬＰプロジェクタ又は液晶プロジェクタである
   ことを特徴とする請求項１乃至７のいずれか１項に記載の３次元形状計測装置。
9. 前記被計測物は、動体である
   ことを特徴とする請求項１乃至８のいずれか１項に記載の３次元形状計測装置。
10. 前記動体は、人物の顔である
    ことを特徴とする請求項９記載の３次元形状計測装置。
11. 被計測物に、第１の周期で輝度が変化する第１の光パターンを投射し、前記第１の光パターンが投影された前記被計測物の画像を取得するステップと、
    前記第１の光パターンの投射に用いる投影装置と同じ投影装置により、前記被計測物に、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射し、前記第２の光パターンが投影された前記被計測物の画像を取得するステップと、
    前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出するステップと、
    前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出するステップと、
    前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出するステップと
    を有することを特徴とする３次元形状計測方法。
12. 前記第１の光パターンが投影された前記被計測物の画像を取得するステップでは、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像を取得し、
    前記第２の光パターンが投影された前記被計測物の画像を取得するステップでは、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像を取得する
    ことを特徴とする請求項１１記載の３次元形状計測方法。
13. 前記第１の光パターンは、正弦波パターンである
    ことを特徴とする請求項１１又は１２記載の３次元形状計測方法。
14. 前記第２の光パターンは、正弦波パターンである
    ことを特徴とする請求項１１乃至１３のいずれか１項に記載の３次元形状計測方法。
15. 前記第２の光パターンは、輝度が線形的に変化する輝度傾斜パターンである
    ことを特徴とする請求項１１乃至１３のいずれか１項に記載の３次元形状計測方法。
16. 前記第２の光パターンは、前記画像の画面全体において１周期となるパターンである
    ことを特徴とする請求項１４又は１５記載の３次元形状計測方法。
17. 前記投影装置は、同じ光源から発せられた光から前記第１の光パターン及び前記第２の光パターンを生成する
    ことを特徴とする請求項１１乃至１６のいずれか１項に記載の３次元形状計測方法。
18. 前記投影装置は、ＤＬＰプロジェクタ又は液晶プロジェクタである
    ことを特徴とする請求項１１乃至１７のいずれか１項に記載の３次元形状計測方法。
19. 前記被計測物は、動体である
    ことを特徴とする請求項１１乃至１８のいずれか１項に記載の３次元形状計測方法。
20. 前記動体は、人物の顔である
    ことを特徴とする請求項１９記載の３次元形状計測方法。
21. コンピュータを、
    １つの投影装置を制御して、被計測物に、第１の周期で輝度が変化する第１の光パターン、又は、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射させる手段、
    前記第１の光パターンが投影された前記被計測物の画像及び前記第２の光パターンが投影された前記被計測物の画像を取得する手段、
    前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する手段、
    前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する手段、
    前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する手段、
    として機能させるプログラム。
22. 前記画像を取得する手段は、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像と、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像と、を取得する
    ことを特徴とする請求項１９記載のプログラム。
23. 請求項２１又は２２記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images