JP7526540B1 - ３次元形状計測方法 - Google Patents

Abstract

【課題】画素ごとに位相－座標テーブルを参照して位相シフト法を用いた高速な３次元形状計測が可能な３次元形状計測方法を提供する。【解決手段】この３次元形状計測方法は、投影部２と所定個の画素を有し物品Ｍを撮影して撮影画像を得る撮影部３と支持体４とを備える３次元計測装置１を用いて、校正時には、ｚ軸方向の各位置において、位相シフト法を用いて画素ごとの位相値を導出しその位相値とｚ軸座標値を１対１で対応付けた位相－座標テーブルを作成し、かつ、ピンホールカメラモデルのカメラパラメータを校正し、３次元形状計測時には、撮影画像から位相シフト法を用いて画素ごとの位相値を導出し、その位相値に対応するｚ軸座標値を位相－座標テーブルを参照して導出し、かつ、校正したカメラパラメータのピンホールカメラモデルにより画素ごとにｚ軸座標値に対応するｘ軸、ｙ軸座標値を算出することにより、該計測物品の３次元形状の計測を行う。【選択図】図８

Description

本発明は、位相シフト法を用いた３次元形状計測方法に関する。

物品の３次元形状を非接触で計測するものとして、位相シフト法を用いた３次元形状計測方法が知られている。この３次元形状計測方法では、正弦波状に変化する縞パターンを物品の表面に投影部で投影しそれを撮影部で撮影するプロセスを、順次縞パターンの位相を所定角度（例えば、π／２或いは２π／３など）ずつシフトさせて１組（例えば、４枚或いは３枚など）の撮影画像を得る。そして、１組の撮影画像の画像処理を行って画素ごとに位相値を導出しその位相値に対応する３次元座標値を導出することにより、物品の３次元形状の計測が行われる。

このような３次元形状計測方法の中には、特許文献１や特許文献２などに開示されているように、校正（キャリブレーション）時に撮影画像の画素ごとに位相値に対応する３次元座標値を示す位相－座標テーブルを作成しておいて、３次元形状計測時に位相シフト法などにより画素ごとに位相値を求め位相－座標テーブルを参照して３次元座標値を求めることで、３次元形状計測時に高精度で高速な計測を可能にするものが知られている。この位相－座標テーブルは、２次元格子など任意の箇所のｘ軸、ｙ軸座標値が特定可能な２次元パターンが表示される基準平板をｚ軸方向（基準平板の法線方向）に少しずつ移動させ、ｚ軸方向の各位置において撮影画像の画素ごとのｘ軸、ｙ軸座標値を求め、更に位相シフト法などにより位相値を求めることで、画素ごとに位相値と３次元座標値（ｘ軸、ｙ軸、ｚ軸座標値）を１対１で対応付けたものとすることができる。

なお、上記投影部については、特許文献１に記載されているようなプロジェクタを用いるものや、特許文献２に記載されているような一列に並んだ複数個の光源及びそれらからの光を格子模様（縞パターン）にして通過させる格子模様プレート（縞パターン形成光学素子）を用いるものが知られている。

特開２００８－２８１４９１号公報 特開２０１１－２４２１７８号公報

ところで、画素ごとに位相値と３次元座標値（ｘ軸、ｙ軸、ｚ軸座標値）を１対１で対応付けた位相－座標テーブルは、計測する物品の大きさや必要とされる精度などによっては画素の数が多くなることが有るために、データ量が膨大になることが起こる。一方、位相－座標テーブルのデータ量が膨大になると、物品検査ラインに配置された商品（計測物品）の３次元座標値を求めて３次元形状を計測するとき（３次元形状計測時に）、位相－座標テーブルを参照する時間が長くなり、検査において高速性が損なわれることがある。

本発明は、係る事由に鑑みてなされたものであり、その目的は、撮影画像の画素の数が多くなっても、画素ごとに位相－座標テーブルを参照して位相シフト法を用いた高速な３次元形状計測が可能な３次元形状計測方法を提供することにある。

上記目的を達成するために、請求項１に記載の３次元形状計測方法は、順次所定角度ずつ位相がシフトした縞パターンを物品に投影する投影部と、所定個の画素を有し前記物品を撮影して撮影画像を得る撮影部と、前記投影部と前記撮影部が固定される支持体と、を備える３次元計測装置を用いて、校正時には、任意の箇所のｘ軸、ｙ軸座標値が特定可能な２次元パターンが表示される表面と無地の表面を切り換えることができる校正用物品を前記物品として用い、前記支持体又は前記校正用物品が所定のｚ軸方向の複数個の位置に移動した各位置において、前記縞パターンの各々が前記校正用物品の前記無地の表面に投影された１組の前記撮影画像から位相シフト法を用いて前記画素ごとの位相値を導出しその位相値とｚ軸座標値を１対１で対応付けた位相－座標テーブルを作成し、複数個の位置において、前記校正用物品の前記２次元パターンが表示される表面の撮影画像上で複数個の座標値抽出点のＸ軸、Ｙ軸座標値を抽出し、前記複数個の座標値抽出点のＸ軸、Ｙ軸座標値とピンホールカメラモデルで算出したＸ軸、Ｙ軸座標値の誤差を小さくするように、該ピンホールカメラモデルのカメラパラメータを変数とする反復法を行うことによって該カメラパラメータを校正し、３次元形状計測時には、計測物品を前記物品として用い、前記支持体の前記ｚ軸方向の位置を固定して、前記縞パターンの各々が投影された前記計測物品の１組の前記撮影画像から位相シフト法を用いて前記画素ごとの位相値を導出し、その位相値に対応するｚ軸座標値を前記位相－座標テーブルを参照して導出し、かつ、校正した前記カメラパラメータの前記ピンホールカメラモデルにより前記画素ごとにｚ軸座標値に対応するｘ軸、ｙ軸座標値を算出することにより、該計測物品の３次元形状の計測を行う。

請求項２に記載の３次元形状計測方法は、請求項１に記載の３次元形状計測方法において、前記投影部は、各々の点灯及び光の放射強度が制御され一列に並んだ複数個の光源及びそれらからの光を縞パターンにして通過させる縞パターン形成光学素子を有し、前記複数個の光源の各々が順次点灯することにより順次所定角度ずつ位相がシフトした縞パターンを物品に投影し、前記校正時と前記３次元形状計測時には、ｚ軸方向を略鉛直方向とする。

請求項３に記載の３次元形状計測方法は、請求項１又は２に記載の３次元形状計測方法において、前記校正用物品は、前記２次元パターンが表示される表面と前記無地の表面をスライドさせて切り換えることができる平板、又は任意の箇所のｘ軸、ｙ軸座標値が特定可能な２次元パターンが表示される表面の平板と無地の表面の平板を切り換えることができるもの、又は任意の箇所のｘ軸、ｙ軸座標値が特定可能な２次元パターンが表示される表面と無地の表面を表裏に有する平板、である。

請求項４に記載の３次元形状計測方法は、請求項２に記載の３次元形状計測方法において、前記校正用物品は、物品検査ラインに配置されており、前記計測物品は、該物品検査ラインに配置されている。

本発明の３次元形状計測方法によれば、撮影画像の画素の数が多くなっても、３次元形状計測時に画素ごとに位相－座標テーブルを参照して位相シフト法を用いた高速な３次元形状計測が可能になる。

本発明の実施形態に係る３次元形状計測方法に用いる３次元形状計測装置の３次元形状計測時の概略を縮小して示す正面図である。 同上の３次元形状計測装置の投影部と撮影部と支持体を示す正面図である。 同上の３次元形状計測装置における投影部を構成する各部を示すものであって、（ａ）が複数個の光源の底面図、（ｂ）が複数個の光源及び縞パターン形成光学素子を収容した投影部ケースの底面図である。 同上の３次元形状計測装置における投影部の複数個の光源の回路図である。 同上の３次元形状計測装置における縞パターン形成光学素子の縦方向中央近傍を横方向に切断した正面視断面図であって、（ａ）が縞状に規則正しく複数個の通過部分が形成された例のもの、（ｂ）が規則正しく複数個のシリンドリカルレンズが形成された例のものである。 同上の３次元形状計測装置の投影及び撮影のタイミングを簡略化して示す波形図である。 同上の３次元形状計測装置の３次元形状計測処理部をコンピュータによって実現したときのブロック図である。 同上の３次元形状計測方法に用いる３次元形状計測装置の校正時の概略を縮小して示す正面図である。 同上の３次元形状計測装置における校正用物品の２次元パターンが表示される表面の撮影画像の写真である。 同上の３次元形状計測装置における校正用物品の無地の表面の１組の撮影画像の写真である。 同上の３次元形状計測装置における計測物品の１組の撮影画像の写真である。

以下、本発明を実施するための形態を説明する。本発明の実施形態に係る３次元形状計測方法に用いる３次元形状計測装置１は、図１及び図２に示すように、投影部２と撮影部３と支持体４を備えている。また、３次元形状計測装置１は、図１に示すように、投影制御部５と３次元形状計測処理部６を備えている。

投影部２は、順次所定角度ずつ位相がシフトした縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４を物品Ｍに投影する。投影部２から放射される縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４は、光の放射強度が正弦波状に変化するものとなる。シフトする位相の所定角度は、本実施形態ではπ／２であるが２π／３などとすることも可能である。

投影部２は、プロジェクタを用いることも可能であるが、本実施形態では、複数個（具体的には４個）の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄと縞パターン形成光学素子２２を有するようにしている。特に言及をしなければ、投影部２は、複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄと縞パターン形成光学素子２２を有するものとする。複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄと縞パターン形成光学素子２２は、投影部ケース２３に収容することができる。なお、光源の個数は、上記のシフトする位相の所定角度に応じたものであって、本実施形態ではシフトする位相の所定角度がπ／２なので４個である。シフトする位相の所定角度が２π／３ならば３個となる。

複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄは、一列（横方向に一列）に並んでいる。複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄの各々は、図３（ａ）に示すように、縦方向に一列に並んだ複数個（本実施形態では６個）の発光素子２１０で構成することができる。複数個の発光素子２１０は、回路的には、並列又は直列或いはそれらが組み合わせられて接続されており、例えば、図４に示すように、光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄの各々について全てが直列に接続されるようにすることができる。

なお、図４において、符号２１１で示すものは電流制限用の抵抗である。また、符号２１Ａａ、２１Ｂａ、２１Ｃａ、２１Ｄａで示すものは電流流入端子であり、符号２１Ａｂ、２１Ｂｂ、２１Ｃｂ、２１Ｄｂで示すものは電流流出端子である。電流流入端子２１Ａａ、２１Ｂａ、２１Ｃａ、２１Ｄａと電流流出端子２１Ａｂ、２１Ｂｂ、２１Ｃｂ、２１Ｄｂのどちらか一方は、複数個をまとめて共通に（１個に）することも可能である。

縞パターン形成光学素子２２は、複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄからの光を縞パターンにして通過させる。縞パターン形成光学素子２２は、図３（ｂ）及び図５（ａ）に示すように、縞状（格子状）に規則正しく複数個の通過部分２２ａが形成されている。複数個の通過部分２２ａにおいて、複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄからの光を通過させる。複数個の通過部分２２ａ以外は、光を通過させない遮蔽部分２２ｂである。本実施形態では、縞パターン形成光学素子２２は、投影部ケース２３の前面の後方に接近して配置されており、また、投影部ケース２３の前面には、開口部２３ａが形成されている。縞パターン形成光学素子２２の複数個の通過部分２２ａを通過した光は、開口部２３ａを通って投影部２の外部に放射される。なお、図３（ｂ）及び図５（ａ）においては、縞パターン形成光学素子２２の遮蔽部分２２ｂは、理解を容易にするために黒で塗りつぶしている。

縞パターン形成光学素子２２は、縞状に規則正しく複数個の通過部分２２ａが形成されているものの他に、図５（ｂ）に示すように、規則正しく複数個のシリンドリカルレンズ２２ｃが形成されているものを用いることも可能である。複数個のシリンドリカルレンズ２２ｃの各々は、凸レンズになっており、光を屈折させ集光して外部に放射する。それにより、この縞パターン形成光学素子２２を通過した光は、縞パターンになる。このようなシリンドリカルレンズ２２ｃが形成されている縞パターン形成光学素子２２では、光が全て通過するので放射される光の量を多くすることができる。

投影部２は、複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄが順次点灯することにより、順次所定角度ずつ位相がシフトした縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４を物品Ｍに投影する。この投影部２は、動作としては複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄが順次点灯するだけなので、位相をシフトさせた縞パターンの高速な投影が可能であり、小型化及び軽量化が可能である。

撮影部３は、所定個の画素を有し、物品Ｍを撮影する。

支持体４は、投影部２と撮影部３が固定され、それらを支持する部材である。支持体４は、形状が特に限定されるものではないが、例えば、投影部２と撮影部３を支持するのに足る大きさの板材などを用いることができる。支持体４は、後述する校正時には、物品Ｍ（つまり、物品Ｍが配置される物品配置部材４Ｃ）に対してｚ軸方向に自在に移動できる。例えば、支持体４は、スライダー部材４Ａに固定されることができ、スライダー部材４Ａは、ｚ軸方向に延びるリニアガイド部材４Ｂのｚ軸方向に自在に電動又は手動で移動でき、任意の位置で固定されることができる。

ここで、投影部２は、上記のように、複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄと縞パターン形成光学素子２２を用いたものとすると、小型化及び軽量化が可能であり、この小型化及び軽量化により、略鉛直方向（高さ方向）をｚ軸方向として、撮影部３とともに支持体４に支持させて容易に物品Ｍに対して支持体４をｚ軸方向に移動することができる。そうすると、後述するように、校正時に物品Ｍとして校正用物品Ｍ１が配置される物品配置部材４Ｃを３次元形状計測時に物品Ｍとして計測物品Ｍ２が配置される物品検査ラインＬと同じにすることが可能になる。この場合、当然ではあるが、校正時には、物品配置部材４Ｃとしての物品検査ラインＬは静止している。

なお、投影部２がプロジェクタを用いたものの場合、或いは、複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄと縞パターン形成光学素子２２を用いたものでも、校正時に略鉛直方向をｚ軸方向として物品Ｍ（校正用物品Ｍ１）に対して移動するには小型化又は軽量化が十分でないなどの場合には、以下のようにすることが可能である。すなわち、略鉛直方向以外の方向（例えば、略水平方向）をｚ軸方向として、投影部２と撮影部３を支持体４に支持させて物品Ｍに対して支持体４をｚ軸方向に移動するようにすることが可能である。或いは、支持体４の移動の代わりに物品Ｍ（校正用物品Ｍ１）（より詳細には、例えば、校正用物品Ｍ１が配置された物品配置部材４Ｃ）を、略鉛直方向又は略鉛直方向以外の方向（例えば、略水平方向）をｚ軸方向として、ｚ軸方向に移動して、移動した位置から支持体４までの位置を支持体４が移動した位置と同様に扱うことも可能である。

投影制御部５は、投影部２の投影及び光の放射強度を制御するものである。投影制御部５は、複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄを用いる場合、それらの各々の点灯及び光の放射強度を制御する。

詳細には、図６に示すように、トリガー信号ＴＲに同期した投影期間Ｔａに、複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄの１個ずつに順次電流Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ_Ｄ（図４参照）を供給して光を放射させる。投影期間Ｔａは、予め設定された長さである。電流の供給は、ＰＷＭのパルス電流又は定電流又は定電圧の電流を用いることができる。例えば、ＰＷＭのパルス電流の場合、ＰＷＭの周期Ｔｂは、予め設定された長さである。ＰＷＭのパルス幅Ｔｃ_Ａ、Ｔｃ_Ｂ、Ｔｃ_Ｃ、Ｔｃ_Ｄは、光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄの各々について制御され得、その幅を広くすると光の放射強度が高くなり、狭くすると光の放射強度が低くなることで複数個の光源２１Ａ、２１Ｂ、２１Ｃ、２１Ｄの光の放射強度の調整が可能である。なお、投影期間Ｔａは、撮影部３における露光期間Ｔｄ（図６において信号ＥＸは露光のタイミングを示すものである）と同期している。また、図６においては、上記の周期Ｔｂ及びパルス幅Ｔｃ_Ａ、Ｔｃ_Ｂ、Ｔｃ_Ｃ、Ｔｃ_Ｄは、理解し易いように、拡大して示している。

３次元形状計測処理部６は、撮影部３が得た撮影画像の画像処理を行う。

３次元形状計測処理部６は、具体的には、例えば、図７に示すように、ＣＰＵ６ａ、ハードディスクや不揮発性メモリなどの補助記憶装置６ｂ、メインメモリ（ワークメモリ）６ｃ、入出力インターフェイス６ｄ（図７では入出力端子を省略）などから構成されるコンピュータによって実現することができる。補助記憶装置６ｂの中に、校正時の画像処理を行う校正画像処理プログラム６ｂａや３次元形状計測時の画像処理を行う３次元形状計測画像処理プログラム６ｂｂが記憶されているようにしそれぞれの実行時にメインメモリ６ｃに移して実行することができる。また、補助記憶装置６ｂの中に、後述する位相－座標テーブルの記憶領域６ｂｃとカメラパラメータの記憶領域６ｂｄを設けることができる。

次に、本発明の実施形態に係る３次元形状計測方法における３次元形状計測装置１の校正（キャリブレーション）について説明する。ここでは、３次元形状計測装置１の校正とは、後述する３次元形状計測時に位相シフト法を用いて撮影画像の画素ごとに得られる位相値θから、その画素に対応するｚ軸座標値（物品Ｍ（計測物品Ｍ２）の３次元座標値（ｘ軸、ｙ軸、ｚ軸座標値）のうちのｚ軸座標値）を導出するときに参照する位相－座標テーブルを作成すること、及び、導出したｚ軸座標値からｘ軸、ｙ軸座標値を導出するときに用いるカメラパラメータを校正すること、を言う。

校正時には、図８に示すように、校正用物品Ｍ１を物品Ｍとして用いる。校正用物品Ｍ１は、撮影部３に対して、任意の箇所のｘ軸、ｙ軸座標値が特定可能な２次元パターンが表示される表面Ｍ１ａと無地（どのようなパターンも表示されていない）の表面Ｍ１ｂを切り換えることができる平板である。２次元パターンは、例えば、チェッカーパターン（２色の一定の大きさの四角形が交互に２次元状に配されたもの）、ドットパターン（ドットが一定のピッチで２次元状に配されたもの）、２次元格子パターン（ｘ軸方向とｙ軸方向に一定の間隔で複数本の平行線が並んだもの）など規則的なパターンとすることができる。

校正用物品Ｍ１は、２次元パターンが描かれた表面Ｍ１ａと無地の表面Ｍ１ｂを表裏に有する平板を用いて、手動で表裏を変えられるようにするのが好ましい。そうすると、２次元パターンが描かれた表面Ｍ１ａと無地の表面Ｍ１ｂの間で平板の厚みは必然的に一定であり、２次元パターンが描かれた表面Ｍ１ａと無地の表面Ｍ１ｂを容易に精密に平坦にできる。また、２次元パターンは、容易にくっきり描くことができる。このように、高精度の校正が可能となる。

また、校正用物品Ｍ１は、２次元パターンが描かれた表面Ｍ１ａの平板と無地の表面Ｍ１ｂの平板の２個の部材で構成されそれらが手動で切り換えられるようにすることができる。また、同一平面上に２次元パターンが描かれた表面Ｍ１ａの部分と無地の表面Ｍ１ｂの部分を有しそれらの部分が電動又は手動でスライドして切り換え可能な平板を用いることができる。これらのようにすると、２次元パターンが描かれた表面Ｍ１ａと無地の表面Ｍ１ｂの間で平板の厚みを容易に精密に一定にでき、２次元パターンが描かれた表面Ｍ１ａと無地の表面Ｍ１ｂを容易に精密に平坦にできる。また、２次元パターンは、容易にくっきり描くことができる。このように、高精度の校正が可能となる。

また、表面Ｍ１ａとして２次元パターンが表示可能であり、かつ、表面Ｍ１ｂとしてどのようなパターンも表示されないようにすることが可能な液晶表示装置を用いることも可能である。

支持体４（又は、校正用物品Ｍ１）は、初期位置（ｚ＝０）から順に所定のｚ軸方向の複数個の位置に移動させられる。例えば、初期位置を支持体４が最も校正用物品Ｍ１から離れた位置とし、それから支持体４が校正用物品Ｍ１に近づくにつれてｚ軸方向の値が増加するようにすることができる。

位相－座標テーブルの作成は、以下のようにして行う。

初期位置を含めたｚ軸方向の複数個の位置（例えば、１ｍｍごとの位置）で、校正用物品Ｍ１の無地の表面Ｍ１ｂに正弦波状に変化する縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４を投影部２で順次投影しそれを撮影部３で撮影して、１組の撮影画像を得る。１組の撮影画像は、本実施形態では４枚である。なお、光源の個数を３個とした場合は、３枚となる。このときの１組の撮影画像は、図１０（ａ）～（ｄ）に示すように、縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４の各々が歪みなく規則正しいものとなっている。

そして、３次元形状計測処理部６は、１組の撮影画像から位相シフト法を適用して画素ごとの位相値θを導出する。位相シフト法は、公知の方法なので詳細な説明は省略するが、例えば、光源の個数が４個の場合は、Ｉ１、Ｉ２、Ｉ３、Ｉ４をそれぞれ縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４の輝度値とすると、画素ごとの位相値θは次式で導出することができる。
ｔａｎθ＝（Ｉ４－Ｉ２）／（Ｉ１－Ｉ３）

このようにして、所定の複数個のｚ軸座標値について画素ごとに位相値θとｚ軸座標値を１対１で対応付けた位相－座標テーブルを作成することができる。位相－座標テーブルは、３次元形状計測処理部６の補助記憶装置６ｂの中に記憶しておくことができる。

次に、カメラパラメータの校正について説明する。カメラパラメータは、物品Ｍの位置（実際の位置）（３次元座標値）と撮影画像上での位置（２次元座標値）の数学的関係を表した変数である。数学的関係は、採用するカメラモデルに応じたものとなる。この中で、ピンホールカメラモデルは、典型的なカメラモデルとして知られている。

カメラパラメータの校正は、具体的には、例えば、以下のようにして行うことができる。

複数個の位置で、校正用物品Ｍ１の２次元パターンが表示される表面Ｍ１ａを撮影部３で撮影することで、カメラパラメータの校正のために、複数個の点（座標値抽出点）で校正用物品Ｍ１の実際のｘ軸、ｙ軸座標値に対応する撮影画像上でのＸ軸、Ｙ軸座標値のデータを抽出する。このとき、投影部２は動作させない。なお、座標値抽出点で校正用物品Ｍ１の実際のｘ軸、ｙ軸座標値は、既知である。また、本実施形態では、この複数個の位置（撮影部３が撮影する複数個の位置）は、ｚ軸方向を変えた複数個の位置である。ｚ軸方向の複数個の位置は、初期位置を含めることができ、また、位相－座標テーブルを作成するときのｚ軸方向の複数個の位置と一致させる必要はなく、例えば、５ｍｍごとの位置とすることも可能である。

座標値抽出点は、例えば、撮影部３が撮影した校正用物品Ｍ１の２次元パターンが図９（ａ）に示すようなチェッカーパターンの場合は四角形の角の点、図９（ｂ）に示すようなドットパターンの場合はドットの中心点、図９（ｃ）に示すような２次元格子パターンの場合は平行線の交点、とすることができる。なお、座標値抽出点の撮影画像上でのＸ軸、Ｙ軸座標値は、その詳細な求め方は本願の要旨ではないので説明は省略するが、画素値の勾配処理により、サブピクセル精度とすることができる。複数個の座標値抽出点の撮影画像上でのＸ軸、Ｙ軸座標値は、ｚ軸方向を変えた複数個の位置（つまりは、ｚ軸座標値）ごとに番号付けをして補助記憶装置６ｂ又はメインメモリ６ｃの中に一旦保存しておくことができる。

ピンホールカメラモデルでは、撮影画像上でのＸ軸、Ｙ軸座標値と校正用物品Ｍ１の実際のｘ軸、ｙ軸、ｚ軸座標値の関係は、射影行列Ｐを用いた以下の（１）式、関数ｇ_Ｘ、ｇ_Ｙを用いた以下の（２（１））式及び（２（２））式で表すことができる。

（１）式において、Ｐは３×４の行列であり、ｓは左辺の第３成分が１になるように定めた係数である。（２（１））式及び（２（２））式における関数ｇ_Ｘ、ｇ_Ｙは、レンズの歪曲収差を表した関数である。

（１）式は、Ｐ＝ＡＢとすると、以下の（３）式で表すことができる。

（３）式において、Ａは、撮影部３のおける光学的中心及び焦点距離を表す内部カメラパラメータの行列であり、Ｂは、物品Ｍと撮影部３の間の平行移動と回転を含む位置関係を表す外部カメラパラメータの行列である。Ａは３×４の行列、Ｂは４×４の行列である。

Ｂは、例えば、以下のような（４）式で表されるものとすることができる。

（４）式において、ａ_１１、ａ_１２、ａ_１３、ａ_２１、ａ_２２、ａ_２３、ａ_３１、ａ_３２、ａ_３３は、回転の位置関係を表す外部カメラパラメータであり、ａ_１４、ａ_２４、ａ_３４は、平行移動の位置関係を表す外部カメラパラメータの行列である。

（２（１））式及び（２（２））式における関数ｇ_Ｘ、ｇ_Ｙは、非線形な関数である。関数ｇ_Ｘ、ｇ_Ｙは、特に限定されるものではないが、例えば、レンズの放射状歪みのみを考慮すると、簡単な関数として以下の（５（１））式及び（５（２））式で与えられるようにすることができる。

ここで、κは歪み係数のカメラパラメータである。

ピンホールカメラモデルでのカメラパラメータの校正は、複数個の座標値抽出点において、撮影画像上でのＸ軸、Ｙ軸座標値（具体的には、ｚ軸座標値ごとに番号付けをして一旦保存しておいたもの）とピンホールカメラモデル（具体的には、（１）式、（２（１））式及び（２（２））式）で算出した撮影画像上でのＸ軸、Ｙ軸座標値との誤差（二乗平均平方根（ＲＭＳ）の値）を小さくするように、カメラパラメータを変数とする反復法を行うことによって行うことができる。この場合、反復するとき全てのカメラパラメータの変化の大きさが規定精度の値を下回ったら収束したものとして反復を終了することができる。

こうして校正したカメラパラメータは、補助記憶装置６ｂの中に記憶しておくことができる。

なお、カメラパラメータの校正は、上記の他、様々な方法が可能であり、例えば、回転と平行移動を含めた複数個の位置で撮影してカメラパラメータを求める方法（Ｚｈａｎｇの方法として知られている方法）が可能である。この場合も、上記と同様に、複数個の位置において、校正用物品Ｍ１の２次元パターンが表示される表面の撮影画像上で複数個の座標値抽出点のＸ軸、Ｙ軸座標値を抽出し、複数個の座標値抽出点のＸ軸、Ｙ軸座標値とピンホールカメラモデルで算出したＸ軸、Ｙ軸座標値の誤差を小さくするように、ピンホールカメラモデルのカメラパラメータを変数とする反復法を行うことによってカメラパラメータを校正することが可能である。

次に、本発明の実施形態に係る３次元形状計測方法における３次元形状計測について説明する。

３次元形状計測時には、計測物品Ｍ２を物品Ｍとして用いる（図１参照）。３次元形状計測時には、校正された３次元形状計測装置１は、物品検査ラインＬに配置されており、物品検査ラインＬに次々に流れて来る計測物品Ｍ２を検査する。支持体４は、ｚ軸方向の位置が固定（例えば、ｚ＝０の位置に固定）される。典型的には、物品検査ラインＬをベルトコンベアとし、略鉛直方向（高さ方向）をｚ軸方向として、物品検査ラインＬに載せられて次々に流れて来る計測物品Ｍ２を検査することができる。なお、通常、位相－座標テーブルとカメラパラメータは、３次元形状計測の開始時に補助記憶装置６ｂからメインメモリ６ｃに移しておく。

そして、校正時の校正用物品Ｍ１の無地の表面Ｍ１ｂのときと同様に、計測物品Ｍ２に正弦波状に変化する縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４を投影部２で順次投影しそれを撮影部３で撮影して、１組の撮影画像を得る。このときの１組の撮影画像は、図１１（ａ）～（ｄ）に示すように、計測物品Ｍ２の立体形状（図１１（ａ）～（ｄ）では切妻形状）に応じて縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４の各々に歪みが生じたものとなっている。

そして、３次元形状計測処理部６は、校正時の校正用物品Ｍ１の無地の表面Ｍ１ｂのときと同様にして、１組の撮影画像から位相シフト法を適用して画素ごとの位相値θを導出する。それから、その位相値θに対応するｚ軸座標値を前記位相－座標テーブルを参照して導出する。このとき、位相値θに対応するｚ軸座標値は、位相－座標テーブルで位相値θに近い大小の位相値に対応するｚ軸座標値間を補間した値としてもよいし、単に、位相－座標テーブルで位相値θに最も近い位相値に対応するｚ軸座標値としてもよい。

それから、校正したカメラパラメータのピンホールカメラモデルにより、画素ごとにｚ軸座標値に対応するｘ軸、ｙ軸座標値を算出する。それにより、計測物品Ｍ２の３次元形状の計測を行うことができる。

このｘ軸、ｙ軸座標値の算出は、以下のようにして行うことができる。

例えば、上記の（５（１））式及び（５（２））式は、逆関数を用いて以下の（５（１）´）式及び（５（２）´）式に変形することができる。

このように、（２（１））式及び（２（２））式は、関数ｇ_Ｘ ^－１、ｇ_Ｙ ^－１を用いて以下の（２（１）´）式及び（２（２）´）式に変形することができる。

上記の（３）式は、特定のｚ軸座標値ｚ_０については、以下の（３´）で表すことができる。

（３´）式において、Ｂ´は４×３の行列である。Ｂ´は、上記の（４）式を変形して、以下の（４´）で表すことができる。

従って、Ｐ´＝ＡＢ´とすると、上記の（１）式は、特定のｚ軸座標値ｚ_０については、以下の（１´）式で表すことができる。

（１´）式において、Ｐ´は３×３の正方行列である。Ｐ´は、逆行列Ｐ´^－１が存在し得るので、（１´）式は以下の（１´´）式に変形することができる。

よって、（２（１）´）式及び（２（２）´）式（例えば（５（１））式及び（５（２））式）と（１´´）式を用いると、高速に画素ごとにｘ軸、ｙ軸座標値を算出することができる。

このように、本発明の実施形態に係る３次元形状計測方法によれば、３次元形状計測時に、位相シフト法を用いて撮影画像の画素ごとに得られる位相値θからその画素に対応するｚ軸座標値を導出する。そして、更に、校正したカメラパラメータのピンホールカメラモデルにより画素ごとにｚ軸座標値に対応するｘ軸、ｙ軸座標値を算出する。このとき、画素ごとにｚ軸座標値に対応するｘ軸、ｙ軸座標値を記憶しそれを参照してｘ軸、ｙ軸座標値を導出する方式に比べ、メインメモリ６ｃにアクセスするトータルの時間を短縮することができ、トータルでｘ軸、ｙ軸座標値を求める時間を短縮することができる。よって、撮影画像の画素の数が多くなっても、高速な３次元形状計測が可能となる。

また、補助記憶装置６ｂ及びメインメモリ６ｃの中で、３次元形状計測のために用いる領域を少なくすることができる。

以上、本発明の実施形態に係る３次元形状計測方法について説明したが、本発明は、実施形態に記載したものに限られることなく、特許請求の範囲に記載した事項の範囲内でのさまざまな設計変更が可能である。例えば、互いに他の方向から縞パターンＰ１、Ｐ２、Ｐ３、Ｐ４を物品Ｍに投影するように投影部２を２個備え、２個の投影部２が支持体４に固定されるようにすることも可能である。

１ ３次元形状計測装置
２ 投影部
２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ 光源
２１Ａａ、２１Ｂａ、２１Ｃａ、２１Ｄａ 電流流入端子
２１Ａｂ、２１Ｂｂ、２１Ｃｂ、２１Ｄｂ 電流流出端子
２１０ 発光素子
２１１ 抵抗
２２ 縞パターン形成光学素子
２２ａ 通過部分
２２ｂ 遮蔽部分
２２ｃ シリンドリカルレンズ
２３ 投影部ケース
２３ａ 投影部ケースの開口部
３ 撮影部
４ 支持体
４Ａ スライダー部材
４Ｂ リニアガイド部材
４Ｃ 物品配置部材
５ 投影制御部
６ ３次元形状計測処理部
６ａ ＣＰＵ
６ｂ 補助記憶装置
６ｂａ 校正画像処理プログラム
６ｂｂ ３次元形状計測画像処理プログラム
６ｂｃ 位相－座標テーブルの記憶領域
６ｂｄ カメラパラメータの記憶領域
６ｃ メインメモリ
６ｄ 入出力インターフェイス
ＥＸ 露光のタイミングを示す信号
Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ_Ｄ 光源に流れる電流
Ｌ 物品検査ライン
Ｍ 物品
Ｍ１ 校正用物品
Ｍ１ａ ２次元パターンが表示される表面
Ｍ１ｂ 無地の表面
Ｍ２ 計測物品
Ｐ１、Ｐ２、Ｐ３、Ｐ４ 縞パターン
Ｔａ 投影期間
Ｔｂ ＰＷＭの周期
Ｔｃ_Ａ、Ｔｃ_Ｂ、Ｔｃ_Ｃ、Ｔｃ_Ｄ ＰＷＭのパルス幅
Ｔｄ 露光期間
ＴＲ トリガー信号

Claims (4)

1. 順次所定角度ずつ位相がシフトした縞パターンを物品に投影する投影部と、
   所定個の画素を有し前記物品を撮影して撮影画像を得る撮影部と、
   前記投影部と前記撮影部が固定される支持体と、
   を備える３次元計測装置を用いて、
   校正時には、
   任意の箇所のｘ軸、ｙ軸座標値が特定可能な２次元パターンが表示される表面と無地の表面を切り換えることができる校正用物品を前記物品として用い、
   前記支持体又は前記校正用物品が所定のｚ軸方向の複数個の位置に移動した各位置において、前記縞パターンの各々が前記校正用物品の前記無地の表面に投影された１組の前記撮影画像から位相シフト法を用いて前記画素ごとの位相値を導出しその位相値とｚ軸座標値を１対１で対応付けた位相－座標テーブルを作成し、
   複数個の位置において、前記校正用物品の前記２次元パターンが表示される表面の撮影画像上で複数個の座標値抽出点のＸ軸、Ｙ軸座標値を抽出し、
   前記複数個の座標値抽出点のＸ軸、Ｙ軸座標値とピンホールカメラモデルで算出したＸ軸、Ｙ軸座標値の誤差を小さくするように、該ピンホールカメラモデルのカメラパラメータを変数とする反復法を行うことによって該カメラパラメータを校正し、
   ３次元形状計測時には、
   計測物品を前記物品として用い、
   前記支持体の前記ｚ軸方向の位置を固定して、前記縞パターンの各々が投影された前記計測物品の１組の前記撮影画像から位相シフト法を用いて前記画素ごとの位相値を導出し、その位相値に対応するｚ軸座標値を前記位相－座標テーブルを参照して導出し、かつ、校正した前記カメラパラメータの前記ピンホールカメラモデルにより前記画素ごとにｚ軸座標値に対応するｘ軸、ｙ軸座標値を算出することにより、該計測物品の３次元形状の計測を行う３次元形状計測方法。
2. 請求項１に記載の３次元形状計測方法において、
   前記投影部は、各々の点灯及び光の放射強度が制御され一列に並んだ複数個の光源及びそれらからの光を縞パターンにして通過させる縞パターン形成光学素子を有し、前記複数個の光源の各々が順次点灯することにより順次所定角度ずつ位相がシフトした縞パターンを物品に投影し、
   前記校正時と前記３次元形状計測時には、ｚ軸方向を略鉛直方向とする３次元形状計測方法。
3. 請求項１又は２に記載の３次元形状計測方法において、
   前記校正用物品は、前記２次元パターンが表示される表面と前記無地の表面をスライドさせて切り換えることができる平板、又は任意の箇所のｘ軸、ｙ軸座標値が特定可能な２次元パターンが表示される表面の平板と無地の表面の平板を切り換えることができるもの、又は任意の箇所のｘ軸、ｙ軸座標値が特定可能な２次元パターンが表示される表面と無地の表面を表裏に有する平板、である３次元形状計測方法。
4. 請求項２に記載の３次元形状計測方法において、
   前記校正用物品は、物品検査ラインに配置されており、前記計測物品は、該物品検査ラインに配置されている３次元形状計測方法。

Images