JP5197330B2 - 形状測定方法及び装置 - Google Patents

Description

本発明は、被測定物の形状をステレオ画像計測法で測定する形状測定方法及び装置に関する。

被測定物の形状を測定する方法の１つとしてステレオ画像計測法がある。ステレオ画像計測法は、左右２台のカメラで被測定物を撮影し、撮影した２つの画像の視差から被測定物の形状を演算して求める。具体的には、左右の画像の視差が大きいほどカメラからの距離が近く、視差が小さいほどカメラからの距離が遠くなる。この視差からカメラと被測定物の距離が演算できるので、被測定物の形状を求めることができる。ここで視差とは、左側のカメラで撮影した画像に写った被測定物の位置と右側のカメラで撮影した画像に写った被測定物の位置との差のことである。

被測定物表面の形状に特徴が少ない場合、左右の画像に写った被測定物のどの部分が同じ場所なのか判別が難しくなる。このような被測定物の場合、被測定物に特徴のあるパタンを投影すれば、左右のカメラに写ったパタンを照合して２つの画像のどの部分に被測定物の同じ場所が写っているのかを知ることができる。このとき、２つの画像のパタンの照合がどれだけ正確に行えるかが測定精度に関わってくる。

パタンの照合を正確に行うための技術は、特許文献１に開示されている。この技術は、撮影対象に投影されたストライプパタンを撮影し撮影データの白い部分と黒い部分の輝度値の差が所定の範囲に収まるようにストライプパタンの本数を決定するようにしている。

特開２００１−２６４０１７号公報

前述の特許文献１に記載された３次元画像撮影装置は、白と黒のストライプパタンを投影している。そして、ストライプの白い部分と黒い部分がはっきりと認識できる最大のストライプ本数を探し出し設定することによって誤検出を生じずに高解像度の検出を行うものである。しかし、金属のような光沢面を有する被測定物を測定する場合、光沢面にパタンを投影すると、鏡面反射によって撮影した画像が部分的に真っ白になってしまう、いわゆる白飛びが生じる。また、被測定物の形状によっては反射光が少ない部分の画像が真っ黒になってしまう、いわゆる黒潰れが生じる。更に、被測定物を撮影する角度によって、被測定物上で白飛びや黒潰れが生じる位置も変わってしまう。白飛びや黒潰れが生じると投影したパタンが読み取れなくなり、パタンの白い部分と黒い部分をはっきりと認識できなくなる問題点がある。

本発明は上述の問題点を解決するためになされたものであり、本発明の目的は、光沢面を持つ被測定物や複雑な形状の被測定物であっても正確にパタンを読み取ることができ、形状認識能力の高い形状測定方法及び装置を提供することである。

前述の目的を達成するために、本発明によれば、被測定物に測定用パタンを投影し、被測定物を複数の異なる角度からカメラで撮影し、被測定物の形状を測定する形状測定方法において、前記複数の異なる角度から撮影するときに投影する複数のそれぞれ異なる測定用パタンを作成する工程と、被測定物に前記測定用パタンを投影し、前記測定用パタンが投影された被測定物を前記複数の異なる角度からそれぞれ撮影する工程と、前記複数の角度から撮影した画像を照合して被測定物の形状を測定する工程とを含む形状測定方法が提供される。前記測定用パタンを作成する工程は、プロジェクタで初期パタンを被測定物に投影し、前記カメラで該初期パタンが投影された被測定物を撮影し、前記カメラで撮影した画像の明度を読み取り、読み取った前記画像の明度が設定した目標明度より明るい部分は暗く、目標明度より暗い部分は明るくして測定用パタンを決定するステップを含むのが好ましい。

また、前述の目的を達成するために、本発明によれば、被測定物に測定用パタンを投影して撮影した被測定物の画像から被測定物の形状を測定する形状測定装置において、被測定物に対して複数の異なる角度から撮影可能に設けられたカメラと、前記複数の異なる角度から撮影するときに投影する測定用パタンを作成するパタン作成部と、前記パタン作成部で作成された測定用パタンを投影するプロジェクタと、前記カメラで撮影された複数の画像を読み取り、該複数の画像を照合して被測定物の形状を演算する画像解析部とを具備する形状測定装置が提供される。

前述のように、本発明は、被測定物にパタンを投影してカメラで撮影したとき、被測定物とカメラの角度によって投影したパタンが読み取れなくなってしまう部分のパタンを変更して被測定物とカメラの角度毎にそれぞれ測定用パタンを作成し、投影したパタンを読み取れるようにしている。

前述のように、本発明は、被測定物とカメラの角度毎にそれぞれ適した測定用パタンを作成している。従って、被測定物が複雑な形状であったり、光沢面を有していても、被測定物に投影されたパタンをより正確に読み取ることができるようになったので、被測定物の形状認識能力が上がり、測定精度が向上した。

以下、本発明による形状測定方法及び形状測定装置の好ましい実施の形態を説明する。図１に示す形状測定装置は、被測定物９を固定するテーブル１１と、被測定物９を撮影可能な方向に向けて設けられた左カメラ１と、被測定物９にパタンを投影可能な方向に向けて設けられたプロジェクタ５と、プロジェクタ５と被測定物９との間の投影光軸上に設けられたハーフミラー７と、ハーフミラー７で反射した光をプロジェクタ５の投影光と同軸で受光する位置に設けられた右カメラ３と、制御装置１３とを備えている。ここで、プロジェクタの投影光と同軸で受光するように設けられたカメラを右カメラと定義し、プロジェクタの投影光と非同軸で受光するように設けられたカメラを左カメラと定義する。

形状測定装置の制御装置１３は、初期パタンや特徴付加パタンを入力するパタン入力部１５と、プロジェクタ５に投影すべきパタンを送出するパタン送出部１７と、入力されたパタンや読み取った画像の明度に基づいて変更パタンを作成するパタン作成部１９と、左カメラ１及び右カメラ３で撮影した画像から明度を読み取り複数の画像を照合する画像解析部２１と、画像解析部２１で照合された複数の画像の視差からカメラ１、３と被測定物９との距離を演算し被測定物９の形状を求める形状演算部２３とを備えている。

左右のカメラ１、３及びプロジェクタ５と、被測定物９とが図示しない移動装置によって相対移動可能に構成されている。このような構成にすることによって、カメラ１、３及びプロジェクタ５と被測定物９との位置合せが容易になる。更に、移動装置は、被測定物９に対してカメラ１、３及びプロジェクタ５を旋回移動可能に構成されている。旋回移動可能にすることによって、様々な角度から被測定物９の測定を行うことができるようになり、一方向からでは見えない部分がある複雑な形状の被測定物にも対応できる。例えば、５軸制御のマシニングセンタの主軸側にカメラ１、３及びプロジェクタ５を設け、テーブル側に被測定物９を取り付ければよい。

次に、図２及び図３を参照して被測定物の形状測定方法の第１の実施の形態について説明する。ここで、プロジェクタで投影するパタンの明度及びカメラで撮影された画像の明度は、０〜２５５の値で設定され、値が大きくなるほど明るくなる。

まず、パタン入力部１５に初期パタンを入力する。初期パタンの明度は適宜設定すればよいが、本実施の形態では、明度２０及び明度２００の均一なパタンを右カメラ用初期パタンとして入力する。ここで均一なパタンとは全ての部分が同じ明度であり模様の無いパタンのことである。Ｓ１のステップでは、パタン入力部１５に入力された明度２０の初期パタンをパタン送出部１７からプロジェクタ５に送出し、プロジェクタ５で被測定物９に投影する。Ｓ２のステップでは、右カメラ３でハーフミラー７に映った被測定物９を撮影する。Ｓ３のステップでは、右カメラ３で撮影した画像を画像解析部２１で画素毎の明度を読み取る。

Ｓ４のステップでは、右カメラ３での撮影回数をカウントし、設定された所定回数と比較して撮影回数が所定回数に達していない場合、Ｓ５のステップに進み、撮影回数が所定回数に達していた場合、Ｓ７のステップに進む。Ｓ５のステップでは、撮影された画像の明度と目標明度を比較し、撮影された画像の明度と目標明度の差が所定値より大きいの場合、Ｓ６のステップに進み、撮影された画像の明度と目標明度の差が所定値以下の場合、Ｓ７のステップに進む。ここで目標明度は初期パタンで投影した明度２０に設定している。Ｓ６のステップでは、目標明度より明るい部分は暗く、目標明度より暗い部分は明るくなるように、投影したパタンを変更して変更パタンを決定して被測定物９に投影する。Ｓ７のステップでは、そのとき投影していたパタンを明度２０のキャンセルパタンとして設定する。このようにして、明度２００の初期パタンでも目標明度を２００として明度２０の初期パタンの場合と同様の方法でキャンセルパタンを決定する。ここでキャンセルパタンとは、被測定物の形状や反射によって投影したパタンと撮影したパタンの明度が変わらないようにキャンセルするためのパタンである。

Ｓ８のステップでは、黒と白の２値のランダムドットパタンでなる特徴付加パタンを作成する。ここで特徴付加パタンとは、被測定物の各部分に特徴を持たせるためのパタンであり、各部分の認識ができるような特徴を持ったパタンであれば、ランダムドットパタンに限らず、任意の模様のパタンを使用することができる。Ｓ９のステップでは、特徴付加パタンの黒の部分は明度２０のキャンセルパタンの対応する部分の明度を設定し、白の部分は明度２００のキャンセルパタンの対応する部分の明度を設定して右カメラ用測定パタンを作成する。Ｓ１０のステップでは、作成した右カメラ用測定パタンを被測定物９に投影し、右カメラ３で被測定物９を撮影し、撮影した画像を保存する。

Ｓ１１のステップでは、Ｓ８のステップで作成した特徴付加パタンを左カメラ用初期パタンとして被測定物に投影する。Ｓ１２のステップでは、左カメラ１で被測定物９を撮影する。Ｓ１３のステップでは、左カメラ１で撮影した画像を画像解析部２１で画素毎の明度を読み取る。Ｓ１４のステップでは、Ｓ１０のステップで撮影した右カメラ３の画像と、Ｓ１２のステップで撮影した左カメラ１の画像とを照合する。Ｓ１５のステップでは、バックマッチングを行いＳ１４のステップで照合した結果がどの程度信頼できるかを確認し、信頼度を設定する。ここでバックマッチングとは、例えば、左カメラ１の画像内の点が右カメラ３の画像内のどの点になるかを照合した場合、照合結果である右カメラ３の画像内の点は左カメラ１の画像内のどの点になるか更に照合を行い、照合の結果が左カメラ１の画像内の元の点とどれだけ近い点になるかを確認することであり、元の点と近ければ信頼度を高く、遠ければ信頼度を低く設定する。

Ｓ１６のステップでは、左カメラ１での撮影回数をカウントし、設定された所定回数と比較して撮影回数が所定回数に達していない場合、Ｓ１７のステップに進み、撮影回数が所定回数に達していた場合、Ｓ１９のステップに進む。Ｓ１７のステップでは、Ｓ１３のステップで読み取った明度と閾値とを比較して白飛び及び黒潰れの有無を判断し、白飛び又は黒潰れがあった場合、Ｓ１８のステップに進み、白飛び又は黒潰れが無かった場合、Ｓ１９のステップに進む。

Ｓ１８のステップでは、左カメラ用の変更パタンを作成するが、左カメラ１はプロジェクタ５と同軸ではないので、左カメラ１の画素の位置とプロジェクタ５の画素の位置は同一ではない。そこで、まず左カメラ１で撮影した画像の白飛びの部分と黒潰れの部分をそれぞれ矩形で囲む。そして、その矩形の頂点をＳ１５のステップで行ったバックマッチングの結果に基づいて信頼度を確認し、信頼度が閾値より高ければその点を頂点と決定し、信頼度が閾値より低ければその頂点の近傍でかつ矩形の外側の点を新しい頂点として再度信頼度を確認する。これを繰り返して右カメラ３との照合の信頼度が高い頂点を持った矩形を定める。そして、定められた左カメラ１の画像での矩形の位置に対応する右カメラ３の画像での矩形の位置をＳ１４のステップの照合結果から求める。右カメラ３とプロジェクタ５は同軸に配置されているので、右カメラ３の画素とプロジェクタ５の画素は同じ位置にある。したがって、求めた右カメラ３の画像での矩形の位置に対応するプロジェクタ５の画素の明度を変更すればよい。このようにして矩形の内側全体を、白飛びの部分は暗く、黒潰れの部分は明るくなるように変更して変更パタンを決定し、被測定物９に投影する。

Ｓ１９のステップでは最後に被測定物９に投影した変更パタンを左カメラ用測定パタンとして設定する。Ｓ２０のステップでは、設定した左カメラ用測定パタンを被測定物９に投影し、左カメラ１で被測定物９を撮影し、撮影した画像を保存する。次にＳ１０で保存した画像とＳ２０で保存した画像を照合し、形状演算部２３で左右の画像に写っている被測定物９の位置の違いである視差に基づいてカメラから被測定物９の各部までの距離を求め、求めた被測定物９の各部までの距離から被測定物９の形状を演算して求める。

本発明の左右の画像の照合には様々な方法が適用できるが、方向符号照合法で行うのが好ましい。方向符号照合法とは、画素毎の明度勾配の方向に基づいて照合する照合法であり、画素の明度自体ではなく、画素とその周囲の画素との明度変化が最大となる方向を方向符号として各画素に割り当て、この方向符号の分布に基づいて２つの画像を照合する方法である。金属のような光沢面を有する被測定物は鏡面反射があるので、被測定物を異なる角度から見ると同じ部分でも明度が大きく変わることがある。方向符号照合法は、画素の明度自体を照合する照合法ではないので、見る角度によって変わる明度の変化に影響されにくいという特徴がある。

また、形状が複雑でカメラ１、３の死角になる部分がある被測定物９を測定するには、図示しない移動装置で、左右のカメラ１、３及びプロジェクタ５と被測定物９とを死角の部分を撮影できる角度に相対移動させ、上述の方法と同様に測定し、それぞれの測定データを合成して被測定物９の形状を求める。

被測定物の形状測定方法の第２の実施の形態では、右カメラ用初期パタンに明度２０及び明度２００のランダムドットパタンを使用し、明度２０の部分の目標明度を２０に、明度２００の部分の目標明度を２００にして、第１の実施の形態と同様に、目標明度より明るい部分は暗く、目標明度より暗い部分は明るくパタンを変更しながら、撮影された画像の明度と目標明度の差が所定値以下になるか、撮影回数が所定回数になるまでパタン変更を繰り返し、そのときのパタンを右カメラ用測定パタンとし、第１の実施の形態と同様に左カメラ用測定パタンを作成し、被測定物９の測定を行う。

本発明の実施の形態として、２台のカメラと１台のプロジェクタを用いて被測定物の形状を測定する形態を説明してきたが、本発明のカメラ及びプロジェクタの台数を限定するものではない。例えば、左カメラの位置と右カメラの位置との間で移動可能に構成された１台のカメラを用いることもできる。また、３台以上のカメラと２台以上のプロジェクタを用いて被測定物の死角を無くすように構成することもできる。

本発明の形状測定装置の実施の形態を示すブロック図である。 本発明の形状測定方法の実施の形態の右カメラ用測定パタン決定の手順を示すフローチャートである。 本発明の形状測定方法の実施の形態の左カメラ用測定パタン決定の手順を示すフローチャートである。

符号の説明

１ 左カメラ
３ 右カメラ
５ プロジェクタ
７ ハーフミラー
９ 被測定物
１１ テーブル
１３ 制御装置

Claims (3)

1. 被測定物に測定用パタンを投影し、被測定物を複数の異なる角度からカメラで撮影し、被測定物の形状を測定する形状測定方法において、
   前記複数の異なる角度から撮影するときに投影する複数のそれぞれ異なる測定用パタンを作成する工程と、
   被測定物に前記測定用パタンを投影し、前記測定用パタンが投影された被測定物を前記複数の異なる角度からそれぞれ撮影する工程と、
   前記複数の角度から撮影した画像を照合して被測定物の形状を測定する工程と、
   を含むことを特徴とした形状測定方法。
2. 前記測定用パタンを作成する工程は、プロジェクタで初期パタンを被測定物に投影し、前記カメラで該初期パタンが投影された被測定物を撮影し、前記カメラで撮影した画像の明度を読み取り、読み取った前記画像の明度が設定した目標明度より明るい部分は暗く、目標明度より暗い部分は明るくして測定用パタンを決定するステップを含む請求項１に記載の形状測定方法。
3. 被測定物に測定用パタンを投影して撮影した被測定物の画像から被測定物の形状を測定する形状測定装置において、
   被測定物に対して複数の異なる角度から撮影可能に設けられたカメラと、
   前記複数の異なる角度から撮影するときに投影する測定用パタンを作成するパタン作成部と、
   前記パタン作成部で作成された測定用パタンを投影するプロジェクタと、
   前記カメラで撮影された複数の画像を読み取り、該複数の画像を照合して被測定物の形状を演算する画像解析部と、
   を具備することを特徴とした形状測定装置。

Images