JP5296967B2 - ３次元形状計測装置 - Google Patents

Description

本発明は、撮像装置により撮像した画像における画像の歪みを補正して光切断法による３次元形状計測を行う３次元形状計測装置に関するものである。

一般に、対象物をＴＶカメラのような撮像装置で撮像して得られる画像には、撮像系の機構や対象物との位置関係に起因する歪みが生じる。また、撮像装置で得られた画像を処理する際の処理過程に起因する歪みを生じる場合もある。

たとえば、撮像系の機構に起因する代表的な歪みには、撮像装置に設けたレンズのような光学系の放射方向歪曲収差による歪みがある。この種の歪みがあると画像に樽形歪みあるいは糸巻形歪みと称する歪みが生じる。また、対象物との位置関係に起因した代表的な歪みには、撮像装置に設けたレンズのような光学系の光軸と撮像素子の受光面とが直交していないことによる歪みがあり、画像を処理する際の処理過程に起因する歪みは、撮像素子における各受光部の配列のばらつきや撮像装置から出力されるアナログの映像信号をデジタル信号に変換する際のサンプリングレートのばらつきなどによる歪みを意味する。

光学系の歪曲収差に起因する歪みを低減する技術としては、歪曲収差の少ない非球面レンズを用いることが考えられるが、非球面レンズは球面レンズに比較すると高価であるという問題を有している。一方、上述した原因による歪みは、原因が単独であれば規則性を有していることが多いから、この規則性を利用することで、歪みを除去することが考えられる（たとえば、特許文献１参照）。

特許文献１に記載された技術では、レンズの周辺部分では中心部分よりも歪みが大きくなることに着目し、対象物からレンズの中心を見込む角度に関する多項式である補正式を設定し、この補正式のパラメータを求めている。補正式のパラメータを求めるために、複数の格子点を等間隔に配置するとともに中央に１個の中心円を配置した歪曲補正図を用い、歪曲補正図を撮像装置により撮像した実写歪曲補正画像における各格子点の重心位置間の距離と中心円の直径とを求めている。

つまり、実写歪曲補正画像において中心円の画像には歪みが生じていないとみなし、実写歪曲補正画像における各格子点の重心位置間の距離と中心円の直径との比率を、歪曲補正図における当該比率と一致させるようにパラメータを設定するのである。補正式のパラメータを設定した後には、任意の対象物を撮像した画像に補正式を適用することで、画像の歪みを補正することが可能になっている。
特開２００６−１０６１３号公報

特許文献１に記載された技術は、光学系の歪曲収差にのみ起因して歪みが生じる場合のように、歪みの数式化が可能な場合に適用できる。しかしながら、複数の原因が複合して歪みが生じているような場合には、画像内での歪みの生じ方が時間変化を伴わずに定常的であっても規則性を持たないことがあり、このような場合は補正式を求めるのが困難である。

一例を挙げれば、撮像装置の光学系にレンズ以外にプリズム、ミラー、フィルタなどの光学要素が含まれていると、これらの光学要素の加工精度や取付精度に伴う歪みが生じ、この種の歪みには適切なモデルがなく数式化が困難になる場合がある。また、光学系の光軸の傾きにより画像が台形に変形したり、撮像装置により得られた画像の処理過程において上述のように局所的な歪みが発生することもある。

光学系が複雑になるほど歪みの発生要因は多くなり、しかも複数の発生要因が複合して生じる歪みはモデルを設定するのが難しく数式化が困難であるから、特許文献１に記載されているような補正式を用いる技術では対応できない可能性がある。とくに、局所的に発生する歪みを補正することは困難である。

本発明は上記事由に鑑みて為されたものであり、その目的は、歪みの発生要因が複合している場合のように歪みの補正量から規則性を見出すのが難しい場合であっても歪みが時間変化なく定常的に発生していれば適正に補正することが可能であり、しかも補正量を簡単な作業で決定することができるように画像の歪みを適正に補正した画像を用いて対象物の正確な寸法計測を可能にした画像を用いた３次元形状計測装置を提供することにある。

請求項１の発明は、対象物にスリット光を投光する投光装置と、前記投光装置からのスリット光の投光方向とは異なる方向から撮像するように配置された撮像装置と、前記撮像装置に撮像された画像から対象物の３次元形状を計測する画像処理装置とを備え、光切断法による３次元形状計測を行う３次元形状計測装置であって、基本図形が一定間隔で繰り返す標準図形を前記撮像装置により撮像し、前記撮像装置で得られた歪み検出画像から基本図形に対応した４個以上の基準点を検出し、各基準点にラベルを付与する基準点検出過程と、歪みが生じない場合の基準点の位置として標準図形から予測される理想基準点を各基準点に対応付けて設定し、各基準点から当該基準点に対応付けた各理想基準点への変位を補正ベクトルとして求め、各基準点に補正ベクトルを対応付けた第１補正テーブルを作成する第１補正テーブル生成過程と、歪み検出画像の全画素について、それぞれ周囲に位置する４個の基準点を選択した後に、選択した各基準点との距離をそれぞれ求め、前記第１補正テーブルから前記４個の基準点にそれぞれ対応している補正ベクトルを求め、求めた４個の補正ベクトルと前記距離に基づいて決定された重み係数とを用いて、補正ベクトルの内挿補間を行うことにより各画素ごとの補正ベクトルを求め、各画素の座標に補正ベクトルを対応付けた第２補正テーブルを作成する第２補正テーブル生成過程とを有し、前記基準点抽出過程においては、標準図形を表記した標準パターン板の表面を投光装置からスリット光を投光する方向に一致させ、前記画像処理装置は、前記第１補正テーブル生成過程および前記第２補正テーブル生成過程において３次元の補正ベクトルを求めることを特徴とする。

この構成によれば、画像全体に補正式を適用する従来方法と比較すると、画像内の各部位ごとの歪みに対応することが可能になり、レンズの光学系に起因する歪みだけでなく、光軸の傾き、信号処理に伴うアスペクト比の変動、画像内の局所的な変動などが複合した歪みであっても定常的に生じている歪みであれば対応することができ、歪みの補正が可能になる。つまり、画像の歪みの補正によって、対象物の寸法比が画像内においても正確に反映されるので、画像による寸法計測や形状計測を精度よく行うことが可能になる。
しかも、投光装置から投光する方向に沿って標準図形を配置することにより標準図形に光切断線が形成されないようにした状態で基準点を抽出することで、画像内の各位置に３次元の実空間の座標を対応付けることが可能になり、画像から３次元位置を容易に求めることができるとともに、キャリブレーションの作業が大幅に簡略化されることになる。すなわち、一般に３次元の計測を光切断法で行うには、撮像装置のレンズの焦点距離、対象物との距離、撮像装置の光軸と投光装置の投光方向とがなす角度などの光学パラメータを求めることが必要であり、キャリブレーションの作業が面倒であるが、この構成によれば、標準パターン板を投光装置の投光方向に沿って配置するだけで、３次元の計測が可能になるから、キャリブレーションの作業が簡略化できるのである。

請求項２の発明は、請求項１の発明において、前記基準点検出過程では、着目する基準点に対して画像内で上下左右に隣接する他の基準点を探索し、探索により求めた基準点との位置関係に応じてラベルを付与することを特徴とする。

この構成によれば、標準図形において基準点に対応する部位と歪み検出画像における基準点とを一対一に対応付けるにあたり、各基準点ごとに周囲の基準点との相対位置を用いて対応付けを行うから、標準図形が傾いていたり回転したりしている場合であっても、歪み検出画像内の各基準点を実空間における座標に一意に対応付けることが可能になる。つまり、標準図形を撮像する際には、撮像装置の光軸と標準図形とが直交せずに傾いていても補正が可能であり、また水平方向のアラインメントを調節する必要もないのであって、対象物を載置するステージに標準図形を表記した標準パターン板を置いて撮像するだけで画像の座標から実寸を求める補正テーブルを簡単に作成することが可能になる。

請求項３の発明では、請求項１または請求項２の発明において、前記基本図形は円形のドットであることを特徴とする。

この構成によれば、標準図形が歪み検出画像内で回転していても歪み検出画像内における基本図形の変形がほとんど生じないから、歪み検出画像内で求める基準点の位置精度のばらつきが少なくなる。

本発明によれば、画像内の複数箇所に設定した基準点について補正ベクトルを設定しているから、画像内の各部位ごとの歪みに対応することが可能になり、種々の原因が複合した歪みであっても定常的に生じている歪みであれば歪みの補正が可能になるという利点がある。しかも、画像の歪みを補正することにより、対象物の寸法比が対象物を撮像した画像内においても正確に反映されるので、画像による寸法計測や形状計測を精度よく行うことが可能になるという利点がある。
しかも、投光装置から投光する方向に沿って標準図形を配置することにより標準図形に光切断線が形成されないようにした状態で基準点を抽出することで、画像内の各位置に３次元の実空間の座標を対応付けることが可能になり、画像から３次元位置を容易に求めることができるとともに、キャリブレーションの作業が大幅に簡略化されることになる。すなわち、一般に３次元の計測を光切断法で行うには、撮像装置のレンズの焦点距離、対象物との距離、撮像装置の光軸と投光装置の投光方向とがなす角度などの光学パラメータを求めることが必要であり、キャリブレーションの作業が面倒であるが、この構成によれば、標準パターン板を投光装置の投光方向に沿って配置するだけで、３次元の計測が可能になるから、キャリブレーションの作業が簡略化できるという利点がある。

以下に説明する実施形態では、まず実施形態１として撮像装置の光軸に直交する平面内での画像の歪みを補正する技術について説明し、実施形態２として撮像装置の光軸に対して傾斜した平面内での画像の歪みを補正する技術について説明する。

いずれの実施形態も、図２に示すように、撮像装置としてのＴＶカメラ１１と、ＴＶカメラ１１から出力されたアナログ信号である映像信号をデジタル信号に変換するデジタル画像生成装置１２と、デジタル画像生成装置１２から出力されるデジタル信号（このデジタル信号は、濃淡画像あるいはカラー画像に相当するデジタル信号であるから、以下では、単に「画像」という）を記憶する記憶装置１３と、記憶装置１３に格納された画像を対象として以下に説明する処理を含む各種の画像処理を行う画像処理装置１４とを備える。記憶装置１３にはアプリケーションプログラムも記憶される。

デジタル画像生成装置１２はＡ／Ｄ変換器を主構成要素としている。また、記憶装置１３は、ハードディスクドライブのような大容量記憶装置と、処理対象となる画像を保持するデータ領域および作業用領域や画像処理を実行するアプリケーションプログラムを保持するシステム領域およびプログラム領域を備える半導体メモリとを備える。デジタル画像生成装置１２と記憶装置１３と画像処理装置１４とは専用装置として構成することができるが、パーソナルコンピュータにデジタル画像生成装置１２となる画像キャプチャボードを装着し、後述する動作を実現するアプリケーションプログラムを実行する構成として実現することができる。なお、撮像装置はＴＶカメラ１１のほか画像を入力できるものであればどのような構成でもよく、アナログ信号の映像信号ではなくデジタル信号の映像信号を出力するものを用いることも可能である。デジタル信号を出力する構成の撮像装置を採用する場合には、デジタル画像生成装置１２に代えてデジタルインターフェイスを用いればよい。

従来の技術として説明したように、画像に生じる歪みには、ＴＶカメラ１１のレンズやフィルタ等の光学系に起因する歪みのほか画像の処理過程で生じる局所的な歪みが含まれる。ただし、本実施形態で対象とする歪みは定常的なものであり、時間的な変動を伴わないものとする。したがって、本実施形態では、画像の歪みはＴＶカメラ１１により撮影する対象を取り換えても、対象物が同じ位置に存在する限り、画像の歪みをもたらす条件には変化が生じないものとする。

以下に説明する実施形態では、基本的には、あらかじめ定めた標準図形を表記した標準パターン板１０をＴＶカメラ１１で撮像し、標準図形の画像を用いて歪みを補正するための第１補正テーブルを作成する第１の過程と、第１補正テーブルを用いて内挿補間することにより画像内の全画素に関する補正テーブルを作成する第２の過程（第２補正テーブル生成過程）とを有する。

第１の過程は、さらに、標準図形の画像内の複数箇所に基準点を設定するとともに、基準点のうちの代表点である主基準点を設定する基準点抽出過程と、基準点抽出過程で求めた主基準点および基準点を用いて第１補正テーブルを作成する第１補正テーブル生成過程とに分けられる。第１補正テーブル生成過程では、主基準点および各基準点の位置関係と、標準図形内での各部位の位置関係とを用いることにより、歪みがない場合における標準図形の各部位の画像内における位置を推定し、各基準点ごとに基準点から標準図形について推定した各部位への変位をそれぞれ補正ベクトルとして求める。各基準点についてそれぞれ求めた補正ベクトルの集合が第１補正テーブルとして記憶される。

上述のように、ＴＶカメラ１１により標準パターン板１０を撮像する必要があるから、標準図形を表記した標準パターン板１０が必要である。標準パターン板１０に表記する標準図形として、以下の説明では図３に示す市松模様を用いる。つまり、標準図形として、同寸法である黒塗りの正方形と白塗りの正方形とを縦横に交互に配列した格子模様を用いる。以下では、横方向にｍ個、縦方向にｎ個（ｍ，ｎは正の整数）の正方形が並んでいる場合を想定するが、最小では合計４個の正方形を配置すればよい。標準図形は基本図形が一定間隔で繰り返すものであればとくに制限はなく、たとえば、図１１に示すように、標準図形として円形のドットを縦横に等間隔で配列してある標準パターン板１０を用いてもよい。以下では、市松模様の標準図形を用いる例について詳述し、その後、円形のドットを配列した標準図形を用いる場合について説明する。

（実施形態１）
本実施形態は、上述したように、ＴＶカメラ１１の光軸に直交する平面内での画像の歪みを補正する場合を例としている。したがって、基準点抽出過程では、標準パターン板１０の表面をＴＶカメラ１１の光軸に直交するように配置し、また標準パターン板１０の縦横の方向とＴＶカメラ１１の垂直方向と水平方向とをそれぞれ一致させた状態で標準図形を撮像する（標準パターン板１０の縦横との一致は必須というわけではない）。標準パターン板１０とＴＶカメラ１１との位置関係は、標準パターン板１０に表記された標準図形がＴＶカメラ１１の視野の全体を占めるように設定される。ＴＶカメラ１１では光学系の光軸と撮像素子とが直交しているものとする。

ＴＶカメラ１１から出力されるアナログ信号である映像信号は、デジタル画像生成装置１２においてアナログ−デジタル変換され、デジタル信号の画像が得られる。標準パターン板１０を撮像して得られる画像を以下では「歪み検出画像」と呼ぶ。歪み検出画像は、記憶装置１３に一旦格納される。

記憶装置１３に格納された歪み検出画像は、画像処理装置１４において読み出され、以下の処理により第１補正テーブルが作成される。画像処理装置１４では、記憶装置１３から読み込んだ歪み検出画像をまず二値化し、白い領域と黒い領域とが縦横に交互に配列された二値画像を生成する。

標準図形として市松模様を用いる場合には、２個ずつの白い正方形と黒い正方形とに囲まれた格子点（つまり、白と黒との一方の正方形に着目するとすれば正方形の各頂点）を基準点とする。歪み検出画像において、基準点に対応する基準点の座標を求めるには、歪み検出画像内において、図４に示すように、適宜の大きさの正方形状（必ずしも正方形でなくてもよい）のウインドウＷを設定し、ウインドウＷの中に設定した４個の検査ポイントｐ１〜ｐ４における画素値の関係を用いて基準点Ｐｓを求める。

白と黒との正方形の一辺の長さをａとするとき、ウインドウＷの一辺の長さｄは２ａよりも小さく設定する（ｄ＜２ａ）。検査ポイントｐ１〜ｐ４は、ウインドウＷと中心が一致しウインドウＷと相似である矩形の頂点の位置に配置される。歪み検出画像内でウインドウＷを走査し、ウインドウＷの走査に伴って検査ポイントｐ１〜ｐ４を走査すると、４個の検査ポイントｐ１〜ｐ４が基準点Ｐｓを囲むときには、４個の検査ポイントｐ１〜ｐ４のうちの２個の画素値が白、残りの２個の画素値が黒になる。図示例では、検査ポイントｐ１〜ｐ４を右回りに配列しているから、検査ポイントｐ１〜ｐ４が基準点Ｐｓを囲むときには、各検査ポイントｐ１〜ｐ４の画素値が順に白・黒・白・黒、あるいは黒・白・黒・白になる。

上述の条件が成立しているときには、ウインドウＷ内において水平方向で画素値が反転する座標（水平方向をｘ方向とする）を求め、またウインドウＷ内において垂直方向で画素値が反転する座標（垂直方向をｙ方向とする）を求める。ｘ方向の探索およびｙ方向の探索はウインドウＷ内の複数箇所で行い、ｘ方向とｙ方向とについて画素値が反転する座標を複数個ずつ求める。ｘ方向に探索して求めた画素値が反転する複数個の座標と、ｙ方向に探索して求めた画素値が反転する複数個の座標とを用いて、それぞれ回帰直線を設定すると２本の回帰直線がそれぞれ得られる。両回帰直線の交点は基準点Ｐｓとみなせるから、両回帰直線の交点の座標を基準点Ｐｓの座標に用いる。

歪み検出画像内でウインドウＷを走査することにより歪み検出画像内のすべての基準点Ｐｓを抽出した後、歪み検出画像内の各基準点Ｐｓにラベル付けを行う。標準パターン板１０の縦横の方向はＴＶカメラ１１の水平方向および垂直方向に一致させているから、歪み検出画像に歪みがあっても上下左右の位置関係が大きく変化することはない。したがって、基準点Ｐｓのラベル付けにあたっては、図５のように、着目する基準点Ｐｓから上下左右の各向きにおいてそれぞれ距離が最小である他の基準点Ｐｓを探索する。他の基準点Ｐｓを上下左右の各向きに探索するにあたっては、上下左右の各向きに対して規定した角度範囲内の領域で探索する。

各基準点Ｐｓにはラベルｐ（ｍ，ｎ）（ｍ，ｎは正の整数）を付与する。つまり、着目する基準点Ｐｓのラベルがｐ（ｉ，ｊ)であるとすれば、基準点Ｐｓの上方に隣接する基準点Ｐｓのラベルはｐ（ｉ，ｊ−１）、下方に隣接する基準点Ｐｓのラベルはｐ（ｉ，ｊ＋１）になる。左方に隣接する基準点Ｐｓのラベルはｐ（ｉ−１，ｊ）、右方に隣接する基準点Ｐｓのラベルはｐ（ｉ＋１，ｊ）になる。

この手順によって、歪み検出画像内のすべての各基準点Ｐｓにラベルｐ（ｍ，ｎ）を付与すれば、標準パターン板１０の縦横がＴＶカメラ１１の水平方向および垂直方向に対して傾いている場合や、標準パターン板１０がＴＶカメラ１１の光軸に対して傾斜している場合や、歪み検出画像において台形歪みが生じているような場合でも、歪み検出画像内の各基準点Ｐｓに適正なラベルｐ（ｍ，ｎ）を付与することができる。

歪み検出画像内のすべての基準点Ｐｓにラベルｐ（ｍ，ｎ）を付与した後には、基準点Ｐｓの中での代表点となる主基準点Ｐｍを決定する。主基準点Ｐｍは、基準点Ｐｓのうちの代表点であるから、どの基準点Ｐｓを選択してもよいが、歪み検出画像の中央付近では周辺部分に比較するとＴＶカメラ１１の光学系に起因よる歪みは少ないから、本実施形態では、歪み検出画像の中央付近に位置する基準点Ｐｓを主基準点Ｐｍに選択する。いま、歪み検出画像において基準点ＰｓがＭ×Ｎ個存在しているとすれば、ｐ（ｉｎｔ（Ｍ／２）、ｉｎｔ（Ｎ／２））のラベルを付与した基準点Ｐｓを主基準点Ｐｍとして選択する。ここに、ｉｎｔ（ｘ）は、ｘの整数部分の意味である。

基準点抽出過程は、上述のように、歪み検出画像から基準点Ｐｓを抽出するとともにラベルｐ（ｍ，ｎ）を付与し、さらに主基準点Ｐｍを選択する処理であり、主基準点Ｐｍの選択後には、第１補正テーブル生成過程に移行する。

第１補正テーブル生成過程では、まず、画像に歪みが生じていない場合に各基準点Ｐｓが位置すると期待される座標を推定する。以下では、この座標を「期待座標」と呼び、期待座標の位置の点を「理想基準点」と呼ぶ。期待座標を求めた後には、各基準点Ｐｓの座標から期待座標への変位に相当する補正ベクトルを各基準点Ｐｓごとに求め、各基準点Ｐｓの座標にそれぞれ補正ベクトルを対応付けた第１補正テーブルを生成する。図６に示すように、ラベルｐ（ｉ，ｊ）の基準点Ｐｓに対応する理想基準点Ｐｉにｅ（ｉ，ｊ）というラベルを与えるとすれば、補正ベクトルｖ（ｉ，ｊ）は基準点Ｐｓから理想基準点Ｐｉに向かうベクトルで表すことができる。

いま、歪み検出画像において、図６のように、基準点Ｐｓの個数が７×５個であるものとし、ラベルｐ（４，３）の基準点Ｐｓが主基準点Ｐｍとして選択されるものとする。補正ベクトルｖ（ｉ，ｊ）は、主基準点Ｐｍを原点として設定される。ここで、標準パターン板１０には白黒の正方形からなる市松模様が表記されているから、理想基準点Ｐｉは水平方向と垂直方向とにおいて等間隔であることが期待される。そこで、理想基準点Ｐｉとして期待されるピッチＥを設定する。ピッチＥは適宜の値でよく、歪み検出画像の縦横幅と基準点Ｐｓの個数とを考慮して、すべての基準点Ｐｓに対応する理想基準点Ｐｉが画像内に収まるように設定すればよい。

ピッチＥが決まれば、ラベルｐ（ｉ，ｊ）の基準点Ｐｓに対応したラベルｅ（ｉ，ｊ）の理想基準点Ｐｉの期待座標（ｘｅ（ｉ，ｊ），ｙｅ（ｉ，ｊ））を以下のように決定することができる。
ｘｅ（ｉ，ｊ）＝Ｅ×（ｉ−４）
ｙｅ（ｉ，ｊ）＝Ｅ×（ｊ−３）
一方、ラベルｐ（ｉ，ｊ）の基準点Ｐｓの歪み検出画像の中での座標ｘ（ｉ，ｊ），ｙ（ｉ，ｊ）を、主基準点Ｐｍを原点とした座標系に変換した実測座標（ｘｒ（ｉ，ｊ）、ｙｒ（ｉ，ｊ））は、次式で表される。
ｘｒ（ｉ，ｊ）＝ｘ（ｉ，ｊ）−ｘ（４，３）
ｙｒ（ｉ，ｊ）＝ｙ（ｉ，ｊ）−ｙ（４，３）
したがって、ラベルｐ（ｉ，ｊ）の基準点Ｐｓに対応した補正ベクトルｖ（ｉ，ｊ）のｘ成分ｘｖ（ｉ，ｊ）およびｙ成分ｙｖ（ｉ，ｊ）は、基準点Ｐｓの座標と理想基準点Ｐｉの期待座標とを用いて、次式で表すことができる。
ｘｖ（ｉ，ｊ）＝ｘｅ（ｉ，ｊ）−ｘｒ（ｉ，ｊ）
ｙｖ（ｉ，ｊ）＝ｙｅ（ｉ，ｊ）−ｙｒ（ｉ，ｊ）
各基準点Ｐｓについて上述の手順で補正ベクトルｖ（ｉ，ｊ）を決定すれば、各基準点Ｐｓに補正ベクトルｖ（ｉ，ｊ）を対応付けた第１補正テーブルを生成することができる。

第１補正テーブルを生成した後には、第２補正テーブル生成過程に移行し、画像内の全画像に対して第１補正テーブルを適用することによって、画像内の全画素に関する補正ベクトルを生成する。つまり、第２補正テーブル生成過程では、第１補正テーブル生成過程において生成された各基準点Ｐｓごとの補正ベクトルからなる第１補正テーブルを用いて、画像上の任意の座標値における補正ベクトルを求める。画像上の任意の位置における補正ベクトルは、当該位置の近傍に存在する４個の基準点Ｐｓの補正ベクトルを用いて内挿補間により求める。

４個の補正ベクトルを用いて内挿補間を行う方法の一例について説明する。いま、図７に示すように、画像内の点ａ（ａｘ，ａｙ）について補正ベクトルを求める場合を想定する。図示例では、点ａは４個の基準点Ｐｓに囲まれており、各基準点Ｐｓのラベルがそれぞれｐ（ｓ，ｔ）、ｐ（ｓ＋１，ｔ）、ｐ（ｓ＋１，ｔ＋１）、ｐ（ｓ，ｔ＋１）であるものとする。

歪み補正処理では、点ａの補正に用いる４個の基準点Ｐｓを選択した後に、点ａと各基準点Ｐｓとの距離ｄ１〜ｄ４を求める。距離ｄ１〜ｄ４は、内挿補間の際に用いる重み係数ｗ１〜ｗ４を決定するために用いる。本実施形態では、重み係数ｗ１〜ｗ４を以下のように設定している。
ｄｉ≠０ならば、ｗｉ＝１／｛ｄｉ×Σ（１／ｄｉ）｝
ｄｉ＝０ならば、ｍ＝ｎのときｗｉ＝１、ｍ≠ｎのときｗｉ＝０
この関係を用いて、点ａにおける補正ベクトルｖａ（ｘｖａ，ｙｖａ）を以下のように求める。
ｘｖａ＝ｗ１×ｘｖ（ｓ、ｔ）＋ｗ２×ｘｖ（ｓ＋１，ｔ）＋ｗ３×ｘｖ（ｓ＋１，ｔ＋１）＋ｗ４×ｘｖ（ｓ，ｔ＋１）
ｙｖａ＝ｗ１×ｙｖ（ｓ、ｔ）＋ｗ２×ｙｖ（ｓ＋１，ｔ）＋ｗ３×ｙｖ（ｓ＋１，ｔ＋１）＋ｗ４×ｙｖ（ｓ，ｔ＋１）
画像内のすべての画素について、上述の方法により補正ベクトルｖａを求め、各画素に補正ベクトルｖａを対応付けた第２補正テーブルを作成しておけば、対象物をＴＶカメラ１１で撮像することにより得られた画像に、この第２補正テーブルを適用するだけで、歪みが補正された画像を得ることができる。画像内のすべての画素について補正ベクトルｖａが設定されているから、対象物の画像について座標の加減算を行うだけで座標変換を行うことができ、座標変換を高速に行うことが可能になる。

上述したように、標準パターン板１０を撮像することにより得られた第１補正テーブルを用いて内挿補間を行うことにより、画像内の全画素について補正ベクトルｖａを設定し、画像内の全画素に補正ベクトルｖａを対応付けた第２補正テーブルを生成することができる。第２補正テーブルは、画像内全画素に対する補正ベクトルｖａを保持しているので、撮像手段１１の光学歪み、信号処理系による歪み、光軸の傾きや光軸周りでの回転などの複数の要因が複合して生じる歪みや局所的な変形を含む歪みが生じている場合であっても、歪を除去することができ、画像を用いて対象物を計測する場合には、歪みを除去して正確な寸法計測が可能となる。

本実施形態の動作を図１にまとめて説明する。まず、ＴＶカメラ１１を用いて標準パターン板１０を撮像し（Ｓ１）、デジタル画像生成装置１２においてアナログ−デジタル変換を行った後（Ｓ２）、記憶装置１３に格納する。画像処理装置１４では、記憶装置１３に格納された濃淡画像を二値化し（Ｓ３）、白黒の正方形が配列された二値画像である歪み検出画像から図４に示した方法で基準点Ｐｓを検出する（Ｓ４）。さらに、図５に示した方法を用いて各基準点Ｐｓの上下左右に隣接する基準点Ｐｓを特定し（Ｓ５）、各基準点Ｐｓに並び順に応じたラベルｐ（ｉ，ｊ）を付与する（Ｓ６）。また、画像内で中央付近に位置する基準点Ｐｓを主基準点Ｐｍとする（Ｓ７）。ここまでの処理が基準点検出過程になる。

次に、第１補正テーブル生成過程に移行し、各基準点Ｐｓに対応した理想基準点Ｐｉ（期待座標を持つ点）を求める（Ｓ８）。理想基準点Ｐｉは主基準点Ｐｍを原点とする座標系の座標を有するから、基準点Ｐｓについても主基準点Ｐｍを原点とする実測座標に変換する（Ｓ９）。基準点Ｐｓの実測座標と理想基準点Ｐｉの期待座標とがわかれば、当該基準点Ｐｓにおける補正ベクトルを求めることができる（Ｓ１０）。歪み検出画像におけるすべての基準点Ｐｓに対応した補正ベクトルを求め、記憶装置１３に格納することにより、基準点Ｐｓと補正ベクトルとを対応付けた第１補正テーブルが生成される（Ｓ１１）。

第１補正テーブルの作成後には、第２補正テーブル生成過程に移行する。第２補正テーブル生成過程では、まず歪み検出画像内で所望の点の近傍に位置する４個の基準点Ｐｓを抽出する（Ｓ１２）。着目した点から選択した基準点Ｐｓまでの距離を求め（Ｓ１３）、この距離を用いて重み係数を決定する（Ｓ１４）。重み係数が決まれば、着目した点について、選択した４個の基準点Ｐｓの補正ベクトルに重み係数を適用し、着目した点の補正ベクトルを内挿補間により求める（Ｓ１５）。このようにして、歪み検出画像内の全画素について補正ベクトルを決定し、各画素の座標に対応付けて記憶装置１３に第２補正テーブルとして格納する（Ｓ１６）。

（実施形態２）
実施形態１では、原則として標準パターン板１０の表面がＴＶカメラ１１の光軸に直交する場合を想定していたが、本実施形態は、光切断法により３次元計測を行う場合について、ＴＶカメラ１１で撮像した画像の歪みを補正する例について説明する。

光切断法による３次元計測では、図８に示すように、投光装置１５が必要であって、ここではスリット光（対象物の表面に帯状に照射される光）を照射する投光装置１５を用いるものとする。また、投光装置１５はスリット光を投光する方向が固定されているものとする。この種の投光装置１５では、光源としてレーザ光源を用いる場合には、レーザ光源から発生したレーザ光をシリンドリカルレンズに通すことによりスリット光を得ることができる。あるいはまた、振動ミラーによってレーザ光を走査することにより擬似的にスリット光を得る構成のものもある。

また、本実施形態では、ＴＶカメラ１１の光軸に対して標準パターン板１０の表面が傾斜しているものとする。投光装置１５からのスリット光は、ＴＶカメラ１１の光軸とは異なる方向から標準パターン板１０に照射される。図８に示す例では、ＴＶカメラ１１の光軸に直交する平面に対して、標準パターン板１０の表面が角度θだけ傾斜しているものとする。つまり、実施形態１における標準パターン板１０に対して本実施形態の標準パターン板１０は角度θだけ傾斜していることになる。角度θは投光装置１５からスリット光を投光する角度に一致させてある。

図８に示す配置でＴＶカメラ１１から出力される標準パターン板１０の画像Ｉｍは、図９のようになる。標準パターン板１０がＴＶカメラ１１の光軸に直交していないから、画像上では標準パターン板１０に形成された市松模様の各正方形は台形に変形している。ただし、実施形態１と同様の方法を採用することにより、この画像を歪み検出画像に用いて基準点Ｐｓおよび主基準点Ｐｍを決定することができる。つまり、本実施形態においても基準点検出過程は実施形態１と同様である。

一方、本実施形態は３次元計測に用いる技術であるから、第１補正テーブル生成過程において、標準パターン板１０のうち基準点Ｐｓに対応する部位について、実空間に設定した座標系での３次元の座標を期待座標とする。また、歪み検出画像において、実施形態１の説明に用いた図６におけるラベルｐ（４，３）の基準点Ｐｓを主基準点Ｐｍとする。いま、歪み検出画像内でラベルｐ（ｉ，ｊ）を付与した基準点Ｐｓの期待座標を（ｘｅ（ｉ，ｊ），ｙｅ（ｉ，ｊ），ｚｅ（ｉ，ｊ））とし、実空間において、基準点Ｐｓに対応する部位がピッチＤで並んでいるものとすれば、期待座標（ｘｅ（ｉ，ｊ），ｙｅ（ｉ，ｊ），ｚｅ（ｉ，ｊ））は、次式のように表すことができる。
ｘｅ（ｉ，ｊ）＝Ｄ×ｃｏｓθ×（ｉ−４）
ｙｅ（ｉ，ｊ）＝Ｄ×（ｊ−３）
ｚｅ（ｉ，ｊ）＝−Ｄ×ｓｉｎθ×（ｉ−４）
次に、歪み検出画像から抽出した基準点Ｐｓについて、上述した期待座標（ｘｅ（ｉ，ｊ），ｙｅ（ｉ，ｊ），ｚｅ（ｉ，ｊ））への変位を補正ベクトルとして求め、基準点Ｐｓごとに補正ベクトルを対応付けた第１補正テーブルを作成する。その後、第１補正テーブルを用いて歪み検出画像内の任意の点ａ（ｘａ，ｙａ）について内挿補間により補正ベクトルを求めると、実施形態１と同様に、ＴＶカメラ１１により撮像して得た画像内のすべての画素について、３次元での補正ベクトルｖａ（ｘｖａ，ｙｖａ，ｚｖａ）を求めることができる。任意の点ａに関する補正ベクトルｖａを求めるための内挿補間の演算は、次式で表される。重み係数ｗｉについては実施形態１と同様の方法で求める。
ｘｖａ＝ｗ１×ｘｅ（ｓ、ｔ）＋ｗ２×ｘｅ（ｓ＋１，ｔ）＋ｗ３×ｘｅ（ｓ＋１，ｔ＋１）＋ｗ４×ｘｅ（ｓ，ｔ＋１）
ｙｖａ＝ｗ１×ｙｅ（ｓ、ｔ）＋ｗ２×ｙｅ（ｓ＋１，ｔ）＋ｗ３×ｙｅ（ｓ＋１，ｔ＋１）＋ｗ４×ｙｅ（ｓ，ｔ＋１）
ｚｖａ＝ｗ１×ｚｅ（ｓ、ｔ）＋ｗ２×ｚｅ（ｓ＋１，ｔ）＋ｗ３×ｚｅ（ｓ＋１，ｔ＋１）＋ｗ４×ｚｅ（ｓ，ｔ＋１）
上述のようにして第２補正テーブルを作成した後には、実際の対象物について３次元計測を行うことができる。３次元計測の際には、図１０（ａ）に示すように、対象物１６に対して投光装置１５からスリット光を照射し、ＴＶカメラ１１により撮像する。ＴＶカメラ１１で撮像された画像を二値化すれば、図１０（ｂ）のように対象物１６の凹凸に応じた輝線Ｌｂを有する二値画像が得られるから、輝線Ｌｂの部分の各画素の座標（ｘａ，ｙａ）に第２補正テーブルを適用すれば、３次元座標（ｘｖａ，ｙｖａ，ｚｖａ）を求めることができる。他の構成および動作は実施形態１と同様である。

ところで、上述した各実施形態では、市松模様の標準パターン板１０を用いたが、図１１に示すように、円形のドット１０ａを縦横に等間隔で配列した標準パターン板１０を用いることもできる。図１１に示す標準パターン板１０を用いると、ＴＶカメラ１１の水平方向に対して標準パターン板１０が回転している場合でも、各ドット１０ａの形状は変化しないから、基準点Ｐｓの座標を求める際の誤差が少なくなる。

図１１に示す標準パターン板１０を用いる場合には、ＴＶカメラ１１で撮像し二値化して得られた歪み検出画像について、各ドット１０ａにラベルを付与し、図１２（ａ）に示すように各ドット１０ａの重心Ｇを求めて、重心Ｇを基準点Ｐｓに用いる。あるいはまた、図１２（ｂ）に示すように、重心Ｇに代えて、ドット１０ａの輪郭線（エッジ）を求め、輪郭線を円または楕円に近似し、その中心Ｃを基準点Ｐｓに用いるようにしてもよい。

また、上述した例では、基準点Ｐｓの上下左右に隣接する基準点Ｐｓを確認することにより、基準点Ｐｓの配列を確認しているから、歪みが多い場合でも基準点Ｐｓのラベル付けを確実に行うことができるが、ＴＶカメラ１１の光軸に対する標準パターン板１０の傾きが小さい場合や、台形歪みなどの発生が少ない場合には、歪み検出画像についてラスタ走査を行い、ラスタ走査の順で検出された基準点Ｐｓにラベルを付与するようにしてもよい。

本発明の動作説明図である。 実施形態１に用いる装置の概略構成図である。 同上に用いる標準パターン板の一例を示す平面図である。 同上における基準点の検出方法を示す図図である。 同上における基準点の位置関係を検出する方法を示す図である。 同上における補正ベクトルの概念を示す図である。 同上において任意の点の補正ベクトルを求める方法を示す図である。 実施形態２に用いる装置の要部の概略構成図である。 同上における歪み検出画像の一例を示す図である。 （ａ）同上において対象物を計測している状態を示す図であり、（ｂ）同上における歪み検出画像を示す図である。 他の標準パターン板を示す平面図である。 図１１の標準パターン板に対応した基準点の求め方を示す図である。

符号の説明

１０ 標準パターン板
１０ａ ドット
１１ ＴＶカメラ（撮像装置）
１２
１５ 投光装置
Ｐｉ 理想基準点
Ｐｓ 基準点
ｐ（ｉ，ｊ） ラベル
ｖ（ｉ，ｊ） 補正ベクトル

Claims (3)

1. 対象物にスリット光を投光する投光装置と、前記投光装置からのスリット光の投光方向とは異なる方向から撮像するように配置された撮像装置と、前記撮像装置に撮像された画像から対象物の３次元形状を計測する画像処理装置とを備え、光切断法による３次元形状計測を行う３次元形状計測装置であって、基本図形が一定間隔で繰り返す標準図形を前記撮像装置により撮像し、前記撮像装置で得られた歪み検出画像から基本図形に対応した４個以上の基準点を検出し、各基準点にラベルを付与する基準点検出過程と、歪みが生じない場合の基準点の位置として標準図形から予測される理想基準点を各基準点に対応付けて設定し、各基準点から当該基準点に対応付けた各理想基準点への変位を補正ベクトルとして求め、各基準点に補正ベクトルを対応付けた第１補正テーブルを作成する第１補正テーブル生成過程と、歪み検出画像の全画素について、それぞれ周囲に位置する４個の基準点を選択した後に、選択した各基準点との距離をそれぞれ求め、前記第１補正テーブルから前記４個の基準点にそれぞれ対応している補正ベクトルを求め、求めた４個の補正ベクトルと前記距離に基づいて決定された重み係数とを用いて、補正ベクトルの内挿補間を行うことにより各画素ごとの補正ベクトルを求め、各画素の座標に補正ベクトルを対応付けた第２補正テーブルを作成する第２補正テーブル生成過程とを有し、前記基準点抽出過程においては、標準図形を表記した標準パターン板の表面を投光装置からスリット光を投光する方向に一致させ、前記画像処理装置は、前記第１補正テーブル生成過程および前記第２補正テーブル生成過程において３次元の補正ベクトルを求めることを特徴とする３次元形状計測装置。
2. 前記基準点検出過程では、着目する基準点に対して画像内で上下左右に隣接する他の基準点を探索し、探索により求めた基準点との位置関係に応じてラベルを付与することを特徴とする請求項１記載の３次元形状計測装置。
3. 前記基本図形は円形のドットであることを特徴とする請求項１または請求項２記載の３次元形状計測装置。

Images