JP4604774B2 - ３次元計測のためのキャリブレーション方法 - Google Patents

Description

この発明は、複数の撮像装置を用いた３次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な２次元のキャリブレーションパターンを用いて、前記３次元計測のためのキャリブレーションを行う方法に関する。また、この発明は、前記のキャリブレーション方法を適用した３次元計測システムに関する。

複数の撮像装置を用いた３次元計測を行うためには、各撮像装置からの距離が異なる点を含む複数の特徴点を用いて、キャリブレーションを行う必要がある。このキャリブレーション方法の代表的なものとして、立体状のキャリブレーションワークを用いる方法がある。この方法では、位置決めされたキャリブレーションワークを各撮像装置により撮像し、それぞれの撮像装置から得られた画像毎に前記特徴点を抽出し、これらの座標を画像間で対応づける。さらに、画像上の２次元座標と３次元座標との関係を示した方程式に、特徴点毎に既知の３次元座標および各画像で対応づけされた２次元座標を代入し、最小自乗法により前記方程式中の未知の係数を算出する（特許文献１参照）。

特許３２３７４１４号 公報

さらに他の方法として、平面状のキャリブレーションワークを使用するものがある。この方法では、所定のキャリブレーションパターンが形成された平面状ワークを１つ用いて、このワークの方向または撮像装置からの距離を変更しながら複数回の撮像を行い、毎時の撮像で得られた画像毎に特徴点を抽出する（非特許文献１参照）。

Zhengyou Zhang "A Flexible New Technique for Camera Calibration"、Microsoft Research Microsoft Corporation，［平成１７年２月２４日検索］、インターネット＜URL:http://research.Microsoft.com/~zhang/calib/＞

立体状のキャリブレーションワークを使用する場合、撮像装置の位置や方向によっては、キャリブレーションに必要な数の特徴点を撮像できない場合がある。他の特徴点やその支持部材などによって隠されてしまう特徴点があるためである。
特許文献１では、特徴点抽出のための棒材（校正ポール）を任意位置に設置可能なワークを使用しているので、上記の問題は解消できるものと解される。しかし、このような構成のワークでは、校正ポールが破損するおそれがあり、取り扱いが困難である。また、一般ユーザーがキャリブレーションを行う場合、校正ポールをどの位置に設置すれば良いかを容易に判断できず、キャリブレーション作業を円滑に進められない可能性もある。

非特許文献１に開示された方法では、平面状のワークを使用するので、ワークの取り扱いは楽になる。また１枚のワークを使用するので、他のワークにより特徴点が隠されてしまうおそれもない。
しかしながら、この方法では、ワークの向きまたは位置を複数回にわたって変更する必要がある。しかも、ワークの向きや位置を変更する都度、撮像を行なわなければならないため、作業が繁雑になる。

一方、工場の生産ラインや検査ラインで利用される３次元計測システムでは、計測対象物や計測目的の変更に応じて撮像装置の設置場所や設置条件が変更される可能性があるため、現場の作業者が適宜キャリブレーションを実施できるようにするのが望ましい。このため、専門知識のない作業者でも、簡単な手法で誤りなくキャリブレーションを行えるように考える必要があるが、従来の方法には上記したような問題点があるため、そのような要望を満たすのは困難である。
この発明は、この点に着目し、キャリブレーションのための作業を簡単にして、一般ユーザーでも精度の良いキャリブレーションを簡単に実行できるようにすることを目的とする。

この発明に係る方法は、複数の撮像装置を用いた３次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な２次元のキャリブレーションパターンを用いて、前記３次元計測のためのキャリブレーションを行うものである。この発明に係る第１の方法では、平行に配列された複数の直線より成る直線群を２グループ以上含み、これらの直線群間に生じる複数の交点を前記特徴点として機能させるキャリブレーションパターンを、各直線群の直線の方向がパターン毎に異なるようにして３種類以上設定し、これらのキャリブレーションパターンのうちの特定の１つを透光性を問わない平面に設けるとともに、その他のすべてのキャリブレーションパターンを透光性を有する平面に設ける。そして、いずれの平面も各撮像装置の光軸に交差し、かつ各撮像手段から見て前記透光性を問わない平面が最後方になるようにして、各平面を前記各撮像装置から遠ざかる方向に沿って順に配置する。

上記のように配置された各平面を、最前方の平面より手前、すなわち撮像装置の側から見ると、最前方の平面のキャリブレーションパターンは勿論のこと、後方の各平面のキャリブレーションパターンも、最前方の平面を介して視認することが可能になる。また、各キャリブレーションパターンに含まれる直線群の直線の方向がパターン毎に異なるように設定されているので、各キャリブレーションパターンの特徴点を平面毎に分離して抽出することができる。よって、各撮像手段を一度撮像するだけで、キャリブレーションを行うのに必要な数の特徴点を得ることが可能になる。

第１の方法では、つぎの４つのステップによりキャリブレーションを実現する。第１ステップでは、前記の平面の配置状態において各撮像装置を駆動する。この場合、各撮像装置を同時に駆動することができる。ただし、キャリブレーションを行うという趣旨からして、撮像中に各平面を移動させるとは考えられないから、各撮像装置を順に駆動してもよい。

第２ステップでは、前記第１ステップで各撮像手段により得られた画像につき、それぞれ特定の１つのキャリブレーションパターンに含まれる直線を直線群毎に複数抽出する処理と、これらの直線間の交点を前記特徴点として抽出する処理とを、キャリブレーションパターン毎に実行する。この処理により、キャリブレーションパターン毎に複数の特徴点を抽出することができる。

第３ステップでは、第２ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする。すなわち、前記キャリブレーションパターンにおける相対位置関係に基づき、実空間における同一の特徴点に該当する画像上の特徴点を抽出し、これらの点の座標を対応づける、と考えることができる。たとえば、撮像装置毎に得た画像毎に、その画像から抽出された特徴点の中からあらかじめ定めた規準の特徴点（以下、「基準点」という。）を抽出し、これらの座標を対応づける。さらに、他の特徴点についても、基準点に対する位置関係（たとえば基準点に対する方向や配置の順序など）が同一のものどおしを対応づけることができる。

第４ステップでは、第３ステップで対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出する。ここで特徴点の位置情報とは、前記第３ステップにおいて対応づけられた各画像上の座標と、実空間における座標の双方を含むと考えることができる。実空間の座標は、キャリブレーションパターンが設けられている平面における特徴点の配列関係や、その平面の最後方の平面に対する距離に基づいて、求めることができる。

なお、上記の方法では、非特許文献１と同様の手法によりパラメータを算出することができる。また３枚以上の平面を使用する場合には、互いの面間の配置関係がわからなくとも、すべてのパラメータを計算により求めることができる。また、各平面の向きを統一しなくともよい。
さらに、最後方の平面にも、他の平面と同様に透光性を有するものとしてもよい。

上記第１の方法によれば、キャリブレーションパターンが設けられた複数の平面を任意の順序で配置し、各撮像装置による撮像をそれぞれ一回実行するだけで、すべての平面のキャリブレーションパターンを含む画像を撮像し、パラメータの算出に必要な特徴点を抽出することができる。また、各平面のキャリブレーションパターンを最前方の平面を介して視認することができるから、一般ユーザーでも、各キャリブレーションパターンが分離可能な状態で設置されているか否かを容易に確認することができる。

この発明に係る第２、第３の方法は、第１の方法と同様の構成のキャリブレーションパターンを２つ使用するもので、キャリブレーションパターンの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設ける。第２の方法では、各平面がそれぞれ各撮像手段の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置する。そして、前記第１の方法と同様の第１〜第４ステップを実行する。

キャリブレーションのための平面を２つにする場合、各平面間の角度（具体的には各平面の法線がなす角度）と、平面間の相対位置情報（一方の面の特定の点と他方の面の任意の点との間の距離）が判明していれば、３次元計測に必要なパラメータを算出することが可能になる。第２の方法は、上記２種類の情報が既知であることを条件として実行されるものである。

第３の方法は、上記２種類の情報が既知でない環境下で実行されるもので、２つの平面がそれぞれ各撮像手段の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置し、かつ各平面が平行になるようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置する。そして、前記第１の方法と同様の第１〜第４ステップを実行する。

第２、第３の方法では、各撮像装置から見て前方に位置する平面に透光性をもたせているので、前方の平面を介して後方の平面のキャリブレーションパターンを視認することができる。よって、２つのキャリブレーションパターンを同時に撮像することが可能になる。

第２、第３の方法でも、各撮像装置による撮像をそれぞれ一回実行するだけで、すべての平面のキャリブレーションパターンを含む画像を撮像し、パラメータの算出に必要な特徴点を抽出することができる。

上記第１〜第３の方法に適したキャリブレーションパターンとして、２方向に沿う直線を交差させたパターン（たとえば格子状のパターン）を設定することができる。この場合、平面毎にキャリブレーションパターンの形成方向を変えたり、同一のキャリブレーションが形成された平面を所定角度ずつ回転させながら設置させるなどして、各直線群に係る直線の方向を平面毎に変化させるようにすれば、前後の平面間のキャリブレーションパターンが重なり合わない状態を設定することができる。

なお、直線を抽出するには、抽出対象の直線の方向に沿って画像の投影処理（具体的には、直線の方向に沿って濃度値の総和を求める。）を実行し、濃度が最も低い位置（ただし、画像が暗くなるほど濃度値が小さくなるものとする。）とすることができる。または、画像上のエッジ構成画素を抽出し、その抽出結果から、濃度勾配方向が同じエッジ構成画素が連なる画像領域を、直線として抽出するようにしてもよい。

つぎにこの発明に係る第４および第５の方法では、キャリブレーションパターンとして、平面毎に態様の異なるマークが複数配列されたパターンを使用する。一方のキャリブレーションパターンでは、内部が塗りつぶしされたマークが配列され、他方のキャリブレーションパターンでは、上記の塗りつぶしされたマークより小さな幅の輪郭線のみが示されたマークが配列される。

また、第４および第５の方法でも、各キャリブレーションパターンのうちの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設ける。また、各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て透光性を有する平面が透光性を問わない平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置する。さらに第５の方法では、第３の方法と同様に、各平面を配置する際に、これらの平面が平行になるように設定する。

第４および第５の方法では、各撮像装置を駆動する第１ステップを実行した後に、第１ステッで各撮像装置により得られた画像につき、それぞれ特定の１つのキャリブレーションパターンに含まれる複数のマークの重心または中心点を前記特徴点として抽出する第２ステップを実行する。さらに、第１〜第３の方法と同様の第３ステップおよび第４ステップを実行することにより、３次元計測用のパラメータを算出する。

上記第４および第５の方法によれば、２種類のキャリブレーションパターンが撮像装置から見て前後する位置関係に置かれても、一方のマークにより他方が隠されてしまうことがないので、第２ステップでは、双方のマークを分離して抽出することが可能になる。たとえば、画像の膨張処理により、輪郭線のみのマークを消失させて、塗りつぶしのマークを抽出した後、膨張処理前の画像と膨張処理後の画像との差分演算を実行することにより、輪郭線のみのマークを抽出することができる。

さらに、第１〜第５のキャリブレーション方法では、各平面に形成されるキャリブレーションパターンとして、周期性を有するパターンであるが、特定位置のみ前記周期性が欠落したものを使用することができる。周期性を欠落させた部分には、他とは異なるマークを配置したり、パターンが存在しない空白領域を設定することができる。

上記の態様によれば、周期性が欠落している部分について、重心などの代表点を抽出し、これを前記基準点とすることができる。さらに、その他の周期性を有するパターンから抽出した特徴点を、前記基準点との位置関係に基づいて特定することができる。これにより、撮像装置毎に得た画像間での特徴点の対応づけが可能になり、キャリブレーションのための演算を実行することができる。また、周期性が欠落している部分を目印にして、各平面を位置合わせすることができるから、いずれかの平面の基準点を原点とする空間座標系を設定して、各特徴点の３次元座標を特定することができる。

つぎに、この発明にかかる第６のキャリブレーション方法では、相対位置関係が既知の特徴点を複数含む２次元のキャリブレーションパターンが設けられた２つの平面を、それぞれ前記各撮像装置の光軸に交差し、かつ各平面が平行になるようにして、あらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って順に配置する。さらに、前方の平面には偏光手段が設けられる。

この方法における２つの平面の配置状態は基本的には第３の方法と同様であるが、前方の平面に偏光手段を設けた点が異なる。たとえば、前方の平面を偏光性媒質により構成することにより、後方の平面に作用する光の方向を一方向に限定することができる。なお、以下では、前面の平面を透過する光を「偏光の方向に対応する光」といい、前面の平面を透過しない光を「偏光の方向に対応しない光」という。

さらに、この第６の方法では、以下のステップＡ，Ｂ，Ｃ，Ｄ，Ｅを実行する。
ステップＡでは、上記した平面の配置状態において、前方の平面に対し、前記偏光手段の偏光の方向に対応する光および前記偏光の方向に対応しない光を順に照射するとともに、光を照射する毎に前記各撮像装置を駆動する。すなわち、この方法では、照明の方向を変更しながら、少なくとも２回の撮像を行う必要がある。

ステップＢでは、偏光の方向に対応しない光が照射されているときに各撮像装置により得た画像につき、それぞれ前方の平面のキャリブレーションパターンに含まれる特徴点を抽出する。ステップＣでは、偏光の方向に対応する光が照射されているときに各撮像装置により得た画像と前記ステップＢでの抽出結果とを用いて、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出する。
ステップＤでは、前記ステップＢ，Ｃで抽出された特徴点を画像間で対応づける。ステップＥでは、対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出する。

前方の平面に偏光の方向に対応する光が照射された状態下では、前方の平面を透過した光により後方の平面も照明される。したがって、この照明状態下で撮像を行うと、前後の各平面に設けられたキャリブレーションパターンを共に含む画像を得ることができる。一方、偏光の方向に対応しない光が照射された状態下では、その照射光は前方の平面で遮光されるから、その照明下で撮像された画像には、前方側のキャリブレーションパターンのみが現れる。後者の画像はステップＢでの処理対象となり、前者の画像はステップＣでの処理対象となる。

第６の方法では、撮像回数は２回になるが、特徴点を簡単に抽出することができる。すなわち、ステップＢで処理する画像には、前方の平面のキャリブレーションパターンのみが含まれているから、通常の特徴点の抽出処理を行うだけで良い。またステップＣでは、偏光の方向に対応する光による照明下で得られた画像を処理するので、特徴点の抽出処理を行った後、画像上の特徴点のうち、ステップＢで抽出されたのと同じものを除くことによって、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出することができる。
なお、上記第６の方法に代えて、前方の平面を透光性を有する平面とし、各平面の間に偏光板を設けて、上記のステップＡ〜ステップＥを実行することもできる。

上記第１〜第５のキャリブレーション方法を実行するための３次元計測処理システムとして、複数の撮像装置と、各撮像装置から得た画像を用いて３次元計測処理を行う計測装置と、相対位置関係が既知の特徴点を複数抽出することが可能な２次元のキャリブレーションパターンが設けられた複数の平板状のワークと、少なくとも２枚のワークをそれぞれ異なる平面に支持する支持具とを含むシステムを構成することができる。複数のワークのうちの少なくとも１つは、透光性を有する材料により形成されている。また、前記支持具は、支持対象の各ワークを、それぞれ各撮像装置の光軸に交差し、かつあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って順に位置するように支持する。

上記の構成では、各撮像装置から最も遠い位置に支持されるものを除く各ワークを、それぞれ透光性を有する材料によるワークとすることにより、前出の第１〜５のキャリブレーション方法を実行することができる。勿論、すべての支持位置に透光性を有する材料によるワークを設置することもできる。

前記第１〜５のキャリブレーション方法を実行するために、前記計測装置には、各撮像装置により支持具に支持されたワークが撮像されたとき、各撮像装置により得られた画像につき、それぞれ前記特徴点をキャリブレーションパターン毎に分離して抽出する特徴点抽出手段；抽出された各特徴点を前記相対位置関係に基づき画像間で対応づけする対応づけ手段；対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出するパラメータ算出手段；前記パラメータ算出手段が算出したパラメータを保存する記憶手段；の各手段が設けられる。特徴点抽出手段は前記第２ステップを、対応づけ手段は前記第３ステップを、パラメータ算出手段は前記第４ステップを、それぞれ実行するためのもので、いずれも対応するステップを実行するためのプログラムを組み込んだコンピュータにより構成することができる。また、記憶手段は、前記コンピュータのメモリに設定することができる。

さらに、前記計測装置には、前記第１ステップに対応する手段、すなわち各撮像装置を駆動する手段を設けることができる。ただし、この駆動手段は計測装置の外部に設けることもできる。

上記の３次元計測処理システムの好ましい態様においては、前記支持具は、一対のワークを前記所定距離をおいてそれぞれのワーク面を水平にした状態で支持するように構成される。この場合、上方で支持されるワークを透光性を有する材料によるワークとし、各撮像装置を支持具の上方に配備すれば、前記第３または第５のキャリブレーション方法を実行することが可能になる。

各ワークを水平状態で支持する支持具として、水平方向に沿うワーク支持面を有するものを考えることができる。ただし、この場合には、少なくとも上方の支持面を透光性を有する材料により構成する必要がある。また各ワークにある程度の厚みがあれば、それぞれのワークを端縁で支持するような構成の支持具を用いることもできる。
なお、下方のワークは、支持具が設置されるのと同一平面上に設置し、このワークをまたぐように支持具を設置して、上方のワークを支持するようにしてもよい。

より好ましい態様では、前記支持具は少なくとも上方のワークを支持するためのワーク支持面を有する。このワーク支持面は透光性を有する材料により形成される。また、一対のワークの基準点となるべき位置には、それぞれ位置合わせ用のマークが形成される。なお、この種のワークとして、前記した周期性を有するパターンであるが、特定の位置のみ前記周期性が欠落しているキャリブレーションパターンを有するワークを採用することができる。
上記の態様によれば、各位置合わせ用マークを参照することにより、上下のワークの基準点を簡単に位置合わせすることができる。よって、いずれかの基準点を原点とする空間座標系を設定し、その座標系の座標により双方のワークの位置を特定することが可能になる。なお、位置合わせマークは、●印や×印など基準点を特定しやすいものにするのが望ましい。または、２本の直線の交点を位置合わせマークとして機能させることもできる。

一対のワークを水平状態で支持する支持具の他の好ましい態様では、前記一対のワークのうちの少なくとも上方のワークを透光性を有する材料により形成されたものにして、各ワークを支持具本体に一体に設ける。この構成によれば、一対のワークは固定配備されるので、ユーザーによるワークの位置決め作業は不要となり、一般ユーザーでも簡単にキャリブレーション作業を実行することが可能になる。

この発明によれば、キャリブレーションパターンが固定された平面状のワークを複数作成し、これらのワークを所定の順序で並べて撮像することにより、キャリブレーションに必要な特徴点を得ることができるから、キャリブレーションのための作業を簡単にすることができる。

図１は、この発明を適用した３次元計測システムの構成例を示す。
この３次元計測システムは、２台のカメラ１Ａ，１Ｂと、計測装置２と、画像表示用のモニタ３とを含む。計測装置２には、各カメラ１Ａ，１Ｂに対応する画像入力部２０Ａ，２０Ｂ、カメラ駆動部２１、演算処理部２２、出力部２９などが設けられる。なお、この３次元計測システムでは、水平面に設置された計測対象物を撮像することを前提としており、各カメラ１Ａ，１Ｂは、図２に示すように、それぞれ光軸を下方に向けて配備される。

前記カメラ駆動部２１は、各カメラ１Ａ，１Ｂを同時に駆動し、計測対象物を撮像させる。なお、計測時のカメラ１Ａ，１Ｂの駆動は、外部信号の入力（たとえば計測対象物の検知用のセンサからの信号）に応じて行われるが、後記するキャリブレーション処理では、図示しない操作部による撮像操作に応じてカメラ１Ａ，１Ｂを駆動する。各カメラ１Ａ，１Ｂにより生成された画像信号は、それぞれの画像入力部２０Ａ，２０Ｂに入力され、ディジタル変換される。これにより、カメラ毎に処理用のディジタル画像（以下、「処理対象画像」という。）が生成される。

演算処理部２２は、コンピュータにより構成されるもので、前記カメラ毎の処理対象画像を用いて３次元計測処理を実行する。出力部２９は、この３次元計測結果を、ＰＬＣなどの外部機器に出力するための出力用インターフェースである。

前記演算処理部２２には、前記処理対象画像を格納するための画像メモリ２３のほか、画像処理部２４、パラメータ算出部２５、計測処理部２６、表示制御部２７、パラメータ記憶部２８などが含められる。なお、画像メモリ２３およびパラメータ記憶部２８以外の各部は、専用のプログラムにより前記コンピュータに設定された機能である。また、画像メモリ２３やパラメータ記憶部２８は、前記コンピュータのメモリ（ＲＡＭなど）に設定される。

画像処理部２４は、前記画像メモリ２３に格納された２つの処理対象画像に、エッジ抽出処理などを施して、計測対象物の構成点（たとえば輪郭の構成点）を抽出する。さらに、画像処理部２４は、パターンマッチング処理などを用いて、各処理対象画像間の同一構成点を対応づける処理を実行する。この対応づけ結果は計測処理部２６に渡される。計測処理部２６は、構成点毎に、それぞれ各処理対象画像におけるその構成点の座標を所定の演算式に代入し、各構成点の３次元座標（Ｘ，Ｙ，Ｚ）を算出する。

パラメータ記憶部２８には、前記演算式に含まれる各種係数（後記する式（１）（２）の行列［Ｐ］［Ｑ］に含まれるもの。）が保存される。これらの係数の値は、各カメラにより構成されるステレオ座標系と実際の位置を表す空間座標系との関係（各座標間の原点間の距離、空間座標系に対するステレオ座標系の回転ずれ量など）に応じて変動する（以下、これらの係数を「パラメータ」という。）。このパラメータは、前記３次元計測に先立ち、画像処理部２４およびパラメータ算出部２５の処理により算出され、前記パラメータ記憶部２８に格納される。

表示制御部２７は、前記モニタ３の表示動作を制御するためのもので、各画像入力部２０Ａ，２０Ｂが生成した処理対象画像のほか、画像処理部２４や計測処理部２６による処理結果（処理対象画像から生成された変換画像、３次元計測の結果など）を表示させることができる。

上記の３次元計測処理システムでは、つぎの図２に示すような方法によるキャリブレーションを行って、前記パラメータを算出するようにしている。
この方法では、キャリブレーションワークとして、所定のキャリブレーションパターンが印刷された透明シート５（以下、単に「シート５」という。）を使用する。具体的には、２枚の透明支持板（図示せず。）を所定長さの連結棒４を介して連結し、各支持板の上面にそれぞれ前記シート５を設置する。これにより、各シート５，５は、所定の距離を隔て、かつ各シート面を水平にして、上下に並べて配備される。

図３は、前記シート５の具体例を示す。
この実施例のシート５には、直交する２方向につき、それぞれその方向に沿う複数の直線を等間隔に配置した構成のキャリブレーションパターン（いわゆる格子状のパターン）が印刷されている。一方のシート５（以下、「第１シート５ｐ」という。）には、その縦方向および横方向に沿う直線による格子状パターンが形成され、他方のシート５（以下、「第２シート５ｑ」という。）には、第１シート５ｐと同形状の格子状パターンが４５度回転した状態で形成されている。

さらに、これらのシート５ｐ，５ｑでは、平行配備された一群の直線のうちの中央の直線５０ｐ，５１ｐ，５０ｑ，５１ｑ（いずれもシートの中心点を通過するように設定されている。）の幅を、その他の直線よりも太く形成している（以下、これら幅の太い直線５０ｐ，５１ｐ，５０ｑ，５１ｑを「基準線」という。）。これらの基準線の交点Ｏｐ，Ｏｑは、シート５ｐ，５ｑの位置合わせや、キャリブレーションパターン中の各特徴点を特定する際の基準点として機能する（以下、交点Ｏｐ，Ｏｑを「基準点Ｏｐ，Ｏｑ」という。）。
なお、以下の図では、画像中に現れる基準線や基準点にも、実際のシート５ｐ，５ｑを示した図３と同様の符号（５０ｐ，５１ｐ，５０ｑ，５１ｑおよびＯｐ，Ｏｑ）を用いることにする。

上記のシート５ｐ，５ｑでは、各直線の交点を特徴点として機能させるようにしている。キャリブレーション処理では、前記図２に示した方法で各シート５ｐ，５ｑを撮像し、得られた画像からシート毎にキャリブレーションに必要な特徴点を複数抽出するようにしている。
図４は、このキャリブレーション処理における一連の処理の流れを示す。以下、この図に示すステップ１〜８の処理について、順を追って説明する。

（１）ステップ１：撮像処理
前記した２枚のシート５ｐ，５ｑは、それぞれ基準点が位置合わせされ、かつ４本の基準線５０ｐ，５１ｐ，５０ｑ，５１ｑがそれぞれ４５°間隔で配置されるようにして、上下に並べて設置される。ステップ１では、この状態下で各カメラ１Ａ，１Ｂを同時に駆動し、キャリブレーション用の処理対象画像を生成する。

各シート５ｐ，５ｑの背景は透明であるので、上記した設置状態によれば、上方のシート５ｐを介して下方のシート５ｑのキャリブレーションパターンを視認することができる。よって、いずれのカメラ１Ａ，１Ｂでも、図５に示すように、上下の格子パターンを合成したような処理対象画像を生成することができる。

（２）特徴点の抽出方法
ここで、以下のステップを説明する前に、図６を用いて、特徴点を抽出する方法を簡単に説明する。
この実施例では、画像上の直線を方向毎に分離して抽出した後、第１シートに対応する直線（図中の０°の直線と９０°の直線）と、第２シートに対応する直線（図中の４５°の直線と１３５°の直線）とをそれぞれ組み合わせ、これらの組み合わせ毎に、直線の交点を求めるようにしている。以下のステップ２〜５は、上記の処理を具体化したものであって、２枚の処理対象画像毎に実行される。

なお、上記した図６や以下の図７，８，９では、紙面の左から右に向かう方向を０°として、４方向の直線を、０°，４５°，９０°，１３５°の方向に沿って示すとともに、それぞれ「０°の直線」「４５°の直線」「９０°の直線」「１３５°の直線」と表現する。ただし、これらの表現は便宜上のものであり、画像に現れる直線の方向は微妙に変動する。シート５ｐ，５ｑに対するカメラ１Ａ，１Ｂの位置関係や光軸の方向による影響を受けるためである。

（３）ステップ２，３：第１シートの直線抽出処理および特徴点の抽出処理
このステップ２では、処理対象画像から第１シートに対応する０°の直線および９０°の直線をそれぞれ個別に抽出する。
図７は、０°の直線を抽出する方法の具体例を示す。なお、以下では、前記０°の方向をｘ軸、これに直交する方向（９０°の方向）をｙ軸とする。

この例では、処理対象画像の所定位置に、複数の直線にまたがる長さを有する小領域１０を設定し、この小領域１０内の画像をｘ軸方向に沿って投影する。具体的には、前記小領域内のｙ座標が等しい画素を１グループとして、グループ毎濃度の総和を求め、その算出値をｙ座標に対応づけたヒストグラムを作成する。

図７中、（Ａ）は処理対象画像の全体像であり、（Ｂ）は前記小領域１０内の画像を拡大したものである。さらに（Ｃ）は、前記小領域１０の投影処理により得られたヒストグラムを拡大図（Ｂ）にｙ座標を合わせて示したものである。
上記の拡大図（Ｂ）に示すように、０°の直線に対応するｙ座標では、その座標にかかるライン上のほぼ全ての画素が直線の構成画素となる。したがって、画像が暗くなるほど濃度値が小さくなるように設定されている場合には、投影処理を行うと、（Ｃ）に示すように、０°の直線に対応する位置における投影値は、その他の位置の投影値よりも小さくなる。よって、前記ヒストグラム中の各極小値（＋マークで示す。）に対応するｙ座標を、０°の直線が通過する位置として特定することができる。

また、０°の方向に沿う基準線５１ｐは、他の直線より幅が太くなるため、ヒストグラム上にも、他の直線よりも幅の広い変化として反映される（図中の点線円Ｒで囲んだ部分が基準線５１ｐに対応する変化である。）。すなわち、極小値を中心とする変化の幅を相互に比較することにより、基準線の通過位置を示すｙ座標を特定することが可能になる。

図８は、ステップ２およびステップ３において行われる処理の詳細を示す。
ステップ２では、まず０°の直線を抽出するために、前記した投影処理用の小領域１０をｘ軸に沿って複数個設定し、これらの小領域毎に投影処理を行って、直線の通過点（図中＋マークにより示す。）を抽出する（図８の（１））。

つぎに、各小領域１０間において、同一直線上に位置する複数の点を対応づける。具体的には、いずれか一領域の１点に着目し、その他の領域について、それぞれ前記着目点に対するｙ座標の差が所定範囲内にある点（一領域につき一点）を抽出し、着目点に対応づける。この処理を数サイクル繰り返すことにより、直線毎に、その直線上に位置する複数の点を特定し、これらの点の座標を用いて直線の式を特定する。
上記のように、複数の小領域１０を設定して、これらの領域毎に直線の通過点を求め、これらの通過点の座標から直線の式を設定するので、画像上の直線の方向が０°方向からずれた場合にも、その方向を精度良く抽出することができる。

図８の（２）は、上記の方法による直線の抽出結果を示したもので、直線の式が設定された範囲を塗りつぶしにより示すとともに、各式により特定された直線を他の直線よりも幅を太くして表している。

さらにステップ２では、９０°の直線を抽出するために、前記小領域１０をｘ軸方向に長いものに変更し、この小領域１０をｙ軸方向に沿って複数個設定する。そして、各小領域１０につき、それぞれその領域内の画像をｙ軸方向に沿って投影し、直線の通過点を抽出する（図８の（３））。

この後、０°の直線について実行したのと同様の方法により、直線毎に、その直線上に位置する複数の点を特定し、これらの点の座標を用いて直線の式を特定する。図８（４）は、この一連の手順により抽出された直線を、前記図８（３）と同様の方法により示したものである。

このようにして、０°および９０°の直線に対応する直線の式がそれぞれ複数特定されると、ステップ３に進み、これらの直線の式を用いて各直線の交点の座標を算出する。これにより、図８（５）に示すように、複数の特徴点（図中の●印）が抽出される。

なお、直線を抽出する際の投影処理では、前記したように、ヒストグラム上の変化の幅に基づいて、基準線５０ｐ，５０ｑを特定することができる。ステップ３には、これらの基準線５０ｐ、５１ｐの式から基準点Ｏｐの座標を特定する処理も含まれている（図８（５）では、この基準点Ｏｐを○印で示している。）。

上記のようにして、処理対象画像毎に、第１シート５ｐの特徴点が複数個抽出される。抽出された特徴点の座標は、図示しないＲＡＭに保存され、つぎの第２シートに対する処理に移行する。

（４）ステップ４，５：第２シートの直線抽出処理および特徴点の抽出処理
ステップ４では、ステップ２と同様の投影処理により、２方向に沿う直線を抽出する。ただし、第２シート５ｑの直線は、４５°または１３５°の方向を向いているので、その方向に沿って投影処理を行う必要がある。

図９は、４５°の直線および１３５°の直線を抽出する方法を示す。この場合、抽出対象の直線の方向を投影方向として、その投影方向に直交する方向に長い小領域１０が設定される。また、前記図８の（１）（３）と同様に、投影方向に沿って複数の小領域１０が並べられる。

小領域１０毎に画像を投影する処理により、各小領域において、複数の直線の通過点が抽出されると、以下、第１シート５ｐに対する方法と同様にして、各直線の式を特定する。この後はステップ５に進み、各直線の式から交点の座標を算出し、それぞれの座標を特徴点の座標としてＲＡＭに保存する。また、このステップ５には、前記投影処理結果から特定した基準線５０ｑ，５１ｑの式を用いて、前記基準点Ｏｑの座標を特定する処理が含まれている。

（５）ステップ６：画像間における特徴点の対応づけ処理
上記ステップ２〜５により、カメラ１Ａ，１Ｂから得られた２枚の処理対象画像について、それぞれシート５ｐ，５ｑ毎に、複数個の特徴点が抽出されると、ステップ６では、画像間において、同一の特徴点どおしを対応づける処理を実行する。この対応づけ処理は、前記基準点Ｏｐ，Ｏｑに対する相対位置関係を用いて行われる。

図１０は、前記第１シート５ｐの一部領域５２を拡大して、この領域５２内の各特徴点（前記基準点Ｏｐを×印、他の特徴点を●印にしている。）の配列状態を表したものである。
前記したように、第１シート５ｐ上の各直線は、等間隔をおいて配備されているから、これらの交点である特徴点も、直線間と同じ間隔で並んでいると考えることができる。したがって、各特徴点に対し、基準点Ｏｐから見て水平方向（Ｘ軸方向）にｉ番目、垂直方向（Ｙ軸方向）にｊ番目の点Ｕ_ｉｊとしてラベル付けを行うことができる（ｉ，ｊは、それぞれｘ軸方向、ｙ軸方向に沿って変化するもので、正の整数または負の整数となる。また基準点Ｏｐは、Ｕ_００のラベルを設定することができる。）。
他方の第２シート５ｑについても、同様に、各特徴点を基準点Ｏｑとの位置関係に基づいて、ラベル付けすることができる。

処理対象画像においても、各特徴点の配列方向や間隔は、撮像条件によって若干変動すると考えられるが、基準点Ｏｐ，Ｏｑに対する方向や配列の順序については、上記図１０と同様の関係が成立すると考えることができる。
ステップ６では、上記の考察に基づき、処理対象画像中のシート５ｐ，５ｑ毎の特徴点を、それぞれ前記ステップ３，５で特定された基準点Ｏｐ，Ｏｑを基準に、前記引数ｉ，ｊを用いてラベル付けする。そして、各処理対象画像からｉ，ｊの値が一致する特徴点をそれぞれ抽出し、これらの座標を対応づける。

（６）ステップ７：各特徴点の３次元座標の特定処理
ステップ７では、パラメータの算出に先立ち、各特徴点の実際の空間における座標（Ｘ，Ｙ，Ｚ）を特定する。この処理でも、前記基準点Ｏｐ，Ｏｑを基準にした配列順序を用いることができる。なお、以下では、前出の図２に示したように、第１シート５ｐが上方に、第２シート５ｑが下方に設置されていることを前提に説明する。

ステップ７では、各シート５ｐ，５ｑが基準点Ｏｐ，Ｏｑで位置合わせされていることを利用して、下方の第２シート５ｑの基準点Ｏｑを原点（０，０，０）とする空間座標系を設定する。ここでシート５ｐ，５ｑ間の距離をｄｚとすると、他方の基準点Ｏｐの座標は（０，０，ｄｚ）となる。

さらに、各シート５ｐ，５ｑにおける特徴点間の距離をＤとし、第１シート５ｐの特徴点Ｕ _ｉｊの座標を（Ｘ_ｐｉｊ，Ｙ_ｐｉｊ，Ｚ_ｐｉｊ）とおき、第２シート５ｑの特徴点の座標を（Ｘ_ｑｉｊ，Ｙ_ｑｉｊ，Ｚ_ｑｉｊ）とおくと、これらの座標は、下記のように表される。

以下、これらの式により特定される空間座標をパラメータの算出に使用する。

（７）ステップ８：パラメータの算出
ステップ８では、特徴点毎に、それぞれステップ７で特定された３次元座標と、ステップ６で対応づけられた各処理対象画像上の座標とを用いて、各種パラメータを算出する。
ここで、各特徴点について、それぞれ３次元座標を（Ｘ，Ｙ，Ｚ）とし（ＸはＸ_ｐｉｊまたはＸ_ｑｉｊ；ＹはＹ_ｐｉｊまたはＹ_ｑｉｊ；ＺはＺ_ｐｉｊまたはＺ_ｑｉｊである。）、カメラ１Ａ側の画像における座標を（ｘ_Ａ，ｙ_Ａ）とし、カメラ１Ｂ側の画像における座標を（ｘ_Ｂ，ｙ_Ｂ）とする。）とすると、これらの座標の間には、つぎの（１）（２）式の関係が成立する。よって、ＳＴ８では、各特徴点毎に、それぞれ上記の３種類の座標を（１）（２）式に代入し、最小自乗法を用いて行列［Ｐ］［Ｑ］を算出する。なお行列［Ｐ］［Ｑ］の構成式は（３）（４）式のとおりである。

（８）ステップ９：パラメータの保存
上記のようにして、行列［Ｐ］［Ｑ］を構成する各パラメータが算出されると、ステップ９では、これらのパラメータを前記パラメータ記憶部２８に格納する。これにより、一連のキャリブレーション処理が終了し、３次元計測処理を実行することが可能になる。

以上、説明したキャリブレーションによれば、２枚のシート５ｐ，５ｑを基準点Ｏｐ，Ｏｑを位置合わせした状態で上下に配置し、各カメラ１Ａ，１Ｂによる撮像を１回実行するだけで、３次元計測に必要なパラメータを算出することができる。よって、専門知識のない一般ユーザーでも、簡単にキャリブレーションを実行することが可能になる。
なお、前記した支持板に、各シート５ｐ，５ｑの基準線５０ｐ，５１ｐ，５０ｑ，５１ｑと同様の直線など、位置合わせ用のマーカーを付すようにすれば、シート５ｐ，５ｑを正確かつ簡単に位置合わせすることができる。

また、上記の実施例では、各方向毎の直線を投影処理により抽出したが、これに代えて、処理対象画像に対してエッジ抽出処理を実行し、各エッジ構成画素の濃度勾配方向を用いた直線抽出処理を実行することもできる。この処理の詳細については、下記の特許文献２を参照されたい。
特開２００２−２３０５６２ 公報

また、前記シート５ｐ，５ｑを使用する方法に代えて、一対の板状ワークにそれぞれ前記した２種類の格子状パターンを印刷し、これらの板状ワークを所定長さの連結棒を介して連結した構成の治具を使用してもよい。この場合、あらかじめ、基準点Ｏｐ，Ｏｑを位置合わせしておくことができるから、ユーザーは、カメラ１Ａ，１Ｂの下方に治具を設置して撮像を行うだけで良くなり、きわめて簡単にキャリブレーションを実行することができる。

ただし、上記の実施例では、パラメータの算出処理の説明を簡単にするために、基準点Ｏｐ，Ｏｑを位置合わせしただけであり、基準点Ｏｐ，Ｏｑを位置合わせしなくとも、パラメータを算出することは可能である。

つぎに、上記の実施例では、キャリブレーションパターンとして格子状のパターンを使用したが、これに限らず、他のパターンを使用することもできる。
図１１は、前記シート５ｐ，５ｑに、格子状パターン以外のパターンを形成した例を示す。この例の第１シート５ｐには、黒く塗りつぶしされた円が、縦横各方向にそれぞれ等間隔に配列されている。他方の第２シート５ｑには、前記第１シート５ｐよりも面積が大きく、輪郭線のみが示された円が、縦横各方向に等間隔に配列されている。

ただし、いずれのシート５ｐ，５ｑとも、中心位置に置かれるはずの１個分の円を欠落させている（図では、欠落部分を一点鎖線の枠で囲んで示している。）。また、第１シート５ｐの黒塗りの円の面積は、第２シート５ｑの円の輪郭線の幅よりも大きくなるように設定される。

上記のキャリブレーションパターンの構成によれば、各シート５ｐ，５ｑを上下に配置しても、面積の小さな第１シート５ｐ上の円が第２シート５ｑ上の円により隠されてしまうことがなく、双方の円を分離して抽出することが可能になる。また、この実施例では、各円の重心を特徴点として機能させることができる。また、中央の円が欠落している部分についても、他の円の配列状態から仮想の円を設定して重心を求めることができる。よって、この仮想の円の重心を基準点として機能させることができる。

図１２は、前記図１１のシート５ｐ，５ｑを用いてキャリブレーションを行う場合の処理の流れを示す。
最初のステップＡでは、前記シート５ｐ，５ｑを、前記中央の円の欠落部分が位置合わせされた状態で設置し、各カメラ１Ａ，１Ｂにより撮像する。この後は、カメラ１Ａ，１Ｂ毎に得られた処理対象画像について、それぞれステップＢ〜Ｆの処理を実行する。

ステップＢでは、前記処理対象画像を膨張処理する。具体的には、各画素の明るさを、それぞれその画素の周囲近傍領域中の最大の明るさに変換する。このような処理を行うことにより、輪郭線のみが暗い第２シート５ｑの円を消失させることができる。一方、第１シート５ｐの黒塗りの円は、面積は若干小さくなるものの、処理後も残存させることができる。

つぎのステップＣでは、前記膨張処理後の画像を収縮処理する。具体的には、上記とは逆に、各画素の明るさを、それぞれその画素の周囲近傍領域中の最小の明るさに変換する。この処理により、第１シート５ｐの円の大きさを回復させることができる。

ステップＤでは、上記ステップＢ，Ｃを経た画像を２値化し、第１シート５ｐの円を抽出する。そして、各円の重心の座標を求め、これらを特徴点の座標としてＲＡＭに保存する。さらに、抽出された各円の配列状態から、中央の円の欠落部分を抽出し、その部分に仮想の円を設定してその重心を求める。この重心の座標は、第１シート５ｐの基準点Ｏｐの座標としてＲＡＭに保存される。

つぎに、ステップＥでは、ステップＡで生成された処理対象画像とステップＢの膨張処理後の画像とを対象として、これらの画像の差分演算処理を実行する。この差分処理画像によれば、第１シート５ｐの円を消失させ、第２シート５ｑの円を残存させることができる。

ステップＦでは、上記の差分処理画像を２値化処理して、第２シート５ｑの円を抽出する。そして、各円の重心の座標を求め、これらを特徴点の座標としてＲＡＭに保存する。
さらに、抽出された各円の配列状態から、中央の円の欠落部分を抽出し、その部分に仮想の円を設定してその重心を求める。この重心の座標は、第２シート５ｑの基準点Ｏｑの座標として、ＲＡＭに保存される。

このようにして、各シート５ｐ、５ｑの特徴点および基準点Ｏｐ，Ｏｑが抽出されると、以下、ステップＧ，Ｈ，Ｉ，Ｊを順に実行する。なお、これらのステップは、それぞれ前記図４のステップ６，７，８，９に対応するものであり、ここでは詳細な説明を省略する。
上記した一連の処理により、３次元計測に必要なパラメータが算出され、パラメータ記憶部２８に格納される。

なお、上記図１１の手順では、膨張・収縮処理や差分処理により、各シート毎の円を分離して抽出するようにしたが、円の抽出方法はこれに限定されるものではない。たとえば、処理対象画像からエッジ構成画素を抽出し、抽出された各画素において、それぞれその濃度勾配方向に沿って一方の円の半径に対応する長さの線分を設定することにより、その線分の円に対応する中心点を抽出することができる。この方法の詳細については、下記の特許文献３を参照されたい。
ＷＯ９９／５２０７２ 再公表公報

さらに、上記した２つの実施例では、いずれも、周期性を有するキャリブレーションパターンが形成されたシートを使用しているが、必ずしも周期性を持たせる必要はなく、相対位置関係が既知の特徴点を複数抽出することが可能なキャリブレーションパターンであればよい。

３次元計測システムの構成を示すブロック図である。 キャリブレーションのための撮像方法の具体例を示す説明図である。 各シートのキャリブレーションパターンを示す説明図である。 キャリブレーション処理の流れを示すフローチャートである。 図２の方法により生成された処理対象画像を示す説明図である。 特徴点を抽出するための手法を示す説明図である。 直線の抽出処理を説明する説明図である。 第１シートの直線抽出処理から交点抽出処理までの具体例を示す説明図である。 第２シートの直線を抽出するための方法を示す説明図である。 シート上の特徴点を特定するための方法を示す説明図である。 シート上のキャリブレーションパターンの他の例を示す説明図である。 図１１のシートを用いてキャリブレーションを行う場合の処理の流れを示すフローチャートである。

符号の説明

１Ａ，１Ｂ カメラ
２ 計測装置
５ｐ，５ｑ 透明シート（キャリブレーションワーク）
２１ カメラ駆動部
２４ 画像処理部
２５ パラメータ算出部
２６ 計測処理部
２８ パラメータ記憶部
Ｏｐ，Ｏｑ 基準点

Claims (7)

1. 複数の撮像装置を用いた３次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な２次元のキャリブレーションパターンを用いて、前記３次元計測のためのキャリブレーションを行う方法であって、
   平行に配列された複数の直線より成る直線群を２グループ以上含み、これらの直線群間に生じる複数の交点を前記特徴点として機能させるキャリブレーションパターンを、各直線群の直線の方向がパターン毎に異なるようにして３種類以上設定し、これらのキャリブレーションパターンのうちの特定の１つを透光性を問わない平面に設けるとともに、その他のすべてのキャリブレーションパターンを透光性を有する平面に設け、
   いずれの平面も各撮像装置の光軸に交差し、かつ各撮像手段から見て前記透光性を問わない平面が最後方になるようにして、各平面を前記各撮像装置から遠ざかる方向に沿って順に配置し、
   前記の配置状態において前記各撮像装置を駆動する第１ステップ；
   前記第１ステップで各撮像装置により得られた画像につき、それぞれ特定の１つのキャリブレーションパターンに含まれる直線を直線群毎に複数抽出する処理と、これらの直線間の交点を前記特徴点として抽出する処理とを、キャリブレーションパターン毎に実行する第２ステップ；
   第２ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第３ステップ；
   第３ステップの対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出する第４ステップ；
   の各ステップを実行することを特徴とする３次元計測のためのキャリブレーション方法。
2. 複数の撮像装置を用いた３次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な２次元のキャリブレーションパターンを用いて、前記３次元計測のためのキャリブレーションを行う方法であって、
   平行に配列された複数の直線より成る直線群を２グループ以上含み、これらの直線群間に生じる複数の交点を前記特徴点として機能させるキャリブレーションパターンを、各直線群の直線の方向がパターン毎に異なるようにして２種類設定し、これらのキャリブレーションパターンの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、
   各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置し、
   前記の配置状態において前記各撮像装置を駆動する第１ステップ；
   前記第１ステップで各撮像装置により得られた画像につき、それぞれ特定の１つのキャリブレーションパターンに含まれる直線を直線群毎に複数抽出する処理と、これらの直線間の交点を前記特徴点として抽出する処理とを、キャリブレーションパターン毎に実行する第２ステップ；
   第２ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第３ステップ；
   第３ステップの対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出する第４ステップ；
   の各ステップを実行することを特徴とする３次元計測のためのキャリブレーション方法。
3. 複数の撮像装置を用いた３次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な２次元のキャリブレーションパターンを用いて、前記３次元計測のためのキャリブレーションを行う方法であって、
   平行に配列された複数の直線より成る直線群を２グループ以上含み、これらの直線群間に生じる複数の交点を前記特徴点として機能させるキャリブレーションパターンを、各直線群の直線の方向がパターン毎に異なるようにして２種類設定し、これらのキャリブレーションパターンの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、
   各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置し、かつ各平面が平行になるようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置し、
   前記の配置状態において前記各撮像装置を駆動する第１ステップ；
   前記第１ステップで各撮像装置により得られた画像につき、それぞれ特定の１つのキャリブレーションパターンに含まれる直線を直線群毎に複数抽出する処理と、これらの直線間の交点を前記特徴点として抽出する処理とを、キャリブレーションパターン毎に実行する第２ステップ；
   第２ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第３ステップ；
   第３ステップの対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出する第４ステップ；
   の各ステップを実行することを特徴とする３次元計測のためのキャリブレーション方法。
4. 複数の撮像装置を用いた３次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な２次元のキャリブレーションパターンを用いて、前記３次元計測のためのキャリブレーションを行う方法であって、
   内部が塗りつぶしされたマークの配列による第１のキャリブレーションパターンと、第１のキャリブレーションパターン内のマークより小さな幅の輪郭線のみが示されたマークの配列による第２のキャリブレーションパターンとのうちの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、
   各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置し、
   前記の配置状態において前記各撮像装置を駆動する第１ステップ；
   前記第１ステップで各撮像装置により得られた画像につき、それぞれ特定の１つのキャリブレーションパターンに含まれる複数のマークの重心または中心点を前記特徴点として抽出する処理を、キャリブレーションパターン毎に実行する第２ステップ；
   第２ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第３ステップ；
   第３ステップの対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出する第４ステップ；
   の各ステップを実行することを特徴とする３次元計測のためのキャリブレーション方法。
5. 複数の撮像装置を用いた３次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な２次元のキャリブレーションパターンを用いて、前記３次元計測のためのキャリブレーションを行う方法であって、
   内部が塗りつぶしされたマークの配列による第１のキャリブレーションパターンと、第１のキャリブレーションパターン内のマークより小さな幅の輪郭線のみが示されたマークの配列による第２のキャリブレーションパターンとのうちの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、
   各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置し、かつ各平面が平行になるようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置し、
   前記の配置状態において前記各撮像装置を駆動する第１ステップ；
   前記第１ステップで各撮像装置により得られた画像につき、それぞれ特定の１つのキャリブレーションパターンに含まれる複数のマークの重心または中心点を前記特徴点として抽出する処理を、キャリブレーションパターン毎に実行する第２ステップ；
   第２ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第３ステップ；
   第３ステップの対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出する第４ステップ；
   の各ステップを実行することを特徴とする３次元計測のためのキャリブレーション方法。
6. 請求項１〜５のいずれかに記載された方法において、
   各平面に対し、それぞれ周期性を有するパターンであるが、特定の位置のみ前記周期性が欠落しているキャリブレーションパターンを形成する３次元計測のためのキャリブレーション方法。
7. 複数の撮像装置を用いた３次元計測処理に先立ち、相対位置関係が既知の特徴点を複数含む２次元のキャリブレーションパターンを用いて、前記３次元計測のためのキャリブレーションを行う方法であって、
   前記キャリブレーションパターンが設けられた２つの平面を、それぞれ前記各撮像装置の光軸に交差し、かつ各平面が平行になるようにして、あらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って順に配置するとともに、各撮像装置から見て前方の平面に偏光手段を設け、
   前記の配置状態において、前記前方の平面に対し、前記偏光手段の偏光の方向に対応する光および前記偏光の方向に対応しない光を順に照射するとともに、光を照射する毎に前記各撮像装置を駆動するステップＡ；前記偏光の方向に対応しない光が照射されているときに各撮像装置により得た画像につき、それぞれ前方の平面のキャリブレーションパターンに含まれる特徴点を抽出するステップＢ；前記偏光の方向に対応する光が照射されているときに各撮像装置により得た画像と前記ステップＢでの抽出結果とを用いて、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出するステップＣ、前記ステップＢ，Ｃで抽出された特徴点をそれぞれ画像間で対応づけるステップＤ、前記対応づけがなされた各特徴点の位置情報を用いて３次元計測用のパラメータを算出するステップＥ、の各ステップを実行することを特徴とする３次元計測のためのキャリブレーション方法。

Images