WO2006098258A1

WO2006098258A1 - ３次元計測のためのキャリブレーション方法およびその方法を用いた３次元計測システム

Info

Publication number: WO2006098258A1
Application number: PCT/JP2006/304861
Authority: WO
Inventors: Yasuyuki Ikeda; Shiro Fujieda
Original assignee: Omron Corporation
Priority date: 2005-03-14
Filing date: 2006-03-13
Publication date: 2006-09-21
Also published as: JP2006250889A; JP4604774B2

Abstract

　２台のカメラを用いた３次元計測処理のためのキャリブレーションとして、格子状のキャリブレーションパターンが印刷された２種類の透明シート５ｐ，５ｑを、所定間隔を隔てて平行に配置し、撮像する。撮像時の各シート５ｐ，５ｑは、基準点Ｏｐ，Ｏｑが位置合わせされ、かつ４本の基準線５０ｐ，５１ｐ，５０ｑ，５１ｑがそれぞれ４５°間隔になるように調整される。各カメラからの画像について、それぞれの基準線５０ｐ，５１ｐ，５０ｑ，５１ｑに沿う方向毎に直線を抽出し、同じシートに対応する直線間の交点を求める。さらに、各交点を特徴点として、同じ特徴点を表す座標を画像間で対応づけ、特徴点間の相対位置関係から割り出した空間座標と各特徴点の画像における座標とを用いて、３次元計測に使用するパラメータを算出する。

Description

明細書

3次元計測のためのキャリブレーション方法およびその方法を用いた 3次元計測システム

技術分野

[0001] この発明は、複数の撮像装置を用いた 3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な 2次元のキャリブレーションパターンを用いて、前記 3次元計測のためのキャリブレーションを行う方法に関する。また、この発明は、前記のキャリブレーション方法を適用した 3次元計測システムに関する。

背景技術

[0002] 複数の撮像装置を用いた 3次元計測を行うためには、各撮像装置からの距離が異なる点を含む複数の特徴点を用いて、キャリブレーションを行う必要がある。このキヤリブレーシヨン方法の代表的なものとして、立体状のキャリブレーションワークを用いる方法がある。この方法では、位置決めされたキャリブレーションワークを各撮像装置により撮像し、それぞれの撮像装置から得られた画像毎に前記特徴点を抽出し、これらの座標を画像間で対応づける。さら〖こ、画像上の 2次元座標と 3次元座標との関係を示した方程式に、特徴点毎に既知の 3次元座標および各画像で対応づけされた 2次元座標を代入し、最小自乗法により前記方程式中の未知の係数を算出する（日本国特許公報第 3237414号参照)。

[0003] さらに他の方法として、平面状のキャリブレーションワークを使用するものがある。この方法では、所定のキャリブレーションパターンが形成された平面状ワークを 1つ用いて、このワークの方向または撮像装置力もの距離を変更しながら複数回の撮像を行い、毎時の撮像で得られた画像毎に特徴点を抽出する（下記の論文を参照)。ん hengyou Zhang A Flexible New i，echnique forし amera Calibration 、 Microsoft Research Microsoft Corporation, [平成 17年 2月 24日検索]、インターネットく URL: http://research.Microsoft.com/~zhang/ calib/ >

[0004] 立体状のキャリブレーションワークを使用する場合、撮像装置の位置や方向によつては、キャリブレーションに必要な数の特徴点を撮像できない場合がある。他の特徴点やその支持部材などによって隠されてしまう特徴点があるためである。特許第 3237414号公報では、特徴点抽出のための棒材 (校正ポール)を任意位置に設置可能なワークを使用しているので、上記の問題は解消できるものと解される。しかし、このような構成のワークでは、校正ポールが破損するおそれがあり、取り扱いが困難である。また、一般ユーザーがキャリブレーションを行う場合、校正ポールをどの位置に設置すれば良いかを容易に判断できず、キャリブレーション作業を円滑に進められな、可能性もある。

[0005] Zhangの論文に開示された方法では、平面状のワークを使用するので、ワークの取り扱いは楽になる。また 1枚のワークを使用するので、他のワークにより特徴点が隠されてしまうおそれもない。

し力しながら、この方法では、ワークの向きまたは位置を複数回にわたって変更する必要がある。し力も、ワークの向きや位置を変更する都度、撮像を行なわなければならないため、作業が繁雑になる。

[0006] 一方、工場の生産ラインや検査ラインで利用される 3次元計測システムでは、計測対象物や計測目的の変更に応じて撮像装置の設置場所や設置条件が変更される可能性があるため、現場の作業者が適宜キャリブレーションを実施できるようにするのが望ましい。このため、専門知識のない作業者でも、簡単な手法で誤りなくキヤリブレーシヨンを行えるように考える必要がある力従来の方法には上記したような問題点があるため、そのような要望を満たすのは困難である。

この発明は、この点に着目し、キャリブレーションのための作業を簡単にして、一般ユーザーでも精度の良いキャリブレーションを簡単に実行できるようにすることを目的とする。

発明の開示

[0007] この発明に係る方法は、複数の撮像装置を用いた 3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な 2次元のキャリブレーションパターンを用いて、前記 3次元計測のためのキャリブレーションを行うものである。この発明に係る第 1の方法では、 3種類以上のキャリブレーションパターンのうちの特定の 1つを透光性を問わない平面に設けるとともに、その他のすべてのキャリブレーションパターンを透光性を有する平面に設ける。そして、いずれの平面も各撮像装置の光軸に交差し、かつ各撮像手段から見て前記透光性を問わない平面が最後方になるようにして、各平面を前記各撮像装置から遠ざかる方向に沿って順に配置する。

[0008] 上記のように配置された各平面を、最前方の平面より手前、すなわち撮像装置の側力見ると、最前方の平面のキャリブレーションパターンは勿論のこと、後方の各平面のキャリブレーションパターンも、最前方の平面を介して視認することが可能になる。よって、平面毎に異なる態様のキャリブレーションパターンを用いたり、同じキヤリブレーシヨンパターンであっても、その方向を変更するなど、各キャリブレーションパターンの特徴点を平面毎に分離して抽出できるようにしておけば、各撮像手段を一度撮像するだけで、キャリブレーションを行うのに必要な数の特徴点を得ることが可能になる

[0009] 第 1の方法では、つぎの 4つのステップによりキャリブレーションを実現する。第 1ステツプでは、前記の平面の配置状態において各撮像装置を駆動する。この場合、各撮像装置を同時に駆動することができる。ただし、キャリブレーションを行うという趣旨力もして、撮像中に各平面を移動させるとは考えられないから、各撮像装置を順に駆動してちょい。

[0010] 第 2ステップでは、前記第 1ステップで各撮像手段により得られた画像につき、それぞれ前記特徴点をキャリブレーションパターン毎に分離して抽出する。この第 2ステツプでは、キャリブレーションパターンの態様に応じて種々の方法を実行し、キヤリブレーシヨンパターン毎に複数の特徴点を抽出することができる。具体的な態様については、後で詳細に説明する。

[0011] 第 3ステップでは、第 2ステップで抽出された各特徴点を前記相対位置関係に基づき画像間で対応づけする。すなわち、前記キャリブレーションパターンにおける相対位置関係に基づき、実空間における同一の特徴点に該当する画像上の特徴点を抽出し、これらの点の座標を対応づける、と考えることができる。たとえば、撮像装置毎に得た画像から、それぞれあらカゝじめ定めた規準の特徴点（以下、「基準点」という。 ) を抽出し、これらの座標を対応づける。さらに、他の特徴点についても、基準点に対する位置関係 (たとえば基準点に対する方向や配置の順序など）が同一のものどおしを対応づけることができる。

[0012] 第 4ステップでは、第 3ステップで対応づけがなされた各特徴点の位置情報を用いて 3次元計測用のパラメータを算出する。ここで特徴点の位置情報とは、前記第 3ステツプにおいて対応づけられた各画像上の座標と、実空間における座標の双方を含むと考えることができる。実空間の座標は、キャリブレーションパターンが設けられている平面における特徴点の配列関係や、その平面の最後方の平面に対する距離に基づいて、求めることができる。

[0013] なお、上記の方法では、前記した Zhangの論文と同様の手法によりパラメータを算出することができる。また 3枚以上の平面を使用する場合には、互いの面間の配置関係がわ力もなくとも、すべてのパラメータを計算により求めることができる。また、各平面の向きを統一しなくともよ、。

さらに、最後方の平面にも、他の平面と同様に透光性を有するものとしてもよい。

[0014] 上記第 1の方法によれば、キャリブレーションパターンが設けられた複数の平面を任意の順序で配置し、各撮像装置による撮像をそれぞれ一回実行するだけで、すべての平面のキャリブレーションパターンを含む画像を撮像し、ノラメータの算出に必要な特徴点を抽出することができる。また、各平面のキャリブレーションパターンを最前方の平面を介して視認することができるから、各キャリブレーションパターンが分離可能な状態で設置されている力否かを容易に確認することができる。よって、キヤリブレーシヨンのための作業が簡単になり、一般ユーザーでも精度の良いキヤリブレーシヨンを容易に行うことが可能になる。

[0015] この発明に係る第 2、第 3の方法は、 2つのキャリブレーションパターンを使用するもので、キャリブレーションパターンの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設ける。

第 2の方法では、各平面がそれぞれ各撮像手段の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わな、平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置力も遠ざ力る方向に沿つて前後に配置する。そして、前記第 1の方法と同様の第 1〜第 4ステップを実行する。

[0016] キャリブレーションのための平面を 2つにする場合、各平面間の角度（具体的には各平面の法線がなす角度）と、平面間の相対位置情報（一方の面の特定の点と他方の面の任意の点との間の距離）が判明していれば、 3次元計測に必要なパラメータを算出することが可能になる。第 2の方法は、上記 2種類の情報が既知であることを条件として実行されるものである。

[0017] 第 3の方法は、上記 2種類の情報が既知でない環境下で実行されるもので、 2つの平面がそれぞれ各撮像手段の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置し、かつ各平面が平行になるようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置力も遠ざ力る方向に沿って前後に配置する。そして、前記第 1の方法と同様の第 1〜第 4ステップを実行する。

[0018] 第 2、第 3の方法では、各撮像装置から見て前方に位置する平面に透光性をもたせて、るので、前方の平面を介して後方の平面のキャリブレーションパターンを視認することができる。よって、これらの平面で異なるキャリブレーションパターンを使用したり、キャリブレーションパターンの向きを変えるなど、各キャリブレーションを分離可能な状態にすれば、 2つのキャリブレーションパターンを同時に撮像することが可能になる

[0019] 第 2、第 3の方法でも、各撮像装置による撮像をそれぞれ一回実行するだけで、すベての平面のキャリブレーションパターンを含む画像を撮像し、パラメータの算出に必要な特徴点を抽出することができる。よって、キャリブレーションのための作業を簡単にすることが可能になり、一般ユーザーでも精度の良いキャリブレーションを容易に実行することが可能になる。

[0020] つぎに、第 1〜第 3の各方法に共通する態様について説明する。

まず第 1の態様では、前記キャリブレーションパターンは、平行な直線群を 2種類以上を含むとともに、これらの直線の方向が平面毎に異なるように設定される。また、第 2ステップでは、各平面につき、それぞれその平面に対応する直線を方向毎に抽出する処理と、抽出された直線間の交点を前記特徴点として抽出する処理とを実行する。

[0021] 上記態様に適したキャリブレーションパターンとして、 2方向に沿う直線を交差させたパターン (たとえば格子状のパターン)を設定することができる。この場合、平面毎にキャリブレーションパターンの形成方向を変えたり、同一のキャリブレーションが形成された平面を所定角度ずつ回転させながら設置させるなどして、各直線群に係る直線の方向を平面毎に変化させるようにすれば、前後の平面間のキャリブレーションノターンが重なり合わない状態を設定することができる。

[0022] なお、直線を抽出するには、たとえば抽出対象の直線の方向に沿って画像の投影処理 (具体的には、直線の方向に沿って濃度値の総和を求める。）を実行し、濃度が最も低い位置 (ただし、画像が暗くなるほど濃度値が小さくなるものとする。）とする。または、画像上のエッジ構成画素を抽出し、その抽出結果から、濃度勾配方向が同じエッジ構成画素が連なる画像領域を、直線として抽出するようにしてもよヽ。

[0023] つぎに第 2の態様では、キャリブレーションパターンとして、平面毎に態様の異なるマークが複数配列されたパターンを使用する。また、第 2ステップでは、各平面に対応するマークを分離して認識した上で、これらのマークの代表点を前記特徴点として認識する。

[0024] 上記の態様では、各平面に配列するマークの形状、大きさなどを、平面毎に変更することができる。なお、同じ平面においても、 1つの態様のみならず、複数の態様のマークを配置することができる。ただし、他の平面のマークと区別できることが前提となる。

[0025] たとえば、平面毎に形状の異なるマークを使用する場合には、第 2ステップでは、パターンマッチング処理を用いて各マークを平面毎に抽出することができる。平面毎にマークの大きさが異なる場合には、各マークの面積を計測することにより、各平面に対応するマークを個別に認識することができる。なお、代表点としては、マークの中心点や重心を使用することができる。

[0026] つぎに第 3の態様では、平面毎に色彩または濃度が異なるキャリブレーションパターンが設定される。また前記第 2ステップには、各平面に対応する色彩または濃度を個別に抽出する処理が含まれる。たとえば、複数とおりの 2値ィ匕により、各色彩や濃度を個別に抽出することが可能である。

[0027] また、この態様にぉ、ては、それぞれ平面毎に異なる色彩を有し、かつ透光性を有するキャリブレーションパターンを設けることができる。このようにすれば、平面間でキヤリブレーシヨンパターンに重なりが生じても、その重なり部分を特定の色彩により判別することができるので、その重なり部分を各キャリブレーションパターンの共通パターンとして処理することができる。

たとえば、 2つの平面の一方に赤色の透光性を有するキャリブレーションパターンを設け、他方に青色の透光性を有するキャリブレーションパターンを設けた場合、両者の重なり部分が紫色のパターンとして現れるようになる。よって、画像から赤、青、紫の各パターンを個別に抽出した後、赤色パターン、青色パターンにそれぞれ紫色のパターンを組み合わせることによって、各平面のキャリブレーションパターンを抽出することが可能になる。

[0028] つぎに第 2、第 3の方法に力かる一態様として、前記 2つの平面の一方に、輪郭線のみが示されたマークによるキャリブレーションパターンを形成し、他方には、内部が塗りつぶしされたマークによるキャリブレーションパターンを形成することができる。さらに、前者のマーク（輪郭線のみのマーク）を後者のマーク (塗りつぶしのマーク）よりも大きぐかつ前者のマークの輪郭線の幅が後者のマークよりも小さくなるように設定する。

[0029] このようにすれば、 2つのマークが前後する位置関係に置かれても、一方のマークにより他方が隠されてしまうことがなぐ双方のマークを分離して抽出することが可能になる。たとえば、画像の膨張処理により、輪郭線のみのマークを消失させて、塗りつぶしのマークを抽出した後、膨張処理前の画像と膨張処理後の画像との差分演算を実行することにより、輪郭線のみのマークを抽出することができる。

[0030] さらに、この発明に係る第 1、第 2のキャリブレーション方法 (上記の各種態様を含む。）において、各平面に形成されるキャリブレーションパターンを、周期性を有するパターンであるが、特定位置のみ前記周期性が欠落したものを使用することができる。周期性を欠落させた部分には、他とは異なるマークを配置したり、ノターンが存在しな、空白領域を設定することができる。

[0031] 上記の態様によれば、周期性が欠落している部分について、重心などの代表点を抽出し、これを前記基準点とすることができる。さらに、その他の周期性を有するバタ一ンカも抽出した特徴点を、前記基準点との位置関係に基づいて特定することができる。これにより、撮像装置毎に得た画像間での特徴点の対応づけが可能になり、キヤリブレーシヨンのための演算を実行することができる。また、周期性が欠落している部分を目印にして、各平面を位置合わせすることができるから、いずれかの平面の基準点を原点とする空間座標系を設定して、各特徴点の 3次元座標を特定することができる。

[0032] つぎに、この発明に力かる第 4のキャリブレーション方法では、キャリブレーションパターンが設けられた 2つの平面を、それぞれ前記各撮像装置の光軸に交差し、かつ各平面が平行になるようにして、あらかじめ定めた所定距離をおいて各撮像装置力も遠ざ力る方向に沿って順に配置する。さらに、前方の平面には偏光手段が設けられる。

[0033] この方法における 2つの平面の配置状態は基本的には第 3の方法と同様である力前方の平面に偏光手段を設けた点が異なる。たとえば、前方の平面を偏光性媒質により構成することにより、後方の平面に作用する光の方向を一方向に限定することができる。なお、以下では、前面の平面を透過する光を「偏光の方向に対応する光」といい、前面の平面を透過しなヽ光を「偏光の方向に対応しな、光」とヽぅ。

[0034] さらに、この第 4の方法では、以下のステップ A, B, C, D, Eを実行する。

ステップ Aでは、上記した平面の配置状態において、前方の平面に対し、前記偏光手段の偏光の方向に対応する光および前記偏光の方向に対応しな、光を順に照射するとともに、光を照射する毎に前記各撮像装置を駆動する。すなわち、この方法では、照明の方向を変更しながら、少なくとも 2回の撮像を行う必要がある。

[0035] ステップ Bでは、偏光の方向に対応しない光が照射されているときに各撮像装置により得た画像につき、それぞれ前方の平面のキャリブレーションパターンに含まれる特徴点を抽出する。ステップ Cでは、偏光の方向に対応する光が照射されているときに各撮像装置により得た画像と前記ステップ Bでの抽出結果とを用いて、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出する。

ステップ Dでは、前記ステップ B, Cで抽出された特徴点を画像間で対応づける。ステツプ Eでは、対応づけがなされた各特徴点の位置情報を用いて 3次元計測用のパラメータを算出する。

[0036] 前方の平面に偏光の方向に対応する光が照射された状態下では、前方の平面を透過した光により後方の平面も照明される。したがって、この照明状態下で撮像を行うと、前後の各平面に設けられたキャリブレーションパターンを共に含む画像を得ることができる。一方、偏光の方向に対応しない光が照射された状態下では、その照射光は前方の平面で遮光されるから、その照明下で撮像された画像には、前方側のキヤリブレーシヨンパターンのみが現れる。後者の画像はステップ Bでの処理対象となり、前者の画像はステップ Cでの処理対象となる。

[0037] 第 3の方法では、撮像回数は 2回になるが、特徴点を簡単に抽出することができる。

すなわち、ステップ Bで処理する画像には、前方の平面のキャリブレーションパターンのみが含まれているから、通常の特徴点の抽出処理を行うだけで良い。またステップ Cでは、偏光の方向に対応する光による照明下で得られた画像を処理するので、特徴点の抽出処理を行った後、画像上の特徴点のうち、ステップ Bで抽出されたのと同じものを除くことによって、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出することができる。

なお、上記第 3の方法に代えて、前方の平面を透光性を有する平面とし、各平面の間に偏光板を設けて、上記のステップ A〜ステップ Eを実行することもできる。

[0038] この発明にかかる 3次元計測処理システムには、複数の撮像装置と、各撮像装置から得た画像を用いて 3次元計測処理を行う計測装置と、相対位置関係が既知の特徴点を複数抽出することが可能な 2次元のキャリブレーションパターンが設けられた複数の平板状のワークと、少なくとも 2枚のワークをそれぞれ異なる平面に支持する支持具とが含まれる。複数のワークのうちの少なくとも 1つは、透光性を有する材料により形成されている。また、前記支持具は、支持対象の各ワークを、それぞれ各撮像装置の光軸に交差し、かつあらかじめ定めた所定距離をおいて各撮像装置力も遠ざかる方向に沿って順に位置するように支持する。

[0039] 上記の構成では、各撮像装置から最も遠い位置に支持されるものを除く各ワークを、それぞれ透光性を有する材料によるワークとすることにより、前出の第 1〜3のキヤリブレーシヨン方法を実行することができる。勿論、すべての支持位置に透光性を有する材料〖こよるワークを設置することちでさる。

[0040] 前記第 1〜3のキャリブレーション方法を実行するために、前記計測装置には、各撮像装置により支持具に支持されたワークが撮像されたとき、各撮像装置により得られた画像につき、それぞれ前記特徴点をキャリブレーションパターン毎に分離して抽出する特徴点抽出手段;抽出された各特徴点を前記相対位置関係に基づき画像間で対応づけする対応づけ手段；対応づけがなされた各特徴点の位置情報を用いて 3 次元計測用のパラメータを算出するパラメータ算出手段;前記パラメータ算出手段が算出したパラメータを保存する記憶手段;の各手段が設けられる。特徴点抽出手段は前記第 2ステップを、対応づけ手段は前記第 3ステップを、パラメータ算出手段は前記第 4ステップを、それぞれ実行するためのもので、いずれも対応するステップを実行するためのプログラムを組み込んだコンピュータにより構成することができる。また、記憶手段は、前記コンピュータのメモリに設定することができる。

[0041] さらに、前記計測装置には、前記第 1ステップに対応する手段、すなわち各撮像装置を駆動する手段を設けることができる。ただし、この駆動手段は計測装置の外部に設けることちでさる。

[0042] 上記の 3次元計測処理システムの好ま、態様にぉ、ては、前記支持具は、一対のワークを前記所定距離をおいてそれぞれのワーク面を水平にした状態で支持するように構成される。この場合、上方で支持されるワークを透光性を有する材料によるヮークとし、各撮像装置を支持具の上方に配備すれば、前記第 3のキャリブレーション方法を実行することが可能になる。

[0043] 各ワークを水平状態で支持する支持具として、水平方向に沿うワーク支持面を有するものを考えることができる。ただし、この場合には、少なくとも上方の支持面を透光性を有する材料により構成する必要がある。また各ワークにある程度の厚みがあれば、それぞれのワークを端縁で支持するような構成の支持具を用いることもできる。なお、下方のワークは、支持具が設置されるのと同一平面上に設置し、このワークをまたぐように支持具を設置して、上方のワークを支持するようにしてもょ、。

[0044] より好ましい態様では、前記支持具は少なくとも上方のワークを支持するためのヮーク支持面を有する。このワーク支持面は透光性を有する材料により形成される。また、一対のワークの基準点となるべき位置には、それぞ; ^立置合わせ用のマークが形成される。なお、この種のワークとして、前記した周期性を有するパターンである力特定の位置のみ前記周期性が欠落しているキャリブレーションパターンを有するワークを採用することができる。

上記の態様によれば、各位置合わせ用マークを参照することにより、上下のワークの基準点を簡単に位置合わせすることができる。よって、いずれかの基準点を原点とする空間座標系を設定し、その座標系の座標により双方のワークの位置を特定することが可能になる。なお、位置合わせマークは、參印ゃ X印など基準点を特定しやすいものにするのが望ましい。または、 2本の直線の交点を位置合わせマークとして機會させることちでさる。

[0045] 一対のワークを水平状態で支持する支持具の他の好ましい態様では、前記一対のワークのうちの少なくとも上方のワークを透光性を有する材料により形成されたものにして、各ワークを支持具本体に一体に設ける。この構成によれば、一対のワークは固定配備されるので、ユーザーによるワークの位置決め作業は不要となり、一般ユーザ一でも簡単にキャリブレーション作業を実行することが可能になる。

図面の簡単な説明

[0046] [図 1]3次元計測システムの構成を示すブロック図である。

[図 2]キャリブレーションのための撮像方法の具体例を示す説明図である。

[図 3]各シートのキャリブレーションパターンを示す説明図である。

[図 4]キャリブレーション処理の流れを示すフローチャートである。

[図 5]図 2の方法により生成された処理対象画像を示す説明図である。

[図 6]特徴点を抽出するための手法を示す説明図である。

[図 7]直線の抽出処理を説明する説明図である。

[図 8]第 1シートの直線抽出処理力特徴点の抽出処理までの具体例を示す説明図である。

[図 9]第 2シートの直線を抽出するための方法を示す説明図である。

[図 10]シート上の特徴点を特定するための方法を示す説明図である。

[図 11]シート上のキャリブレーションパターンの他の例を示す説明図である。 [図 12]図 11のシートを用いてキャリブレーションを行う場合の処理の流れを示すフロ一チャートである。

発明を実施するための最良の形態

[0047] 図 1は、この発明を適用した 3次元計測システムの構成例を示す。

この 3次元計測システムは、 2台のカメラ 1A, 1Bと、計測装置 2と、画像表示用のモユタ 3とを含む。計測装置 2には、各カメラ 1A, 1Bに対応する画像入力部 20A, 20B 、カメラ駆動部 21、演算処理部 22、出力部 29などが設けられる。なお、この 3次元計測システムでは、水平面に設置された計測対象物を撮像することを前提としており、各カメラ 1A, 1Bは、図 2に示すように、それぞれ光軸を下方に向けて配備される。

[0048] 前記カメラ駆動部 21は、各カメラ 1A, 1Bを同時に駆動し、計測対象物を撮像させる。なお、計測時のカメラ 1A, 1Bの駆動は、外部信号の入力（たとえば計測対象物の検知用のセンサ力もの信号）に応じて行われる力後記するキャリブレーション処理では、図示しない操作部による撮像操作に応じてカメラ 1A, 1Bを駆動する。各力メラ 1A, 1Bにより生成された画像信号は、それぞれの画像入力部 20A, 20Bに入力され、ディジタル変換される。これにより、カメラ毎に処理用のディジタル画像 (以下、「処理対象画像」という。）が生成される。

[0049] 演算処理部 22は、コンピュータにより構成されるもので、前記カメラ毎の処理対象画像を用いて 3次元計測処理を実行する。出力部 29は、この 3次元計測結果を、 PL Cなどの外部機器に出力するための出力用インターフェースである。

[0050] 前記演算処理部 22には、前記処理対象画像を格納するための画像メモリ 23のほ力画像処理部 24、パラメータ算出部 25、計測処理部 26、表示制御部 27、パラメ一タ記憶部 28などが含められる。なお、画像メモリ 23およびパラメータ記憶部 28以外の各部は、専用のプログラムにより前記コンピュータに設定された機能である。また、画像メモリ 23やパラメータ記憶部 28は、前記コンピュータのメモリ (RAMなど）に設定される。

[0051] 画像処理部 24は、前記画像メモリ 23に格納された 2つの処理対象画像に、エッジ抽出処理などを施して、計測対象物の構成点 (たとえば輪郭の構成点)を抽出する。さらに、画像処理部 24は、パターンマッチング処理などを用いて、各処理対象画像間の同一構成点を対応づける処理を実行する。この対応づけ結果は計測処理部 26 に渡される。計測処理部 26は、構成点毎に、それぞれ各処理対象画像におけるその構成点の座標を所定の演算式に代入し、各構成点の 3次元座標 (X, Υ, Z)を算出する。

[0052] パラメータ記憶部 28には、前記演算式に含まれる各種係数 (後記する式（1) (2)の行列 ] [Q]に含まれるもの。）が保存される。これらの係数の値は、各カメラにより構成されるステレオ座標系と実際の位置を表す空間座標系との関係（各座標間の原点間の距離、空間座標系に対するステレオ座標系の回転ずれ量など）に応じて変動する（以下、これらの係数を「パラメータ」という。 ) oこのパラメータは、前記 3次元計測に先立ち、画像処理部 24およびパラメータ算出部 25の処理により算出され、前記パラメータ記憶部 28に格納される。

[0053] 表示制御部 27は、前記モニタ 3の表示動作を制御するためのもので、各画像入力部 20A, 20Bが生成した処理対象画像のほか、画像処理部 24や計測処理部 26〖こよる処理結果 (処理対象画像から生成された変換画像、 3次元計測の結果など)を表示させることができる。

[0054] 上記の 3次元計測処理システムでは、つぎの図 2に示すような方法によるキヤリブレーシヨンを行って、前記パラメータを算出するようにして!/、る。

この方法では、キャリブレーションワークとして、所定のキャリブレーションパターンが印刷された透明シート 5 (以下、単に「シート 5」という。）を使用する。具体的には、 2枚の透明支持板（図示せず。）を所定長さの連結棒 4を介して連結し、各支持板の上面にそれぞれ前記シート 5を設置する。これにより、各シート 5, 5は、所定の距離を隔て、かつ各シート面を水平にして、上下に並べて配備される。

[0055] 図 3は、前記シート 5の具体例を示す。

この実施例のシート 5には、直交する 2方向につき、それぞれその方向に沿う複数の直線を等間隔に配置した構成のキャリブレーションパターン (いわゆる格子状のパターン）が印刷されている。一方のシート ₅ (以下、「第 1シート 5p」という。）には、その縦方向および横方向に沿う直線による格子状パターンが形成され、他方のシート 5 ( 以下、「第 2シート 5q」という。）には、第 1シート 5pと同形状の格子状パターンが 45度回転した状態で形成されて!ヽる。

[0056] さらに、これらのシート 5p, 5qでは、平行配備された一群の直線のうちの中央の直線 50p, 51p, 50q, 51q (いずれもシートの中心点を通過するように設定されている。 )の幅を、その他の直線よりも太く形成している（以下、これら幅の太い直線 50p, 51p , 50q, 51qを「基準線」と!/、う。）。これらの基準線の交点、 Op, Oqは、シート 5p, 5qの位置合わせや、キャリブレーションパターン中の各特徴点を特定する際の基準点として機能する（以下、交点 Op, Oqを「基準点 Op, Oq」という。 )₀

なお、以下の図では、画像中に現れる基準線や基準点にも、実際のシート 5p, 5q を示した図 3と同様の符号（50p, 51p, 50q, 51qおよび Op, Oq)を用!/、ることにする。

[0057] 上記のシート 5p, 5qでは、各直線の交点を特徴点として機能させるようにしている。

キャリブレーション処理では、前記図 2に示した方法で各シート 5p, 5qを撮像し、得られた画像力シート毎にキャリブレーションに必要な特徴点を複数抽出するようにしている。

図 4は、このキャリブレーション処理における一連の処理の流れを示す。以下、この図に示すステップ 1〜8の処理について、順を追って説明する。

[0058] (1)ステップ 1 :撮像処理

前記した 2枚のシート 5p, 5qは、それぞれ基準点が位置合わせされ、かつ 4本の基準線 50p, 51p, 50q, 51qがそれぞれ 45° 間隔で配置されるようにして、上下に並ベて設置される。ステップ 1では、この状態下で各カメラ 1A, 1Bを同時に駆動し、キヤリブレーシヨン用の処理対象画像を生成する。

[0059] 各シート 5p, 5qの背景は透明であるので、上記した設置状態によれば、上方のシート 5pを介して下方のシート 5qのキャリブレーションパターンを視認することができる。よって、いずれのカメラ 1A, 1Bでも、図 5に示すように、上下の格子パターンを合成したような処理対象画像を生成することができる。

[0060] (2)特徴点の抽出方法

ここで、以下のステップを説明する前に、図 6を用いて、特徴点を抽出する方法を簡単に説明する。この実施例では、画像上の直線を方向毎に分離して抽出した後、第 1シートに対応する直線（図中の 0° の直線と 90° の直線）と、第 2シートに対応する直線（図中の 4 5° の直線と 135° の直線）とをそれぞれ組み合わせ、これらの組み合わせ毎に、直線の交点を求めるようにしている。以下のステップ 2〜5は、上記の処理を具体化したものであって、 2枚の処理対象画像毎に実行される。

[0061] なお、上記した図 6や以下の図 7, 8, 9では、紙面の左から右に向力う方向を 0° として、 4方向の直線を、 0。， 45。， 90。， 135。の方向に ί¾つて示すととちに、それぞれ「0° の直線」「45° の直線」「90° の直線」「135° の直線」と表現する。ただし、これらの表現は便宜上のものであり、画像に現れる直線の方向は微妙に変動する。シート 5p, 5qに対するカメラ 1A, 1Bの位置関係や光軸の方向による影響を受けるためである。

[0062] (3)ステップ 2, 3 :第 1シートの直線抽出処理および特徴点の抽出処理

このステップ 2では、処理対象画像から第 1シートに対応する 0° の直線および 90 ° の直線をそれぞれ個別に抽出する。

図 7は、 0° の直線を抽出する方法の具体例を示す。なお、以下では、前記 0° の方向を X軸、これに直交する方向（90° の方向）^ y軸とする。

[0063] この例では、処理対象画像の所定位置に、複数の直線にまたがる長さを有する小領域 10を設定し、この小領域 10内の画像を X軸方向に沿って投影する。具体的には、前記小領域内の y座標が等しい画素を 1グループとして、グループ毎濃度の総和を求め、その算出値を y座標に対応づけたヒストグラムを作成する。

[0064] 図 7中、（A)は処理対象画像の全体像であり、（B)は前記小領域 10内の画像を拡大したものである。さらに (C)は、前記小領域 10の投影処理により得られたヒストグラムを拡大図（B)に y座標を合わせて示したものである。

上記の拡大図（B)に示すように、 0° の直線に対応する y座標では、その座標にか力るライン上のほぼ全ての画素が直線の構成画素となる。したがって、画像が暗くなるほど濃度値が小さくなるように設定されている場合には、投影処理を行うと、（C)に示すように、 0° の直線に対応する位置における投影値は、その他の位置の投影値よりも小さくなる。よって、前記ヒストグラム中の各極小値（+マークで示す。）に対応する y座標を、 0° の直線が通過する位置として特定することができる。

[0065] また、 0° の方向に沿う基準線 51pは、他の直線より幅が太くなるため、ヒストグラム上にも、他の直線よりも幅の広い変化として反映される（図中の点線円 Rで囲んだ部分が基準線 5 lpに対応する変化である。 )₀すなわち、極小値を中心とする変化の幅を相互に比較することにより、基準線の通過位置を示す y座標を特定することが可能になる。

[0066] 図 8は、ステップ 2およびステップ 3において行われる処理の詳細を示す。

ステップ 2では、まず 0° の直線を抽出するために、前記した投影処理用の小領域 10を X軸に沿って複数個設定し、これらの小領域毎に投影処理を行って、直線の通過点（図中 +マークにより示す。 )を抽出する（図 8の（1) )。

[0067] つぎに、各小領域 10間において、同一直線上に位置する複数の点を対応づける。

具体的には、いずれか一領域の 1点に着目し、その他の領域について、それぞれ前記着目点に対する y座標の差が所定範囲内にある点（一領域につき一点）を抽出し、着目点に対応づける。この処理を数サイクル繰り返すことにより、直線毎に、その直線上に位置する複数の点を特定し、これらの点の座標を用いて直線の式を特定する。上記のように、複数の小領域 10を設定して、これらの領域毎に直線の通過点を求め、これらの通過点の座標から直線の式を設定するので、画像上の直線の方向が 0 ° 方向からずれた場合にも、その方向を精度良く抽出することができる。

[0068] 図 8の（2)は、上記の方法による直線の抽出結果を示したもので、直線の式が設定された範囲を塗りつぶしにより示すとともに、各式により特定された直線を他の直線よりも幅を太くして表している。

[0069] さらにステップ 2では、 90° の直線を抽出するために、前記小領域 10を X軸方向に長いものに変更し、この小領域 10を y軸方向に沿って複数個設定する。そして、各小領域 10にっき、それぞれその領域内の画像を y軸方向に沿って投影し、直線の通過点を抽出する（図 8の（3) )。

[0070] この後、 0° の直線について実行したのと同様の方法により、直線毎に、その直線上に位置する複数の点を特定し、これらの点の座標を用いて直線の式を特定する。図 8 (4)は、この一連の手順により抽出された直線を、前記図 8 (3)と同様の方法により示したものである。

[0071] このようにして、 0° および 90° の直線に対応する直線の式がそれぞれ複数特定されると、ステップ 3に進み、これらの直線の式を用いて各直線の交点の座標を算出する。これにより、図 8 (5)に示すように、複数の特徴点（図中の參印）が抽出される。

[0072] なお、直線を抽出する際の投影処理では、前記したように、ヒストグラム上の変化の幅に基づいて、基準線 50p, 50qを特定することができる。ステップ 3には、これらの基準線 50p、 5 lpの式力基準点 Opの座標を特定する処理も含まれている（図 8 (5) では、この基準点 Opを〇印で示している。 ) o

[0073] 上記のようにして、処理対象画像毎に、第 1シート 5pの特徴点が複数個抽出される。抽出された特徴点の座標は、図示しない RAMに保存され、つぎの第 2シートに対する処理に移行する。

[0074] (4)ステップ 4, 5 :第 2シートの直線抽出処理および特徴点の抽出処理

ステップ 4では、ステップ 2と同様の投影処理により、 2方向に沿う直線を抽出する。ただし、第 2シート 5qの直線は、 45° または 135° の方向を向いているので、その方向に沿って投影処理を行う必要がある。

[0075] 図 9は、 45° の直線および 135° の直線を抽出する方法を示す。この場合、抽出対象の直線の方向を投影方向として、その投影方向に直交する方向に長ヽ小領域 1 0が設定される。また、前記図 8の（1) (3)と同様に、投影方向に沿って複数の小領域 10が並べられる。

[0076] 小領域 10毎に画像を投影する処理により、各小領域において、複数の直線の通過点が抽出されると、以下、第 1シート 5pに対する方法と同様にして、各直線の式を特定する。この後はステップ 5に進み、各直線の式から交点の座標を算出し、それぞれの座標を特徴点の座標として RAMに保存する。また、このステップ 5には、前記投影処理結果から特定した基準線 50q, 51qの式を用いて、前記基準点 Oqの座標を特定する処理が含まれて!/ヽる。

[0077] (5)ステップ 6：画像間における特徴点の対応づけ処理

上記ステップ 2〜5により、カメラ 1A, 1Bから得られた 2枚の処理対象画像について、それぞれシート 5p, 5q毎に、複数個の特徴点が抽出されると、ステップ 6では、画像間において、同一の特徴点どおしを対応づける処理を実行する。この対応づけ処理は、前記基準点 Op, Oqに対する相対位置関係を用いて行われる。

[0078] 図 10は、前記第 1シート 5pの一部領域 52を拡大して、この領域 52内の各特徴点（前記基準点 Opを X印、他の特徴点を參印にしている。）の配列状態を表したものである。

前記したように、第 1シート 5p上の各直線は、等間隔をおいて配備されているから、これらの交点である特徴点も、直線間と同じ間隔で並んでいると考えることができる。したがって、各特徴点に対し、基準点 Opから見て水平方向（X軸方向）に i番目、垂直方向（Y軸方向）に j番目の点 Uijとしてラベル付けを行うことができる (i, jは、それぞれ X軸方向、 y軸方向に沿って変化するもので、正の整数または負の整数となる。また基準点 Opは、 U00のラベルを設定することができる。 )₀

他方の第 2シート 5qについても、同様に、各特徴点を基準点 Oqとの位置関係に基づいて、ラベル付けすることができる。

[0079] 処理対象画像にお!、ても、各特徴点の配列方向や間隔は、撮像条件によって若干変動すると考えられるが、基準点 Op, Oqに対する方向や配列の順序については、上記図 10と同様の関係が成立すると考えることができる。

ステップ 6では、上記の考察に基づき、処理対象画像中のシート 5p, 5q毎の特徴点を、それぞれ前記ステップ 3, 5で特定された基準点 Op, Oqを基準に、前記引数 i , jを用いてラベル付けする。そして、各処理対象画像から i, jの値が一致する特徴点をそれぞれ抽出し、これらの座標を対応づける。

[0080] (6)ステップ 7：各特徴点の 3次元座標の特定処理

ステップ 7では、ノメータの算出に先立ち、各特徴点の実際の空間における座標 (X, Υ, Z)を特定する。この処理でも、前記基準点 Op, Oqを基準にした配列順序を用いることができる。なお、以下では、前出の図 2に示したように、第 1シート 5pが上方に、第 2シート 5qが下方に設置されていることを前提に説明する。

[0081] ステップ 7では、各シート 5p, 5qが基準点 Op, Oqで位置合わせされていることを利用して、下方の第 2シート 5qの基準点 Oqを原点 (0, 0, 0)とする空間座標系を設定する。ここでシート 5p, 5q間の距離を dzとすると、他方の基準点 Opの座標は（0, 0, dz)となる。

[0082] さらに、各シート 5p, 5qにおける特徴点間の距離を Dとし、第 1シート 5pの特徴点 U ijの座標を (Xpij, Ypij, Zpij)とおき、第 2シート 5qの特徴点の座標を (Xqij, Yqij, Zqij )とおくと、これらの座標は、下記のように表される。

[0083] [数 1]

(X_{p i}；, Yp i；, Z _{p i j}) = ( i *D, j *D, d z )

(x_{q i} i, Y_{q i} i, z _q i = ( i * ¥D, j * ¥D, d z )

[0084] 以下、これらの式により特定される空間座標をパラメータの算出に使用する。

[0085] (7)ステップ 8:パラメータの算出

ステップ 8では、特徴点毎に、それぞれステップ 7で特定された 3次元座標と、ステツプ 6で対応づけられた各処理対象画像上の座標とを用いて、各種パラメータを算出する。

ここで、各特徴点について、それぞれ 3次元座標を (X, Υ, Z)とし (Xは Xpijまたは X qij; Yは Ypijまたは Yqij;Zは Zpijまたは Zqijである。 )、カメラ 1 A側の画像における座標を (xA, yA)とし、カメラ IB側の画像における座標を (xB, yBとする。）とすると、これらの座標の間には、つぎの（1) (2)式の関係が成立する。よって、 ST8では、各特徴点毎に、それぞれ上記の 3種類の座標を（1) (2)式に代入し、最小自乗法を用いて行列 [P] [Q]を算出する。なお行列 [P] [Q]の構成式は（3) (4)式のとおりである。

[0086] [数 2]

1 CD

[数 3]

[数 4] a o o l o a 2 0 a 3 0

P a 0 1 ct 1 1 2 1 ct 3 1 ( 3 )

ct 0 2 ct 1 2 ct 2 2 1

[数 5]

[0087] (8)ステップ 9 :パラメータの保存

上記のようにして、行列 ] [Q]を構成する各パラメータが算出されると、ステップ 9 では、これらのパラメータを前記パラメータ記憶部 28に格納する。これにより、一連のキャリブレーション処理が終了し、 3次元計測処理を実行することが可能になる。

[0088] 以上、説明したキャリブレーションによれば、 2枚のシート 5p, 5qを基準点 Op, Oq を位置合わせした状態で上下に配置し、各カメラ 1A, 1Bによる撮像を 1回実行するだけで、 3次元計測に必要なパラメータを算出することができる。よって、専門知識のない一般ユーザーでも、簡単にキャリブレーションを実行することが可能になる。なお、前記した支持板に、各シート 5p, 5qの基準線 50p, 51p, 50q, 51qと同様の直線など、位置合わせ用のマーカーを付すようにすれば、シート 5p, 5qを正確かつ簡単に位置合わせすることができる。

[0089] また、上記の実施例では、各方向毎の直線を投影処理により抽出したが、これに代えて、処理対象画像に対してエッジ抽出処理を実行し、各エッジ構成画素の濃度勾配方向を用いた直線抽出処理を実行することもできる。この処理の詳細については、日本国公開特許公報 2002— 230562号を参照された、。

[0090] また、前記シート 5p, 5qを使用する方法に代えて、一対の板状ワークにそれぞれ前記した 2種類の格子状パターンを印刷し、これらの板状ワークを所定長さの連結棒を介して連結した構成の治具を使用してもよい。この場合、あらカゝじめ、基準点 Op, Oq を位置合わせしておくことができるから、ユーザーは、カメラ 1A, 1Bの下方に治具を設置して撮像を行うだけで良くなり、きわめて簡単にキャリブレーションを実行することができる。

[0091] ただし、上記の実施例では、ノメータの算出処理の説明を簡単にするために、基準点 Op, Oqを位置合わせしただけであり、基準点 Op, Oqを位置合わせしなくとも、ノラメータを算出することは可能である。

[0092] つぎに、上記の実施例では、キャリブレーションパターンとして格子状のパターンを使用したが、これに限らず、他のパターンを使用することもできる。

図 11は、前記シート 5p, 5qに、格子状パターン以外のパターンを形成した例を示す。この例の第 1シート 5pには、黒く塗りつぶしされた円が、縦横各方向にそれぞれ等間隔に配列されている。他方の第 2シート 5qには、前記第 1シート 5pよりも面積が大きぐ輪郭線のみが示された円が、縦横各方向に等間隔に配列されている。

[0093] ただし、いずれのシート 5p, 5qとも、中心位置に置かれるはずの 1個分の円を欠落させている（図では、欠落部分を一点鎖線の枠で囲んで示している。 ) oまた、第 1シート 5pの黒塗りの円の面積は、第 2シート 5qの円の輪郭線の幅よりも大きくなるように設定される。

[0094] 上記のキャリブレーションパターンの構成によれば、各シート 5p, 5qを上下に配置しても、面積の小さな第 1シート 5p上の円が第 2シート 5q上の円により隠されてしまうことがなぐ双方の円を分離して抽出することが可能になる。また、この実施例では、各円の重心を特徴点として機能させることができる。また、中央の円が欠落している部分についても、他の円の配列状態力仮想の円を設定して重心を求めることができる。よって、この仮想の円の重心を基準点として機能させることができる。

[0095] 図 12は、前記図 11のシート 5p, 5qを用いてキャリブレーションを行う場合の処理の流れを示す。

最初のステップ Aでは、前記シート 5p, 5qを、前記中央の円の欠落部分が位置合わせされた状態で設置し、各カメラ 1A, 1Bにより撮像する。この後は、カメラ 1A, 1B 毎に得られた処理対象画像にっ、て、それぞれステップ B〜Fの処理を実行する。

[0096] ステップ Bでは、前記処理対象画像を膨張処理する。具体的には、各画素の明るさを、それぞれその画素の周囲近傍領域中の最大の明るさに変換する。このような処理を行うことにより、輪郭線のみが暗い第 2シート 5qの円を消失させることができる。一方、第 1シート 5pの黒塗りの円は、面積は若干小さくなるものの、処理後も残存させることができる。 [0097] つぎのステップ Cでは、前記膨張処理後の画像を収縮処理する。具体的には、上記とは逆に、各画素の明るさを、それぞれその画素の周囲近傍領域中の最小の明るさに変換する。この処理により、第 1シート 5pの円の大きさを回復させることができる。

[0098] ステップ Dでは、上記ステップ B, Cを経た画像を 2値化し、第 1シート 5pの円を抽出する。そして、各円の重心の座標を求め、これらを特徴点の座標として RAMに保存する。さらに、抽出された各円の配列状態から、中央の円の欠落部分を抽出し、その部分に仮想の円を設定してその重心を求める。この重心の座標は、第 1シート 5pの基準点 Opの座標として RAMに保存される。

[0099] つぎに、ステップ Eでは、ステップ Aで生成された処理対象画像とステップ Bの膨張処理後の画像とを対象として、これらの画像の差分演算処理を実行する。この差分処理画像によれば、第 1シート 5pの円を消失させ、第 2シート 5qの円を残存させることがでさる。

[0100] ステップ Fでは、上記の差分処理画像を 2値化処理して、第 2シート 5qの円を抽出する。そして、各円の重心の座標を求め、これらを特徴点の座標として RAMに保存する。

さらに、抽出された各円の配列状態から、中央の円の欠落部分を抽出し、その部分に仮想の円を設定してその重心を求める。この重心の座標は、第 2シート 5qの基準点 Oqの座標として、 RAMに保存される。

[0101] このようにして、各シート 5p、 5qの特徴点および基準点 Op, Oqが抽出されると、以下、ステップ G, H, I, Jを順に実行する。なお、これらのステップは、それぞれ前記図 4のステップ 6, 7, 8, 9に対応するものであり、ここでは詳細な説明を省略する。上記した一連の処理により、 3次元計測に必要なパラメータが算出され、ノメータ記憶部 28に格納される。

[0102] なお、上記図 11の手順では、膨張'収縮処理や差分処理により、各シート毎の円を分離して抽出するようにしたが、円の抽出方法はこれに限定されるものではない。たとえば、処理対象画像からエッジ構成画素を抽出し、抽出された各画素において、それぞれその濃度勾配方向に沿って一方の円の半径に対応する長さの線分を設定することにより、その線分の円に対応する中心点を抽出することができる。この方法の詳細にっ、ては、日本国再公表公報 WO99Z52072号を参照された!、。

さらに、上記した 2つの実施例では、いずれも、周期性を有するキャリブレーションパターンが形成されたシートを使用している力必ずしも周期性を持たせる必要はなぐ相対位置関係が既知の特徴点を複数抽出することが可能なキャリブレーションパターンであればよい。

Claims

請求の範囲

[1] 複数の撮像装置を用いた 3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な 2次元のキャリブレーションパターンを用いて、前記 3 次元計測のためのキャリブレーションを行う方法であって、

3種類以上のキャリブレーションパターンのうちの特定の 1つを透光性を問わない平面に設けるとともに、その他のすべてのキャリブレーションパターンを透光性を有する平面に設け、

いずれの平面も各撮像装置の光軸に交差し、かつ各撮像手段から見て前記透光性を問わない平面が最後方になるようにして、各平面を前記各撮像装置から遠ざかる方向に沿って順に配置し、

前記の配置状態において前記各撮像装置を駆動する第 1ステップ;前記第 1ステツプで各撮像装置により得られた画像につき、それぞれ前記特徴点をキヤリブレーションパターン毎に分離して抽出する第 2ステップ;第 2ステップで抽出された各特徴点を前記相対位置関係に基づき画像間で対応づけする第 3ステップ；第 3ステップの対応づけがなされた各特徴点の位置情報を用いて 3次元計測用のパラメータを算出する第 4ステップ；の各ステップを実行することを特徴とする 3次元計測のためのキヤリブレーシヨン方法。

[2] 複数の撮像装置を用いた 3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な 2次元のキャリブレーションパターンを用いて、前記 3 次元計測のためのキャリブレーションを行う方法であって、

2つのキャリブレーションパターンの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、

各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わな、平面の前方に位置するようにして、各平面をあら力じめ定めた所定距離をお、て各撮像装置から遠ざかる方向に沿って前後に配置し、

前記の配置状態において前記各撮像装置を駆動する第 1ステップ;前記第 1ステツプで撮像装置毎に得られた画像につき、それぞれ前記特徴点をキャリブレーションパターン毎に分離して抽出する第 2ステップ;抽出された各特徴点を前記相対位置関係に基づき画像間で対応づけする第 3ステップ；第 3ステップの対応づけがなされた各特徴点の位置情報を用いて 3次元計測用のパラメータを算出する第 4ステップ；の各ステップを実行することを特徴とする 3次元計測のためのキャリブレーション方法

[3] 複数の撮像装置を用いた 3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な 2次元のキャリブレーションパターンを用いて、前記 3 次元計測のためのキャリブレーションを行う方法であって、

各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置し、かつ各平面が平行になるようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置力も遠ざ力る方向に沿って前後に配置し、

[4] 請求項 1〜3の、ずれかに記載された方法にお!、て、

前記キャリブレーションパターンは、平行な直線群を 2種類以上含むとともに、これらの直線の方向が平面毎に異なるように設定されており、

前記第 2ステップでは、各平面につき、それぞれその平面に対応する直線を方向毎に抽出する処理と、抽出された直線間の交点を前記特徴点として抽出する処理とを実行する 3次元計測のためのキャリブレーション方法。

[5] 請求項 1〜3の、ずれかに記載された方法にお!、て、前記キャリブレーションパターンは、平面毎に態様の異なるマークが複数配列されたパターンであり、

前記第 2ステップでは、各平面に対応するマークを分離して認識した上で、これらのマークの代表点をそれぞれ前記特徴点として抽出する 3次元計測のためのキヤリブレーシヨン方法。

[6] 請求項 1〜3の、ずれかに記載された方法にお!、て、

前記キャリブレーションパターンは、平面毎に色彩または濃度が異なるパターンであり、前記第 2ステップには、各平面に対応する色彩または濃度を個別に抽出する処理が含まれる 3次元計測のためのキャリブレーション方法。

[7] 請求項 2または 3に記載された方法にぉ、て、

前記 2つの平面の一方には、輪郭線のみが示されたマークによるキャリブレーションパターンが形成されるとともに、他方には内部が塗りつぶしされたマークによるキヤリブレーシヨンパターンが形成され、前者のマークは後者のマークよりも大きぐかつ前者のマークの輪郭線の幅は後者のマークよりも小さくなるように設定されて、る 3次元計測のためのキャリブレーション方法。

[8] 請求項 1〜7の、ずれかに記載された方法にお!、て、

各平面に形成されるキャリブレーションパターンは、周期性を有するパターンである力特定の位置のみ前記周期性が欠落している 3次元計測のためのキヤリブレーション方法。

[9] 複数の撮像装置を用いた 3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数含む 2次元のキャリブレーションパターンを用いて、前記 3次元計測のためのキャリブレーションを行う方法であって、

前記キャリブレーションパターンが設けられた 2つの平面を、それぞれ前記各撮像装置の光軸に交差し、かつ各平面が平行になるようにして、あら力じめ定めた所定距離をおいて各撮像装置力も遠ざ力る方向に沿って順に配置するとともに、各撮像装置から見て前方の平面に偏光手段を設け、

前記の配置状態において、前記前方の平面に対し、前記偏光手段の偏光の方向に対応する光および前記偏光の方向に対応しない光を順に照射するとともに、光を照射する毎に前記各撮像装置を駆動するステップ A；前記偏光の方向に対応しな!ヽ光が照射されているときに各撮像装置により得た画像につき、それぞれ前方の平面のキャリブレーションパターンに含まれる特徴点を抽出するステップ B；前記偏光の方向に対応する光が照射されているときに各撮像装置により得た画像と前記ステップ B での抽出結果とを用いて、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出するステップ C、前記ステップ B, Cで抽出された特徴点をそれぞれ画像間で対応づけるステップ D、前記対応づけがなされた各特徴点の位置情報を用いて 3 次元計測用のパラメータを算出するステップ E、の各ステップを実行することを特徴とする 3次元計測のためのキャリブレーション方法。

[10] 複数の撮像装置と、各撮像装置力得た画像を用いて 3次元計測処理を行う計測装置と、相対位置関係が既知の特徴点を複数抽出することが可能な 2次元のキヤリブレーシヨンパターンが設けられた複数の平板状のワークと、少なくとも 2枚のワークをそれぞれ異なる平面に支持する支持具とを含む 3次元計測処理システムであって前記複数のワークのうちの少なくとも 1つは、透光性を有する材料により形成されており、

前記支持具は、支持対象の各ワークを、それぞれ各撮像装置の光軸に交差し、かつあらかじめ定めた所定距離をおいて各撮像装置力も遠ざ力る方向に沿って順に位置するように支持し、

前記計測装置には、各撮像装置により支持具に支持されたワークが撮像されたとき、各撮像装置により得られた画像につき、それぞれ前記特徴点をキャリブレーションパターン毎に分離して抽出する特徴点抽出手段;抽出された各特徴点を前記相対位置関係に基づき画像間で対応づけする対応づけ手段;対応づけがなされた各特徴点の位置情報を用いて 3次元計測用のパラメータを算出するパラメータ算出手段；前記パラメータ算出手段が算出したパラメータを保存する記憶手段;の各手段が設けられて、る 3次元計測処理システム。

[11] 前記前記支持具は、一対のワークを前記所定距離をお、てそれぞれのワーク面を水平にした状態で支持するように構成される請求項 10に記載された 3次元計測処理システム。

[12] 前記支持具は、少なくとも上方のワークを支持するためのワーク支持面を有し、このワーク支持面が透光性を有する材料により形成されており、

前記一対のワークの基準点となるべき位置には、それぞ; ί! ^立置合わせ用のマークが形成される請求項 11に記載された 3次元計測処理システム。

[13] 前記一対のワークは、少なくとも上方のワークを透光性を有する材料により形成されたものにして、支持具本体に一体に設けられる請求項 11に記載された 3次元計測処理システム。