JP4604774B2 - 3次元計測のためのキャリブレーション方法 - Google Patents

3次元計測のためのキャリブレーション方法 Download PDF

Info

Publication number
JP4604774B2
JP4604774B2 JP2005071475A JP2005071475A JP4604774B2 JP 4604774 B2 JP4604774 B2 JP 4604774B2 JP 2005071475 A JP2005071475 A JP 2005071475A JP 2005071475 A JP2005071475 A JP 2005071475A JP 4604774 B2 JP4604774 B2 JP 4604774B2
Authority
JP
Japan
Prior art keywords
plane
calibration
calibration pattern
imaging device
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005071475A
Other languages
English (en)
Other versions
JP2006250889A (ja
Inventor
泰之 池田
紫朗 藤枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2005071475A priority Critical patent/JP4604774B2/ja
Priority to PCT/JP2006/304861 priority patent/WO2006098258A1/ja
Publication of JP2006250889A publication Critical patent/JP2006250889A/ja
Application granted granted Critical
Publication of JP4604774B2 publication Critical patent/JP4604774B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

この発明は、複数の撮像装置を用いた3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な2次元のキャリブレーションパターンを用いて、前記3次元計測のためのキャリブレーションを行う方法に関する。また、この発明は、前記のキャリブレーション方法を適用した3次元計測システムに関する。
複数の撮像装置を用いた3次元計測を行うためには、各撮像装置からの距離が異なる点を含む複数の特徴点を用いて、キャリブレーションを行う必要がある。このキャリブレーション方法の代表的なものとして、立体状のキャリブレーションワークを用いる方法がある。この方法では、位置決めされたキャリブレーションワークを各撮像装置により撮像し、それぞれの撮像装置から得られた画像毎に前記特徴点を抽出し、これらの座標を画像間で対応づける。さらに、画像上の2次元座標と3次元座標との関係を示した方程式に、特徴点毎に既知の3次元座標および各画像で対応づけされた2次元座標を代入し、最小自乗法により前記方程式中の未知の係数を算出する(特許文献1参照)。
特許3237414号 公報
さらに他の方法として、平面状のキャリブレーションワークを使用するものがある。この方法では、所定のキャリブレーションパターンが形成された平面状ワークを1つ用いて、このワークの方向または撮像装置からの距離を変更しながら複数回の撮像を行い、毎時の撮像で得られた画像毎に特徴点を抽出する(非特許文献1参照)。
Zhengyou Zhang "A Flexible New Technique for Camera Calibration"、Microsoft Research Microsoft Corporation,[平成17年2月24日検索]、インターネット<URL:http://research.Microsoft.com/~zhang/calib/>
立体状のキャリブレーションワークを使用する場合、撮像装置の位置や方向によっては、キャリブレーションに必要な数の特徴点を撮像できない場合がある。他の特徴点やその支持部材などによって隠されてしまう特徴点があるためである。
特許文献1では、特徴点抽出のための棒材(校正ポール)を任意位置に設置可能なワークを使用しているので、上記の問題は解消できるものと解される。しかし、このような構成のワークでは、校正ポールが破損するおそれがあり、取り扱いが困難である。また、一般ユーザーがキャリブレーションを行う場合、校正ポールをどの位置に設置すれば良いかを容易に判断できず、キャリブレーション作業を円滑に進められない可能性もある。
非特許文献1に開示された方法では、平面状のワークを使用するので、ワークの取り扱いは楽になる。また1枚のワークを使用するので、他のワークにより特徴点が隠されてしまうおそれもない。
しかしながら、この方法では、ワークの向きまたは位置を複数回にわたって変更する必要がある。しかも、ワークの向きや位置を変更する都度、撮像を行なわなければならないため、作業が繁雑になる。
一方、工場の生産ラインや検査ラインで利用される3次元計測システムでは、計測対象物や計測目的の変更に応じて撮像装置の設置場所や設置条件が変更される可能性があるため、現場の作業者が適宜キャリブレーションを実施できるようにするのが望ましい。このため、専門知識のない作業者でも、簡単な手法で誤りなくキャリブレーションを行えるように考える必要があるが、従来の方法には上記したような問題点があるため、そのような要望を満たすのは困難である。
この発明は、この点に着目し、キャリブレーションのための作業を簡単にして、一般ユーザーでも精度の良いキャリブレーションを簡単に実行できるようにすることを目的とする。
この発明に係る方法は、複数の撮像装置を用いた3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な2次元のキャリブレーションパターンを用いて、前記3次元計測のためのキャリブレーションを行うものである。この発明に係る第1の方法では、平行に配列された複数の直線より成る直線群を2グループ以上含み、これらの直線群間に生じる複数の交点を前記特徴点として機能させるキャリブレーションパターンを、各直線群の直線の方向がパターン毎に異なるようにして3種類以上設定し、これらのキャリブレーションパターンのうちの特定の1つを透光性を問わない平面に設けるとともに、その他のすべてのキャリブレーションパターンを透光性を有する平面に設ける。そして、いずれの平面も各撮像装置の光軸に交差し、かつ各撮像手段から見て前記透光性を問わない平面が最後方になるようにして、各平面を前記各撮像装置から遠ざかる方向に沿って順に配置する。
上記のように配置された各平面を、最前方の平面より手前、すなわち撮像装置の側から見ると、最前方の平面のキャリブレーションパターンは勿論のこと、後方の各平面のキャリブレーションパターンも、最前方の平面を介して視認することが可能になる。また、各キャリブレーションパターンに含まれる直線群の直線の方向がパターン毎に異なるように設定されているので、各キャリブレーションパターンの特徴点を平面毎に分離して抽出することができる。よって、各撮像手段を一度撮像するだけで、キャリブレーションを行うのに必要な数の特徴点を得ることが可能になる。
第1の方法では、つぎの4つのステップによりキャリブレーションを実現する。第1ステップでは、前記の平面の配置状態において各撮像装置を駆動する。この場合、各撮像装置を同時に駆動することができる。ただし、キャリブレーションを行うという趣旨からして、撮像中に各平面を移動させるとは考えられないから、各撮像装置を順に駆動してもよい。
第2ステップでは、前記第1ステップで各撮像手段により得られた画像につき、それぞれ特定の1つのキャリブレーションパターンに含まれる直線を直線群毎に複数抽出する処理と、これらの直線間の交点を前記特徴点として抽出する処理とを、キャリブレーションパターン毎に実行する。この処理により、キャリブレーションパターン毎に複数の特徴点を抽出することができる。
第3ステップでは、第2ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする。すなわち、前記キャリブレーションパターンにおける相対位置関係に基づき、実空間における同一の特徴点に該当する画像上の特徴点を抽出し、これらの点の座標を対応づける、と考えることができる。たとえば、撮像装置毎に得た画像毎に、その画像から抽出された特徴点の中からあらかじめ定めた規準の特徴点(以下、「基準点」という。)を抽出し、これらの座標を対応づける。さらに、他の特徴点についても、基準点に対する位置関係(たとえば基準点に対する方向や配置の順序など)が同一のものどおしを対応づけることができる。
第4ステップでは、第3ステップで対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出する。ここで特徴点の位置情報とは、前記第3ステップにおいて対応づけられた各画像上の座標と、実空間における座標の双方を含むと考えることができる。実空間の座標は、キャリブレーションパターンが設けられている平面における特徴点の配列関係や、その平面の最後方の平面に対する距離に基づいて、求めることができる。
なお、上記の方法では、非特許文献1と同様の手法によりパラメータを算出することができる。また3枚以上の平面を使用する場合には、互いの面間の配置関係がわからなくとも、すべてのパラメータを計算により求めることができる。また、各平面の向きを統一しなくともよい。
さらに、最後方の平面にも、他の平面と同様に透光性を有するものとしてもよい。
上記第1の方法によれば、キャリブレーションパターンが設けられた複数の平面を任意の順序で配置し、各撮像装置による撮像をそれぞれ一回実行するだけで、すべての平面のキャリブレーションパターンを含む画像を撮像し、パラメータの算出に必要な特徴点を抽出することができる。また、各平面のキャリブレーションパターンを最前方の平面を介して視認することができるから、一般ユーザーでも、各キャリブレーションパターンが分離可能な状態で設置されているか否かを容易に確認することができる。
この発明に係る第2、第3の方法は、第1の方法と同様の構成のキャリブレーションパターンを2つ使用するもので、キャリブレーションパターンの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設ける。第2の方法では、各平面がそれぞれ各撮像手段の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置する。そして、前記第1の方法と同様の第1〜第4ステップを実行する。
キャリブレーションのための平面を2つにする場合、各平面間の角度(具体的には各平面の法線がなす角度)と、平面間の相対位置情報(一方の面の特定の点と他方の面の任意の点との間の距離)が判明していれば、3次元計測に必要なパラメータを算出することが可能になる。第2の方法は、上記2種類の情報が既知であることを条件として実行されるものである。
第3の方法は、上記2種類の情報が既知でない環境下で実行されるもので、2つの平面がそれぞれ各撮像手段の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置し、かつ各平面が平行になるようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置する。そして、前記第1の方法と同様の第1〜第4ステップを実行する。
第2、第3の方法では、各撮像装置から見て前方に位置する平面に透光性をもたせているので、前方の平面を介して後方の平面のキャリブレーションパターンを視認することができる。よって、2つのキャリブレーションパターンを同時に撮像することが可能になる。
第2、第3の方法でも、各撮像装置による撮像をそれぞれ一回実行するだけで、すべての平面のキャリブレーションパターンを含む画像を撮像し、パラメータの算出に必要な特徴点を抽出することができる。
上記第1〜第3の方法に適したキャリブレーションパターンとして、2方向に沿う直線を交差させたパターン(たとえば格子状のパターン)を設定することができる。この場合、平面毎にキャリブレーションパターンの形成方向を変えたり、同一のキャリブレーションが形成された平面を所定角度ずつ回転させながら設置させるなどして、各直線群に係る直線の方向を平面毎に変化させるようにすれば、前後の平面間のキャリブレーションパターンが重なり合わない状態を設定することができる。
なお、直線を抽出するには、抽出対象の直線の方向に沿って画像の投影処理(具体的には、直線の方向に沿って濃度値の総和を求める。)を実行し、濃度が最も低い位置(ただし、画像が暗くなるほど濃度値が小さくなるものとする。)とすることができる。または、画像上のエッジ構成画素を抽出し、その抽出結果から、濃度勾配方向が同じエッジ構成画素が連なる画像領域を、直線として抽出するようにしてもよい。
つぎにこの発明に係る第4および第5の方法では、キャリブレーションパターンとして、平面毎に態様の異なるマークが複数配列されたパターンを使用する。一方のキャリブレーションパターンでは、内部が塗りつぶしされたマークが配列され、他方のキャリブレーションパターンでは、上記の塗りつぶしされたマークより小さな幅の輪郭線のみが示されたマークが配列される。
また、第4および第5の方法でも、各キャリブレーションパターンのうちの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設ける。また、各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て透光性を有する平面が透光性を問わない平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置する。さらに第5の方法では、第3の方法と同様に、各平面を配置する際に、これらの平面が平行になるように設定する。
第4および第5の方法では、各撮像装置を駆動する第1ステップを実行した後に、第1ステッで各撮像装置により得られた画像につき、それぞれ特定の1つのキャリブレーションパターンに含まれる複数のマークの重心または中心点を前記特徴点として抽出する第2ステップを実行する。さらに、第1〜第3の方法と同様の第3ステップおよび第4ステップを実行することにより、3次元計測用のパラメータを算出する。
上記第4および第5の方法によれば、2種類のキャリブレーションパターンが撮像装置から見て前後する位置関係に置かれても、一方のマークにより他方が隠されてしまうことがないので、第2ステップでは、双方のマークを分離して抽出することが可能になる。たとえば、画像の膨張処理により、輪郭線のみのマークを消失させて、塗りつぶしのマークを抽出した後、膨張処理前の画像と膨張処理後の画像との差分演算を実行することにより、輪郭線のみのマークを抽出することができる。
さらに、第1〜第5のキャリブレーション方法では、各平面に形成されるキャリブレーションパターンとして、周期性を有するパターンであるが、特定位置のみ前記周期性が欠落したものを使用することができる。周期性を欠落させた部分には、他とは異なるマークを配置したり、パターンが存在しない空白領域を設定することができる。
上記の態様によれば、周期性が欠落している部分について、重心などの代表点を抽出し、これを前記基準点とすることができる。さらに、その他の周期性を有するパターンから抽出した特徴点を、前記基準点との位置関係に基づいて特定することができる。これにより、撮像装置毎に得た画像間での特徴点の対応づけが可能になり、キャリブレーションのための演算を実行することができる。また、周期性が欠落している部分を目印にして、各平面を位置合わせすることができるから、いずれかの平面の基準点を原点とする空間座標系を設定して、各特徴点の3次元座標を特定することができる。
つぎに、この発明にかかる第6のキャリブレーション方法では、相対位置関係が既知の特徴点を複数含む2次元のキャリブレーションパターンが設けられた2つの平面を、それぞれ前記各撮像装置の光軸に交差し、かつ各平面が平行になるようにして、あらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って順に配置する。さらに、前方の平面には偏光手段が設けられる。
この方法における2つの平面の配置状態は基本的には第3の方法と同様であるが、前方の平面に偏光手段を設けた点が異なる。たとえば、前方の平面を偏光性媒質により構成することにより、後方の平面に作用する光の方向を一方向に限定することができる。なお、以下では、前面の平面を透過する光を「偏光の方向に対応する光」といい、前面の平面を透過しない光を「偏光の方向に対応しない光」という。
さらに、この第6の方法では、以下のステップA,B,C,D,Eを実行する。
ステップAでは、上記した平面の配置状態において、前方の平面に対し、前記偏光手段の偏光の方向に対応する光および前記偏光の方向に対応しない光を順に照射するとともに、光を照射する毎に前記各撮像装置を駆動する。すなわち、この方法では、照明の方向を変更しながら、少なくとも2回の撮像を行う必要がある。
ステップBでは、偏光の方向に対応しない光が照射されているときに各撮像装置により得た画像につき、それぞれ前方の平面のキャリブレーションパターンに含まれる特徴点を抽出する。ステップCでは、偏光の方向に対応する光が照射されているときに各撮像装置により得た画像と前記ステップBでの抽出結果とを用いて、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出する。
ステップDでは、前記ステップB,Cで抽出された特徴点を画像間で対応づける。ステップEでは、対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出する。
前方の平面に偏光の方向に対応する光が照射された状態下では、前方の平面を透過した光により後方の平面も照明される。したがって、この照明状態下で撮像を行うと、前後の各平面に設けられたキャリブレーションパターンを共に含む画像を得ることができる。一方、偏光の方向に対応しない光が照射された状態下では、その照射光は前方の平面で遮光されるから、その照明下で撮像された画像には、前方側のキャリブレーションパターンのみが現れる。後者の画像はステップBでの処理対象となり、前者の画像はステップCでの処理対象となる。
の方法では、撮像回数は2回になるが、特徴点を簡単に抽出することができる。すなわち、ステップBで処理する画像には、前方の平面のキャリブレーションパターンのみが含まれているから、通常の特徴点の抽出処理を行うだけで良い。またステップCでは、偏光の方向に対応する光による照明下で得られた画像を処理するので、特徴点の抽出処理を行った後、画像上の特徴点のうち、ステップBで抽出されたのと同じものを除くことによって、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出することができる。
なお、上記第6の方法に代えて、前方の平面を透光性を有する平面とし、各平面の間に偏光板を設けて、上記のステップA〜ステップEを実行することもできる。
上記第1〜第5のキャリブレーション方法を実行するための3次元計測処理システムとして、複数の撮像装置と、各撮像装置から得た画像を用いて3次元計測処理を行う計測装置と、相対位置関係が既知の特徴点を複数抽出することが可能な2次元のキャリブレーションパターンが設けられた複数の平板状のワークと、少なくとも2枚のワークをそれぞれ異なる平面に支持する支持具とを含むシステムを構成することができる。複数のワークのうちの少なくとも1つは、透光性を有する材料により形成されている。また、前記支持具は、支持対象の各ワークを、それぞれ各撮像装置の光軸に交差し、かつあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って順に位置するように支持する。
上記の構成では、各撮像装置から最も遠い位置に支持されるものを除く各ワークを、それぞれ透光性を有する材料によるワークとすることにより、前出の第1〜のキャリブレーション方法を実行することができる。勿論、すべての支持位置に透光性を有する材料によるワークを設置することもできる。
前記第1〜のキャリブレーション方法を実行するために、前記計測装置には、各撮像装置により支持具に支持されたワークが撮像されたとき、各撮像装置により得られた画像につき、それぞれ前記特徴点をキャリブレーションパターン毎に分離して抽出する特徴点抽出手段;抽出された各特徴点を前記相対位置関係に基づき画像間で対応づけする対応づけ手段;対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出するパラメータ算出手段;前記パラメータ算出手段が算出したパラメータを保存する記憶手段;の各手段が設けられる。特徴点抽出手段は前記第2ステップを、対応づけ手段は前記第3ステップを、パラメータ算出手段は前記第4ステップを、それぞれ実行するためのもので、いずれも対応するステップを実行するためのプログラムを組み込んだコンピュータにより構成することができる。また、記憶手段は、前記コンピュータのメモリに設定することができる。
さらに、前記計測装置には、前記第1ステップに対応する手段、すなわち各撮像装置を駆動する手段を設けることができる。ただし、この駆動手段は計測装置の外部に設けることもできる。
上記の3次元計測処理システムの好ましい態様においては、前記支持具は、一対のワークを前記所定距離をおいてそれぞれのワーク面を水平にした状態で支持するように構成される。この場合、上方で支持されるワークを透光性を有する材料によるワークとし、各撮像装置を支持具の上方に配備すれば、前記第3または第5のキャリブレーション方法を実行することが可能になる。
各ワークを水平状態で支持する支持具として、水平方向に沿うワーク支持面を有するものを考えることができる。ただし、この場合には、少なくとも上方の支持面を透光性を有する材料により構成する必要がある。また各ワークにある程度の厚みがあれば、それぞれのワークを端縁で支持するような構成の支持具を用いることもできる。
なお、下方のワークは、支持具が設置されるのと同一平面上に設置し、このワークをまたぐように支持具を設置して、上方のワークを支持するようにしてもよい。
より好ましい態様では、前記支持具は少なくとも上方のワークを支持するためのワーク支持面を有する。このワーク支持面は透光性を有する材料により形成される。また、一対のワークの基準点となるべき位置には、それぞれ位置合わせ用のマークが形成される。なお、この種のワークとして、前記した周期性を有するパターンであるが、特定の位置のみ前記周期性が欠落しているキャリブレーションパターンを有するワークを採用することができる。
上記の態様によれば、各位置合わせ用マークを参照することにより、上下のワークの基準点を簡単に位置合わせすることができる。よって、いずれかの基準点を原点とする空間座標系を設定し、その座標系の座標により双方のワークの位置を特定することが可能になる。なお、位置合わせマークは、●印や×印など基準点を特定しやすいものにするのが望ましい。または、2本の直線の交点を位置合わせマークとして機能させることもできる。
一対のワークを水平状態で支持する支持具の他の好ましい態様では、前記一対のワークのうちの少なくとも上方のワークを透光性を有する材料により形成されたものにして、各ワークを支持具本体に一体に設ける。この構成によれば、一対のワークは固定配備されるので、ユーザーによるワークの位置決め作業は不要となり、一般ユーザーでも簡単にキャリブレーション作業を実行することが可能になる。
この発明によれば、キャリブレーションパターンが固定された平面状のワークを複数作成し、これらのワークを所定の順序で並べて撮像することにより、キャリブレーションに必要な特徴点を得ることができるから、キャリブレーションのための作業を簡単にすることができる。
図1は、この発明を適用した3次元計測システムの構成例を示す。
この3次元計測システムは、2台のカメラ1A,1Bと、計測装置2と、画像表示用のモニタ3とを含む。計測装置2には、各カメラ1A,1Bに対応する画像入力部20A,20B、カメラ駆動部21、演算処理部22、出力部29などが設けられる。なお、この3次元計測システムでは、水平面に設置された計測対象物を撮像することを前提としており、各カメラ1A,1Bは、図2に示すように、それぞれ光軸を下方に向けて配備される。
前記カメラ駆動部21は、各カメラ1A,1Bを同時に駆動し、計測対象物を撮像させる。なお、計測時のカメラ1A,1Bの駆動は、外部信号の入力(たとえば計測対象物の検知用のセンサからの信号)に応じて行われるが、後記するキャリブレーション処理では、図示しない操作部による撮像操作に応じてカメラ1A,1Bを駆動する。各カメラ1A,1Bにより生成された画像信号は、それぞれの画像入力部20A,20Bに入力され、ディジタル変換される。これにより、カメラ毎に処理用のディジタル画像(以下、「処理対象画像」という。)が生成される。
演算処理部22は、コンピュータにより構成されるもので、前記カメラ毎の処理対象画像を用いて3次元計測処理を実行する。出力部29は、この3次元計測結果を、PLCなどの外部機器に出力するための出力用インターフェースである。
前記演算処理部22には、前記処理対象画像を格納するための画像メモリ23のほか、画像処理部24、パラメータ算出部25、計測処理部26、表示制御部27、パラメータ記憶部28などが含められる。なお、画像メモリ23およびパラメータ記憶部28以外の各部は、専用のプログラムにより前記コンピュータに設定された機能である。また、画像メモリ23やパラメータ記憶部28は、前記コンピュータのメモリ(RAMなど)に設定される。
画像処理部24は、前記画像メモリ23に格納された2つの処理対象画像に、エッジ抽出処理などを施して、計測対象物の構成点(たとえば輪郭の構成点)を抽出する。さらに、画像処理部24は、パターンマッチング処理などを用いて、各処理対象画像間の同一構成点を対応づける処理を実行する。この対応づけ結果は計測処理部26に渡される。計測処理部26は、構成点毎に、それぞれ各処理対象画像におけるその構成点の座標を所定の演算式に代入し、各構成点の3次元座標(X,Y,Z)を算出する。
パラメータ記憶部28には、前記演算式に含まれる各種係数(後記する式(1)(2)の行列[P][Q]に含まれるもの。)が保存される。これらの係数の値は、各カメラにより構成されるステレオ座標系と実際の位置を表す空間座標系との関係(各座標間の原点間の距離、空間座標系に対するステレオ座標系の回転ずれ量など)に応じて変動する(以下、これらの係数を「パラメータ」という。)。このパラメータは、前記3次元計測に先立ち、画像処理部24およびパラメータ算出部25の処理により算出され、前記パラメータ記憶部28に格納される。
表示制御部27は、前記モニタ3の表示動作を制御するためのもので、各画像入力部20A,20Bが生成した処理対象画像のほか、画像処理部24や計測処理部26による処理結果(処理対象画像から生成された変換画像、3次元計測の結果など)を表示させることができる。
上記の3次元計測処理システムでは、つぎの図2に示すような方法によるキャリブレーションを行って、前記パラメータを算出するようにしている。
この方法では、キャリブレーションワークとして、所定のキャリブレーションパターンが印刷された透明シート5(以下、単に「シート5」という。)を使用する。具体的には、2枚の透明支持板(図示せず。)を所定長さの連結棒4を介して連結し、各支持板の上面にそれぞれ前記シート5を設置する。これにより、各シート5,5は、所定の距離を隔て、かつ各シート面を水平にして、上下に並べて配備される。
図3は、前記シート5の具体例を示す。
この実施例のシート5には、直交する2方向につき、それぞれその方向に沿う複数の直線を等間隔に配置した構成のキャリブレーションパターン(いわゆる格子状のパターン)が印刷されている。一方のシート5(以下、「第1シート5p」という。)には、その縦方向および横方向に沿う直線による格子状パターンが形成され、他方のシート5(以下、「第2シート5q」という。)には、第1シート5pと同形状の格子状パターンが45度回転した状態で形成されている。
さらに、これらのシート5p,5qでは、平行配備された一群の直線のうちの中央の直線50p,51p,50q,51q(いずれもシートの中心点を通過するように設定されている。)の幅を、その他の直線よりも太く形成している(以下、これら幅の太い直線50p,51p,50q,51qを「基準線」という。)。これらの基準線の交点Op,Oqは、シート5p,5qの位置合わせや、キャリブレーションパターン中の各特徴点を特定する際の基準点として機能する(以下、交点Op,Oqを「基準点Op,Oq」という。)。
なお、以下の図では、画像中に現れる基準線や基準点にも、実際のシート5p,5qを示した図3と同様の符号(50p,51p,50q,51qおよびOp,Oq)を用いることにする。
上記のシート5p,5qでは、各直線の交点を特徴点として機能させるようにしている。キャリブレーション処理では、前記図2に示した方法で各シート5p,5qを撮像し、得られた画像からシート毎にキャリブレーションに必要な特徴点を複数抽出するようにしている。
図4は、このキャリブレーション処理における一連の処理の流れを示す。以下、この図に示すステップ1〜8の処理について、順を追って説明する。
(1)ステップ1:撮像処理
前記した2枚のシート5p,5qは、それぞれ基準点が位置合わせされ、かつ4本の基準線50p,51p,50q,51qがそれぞれ45°間隔で配置されるようにして、上下に並べて設置される。ステップ1では、この状態下で各カメラ1A,1Bを同時に駆動し、キャリブレーション用の処理対象画像を生成する。
各シート5p,5qの背景は透明であるので、上記した設置状態によれば、上方のシート5pを介して下方のシート5qのキャリブレーションパターンを視認することができる。よって、いずれのカメラ1A,1Bでも、図5に示すように、上下の格子パターンを合成したような処理対象画像を生成することができる。
(2)特徴点の抽出方法
ここで、以下のステップを説明する前に、図6を用いて、特徴点を抽出する方法を簡単に説明する。
この実施例では、画像上の直線を方向毎に分離して抽出した後、第1シートに対応する直線(図中の0°の直線と90°の直線)と、第2シートに対応する直線(図中の45°の直線と135°の直線)とをそれぞれ組み合わせ、これらの組み合わせ毎に、直線の交点を求めるようにしている。以下のステップ2〜5は、上記の処理を具体化したものであって、2枚の処理対象画像毎に実行される。
なお、上記した図6や以下の図7,8,9では、紙面の左から右に向かう方向を0°として、4方向の直線を、0°,45°,90°,135°の方向に沿って示すとともに、それぞれ「0°の直線」「45°の直線」「90°の直線」「135°の直線」と表現する。ただし、これらの表現は便宜上のものであり、画像に現れる直線の方向は微妙に変動する。シート5p,5qに対するカメラ1A,1Bの位置関係や光軸の方向による影響を受けるためである。
(3)ステップ2,3:第1シートの直線抽出処理および特徴点の抽出処理
このステップ2では、処理対象画像から第1シートに対応する0°の直線および90°の直線をそれぞれ個別に抽出する。
図7は、0°の直線を抽出する方法の具体例を示す。なお、以下では、前記0°の方向をx軸、これに直交する方向(90°の方向)をy軸とする。
この例では、処理対象画像の所定位置に、複数の直線にまたがる長さを有する小領域10を設定し、この小領域10内の画像をx軸方向に沿って投影する。具体的には、前記小領域内のy座標が等しい画素を1グループとして、グループ毎濃度の総和を求め、その算出値をy座標に対応づけたヒストグラムを作成する。
図7中、(A)は処理対象画像の全体像であり、(B)は前記小領域10内の画像を拡大したものである。さらに(C)は、前記小領域10の投影処理により得られたヒストグラムを拡大図(B)にy座標を合わせて示したものである。
上記の拡大図(B)に示すように、0°の直線に対応するy座標では、その座標にかかるライン上のほぼ全ての画素が直線の構成画素となる。したがって、画像が暗くなるほど濃度値が小さくなるように設定されている場合には、投影処理を行うと、(C)に示すように、0°の直線に対応する位置における投影値は、その他の位置の投影値よりも小さくなる。よって、前記ヒストグラム中の各極小値(+マークで示す。)に対応するy座標を、0°の直線が通過する位置として特定することができる。
また、0°の方向に沿う基準線51pは、他の直線より幅が太くなるため、ヒストグラム上にも、他の直線よりも幅の広い変化として反映される(図中の点線円Rで囲んだ部分が基準線51pに対応する変化である。)。すなわち、極小値を中心とする変化の幅を相互に比較することにより、基準線の通過位置を示すy座標を特定することが可能になる。
図8は、ステップ2およびステップ3において行われる処理の詳細を示す。
ステップ2では、まず0°の直線を抽出するために、前記した投影処理用の小領域10をx軸に沿って複数個設定し、これらの小領域毎に投影処理を行って、直線の通過点(図中+マークにより示す。)を抽出する(図8の(1))。
つぎに、各小領域10間において、同一直線上に位置する複数の点を対応づける。具体的には、いずれか一領域の1点に着目し、その他の領域について、それぞれ前記着目点に対するy座標の差が所定範囲内にある点(一領域につき一点)を抽出し、着目点に対応づける。この処理を数サイクル繰り返すことにより、直線毎に、その直線上に位置する複数の点を特定し、これらの点の座標を用いて直線の式を特定する。
上記のように、複数の小領域10を設定して、これらの領域毎に直線の通過点を求め、これらの通過点の座標から直線の式を設定するので、画像上の直線の方向が0°方向からずれた場合にも、その方向を精度良く抽出することができる。
図8の(2)は、上記の方法による直線の抽出結果を示したもので、直線の式が設定された範囲を塗りつぶしにより示すとともに、各式により特定された直線を他の直線よりも幅を太くして表している。
さらにステップ2では、90°の直線を抽出するために、前記小領域10をx軸方向に長いものに変更し、この小領域10をy軸方向に沿って複数個設定する。そして、各小領域10につき、それぞれその領域内の画像をy軸方向に沿って投影し、直線の通過点を抽出する(図8の(3))。
この後、0°の直線について実行したのと同様の方法により、直線毎に、その直線上に位置する複数の点を特定し、これらの点の座標を用いて直線の式を特定する。図8(4)は、この一連の手順により抽出された直線を、前記図8(3)と同様の方法により示したものである。
このようにして、0°および90°の直線に対応する直線の式がそれぞれ複数特定されると、ステップ3に進み、これらの直線の式を用いて各直線の交点の座標を算出する。これにより、図8(5)に示すように、複数の特徴点(図中の●印)が抽出される。
なお、直線を抽出する際の投影処理では、前記したように、ヒストグラム上の変化の幅に基づいて、基準線50p,50qを特定することができる。ステップ3には、これらの基準線50p、51pの式から基準点Opの座標を特定する処理も含まれている(図8(5)では、この基準点Opを○印で示している。)。
上記のようにして、処理対象画像毎に、第1シート5pの特徴点が複数個抽出される。抽出された特徴点の座標は、図示しないRAMに保存され、つぎの第2シートに対する処理に移行する。
(4)ステップ4,5:第2シートの直線抽出処理および特徴点の抽出処理
ステップ4では、ステップ2と同様の投影処理により、2方向に沿う直線を抽出する。ただし、第2シート5qの直線は、45°または135°の方向を向いているので、その方向に沿って投影処理を行う必要がある。
図9は、45°の直線および135°の直線を抽出する方法を示す。この場合、抽出対象の直線の方向を投影方向として、その投影方向に直交する方向に長い小領域10が設定される。また、前記図8の(1)(3)と同様に、投影方向に沿って複数の小領域10が並べられる。
小領域10毎に画像を投影する処理により、各小領域において、複数の直線の通過点が抽出されると、以下、第1シート5pに対する方法と同様にして、各直線の式を特定する。この後はステップ5に進み、各直線の式から交点の座標を算出し、それぞれの座標を特徴点の座標としてRAMに保存する。また、このステップ5には、前記投影処理結果から特定した基準線50q,51qの式を用いて、前記基準点Oqの座標を特定する処理が含まれている。
(5)ステップ6:画像間における特徴点の対応づけ処理
上記ステップ2〜5により、カメラ1A,1Bから得られた2枚の処理対象画像について、それぞれシート5p,5q毎に、複数個の特徴点が抽出されると、ステップ6では、画像間において、同一の特徴点どおしを対応づける処理を実行する。この対応づけ処理は、前記基準点Op,Oqに対する相対位置関係を用いて行われる。
図10は、前記第1シート5pの一部領域52を拡大して、この領域52内の各特徴点(前記基準点Opを×印、他の特徴点を●印にしている。)の配列状態を表したものである。
前記したように、第1シート5p上の各直線は、等間隔をおいて配備されているから、これらの交点である特徴点も、直線間と同じ間隔で並んでいると考えることができる。したがって、各特徴点に対し、基準点Opから見て水平方向(X軸方向)にi番目、垂直方向(Y軸方向)にj番目の点Uijとしてラベル付けを行うことができる(i,jは、それぞれx軸方向、y軸方向に沿って変化するもので、正の整数または負の整数となる。また基準点Opは、U00のラベルを設定することができる。)。
他方の第2シート5qについても、同様に、各特徴点を基準点Oqとの位置関係に基づいて、ラベル付けすることができる。
処理対象画像においても、各特徴点の配列方向や間隔は、撮像条件によって若干変動すると考えられるが、基準点Op,Oqに対する方向や配列の順序については、上記図10と同様の関係が成立すると考えることができる。
ステップ6では、上記の考察に基づき、処理対象画像中のシート5p,5q毎の特徴点を、それぞれ前記ステップ3,5で特定された基準点Op,Oqを基準に、前記引数i,jを用いてラベル付けする。そして、各処理対象画像からi,jの値が一致する特徴点をそれぞれ抽出し、これらの座標を対応づける。
(6)ステップ7:各特徴点の3次元座標の特定処理
ステップ7では、パラメータの算出に先立ち、各特徴点の実際の空間における座標(X,Y,Z)を特定する。この処理でも、前記基準点Op,Oqを基準にした配列順序を用いることができる。なお、以下では、前出の図2に示したように、第1シート5pが上方に、第2シート5qが下方に設置されていることを前提に説明する。
ステップ7では、各シート5p,5qが基準点Op,Oqで位置合わせされていることを利用して、下方の第2シート5qの基準点Oqを原点(0,0,0)とする空間座標系を設定する。ここでシート5p,5q間の距離をdzとすると、他方の基準点Opの座標は(0,0,dz)となる。
さらに、各シート5p,5qにおける特徴点間の距離をDとし、第1シート5pの特徴点U ijの座標を(Xpij,Ypij,Zpij)とおき、第2シート5qの特徴点の座標を(Xqij,Yqij,Zqij)とおくと、これらの座標は、下記のように表される。
Figure 0004604774
以下、これらの式により特定される空間座標をパラメータの算出に使用する。
(7)ステップ8:パラメータの算出
ステップ8では、特徴点毎に、それぞれステップ7で特定された3次元座標と、ステップ6で対応づけられた各処理対象画像上の座標とを用いて、各種パラメータを算出する。
ここで、各特徴点について、それぞれ3次元座標を(X,Y,Z)とし(XはXpijまたはXqij;YはYpijまたはYqij;ZはZpijまたはZqijである。)、カメラ1A側の画像における座標を(x,y)とし、カメラ1B側の画像における座標を(x,y)とする。)とすると、これらの座標の間には、つぎの(1)(2)式の関係が成立する。よって、ST8では、各特徴点毎に、それぞれ上記の3種類の座標を(1)(2)式に代入し、最小自乗法を用いて行列[P][Q]を算出する。なお行列[P][Q]の構成式は(3)(4)式のとおりである。
Figure 0004604774
Figure 0004604774
Figure 0004604774
Figure 0004604774
(8)ステップ9:パラメータの保存
上記のようにして、行列[P][Q]を構成する各パラメータが算出されると、ステップ9では、これらのパラメータを前記パラメータ記憶部28に格納する。これにより、一連のキャリブレーション処理が終了し、3次元計測処理を実行することが可能になる。
以上、説明したキャリブレーションによれば、2枚のシート5p,5qを基準点Op,Oqを位置合わせした状態で上下に配置し、各カメラ1A,1Bによる撮像を1回実行するだけで、3次元計測に必要なパラメータを算出することができる。よって、専門知識のない一般ユーザーでも、簡単にキャリブレーションを実行することが可能になる。
なお、前記した支持板に、各シート5p,5qの基準線50p,51p,50q,51qと同様の直線など、位置合わせ用のマーカーを付すようにすれば、シート5p,5qを正確かつ簡単に位置合わせすることができる。
また、上記の実施例では、各方向毎の直線を投影処理により抽出したが、これに代えて、処理対象画像に対してエッジ抽出処理を実行し、各エッジ構成画素の濃度勾配方向を用いた直線抽出処理を実行することもできる。この処理の詳細については、下記の特許文献2を参照されたい。
特開2002−230562 公報
また、前記シート5p,5qを使用する方法に代えて、一対の板状ワークにそれぞれ前記した2種類の格子状パターンを印刷し、これらの板状ワークを所定長さの連結棒を介して連結した構成の治具を使用してもよい。この場合、あらかじめ、基準点Op,Oqを位置合わせしておくことができるから、ユーザーは、カメラ1A,1Bの下方に治具を設置して撮像を行うだけで良くなり、きわめて簡単にキャリブレーションを実行することができる。
ただし、上記の実施例では、パラメータの算出処理の説明を簡単にするために、基準点Op,Oqを位置合わせしただけであり、基準点Op,Oqを位置合わせしなくとも、パラメータを算出することは可能である。
つぎに、上記の実施例では、キャリブレーションパターンとして格子状のパターンを使用したが、これに限らず、他のパターンを使用することもできる。
図11は、前記シート5p,5qに、格子状パターン以外のパターンを形成した例を示す。この例の第1シート5pには、黒く塗りつぶしされた円が、縦横各方向にそれぞれ等間隔に配列されている。他方の第2シート5qには、前記第1シート5pよりも面積が大きく、輪郭線のみが示された円が、縦横各方向に等間隔に配列されている。
ただし、いずれのシート5p,5qとも、中心位置に置かれるはずの1個分の円を欠落させている(図では、欠落部分を一点鎖線の枠で囲んで示している。)。また、第1シート5pの黒塗りの円の面積は、第2シート5qの円の輪郭線の幅よりも大きくなるように設定される。
上記のキャリブレーションパターンの構成によれば、各シート5p,5qを上下に配置しても、面積の小さな第1シート5p上の円が第2シート5q上の円により隠されてしまうことがなく、双方の円を分離して抽出することが可能になる。また、この実施例では、各円の重心を特徴点として機能させることができる。また、中央の円が欠落している部分についても、他の円の配列状態から仮想の円を設定して重心を求めることができる。よって、この仮想の円の重心を基準点として機能させることができる。
図12は、前記図11のシート5p,5qを用いてキャリブレーションを行う場合の処理の流れを示す。
最初のステップAでは、前記シート5p,5qを、前記中央の円の欠落部分が位置合わせされた状態で設置し、各カメラ1A,1Bにより撮像する。この後は、カメラ1A,1B毎に得られた処理対象画像について、それぞれステップB〜Fの処理を実行する。
ステップBでは、前記処理対象画像を膨張処理する。具体的には、各画素の明るさを、それぞれその画素の周囲近傍領域中の最大の明るさに変換する。このような処理を行うことにより、輪郭線のみが暗い第2シート5qの円を消失させることができる。一方、第1シート5pの黒塗りの円は、面積は若干小さくなるものの、処理後も残存させることができる。
つぎのステップCでは、前記膨張処理後の画像を収縮処理する。具体的には、上記とは逆に、各画素の明るさを、それぞれその画素の周囲近傍領域中の最小の明るさに変換する。この処理により、第1シート5pの円の大きさを回復させることができる。
ステップDでは、上記ステップB,Cを経た画像を2値化し、第1シート5pの円を抽出する。そして、各円の重心の座標を求め、これらを特徴点の座標としてRAMに保存する。さらに、抽出された各円の配列状態から、中央の円の欠落部分を抽出し、その部分に仮想の円を設定してその重心を求める。この重心の座標は、第1シート5pの基準点Opの座標としてRAMに保存される。
つぎに、ステップEでは、ステップAで生成された処理対象画像とステップBの膨張処理後の画像とを対象として、これらの画像の差分演算処理を実行する。この差分処理画像によれば、第1シート5pの円を消失させ、第2シート5qの円を残存させることができる。
ステップFでは、上記の差分処理画像を2値化処理して、第2シート5qの円を抽出する。そして、各円の重心の座標を求め、これらを特徴点の座標としてRAMに保存する。
さらに、抽出された各円の配列状態から、中央の円の欠落部分を抽出し、その部分に仮想の円を設定してその重心を求める。この重心の座標は、第2シート5qの基準点Oqの座標として、RAMに保存される。
このようにして、各シート5p、5qの特徴点および基準点Op,Oqが抽出されると、以下、ステップG,H,I,Jを順に実行する。なお、これらのステップは、それぞれ前記図4のステップ6,7,8,9に対応するものであり、ここでは詳細な説明を省略する。
上記した一連の処理により、3次元計測に必要なパラメータが算出され、パラメータ記憶部28に格納される。
なお、上記図11の手順では、膨張・収縮処理や差分処理により、各シート毎の円を分離して抽出するようにしたが、円の抽出方法はこれに限定されるものではない。たとえば、処理対象画像からエッジ構成画素を抽出し、抽出された各画素において、それぞれその濃度勾配方向に沿って一方の円の半径に対応する長さの線分を設定することにより、その線分の円に対応する中心点を抽出することができる。この方法の詳細については、下記の特許文献3を参照されたい。
WO99/52072 再公表公報
さらに、上記した2つの実施例では、いずれも、周期性を有するキャリブレーションパターンが形成されたシートを使用しているが、必ずしも周期性を持たせる必要はなく、相対位置関係が既知の特徴点を複数抽出することが可能なキャリブレーションパターンであればよい。
3次元計測システムの構成を示すブロック図である。 キャリブレーションのための撮像方法の具体例を示す説明図である。 各シートのキャリブレーションパターンを示す説明図である。 キャリブレーション処理の流れを示すフローチャートである。 図2の方法により生成された処理対象画像を示す説明図である。 特徴点を抽出するための手法を示す説明図である。 直線の抽出処理を説明する説明図である。 第1シートの直線抽出処理から交点抽出処理までの具体例を示す説明図である。 第2シートの直線を抽出するための方法を示す説明図である。 シート上の特徴点を特定するための方法を示す説明図である。 シート上のキャリブレーションパターンの他の例を示す説明図である。 図11のシートを用いてキャリブレーションを行う場合の処理の流れを示すフローチャートである。
符号の説明
1A,1B カメラ
2 計測装置
5p,5q 透明シート(キャリブレーションワーク)
21 カメラ駆動部
24 画像処理部
25 パラメータ算出部
26 計測処理部
28 パラメータ記憶部
Op,Oq 基準点

Claims (7)

  1. 複数の撮像装置を用いた3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な2次元のキャリブレーションパターンを用いて、前記3次元計測のためのキャリブレーションを行う方法であって、
    平行に配列された複数の直線より成る直線群を2グループ以上含み、これらの直線群間に生じる複数の交点を前記特徴点として機能させるキャリブレーションパターンを、各直線群の直線の方向がパターン毎に異なるようにして3種類以上設定し、これらのキャリブレーションパターンのうちの特定の1つを透光性を問わない平面に設けるとともに、その他のすべてのキャリブレーションパターンを透光性を有する平面に設け、
    いずれの平面も各撮像装置の光軸に交差し、かつ各撮像手段から見て前記透光性を問わない平面が最後方になるようにして、各平面を前記各撮像装置から遠ざかる方向に沿って順に配置し、
    前記の配置状態において前記各撮像装置を駆動する第1ステップ;
    前記第1ステップで各撮像装置により得られた画像につき、それぞれ特定の1つのキャリブレーションパターンに含まれる直線を直線群毎に複数抽出する処理と、これらの直線間の交点を前記特徴点として抽出する処理とを、キャリブレーションパターン毎に実行する第2ステップ;
    第2ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第3ステップ;
    第3ステップの対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出する第4ステップ;
    の各ステップを実行することを特徴とする3次元計測のためのキャリブレーション方法。
  2. 複数の撮像装置を用いた3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な2次元のキャリブレーションパターンを用いて、前記3次元計測のためのキャリブレーションを行う方法であって、
    平行に配列された複数の直線より成る直線群を2グループ以上含み、これらの直線群間に生じる複数の交点を前記特徴点として機能させるキャリブレーションパターンを、各直線群の直線の方向がパターン毎に異なるようにして2種類設定し、これらのキャリブレーションパターンの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、
    各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置し、
    前記の配置状態において前記各撮像装置を駆動する第1ステップ;
    前記第1ステップで各撮像装置により得られた画像につき、それぞれ特定の1つのキャリブレーションパターンに含まれる直線を直線群毎に複数抽出する処理と、これらの直線間の交点を前記特徴点として抽出する処理とを、キャリブレーションパターン毎に実行する第2ステップ;
    第2ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第3ステップ;
    第3ステップの対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出する第4ステップ;
    の各ステップを実行することを特徴とする3次元計測のためのキャリブレーション方法。
  3. 複数の撮像装置を用いた3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な2次元のキャリブレーションパターンを用いて、前記3次元計測のためのキャリブレーションを行う方法であって、
    平行に配列された複数の直線より成る直線群を2グループ以上含み、これらの直線群間に生じる複数の交点を前記特徴点として機能させるキャリブレーションパターンを、各直線群の直線の方向がパターン毎に異なるようにして2種類設定し、これらのキャリブレーションパターンの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、
    各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置し、かつ各平面が平行になるようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置し、
    前記の配置状態において前記各撮像装置を駆動する第1ステップ;
    前記第1ステップで各撮像装置により得られた画像につき、それぞれ特定の1つのキャリブレーションパターンに含まれる直線を直線群毎に複数抽出する処理と、これらの直線間の交点を前記特徴点として抽出する処理とを、キャリブレーションパターン毎に実行する第2ステップ;
    第2ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第3ステップ;
    第3ステップの対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出する第4ステップ;
    の各ステップを実行することを特徴とする3次元計測のためのキャリブレーション方法。
  4. 複数の撮像装置を用いた3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な2次元のキャリブレーションパターンを用いて、前記3次元計測のためのキャリブレーションを行う方法であって、
    内部が塗りつぶしされたマークの配列による第1のキャリブレーションパターンと、第1のキャリブレーションパターン内のマークより小さな幅の輪郭線のみが示されたマークの配列による第2のキャリブレーションパターンとのうちの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、
    各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置するようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置し、
    前記の配置状態において前記各撮像装置を駆動する第1ステップ;
    前記第1ステップで各撮像装置により得られた画像につき、それぞれ特定の1つのキャリブレーションパターンに含まれる複数のマークの重心または中心点を前記特徴点として抽出する処理を、キャリブレーションパターン毎に実行する第2ステップ;
    第2ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第3ステップ;
    第3ステップの対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出する第4ステップ;
    の各ステップを実行することを特徴とする3次元計測のためのキャリブレーション方法。
  5. 複数の撮像装置を用いた3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数抽出することが可能な2次元のキャリブレーションパターンを用いて、前記3次元計測のためのキャリブレーションを行う方法であって、
    内部が塗りつぶしされたマークの配列による第1のキャリブレーションパターンと、第1のキャリブレーションパターン内のマークより小さな幅の輪郭線のみが示されたマークの配列による第2のキャリブレーションパターンとのうちの一方を透光性を有する平面に設けるとともに、他方のキャリブレーションパターンを透光性を問わない平面に設け、
    各平面がそれぞれ各撮像装置の光軸に交差し、各撮像手段から見て前記透光性を有する平面が透光性を問わない平面の前方に位置し、かつ各平面が平行になるようにして、各平面をあらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って前後に配置し、
    前記の配置状態において前記各撮像装置を駆動する第1ステップ;
    前記第1ステップで各撮像装置により得られた画像につき、それぞれ特定の1つのキャリブレーションパターンに含まれる複数のマークの重心または中心点を前記特徴点として抽出する処理を、キャリブレーションパターン毎に実行する第2ステップ;
    第2ステップにおいてキャリブレーションパターン毎に抽出された特徴点を、各特徴点間の相対位置関係に基づき画像間で対応づけする第3ステップ;
    第3ステップの対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出する第4ステップ;
    の各ステップを実行することを特徴とする3次元計測のためのキャリブレーション方法。
  6. 請求項1〜5のいずれかに記載された方法において、
    各平面に対し、それぞれ周期性を有するパターンであるが、特定の位置のみ前記周期性が欠落しているキャリブレーションパターンを形成する3次元計測のためのキャリブレーション方法。
  7. 複数の撮像装置を用いた3次元計測処理に先立ち、相対位置関係が既知の特徴点を複数含む2次元のキャリブレーションパターンを用いて、前記3次元計測のためのキャリブレーションを行う方法であって、
    前記キャリブレーションパターンが設けられた2つの平面を、それぞれ前記各撮像装置の光軸に交差し、かつ各平面が平行になるようにして、あらかじめ定めた所定距離をおいて各撮像装置から遠ざかる方向に沿って順に配置するとともに、各撮像装置から見て前方の平面に偏光手段を設け、
    前記の配置状態において、前記前方の平面に対し、前記偏光手段の偏光の方向に対応する光および前記偏光の方向に対応しない光を順に照射するとともに、光を照射する毎に前記各撮像装置を駆動するステップA;前記偏光の方向に対応しない光が照射されているときに各撮像装置により得た画像につき、それぞれ前方の平面のキャリブレーションパターンに含まれる特徴点を抽出するステップB;前記偏光の方向に対応する光が照射されているときに各撮像装置により得た画像と前記ステップBでの抽出結果とを用いて、後方の平面のキャリブレーションパターンに含まれる特徴点を抽出するステップC、前記ステップB,Cで抽出された特徴点をそれぞれ画像間で対応づけるステップD、前記対応づけがなされた各特徴点の位置情報を用いて3次元計測用のパラメータを算出するステップE、の各ステップを実行することを特徴とする3次元計測のためのキャリブレーション方法。
JP2005071475A 2005-03-14 2005-03-14 3次元計測のためのキャリブレーション方法 Expired - Fee Related JP4604774B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005071475A JP4604774B2 (ja) 2005-03-14 2005-03-14 3次元計測のためのキャリブレーション方法
PCT/JP2006/304861 WO2006098258A1 (ja) 2005-03-14 2006-03-13 3次元計測のためのキャリブレーション方法およびその方法を用いた3次元計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005071475A JP4604774B2 (ja) 2005-03-14 2005-03-14 3次元計測のためのキャリブレーション方法

Publications (2)

Publication Number Publication Date
JP2006250889A JP2006250889A (ja) 2006-09-21
JP4604774B2 true JP4604774B2 (ja) 2011-01-05

Family

ID=36991600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005071475A Expired - Fee Related JP4604774B2 (ja) 2005-03-14 2005-03-14 3次元計測のためのキャリブレーション方法

Country Status (2)

Country Link
JP (1) JP4604774B2 (ja)
WO (1) WO2006098258A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4530019B2 (ja) 2007-09-28 2010-08-25 オムロン株式会社 撮像装置の調整方法
JP5251440B2 (ja) * 2008-11-11 2013-07-31 セイコーエプソン株式会社 ワーク姿勢認識方法、ワーク姿勢認識装置およびロボット
JP5310130B2 (ja) 2009-03-11 2013-10-09 オムロン株式会社 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ
JP5245937B2 (ja) 2009-03-12 2013-07-24 オムロン株式会社 3次元計測処理のパラメータの導出方法および3次元視覚センサ
JP5245938B2 (ja) 2009-03-12 2013-07-24 オムロン株式会社 3次元認識結果の表示方法および3次元視覚センサ
JP5714232B2 (ja) 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
JP5282614B2 (ja) 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
JP5578844B2 (ja) * 2009-12-21 2014-08-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2011253376A (ja) 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
DE202011005083U1 (de) * 2011-04-09 2011-06-09 Maier, Florian, 82205 Vorrichtung zum Kalibrieren von Mehrkamera-Aufnahmevorrichtungen
US9217636B2 (en) 2012-06-11 2015-12-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and a computer-readable storage medium
JP6055228B2 (ja) * 2012-08-07 2016-12-27 中央発條株式会社 形状計測装置
JP2014092460A (ja) 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
JP2014092461A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
JP6720052B2 (ja) * 2016-11-02 2020-07-08 三菱重工業株式会社 検査システム、及び画像処理装置、並びに検査システムの画像処理方法
JP6803745B2 (ja) * 2016-12-28 2020-12-23 日立Geニュークリア・エナジー株式会社 検査装置
JP2020148700A (ja) * 2019-03-15 2020-09-17 オムロン株式会社 距離画像センサ、および角度情報取得方法
JP7556231B2 (ja) 2020-08-18 2024-09-26 日本電気株式会社 認識カメラ校正プレートおよび認識カメラ校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843026A (ja) * 1994-07-29 1996-02-16 Mazda Motor Corp キャリブレーション装置及びホログラム
JP2003078811A (ja) * 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> マーカ座標対応付け方法とカメラパラメータ取得方法とカメラパラメータ取得システムとキャリブレーションパターン
JP2004213332A (ja) * 2002-12-27 2004-07-29 Olympus Corp キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具
JP2004271292A (ja) * 2003-03-07 2004-09-30 Meidensha Corp 校正器及びステレオカメラ位置姿勢校正装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4227037B2 (ja) * 2004-02-25 2009-02-18 株式会社国際電気通信基礎技術研究所 撮像システム及び校正方法
JP4496354B2 (ja) * 2004-06-18 2010-07-07 独立行政法人 宇宙航空研究開発機構 カメラ校正のための透過型校正器具とその校正法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843026A (ja) * 1994-07-29 1996-02-16 Mazda Motor Corp キャリブレーション装置及びホログラム
JP2003078811A (ja) * 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> マーカ座標対応付け方法とカメラパラメータ取得方法とカメラパラメータ取得システムとキャリブレーションパターン
JP2004213332A (ja) * 2002-12-27 2004-07-29 Olympus Corp キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具
JP2004271292A (ja) * 2003-03-07 2004-09-30 Meidensha Corp 校正器及びステレオカメラ位置姿勢校正装置

Also Published As

Publication number Publication date
JP2006250889A (ja) 2006-09-21
WO2006098258A1 (ja) 2006-09-21

Similar Documents

Publication Publication Date Title
JP4604774B2 (ja) 3次元計測のためのキャリブレーション方法
JP4492654B2 (ja) 3次元計測方法および3次元計測装置
JP3624353B2 (ja) 3次元形状計測方法およびその装置
EP2132523B1 (en) Method and device for exact measurement of objects
JP4774824B2 (ja) 3次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置
JP3930482B2 (ja) 3次元視覚センサ
JP4885584B2 (ja) レンジファインダ校正方法及び装置
EP2999220B1 (en) Method for correcting 3d image in tiled display and apparatus therefor
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
WO2006135040A1 (ja) 3次元計測を行う画像処理装置および画像処理方法
CN111623942B (zh) 一种单向振动台试验结构模型位移测量方法
JP2006030157A (ja) カメラ校正のための透過型校正器具とその校正法
DE112010005646T5 (de) Kameraabstandsmessvorrichtung
JP2006234553A (ja) 外観検査装置および外観検査方法
JP5477658B2 (ja) キャリブレーション用校正治具、校正治具を備えた3次元計測システム
JPH11166818A (ja) 三次元形状計測装置の校正方法及び校正装置
JP5093653B2 (ja) 測距装置およびその測距方法
JP2007147522A (ja) 写真計測方法及び写真計測プログラム
CN112415010A (zh) 一种成像检测方法及系统
DE112022000320T5 (de) Verarbeitungsverfahren und Verarbeitungsvorrichtung zum Erzeugen eines Querschnittbildes aus durch einen visuellen Sensor erfassten Informationen über dreidimensionale Positionen
JP2017173142A (ja) 画像処理装置、画像処理方法およびミクロジョイント切断システム
JP7440975B2 (ja) 撮像装置と識別方法
KR101653861B1 (ko) 묘화 데이터 생성 방법, 묘화 방법, 묘화 데이터 생성 장치, 및 묘화 장치
CN104516098B (zh) 一种显微装置及成像方法
JP2007033040A (ja) 光切断法による3次元形状計測装置における光学ヘッド部のキャリブレーション方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100920

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees