JPH06137840A - 視覚センサの自動キャリブレーション装置 - Google Patents
視覚センサの自動キャリブレーション装置Info
- Publication number
- JPH06137840A JPH06137840A JP28452692A JP28452692A JPH06137840A JP H06137840 A JPH06137840 A JP H06137840A JP 28452692 A JP28452692 A JP 28452692A JP 28452692 A JP28452692 A JP 28452692A JP H06137840 A JPH06137840 A JP H06137840A
- Authority
- JP
- Japan
- Prior art keywords
- image
- teaching point
- camera
- teaching
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【目的】 カメラ配置に制限をなくし、かつ教示点の入
力を自動的に行う。 【構成】 カメラ１により楕円の基準教示点を持つキャ
リブレーションワーク２を撮像する。そして、この基準
教示点の位置方向に基づいて、各教示点の画像上の位置
を認識し、空間上の位置と自動的に対応付ける。そし
て、各教示点についての画像座標値と空間座標値の組を
利用して、カメラパラメータを算出する。特に、画像座
標と空間座標の２次元的な関係を示すパラメータ算出後
に、再度画像座標値と空間座標値の組を利用して他のパ
ラメータを数値的に求めるため、高精度のカメラパラメ
ータが算出できる。
力を自動的に行う。 【構成】 カメラ１により楕円の基準教示点を持つキャ
リブレーションワーク２を撮像する。そして、この基準
教示点の位置方向に基づいて、各教示点の画像上の位置
を認識し、空間上の位置と自動的に対応付ける。そし
て、各教示点についての画像座標値と空間座標値の組を
利用して、カメラパラメータを算出する。特に、画像座
標と空間座標の２次元的な関係を示すパラメータ算出後
に、再度画像座標値と空間座標値の組を利用して他のパ
ラメータを数値的に求めるため、高精度のカメラパラメ
ータが算出できる。
Description
【０００１】
【産業上の利用分野】この発明は、組み立て用ロボット
や検査のための視覚センサの、キャリブレーションを自
動的に実行する装置に関する。
や検査のための視覚センサの、キャリブレーションを自
動的に実行する装置に関する。
【０００２】
【従来の技術】人間が行っている組み立て、検査工程を
自動化するためには、人間の目に相当する視覚装置を利
用しなければならない場合が多い。このような視覚装置
は、主に対象をカメラ（撮像手段）などで画像としてと
らえ、その画像中での位置から対象の置かれた空間位置
を検出する。
自動化するためには、人間の目に相当する視覚装置を利
用しなければならない場合が多い。このような視覚装置
は、主に対象をカメラ（撮像手段）などで画像としてと
らえ、その画像中での位置から対象の置かれた空間位置
を検出する。
【０００３】このように視覚装置によって位置決めを行
うためには、あらかじめ視覚装置のキャリブレーション
を行っておく必要がある。つまり、画像中での位置と空
間位置の対応付けを行うためには、空間座標内でのカメ
ラの配置されている位置、姿勢やカメラの焦点距離、ア
スペクト比などのカメラパラメータを求めておかなけれ
ばならない。
うためには、あらかじめ視覚装置のキャリブレーション
を行っておく必要がある。つまり、画像中での位置と空
間位置の対応付けを行うためには、空間座標内でのカメ
ラの配置されている位置、姿勢やカメラの焦点距離、ア
スペクト比などのカメラパラメータを求めておかなけれ
ばならない。
【０００４】従来、視覚装置のキャリブレーションは、
空間座標内に置かれた座標値が既知の複数の教示点を視
覚装置で撮像して教示点画像を生成し、各教示点の空間
座標値と当該教示点の画像座標値を用いて、キャリブレ
ーションアルゴリズムに基づき演算を行うことで達成さ
れる。この場合、各教示点の空間座標値と画像座標値の
対応付けは、教示点画像から人間が判断して手動で行う
のが一般的である。またカメラの空間座標内での３次元
位置、姿勢を求めるためには、すべての教示点が１平面
上に分布していない、つまり３次元的に分布した教示点
を必要とする。一方、２次元的（平面上）に分布した教
示点を有するキャリブレーションワーク姿勢を用いて行
うことができるキャリブレーション方法がロジャー・ツ
サイ等により提案されている。（Roger Y.Tsai ,“A Ve
rsatile Camera Calibration Technique for High-Accu
racy 3D Machine Metrology Using Off-the Shelf TV C
ameras and Lenses ”，IIIE J.Robotics and Automati
on,Vol.RA-3,No.4,pp.323-344,1987)この方法では、平
面上に教示点を配置したキャリレーションワークを斜め
から撮影し、画像上の教示点の位置から、カメラパラメ
ータを決定している。
空間座標内に置かれた座標値が既知の複数の教示点を視
覚装置で撮像して教示点画像を生成し、各教示点の空間
座標値と当該教示点の画像座標値を用いて、キャリブレ
ーションアルゴリズムに基づき演算を行うことで達成さ
れる。この場合、各教示点の空間座標値と画像座標値の
対応付けは、教示点画像から人間が判断して手動で行う
のが一般的である。またカメラの空間座標内での３次元
位置、姿勢を求めるためには、すべての教示点が１平面
上に分布していない、つまり３次元的に分布した教示点
を必要とする。一方、２次元的（平面上）に分布した教
示点を有するキャリブレーションワーク姿勢を用いて行
うことができるキャリブレーション方法がロジャー・ツ
サイ等により提案されている。（Roger Y.Tsai ,“A Ve
rsatile Camera Calibration Technique for High-Accu
racy 3D Machine Metrology Using Off-the Shelf TV C
ameras and Lenses ”，IIIE J.Robotics and Automati
on,Vol.RA-3,No.4,pp.323-344,1987)この方法では、平
面上に教示点を配置したキャリレーションワークを斜め
から撮影し、画像上の教示点の位置から、カメラパラメ
ータを決定している。
【０００５】
【発明が解決しようとする課題】キャリブレーションに
必要な教示点の空間座標値と画像座標値の対応付けを手
作業で行うことは面倒な作業であり、かつ作業者が教示
点画像を見ながら対応付けを行う過程で間違いを起す可
能性もある。
必要な教示点の空間座標値と画像座標値の対応付けを手
作業で行うことは面倒な作業であり、かつ作業者が教示
点画像を見ながら対応付けを行う過程で間違いを起す可
能性もある。
【０００６】さらに、カメラの３次元位置、姿勢を求め
る場合、３次元的に分布した教示点を必要とするキャリ
ブレーションでは、教示点の画像座標値を得る作業が繁
雑であり、さらに装置の複雑化を引き起こす。一方ツサ
イらが提案した方法を用いれば、このような問題は解決
されるが、カメラがキャリブレーションワークに対し垂
直に近い状態で位置されると測定精度が悪くなるため、
高精度測定を行なうにはカメラの配置に制限を受けると
いう問題があった。
る場合、３次元的に分布した教示点を必要とするキャリ
ブレーションでは、教示点の画像座標値を得る作業が繁
雑であり、さらに装置の複雑化を引き起こす。一方ツサ
イらが提案した方法を用いれば、このような問題は解決
されるが、カメラがキャリブレーションワークに対し垂
直に近い状態で位置されると測定精度が悪くなるため、
高精度測定を行なうにはカメラの配置に制限を受けると
いう問題があった。
【０００７】すなわち、ツサイらの提案では、複数の教
示点の各々に対する画像上の教示点の対応付けを行う手
法について記載されておらず、この対応付けが自動的に
行えないという問題があった。さらに、ツサイの方法で
は、カメラパラメータを求める際に、教示点が配置され
ているｘw ，ｙw 平面と、カメラ側のＸ，Ｙ平面を対応
関係からこれら平面同士の関係を規定するカメラパラメ
ータを求め、この結果からｚw も含めた３次元空間座標
と画像座標を対応付けるカメラパラメータを計算で求め
ている。このため、画像座標値から算出したｚw には、
ｘw ，ｙw 算出の際の誤差が累積され、誤差が大きくな
る。そこで、ツサイの方法では、キャリブレーションワ
ークをカメラに対して垂直に近い状態で配置すると、測
定精度が大きく低下するという問題があった。
示点の各々に対する画像上の教示点の対応付けを行う手
法について記載されておらず、この対応付けが自動的に
行えないという問題があった。さらに、ツサイの方法で
は、カメラパラメータを求める際に、教示点が配置され
ているｘw ，ｙw 平面と、カメラ側のＸ，Ｙ平面を対応
関係からこれら平面同士の関係を規定するカメラパラメ
ータを求め、この結果からｚw も含めた３次元空間座標
と画像座標を対応付けるカメラパラメータを計算で求め
ている。このため、画像座標値から算出したｚw には、
ｘw ，ｙw 算出の際の誤差が累積され、誤差が大きくな
る。そこで、ツサイの方法では、キャリブレーションワ
ークをカメラに対して垂直に近い状態で配置すると、測
定精度が大きく低下するという問題があった。
【０００８】本発明は、上記問題点を解決するために、
自動的に教示点の空間座標値と画像座標値の対応付けを
行い、２次元的に分布した教示点のみから、カメラの配
置に制限を受けないキャリブレーションを実行すること
ができる簡便で高精度なキャリブレーション装置を提供
することを目的とする。
自動的に教示点の空間座標値と画像座標値の対応付けを
行い、２次元的に分布した教示点のみから、カメラの配
置に制限を受けないキャリブレーションを実行すること
ができる簡便で高精度なキャリブレーション装置を提供
することを目的とする。
【０００９】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、視覚センサのキャリブレーションを自動
的に行う装置であって、方向性を持つ特定形状の基準教
示点を含む複数の教示点を平面上に有するキャリブレー
ションワークを撮像するための撮像手段と、この撮像手
段で得た画像における基準教示点の位置、形状から、画
像中における基準点の位置及び方向を認識する位置方向
認識手段と、認識された座標に基づいて各教示点の空間
座標値と撮像手段において得た各教示点の画像座標値の
対応付けを行う座標間対応付け手段と、対応付けされた
複数の空間、画像座標値の組の対応関係から撮像装置の
各パラメータを算出するキャリブレーション演算手段
と、を含むことを特徴とする。
に、本発明は、視覚センサのキャリブレーションを自動
的に行う装置であって、方向性を持つ特定形状の基準教
示点を含む複数の教示点を平面上に有するキャリブレー
ションワークを撮像するための撮像手段と、この撮像手
段で得た画像における基準教示点の位置、形状から、画
像中における基準点の位置及び方向を認識する位置方向
認識手段と、認識された座標に基づいて各教示点の空間
座標値と撮像手段において得た各教示点の画像座標値の
対応付けを行う座標間対応付け手段と、対応付けされた
複数の空間、画像座標値の組の対応関係から撮像装置の
各パラメータを算出するキャリブレーション演算手段
と、を含むことを特徴とする。
【００１０】また、上記キャリブレーション演算手段
は、各教示点の空間、画像座標の組を用いてキャリブレ
ーションワークの平面上の座標値と画像座標の対応につ
いての撮像装置のパラメータを求めた後、再度各教示点
の空間、画像座標の組を用いてキャリブレーションワー
クの平面に直角な方向の座標も含めた空間座標と画像座
標の対応についての撮像装置のパラメータを求めること
を特徴とする。
は、各教示点の空間、画像座標の組を用いてキャリブレ
ーションワークの平面上の座標値と画像座標の対応につ
いての撮像装置のパラメータを求めた後、再度各教示点
の空間、画像座標の組を用いてキャリブレーションワー
クの平面に直角な方向の座標も含めた空間座標と画像座
標の対応についての撮像装置のパラメータを求めること
を特徴とする。
【００１１】
【作用・効果】本発明に係る視覚センサのキャリブレー
ション装置は、上述のような構成を有しており、まずキ
ャリブレーションワーク全体が撮像装置（カメラ）の視
野内に入る範囲内で任意の位置姿勢にカメラを配置す
る。次にキャリブレーションワークを撮像し、この画像
から基準教示点の位置および方向を認識する。例えば、
教示点を真円とし、基準教示点を楕円にすれば、画像上
における長径に対する短径の比を求め、この長径の短径
に対する比が最大のものを基準教示点と認識すると共
に、楕円の面積重心から基準点の画像上の位置を認識
し、また楕円の長径および短径方向から画像上の方向を
認識する。そして、このようにして求められた画像上の
基準点、方向から画像上の各教示点の座標値とキャリブ
レーションワーク上の各教示点の座標を対応付ける。そ
して、これらの対応付けされた複数の空間、画像座標値
の組の対応関係から撮像装置の各パラメータを算出す
る。
ション装置は、上述のような構成を有しており、まずキ
ャリブレーションワーク全体が撮像装置（カメラ）の視
野内に入る範囲内で任意の位置姿勢にカメラを配置す
る。次にキャリブレーションワークを撮像し、この画像
から基準教示点の位置および方向を認識する。例えば、
教示点を真円とし、基準教示点を楕円にすれば、画像上
における長径に対する短径の比を求め、この長径の短径
に対する比が最大のものを基準教示点と認識すると共
に、楕円の面積重心から基準点の画像上の位置を認識
し、また楕円の長径および短径方向から画像上の方向を
認識する。そして、このようにして求められた画像上の
基準点、方向から画像上の各教示点の座標値とキャリブ
レーションワーク上の各教示点の座標を対応付ける。そ
して、これらの対応付けされた複数の空間、画像座標値
の組の対応関係から撮像装置の各パラメータを算出す
る。
【００１２】このように、平面上に配置された教示点の
みからなるキャリブレーションワークを利用してキャリ
ブレーションが実行できるので、装置、処理手順等を簡
略化できる。そして、基準教示点の形状から基準点位置
および方向を認識できるため、画像上の各教示点とキャ
リブレーションワーク上の各教示点を自動的に対応付け
することができ、人為的な誤りを排除して、かかる高速
の処理が可能となる。
みからなるキャリブレーションワークを利用してキャリ
ブレーションが実行できるので、装置、処理手順等を簡
略化できる。そして、基準教示点の形状から基準点位置
および方向を認識できるため、画像上の各教示点とキャ
リブレーションワーク上の各教示点を自動的に対応付け
することができ、人為的な誤りを排除して、かかる高速
の処理が可能となる。
【００１３】また、パラメータの演算においては、まず
空間の２次元座標（ｘ，ｙ）と画像座標（Ｘ，Ｙ）の対
応についてのパラメータを求める。そして、このパラメ
ータを求めた後、他のパラメータを変数として、再度実
際に得られた複数の空間、画像座標値の組を用いて数値
演算を行い、これらの他のパラメータの値を求める。従
って、他のパラメータの算出の際に、最初に求めたパラ
メータについての誤差が累積することなく、精度の高い
パラメータが算出できる。特に、工場等での利用を考慮
すると、測定対象に対し垂直に近い方向にカメラを設置
する場合が多い。これは、測定対象を斜め方向からカメ
ラで観測すると歪んだ画像として撮影されるためであ
る。本装置では、カメラの配置に制限を受けず、キャリ
ブレーションワークに対し垂直に近い状態でも高精度な
キャリブレーションが可能であるため、適用範囲が非常
に広く有効なキャリブレーションを行うことができる。
空間の２次元座標（ｘ，ｙ）と画像座標（Ｘ，Ｙ）の対
応についてのパラメータを求める。そして、このパラメ
ータを求めた後、他のパラメータを変数として、再度実
際に得られた複数の空間、画像座標値の組を用いて数値
演算を行い、これらの他のパラメータの値を求める。従
って、他のパラメータの算出の際に、最初に求めたパラ
メータについての誤差が累積することなく、精度の高い
パラメータが算出できる。特に、工場等での利用を考慮
すると、測定対象に対し垂直に近い方向にカメラを設置
する場合が多い。これは、測定対象を斜め方向からカメ
ラで観測すると歪んだ画像として撮影されるためであ
る。本装置では、カメラの配置に制限を受けず、キャリ
ブレーションワークに対し垂直に近い状態でも高精度な
キャリブレーションが可能であるため、適用範囲が非常
に広く有効なキャリブレーションを行うことができる。
【００１４】
【実施例】図１は本発明における装置の概念図を示して
おり、カメラ１の視野内にキャリブレーションワーク２
が入るように配置し、画像処理装置３によってキャリブ
レーションワーク２を撮像する。その画像は演算部４に
送られ、キャリブレーションワーク２の基準教示点から
基準位置、方向を検出する。その基準位置、方向とデー
タ入力部５よりあらかじめ与えられている教示点の配列
情報から演算部４において画像中での各教示点の座標値
と、空間座標位置の対応付けを行う。最後に各教示点の
画像、空間座標値の組から同様に演算部４においてキャ
リブレーション演算を行い、カメラパメータを求める。
得られたカメラパラメータはデータ出力部６により、他
の装置に送るなどして後の処理に利用する。
おり、カメラ１の視野内にキャリブレーションワーク２
が入るように配置し、画像処理装置３によってキャリブ
レーションワーク２を撮像する。その画像は演算部４に
送られ、キャリブレーションワーク２の基準教示点から
基準位置、方向を検出する。その基準位置、方向とデー
タ入力部５よりあらかじめ与えられている教示点の配列
情報から演算部４において画像中での各教示点の座標値
と、空間座標位置の対応付けを行う。最後に各教示点の
画像、空間座標値の組から同様に演算部４においてキャ
リブレーション演算を行い、カメラパメータを求める。
得られたカメラパラメータはデータ出力部６により、他
の装置に送るなどして後の処理に利用する。
【００１５】図２はキャリブレーションワーク２を示し
ている。このようにワーク平面上に複数個の教示点マー
クを配置し、その内のひとつは方向性を持った基準教示
点を含める。この図では例として基準教示点は楕円、そ
の他の教示点は真円の形をしているが、基準教示点に方
向性を持った形状が必要となる以外は、その形状に特に
制限はない。
ている。このようにワーク平面上に複数個の教示点マー
クを配置し、その内のひとつは方向性を持った基準教示
点を含める。この図では例として基準教示点は楕円、そ
の他の教示点は真円の形をしているが、基準教示点に方
向性を持った形状が必要となる以外は、その形状に特に
制限はない。
【００１６】図３は、自動的に各教示点の空間座標値と
画像座標値との対応付けを行う処理手順の一例を示して
いる。
画像座標値との対応付けを行う処理手順の一例を示して
いる。
【００１７】ステップ１では輝度レベルの２値化処理等
により画像の領域分割を行い、教示点部分が０の値を持
った画素の集りになるよう領域処理を行う。
により画像の領域分割を行い、教示点部分が０の値を持
った画素の集りになるよう領域処理を行う。
【００１８】次にステップ２では各領域に対し慣性モー
メントを計算し、長径、短径を求める。そして、長径に
対する短径の比がもっとも小さい領域を基準教示点の領
域とする。この例では基準教示点は楕円で、基準点以外
は真円であるため、基準教示点の領域では長径に対する
短径の比が他の領域と比較して小さくなる。そして、基
準教示点の領域の面積重心を基準原点、長軸、短軸方向
をそれぞれｘ，ｙ軸とする。
メントを計算し、長径、短径を求める。そして、長径に
対する短径の比がもっとも小さい領域を基準教示点の領
域とする。この例では基準教示点は楕円で、基準点以外
は真円であるため、基準教示点の領域では長径に対する
短径の比が他の領域と比較して小さくなる。そして、基
準教示点の領域の面積重心を基準原点、長軸、短軸方向
をそれぞれｘ，ｙ軸とする。
【００１９】ステップ３では先に求めた基準原点とｘ，
ｙ軸の方向から、各教示点の画像座標値とあらかじめ与
えておいた空間座標値との対応付けを行う。
ｙ軸の方向から、各教示点の画像座標値とあらかじめ与
えておいた空間座標値との対応付けを行う。
【００２０】すなわち、図４に示すように、基準点から
ｘ軸の方向に領域を探していき、初めて見つかった領域
を教示点１としてラベル付けする。次に同様の方法で教
示点１からｘ軸方向に領域を探し、見つかった領域を教
示点２とする。同様の方法で教示点３までラベル付けを
行えば、つぎはあらかじめ与えておいた配列情報を基に
基準原点からｙ軸方向に領域を探し、見つかった領域を
教示点４とする。その後先と同じように教示点４からｘ
軸方向に領域を探し、教示点５〜７までをラベル付けす
る。このような処理を繰り返して、基準原点、ｘ，ｙ軸
方向及び教示点の配列情報を基に、１〜１５までのラベ
ル付けを行い、各ラベル付けされた領域の面積重心を教
示点の画像座標として、あらかじめ与えておいた各教示
点の空間座標値と対応付けを自動的に行う。
ｘ軸の方向に領域を探していき、初めて見つかった領域
を教示点１としてラベル付けする。次に同様の方法で教
示点１からｘ軸方向に領域を探し、見つかった領域を教
示点２とする。同様の方法で教示点３までラベル付けを
行えば、つぎはあらかじめ与えておいた配列情報を基に
基準原点からｙ軸方向に領域を探し、見つかった領域を
教示点４とする。その後先と同じように教示点４からｘ
軸方向に領域を探し、教示点５〜７までをラベル付けす
る。このような処理を繰り返して、基準原点、ｘ，ｙ軸
方向及び教示点の配列情報を基に、１〜１５までのラベ
ル付けを行い、各ラベル付けされた領域の面積重心を教
示点の画像座標として、あらかじめ与えておいた各教示
点の空間座標値と対応付けを自動的に行う。
【００２１】この例では、基準教示点を含めて１６個の
教示点がキャリブレーションワークに存在するが、教示
点の配列情報を変更することで、任意の個数、配列に対
応することができる。
教示点がキャリブレーションワークに存在するが、教示
点の配列情報を変更することで、任意の個数、配列に対
応することができる。
【００２２】また、この例では画像の２値化や領域分割
などにより キャリブレーションワークの基準原点、方
向及び各教示点の位置を求めているが、教示点の輪郭画
像などにより各教示点の特徴量を求めるなどのその他の
方法も考えられるため、本発明では特にその処理方法に
限定はしない。なお、本発明では教示点はすべてキャリ
ブレーションワークの平面上に位置しているため、あら
かじめ与える各教示点の空間座標値の内、ｚ軸方向の値
はすべてゼロとして与える。
などにより キャリブレーションワークの基準原点、方
向及び各教示点の位置を求めているが、教示点の輪郭画
像などにより各教示点の特徴量を求めるなどのその他の
方法も考えられるため、本発明では特にその処理方法に
限定はしない。なお、本発明では教示点はすべてキャリ
ブレーションワークの平面上に位置しているため、あら
かじめ与える各教示点の空間座標値の内、ｚ軸方向の値
はすべてゼロとして与える。
【００２３】図５はカメラモデルの構造を示している。
点Ｐが存在する空間座標系Ｏw 内にカメラを基準とした
座標系Ｏc が存在している。この時、点ＰをＯw からみ
た座標値（ｘw ，ｙw ，ｚw ）とＯc からみた座標値
（ｘ，ｙ，ｚ）で表す。さらに点ＰはＯc から焦点距離
ｆだけ離れてｚc 軸に垂直な平面上のイメージ座標系Ｏ
i によっても表され、Ｏc Ｐとカメラの受光面であるｘ
i ，ｙi 平面との交点Ｐu （Ｘu ，Ｙu ）として観測さ
れる。一方画像処理装置内では点Ｐはフレーム座標系Ｏ
f 内でＰｆ（Ｘf ，Ｙf ）で観測される。このとき各座
標値には以下の関係がある。 （ｘw ，ｙw ，ｚw ）と
（ｘ，ｙ，ｚ）の関係は、
点Ｐが存在する空間座標系Ｏw 内にカメラを基準とした
座標系Ｏc が存在している。この時、点ＰをＯw からみ
た座標値（ｘw ，ｙw ，ｚw ）とＯc からみた座標値
（ｘ，ｙ，ｚ）で表す。さらに点ＰはＯc から焦点距離
ｆだけ離れてｚc 軸に垂直な平面上のイメージ座標系Ｏ
i によっても表され、Ｏc Ｐとカメラの受光面であるｘ
i ，ｙi 平面との交点Ｐu （Ｘu ，Ｙu ）として観測さ
れる。一方画像処理装置内では点Ｐはフレーム座標系Ｏ
f 内でＰｆ（Ｘf ，Ｙf ）で観測される。このとき各座
標値には以下の関係がある。 （ｘw ，ｙw ，ｚw ）と
（ｘ，ｙ，ｚ）の関係は、
【数１】 ここでＲ，ＴはそれぞれＯw からＯc への回転行列、並
進ベクトルであり以下のように表される。
進ベクトルであり以下のように表される。
【００２４】
【数２】 次に（ｘ，ｙ，ｚ）と（Ｘu ，Ｙu ）との関係は以下の
式で表される。
式で表される。
【００２５】
【数３】 ここでｆはカメラレンズの焦点距離である。
【００２６】そして、（Ｘu ，Ｙu ）と（Ｘf ，Ｙf ）
との関係は以下の式で表される。
との関係は以下の式で表される。
【００２７】
【数４】 ここでＣx ，Ｃy はそれぞれフレーム座標系でのＯi の
座標値であり、（Ｃx，Ｃy ）をイメージセンタと呼
ぶ。またｄx ，ｄy はカメラの隣り合った受光素子の中
心間距離であり、ｓx はＦc をカメラの水平駆動周波
数、Ｆf を画像処理装置のＡ／Ｄコンバータの周波数と
すると、ｓx ＝Ｆc ／Ｆf で表される値である。
座標値であり、（Ｃx，Ｃy ）をイメージセンタと呼
ぶ。またｄx ，ｄy はカメラの隣り合った受光素子の中
心間距離であり、ｓx はＦc をカメラの水平駆動周波
数、Ｆf を画像処理装置のＡ／Ｄコンバータの周波数と
すると、ｓx ＝Ｆc ／Ｆf で表される値である。
【００２８】以上の関係式から、先に求めた複数個の教
示点の空間、画像座標値の組をもとに、カメラパラメー
タを求める。
示点の空間、画像座標値の組をもとに、カメラパラメー
タを求める。
【００２９】複数個の教示点の空間座標値と画像座標値
をそれぞれ（ｘwi，ｙwi，ｚwi），（Ｘfi，Ｙfi）（ｉ
＝１，２，…，１５）とし、いま、点ＰからＯc のｚ軸
に垂線を下したときのその交点をＰo とすると、Ｏi Ｐ
u ‖Ｐo Ｐであるから、ｘＹu −ｙＸu ＝０である。式
１〜４及びｚwi＝０（ｉ−１，２，…，１５）から
をそれぞれ（ｘwi，ｙwi，ｚwi），（Ｘfi，Ｙfi）（ｉ
＝１，２，…，１５）とし、いま、点ＰからＯc のｚ軸
に垂線を下したときのその交点をＰo とすると、Ｏi Ｐ
u ‖Ｐo Ｐであるから、ｘＹu −ｙＸu ＝０である。式
１〜４及びｚwi＝０（ｉ−１，２，…，１５）から
【数５】 上式を変形して
【数６】 上式を５点以上の（ｘwi，ｙwi，０）（Ｘfi，Ｙfi）を
用いて最小２乗法などにより解けば、Ｔy -1ｒ1 ，Ｔy
-1ｒ2 ，Ｔy -1Ｔx ，Ｔy -1ｒ4 ，Ｔy -1ｒ5 が求めら
れる。次に
用いて最小２乗法などにより解けば、Ｔy -1ｒ1 ，Ｔy
-1ｒ2 ，Ｔy -1Ｔx ，Ｔy -1ｒ4 ，Ｔy -1ｒ5 が求めら
れる。次に
【数７】 とすれば回転行列Ｒの正規直交性から
【数８】 となる。ここで、
【数９】 ただしＣの行あるいは列がすべてゼロの場合は
【数１０】 ここで、ｒ´i ，ｒ´j はゼロでないＣの列あるいは行
の要素である。
の要素である。
【００３０】これでＴy 2 が得られたので、Ｔy ＝√
（Ｔy 2 ) ≧０としてＴy -1ｒ1 ，Ｔy -1ｒ2 ，Ｔy -1
Ｔx ，Ｔy -1ｒ4 ，Ｔy -1ｒ5 からｒ1 ，ｒ2 ，ｒ4 ，
ｒ5 ，Ｔx Ｔy を求める。
（Ｔy 2 ) ≧０としてＴy -1ｒ1 ，Ｔy -1ｒ2 ，Ｔy -1
Ｔx ，Ｔy -1ｒ4 ，Ｔy -1ｒ5 からｒ1 ，ｒ2 ，ｒ4 ，
ｒ5 ，Ｔx Ｔy を求める。
【００３１】ただしＴy ≧０としてｒ1 ，ｒ2 ，ｒ4 ，
ｒ5 ，Ｔx ，Ｔy を求めたため、教示点の空間、画像座
標値を使って、Ｔy の符号の妥当性を調べる。つまり、
いま得られたパラメータと式１，４から、任意の
（ｘwi，ｙwi，ｚwi），（Ｘfi，Ｙfi）の組に対する
（ｘi ，ｙi ，ｚi ），（Ｘui，Ｙui）を求めた時、ｘ
i とＸui及びｙi とＹuiのどちらか一方でも符号が異な
ればＴy ≧０とした仮定が誤りであると判断し、先に求
めたｒ1 ，ｒ2 ，ｒ4 ，ｒ5 ，Ｔx ，Ｔy の符号を反転
させる。これは図５においてｘi とＸui及びｙi とＹui
が必ず同符号になることを利用した判定である。
ｒ5 ，Ｔx ，Ｔy を求めたため、教示点の空間、画像座
標値を使って、Ｔy の符号の妥当性を調べる。つまり、
いま得られたパラメータと式１，４から、任意の
（ｘwi，ｙwi，ｚwi），（Ｘfi，Ｙfi）の組に対する
（ｘi ，ｙi ，ｚi ），（Ｘui，Ｙui）を求めた時、ｘ
i とＸui及びｙi とＹuiのどちらか一方でも符号が異な
ればＴy ≧０とした仮定が誤りであると判断し、先に求
めたｒ1 ，ｒ2 ，ｒ4 ，ｒ5 ，Ｔx ，Ｔy の符号を反転
させる。これは図５においてｘi とＸui及びｙi とＹui
が必ず同符号になることを利用した判定である。
【００３２】ここまでのカメラパラメータの算出方法は
先に述べたツサイの提案する手法とほぼ同じである。し
かし本発明は、まだ求められていないカメラパラメータ
の算出方法に関し、ロジャー・ツサイの手法とは異な
り、カメラ配置にとらわれず高精度にカメラパラメータ
を求めることができる。
先に述べたツサイの提案する手法とほぼ同じである。し
かし本発明は、まだ求められていないカメラパラメータ
の算出方法に関し、ロジャー・ツサイの手法とは異な
り、カメラ配置にとらわれず高精度にカメラパラメータ
を求めることができる。
【００３３】つまり、式１〜４をまとめると
【数１１】 ｚw ＝０であるから、変形して
【数１２】 ただし、
【数１３】 である。
【００３４】これまでのところで、式１２の右辺に含ま
れるｒ1 ，ｒ2 ，ｒ4 ，ｒ5 ，Ｔx，Ｔy は既知の値で
ある。よって、教示点データ（ｘwi，ｙwi，ｚwi），
（Ｘfi，Ｙfi）を使って、ｒ´7 ，ｒ´8 ，Ｔ´z を最
小２乗法で求めることができる。
れるｒ1 ，ｒ2 ，ｒ4 ，ｒ5 ，Ｔx，Ｔy は既知の値で
ある。よって、教示点データ（ｘwi，ｙwi，ｚwi），
（Ｘfi，Ｙfi）を使って、ｒ´7 ，ｒ´8 ，Ｔ´z を最
小２乗法で求めることができる。
【００３５】ここで回転行列Ｒの正規直交性から、以下
の式が成り立つのは明らかである。
の式が成り立つのは明らかである。
【数１４】 上式を変形して
【数１５】 となる。ただしｆ＞０である。
【００３６】ここで、ｒ3 2 ，ｒ6 2 ，ｒ9 2 は回転行
列Ｒの正規直交性を利用して以下の式で求められるから
列Ｒの正規直交性を利用して以下の式で求められるから
【数１６】 上式のｒ9 2 を式１５に代入すれば焦点距離ｆが求めら
れる。さらに式１３からｆを使って残りのパラメータ，
ｒ7 ，ｒ8 ，Ｔz が求められる。
れる。さらに式１３からｆを使って残りのパラメータ，
ｒ7 ，ｒ8 ，Ｔz が求められる。
【００３７】最後にｒ1 ，ｒ2 ，ｒ4 ，ｒ5 ，ｒ7 ，ｒ
8 と式１６のｒ3 2 ，ｒ6 2 ，ｒ9 2 から先と同様に回
転行列Ｒの正規直交性を利用して、ｒ3 ，ｒ6 ，ｒ9 の
符号を求める。
8 と式１６のｒ3 2 ，ｒ6 2 ，ｒ9 2 から先と同様に回
転行列Ｒの正規直交性を利用して、ｒ3 ，ｒ6 ，ｒ9 の
符号を求める。
【００３８】以上で複数個の教示点の空間、画像座標値
の組（ｘwi，ｙwi，ｚwi），（Ｘfi，Ｙfi）からすべて
のカメラパラメータが求められた。
の組（ｘwi，ｙwi，ｚwi），（Ｘfi，Ｙfi）からすべて
のカメラパラメータが求められた。
【図１】本発明に係る自動キャリブレーション装置の概
念図である。
念図である。
【図２】キャリブレーションワークの平面図である。
【図３】教示点の空間座標値と画像座標値の対応付けを
行う処理手順を示した図である。
行う処理手順を示した図である。
【図４】教示点のラベリングを説明するためのキャリブ
レーションワークの斜視図である。
レーションワークの斜視図である。
【図５】カメラモデルを説明するための図である。
【符号の説明】 １ カメラ ２ キャリブレーションワーク ３ 画像処理装置 ４ 演算部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鋤柄 和俊 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 (72)発明者 森部 弘 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 (72)発明者 松浦 潤二 愛知県豊田市トヨタ町１番地 トヨタ自動 車株式会社内
Claims (2)
- 【請求項１】 視覚センサのキャリブレーションを自動
的に行う装置であって、 方向性を持つ特定形状の基準教示点を含む複数の教示点
を平面上に有するキャリブレーションワークを撮像する
ための撮像手段と、 この撮像手段で得た画像における基準教示点の位置、形
状から、画像中における基準点の位置及び方向を認識す
る位置方向認識手段と、 認識された座標に基づいて各教示点の空間座標値と撮像
手段において得た各教示点の画像座標値の対応付けを行
う座標間対応付け手段と、 対応付けされた複数の空間、画像座標値の組の対応関係
から撮像手段の各パラメータを算出するキャリブレーシ
ョン演算手段と、 を含むことを特徴とする視覚センサの自動キャリブレー
ション装置。 - 【請求項２】 請求項１記載の装置において、 上記キャリブレーション演算手段は、各教示点の空間、
画像座標の組を用いてキャリブレーションワークの平面
上の座標値と画像座標の対応についての撮像手段のパラ
メータを求めた後、再度各教示点の空間、画像座標の組
を用いてキャリブレーションワークの平面に直角な方向
の座標も含めた空間座標と画像座標の対応についての撮
像手段のパラメータを求めることを特徴とする視覚セン
サの自動キャリブレーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04284526A JP3138080B2 (ja) | 1992-10-22 | 1992-10-22 | 視覚センサの自動キャリブレーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04284526A JP3138080B2 (ja) | 1992-10-22 | 1992-10-22 | 視覚センサの自動キャリブレーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06137840A true JPH06137840A (ja) | 1994-05-20 |
| JP3138080B2 JP3138080B2 (ja) | 2001-02-26 |
Family
ID=17679623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04284526A Expired - Fee Related JP3138080B2 (ja) | 1992-10-22 | 1992-10-22 | 視覚センサの自動キャリブレーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3138080B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003050107A (ja) * | 2001-08-07 | 2003-02-21 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
| EP1339240A2 (en) * | 2002-02-14 | 2003-08-27 | Canon Kabushiki Kaisha | Information processing method and apparatus, and recording medium |
| JP2005098973A (ja) * | 2003-08-28 | 2005-04-14 | Fujitsu Ltd | 計測方法、計測システム及びプログラム |
| JP2005186193A (ja) * | 2003-12-25 | 2005-07-14 | Nachi Fujikoshi Corp | ロボットのキャリブレーション方法および三次元位置計測方法 |
| JP2008070347A (ja) * | 2006-08-17 | 2008-03-27 | Univ Of Miyazaki | 自動キャリブレーション装置、及びキャリブレーション方法 |
| US7974462B2 (en) | 2006-08-10 | 2011-07-05 | Canon Kabushiki Kaisha | Image capture environment calibration method and information processing apparatus |
| DE102015000589A1 (de) | 2014-01-23 | 2015-08-06 | Fanuc Corporation | Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem |
| JP2016209995A (ja) * | 2016-06-22 | 2016-12-15 | オムロン株式会社 | 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置 |
| EP3109825A1 (en) * | 2015-06-22 | 2016-12-28 | Seiko Epson Corporation | Marker, method of detecting position and pose of marker, and computer program |
| US10192361B2 (en) | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
| US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
| US10347048B2 (en) | 2015-12-02 | 2019-07-09 | Seiko Epson Corporation | Controlling a display of a head-mounted display device |
| CN111380457A (zh) * | 2018-12-29 | 2020-07-07 | 上海葩弥智能科技有限公司 | 料盘的定位方法及系统 |
| US10825193B2 (en) | 2017-09-27 | 2020-11-03 | Omron Corporation | Position detecting apparatus and computer-readable recording medium |
| WO2021111868A1 (ja) * | 2019-12-02 | 2021-06-10 | ジック株式会社 | ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5315705B2 (ja) * | 2008-01-24 | 2013-10-16 | ブラザー工業株式会社 | ミシン |
| JP2009172122A (ja) | 2008-01-24 | 2009-08-06 | Brother Ind Ltd | ミシン |
| JP2009174981A (ja) | 2008-01-24 | 2009-08-06 | Brother Ind Ltd | ミシン |
| JP5141299B2 (ja) * | 2008-02-28 | 2013-02-13 | ブラザー工業株式会社 | ミシン |
-
1992
- 1992-10-22 JP JP04284526A patent/JP3138080B2/ja not_active Expired - Fee Related
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003050107A (ja) * | 2001-08-07 | 2003-02-21 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
| EP1339240A2 (en) * | 2002-02-14 | 2003-08-27 | Canon Kabushiki Kaisha | Information processing method and apparatus, and recording medium |
| US7196721B2 (en) | 2002-02-14 | 2007-03-27 | Canon Kabushiki Kaisha | Information processing method and apparatus, and recording medium |
| EP1339240A3 (en) * | 2002-02-14 | 2008-05-28 | Canon Kabushiki Kaisha | Information processing method and apparatus, and recording medium |
| JP2005098973A (ja) * | 2003-08-28 | 2005-04-14 | Fujitsu Ltd | 計測方法、計測システム及びプログラム |
| JP2005186193A (ja) * | 2003-12-25 | 2005-07-14 | Nachi Fujikoshi Corp | ロボットのキャリブレーション方法および三次元位置計測方法 |
| US7974462B2 (en) | 2006-08-10 | 2011-07-05 | Canon Kabushiki Kaisha | Image capture environment calibration method and information processing apparatus |
| JP2008070347A (ja) * | 2006-08-17 | 2008-03-27 | Univ Of Miyazaki | 自動キャリブレーション装置、及びキャリブレーション方法 |
| DE102015000589A1 (de) | 2014-01-23 | 2015-08-06 | Fanuc Corporation | Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem |
| DE102015000589B4 (de) * | 2014-01-23 | 2016-07-14 | Fanuc Corporation | Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem |
| US9519736B2 (en) | 2014-01-23 | 2016-12-13 | Fanuc Corporation | Data generation device for vision sensor and detection simulation system |
| US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
| EP3109825A1 (en) * | 2015-06-22 | 2016-12-28 | Seiko Epson Corporation | Marker, method of detecting position and pose of marker, and computer program |
| US10296805B2 (en) | 2015-06-22 | 2019-05-21 | Seiko Epson Corporation | Marker, method of detecting position and pose of marker, and computer program |
| US10192133B2 (en) | 2015-06-22 | 2019-01-29 | Seiko Epson Corporation | Marker, method of detecting position and pose of marker, and computer program |
| US10192361B2 (en) | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
| US10242504B2 (en) | 2015-07-06 | 2019-03-26 | Seiko Epson Corporation | Head-mounted display device and computer program |
| US10424117B2 (en) | 2015-12-02 | 2019-09-24 | Seiko Epson Corporation | Controlling a display of a head-mounted display device |
| US10347048B2 (en) | 2015-12-02 | 2019-07-09 | Seiko Epson Corporation | Controlling a display of a head-mounted display device |
| JP2016209995A (ja) * | 2016-06-22 | 2016-12-15 | オムロン株式会社 | 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置 |
| US10825193B2 (en) | 2017-09-27 | 2020-11-03 | Omron Corporation | Position detecting apparatus and computer-readable recording medium |
| CN111380457A (zh) * | 2018-12-29 | 2020-07-07 | 上海葩弥智能科技有限公司 | 料盘的定位方法及系统 |
| CN111380457B (zh) * | 2018-12-29 | 2024-02-06 | 上海晨兴希姆通电子科技有限公司 | 料盘的定位方法及系统 |
| WO2021111868A1 (ja) * | 2019-12-02 | 2021-06-10 | ジック株式会社 | ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置 |
| JPWO2021111868A1 (ja) * | 2019-12-02 | 2021-06-10 | ||
| JP2021088003A (ja) * | 2019-12-02 | 2021-06-10 | ジック株式会社 | ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3138080B2 (ja) | 2001-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH06137840A (ja) | 視覚センサの自動キャリブレーション装置 | |
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| JP6280525B2 (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
| EP0782100B1 (en) | Three-dimensional shape extraction apparatus and method | |
| Zhuang et al. | Simultaneous calibration of a robot and a hand-mounted camera | |
| Izaguirre et al. | A new development in camera calibration: Calibrating a pair of mobile cameras | |
| CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| US20040172164A1 (en) | Method and apparatus for single image 3D vision guided robotics | |
| JP2004340840A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
| EP3709270A1 (en) | Registration of individual 3d frames | |
| CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
| CN1561502A (zh) | 用于三维再现的捷联系统 | |
| CN110763204A (zh) | 一种平面编码靶标及其位姿测量方法 | |
| JP2005017286A (ja) | カメラキャリブレーション方法およびカメラキャリブレーション装置 | |
| JPH0680404B2 (ja) | カメラ位置姿勢校正方法 | |
| JP2018522240A (ja) | アーチファクトを測定するための方法 | |
| Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
| CN112785647A (zh) | 一种三目立体图像检测方法和系统 | |
| JPH0626770B2 (ja) | ワークのはめ合い方法 | |
| CN113781581B (zh) | 基于靶标松姿态约束的景深畸变模型标定方法 | |
| Neubert et al. | Automatic training of a neural net for active stereo 3D reconstruction | |
| CN111612071A (zh) | 一种从曲面零件阴影图生成深度图的深度学习方法 | |
| JPH0252204A (ja) | ３次元座標計測装置 | |
| CN118097039B (zh) | 基于离散化投影光线的面结构光三维点云重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 8 Free format text: PAYMENT UNTIL: 20081208 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081208 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 9 Free format text: PAYMENT UNTIL: 20091208 |
|
| LAPS | Cancellation because of no payment of annual fees |