JPH01116401A - 視覚センサのための視差補正方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、ロボット等の視覚として作業対象の物体を認
識するために利用される視覚センサに関する。

従来の技術 ロボット等の視覚として利用される視覚センサにおいで
は、ある物体の空間内の一直線あるいは一平面上での座
標位置を知るには、従来、第２図に示すように、まず、
その直線あるいは平面と直交するように光軸を設置して
、カメラで物体を認識してその物体の位置を計算してい
た。

第２図において、カメラ１のレンズ中心４を通るレンズ
に垂直な光軸３と直線または平面２と直交する点を基準
位置０とし、カメラ１のキャリブレーション時にこの基
準位置Ｏの画素値ＰＯと、この基準位置Ｏから直線また
は平面２上でＫ　１１１１！７＋いた点Ａの画素値ＰＡ
を求めておく。なお、懺ＰＯ−ＰＡはカメラ１のレンズ
中心４から直線または平面２の反対側に結像するが、説
明を簡単にするため同一側に記している。

そして、カメラ１がとらえた直線または平面上のある点
Ｘの画素値Ｐｘより次式の計算を行うことによっである
点の位Ｗ１ｘを求めている。

発明が解決しようとする問題点 上述した従来の方式では、第２図に示すように、光軸３
と直線または平面２が直交している場合には問題はない
が、第１図に示すように光軸３と直線または平面２が直
交せず、角θで交わっている場合には、視差の影響があ
るため、正しい物体の位置を求めることができない。

例えば、直線または平面２上の点Ａを撮影し、その画素
値がＰＡとすると、この画素値ＰＡより第（１）式の演
算を行って点Ａの位置を求めたとしても、その位置は光
軸３と直交する直線または平面２′と光軸・４−Ａとの
交点Ａ′の位置を求めることにすぎず、正しい点Ａの位
置は求めることができない。そのため、カメラ１が撮影
しようとする直線または平面２と光軸３が直交するよう
に、カメラ１を設置する必要があるが、これは非常に困
難なことである。

そこで、本発明の目的は、カメラのレンズ中心を通るレ
ンズに垂直な光軸と、搬彰対象の直線または平面が直交
していなくても、該直線または平面上の物体位置を正確
に求めることができる視差補正方式を提供することにあ
る。

問題点を解決するための手段 視覚センサにより直線上の物体の位置を検出する場合に
おいては、本発明は、キャリブレーションでカメラの光
軸と上記直線が交わる基準位置と、上記直線上の上記基
準位置とは異なる２点を認識させ、カメラから上記基準
位置までの距離、ｉ５！識させた各点の上記基準位置か
らの距離位置、上記基準位置及び上記２点の画素値より
上記光軸に対する上記直線の傾きを求め、該傾き、基準
位置の画素値、Ｗ１識させた一方の点の基準位置からの
距離及び該点の画素値、カメラから基準位置までの距離
と、視覚センサがとらえた上記直線上の物体の画素値よ
り、物体の直線上の位置を求めるようにし、また、平面
上の物体の位置を検出する場合においては、平面上の直
交座標系における各軸の直線に対し、上述した直線上の
物体の位置を検出する場合と同様な処理を行い、各軸の
光軸に対する傾きを求め、この各軸の傾きより前述同様
に各軸上の物体位置を求めて平面上の位置を求めるよう
にした。

作　　用 第１図は、本発明の作用原理を説明する説明図で、カメ
ラ１のレンズ中心４を通り、レンズ１に垂直な光軸３と
、直線または平面上の直交座標系の一方の軸２との交点
を基準位置Ｏとした場合、この直線または軸２と光軸と
の角度をθとする。

そして、キャリブレーション時に、この基準位置０の画
素値ＰＯ９該基準基準位置ら直線２上をＫ１１１１移動
させた点Ａ及びＭ１ｍｌ＋移動した点Ｂの画素ＩＰＡ、
ＰＢを各々視覚センサに認識させ、さらに、カメラのレ
ンズ中心４と基準点０間の距離Ｌｌｌｌｌｌ及びＡ点、
Ｂ点の移動位置Ｋｎｌｌ、　Ｍｍ＋＋＋を設定し記憶さ
せておく。

そこで、Ａ点、Ｂ点から光軸に足した垂線の光軸との交
点をＡｈ、Ｂｈとし、レンズ中心４と像位置間の距離を
Ｌ′■とすると、三角形４・ＰＯ・ＰＡと三角形４・Ａ
ｈ−Ａが相似であることから、 第（２）式より １１・にｓｉｎθ−（Ｌ＋にＣＯＳθ）　−（ＰＡ−Ｐ
Ｇ）・・・・・・（３） 一方、三角形４・ＰＯ−ＰＢと三角形４・Ｂｈ・Ｂが相
似であることから、 第（４）式より し−Ｈ３ｉｎθ−（Ｌ＋　１４ｃｏｓθ）　−（ＰＢ−
ＰＧ）・・・・・・（５） 第（３）弐両辺にＭを乗じ、第（５）式の両辺にＫを乗
じると、左辺は両者ともに−Ｍ−Ｌ’　　ｓｉｎθとな
り等しいので右辺も等しくなり、次式が成立する。

Ｈ（Ｌ＋にＣＯＳθ）φ（ＰＡ−ＰＯ）＝に（Ｌ＋　Ｈ
ＣＯ３θ）・（Ｐａ−ＰＧ）　　　　・・・・・・（６
）第（６）式を整理すると、 ＨＫ　ＣＯ３θ　（ＰＡ−ＰＧ）　　−ＨＫ　ｃｏｓθ
　（ＰＢ−ＰＧ）＝にＬ　（ＰＢ−ＰＧ）−ＭＬ　（Ｐ
Ａ−ＰＧ）　　　　　　・・・・・・（１）第（７）式
より ・・・・・・（８） 第（８）式において、Ｋ、Ｍ、Ｌは設定値であり、ＰＡ
、ＰＢ、ＰＯはキャリブレーションで得られた値である
ので、第（８）式よりＣＯＳθが求まる。

一方、直線２上の基準位置０からＸ１ｌｌの物体Ｑの画
素値をＰＸとすると、該物体Ｑより光軸３に足した垂線
と光軸３との交点をＱｈとすると、三角形４・Ｑｈ−Ｑ
と三角形４・ＰＯ−ＰＸが相似なこと、また、三角形４
・Ａｈ−Ａと三角形４・ＰＯ−ＰＡが相似なことより、 第（９）式、第（１０）式より ・・・・・・（１１） 第（１１）式において、Ｋ、Ｌは設定値、ＰＡ。

ＰＯはキャリブレーションによって求められている画素
値、また、ＣＯＳθは第（８）式によって求められてい
るため、物体Ｑの画素値ＰＸが検出できれば、第（１１
）式より物体Ｑの位ｆｌＸは求められることとなる。

平面上の物体Ｑの位置を求める場合においては、平面の
直交座標系の各軸、例えばＸ軸、Ｙ軸とすると、該Ｘ軸
、Ｙ軸の光軸３に対する傾きはキャリブレーションによ
って第（８）式より求まる。即ち、基準位置Ｏの画素値
ＰＯとＸ軸上の２点Ａ。

Ｂの画素値ＰＡ、ＰＢ及びＡ点、Ｂ点の基準位置０から
の距離位置に、Ｍ、カメラ１のレンズ中心４から基準位
ＩＱまでの距離しより、Ｘ軸の傾きＣＯＳθＸは第（８
）式より求まる。同様に、Ｙ軸に対しても傾きＣＯＳθ
ｙは求まる。

一方、基準位置ＯとＸ軸上の２点Ａ、Ｂに対する画素値
ＰＯ，ＰＡ、ＰＢがキャリブレーションで求められてい
るため、Ｘ軸のカメラ座標系（■−Ｈ）に対する回転角
は求まり、また、Ｙ軸に対してもＹ軸上の３点の画素値
が求められていることから、Ｙ軸の座標系（Ｖ−Ｈ）に
対する回転角も求まる。こうして求められた回転角を第
３図に示すように、Ｙ軸とＸ軸間がα、Ｙ軸とＹ軸間が
βとすると、平面上の点Ｑの画素値が■軸ＶＱ／。

Ｈ軸ＨＱとし、平面上の直交座標系Ｘ−Ｙ上の位置を（
Ｘｑ、ＹＱ）とすると、 上記第（１２）式が成立する。

そこで、カメラ１が撮影した物体Ｑの画素値（ＶＱ、Ｈ
Ｑ）と、キャリブレーション時に求められる各軸の回転
角α、βより第（１２）式の演惇を行って、位ＩＸＱ、
Ｙｑを求め、この求めたＸｑを第（１１）式のＰ’Ｘの
代りに代入すれば、物体Ｑの平面上の座標系のＸ軸位１
ｆｆＸが求まり、また、第（１１）式のＰＸの代りにＹ
Ｑを代入すれば、平面上の座標系のＹ軸位ＦｆｆｉＹが
求まることになる。

実施例 第４図は、本発明を実施する一実膿例の視覚センサの要
部ブロック図である。゛ 図中１０は中央処理製画（以下、ＣＰＵという）で、該
ｃｐｕｉｏはバス１９を介して、カメラが接続されたカ
メラインターフェイス１１．モニタ用テレビジョン１２
が接続されたモニタインターフェイス、ロボット１４が
接続されるインターフェイス１５が接続され、さらに、
該バス１９にはカメラインターフェイス１１を介してカ
メラ１で撮影された画像を記憶するフレームメモリ１６
゜ＣＰｔＪ　１０が処理するプログラムを記憶するＲＯ
Ｍやデータの一時記憶及び各種設定値を記憶する不揮発
性ＲＡＭで構成されるメモリ、及び該視覚センサに各種
設定値を教示し入力するための教示操作盤１８が接続さ
れている。

以上のような構成において、カメラ１を撮影しようとす
る直線または平面に向けて配設し、直線２上の物体の位
置を検出しようとする場合には、キャリブレーションで
カメラ１のレンズ中心を通りレンズに垂直な光軸３と直
線２゛との交点である、基準位置Ｏ及び該基準位置Ｏよ
り直線上にＫＩＩＩＩｌｌ。

Ｍｉ１ｍ移動した位１ｆＡ、ＢをＩｌａし、フレームメ
モリ上の基準位置０．Ａ点、Ｂ点の画素値ＰＯ１ＰＡ、
ＰＢをメモリ１７内に記憶させると共に、基準位置Ｏか
らＡ点、Ｂ点までの距離位置Ｋ１１ｎ＋。

Ｍａｌｌ及び基準位１ｆｆｏとカメラ１のレンズ中心間
の距離ＬＩＩＩＩｌを教示操作盤１８より入力し、メモ
リ１７内に記憶させる。こうして、画素値ＰＯ，ＰＡ、
ＰＢ及び設定データに、Ｍ、Ｌが得られると、ｃｐｕｉ
ｏは第（８）式の演算を行って直線２の光軸３に対する
傾きであるＣＯＳθを求める。なお、Ａ点、Ｂ点を教示
する際、Ａ点を基準位置０より直線上＋Ｋｍｍの位置を
教示し、Ｂ点として基準位置Ｏより−Ｋｍｌの位置を教
示すれば、第（８）式中、Ｍの代りに−Ｋを代入し、第
（８）式は次の第（８′）式となり、教示及び演算も簡
単となる。

・・・・・・（８′） 以下、本実施例ハ＋ＫＩｌ、−ＫｌｌｌｌのＡ点、Ｂ点
を教示し、第（８′）式によってＣＯＳθを求めるもの
とする。

こうしてＣＯ３θを求めてキャリアレージョンは終了す
る。

次に、直１１２上の物体Ｑをカメラ１が撮影してその物
体Ｑの直線上の位置を求めるときにはＣＰＵ１０は、検
出された物体Ｑのフレームメモリ１６中の画素値Ｐｘと
、キャリブレーション時に求めたＣＯＳθ及びメモリ１
７に記憶されている画素値ＰＯ，ＰＡ、設定値に、Ｌよ
り第（１１）式の演算を行って物体Ｑの位＠Ｘを求める
。そして、この位置Ｘのデータはインターフェイス１５
を介してロボット１４に送られることとなる。以下、カ
メラ１が物体Ｑを撮影する毎にＣＰＵ１０は上記処理を
行い、ロボット１４に物体Ｑの位置を知らせることとな
る。。

次に、平面上の物体Ｑの位置の検出方式について述べる
。

まず、キャリブレーション時に平面上の直交座標系Ｘ−
ＹのＸ軸、Ｙ軸とカメラの光軸の傾きを、上記直線の光
軸に対する傾きを求めたときと同じようにして求める。

即ち、基準位置０と、該基準位置Ｏを中心に反対方向に
＋に１１１１．−Ｋｌｌｌｌの点Ａ、Ｂを教示し、その
ときの画素［ＩＰＯ，ＰＡｘ、ＰＢｘを記憶サセる。同
様に、Ｙ軸に対しても＋Ｋｍｍ、　−ＫｍｍのＡ点、Ｂ
点を教示し、各点の画素位置ＰＡＶ、ＰＢｙを記憶させ
る。ざらに、カメラのレンズ中心から基準位置の距離り
、Ａ点、Ｂ点の基準位置Ｏｈ−らの距ｌ！ＩＫ　ｍｍ＋
を教示操作盤から入力して設定すると、ＣＰＵ１０は第
（８′）式を演算してＸ軸、Ｙ軸の傾きＣＯＳθｘ、ｃ
ｏｓθｙを求める。

・・・・・・（１３） 。。８θ、　＝　　Ｌ　、　（ＰＢ　−ＰＯ）　＋　（
ＰＡＹ−ＰＯ）に　　（ＰＢｙ−ＰＯ）　　−（ＰＡｙ
−ＰＧ）・・・・・・　（１４） 一方、平面の直交座標系のＸ軸上、Ｙ軸上各々３点（基
準位置、Ａ点、Ｂ点）が教示されているから、カメラ座
標系Ｖ−Ｈに対するＸ軸、Ｙ軸の傾ぎα、βは求められ
る。

こうしてキャリブレーションを終了した後、カメラ１よ
り平面上の物体Ｑを撮影し、得られたその物体Ｑの画素
値（ＶＱ、ＨＱ）と軸の回転角α。

βより第（１２）式を演算して位ｆｆ１Ｘｑ、ＹＱを求
め、求められたＸｑとキャリブレーション時に第（１３
）式で求められたｃｏｓθＸ、また、ＹＱと第（１４）
式で求められたＣＯＳθｙ及び設定データＫ。

しにより第（１１）式の演算を行って平面上の物体Ｑの
位置（Ｘ、Ｙ）を求める。即ち、第（１１）式よりＸ、
Ｙの値は次のようになる。

・・・・・・（１５） ・・・・・・　（１６） 以上のようにして、直線上または平面上の物体Ｑの位置
を検出するようにしているため、カメラ１の視差を補正
して、正確な物体Ｑの位置を検出することができる。

発明の効果 本発明は、視覚センサの光軸と撮影しようとする直線ま
たは平面とが直交していなくても、それを補正し、該直
線または平面上の物体の位置を正確にｍ識検出できるの
で、カメラの光軸を被写体の直線または平面に対し、正
確に垂直に配置するという極めて困難に作業を行う必要
がない。

【図面の簡単な説明】

第１図は本発明の作用原理を説明する説明図、第２図は
視覚センサで物体位置を求める従来の方式の説明図、第
３図はカメラ座標系と平面の座標系の関係を説明するた
めの図、第４図は本発明を実施する視覚センサの一実施
例の要部ブロック図である。 １・・・カメラ、２・・・直線または平面、３・・・光
軸、４・・・レンズ中心、Ｏ・・・基準位置、Ａ、Ｂ、
Ｑ・・・直線または平面上の物体の位置。

Claims (2)

【特許請求の範囲】
1. （１）視覚センサにより直線上の物体の位置を検出する
   とき、キャリブレーションでカメラの光軸と上記直線が
   交わる基準位置と、上記直線上の上記基準位置とは異な
   る２点を認識させ、カメラから上記基準位置までの距離
   、認識させた各点の上記基準位置からの距離位置、上記
   基準位置、及び上記２点の画素値より上記光軸に対する
   上記直線の傾きを求め、該傾き、基準位置の画素値、認
   識させた一方の点の基準位置からの距離及び該点の画素
   値、カメラから基準位置までの距離と視覚センサがとら
   えた上記直線上の物体の画素値より物体の直線上の位置
   を求めるようにした視覚センサのための視差補正方式。
2. （２）視覚センサにより平面上の物体の位置を検出する
   とき、キャリブレーションでカメラの光軸と上記平面が
   交わる基準位置と、上記平面上の直交座標系各軸上の上
   記基準位置とは異なる２点を各々認識させ、カメラから
   上記基準位置までの距離、認識させた各点の上記基準位
   置からの距離位置、上記基準位置及び上記各点の画素値
   より上記光軸に対する上記平面上の直交座標系各軸の傾
   きを求め、該各傾き、基準位置の画素値、認識させた各
   軸上の一方の点の基準位置からの距離、該点の画素値、
   及びカメラから基準位置までの距離と視覚センサがとら
   えた上記平面上の物体の画素値より、物体の平面上の位
   置を求めるようにした視覚センサのための視差補正方式
   。