JPH01121975A - 視覚センサのための光軸補正方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、ロボットの視覚として利用される視覚センサ
等のカメラを使用して対染物を１認識するシステムにお
ける光軸補正方式に関する。

従来の技術 視覚セン１す等、一般に光学系で物体を捉えた時には、
その画像はその物体の各点の位置が点情報の集合として
得られる。この点情報とは、カメラからみて点に見える
ということであり、実際には、空間内のある１点とカメ
ラ中心とを結んだ直線、即ち光軸を示している。

従来、この光軸はレンズの中心を通り、レンズに垂直な
直線として単純化して取扱われていた。

これは、第５図に示すように、対象物ａｂｃからの光を
受け、レンズ１００を介して像ａ　Ｉ　　ｂＩＣ′を得
るとき、レンズ１００の中心０と対象物のａ点を結ぶ光
軸ａＱも、対象物Ｃとレンズ中心０を結ぶ光軸ＣＯもレ
ンズ中心Ｏを通り、レンズ１００に垂直な線ｏｂと平行
な直線として取扱ってきた。カメラ（レンズ）と対象物
の距離が比較的大きく、精度をあまり必要としない場合
は、この単純化は有効であった。

発明が解決しようとする問題点 しかし、カメラの視野が広がり、視角が大きくなると、
この先軸の単純化によって誤差が拡大し、正確に位置等
を検出できない事態が生じる。

例えば、第６図に示すように、カメラ１０１のレンズの
中心Ｏを通り、レンズに垂直な線上の一点を基準点ＰＯ
とし、該基準点ＰＯを通り、線ＯＰＯに垂直な面を基準
面Ｓとすると、該基準面Ｓ上の１点は、該基準面Ｓが線
ＯＰＯに垂直であるならば正確にその位置をカメラによ
って検出できる。しかし、該基準面Ｓが傾き、Ｓ′の状
態で該傾いた基準面Ｓ′上の点Ａ１若しくは基準面Ｓ上
にない点△を検出する場合、カメラは該点Ａを基準面Ｓ
上のΔ′点の位置を検出してしまう。基準面Ｓがカメラ
１０１より遠く、視角が狭い場合においては、この点Ａ
と点Ａ′の位置誤差は格別大きなものではないが、基準
面Ｓとカメラ１０１が近づき視角が大きくなると、この
誤差は大きくなってくる。

また、三次元空間上のある点への位置を２つのカメラで
検出しようとするとき、第７図に示すように、ある点Ａ
をカメラ１０１は、該カメラ１０１の基準面Ｓ１上のＡ
１点として検出する。一方、カメラ１０２は該カメラ１
０２の基準面Ｓ２上のＡ２点に、ある点Ａを検出するこ
ととなる。その結果、この２つのカメラ１０１，１０２
で検出するある点Ａの位置は、Ａ１点を通り、カメラ１
０１の中心０１と基準点ＰＯを結んだ線０１ＰＯ（カメ
ラ１０１のレンズ中心を通り、レンズに垂直な光軸）と
平行な線１１と、点Ａ２を通りカメラ１０２の中心０２
と基準点ＰＯを結んだ線０２ＰＯと平行な線１２の交点
Ａ３にあるものとして検出することとなり、点Ａの位置
にあるものが、点Ａ３の位置として検出され、誤差が生
じることとなる。

これは、光軸を常にカメラのレンズ中心を通り、レンズ
に垂直な線と平行なものとして取扱っているからで、例
えば、第６図で光＠ＯＡの方向及び点Ａの基準面Ｓから
の距離がわかれば正確にＡ点の位置が検出できる。また
、第７図においても、。

光軸ＡＯＩ、ＡＯ２がわかれば、この光軸の交点として
点Ａの位置が検出されることを意味する。

そこで、本発明の目的は、正確な位置を検出するために
、光軸の方向を求める視覚センサのための光匈補正方式
を提供することにある。

問題点を解決するための手段 本発明は、キャリブレーションによって基本座標系の各
軸方向に対するカメラ座標系におけるユニットベクトル
を求め、該ユニットベクトルと、カメラが撮影した対象
物の画像位置と、カメラのレンズの中心を通りレンズに
垂直な光軸のベクトルより、該光軸と基準点で垂直に交
差するカメラが撮影する基準面上での対象物の基準点か
らのベクトルを求め、該ベクトルと上記光軸のカメラレ
ンズ中心から基準点までのベクトルよりカメラと対染物
間の光軸方向を求めることによって、光軸を補正するよ
うにした。

また、視覚センサで躍影する対象が二次元である場合に
おいては、キャリブレーションにより、各軸のユニット
ベクトルの代りに基本座標系に対するカメラ座標系を距
離／画素の比及び軸方向によって特定し、カメラが撮影
した対象物の画像位置と上記距１１ｉ／画素の比及び軸
方向から、カメラレンズの中心を通り、レンズに垂直な
光軸と基準点で垂直に交差するカメラが撮影する基準面
上での対象物のベキトルを求め、該ベクトルと上記光軸
のカメラレンズ中心から基準点までのベクトルよりカメ
ラと対象物間の光軸方向を求めることによって光軸を補
正する。

作　　用 第１図は、本発明の原理１作用を説明する説明図で、２
はカメラのレンズで、１はカメラが撮影しようとする基
準面であり、レンズ２の中心Ｏを通り、レンズ２に垂直
な光軸と該基準面は垂直に交差し、その交差点を基準点
ＰＯとし、この基準点ＰＯを基本座標系Ｘ−Ｙ−Ｚの原
点及びカメラ座標系Ｖ−Ｈの原点とする。　　　　゛キ
ャリブレーションによって基本座標系Ｘ−Ｙ−７の各軸
方向に対するカメラ座標系におけるユニットベクトルσ
×、σｙ、υｌが求められ、カメラ座標系が特定されて
いるとする。

今、カメラより空間上の一点Ｑを見たとき、レンズ２の
中心０と点Ｑを結ぶ光軸ＯＱが基準面１と交わる点をＱ
′とし、この点Ｑ′の基本座標系Ｘ−Ｙ−Ｚにおける座
標位置を（Ｘ、Ｖ、Ｚ）とし、カメラ画像で得られるこ
の点Ｑ′の位置、即ち、カメラ座標系Ｖ−Ｈにおける座
標位置を（Ｖ。

ｈ）とする。また、光＠ｏ　ｐ　ｏのユニットベクトル
宙、光軸ＯＱのユニットベクトルを苗′、レンズ２の中
心Ｏと基準点ＰＯ間の距離をＬとする。

基本座標系Ｘ−Ｙ−ＺにおけるＱ′の基準点ＰＯからの
ベクトル６′を上記各軸方向を示すユニットベクトルで
カメラ座標系に変換すると該ベクトルζ′はカメラ座標
系Ｖ−Ｈの基準点ＰＯから点Ｑ′へのベクトルと等しい
ので、 上記第（１）式が成立する。

第（１）式の各ユニットベクトルυＸ、υｙ。

′Ｃ１１をカメラ座標系Ｖ−Ｈの各軸成分に分解すると
、 （ｈ）＝Ｘ−（Ｕｘｖ＋σｘｈ）＋ｙ（σｙｖ＋υｙｈ
）＋２°（υ２゛υｚｈ）　　　　　・・・・・・（２
）第（２）式において、右辺のＶ＠酸成分合計がＶの値
に等しくＨ軸成分の合計がｈの値に等しいので、 ｖ＝ｘ−υｘｖ＋　ｙ−υｙｖ＋ｚ−υＺｖ　・・・・
・・（３）ｈ＝ｘ−υｘｈ＋　ｙ−ぴｙｈ＋ｚ−びｚｈ
　　−・−・（４＞上記第（３）、　　（４１式が成立
する。

一方、ベクトルζ′と光軸ＯＰＯのユニットベクトル苗
は直交するためその内積は「０」となり、が成立する。

ユニットベクトルυ×、υｙ、υ２はキャリブレーショ
ンにより既知でそのＹ軸方向、ト１軸方向成分も既知で
あり、光＠ＯＰＯのユニットベクトル苗も既知であるか
ら、カメラ画面上の位置（Ｖ。

Ｈ）が検出されれば、第（３）式〜第（５）式より、ｘ
、ｙ、ｚは導き出される。即ち、 このベクトルσ′が求められると、該ベクトルζ′と０
１０間のベクトルＬ−ｆｆｌより光軸ＯＱのユニットベ
クトル苗′が次式によって求められる。

、上記第（６）式によって光軸ＯＱのユニットベクトル
苗′が求められ、これは光＠ＩＩ　ＯＱの方向を示すこ
ととなる。

視覚センサで撮影する対象が二次元の場合においては、
第（１）式においてＺ＝Ｏ−Ｕｚ＝Ｏとすることによっ
て、第（１）式のみからベクトルσ′を求めることがで
きる。即ち、第（３）２第（４）式でｚ＝０．υｚｖ＝
υｚｈ＝　ｏとして、第（３）、第（４）式から（Ｚ、
　ｙ）を求め、ベクトルす′を求めることが、この場合
、キヤリブレーシヨンで基本座標系の×、Ｙ軸方向に対
するカメラ座標系におけるユニットベクトルヒ×、σｙ
を求めることによってカメラ座標系を定義する代りに距
離に対する画素の比Ｓ及び軸方向（θ）をキヤリブレー
シヨンで求めることによって、これの距離／画素の比Ｓ
と軸方向θにより対象物の光軸方向を求めることもでき
る。

第２図は、この対象が二次元であるときの光軸方向を求
める説明図で、１はレンズ２の中心０を通り、レンズに
垂直な光軸と基準点１）　Ｏで交差する該光軸と垂直な
基準面、基準点ＰＯの基本座標系Ｘ−Ｙの座標位置を（
ｘｏ、ｙｏ）、カメラ座標系（Ｖ、　１−１）の座標位
置を（ｖｏ、ｈａ）、対象物の基準座標系Ｘ−Ｙにおけ
る座標位置を（×１゜ｙｌ）、カメラ座標系（Ｖ、Ｈ）
に対する座標位置を（ｖｌ　、　ｈｌ）とし、光＠ＯＰ
Ｏのユニットベクトルを苗、光軸ＯＱのユニットベクト
ルを苗′とすると、軸方向、即ち座標系の回転θ、基準
座標系の単位とカメラ座標系の単位の比である距離／画
素の比Ｓがキャリブレーションで得られていると、カメ
ラで捉えた基準点ＰＯ，対象物Ｑのカメラ座標系の位置
（ｖｏ　、　ｈｏ）、　　（ｖｌ　、　ｈｌ）より座標
変換して ・・・・・・（７） ・・・・・・（８） 基本座標系に対する基準点ＰＯ（ｘｏ　、　ｙｏ）、対
象物位置Ｑ　（Ｘｉ　、　ｌ）が上記第（７）、第（８
）式より得られる。

その結果、Ｐ２Ｏ間のベクトルζは として求められ、レンズの中心０と基準点ＰＯ間の距離
りより 第（１０）式より光軸ＯＱのユニットベクトル苗′が得
られる。即ち光軸ＯＱの方向が求められることとなる。

なお、軸方向θ及び距離／画素の比Ｓをキャリブレーシ
ョンを得ることは方向と大きさを得ることであり、軸の
ユニットベクトルを得ることを意味しており、実質的に
キャリブレーションで軸のユニットベクトルを得るか、
距離／画素の比及び軸方向を得るかは同一である。

実施例 第３図は本発明の光軸補正方式を採用する視覚センサシ
ステムの一実施例の要部ブロック図で、１０は中央処理
装置（以下、ＣＰＵという）で、該ＣＰＵ１０にはバス
１８によってカメラ１２が接続されたカメラインターフ
ェイス１１．モニタ用のテレビジョン１５が接続された
モニタインターフェイス、カメラ１２で撤影した画像を
記憶するフレームメモリ１３．制御用プログラム、各種
設定値、パラメータ等の記憶及びデータの一時記憶等に
利用されるＲＯＭ、ＲＡＭ等で構成されたメモリ１６．
教示位置や各種データの入力を行うための教示操作盤１
７が接続されている。ＣＰＵ１０は従来と同様、メモリ
１６内に格納された制御プログラムによって視覚センサ
システムを駆動制御しており、カメラ１２で躍影された
画像はカメラインターフェイス１１を介してフレームメ
モリ１３内に記憶されるようになっている。そこで、本
発明の光軸補正方式を実施するために、教示操作盤１７
よりカメラ１２のレンズ中心を通り、該レンズに垂直な
光軸のユニットベクトル苗及びこの光軸のレンズ中心か
らカメラが蹟影する該光軸に垂直な基準面との交点であ
る基準点までの距離りをメモリ１６内に設定すると共に
、キャリブレーションを実施してメモリ内に基本座標系
の各軸方向に対するカメラ座標系における各軸方向ユニ
ットベクトルυＸ、υｙ、ＵＺを格納する。なお、搬影
対象が二次元である場合は、キャリブレーションで距離
／画素の比Ｓ及び軸方向θを格納するようにしてもよい
。

そこで、カメラ１２より対象物をｌ［し、その対象物の
カメラ座標系の位置（ｖ、ｈ）をフレームメモリ内に格
納した画像画面より求め、ＣＰＵ１０はこの求められた
位置（ｖ、ｈ）とキャリブレーションで得た各軸方向ベ
クトルυＸ、υｙ。

ＵＺ及び設定された光軸ユニットベクトル苗より第（３
）〜第（５）式の演算を行って対象物の基本座標系にお
ける位ｉｉ￥（Ｘ、Ｖ、Ｚ）を求め、基準点からの該位
置（Ｘ、Ｖ、Ｚ）へのベクトルと、設定された光軸ユニ
ットベクトル苗と、レンズ中心と基準点間の距離りより
求められるレンズ中心から基準点までのベクトルより、
第（６）式の演算を行って対象物への光軸のユニットベ
クトル苗′を求める。

なお、対象が二次元の場合で、キャリブレーションで距
Ｉｌｌ／画素の比Ｓ、軸方向θが求められている場合に
は、第（７）、第（８）式によって基準点の基本座標系
における座標位置（ｘｏ、ｙｏ）＜この基準点を座標系
の原点としている場合には、この座標位置は求める必要
がない）、及び対象物の座標位置（ｘｌ、ｙｌ）を求め
、求められた位置（ｘｏ　、　ｙｏ）、　　（ｘｌ　、
　ｙｌ）より基準点から対象物までのベクトルを第（９
）式より求め、設定されている光軸ユニットベクトル苗
と、レンズ中心と基準点闇路１１１Ｌより、第（１０）
式の演算を行って対象物苗′への光軸のユニットベクト
ル苗′を求める。

こうして、光軸ユニットベクトル苗′を求めることによ
り、対象物への光軸の方向が求められる。

対象物への光軸のユニットベクトル苗′が求められると
、対象物の位置がこのベクトル苗′を使って正確に求め
られる。

例えば、第４図に示すように、基準面１よりＫだけカメ
ラから遠い位置（ｘ、ｙ、ｋ）に対象物Ｑがある場合、
カメラがこの対象物Ｑを撮影し、基準面１上の位置Ｑ’
　　（ｘ’　、ｙ’　、０）に対象物があるように検出
する。そこで、この基準面１から対象物Ｑまでの距離Ｋ
を予め設定しておき、カメラで検出した対象物の位ｉＨ
Ｑ’　　（Ｘ’　、Ｖ’　。

０）と、レンズ中心を通りレンズに垂直なユニットベク
トル苗と前述した処理によって求められた対象物への光
軸のユニットベクトル苗′より次の演口を行えば、対象
物Ｑの位置（ｚ、ｙ、ｋ）は求まる。

・・・・・・（１１） なお、第（１１）式において、苗・苗′は２つのユニッ
トベクトルの内積を表わし、第４図におけるＣＯＳθ表
わすこととなる。

また、位置Ｑ′と位置０間の長さをＱ’　Ｑとすると、 Ｋ／Ｑ’　Ｑ＝　ｃｏｓθであるので、＝　（Ｑ’　Ｑ
）・苗′ となり、第（１１）式右辺の第１項は位置Ｑ′と位のベ
クトルのｘ、ｙ、ｚ成分を位置Ｑ′のｘＪ。

ｙ　′、　ｚ　Ｉ　に加えれば位置Ｑの座標位置（ｘ、
ｙ。

ｋ）が求まることを第（１１）式は意味している。

また、第７図のように２つのカメラによって三次元空間
上の対象物の位置を検出しようとする場合においても、
各カメラから対象物への光軸方向が求められるからこの
光軸の直線式の交点より対象物の正確な位置を検出する
ことができる。

発明の効果 本発明は、対象物の光軸方向を求めることができるから
、従来のようにすべての光軸をレンズの中心を通り、レ
ンズに垂直な光軸と同一方向としたときと比べ、対象物
の位置を正確に検出することを可能とする。

【図面の簡単な説明】

第１図は本発明の原理２作用を説明する説明図、第２図
は対象が二次元である場合の本発明の原理。 作用を説明する説明図、第３図は本発明の方式を実施す
る視覚センサシステムの一実施例の要部ブロック図、第
４図は本発明によって求めた光軸の方向によって対象物
の位置を検出する例の説明図、第５図は従来の方式にお
ける光軸方向を説明するための説明図、第６図、第７図
は従来の方式による対象物の位置を求める方式の説明図
である。 １・・・ＦＳＳ図面２．１００・・・レンズ、１２．１
０１．１０２・・・カメラ、ＰＯ・・・基準点、Ｑ・・
・対象物、ｘ、ｙ、ｚ・・・基本座標系、■、トド・・
カメラ座標系、苗、苗′・・・光軸のユニットベクトル
。 第　１　図 メ　ｔｅＶ５Ｊ

Claims (2)

【特許請求の範囲】
1. （１）キャリブレーションによって基本座標系の各軸方
   向に対するカメラ座標系におけるユニットベクトルを求
   め、該ユニットベクトルと、カメラが撮影した対象物の
   画像位置と、カメラのレンズの中心を通りレンズに垂直
   な光軸のベクトルより、該光軸と基準点で垂直に交差す
   るカメラが撮影する基準面上での対象物の基準点からの
   ベクトルを求め、該ベクトルと上記光軸のカメラレンズ
   中心から基準点までのベクトルよりカメラと対象物間の
   光軸方向を求める視覚センサのための光軸補正方式。
2. （２）視覚センサで撮影する対象が二次元である場合に
   おいて、キャリブレーションにより、基本座標系に対す
   るカメラ座標系を距離／画素の比及び軸方向によって特
   定し、カメラが撮影した対象物の画像位置と上記距離／
   画素の比及び軸方向から、カメラレンズの中心を通り、
   レンズに垂直な光軸と基準点で垂直に交差するカメラが
   撮影する基準面上での対象物のベクトルを求め、該ベク
   トルと上記光軸のカメラレンズ中心から基準点までのベ
   クトルよりカメラと対象物間の光軸方向を求める視覚セ
   ンサのための光軸補正方式。