JP3394278B2 - 視覚センサ座標系設定治具及び設定方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ロボット等の自動機械
の制御等の目的の為に、対象物の位置や姿勢の検出を行
う場合に用いられる視覚センサの座標系設定用治具及び
該治具を用いたセンサ座標系設定方法に関する。

【０００２】

【従来の技術】ＣＣＤ素子アレイ等を有するカメラと該
カメラによって撮像された画像を記憶・解析する画像処
理装置とを含む視覚センサは、ロボット等の自動機械の
制御あるいはこれに類した用途にしばしば利用されてい
る。例えば、ロボットを用いてワークの溶接や運搬等の
作業を行う場合に、作業対象のワークの基準位置または
基準姿勢からのずれを１台または複数台の視覚センサで
検出し、該ずれを表すデータをロボットの位置・姿勢の
補正データとしてロボットコントローラに送信し、この
補正データに応じた位置・姿勢の補正を行いながら教示
された動作をロボットが実行するように構成されたシス
テムは公知である。

【０００３】このようなシステムにおいては、各視覚セ
ンサが認識する作業対象物の画像データが準拠している
座標系（カメラ座標系、具体的には、例えばＣＣＤ画素
配列）とロボットに設定された座標系（通常は、ワーク
座標系）とが統合され、各視覚センサが前者に準拠して
検出した位置データ（画素値データ）が後者の座標系上
で表されたデータ（ワーク座標系データ）に換算され得
るようにシステムが構成されていなければならない。

【０００４】そこで、通常は視覚センサとロボットコン
トローラが共通に認識するセンサ座標系を設定し、視覚
センサが検出した画素値データを一旦前記センサ座標系
上のデータに変換し、これを更に、ロボットを実際に駆
動制御する際に準拠するワーク座標系上のデータに変換
するということが行われる。（センサ座標系をワーク座
標系と一致させるケースも有り得る。） 上記したロボットの制御への応用例から推測されるよう
に、各種の用途の為に視覚センサで検出された対象物位
置情報を利用するシステムを構築する場合には、検出結
果を客観性のあるデータに変換し得るようにしておく必
要があるのが通例である。即ち、画素値データなど視覚
センサのみが直接認識し得る形で存在する情報を、客観
性のある座標系上で表された情報乃至データに換算出来
るようにする必要がある。ここでは、用途を問わず、こ
の客観性のある座標系を一般にセンサ座標系と呼ぶこと
にする。

【０００５】画素値データを、所定のセンサ座標系上で
表されたデータに換算するには、視覚センサが備えてい
るＣＰＵ、画像処理プロセッサ、メモリ等を利用し、何
等かの形でそのセンサ座標系を視覚センサに認識させて
該センサ座標系と画素値との対応関係を視覚センサに記
憶させておけば良い。この座標設定を一度行っておけ
ば、以後はセンサ座標系を変更しない限り、視覚センサ
に記憶された前記の対応関係に基づいて、視覚センサに
よって認識される対象物に関してセンサ座標系上で表現
されたデータを得ることが出来る。また、センサ座標系
を変更した場合であっても、新旧のセンサ座標系の関係
が判っていれば、その関係に対応した換算計算プログラ
ム等を利用して、視覚センサに設定されたセンサ座標系
を変更することが出来る。

【０００６】従来、このようなセンサ座標系の設定を行
う最も普通の方法として、３個の特徴点を記したセンサ
座標系設定用の治具を所定位置（例えば、作業空間内の
定面上の定位置）に配置し、センサ座標系上での位置が
既知である前記３つの特徴点を視覚センサのカメラ視野
内に捉え、各特徴点の画素値データを記憶し、該データ
と前記既知の位置データとに基づいて視覚センサにセン
サ座標系の原点及び各座標軸（通常はＸ，Ｙ軸）の方向
とスケール（１画素が対象物面上でいくらの実寸に相当
するかということ；画素面上における倍率の逆数と言う
ことも出来る。）を視覚センサに認識させるやり方があ
る。

【０００７】また、視覚センサのカメラがレンズ系を通
して対象物を認識していることを考慮して、特徴点を３
個より多く、例えば７個に増やしてそれら７個の特徴点
を視覚センサで認識して、同様のプロセスによってセン
サ座標系を設定する方法もある（Ｔｓａｉ氏のモデルに
よれば、レンズ系を通す場合には最低７個の特徴点が必
要となることが指摘されている）。

【０００８】

【発明が解決しようとする課題】上記した従来の技術に
おいては、治具上に配列された複数個の特徴点を視覚セ
ンサのカメラ視野内に捉えてセンサ座標の設定動作を実
行するに際して、３個またはそれ以上の特徴点のすべて
を視覚センサで認識する必要があった。

【０００９】特徴点が３個程度と少なければ、視覚セン
サのカメラ視野内にすべての特徴点を捉え、それらに対
応する画素データと各特徴点のセンサ座標系上でのデー
タとの対応を付けることは比較的簡単であるが、レンズ
系には収差がある為に、特に視野の周辺部に生じ易い画
像歪みを考慮に入れた正確なセンサ座標設定を行うこと
が困難であるという欠点を免れられない。

【００１０】この欠点は、特徴点を増やしてカメラ視野
全体に特徴点が分布するようにすれば一応回避できる
が、そうするとすべての特徴点を視野に収められなくな
る事態が生じ易いという別の問題に直面する。例えば、
ロボットの制御への適用を想定した場合、作業対象物の
大きさや作業範囲、あるいは要求される位置検出精度等
に変更があった場合、それに応じて視覚センサの視野実
寸も変更せざるを得ない。

【００１１】即ち、狭い範囲に局在した小さなワークに
ついて精度の高い位置検出を行う場合であれば、カメラ
は比較的近接して配置され視野実寸は小さく撮られるの
で、狭い範囲に配列密度を上げて特徴点を設けた小サイ
ズの治具を用意しなければならない。

【００１２】逆に、広い範囲に散らばった大きなワーク
について比較的おおまかな位置検出を行う場合であれ
ば、カメラは比較的遠隔に配置され視野実寸は大きく撮
られるので、それに合わせて大きな範囲に配列密度を下
げて特徴点を設けた大きな治具を用意することが望まれ
る。

【００１３】このように、従来方式では作業の性質に応
じて、種々のサイズの治具を用意しなければならず、ま
た、それに合わせて座標設定の為に容易するプログラム
の種類が増加し、プログラムの再利用性も低下する。

【００１４】また、上記視野サイズの問題とも絡んで、
幾つかの特徴点について位置認識が良好に行われない場
合には、特徴点の配列状態全体が把握し難くなり、原点
位置や座標軸方向の認識が困難となって、座標設定自体
が正常に実行されないという問題もあった。

【００１５】本発明は、従来技術の上記欠点を克服し、
作業の性質に対応した視野実寸の大小の変動があって
も、共通に使用することができ、また、必ずしもすべて
の特徴点を認識しなくても比較的簡単な動作によってセ
ンサ座標系の設定を行うことができる新規なセンサ座標
系設定用治具を提供せんとするものである。

【００１６】更に、本発明は上記新規な治具を利用した
センサ座標系設定方法の提供を企図するものである。

【００１７】

【課題を解決するための手段】本発明は上記課題を解決
する手段として、視覚センサ座標系に対応した格子（各
単位格子の形状は正方形とは限らない。何等かの規則的
配列の単位を格子と呼ぶことにする。）の各格子点位置
に既知の間隔で配置され、視覚センサにより認識され得
る多数の特徴点（格子間隔に比べて比較的小さな拡がり
を持った標識のこと。標識の形状乃至模様自体は任意で
あり、いわゆる点状であるとは限らない。以下、同じ）
を有し、前記多数の特徴点のうち少なくとも２個以上の
特徴点は同一形状の標識からなり、且つ、前記多数の特
徴点のうち少なくとも３個以上の特徴点の標識は、残余
の特徴点の標識と前記視覚センサによって区別され得る
付加的特徴を有し、前記少なくとも３個以上の特徴点の
標識は、前記視覚センサによって識別され得る配列態様
または特徴点自身の特徴によって前記視覚センサ座標系
の原点及び座標軸を表現している視覚センサ座標系設定
治具を提案する。 そして、上記治具を所定位置に配置す
る段階と、該視覚センサ座標系設定治具上に配列された
前記多数の特徴点を前記視覚センサによって観測し、前
記少なくとも３個以上の特徴点の配列態様または特徴点
自身の特徴に基づいて前記視覚センサ座標系の原点及び
座標軸を認識する段階と、該認識内容に基づいて前記各
格子点の前記視覚センサ座標系上における位置を認識す
る段階を含む視覚センサ座標系設定方法を併せて案出し
たものである。

【００１８】

【作用】本発明の治具に設けられた特徴点配列が視覚セ
ンサで認識されて、センサ座標設定に利用される原理に
ついて、図１〜図３を参照して説明する。

【００１９】図１は、作業平面Ｇ（３次元的な作業を想
定する場合には作業空間内の１つの定面）上の所定位置
に配置された薄板状治具Ｊを、画像処理装置１０に接続
されたカメラＣで撮影して、センサ座標系を設定する様
子を示している。カメラＣの光軸は作業面Ｇ、従って治
具の表面に対して傾斜しており、視野範囲Гをもって治
具Ｊの特徴点配列の中央部を含む領域をその視野範囲Г
内に捉えている。

【００２０】治具Ｊに設けられた特徴点配列としては、
請求の範囲第１項に記した条件のもとで種々のものが考
えられるが、ここでは図２（ａ）に示したものを使用し
た場合についてその作用を説明する。なお、図１では特
徴点の一部のみを記載した。

【００２１】治具Ｊの特徴点は既知の間隔ｄで格子状に
配列されており、その内のＰ00、Ｐ20、Ｐ01について
は、他の特徴点（小黒丸・印）と識別されるような付加
的特徴が付与（ここでは大黒丸、即ち大面積の黒丸）さ
れている。特徴点Ｐ00からＰ20へ向かう直線をＸ軸、特
徴点Ｐ00からＰ01へ向かう直線をＹ軸とする。このＰ00
を原点とする座標系をセンサ座標系として、視覚センサ
に設定することを考える。

【００２２】特徴点配列全体を見ると、原点Ｐ00を基準
にＸ軸方向にｍｄ、Ｙ軸方向にｎｄ離れた位置にある格
子点上に特徴点Ｐmn(m=-5,-4,....,6,7;n=-7,-6,...,6,
7)が設けられている。言い替えれば、特徴点Ｐmnの座標
値が［ｍｄ、ｎｄ］で与えられるということである。

【００２３】図２（ｂ）は、カメラＣの画素面あるいは
それを表示する画面上に特徴点配列がイメージングされ
た様子を示している。カメラＣは作業面Ｇ（特徴点配列
面）に対して傾斜しているから、特徴点配列｛Ｐnm｝の
写像｛Ｑmn｝が作る格子は正方形の集合から傾斜方向
（画素面に立てた法線ベクトルの方向）に応じて歪んだ
ものとなる。図中、Ｑmnは特徴点Ｐmnの写像点を表して
いる。従って、大黒丸特徴点Ｐ00、Ｐ20、Ｐ01は各々Ｑ
00、Ｑ20、Ｑ01にそれぞれ写像されていることになる。
ＶX 、ＶY は、各々写像された格子実線で表示の消失点
を概念的に表したものである。

【００２４】付加的な特徴を有する特徴点Ｐ00、Ｐ20、
Ｐ01には、視覚センサの画像処理装置１０によって容易
に識別し得る際だった特徴が付加されているので、視覚
センサが認識し損なう恐れはない。そして、これら少数
の付加特徴点は治具中の中央部等の原点周辺の比較的狭
い範囲に設けられるのが通例であるから、それらのすべ
て（通常は３個または３個＋数個以内）をカメラ視野内
に確実に収めることも困難でない。

【００２５】治具乃至それに設けられた特徴点配列は比
較的広範囲を視野に収める場合に備えて大きめに設計さ
れるのが通常であり、図２に示したケースでもすべての
特徴点をカメラ視野に収めきれていない。即ち、Ｐ55、
Ｐ60などはカメラ視野内に収まっているが、Ｐ77やＰ-5
-7などはカメラ視野からはずれている。本発明の場合、
このような事態が生じてもセンサ座標系の設定に全く支
障を来さないのが１つの大きな特徴である。

【００２６】さて、このような前提の下で座標設定を実
行する原理を述べると、先ず、視覚センサに３個の付加
特徴点Ｐ00、Ｐ20、Ｐ01の像、Ｑ00、Ｑ20、Ｑ01を認識
させ、Ｑ00、Ｑ20、Ｑ01各々の（中心の）画素値Ｉ00＝
（α00、β00）、Ｉ20＝（α20、β20）、Ｉ01＝（α0
1、β01）とＰ00、Ｐ20、Ｐ01の座標値［０、０］、
［２ｄ、０］［０、ｄ］との対応を教示する。ここで
（αij、βij）は、Ｑij（の中心）に対応する画素が画
素アレイの作るマトリックスの第αij行、第βij列の画
素であることを表している。付加特徴点Ｐ00、Ｐ20、Ｐ
01を他の特徴点と区別するには、視覚センサに付加的特
徴（ここでは、大面積）を有する特徴点を抽出させれば
良い。

【００２７】これによって、視覚センサはセンサ座標系
の原点とＸ、Ｙ各軸の方向とスケールを定めるのに最低
限必要な情報を取り込んだことになる。Ｘ軸とＹ軸の区
別は、Ｐ01Ｐ20間距離＞Ｐ00Ｐ20間距離＞Ｐ00Ｐ01間距
離という配列の特徴によって明確になされるので両軸を
取り違えて設定する恐れはない。付加的特徴点の抽出を
行う方法は、上記各点間距離の大小関係を利用する方法
に限られない。例えば、カメラが極端に傾けて設置され
ていないという条件のもとに、Ｑ00、Ｑ20、Ｑ01の３点
は三角形を作り、角Ｑ20Ｑ00Ｑ01、角Ｑ00Ｑ01Ｑ20、角
Ｑ00Ｑ20Ｑ01が各々ほぼ９０゜、６０゜及び３０゜であ
るという情報に基づいて視覚センサにＱ00、Ｑ20、Ｑ01
の区別を教示し、それによってセンサ座標系の原点と
Ｘ、Ｙ各軸の方向とスケールを定めても良い。また、角
Ｑ20Ｑ00Ｑ01＞角Ｑ00Ｑ01Ｑ20＞角Ｑ00Ｑ20Ｑ01という
条件を使っても良い。

【００２８】このようにして、画素値Ｉ00、Ｉ20、Ｉ01
とＰ00、Ｐ20、Ｐ01の座標値［０、０］、［２ｄ、０］
［０、ｄ］との対応の教示が完了したら、３点の画素値
Ｉ00＝（α00、β00）、Ｉ20＝（α20、β20）、Ｉ01＝
（α01、β01）のデータに基づき、線形の外挿法によっ
て、残余のすべての格子点に対応したＱmnの画素値の推
定値Ｉ’mn＝（α’mn、β’mn）を、次式（１）、
（２）で定めることが出来る。

【００２９】 α’mn＝α00＋ｎ（α01―α00）＋［ｍ（α20―α00）］／２ ・・・（１） β’mn＝β00＋ｎ（β01―β00）＋［ｍ（β20―β00）］／２ ・・・（２） この両式の意味するところは、原点像Ｑ00の画素値（α
00、β00）を基準にして、ｍが１増える毎に画素の行番
号が（α20―α00）／２づつ、列番号が（β20―β00）
／２づつ各々増加（符号が―ならば、減少）すると共
に、ｎが１増える毎に画素の行番号が（α01―α00）づ
つ、列番号が（β01―β00）づつ各々増加（符号が―な
らば、減少）するということである。

【００３０】ところで、上記残余のすべての格子点に対
応したＱmnの画素値の実測データについては、各データ
とｍ，ｎとの対応が確定されていないだけで、特徴点の
認識に失敗していない限り、視覚センサによって把握さ
れている。従って、上記推定値を利用して、それら実測
データとｍ，ｎとの対応付けを行えば良い。

【００３１】その為には、各実測データＩs ＝（αs 、
βs ）毎に最も近い推定値Ｉ’kl（ｓ）＝（α’kl(s)
、β’kl(s) ）を捜し出し、各実測データＩs をＱkl
(s) に対応した画素値として確定すれば良い。なお、各
実測データＩs ＝（αs 、βs）と各推定値Ｉ’ij＝
（α’ij、β’ij）の距離Δs-ijは、次式（３）で求め
られる。

【００３２】 Δs-ij＝［（αs ―α’ij） ＋（βs ―β’ij） ］ ・・・（３） 但し、特徴点の認識不良の可能性を考慮した場合には、
Δs-ijに適当な許容値Δ（例えば、距離ｄの画素面上で
の画素単位で計った距離の概算値の１／４）を設定する
などの手段によって、異常実測値を排除し、信頼出来る
他の隣接格子点対応実測値に基づく内挿法を利用して、
より信頼出来る推定値を定めることも可能である。

【００３３】以上説明した原理によって、すべての特徴
点像｛Ｑij｝について各々画素値Ｉijが定められる。

【００３４】なお、すべての特徴点像｛Ｑij｝について
各々画素値Ｉijを定める方法が、上記説明の方法に限定
されないのは当然であり、例えば、始めにＸ軸、Ｙ軸の
像上に乗るＱ10、Ｑ30、Ｑ40、Ｑ50、Ｑ02、Ｑ03、Ｑ0
4、Ｑ05等の画素値を実測値の中から捜し出して確定
し、順次それらに最も近接したＱ点についての残った実
測値の中から最も近い実測値を選び出して確定すること
を繰り返す方法等によっても同じ結果が得られるのは明
らかである。

【００３５】すべての特徴点像｛Ｑij｝について各々画
素値Ｉijが定められた状態に到達すれば、各画素値Ｉij
にセンサ座標系上におけるＰijの座標値［ｉｄ、ｊｄ］
を対応付けることによってセンサ座標系の設定は実質的
に完了したことになる。

【００３６】即ち、任意の対象物の特定点（例えば、ワ
ークの中心）を観測した時の像（の中心）の画素値デー
タを、上記各格子点の画素値データに基づく内挿法等公
知の適当な計算に従って、センサ座標系上でのデータに
換算出来るからである。

【００３７】なお、Ｉmnが求まれば、画素面上で消失点
ＶX 、ＶY の位置を計算することが出来るから、その結
果に基づいて、カメラ光軸の方向（方向余弦）を計算す
ることも可能になる。視覚センサを複数台用いて、対象
物の３次元位置を検出する場合などには、この光軸の方
向に関する情報が利用される。

【００３８】以上、図２（ａ）に示した治具を用いた場
合についてその作用乃至座標設定の原理を説明したが、
付加的特徴に種類を設けたり、原点上には付加的特徴点
を設けない治具も考えられる。その一例を図３に示し
た。

【００３９】図３に示した治具における特徴点配列につ
いて、簡単に説明しておくと、付加的特徴点には、大黒
丸と大白丸の２種類があり、大白丸Ｈ-10 と大黒丸Ｈ10
の中点または大黒丸Ｈ0-1 と大黒白丸Ｈ01の中点が原点
Ｈ00を表し、大白丸Ｈ-10 から大黒丸Ｈ10へ向かう直線
がＸ軸、黒丸Ｈ0-1 から大黒白丸Ｈ01へ向かう直線が、
Ｙ軸を表しているとして、センサ座標系の設定を行えば
良い。以下、上記図２のケースで説明したのと同様の原
理に従って、センサ座標系の設定を行うことが出来るこ
とは、特に説明を要しないであろう。

【００４０】

【実施例】本発明のセンサ座標系設定用治具の一例であ
る図２（ａ）記載の治具Ｊを図１に示した態様で配置
し、これを視覚センサのカメラで撮像し、本発明のセン
サ座標系設定方法に従って座標設定を行う手順の一例
を、図４、図５、図６を参照図に加えて説明する。

【００４１】図４は、本発明を実施する際に使用する視
覚センサを構成するカメラＣとこれに接続された画像処
理装置１０の要部を例示するブロック図である。図中、
画像処理装置１０は、中央演算装置（以下、ＣＰＵとい
う）１１を有し、ＣＰＵ１にはバス２１を介して、カメ
ラインタフェイス１２、画像処理プロセッサ１３、コン
ソールインタフェイス４、通信インタフェイス１５、Ｔ
Ｖモニタインタフェイス１６、フレームメモリ１７、Ｒ
ＯＭで構成されたコントロールソフト用メモリ１８、Ｒ
ＡＭで構成されたプログラムメモリ１９及び不揮発性Ｒ
ＡＭで構成されたデータメモリ２０が接続されている。
カメラインタフェイス１２には、図１の態様で治具Ｊを
視野Гに入れたカメラＣが接続されている。このカメラ
Ｃは、必要に応じて数台接続され、センサ座標系の設定
後に作業面Ｇ上で行われる作業対象（例えば、要加工ワ
ーク）の位置を検出し、通信インタフェイス１５に接続
されたロボットに位置補正の為のデータを送信するよう
に構成されている。

【００４２】カメラＣは、１台のみを示したが、数台の
カメラを通信インタフェイス１５に一度に接続して作業
を行うこともある。その場合には、例えば各カメラ毎に
共通のセンサ座標系を設定する。

【００４３】カメラＣで捉えられた画像は、グレイスケ
ールに変換された濃淡画像に変換されて、フレームメモ
リ１７に格納される。画像処理プロセッサ１３は、フレ
ームメモリ１７に格納された画像データを処理して、治
具Ｊの特徴点Ｐmnの像Ｑmnを認識し、その位置（対応画
素値、像に拡がりがある場合には中心画素値）を検出す
る機能を有する。

【００４４】コンソールインタフェイス１４には、コン
ソール２３が接続され、外コンソール２３は、液晶表示
装置の外、各種の指令キー、アプリケーションプログラ
ムの入力、編集、登録、実行などの操作を行う為のテン
キー等を有している。そして、液晶表示装置には、各種
データ設定の為のメニューやプログラムのリストなどを
表示出来るようになっている。

【００４５】コントロールソフト用メモリ１８には、Ｃ
ＰＵ１１が視覚センサシステムを制御する為のコントロ
ールプログラムが格納されており、プログラムメモリ１
９には、ユーザが作製するプログラムが格納されるよう
になっている。

【００４６】通信インタフェイス１５には、視覚センサ
の検出したワーク等の位置情報を利用する自動機械（こ
こでは、ロボット）等が接続される。また、ＴＶモニタ
インタフェイス１６には、カメラＣで撮影中の画像ある
いはフレームメモリ１７に格納されている画像を選択的
に映し出すことの出来るＴＶモニタ２４が接続されてい
る。

【００４７】以上の構成は、従来の視覚センサシステム
の構成と基本的に変わるところはないが、本発明の実施
にあたっては、図５及び図６のフローチャートに示した
ような処理を実行する為に必要なプログラムと所要デー
タ（Ｓ0 、ｄ等）が、コントロールソフト用メモリ１８
あるいはデータメモリ２０に格納されているという点が
従来システムとは異なる。上記座標設定プログラムが既
に登録され、コントロールソフト用メモリ１８に格納さ
れている状態を想定すると、センサ座標系の設定を実行
する為の準備作業として必要なのは、先ず、使用するカ
メラＣを画像処理装置１０に設定することである。この
設定は、例えばカメラインタフェイス１２に接続された
カメラの中から選択したものについて座標系設定を行う
場合には、カメラインタフェイス１２内のコネクタ番号
を指定することによって行われる。カメラが１台のみ接
続される場合には、所要データのカメラデータと共に予
め登録されているカメラＣの機種コードを選択入力する
場合も考えられる。

【００４８】カメラＣの設定が終了したら、治具Ｊのデ
ータをデータメモリ２０に入力する。本実施例の治具を
使用する場合、特に重要な入力データは特徴点が配列さ
れている格子点の間隔ｄと付加的特徴である特徴点の面
積を判別するためデータである。ここでは、大黒丸の面
積よりやや小さい値Ｓ0 を大黒丸と小黒丸を判別する為
のしきい面積値として設定することにする。

【００４９】何種類かの治具（例えば、図２と図３に示
した２種類）を使い分ける場合あるいはそれらに対応し
て２次元、３次元のセンサ座標設定を選択する場合に
は、それら治具及び座標設定の種類を特定するコード
や、付加的特徴点の像に基づいて原点や座標軸を認識し
て各格子点像の対応座標値を決定するのに必要なアルゴ
リズムを指定するコードあるいはデータを入力乃至指定
することになる。

【００５０】また、ロボットの動作に治具のデータが必
要な場合には、図示しないロボットコントローラ内のメ
モリにも、上記データを通信インタフェイス１５を介し
て入力すれば良い。

【００５１】以上の準備の下に、図２に示した本発明の
治具Ｊを用いてセンサ座標系の設定を実行する際の画像
処理装置１０における処理の一例を図５及び図６のフロ
ーチャートを使って説明する。

【００５２】先ず、オペレータがコンソール２３から、
センサ座標設定開始指令を発することによって、座標設
定動作が開始される。治具Ｊの種別やセンサ座標設定内
容の種別を選択する場合には、それら治具及び座標設定
の種類を特定するコードや、アルゴリズムを特定するコ
ードが指定され、指定されたコードと必要な付帯データ
がデータメモリ２０に格納される（スタート）。スター
ト後、直ちに特徴点像番号指標ｑと付加特徴点番号指標
ｒをｑ＝ｒ＝０に設定し（ステップＳ１）、カメラＣに
よる撮影が開始される。カメラＣによって、撮影されて
いる映像がフレームメモリ１７に取り込まれ、画像処理
プロセッサ１３によって視野内の特徴点像が認識され
（ステップＳ２）、特徴点像に適当な順番に番号１、
２、・・・Ｎが付けられて、対応する画素値（１つとは
限らない。特に、大黒丸の像には必ず複数の画素値が対
応する。）と共にデータメモリ２０に記憶される（ステ
ップＳ３）。

【００５３】この特徴点データの記憶が終了したら、特
徴点番号指標ｑに１を加える（ステップＳ４）。第１回
目の処理では、ｑ＝１となる。そこで、１番の番号が付
けられた特徴点像Ｑ1 について、大黒丸の像か否かをそ
の面積Ｓq が前述した設定値Ｓ0 より大きいか否かによ
って判別する（ステップＳ５）。各像の面積は、Ｑｑ像
を構成する画素数で数えれば良い。

【００５４】もし、大黒丸の像であれば、付加特徴点番
号指標ｒに１を加えてから（ステップＳ６）、Ｑq ＝Ｒ
r 、即ちｒ番目の付加的特徴点のデータとして、識別記
憶する（ステップＳ７）。

【００５５】Ｑq が、大黒丸像でなければ、ステップＳ
４に戻り、特徴点番号指標ｑに再び１を加えてステップ
Ｓ５へ進む。図２（ａ）の大黒丸（付加的特徴点）の数
に等しい３つの大黒丸像Ｒ1 、Ｒ2 、Ｒ3 のすべてが見
つかるまでは、ステップＳ７の次のステップＳ８でＮＯ
の判断がなされるので、再びステップＳ４へ戻った後、
ステップＳ４〜ステップＳ８が繰り返される。

【００５６】３つの大黒丸像Ｒ1 、Ｒ2 、Ｒ3 のすべて
が見つかると、ステップＳ８でＹＥＳの判断がなされ、
各大黒丸像Ｒ1 、Ｒ2 、Ｒ3 の中心画素値Ｉ（Ｒ1 ）、
Ｉ（Ｒ2 ）、Ｉ（Ｒ3 ）が計算され、その結果がデータ
メモリ２０に格納される（ステップＳ１０）。この段階
では、Ｉ（Ｒ1 ）、Ｉ（Ｒ2 ）、Ｉ（Ｒ3 ）とＰ00、Ｐ
20、Ｐ01との対応関係は認識されていない。

【００５７】そこで、上記Ｉ（Ｒ1 ）、Ｉ（Ｒ2 ）、Ｉ
（Ｒ3 ）のデータを用いて、Ｉ（Ｒ1 ）とＩ（Ｒ2 ）と
の間の画素面上の距離Ｄ12、Ｉ（Ｒ2 ）とＩ（Ｒ3 ）と
の間の画素面上の距離Ｄ23及びＩ（Ｒ3 ）とＩ（Ｒ1 ）
との間の画素面上の距離Ｄ31を各々計算し（ステップＳ
１０）、その大小順序に基づいて、Ｉ（Ｒ1 ）、Ｉ（Ｒ
2 ）、Ｉ（Ｒ3 ）とＰ00、Ｐ20、Ｐ01との対応関係を１
対１で付け、各画素値をＩ00、Ｉ20、Ｉ01として確定す
る（ステップＳ１１）。

【００５８】例えば、Ｄ12＞Ｄ23＞Ｄ31ならば、Ｒ3 が
原点に配列されたＰ00の像、Ｒ2 が点Ｐ20の像、Ｒ1 が
Ｐ01の像であり、従って、Ｉ（Ｒ1 ）＝Ｉ01、Ｉ（Ｒ2
）＝Ｉ20、Ｉ（Ｒ3 ）＝Ｉ00、という対応関係が確定
する。同様に、Ｄ23＞Ｄ12＞Ｄ31の場合であれば、Ｉ
（Ｒ1 ）＝Ｉ00、Ｉ（Ｒ2 ）＝Ｉ20、Ｉ（Ｒ3 ）＝Ｉ0
1、という対応関係が確定する（以上、図５）。

【００５９】このようにして、付加的特徴点の認識が完
了したら、これに基づいて残余の特徴点像の画素値の推
定値Ｉ’mnを計算する（ステップＳ１２；ここより図６
参照）。計算法については、作用の説明の欄で述べた通
り、前述の式（１）、（２）に相当する計算を実行すれ
ば良い。

【００６０】ここで、特徴点像番号指標ｑを１に戻して
（ステップＳ１３）、各推定画素値Ｉ’mnがいずれの特
徴点像に対応しているのかを求める処理に入る。

【００６１】先ず、Ｑ1 がＲ1 〜Ｒ3 のいずれかである
か否かを判断し（ステップＳ１４）、もしＹＥＳであれ
ば、既に画素値はステップＳ１１で確定されており、推
定画素値との対応を付ける対象外なので、ステップＳ１
７へ進み、特徴点番号指標ｑに１を加算する。次いで、
Ｎ個の全特徴点の処理が終了したかどうかをチェックし
（ステップＳ１８）、終了していない限りステップＳ１
４へ戻る。

【００６２】ステップＳ１４でＮＯの判断がなされた場
合には、Ｑq の画素実測値（複数あれば中心画素値）Ｉ
q に近い推定値Ｉ’mnが唯一つ存在する筈である。そこ
で、作用の説明の欄で述べた式（３）に従って、Ｉq と
各推定値Ｉ’mnとの距離、Δq-10、Δq-30Δq-40、・・
・・・Δq-77、・・・Δq--5-7等を計算し、最小の距離
Δq-mnを与える（ｍ、ｎ）とを求め（ステップＳ１
５）、対応する画素値ＩqをＩmnとして確定させる（ス
テップＳ１６）。

【００６３】このようにして、カメラＣが視野に捉えた
すべてのＱq （q=1,2,.....N）について上記のステップ
Ｓ１３〜ステップＳ１８の処理が実行され、カメラが認
識したすべてのＱq の画素値に対して、対応する特徴点
Ｐmnが定められることになる。

【００６４】この対応関係がつけば、特徴点Ｐmnのセン
サ座標系上での座標値は格子点座標値［ｍｄ，ｎｄ］で
与えられているから、各格子点［ｍｄ、ｎｄ］について
対応する画素値を定めることが出来る。この対応関係を
画像センサに登録する為に、必要な付帯データと共にデ
ータメモリ２０に格納し（ステップＳ１９）、センサ座
標系の設定を終了する（エンド）。

【００６５】すなわち、以後は任意の画素で捉えた画像
について、登録された各格子点の画素値データからの逆
計算によって、治具Ｊの置かれた平面上のどの位置ある
いは領域に相当するかが常に計算可能な状態にある。従
って、この逆計算のプログラムを予めコントロールソフ
ト用メモリ１８あるいはロボットコントローラ等に登録
しておけば、視覚センサが検出した画像情報を客観的な
座標系であるセンサ座標系上のデータに換算して制御ロ
ボット制御等に利用することが出来る。

【００６６】

【発明の効果】本発明によれば、治具に、他の特徴点と
識別され得る付加的特徴を有すると共に原点及び座標軸
の方向とスケールを表現する、少数の付加的特徴点を設
けたので、作業の性質に対応した視野実寸の大小の変動
があっても、センサ座標系の基本データは簡単かつ確実
に把握出来る。そして、この少数の付加的特徴点さえ認
識することが出来れば、オペレータは、他の特徴点につ
いて視野内に入ったか否か、あるいは認識に成功したか
否か等の状況を全く注意を払わずに、簡単な動作によっ
てセンサ座標系の設定が行うことが出来る。

【００６７】また、特徴点の相当部分が視野からはずれ
ても、特に問題が生じないので、作業毎にサイズの異な
る治具を用意して座標系設定をやり直すという煩雑な作
業を省くことが出来るから、作業効率の向上に寄与する
ところ大である。

【００６８】更に、すべての特徴点の認識が要求されな
い一方で、認識し得た特徴点のデータは、すべて無駄無
くカメラ座標系とセンサ座標系を結合する為のデータと
して利用されるから、治具サイズとカメラ視野との関係
を殆ど気にすること無く、カメラ視野縁部の像歪の出易
い部分も考慮に入れた座標設定が実現され、視覚センサ
の検出精度が向上する。

【図面の簡単な説明】

【図１】本発明の治具を使用して視覚センサにセンサ座
標系を設定する際の配置を概念的に示した図。

【図２】（ａ）は、本発明の治具の１つの実施例におけ
る特徴点配列を示した図、（ｂ）は、それをカメラで撮
影した場合の映像の様子を示した図。

【図３】本発明の治具の別の実施例における特徴点配列
を示す図。

【図４】本発明の治具を用いたセンサ座標設定方法を実
施する際に使用する画像処理装置の一例を示す要部ブロ
ック図。

【図５】本発明のセンサ座標系設定方法を実施する際の
処理の一例を示すフローチャートの前半部分を示す図。

【図６】本発明のセンサ座標系設定方法を実施する際の
処理の一例を示すフローチャートの後半部分を示す図。

【符号の説明】

Ｊ 治具 Ｃ カメラ Ｇ 作業平面 Г カメラの視野範囲 Ｐ00、Ｐ20、Ｐ01、Ｈ-10 、Ｈ0-1 、Ｈ10、Ｈ01 付加
的特徴点 Ｑ00、Ｑ20、Ｑ01 付加的特徴点Ｐ00、Ｐ20、Ｐ01の映
像 １０ 画像処理装置 １１ 中央演算装置（ＣＰＵ） １２ カメラインタフェイス １３ 画像処理プロセッサ １４ コンソールインターフェイス １５ 通信インタフェイス １６ ＴＶモニタインタフェイス １７ フレームメモリ １８ コントロールソフト用メモリ １９ プログラムメモリ ２０ データメモリ ２１ バス ２３ コンソール ２４ ＴＶモニタ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−311485（ＪＰ，Ａ) 特開 平４−181106（ＪＰ，Ａ) 特開 平４−75887（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05B 19/18 - 19/46 B23Q 15/00 - 15/28

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 視覚センサ座標系に対応した格子の各格
   子点位置に既知の間隔で配置され、視覚センサにより認
   識され得る多数の特徴点を有し、前記多数の特徴点のうち少なくとも２個以上の特徴点
   は、同一形状の標識からなり、且つ、前記多数の特徴点
   のうち少なくとも３個以上の特徴点の標識は、残余の特
   徴点の標識 と前記視覚センサによって区別され得るよう
   に付加的特徴を有し、 前記少なくとも３個以上の特徴点の標識は、前記視覚セ
   ンサによって識別され得る配列態様または特徴点自身の
   特徴によって前記視覚センサ座標系の原点及び座標軸を
   表現していることを特徴とする視覚センサ座標系設定治
   具。
2. 【請求項２】 視覚センサ座標系に対応した格子の各格
   子点位置に既知の間隔で配置され、視覚センサにより認
   識され得る多数の特徴点を有し、前記多数の特徴点のうち少なくとも２個以上の特徴点
   は、同一形状の標識からなり、且つ、前記多数の特徴点
   のうち少なくとも３個以上の特徴点の標識は、残余の特
   徴点の標識 と前記視覚センサによって区別され得る付加
   的特徴を有し、 前記少なくとも３個以上の特徴点の標識は、前記視覚セ
   ンサによって識別され得る配列態様または特徴点自身の
   特徴によって前記視覚センサ座標系の原点及び座標軸を
   表現している視覚センサ座標系設定治具を所定位置に配
   置する段階と、 該視覚センサ座標系設定治具上に配列された前記多数の
   特徴点を前記視覚センサによって観測し、前記少なくと
   も３個以上の特徴点の配列態様または特徴点自身の特徴
   に基づいて前記視覚センサ座標系の原点及び座標軸を認
   識する段階と、 該認識内容に基づいて前記各格子点の前記視覚センサ座
   標系上における対応位置を認識する段階を含むことを特
   徴とする視覚センサ座標系設定方法。
3. 【請求項３】 前記視覚センサ座標系設定治具の多数の
   特徴点の一部が、視覚センサの視野からはずれるなどし
   て視覚センサに認識されない場合でも、視覚センサ座標
   系の原点及び座標軸を表現している特徴点が認識される
   限りは動作する特徴を備えた、請求項２に記載の視覚セ
   ンサ座標系設定方法。