JPH0315125B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は視覚センサー付知能ロボツト等におい
て被写体と視覚センサーとの相対的位置を認識す
る位置認識方法に関する。

視覚センサー付知能ロボツトにおいては視覚セ
ンサーを用いてワークの位置を認識して視覚セン
サー及び作業員（又はワーク）の位置を制御した
後に作業具でワークに対する作業を行なつてい
る。しかし従来はワークの位置を高速度で認識す
ることができず、動作速度が低くかつた。

本発明は被写体の位置を高速度で認識すること
ができる位置認識方法を提供することを目的とす
る。

以下図面を参照しながら本発明を詳細に説明す
る。

本発明の構成を第１図で説明すると、撮像面の
一辺の長さＤとこの撮像面上における被写体の円
形パターンの直径Ｒとの関係がＤ＞Ｒ＞Ｄ／２と
なるような状態で被写体を撮像手段１により撮像
し、この撮像手段１からの１フレーム分のビデオ
信号を画像メモリ２に記憶し、水平方向位置検出
手段３により上記画像メモリ２から上記撮像面の
左上隅と左下隅とのほぼ中点を含む水平ラインに
対応するビデオ信号を読み出してこのビデオ信号
から上記円形パターンの左端位置及び右端位置を
検出し、垂直方向位置検出手段４により上記画像
メモリ２から上記撮像面の左上隅と右上隅とのほ
ぼ中点を含む垂直ラインに対応するビデオ信号を
読み出してこのビデオ信号から上記円形パターン
の上端位置及び下端位置を検出し、この垂直方向
位置検出手段４及び上記水平方向位置検出手段３
の検出結果から中心算出手段５により上記円形パ
ターンの上端位置及び下端位置の真中と上記円形
パターンの左端位置及び右端位置の真中とを求め
て上記円形パターンの中心を算出し、偏位方向検
出手段６により上記水平方向位置検出手段３及び
上記垂直方向位置検出手段４の検出結果から上記
水平方向位置検出手段３及び上記垂直方向位置検
出手段４が上記上記円形パターンの左端位置、右
端位置、上端位置及び下端位置のいずれを検出で
きないかを判断して上記円形パターンが上記撮像
面に対していずれの方向に偏つているかを検出す
る。

第２図は本発明を応用した視覚センサー付知能
ロボツトの一実施例を示す。

視覚センサー１１はロボツト本体１２に取付け
られていて光源１３よりハーフプリズム１４及び
対物レンズ１５を介して被写体たるワーク１６を
照明し、CCDを用いたテレビジヨンカメラ１７
でハーフプリズム１４及び対物レンズ１５を介し
てワーク１６における円形の孔１８を撮像する。
ここに孔１８の直径Ｒとテレビジヨンカメラ１７
の撮像面（視野）の一辺の長さＤとの関係がＤ＞
Ｒ＞Ｄ／２を満足するように対物レンズ１５の倍
率が設定され、ワーク１６の像は背景が白で孔１
８が黒になつている。テレビジヨンカメラ１７か
らのビデオ信号は画像メモリ１９に書込まれてモ
ニター２０により表示され、マイクロコンピユー
タ２１は画像メモリ１９の内容からワーク１６の
位置（詳しくは孔１８の位置）を認識する。ロボ
ツトコントローラ２２はマイクロコンピユータ２
１の認識結果をインターフエイス２３を介してと
り込み、これに基づいてロボツト本体１２に信号
を送つて視覚センサー１１及びハンド或いはボル
ト締めドライバ等の作業具２４を移動させること
により視覚センサー１１及び作業具２４とワーク
１６との位置合わせを行わせる。この場合視覚セ
ンサー１１及び作業具２４を移動させずにワーク
１６を移動させるようにしてもよい。しかる後に
作業具２４がワーク１６に対して所定の作業を行
う。

第３図は上記知能ロボツトのビデオ信号処理部
分を具体的に示すものである。テレビジヨンカメ
ラ１７からのビデオ信号はアナログ／デジタル変
換器２５により４ビツトのデジタル信号、したが
つて16階調の信号に変換され、２値化回路２６に
おいて２値化レベル設定器２７により予め設定さ
れたレベルで２値化されてビデオRAM（ランダ
ムアクセスメモリ）よりなる画像メモリ１９に書
込まれる。マイクロコンピユータ２１は中央処理
装置（CPU）２８、リードオンリーメモリ
（ROM）２９、RAM３０及び入出力ポート３１
よりなり、アナログ／デジタル変換器２５に取り
込み指示を出し１フレーム分のビデオ信号を1/60
秒で画像メモリ１９に記憶させる。ビデオコント
ローラ３２は画像メモリ１９内のビデオ信号によ
りモニター２０にテレビジヨンカメラ１７の撮像
画面を表示させ、ロボツトコントローラ２２は
CPU３３を含むマイクロコンピユータを用いて
構成されている。

画像メモリ１９は第４図に示すように256bite
×128biteの容量を持ち、アナログ／デジタル変
換器２５で４ビツトのデジタル信号に変換された
１フレーム分のビデオ信号をその２画素分を１バ
イトとして各番地0000〜7FFFに順次に記憶す
る。この場合テレビジヨンカメラ１７で撮像した
画面は256画素×256画素に分解されて２画素分ず
つ画像メモリ１９に記憶されることになり、その
内容は00（黒、黒）、0F（黒、白）、F0（白、黒）、
FF（白、白）の４種類となる。

マイクロコンピユータ２１はROM２９内のプ
ログラムに従つて動作するが、第５図はそのフロ
ーチヤートを示す。マイクロコンピユータ２１は
まずアナログ／デジタル変換器２５に取り込み指
示信号を送つて１フレーム分のビデオ信号を取り
込んでアナログ／デジタル変換させ、それを２値
化回路２６を介して画像メモリ１９に記憶させ
る。次にRAM３０のワークエリアをクリアし水
平ライン（Ｈライン）の走査ルーチンに進む。こ
こに第６図に示すようにテレビジヨンカメラ１７
の撮像面３４は孔１８の像３５が投影されるが、
左上隅をＰ、右上隅をＱ、左下隅をＲ、右下隅を
ＳとすればＨラインはPRの中点HiとQSの中点
Hfとを結ぶ直線であつて、Ｐ、Ｑ、Ｒ、Ｓ、Hi、
Hfの各ビデオ信号は画像メモリ１９の0000H、
007FH、7F80H、7FFFH、4000H、407FHの各
番地に記憶される。そこでＨラインの走査ルーチ
ンではＨラインを走査して画像メモリ１９の
4000H〜407FH番地のビデオ信号を読み出し、Ｈ
ライン上の孔１８の像３５の左端位置Ａ及び右端
位置Ｂを検出してRAM３０内に格納する。

このルーチンは第７図に詳しく示されている。
ビデオ信号は１画素が4bitで1bite（8bit）単位で
画像メモリ１９に書込まれ且つ呼び出される。し
たがつてマイクロコンピユータ２１がアキユムレ
ータに入れたビデオ信号は00（黒黒）、0F（黒白）、
F0（白黒）、FF（白白）の４種類となるが、00の
みを黒（孔１８の像３５の部分）として扱うこと
により、１画素分のノイズ（0FかF0）をFFと同
様にみなして無視している。即ちこのルーチンで
は画像メモリ１９のアドレスAddrをＨラインの
始点アドレス（4000H）に指定し、座標カウンタ
ｋ及びスイツチSWに０を入れる。そして画像メ
モリ１９から指定アドレスAddrの情報をアキユ
ムレータAccに読み込み、00（黒）と比較して一
致するか否かを判断する。情報が00でなければ座
標カウンタｋがＨラインの終点Hf（7FH）に達し
ていない場合座標カウンタｋ及び指定アドレス
Addrをインクリメントし、画像メモリ１９から
指定アドレスAddrの情報をアキユムレータAcc
に読み込むステツプに戻る。情報が00であればス
イツチSWが０である時には座標カウンタｋの値
をＡ点の情報としてRAM３０に入れ且つスイツ
チSWを１（ON）にし、座標カウンタｋが7FHに
達していない場合座標カウンタｋ及び指定アドレ
スAddrをインクリメントしてから、画像メモリ
１９から情報を読み込むステツプに戻る。またス
イツチSWが１である時には座標カウンタｋの値
をＢ点の情報としてRAM３０に入れ、座標カウ
ンタｋが7FHに達していない場合座標カウンタ
ｋ及び指定アドレスAddrをインクリメントして
から画像メモリ１９から情報を読み込むステツプ
に戻る。座標カウンタｋが7FHに達すると、第
５図に示すように次の垂直ライン（Ｖライン）の
走査ルーチンに進む。

このＶラインは第８図に示すようにPQの中点
ViとRSの中点Vfとを結ぶ直線であり、Vi、Vf
の各ビデオ信号は画像メモリ１９の0040H、
7FC0の各番地に記憶される。Ｖラインの走査ル
ーチンでは第９図に詳細に示すように指定アドレ
スAddrにＶラインの始点アドレス0040Hをセツ
トし、座標カウンタｋ及びスイツチSWに０を入
れる。そして画像メモリ１９から指定アドレス
Addrの情報アキユムレータAccに読み込み、00
（黒）と比較して一致するか否かを判断する。情
報が00でなければ座標カウンタｋがＶラインの終
点Vfに相当する値FFHに達していない場合座標
カウンタｋをインクリメントすると共に指定アド
レスAddrに80Hを加えることにより指定アドレ
スAddrをＶライン上の次の番地に進め、画像メ
モリ１９から情報を読み込むステツプに戻る。情
報が00であればスイツチSWが０である時には座
標カウンタｋの値をＶライン上の像３５の上端位
置Ｃの情報としてRAM３０に入れ且スイツチ
SWを１にし、座標カウンタｋがFFHに達してい
ない場合座標カウンタｋをインクリメントして指
定アドレスAddrに80Hを加えてから、画像メモ
リ１９から情報を読み込むステツプに戻る。また
スイツチSWが１である時には座標カウンタｋの
値をＶライン上の像３５の下端位置Ｄの情報とし
てRAM３０に入れ、座標カウンタｋがFFHに達
していない場合座標カウンタｋをインクリメント
して指定アドレスAddrに80Hを加えてから、画
像メモリ１９から情報を読み込むステツプに戻
る。座標カウンタｋがFFHに達すると、次のル
ーチンに進む。

第５図に示すように次のルーチンではＨライン
上に像３５があつて（Ａ点、Ｂ点がＨラインの走
査ルーチンで検出されて）Ｂ点がHfでないと共
にＡ点がHiでなく、且つＶライン上に像３５が
あつて（Ｃ点、Ｄ点がＶラインの走査ルーチンで
検出されて）Ｄ点がVfでないと共にＣ点がViで
ない時にはこれをRAM３０内のＡ〜Ｄ点情報と
Hi、Hf、Vi、Vfから検出して第１０図に示すよ
うに像３５が視野（撮像面３４）内に正常に存在
するものと判断して信号Signを１にセツトし、
像３５の中心座標（孔１８の中心座標）xc、yc
を算出する。この場合xc、ycはxc＝Ａ＋Ｂ／２、yc ＝Ｃ＋Ｄ／２の演算で求め、このxc、ycと上記信号 Signをロボツトコントローラ２２にインターフ
エース２３を介して送出する。

第１１図に示すようにＨライン上に像３５があ
つてＢ点がHfでないと共にＡ点がHiである場合
これをRAM３０内のＡ点、Ｂ点とHi、Hfより
検出することによつて像３５が左に偏つているも
のと判断して信号Signに３をセツトし、これを
インターフエース２３を介してロボツトコントロ
ーラ２２に送出してビデオ信号の取り込みルーチ
ンに戻る。この場合像３５の一部が撮像面３４上
になくて像３５の中心座標を算出することが不可
能であり、ロボツトコントローラ２２は３の信号
Signによりロボツト本体１２に信号を送つて視
覚センサー１１及び作業具２４の位置補正を行な
わせる。

Ｈライン上に像３５があつてＢ点がHfでない
場合これをRAM３０内のＢ点とHfより検出して
像３５が右に偏つているものと判断し信号Sign
に２をセツトし、これをロボツトコントローラ２
２へ送つてロボツト本体１２の位置補正を行なわ
せ、ビデオ信号の取り込みルーチンに戻る。

Ｈライン上に像３５がなく、又はＨライン上に
像３５があつてもＢ点がHfでなくてＡ点がHiで
なく、且つＶライン上に像３５があつてＤ点が
Vfである場合はこれをRAM３０内のＡ点、Ｂ
点、Ｄ点とHi、Hf、Vfから検出して像３５が下
へ偏つているものと判断し、信号Signを５にセ
ツトしてロボツトコントローラ２２に送りロボツ
ト本体１２の位置補正を行なわせてビデオ信号の
取り込みルーチンに戻る。

Ｈライン上に像３５がなく、又はＨライン上に
像３５があつてもＢ点がHfでなくてＡ点がHiで
なく、且つＶライン上に像３５があつてＤ点が
VfでなくＣ点がViである場合はこれをRAM３０
内のＡ点、Ｂ点、Ｃ点、Ｄ点とHi、Hf、Vi、Vf
から検出して像３５が上に偏つているものと判断
し、信号Signを４にセツトしてロボツトコント
ローラ２２に送りロボツト本体１２の位置補正を
行なわせてビデオ信号の取り込みルーチンに戻
る。

像３５がＨライン上にもＶライン上にもないこ
とをRAM３０内のＡ点、Ｂ点、Ｃ点、Ｄ点から
検出した場合Ｐ点、Ｑ点、Ｒ点、Ｓ点の各ビデオ
信号を画像メモリ１９から読み込んで黒であるか
否かを判断する。第１２図に示すようにＰ点が黒
である場合は像３５がＨライン及びＶラインを軸
とする座標上のＰ点を含む第１象限にあるものと
判断して信号Signを６にセツトし、これをロボ
ツトコントローラ２２に送つてロボツト本体１２
の位置補正を行なわせビデオ信号の取り込みルー
チンに戻る。Ｑ点が黒である場合は像３５がＱ点
を含む第象限にあるものと判断して信号Sign
を７にセツトし、これをロボツトコントローラ２
２に送つてロボツト本体１２の位置補正を行なわ
せビデオ信号の取り込みルーチンに戻る。Ｒ点が
黒である場合は像３５がＲ点を含む第象限にあ
るものと判断して信号Signを８にセツトし、こ
れをロボツトコントローラ２２に送つてロボツト
本体１２の位置補正を行なわせビデオ信号の取り
込みルーチンに戻る。Ｓ点が黒である場合は像３
５がＳ点を含む第象限にあるものと判断して信
号Signを９にセツトし、これをロボツトコント
ローラ２２に送つてロボツト本体１２の位置補正
を行なわせビデオ信号の取り込みルーチンに戻
る。第１３図に示すようにＰ点、Ｑ点、Ｒ点、Ｓ
点のいずれも黒でない場合はエラーが発生したも
のと判断して信号Signを０とし、これをロボツ
トコントローラ２２に送つてエラー処理を行なわ
せる。

なお本発明は視覚センサー付知能ロボツト以外
にも同時に適用することが可能である。

以上のように本発明によれば撮像面の一辺の長
さＤとこの撮像面上における被写体の円形パター
ンの直径Ｒとの関係がＤ＞Ｒ＞Ｄ／２となるよう
な状態で被写体を撮像手段により撮像し、この撮
像手段からの１フレーム分のビデオ信号を画像メ
モリに記憶し、水平方向位置検出手段により上記
画像メモリから上記撮像面の左上隅と左下隅との
ほぼ中点を含む水平ラインに対応するビデオ信号
を読み出してこのビデオ信号から上記円形パター
ンの左端位置及び右端位置を検出し、垂直方向位
置検出手段により上記画像メモリから上記撮像面
の左上隅と右上隅とのほぼ中点を含む垂直ライン
に対応するビデオ信号を読み出してこのビデオ信
号から上記円形パターンの上端位置及び下端位置
を検出し、この垂直方向位置検出手段及び上記水
平方向位置検出手段の検出結果から中心算出手段
により上記円形パターンの上端位置及び下端位置
の真中と上記円形パターンの左端位置及び右端位
置の真中とを求めて上記円形パターンの中心を算
出し、偏位方向検出手段により上記水平方向位置
検出手段及び上記垂直方向位置検出手段の検出結
果から上記水平方向位置検出手段及び上記垂直方
向位置検出手段が上記円形パターンの左端位置、
右端位置、上端位置及び下端位置のいずれを検出
できないかを判断して上記円形パターンが上記撮
像面に対していずれの方向に偏つているかを検出
するので、被写体の位置を高速度で認識すること
ができる。

【図面の簡単な説明】

第１図は本発明の構成を説明するためのブロツ
ク図、第２図は本発明を応用した視覚センサー付
知能ロボツトの一実施例を示す概略図、第３図は
同実施例の一部を示すブロツク図、第４図は同実
施例における画像メモリのマツプを示す図、第５
図は同実施例の位置認識プログラムを示すフロー
チヤート、第６図は同実施例の動作を説明するた
めの図、第７図は上記プログラムのＨライン走査
ルーチンを示すフローチヤート、第８図は上記実
施例の動作を説明するための図、第９図は上記プ
ログラムのＶライン走査ルーチンを示すフローチ
ヤート、第１０図〜第１３図は上記実施例の動作
を説明するための図である。 １……撮像手段、２……画像メモリ、３……水
平方向位置検出手段、４……垂直方向位置検出手
段、５……中心算出手段、６……偏位方向検出手
段。

Claims (1)

【特許請求の範囲】
1. １ 撮像面の一辺の長さＤとこの撮像面上におけ
   る被写体の円形パターンの直径Ｒとの関係がＤ＞
   Ｒ＞Ｄ／２となるような状態で被写体を撮像手段
   により撮像し、この撮像手段からの１フレーム分
   のビデオ信号を画像メモリに記憶し、水平方向位
   置検出手段により上記画像メモリから上記撮像面
   の左上隅と左下隅とのほぼ中点を含む水平ライン
   に対応するビデオ信号を読み出してこのビデオ信
   号から上記円形パターンの左端位置及び右端位置
   を検出し、垂直方向位置検出手段により上記画像
   メモリから上記撮像面の左上隅と右上隅とのほぼ
   中点を含む垂直ラインに対応するビデオ信号を読
   み出してこのビデオ信号から上記円形パターンの
   上端位置及び下端位置を検出し、この垂直方向位
   置検出手段及び上記水平方向位置検出手段の検出
   結果から中心算出手段により上記上記円形パター
   ンの上端位置及び下端位置の真中と上記円形パタ
   ーンの左端位置及び右端位置の真中とを求めて上
   記円形パターンの中心を算出し、偏位方向検出手
   段により上記水平方向位置検出手段及び上記垂直
   方向位置検出手段の検出結果から上記水平方向位
   置検出手段及び上記垂直方向位置検出手段が上記
   円形パターンの左端位置、右端位置、上端位置及
   び下端位置のいずれを検出できないかを判断して
   上記円形パターンが上記撮像面に対していずれの
   方向に偏つているかを検出することを特徴とする
   位置認識方法。