JPS6016672B2 - 物体検出方法及び装置 - Google Patents

Description

【発明の詳細な説明】 この発明は、既知形状の物体、特に直方体の位置、及び
懐きなどを自動的に検出し、複雑なハンドリングを行う
ための物体検出方法及び装置に関するもので、たとえば
、種々の位置及び供給される複数種の工業部品を自動ハ
ンドリングするための視覚装置として使用され、特に、
対象物体の背景が一様でなく、ある程度複雑な場合でも
対処しうる物体検出方法及び装置に関するものである。

この種の装置としては、背景が一様である場合にのみ適
用できる、例えばテレビカメラのような平面形光電変換
装置が従釆から用いられており、この平面形光電変換装
置においては、その映像信号を明るさに応じて、対象物
体と背景とを区分する２値化法がよく用いられているが
、このような平面形光電変換装置では、背景が一様でな
い場合、映像信号の明るさそのものだけでは物体と背景
との区別がつかないので２種化法が適用できず、空間微
分などの手法によって画面内の各点における明るさの変
化の方向及び大きさを計算し、これらの情報をもとに物
体検出を行っている。しかしながらこの空間微分法では
、取り扱うデータ量及び計算量が膨大となり、それに伴
って電子計算機内の所要記憶容量が増大し、また処理時
間も長くなり、実用化のためには多くの問題点が存在し
ていた。通常、工場現場で使用する場合は、作業台、即
ち被写体上の対象物体の形状及び寸法は既知で、それが
作業台上のどの位置に、どのような向きで存在するかを
求めることが多く、それが求まれば後はハンドリング装
置により対象物体の操作が可能となる。

例えば、三辺の寸法が既知の直方体が、位置座標及び方
向を予め決めた作業台上にあり、直方体が所定の高さの
状態（即ちある所定の一辺が高さを形成している状態）
にあれば、テレビカメラを用いて直方体の所定上面を検
出でき直方体の位置及び傾きを検出することができる。
このような点に鑑み、この発明は上記の従来の欠点を除
去することを目的とし、光電変換装置を、その光軸のま
わりに回転させ、単位回転毎に、映像画面を分析し、特
定方向をもつ物体の稜線を検出してゆき、所定高さの状
態にある既知形状の直方体を水平画面走査し、垂直方向
に所定距離だけ離れた平行な所定水平長信号を二本深し
出すことにより、その直方体の有無の他、所定位置条件
及び所定方向（向き）により、直方体の位置及び傾きを
検出することができる物体検出方法及び装置を提供する
ものである。従ってこの発明による物体検出方法及び装
置では、背景にいくらかの雑音物体が存在しても、対象
物体の稜線と同形状でない限り、対象物体を正しく検出
することが期待でき、また、一画面の図形処理は、特定
方向の線分抽出だけなので処理量も少なく、ミニコンピ
ュータやマイクロコンピュータ程度の演算制御装置でも
適応できるものである。まず、この発明に係る物体検出
方法の原理を説明する。説明に当り対象とする物体は直
方体とし、また光電変換装置としてはテレビカメラを用
いるが、これに限定されるものではない。第１図はテレ
ビカメラ（第３図に示す）によって捕えた物体映像を、
正方格子状に抽出した状態を示したもので、ここでは背
景１を無地（紙面）で、また検出対象物体である直方体
の長方形表面Ａを黒丸集合部分で表わしている。

背景１に長方形表面Ａ以外の雑音物体表面Ｂ及びＣを含
んでいるため、背景の一部も農丸集合部分として表わさ
れている。この図形から長方形表面Ａの位置及び傾きな
どを測定するのは容易ではない。それは、対象物体のみ
を検出する演算処理を必要とするからである。ところが
、長方形表面Ａが全く同じ状態にあっても、第２図のよ
うに長方形表面Ａの一辺の長さ方向が、テレビカメラの
走査線の方向と一致している場合は、すぐ上の点と比較
することにより長方形表面Ａの水平辺を容易に検出でき
るので、第１図の場合より処理の簡素化が期待できる。

この発明は、このような原理に着目してなされたもので
あり、長方形検出といった問題では、テレビカメラを微
４・角度ずつ歩進的に回転してゆき、ちようど第２図の
ような状態が得られた時、テレビカメラの回転角と、画
面内の水平直線状態情報とから長方形情報を算出するも
のである。この発明による物体検出装置の第一実施例を
第３図乃至第８図に示す。第３図は第一実施例の概略ブ
ロック図で、背景をなす作業テーブル１の上に置かれた
直方体２及び円柱３を光電変換手段であるテレビカメラ
４で観測し、その映像信号を分析することにより、検出
対象物体である直方体２の状態を決定する物体検出装置
の構成を示している。

パルス発生回路５で作られたクロツクパルス６は同期信
号発生回路７へ送られ、その出力信号の一部は、外部か
らの同期パルス８としてテレビカメラ４へ与えられる。
テレビカメラ４から映像信号９は、水平線素検出回路１
０へ送られ、ここで水平線素、すなわち、物体の水平稜
線の候補点が抽出され、水平直線検出回路１１でこの水
平線素の水平方向の長さが検査され、この長さが対象物
体検出に必要な所定の最小長を越えているとき、水平直
線が検出されたとして、その直線情報信号が物体検出回
路１２に送られる。物体検出回路１２では、次々と送ら
れてくる水平直線情報をもとに、対象物体発見に必要な
項目に従って検査され、それを満す一組の直線群が検出
されたとき、すなわち所定距離だけ上下に隣なれた所定
長さの二本の水平直線が検出されたときに直方体２が発
見されたとして物体検出動作を終了する。テレビカメラ
の一画面の走査終了時点までに直方体２が発見されなか
った時には、その画面内には、水平線方向を辺に持つ直
方体は存在しないとして物体検出回路１２からパルスモ
ータ制御回路１３へ、一定角度だけテレビカメラ４を回
転するよう指令信号を送り、この指令信号によってその
角度に対応した数のパルス列１４がパルスモータ制御回
路１５に送られる。

テレビカメラ４が一定角度だけ回転したあと、再び映像
信号９が上記と同様に分析され、対象物体が発見されれ
ば動作を停止し、そうでないときには再びテレビカメラ
４を回転させる。こうして、回転角が１８０ｏに達して
も、対象物体が発見これなし、時は、作業テーフル１上
に直方体２は存在しないとして、動作は停止される。次
に、上記第一実施例における各回路の詳細について説明
する。

第４図は水平線素検出回路１０の最も簡単な構成を示し
ている。

テレビカメラ４からの映像信号９は遅延線２０‘こ送ら
れ、ちようど一本分の水平走査時間だけ遅らされたあと
、入力端子が互いに逆になっている二つの加算器２１及
び２２でもとの映像信号９とそれぞれ加算され、それぞ
れ、しきい値素子２３及び２４によって、どちらか一方
がある所定電圧値以上のとき、二つの信号間に明暗差あ
りとして、オア回路２５から水平線素検出信号２６とし
て出力される。この水平線素検出回路１０は水平線素と
して、画面中のすぐ上の水平線素と比較して、明るさの
差の絶対値が、かなり大きいものを抽出しているが、こ
のようなやり方をもとに、この外、明暗差をとるべき二
点の値としてあらかじめ左右の点同士の平均値を用いた
ものや、上下にもう少し離れた二点のデータを使用する
ものなどが考えられ、対象条件によっては、水平線素を
より正確に検出することもできる。第５図は、水平直線
検出回路１１を詳細に示した図で、図中、水平線素検出
信号２６は、アンド回路３川こ導かれ同期信号発生回路
７からの同期パルス２７によってサンプリングされ、水
平線素の連続発生回数がパルス数として計数器３１で計
数される。この計数値は比較回路３２で、スイッチ群３
３で与えられたプリセツト値Ｌｍｉｎと比較されこの値
を越えると、ゲート回路３４に論理“１”の信号が与え
られる。水平線素の発生が中断すると、水平線素検出信
号２６は無信号状態を呈し、否定回路３５によって反転
された後、アンド回路３６を介して出力されたクロツク
パルスによって比較回路３２及び計数器３１からの各信
号をそれぞれ入力しているゲート回路３４及び３７を開
き、それぞれ水平直線検出信号３８、及びその時の計数
器３１の計数内容を長さ信号３９として出力する。水平
直線検出信号３８及び長さ信号３９が出力されると、遅
延回路４０１こよる時間遅れの後、計数器３１の計数内
容はクリャされ、再び水平線素の長さ計数を行う。次に
長方形状の存在を確認するのであるが、今、一画面につ
いての座標系を第６図のようにとる。

すなわち画面の左上を座標原点とし、右方へＸ軸、下方
へＹ軸をとる。また水平直線情報は、（Ｘｉ，Ｙｉ，Ｌ
ｉ）とする。ここに、ｉ：水平直線の検出順による番号 Ｘ：水平直線の水平座標 Ｙ：水平直線の垂直座標 Ｌ：水平直線の長さ である。

直方体の検出条件としては、種々考えられるが、端的に
言うと次の関係をみたすような二本の水平直線ｉとｊと
を検出すればよい。

．・・‐‐‐‐‐‐【１） 但し、ＬＨは長方形の所定の横長、Ｌｖは所定の縦長距
離を表わす。

この条件は、第６図に示すような関係になっている。

次々に検出される水平直線群の中で、式‘１’の関係を
もつ一組の水平直線が存在するかどうかを検出するため
の回路が、第３図に示された物体検出回路１２の役割で
あるが、その詳細な構成が第７図に示されている。

この物体検出回路１２は概略的には水平直線検出回路１
１から入力された水平直線検出信号３８が式【１１の
条件をみたす二本目の線であるとき、物体抽出信号５０
を出力するものである。同期信号発生回路７よりクロツ
クパルス４０、及び水平同期信号４１を受け、それぞれ
、計数器５１及び５２で計数してゆくと、その出力はそ
れぞれ一画面内での走査点座標Ｘ，Ｙを示すことになる
。

計数器５′１の出力は比較器５３及び５４並びにレジス
タ５５及び５６に送られ、互いにその内容が比較され、
一致しているときすなわち、Ｘｉ＝Ｙｉのときは論理“
１”をそれぞれアンド回路５７及び５８‘こ送る。また
、計数器５１の出力はアンド回路５９又は６０が論理“
１”の時、レジスタ５５又は５６にそれぞれ一時記憶さ
れるようになっている。同様にして計数器５２の出力は
、比較器６１及び６２に送られる一方、加算器６３にお
いて、スイッチ群６４でプリセツトされた値Ｌｖと加え
られＹｉ＋Ｌｖとされたあとレジスタ６５及び６６に結
合され、アンド回路５９及び６０の指示により、それぞ
れレジスタ６５及び６６に一時記憶される。水平直線検
出信号３８が入力されると長さ信号３９がゲート回路６
７を経て比較器６８に与えられ、スイッチ群６９による
プリセット値ＬＨと比較される。両者が一致していると
、所定長さ水平直線検出信号７０が発生し、その時のシ
フトレジスタ７１の内容で指定されるレジスタ群５５，
６５，５６及び６６の内容と、計数器５１及び５２の内
容が比較され、一致しているものがあればオア回路７２
で−本の信号となり、最終的にはアンド回路７３で所定
長さ水平直線検出信号７０との論理積がとられ物体検出
信号５０として出力される。もし、一致しているものが
なければ所定長さ水平直線検出信号７０は遅延回路７４
及び７５に与えられ、遅延回路７４はシフトレジスタ７
６で指定されるアンド回路５９及び６０を論理“１”に
し、レジスタ５５及び６５又は５６及び６６にデータを
セットしたあとシフトレジスタ７１及び７６の内容を１
ビット分だけ、右にシフトしておく。なお、シフトレジ
スタ７１は初期リセット状態は皆論理“０”で右にシフ
トする嶺に左から論理“１”がつめ込まれてゆくもので
、またシフトレジスタ７６は初期リセット状態は左端の
み論理“１”で他は論理“０”となっていて、右にシフ
トする毎に、論理“１”の位置が右へ移り左からは“０
”がつめ込まれてゆくものである。以上の回路接続に基
づいて実験の動作を説明すると、初期リセット状態では
シフトレジスタ７１が皆論理“０”であるので、第一本
目の所定長さ水平直線検出信号７０によっては、計数器
５１及び５２の出力信号は、どれとも比較されず、シフ
トレジスタ７６で指定されるレジスタ群、すなわち、左
端のレジスタ群５５及び６５にセットされるだけである
。

第二本目以降の所定長さ水平直線検出信号７０が入力さ
れると、それまでに、一時記憶されていたすべての直線
位置情報と比較され、どれかと一致すれば、物体検出信
号５０を出し一致しなければ、次のレジスタ群に、その
直線情報をセットしてゆく。次に、第８図に従ってパル
スモータ制御回路１３の動作を説明する。

外部（図示せず）よりスタート信号７８が与えられると
フリップフロップ８０は反転し、論理“１”となり動作
状態にする。

このあと、最初の垂直同期信号７９が与えられるとアン
ド回路８１を介して指令値しジスタ８２に論理“１”信
号が与えられ、指令値しジスタ８２自身の内容と、スイ
ッチ群８３によってプリセットされた値△８との加算を
行う加算器８４の出力値がセットされる。指令値しジス
タ８２の内容は比較器８５で現在値しジスタ８６の内容
と比較され、一致していない時は、論理“１”がゲート
回路８７に与えられ、パルス発生器８８で発生されたパ
ルスはドライバ８９を介して第３図のパルスモータ１５
に与えられ歩進回転させる。またこのパルス発生器８８
からのパルスは現在値しジスタ８６で計数され、指令値
しジス夕８２の指令値と一致した時点で出力されなくな
る。現在値しジス夕８６はさらに比較器９０に与えられ
、スイッチ群９１でプリセットされた値ｏｍａｘと比較
されてこれより大きい場合にはストップ信号９２として
オア回路９３に与えられ、物体検出回路１２からの物体
検出信号５０との論理和をとったあと、フリツプフロツ
プ８０．を反転し動作を終了する。以上の説明は、この
発明を論理回路で構成する場合の実施例について説明し
てきたが、論理回路の一部を汎用のミニコンピュータや
マイクロコンピュータによって構成してもよい。

第９図はこの発明の、物体検出装置にミニコンピュ−夕
を用いた第二実施例を示すブロック図である。第３図に
おける論理判断の中心部分である物体検出回路１２のか
わりに第９図ではミニコンピュータ１００を導入した。
そのため、水平直線検出回路１１ａ及びパルスモータ制
御回路１３ａは、インターフェース機能を含み、第３図
とはやや異った回路構成となっているが、この発明の目
的を逸脱するものではない。以上の実施例においては単
に直方体の存在のみを問題にして検出したが、存在確認
ができた時の状態情報により懐き角や、画面内の存在位
置も容易に算出できることはいうまでもない。

即ち、まず位置を検出する場合、第７図において、同期
信号発生回路７からの水平走査信号のサンプリング信号
であるクロツクパルス４０を計数器５１を介して×座標
信号としこれとアンド回路７３からの物体検出信号５０
との論理積をとるとともに、Ｙ座標信号としての水平同
期信号４１と物体検出信号５０との論理積をとることに
よって、対象物体としての直方体の作業台上の位置座標
を知ることができる。但し、この場合、所定の位置条件
があり、それは、テレビ画面の中心が作業台上の既知座
標点上にあり、一画面の水平走査線間隔及び水平走査線
のサンプリング間隔が作業台の既知寸法に対応している
必要があるということである。更に、懐きについては、
第８図において、指令値しジスタ８２からの信号と物体
検出信号５０との論理積をとり、指令値しジス夕８２が
ａｍａ×に達するまでの間に物体検出信号５０が入力さ
れたとき、物体検出信号５０とその時の指令値しジスタ
８２の内容との論理積をとることにより、直方体の額き
を知ることができる。但し、この場合も同機に、所定方
向条件があり、それはテレビ画面の水平走査線方向を作
業台の既知の基準方向に−致するようにセットしておく
ということである。この発明は、基本的には、画面内に
存在する物体の辺を抽出する効果的な物体検出方法及び
装置を提供するものであり、任意の多面体に対しても適
用でき、しかも単純背景でなく、いくらかの背景物体が
存在する場合にも適用可能である。さらに、水平線素検
出においては映像情報は濃淡情報であるので全体的な照
明条件の変化の影響を受けにくく、安定した動作が期待
できる。このような特長から、この発明は、種々の位置
及び方向で供給される工業部品を自動的にハンドリング
する工業用ロボットに付与する視覚菱贋として、特に有
効である。

【図面の簡単な説明】

第１図及び第２図はこの発明の物体検出方法の原理を説
明する図、第３図はこの発明に係る物体検出装置の第一
実施例を示す概略ブロック図、第４図は第３図の物体検
出装置に用いられる水平線素検出回路の構成図、第５図
は第３図の物体検出装置に用いられる水平直線検出回路
の構成図、第６図は第３図の物体検出装置において水平
直線群の検出原理を示す図、第７図は第３図の物体検出
装置に用にられる物体抽出回路の構成図、第８図は第３
図の物体検出装置に用いられるパルスモータ制御回路の
構成図、第９図はこの発明に係る物体検出装置の第二実
施例を示す概略ブロック図である。 ２・・・・・・直方体、４・…・・テレビカメラ、９・
…・・映像信号、１０……水平線素検出回路、１１・・
・・・・水平直線検出回路、１２・・・・・・物体検出
回路、１３・・・…パルスモータ制御回路、１５……パ
ルスモータ、５０…・・・物体検出信号、１００・・・
・・・マイクロコンピュ−夕、ＬＨ・・・・・・機長、
Ｌｖ…・・・縦長距離、Ｙ…・・・垂直座標。 尚、図中、同一符号は同一又は相当部分を示す。発ｌ図 第２図 精３図 精４図 精５図 第６図 第７図 第８図 精９図

Claims (1)

1. 【特許請求の範囲】 １ 所定高さの状態にある既知形状の直方体を検出する
   物体検出方法であつて、 被写体を水平画面走査信号と
   して表現する工程と、 各前記水平画面走査信号中から
   所定水平長信号を検出する工程と、 一画面内に同一垂
   直座標方向に所定距離だけ離れた二本の前記所定水平長
   信号を検出したとき前記被写体内に前記直方体が発見さ
   れたと判定する工程と、 前記二本の所定水平長信号が
   一画面内に検出されなかつたとき前記被写体に対して垂
   直な軸を中心として所定角だけ回転した画面内において
   次の水平画面走査を行わせる工程と、 前記所定角の合
   計が１８０°に達するまで、各画面内に前記二本の所定
   水平信号が検出されなかつたときには前記直方体は発見
   されなかったと判定する工程と、 を備えたことを特徴
   とする物体検出方法。 ２ 所定高さの状態にある既知形状の直方体を所定位置
   条件の下で検出する物体検出方法であつて、 被写体を
   水平画面走査信号として表現する工程と、 各前記水平
   画面走査信号中から所定水平長信号を検出する工程と、
   一画面内に同一垂直座標方向に所定距離だけ離れた二
   本の前記所定水平長信号を検出したとき前記被写体内に
   前記直方体が発見されたと判定する工程と、 前記直方
   体が発見されたとき、前記直方体の位置座標を、前記水
   平画面走査信号のサンプリング信号及び一画面の水平同
   期信号から求める工程と、 を備えたことを特徴とする
   物体検出方法。 ３ 所定高さの状態にある既知形状の直方体を所定方向
   条件の下で検出する物体検出方法であって、 被写体を
   水平画面走査信号として表現する工程と、 各前記水平
   画面走査信号中から所定水平長信号を検出する工程と、
   一画面内に同一垂直座標方向に所定距離だけ離れた二
   本の前記所定水平長信号を検出したとき前記被写体内に
   前記直方体が発見されたと判定する工程と、 前記二本
   の所定水平長信号が一画面内に検出されなかつたとき前
   記被写体に対して垂直な軸を中心として所定角だけ回転
   した画面内において次の水平画面走査を行わせる工程と
   、 前記直方体が発見されたとき、基準方向に対する前
   記直方体の傾きを、既に回転された前記所定角から求め
   る工程と、 を備えたことを特徴とする物体検出方法。 ４ 所定高さの状態にある既知形状の直方体を検出する
   物体検出装置であって、 一画面走査毎に歩進的な回転
   制御を受け得る光電変換手段と、 前記一画面走査中に
   前記光電変換手段からの映像信号によつて被写体の水平
   線素を検出する水平線素検出回路と、 前記水平線素を
   計数値に変換する水平直線検出回路と、 前記計数値と
   前記直方体の所定横長値とを比較し、前記所定横長値を
   有する二つの計数値を検出し、かつ、前記二つの計数値
   同士が同一垂直画面座標方向に所定縦長距離値だけ離れ
   ていることを検出したとき物体検出信号を発生し、もつ
   て前記光電変換手段の回転制御を停止させる物体検出回
   路と、 を備えたことを特徴とする物体検出装置。 ５ 前記光電変換手段はテレビカメラである特許請求の
   範囲第４項に記載の物体検出装置。 ６ 前記歩進的な回転制御はパルスモータ制御回路とパ
   ルスモータによつて行われる特許請求の範囲第４項又は
   第５項に記載の物体検出装置。 ７ 前記水平線素検出回路は、互いに隣り合う水平走査
   映像信号のレベル差が所定しきい値を越えたとき前記水
   平線素の検出を行う特許請求の範囲第４項乃至第６項の
   いずれかに記載の物体検出装置。