JPH0972717A - 画像の取得・処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 視覚センサを利用した画像取得・処理を簡素
なシステムで行い、ロボットのトラッキング動作などに
応用すること。 【解決手段】 ワーク供給源１００から供給されるワー
クを搬送するコンベア１は駆動部２で駆動され、その移
動量はパルスコーダ３で検出される。画像処理装置２０
とカメラ３０を有する視覚センサＶＳは、パルスコーダ
３の検出出力を利用して撮影漏れ領域やワークの撮影漏
れが出ないような間隔で、視野３１に対応した画像を繰
り返して取得し、ワークＷの（ａ，ｂ,ｃ，ｄ）の基準
位置からのずれを検出する。ロボットコントローラＲＣ
のロボット制御部１０は、これらのデータとパルスコー
ダ３の検出出力を利用して、ロボットＲＢに初期位置Ｐ
0 からトラッキング開始ライン６０付近に到来したワー
クに対してトラッキング動作を開始させる。位置補正を
伴うトラッキング動作は、範囲６０〜７０間で行なわ
れ、ワークＷに追いついて所定の作業を完了する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視覚センサを用い
て画像を取得して処理する方法に関し、更に詳しく言え
ば、ベルトコンベア等の搬送手段によって移動中の対象
物（例えば、組立部品）の画像を視覚センサを用いて取
得して処理するための技術に関する。本発明は、特に、
ベルトコンベアによって搬送されるワークについてトラ
ッキング動作を伴った各種作業を行なうロボットシステ
ムや、視覚センサを用いたワークの各種検査システム
（きず、汚れ、寸法、形等の検査システム）などに適用
して有利なものである。

【０００２】

【従来の技術】工場のプロセスラインにおいては、作業
対象物となるワークがコンベアで次々と作業位置に搬送
されて来るシステムが非常に幅広く採用されている。こ
のようなワーク（対象物）に対してロボットが作業を実
行する方法には、コンベアを間欠駆動する方法と連続駆
動する方法があるが、作業効率等の観点から後者の方法
が用いられるケースが多くなっている。

【０００３】連続駆動されるコンベアで運ばれて来るワ
ークに対してロボットに作業を正しく行なわせるために
は、ロボットにトラッキング動作が要求される。ロボッ
トにトラッキング動作（ここではライントラッキング）
を行なわせる従来の方法を図１を参照して簡単に説明す
れば、概略次のようになる。

【０００４】同図において、符号１はワーク供給源１０
０に接続された直線搬送コンベアを表わしており、その
駆動軸は駆動部２に内蔵されたモータによって駆動され
る。この駆動軸乃至駆動モータの回転量はパルスコーダ
３によってパルス列の形で出力される。符号４，４’
は、ワークを検出するセンサであり、コンベア１上に載
置されて搬送されて来るワークＷを検出位置５０で検出
する。センサ４，４’には例えば光学式のものが使用さ
れる。

【０００５】符号ＶＳは、画像処理装置２０とカメラ３
０（例えば、ＣＣＤカメラ）から構成される視覚センサ
を表わしており、符号３１はカメラ３０の視野を表わし
ている。図中に破線で示したように、画像処理装置２０
はロボットコントローラＲＣに内蔵された形態をとって
いる。ロボットコントローラＲＣは、ロボット制御部１
０を有し、このロボット制御部１０は内蔵された画像処
理装置２０からワークＷの位置・姿勢を表わす検出信号
を得てロボットＲＢの制御に利用する。また、ロボット
コントローラＲＣはセンサ４，４’並びにパルスコーダ
３に接続されており、前者の検出信号はワークＷの到来
の認識に利用され、後者の出力はワークＷの搬送位置乃
至搬送量の認識に利用される。

【０００６】今、ロボットＲＢの動作として、（１）ワ
ークＷが予め設定されたトラッキング開始ライン６０に
到達した時点から、Ｐ0 を初期位置とするトラッキング
動作を開始し、（２）教示位置付近のＱ0 でワークＷと
遭遇し、（３）ワークＷがトラッキング終了ライン７０
（位置Ｑ1 ）に到達するまでにワークＷに対する作業を
完了してコンベア１上から離れ、初期位置Ｐ0 へ戻る、
という動作を考えると、この動作の実行手順は例えば次
のようなものとなる。

【０００７】コンベア１上に供給されたワークＷがセン
サ４，４’による検出位置に到来すると、センサ４，
４’から検出信号が出力され、その時点におけるパルス
コーダ計数出力値Ｎs がロボットコントローラＲＣ内に
記憶される。ワークＷが更に移動して予め教示された撮
影位置（ラインＡの位置）に到来すると、カメラ３０に
よる撮影が実行されてその画像が画像処理装置２０に取
り込まれる。

【０００８】カメラ３０による撮影のタイミングは、パ
ルスコーダ計数出力値Ｎs からのインクリメンタル量を
監視することで決定される。このインクリメンタル量
は、スケールファクタαを媒介にして、センサ４，４’
による検出位置から撮影位置（ラインＡの位置）までの
距離を表わす量となっている。

【０００９】取得された画像は、画像処理装置２０内で
処理され、ワークＷの位置・姿勢を認識する。ワークＷ
の位置・姿勢の認識は、例えばワークＷ上の特徴点ａ，
ｂ，ｃ，ｄなどの位置を認識し、予め準備作業時に作成
された基準画像データと比較して基準位置からのずれ量
を求め、結果を表わすデータをロボット制御部１０へ伝
達することで達成される。

【００１０】次に、パルスコーダ計数出力値ＮのＮs か
らのインクリメンタル量がワークＷのトラッキング開始
位置（ライン６０）への到達を表わす値となったなら
ば、トラッキング座標系Σtr（Ｏtr−ｘｙ）の移動を開
始させ、その直後にトラッキング座標系上でロボットＲ
Ｂの移動（トラッキング動作）を開始させる。ここで、
トラッキング座標系Σtrとはコンベアと等速度で同方向
に移動するように設定された座標系のことで、その初期
位置はベース座標系Σb よりも距離Ｌ0 だけ上流側に原
点を持ち、且つ、そのｘ軸がベース座標系Σb のＸ軸と
ともに、コンベア１の走行方向と一致するように設定さ
れる。ここで、距離Ｌ0 は教示点Ｑ0 の位置とトラッキ
ング開始ライン６０までの距離とされる。

【００１１】ロボットＲＢの移動経路は、トラッキング
座標系Σtr上で教示経路を実現する形で行なわれるが、
補間計算周期で繰り返される移動目標位置の計算にあた
っては、視覚センサＶＳで検出されたずれ量を補償する
ようにロボット位置（通常、姿勢も含む）の補正が行わ
れる。

【００１２】移動速度を適当な値に教示しておけば、ロ
ボットＲＢはほぼ図１に符号９０で示したような曲線軌
道に沿ってワークＷに接近し、トラッキング範囲内の適
当な位置Ｑ0 でワークＷに追いつくことになる。なお、
直線軌道８０は、仮にベース座標系Σb （Ｏb −ＸＹ）
上でロボットＲＢを制御した場合の移動経路の例を表わ
している。

【００１３】ワークＷに追いついてからは、トラッキン
グ範囲で必要な作業（加工、処理、把持など）を完了
し、ライン７０上の位置Ｑ1 でトラッキング動作を終了
し、コンベア１上から離れ、初期位置Ｐ0 へ復帰する。

【００１４】以上述べたように、連続駆動コンベアで搬
送されるワークに対するトラッキング動作をロボットＲ
Ｂに行なわせる場合、視覚センサＶＳで処理される画像
の取得（カメラ３０による撮影）のタイミングは、視覚
センサＶＳの上流側に設けられた別のセンサ４，４’の
ワーク検出出力を利用して行なわれている。同様の手法
は、連続駆動コンベアで搬送されるワークについて視覚
センサＶＳで取得された画像解析に基づく検査を行なう
システムにおいても採用されている。

【００１５】ところが、このような画像取得・処理方法
には次のような問題点がある。その第一は、図１中にワ
ークＷ’，Ｗ”間について例示したようにコンベア１の
搬送方向に沿った視野長に比べて短い間隔Ｄでワークを
供給した場合に、後続するワークＷ”（場合によって
は、ワークＷ’，Ｗ”）について２回の撮影と画像処理
が行なわれる確率が高くなり、効率的でないことであ
る。

【００１６】即ち、図２（１）のように、ワークＷ’の
センサ４，４’による検出位置から定距離Ｄ4Aだけ下流
の撮影位置（ラインＡ）で撮影を行うことで、ワーク
Ｗ’，Ｗ”の双方を含む画像が取得される。続いて、図
２（２）のように、ワークＷ”のセンサ４，４’による
検出出力に基づいて定められる同じ撮影位置で撮影を行
うことで、ワークＷ”を含む画像（多くの場合、ワーク
Ｗ’，Ｗ”の双方を含む画像）が取得される。

【００１７】通常、１回の撮影について１回の画像処理
が実行されるから、１個のワークについて２回の画像処
理が行なわれることになり、効率上有利ではない。特
に、ワークの供給頻度を高く設定した場合に無駄が多く
なる。

【００１８】そして、第二の問題点は、視覚センサの画
像取得やトラッキング開始のタイミングを定めるため
に、視覚センサとは別のセンサ並びにその周辺回路が必
要とされており、システムの簡素化の観点からみて好ま
しくないということにある。

【００１９】

【発明が解決しようとする課題】そこで本発明の目的
は、上記従来技術の問題点を解決することにある。即
ち、本発明は、搬送手段によって連続的に搬送されて来
る対象物について、より簡素なシステムを用いて無駄な
く画像の取得と処理を行えるようにすることを目指して
いる。また、そのことを通して、搬送手段によって連続
的に搬送されて来る対象物に対するトラッキング動作を
行なうロボットを用いたシステムや、視覚センサを用い
た検査を行なうシステムの合理化を図ろうとするもので
ある。

【００２０】

【課題を解決するための手段】本発明は、対象物を搬送
する手段の走行量を検出する手段の検出出力を利用し
て、搬送手段の走行量が適正な撮影間隔に相当する所定
距離に到達する毎に視覚センサによる画像の取得と処理
を繰り返すようにして、撮影漏れを生じさせることなく
効率的に画像を取得して処理することが出来るようにし
たものである。

【００２１】上記所定距離は、搬送経路に沿う方向に測
ったカメラ視野の長さから、同じく搬送経路に沿う方向
に測った対象物の長さを差し引いた距離を下回らず、且
つ、ほぼ等しくなるように予め定められる。

【００２２】本発明の好ましい実施形態においては、相
前後して行なわれる画像取得の間に撮影漏れ領域が生じ
ないことを確実に保証するために、搬送手段が所定距離
を走行したことを表わす検出出力が搬送手段の走行量を
検出する手段から視覚センサの制御手段へ与えられる毎
に、前回の取得された画像との間に撮影漏れ領域を生じ
ずに画像の取得と処理を行なうことが実際に可能か否か
が判定される。そして、可能と判定された場合には画像
の取得と処理が行われ、不可能と判定された場合にはエ
ラー信号が生成される。

【００２３】視覚センサで得られた画像を解析して、対
象物の位置に関する情報を得るようにすれば、この位置
情報を利用してロボットにトラッキング動作を行なわせ
ることが出来る。

【００２４】

【作用】本発明は、ベルトコンベアのような搬送手段に
よって搬送中の対象物の画像をカメラ手段を備えた視覚
センサを用いて取得し、取得された画像を解析処理する
ことによって対象物に関する位置その他の情報を得るよ
うにした画像取得・処理方法を改良したものである。

【００２５】従来技術においては視覚センサによる画像
取得・処理のタイミングを制御するために、視覚センサ
の上流側に別個のセンサを配備する必要があったのに対
し、本発明ではそのような別個のセンサは全く必要とし
ない。本発明では、視覚センサによる画像取得・処理の
タイミングの制御は、搬送手段の走行量の検出出力によ
って行なわれることを基本としている。

【００２６】即ち、搬送手段の走行量が視覚センサのカ
メラ手段の適正な撮影間隔に相当する所定距離に到達す
る毎に視覚センサによる画像の取得と処理を繰り返すこ
とで、撮影漏れを生じさせることなく効率的に画像が取
得され、処理される。視覚センサのカメラ手段の適正な
撮影間隔に相当する所定距離とは、対象物を漏れなく撮
影することが可能で、撮影回数をほぼ最小に出来る距離
と考えられる。

【００２７】このような条件は、搬送経路に沿う方向に
測ったカメラ視野の長さから、同じく搬送経路に沿う方
向に測った対象物の長さを差し引いた距離を下回らず、
且つ、ほぼ等しい距離とすれば満たされる。

【００２８】ここで、「搬送経路に沿う方向に測った対
象物の長さを差し引く」理由は、すべての対象物につい
て、相前後して取得された２つの画像中の一方に完全な
形で含まれることを保証するためである。

【００２９】ワークの供給間隔が予定したものより短か
くなった場合や、ロボットのトラッキング動作による時
間消費が大きい場合には、搬送手段が所定距離を走行し
たことを表わす検出出力が搬送手段の走行量を検出する
手段から視覚センサの制御手段へ与えられた時点で既に
前回の取得された画像との間に撮影漏れ領域を生じずに
画像の取得と処理を行なうことが不可能になる場合が起
こり得る。そのようなケースに対処するためには、搬送
手段が所定距離を走行したことを表わす検出出力が搬送
手段の走行量を検出する手段から視覚センサの制御手段
へ与えられる毎に、前回の取得された画像との間に撮影
漏れ領域を生じずに画像の取得と処理を行なうことが可
能か否かを判定すれば良い。

【００３０】この判定は、視覚センサの制御手段がカメ
ラ手段に対して撮影指令を発しようとした時点において
検出される搬送手段の走行量が、上記所定距離を越えて
しまっている、あるいは撮影が実行される前に越えてし
まいそうであるか否かをチェックすることによって行な
い得る。判定結果が否定的であれば、システム異常とみ
なし、エラー信号を生成する。

【００３１】

【発明の実施の形態】図３は、本発明の方法をロボット
のトラッキング動作のために適用する際の全体配置の１
例を、図１と類似した形式で示したものである。この配
置が図１に示した従来の配置と基本的に異なる点は、従
来使用されていたセンサ４，４’が使用されていない点
にある。以下、簡単に説明する。ワーク供給源１００に
接続された直線搬送コンベア１の駆動軸は駆動部２に内
蔵されたモータによって駆動される。この駆動軸乃至駆
動モータの回転量はパルスコーダ３によってパルス列の
形で出力される。

【００３２】符号ＶＳは、画像処理装置２０とカメラ３
０（例えば、ＣＣＤカメラ）から構成される視覚センサ
を表わしており、符号３１はカメラ３０の視野を表わし
ている。図中に破線で示したように、画像処理装置２０
はロボットコントローラＲＣに内蔵された形態をとって
いる。

【００３３】ロボットコントローラＲＣは、ロボット制
御部１０を有している。このロボット制御部１０は、内
蔵された画像処理装置２０からワークＷの位置・姿勢を
表わすデータを得るとともに、パルスコーダ３の計数出
力値Ｎを利用して、ロボットＲＢのトラッキング動作の
制御に利用する。

【００３４】図４は、ロボットコントローラＲＣの内部
構成の概略を要部ブロック図で示したものである。同図
において、ロボットコントローラＲＣに内蔵された画像
処理装置２０はマイクロプロセッサからなるＣＰＵ（中
央演算処理装置）２１を有しており、ＣＰＵ２１にはカ
メラインターフェイス２２、フレームメモリ（画像メモ
リ）２３、プログラムメモリ２４、画像処理プロセッサ
２５、データメモリ２６、モニタインターフェイス２７
がバスＢＳ”を介して各々接続されている。

【００３５】カメラインターフェイス２２にはカメラ３
０が接続されており、カメラインターフェイス２２を介
して撮影指令が送られると、カメラ３０に設定された電
子シャッタ機能（シャッタスピードは、例えば１０００
分の１秒）により撮影が実行され、カメラインターフェ
イス２２を介して映像信号がグレイスケール信号の形で
フレームメモリ２３に格納される。モニタインターフェ
イス２７にはモニタＣＲＴ４０が接続されており、カメ
ラ３０が撮影中の画像、フレームメモリ２３に格納され
た過去の画像、画像処理プロセッサ２５による処理を受
けた画像等が必要に応じて表示される。

【００３６】フレームメモリ２３に格納されたワークＷ
の映像信号は、プログラムメモリ２４に格納された解析
プログラムに従って画像処理プロセッサ２５を利用して
解析され、ワークＷの位置が求められる。ここでは、ワ
ークＷは図３中に符号ａ，ｂ，ｃ，ｄで示したように、
４点の特徴点を有しているものとし、これら４点のすべ
てが検出された場合に、それに基づいてワークの姿勢が
計算されるものとする。

【００３７】データメモリ２６は、視覚センサシステム
に関連した各種の設定値を格納する領域と、ＣＰＵ２１
が実行する各種処理に必要なデータの一時記憶に利用さ
れる領域を含んでいる。そして、ＣＰＵ２１はロボット
コントローラＲＣ内部でバスＢＳを介して次に説明する
ロボット制御部１０のＣＰＵ１１にバス結合されてい
る。これにより、視覚センサ２０全体は実質的にロボッ
ト制御部１０と一体の機器として構成される。即ち、符
号１０，２０を含む全体が視覚センサ内蔵型のロボット
コントローラＲＣを構成している。

【００３８】ロボット制御部１０は、バスＢＳを介して
画像処理装置２０のＣＰＵ２１とバス結合されたＣＰＵ
１１を有している。このＣＰＵ１１には、システム全体
を制御する為のプログラムが格納されたＲＯＭ１２、Ｃ
ＰＵ処理の為のデータの一時記憶に使用されるＲＡＭ１
３、動作プログラム、座標系設定データ、その他各種設
定パラメータ等が格納される不揮発性メモリ１４、ハン
ドを含むロボットＲＢの機構部にサーボ回路１６を介し
て接続された軸制御器１５、デジタルシグナルプロセッ
サ（ＤＳＰ）用データメモリ１７、デジタルシグナルプ
ロセッサ（以下、「ＤＳＰ」と言う。）１８が、各々バ
スＢＳ’を介して接続されている。

【００３９】ＤＳＰ１８は、これに接続されたパルスコ
ーダ３の計数出力信号を処理する為のプロセッサで、Ｄ
ＳＰ用データメモリ１７はＤＳＰ１８による諸処理デー
タや設定パラメータを格納するＤＳＰ専用のメモリであ
る。ＤＳＰ１８は、ＣＰＵ１１の命令に従って、任意の
時点においてパルスコーダ３の計数出力を検出し、ＤＳ
Ｐ用データメモリ１７の所定エリアに書き込む機能を有
している。また、画像処理装置２０のＣＰＵ２１から
も、ＣＰＵ１１を介してＤＰＳ用データメモリ１７にア
クセス可能となっている。

【００４０】以下、このようなシステム構成と機能を前
提に、本発明の方法を実施する為の準備作業及び処理手
順について説明する。なお、画像処理装置２０のプログ
ラムメモリ２４、データメモリ２６及びロボット制御部
１０内の各メモリには、予め必要な処理を実行する為の
プログラム及び関連設定データが格納済みであるものと
する。

【００４１】また、ロボットＲＢの動作手順は、図１の
関連説明で述べたケースと同様とする。即ち、（１）ワ
ークＷがトラッキング開始ライン６０に到達した時点か
ら、Ｐ0 を初期位置とするトラッキング動作を開始し、
（２）教示位置付近の点Ｑ0でワークＷと遭遇し、
（３）ワークＷがトラッキング終了ライン７０（位置Ｑ
1）に到達するまでにワークＷに対する作業（例えば、
シーリング剤の塗布、樹脂材料の流し込みなど）を完了
し、（４）コンベア１上から側方に離隔して初期位置Ｐ
0 に復帰する、という動作手順を考える。

【００４２】［準備作業］ （１）スケールファクタの決定 従来と同様の下記手順により、コンベア１の走行距離ｌ
とパルスコーダ３の計数出力（インクリメンタル量Δ
Ｎ）との関係を表わすスケールファクタα＝ｌ／ΔＮを
求める。

【００４３】１．ロボットＲＢの動作範囲の位置にワー
クをセットし、その時のパルスコーダ３の計数出力Ｎ1
をロボットコントローラＲＣに格納する。 ２．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ1 ，Ｙ1
，Ｚ1）をロボットコントローラＲＣに記憶させる。

【００４４】３．コンベア１を適当な距離だけ走行さ
せ、ロボットＲＢの動作範囲内の適当な位置にワークを
停止させ、その時のパルスコーダ３の計数出力Ｎ2 をロ
ボットコントローラＲＣに格納する。 ４．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ2 ，Ｙ2 ，
Ｚ2 ）をロボットコントローラＲＣに記憶させる。 ５．ロボットコントローラＲＣに、α＝（Ｘ2 −Ｘ1 ）
／（Ｎ2 −Ｎ1 ）の計算を行わせてスケールファクタα
を求め、ロボットコントローラＲＣの不揮発性メモリ１
４と画像処理装置２０のデータメモリ２６に記憶する。

【００４５】（２）センサ座標系Σs の設定 適当な手段により、視覚センサＶＳにセンサ座標系Σs
を設定する。例えば、ベース座標系Σb 上の座標値が判
っている位置に公知のキャリブレーション用治具を配置
し、画像処理装置２０のプログラムメモリ２４に格納さ
れたキャリブレーション用のプログラムを起動させ、カ
メラ３０の画素値データをセンサ座標系Σs のデータに
換算する為のデータを画像処理装置２０のデータメモリ
２６に格納する。また、その結果を利用して、センサ座
標系Σs とベース座標系Σb の関係を表わすデータをロ
ボット制御部１０の不揮発性メモリ１４に格納する。

【００４６】（３）カメラ３０の視野３１内のコンベア
１上にワークＷをセットし、その時点におけるパルスコ
ーダ計数出力値Ｎvsをロボット制御部１０のＤＳＰ用デ
ータメモリ１７と画像処理装置２０のデータメモリ２６
に格納する。また、カメラ３０による撮影を実行し、ワ
ークＷの画像を基準画像として取り込み、フレームメモ
リ２３に格納する。

【００４７】（４）コンベア１を走行させ、ロボットＲ
Ｂにトラッキング動作を開始させるに適した位置（ライ
ン６０上）にワークＷが到達したら、コンベア１を停止
させる。そして、その時点のパルスコーダ計数出力値Ｎ
60と先に記憶したＮvsとの差（インクリメンタル量）Δ
Ｎ60-vs ＝Ｎ60−Ｎvsを計算して、ＤＳＰ用データメモ
リ１７に格納する。

【００４８】（５）コンベア１を再び更に走行させ、ロ
ボットＲＢがワークＷに対する作業を開始するに適した
位置にワークＷをもって来る。そして、その時点のパル
スコーダ計数出力値Ｎtcと先に記憶したＮvsからΔＮtc
-vs ＝Ｎtc−Ｎvsを計算して、ＤＳＰ用データメモリ１
７に格納する。

【００４９】（６）ロボットＲＢに所期の作業（例え
ば、樹脂材料の注入、シーリング剤の塗布など）の実行
に必要な動作を教示する。ここでは、その詳細は省略す
る。 （７）コンベア１を再び更に走行させ、ロボットＲＢの
トラッキング動作を終了させるに適した位置（ライン７
０上）にワークＷをもって来て、コンベア１を停止させ
る。そして、その時点のパルスコーダ計数出力値Ｎ70と
先に記憶したＮvsからΔＮ70-vs＝Ｎ70−Ｎvsを計算
し、結果をＤＳＰ用データメモリ１７に格納する。

【００５０】（８）トラッキング座標系の設定 ロボットＲＢとコンベア１の座標系の共有化を行なう為
に、トラッキング座標系Σtrを次の条件で設定する。な
お、ここではＸ軸がコンベアの走行方向と一致したベー
ス座標系Σb が設定済みであるものとする。即ち、トラ
ッキング座標系Σtrはベース座標系Σb と同姿勢で設定
され、トラッキング座標系Σtrが移動を開始するまでの
原点位置は、 Ｘ0 ＝−Ｌ0 Ｙ0 ＝０ Ｚ0 ＝０ であり、両者の座標値の関係は、 ｘ＝Ｘ−Ｌ0 ｙ＝Ｙ ｚ＝Ｚ で表わされるものとする。但し、Ｌ0 は教示点Ｑ0 の位
置とトラッキング開始ライン６０までの距離である。そ
こで、Ｌ0 の値を確定するために、既に求められたスケ
ールファクタα、ΔＮ60-vs，ΔＮtc-vsを用いて、 Ｌ0 ＝α（ΔＮtc-vs−ΔＮ60-vs） を計算し、トラッキング座標系Σtrを既述するパラメー
タとして、ロボット制御部１０の不揮発性メモリ１４に
格納する。

【００５１】トラッキング座標系Σtrをこのように設定
することで、ロボットを初期位置にあるトラッキング座
標系Σtr上で動作させた時、教示点Ｑ0 の位置をトラッ
キング開始ライン６０上の点Ｑ0'として認識する。

【００５２】トラッキング座標系Σtrは、トラッキング
動作開始指令を受けてコンベア１と等速でｘ軸方向（＝
Ｘ軸方向）へ移動を開始する。トラッキング座標系Σtr
の移動量は、後述するように、パルスコーダ計数出力値
Ｎの変化量とスケールファクタαに基づいてリアルタイ
ムに決定される。

【００５３】（９）その他、後述する処理でアクセスさ
れるレジスタの設定、視野３１の長さ、撮影間隔を調節
するパラメータ、エラー信号出力の基準値などの設定を
行なう（ｗ，ｆ30，ε1 ，ε2 等）。

【００５４】以上で、トラッキング実行の為の準備作業
が完了する。次に、図５及び図６のフローチャートを参
照して、トラッキングによる本作業実行時のＣＰＵ処理
について説明する。処理は視覚センサＶＳ側の処理と、
ロボット制御部１０側の処理に大別され、これらはタス
ク処理として並行的に実行される。先ず、図５に示した
視覚センサＶＳ側の処理の概要を述べる。なお、以下の
説明は次の（１）〜（３）の前提の下で行なう。

【００５５】（１）ｗは視覚センサＶＳによる位置検出
結果のデータ格納が完了し、且つ、ロボットＲＢによる
作業が行なわれていないワークの数を表わす指標値であ
り、その初期値は当然ｗ＝０である。 （２）供給されるワークＷの姿勢にはばらつきがあり、
それを考慮してコンベア１の搬送方向に沿って測ったワ
ークＷの最大の長さを、図７に示したように、ｓ0 とす
る。 （３）カメラ３０の視野３１は、コンベア１のほぼ全幅
をカバーしており、ワーク像がコンベア１の幅方向には
み出ることはないものとする。

【００５６】ロボット制御部１０と画像処理装置２０内
で行なわれる処理は、ワーク供給源１００がコンベア１
上へのワーク供給を開始したことを知らせる適当な外部
信号を受けて、同時に開始される。画像処理装置２０の
ＣＰＵ２１は先ず撮影指令を出力し、カメラ３０による
撮影を実行し、取得した画像をフレームメモリに格納す
るとともに（ステップＳ１）、画像取得時のパルスコー
ダ計数出力値Ｎ30をＤＳＰ用メモリ１７とデータメモリ
２６に格納する（ステップＳ２）。

【００５７】更に、ステップＳ１で取得した画像をプロ
グラムメモリ２４に格納された解析プログラムを用いた
解析を行い、先ず最下流のワークの検出を試みる（ステ
ップＳ３）。最下流のワークの検出に成功（ａ，ｂ，
ｃ，ｄ全点検出）しなかった場合には（ステップＳ４で
ノー）、ステップＳ５以下へ進み、次回撮影に備える態
勢に入る。即ち、ステップＳ５では、パルスコーダ計数
出力値Ｎを短周期で繰り返しチェックし、最新の画像取
得時からのコンベア移動量α（Ｎ−Ｎ30）がｆ30−ε1
（ε1 ＞０）を越えるのを待つ（ステップＳ５）。

【００５８】ここでε1 は、相前後して取得される２つ
の画像間に撮影漏れとなる領域が生じないようにするだ
けでなく、すべてのワークについていずれかの撮影機会
においてａ，ｂ，ｃ，ｄの全点が検出されることを基本
的に保証するための調整値である。従って、ε1 は上述
したワーク最大長ｓ0 を下回らない条件で、ほぼ最小に
定められる。

【００５９】例えば、視野長１００．０ｃｍ、ｓ0 ＝
５．０ｃｍとした時、ε1 ＝５．１ｃｍ〜６．０ｃｍと
する。ε1 を必要以上に大きくすることは、二重撮影領
域（相前後して撮影される画像に重なって含まれる領
域）が大きくなり、効率上好ましくない。特に、ε1 ＞
２ｓ0 とすると、一つのワークに対して２回の検出が行
なわれる可能性も出て来る。

【００６０】ステップＳ５でイエスの判定が出されたな
らば、コンベア移動量α（Ｎ−Ｎ30）がｆ30−ε1 ＋ε
2 を越えていないこと、及び処理終了信号が出力されて
いないことを確認した上で（ステップＳ６、Ｓ７）、ス
テップＳ１へ戻り、次回の撮影／画像取り込み、Ｎ30の
記憶（ステップＳ２）、画像処理（ステップＳ３）を順
次実行する。

【００６１】ステップＳ５の判定式に含まれるε2 は、
次回撮影にかかろうとする時点で既にコンベア移動量が
過大となり、すべてのワークについていずれかの撮影機
会においてａ，ｂ，ｃ，ｄの全点が検出されることを基
本的に保証するための二重撮影領域を形成出来ない状態
に至っていないかどうかを判定するための調整値で、本
処理では０＜ε2 ≦ε1 −ｓ0 に設定される。但し、ε
1 ＝ｓ0 とした場合には、ε2 ＝０となるので、このス
テップＳ６は不要になる。

【００６２】このステップＳ６でイエスの判定が出力さ
れるのは、コンベア速度が画像処理速度に比べて速すぎ
る場合、画像処理に異常に長い時間が費やされた場合な
どである。このようなケースは、システムが正常作動し
ていないことを意味すると考えられるので、ステップＳ
８へ進み、エラー信号を出力した上で処理を終了する。
また、ステップＳ７でイエスの判定が出力されるのは、
全ワークの撮影終了を表わす外部信号、ロボット側でエ
ラー信号等が出力された場合などである。

【００６３】ワークＷが次々と視野内３１に到達するよ
うになると、ステップＳ４でイエスの判定が出力される
ようになる。その場合には、ステップＳ９へ進み、位置
検出の結果を画像取得時のパルスコーダ計数出力値Ｎ30
と対応付けて記憶し（ステップＳ９）、レジスタ値ｗの
値を１カウントアップする（ステップＳ１０）。なお、
記憶形式については後述する。最下流のワークについて
の位置検出／記憶が完了したら、同画像中に他のワーク
画像が一部でも含まれているか否かを判定する（ステッ
プＳ１２）。

【００６４】ステップＳ１２の判断がノーであれば、ス
テップＳ５以下へ進み、次回の撮影タイミングを待つ。
ステップＳ５〜ステップＳ８の処理については既に述べ
た通りである。ステップＳ１２の判断結果がイエスであ
れば、ステップＳ９へ戻り、ステップＳ１０〜ステップ
Ｓ１２の処理を再度実行する。

【００６５】以上説明した処理サイクル（ステップＳ１
〜Ｓ１２）を処理終了まで繰り返すことで、システムが
異常動作しない限り、すべてのワークについてａ，ｂ，
ｃ，ｄの位置を表わすデータが順次取得される。図８
は、これらデータの記憶形式を説明する図で、各コラム
は左から順に、ライン番号、ａ，ｂ，ｃ，ｄの検出位置
を基準画像についての値との偏差（ずれ量）で表わした
データ、その位置検出を行なった画像の取得時のパルス
コーダ計数出力値Ｎ30を表わしている。

【００６６】ここに記した例では、３個のワークのデー
タが書込み済みとなっており（ｗ＝３）、３つのワーク
について点ａ，ｂ，ｃ，ｄの位置偏差（Δｘa1，Δｙa
1），（Δｘb1，Δｙb1）・・・・（Δｘc2，Δｙc
2），（Δｘd2，Δｙd2）がＮ30の値とともに書き込ま
れている。

【００６７】画像取得時のパルスコーダ計数出力値Ｎ30
の数値はあくまで例示であるが、１行目のＮ30と２行目
のＮ30が一致しているのは、同一の撮影機会で得られた
画像中の２つのワーク画像について点ａ，ｂの位置検出
がなされたことを意味している。なお、データの書込
は、最上のブランク行に対して行なわれる。また、ロボ
ット側でのデータアクセスは最上行（最上流のワークの
データ）から行なわれ、データアクセス完了後に消去さ
れるとともに、他行のデータの格納位置が一行づつくり
上がげる処理が実行されるものとする。

【００６８】次に、ロボット制御部１０側で行なわれる
処理の概要を説明する。ワーク供給開始を知らせる適当
な外部信号を受けて、ロボット制御部１０のＣＰＵ１１
は処理を開始し、先ず、教示点Ｑ0 の位置データを含む
動作プログラムデータを読み込み（ステップＲ１）、レ
ジスタ値ｗを短周期で繰り返しチェックする態勢に入る
（ステップＲ２）。上述した撮影とそれに続く画像処理
装置２０側の処理によって、ワークＷの位置が検出され
ると、その結果が図８に示した形式で記憶されるととも
にレジスタ値ｗが０でない値となる。

【００６９】これによりステップＲ２でｗ≠０が検出さ
れると、直ちに、ワーク１個分のデータが読み込まれる
（ステップＲ３）。図８の例で言えば、第１行目のデー
タ［Δｘa1，Δｙa1，Δｘb1，Δｙb1，Δｘc1，Δｙc
1，Δｘd1，Δｙd1，4565］が読み込まれる。読み込み
が完了したら、図８に示したデータから第１行目のデー
タを消去し、データ更新を行なう（ステップＲ４）。デ
ータ更新は、第１行目のデータの消去後に第２行目以下
のデータの書込行を第１行づつ繰り上げることで達成さ
れる。図８に示した例では、次の手順で更新が行なわれ
る。

【００７０】１．第１行目のデータを消去する。 ２．第２行目のデータを第１行目にコピーする。 ３．第２行目のデータを消去する。 ４．第３行目のデータを第２行目にコピーする。 ５．第３行目のデータを消去する。

【００７１】次いで、パルスコーダ計数出力値Ｎが、Ｎ
＝ΔＮ60-vs＋Ｎ30（上記例ではＮ30＝4565）に到達す
るのを待つ態勢に入る（ステップＲ５）。Ｎ＝ΔＮ60-v
s＋Ｎ30というパルスコーダ計数出力値は、ワークがト
ラッキング開始ライン６０の位置に到達したことの目安
となるものである。もし、そのワークの撮影位置が基準
画像を得た時のワーク位置と一致していれば、この値は
そのワークがトラッキング開始ライン６０の位置に到達
したことを正確に表わす筈である。

【００７２】ステップＲ５でイエスの判断出力が得られ
たならば、直ちにトラッキング座標系Σtr上でロボット
ＲＢの移動を開始させるとともに、トラッキング座標系
Σtrの移動を開始させる（ステップＲ６）。トラッキン
グ座標系Σtrの移動は、トラッキングΣtrの原点位置
［Ｘ0 ，Ｙ0 ，Ｚ0 ］を次式で表わされたものとするこ
とで達成される。 Ｘ0 ＝−Ｌ0 ＋α｛Ｎ−（ΔＮ60-vs＋Ｎ30）｝ Ｙ0 ＝０ Ｚ0 ＝０ トラッキング座標系Σtrが移動中の座標値の変換式は、 ｘ＝Ｘ−Ｌ0 ＋α｛Ｎ−（ΔＮ60-vs＋Ｎ30）｝ ｙ＝Ｙ ｚ＝Ｚ となる。

【００７３】これにより、ロボットＲＢのトラッキング
動作が開始される。即ち、ロボットＲＢは、トラッキン
グ座標系Σtr上で教示点を目指して移動を開始する。但
し、補間動作で作成される補間点の位置は、ステップＲ
３で読み込んだデータ（基準位置とのずれ量）に基づい
て補正される。

【００７４】移動開始時点における教示点位置は、トラ
ッキング座標系Σtrの初期位置の設定法から考えて、図
３中に符号Ｑ0'で示したように、トラッキング開始ライ
ン６０上にある。そして、トラッキング座標系Σtr移動
開始後には、この点Ｑ0'をコンベア１の走行と同期移動
させた点（より正確に言えば、それを視覚センサのデー
タで補正した位置）を目指すようにロボットＲＢの移動
が行なわれる。

【００７５】トラッキング範囲内でロボットＲＢが余裕
を以てワークＷに追いついたことが確認されると（ステ
ップＲ７→ステップＲ８）、教示済みの作業がトラッキ
ング座標系Σtr上で実行される（ステップＲ９）。ここ
で、ステップＲ７におけるＮ＝ΔＮ70-vs ＋Ｎ30−δ
（δ＞０）の含まれるδは、ロボットＲＢがトラッキン
グ範囲内で所定の作業を完了するために必要とされる余
裕を表わす調整量で予め適当な値が設定される。

【００７６】パルスコーダ計数出力値ＮがＮ＝ΔＮ70-v
s ＋Ｎ30に到達したならば（ステップＲ１０）、ロボッ
トＲＢのトラッキング座標系Σtr上での動作を終了さ
せ、ロボットを初期位置Ｐ0 へ戻す（ステップＲ１
１）。

【００７７】以上で、一つのワークに対する動作サイク
ルを終了し、ステップＲ２へ戻り、次の検出ワークに対
する処理を開始する。ステップＲ２以下の処理は、上述
した通りであるから省略する。

【００７８】ステップＲ８でノーの判断が出された場合
には、トラッキング範囲内での作業完了が困難な状態と
みなし、エラー信号を出力し（ステップＲ１２）、処理
を終了する。このエラー信号は、画像処理装置側で検知
（図５のフローチャート；ステップＳ７を参照）され、
画像処理装置側の処理も終了される。このような事態が
生ずるのは、ワーク供給間隔Ｄが短すぎるなどの理由
で、ロボットがワークにトラッキング範囲内で余裕を以
て追いつけない場合である。

【００７９】なお、ワーク供給間隔Ｄが短い場合には、
例えばロボットを２台以上配置し、交番的にトラッキン
グ動作させるようにすれば、このような事態を避けるこ
とが出来る。

【００８０】以上、本発明をトラッキング用の画像取得
と処理に適用した例について説明したが、搬送手段上で
移動する対象他の事例への適用が可能であることは言う
までもない。例えば、ワークの検査工程に適用する場合
であれば、画像処理を寸法、形などを検査するプログラ
ムに従って行なうようにすれば良い。そして、不良ワー
クの検出時にのみその不良ワークの位置データを記憶
し、これをロボット側で読み出してトラッキング動作を
行なわせるようにすれば、上記説明したシステムを不良
ワークの検査／除去工程に適用することも出来る。

【００８１】

【発明の効果】本発明によれば、搬送手段によって連続
的に搬送されて来る対象物について、より簡素なシステ
ムを用いて無駄なく画像の取得と処理を行なうことが可
能になる。また、そのことを通して、搬送手段によって
連続的に搬送されて来る対象物に対するトラッキング動
作を行なうロボットを用いたシステムや、視覚センサを
用いた検査を行なうシステムを簡素化することが出来
る。

【図面の簡単な説明】

【図１】ロボットにトラッキング動作を行なわせる際に
用いられる従来の配置について説明する図である。

【図２】従来の画像取得／処理方式が不効率であること
を説明する図で、（１），（２）は、相前後して取得さ
れる画像の例を表わしている。

【図３】本発明をロボットのトラッキング動作のために
適用する際の全体配置の１例を、図１と類似した形式で
示したものである。

【図４】図３の配置に対応したシステム構成の一例を要
部ブロック図で示したものである。

【図５】本発明の一つの実施形態において、画像処理装
置側で行なわれる処理内容の概略を記したフローチャー
トである。

【図６】本発明の一つの実施形態において、ロボット制
御部側で行なわれる処理内容の概略を記したフローチャ
ートである。

【図７】供給ワークＷの最大長ｓ0 について説明する図
である。

【図８】ワークの位置検出データの記憶形式を説明する
図である。

【符号の説明】

１ コンベア ２ コンベア駆動部 ３ パルスコーダ ４ センサ １０ ロボット制御部 １１ ＣＰＵ（ロボットコントローラ） １２ ＲＯＭ １３ ＲＡＭ １４ 不揮発性メモリ １５ 軸制御器 １６ サーボ回路 １７ デジタルシグナルプロセッサ（ＤＳＰ）用データ
メモリ １８ デジタルシグナルプロセッサ（ＤＳＰ） １９ センサインターフェイス ２０ 画像処理装置 ２１ ＣＰＵ（画像処理装置） ２２ カメラインターフェイス ２３ フレームメモリ ２４ プログラムメモリ ２５ 画像処理プロセッサ ２６ データメモリ ２７ モニタインターフェイス ３０ カメラ ３１ 視野 ４０ モニタＣＲＴ ５０ 検出位置ライン ６０ トラッキング開始ライン ７０ トラッキング終了ライン ８０ 直線軌道 ９０ 曲線軌道 １００ ワーク供給源 ＢＳ，ＢＳ’，ＢＳ” バス Ｐ0 ロボット初期位置 ＲＢ ロボット ＲＣ ロボットコントローラ ＶＳ 視覚センサ Ｗ，Ｗ’，Ｗ” ワークまたはワーク画像 ａ，ｂ，ｃ，ｄ ワークの特徴点

Claims (3)

【特許請求の範囲】
1. 【請求項１】 対象物を搬送する手段と、前記搬送手段
   の走行量を検出する手段と、前記対象物の搬送経路上に
   視野を持つカメラ手段を備えた視覚センサと、前記視覚
   センサの制御手段とを用い、前記搬送手段によって搬送
   中の前記対象物に関する情報を獲得するために、前記視
   野に対応した画像を繰り返し取得するとともに該取得さ
   れた画像に関する処理を行なうようにした画像の取得・
   処理方法において、 前記搬送手段が所定距離を走行したことを表わす検出出
   力が前記搬送手段の走行量を検出する手段から前記視覚
   センサの制御手段へ与えられる毎に、前記画像の取得と
   処理が実行され、 前記所定距離は、前記搬送経路に沿った前記視野の長さ
   から前記搬送経路に沿ったに前記対象物の長さを差し引
   いた距離を下回らず、且つ、ほぼ等しくなるように予め
   定められる、前記画像の取得・処理方法。
2. 【請求項２】 対象物を搬送する手段と、前記搬送手段
   の走行量を検出する手段と、前記対象物の搬送経路上に
   視野を持つカメラ手段を備えた視覚センサと、前記視覚
   センサの制御手段とを用い、前記搬送手段によって搬送
   中の前記対象物に関する情報を獲得するために、前記視
   野に対応した画像を繰り返し取得するとともに該取得さ
   れた画像に関する処理を行なうようにした画像の取得・
   処理方法において、 前記搬送手段が所定距離を走行したことを表わす検出出
   力が前記搬送手段の走行量を検出する手段から前記視覚
   センサの制御手段へ与えられる毎に、前回の取得された
   画像との間に撮影漏れ領域を生じずに画像の取得と処理
   を行なうことが可能か否かが判定され、可能と判定され
   た場合には画像の取得と処理が行われ、不可能と判定さ
   れた場合にはエラー信号が生成される、前記画像の取得
   ・処理方法。
3. 【請求項３】 前記対象物に関する情報前記対象物の位
   置に関する情報を含み、且つ、該位置情報がロボットの
   トラッキング動作に利用される、請求項１または請求項
   ２に記載された画像の取得・処理方法。