JPH05305588A - 視覚付ロボットの制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 ロボットの動作中にワークや目標物がズレて
も意図した動作が実行されるようにする。 【構成】 ロボットの姿勢を、ロボット、ロボットに把
持されているワーク及び目標物の少なくとも１つの最新
座標データに基づいて調整する。このために座標算出手
段とロボットコントローラは別の演算処理装置を備え、
両者間をバスで接続する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視覚付きロボットの制
御装置に関する。なおここでいう視覚付ロボットとは、 ａ．ワーク位置を撮像して求め、これをロボットで把持
する装置、 ｂ．ロボットに把持されているワーク位置を撮像して求
め、これを目標位置に搬送する装置、 ｃ．ロボットのハンド位置を撮像して求め、さらにワー
ク位置を撮像して求め、両データに基づいてハンドをワ
ークに移動させるロボット等をいう。

【０００２】

【従来の技術】従来の視覚付きロボットの制御技術で
は、ロボットの動作命令を実行するに先立って、視覚装
置によって目標位置の座標を求め、ロボットの動作命令
を指定するときに前提としていた基準位置と実位置との
偏差を求め、これによってロボットの動作量を修正して
ロボットを制御している。この方式が図２に模式的に示
されている。

【０００３】

【発明が解決しようとする課題】上述したような技術で
は、視覚装置によって目標位置を一度決定すると、この
値を基にしてロボットが動作するため、目標位置を決定
する時の視覚装置からのデータに、照明等の不具合によ
ってノイズが発生していると、正しい動作が行なわれな
い。また、ロボットの動作命令の開始後に、目標位置が
ズレたり、あるいはロボットに把持されているワークが
ズレたりすると、所望の動作が実行されない。そこで本
発明では、上述の現象が生じてもなおロボットが意図し
たとおりに作動する制御装置を開発することにした。

【０００４】

【課題を解決するための手段】そのために、本発明で
は、撮像装置の視野内でワークを搬送するロボットの制
御装置であり、ワークまたはロボットのハンド上に設定
された特定部位の座標で指示されるロボットの動作命令
を記憶しておく手段と、撮像装置で撮像されている前記
特定部位の座標を時々刻々算出する手段と、前記動作命
令中の座標と前記時々刻々算出される座標との偏差を時
々刻々算出する手段と、前記算出される偏差がゼロとな
るまでロボットの姿勢を調整する姿勢コントローラとを
有することを特徴とする視覚付ロボットの制御装置を開
発した。

【０００５】

【作用】本発明に係わるロボットの制御装置によると、
ロボットの動作はワークまたはハンドの特定部位の座標
で指示されている。例えば図１に示すようにワークＷの
特定部位Ｐ１を目標位置Ｐ２に移動させたい場合には、
ロボットの動作命令中に、目標位置Ｐ２の座標（ＸＴ，
ＹＴ）が指定されている。

【０００６】一方撮像装置ではワークＷを撮像し、その
撮像データから前記ワークＷの前記特定部位Ｐ１の座標
（Ｘ０，Ｙ０）が時々刻々算出されている。そしてその
偏差（すなわちＸＴ−Ｘ０，ＹＴ−Ｙ０）も時々刻々算
出されている。ロボットの姿勢コントローラはこの偏差
に基づいて、その偏差がゼロとなるようにロボットの姿
勢を調整する。この結果ワークＷの特定部位Ｐ１は目標
位置Ｐ２におかれる。ロボットがワークＷを搬送中に、
なんらかの理由でハンドとワークの位置関係がズレて
も、前述の作動は滞りなく実行される。

【０００７】

【実施例】本発明を具現化した一実施例を図３を参照し
て説明する。この実施例は、ロボットＲＢに把持された
ワークＷを撮像装置（この実施例ではＣＣＤカメラ６）
の視野内にある目標物ＰＴにまで搬送する装置である。
この装置ではロボットＲＢに把持されたワークＷの開口
Ｗ１の中心をワークの特定部位とし、この開口Ｗ１を目
標物ＰＴの直上に位置させたあとワークＷを解放し、ワ
ークＷを目標物ＰＴに挿通した状態で積み重ねるために
用いられる。

【０００８】ＣＣＤカメラ６は、目標ＰＴを視野内にお
さめており、ワークＷが目標ＰＴに近づくと、ワークＷ
をも視野内におさめる。ＣＣＤカメラ６の側方にはレー
ザ投光器２が固定されており、このレーザ投光器２は図
中２ａに示す一平面内のビーム光を照射し、ワークＷ上
にレーザ光の照射線２ｂを形成する。同様にレーザ投光
器４も図中４ａに示す一平面内のビーム光を照射し、ワ
ークＷ上にレーザ光の照射線４ｂを形成する。なお両照
射線２ｂ，４ｂはほぼ直交するように配置されている。
ＣＣＤカメラ６では、ワークＷの板中に、他所よりも明
るい照射線２ｂ，４ｂと他所よりも暗い開口Ｗ１を撮像
する。またＣＣＤカメラ６は画素列を有し、これをこの
装置のＸ，Ｙ軸とする。またこのＣＣＤカメラの平面座
標系に直交する軸をＺ軸としている。

【０００９】ＣＣＤカメラ６の信号はケーブル７を介し
て視覚情報処理装置１０に送られて処理される。この視
覚情報処理装置は後述のように４つの演算処理装置を有
し、座標を計算してバス５２，５４，５６，５８に座標
データを出力する。図４は視覚情報処理装置１０のシス
テム構成を有しており、ＣＣＤカメラ６の画像情報はフ
レームメモリ１２に記憶される。なおフレームメモリ１
２中のデータは時々刻々最新のものに更新される。フレ
ームメモリ１２にはバスを介して４つのＣＰＵ（演算処
理装置）１８，２４，３０，３６が接続されており、各
ＣＰＵにＲＯＭとＲＡＭが接続されている。各ＣＰＵ１
８，２４，３０，３６はバスを介してＩ／Ｏインターフ
ェース３８に接続され、Ｉ／Ｏインターフェース３８は
バス５２，５４，５６，５８を介してロボットコントロ
ーラ６０に接続されている。ロボットコントローラは図
示しないＣＰＵを有している。すなわち視覚情報処理装
置１０とロボットコントローラ６０は別々にＣＰＵを有
し、バス５２，５４，５６，５８で接続されている。

【００１０】視覚情報処理装置１０の第１ＣＰＵ１８は
ＲＯＭ１４に記憶されているプログラムに従って、図５
の処理を実行する。即ち、ステップＳ２ではフレームメ
モリ１２中のデータを２値化処理し、図６によく示され
ているようにワークＷの開口Ｗ１（ここは暗い）を他所
と区分する。すなわち開口Ｗ１よりは明るく他所よりは
暗いレベルを閾値として２値化する。ステップＳ４では
暗い画素の個数をＸ軸とＹ軸についてそれぞれヒストグ
ラム処理する。この結果図６に示すヒストグラムが得ら
れ、このヒストグラムのピークとなる座標値から開口Ｗ
１の中心座標（Ｘ０，Ｙ０）が算出される（Ｓ６）。こ
の座標、すなわち開口Ｗ１の中心座標（これはワークＷ
の特定部位の座標である）はステップＳ８でバス５２に
出力される。この処理は繰返し実行され、バス５２には
最新の座標データが出力されることになる。

【００１１】視覚情報処理装置１０の第２ＣＰＵ２４は
ＲＯＭ２０に記憶されているプログラムに従って図７に
示す処理を実行する。ステップＳ１０では、レーザ照射
線４ｂ，２ｂよりは暗く、ワークＷ表面よりは明るいレ
ベルの閾値を用いてフレームメモリ１２中のデータを２
値化する。これにより図８(b) に示すように、レーザ照
射線４ｂ，２ｂが抽出される。次に、図８(b) の領域Ｘ
１１に示される範囲について、Ｙ軸に沿ってヒストグラ
ム処理する（Ｓ１２）。この結果図８(b) の上方に示す
ヒストグラムが得られこのピークをもつ座標Ｙ１を算出
する（Ｓ１４）。同様にステップＳ１６では図８(b) の
領域Ｘ２２に示す範囲についてヒストグラム処理をす
る。この結果図８(b) の下方に示すヒストグラムが得ら
れこのピークをもつ座標Ｙ２を算出する（Ｓ１８）。そ
してＹ１とＹ２の平均値を算出する（Ｓ１９）。

【００１２】図８の(a) に示すように、レーザ光４ａは
Ｚ軸に対して傾斜している。そしてワークＷがＺ＝０
（これはワークＷが目標ＰＴの頂部と同一高さ位置にあ
ることをいう）の高さにあるときに、レーザ照射線４ｂ
はＹ＝ＹＳの位置関係にあるように設定されている。そ
こでステップＳ２０では前記ＹＳとステップＳ１９での
平均値とから図８(a) のΔＹを算出する。その後ステッ
プＳ２２でこのΔＹの値からＺ0 を算出する。これはレ
ーザ４ａの傾きが既知であることから容易にわかる。こ
のようにして得られたＺ0 の値は、ワークＷのＺ座標で
あり、これはバス５４に出力される（ステップＳ２
４）。以上の処理は繰返し実行され、バス５４にはワー
クＷの最新のＺ0 座標が出力される。

【００１３】視覚情報処理装置１０の第３ＣＰＵ３０は
ＲＯＭ２６に記憶されているプログラムに従って図９の
処理を実行する。ステップＳ３０では、図７のステップ
Ｓ１０と同様の処理を実行し、レーザ照射線２ｂ，４ｂ
を抽出する。ステップＳ３２，Ｓ３４，Ｓ３６，Ｓ３８
では、図７のステップＳ１２，Ｓ１４，Ｓ１６，Ｓ１８
と同様の処理を実行し、図８(b)のＹ１とＹ２を算出す
る。ステップＳ４０ではＹ１−Ｙ２を算出する。

【００１４】ステップＳ４２，Ｓ４４，Ｓ４６，Ｓ４８
では、レーザ照射線２ｂに対して、Ｓ３２，Ｓ３４，Ｓ
３６，Ｓ３８で実行したレーザ照射線４ｂに対する処理
と同様の処理をし、Ｓ５０でＸ１−Ｘ２を算出する。

【００１５】図８(b) において、ワークＷが水平にある
と、Ｘ１−Ｘ２もＹ１−Ｙ２もともにゼロにある関係に
おかれている。このためワークＷの水平面からの傾きに
応じてＸ１−Ｘ２とＹ１−Ｙ２が特有の値を持つことに
なり、この関係を用いて図９のステップＳ５２では、ワ
ークＷのＸ軸まわりの角θX とＹ軸まわりの角θY が算
出される。算出されたθX とθY はステップＳ５４でバ
ス５６に出力される。以上の処理は繰返し実行される結
果、ワークＷの傾きに関する最新のデータが常時バス５
６に出力されていることになる。

【００１６】視覚情報処理装置１０の第４ＣＰＵ３６は
ＲＯＭ３２に記憶されているプログラムに従って目標Ｐ
Ｔの中心座標ＸＴ，ＹＴを算出し、バス５８に出力す
る。すなわちバス５８には、ロボットの動作中に目標Ｐ
Ｔがズレると、そのズレたあとの最新座標データが出力
される。ただし目標ＰＴがワークＷによってカバーさ
れ、ＣＣＤカメラ６が目標ＰＴを視認できなくなると、
バス５８にはその直前の座標データＸＴ，ＹＴが保存さ
れるようになっている。

【００１７】図３で６０で示されるロボットコントロー
ラは、バス５２，５４，５６，５８等を介して送られる
最新の座標データ（傾きに関するデータを含む）に基づ
いてロボットＲＢの姿勢を制御する。ロボットコントロ
ーラ６０は、ロボットの動作命令を記憶している記憶手
段と、偏差を算出する手段と、偏差がゼロとなるように
ロボットの姿勢を調整する装置とを内蔵している。

【００１８】ロボットの動作命令はワークＷの特定部
位、この場合開口Ｗ１の中心の位置座標（傾きを含む）
を指定することで与えられている。例えばワークＷの開
口Ｗ１を目標ＰＴの直上に位置させ、しかもワークＷを
水平に置きたい場合には、 ＭＯＶＥ（ＸＴ０，ＹＴ０，ＺＴ０，ＦＬＡＴ） という命令で与えられる。ここでＸＴ０，ＹＴ０，ＺＴ
０は目標ＰＴの基準座標であり、この場合目標ＰＴの頂
点がＺ＝０であることからＺＴ０はゼロとされる。

【００１９】この命令が与えられると、ロボットコント
ローラ６０に内蔵されているＣＰＵが内蔵されているプ
ログラムに従って作動して図１０の処理を実行する。ま
ずステップＳ６２で、目標ＰＴの現実の座標ＸＴ，ＹＴ
を読込む。ＸＴ，ＹＴはバス５８を介して最新のものが
送られており、目標がズレていても対応可能となってい
る。

【００２０】次にステップＳ６４でワークＷの現在の座
標データ（Ｘ０，Ｙ０，Ｚ０，θx，θY ）を読込む。
ここでは視覚情報処理装置１０からバス５２，５４，５
６を介して送られる最新のデータが読込まれる。以上の
処理の終了後ステップＳ６６で偏差を算出する。ここで
算出された偏差は、ワークＷの座標をどれだけ移動させ
ると、ワークＷの開口Ｗ１が目標ＰＴの直上に水平に置
かれるかを示す値であり、ステップＳ６８では各偏差を
ゼロとする向きにロボットの姿勢を変えるロボットＲＢ
の各軸のサーボモータが回転される。ステップＳ７０で
は各偏差がゼロになったか否かを判別し、ゼロにならな
い間はステップＳ６２，Ｓ６４，Ｓ６６，Ｓ６８を繰返
す。

【００２１】この結果、ワークＷはその開口Ｗ１が目標
ＰＴの直上に水平におかれるまで移動され、そのときに
ステップＳ７２にすすむ。これにより命令ＭＯＶＥ（Ｘ
Ｔ０，ＹＴ０，ＺＴ０，ＦＬＡＴ）の処理が終了する。
なおここでなんらかの原因でワークＷがロボットＲＢの
ハンドからズレたりしても、上述の動作は滞りなく行な
われる。また目標ＰＴがズレても同様である（ただしこ
の実施例では目標ＰＴがワークＷにかくれた後に動くこ
とに対しては追従できない。これを避けるためには、ワ
ークＷと目標ＰＴの両者を常時視認できるところにカメ
ラ６をセットすることになる。）。この実施例では、レ
ーザ投光器２，４を備えることによってワークＷの高さ
や傾きをも検出するようにしているが、ロボットの動き
が一平面内に限られている場合には、これらは不可欠で
はない。

【００２２】上述の実施例では、ロボット動作命令記憶
手段がロボットコントローラ６０で実現されている。ま
たワークの特定部位の座標を時々刻々算出する手段が視
覚情報処理装置１０で構成されている。さらに偏差を算
出する手段と偏差をゼロにするようにロボット姿勢を調
整する装置がロボットコントローラ６０で構成されてい
る（図１０のステップＳ６６，Ｓ６８，Ｓ７０とそれを
繰返すループ参照）。この実施例では偏差を算出すると
きに、動作命令中の座標データ（ＸＴ０，ＹＴ０）でな
くそれを修正した座標（ＸＴ，ＹＴ）との偏差を算出し
ている。これは動作命令中のデータを最新のデータに修
正するためのものであり、目標物が動かなければ、動作
命令中のデータを修正する必要はない。この場合はＸ０
−ＸＴ０，Ｙ０−ＹＴ０を演算すればよい。

【００２３】またこの実施例では座標を算出する視覚情
報処理装置１０とロボットの姿勢コントローラ６０がそ
れぞれ異なる演算処理装置を有し、各演算処理装置間は
バス５２，５４，５６，５８で接続されており、またロ
ボットの姿勢コントローラはバス５２，５４，５６，５
８を介して送られる最新の座標データに基づいてロボッ
トの姿勢を調整する。

【００２４】図１１は他の実施例を示すものであり、こ
の場合はロボットのハンド上の特定位置の座標でロボッ
トの動作を指定する。この場合撮像装置でハンドの特定
部位の座標を検出しながら、ハンドを目標位置に移動さ
せることになる。このようにするとハンドでワークを把
持することが可能となる。なおレーザ光２，４にかえて
３つのスポット光を照射する光源を用いることができ、
この反射光を撮像することによってハンドの高さ、傾き
を検出することができる。

【００２５】図３，図１１に示される実施例では撮像装
置がロボットないしロボットに把持されているワークの
座標データを検出し、これをバスを介してロボットコン
トローラに送っている。これに対し、図１２は目標を撮
像しながら目標の座標データを時々刻々算出する例を示
しており、この場合姿勢コントローラは最新の目標座標
を用いてロボットの姿勢をコントロールする。なお図１
１，図１２のシステムの詳細は図３〜図１０で説明した
ものと同様であり、詳しい記述は省略する。

【００２６】

【発明の効果】この発明によると、ロボット・ワーク・
目標物等の最新の座標データが時々刻々算出され、これ
がロボットの姿勢制御に反映される。このためロボット
の作動中になんらかの原因で前記３者間の相対関係がズ
レても、意図したとおりの動作が実行される。また従来
だとロボットの動作前に一旦座標が算出されるだけであ
ることからその数値に誤りがあるとロボットの動作が異
常となってしまうが、本発明によるとこうした事故が発
生しにくい。

【図面の簡単な説明】

【図１】請求項１の概念を模式的に示す図

【図２】従来技術を模式的に示す図

【図３】一実施例のシステム図

【図４】視覚情報処理装置のシステム図

【図５】ワーク特定部位の座標を算出する処理手順図

【図６】図５の処理内容を示す図

【図７】ワークの高さを算出する処理手順図

【図８】図７の処理内容を示す図

【図９】ワークの傾きを算出する処理手順図

【図１０】ロボットの姿勢コントローラによって処理さ
れる内容を示す図

【図１１】請求項２の発明の一実施例を模式的に示す図

【図１２】請求項２の他の発明の実施例を模式的に示す
図

【符号の説明】

６：ＣＣＤカメラ；撮像装置 １０：視覚情報処理装置；座標算出手段 ６０：ロボットコントローラ（姿勢コントローラ） Ｓ66：偏差演算処理 Ｓ64，Ｓ66，Ｓ68，Ｓ70のループ：偏差ゼロにロボット
姿勢を調整する処理

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０５Ｄ 3/12 Ｗ 9179−3Ｈ (72)発明者 木村 孝 山形県山形市中桜田二丁目１番３号 株式 会社東洋内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 撮像装置の視野内でワークを搬送するロ
   ボットの制御装置であり、 ワークまたはロボットのハンド上に設定された特定部位
   の座標で指示されるロボットの動作命令を記憶しておく
   手段と、 撮像装置で撮像されている前記特定部位の座標を時々刻
   々算出する手段と、 前記動作命令中の座標と、前記時々刻々算出される座標
   との偏差を時々刻々算出する手段と、 前記算出される偏差がゼロとなるまでロボットの姿勢を
   調整する姿勢コントローラとを有することを特徴とする
   視覚付ロボットの制御装置。