JP4438684B2 - 画像を用いた自動運転装置 - Google Patents

Description

本発明は、自律的に動作する自動運転装置に関するものであり、より詳しくは、可動部を撮影した画像を解析することにより、可動部の制御を行う自動運転装置に関する。

近年、様々な機械、装置の製造工程や検査工程において、自動化が益々進展し、様々な自動組み立て装置や自動検査装置のような自律的に制御し、動作する自動運転装置が使用されるに至っている。例えば自動組み立て装置では、搬送されてくる部品を捕捉し、捕捉した部品を所定の組み立て位置へ搬送し、そして組み立て位置へ搬送された部品に、別の部品を組み込み、出来上がったものを排出するといった動作を行う。このようなそれぞれの動作を行うために、搬送ユニット、組み立てユニットといった複数の可動部が存在し、それらが所定の位置へ向けて、所定のタイミングで正確に動作することが求められる。

従来、こうした装置では、可動部の動作を制御するために、複数のセンサを用いて部品が供給されたか否か、部品が所定の搬送路に沿って正しく搬送されているか否かを調べ、或いは可動部が所定の位置に配置されているか否かを調べることが行われてきた。またこれらセンサは、可動部が所定の可動範囲を超えて動いた場合（オーバーラン）を検知して、その可動部を停止させるといったことにも用いられてきた。例えば、近接スイッチが、部品が所定の搬入路を運ばれてきたか否かを検知するために使用される。また、部品や可動部が、所定の位置に存在するか否かを調べるために、光電スイッチが用いられる。さらに、可動部が所定の位置に存在するか否か、或いはオーバーラン防止のため、可動部の動作端を検出するオートスイッチといったセンサがこうした用途に使用される。このように、動作制御を行うためには、各可動部等について上記のようなセンサを１個以上用いる必要があり、装置全体の大型化、高コスト化の一因となっていた。また、それぞれのセンサについて、正確な位置決めを行う必要があり、装置が複雑化し、含まれる可動部の数が増加するほどその調整に手間が掛かる要因となっていた。

一方、近年のビデオカメラや画像認識技術の発展に伴い、制御や監視の分野では、ビデオカメラを用いて動作対象物、移動目的地の画像を取り込み、その画像を解析して動作対象物の位置を特定し、目的地へ移動させるための制御を行う技術が開発されている（特許文献１〜３参照）。

しかしながら、こうした自動組み立て装置や検査装置のような自動運転装置においては、移動範囲が非常に狭い可動部を有する場合もある。上述した画像の解析結果から動作対象物の位置を特定する技術では、このように移動範囲が狭い可動部について、移動前後の位置の変化を正確に捉えることが困難な場合がある。また、位置変化を捉えることができなければ、正確に可動部を動かすことができず、装置の動作異常を生じさせるおそれがある。一方、そのような移動範囲の狭い可動部の位置変化を捉えるために、上述した光電スイッチやオートスイッチを設けると、やはり上述したように装置の複雑化によるメンテナンス性の低下を招く。

そこで、可動部を撮影した画像を用いて制御を行う自動運転装置において、移動範囲の狭い可動部を有する場合でも、位置変化を正確に検出可能な自動運転装置の開発が求められている。

実開平５−４０９０８号公報 特開平９−７６１８５号公報 再表２００２−０２３２９７号公報

上記の問題点に鑑み、本発明は、移動範囲の狭い可動部を有する装置において、その可動部の位置変化を正確に検出して制御可能な自動運転装置を提供することを目的とする。

また、本発明の別の目的として、各種センサを省略して制御できる自動運転装置を提供することを目的とする。

また、本発明のさらなる別の目的として、動作の信頼性を向上させた自動運転装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る自動運転装置は、第１の可動部及びその第１の可動部とともに移動する第２の可動部と、第２の可動部が第１の位置にいるときに第１の可動部の位置を示す第１の位置指標及び第２の可動部が第１の位置と異なる第２の位置にいるときに第１の可動部の位置を示す第２の位置指標と、第１及び第２の位置指標の像を第１の可動部の位置変化に連動して変化させる位置変化強調部と、第１及び第２の位置指標の像を撮影する撮像部と、撮像部で撮影された画像データから、第１の位置指標の像または第２の位置指標の像が検出されたか否かに基づいて第１の可動部の位置情報を取得し、その位置情報に基づいて第１の可動部又は第２の可動部を制御する制御部とを有することを特徴とする。

また位置変化強調部は、第１の可動部が予め定められた第３の位置と第４の位置との間で移動する場合、第１の可動部が第３の位置にいる場合には、画像データ上に第１または第２の位置指標の像が写り、第１の可動部が第４の位置にいる場合には、画像データ上に第１及び第２の位置指標の何れの像も写らないように位置指標の像を変化させることが好ましい。このように構成することで、画像データ上で位置指標の像を検出可能か否かについて調べれば、可動部の位置情報を得ることができ、容易に可動部の位置情報を得ることができるためである。

さらに、位置指標を複数備えるようにしてもよい。可動部を３以上の位置で位置情報を得る必要がある場合等、複数の位置指標のうち最も適当なものを用いることができるため、容易に可動部の位置情報を得ることができるためである。

また制御部は、第１の可動部の位置情報が所定の条件を満たしているか否かを判定し、その条件を満たしていると判定した場合、位置情報を得た第１の可動部又は第２の可動部を起動させるための制御信号を出力するように構成してもよい。

本発明によれば、移動範囲の狭い可動部を有していても、その可動部の位置変化を正確に検出して制御可能な自動運転装置を得ることができる。

本発明によれば、複数の可動部を有していても、可動部全体を撮影する撮像部を備えるのみで、撮像部以外の各種センサを省略することができる。

また、複数の可動部を同時に監視しながら制御できるため、動作の信頼性が高い自動運転装置を得ることができる。

以下、図面を参照しつつ本発明の自動運転装置について詳細に説明する。なお、以下に説明する実施形態では、本発明に係る自動運転装置は、部品同士を組み付けて完成品を製造する自動組み立て装置である。また本発明に係る自動運転装置は、撮像部で可動部を撮影し、その撮影した画像データに基づいて、制御部が可動部の位置情報を取得し、その位置情報に基づいて可動部が所定の位置にいると判断した場合、次の動作を行う指令を可動部に与えることによって制御するものである。また特に、移動範囲が狭い可動部に対しては、その移動による位置変化を明確化するための位置変化強調部が設けられ、移動範囲の狭い可動部であっても正確に位置変化を把握できるようにしたものである。

図１に、本発明の実施形態に係る自動運転装置１００の構成ブロック図を示す。また図２に、自動運転装置１００の概略上面図を示す。

本実施形態に係る自動運転装置１００は、一例として、直径５０ｍｍ、高さ５０ｍｍの円筒形をした基幹部品（ワーク）２の中心に、直径２０ｍｍ、高さ１０ｍｍの円筒形の部品３を上方から嵌め込んで完成品４を製造するものである。

本実施形態に係る自動運転装置１００は、可動部である搬送ユニット１０及び上下ユニット２０と、撮像部３０、制御部４０、ワーク搬入部５０、部品投入部６０、ワーク排出部７０等を備える。

また本実施形態に係る自動運転装置１００では、図２に示すように、ワーク２は、ワーク搬送路１に沿ってワーク搬入部５０から搬入され、ワーク排出部７０により排出される。一方、部品３は、部品投入部６０により、ワーク搬入部５０と略直交する方向から投入され、ワーク搬入部５０とワーク排出部７０の中間にある組み立て部８０で、ワーク２に組み付けられる。

ワーク搬入部５０は、前工程から送られてきたワークを連続的に自動運転装置１００に搬入可能なように、ワークを載せて運ぶベルトコンベアで構成する。部品投入部６０は、部品投入側から組み立て部８０側へ緩やかな下降傾斜路であって、振動により、投入された部品３が徐々に組み立て部８０側へ搬送される。ワーク排出部７０は、ワーク搬入部５０同様、ベルトコンベアで構成する。そして、搬送ユニット１０が部品組み付け済みのワーク（完成品）４を組み立て部８０側に最も近いワーク排出部７０の出口７１に排出すると、その完成品４を載せて次工程へ搬送する。

搬送ユニット１０は、ワーク搬送路１と略平行に取り付けられ、ワーク搬入部５０の終端付近の入り口５１にあるワーク２を捕捉し、ワーク排出部７０の方へ平行移動して組み立て部８０へ搬送する。さらに完成品４をワーク排出部７０に存在する出口７１へと搬送する。組み立て部８０に配置した上下ユニット２０は、上部ユニット２１が部品３を捕捉して上下運動し、下部ユニット２２がワーク２を固定することにより、ワーク２に部品３を組み付けて完成品４を製造する。

搬送ユニット１０は、ワーク搬送方向と略並行方法の長さ１５０ｍｍ、略垂直方向の幅５０ｍｍからなる部材１１と、部材１１の下部に取り付けられたグリッパ１２及び駆動用のサーボモータを備える。グリッパ１２は、ワーク搬送方向にワークの幅とほぼ等しい間隔で配置した２本の爪で構成し、ワーク搬送路１に沿って２セット配置する。

また搬送ユニット１０は、ワーク搬送路１の存在する平面内で、ワーク搬送路１と直交する方向、及びワーク搬送路１と平行方向に移動可能である。また搬送ユニット１０の原点位置を、搬送ユニット１０がワーク搬送路１上にあるワーク２と接触しないよう、ワーク搬送路１から約３０ｍｍ後方に離れた位置に設定する。そして、原点位置にある搬送ユニット１０に送り動作を指示すると、ワーク搬送路１に沿って、ワーク排出方向へ向けて約７０ｍｍ移動する（この移動先を便宜上送り位置と呼ぶ）。さらに、送り位置にある搬送ユニット１０に、戻り動作が指示されると、原点位置へ戻るように、ワーク搬送路１に沿って、ワーク搬入方向に約７０ｍｍ移動する。一方、原点位置若しくは送り位置にある搬送ユニット１０に前進動作が指示されると、搬送ユニット１０は、ワーク搬送路１上にあるワーク２又は完成品４を捕捉するため、若しくは保持しているワーク２又は完成品４をワーク搬送路１上にリリースするため、ワーク搬送路１に近づく方向に約３０ｍｍ移動する。逆に、ワーク搬送路１に近接した位置にある搬送ユニット１０に対し、後退動作が指示されると、搬送ユニット１０はワーク搬送路１から離れる方向に約３０ｍｍ移動する。

上下ユニット２０は、上部ユニット２１、及び下部ユニット２２で構成される。下部ユニット２２は組み立て部８０へ搬送されてきたワーク２を固定する。一方、上部ユニット２１は、開閉可能な爪からなるワークチャック２３、及びワークチャック２３が取り付けられるチャックシリンダ２４、及びこれらを駆動するサーボモータを備えている。

上部ユニット２１は、初期状態では、組み立て部８０に搬送されてくるワーク２、部品３と衝突しないように、組み立て部８０の上方に退避しておく。組み立て部８０に部品３が来ると、上部ユニット２１を下降させ、ワークチャック２３を閉じて（チャック動作）部品３を保持する。部品３を保持すると、上部ユニット２１は上方に移動する。その後ワーク２が組み立て部８０へ搬送されてくると、再び上部ユニット２１は下降し、ワーク２に部品３を挿入し、組み付ける。部品の組み付けが終わると、ワークチャック２３は開いて（アンチャック動作）部品をリリースし、再び上部ユニット２１は上方に移動する。この上下方向の移動距離は、組み立て部８０にワーク２が存在する場合、約１０ｍｍであり、ワーク２が存在しない場合約６０ｍｍである。

ワークチャック２３は、同一水平面内に並置される２本の爪で構成され、チャックシリンダ２４の下部に設けられる。また、ワークチャック２３の２本の爪は、それぞれチャックシリンダ２４と長手方向の端部近傍の一点で取り付けられ、その取り付け点を中心として回転可能となっている。そして、ワークチャック２３が部品３を把持するようにチャック動作を行う場合、両方の爪が略平行になるまでその間隔を狭めるように動作する。逆に、ワークチャック２３が部品３を手放すようにアンチャック動作を行う場合には、両方の爪の間隔が開くように、それぞれの爪が最大で約１５°ずつ回転移動する。

また、ワークチャック２３のチャック・アンチャック動作による移動量は相対的に少なく、撮像部３０で撮影した画像データ上で、爪が閉じた状態と開いた状態の差異は少ない。そこで、ワークチャック２３の開閉状態の差異を強調するため、位置変化強調部９０が設けられる。なお、位置変化強調部９０については、後述する。

撮像部３０は、上述した組み立て部８０の斜め上方、搬送路１をはさんで部品投入部と反対側に約３０°の方向に配置する。そして、搬送ユニット１０、上下ユニット２０、ワーク搬入部５０、部品投入部６０、ワーク排出部７０を全て１枚の画像に収めるとともに、搬送ユニット１０、上下ユニット２０の各部の動作範囲も全て収めることができる。制御部４０は、撮像部３０からの画像信号を受信して、搬送ユニット１０、上下ユニット２０それぞれのサーボモータ（図示せず）へ制御信号を送信する。

図１に示すように、制御部４０は、画像処理部４１、モータドライバ４２、及びメモリ４３を備える。本実施形態においては、パーソナルコンピュータ（ＰＣ）に内蔵のプログラム、メモリ、ＲＳ２３２Ｃといった外部出力ポート等によって構成する。しかし、制御部４０はこれに限られるものではなく、専用のハードウェア、ファームウェア等で構成してもよい。また、画像処理部４１及びメモリ４３と、モータドライバ４２を、別個のハードウェアとして構成し、互いに通信可能な構成としてもよい。例えば、画像処理部４１及びメモリ４３をＰＣ及び内蔵プログラムで構成し、モータドライバ４２をプログラマブルロジックコントローラ（ＰＬＣ）で構成してもよい。

本実施形態によると、制御される対象である可動部に検出マークが形成される。すなわち、搬送ユニット１０の部材１１の搬入部５０側端部の上面に検出マーク１３を、及び排出部７０側端部の上面に検出マーク１４を取り付ける。検出マーク１３及び１４は、直径５ｍｍの赤い円形シールであり、撮像部３０で撮影する画像において、搬送ユニット１０がどの位置にあっても、どちらかの検出マークが写り込むようになっている。なお、検出マーク１３及び１４は上記のものに限られるわけではなく、画像上で明確に判別可能なものであればよく、部材１１自体の特有の形状等で代用することも可能である。

一方、検出マーク１３及び１４には、どのような照明環境下においても、画像データ上で識別を容易にするため、表面に凹凸を設けて明暗の縞模様ができるようにしてもよい。図３に、検出マークの一例を示す。

図３（ａ）に示す検出マーク１３１では、表面全体に平行線状で交互に凹凸が設けられる。この凹凸は、例えば１ｍｍ間隔で凸と凹が入れ替わり、また凸部の頂点と凹部の底部との高低差を１ｍｍとすることができる。

また図３（ｂ）に示す検出マーク１３２は、３重の同心円状の構成となっており、同心円毎に異なる方向の平行線状で交互に凹凸が設けられる。具体的には、中心の第１の円１３３では、水平方向に対して６０°傾けた平行な線状の凹凸が設けられ、中心から２番目の第２の円１３４では、第１の円１３３と逆向きに水平方向に対して６０°傾けた平行な線状の凹凸が設けられ、最外部の第３の円１３５では、水平方向に平行な線状の凹凸が設けられている。各凹凸について、幅は１ｍｍであり、凸部の頂点と凹部の底部との差は１ｍｍである。なお、検出マークの凹凸の幅及び高低差は、明暗の縞模様ができればよく、上述したものに限られない。

また、上下ユニット２０の上部ユニット２１においても、チャックシリンダ２４の上面に検出マーク２５が取り付けられている。検出マーク２５は、搬送ユニットに取り付けた検出マーク同様、直径５ｍｍの赤い円形シールである。さらに、撮像部３０で撮影する画像において、上部ユニット２１が如何なる位置にあっても、またチャックの開閉によらず、検出マーク２５が写り込むよう構成されている。なお、検出マーク２５は、検出マーク１３、１４と同じマークである必要は無く、画像上で明確に判別可能なものであればよい。

また、ワークチャック２３の開閉動作も画像データを用いて確認される。ただし、上述したようにワークチャック２３の開閉動作は移動量が少なく、ワークチャック２３が開いた状態の爪の位置と、ワークチャック２３が閉じた状態の爪の位置との画像データ上での差は小さいため、位置変化強調部９０が設けられる。

位置変化強調部９０の詳細を図４及び図５を参照しつつ説明する。図４（ａ）は、ワークチャック２３が閉じた状態において、自動運転装置１００の組み付け部８０の近傍を拡大上面図であり、図４(ｂ)は、図４（ａ）におけるＡＡ’で示した線での概略断面図である。

位置変化強調部９０は、ワークチャック２３の一方の爪の上部に取り付けられた反射鏡９１と、搬送路１及び部品投入部の近傍に配置される側壁９２と、側壁９２に取り付けられた位置指標９３等を備える。そして、位置変化強調部９０は、ワークチャック２３が閉じた状態において、位置指標９３を反射鏡９１で撮像部３０の方へ反射して位置指標９３の像を撮像部３０で視認可能とし、一方ワークチャック２３が開いた状態では位置指標９３の像を撮像部３０から視認不能することにより、ワークチャック２３の開閉時の位置変化を、撮像部３０で撮像した画像データに位置指標９３が撮影されているか否かで置き換えるものである。

位置指標９３は、検出マーク１３等と同様に、例えば直径５ｍｍの赤色円形シールとすることができる。またい位置指標９３は、図４（ｂ）に示すように、側壁９２上に２箇所設けられる。上側の位置指標９３ａは、組み付け部８０にワーク２が存在し、ワークチャック２３が一番下まで下降しない場合に、反射鏡で反射されて撮像部３０で撮像可能とされる。一方、下側の位置指標９３ｂは、組み付け部８０にワーク２が存在せず、ワークチャック２３が一番下まで下降した場合に、反射鏡で反射され、撮像部３０で撮像可能とされる。これら位置指標９３ａ及び９３ｂは、側壁９２の組み付け部８０側に位置するため、撮像部３０の位置からは直接視認することはできない。なお、図４（ｂ）において、実線で示されるワークチャック２３及び反射鏡９１は、組み付け部８０にワーク２が存在する場合の最下降位置にいる場合を示し、点線で示されるワークチャック２３及び反射鏡９１は、組み付け部８０にワーク２が存在しない場合の最下降位置にいる場合を示す。

図４（ａ）に示すように、ワークチャック２３の爪が閉じている場合、反射鏡９１、位置指標９３、撮像部３０が水平面内で一直線上に並ぶように配置する。そして、反射鏡９１を、位置指標９３と撮像部３０とを結ぶ直線が法線となるように反射面を向けて配置する。すると、撮像部３０は、反射鏡９１で反射された位置指標９３の像を観察することが可能であり、撮像部３０により撮影された画像データにおいて、反射鏡９１上に位置指標９３を視認することが可能である。

一方、図５に、ワークチャック２３が開いている状態における、自動運転装置１００の組み付け部８０の近傍の拡大上面図を示す。図５に示すように、ワークチャック２３の爪が開いている場合、爪の回転移動に伴って反射鏡９１の反射面も爪の回転角θと同じ量だけ角度が変化する。この場合、位置指標９３から反射鏡９１へ入射する光は、反射鏡９１で反射され、入射光と２θの角をなして出射されるため、撮像部３０からは位置指標９３を見ることができず、したがって撮像部３０が取得する画像データ上では、位置指標９３を確認することができない。

上述したように、ワークチャック２３の開閉時で位置指標９３が画像上に存在するか否かを変えることにより、ワークチャック２３の爪に直接位置指標を設ける場合よりも開閉時の差異を明確化し、正確に開閉いずれの状態かを把握することが容易となる。

撮像部３０は、自動運転装置１００の作動中、搬送ユニット１０、上下ユニット２０、及び搬送されてくるワークや部品、排出される組み立て済みワークを全て１枚の画像に収めた静止画を、ビデオレート（３０Ｈｚ）で連続して取得し、制御部４０へ送信する。この目的のため、撮像部３０として、１／４インチ４１万画素ＣＣＤ、焦点距離４．３ｍｍ（画角６９．８°）、２４ビット（ＲＧＢ各８ビット）出力のＣＣＤカメラを用いる。しかし、撮像部３０としては、これに限られるものではなく、自動運転装置１００の各部を１枚の画像に収めることが可能で、且つ検出マーク等の判別ができるものであればよい。

また制御部４０は、撮像部３０から画像データを受信すると、画像処理部４１において受信した画像のうち、検出マークの動きによる位置の変化を示す変化後の画像を解析し、搬送ユニット１０や上下ユニット２０等の位置を認識し、認識結果に応じてモータドライバ４２へ指令を送信する。モータドライバ４２は、画像処理部４１から受信した指令に基づいて、搬送ユニット１０又は上下ユニット２０に内蔵されたサーボモータに対して制御信号を送信する。

このようにして、本実施形態によれば、検出マークの位置の変化により、自動運転装置をシーケンス動作させることができる。

以下、フローチャート及びタイミングチャートを参照して、本実施形態に係る自動運転装置１００の動作について説明する。

図６及び図７に、本実施形態に係る自動運転装置１００の動作のフローチャートを示す。また図８に、本実施形態に係る自動運転装置の可動部である搬送部１０、上下ユニット中の上部ユニット２１について動作のタイミングチャートを示す。

図８において、上部に示したＳ０２等の記号５０１は、後述する組み立て準備完了、若しくは各可動部の動作終了判定ステップの実行タイミングを示す。また、各可動部の動作を横欄毎に示し、タイミングチャート線５０２がその横欄に存在する場合、各可動部はその横欄の左側欄５０３に示された動作を行うことを表す。どちらの動作を示す欄にも属さず、中間線上にタイミングチャート線５０２が存在する場合、その可動部は動作を行わず、その前状態を保持し続けることを表す。

まず、組み立て準備完了か否かを判定する（ステップＳ００）。この判定は、制御部４０の画像処理部４１が行う。以下（ｉ）〜（ｉｉｉ）の３条件全てを満たす場合、準備完了と判定する。

（ｉ）ワーク搬入部５０の入口５１にワーク２が存在すること
（ｉｉ）ワーク排出部７０の出口７１に完成品４が存在しないこと
（ｉｉｉ）部品投入部６０に部品３が存在すること
ワークや部品等の存在の有無は、以下の手順により調べることができる。

まず、事前準備として、撮像部３０を通じてワーク２、部品３及び完成品４が入口５１等に存在する場合、及び存在しない場合の画像データをそれぞれ取得する。

図９に、撮像部３０で撮影した自動運転装置の画像の概略図を示す。図９に示すように、取得した画像データに対して、入口５１や出口７１の位置、部品の存在有無を調べる位置を特定し、関心領域００１〜００３として設定する。また関心領域００１〜００３の画像上の位置（例えば関心領域の左上端座標と右下端座標）をメモリ４３に保存しておく。次に、関心領域００１〜００３にワーク２、部品３又は完成品４が存在する場合、存在しない場合のそれぞれについて、各関心領域内の平均信号値を求める。そして、各関心領域について、ワーク２、部品３又は完成品４が存在する場合の平均信号値と、存在しない場合の平均信号値との平均値を算出し、閾値Thd₀₀₁〜Thd₀₀₃とする。その閾値Thd₀₀₁〜Thd₀₀₃を予めメモリ４３に保存しておく。

自動運転装置１００の動作時においては、撮像部３０から送られてくる画像に対し、メモリ４３に保存した関心領域００１〜００３の位置に基づいて、関心領域００１内の平均信号値AVG₀₀₁、関心領域００２内の平均信号値AVG₀₀₂、関心領域００３内の平均信号値AVG₀₀₃をそれぞれ算出する。メモリ４３から上述した閾値Thd₀₀₁〜Thd₀₀₃を呼び出し、平均信号値AVG₀₀₁〜AVG₀₀₃とそれぞれ比較する。平均信号値AVG₀₀₁〜AVG₀₀₃が、閾値Thd₀₀₁〜Thd₀₀₃より、ワーク２、部品３又は完成品４が存在する場合の参照画像データにおける平均信号値に近い場合、ワーク２、部品３又は完成品４が存在すると判定する。

なお、判定方法は上記の方法に限られるものではなく、別の方法を用いてもよい。例えば、上記と同様、事前にワーク２、部品３又は完成品４が存在する参照画像データを取得してメモリ４３に保存しておく。また、上記同様に関心領域００１〜００３を設定する。

そして、自動運転装置１００の動作時において、撮像部３０から受信した画像データと参照画像データとの間で、関心領域内００１〜００３内の各画素で差分信号値の絶対値を算出し、その平均信号値（平均絶対偏差）を算出する。その平均絶対偏差が所定の許容範囲内であれば、ワーク２、部品３又は完成品４が存在する（または存在しない）と判定する。なお、上記の許容範囲は、自動運転装置が設置された場所の照明など環境条件によって左右される可能性があるため、実験的に決定しておくことが好ましい。

上記の判定方法に基づき、撮像部３０から連続的に受信した画像データに対し、逐次判定を行う。いずれかの条件を満たさない場合、画像処理部４１は組み立て準備が完了していないと判断し、自動運転装置１００のアイドル状態を維持する。また、受信した画像データは廃棄する。

一方、ある時点で、受信した画像データについて上記（ｉ）〜（ｉｉｉ）の全ての条件を満たすと、画像処理部４１は組み立て準備完了と判断する。そして画像処理部４１は、その画像データをメモリ４３に保存するとともに、モータドライバ４２に対し、搬送ユニット１０をワーク搬送路１に近づくよう前進動作させる指令を送信する。モータドライバ４２は、係る指令を受け取ると、搬送ユニット１０のサーボモータに制御信号を送信する。その制御信号に基づいて、搬送ユニット１０がワークを掴むために前進動作する（ステップＳ０１）。

次に、搬送ユニット１０の前進動作が終了したか否かを判定する（ステップＳ０２）。

係る判定は、搬送ユニット１０に付された検出マーク１３の重心位置及び面積が所定の条件を満たすか否かを判定することによって行う。以下にその方法を詳述する。

事前準備として、搬送ユニット１０の前進動作終了時点に相当する参照画像データを取得する。図９に示すように、取得した参照画像データから、搬送ユニット１０の前進動作終了時点における検出マーク１３の存在すべき位置を含む関心領域１０１を設定する。関心領域１０１の画像データ上の位置及び範囲は、メモリ４３に記憶させておく。ここで関心領域１０１は、検出マーク１３の位置検出に使用する領域であるため、正確な位置認識を行うために検出マーク１３を完全に収めることができる大きさであることが好ましい。一方、位置認識の処理に必要な計算時間を減らすため、関心領域１０１は狭い方が好ましい。具体的には、関心領域１０１は、検出マーク１３の画像上における面積の５倍〜１００倍程度の大きさに設定することが好ましい。さらに参照画像データに基づいて、搬送ユニット１０の前進動作終了時点における検出マーク１３を示す画素の重心位置、画像中の面積をそれぞれ基準重心Ｇ_org、基準面積Ｄ_orgとして算出する。そして基準重心Ｇ_org、基準面積Ｄ_orgを予めメモリに記憶させておく。

図１０に、ステップＳ０２の動作手順のフローチャートを示す。

自動運転装置１００の稼動時においては、制御部４０が撮像部３０から受信した画像について、関心領域１０１のみに限定して検出マーク１３の重心位置Ｇ・面積Ｄを調べ、基準重心、基準面積との比較で動作が完了したか否かを判定する。まず、関心領域の位置、範囲、及び基準重心Ｇ_org、基準面積Ｄ_orgをメモリ４３から取得する（ステップＳ２０１）。次に、判定を行う画像データを取得する（ステップＳ２０２）。次に、関心領域１０１内の画像データを、検出マークとそれ以外に分離可能なように２値化する（ステップＳ２０３）。２値化の閾値は自動運転装置１００の設置環境等を勘案して経験的に設定する。

本実施形態では、１画素あたりのデータが赤（Ｒ）、緑（Ｇ）、青（Ｂ）各８ビットで表される。そこで関心領域１０１中の任意の画素の値Ｐ（＝（Ｒ, Ｇ, Ｂ））とし、対応する２値化画像の任意の画素値をＰ_binとすると、検出マーク１３は赤色であることから、例えば
Ｐ_bin ＝ １ （Ｒ≧１２８、Ｇ＜３２、Ｂ＜３２）（検出マーク１３に相当）
Ｐ_bin ＝ ０ （上記以外のとき）
とすることができる。

２値化が終了すると、検出マーク１３に相当する（Ｐ_bin＝１）画素の重心Ｇ、画素数の合計（面積）Ｄを算出する（ステップＳ２０４）。次に、重心Ｇと、メモリに記憶された基準重心Ｇ_orgとの距離ΔＧ（＝((Ｇ_x−Ｇ_orgx)²+(Ｇ_y−Ｇ_orgy)²)^1/2）を求める（ただし、Ｇ_x、Ｇ_yはそれぞれ重心Ｇの水平座標、垂直座標であり、一方Ｇ_orgx、Ｇ_orgyはそれぞれ基準重心Ｇ_orgの水平座標、垂直座標である）。同様に、面積Ｄと、基準面積Ｄ_orgとの面積の差の絶対値ΔＤ（＝｜Ｄ−Ｄ_org｜）を求める（ステップＳ２０５）。ΔＧ、ΔＤそれぞれについて許容誤差範囲（例えば１画素以内）か否か判定する（ステップＳ２０６）。共に許容誤差範囲内であれば、搬送ユニット１０は正常に前進動作（Ｓ０１）を終了したと判定する。この場合、画像処理部４１は、モータドライバ４２に対して、次の動作を実行させるための指令となるタイミング信号を出力する（ステップＳ２０７）。また、判定に使用した画像データをメモリ４３に保存する（ステップＳ２０８）。

一方、ΔＧ、ΔＤのどちらか一方でも、許容誤差範囲を超えた場合、搬送ユニット１０の前進動作は完了していないと判断し、判定に使用した画像を廃棄するとともに、次に撮像部３０から送られてくる画像に対して同様の判定手順を繰り返す。

なお、搬送ユニット１０が前進動作を始めてから、若しくはステップＳ００の条件が満たされてから、所定時間（例えば１分間）の間にステップＳ０２が搬送ユニット１０の前進動作を終了したと判定できない場合、装置の操作者に対して警告を発生するよう構成してもよい。係る警告は、装置の作動状態を監視するモニタ（図示せず）上への警告表示、又は警告音の発生等で行うことが可能である。

上述した判定方法は、以下に述べるステップＳ０４、Ｓ０６等、自動運転装置１００の可動部の各動作終了判定ステップにおいても同様に使用する。ただし、着目する検出マーク、設定する関心領域、及び基準となる重心位置Ｇ_org、面積Ｄ_orgは、各動作終了判定ステップについて最適化する。この最適化についても、上述した事前準備と同様の方法で、動作終了判定を行う可動部の動作終了時を示す参照画像データを予め取得しておき、その参照画像データから着目する検出マークの重心、面積を調べておけばよい。

このように、検出マークの重心位置、及び面積を検出し、理想状態におけるそれらと比較することにより、その検出マークが付された可動部について正確な位置決定が可能となり、装置の信頼性を向上させることが可能である。

画像処理部４１が、搬送ユニット１０の前進動作は終了したと判定した場合、次の動作として、モータドライバ４２に対し、搬送ユニット１０を後退動作させる指令を出す。モータドライバ４２は、その指令を受け取ると、搬送ユニット１０のサーボモータに制御信号を送信する。その制御信号に基づいて、搬送ユニット１０はワークを保持したまま後退動作を行う（ステップＳ０３）。なお、この後退動作に伴って、ワーク２に取り付ける部品３が、部品投入部より組み立て部８０に移動する。

次に、搬送ユニット１０の後退が終了したか否かを判定する（ステップＳ０４）。

その判定方法はステップＳ０２と同様である。即ち、予め設定した関心領域内で検出マーク１３の重心位置と面積を算出し、事前に求められているそれらの値との差異が許容範囲内に収まるか否かで判定する。また、ステップＳ０２と同様に、判定基準を満たさない画像データは廃棄し、判定基準を満たした画像はメモリ４３に保存する。

画像処理部４１が、搬送ユニット１０の後退動作は終了したと判定した場合、モータドライバ４２に対し、上部ユニット２１を下降させる指令を出す。モータドライバ４２は、係る指令を受け取ると、上部ユニット２１のサーボモータに制御信号を送信する。その制御信号に基づいて、上部ユニット２１が下降する（ステップＳ０５）。

その後、上部ユニット２１の下降動作が終了したか否かを判定する（ステップＳ０６）。その判定方法はステップＳ０２と同様である。即ち、予め設定した関心領域内で検出マーク２５の重心位置と面積を算出し、事前に求められているそれらの値との差異が許容範囲内に収まるか否かで判定する。また、ステップＳ０２と同様に、判定基準を満たさない画像データは廃棄し、判定基準を満たした画像はメモリ４３に保存する。

本実施形態では、撮像部３０を、組み立て部８０の直上でなく、斜め３０°の方向に配置したことにより、上部ユニット２１の上下運動も、画像上で位置の変化として捉えることを可能としたので、複数のＣＣＤカメラを用いることを要しない。このように、撮像部３０は、１台で全ての可動部の動作を調べるために、全てに可動部の動作平面外に配置することが好ましい。また、正確に可動部の位置を把握するために、撮像部３０で撮影した画像上において、全ての可動部の動作距離が、１０画素以上となるように配置することがさらに好ましい。

画像処理部４１が、上部ユニット２１の下降動作は終了したと判定した場合、モータドライバ４２に対し、ワークチャック２３を閉じる指令を出す。モータドライバ４２は、係る指令を受け取ると、上部ユニット２１のサーボモータに制御信号を送信する。その制御信号に基づいて、ワークチャック２３が閉じて組み立て部８０にある部品３を捕捉する（チャック動作）（ステップＳ０７）。

その後、ワークチャック２３のチャック動作が終了したか否かを判定する（ステップＳ０８）。なお判定方法はステップＳ０２と同様であり、予め設定された関心領域内で、ワークチャック２３の爪上に設けられた反射鏡９１に写った検出マーク９３の像の重心位置、面積を調べて判定する。また、判定基準を満たさない画像データは廃棄し、判定基準を満たした画像はメモリ４３に保存することも同様である。

画像処理部４１が、ワークチャック２３のチャック動作は終了したと判定した場合、モータドライバ４２に対し、上部ユニット２１を上昇させる指令を出す。モータドライバ４２は、係る指令を受け取ると、上部ユニット２１のサーボモータに制御信号を送信する。その制御信号に基づいて、上部ユニット２１は部品を保持したまま上昇する（ステップＳ０９）。

その後、上部ユニット２１の上昇動作が終了したか否かを判定する（ステップＳ１０）。この判定には、上部ユニット２１に付された検出マーク２５を用いる他、判定方法、画像の廃棄・保存は上記Ｓ０２と同様である。

画像処理部４１が、上部ユニット２１の上昇動作は終了したと判定した場合、モータドライバ４２に対し、搬送ユニット１０を送り動作させ、その後前進動作させる指令を出す。モータドライバ４２は、係る指令を受け取ると、搬送ユニット１０のサーボモータに制御信号を送信する。その制御信号に基づいて、搬送ユニット１０はワーク２を組み立て部８０に搬送するため、ワーク２を保持したままワーク搬送路１に沿って送り動作し、その後前進動作する（ステップＳ１１）。

ステップＳ０２と同様の判定方法により、搬送ユニット１０の移動が完了したか否かを判定する（ステップＳ１２）。画像データの保存、廃棄についても同様である。ただし、搬送ユニット１０がワーク排出部側へ移動したことにより、ワーク搬入部側の検出マーク１３が、上部ユニット２１に隠れて見えなくなるため、ワーク排出部側の検出マーク１４を用いて判定を行い、関心領域も検出マーク１４の存在位置を含むように設定しておく。

画像処理部４１は、搬送ユニット１０の移動は終了したと判定した場合、モータドライバ４２に対し、上部ユニット２１を下降させる指令を出す。モータドライバ４２は、係る指令を受け取ると、上部ユニット２１のサーボモータに制御信号を送信する。その制御信号に基づいて、上部ユニット２１が下降し、組み立て部８０にあるワーク２に、部品３を取り付ける（ステップＳ１３）。この時、下部ユニット２２は、ワーク２を固定する。

ステップＳ０４と同様の判定方法により、上部ユニット２１の下降動作が終了したか否か、判定する（Ｓ１４）。判定に用いる検出マーク、画像データの保存、廃棄についても同様である。

画像処理部４１は、上部ユニット２１の下降動作は終了したと判定した場合、モータドライバ４２に対して、搬送ユニット１０に後退動作させ、その後戻り動作させる指令を出す。同時に、ワークチャック２３に対し、部品３をリリースするよう開く動作（アンチャック動作）を行うよう指令を出す。モータドライバ４２は、係る指令を受け取ると、搬送ユニット１０のサーボモータに制御信号を送信する。その制御信号に基づき、搬送ユニット１０がワーク２をリリースして後退し、その後戻り動作して原点位置に復帰する。また、モータドライバ４２は、上部ユニット２１のサーボモータに制御信号を送信する。その制御信号に基づき、ワークチャック２３はアンチャック動作を行う（ステップＳ１５）。

次に、搬送ユニット１０の移動が完了し、原点位置に復帰したか否かを判定する。同時に、ワークチャック２３のアンチャック動作が完了したか否か判定する（ステップＳ１６）。

搬送ユニット１０の移動完了は上述してきた判定方法と同様の方法で行われる。一方、アンチャック動作が完了したか否かの判定は、検出マーク９３の像を検出可能か否かで判定する。上述したように、ワークチャック２３が開いた状態では、検出マーク９３の像は位置変化強調部９０の反射鏡９１上に存在せず、また検出マーク９３を撮像部３０から直接視認することはできないため、検出マーク９３を検出することはできない。逆に、ワークチャック２３が閉じた状態では、検出マーク９３の像を反射鏡９１上に認めることができる。そこで、画像データ上で、検出マーク９３を検出できない場合は、アンチャック動作が完了したと判定する。なお、検出マーク９３の像の有無は、上述したＳ２０１〜Ｓ２０６と同様の判定方法を用いることが可能である。また、ステップＳ００における、ワーク２等の有無を判定する方法と同様の方法を用いることも可能である。すなわち、検出マーク９３の像が写っていない参照画像を事前に準備し、反射鏡９１を含む所定の範囲に限定した関心領域内でその参照画像と撮像部３０から取得した画像データとの平均絶対偏差を算出し、その平均絶対偏差が所定の許容範囲内なら検出マーク９３の像は写っていないと判断する。

なお、ステップＳ１６では、搬送ユニット１０の移動完了判定と、ワークチャック２３のアンチャック動作完了判定を同一の画像上で同時に実行することが可能である。即ち、搬送ユニット１０の検出マーク１３の重心位置、面積を調べるための関心領域と、検出マーク９３の重心位置、面積を調べるための関心領域をそれぞれ設定し、関心領域毎に判定を行う。

それぞれの判定の結果、搬送ユニットの移動完了、アンチャック動作の完了とも確認できると、画像処理部４１は、モータドライバ４２に対し、上部ユニット２１を上昇させる指令を出す。モータドライバ４２は、係る指令を受け取ると、上部ユニット２１のサーボモータに制御信号を送信する。その制御信号に基づき、上部ユニット２１は上昇する（ステップＳ１７）。

その後、ステップＳ１０と同様に、上部ユニット２１の上昇動作が終了したか否かを判定する（ステップＳ１８）。画像の廃棄・保存も同様に行う。

画像処理部４１が、上部ユニット２１の上昇動作は終了したと判定した場合、モータドライバ４２に対し、部品組み付け済みのワーク（完成品）４を捕捉するため、搬送ユニット１０を前進させる指令を出し、モータドライバ４２は、搬送ユニット１０のサーボモータに対して、搬送ユニット１０を前進動作させる制御信号を送信する。その制御信号に基づいて、搬送ユニット１０は前進動作する（ステップＳ１９）。

ステップＳ１９で搬送ユニット１０の前進が終了したか否か判定する（ステップＳ２０）。

ステップＳ２０で、搬送ユニット１０の前進が終了したと判定された場合、画像処理部４１は、モータドライバ４２に対して搬送ユニット１０を後退動作させる指令を出し、モータドライバ４２は、搬送ユニット１０のサーボモータに対して後退動作をさせる制御信号を送信する。その制御信号に基づいて、搬送ユニット１０は完成品４を保持したまま後退する（ステップＳ２１）。

そして、搬送ユニットの後退を確認する（ステップＳ２２）。

ステップＳ２２で、搬送ユニット１０の後退が終了したと判定された場合、画像処理部４１は、搬送ユニット１０が送り動作後前進動作するようにモータドライバ４２に対して指令を出し、モータドライバ４２は、搬送ユニット１０のサーボモータに対して送り動作及び前進動作をさせる制御信号を送信する。その制御信号に基づき、搬送ユニット１０は完成品４をワーク排出部７０へ排出するために、完成品４を保持したまま、送り動作し、その後前進する（ステップＳ２３）。

次に、ステップＳ２３の搬送ユニット１０の前進が終了したか否か判定する（ステップＳ２４）。

ステップＳ２４で、搬送ユニット１０の前進終了を確認すると、完成品４がワーク排出部７０のワーク出口７１に排出される。そして、画像処理部４１は、モータドライバ４２に対して指令を出し、モータドライバ４２は搬送ユニット１０のサーボモータに対して、搬送ユニット１０が、後退動作した後、戻り動作を行うよう制御信号を送信する。そしてその制御信号に基づき、搬送ユニット１０は原点位置に復帰する（ステップＳ２５）。

最後に、搬送ユニット１０が原点位置に復帰したか否かを確認する（ステップＳ２６）。ステップＳ２６では、搬送ユニット１０に付された検出マーク１３を用いて、他のステップＳ１６同様に判定する。

なお、自動運転装置１００は、さらに不良ワーク排出部を有してもよい。例えば、不良ワーク排出部は、ワーク排出部７０に近接して配置され。そして、ワーク排出部７０に排出された完成品４について、画像処理部４１によって不良ワークと判定された場合、不良ワーク排出部は、ワークガイドをワーク排出部７０へ突き出し、そのワークガイドによって不良ワークをワーク排出部７０から排除する。この不良ワーク排出部についても、ワークガイドといった可動部に検出マークを付し、画像処理部４１でその検出マークの重心、面積を認識することにより、特別なセンサを使用することなく、動作を制御することが可能である。

上記のように、撮像部により撮像された動画を処理するのではなく、動作終了時点での静止画を用い、また画像全域を用いずに、関心領域のみを対象として判定処理を行うことで、高速に処理を行うことが可能となり、若しくは安価なプロセッサを用いて処理することが可能となる。また上述したように、画像データを解析し、各可動部の位置を確認することで、他のセンサがなくとも、原点位置確認やオーバーラン検知を行うことが可能となり、且つ各部の動作完了を判定した後に、次の動作を行うよう指令を出すことで、誤動作を防止することが可能となる。さらに、検出マークの重心位置、面積を判定に用いることで、各可動部の位置を精密に評価することが可能となり、誤動作の防止をより確実に行うことができる。また、ステップＳ０２〜Ｓ２６の各動作終了判定ステップにおいて、各可動部の動作完了と判定した画像データを保存することにより、事後的にそれらの画像を参照することで自動運転装置１００の動作解析を簡便に行うことが可能となり、特に異常発生時における原因の究明を容易に行うことが可能となる。さらに各可動部の動作未了と判定した画像データを廃棄することにより、保存するデータ量を減らすことができ、そのため事後的な動作解析において参照するデータ数も最小限で済み、ユーザの負担を軽減することが可能となる。

なお、移動範囲の狭い可動部の位置変化を検出するために使用する位置変化強調部の構成は、上述した実施形態に限られるものではない。

例えば、上述の実施形態において、位置変化強調部９０として反射鏡９１等を用いる代わりに光源９４を設け、その光源９４から出た光を投射するスクリーン９５を設置してもよい。図１１に、このような位置変化強調部の構成例を説明する概略上面図を示す。

図１１に示す位置変化強調部９０’では、ワークチャック２３の爪上に、可視光のレーザを射出するレーザダイオード９４が配置される。また、このレーザダイオード９４から出射したレーザを投射するスクリーン９５が、その投射面を撮像部３０で撮影可能なように、投射面が部品投入部と略平行となるように設置される。この構成では、ワークチャックの爪の開閉によって、レーザダイオード９４のレーザ射出方向も回転するために、ワークチャック２３の爪が開いた状態でスクリーン９５上にできるレーザダイオード９４のスポットの位置が、ワークチャック２３の爪が閉じた状態のときにできるスポットの位置と比較して大きく搬送路１側にずれる。そこで、スクリーン９５上にできたスポットを位置指標９６として撮像部３０で撮影し、その位置指標（スポット）９６を検出して画像データ上の位置を調べることにより、ワークチャック２３の開閉状態を容易に調べることができる。なお、スポットの検出は、搬送部に付された検出マーク１３等の検出と同様の方法で行うことができる。なお、光源としてレーザダイオードの代わりに、発光ダイオード（ＬＥＤ）のような指向性の劣る光源を用いても良いが、その場合にはスクリーン上に光源の像を作るために結像光学系も用いることが必要である。

さらに、位置変化強調部は、位置変化強調部を設ける装置の構造等によって様々に最適化することができる。

例えば、てこ、歯車の組み合わせ、又は異なる太さの円筒が連結され、内部に液体が充填された密閉容器等の周知の構造を用いて、可動部の僅かな平行移動に連動してもっと大きく移動する部材を設けることができる。そして、そのような可動部の移動量よりも大きく移動する部材に位置指標を設け、その位置指標を撮像した画像データ上で位置指標を特定することにより、可動部の位置変化が微小であっても、その位置変化を正確に検出することができる。

本発明の実施形態に係る自動運転装置の構成ブロック図である。 本発明の実施形態に係る自動運転装置の概略上面図である。 本発明に係る自動運転装置に使用可能な検出マークの概略構成図である。 （ａ）は位置変化強調部の一例に係る概略上面図であり、（ｂ）は位置変化強調部の概略断面図である。 位置変化強調部の概略上面図である。 本発明の実施形態に係る自動運転装置の動作フローチャートである。 本発明の実施形態に係る自動運転装置の動作フローチャートである。 本発明の実施形態に係る自動運転装置のタイミングチャートである。 関心領域の設定範囲、及び検出マークの重心の概要を示す図である。 本発明の実施形態に係る自動運転装置における、各可動部の動作終了判定方法のフローチャートである。 位置変化強調部の別の一例に係る概略上面図である。

符号の説明

１０ 搬送ユニット
２０ 上下ユニット
２１ 上部ユニット
２３ ワークチャック
２４ チャックシリンダ
３０ 撮像部
４０ 制御部
５０ ワーク搬入部
６０ 部品投入部
７０ ワーク排出部
８０ 組み立て部
１３、１４、２５ 検出マーク
９０ 位置変化強調部
９１ 反射鏡
９２ 側壁
９３、９６ 位置指標
９４ 光源
９５ スクリーン
１００ 自動運転装置

Claims (6)

1. 第１の可動部及び該第１の可動部とともに移動する第２の可動部と、
   前記第２の可動部が第１の位置にいるときに前記第１の可動部の位置を示す第１の位置指標及び前記第２の可動部が前記第１の位置と異なる第２の位置にいるときに前記第１の可動部の位置を示す第２の位置指標と、
   前記第１及び第２の位置指標の像を前記第１の可動部の位置変化に連動して変化させる位置変化強調部と、
   前記第１及び第２の位置指標の像を撮影する撮像部と、
   前記撮像部で撮影された画像データから、前記第１の位置指標の像または前記第２の位置指標の像が検出されたか否かに基づいて前記第１の可動部の位置情報を取得し、該位置情報に基づいて前記第１の可動部又は前記第２の可動部を制御する制御部と、
   を有することを特徴とする自動運転装置。
2. 前記位置変化強調部は、前記第１の可動部が予め定められた第３の位置と第４の位置との間で移動する場合、前記第１の可動部が前記第３の位置にいる場合には、前記画像データ上に前記第１または第２の位置指標の像が写り、前記第１の可動部が前記第４の位置にいる場合には、前記画像データ上に前記第１及び第２の位置指標の何れの像も写らないように前記位置指標の像を変化させる請求項１に記載の自動運転装置。
3. 前記第１及び第２の位置指標のうちの少なくとも一方は表面に凹凸を有し、当該一方の位置指標の像は前記画像データ上で明暗の縞模様となる、請求項１または２に記載の自動運転装置。
4. 前記第１及び第２の位置指標のうちの前記一方の表面には、平行線状で交互の凹凸が設けられる、請求項３に記載の自動運転装置。
5. 前記第１及び第２の位置指標のうちの前記一方の表面は、多重の同心円状に形成され、各同心円には互いに異なる方向の平行線状で交互の凹凸が設けられる、請求項３に記載の自動運転装置。
6. 前記制御部は、
   前記第１の可動部の位置情報が所定の条件を満たしているか否かを判定し、該条件を満たしていると判定した場合、前記第１の可動部又は前記第２の可動部を起動させるための制御信号を出力する請求項１〜５の何れか一項に記載の自動運転装置。

Images