JP5433027B2

JP5433027B2 - 画像認識装置およびこれを用いたワークの移載方法

Info

Publication number: JP5433027B2
Application number: JP2012004161A
Authority: JP
Inventors: 光世大森
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2012-01-12
Filing date: 2012-01-12
Publication date: 2014-03-05
Anticipated expiration: 2032-01-12
Also published as: JP2013142670A

Description

本発明は、画像認識装置およびこれを用いたワークの移載方法に関する。

従来、プレス装置等により成形されたワークを取出し装置で取り出し、搬送コンベアにより後流に搬出し、その搬送中のワークを作業者が目視検査してデフォームの有無などの確認を行っている。検査では作業者がワークに触れる作業を要するため、検査を終えて搬送コンベア上に戻したときのワークの向き（位相）は、ワークが取出し装置によって搬送コンベアに載置された当初の位相に対し任意にずれる。

このように位相が任意にずれたワークを移載ロボットにより搬送コンベアからパレットに移載するときには、搬送コンベア上のワークの位相を複数の検出装置により検出し、各検出信号をコンピュータに送信する。コンピュータは各検出信号を演算してワークの位相情報を算出し、その結果に基いて当初のティーチングデータを補正して移載ロボットの姿勢を制御し、ワークの把持位置を正確に把持させてパレット上に位置決め載置させる。しかしながらこの方法では検出装置の検出結果を処理するコンピュータの演算に時間がかかり、ワークのサイクルタイムが長くなって生産性が低下しやすいという問題がある。

たとえば、画像認識を用いてワークを移載させる技術の具体例としては特許文献１、２に記載のものが挙げられる。特許文献１には、パレット上に段積みされたワークをロボットハンド部により把持して段バラシするロボットと、画像処理装置と、ロボットハンド部に取り付けられた距離センサとを備え、前記画像処理装置は、ワークの上方から２次元画像を取り込むための２次元画像取り込み手段と、ワークサイズ情報ファイルと、前記距離センサを走査させる最小数のスキャン位置を決定するためのスキャン位置決定手段と、このスキャン位置決定手段により決定されたスキャン位置において前記距離センサを走査させて得られるワークの高さ情報と前記ワークサイズ情報ファイルに記憶されたワークサイズ情報とからワーク高さを決定するワーク高さ決定手段と、前記ワーク高さ決定手段から得られるワーク高さ情報に基き、取り出しすべきワークとその取り出し方向とを決定する制御手段とを備える構成が開示されている。

特許文献２には、撮像された画像よりワークの２次元的な配置を認識して距離計測プランを決定し、それにしたがって計測したワークの高さの計測値を前記２次元配置情報と統合してワークの３次元的な配置を認識し、ロボット動作プランを計算する構成が開示されている。

特開平４−２４４３９１号公報特開平７−８８７９１号公報

しかしながら、特許文献１の技術によっても画像認識の演算処理には時間がかかり、ワークのサイクルタイムが長くなる。特許文献２の技術においても、ワークの高さ情報を得るためにはロボットハンドを動作させて一点ずつ計測する必要があるため、複数ワークの３次元位置を計測するために時間がかかり、ワークのサイクルタイムが長くなる。

本発明は、以上のような課題を解決するために創作されたものであり、高さの異なる複数種類のワークについて、ワークの画像認識に要する時間を短縮可能な画像認識装置およびこれを用いたワークの移載方法を提供することを目的としている。

前記課題を解決するため、本発明は、搬送コンベアにより搬送される複数種類のワークの位相を検出するための画像認識装置であって、前記搬送コンベアの駆動源に配設されたエンコーダと、前記搬送コンベアに配設され、ワークの種類を検出する機種検出装置と、前記搬送コンベアに配設され、ワークの搬送状態を検出するワーク検出装置と、前記機種検出装置および前記ワーク検出装置の下流側であって前記搬送コンベアの上方に配設される撮像装置と、前記エンコーダと前記機種検出装置と前記ワーク検出装置と前記撮像装置とにそれぞれ接続する制御装置と、を備え、前記制御装置には、予め各ワークの位相を特定するために個々に設定された基準水平面毎に、基準水平面の前記搬送コンベア面からの高さに基き、前記搬送コンベアの表面において設定されたグリッドを基準に倍率設定された基準グリッドがテンプレートとして記憶されていることを特徴とする。

また、本発明は、搬送コンベアにより搬送される複数種類のワークの位相を検出するための画像認識装置を用いたワークの移載方法であって、前記画像認識装置は、前記搬送コンベアの駆動源に配設されたエンコーダと、前記搬送コンベアに配設され、ワークの種類を検出する機種検出装置と、前記搬送コンベアに配設され、ワークの有無を検出するワーク検出装置と、前記機種検出装置および前記ワーク検出装置の下流側であって前記搬送コンベアの上方に配設される撮像装置と、前記撮像装置よりも下流側に配設され、前記搬送コンベア上のワークを移載する移載ロボットと、前記エンコーダと前記機種検出装置と前記ワーク検出装置と前記撮像装置とにそれぞれ接続する制御装置と、を備え、前記制御装置には、予め各ワークの位相を特定するために個々に設定された基準水平面毎に、基準水平面の前記搬送コンベア面からの高さに基き、前記搬送コンベアの表面において設定されたグリッドを基準に倍率設定された基準グリッドがテンプレートとして記憶され、前記制御装置は、前記ワーク検出装置がワークを検出することによりワークの撮像位置および移載位置にワークが到達する時刻を設定し、前記撮像装置は前記制御装置で設定された時刻に基きワークを撮像し、その撮像データを制御装置に送信し、前記制御装置は、前記画像装置から受信した撮像データと、前記機種検出装置からの信号に基いて特定したワークに対応する前記テンプレートとにより撮像位置におけるワークの位相を特定し、この特定した位相データを前記移載ロボットに送信し、前記移載ロボットは受信した位相データに基いて姿勢を補正してワークを把持して移載することを特徴とする。

本発明によれば、事前に機種検出装置により種類の特定されたワークについて撮像装置によりワークを撮像する。制御装置は、その撮像データと予め記憶されたそのワークに対応のテンプレート（基準グリッド）とによって基準グリッドに対する撮像の位置を特定し、その撮像について、制御装置に予め記憶されたワークの基準水平面を用いることにより、ワークの対応する平面を特定し、ワークの位相を決定する。なお、本発明における「基準水平面」とは、基準となる水平面の輪郭線をも含むものとする。
本発明によれば、ワークの画像を認識するにあたりワークの高さをその都度測定する必要がない。そのため、ワークの画像認識に要する時間が短くなり、ワークの搬送サイクルタイムを短縮できる。

本発明によれば、高さの異なる複数種類のワークについて、ワークの画像認識に要する時間を短縮できる。

本発明の画像認識装置を用いた搬送コンベアの平面図である。本発明の原理を説明する概念図である。ワークの一例に本発明を適用した説明図である。ワークの多例に本発明を適用した説明図である。高さの異なるワークをそれぞれ撮像装置で撮像した場合の説明図である。

図１において、不図示のプレス装置により成形されたワークＷはベルトコンベア（搬送コンベア）Ｃ/Ｖ上に等間隔で同じ向き（同位相）に載置されるものの、搬送途中の不図示の検査工程で作業者によりデフォームなどの検査が行われ、検査後にベルトコンベアＣ/Ｖ上に載置された際にはワークＷ間のピッチが前後左右に変位するとともにワークＷの各位相もずれた状態となる。

ベルトコンベアＣ/Ｖにおける前記検査工程の下流側には、ベルトコンベアＣ/Ｖの搬送軸線に直交するようにしてベルトコンベアＣ/Ｖの左右に、機種検出装置６の投光装置６ａおよび受光装置６ｂと、ワーク検出装置１の投光装置１ａおよび受光装置１ｂが配設されている。機種検出装置６はワークＷの種類を検出、特定するものであり、その信号は制御装置２に送信される。ワーク検出装置１はベルトコンベアＣ/Ｖを流れてくるワークＷの有無を検出するものであり、ワークＷを検出した場合の信号が制御装置２に送信される。ワーク検出装置１の配設位置よりも下流側であってベルトコンベアＣ/Ｖの上方には撮像装置３が配設されている。撮像装置３によるワークＷの撮像データは制御装置２に送信される。撮像装置３の配設位置よりも下流側のベルトコンベアＣ/Ｖの脇には、ベルトコンベアＣ/Ｖ上のワークＷを中間パレットＰ上に位置決め載置するための移載ロボット２０が配設されている。この移載ロボット２０も制御装置２に接続されている。ベルトコンベアＣ/Ｖの駆動源４はエンコーダ５により制御される。このエンコーダ５の信号も制御装置２に送信される。

以上の構成の基に不図示の検査工程を経てワークＷがベルトコンベアＣ/Ｖにより搬送されてくると、ワーク検出装置１によりワークＷが検出され、その検出信号が制御装置２に送信される。制御装置２は駆動源４のエンコーダ５から送信された信号に基いてベルトコンベアＣ/Ｖの搬送速度を算出し、さらにベルトコンベアＣ/Ｖに載置された当初のワーク間距離に基いてワークＷが撮像装置３に到着する時刻を算出し、当該時刻に撮像装置３に撮像指令信号を出力する。撮像装置３はこの撮像指令信号に基きワークＷの撮像を行う。撮像データは制御装置２に送信される。

制御装置２においては、撮像装置３から出力されたデータは２次元画像として認識される。つまりベルトコンベアＣ/ＶからのワークＷの高さは無視され、単に撮像装置３を中心として投射された平面画像として認識される。この様子を示した原理図が図５であり、（ａ）、（ｂ）、（ｃ）のように互いに高さの異なるワークＷを想定すると、ワークＷの頂面Ｗ１の端縁の位置ａ１，ａ２，ａ３が、画像上ではベルトコンベアＣ/Ｖ上の撮像区域Ａに投射された位置ｂ１，ｂ２，ｂ３として認識される。このように撮像装置３から出力されたデータを２次元画像として認識するのみでは、ワークＷの高さが考慮されない分、ワークＷの正確な位相および位置を特定することができない。

本発明では、ワークＷの高さ方向の基準点を特定するために、ワークＷの位相を確実に認識可能な基準水平面ｆを特定する。図２に示すように、ベルトコンベアＣ/Ｖの表面上において撮像装置３を中心として１コマの幅ｅの方眼（グリッド）の撮像区域Ａを形成し、そしてワークＷの位相を確実に認識可能な基準水平面ｆを設定する。図２では基準水平面ｆをワークＷの頂面Ｗ１と仮定する。そしてベルトコンベアＣ/Ｖから基準水平面ｆまでの高さＨに基き、ベルトコンベアＣ/Ｖの表面において設定された方眼（グリッド）を基準に倍率設定された基準方眼（グリッド）をテンプレートＢとして制御装置２に記憶させておく。

具体的には、撮像装置３からベルトコンベアＣ/Ｖコンベアの表面までの距離をＬとすると、たとえば基準水平面ｆの高さＨが距離Ｌの１／３であった場合、高さＨにおける撮像装置３の投射範囲のＸ軸またはＹ軸の実寸法はベルトコンベアＣ/Ｖコンベアの表面における撮像装置３の投射範囲のＸ軸またはＹ軸の実寸法の２／３となるから、一定のＸ軸寸法、Ｙ軸寸法となるように引き伸ばされる撮像装置３の撮像データにおいては、高さＨで撮像した基準水平面ｆのＸ軸寸法、Ｙ軸寸法は、高さＨがゼロで撮像した基準水平面ｆのＸ軸寸法、Ｙ軸寸法に対して、２／３の逆数である１．５倍に拡大される。したがって、前記したようにベルトコンベアＣ/Ｖの表面に撮像装置３を中心として１コマの幅ｅの方眼（グリッド）の撮像区域Ａを形成した場合には、基準水平面ｆの高さＨに対応させて１．５倍の倍率設定の寸法を有した幅ｅの基準方眼（グリッド）とし、この基準方眼（グリッド）をテンプレートＢとして制御装置２に記憶させておく。また、制御装置２にはワークＷ毎の基準水平面ｆの形状（基準水平面ｆの輪郭線も含むものであり、たとえば図３、図４に示す輪郭線ａも基準水平面ｆとして含まれる）も記憶されている。

ベルトコンベアＣ/Ｖ上に載置されて下流に搬送されるワークＷの種類は、前記機種検出装置６により自動的に検出され、その検出信号は制御装置２に送信されるから、制御装置２は、機種検出装置６からの信号によって特定されたワークＷの基準水平面ｆの高さＨに対応したテンプレートＢを選択する。そして、制御装置２は、撮像装置３から送信されてきた撮像データと前記選択したテンプレートＢとにより、テンプレートＢの基準グリッドに対する撮像の位置を特定し、その撮像について、制御装置２に記憶されているワークＷの基準水平面ｆの形状と照合することにより、ワークＷの位相を決定する。なお、ワークＷの種類は作業者が入力装置を介して制御装置２に入力するようにしてもよい。

そして、上記決定されたワークＷの位相および位置データ、および前記駆動源４のエンコーダ５より受信した信号に基き算出されたワークＷの移載位置Ｇへの到着時刻データが移載ロボット２０に送信される。移載ロボット２０は前記到着時刻データに基いて作動し、かつ前記位相および位置データに基いて姿勢を補正することにより、ワークＷの適正な位置をバキュームカプラ２１により吸着把持して中間パレットＰの位置決め位置に移載する。

以上、本発明の好適な実施形態を説明した。実際のワークＷの基準水平面ｆとしては、たとえば図３や図４に示されるように、自動車のサイドドアパネル等のワークＷにおいて、位相および位置を特定できる適宜な水平面ｇ若しくはこの水平面ｇの輪郭線ａが用いられる。

１ワーク検出装置
２制御装置
３撮像装置
４駆動源
５エンコーダ
６機種検出装置
ｆ基準水平面
Ｂテンプレート
Ｃ/Ｖベルトコンベア（搬送コンベア）
Ｗワーク

Claims

搬送コンベアにより搬送される複数種類のワークの位相を検出するための画像認識装置であって、
前記搬送コンベアの駆動源に配設されたエンコーダと、
前記搬送コンベアに配設され、ワークの種類を検出する機種検出装置と、
前記搬送コンベアに配設され、ワークの有無を検出するワーク検出装置と、
前記機種検出装置および前記ワーク検出装置の下流側であって前記搬送コンベアの上方に配設される撮像装置と、
前記エンコーダと前記機種検出装置と前記ワーク検出装置と前記撮像装置とにそれぞれ接続する制御装置と、を備え、
前記制御装置には、予め各ワークの位相を特定するために個々に設定された基準水平面毎に、基準水平面の前記搬送コンベア面からの高さに基き、前記搬送コンベアの表面において設定されたグリッドを基準に倍率設定された基準グリッドがテンプレートとして記憶されていることを特徴とする画像認識装置。
搬送コンベアにより搬送される複数種類のワークの位相を検出するための画像認識装置を用いたワークの移載方法であって、
前記画像認識装置は、
前記搬送コンベアの駆動源に配設されたエンコーダと、
前記搬送コンベアに配設され、ワークの種類を検出する機種検出装置と、
前記搬送コンベアに配設され、ワークの有無を検出するワーク検出装置と、
前記機種検出装置および前記ワーク検出装置の下流側であって前記搬送コンベアの上方に配設される撮像装置と、
前記撮像装置よりも下流側に配設され、前記搬送コンベア上のワークを移載する移載ロボットと、
前記エンコーダと前記機種検出装置と前記ワーク検出装置と前記撮像装置とにそれぞれ接続する制御装置と、を備え、
前記制御装置には、予め各ワークの位相を特定するために個々に設定された基準水平面毎に、基準水平面の前記搬送コンベア面からの高さに基き、前記搬送コンベアの表面において設定されたグリッドを基準に倍率設定された基準グリッドがテンプレートとして記憶され、
前記制御装置は、前記ワーク検出装置がワークを検出することによりワークの撮像位置および移載位置にワークが到達する時刻を設定し、
前記撮像装置は前記制御装置で設定された時刻に基きワークを撮像し、その撮像データを制御装置に送信し、
前記制御装置は、前記画像装置から受信した撮像データと、前記機種検出装置からの信号に基いて特定したワークに対応する前記テンプレートとにより撮像位置におけるワークの位相を特定し、この特定した位相データを前記移載ロボットに送信し、
前記移載ロボットは受信した位相データに基いて姿勢を補正してワークを把持して移載することを特徴とする画像認識装置を用いたワークの移載方法。