JP7341238B2

JP7341238B2 - 自動組立システム

Info

Publication number: JP7341238B2
Application number: JP2021534452A
Authority: JP
Inventors: 良永田; 信夫大石
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-07-23
Filing date: 2019-07-23
Publication date: 2023-09-08
Anticipated expiration: 2039-07-23
Also published as: WO2021014563A1; JPWO2021014563A1

Description

本明細書は、部品載置部上にバラ積みされた部品（ワーク）を１個ずつロボットにピックアップさせる自動組立システムに関する技術を開示したものである。

部品供給装置の部品載置部上にバラ積みされた部品を１個ずつロボットでピックアップして所定の場所にセットする作業を行う自動組立システムにおいては、例えば、特許文献１（特開２０１８－１４４１５９号公報）に記載されているように、ロボットのアーム可動領域の上方の固定構造物に複数のカメラを下向きに固定し、部品供給装置の部品載置部上にバラ積みされた部品を上方から複数のカメラで撮像して、複数のカメラで撮像した画像を処理して３次元形状データを生成し、この３次元形状データに基づいて部品載置部上のバラ積み状態の部品の中からピックアップ可能な部品を特定して当該部品の位置を測定し、その測定結果に基づいてロボットのアーム動作を制御して部品載置部上にバラ積みされた部品を１個ずつピックアップするようにしている。

特開２０１８－１４４１５９号公報

ところで、ロボットのアーム可動領域の上方の固定構造物に固定した複数のカメラと部品供給装置との位置関係は、ユーザ側のロボットの据付環境によって異なるため、ユーザ側でキャリブレーションする必要がある。このため、ユーザのセットアップ工数が増えてセットアップ作業に時間がかかるという欠点があった。

上記課題を解決するために、部品供給装置と、前記部品供給装置にバラ積みされた部品を１個ずつピックアップして所定の場所にセットする作業を行うロボットとを備える、自動組立システムにおいて、
前記部品供給装置は、投入された複数の部品をバラ積み状態に載置する部品載置部と、前記部品載置部上のバラ積み状態の部品を撮像する３次元カメラと、前記３次元カメラで撮像した画像を処理してバラ積み状態の部品を立体的に認識した情報である３次元認識情報を取得する画像処理部とを備え、前記３次元カメラは、前記部品載置部に固定されたカメラスタンドに取り付けられ、
前記画像処理部は、取得した３次元認識情報に基づいて前記ロボットがピックアップ可能な部品の位置を測定し、
前記画像処理部で測定したピックアップ可能な部品の位置の情報を表示する表示部を備える、自動組立システムであって、
前記画像処理部は、取得した３次元認識情報に基づいて前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないと判定したときに、その情報を前記表示部に表示し、
前記ロボットのアームに取り付けられたカメラを備え、
前記ロボットの制御装置は、前記部品供給装置の前記表示部に表示された情報を前記カメラで撮像し、その画像を処理することで、前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないという情報を読み取ったときに、前記部品載置部上に残っているバラ積み状態の部品をばらす動作を前記ロボットに行わせるようにしたものである。

この構成では、部品供給装置の部品載置部に固定されたカメラスタンドに３次元カメラが取り付けられ、部品載置部と３次元カメラとが一体化されているため、ユーザ側でも部品供給装置の部品載置部と３次元カメラとの位置関係がメーカ製造時と同じ状態に維持される。このため、部品供給装置をメーカからユーザに出荷する前に、メーカ側で部品供給装置の部品載置部と３次元カメラとの位置関係をキャリブレーションして、そのキャリブレーションのデータを部品供給装置のメモリに登録しておけば、ユーザ側でキャリブレーションをやり直す必要がなくなり、ユーザのセットアップ工数を削減して、セットアップ作業の時間を大幅に削減することができる。

図１は一実施例の自動組立システムの側面図である。図２は自動組立システムの平面図である。図３は部品供給装置の斜視図である。図４は自動組立システムの電気的構成を示すブロック図である。

以下、本明細書に開示した一実施例を説明する。
まず、図１に基づいてロボット１１の構成を説明する。

ロボット１１は、例えば５軸垂直多関節ロボットであり、工場フロア１２に設置された固定ベース１３と、この固定ベース１３上に第１関節軸１４（Ｊ１）を中心に回転可能に設けられた第１アーム１５と、この第１アーム１５の先端に第２関節軸１６（Ｊ２）によって旋回可能に設けられた第２アーム１７と、この第２アーム１７の先端に第３関節軸１８（Ｊ３）によって旋回可能に設けられた第３アーム１９と、この第３アーム１９の先端に第４関節軸２０（Ｊ４）によって旋回可能に設けられた手首部２１（アーム先端）と、この手首部２１に第５関節軸２２（Ｊ５）を中心に回転可能且つ交換可能に取り付けられたエンドエフェクタ２３とから構成されている。

この場合、エンドエフェクタ２３は、例えば、部品２４（ワーク）の上面を吸着する吸着ノズルや吸着パッド等の吸着具、部品２４の側面を把持するチャックのいずれであっても良く、要は、部品２４を吸着や把持等によって保持できるものであれば良い。

ロボット１１の第１～第５の各関節軸１４，１６，１８，２０，２２は、それぞれサーボモータ２５～２９（図４参照）により駆動されるようになっている。図４に示すように、各サーボモータ２５～２９には、それぞれ回転角を検出するエンコーダ３１～３５が設けられ、各エンコーダ３１～３５で検出した回転角の情報がサーボアンプ３６を経由して制御部３７にフィードバックされる。これにより、制御部３７は、各エンコーダ３１～３５で検出した各サーボモータ２５～２９の回転角が各々の目標回転角と一致するようにサーボアンプ３６を介して各サーボモータ２５～２９をフィードバック制御することで、ロボット１１の各アーム１５，１７，１９と手首部２１とエンドエフェクタ２３の位置を各々の目標位置にフィードバック制御する。図４の構成例では、サーボアンプ３６は、複数のサーボモータ２５～２９をフィードバック制御する多軸アンプであるが、サーボモータ２５～２９を１台ずつ別々のサーボアンプでフィードバック制御するようにしても良い。

図１に示すように、ロボット１１の手首部２１には、エンドエフェクタ２３に保持した部品２４をセットする場所等を画像認識するためのハンドカメラ３９が取り付けられている。

ロボット１１のアーム可動領域（エンドエフェクタ２３が移動可能な領域）の所定位置には、複数の部品供給装置４１が配列されている。各部品供給装置４１は、投入された多数の部品２４をバラ積み状態に載置する角皿状の部品載置部４２と、この部品載置部４２上のバラ積み状態の部品２４を斜め上方から撮像する３次元カメラであるデプスカメラ４３と、このデプスカメラ４３で撮像した画像を処理してバラ積み状態の部品２４を立体的に認識した情報である３次元認識情報を取得する画像処理部４４（図４参照）とを備えた構成となっている。各部品供給装置４１毎に異なる種類の部品２４を供給するようにしても良いし、２以上の部品供給装置４１で同じ種類の部品２４を供給するようにしても良い。尚、部品供給装置４１は、複数配列する構成に限定されず、１台のみとしても良い。

各部品供給装置４１のデプスカメラ４３は、部品載置部４２に固定されたカメラスタンド４５の上端部に取り付けられることで、デプスカメラ４３が部品載置部４２と一体化されている。デプスカメラ４３の位置は、エンドエフェクタ２３が部品載置部４２上の部品２４をピックアップする動作に邪魔にならない位置で、且つ、部品載置部４２全体をデプスカメラ４３の視野内に収めて撮像できる位置となっている。

各部品供給装置４１の画像処理部４４は、デプスカメラ４３で撮像した画像を処理して取得した３次元認識情報に基づいて部品載置部４２上のバラ積み状態の部品２４の中からロボット１１のエンドエフェクタ２３がピックアップ可能な部品２４を特定して当該ピックアップ可能な部品２４の位置（Ｘ，Ｙ，Ｚ，θ_X，θ_Y，θ_Z）を測定する。ここで、θ_XはＸ軸回りの回転角度、θ_YはＹ軸回りの回転角度、θ_ZはＺ軸回りの回転角度である。尚、ロボット１１の種類や作業内容によっては、θ_X，θ_Y，θ_Zの全てを測定する必要はなく、少なくともＺ軸回りの回転角度θ_Zを測定すれば良い。

各部品供給装置４１は、画像処理部４４で測定したピックアップ可能な部品２４の位置の情報をロボット１１の制御装置であるロボット制御ユニット５１に有線又は無線通信で送信する通信部４７を備えている。

各部品供給装置４１の画像処理部４４は、デプスカメラ４３で撮像した画像を処理して取得した３次元認識情報に基づいて部品載置部４２上に残っているバラ積み状態の部品２４の中にピックアップ可能な部品２４が存在しないと判断したときに、その情報を通信部４７からロボット制御ユニット５１に送信する。

また、各部品供給装置４１は、画像処理部４４で測定したピックアップ可能な部品２４の位置の情報を２次元コード等でコード化して表示する液晶表示パネル等の表示部４８を備えた構成となっている。画像処理部４４が部品載置部４２上に残っているバラ積み状態の部品２４の中にピックアップ可能な部品２４が存在しないと判断したときには、その情報を表示部４８に表示する。

本実施例では、部品供給装置４１の通信部４７から情報をロボット制御ユニット５１に送信する通信モードと、表示部４８に表示した情報をロボット１１のハンドカメラ３９によって読み取らせる情報表示モードとを切り替えて使用するようになっている。通信モードで運用する場合には、表示部４８に情報を表示する必要はない。各部品供給装置４１には、通信モードと情報表示モードとを手動操作で切り替えるモード切替スイッチ（図示せず）を設けても良い。或は、部品供給装置４１の通信部４７とロボット制御ユニット５１との間で通信が成立するか否かで、通信モードと情報表示モードとを自動的に切り替えるようにしても良い。

各部品供給装置４１の部品載置部４２の上面のうちのデプスカメラ４３の視野内に収まる複数の所定位置（例えば部品載置部４２の上面の４隅部）には、それぞれデプスカメラ４３の温度変化等による位置測定値のずれを補正するための基準マーク４６が設けられている。各基準マーク４６の形状は、例えば、円形、十字形、正方形等のいずれの形状であっても良く、要は、デプスカメラ４３の撮像画像から各基準マーク４６の中心位置を認識しやすい形状であれば良い。

各部品供給装置４１の画像処理部４４は、デプスカメラ４３で撮像した画像を処理して複数の基準マーク４６の位置を測定し、複数の基準マーク４６の位置を基準にしてピックアップ可能な部品２４の位置測定値のずれを補正する。これにより、デプスカメラ４３の温度変化等によるピックアップ可能な部品２４の位置測定値のずれを補正する。

画像処理部４４がバラ積み状態の部品２４を立体的に認識する際に用いる画像認識用の３次元部品データは、事前に当該部品２４の外観形状を描画するためのＣＡＤデータに基づいて作成して、画像処理部４４のメモリ（図示せず）に登録するようにしても良い。

或は、事前に供給対象の部品２４と外観形状が同じサンプル部品を部品載置部４２に載置してデプスカメラ４３で撮像した画像を画像処理部４４で処理することで画像認識用の３次元部品データを作成して画像処理部４４のメモリに登録するようにしても良い。この場合、部品供給装置４１に登録ボタン（図示せず）を設けて、作業者がサンプル部品を部品載置部４２に載置して登録ボタンを操作するだけで、画像認識用の３次元部品データを自動的に作成して登録するようにしても良い。

本実施例では、各部品供給装置４１は、部品載置部４２に投入する部品２４を一時的に貯蔵するタンク部４９と、このタンク部４９から部品載置部４２上に部品２４を投入するシュート部５０とを備え、画像処理部４４の処理結果に基づいて部品載置部４２上の部品２４の残数が所定数以下又は０になる毎にタンク部４９内の部品２４の一部をシュート部５０によって部品載置部４２へ投入するように構成されている。更に、タンク部４９内の部品２４の残数が所定数以下又は０になったときにそれを検出するセンサ（図示せず）が設けられ、このセンサでタンク部４９内の部品２４の残数が所定数以下又は０になったことを検出したときに、それを例えばＬＥＤ等の発光素子の点灯や表示部４８等の表示及び／又は音声や警報音等で作業者に知らせて、タンク部４９内に部品２４を補給するように促すようにしている。

尚、タンク部４９とシュート部５０は、ユーザが必要に応じて追加可能なオプション装備であり、タンク部４９とシュート部５０を設けずに、作業者が手作業で部品載置部４２に部品２４を投入するようにしても良い。

一方、ロボット１１の動作を制御するロボット制御ユニット５１は、図４に示すように、画像処理部３８、制御部３７及びサーボアンプ３６等を備えた構成となっている。このロボット制御ユニット５１の制御部３７は、ロボット１１の各アーム１５，１７，１９と手首部２１を動作させて、各部品供給装置４１の部品載置部４２上にバラ積みされた部品２４を１個ずつピックアップして所定の場所にセットする作業を行う。

この際、各部品供給装置４１の通信部４７から情報をロボット制御ユニット５１に送信する通信モードで運用する場合には、ロボット制御ユニット５１の制御部３７は、各部品供給装置４１の通信部４７から送信されてくるピックアップ可能な部品２４の位置の情報を受信し、その受信情報に基づいてロボット１１のアーム動作を制御して各部品供給装置４１の部品載置部４２上にバラ積みされた部品２４を１個ずつピックアップして所定の場所にセットする作業を行う。

また、ロボット制御ユニット５１の制御部３７は、いずれかの部品供給装置４１の通信部４７から、部品載置部４２上に残っているバラ積み状態の部品２４の中にピックアップ可能な部品２４が存在しないという情報を受信したときに、当該部品載置部４２上に残っているバラ積み状態の部品２４をばらす動作をロボット１１に行わせる。このバラ積み状態の部品２４をばらす動作は、エンドエフェクタ２３にばらし動作用のツール（図示せず）を保持させて、このツールでバラ積み状態の部品２４をばらす動作を行うようにしても良いし、或は、エンドエフェクタ２３の先端部でバラ積み状態の部品２４をばらす動作を行うようにしても良い。

一方、各部品供給装置４１の表示部４８に表示した情報をロボット１１のハンドカメラ３９によって読み取らせる情報表示モードで運用する場合には、ロボット制御ユニット５１の制御部３７は、各部品供給装置４１の表示部４８に表示されたピックアップ可能な部品の位置の情報をハンドカメラ３９で撮像し、その画像を画像処理部３８で処理することでピックアップ可能な部品２４の位置の情報を読み取り、その読み取り情報に基づいてロボット１１のアーム動作を制御して各部品供給装置４１の部品載置部４２上にバラ積みされた部品２４を１個ずつピックアップして所定の場所にセットする作業を行う。

また、ロボット制御ユニット５１の制御部３７は、各部品供給装置４１の表示部４８に表示された情報をハンドカメラ３９で撮像し、その画像を画像処理部３８で処理することで、部品載置部４２上に残っているバラ積み状態の部品２４の中にピックアップ可能な部品２４が存在しないという情報を読み取ったときに、当該部品載置部４２上に残っているバラ積み状態の部品２４をばらす動作をロボット１１に行わせる。

以上説明した本実施例では、部品供給装置４１にデプスカメラ４３が設けられているため、ユーザ側でも部品供給装置４１の部品載置部４２とデプスカメラ４３との位置関係がメーカ製造時と同じ状態に維持される。このため、部品供給装置４１をメーカからユーザに出荷する前に、メーカ側で部品供給装置４１の部品載置部４２とデプスカメラ４３との位置関係をキャリブレーションして、そのキャリブレーションのデータを部品供給装置４１のメモリに登録しておけば、ユーザ側でキャリブレーションをやり直す必要がなくなり、ユーザのセットアップ工数を削減して、セットアップ作業の時間を大幅に削減することができる。

尚、本実施例では、デプスカメラ４３で撮像した画像から取得した３次元認識情報に基づいて部品載置部４２上のバラ積み状態の部品２４の中からロボット１１がピックアップ可能な部品２４を特定して当該ピックアップ可能な部品２４の位置を測定する機能を部品供給装置４１に持たせるようにしたが、この機能をロボット制御ユニット５１に持たせるようにしても良い。この場合、ロボット制御ユニット５１の制御部３７は、部品供給装置４１の通信部４７から送信されてくる３次元認識情報に基づいて部品載置部４２上のバラ積み状態の部品２４の中からピックアップ可能な部品２４を特定して当該ピックアップ可能な部品２４の位置を測定し、その測定結果に基づいてロボット１１のアーム動作を制御して部品載置部４２上にバラ積みされた部品２４を１個ずつピックアップして所定の場所にセットする作業を行うようにすれば良い。

尚、本発明は、上述した実施例に限定されず、例えば、表示部４８と通信部４７のどちらか一方を省略した構成としたり、デプスカメラ４３や表示部４８の位置を変更したり、部品供給装置４１の構成や設置台数を変更したり、ロボット１１の構成を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは勿論である。

１１…ロボット、１４…第１関節軸、１５…第１アーム、１６…第２関節軸、１７…第２アーム、１８…第３関節軸、１９…第３アーム、２０…第４関節軸、２１…手首部（アーム先端）、２２…第５関節軸、２３…エンドエフェクタ、２４…ワーク、２５～２９…サーボモータ、３１～３５…エンコーダ、３６…サーボアンプ、３７…制御部、３８…画像処理部、３９…ハンドカメラ、４１…部品供給装置、４２…部品載置部、４３…デプスカメラ（３次元カメラ）、４４…画像処理部、４５…カメラスタンド、４６…基準マーク、４７…通信部、４８…表示部、４９…タンク部、５０…シュート部、５１…ロボット制御ユニット（制御装置）

Claims

部品供給装置と、
前記部品供給装置にバラ積みされた部品を１個ずつピックアップして所定の場所にセットする作業を行うロボットと
を備える、自動組立システムにおいて、
前記部品供給装置は、
投入された複数の部品をバラ積み状態に載置する部品載置部と、
前記部品載置部上のバラ積み状態の部品を撮像する３次元カメラと、
前記３次元カメラで撮像した画像を処理してバラ積み状態の部品を立体的に認識した情報である３次元認識情報を取得する画像処理部と
を備え、
前記３次元カメラは、前記部品載置部に固定されたカメラスタンドに取り付けられ、
前記画像処理部は、取得した３次元認識情報に基づいて前記ロボットがピックアップ可能な部品の位置を測定し、
前記画像処理部で測定したピックアップ可能な部品の位置の情報を表示する表示部を備える、自動組立システムであって、
前記ロボットのアームに取り付けられたカメラを備え、
前記ロボットの制御装置は、前記部品供給装置の前記表示部に表示されたピックアップ可能な部品の位置の情報を前記カメラで撮像し、その画像を処理することでピックアップ可能な部品の位置の情報を読み取り、その読み取り情報に基づいて前記ロボットのアーム動作を制御して前記部品載置部上にバラ積みされた部品を１個ずつピックアップする、自動組立システム。
部品供給装置と、
前記部品供給装置にバラ積みされた部品を１個ずつピックアップして所定の場所にセットする作業を行うロボットと
を備える、自動組立システムにおいて、
前記部品供給装置は、
投入された複数の部品をバラ積み状態に載置する部品載置部と、
前記部品載置部上のバラ積み状態の部品を撮像する３次元カメラと、
前記３次元カメラで撮像した画像を処理してバラ積み状態の部品を立体的に認識した情報である３次元認識情報を取得する画像処理部と
を備え、
前記３次元カメラは、前記部品載置部に固定されたカメラスタンドに取り付けられ、
前記画像処理部は、取得した３次元認識情報に基づいて前記ロボットがピックアップ可能な部品の位置を測定し、
前記画像処理部で測定したピックアップ可能な部品の位置の情報を表示する表示部を備える、自動組立システムであって、
前記画像処理部は、取得した３次元認識情報に基づいて前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないと判定したときに、その情報を前記表示部に表示し、
前記ロボットのアームに取り付けられたカメラを備え、
前記ロボットの制御装置は、前記部品供給装置の前記表示部に表示された情報を前記カメラで撮像し、その画像を処理することで、前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないという情報を読み取ったときに、前記部品載置部上に残っているバラ積み状態の部品をばらす動作を前記ロボットに行わせる、自動組立システム。
前記画像処理部は、取得した３次元認識情報に基づいて前記部品載置部上のバラ積み状態の部品の中から前記ロボットがピックアップ可能な部品を特定して当該ピックアップ可能な部品の位置を測定し、
前記画像処理部で測定したピックアップ可能な部品の位置の情報を前記ロボットの制御装置に送信する通信部を備える、請求項１又は２に記載の自動組立システム。
前記画像処理部は、取得した３次元認識情報に基づいて前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないと判断したときに、その情報を前記通信部から前記ロボットの制御装置に送信する、請求項３に記載の自動組立システム。
前記画像処理部は、取得した３次元認識情報に基づいて前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないと判定したときに、その情報を前記表示部に表示する、請求項１に記載の自動組立システム。
前記３次元カメラの視野内に収まる複数の所定位置に設けられた複数の基準マークを備え、
前記画像処理部は、前記３次元カメラで撮像した画像を処理して前記複数の基準マークの位置を測定し、前記複数の基準マークの位置を基準にしてピックアップ可能な部品の位置測定値のずれを補正する、請求項３乃至５のいずれかに記載の自動組立システム。
前記画像処理部がバラ積み状態の部品を立体的に認識する際に用いる３次元部品データは、事前に当該部品の外観形状を描画するためのＣＡＤデータに基づいて作成され、前記画像処理部のメモリに登録されている、請求項１乃至６のいずれかに記載の自動組立システム。
前記画像処理部がバラ積み状態の部品を立体的に認識する際に用いる３次元部品データは、事前に当該部品と外観形状が同じサンプル部品を前記部品載置部に載置して前記３次元カメラで撮像した画像を前記画像処理部で処理することで作成され、前記画像処理部のメモリに登録されている、請求項１乃至６のいずれかに記載の自動組立システム。
前記部品載置部に投入する部品を一時的に貯蔵するタンク部を備え、
前記画像処理部の処理結果に基づいて前記部品載置部上の部品残数が所定数以下又は０になる毎に前記タンク部内の部品の一部を前記部品載置部へ投入するように構成されている、請求項１乃至８のいずれかに記載の自動組立システム。