JP7424761B2 - 画像処理システム及び産業機械 - Google Patents

Description

本発明は、画像処理システム及び産業機械に関する。

例えば工業製品の製造ラインに用いられるロボット等の産業機械に視覚センサを有する画像処理装置を組み込み、画像処理装置によってワークの位置等を確認してロボット等の目標位置を補正する場合がある。このような産業機械において、画像データを記憶しておき、ワークに対する処理を適切に行うことができなかった場合に、画像データを確認して原因を究明できるようすることが検討されている（例えば特許文献１参照）。

特許第２９２１７１８号公報

画像データは、容量が大きいため、比較的安価に容量を大きくできる不揮発性メモリ等の記憶装置に保存される。しかしながら、不揮発性メモリ等の大容量の記憶装置は記録速度が比較的低いため、産業機械用画像処理装置において画像データを保存すると、記憶装置に画像データを転送し終えるまでの待ち時間により産業機械のサイクルタイムが増大する場合がある。また、産業機械の構成によっては、視覚センサがロボット等に保持され、異なる位置において画像データを取得する場合がある。このような場合、産業機械の動作に不具合が生じたときには、画像データだけでなく、例えばその画像データを画像処理した結果や、画像データを撮影したときの視覚センサの位置等の産業機械の状態を確認しなければ、不具合の原因を正確に判別することができない可能性がある。このため、迅速な処理が可能であり、且つ画像データ及び画像処理結果と画像を撮影したときの産業機械の状態とを容易に確認できる画像処理システム及び産業機械が望まれる。

本開示の一態様に係る画像処理システムは、産業機械において画像情報を取得して画像処理する画像処理システムであって、画像を撮影する視覚センサと、前記視覚センサが撮影した画像データと画像データの処理結果及び撮影時の前記産業機械の機械制御情報の少なくとも一方とを含む撮影情報を記憶する第１記憶部と、前記第１記憶部よりも大容量であり、前記第１記憶部から前記撮影情報が転送される第２記憶部と、前記第１記憶部による前記撮影情報の記憶、及び前記第１記憶部から前記第２記憶部への前記撮影情報の転送を制御する記憶制御部と、を備え、前記記憶制御部は、前記第１記憶部に記憶された古い前記撮影情報を前記第２記憶部に転送すると共に、前記第１記憶部に記憶されている古い前記撮影情報を削除する。

本発明によれば、迅速な処理が可能であり、且つ画像データ及び画像処理結果と画像を撮影したときの産業機械の状態とを容易に確認することができる。

本開示の一実施形態の産業機械の構成を示す模式図である。 図１の産業機械において実行される撮影プログラムの手順を示すフローチャートである。 図２の撮影プログラムで撮影される画像を模式的に示す図である。 図２の撮影プログラムにおける撮影情報の記憶の手順を示すフローチャートである。 図１の産業機械において行われる撮影情報の転送の手順を示すフローチャートである。

以下、本開示の実施形態について図面を参照しながら説明する。図１は、本開示の一実施形態の産業機械１の構成を示す模式図である。

この産業機械１は、テーブルＴの上に載置されたワークＷに所定の処理を行う処理ヘッド２と、処理ヘッド２を位置決めする位置決め機構３と、処理ヘッド２及び位置決め機構３を制御する機械制御装置４と、画像情報を取得、具体的にはテーブルＴに載置されるワークＷを撮影してその位置及び向きを特定する画像処理システム５と、を備える。

処理ヘッド２は、例として、ワークＷを移動するために把持できるハンド、ワークＷに溶接、レーザ加工、切削加工等の加工を行うことができる加工ヘッドなど、ワークＷに対して行うべき処理に応じて適切な構成を有する。図示する産業機械１において、処理ヘッド２は、ワークを把持するハンドである。つまり、図示する産業機械１は、ワークＷを把持して移動させるハンドリング装置である。

位置決め機構３の構成としては、特に限定されないが、例えば垂直多関節型ロボット、直交座標型ロボット、スカラ型ロボット、パラレルリンク型ロボット等とすることができる。なお、図示する位置決め機構３は、垂直多関節型ロボットであり、互いに回転可能に連接され、先端に処理ヘッド２が接続された複数の可動部材３１，３２，３３，３４を有する。

機械制御装置４は、例えば予め与えられる加工プログラム等の作業プログラムに従って処理ヘッド２、位置決め機構３及び画像処理システム５の動作を決定するプログラム制御部４１と、位置決め機構３を制御する位置決め制御部４２と、処理ヘッド２を制御するヘッド制御部４３とを有する。機械制御装置４は、例えばプログラマブルコントローラ、数値制御装置等に適切なプログラミングを行うことによって構成することができる。機械制御装置４におけるプログラム制御部４１、位置決め制御部４２及びヘッド制御部４３は、その機能により区別されるものであり、物理的構成及びプログラム構成において明確に区分できるものでなくてもよい。

プログラム制御部４１は、加工プログラム等の作業プログラムに従って処理ヘッド２、位置決め機構３及び画像処理システム５に対して動作指令を与える。具体的には、プログラム制御部４１は、処理ヘッド２にワークＷを把持又は解放させる指令を与え、位置決め機構３に処理ヘッド２を移動させる位置を特定する指令を与え、画像処理システム５にワークＷの位置を確認させる指令を与える。

また、プログラム制御部４１は、位置決め制御部から得られる可動部材３１，３２，３３，３４の相対関係を表す駆動量等、処理ヘッド２の位置及び向きを特定できるパラメータを、機械制御情報として画像処理システム５に入力するよう構成される。必要に応じて、ヘッド制御部４３によって制御される処理ヘッド２の状態を示す情報や、処理ヘッド２によるワークＷに対する処理が適切に実行されたか否かを示す情報も、機械制御情報の一部として画像処理システム５に入力してもよい。

位置決め制御部４２は、プログラム制御部４１からの指令に従って、位置決め機構３の可動部材３１，３２，３３，３４を相対回転させる駆動信号を生成する。また、位置決め制御部４２は、機械制御情報とされるパラメータを出力する。具体例として、位置決め制御部が出力するパラメータは、可動部材３１，３２，３３，３４を駆動する複数の駆動モータの回転位置情報や、処理ヘッド２の基準点の座標位置及び向きを示すベクトル情報等とすることができる。

ヘッド制御部４３は、処理ヘッド２の動作を制御し、ワークＷに対する処理を行う。また、処理ヘッド２の状態を表す信号を、プログラム制御部４１に入力するよう構成されてもよい。

画像処理システム５は、ワークＷの画像を撮影する視覚センサ５１と、視覚センサ５１が撮影した画像データと、その画像データの処理結果及び撮影時の機械制御情報の少なくとも一方とを含む撮影情報を記憶する比較的高速な（読み書きに必要な時間が短い）第１記憶部５２と、第１記憶部５２よりも低速かつ大容量であり、第１記憶部５２から撮影情報が転送される第２記憶部５３と、第１記憶部５２による撮影情報の記憶、及び第１記憶部５２から第２記憶部５３への撮影情報の転送を制御する記憶制御部５４と、視覚センサ５１が撮影した画像データを処理してワークＷの視覚センサ５１に対する位置及び向きを算出する画像処理部５５と、オペレータが情報を入力可能な入力部５６と、オペレータに情報を提示する表示部５７とを備える。

第１記憶部５２、記憶制御部５４、画像処理部５５、入力部５６及び表示部５７は、通常は視覚センサ５１の近傍に配置される主処理装置５Ａに設けられる。一方、第２記憶部５３は、主処理装置５Ａに設けられてもよいが、図示するように、主処理装置５Ａと専用通信回線又はネットワークを介して主処理装置５Ａに接続される外部記憶装置５Ｂに設けられてもよい。主処理装置５Ａは、機械制御装置４と一体に構成されてもよく、機械制御装置４とは分離して構成されてもよい。外部記憶装置５Ｂ、つまり第２記憶部５３は、複数の画像処理システム５、つまり複数の産業機械１に共用されてもよい。主処理装置５Ａと外部記憶装置５Ｂとを接続する専用通信回線としては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）等を挙げることができ専用無線通信回線であってもよい。また、主処理装置５Ａと外部記憶装置５Ｂとを接続するネットワークとしては、例えばイーサネット等の有線ＬＡＮ、例えばＷｉｆｉ（登録商標）等の無線ＬＡＮなどを挙げることができる。

視覚センサ５１は、被写体からの光の像を結像させる光学系と、結像した像を２次元位置毎に電気信号に変換する２次元撮像素子とを有するカメラによって構成することができる。視覚センサ５１は、位置決め機構３によって位置決めされてもよい。具体的には、視覚センサ５１は、処理ヘッド２又は位置決め機構３の処理ヘッド２が接続される末端の可動部材３４に支持される構成とすることができる。

第１記憶部５２は、特に限定されないが、例えばＤＲＡＭ、ＳＲＡＭ等の揮発性メモリによって構成することができる。第１記憶部５２は、少なくとも１つ好ましくは複数の過去の撮影情報を記憶できる容量を有する。これにより、視覚センサによって撮影された現在の画像データを処理すると同時に、過去の撮影情報の第２記憶部５３への転送及び第１記憶部５２からの消去を行うことができるので、第１記憶部５２に係る処理が産業機械１の動作を遅延させることを抑制できる。

第２記憶部５３は、特に限定されないが、例えばフラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ハードディスクドライブ、光ディスクドライブ等の不揮発性メモリによって構成することができる。第２記憶部５３は、産業機械１の比較的長期間の運転に際して取得される撮影情報を記憶できる容量を有する。

第２記憶部５３は、撮影情報を第１記憶部５２とは異なる形式のデータとして記憶してもよい。つまり、記憶制御部５４は、第１記憶部５２から読み出した撮影情報を異なる形式のデータに変換して第２記憶部５３に書き込んでもよい。例として、第２記憶部５３は、第１記憶部５２における撮影情報のテキストデータを圧縮したデータファイルとして記憶してもよい。

記憶制御部５４は、視覚センサ５１から提供される画像データと機械制御装置４から提供される機械制御情報とを紐づけた撮影情報を生成し、この撮影情報を第１記憶部５２に記憶させる。また、記憶制御部５４は、第１記憶部５２に記憶された古い撮影情報を第２記憶部５３に転送すると共に、第１記憶部５２に記憶されている古い撮影情報を削除する。この記憶制御部５４は、ＣＰＵ等の演算装置に適切なプログラムを実行させることにより実現することができる。

記憶制御部５４は、機械制御装置４からの要求に従って撮影を行うたびに撮影情報を第１記憶部５２に記憶させてもよいが、プログラム制御部４１からの指示に応じて、必要な撮影情報だけを第１記憶部５２に記憶させるように構成されてもよい。

第１記憶部５２から第２記憶部５３に転送される撮影情報は、第１記憶部５２が記憶している全ての撮影情報の中で最も古い撮影情報とされてもよい。第１記憶部５２が記憶している撮影情報を古いものから順番に第２記憶部５３に転送することによって、第１記憶部５２が一時的に記憶した撮影情報を漏れなく第２記憶部５３に記憶させて保存することができる。

また、第１記憶部５２から第２記憶部５３に転送される撮影情報は、オペレータが入力部５６を用いて選択又は作業プログラムにおいて選択される特定の属性を有する撮影情報の中で最も古い撮影情報とされてもよい。特定の属性を有する撮影情報のみを第１記憶部５２から第２記憶部５３に転送することによって、第１記憶部５２から第２記憶部５３に撮影情報を転送するために必要な時間を短縮し、第１記憶部５２から第２記憶部５３への撮影情報を転送が産業機械１の動作に待ち時間を生じさせることを抑制できる。

第２記憶部５３への転送の要否を定める属性としては、例えば視覚センサ５１が作業プログラムのどの命令に従って撮影を行ったかを等を挙げることができる。産業機械１が作業プログラムに従って動作をする際に、作業プログラムの特定の命令により位置決め機構３が位置決めする視覚センサ５１の位置の設定が適切か否かを確認することが重要であると予め分かっている場合がある。この場合、その特定の命令により位置決めされた視覚センサ５１が撮影した画像データとその時の位置決め機構の状態を特定する機械制御情報とを含む制御情報を第２記憶部５３に転送して保存することで、作業プログラムが適切であるがどうかを確認することができる。

記憶制御部５４による第１記憶部５２に記憶されている古い撮影情報の削除は、撮影情報を第２記憶部５３に転送したときに、続けてその転送した撮影情報を削除するようにしてもよい。また、記憶制御部５４による第１記憶部５２に記憶されている古い撮影情報の削除は、第１記憶部５２の容量及び記録回数の少なくとも何れかが所定値を超えた場合に、最も古い撮影情報から順番に削除するようにしてもよい。また、上述のように特定の属性を有する撮影情報のみを第２記憶部５３に転送する場合には、撮影情報を転送したときに転送した撮影情報と転送した撮影情報よりも古い他の属性の撮影情報とを同時に消去してもよく、撮影情報を転送したときに転送した撮影情報だけを消去し、第１記憶部５２の容量及び記録回数の少なくとも何れかが所定値を超えたときに他の属性の撮影情報を古いものから順番に削除してもよい。

また、記憶制御部５４は、入力部５６を用いたオペレータの指示又は作業プログラムに従って、第１記憶部５２から第２記憶部に撮影情報を転送するか否かを選択可能であってもよい。産業機械１の予定された動作の中で、一次的に第１記憶部５２から第２記憶部５３への撮影情報の転送を行わないようにすることで、その間だけは第１記憶部５２への撮影情報の記録に起因する産業機械１の動作遅延を防止して作業効率を向上することができる。また、不必要な撮影情報の転送を行わないことによって、第２記憶部５３の容量を節約することができる。

また、記憶制御部５４は、第１記憶部５２の容量及び記録回数の少なくともいずれかが所定値を超える場合に、第１記憶部５２に記憶されている古い撮影情報を削除するか、視覚センサ５１による新たな撮影を禁止するか、を選択可能であってもよい。第１記憶部５２の使用量が上限に達した場合に視覚センサ５１による新たな撮影を禁止することによって、例えば新たな作業プログラムを作成して産業機械１の動作を確認する場合等に、撮影情報を第２記憶部５３から第１記憶部５２に書き戻すことなく、表示部５７等により迅速に撮影情報を確認することができる。

画像処理部５５は、公知の画像処理技術によって視覚センサ５１が撮影した画像データを解析し、ワークＷの位置及び向きを判別する。この画像処理部５５は、ＣＰＵ等の演算装置に適切なプログラムを実行させることにより実現することができる。なお、画像処理部５５と記憶制御部５４とは機能的に区別されるものであって、同一の演算装置により実現されてもよい。

入力部５６は、オペレータが操作可能な例えばキーボード、スイッチ等の入力装置を有することができる。また、入力部５６は、通信回線等を介して他の制御装置やコンピュータからの入力を受け付けるものであってもよい。

表示部５７は、オペレータに対して情報を表示するディスプレイパネル等を有する構成とすることができる。また、表示部５７は、入力部５６と一体に形成されるタッチパネル等であってもよい。

続いて、産業機械１の動作の一例について、以下に順を追って説明する。産業機械１は、次のような作業プログラムに従って動作することができる。

［作業プログラム］
１： ＭＯＶＥ＿ＴＯ Ｐ１
２： ＶＩＳＩＯＮ＿ＦＩＮＤ “ＶＰ１”
３： ＭＯＶＥ＿ＴＯ Ｐ２
４： ＶＩＳＩＯＮ＿ＦＩＮＤ “ＶＰ２”

この作業プログラムでは、１行目の命令により、位置決め機構３が処理ヘッド２をＰ１として定義された位置に移動する。２行目の命令では、ＶＰ１という名前の撮影プログラムを実行する。この撮影プログラムＶＰ１では、視覚センサ５１による撮影及び撮影した画像データに基づくワークＷの位置及び向きの算出が行われ、記憶制御部５４による撮影情報の第１記憶部５２への書き込みがなされる。

図２に、撮影プログラムＶＰ１における撮影情報に関係する処理の流れを示す。この例において、撮影プログラムＶＰ１では、ステップＳ０１において第１の露光時間で第１の画像を撮影し、ステップＳ０２において第２の露光時間で第１の画像と画角が等しい第２の画像を撮影する。次に、ステップＳ０３において第１の画像からワークＷの第１の特徴点Ｃ１を検出し、ステップＳ０４において第２の画像からワークＷの第２の特徴点Ｃ２を検出する（図３に例示する撮影画像を参照）。そして、ステップＳ０５において画角が等しい第１の画像及び第２の画像における２つの特徴点Ｃ１，Ｃ２の位置から、ワークＷ全体の位置（座標及び向き）を算出し、ステップＳ０６において機械制御情報が示す撮影時の視覚センサ５１の位置を考慮して、位置決め機構３の座標系におけるワークＷの位置を算出する。さらに、ステップＳ０７において、記憶制御部５４によって、例えば次のようなフォーマットの撮影情報を第１記憶部に記憶させる。

［撮影情報］
{
datetime: “2017/01/04 10:53:30”,
program: “VP1”,
command: “SNAPFIND”,
images: [
{
file: “img00001.png”,
snap_pos: [2.3, 1.1, 10.6, 0.1, 0.2, 10],
binning: 1,
},
{
file: “img00002.png”,
snap_pos: [2.3, 1.1, 10.6, 0.1, 0.2, 10],
binning: 1
}
],
found_pos: [
[2.3, 1.1, 10.6, 0.1, 0.2, 10],
[5.2, -2.3, 10.2, 0.1, 0.2, -1]
]
}

上記撮影情報は、機械制御情報として、撮影プログラムの名称（属性情報）、第１の画像のデータ及びその撮影時の視覚センサ５１の位置、第２の画像のデータ及びその撮影時の視覚センサ５１の位置を含み、画像処理結果として、算出されたワークＷの位置を含む。なお、上記撮影情報のフォーマットでは、画像データは、外部ファイルを参照する形式とされているが、同じファイル内に記載されてもよい。

さらに、上記作業プログラムでは、３行目の命令により、位置決め機構３が処理ヘッド２をＰ２として定義された位置に移動させる。そして、４行目の命令で、ＶＰ２という名前の撮影プログラムを実行する。ここでも、視覚センサ５１による撮影及び撮影した画像データに基づくワークＷの位置及び向きの算出が行われ、記憶制御部５４による撮影情報の第１記憶部５２への書き込みがなされる。

図４に、記憶制御部５４による撮影情報の第１記憶部５２への書き込みの手順を示す。第１記憶部５２による撮影情報の記憶は、先ず、ステップＳ１１において撮影情報を取得し、ステップＳ１２において第１記憶部５２の空き容量が十分か、つまり空き容量が新たな撮影情報のサイズよりも大きいか否かを確認する。第１記憶部５２の空き容量が十分でなかった場合は、ステップＳ１３に進んで古い撮影情報を削除することにより空き容量を増やし、ステップＳ１２に戻って再度第１記憶部５２の空き容量を確認する。第１記憶部５２の空き容量が十分であった場合は、ステップＳ１４に進んで第１記憶部５２による撮影情報を記憶させる。

産業機械１では、作業プログラム２行目の撮影プログラムＶＰ１の第２の画像の撮影が終了すれば、３行目の処理ヘッド２の移動を行う処理を実行してもよいが、撮影情報の第１記憶部５２への書き込みが完了するまで新しい画像データを取り扱うことができないので、４行目の撮影プログラムＶＰ２を実行することはできない。ここで、第１記憶部５２が比較的高速であることによって、撮影プログラムＶＰ１の実行から撮影プログラムＶＰ２の実行までの間に待ち時間が生じることを抑制できる。

また、産業機械１では、上記作業プログラムの実行と並列して、記憶制御部５４が第１記憶部５２の撮影情報を第２記憶部５３に転送する。具体的には、記憶制御部５４は、作業プログラムの実行により生成される新しい撮影情報を第１記憶部５２に記憶させると共に、新しい撮影情報を記憶するために第１記憶部５２が占有されていないときには、第１記憶部５２に既に記憶されている古い撮影情報を第２記憶部５３に転送する処理を行う。

図５に、第２記憶部５３への撮影情報の転送に係る制御の手順を示す。第２記憶部５３への撮影情報の転送制御は、先ず、ステップＳ２１において第１記憶部５２に第２記憶部５３に転送すべき撮影情報が存在するか否かを確認する。第１記憶部５２に第２記憶部５３に転送すべき撮影情報が存在する場合、ステップＳ２２に進んで第１記憶部５２の撮影情報を第２記憶部５３に転送し、さらにステップＳ２３において転送した撮影情報を第１記憶部５２から削除する。なお、この第２記憶部５３への撮影情報の転送処理中に新たな撮影情報の第１記憶部５２への書き込み処理が必用となった場合には、第２記憶部５３への転送処理を中断して新たな撮影情報の第１記憶部５２への書き込み処理を実行してもよい。

以上のように、産業機械１の画像処理システム５は、比較的高速な第１記憶部５２と比較的大容量の第２記憶部５３とを備えることによって、迅速な処理が可能であると共に、問題が生じた場合に撮影情報を確認して原因究明を行うことができる。特に、画像処理システム５は、画像データと画像処理結果と機械制御情報とを含む撮影情報を生成して記憶するため、視覚センサ５１が撮影した画像だけでなく、位置決め機構３の状態を把握することができるので、不具合の原因をより容易に究明することができる。

以上、本開示の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

産業機械１は、位置決め機構によってワーク又は工具を位置決めしてワークを加工する工作機械であってもよい。

１ 産業機械
２ 処理ヘッド
３ 位置決め機構
４ 機械制御装置
５ 画像処理システム
３１，３２，３３，３４ 可動部材
４１ プログラム制御部
４２ 位置決め制御部
４３ ヘッド制御部
５１ 視覚センサ
５２ 第１記憶部
５３ 第２記憶部
５４ 記憶制御部
５５ 画像処理部
５６ 入力部
５７ 表示部
Ｗ ワーク

Claims (7)

1. 産業機械において画像情報を取得して画像処理する画像処理システムであって、
   画像を撮影する視覚センサと、
   前記産業機械の作業プログラムに従って、前記視覚センサが撮影した画像データとその画像データの処理結果及び撮影時の前記産業機械の機械制御情報の少なくとも一方とを含む撮影情報を記憶する第１記憶部と、
   前記第１記憶部よりも低速かつ大容量であり、前記第１記憶部から前記撮影情報が転送される第２記憶部と、
   前記第１記憶部による前記撮影情報の記憶、及び前記第１記憶部から前記第２記憶部への前記撮影情報の転送を制御する記憶制御部と、
   前記第１記憶部に記憶されている前記撮影情報を表示可能な表示部と、
   を備え、
   前記記憶制御部は、前記作業プログラム中の所定の命令に応じて前記撮影情報を前記第１記憶部に記憶し、かつ、前記第１記憶部に記憶された前記撮影情報を前記第２記憶部に転送すると共に、前記第１記憶部に記憶されている前記撮影情報を削除する、画像処理システム。
2. 前記記憶制御部は、前記第１記憶部に記憶された前記撮影情報を前記第２記憶部に転送したとき、転送した前記撮影情報を前記第１記憶部から削除する、請求項１記載の画像処理システム。
3. 前記記憶制御部は、前記第１記憶部から前記第２記憶部に前記撮影情報を転送するか否かを選択可能である、請求項１又は２に記載の画像処理システム。
4. 前記記憶制御部は、前記第１記憶部の容量及び記録回数の少なくともいずれかが所定値を超える場合に、前記第１記憶部に記憶されている古い前記撮影情報を削除するか、前記視覚センサによる新たな撮影を禁止するか、を選択可能である、請求項１から３のいずれかに記載の画像処理システム。
5. 前記記憶制御部は、特定の属性を有する前記撮影情報のみを、前記第１記憶部から前記第２記憶部に転送可能である、請求項１から４のいずれかに記載の画像処理システム。
6. 前記記憶制御部は、専用通信回線又はネットワークを介して前記第１記憶部から前記第２記憶部に前記撮影情報を転送する、請求項１から５のいずれかに記載の画像処理システム。
7. 請求項１から６のいずれかに記載の画像処理システムと、
   前記視覚センサを位置決めする位置決め機構と、
   前記位置決め機構を制御し、前記位置決め機構の情報を前記機械制御情報として前記記憶制御部に提供する機械制御装置と、
   を備える、産業機械。

Images