JP7269126B2

JP7269126B2 - 撮像検出データの転送システム

Info

Publication number: JP7269126B2
Application number: JP2019140981A
Authority: JP
Inventors: 勝小田
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-07-31
Filing date: 2019-07-31
Publication date: 2023-05-08
Anticipated expiration: 2039-07-31
Also published as: CN112504961A; DE102020003780A1; JP2021026276A; US11367174B2; US20210035283A1

Description

本発明は、撮像検出データの転送システムに関する。

従来、ビジョンシステム（以降では、「撮像検出システム」とも呼称する）を用いた対象物の検出では、ワークの変化やバラつきによって、未検出や誤検出が発生することがあり、その場合には、ビジョンシステムで用いられる照明や、ビジョンプログラム（以降では、「撮像検出プログラム」とも呼称する）及びビジョンパラメータ（以降では、「撮像検出パラメータ」とも呼称する）を含むビジョンシステムデータ（以降では、「撮像検出システムデータ」とも呼称する）等、ビジョンシステムの構成物を再調整することで対処している。

この点、外部からの制御信号を契機に、予め設定された本撮影パラメータを用いて本撮影を行い、撮影された画像データに対して本画像処理を行い、本画像処理中において、本撮影パラメータと異なる少なくとも１つ以上の副撮影パラメータを用いて副撮影を行い、副撮影された画像データに対して副画像処理を行い、抽出された副画像処理結果が適切であれば、その処理結果をもたらした副撮影パラメータを本撮影パラメータとして調整する技術が知られている（例えば、特許文献１参照）。

特開２０１６－１４６１４３号公報

しかしながら、ビジョンシステムの再調整に際しては、その間、ビジョンシステムが停止してしまうため、生産性低下の要因となってしまうという課題がある。

ビジョンシステムの所定箇所においてワークの検出不具合が発生した場合に、正常に検出可能な設定を調整作業に際してもシステム停止とならないため、従来のビジョンシステムに比べて生産性が向上するビジョンシステムが望まれている。

本開示の一態様は、撮像した第１画像を用いて対象物を検出する第１撮像検出システムと、前記第１撮像検出システムによる検出情報を用いた動作をする産業機械と、前記第１撮像検出システムの上流に設置され、撮像した第２画像を用いて対象物を検出する第２撮像検出システムと、前記第２撮像検出システムに対して検出指示を出力すると共に、前記第２撮像検出システムで用いられる撮像検出システムデータを変更する操作端末とを備え、前記第１ビジョンシステムは、前記第２撮像検出システムから前記撮像検出システムデータを受信する受信部を備え、前記第２撮像検出システムは、前記第１撮像検出システムに前記撮像検出システムデータを送信する送信部を備える、撮像検出データの転送システムである。

一態様によれば、ビジョンシステムの所定箇所においてワークの検出不具合が発生した場合に、正常に検出可能な設定を調整作業に際してもシステム停止とならないため、従来のビジョンシステムに比べて生産性が向上する。

一実施形態の転送システムの概略図である。一実施形態の転送システムの機能ブロック図である。一実施形態の転送システムの動作を示すフローチャートである。一実施形態の転送システムの概念図である。

〔１第１実施形態〕
以下、本発明の第１実施形態について図１～図３を参照しながら説明する。

〔１．１概要〕
図１は、本発明の第１実施形態に係るビジョンデータの転送システムの概略図である。転送システム１は、第１ビジョンシステム（以降では、「第１撮像検出システム」とも呼称する）１０と、ロボット１３と、第２ビジョンシステム２０と、操作端末２３とを備える。更に、第１ビジョンシステム１０は、検出用カメラ１１と制御部１２を備え、第２ビジョンシステム（以降では、「第２撮像検出システム」とも呼称する）２０は、検出用カメラ２１と制御部２２とを備える。

例として、転送システム１は、ベルトコンベア４０上を、加工機３０を経由して流れる、トレー５１に載置されたワーク５２のビジョンデータを転送するとする。

より詳細には、第２ビジョンシステム２０において、検出用カメラ２１は、加工機３０よりも上流でトレー５１Ａに載置されたワーク５２Ａを撮像する。制御部２２は、検出用カメラ２１によって撮像された画像を用いてワーク５２Ａを検出する。ここで、未検出や誤検出が発生した場合には、オペレータは、操作端末２３を操作することにより、ビジョンシステムデータを調整・変更する。このため、操作端末２３は、検出を指示するためのボタンや、ビジョンシステムデータを調整・変更するためのインタフェースを備える。

ここで、「検出用カメラ２１」は、ワーク５２Ａを撮像するための撮像装置であり、ズーム機能や方向転換機能を有してもよい。

また、「ビジョンシステムデータ」とは、上記の撮像画像、ビジョンプログラム、ビジョンパラメータ、第２ビジョンシステム２０で用いられる照明の照度、照明の色を有する。

更に、「ビジョンプログラム」とは、第１ビジョンシステム１０及び第２ビジョンシステム２０において、ワーク５２の撮像画像を用いてワーク５２を検出するためのプログラムであり、例えば、ワーク５２の発見を指示するモジュールを含んでもよい。

また、「ビジョンパラメータ」とは、ビジョンプログラムで用いられるパラメータである。具体的には、「ビジョンパラメータ」とは、ビジョンプログラムで用いられる閾値や、撮像エリアを絞るためのパラメータであってよい。

更に、第２ビジョンシステム２０の制御部２２は、正常検出時のビジョンシステムデータ、及び未検出や誤検出が発生した場合の調整・変更後のビジョンシステムデータを、ワーク５２Ａに関連付けた後、第１ビジョンシステム１０に送信する。なお、このビジョンシステムデータの１つ１つが、各ワーク５２Ａに関連付けられる。

第１ビジョンシステム１０において、検出用カメラ１１は、トレー５１Ｂに載置された、加工機３０によって加工されたワーク５２Ｂを撮像する。制御部１２は、検出用カメラ１１によって撮像された画像を用いてワーク５２Ｂを検出する。ここで、制御部１２は、第２ビジョンシステム２０から受信した、調整・変更後のビジョンシステムデータを用いることにより、ワーク５２Ｂの正常検出の結果が飛躍的に高まる。

なお、第１ビジョンシステム１０で用いられるビジョンシステムデータには、第２ビジョンシステム２０から受信した、調整・変更後のビジョンシステムデータに加え、検出用カメラ１１で撮像された画像、第１ビジョンシステム１０で用いられる照明の照度、及び照明の色が含まれる。

更に、制御部１２は、正常に検出されたワーク５２Ｂの検出結果をロボット１３に出力する。これにより、ロボット１３は、正常に検出されたワークの検出結果を用いて、自動作業を実行することが可能となる。

なお、図１には図示しないが、第１ビジョンシステム１０の制御部１２と、第２ビジョンシステム２０の制御部２２との間に、ストレージバッファを設け、当該ストレージバッファに調整・変更後のビジョンシステムデータを格納してもよい。これにより、正常に検出された後のビジョンシステムデータが、前送りでストレージバッファに格納される。

また、第２ビジョンシステム２０の制御部２２は、調整・変更後のビジョンシステムデータを、ワーク５２Ａに関連付けるのではなく、各ビジョンシステムデータの順番と、ワーク５２Ａの順番とを、第１ビジョンシステム１０に送信し、第１ビジョンシステム１０の側で、同一の順番の各ビジョンシステムデータとワーク５２Ｂとを対応付けてもよい。
この場合、ワーク５２Ａ及びワーク５２Ｂに、関連付けのための用いるタグやＱＲコード（登録商標）を貼付する必要は発生しない。

〔１．２全体構成〕
図２は、転送システム１の機能ブロック図である。
転送システム１は、第１ビジョンシステム１０、産業機械１３、第２ビジョンシステム２０、及び操作端末２３を備える。

第１ビジョンシステム１０は、撮像部１１と制御部１２とを備える。
撮像部１１は、第１ビジョンシステム１０において検出対象となるワーク５２Ｂを撮像する。なお、撮像部１１は、図１における検出用カメラ１１に対応する。

制御部１２は、第１ビジョンシステム１０の全体を制御する部分であり、各種プログラムを、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等の記憶領域から適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部は、ＣＰＵであってよい。制御部１２は、受信部１２１、検出部１２２２、及び出力部１２３を備える。

受信部１２１は、第２ビジョンシステム２０から、調整・変更後のビジョンシステムデータを受信する。

検出部１２２は、撮像部１１によって撮像されたワーク５２Ｂの画像を用いてワーク５２Ｂを検出する。この際、受信部１２１によって第２ビジョンシステム２０から受信された、調整・変更後のビジョンシステムデータを用いることにより、ワーク５２Ｂの正常検出の結果が飛躍的に高まる。

出力部１２３は、検出部１２２によって検出されたワーク５２Ｂの検出結果を、産業機械１３に出力する。

産業機械１３は、第１ビジョンシステム１０から入力されたワーク５２Ｂの検出結果を用いて自動作業を実行する。なお、産業機械１３は、図１におけるロボット１３に対応する。

第２ビジョンシステム２０は、撮像部２１と制御部２２とを備える。
撮像部２１は、第２ビジョンシステム２０において検出対象となるワーク５２Ａを撮像する。なお、撮像部２１は、図１における検出用カメラ２１に対応する。

制御部２２は、第２ビジョンシステム２０の全体を制御する部分であり、各種プログラムを、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等の記憶領域から適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部は、ＣＰＵであってよい。制御部２２は、検出部２２１、変更部２２２、関連付け部２２３、送信部２２４を備える。

検出部２２１は、撮像部２１によって撮像されたワーク５２Ａの画像を用いてワーク５２Ａを検出する。

変更部２２２は、検出部２２１によるワーク５２Ａの検出時に、未検出や誤検出が発生した場合に、後述の操作端末２３からの操作により、ビジョンシステムデータを調整・変更する。

関連付け部２２３は、正常検出時のビジョンシステムデータ、及び未検出や誤検出が発生した場合の調整・変更後のビジョンシステムデータを、ワーク５２Ａに関連付ける。

送信部２２４は、関連付け部２２３によって関連付けられたビジョンシステムデータを、第１ビジョンシステム１０に送信する。

操作端末２３は、第２ビジョンシステム２０に対し、ワーク５２Ａの検出を指示すると共に、ビジョンシステムデータを調整・変更するための装置である。

〔１．３動作〕
図３は、転送システム１の動作を示すフローチャートである。
ステップＳ１１において、操作端末２３から第２ビジョンシステム２０に対し、ワーク５２Ａの検出指示を出力する。

ステップＳ１２において、検出が成功した場合（Ｓ１２：ＹＥＳ）には、処理はステップＳ１４に移行する。検出が失敗した場合、すなわち未検出や誤検出が発生した場合（Ｓ１２：ＮＯ）には、処理はステップＳ１３に移行する。

ステップＳ１３において、第２ビジョンシステム２０において、ビジョンシステムデータを調整・変更する。その後、処理はステップＳ１１に移行する。

ステップＳ１４において、第２ビジョンシステム２０から第１ビジョンシステム１０に対し、ビジョンシステムデータを送信する。

ステップＳ１５において、第１ビジョンシステム１０において、ワーク５２Ｂの検出動作を行う。

ステップＳ１６において、第１ビジョンシステム１０から産業機械１３に対し、ワーク５２Ｂの検出結果を出力する。

ステップＳ１７において、産業機械１３において、ワーク５２Ｂの検出結果を用いて自動作業を行う。

〔１．４第１実施形態が奏する効果〕
本実施形態に係る転送システム１により、事前にワークの検出の可否を確認できる。また、ワークの未検出や誤検出等、検出不具合の発生に際しては、その場でビジョンプログラム、パラメータ、又は照明の設定等を調整することで、正常に検出可能な設定を調整することができる。

更に、ワークの投入工程での調整結果をロボット工程に転送することで、ロボット工程でのビジョン正常検出の可能性が飛躍的に向上することから、従来のビジョンシステムに比べて生産性の向上を実現することが可能となる。

〔２第２実施形態〕
以下、本発明の第２実施形態について図４を参照しながら説明する。

〔２．１概要〕
第１実施形態は、下流工程においてワークを検出するよりも上流工程において予めワークを検出し、未検出・誤検出の場合にはビジョンシステムデータを調整・変更した上で、上流工程から下流工程にビジョンシステムデータを送信し、下流工程において上流工程から受信したビジョンシステムを用いてワークを検出することにより、ビジョン正常検出の可能性を向上させるものであった。

一方、第２実施形態は、第２ビジョンシステム２０において、ワークが載置されていないトレーのみの画像を検出し、第１ビジョンシステム１０において、ワークが載置されたトレーの画像から、トレーのみの画像を差し引くことにより、第１ビジョンシステム１０において、ビジョン正常検出の可能性を向上させるものである。

図４は、第２実施形態に係る転送システム１Ａの概念を示す図である。なお、第２実施形態に係る転送システム１Ａの機能ブロックは、図２に示す第１実施形態に係る転送システム１の機能ブロックと同一であるため、その説明を省略する。

図４の（ａ）に示すように、トレー５１上にワーク５２が載置されていると共に、トレー５１に汚れが付着している場合、ワーク５２を正常に検出できる可能性は低くなる。このため、第２ビジョンシステム２０において、図４の（ｂ）に示すトレー５１のみの画像を撮像する。

その後、第１ビジョンシステム１０において、図４の（ａ）に示すトレー５１とワーク５２の画像から、図４の（ｂ）に示すトレー５１の画像を差し引くことにより、図４の（ｃ）に示すように、ワーク５２の画像を取得することができる。

これにより、トレー５１に汚れが付着している場合であっても、ワーク５２を正常に検出できる可能性が向上する。

〔２．２第２実施形態が奏する効果〕
本実施形態に係る転送システム１Ａにより、トレーに汚れが付着している場合であっても、事前にトレーのみの画像を取得しておくことにより、正常に検出可能な設定を調整することができる。

〔３変形例〕
上記の第１実施形態及び第２実施形態においては、第１ビジョンシステム１０の受信部１２１と、第２ビジョンシステム２０の送信部２２４とが別体であったが、これには限定されない。例えば、受信部１２１と送信部２２４とが同一の筐体内に格納されてもよい。
更に、上記のように転送システム１又は１Ａがストレージバッファを備える場合には、受信部１２１、送信部２２４に加え、ストレージバッファも同一の筐体内に格納されてもよい。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

転送システム１又は１Ａによる制御方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、コンピュータ（転送システム１又は１Ａ）にインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。更に、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータ（転送システム１又は１Ａ）に提供されてもよい。

１，１Ａ転送システム
１０第１ビジョンシステム
１１，２１撮像部（検出用カメラ）
１２，２２制御部
１３産業機械（ロボット）
２０第２ビジョンシステム
２３操作端末
１２１受信部
１２２，２２１検出部
１２３出力部
２２２変更部
２２３関連付け部
２２４送信部

Claims

撮像した第１画像を用いて対象物を検出する第１撮像検出システムと、
前記第１撮像検出システムによる検出情報を用いた動作をする産業機械と、
前記第１撮像検出システムの上流に設置され、撮像した第２画像を用いて対象物を検出する第２撮像検出システムと、
前記第２撮像検出システムに対して検出指示を出力すると共に、前記第２撮像検出システムで用いられる撮像検出システムデータを変更する操作端末とを備え、
前記第１撮像検出システムは、前記第２撮像検出システムから前記撮像検出システムデータを受信する受信部を備え、
前記第２撮像検出システムは、前記第１撮像検出システムに前記撮像検出システムデータを送信する送信部を備える、撮像検出データの転送システム。
前記撮像検出システムデータは、前記対象物に係るデータと関連付けられた状態で、前記送信部から前記受信部に送受信される、請求項１に記載の転送システム。
前記操作端末は、前記第２撮像検出システムでの検出が正しく行われなかった場合に、前記第２撮像検出システムでの検出が正しく行われるように、前記撮像検出システムデータを変更するインタフェースを備える、請求項１又は請求項２に記載の転送システム。
前記撮像検出システムデータは、前記第１画像、前記第２画像、撮像検出プログラム、撮像検出パラメータ、前記第１撮像検出システム及び前記第２撮像検出システムで用いられる照明の照度、及び前記照明の色のうち、少なくとも１つを有する、請求項１から請求項３のいずれか１項に記載の転送システム。
前記第２画像が、前記対象物がセットされていないトレーの画像であり、前記第１撮像検出システムは、前記第１画像から前記第２画像を差し引いた画像を用いて前記対象物を検出する、請求項１から請求項４のいずれか１項に記載の転送システム。