JP6918756B2 - 検出システム - Google Patents

検出システム Download PDF

Info

Publication number
JP6918756B2
JP6918756B2 JP2018163757A JP2018163757A JP6918756B2 JP 6918756 B2 JP6918756 B2 JP 6918756B2 JP 2018163757 A JP2018163757 A JP 2018163757A JP 2018163757 A JP2018163757 A JP 2018163757A JP 6918756 B2 JP6918756 B2 JP 6918756B2
Authority
JP
Japan
Prior art keywords
work
data
work data
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018163757A
Other languages
English (en)
Other versions
JP2020032520A (ja
Inventor
雅文 大場
雅文 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2018163757A priority Critical patent/JP6918756B2/ja
Priority to US16/508,959 priority patent/US11141864B2/en
Priority to DE102019122863.8A priority patent/DE102019122863A1/de
Priority to CN201910793986.5A priority patent/CN110871442A/zh
Publication of JP2020032520A publication Critical patent/JP2020032520A/ja
Application granted granted Critical
Publication of JP6918756B2 publication Critical patent/JP6918756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0093Programme-controlled manipulators co-operating with conveyor means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41815Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31081Detect position robot, agv relative to machine to start communication
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40577Multisensor object recognition

Description

本発明は検出システムに関する。
従来、搬送装置によって搬送されている対象を検出する検出部と、ロボットとを備え、ロボットがその先端部に設けられたツールを用いて搬送装置上の対象を取出すロボットシステムが知られている(例えば、特許文献1参照。)。当該ロボットシステムでは、同一の対象が撮像装置によって2回以上撮像されると、2回目以降の検出結果が無効化される。
特開2016−209995号公報
前記ロボットシステムでは、検出部の撮像装置によって同一の対象が2回以上撮像される時に、2回目以降の撮像データから得られる検出結果は使用されない。
しかし、撮像装置のレンズの歪み、対象に対する照明の角度、搬送装置の不備等の影響によって、必ずしも最初に撮像データにより得られた検出結果が最も有用であるとは限らない。
本発明は、前述の事情に鑑みてなされている。本発明の目的の一つは、移動手段によって移動している対象を検出する検出部の検出データを効率的且つ有効に利用することができる検出システムの提供である。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第1態様の検出システムは、移動手段によって移動している対象の検出を検出範囲内で複数回行う検出部と、前記検出部による前記対象の前記検出が行われる度に、前記検出部によって得られた前記対象の少なくとも位置を示す第1データ要素と、前記検出の時に得られた前記対象に関する指標を少なくとも含む第2データ要素とを有するワークデータを作成するワークデータ作成手段と、前記ワークデータ作成手段によって作成された前記ワークデータを保存するワークデータ保存手段と、を備え、前記ワークデータ保存手段が、前記指標に基づき、前記対象について新たに作成される前記ワークデータと前記ワークデータ保存手段によって保存されている前記ワークデータのうち何れか一方を保存すべきワークデータとして選択する。
本発明の第2態様の検出システムは、移動手段によって移動している対象の検出を検出範囲内で複数回行う検出部と、前記検出部による前記対象の前記検出が行われる度に、前記検出部によって得られた前記対象の少なくとも位置を示す第1データ要素と、前記検出の時に得られた前記対象に関する指標を少なくとも含む第2データ要素とを有するワークデータを作成するワークデータ作成手段と、前記ワークデータ作成手段によって作成された前記ワークデータを保存するワークデータ保存手段と、を備え、前記ワークデータ保存手段が、前記指標に基づき、前記対象について新たに作成される前記ワークデータのデータ要素と前記ワークデータ保存手段によって保存されている前記ワークデータの前記データ要素のうち何れか一方を保存すべきデータ要素として選択し、前記データ要素は、前記第1データ要素および前記第2データ要素の何れか一方である。
例えば、対象が移動手段上で移動する可能性がある場合、対象の最新の位置を用いてロボット等による作業が行われることが好ましい。また、ロボット等による作業を適切に行うために対象の形状を出来るだけ正確に認識したい場合は、対象の複数回の検出のうち対象の形状の検出が最も正確である検出が反映されることが望ましい。また、対象の質、種類等を重視する場合は、対象の複数回の検出のうち対象の質、種類等が最も正確にわかる検出が反映されることが好ましい。ここで、対象の形状の検出精度、質、および種類は第2データ要素に含まれる対象に関する指標の例である。
第1態様では、第2データ要素に含まれる対象に関する指標に基づき、当該対象について新たに作成されるワークデータとワークデータ保存手段によって保存されているワークデータのうち何れか一方が保存すべきワークデータとして選択される。対象の形状の検出精度、質、種類等のうち重視する指標を用いてワークデータの入れ換えが行われるので、検出部の検出データを効率的且つ有効に利用することができる。
第2態様では、第2データ要素に含まれる対象に関する指標に基づき、当該対象について新たに作成されるワークデータのデータ要素とワークデータ保存手段によって保存されているワークデータのデータ要素のうち何れか一方が保存すべきデータ要素として選択される。また、データ要素は、第1データ要素および第2データ要素の何れか一方である。対象の形状の検出精度、質、種類等のうち重視する指標を用いてワークデータのデータ要素の入れ換えが行われるので、検出部の検出データを効率的且つ有効に利用することができる。
上記態様において、好ましくは、前記ワークデータ作成手段が、前記対象に対する作業の難易度に関連する作業関連スコアを前記第2データ要素の前記指標として有する前記ワークデータを作成する。
ロボット等の作業機械による作業を適切に行うためには、対象に対する作業の難易度が低い方が一般的に好ましい。対象に対する作業の難易度に関連する作業関連スコアを指標として用いることは、対象に対する作業をより適切に行う上で有利である。
上記態様において、好ましくは、前記ワークデータ作成手段が、前記第2データ要素の前記指標として前記作業関連スコアとは異なる他のスコアを前記第2データ要素の前記指標としてさらに有する前記ワークデータを作成する。
ロボット等の作業機械による作業の目的に応じて、ワークデータ又はそのデータ要素の入れ換えが柔軟に行われることが好ましい。当該態様では、ワークデータが作業関連スコアとは異なる他のスコアを指標として有する。このため、作業の目的に適したスコアを優先的に用いてワークデータ又はそのデータ要素の入れ換えを行うことが可能となる。
上記態様において、好ましくは、前記ワークデータ作成手段が、前記対象の質および種類の少なくとも1つに関連する質関連スコアを前記第2データ要素の前記指標として有する前記ワークデータを作成する。
ロボット等の作業機械による作業の目的に応じて、ワークデータ又はそのデータ要素の入れ換えが柔軟に行われることが好ましい。当該態様では、ワークデータが作業関連スコアとは異なるスコアであって、対象の質および種類の少なくとも1つに関連する質関連スコアを有する。このため、作業の目的に適したスコアを優先的に用いてワークデータ又はそのデータ要素の入れ換えを行うことが可能となる。
上記態様において、好ましくは、前記ワークデータ保存手段が、前記作業関連スコアおよび前記他のスコア又は前記質関連スコアの何れかの優先度が高いものに基づいて前記保存すべきワークデータの選択を行う。
優先的に考慮されるスコアを変更することにより、ロボット等の作業機械の動作を作業の目的に簡易に且つ効率的に適合させることができる。
上記態様において、好ましくは、前記新たに作成される前記ワークデータの前記指標と前記ワークデータ保存手段によって保存されている前記ワークデータの前記指標とが同一である場合、前記ワークデータ保存手段が、前記新たに作成される前記ワークデータを前記保存すべきワークデータとして選択する。
この場合、新たに作成されるワークデータが保存されても当該対象の指標は変化しないが、ワークデータ中の第1データ要素の位置データが最新のものとなる。例えば、対象が移動手段上で移動する可能性がある場合に、最新の位置データを用いることができる当該構成は、作業の正確性、確実性を向上するために有利である。
上記態様において、好ましくは、前記作業関連スコアが、前記検出部の撮像装置によって得られた画像における前記対象のコントラスト、前記画像における前記対象の歪み、および前記移動手段による移動方向と直交する方向の前記対象の位置の少なくとも一つに関連している。
ロボット等の作業機械によって対象に対する作業を行う時に、撮像装置によって得られた画像における対象のコントラストが低い場合又は対象の歪みが大きい場合、作業機械による作業に好ましくない影響が出る時がある。また、前記直交する方向において作業機械から対象迄の距離が適切である方が、作業機械による作業が容易となる。このため、当該構成は、作業の正確性、確実性を向上するために有利である。
本発明によれば、移動手段によって移動している対象を検出する検出部の検出データを効率的且つ有効に利用することができる。
本発明の第1実施形態の検出システムが使用されるロボットシステムの構成を示す図である。 第1実施形態の検出システムの制御ユニットのブロック図である。 第1実施形態の検出システムによって検出される対象の動作説明図である。
本発明の第1実施形態に係る検出システムについて、図面を用いながら以下説明する。
第1実施形態の検出システムは、一例では図1に示されるロボットシステムに使用され、第1検出装置(検出部)10と、第2検出装置(検出部)20と、ロボット30を制御する制御ユニット40とを備えている。ロボット(作業機械)30は、搬送装置(移動手段)2によって移動される物品である対象Oに対して所定の作業を行う。ロボット30の先端部にはツールTが取付けられ、一例としてロボット30はツールTによって搬送装置2上の対象Oの取出作業を行う。本実施形態では、搬送装置2の搬送方向と図1の基準座標系201のX軸方向が一致しており、鉛直方向と図1の基準座標系201のZ軸方向とが一致しており、図1の基準座標系201のY軸方向は搬送装置2の幅方向と一致するように取られている。制御ユニット40は、1台の制御装置から成るものでもよく、複数台の制御装置から成るものでもよい。
ロボット30は特定の種類のロボットに限定されないが、本実施形態のロボット30は、複数の可動部をそれぞれ駆動する複数のサーボモータ31(図2参照)を備える垂直多関節ロボットである。なお、複数の可動部によってロボット30のアーム30aが構成されている。各サーボモータ31はその作動位置を検出するための作動位置検出装置を有し、作動位置検出装置は一例としてエンコーダである。作動位置検出装置の検出値は制御ユニット40に送信される。ロボット30は、水平端関節ロボット、マルチリンクロボット等であってもよい。
制御ユニット40は、一例では、図2に示されるように、CPU等のプロセッサ41と、表示装置42と、不揮発性ストレージ、ROM、RAM等を有する記憶部43と、ロボット30のサーボモータ31にそれぞれ対応している複数のサーボ制御器44と、操作盤等の入力部45とを備えている。
記憶部43にはシステムプログラム43aが格納されており、システムプログラム43aは制御ユニット40の基本機能を担っている。また、記憶部43にはワークデータ作成プログラム(ワークデータ作成手段)43bおよびワークデータ保存プログラム(ワークデータ保存手段)43cが格納されている。また、記憶部43には動作プログラムおよび追随制御プログラムも格納されており、各プログラムに基づきプロセッサ41がロボット30の各サーボモータ31およびツールTを制御し、これにより搬送装置2によって搬送されている対象Oの取出作業が行われる。
なお、第1検出装置10および第2検出装置20はロボット30の作業位置又はそれよりも前記搬送方向の上流側で下記検出を行う。
第1検出装置10は撮像装置10aを有し、撮像装置10aは二次元カメラ、三次元カメラ等である。撮像装置10aの代わりに三次元距離センサ等が用いられてもよく、対象Oの位置および姿勢を検出するためのデータを得ることができる他のセンサを用いることも可能である。本実施形態の撮像装置10aは二次元カメラであり、撮像装置10aは搬送装置2の上方に図示しないフレーム等により支持されている。第1検出装置10は、その撮像位置を照明するために、例えば可視光を照射する照明装置10bを有し、照明装置10bは撮像装置10aによる撮像を行う時だけ光を照射する。
第1検出装置10は、プロセッサ11と、RAM12と、画像処理プログラム13aが格納されたメモリ13とを備えている。プロセッサ11は、画像処理プログラム13aに基づき、例えば、ブロブ処理、パターンマッチ処理、特徴点の位置に基づく姿勢検出処理等を行う。第1検出装置10で得られた検出データ(第1データ要素)は制御ユニット40に送信される。検出データには各対象Oの位置データが少なくとも含まれており、各対象Oの姿勢データがさらに含まれていてもよい。
第1検出装置10は、画像処理プログラム13aに基づき、例えばパターンマッチ処理で計測された所定部位の形状と所定のモデル形状との合致度(作業関連スコア)を求める作業関連データ取得処理とを行う。所定部位がツールTによって把持される部分であれば、その形状によってツールTによる把持の難易度が異なる。このため、作業関連データ取得処理によって各対象Oに対して得られるスコアは、各対象Oに対する作業の難易度を示すものとなる。第1検出装置10で得られた作業関連スコア(指標)を含む作業関連データ(第2データ要素)は制御ユニット40に送信される。
第2検出装置20は撮像装置20aを有し、撮像装置20aは対象Oの品質(質)、種類、および検査結果(質)の少なくとも1つを検出するためのものである。本実施形態では、撮像装置20aは二次元カメラであり、その撮像位置に紫外線を照射する照明装置20bを有する。照明装置20bは撮像装置20aによる撮像を行う時だけ紫外線を照射する。撮像装置20aは、照明装置20bによって紫外線が照射された対象Oから生ずる所定の波長の蛍光を撮像できる。なお、照明装置20bは、赤外線又は可視光を照射するものであってもよい。
第2検出装置20は、プロセッサ21と、RAM22と、画像処理プログラム23aが格納されたメモリ23とを備えている。プロセッサ21は、画像処理プログラム23aに基づき、例えば、パターンマッチ処理、二値化処理等の画像処理を用いて、対象Oの検出と、対象O内において所定の波長の蛍光を発生している部分の面積(質関連スコア)を求める質関連データ取得処理を行う。対象Oが生鮮食品である場合、その鮮度、腐食の有無等によって、蛍光の波長、強度等が変化する。このため、質関連データ取得処理によって各対象Oに対して得られる面積は、各対象Oの質を示すものとなる。第2検出装置20で得られた質関連スコア(指標)を含む質関連データ(第2データ要素)は制御ユニット40に送信される。材質に応じて蛍光の波長、強度等が変化するので、プロセッサ21は、対象Oからの蛍光の波長に基づき、質関連データ取得処理によって対象Oの種類を求めることも可能である。
搬送装置2は、対象Oの移動量を検出することができるエンコーダ2aを有する。エンコーダ2aは例えば搬送装置2を駆動するモータ2b内に設けられている。
一例では、第1検出装置10は、エンコーダ2aによって所定の移動量が検出される度に対象Oの位置検出処理、姿勢検出処理、および作業関連データ取得処理を行い、第2検出装置20は、第1検出装置10による位置検出処理および姿勢検出処理の直前又は直後又は同時に質関連データ取得処理を行う。もしくは第1検出装置10の結果と第2検出装置20の結果の対応付けができれば第2検出装置20はどのタイミングで検出を行っても良い。
なお、エンコーダを使わずに第1検出装置で移動量を検出しても良い。
制御ユニット40は、第1検出装置10から各対象Oの検出データおよび作業関連データを受信し、当該各対象Oの検出データおよび作業関連データに対応する態様で第2検出装置20から各対象Oの質関連データを受信する。例えば、各質関連データには対応する対象Oの大凡の位置データが含まれている。このため、制御ユニット40は検出データおよび作業関連データと質関連データとを対応させることができる。
制御ユニット40のプロセッサ41は、ワークデータ作成プログラム43bに基づき、各対象Oに対して、各検出データ(第1データ要素)と、対応する作業関連データ(第2データ要素)および質関連データ(第2データ要素)とを有するワークデータを作成する。また、プロセッサ41は、ワークデータ保存プログラム43cに基づき、作成されたワークデータを記憶部43に保存する。一例では、ワークデータはワークキューに保存され、ワークキューでは複数のワークデータがその位置データに基づき並んでいる。より具体的には、ワークキューの中で複数のワークデータは搬送装置2の搬送方向の下流側から順に並んでいる。
制御ユニット40は、第1検出装置10からの検出データおよび作業関連データと、第2検出装置20からの作業関連データおよび質関連データとを受信し、受信した検出データと、対応する作業関連データおよび質関連データとを有するワークデータがプロセッサ41によって生成される。
プロセッサ41は、新たに作成されたワークデータと同一の対象Oに対するワークデータが既にワークキューに存在するか否かを判断する。同一の対象Oであるか否かは、各ワークデータの位置データ、エンコーダ2aから得られる対象Oの移動量等を用いて公知の方法で判定される。例えば対象O同士の距離があるしきい値よりも小さいと判定されたものを同一物と判定する。そして、同一の対象Oに対するワークデータが既に存在する場合、プロセッサ41は、ワークデータ保存プログラム23cに基づき、新たに作成されたワークデータと既に保存されているワークデータの何れか一方を保存すべきワークデータとして選択し、選択されたワークデータをワークキューに保存する。
図3は、第1検出装置10の画角における所定の検出範囲内で同一の対象Oが3回検出される場合を示し、最初の検出は検出範囲における搬送方向(X軸方向)の一端側で行われ、2回目の検出は検出範囲における搬送方向の中央側で行われ、3回目の検出は検出範囲における搬送方向の他端側で行われる。この場合、第1検出装置10のレンズの歪みの影響等によって、検出範囲の中央側が一端側および他端側よりも作業関連スコアが良くなる傾向があり、検出範囲の一端側および他端側よりも中央側の方が質関連スコアとしての蛍光を発生している部分の面積が大きくなる傾向がある。一方、検出範囲の中央側よりも他端側の方がロボット30による作業エリアに近い。対象Oが搬送装置2上で移動する可能性がある場合、3回目の検出で得られた検出データを用いることがロボット30による作業の正確性を向上する上で好ましい。
様々な状況に応じて前記選択の基準が変わる。以下に当該選択の基準の例を示す。
(作業関連スコアに基づく選択)
プロセッサ41は、新たに作成されたワークデータと同一の対象Oに対するワークデータが既にワークキューに存在する時、両者の前記合致度(作業関連スコア)を比較し、合致度が高い方をワークキューに残す(保存する)。合致度が高いことは、対象OのツールTによる把持がより容易であること、制御ユニット40が当該対象Oの形状や位置をより正確に把握していること等を意味する。なお、目的に応じて合致度が低い方をワークキューに残すことも可能である。例えば質データのスコアを優先する場合などである。
一方、両者の合致度が同じ場合、既にワークキューに保存されているワークデータをワークキューに残す(保存する)。この時に、新たに作成されたワークデータをワークキューに残す(保存する)ことも可能である。物品(対象O)の位置が変化し得る場合は新たに作成されたワークデータをワークキューに残した方が有利な場合がある。
(質関連スコアに基づく選択)
プロセッサ41は、新たに作成されたワークデータと同一の対象Oに対するワークデータが既にワークキューに存在する時、両者の蛍光を発生している部分の面積(質関連スコア)を比較し、面積が大きい方をワークキューに残す(保存する)。面積が大きいことは、対象Oにおいて例えば質が低下している部分の面積を示す。この場合、質が低いものが優先的にロボット30によって取出される。同一物(対象O)をあえて照明を変えて何度かチェックして一つでも質が低下しているものがあればその質データを持つものをワークキューに残すことで検品の品質向上が図れる。なお、目的に応じて面積が小さい方(質が良い方)をワークキューに残すことも可能である。この場合はベストな質のものを優先していくことになる。
一方、両者の面積が同じ場合、既にワークキューに保存されているワークデータをワークキューに残す(保存する)。この時に、新たに作成されたワークデータをワークキューに残す(保存する)ことも可能である。
(作業関連スコアおよび質関連スコアに基づく選択)
プロセッサ41は、新たに作成されたワークデータと同一の対象Oに対するワークデータが既にワークキューに存在する時、両者の蛍光を発生している部分の面積(質関連スコア)を比較し、面積が大きい方をワークキューに残す(保存する)。なお、目的に応じて面積が小さい方をワークキューに残すことも可能である。
この時、両者の面積が同じ場合、両者の前記合致度(作業関連スコア)を比較し、合致度が高い方をワークキューに残す(保存する)。目的に応じて合致度が低い方をワークキューに残すことも可能である。
一方、両者の面積および合致度が同じ場合、既にワークキューに保存されているワークデータをワークキューに残す(保存する)。この時に、新たに作成されたワークデータをワークキューに残す(保存する)ことも可能である。
なお、複数種類の作業関連スコアおよび複数種類の質関連スコアを用いて前述と同様の処理を行うことも可能である。
本発明の第2実施形態に係るロボットシステムについて以下説明する。
第2実施形態の検出システムは、第1実施形態のように既に保存されているワークデータと新しいワークデータの何れかを選択するのではなく、既に保存されているワークデータのデータ要素と新しいワークデータのデータ要素のうち何れか一方を選択し、選択されたデータ要素をワークキューに保存するものである。
例えば、対象Oが搬送装置2上で移動する可能性がある場合、図3において、3回目の検出により得られた対象Oの第1データ要素である検出データ(位置データ)を用いることが好ましい。加えて、質が低下している対象Oをロボット20によって確実に取出したい場合は、対象Oの蛍光を発生している部分の面積(質関連スコア)を出来るだけ正確に得たいが、第2検出装置20のレンズの歪み等によって、蛍光を発生している部分の面積は2回目の検出において正確になる傾向がある。
このような状況でロボット30の作業をより改善するために、一例では、プロセッサ41は、新たに作成されたワークデータと同一の対象Oに対するワークデータが既にワークキューに存在する時、既にワークキューに存在するワークデータの第1データ要素である検出データ(位置データ)を、新たに作成されたワークデータの検出データで置換する。これにより、対象Oが搬送装置2上で移動する可能性がある場合に、最新の位置データを用いてロボット30による対象Oの取出作業が行われる。
並行して、プロセッサ41は、新たに作成されたワークデータと同一の対象Oに対するワークデータが既にワークキューに存在する時、質関連データ(第2データ要素)に含まれる前記面積(質関連スコア)を比較し、面積が大きい質関連データをワークキューに残す(保存する)。つまり、新たに作成されたワークデータの質関連データに含まれる面積が大きい時、既にワークキューに存在するワークデータの質関連データを新たに作成されたワークデータの質関連データで置換する。
なお、第2実施形態において、第1検出装置10又は第2検出装置20によって同一の対象Oを2回撮像する時に、1回目の照明と2回目の照明を変えることもできる。例えば、1回目の照明は位置の検出に適した照明とし、2回目の照明を作業関連スコア、質関連スコア等の正確な取得に適した照明とすることができる。
なお、第2実施形態のワークデータ中のデータ要素の選択および置換を行う時にも、第1実施形態と同様の選択の基準を用いることが可能である。
なお、前記各実施形態において、各対象OのY軸方向の位置に基づき各対象Oの作業関連スコアを求めることも可能である。例えば、Y軸方向においてロボット10から遠い側は作業が難しく、ロボット10から近い側は作業が容易である場合が多い。このため、各対象OのY軸方向の位置データに応じて作業関連スコアを決定すると、作業の正確性、確実性を向上することができる。
また、前記各実施形態において、各対象Oの姿勢に基づき作業関連スコアを求めることも可能である。対象Oの形状、ロボット30のツールTの形状等のために、ロボット30による作業が難しい対象Oの姿勢が存在する場合がある。このような場合に、対象Oの姿勢に基づく作業関連スコアに基づいてワークデータ又はそのデータ要素の入れ換えが行われると、ロボット30による作業の正確性、確実性が向上する。
また、前記各実施形態において、第1検出装置10が、検出された対象Oの形状と所定のモデル形状との合致度(質関連スコア)を求めてもよい。例えば対象Oが生鮮食品である場合、その鮮度、腐食の有無等によって、対象Oの形状が変化する。またキズや破れ等の品質の検査を第1検出装置10が行っても良い。この場合、第2検出装置20を設けなくても質関連スコアを得ることができる。
また、前記各実施形態において、エンコーダ2aの代わりにカメラ、3次元計測器、三次元距離センサ等を用いて対象Oの移動量の検出を行うことも可能である。例えば、カメラによって搬送装置10上のマーク、対象O等を検出することによって対象Oの移動量を検出することが可能である。その他の手段を用いて前記移動量の検出を行うことも可能である。
また、前記各実施形態において、搬送装置2の代わりに、他のロボット、AGV(Automated
Guided Vehicle)が対象Oを移動させてもよい。この場合でも前述と同様の作用効果が達成され得る。さらに、対象Oが自動車、自動車のフレーム等の場合は、所定の作業が行われる対象Oがそのエンジン、車輪等によって移動してもよい。これらの場合、他のロボット、エンジン、車輪等が移動手段として機能する。
また、自動車のフレーム等が移動手段によって移動する場合、フレームに設けられた孔、フレームにおける溶接点等が対象Oであり得る。この場合、第1検出装置10によって対象Oの位置データ、モデル形状との合致度(作業関連スコア)、孔の真円度、溶接点の色、孔の周囲の傷の有無等である質関連スコア等が制御ユニット40に送信される。
搬送装置2の代わりに、対象Oが重力によって滑り落ちる、転がり落ちる、又は落下するシューターによって、対象Oを移動させてもよい。この場合、傾斜しているシューターを加振装置によって振動させ、これによりシューター上の対象Oの移動を円滑にすることも可能である。これらの場合、シューター、加振装置等が移動手段として機能し、シューターによって移動している対象Oがロボット30に取付けられたツールTによって取出される。
なお、前記各実施形態において、他のロボットが下流側にいる時は、ロボット30は搬送装置2上の対象Oを無理に全部取出す必要はない。この場合に、各ワークデータの第1データ要素がロボット毎に設けられてもよい。
また、前記各実施形態において、第1検出装置10の画像処理プログラム13aに基づく機能および第2検出装置20の画像処理プログラム23aに基づく機能が、制御ユニット40又は他のコンピュータによって実現されてもよい。
第1実施形態では、第2データ要素に含まれる対象Oに関する指標に基づき、当該対象Oについて新たに作成されるワークデータとワークデータ保存手段によって保存されているワークデータのうち何れか一方が保存すべきワークデータとして選択される。対象Oの形状の検出精度、質、種類等のうち重視する指標を用いてワークデータの入れ換えが行われるので、第1検出装置10および第2検出装置20の検出データを効率的且つ有効に利用することができる。
また、第2実施形態では、第2データ要素に含まれる対象Oに関する指標に基づき、当該対象Oについて新たに作成されるワークデータのデータ要素とワークデータ保存手段によって保存されているワークデータのデータ要素のうち何れか一方が保存すべきデータ要素として選択される。また、データ要素は、第1データ要素および第2データ要素の何れか一方である。対象Oの形状の検出精度、質、種類等のうち重視する指標を用いてワークデータのデータ要素の入れ換えが行われるので、検出部の検出データを効率的且つ有効に利用することができる。
また、上記各実施形態では、制御ユニット40のプロセッサ41が、第2データ要素の指標として、対象Oに対する作業の難易度に関連する作業関連スコアを有するワークデータを作成する。
ロボット30等の作業機械による作業を適切に行うためには、対象Oに対する作業の難易度が低い方が一般的に好ましい。対象Oに対する作業の難易度に関連する作業関連スコアを指標として用いることは、対象Oに対する作業をより適切に行う上で有利である。
また、上記各実施形態では、制御ユニット40のプロセッサ41が、第2データ要素の指標として作業関連スコアとは異なる他のスコアをさらに有するワークデータを作成する。
ロボット30等の作業機械による作業の目的に応じて、ワークデータ又はそのデータ要素の入れ換えが柔軟に行われることが好ましい。当該構成では、ワークデータが作業関連スコアとは異なる他のスコアを指標として有する。このため、作業の目的に適したスコアを優先的に用いてワークデータ又はそのデータ要素の入れ換えを行うことが可能となる。
また、上記各実施形態では、制御ユニット40のプロセッサ41が、第2データ要素の指標として対象Oの質および種類の少なくとも1つに関連する質関連スコアを有するワークデータを作成する。
ロボット30等の作業機械による作業の目的に応じて、ワークデータ又はそのデータ要素の入れ換えが柔軟に行われることが好ましい。当該構成では、ワークデータが作業関連スコアとは異なるスコアであって、対象の質および種類の少なくとも1つに関連する質関連スコアを有する。このため、作業の目的に適したスコアを優先的に用いてワークデータ又はそのデータ要素の入れ換えを行うことが可能となる。
また、上記各実施形態では、制御ユニット40のプロセッサ41が、作業関連スコアおよび他のスコア又は質関連スコアの何れかに優先的に基づいて保存すべきワークデータの選択を行う。
優先的に考慮されるスコアを変更することにより、ロボット30等の作業機械の動作を作業の目的に簡易に且つ効率的に適合させることができる。
また、上記各実施形態では、新たに作成されるワークデータの指標とワークデータ保存手段によって保存されているワークデータの指標とが同一である場合、制御ユニット40のプロセッサ41が、新たに作成されるワークデータを保存すべきワークデータとして選択する。
この場合、新たに作成されるワークデータが保存されても当該対象の指標は変化しないが、ワークデータ中の第1データ要素の位置データが最新のものとなる。例えば、対象Oが搬送装置2上で移動する可能性がある場合に、最新の位置データを用いることができる当該構成は、作業の正確性、確実性を向上するために有利である。
また、上記各実施形態では、作業関連スコアが、第1検出装置10の撮像装置10aによって得られた画像における対象Oのコントラスト、画像における対象Oの歪み、および搬送装置2による移動方向と直交する方向(Y軸方向)の対象Oの位置の少なくとも一つに関連していてもよい。
ロボット30等の作業機械によって対象Oに対する作業を行う時に、撮像装置10aによって得られた画像における対象Oのコントラストが低い場合又は対象Oの歪みが大きい場合、作業機械による作業に好ましくない影響が出る時がある。また、Y軸方向において作業機械から対象O迄の距離が適切である方が、作業機械による作業が容易となる。このため、当該構成は、作業の正確性、確実性を向上するために有利である。
2 搬送装置
2a エンコーダ
2b モータ
10 第1検出装置(検出部)
10a 撮像装置
10b 照明装置
11 プロセッサ
12 RAM
13 メモリ
13a 画像処理プログラム
20 第2検出装置(検出部)
20a 撮像装置
30b 紫外線照明装置
21 プロセッサ
22 RAM
23 メモリ
23a 画像処理プログラム
30 ロボット
30a アーム
31 サーボモータ
40 制御ユニット
41 プロセッサ
42 表示装置
43 記憶部
43a システムプログラム
43b ワークデータ作成プログラム(ワークデータ作成手段)
43c ワークデータ保存プログラム(ワークデータ保存手段)
44 サーボ制御器
45 入力部
201 基準座標系
O 対象

Claims (8)

  1. 移動手段によって移動している対象の検出を検出範囲内で複数回行う検出部と、
    前記検出部による前記対象の前記検出が行われる度に、前記検出部によって得られた前記対象の少なくとも位置を示す第1データ要素と、前記検出の時に得られた前記対象に関する指標を少なくとも含む第2データ要素とを有するワークデータを作成するワークデータ作成手段と、
    前記ワークデータ作成手段によって作成された前記ワークデータを保存するワークデータ保存手段と、を備え、
    前記ワークデータ保存手段が、前記指標に基づき、前記対象について新たに作成される前記ワークデータと前記ワークデータ保存手段によって保存されている前記ワークデータのうち何れか一方を保存すべきワークデータとして選択する、検出システム。
  2. 移動手段によって移動している対象の検出を検出範囲内で複数回行う検出部と、
    前記検出部による前記対象の前記検出が行われる度に、前記検出部によって得られた前記対象の少なくとも位置を示す第1データ要素と、前記検出の時に得られた前記対象に関する指標を少なくとも含む第2データ要素とを有するワークデータを作成するワークデータ作成手段と、
    前記ワークデータ作成手段によって作成された前記ワークデータを保存するワークデータ保存手段と、を備え、
    前記ワークデータ保存手段が、前記指標に基づき、前記対象について新たに作成される前記ワークデータのデータ要素と前記ワークデータ保存手段によって保存されている前記ワークデータの前記データ要素のうち何れか一方を保存すべきデータ要素として選択し、
    前記データ要素は、前記第1データ要素および前記第2データ要素の何れか一方である、検出システム。
  3. 前記ワークデータ作成手段が、前記対象に対する作業の難易度に関連する作業関連スコアを前記第2データ要素の前記指標として有する前記ワークデータを作成する、請求項1又は2に記載の検出システム。
  4. 前記ワークデータ作成手段が、前記第2データ要素の前記指標として前記作業関連スコアとは異なる他のスコアを前記第2データ要素の前記指標としてさらに有する前記ワークデータを作成する、請求項3に記載の検出システム。
  5. 前記ワークデータ作成手段が、前記対象の質および種類の少なくとも1つに関連する質関連スコアを前記第2データ要素の前記指標として有する前記ワークデータを作成する、請求項3に記載の検出システム。
  6. 前記ワークデータ保存手段が、前記作業関連スコアおよび前記他のスコア又は前記質関連スコアの何れかの優先度が高いものに基づいて前記保存すべきワークデータの選択を行う、請求項4又は5に記載の検出システム。
  7. 前記新たに作成される前記ワークデータの前記指標と前記ワークデータ保存手段によって保存されている前記ワークデータの前記指標とが同一である場合、前記ワークデータ保存手段が、前記新たに作成される前記ワークデータを前記保存すべきワークデータとして選択する、請求項1に記載の検出システム。
  8. 前記作業関連スコアが、前記検出部の撮像装置によって得られた画像における前記対象のコントラスト、前記画像における前記対象の歪み、および前記移動手段による移動方向と直交する方向の前記対象の位置の少なくとも一つに関連している、請求項3に記載の検出システム。
JP2018163757A 2018-08-31 2018-08-31 検出システム Active JP6918756B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018163757A JP6918756B2 (ja) 2018-08-31 2018-08-31 検出システム
US16/508,959 US11141864B2 (en) 2018-08-31 2019-07-11 Detection system
DE102019122863.8A DE102019122863A1 (de) 2018-08-31 2019-08-26 Detektionssystem
CN201910793986.5A CN110871442A (zh) 2018-08-31 2019-08-27 检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018163757A JP6918756B2 (ja) 2018-08-31 2018-08-31 検出システム

Publications (2)

Publication Number Publication Date
JP2020032520A JP2020032520A (ja) 2020-03-05
JP6918756B2 true JP6918756B2 (ja) 2021-08-11

Family

ID=69526934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018163757A Active JP6918756B2 (ja) 2018-08-31 2018-08-31 検出システム

Country Status (4)

Country Link
US (1) US11141864B2 (ja)
JP (1) JP6918756B2 (ja)
CN (1) CN110871442A (ja)
DE (1) DE102019122863A1 (ja)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3070774B2 (ja) * 1991-03-28 2000-07-31 マツダ株式会社 ワークの表面状態監視方法
JP4809524B2 (ja) * 2000-10-06 2011-11-09 セイコーインスツル株式会社 トラッキング方法、トラッキングシステム、及びトラッキング装置
JP2002283257A (ja) * 2001-03-23 2002-10-03 Seiko Epson Corp 移動物体の位置管理方法、該方法を適用したロボットコントローラ
JP2004354320A (ja) * 2003-05-30 2004-12-16 Mitsubishi Electric Engineering Co Ltd 撮像対象物品の認識検定システム
US6922652B2 (en) 2003-09-19 2005-07-26 Jim Edwards Automated quality assurance method and apparatus and method of conducting business
US20050261864A1 (en) 2003-09-19 2005-11-24 Edwards James A Automated quality assurance method and apparatus and method of conducting business
JP2005111607A (ja) * 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
CA2495948A1 (en) * 2005-02-02 2006-08-02 Darren Wattles Automated quality assurance method and apparatus and method of conducting business
JP4862765B2 (ja) * 2007-06-29 2012-01-25 関東自動車工業株式会社 表面検査装置及び表面検査方法
JP5198155B2 (ja) 2008-06-05 2013-05-15 東芝機械株式会社 ハンドリング装置、ワークハンドリング方法および信号処理装置
WO2009148089A1 (ja) 2008-06-05 2009-12-10 東芝機械株式会社 ハンドリング装置、制御装置、制御方法およびプログラム
JP2010240838A (ja) * 2010-08-05 2010-10-28 Seiko Epson Corp 移動物体の位置管理方法、該方法を適用したロボットコントローラ
JP2012187651A (ja) * 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP5810562B2 (ja) * 2011-03-15 2015-11-11 オムロン株式会社 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置
JP6405124B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 検査装置、検査方法およびプログラム
JP6042860B2 (ja) * 2014-12-02 2016-12-14 ファナック株式会社 ロボットを用いて物品を移送する物品移送装置及び物品移送方法
WO2016088266A1 (ja) * 2014-12-05 2016-06-09 富士機械製造株式会社 作業管理装置
JP6308248B2 (ja) 2016-06-22 2018-04-11 オムロン株式会社 コンベアトラッキング等に向けられたガイダンス装置
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
US10198653B2 (en) * 2017-04-26 2019-02-05 Sensors Incorporated System and method for performing production line product identification
US11365068B2 (en) * 2017-09-05 2022-06-21 Abb Schweiz Ag Robotic systems and methods for operating a robot
JP6873941B2 (ja) * 2018-03-02 2021-05-19 株式会社日立製作所 ロボット作業システム、及びロボット作業システムの制御方法
US11926057B2 (en) * 2018-06-14 2024-03-12 Yamaha Hatsudoki Kabushiki Kaisha Robot system

Also Published As

Publication number Publication date
US11141864B2 (en) 2021-10-12
CN110871442A (zh) 2020-03-10
JP2020032520A (ja) 2020-03-05
DE102019122863A1 (de) 2020-03-05
US20200070351A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP4827744B2 (ja) 検査路設定及び検査領域決定方法
KR100919316B1 (ko) 표면 검사 방법 및 시스템
CN111684474B (zh) 运算装置、运算方法及记录介质
US10417754B2 (en) Inspection system
CA2556042C (en) Method for locating defective points and marking system
JP6117901B1 (ja) 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム
JP4862765B2 (ja) 表面検査装置及び表面検査方法
CN110784708B (zh) 感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序
JP5665333B2 (ja) 情報処理装置および情報処理装置の制御方法
JP6856590B2 (ja) センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
JP6549655B2 (ja) 物品搬送装置
US20200406392A1 (en) Evaluation apparatus, evaluation method, evaluation system, and non-transitory computer-readable storage medium
EP3537101A1 (en) Image inspecting apparatus, image inspecting method and image inspecting program
WO2019197981A1 (en) System for the detection of defects on a surface of at least a portion of a body and method thereof
JP6998183B2 (ja) ロボットシステム及びロボット制御方法
CN109773777B (zh) 把持方法、把持系统以及存储介质
JP6918756B2 (ja) 検出システム
JP7022036B2 (ja) 物品取出システム
WO2023030902A1 (en) Determination of contour fidelity for a laser cutting machine
JPH0814876A (ja) ワーク寸法自動測定システム
JP2015165210A (ja) 表面形状測定装置およびそれを備えた工作機械
US20240033934A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
KR20180103467A (ko) 3차원 카메라를 이용한 용접 로봇 끝단의 위치 추정 시스템 및 방법
JP4378199B2 (ja) 表面検査装置の走査設定方法
JP2020109383A (ja) 計測装置およびその制御方法、プログラム、および物品製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210721

R150 Certificate of patent or registration of utility model

Ref document number: 6918756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150