JP6438512B2 - 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法 - Google Patents

機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法 Download PDF

Info

Publication number
JP6438512B2
JP6438512B2 JP2017047459A JP2017047459A JP6438512B2 JP 6438512 B2 JP6438512 B2 JP 6438512B2 JP 2017047459 A JP2017047459 A JP 2017047459A JP 2017047459 A JP2017047459 A JP 2017047459A JP 6438512 B2 JP6438512 B2 JP 6438512B2
Authority
JP
Japan
Prior art keywords
measurement data
data
workpiece
data processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017047459A
Other languages
English (en)
Other versions
JP2018149628A (ja
Inventor
佐藤　大雅
大雅 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2017047459A priority Critical patent/JP6438512B2/ja
Priority to US15/904,462 priority patent/US10350752B2/en
Priority to DE102018001781.9A priority patent/DE102018001781B4/de
Priority to CN201810194905.5A priority patent/CN108568804B/zh
Publication of JP2018149628A publication Critical patent/JP2018149628A/ja
Application granted granted Critical
Publication of JP6438512B2 publication Critical patent/JP6438512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Manipulator (AREA)

Description

本明細書で言及する実施例は、機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法に関する。
従来、例えば、コンテナなどのコンテナ内にバラバラに積まれた物品(三次元空間にバラ積みされたワーク)をロボットによって取り出すシステム(バラ積み取り出しシステム，ロボットシステム)が知られている。このようなバラ積み取り出しシステムにおいて、例えば、コンテナ内の三次元形状データをセンサで計測して取得し、そのコンテナ内の三次元形状データからワークの位置および姿勢を特定することでロボットによる取り出しを実現している。
また、ロボットシステムのバラ積み取り出しでは、例えば、ワークを取り出すためにロボットのハンドをワークに近づける動作中に、ハンドとコンテナや他ワークとの衝突が発生してしまう虞がある。そこで、これらの衝突を避けるために、センサの計測した三次元形状データを使用することも行われている。
ところで、従来、計測データと蓄積されたデータを照合してワークの位置および姿勢を算出する技術が提案されている(例えば、特許文献１参照)。また、従来、モデル(モデルデータ)を基にして補正を繰り返すことにより、高精度に物体の位置および姿勢を算出する技術も提案されている(例えば、特許文献２参照)。さらに、従来、機械学習を適用することで照合データを生成する技術も提案されている(例えば、特許文献３参照)。また、深層学習を使用した取得データを補正する技術も提案されている(例えば、非特許文献１参照)。
特開２０１６−１３２０８６号公報 特開２００９−１２８１９２号公報 特開２０１３−０１０１５５号公報
Chao Dong et al., "Image Super-Resolution Using Deep Convolutional Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence (https://arxiv.org/abs/1501.00092), July 31, 2015.
上述したように、計測データと蓄積されたデータを照合してワークの位置および姿勢を算出する場合、例えば、計測データに誤差があると、照合を精度よく行えないことになる。また、ワークを把持する際に周囲の構造物(コンテナ等)と把持機構(ハンド等)の衝突の判定に計測データを使用しているが、計測データに誤差が含まれていると衝突判定を正しく行うことが難しくなる。
また、モデルを基に補正を繰り返して物体の位置および姿勢を算出する場合でも、計測データ自体の誤差に対応する割合を低下することは困難である。さらに、従来の機械学習の適用は、例えば、照合データの生成に利用されている。
そのため、従来のロボットシステムおよび計測データ処理技術では、バラ積みされたワークを取り出す場合、ロボットのハンドとコンテナや他ワークが衝突するといった課題がある。また、このような衝突発生を回避するために、本来、取り出すことが可能なワークに対して取り出し不可として取り出し動作を行わず、作業効率の低下を招くといった課題もある。
本実施形態の目的は、上述した従来技術の課題に鑑み、計測データ自体を補正することにより、ワークの取り出し精度を向上させることができるロボットシステム、計測データ処理装置および計測データ処理方法の提供にある。
本発明に係る第１形態によれば、ワークを保持可能なハンドを有するロボットと、前記ワークが存在する作業領域を計測し、前記作業領域内の三次元形状を計測データとして取得するセンサと、前記ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部、前記計測データを機械学習により補正する計測データ補正部、および、前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する位置姿勢計算部を含む計測データ処理装置と、前記位置姿勢計算部の出力に基づいて前記ロボットを制御するロボット制御部と、を備え、前記計測データ補正部は、学習段階において、前記位置姿勢計算部が計算した位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、ロボットシステムが提供される。
本発明に係る第２形態によれば、ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部と、前記ワークが存在する作業領域内の三次元形状を計測した計測データを機械学習により補正する計測データ補正部と、前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する位置姿勢計算部と、を備え、前記計測データ補正部は、学習段階において、前記位置姿勢計算部が計算した位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、計測データ処理装置が提供される。
本発明に係る第３形態によれば、ワークの三次元形状をモデルデータとして記憶し、前記ワークが存在する作業領域内の三次元形状を計測した計測データを機械学習により補正し、前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する計測データ処理方法であって、学習段階において、計算された前記作業領域内の前記ワークの位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、計測データ処理方法が提供される。
本発明に係るロボットシステム、計測データ処理装置および計測データ処理方法によれば、計測データ自体を補正することにより、ワークの取り出し精度を向上させることができるという効果を奏する。
図１は、ロボットシステムの一例を模式的に示す図である。 図２は、ロボットシステムによる計測データにおける課題の一例を説明するための図である。 図３は、ロボットシステムによる計測データにおける課題の他の例を説明するための図である。 図４は、本実施形態に係るロボットシステムにおけるロボット制御装置の一例を示す機能ブロック図である。 図５は、本実施形態に係る計測データ処理装置に設けられた機械学習器の一例を模式的に示す図である。 図６は、学習段階における処理の一例を説明するためのフローチャートである。 図７は、取り出し段階における処理の一例を説明するためのフローチャートである。 図８は、取り出し段階における処理の他の例を説明するためのフローチャートである。 図９は、取り出し作業を行いながら学習モデルを更新する処理の一例を説明するためのフローチャートである。
まず、ロボットシステム、計測データ処理装置および計測データ処理方法の実施形態を詳述する前に、図１〜図３を参照して、ロボットシステムの一例、および、ロボットシステムの計測データ処理における課題を説明する。図１は、ロボットシステムの一例を模式的に示す図である。
図１に示されるように、ロボットシステム１００は、例えば、コンテナ４０などの収容物内にバラ積みされた複数のワーク(部品)４を順番に取り出すもので、ロボット１、センサ５、ロボット制御装置３を含む。なお、ワーク４は、コンテナ４０に収納されたものに限定されず、例えば、三次元空間にバラ積みされたものであってもよいのはいうまでもない。
ロボット１の側方には、上面が開放されたボックス形状のコンテナ４０が配置されている。コンテナ４０は上面が開口され、コンテナ４０内の収容空間には、バラ積みされた複数のワーク(バラ積みされた状態を含む、乱雑に置かれた複数のワーク)４が収納されている。なお、ワーク４は、ロボット１に取り付けられたハンド１０により保持することができ、ロボット制御装置３で制御されるロボット１およびハンド１０の動作により、コンテナ４０からワーク４を１つずつ取り出すことができるようになっている。また、コンテナ４０の中央部上方には、センサ５が設置され、センサ５の出力(計測データ)５ａは、ロボット制御装置３に入力されている。
ここで、図１では、説明を簡略化するために、コンテナ４０内に４つの円盤形状のワーク４がバラバラに積まれた状態で、各ワーク４の中央部の穴をハンド(内径チャック)１０で保持する例が示されているが、ワーク４の形状は円盤形状に限定されず、また、ワーク４の保持機構も内径チャックに限定されるものではない。すなわち、ハンド１０は、ワーク４を保持可能であれば様々な形態を有していてもよく、例えば、２本または複数の爪部を開閉することによってワーク４を把持する形態、或いは、ワーク４に対して吸引力を発生する電磁石または負圧発生装置を備えたものであってもよい。
さらに、センサ５は、計測領域内の三次元形状データを取得することができれば、視覚センサを始めとして様々なセンサであってもよい。また、三次元形状を計測するために、例えば、カメラ２台のステレオ方式、レーザスリット光を走査する方式、レーザスポット光を走査する方式、プロジェクタ等の装置を用いてパターン光をワークに投影する方式、光が投光機から出射されてからワーク４の表面で反射し受光器に入射するまでの時間を利用する方式等を適用することができ、また、三角計測法、光切断法、Time-of-flight法、Depth from Defocus法、または、これらを併用したものといった様々な手法を適用することができる。
なお、図１において、センサ５の出力(計測データ)５ａは、ロボット制御装置３に入力され、ロボット制御装置３において計測データ処理等を行うようになっているが、センサ５の出力５ａは、ロボット制御装置３とは別に設けた専用の計測データ処理装置等により処理し、その計測データ処理装置の出力をロボット制御装置３に入力するように構成してもよい。さらに、センサ５は、コンテナ４０の中央部上方に固定して設けられているが、例えば、ロボット１の手先(先端部)に取り付けたハンドアイとして設けることもできる。
このように、図１に示すロボットシステム１００において、ロボット制御装置３は、バラ積みされた複数のワーク４の三次元位置および姿勢、並びに、コンテナ４０の三次元形状等を測定するセンサ５の出力５ａに基づいて、ロボット１の内径チャック１０によりワーク４を保持する位置および姿勢の保持位置姿勢データを算出し、ロボット１および内径チャック１０を制御して１つずつワーク４の取り出しを行うようになっている。
図２は、ロボットシステムによる計測データ処理における課題の一例を説明するための図であり、図３は、ロボットシステムによる計測データ処理における課題の他の例を説明するための図である。ここで、図２(a)および図３(a)は、計測領域(作業領域)ＷＡの画像を示し、図２(b)および図３(b)は、センサ５による作業領域ＷＡの計測データ５ａの例を示す。また、図２(c)は、図２(b)の計測データ５ａを矢印方向から観測した様子を示す図であり、図３(c)は、図３(b)の計測データ５ａにおける一部を拡大して示す図である。
例えば、図２(a)に示されるような作業領域ＷＡ(コンテナ４０内)に複数のワーク４がバラ積みされた状態は、図２(b)に示されるようなセンサ５による計測データ５ａとして得られる。このとき、図２(c)に示されるように、計測データ５ａでは、例えば、ワーク４の平らな面の計測点が誤差(厚み)を持って計測され、例えば、ＣＡＤ(Computer-Aided Design)によるデータと一致する割合が低下して、検出結果として許容する一致の閾値を下回るなどによりワークが検出されず、或いは、ワーク４の取り出しが難しくなる。
また、例えば、図３(a)に示されるような作業領域ＷＡに複数のワーク４がバラ積みされた状態は、図３(b)に示されるようなセンサ５による計測データ５ａとして得られる。このとき、図３(c)に示されるように、計測データ５ａでは、ワーク４の境界付近において、境界が鈍ったように観測され、例えば、ワーク４の取り出し時に、ロボット１のハンド１０が、鈍ったように観測された境界の計測点と衝突すると判定した場合には、本来、取り出し可能なワーク４を取り出し不可として処理し、その結果、生産効率の低下等を招く虞がある。
以下、本実施形態に係るロボットシステム、計測データ処理装置および計測データ処理方法を、添付図面を参照して詳述する。図４は、本実施形態に係るロボットシステムにおけるロボット制御装置の一例を示す機能ブロック図である。なお、本実施形態に係るロボットシステムは、図１を参照して説明したロボットシステムに相当するが、例えば、ロボット制御装置３には、ロボット１の動作を制御するロボット制御部３ａと共に、以下に詳述する様々な機能を実現する計測データ処理装置３ｂが内蔵されている。ここで、図１を参照して説明したように、ロボット１のハンド(１０)は、ワークを保持可能であれば様々な形態を有していてもよく、また、センサ５は、様々な方式のセンサであってもよいのはもちろんである。
さらに、計測データ処理装置３ｂは、ロボット制御装置３に内蔵するものに限定されず、例えば、計測データ処理装置３ｂとして単独に、或いは、他の制御装置等に設けることも可能なのはいうまでもない。また、図４に示す計測データ処理装置３ｂに含まれる各機能ブロックは、例えば、ＭＰＵ(Micro-processing unit)、ＲＯＭ(Read Only Memory)およびＲＡＭ(Random access memory)等を含むコンピュータ上でソフトウェアにより実現することができる。また、計測データ補正部３３は、機械学習(教師あり学習)を行う機械学習器２に相当する。
すなわち、本実施形態のロボットシステム１００は、図１を参照して説明したのと同様に、ワーク(４)を保持可能なハンド(１０)を有するロボット１、ワークが存在する作業領域(ＷＡ)を計測し、その作業領域内の三次元形状を計測データ(５ａ)として取得するセンサ５、および、ロボット制御装置３を含む。なお、ロボット制御装置３には、例えば、ロボット１に対して教示を行う教示操作盤(ティーチペンダント)や表示装置等の様々な装置が接続されてもよいのはいうまでもない。
図４に示されるように、ロボット制御装置３は、例えば、ロボット制御部３ａおよび計測データ処理装置３ｂを含み、計測データ処理装置３ｂは、モデルデータ記憶部３１、位置姿勢計算部３２、計測データ補正部３３、ハンド形状記憶部３４、衝突判定部３５、および、保持判定部３６を含む。モデルデータ記憶部３１は、ワークの三次元形状をモデルデータとして記憶し、位置姿勢計算部３２は、計測データとモデルデータを照合し、作業領域内のワークの位置および姿勢を計算する。ここで、衝突判定部３５および計測データ補正部３３は、ロボット制御装置３内に設けずに、例えば、外付けの装置とすることもできる。
計測データ補正部３３は、例えば、計測データを機械学習(教師あり学習)により補正する。すなわち、計測データ補正部３３は、例えば、学習を行う学習段階において、位置姿勢計算部３２が計算した位置および姿勢に対してモデルデータを配置したものから教師データを作成し、計測データおよび教師データに基づいて、計測データを補正するパラメータを調整する。さらに、計測データ補正部３３は、例えば、ワークを実際に取り出す取り出し段階において、調整したパラメータを用いて計測データを補正した補正計測データを出力する。なお、ロボット制御部３ａは、計測データ補正部３３の出力に基づいてロボット１を制御する。
ハンド形状記憶部３４は、ハンド(１０)の形状データを記憶し、衝突判定部３５は、ハンドの形状データと補正計測データに基づいてワークの保持位置および姿勢における衝突の有無を判定する。なお、計測データ補正部３３は、位置姿勢計算部３２の出力結果に対して教師データとして使用するか否かを入力する入力受付部３３１を含んでもよい。ここで、学習段階では、入力受付部３３１によって与えられた教師データを使用して、計測データを補正するパラメータの調整が行われる。保持判定部３６は、ワークの保持の成否を判定する。また、学習段階において、保持に成功したワークの領域も教師データとして計測データ補正部３３に入力し、計測データを補正するパラメータの調整を行うことができる。
以上において、ワーク(４)は、例えば、図１に示されるように、作業領域(ＷＡ)内にバラ積みされた複数のワークであってもよい。また、センサ５は、作業領域を撮影可能な位置に固定され、或いは、ロボット１の先端に設けられた視覚センサであってもよい。このように、本実施形態のロボットシステム１００によれば、計測データ自体を補正することにより、ワークの取り出し精度を向上させることができる。
図５は、本実施形態に係る計測データ処理装置に設けられた機械学習器の一例を模式的に示す図である。図５に示されるように、機械学習器２は、例えば、学習段階において、位置姿勢計算部３２が計算した位置および姿勢に対してモデルデータを配置したものから教師データを作成し、計測データおよび教師データに基づいて、計測データを補正するパラメータを調整する、計測データ処理装置３ｂにおける計測データ補正部３３に相当する。なお、計測データ処理装置３ｂ(機械学習器２)は、ロボット制御部３ａが設けられたロボット制御装置３に内蔵してもよいが、例えば、ロボット制御装置３とは別に設けてもよいのは前述した通りである。
機械学習器２は、教師あり学習を行うもので、状態観測部２１、学習部２２および教師データ取得部２３を含む。ここで、教師あり学習とは、教師データ、すなわち、ある入力と結果(教師データ)の組を大量に機械学習器２に与えることで、それらのデータセットにある特徴を学習し、計測データを補正するパラメータを調整する。
状態観測部２１は、例えば、センサ５による計測データ５ａに基づくデータを状態変数として観測し、教師データ取得部２３は、ワーク４の教師データ(モデルデータを位置姿勢計算部３２が出力する位置および姿勢に配置したものから作られるデータ)として取得する。学習部２２は、状態観測部２１の出力(状態変数)および教師データ取得部２３の出力(教師データ)に基づいて、計測データ５ａを補正するパラメータを調整するための学習モデルを作成する。ここで、教師データとしては、例えば、作業領域ＷＡ内のワーク４の位置および姿勢に基づいた、そのワーク４のＣＡＤデータを使用することができる。
出力利用部２０は、機械学習器２の出力を利用するもので、例えば、前述した図４における衝突判定部３５が対応し、機械学習器２に対応する計測データ補正部３３と共に、外付けの装置とすることができるのは前述した通りである。
機械学習器２で得られた学習モデルは、少なくとも１つの他の機械学習器２で利用することができる。すなわち、計測データ補正部３３は、少なくとも１つの他の計測データ処理装置における計測データ補正部(他の計測データ補正部)と接続(通信)可能とされ、計測データ補正部３３で調整したパラメータを相互に交換または共有するようにしてもよい。また、機械学習器２(計測データ補正部３３)は、それぞれのロボット１を制御するロボット制御装置３(エッジ)に対して設けなくてもよく、例えば、複数のロボット１(ロボットシステム１００)を有する工場ごと(例えば、フォグサーバ)、或いは、複数の工場とインターネット等の通信回線を介して接続されたクラウドサーバに設けてもよい。なお、機械学習器２は、例えば、多層構造のニューラルネットワークを使用して構成することができる。この機械学習器２は、汎用の計算機若しくはプロセッサを用いることもできるが、例えば、ＧＰＧＰＵ(General-Purpose computing on Graphics Processing Units)や大規模ＰＣクラスター等を適用すると、より高速に処理することが可能になる。
図６は、学習段階における処理の一例を説明するためのフローチャートである。図６に示されるように、学習段階における処理の一例が開始すると、ステップＳＴ１１において、例えば、センサ(視覚センサ)５による計測データ(５ａ)を取得して、ステップＳＴ１２に進む。ここで、ステップＳＴ１１で取得する計測データは、１回の計測の結果のデータでもよいが、例えば、複数のワークの積載状態に対して複数回計測した結果の複数のデータであってもよい。
ステップＳＴ１２では、ワークの位置および姿勢を計算して(位置姿勢計算を行って)、ステップＳＴ１３に進む。なお、ステップＳＴ１２で行う位置姿勢計算も、１つの計測データに対する１回の計算でもよいが、例えば、複数の計測データに対する複数回の計算であってもよい。ステップＳＴ１３では、教師データを生成して、ステップＳＴ１４に進み、補正パラメータを調整して処理を終了する。
すなわち、ステップＳＴ１３では、機械学習器２により教師あり学習を行うための教師データを作成するが、この教師データは、例えば、ワークの位置および姿勢とワークのモデルデータ(例えば、ワークのＣＡＤデータ)に基づいて作成する。また、ステップＳＴ１４における補正パラメータの調整は、例えば、前述した図４における計測データ補正部３３による処理、或いは、図５における機械学習器２による教師あり学習の処理に相当する。ここで、ステップＳＴ１４の処理は、例えば、教師データが存在する領域のみを使用して学習を行う、すなわち、ステップＳＴ１２で計算された位置および姿勢に対してモデルデータを仮想的に配置し、その際、配置したモデルデータが存在する領域のみに対して学習を行う。
図７は、取り出し段階における処理の一例を説明するためのフローチャートである。図７に示されるように、取り出し段階における処理の一例が開始すると、ステップＳＴ２１において計測データを取得し、ステップＳＴ２２に進んで、計測データの補正、すなわち、上述したステップＳＴ１４における学習段階で調整されたパラメータ(補正パラメータ)を使用した計測データの補正を行う。
さらに、ステップＳＴ２３に進んで、ワークの位置姿勢計算を行う。すなわち、ステップＳＴ２３では、補正された計測データ(補正計測データ)を使用してワークの位置および姿勢を計算する。そして、ステップＳＴ２４に進んで、ワークの取り出しを行う。すなわち、ステップＳＴ２４では、ステップＳＴ２３において位置および姿勢が計算されたワークに対して、ロボット制御装置３(ロボット制御部３ａ)によりロボット(１)およびハンド(１０)を制御してワークを保持する。これにより、例えば、ワーク(４)の位置および姿勢が明確化してワークの検出を安定化することができ、ワーク取り出しの成功率を向上させることが可能になる。
図８は、取り出し段階における処理の他の例を説明するためのフローチャートである。図８に示されるように、取り出し段階における処理の他の例が開始すると、ステップＳＴ３１において計測データを取得し、ステップＳＴ３２に進んで、計測データの補正を行う。さらに、ステップＳＴ３３に進んで、ワークの位置姿勢計算を行う。ここで、図８におけるステップＳＴ３１〜ＳＴ３３の処理は、図７におけるステップＳＴ２１〜ＳＴ２３の処理と同様のものである。
次に、ステップＳＴ３４に進んで、取り出しを行う位置および姿勢による衝突の有無を判定し、ステップＳＴ３５に進む。ステップＳＴ３５では、補正された計測データとハンドの形状データに基づいて、位置姿勢(位置および姿勢)を計算したワークの保持位置姿勢における衝突の有無を判定する。ステップＳＴ３５において、ワークの保持位置姿勢における衝突が有ると判定すると、ステップＳＴ３３に戻って、例えば、別のワークの位置姿勢を取得して、同様の処理を行う。
一方、ステップＳＴ３５において、ワークの保持位置姿勢における衝突が無いと判定すると、ステップＳＴ３６に進んで、ワークの取り出しを行って処理を終了する。これにより、例えば、ワークの取り出し動作中の衝突を正確に判定して、ワークの取り残しを低減すると共に、誤計測によるワークの取り出し動作中のハンドとコンテナや他のワークの衝突等を低減することが可能になる。
図９は、取り出し作業を行いながら学習モデルを更新する処理の一例を説明するためのフローチャートであるｚ。図９に示されるように、学習を含めた取り出し段階における処理の一例が開始すると、ステップＳＴ４１において計測データを取得し、ステップＳＴ４２に進んで、計測データの補正を行う。ここで、ステップＳＴ４２における計測データの補正は、例えば、初回の処理では、調整されたパラメータを保持していないため、予め学習段階の処理を行うか、或いは、予め設定された初期パラメータを使用して計測データを補正する。なお、初期パラメータを使用する場合には、事前に学習段階の処理を行わなくてもよい。
次に、ステップＳＴ４３に進んで、ワークの位置姿勢計算を行って、ステップＳＴ４４に進み、ワークを取り出し、ステップＳＴ４５に進む。ステップＳＴ４５では、ワークの取り出しに成功したか否かを判定し、ワークの取り出しに成功しなかった(失敗した)と判定すると、ステップＳＴ４１に戻って、再度、作業領域の計測データを取得し、同様の処理を繰り返す。
一方、ステップＳＴ４５において、ワークの取り出しに成功したと判定すると、ステップＳＴ４６に進んで、学習のための教師データを生成する。すなわち、取り出しに成功したワークに対して、ワークの位置姿勢とワークのモデルデータ(ＣＡＤデータ)から教師データを生成する。そして、ステップＳＴ４７に進んで、補正パラメータを調整(更新)して処理を終了する。なお、上述したステップＳＴ４１〜ＳＴ４７の処理は、それぞれのワークの取り出し作業に対して行われる。これにより、実際に、ワークの取り出し作業を行いながら、計測データを補正するパラメータの調整を行うことが可能になる。
上述したように、本実施形態のロボットシステム、計測データ処理装置および計測データ処理方法によれば、計測データ自体を補正することにより、ワークの取り出し精度を向上させることが可能になる。
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
１ ロボット
２ 機械学習器
３ ロボット制御装置
３ａ ロボット制御部
３ｂ 計測データ処理装置
４ ワーク
５ センサ
１０ 内径チャック(ハンド)
２０ 出力利用部
２１ 状態観測部
２２ 学習部
２３ 教師データ取得部
３１ モデルデータ記憶部
３２ 位置姿勢計算部
３３ 計測データ補正部
３４ ハンド形状記憶部
３５ 衝突判定部
３６ 保持判定部
４０ コンテナ
１００ ロボットシステム
３３１ 入力受付部

Claims (15)

  1. ワークを保持可能なハンドを有するロボットと、
    前記ワークが存在する作業領域を計測し、前記作業領域内の三次元形状を計測データとして取得するセンサと、
    前記ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部、前記計測データを機械学習により補正する計測データ補正部、および、前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する位置姿勢計算部を含む計測データ処理装置と、
    前記位置姿勢計算部の出力に基づいて前記ロボットを制御するロボット制御部と、を備え、
    前記計測データ補正部は、
    学習段階において、前記位置姿勢計算部が計算した位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、
    取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、
    ことを特徴とするロボットシステム。
  2. 前記計測データ処理装置は、さらに、
    前記ハンドの形状データを記憶するハンド形状記憶部と、
    前記ハンドの形状データおよび前記補正計測データに基づいて、前記ワークの保持位置および姿勢における衝突の有無を判定する衝突判定部と、を備える、
    ことを特徴とする請求項１に記載のロボットシステム。
  3. 前記計測データ補正部は、前記位置姿勢計算部の出力結果に対して前記教師データとして使用するか否かを入力する入力受付部を備え、
    前記学習段階において、前記入力受付部によって与えられた前記教師データを使用して、前記計測データを補正する前記パラメータを調整する、
    ことを特徴とする請求項１または請求項２に記載のロボットシステム。
  4. 前記計測データ処理装置は、さらに、
    前記ワークの保持の成否を判定する保持判定部を備え、
    前記学習段階において、保持に成功したときに計算した位置および姿勢に対して前記モデルデータを配置したものから作成した前記教師データを前記計測データ補正部に入力し、前記計測データを補正する前記パラメータを調整する、
    ことを特徴とする請求項１乃至請求項３のいずれか１項に記載のロボットシステム。
  5. 前記ワークは、前記作業領域内にバラ積みされた複数のワークを含み、
    前記センサは、前記作業領域を撮影可能な位置に固定され、或いは、前記ロボットの先端に設けられた視覚センサを含む、
    ことを特徴とする請求項１乃至請求項４のいずれか１項に記載のロボットシステム。
  6. 前記計測データ処理装置は、前記ロボット制御部を含むロボット制御装置に内蔵される、
    ことを特徴とする請求項１乃至請求項５のいずれか１項に記載のロボットシステム。
  7. ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部と、
    前記ワークが存在する作業領域内の三次元形状を計測した計測データを機械学習により補正する計測データ補正部と、
    前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する位置姿勢計算部と、を備え、
    前記計測データ補正部は、
    学習段階において、前記位置姿勢計算部が計算した位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、
    取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、
    ことを特徴とする計測データ処理装置。
  8. さらに、
    前記ワークを保持可能なロボットのハンドの形状データを記憶するハンド形状記憶部と、
    前記ハンドの形状データおよび前記補正計測データに基づいて、前記ワークの保持位置および姿勢における衝突の有無を判定する衝突判定部と、を備える、
    ことを特徴とする請求項７に記載の計測データ処理装置。
  9. 前記計測データ補正部は、前記位置姿勢計算部の出力結果に対して前記教師データとして使用するか否かを入力する入力受付部を備え、
    前記学習段階において、前記入力受付部によって与えられた前記教師データを使用して、前記計測データを補正する前記パラメータを調整する、
    ことを特徴とする請求項７または請求項８に記載の計測データ処理装置。
  10. さらに、
    前記ワークの保持の成否を判定する保持判定部を備え、
    前記学習段階において、保持に成功したときに計算した位置および姿勢に対して前記モデルデータを配置したものから作成した前記教師データを前記計測データ補正部に入力し、前記計測データを補正する前記パラメータを調整する、
    ことを特徴とする請求項７乃至請求項９のいずれか１項に記載の計測データ処理装置。
  11. 前記計測データ補正部は、多層構造のニューラルネットワークを使用して構成される、
    ことを特徴とする請求項７乃至請求項１０のいずれか１項に記載の計測データ処理装置。
  12. 前記計測データ補正部は、少なくとも１つの他の計測データ処理装置における計測データ補正部と接続可能であり、少なくとも１つの前記他の計測データ処理装置における計測データ補正部との間で、前記計測データ補正部で調整した前記パラメータを相互に交換または共有する、
    ことを特徴とする請求項７乃至請求項１１のいずれか１項に記載の計測データ処理装置。
  13. ワークの三次元形状をモデルデータとして記憶し、
    前記ワークが存在する作業領域内の三次元形状を計測した計測データを機械学習により補正する計測データ補正し、
    前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する計測データ処理方法であって、
    学習段階において、計算された前記作業領域内の前記ワークの位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、
    取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、
    ことを特徴とする計測データ処理方法。
  14. 計算された前記位置および姿勢に対して前記教師データとして使用するか否かを入力し、
    前記学習段階において、前記教師データとして使用するとして入力された当該教師データに基づいて、前記計測データを補正する前記パラメータを調整する、
    ことを特徴とする請求項１３に記載の計測データ処理方法。
  15. さらに、
    前記ワークの保持の成否を判定し、
    前記学習段階において、保持に成功したときに計算した位置および姿勢に対して前記モデルデータを配置したものから作成した前記教師データに基づいて、前記計測データを補正する前記パラメータを調整する、
    ことを特徴とする請請求項１３または請求項１４に記載の計測データ処理方法。
JP2017047459A 2017-03-13 2017-03-13 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法 Active JP6438512B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017047459A JP6438512B2 (ja) 2017-03-13 2017-03-13 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
US15/904,462 US10350752B2 (en) 2017-03-13 2018-02-26 Robot system, measurement data processing device and measurement data processing method for picking out workpiece using measurement data corrected by means of machine learning
DE102018001781.9A DE102018001781B4 (de) 2017-03-13 2018-03-06 Robotersystem, Messdatenverarbeitungsvorrichtung und Messdatenverarbeitungsverfahren zum Aufnehmen eines Werkstücks unter Verwendung von Messdaten, die mittels maschinellen Lernens korrigiert sind
CN201810194905.5A CN108568804B (zh) 2017-03-13 2018-03-09 机器人系统、测量数据处理装置及测量数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017047459A JP6438512B2 (ja) 2017-03-13 2017-03-13 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法

Publications (2)

Publication Number Publication Date
JP2018149628A JP2018149628A (ja) 2018-09-27
JP6438512B2 true JP6438512B2 (ja) 2018-12-12

Family

ID=63258958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017047459A Active JP6438512B2 (ja) 2017-03-13 2017-03-13 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法

Country Status (4)

Country Link
US (1) US10350752B2 (ja)
JP (1) JP6438512B2 (ja)
CN (1) CN108568804B (ja)
DE (1) DE102018001781B4 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
JP6542839B2 (ja) * 2017-06-07 2019-07-10 ファナック株式会社 制御装置及び機械学習装置
AT520957A1 (de) * 2018-03-09 2019-09-15 Tgw Logistics Group Gmbh Robotersystem zur Prüfung eines Laderaums eines Ladehilfsmittels in einem Lager- und Kommissioniersystem und Betriebsverfahren hierfür
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
US11945115B2 (en) * 2018-06-14 2024-04-02 Yamaha Hatsudoki Kabushiki Kaisha Machine learning device and robot system provided with same
JP2020052032A (ja) * 2018-09-21 2020-04-02 ファナック株式会社 撮像装置及び撮像システム
DE102019124809A1 (de) 2018-09-21 2020-03-26 Fanuc Corporation Bildgebungsvorrichtung und Bildgebungssystem
CN112513677A (zh) * 2018-09-28 2021-03-16 松下知识产权经营株式会社 纵深取得装置、纵深取得方法以及程序
JP6508691B1 (ja) 2018-10-15 2019-05-08 株式会社Ｍｕｊｉｎ 制御装置、作業ロボット、プログラム、及び、制御方法
JP7097799B2 (ja) 2018-11-21 2022-07-08 Thk株式会社 画像情報処理装置、把持システム、および画像情報処理方法
JP7047726B2 (ja) * 2018-11-27 2022-04-05 トヨタ自動車株式会社 把持ロボットおよび把持ロボットの制御プログラム
JP6904327B2 (ja) * 2018-11-30 2021-07-14 オムロン株式会社 制御装置、制御方法、及び制御プログラム
JP6908642B2 (ja) * 2019-02-25 2021-07-28 ファナック株式会社 レーザ加工装置
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
CN110228068A (zh) * 2019-06-14 2019-09-13 广西科技大学 一种机器人平面作业点快速定位系统及其快速定位方法
DE102019121889B3 (de) * 2019-08-14 2020-11-19 Robominds GmbH Automatisierungssystem und Verfahren zur Handhabung von Produkten
JP7295421B2 (ja) * 2019-08-22 2023-06-21 オムロン株式会社 制御装置及び制御方法
JP7383255B2 (ja) * 2019-08-22 2023-11-20 ナブテスコ株式会社 情報処理システム、情報処理方法、建設機械
JP7021158B2 (ja) * 2019-09-04 2022-02-16 株式会社東芝 ロボットシステムおよび駆動方法
US11389957B2 (en) 2019-09-30 2022-07-19 Mitsubishi Electric Research Laboratories, Inc. System and design of derivative-free model learning for robotic systems
EP3998460B1 (de) 2019-12-16 2023-01-25 Sick Ag Gebervorrichtung und verfahren zur bestimmung einer kinematischen grösse
US20220035334A1 (en) * 2020-07-29 2022-02-03 Abb Schweiz Ag Technologies for producing training data for identifying degradation of physical components
CN112123350B (zh) * 2020-09-27 2024-01-30 深圳市界面科技有限公司 一种木器加工装置的控制系统及控制方法
DE102021104001B3 (de) 2021-02-19 2022-04-28 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zum automatischen Ergreifen, insbesondere Umsetzen, von Gegenständen

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613269A (en) * 1984-02-28 1986-09-23 Object Recognition Systems, Inc. Robotic acquisition of objects by means including histogram techniques
JPH10111701A (ja) * 1996-10-05 1998-04-28 Ricoh Co Ltd 学習型自動セル装置と学習方法
JPH10315174A (ja) * 1997-05-14 1998-12-02 Meidensha Corp ハンド衝突検査方法及びハンド衝突検査方法を実現するソフトウェアを記録した記録媒体ならびにハンド衝突検査装置
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
KR100752098B1 (ko) * 2006-03-07 2007-08-24 한국과학기술연구원 신경망 기반 로봇 시스템
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP5380792B2 (ja) 2007-06-15 2014-01-08 株式会社Ｉｈｉ 物体認識方法および装置
JP5104248B2 (ja) 2007-11-22 2012-12-19 株式会社Ｉｈｉ 物体認識装置およびロボット装置
DE102007060653A1 (de) * 2007-12-15 2009-06-18 Abb Ag Positionsermittlung eines Objektes
CN102186638B (zh) * 2008-08-29 2016-03-02 Abb研究有限公司 在工业机器人的手臂末端处的工具的顺应装置
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
US9089966B2 (en) * 2010-11-17 2015-07-28 Mitsubishi Electric Corporation Workpiece pick-up apparatus
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5533727B2 (ja) * 2011-02-18 2014-06-25 株式会社安川電機 ワークピッキングシステム
JP5835926B2 (ja) * 2011-04-11 2015-12-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP5852364B2 (ja) 2011-08-26 2016-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5623358B2 (ja) * 2011-09-06 2014-11-12 三菱電機株式会社 ワーク取り出し装置
JP5806606B2 (ja) * 2011-12-01 2015-11-10 キヤノン株式会社 情報処理装置、情報処理方法
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP6000579B2 (ja) * 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
US9258550B1 (en) * 2012-04-08 2016-02-09 Sr2 Group, Llc System and method for adaptively conformed imaging of work pieces having disparate configuration
JP6074272B2 (ja) * 2013-01-17 2017-02-01 キヤノン株式会社 画像処理装置および画像処理方法
JP6192088B2 (ja) * 2013-02-20 2017-09-06 国立大学法人九州工業大学 物体検出方法および物体検出装置
JP5765355B2 (ja) * 2013-03-18 2015-08-19 株式会社安川電機 ロボットピッキングシステム及び被加工物の製造方法
JP2014205209A (ja) 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
CA2951523C (en) * 2013-06-11 2021-06-01 Somatis Sensor Solutions LLC Systems and methods for sensing objects
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
US9259844B2 (en) * 2014-02-12 2016-02-16 General Electric Company Vision-guided electromagnetic robotic system
KR102081139B1 (ko) * 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6364856B2 (ja) * 2014-03-25 2018-08-01 セイコーエプソン株式会社 ロボット
CN104057290B (zh) * 2014-06-24 2016-09-14 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
JP6335806B2 (ja) 2015-01-22 2018-05-30 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9486921B1 (en) * 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
JP6548422B2 (ja) * 2015-03-27 2019-07-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
CN105598965B (zh) * 2015-11-26 2018-03-16 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
JP6744709B2 (ja) * 2015-11-30 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
CN106078748B (zh) * 2016-06-13 2018-09-14 北京理工大学 一种基于手、眼、臂协调操作的机器人抓取物体的控制方法
CN106204620B (zh) * 2016-07-21 2018-12-11 清华大学 一种基于微视觉的触觉三维力检测方法
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム

Also Published As

Publication number Publication date
JP2018149628A (ja) 2018-09-27
DE102018001781A1 (de) 2018-09-13
CN108568804A (zh) 2018-09-25
CN108568804B (zh) 2019-06-18
US20180257225A1 (en) 2018-09-13
DE102018001781B4 (de) 2019-07-18
US10350752B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
JP6438512B2 (ja) 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
US10603790B2 (en) Workpiece picking device and workpiece picking method for improving picking operation of workpieces
KR102517457B1 (ko) 로봇 행동 보정에 기초한 로컬 피쳐 모델의 업데이트
JP6542824B2 (ja) 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
US10940585B2 (en) Vibration suppression device
JP6378783B2 (ja) アーム型のロボットの障害物自動回避方法及び制御装置
US20190184570A1 (en) Intelligent robots
JP7096288B2 (ja) ロボットを制御する方法
US11745355B2 (en) Control device, control method, and non-transitory computer-readable storage medium
JP2013144355A (ja) ロボットが用いる把持パターンを生成する方法及び計算機プログラム製品
JP5561384B2 (ja) 認識プログラム評価装置および認識プログラム評価方法
JP6758540B1 (ja) 情報処理装置、ワーク認識装置およびワーク取り出し装置
JP6795093B2 (ja) 判定装置、判定方法及び判定プログラム
JP2019057250A (ja) ワーク情報処理装置およびワークの認識方法
JP2016196077A (ja) 情報処理装置、情報処理方法、およびプログラム
US11203116B2 (en) System and method for predicting robotic tasks with deep learning
JP2023081311A (ja) 把持生成の衝突処理方法
JP2020004260A (ja) 観測位置推定装置、その推定方法、及びプログラム
Shih et al. A framework for online updates to safe sets for uncertain dynamics
WO2020188630A1 (ja) ロボット制御装置、方法、及びプログラム
Sileo et al. Real-time object detection and grasping using background subtraction in an industrial scenario
Sileo Collaborative and Cooperative Robotics Applications using Visual Perception
US20230311307A1 (en) System, method, and program for generating three-dimension model
EP4079468A1 (en) Method for controlling following of curved surface by robot
JP2021085781A (ja) 情報処理装置、情報処理方法、計測装置、プログラム、システム及び物品の製造方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181116

R150 Certificate of patent or registration of utility model

Ref document number: 6438512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150