JP6695843B2 - 装置、及びロボットシステム - Google Patents
装置、及びロボットシステム Download PDFInfo
- Publication number
- JP6695843B2 JP6695843B2 JP2017183593A JP2017183593A JP6695843B2 JP 6695843 B2 JP6695843 B2 JP 6695843B2 JP 2017183593 A JP2017183593 A JP 2017183593A JP 2017183593 A JP2017183593 A JP 2017183593A JP 6695843 B2 JP6695843 B2 JP 6695843B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- learning
- image
- teaching
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims description 128
- 238000011156 evaluation Methods 0.000 claims description 109
- 238000010801 machine learning Methods 0.000 claims description 43
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 227
- 238000000034 method Methods 0.000 description 78
- 238000013500 data storage Methods 0.000 description 49
- 230000008569 process Effects 0.000 description 41
- 238000011960 computer-aided design Methods 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000010845 search algorithm Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 235000004789 Rosa xanthina Nutrition 0.000 description 1
- 241000109329 Rosa xanthina Species 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39311—Multilayer, MNN, four layer perceptron, sigmoidal neural network
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
Description
このようなCADデータを用いて、ワークの取り出し位置の教示を行うことにより、バラ積みされたワークを取り出す技術が、例えば特許文献1に開示されている。
また、マッチングを行うためにCADモデルが必要となるが、不定形のワークについては、そもそもCADモデルを作成することができない。また、取り出す対象が完成品でなく、加工途中のワークである場合、加工中のワークのCADモデルをわざわざ取り出しのために追加で作成しなければならない。
このように、従来の手法では、ロボットシステムにおいてワークの取り出し位置を選択することは容易ではなかった。
前記教示に基づいて、前記複数の物体の少なくとも1つを取り出すための学習モデルを学習する学習部(例えば、後述の学習部14)と、を備える装置。
(3) 上記(2)に記載の装置において、前記表示部は、前記表示された位置を描画するようにしてもよい。
(4) 上記(1)乃至(3)のいずれかに記載の装置において、前記位置の教示は、前記位置を点及び領域のいずれかで指定したものであるようにしてもよい。
(6) 上記(1)乃至(5)のいずれかに記載の装置において、前記学習部は、少なくとも、前記教示に基づく評価値、又は、前記教示に基づく物体の取り出し成否のいずれか1つに基づいて、前記学習モデルを学習するようにしてもよい。
(9) 上記(1)乃至(8)のいずれかに記載の装置において、前記学習モデルはニューラルネットワークであるようにしてもよい。
(13) 上記(12)に記載のロボットシステムにおいて、前記表示部は、前記表示された画像上に前記教示された位置を描画するようにしてもよい。
(14) 上記(11)乃至(13)のいずれかに記載のロボットシステムにおいて、前記位置の教示は、前記位置を点及び領域のいずれかで指定したものであるようにしてもよい。
(15) 上記(11)乃至(14)のいずれかに記載のロボットシステムにおいて、前記教示された位置及びその近傍の点群の情報を探索用情報として記憶し、前記画像に対して、前記探索用情報による探索を行うことにより、前記ハンドによる新たな取り出し位置を選択する取り出し位置選択部(例えば、後述の選択処理部11)をさらに備えるようにしてもよい。
(18) 上記(16)に記載の物体取り出し方法において、前記学習するステップは、前記教示された取り出し位置及びその近傍の点群の情報を入力データとし、前記入力データとした点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された点群の情報についての評価値を出力する前記学習モデルを学習するようにしてもよい。
(19) 上記(18)に記載の物体取り出し方法において、前記画像から所定領域の画像を切り抜き、切り抜かれた前記画像の点群の情報を前記学習モデルに入力データとして入力することにより出力される前記点群の情報についての評価値に基づいて、新たな取り出し位置を選択する取り出し位置選択ステップ、をさらに備え、前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数の物体の少なくとも1つを取り出し、前記取り出し位置選択ステップによって選択された前記新たな取り出し位置で各物体を前記ハンドにより取り出すようにしてもよい。
(21) 上記(20)に記載のロボットシステム(例えば、後述のロボットシステム1b)は、前記画像を表示する表示部(例えば、後述の表示部12)と、前記表示部に表示された前記画像に基づく少なくとも1つの教示位置の教示を受け付ける受付部(例えば、後述の操作受付部13)と、前記受付部で受け付けた前記教示位置に基づき少なくとも1つの教示位置を示すラベルマップを生成し、該ラベルマップと前記画像とを関連づけてデータセットとして教師データ格納部(例えば、後述の教師データ格納部151)に保存するアノテーション処理部(例えば、後述のアノテーション処理部152)と、前記教師データ格納部に格納された前記データセットを入力として、機械学習を行い、前記学習モデルを出力する学習処理部(例えば、後述の学習処理部141)と、をさらに備える。
(23) 上記(22)に記載の物体取り出し方法は、前記画像を表示する表示ステップと、前記表示ステップにて表示された前記画像に基づく少なくとも1つの教示位置の教示を受け付ける受付ステップと、前記受付ステップにて受け付けた前記教示位置に基づき少なくとも1つの教示位置を示すラベルマップを生成し、該ラベルマップと前記画像とを関連づけてデータセットとして教師データ格納部に保存するアノテーション処理ステップと、前記教師データ格納部に格納された前記データセットを入力として、機械学習を行い、前記学習モデルを出力する学習処理ステップと、をさらに備えるようにしてもよい。
以下では、第1の実施形態と第2の実施形態の2つの実施形態について説明を行う。ここで、各実施形態は、ワークの取り出し位置を選択するという構成において共通する。
ただし、取り出し位置の選択の処理において、第1の実施形態では画像のマッチング処理や画像を切り抜く処理といった前処理を行うのに対し、第2の実施形態ではこのような前処理を省略する点で相違する。
以下では、まず第1の実施形態について詳細に説明し、次に第2の実施形態において特に第1の実施形態と相違する部分について説明を行う。
図1を参照して、第1の実施形態に係るロボットシステム1aの構成について説明する。ロボットシステム1aは、画像処理装置10a、ロボット制御装置20、ロボット30、3次元計測機40、複数のワーク50、及びコンテナ60を備える。
画像処理装置10aは、ロボット制御装置20や3次元計測機40と通信可能に接続されている。また、ロボット制御装置20は、画像処理装置10aに加え、ロボット30とも通信可能に接続されている。
ロボットシステム1aでは、バラ積みされた状態を含む乱雑に置かれた複数のワーク50を3次元計測機40で計測して距離画像を生成する。
このような構成により、ロボットシステム1aでは、従来に比べて、より簡便な方法でワーク50の取り出し位置を選択することができる。
また、ロボット制御装置20は、画像処理装置10aが選択したワーク50の取り出し位置に対して取り出しを行うための制御信号を生成する。そして、ロボット30が、ロボット制御装置20の生成した制御信号に基づいてワーク50の取り出しを実行する。このような構成により、ロボットシステム1aでは、選択した取り出し位置に基づいて、実際にワーク50を取り出すこともできる。
このような構成により、ロボットシステム1aでは、より精度高く取り出し位置を選択することができる。
以上がロボットシステム1aの概略である。次に、ロボットシステム1aに含まれる各装置について説明を行う。
ロボット30は、ロボット制御装置20が出力する制御信号に応じて、アームやハンドを駆動して、ハンドを教示位置まで移動させて、バラ積みされたワーク50を把持してコンテナ60から取り出す。
なお、取り出したワーク50の移載先については図示を省略する。また、ロボット30やハンドの具体的な構成については、当業者によく知られているので、詳細な説明を省略する。
3次元計測機40により生成された距離画像は、画像処理装置10aに対して出力される。
次に、図2を参照して画像処理装置10aが備える各機能ブロックについて説明をする。なお、図2では、ロボットシステム1aにおける、画像処理装置10a以外の構成要素を環境100としてまとめて図示する。
これらの処理を行うために、選択処理部11は、選択用データ格納部111、アノテーション処理部112、マッチング部113及び切り抜き部114を備える。
選択用データ格納部111は、選択処理部11内の各機能ブロックが利用する各種のデータを格納する部分である。
アノテーション処理部112、ユーザから、ワーク50の取り出し位置の教示を受けるための処理を行う部分である。
マッチング部113は、マッチング処理を行う部分である。また、切り抜き部114は切り抜き処理を行う部分である。
これら選択処理部11が備える各機能ブロックの機能と、マッチング処理及び切り抜き処理の内容については後述する。
学習処理部141は、機械学習を実行する部分であり、例えば、畳み込みニューラルネットワーク(コンボリューショナルニューラルネットワーク)を利用した深層学習(ディープラーニング)を行う。
学習済モデル格納部142は、学習処理部141が機械学習において学習中の学習モデルのパラメータや、学習済モデルのパラメータを格納する部分である。
推定処理部143は、選択処理部11による取り出し位置の選択のために、学習済モデル格納部142に格納された学習済モデルを利用した推定を行う。
これら各部により行われる機械学習の詳細な内容は<機械学習>という項目にて後述する。
これらの機能ブロックを実現するために、画像処理装置10aは、CPU(Central Processing Unit)等の演算処理装置を備える。また、画像処理装置10aは、アプリケーションソフトウェアやOS(Operating System)等の各種の制御用プログラムを格納したHDD(Hard Disk Drive)等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)といった主記憶装置も備える。
ただし、画像処理装置10aは、学習部14が行う機械学習に伴う演算量が多いため、例えば、コンピュータにGPU(Graphics Processing Units)を搭載し、GPGPU(General-Purpose computing on Graphics Processing Units)と呼ばれる技術により、GPUを機械学習に伴う演算処理に利用するようにすると高速処理できるようになるのでよい。また、コンピュータにFPGA(Field-Programmable Gate Array)を搭載し、FPGAを機械学習に伴う演算処理に利用するようにすると高速処理できるようになるのでよい。
次に、選択処理部11が行う処理の内容について詳細に説明をする。上述したように、選択処理部11は、「マッチング処理」と「切り抜き処理」の2つの処理を行う。まず、図3から図6までを参照してマッチング処理について説明をする。
アノテーション処理部112は、ユーザからワーク50の取り出し位置の教示を受けるために、選択用データ格納部111から距離画像を取得する。そして、アノテーション処理部152は、取得した距離画像を表示部12に対して出力する。表示部12は、入力された距離画像を図4に示すようにして表示する。なお、図中では、図示の都合上一部のワーク50についてのみ符号を付している。
また、例えばワーク50cに対応する面は、場所により高さが異なっている。ユーザは、これを参照することにより、ワーク50cが傾斜して積まれている状態であることが分かる。
マッチング部113は、ワーク50の取り出し時に、3次元計測機40からコンテナ60内に積まれているバラ積みされたワーク50の距離画像を取得する。そして、マッチング部113は、取得した距離画像に対して、選択用データ格納部111に格納されているそれぞれのマッチング用点群情報に含まれる教示位置近傍画像データに基づいて、例えばICP(Iterative Closest Point)マッチング等の3次元点群のマッチング手法を用いて、探索を行う。そして、マッチング部113は、距離画像中で、マッチングの評価が高い画像領域の例えば中心位置を、取り出し対象のワーク50の取り出し位置として選択する。なお、マッチングの評価が閾値以上に高い画像領域を複数選択し、これら複数の画像領域のうち、地面からの高さがもっとも高い画像領域を新たな教示位置近傍画像データとしてもよい。
このように、マッチング用点群情報によって成否が異なる場合があり得るので、マッチング部113は、各マッチング用点群情報に対して評価を行うことにより、各マッチング用点群情報に評価値を付与するようにするとよい。そして、マッチング部113は、この評価値が高いマッチング用点群情報を利用することが望ましい。
また、この評価値を付与したマッチング用点群情報は、後述する機械学習において教師データとして使用するため、マッチング部113は、評価値を付与したマッチング用点群情報を選択用データ格納部111に格納する。なお、評価値の低いマッチング用点群情報も機械学習のための教師データ(失敗データ)として必要なデータである。そのため、マッチング部113は、評価値の高いマッチング用点群情報のみならず、評価値の低いマッチング用点群情報も、選択用データ格納部111に教師データとして格納する。
このようにすれば、マッチング部113は、マッチングに用いたマッチング用点群情報に加え、マッチングした部分から取得した新たなマッチング用点群情報についてワーク50の取り出しを行うことが可能となる。つまり、マッチング部113は、マッチング用点群情報を自動的に増やしていくことができる。これにより、より評価値の高いマッチング用点群情報を収集することが可能となる。
そのため、第1の実施形態では、ユーザからの新たな教示を受けなくとも、選択した取り出し位置に基づいたワーク50の取り出しを行うことができる。
しかしながら、このように閾値を甘くする手段を取ると、実際には取出し位置として検出されるにはふさわしくない場所についてもマッチングが成立してしまうという問題が生じる。そこで、この問題を軽減するため、描画によって教示しなかった場所に関してもマッチングを試みて、もしこの教示しなかった場所でマッチングが成立した場合、検出位置としては不適切なものとし、最終的な検出位置から除外する処理を、上述した第1の実施形態の処理に更に加えるようにしてもよい。
以上、マッチング部113によるマッチング処理について説明をした。上述のマッチング処理により、ワーク50の取り出し位置の選択を実現することができる。
この構成に、更に学習部14による機械学習と、切り抜き部114による切り抜き処理とを組み合わせることにより、ワーク50の取り出し位置の選択精度を向上させることが可能となる。以下、学習部14による機械学習について説明する。次に切り抜き部114による切り抜き処理について説明する。
マッチング部113は、上述したように、マッチング用点群情報を用いたマッチング及びワーク50の取り出しと、この取り出し結果に応じた評価値の付与を繰り返すことにより、評価値が付与されたマッチング用点群情報を作成する。そして、上述したように、マッチング部113は、評価値が付与されたマッチング用点群情報を、選択用データ格納部111に格納する。
学習部14の学習処理部141は、選択用データ格納部111に格納された、評価値が付与されたマッチング用点群情報を教師データとして、教師あり機械学習を行う。また、学習処理部141は、この教師あり学習により、ワーク50の取り出し位置の選択精度を向上するための学習モデルを構築する。そして、学習処理部141は、構築した学習モデルを学習済モデル格納部142に格納する。
そして、後述の切り抜き処理にて、推定処理部143が、この学習済モデル格納部142に格納された学習モデルを利用することにより、3次元計測機40により計測される距離画像とのマッチングを行うことなく、ワーク50の取り出し位置を選択することを可能とする。また、学習処理部141は、切り抜き処理での取り出しの成否に基づいて更に機械学習を行うことによって、学習済モデル格納部142に格納されている一度構築された学習モデルを更に更新することもできる。
これら畳み込み層及びプーリング層を組み合わせることによって、3次元点群情報から特徴量を抽出することができる。
オンライン学習とは、教師データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、教師データが作成されることが繰り返される間に、繰り返しに応じた複数の教師データを収集し、収集した全ての教師データを用いて、教師あり学習を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度教師データが溜まるたびに教師あり学習を行うという学習方法である。バッチ学習やミニバッチ学習を行う場合には、学習を開始するまでの間、収集した教師データを選択用データ格納部111に格納すればよい。
また、新たに教師データを取得した場合に、学習済モデルのパラメータを初期値として学習を行うことにより学習済モデルによる推定の精度を向上させるようにしてもよい。また、他にも、新たに教師データを取得した場合に、学習済モデルと関係なく、別途の学習モデルを新たに構築するようにしてもよい。
次に、切り抜き部114が行う切り抜き処理について説明をする。
切り抜き部114は、学習処理部141により構築された学習モデルを利用することにより、3次元計測機40により計測される距離画像とのマッチングを行うことなく、ワーク50の取り出し位置を選択する。以下、この、マッチングを行うことなく、取り出し位置を選択する処理を「切り抜き処理」と呼んで説明をする。
推定処理部143は、このようにして抽出される全ての取り出し位置候補の3次元点群情報それぞれを、選択用データ格納部111から取得する。そして、推定処理部143は、取得した全ての取り出し位置候補の3次元点群情報それぞれを、上述したマッチング用点群情報の代わりに学習済モデルに入力し、それぞれの取り出し位置候補についての評価値を出力として得る。推定処理部143は、この出力を切り抜き部114に対して通知する。
次に、図9A及び図9Bのフローチャートを参照して、第1の実施形態の動作について説明をする。なお、図9Aは上述したマッチング処理に相当する動作についてのフローチャートであり、図9Bは上述した切り抜き処理に相当する動作についてのフローチャートである。
ステップS12において、アノテーション処理部112は、距離画像を表示部12に表示させる。
ステップS13において、アノテーション処理部112は、操作受付部13が受け付けたユーザからのワーク50の取り出し位置の教示に基づいて、距離画像上に教示位置を描画する。
ステップS15において、アノテーション処理部112は、ステップS14にて行われた設定に基づいて、マッチング用点群情報を生成する。また、アノテーション処理部112は、生成したマッチング用点群情報を選択用データ格納部111に格納する。
ステップS16において、マッチング部113は、選択用データ格納部111に格納されたマッチング用点群情報を用いて、マッチング及びワーク50の取り出しを行うことにより、マッチング用点群情報に評価値を付与する。マッチング部113は、評価値を付与したマッチング用点群情報を、選択用データ格納部111に格納する。
ステップS19において、切り抜き部114は、3次元計測機40から、バラ積みされたワーク50を計測することにより生成された距離画像を取得する。
つまり、第1の実施形態のマッチング処理によれば、従来に比べて、より簡便な方法でワーク50の取り出し位置を選択することができる。
更に、第1の実施形態の切り抜き処理によれば、取り出しの継続に伴い、新たな教師データを取得することができるので、構築した学習モデルをリアルタイムに更新していくことができる。
次に第2の実施形態について詳細に説明する。なお、第2の実施形態の基本的な構成は、第1の実施形態と共通する。例えば、第2の実施形態に係るロボットシステム1bの全体構成は、図1に示す第1の実施形態に係るロボットシステム1aの全体構成と同様の構成であり、画像処理装置10aを、第2の実施形態の画像処理装置である画像処理装置10bに置き換えることにより、第2の実施形態の構成となる。
以下では重複する説明を避けるために、このように両実施形態で共通する点についての説明は省略し、両実施形態で相違する点について詳細に説明する。
第1の実施形態では学習を行うにあたり、画像処理装置10aが、3次元計測機40から取得した距離画像に対してマッチングを行い、マッチング用点群情報を作成するという前処理をしていた。そして、画像処理装置10aが、このマッチング用点群情報を学習モデルの入力データとし、このマッチング用点群情報に付与された評価値をラベルとすることにより、機械学習による学習モデルの構築や、構築した学習モデルを利用した取り出し位置の選択を行っていた。
次に、前処理を省略して、距離画像全体を学習モデルの入力データとするために、画像処理装置10bが備える各機能ブロックについて図10を参照して説明をする。
なお、図10では図2と同様に、ロボットシステム1bにおける、画像処理装置10b以外の構成要素を環境100としてまとめて図示する。
また、選択処理部15は、教師データ格納部151、アノテーション処理部152及び取り出し位置選択部153を備える。
この、入力データとラベルとは、アノテーション処理部152によるラベルの格納時に紐付けられる。
第2の実施形態の学習処理部141は、機械学習を行う場合に、教師データ格納部151に格納されている教師データを用いて機械学習を行う。具体的には、第2の実施形態では、学習処理部141による機械学習により、距離画像を入力とした場合に、ラベル用マップと同様の画像が出力される学習モデルを構築する。つまり、取り出し可能な領域をセグメンテーションした画像が出力される学習モデルを構築する。
第2の実施形態では、上述したように、入力データを距離画像、ラベルを距離画像に対するアノテーション(例えばワーク50を取り出せそうな位置に人間が色を塗った画像)にして機械学習を行うことで、全画素に対する評価値推定を一度に行うことができる。そのため、第1の実施形態での、マッチング処理や切り抜き処理といった前処理を省略することができる。
Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla、"SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation"、[online]、平成28年8月10日、[平成29年9月10日検索]、インターネット〈URL:https://arxiv.org/pdf/1511.00561.pdf〉
取り出し位置選択部153は、取り出し位置を選択するために次元計測機40から距離画像を取得すると、取得した距離画像を推定処理部143に対して出力する。推定処理部143は、入力された距離画像を入力データとして、学習済モデル格納部142に格納されている学習済モデルに入力する。この入力に応じて、学習済モデルからは、取り出し可能な領域をセグメンテーションした画像が出力される。この出力された画像を「評価値マップ」と呼ぶ。
評価値マップは、ラベル用マップと同様のデータ構造であり、各画素(又は1/sとした各画素)の2次元座標の情報と、各画素(又は1/sとした各画素)についてワーク50の取り出し位置であるか否かを示す属性の情報とを含んだ画像となる。
推定処理部143は、評価値マップを取り出し位置選択部153に対して出力する。
次に、図11のフローチャートを参照して、第2の実施形態の動作について説明をする。
ステップS31において、教師データ格納部151は、3次元計測機40がバラ積みされたワーク50を計測することにより生成した距離画像を格納する。
ステップS32において、アノテーション処理部152は、教師データ格納部151に格納されている距離画像を表示部12に表示させる。
ステップS33において、アノテーション処理部152は、操作受付部13が受け付けたユーザからの取り出し位置の教示に基づいて、距離画像上に教示位置を描画する。
なお、上記のロボットシステムに含まれる各装置のそれぞれは、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のロボットシステムに含まれる各装置のそれぞれの協働により行なわれる機械学習方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
また、上述した各実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、各実施形態を組み合わせた形態や、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
上述した各実施形態では、画像処理装置10a又は画像処理装置10bと、ロボット制御装置20を別体の装置としていたが、これら装置を一体として実現してもよい。
また、上述した各実施形態では、ロボット制御装置20と、画像処理装置10a又は画像処理装置10bが近傍にいるように図示したが、これらがLAN(Local Area Network)やインターネット等のネットワークを介した遠方に位置していてもよい。
また、上述した各実施形態では、3次元計測機40は所定位置に固定して設置されているものとして説明したが、必ずしも所定位置に固定されていなくともよい。例えば、3次元計測機40はロボット30を制御するための機械座標系における位置がわかるのであれば、ロボット30のアームに取り付けるなど、設置位置が実施中に変更される形態でもよい。
更に、上述した各実施形態では、画像処理装置10a又は画像処理装置10bを1台の装置で実現することを想定したが、画像処理装置10a又は画像処理装置10bの各機能を、適宜複数の装置に分散する、分散処理システムとしてもよい。例えば、画像処理装置10aの選択処理部11又は画像処理装置10bの選択処理部15の機能と、学習部14の機能とを適宜複数の装置に分散する、分散処理システムとしてもよい。この場合に、学習部14に含まれる各機能ブロック単位で適宜複数の装置に分散する、分散処理システムとしてもよい。また、クラウド上での仮想サーバ機能等を利用して、画像処理装置10a又は画像処理装置10bの各機能を実現してもよい。
更に、上述した第1の実施形態では、マッチング処理を行い、マッチングした位置において実際に試みた取り出し結果の成否に基づいて学習済モデルを構築していた。また、このようにマッチング処理により構築した学習モデルを利用して、その後切り抜き処理を行っていた。
しかしながら、切り抜き処理を行う場合には、必ずしもマッチング処理により構築した学習モデルを利用しなくてもよい。
なお、この場合に学習処理部141が、ユーザからの教示位置とは異なる位置(非教示位置)の近傍のデータである非教示位置近傍画像データを取得するようにしてもよい。そして、学習処理部141が、非教示位置近傍画像データを入力データとし、取り出しが失敗した(とみなした)ことを示す評価値をラベルとして、失敗例を示す教師データを作成するようにしてもよい。そして、学習処理部141が、この失敗例を示す教師データを更に用いて学習を行うようにしてもよい。この場合に、非教示位置は、ユーザにより選択されるようにしてもよいし、教示位置以外の位置からランダムに選択されるようにしてもよい。
(付記1)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
前記3次元計測機により生成された前記距離画像を表示する表示部と、
前記表示された距離画像上で、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付部と、を備え、
前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数のワークの少なくとも1つを取り出すロボットシステム。
(付記2)
前記表示部は、前記表示された距離画像上に前記教示された取り出し位置を描画する付記1に記載のロボットシステム。
(付記3)
前記教示された取り出し位置及びその近傍の3次元点群の情報を探索用情報として記憶し、前記距離画像に対して、前記探索用情報による探索を行うことにより、新たな取り出し位置を選択する取り出し位置選択部を備え、
前記ロボットは、前記取り出し位置選択部によって選択された前記新たな取り出し位置で各ワークを前記ハンドにより取り出す付記1又は付記2に記載のロボットシステム。
(付記4)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
前記3次元計測機により生成された前記距離画像と、該距離画像上に教示された取り出し位置とを表示する表示部と、
前記表示された距離画像上で、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付部と、
前記教示された取り出し位置及びその近傍の3次元点群の情報を入力データとし、該入力データとした3次元点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された3次元点群の情報についての評価値を出力する学習モデルを構築する学習部と、
を備え、
前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数のワークの少なくとも1つを取り出すロボットシステム。
(付記5)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
前記3次元計測機により生成された前記距離画像と、該距離画像上に教示された取り出し位置とを表示する表示部と、
前記表示された距離画像上で、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付部と、
前記教示された取り出し位置及びその近傍の3次元点群の情報を入力データとし、該入力データとした3次元点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された3次元点群の情報についての評価値を出力する学習モデルを構築する学習部と、
前記距離画像から所定領域の距離画像を切り抜き、切り抜かれた前記距離画像の3次元点群の情報を前記学習モデルに入力データとして入力することにより出力される前記3次元点群の情報についての評価値に基づいて、新たな取り出し位置を選択する取り出し位置選択部と、
を備え、
前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数のワークの少なくとも1つを取り出し、前記取り出し位置選択部によって選択された前記新たな取り出し位置で各ワークを前記ハンドにより取り出すロボットシステム。
(付記6)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
前記3次元計測機により生成された前記距離画像に基づいて前記複数のワークの少なくとも1つを前記ハンドにより取り出しを行うための取り出し位置の推定を行うことにより生成した評価値マップであって少なくとも1つの評価値からなる評価値マップを出力する推定部と、
前記推定部により出力された前記評価値マップに基づいて前記ハンドが取り出す前記複数のワークの少なくとも1つの取り出し位置を選択する位置選択部と、
を備え、
前記ロボットは、前記位置選択部により選択した前記取り出し位置に基づいて前記ハンドにより前記複数のワークの少なくとも1つを取り出すロボットシステム。
(付記7)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
前記3次元計測機により生成された前記距離画像を機械学習用の教師データとして格納する教師データ格納部と、
前記教師データ格納部に格納された前記距離画像を表示する表示部と、
前記表示部に表示された前記距離画像に基づく少なくとも1つの教示位置の教示を受け付ける受付部と、
前記受付部で受け付けた前記教示位置に基づき少なくとも1つの教示位置を示すラベルマップを生成し、該ラベルマップと前記教師データ格納部に格納された前記距離画像とを関連づけてデータセットとして前記教師データ格納部に保存するアノテーション処理部と、
前記教師データ格納部に格納された前記データセットを入力として、機械学習を行い、学習済モデルを出力する学習処理部と、
前記学習処理部から出力された前記学習済モデルを格納する学習済モデル格納部と、
前記学習済モデル格納部に格納された前記学習済モデルと、前記3次元計測機により新たに生成された新たな複数のワークの距離画像に基づいて前記新たな複数のワークの少なくとも1つを前記ハンドにより取り出す際の取り出し位置の推定を行うことにより生成した評価値マップであって少なくとも1つの評価値からなる評価値マップを出力する推定部と、
前記推定部により出力された前記評価値マップに基づいて前記ハンドが取り出す前記新たな複数のワークの少なくとも1つの取り出し位置を選択する位置選択部と、
を備え、
前記ロボットは、前記位置選択部により選択した前記取り出し位置に基づいて前記ハンドにより前記新たな複数のワークの少なくとも1つを取り出すロボットシステム。
(付記8)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
を備えたロボットシステムが行うワーク取り出し方法であって、
前記3次元計測機により生成された前記距離画像を表示する表示ステップと、
前記表示された距離画像上で、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付ステップと、
を備え、
前記ロボットが前記教示された取り出し位置に基づいて前記ハンドにより前記複数のワークの少なくとも1つを取り出すワーク取り出し方法。
(付記9)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
を備えたロボットシステムが行うワーク取り出し方法であって、
前記3次元計測機により生成された前記距離画像と、該距離画像上に教示された取り出し位置とを表示する表示ステップと、
前記表示された距離画像上で、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付ステップと、
前記教示された取り出し位置及びその近傍の3次元点群の情報を入力データとし、該入力データとした3次元点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された3次元点群の情報についての評価値を出力する学習モデルを構築する学習ステップと、
を備え、
前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数のワークの少なくとも1つを取り出すワーク取り出し方法。
(付記10)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
を備えたロボットシステムが行うワーク取り出し方法であって、
前記3次元計測機により生成された前記距離画像と、該距離画像上に教示された取り出し位置とを表示する表示ステップと、
前記表示された距離画像上で、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付ステップと、
前記教示された取り出し位置及びその近傍の3次元点群の情報を入力データとし、該入力データとした3次元点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された3次元点群の情報についての評価値を出力する学習モデルを構築する学習ステップと、
前記距離画像から所定領域の距離画像を切り抜き、切り抜かれた前記距離画像の3次元点群の情報を前記学習モデルに入力データとして入力することにより出力される前記3次元点群の情報についての評価値に基づいて、新たな取り出し位置を選択する取り出し位置選択ステップと、
を備え、
前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数のワークの少なくとも1つを取り出し、前記取り出し位置選択ステップによって選択された前記新たな取り出し位置で各ワークを前記ハンドにより取り出すワーク取り出し方法。
(付記11)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
を備えたロボットシステムが行うワーク取り出し方法であって、
前記3次元計測機により生成された前記距離画像に基づいて前記複数のワークの少なくとも1つを前記ハンドにより取り出しを行うための取り出し位置の推定を行うことにより生成した評価値マップであって少なくとも1つの評価値からなる評価値マップを出力する推定ステップと、
前記推定ステップにて出力された前記評価値マップに基づいて前記ハンドが取り出す前記複数のワークの少なくとも1つの取り出し位置を選択する位置選択ステップと、
を備え、
前記ロボットが前記位置選択ステップにて選択した前記取り出し位置に基づいて前記ハンドにより前記複数のワークの少なくとも1つを取り出すワーク取り出し方法。
(付記12)
複数のワークの距離画像を生成する3次元計測機と、
前記複数のワークの少なくとも1つを取り出すためのハンドを有するロボットと、
を備えたロボットシステムが行うワーク取り出し方法であって、
前記3次元計測機により生成された前記距離画像を機械学習用の教師データとして教師データ格納部に格納する教師データ格納ステップと、
前記教師データ格納部に格納された前記距離画像を表示する表示ステップと、
前記表示ステップにて表示された前記距離画像に基づく少なくとも1つの教示位置の教示を受け付ける受付ステップと、
前記受付ステップにて受け付けた前記教示位置に基づき少なくとも1つの教示位置を示すラベルマップを生成し、該ラベルマップと前記教師データ格納部に格納された前記距離画像とを関連づけてデータセットとして前記教師データ格納部に保存するアノテーション処理ステップと、
前記教師データ格納部に格納された前記データセットを入力として、機械学習を行い、学習済モデルを出力する学習処理ステップと、
前記学習処理ステップにて出力された前記学習済モデルを学習済モデル格納部に格納する学習済モデル格納ステップと、
前記学習済モデル格納部に格納された前記学習済モデルと、前記3次元計測機により新たに生成された新たな複数のワークの距離画像に基づいて前記新たな複数のワークの少なくとも1つを前記ハンドにより取り出す際の取り出し位置の推定を行うことにより生成した評価値マップであって少なくとも1つの評価値からなる評価値マップを出力する推定ステップと、
前記推定ステップにて出力された前記評価値マップに基づいて前記ハンドが取り出す前記新たな複数のワークの少なくとも1つの取り出し位置を選択する位置選択ステップと、
を備え、
前記ロボットが前記位置選択ステップにより選択した前記取り出し位置に基づいて前記ハンドにより前記新たな複数のワークの少なくとも1つを取り出すワーク取り出し方法。
10a、10b 画像処理装置
11 選択処理部
111 選択用データ格納部
112 アノテーション処理部
113 マッチング部
114 切り抜き部
12 表示部
13 操作受付部
14 学習部
141 学習処理部
142 学習済モデル格納部
143 推定処理部
15 選択処理部
151 教師データ格納部
152 アノテーション処理部
153 取り出し位置選択部
20 ロボット制御装置
30 ロボット
40 3次元計測機
50 ワーク
60 コンテナ
Claims (9)
- 複数の物体の少なくとも1つをハンドにより取り出すための前記複数の物体を含む画像における位置の教示を受け付ける受付部と、
前記教示に基づいて、前記複数の物体の少なくとも1つを取り出すための学習モデルを学習する学習部であって、前記教示された位置及びその近傍の点群の情報を入力データとし、前記入力データとした点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された点群の情報についての評価値を出力する前記学習モデルを学習する学習部と、を備える装置。 - 前記画像から所定領域の画像を切り抜き、切り抜かれた前記画像の点群の情報を前記学習モデルに入力データとして入力することにより出力される前記点群の情報についての評価値に基づいて、前記ハンドによる新たな取り出し位置を選択する取り出し位置選択部、
をさらに備える、請求項1に記載の装置。 - 複数の物体の少なくとも1つをハンドにより取り出すための前記複数の物体を含む画像における位置の教示を受け付ける受付部と、
前記教示に基づいて、前記複数の物体の少なくとも1つを取り出すための学習モデルを学習する学習部と、
前記教示された位置及びその近傍の点群の情報を探索用情報として記憶し、前記画像に対して、前記探索用情報による探索を行うことにより、前記ハンドによる新たな取り出し位置を選択する取り出し位置選択部と、を備える装置。 - 前記学習部は、少なくとも、前記教示に基づく評価値、又は、前記教示に基づく物体の取り出し成否のいずれか1つに基づいて、前記学習モデルを学習する、請求項3に記載の装置。
- 前記画像を表示する表示部、
をさらに備える請求項1から請求項4のいずれか1項に記載の装置。 - 前記表示部は、前記表示された画像上に前記教示された位置を描画する、請求項5に記載の装置。
- 前記位置の教示は、前記位置を点及び領域のいずれかで指定したものである、
請求項1から請求項6のいずれか1項に記載の装置。 - 前記学習モデルはニューラルネットワークである、請求項1から請求項7のいずれか1項に記載の装置。
- 請求項1から請求項8のいずれか1項に記載の装置と、
前記複数の物体の画像を生成する計測機と、
前記ハンドを有するロボットと、
を備えるロボットシステム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183593A JP6695843B2 (ja) | 2017-09-25 | 2017-09-25 | 装置、及びロボットシステム |
US16/117,612 US11845194B2 (en) | 2017-09-25 | 2018-08-30 | Robot system and workpiece picking method |
DE102018215826.6A DE102018215826B4 (de) | 2017-09-25 | 2018-09-18 | Robotersystem und Werkstückgreifverfahren |
CN202310544742.XA CN116423478A (zh) | 2017-09-25 | 2018-09-20 | 处理装置以及方法 |
CN201811101031.0A CN109551459B (zh) | 2017-09-25 | 2018-09-20 | 机器人系统以及工件取出方法 |
JP2020075789A JP6895563B2 (ja) | 2017-09-25 | 2020-04-22 | ロボットシステム、モデル生成方法、及びモデル生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183593A JP6695843B2 (ja) | 2017-09-25 | 2017-09-25 | 装置、及びロボットシステム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020075789A Division JP6895563B2 (ja) | 2017-09-25 | 2020-04-22 | ロボットシステム、モデル生成方法、及びモデル生成プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019058960A JP2019058960A (ja) | 2019-04-18 |
JP2019058960A5 JP2019058960A5 (ja) | 2019-11-28 |
JP6695843B2 true JP6695843B2 (ja) | 2020-05-20 |
Family
ID=65638782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017183593A Active JP6695843B2 (ja) | 2017-09-25 | 2017-09-25 | 装置、及びロボットシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11845194B2 (ja) |
JP (1) | JP6695843B2 (ja) |
CN (2) | CN109551459B (ja) |
DE (1) | DE102018215826B4 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9238304B1 (en) * | 2013-03-15 | 2016-01-19 | Industrial Perception, Inc. | Continuous updating of plan for robotic object manipulation based on received sensor data |
JP6453922B2 (ja) * | 2017-02-06 | 2019-01-16 | ファナック株式会社 | ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 |
DE102017207069A1 (de) * | 2017-04-27 | 2018-10-31 | Robert Bosch Gmbh | Prüfvorrichtung zur optischen Prüfung eines Objektes, Produktionsanlage mit der Prüfvorrichtung und Verfahren zur optischen Prüfung des Objektes mit der Prüfvorrichtung |
WO2019006091A2 (en) * | 2017-06-28 | 2019-01-03 | Google Llc | METHODS AND APPARATUS FOR MACHINE LEARNING FOR SEMANTIC ROBOTIC SEIZURE |
JP6680750B2 (ja) * | 2017-11-22 | 2020-04-15 | ファナック株式会社 | 制御装置及び機械学習装置 |
JP6669713B2 (ja) * | 2017-11-28 | 2020-03-18 | ファナック株式会社 | ロボットおよびロボットシステム |
JP6857332B2 (ja) * | 2018-03-13 | 2021-04-14 | オムロン株式会社 | 演算装置、演算方法、及びそのプログラム |
JP2020025992A (ja) * | 2018-08-09 | 2020-02-20 | 株式会社東芝 | 制御装置、制御方法、およびプログラム |
US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
JP7277187B2 (ja) | 2019-03-13 | 2023-05-18 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
US11022961B2 (en) * | 2019-04-04 | 2021-06-01 | Plus One Robotics, Inc. | Industrial robotics systems and methods for continuous and automated learning |
CN110228068A (zh) * | 2019-06-14 | 2019-09-13 | 广西科技大学 | 一种机器人平面作业点快速定位系统及其快速定位方法 |
JPWO2020261333A1 (ja) * | 2019-06-24 | 2020-12-30 | ||
JP2021005158A (ja) * | 2019-06-25 | 2021-01-14 | 三菱電機株式会社 | 境線検出装置及び水位計測装置 |
JP2021010970A (ja) * | 2019-07-05 | 2021-02-04 | 京セラドキュメントソリューションズ株式会社 | ロボットシステム及びロボット制御方法 |
US11491658B2 (en) | 2019-07-23 | 2022-11-08 | Toyota Research Institute, Inc. | Methods and systems for automatically annotating items by robots |
DE102019121889B3 (de) * | 2019-08-14 | 2020-11-19 | Robominds GmbH | Automatisierungssystem und Verfahren zur Handhabung von Produkten |
EP4019208A4 (en) * | 2019-08-22 | 2022-12-07 | OMRON Corporation | CONTROL DEVICE, CONTROL METHOD AND CONTROL PROGRAM |
WO2021039995A1 (ja) * | 2019-08-28 | 2021-03-04 | 株式会社DailyColor | ロボット制御装置 |
JP6784868B1 (ja) * | 2019-09-02 | 2020-11-11 | ヤマザキマザック株式会社 | 制御装置、工作機械、算出方法及びプログラム |
JP7319891B2 (ja) | 2019-10-31 | 2023-08-02 | ミネベアミツミ株式会社 | 画像処理装置及び画像処理方法 |
JP2021070122A (ja) * | 2019-10-31 | 2021-05-06 | ミネベアミツミ株式会社 | 学習データ生成方法 |
EP4066001A4 (en) * | 2019-11-30 | 2024-01-24 | Boston Polarimetrics Inc | SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES |
WO2021166939A1 (ja) * | 2020-02-19 | 2021-08-26 | ファナック株式会社 | 学習用データセット生成装置および学習用データセット生成方法 |
CN111325795B (zh) * | 2020-02-25 | 2023-07-25 | 深圳市商汤科技有限公司 | 一种图像处理方法、装置、存储介质及机器人 |
DE112021001435T5 (de) * | 2020-03-05 | 2023-01-12 | Fanuc Corporation | Maschinen-Lern-Vorrichtung |
DE102020115628A1 (de) | 2020-06-12 | 2021-12-16 | Schunk Gmbh & Co. Kg Spann- Und Greiftechnik | Sensoreinrichtung für ein Greifsystem, Verfahren zur Erzeugung von optimalen Greifposen zur Ansteuerung einer Greifvorrichtung und zugehöriges Greifsystem |
CN112001967A (zh) * | 2020-08-14 | 2020-11-27 | 苏州华兴源创科技股份有限公司 | 相机指导机械手搬运物体的方法和装置 |
WO2022065303A1 (ja) | 2020-09-25 | 2022-03-31 | ファナック株式会社 | 推論計算処理装置、及び推論計算処理方法 |
WO2022123978A1 (ja) * | 2020-12-08 | 2022-06-16 | ソニーグループ株式会社 | 学習装置、学習システムおよび学習方法 |
TW202226071A (zh) * | 2020-12-25 | 2022-07-01 | 日商發那科股份有限公司 | 機械學習裝置、及機械學習方法 |
US20220410381A1 (en) * | 2021-06-29 | 2022-12-29 | Intrinsic Innovation Llc | Systems and methods for picking objects using 3-d geometry and segmentation |
DE102021209646A1 (de) | 2021-09-02 | 2023-03-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Robotervorrichtung, Verfahren zum computerimplementierten Trainieren eines Roboter-Steuerungsmodells und Verfahren zum Steuern einer Robotervorrichtung |
CN114952809B (zh) * | 2022-06-24 | 2023-08-01 | 中国科学院宁波材料技术与工程研究所 | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 |
EP4311632A1 (de) * | 2022-07-27 | 2024-01-31 | Siemens Aktiengesellschaft | Verfahren zum greifen eines objekts, computerprogramm und elektronisch lesbarer datenträger |
CN117067219B (zh) * | 2023-10-13 | 2023-12-15 | 广州朗晴电动车有限公司 | 一种电车车身成型的钣金机械臂控制方法及系统 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10180668A (ja) * | 1996-12-26 | 1998-07-07 | Nkk Corp | 廃棄物中の特定物を選別するロボットシステム |
JP5767464B2 (ja) | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP5623358B2 (ja) | 2011-09-06 | 2014-11-12 | 三菱電機株式会社 | ワーク取り出し装置 |
US9002098B1 (en) * | 2012-01-25 | 2015-04-07 | Hrl Laboratories, Llc | Robotic visual perception system |
JP5642738B2 (ja) | 2012-07-26 | 2014-12-17 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
JP5670397B2 (ja) | 2012-08-29 | 2015-02-18 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
JP5754454B2 (ja) | 2013-03-18 | 2015-07-29 | 株式会社安川電機 | ロボットピッキングシステム及び被加工物の製造方法 |
JP6415026B2 (ja) * | 2013-06-28 | 2018-10-31 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP2015100874A (ja) * | 2013-11-25 | 2015-06-04 | セイコーエプソン株式会社 | ロボットシステム |
JP6361213B2 (ja) | 2014-03-26 | 2018-07-25 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム |
DE102016009030B4 (de) | 2015-07-31 | 2019-05-09 | Fanuc Corporation | Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs |
JP6240689B2 (ja) | 2015-07-31 | 2017-11-29 | ファナック株式会社 | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 |
JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP6572687B2 (ja) * | 2015-09-02 | 2019-09-11 | トヨタ自動車株式会社 | 把持可否判定方法 |
JP6117901B1 (ja) | 2015-11-30 | 2017-04-19 | ファナック株式会社 | 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム |
JP6298035B2 (ja) * | 2015-12-17 | 2018-03-20 | ファナック株式会社 | モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置 |
JP2017124450A (ja) | 2016-01-12 | 2017-07-20 | 株式会社ソフトサービス | ピックアップ装置 |
WO2017201023A1 (en) * | 2016-05-20 | 2017-11-23 | Google Llc | Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment |
US10058995B1 (en) * | 2016-07-08 | 2018-08-28 | X Development Llc | Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request |
JP6846950B2 (ja) * | 2017-03-03 | 2021-03-24 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6546618B2 (ja) | 2017-05-31 | 2019-07-17 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
US10773382B2 (en) * | 2017-09-15 | 2020-09-15 | X Development Llc | Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation |
-
2017
- 2017-09-25 JP JP2017183593A patent/JP6695843B2/ja active Active
-
2018
- 2018-08-30 US US16/117,612 patent/US11845194B2/en active Active
- 2018-09-18 DE DE102018215826.6A patent/DE102018215826B4/de active Active
- 2018-09-20 CN CN201811101031.0A patent/CN109551459B/zh active Active
- 2018-09-20 CN CN202310544742.XA patent/CN116423478A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN109551459B (zh) | 2023-05-30 |
CN109551459A (zh) | 2019-04-02 |
US11845194B2 (en) | 2023-12-19 |
JP2019058960A (ja) | 2019-04-18 |
US20190091869A1 (en) | 2019-03-28 |
DE102018215826A1 (de) | 2019-03-28 |
CN116423478A (zh) | 2023-07-14 |
DE102018215826B4 (de) | 2023-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6695843B2 (ja) | 装置、及びロボットシステム | |
JP6608890B2 (ja) | 機械学習装置、ロボットシステム及び機械学習方法 | |
JP6895563B2 (ja) | ロボットシステム、モデル生成方法、及びモデル生成プログラム | |
JP7071054B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6970553B2 (ja) | 画像処理装置、画像処理方法 | |
US20180342077A1 (en) | Teacher data generation apparatus and method, and object detection system | |
US11227434B2 (en) | Map constructing apparatus and map constructing method | |
CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
JP7014181B2 (ja) | 学習装置および学習方法 | |
JP6985856B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
US20200242398A1 (en) | Information processing method and information processing system | |
US20200193607A1 (en) | Object shape regression using wasserstein distance | |
US11314986B2 (en) | Learning device, classification device, learning method, classification method, learning program, and classification program | |
US20210406615A1 (en) | Learning device, classification device, learning method, classification method, learning program, and classification program | |
KR20150024719A (ko) | 영상에서 객체를 분리하는 방법 및 장치. | |
JP2017215859A (ja) | 文字列認識装置、方法、及びプログラム | |
CN114830177A (zh) | 电子设备和用于控制该电子设备的方法 | |
CN112446275A (zh) | 物体数量推定装置、物体数量推定方法以及存储介质 | |
JP2018206252A (ja) | 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム | |
CN114627397A (zh) | 行为识别模型构建方法以及行为识别方法 | |
JP2018048890A (ja) | 姿勢推定システム、姿勢推定装置、及び距離画像カメラ | |
JP2020140659A (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2023014369A1 (en) | Synthetic dataset creation for object detection and classification with deep learning | |
US11557074B1 (en) | Systems and methods for rigging a point cloud for animation | |
US20230368052A1 (en) | Inference calculation processing device and inference calculation processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180618 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6695843 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |