JP6458912B1 - Position control device and position control method - Google Patents
Position control device and position control method Download PDFInfo
- Publication number
- JP6458912B1 JP6458912B1 JP2018530627A JP2018530627A JP6458912B1 JP 6458912 B1 JP6458912 B1 JP 6458912B1 JP 2018530627 A JP2018530627 A JP 2018530627A JP 2018530627 A JP2018530627 A JP 2018530627A JP 6458912 B1 JP6458912 B1 JP 6458912B1
- Authority
- JP
- Japan
- Prior art keywords
- control
- unit
- control amount
- value
- robot arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
- B23P19/02—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for connecting objects by press fit or for detaching same
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Automatic Assembly (AREA)
Abstract
二つのモノについて挿入を伴う位置合わせを含む場合、撮像部201から取得された画像と力覚センサ801の値に基づいて挿入するための制御量を指示するとともに位置合わせに対する結果から学習する経路決定部802と、制御量に到達するために一制御周期ごとに設定される周期制御量と、力覚センサ801の値に基づく外力に適応した制御量とに基づいて周期制御量調整値を出力する制御パラメータ調整部1401を備えたので、軌道生成制御および力覚センサ801を用いたコンプライアントモーション制御を加算した制御量によってロボットアーム100を動作させ、通常の強化学習モデルでは学習が収束するまでは試行錯誤が必要であり環境を破損する可能性があるが、本発明により学習の初期であっても安全に試行を行わせることが可能である。 In the case of including alignment with insertion for two objects, a route determination is performed that indicates a control amount for insertion based on the image acquired from the imaging unit 201 and the value of the force sensor 801 and learns from the result of alignment The periodic control amount adjustment value is output based on the unit 802, the periodic control amount set for each control period in order to reach the control amount, and the control amount adapted to the external force based on the value of the force sensor 801. Since the control parameter adjustment unit 1401 is provided, the robot arm 100 is operated by a control amount obtained by adding the trajectory generation control and the compliant motion control using the force sensor 801 until learning is converged in a normal reinforcement learning model. Although trial and error is necessary and may damage the environment, the present invention allows safe trials even in the early stages of learning. It is possible.
Description
この発明は位置制御装置及び位置制御方法に関するものである。 The present invention relates to a position control device and a position control method.
ロボットアームで組立動作を行う生産システムを構築する際には、ティーチングと呼ばれる人の手による教示作業を行うのが一般的である。しかし、このティーチングにおいてロボットは記憶された位置のみに対して動作を繰り返し行うため、製作や取付による誤差が発生する場合には、対応できない場合もある。そのため、この個体誤差を吸収するような位置補正技術が開発することが可能であれば、生産性の向上が期待できる上、ロボットの活躍する場面も大きくなる。 When constructing a production system in which an assembly operation is performed by a robot arm, a teaching operation by a human hand called teaching is generally performed. However, in this teaching, since the robot repeatedly performs the operation only on the stored position, it may not be able to cope with an error caused by manufacturing or mounting. Therefore, if a position correction technique capable of absorbing this individual error can be developed, improvement in productivity can be expected, and the scene where the robot plays an active role also increases.
現在の技術においても、カメラ画像を用いてコネクタ挿入作業の直前までの位置補正を行う技術は存在する(特許文献1)。また、力覚センサ、ステレオカメラ、等複数のデバイスを用いれば組立(挿入、ワーク保持等)に関する位置の誤差を吸収することはできる。しかし、位置補正量を決定するために、同参考文献のように把持したコネクタの中心座標、挿入する側のコネクタの中心座標などの量を明示的に画像情報から計算する必要がある。この計算はコネクタの形状に依存し、使用コネクタごとに設計者が設定しなければならない。また、3次元情報が距離カメラなどから取得できればこの計算も比較的容易であるが、2次元画像情報から取得するためにはコネクタ毎に画像処理アルゴリズムを開発する必要があるため、多くの設計コストがかかってしまう。 Even in the current technology, there is a technology for performing position correction until just before connector insertion work using a camera image (Patent Document 1). Further, if a plurality of devices such as a force sensor and a stereo camera are used, position errors relating to assembly (insertion, work holding, etc.) can be absorbed. However, in order to determine the position correction amount, it is necessary to explicitly calculate the amounts such as the center coordinates of the gripped connector and the center coordinates of the connector on the insertion side from the image information as in the same reference. This calculation depends on the shape of the connector and must be set by the designer for each connector used. In addition, if 3D information can be obtained from a distance camera or the like, this calculation is relatively easy. However, since it is necessary to develop an image processing algorithm for each connector in order to obtain 2D image information, a lot of design costs are required. It will take.
また、ロボットが自ら学習し適切な行動を獲得する手法として、深層学習や深層強化学習と呼ばれる手法が存在する。しかし、これらの学習によって適切な行動を獲得するためには、通常、大量の適切な学習データを収集する必要がある。また、強化学習などの手法を用いてデータを収集する場合、何度も繰り返し同じシーンを体験する必要があり、膨大な試行数が必要な上、未体験なシーンに対しては性能が保証できない。そのため、さまざまなシーンの学習データを万遍なく集める必要があり、多くの手間がかかる。
例えば、特許文献2のように一回の成功試行で最適経路を求めるような手法も存在するが、深層学習や深層強化学習に使えるデータを集めることは出来ず、相当回数分の学習を行う必要がある。In addition, there are techniques called deep learning and deep reinforcement learning as a technique for the robot to learn by itself and acquire appropriate behavior. However, in order to acquire appropriate actions through these learnings, it is usually necessary to collect a large amount of appropriate learning data. Also, when collecting data using techniques such as reinforcement learning, it is necessary to experience the same scene over and over again, requiring a huge number of trials, and performance cannot be guaranteed for unexperienced scenes. . Therefore, it is necessary to collect learning data for various scenes uniformly, which takes a lot of work.
For example, there is a method for obtaining an optimum route in one successful trial as in
二つのモノについて挿入を伴う位置合わせをおこなう場合、学習するために位置を指示する機能とロボットの位置制御するためにサーボモータ等を動作させる機能は通常は独立に存在する。したがってモノに与える荷重を考慮していないため、学習のために与える変位量によっては、モノに過大な荷重を与えてしまうという課題があった。 When performing alignment with insertion for two objects, there is usually an independent function for indicating the position for learning and a function for operating a servo motor or the like for controlling the position of the robot. Therefore, since the load applied to the object is not considered, there is a problem that an excessive load is applied to the object depending on the amount of displacement applied for learning.
本発明は上記の課題を解決するためになされたものであって、学習するための機能とロボットの位置制御するための機能が別であってもモノに過大な荷重を与えるのを防ぎつつ学習データを収集することを目的とする。 The present invention has been made in order to solve the above-described problems, and learning while preventing an excessive load from being applied even if the function for learning and the function for controlling the position of the robot are different. The purpose is to collect data.
この発明に係る位置制御装置は、二つのモノの一方のモノから他方のモノへの挿入を伴う位置合わせを行う場合、撮像部から取得されるものであって、ロボットアームの把持部によって把持された一方のモノと他方のモノとが写された画像と、把持部にかかる負荷を計測する力覚センサの値と、に基づいて挿入するためのロボットアームの位置の制御量を指示するとともに位置合わせに対する結果から、画像と力覚センサの値から位置合わせが成功するロボットアームの位置の制御量を学習する経路決定部と、学習の過程において、経路決定部からのロボットアームの位置の制御量を受信するとともに、ロボットアームの位置の制御量に到達するために制御部の一制御周期ごとに設定される周期制御量と、一制御周期に対応した力覚センサの値に基づく外力に適応した制御量と、に基づいて周期制御量調整値を制御部に出力する制御パラメータ調整部と、を備えた。 Position control apparatus according to the present invention, when aligning with the insert from one of mono two things to the other things, a shall be acquired from the imaging unit, is gripped by the gripping portion of the robot arm while the goods and the other image and objects have been photographed in the position instructs the value of the force sensor that measures the load on the gripper, the control amount of the position of the robot arm for insertion on the basis of the results for the combined, the path determination section that learns a control amount of the position of the robot arm positioning is successful from the value of the image and force sensor, in the course of learning, control of the position of the robot arm from the route deciding section which receives the amount and period control amount set for each first control cycle of the control unit to reach the control amount of the position of the robot arm, the force sensor corresponding to one control period A control amount that is adapted to the external force based on a control parameter adjusting section for outputting a periodic control amount adjustment value to the control unit on the basis of, having a.
この発明によれば、学習するための機能とロボットの位置制御するための機能が別であってもモノに過大な荷重を与えるのを防ぎつつ学習データを収集することができる。 According to this invention, even if the function for learning and the function for controlling the position of the robot are different, learning data can be collected while preventing an excessive load from being applied to the object.
実施の形態1.
以下、この発明の実施の形態について説明する。
Embodiments of the present invention will be described below.
実施の形態1においては、各コネクタの挿入位置を学習し、生産ラインで組み立てを行うロボットアームとその位置制御方法について説明する。 In the first embodiment, a robot arm that learns the insertion position of each connector and assembles on the production line and a position control method thereof will be described.
構成を説明する。図1は、実施の形態1におけるロボットアーム100とオス側コネクタ110、メス側コネクタ120が配置された図である。ロボットアーム100にはオス側コネクタ110を把持する把持部101が備えられてあり、この把持部を見えるような位置に単眼カメラ102がロボットアーム100に取り付けてある。この単眼カメラ102位置は、ロボットアーム100の先端の把持部101がオス側コネクタ110を把持した際に、把持されたオス側コネクタ110の先端部と挿入される側のメス側コネクタ120が見えるように設置する。
The configuration will be described. FIG. 1 is a diagram in which a
図2は、実施の形態1における位置制御装置の機能構成図である。
図2において、図1における単眼カメラ102の機能であり、画像を撮影する撮像部201と、撮像された画像を用いてロボットアーム100の位置の制御量を生成する制御パラメータ生成部202と、位置の制御量を用いてロボットアーム100の駆動部204に対し、電流・電圧値を制御する制御部203と、制御部203から出力された電流・電圧値に基づいてロボットアーム100の位置を変更する駆動部204から構成されている。FIG. 2 is a functional configuration diagram of the position control device according to the first embodiment.
2, the functions of the
制御パラメータ生成部202は、単眼カメラ102の機能であり、画像を撮影する撮像部201から画像を取得すると、ロボットアーム100の位置(X、Y、Z、Ax、Ay、Az)の値に対する制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を決定し、制御部203に制御量を出力する。(X,Y,Zはロボットアームの位置、Ax、Ay、Azは、ロボットアーム100の姿勢角度)
制御部203は、受け取ったロボットアーム100の位置(X、Y、Z、Ax、Ay、Az)の値に対する制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)に基づいて駆動部204を構成する各デバイスに対する電流・電圧値を決定し制御する。
駆動部204は、制御部203から受けた各デバイスに対する電流・電圧値で動作することで、ロボットアーム100が(X+ΔX、Y+ΔY、Z+ΔZ、Ax+ΔAx、Ay+ΔAy、Az+ΔAz)の位置まで移動する。The control
The
The
図3は、実施の形態1における位置制御装置のハードウエア構成図である。
単眼カメラ102は、入出力インターフェース301を経由してプロセッサ302、メモリ303に、有線無線に関わらず通信可能に接続される。入出力インターフェース301、プロセッサ302、メモリ303で図2における制御パラメータ生成部202の機能を構成する。入出力インターフェース301はまた、制御部203に対応する制御回路304と有線無線に関わらず通信可能に接続される。制御回路304はまた、電気的にモータ305と接続される。モータ305は、図2における駆動部204に対応し、各デバイスの位置を制御するための部品として構成される。尚、本実施の形態において、駆動部204に対応するハードウエアの形態としてモータ305としたが、位置を制御できるハードウエアであればよい。したがって、単眼カメラ201と入出力インターフェース301間、入出力インターフェース301と制御回路間304間は別体として構成されていてもよい。FIG. 3 is a hardware configuration diagram of the position control device according to the first embodiment.
The
次に動作について説明する。
図4は、実施の形態1における位置制御装置の位置制御におけるフローチャートである。
まず、ステップS101において、ロボットアーム100の把持部101は、オス側コネクタ110を把持する。このオス側コネクタ110の位置や姿勢は図2の制御部203側で事前に登録されており、あらかじめ制御部203側に登録された制御プログラムに基づいて動作される。Next, the operation will be described.
FIG. 4 is a flowchart in position control of the position control apparatus in the first embodiment.
First, in step S <b> 101, the
次に、ステップS102において、ロボットアーム100をメス側コネクタ120の挿入位置近辺まで近づける。このメス側コネクタ110のおおよその位置や姿勢は、図2の制御部203側で事前に登録されており、あらかじめ制御部203側に登録された制御プログラムに基づいてオス側コネクタ110の位置が、動作される。
次に、ステップS103において、制御パラメータ生成部202は単眼カメラ102の撮像部201に対し、画像を撮像するよう指示し、単眼カメラ103は、把持部101が把持しているオス側コネクタ110と、挿入先となるメス側コネクタ120とが両方映っている画像を撮像する。Next, in step S102, the
Next, in step S103, the control
次に、ステップS104において、制御パラメータ生成部202は、撮像部201から画像を取得し、制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を決定する。この制御量の決定ついては、制御パラメータ生成部202は、図3のプロセッサ302、メモリ303をハードとして用いるとともに、ニューラルネットワークを用いて制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を計算する。ニューラルネットワークを用いた制御量の計算方法は後述する。
Next, in step S104, the control
次に、ステップS105において、制御部203は、制御パラメータ生成部202が出力した制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を取得するとともに、予め決めておいた閾値と制御量のすべての成分を比較する。制御量のすべての成分が閾値以下であれば、ステップS107へ進み、制御部203は、オス側コネクタ110をメス側コネクタ120へ挿入するよう駆動部204を制御する。
制御量のいずれかの成分が閾値より大きければ、ステップS106において、制御部203は、制御パラメータ生成部202が出力した制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を用いて駆動部204を制御し、ステップS103へ戻る。Next, in step S105, the
If any component of the control amount is larger than the threshold value, in step S106, the
次に図4のステップS104でのニューラルネットワークを用いた制御量の計算方法について説明する。
ニューラルネットワークを用いた制御量の計算を行う前に、事前準備として、ニューラルネットワークよって入力画像から嵌合成功までの移動量が算出できるようにするため、事前に、画像と必要な移動量のセットを集める。例えば、位置が既知である嵌合状態のオス側コネクタ110とメス側コネクタ120に対し、ロボットアーム100の把持部101でオス側コネクタ110を把持する。そして、既知の引き抜き方向に把持部101を動かしながら挿入開始位置まで動かすとともに、単眼カメラ102で複数枚画像を取得する。また、挿入開始位置を制御量(0,0,0,0,0,0)として嵌合状態から挿入開始までの移動量だけの移動量だけはなく、その周辺の移動量、すなわち制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)にとそれに対応する画像も取得する。
図5は、実施の形態1における単眼カメラ102が撮影した挿入開始位置とその周辺付近でのカメラ画像と制御量を示す図の例である。Next, the control amount calculation method using the neural network in step S104 of FIG. 4 will be described.
Before calculating the control amount using a neural network, as a preliminary preparation, the neural network can calculate the amount of movement from the input image to the fitting success. Collect. For example, the
FIG. 5 is an example of a diagram illustrating an insertion start position taken by the
そして、嵌合状態から挿入開始位置までの移動量と単眼カメラ102における挿入開始位置及び周辺の位置の画像からなる複数のセットを用いて、一般的なニューラルネットワークの学習則に基づき(例:確率的勾配法)学習させる。
ニューラルネットワークにはCNNやRNNなど色々な形態が存在するが、本発明はその形態に依存せず、任意の形態を使用することができる。Then, based on a learning rule of a general neural network, using a plurality of sets of movement amounts from the fitting state to the insertion start position and images of the insertion start position and surrounding positions in the monocular camera 102 (eg, probability) Gradient method).
There are various forms such as CNN and RNN in the neural network, but the present invention does not depend on the form, and any form can be used.
図6は、実施の形態1におけるニューラルネットワークと、ニューラルネットワークの学習則の例を示す図である。
入力層には、単眼カメラ102から得られた画像(例えば各ピクセルの輝度、色差の値)が入力され、出力層は制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)が出力される。
ニューラルネットワークの学習過程において、入力された画像から中間層を経て得られた出力層の出力値が画像セットで記憶された制御量に近似させるために中間層のパラメータを最適化させることが行われる。その近似方法として確率的勾配法等がある。FIG. 6 is a diagram illustrating an example of the neural network and the learning rule of the neural network according to the first embodiment.
An image obtained from the monocular camera 102 (for example, luminance and color difference values of each pixel) is input to the input layer, and control amounts (ΔX, ΔY, ΔZ, ΔAx, ΔAy, ΔAz) are output to the output layer. .
In the learning process of the neural network, the parameters of the intermediate layer are optimized so that the output value of the output layer obtained from the input image through the intermediate layer approximates the control amount stored in the image set. . The approximation method includes a stochastic gradient method.
したがって、図5に示すように嵌合状態から挿入開始までの移動量だけの移動量だけはなく、その周辺の移動にとそれに対応する画像を取得して学習させることで、より正確な学習を行うことができる。
また、図5においては、オス側コネクタ110は単眼カメラ102に対して位置が固定であり、メス側コネクタ120のみの位置が変化した場合について示しているが、実際は、ロボットアーム100の把持部101が、正確な位置でオス側コネクタ110を把持するわけではなく、個体差等によって、オス側コネクタ110の位置がずれた場合も存在する。したがって、この学習の過程においてオス側コネクタ110が正確な位置からずれた場合の挿入開始位置とその付近の位置の複数の制御量と画像のセットを取得して学習することで、オス側コネクタ110とメス側コネクタ120の両方の個体差に対応できた学習が行われる。Therefore, as shown in FIG. 5, not only the amount of movement from the fitted state to the start of insertion, but also the movement around it and the corresponding images are acquired and learned, so that more accurate learning is possible. It can be carried out.
5 shows a case where the position of the
ただし、ここで注意が必要なのは、制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)は撮影した時点の嵌合状態位置から挿入開始位置までの移動量を除いて算出するため、挿入開始位置から嵌合状態位置までの移動量については、図4のステップS107で用いるために、別途記憶する必要がある。また、上記座標は単眼カメラの座標系として求まるため、制御部203は単眼カメラの座標系とをロボットアーム100全体の座標系が異なる場合には変換したうえでロボットアーム100を制御する必要がある。
However, it should be noted here that control amounts (ΔX, ΔY, ΔZ, ΔAx, ΔAy, ΔAz) are calculated by excluding the amount of movement from the fitting state position to the insertion start position at the time of shooting. The amount of movement from the position to the fitted state position needs to be stored separately for use in step S107 in FIG. Further, since the coordinates are obtained as the coordinate system of the monocular camera, the
この実施例において、単眼カメラをロボットアーム100に固定しているため、メス側コネクタ120が置かれている座標系と、単眼カメラ102の座標系が異なるためである。したがって、単眼カメラ102がメス側コネクタ120の位置と同じ座標系であれば、単眼カメラ102の座標系からロボットアーム100の座標系への変換は不要となる。
In this embodiment, since the monocular camera is fixed to the
次に、図4の動作の詳細と動作例について説明する、
ステップS101において、ロボットアーム100がオス側コネクタ110を把持するために、事前に登録した動作通りオス側コネクタ110を把持し、ステップS102において、メス側コネクタ120はほぼ上まで移動される。Next, details of the operation of FIG. 4 and an operation example will be described.
In step S101, the
この時に、把持しているオス側コネクタ110の把持する直前の位置が常に一定とは限らない。このオス側コネクタ110の位置をセットする機械の微妙な動作ずれ等で、微妙な誤差が常に発生している可能性がある。同様にメス側コネクタ120も何らかの誤差を持っている可能性もある。
At this time, the position immediately before gripping of the
そのため、ステップS103において、図5のようにロボットアーム100に付属している単眼カメラ102の撮像部201で撮影された画像に、オス側コネクタ110とメス側コネクタ120両方が映っている画像を取得していることが重要となる。単眼カメラ102のロボットアーム100に対する位置は常に固定されているため、オス側コネクタ110とメス側コネクタ120との相対的な位置情報がこの画像には反映されている。
Therefore, in step S103, an image in which both the
ステップS104において、この相対的な位置情報を事前に学習した図6に示すようなニューラルネットワークを持つ制御パラメータ生成部202により制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)が計算される。ただし、学習の出来・不出来によっては、制御パラメータ生成部202が出力する制御量が挿入開始位置まで動作できない場合もある。その場合、ステップS103〜S106のループを複数回繰り返すことによってステップS105に示す閾値以下となるように制御パラメータ生成部202が繰り返し計算し、制御部203と駆動部204が制御してロボットアーム100の位置を制御する場合もある。
In step S104, control amounts (ΔX, ΔY, ΔZ, ΔAx, ΔAy, ΔAz) are calculated by the control
S105に示す閾値は嵌合するオス側コネクタ110とメス側コネクタ120の要求精度によって決まる。例えば、コネクタとの嵌めあいが緩く、元々コネクタの特性として精度がそこまで必要のない場合には、閾値を大きく設定できる。また逆の場合には閾値を小さく設定することになる。一般的に製造工程の場合には、製作が許容できる誤差が規定されることが多いため、この値を用いることも可能である。
The threshold value shown in S105 is determined by the required accuracy of the
また、学習の出来・不出来によっては、制御パラメータ生成部202が出力する制御量が挿入開始位置まで動作できない場合を想定すると、挿入開始位置を複数位置設定してもよい。オス側コネクタ110とメス側コネクタ120との距離を十分にとらないまま挿入開始位置を設定してしまうと挿入開始を行う前にオス側コネクタ110とメス側コネクタ120が当接し、いずれかを破損してしまうリスクも存在する。その場合は、例えばオス側コネクタ110とメス側コネクタ120とのクリアランスを最初は5mm、次は20mm、次は10mmというように、図4におけるステップS103〜ステップS106の間のループの回数に応じて挿入開始位置を設定してもよい。
Also, depending on whether or not learning is possible, assuming that the control amount output from the control
尚、本実施の形態においては、コネクタを用いて説明したが、この技術の適用はコネクタの嵌合に限られない。例えば基板にICを載せる場合にも適用できるし、特に足の寸法誤差が大きいコンデンサ等を基板の穴に挿入するにおいても、同様の方法を用いれば効果を奏するものである。
また、必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがある。In the present embodiment, the description has been given using the connector, but the application of this technique is not limited to the fitting of the connector. For example, the present invention can be applied to the case where an IC is mounted on a substrate. In particular, when a capacitor having a large dimensional error is inserted into a hole in the substrate, the same method can be used.
Further, the present invention is not necessarily limited to the insertion into the substrate, and can be used for general position control for obtaining the control amount from the relationship between the image and the control amount. In the present invention, there is a merit that each individual difference at the time of aligning an object and an object can be absorbed by learning a relationship between an image and a control amount using a neural network.
したがって、実施の形態1において、二つのモノが存在する画像を撮像する撮像部201と、撮像された二つのモノの画像の情報をニューラルネットワークの入力層に入力し、二つのモノの位置関係を制御するための位置の制御量をニューラルネットワークの出力層として出力する制御パラメータ生成部202と、出力された位置の制御量を用いて二つのモノの位置関係を制御するための電流または電圧を制御する制御部203と、二つのモノの位置関係を制御するための電流または電圧を用いて二つのモノの位置関係の一方の位置を移動させる駆動部204を備えたので、個々のモノの個体差または二つのモノの位置関係の誤差があっても単眼カメラのみで位置合わせを行うことができるという効果がある。
Therefore, in the first embodiment, the
今回、ニューラルネットワークを一つ使う実施例について説明したが、必要に応じて複数使用する必要が出てくる。なぜならば、今回のように入力を画像、出力を数値とした場合、この数値の近似精度には限界があり、状況によっては数%程度の誤差が出てきてしまう。図4のステップ2の挿入開始付近の位置から、挿入開始位置までの量次第では、ステップS105の判定が常にNoになってしまい動作が完了しない場合がある。そのような場合には、図7のように複数のネットワークを用いる。
図7は、実施の形態1におけるニューラルネットワークにおいて、複数のネットワークをもちいたフローチャートである。図4のステップS104の詳細ステップを示している。複数のパラメータは図2の制御パラメータ生成部に含まれている。Although the embodiment using one neural network has been described this time, it is necessary to use a plurality of neural networks as necessary. This is because when the input is an image and the output is a numerical value as in this case, there is a limit to the approximation accuracy of the numerical value, and an error of several percent may occur depending on the situation. Depending on the amount from the position near the insertion start position in
FIG. 7 is a flowchart using a plurality of networks in the neural network according to the first embodiment. The detailed step of FIG.4 S104 is shown. The plurality of parameters are included in the control parameter generation unit of FIG.
ステップS701において、制御パラメータ生成部202は、入力された画像に基づいてどのネットワークを用いるかを選択する。
ループ回数が1回目または得られた制御量が25mm以上の場合はニューラルネットワーク1を選択してステップS702に進む。また、ループ回数が2回目以降で得られた制御量が5mm以上25mm未満の場合はニューラルネットワーク2を選択してステップS703に進む。さらにループ回数が2回目以降で得られた制御量が5mm未満の場合はニューラルネットワーク3を選択してステップS704に進む。ステップS702〜ステップS704において選択されたニューラルネットワークを用いて制御量を算出する。
例えば、各ニューラルネットワークはオス側コネクタ110とメス側コネクタ120の距離もしくは制御量応じて学習されており、図中のニューラルネットワーク3は誤差が±1mm、±1度の範囲内の学習データを、ニューラルネットワーク2は±1〜±10mm、±1〜±5度の範囲の学習データを、と段階的に学習するデータの範囲をかえている。ここで各ニューラルネットワークにおいて使用する画像の範囲をオーバーラップさせない方が効率的である。
また、この図7では3つの例を示しているが、ネットワークの数は特に制限がない。このような方式を用いる場合には、どのネットワークを使用するのかを決めるステップS701の判別機能を「ネットワーク選択スイッチ」として用意する必要がある。
このネットワーク選択スイッチは、ニューラルネットワークでも構成できる。この場合、入力層への入力画像、出力層の出力はネットワーク番号になる。画像データは、全てのネットワークで使用している画像、ネットワーク番号のペアを使用する。In step S701, the control
When the number of loops is the first time or the obtained control amount is 25 mm or more, the
For example, each neural network has been learned according to the distance or control amount between the
Further, although three examples are shown in FIG. 7, the number of networks is not particularly limited. When such a method is used, it is necessary to prepare the discrimination function in step S701 for determining which network is used as a “network selection switch”.
This network selection switch can also be constituted by a neural network. In this case, the input image to the input layer and the output of the output layer are network numbers. The image data uses a pair of images and network numbers used in all networks.
尚、複数のニューラルネットワークを用いた例についてもコネクタを用いて説明したが、この技術の適用はコネクタの嵌合に限られない。例えば基板にICを載せる場合にも適用できるし、特に足の寸法誤差が大きいコンデンサ等を基板の穴に挿入するにおいても、同様の方法を用いれば効果を奏するものである。
また、複数のニューラルネットワークを用いた例についても必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがあり、より、精度よく制御量を算出できる。Although an example using a plurality of neural networks has been described using a connector, application of this technique is not limited to connector fitting. For example, the present invention can be applied to the case where an IC is mounted on a substrate. In particular, when a capacitor having a large dimensional error is inserted into a hole in the substrate, the same method can be used.
Further, the example using a plurality of neural networks is not necessarily limited to the insertion into the board, but can be used for the entire position control for obtaining the control amount from the relationship between the image and the control amount. In the present invention, by learning the relationship between the image and the control amount using a neural network, there is a merit that each individual difference when aligning a thing and a thing can be absorbed, and more accurately. Control amount can be calculated.
したがって、二つのモノが存在する画像を撮像する撮像部201と、撮像された二つのモノの画像の情報をニューラルネットワークの入力層に入力し、二つのモノの位置関係を制御するための位置の制御量をニューラルネットワークの出力層として出力する制御パラメータ生成部202と、出力された位置の制御量を用いて二つのモノの位置関係を制御するための電流または電圧を制御する制御部203と、二つのモノの位置関係を制御するための電流または電圧を用いて二つのモノの位置関係の一方の位置を移動させる駆動部204を備え、制御パラメータ生成部202は、複数のニューラルネットワークから一つを選択する構成としたので、個々のモノの個体差または二つのモノの位置関係の誤差があっても位置合わせを行うことをより精度よく行えるという効果がある。
Therefore, the
実施の形態2.
実施の形態1においては、位置が既知である嵌合状態のオス側コネクタ110とメス側コネクタ120に対し、ロボットアーム100の把持部101でオス側コネクタ110を把持する。そして、既知の引き抜き方向に把持部101を動かしながら挿入開始位置まで動かすとともに、単眼カメラ102で複数枚画像を取得していた。実施の形態2においては、オス側コネクタ110とメス側コネクタ120の嵌合位置が未知であった場合について説明する。
In the first embodiment, the
ロボットが自ら学習し適切な行動を獲得する手法の先行研究として、強化学習と呼ばれる手法が研究されている。この手法では、ロボットが様々な動作を試行錯誤的に行い、良い結果を出した行動を記憶しながら結果として行動を最適化するのだが、行動の最適化のためには大量な試行回数を必要としている。
この試行回数を減らす手法として、強化学習の中で方策オン(on policy)と呼ばれる枠組みが一般的に用いられている。しかしながら、この枠組みをロボットアームのティーチングに応用するには、ロボットアームや制御信号に特化した様々な工夫を行う必要があるため困難であり、実用化までには至っていない。
実施の形態2では、実施の形態1におけるようなロボットが様々な動作を試行錯誤的に行い、良い結果を出した行動を記憶しながら結果として行動を最適化のための大量な試行回数を軽減することができる形態について説明する。A technique called reinforcement learning has been studied as a prior study of techniques for robots to learn themselves and acquire appropriate behavior. In this method, the robot performs various actions on a trial and error basis, optimizing the behavior as a result while memorizing the behavior with good results, but a large number of trials are required to optimize the behavior. It is said.
As a technique for reducing the number of trials, a framework called “on policy” is generally used in reinforcement learning. However, it is difficult to apply this framework to teaching of a robot arm because it is necessary to devise various measures specialized for the robot arm and control signals, and it has not been put into practical use.
In the second embodiment, the robot as in the first embodiment performs various operations on a trial and error basis, and memorizes the actions that have given good results while reducing the number of trials for optimizing the actions as a result. The form which can be done is demonstrated.
システム構成を説明する。特に記述しない部分については実施の形態1と同じである。
全体のハードウエア構成としては実施の形態1の図1と同じであるが、ロボットアーム100には把持部101にかかる負荷を計測する力覚センサ801(図1には図示していない)が付加されている点が異なる。The system configuration will be described. Parts that are not particularly described are the same as those in the first embodiment.
Although the overall hardware configuration is the same as that of FIG. 1 of the first embodiment, a force sensor 801 (not shown in FIG. 1) for measuring the load applied to the
図8は、実施の形態2における位置制御装置の機能構成図を示す。図2との違いは、力覚センサ801、経路決定部802、が追加されており、かつ経路決定部802は、Critic部803、Actor部804、評価部805、経路設定部806から構成されている。
図9は、実施の形態2における位置制御装置のハードウエア構成図である。図3と異なるのは、力覚センサ801が入出力インターフェース301と電気的または通信可能に接続されている点のみである。また、入出力インターフェース301、プロセッサ302、メモリ303は、図8の制御パラメータ生成部202の機能を構成するとともに、経路決定部802の機能も構成する。したがって力覚センサ801と単眼カメラ201と入出力インターフェース301間、入出力インターフェース301と制御回路間304間は別体として構成されていてもよい。FIG. 8 is a functional configuration diagram of the position control device according to the second embodiment. The difference from FIG. 2 is that a
FIG. 9 is a hardware configuration diagram of the position control device according to the second embodiment. The only difference from FIG. 3 is that the
次に図8の詳細について説明する。
力覚センサ801は、ロボットアーム100の把持部101にかかる負荷を計測するものであり、例えば図1でいうオス側コネクタ110とメス側コネクタ120が当接した場合の力の値を計測できるものである。
Critic部803及びActor部804は、S3、S4は従来の強化学習でいう、Critic部、Actor部と同じである。
ここで従来の強化学習手法について説明する。本実施例では強化学習の中でもActor-Criticモデルと呼ばれるモデルを使用している(参考文献:強化学習 : R.S.Sutton and A.G.Barto 2000年12月出版)。Actor部804、Critic部803は環境の状態を撮像部201や力覚センサ801を通じて取得している。Actor部804は、センサデバイスを用いて取得した環境状態Iを入力とし、ロボットコントローラへ制御量Aを出力する関数である。Critic部803はActor部804に嵌合が適切に成功するよう、入力Iに対してActor部804が出力Aを適切に学習するための機構である。
以下、従来の強化学習手法の方式に関して記載する。Next, details of FIG. 8 will be described.
The
Here, a conventional reinforcement learning method will be described. In this embodiment, a model called Actor-Critic model is used in reinforcement learning (reference: reinforcement learning: RSSutton and AGBarto published in December 2000). The
Hereinafter, the conventional reinforcement learning method will be described.
強化学習では、報酬Rと呼ばれる量を定義し、そのRを最大化するような行動AをActor部804が獲得できるようにしている。一例として、学習する作業を実施の形態1に示すようなオス側コネクタ110とメス側コネクタ120との嵌合とすると、嵌合が成功した時にR = 1, そうでない時はR = 0などと定義される。行動Aは、今回は現時点の位置(X、Y、Z、Ax、Ay、Az)からの移動補正量を示し、A =(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)である。ここで、X,Y,Zはロボットの中心部を原点とする位置座標を示し、Ax、Ay、Azは、それぞれ、X軸、Y軸、Z軸を中心とする回転量を示している。移動補正量は、現在の地点からオス側コネクタ110の嵌合について最初に試行するための嵌合開始位置からの制御量である。環境状態、すなわち試行結果の観測は撮像部201からの画像と力覚センサ801の値から得られる。
In reinforcement learning, an amount called a reward R is defined, and the
強化学習では、状態価値関数V(I)と呼ばれる関数をCritic部803で学習する。ここで、時刻t = 1(例えば嵌合試行開始時)の時に、状態I(1)にて行動A(1)をとり、時刻t = 2(例えば1回目の嵌合試行終了後2回目の嵌合開始前)の時に環境がI(2)に変化し、報酬量R(2)(初回の嵌合試行結果)を得たとする。様々な更新式が考えられるが、下記を一例として挙げる。
V(I)の更新式は以下で定義される。In reinforcement learning, a function called a state value function V (I) is learned by the
The update formula for V (I) is defined below.
ここで、δは予測誤差、αは学習係数であり0 〜 1までの正の実数、γは割引率であり0〜 1までの正の実数である。
Actor部804は入力をI、出力をA(I)とし以下の通り、A(I)が更新される。
δ>0の時
Here, δ is a prediction error, α is a learning coefficient and is a positive real number from 0 to 1, and γ is a discount rate and is a positive real number from 0 to 1.
In the
When δ> 0
δ≦0の時
When δ ≦ 0
ここで、σは出力の標準偏差の値を示し、Actorは状態Iにおいて、A(I)に平均0、分散をσ2とした分布を持つ乱数を加算する。すなわち、試行の結果いかんにかかわらず、ランダムに2回目の移動補正量が決定されるようなものである。
なお、上記の更新式を一例として用いているが、Actor-Criticモデルも様々な更新式があり、上記にとらわれず一般的に使用されているモデルであれば変更が可能である。
Here, σ represents the value of the standard deviation of the output, and in the state I, the Actor adds a random number having a distribution with an average of 0 and a variance of σ 2 to A (I). That is, the second movement correction amount is determined randomly regardless of the result of the trial.
Although the above update formula is used as an example, the Actor-Critic model also has various update formulas and can be changed as long as it is a commonly used model without being limited to the above.
ただし、Actor部804は上記の構成にて各状態にあった適切な行動を覚えることになるが、実施の形態1のとおりに動くのは学習が完了した時点である。学習中は経路設定部806から学習時の推奨行動が計算され受け渡されるため、学習時は制御部203に対して、経路設定部806からの移動信号をそのまま受けて制御部203が駆動部204を制御することになる。
すなわち、Actor-Criticの従来のモデルでは、嵌合が成功した時にR = 1, そうでない時はR = 0と定義されるため、嵌合が成功した時に初めて学習が行われ、かつ嵌合が成功するまでは、試行に用いられる移動補正量はランダムに与えられるため、試行の失敗度合に応じた次の試行のための移動補正量の決定は行われない。これは、Actor-Criticの従来のモデルだけでなく、Q−Learningなど他の強化学習モデルを用いても嵌合の成功と失敗そのものしか評価しないため、同様な結果となる。本発明の本実施の形態においては、この失敗度合を評価して次の試行のための移動補正量の決定するプロセスについて説明する。However, the
In other words, in the conventional model of Actor-Critic, R = 1 is defined when the mating is successful, and R = 0 when the mating is successful. Until the success, the movement correction amount used for the trial is randomly given, and therefore the movement correction amount for the next trial according to the degree of failure of the trial is not determined. This is the same result because not only the conventional model of Actor-Critic but also other reinforcement learning models such as Q-Learning, only the success and failure of the fitting are evaluated. In the present embodiment of the present invention, a process for evaluating the degree of failure and determining a movement correction amount for the next trial will be described.
評価部805は、各嵌合試行時における評価を行う関数を生成する。
図10は、実施の形態2におけるオス側コネクタ110とメス側コネクタ120との嵌合の試行の様子を示す図である。
例えば図10(A)のような画像が試行の結果として手に入ったとする。この試行では、コネクタの嵌めあい位置が大きくずれるため失敗している。この時にどの程度成功に近いのかを計測し数値化し、成功度合を示す評価値を求める。数値化の方法として、例えば図10(B)のように、画像中にて挿入先側のコネクタ表面積(ピクセル数)を計算する方法がある。この方法では、オス側コネクタ110とメス側コネクタ120の挿入失敗を、ロボットアーム100の力覚センサ801によって検知した時にメス側コネクタ120嵌合面の表面のみ他の背景とは異なる色を塗布、あるいはシールを貼ってあることによって、画像からのデータ取得と計算がより簡易になる。また、これまで述べた方法はカメラの数が一台の場合だが、複数台のカメラを並べ撮影し、撮影されたそれぞれの画像を用いた結果を総合しても構わない。 また、コネクタ表面積以外にも2次元方向(例えばX,Y方向)のピクセル数等を取得しても同様なことが評価できる。The
FIG. 10 is a diagram showing a state of trial of fitting between the
For example, assume that an image as shown in FIG. 10A is obtained as a result of the trial. This attempt failed because the fitting position of the connector is greatly displaced. At this time, the degree of success is measured and digitized to obtain an evaluation value indicating the degree of success. As a numerical method, for example, as shown in FIG. 10B, there is a method of calculating the connector surface area (number of pixels) on the insertion destination side in the image. In this method, when the insertion failure of the
経路設定部806は、処理として二つのステップにわかれる。
第一ステップでは、評価部805にて処理された評価結果とロボットが実施に動いた動きを学習する。ロボットの移動補正量をA、評価部805にて処理された成功度合を示す評価値をEとした時、経路設定部806はAを入力とし、Eを出力とする関数を用意し、近似する。関数としては一例としてRBF (Radial Basis Function)ネットワークが上げる。RBFは、様々な未知な関数を簡単に近似することが可能な関数として知られている。
例えば、k番目の入力The
In the first step, the evaluation result processed by the
For example, the kth input
に対して出力f(x)は、以下のように定義される。
The output f (x) is defined as follows.
ここで、σは標準偏差、μはRBFの中心を意味する。
Here, σ means standard deviation, and μ means the center of RBF.
RBFにて学習するデータは、単体ではなく、試行開始時から最新のデータまでの全てを用いる。例えば、現在、N回目の試行の場合には、N個のデータが準備されている。学習によって上記のW=(w_1,・・・w_J)を決める必要があり、その決定については様々な方法が考えられるが、下記のようなRBF補完が一例としてあげられる。 The data learned by RBF is not a single data, but all data from the start of trial to the latest data. For example, currently, N data are prepared for the N-th trial. It is necessary to determine the above W = (w_1,... W_J) by learning, and various methods can be considered for the determination, but the following RBF complementation is given as an example.
とした時に
When
にて、学習が完了する。
The learning is completed.
RBF補完によって近似を終えた後は、最急降下法やPSO (Particle Swam Optimization)などの一般的な最適化手法により最小値を上記RBFネットワークにより求める。この最小値を次の推奨値として次のActor部804へ入力する。
要するに、上記事例を具体的に説明すると、失敗した時の移動補正量に対する表面積や2次元方向のピクセル数を評価値として試行回数ごとに時系列に並べてその並びの値を用いて最適解を求めるものである。もっとシンプルに2次元方向のピクセル数を減少させる方向に一定割合で移動させた移動補正量を求めてもよい。After the approximation by RBF interpolation, the minimum value is obtained by the RBF network by a general optimization method such as steepest descent method or PSO (Particle Swam Optimization). This minimum value is input to the
In short, the above example will be explained in detail. The surface area and the number of pixels in the two-dimensional direction with respect to the movement correction amount at the time of failure are evaluated as the evaluation values, and the optimal solution is obtained using the values of the arrangement in time series. Is. More simply, the movement correction amount that is moved at a constant rate in the direction of decreasing the number of pixels in the two-dimensional direction may be obtained.
次に動作フローを図11に示す。
図11は、実施の形態2における位置制御装置の経路学習におけるフローチャートである。
まず、ステップS1101において、ロボットアーム100の把持部101は、オス側コネクタ110を把持する。このオス側コネクタ110の位置や姿勢は図8の制御部203側で事前に登録されており、あらかじめ制御部203側に登録された制御プログラムに基づいて動作される。Next, an operation flow is shown in FIG.
FIG. 11 is a flowchart in route learning of the position control device according to the second embodiment.
First, in step S <b> 1101, the
次に、ステップS1102において、ロボットアーム100をメス側コネクタ120の挿入位置近辺まで近づける。このメス側コネクタ110のおおよその位置や姿勢は、図8の制御部203側で事前に登録されており、あらかじめ制御部203側に登録された制御プログラムに基づいてオス側コネクタ110の位置が、動作される。ここまでは実施の形態1における図4のフローチャートのステップS101〜S102と同じである。
Next, in step S1102, the
次に、ステップS1103において、経路決定部802は、単眼カメラ102の撮像部201に対し、画像を撮像するよう指示し、単眼カメラ102は、把持部101が把持しているオス側コネクタ110と、挿入先となるメス側コネクタ120とが両方映っている画像を撮像する。さらに、経路決定部802は、制御部203と単眼カメラ102に対し、現在位置付近での画像を撮像するよう指示し、制御部203に指示した複数の移動値に基づいて駆動部204によって移動された位置において単眼カメラはオス側コネクタ110と、挿入先となるメス側コネクタ120とが両方映っている画像を撮像する。
Next, in step S1103, the
次に、ステップS1104において、経路決定部802部のActor部804は、嵌合を行うための制御量を制御部203に与えて駆動部204によってロボットアーム100を移動させ、オス側コネクタ110と、挿入先となるメス側コネクタ120の嵌合を試行する。
次にステップS1105において、駆動部204によってロボットアーム100を移動中にコネクタ同士が接触した場合には移動量の単位量ごとに力覚センサ801の値と、単眼カメラ102からの画像を経路決定部802の評価部805とCritic部803が記憶する。Next, in step S1104, the
Next, in step S1105, when the connectors contact each other while the
そして、ステップS1106において嵌合が成功したかを評価部805とCritic部803が確認する。
通常、この時点では嵌合が成功しない。そのため、ステップS1108において評価部805は、成功度合を図10で説明した方法で評価し、位置合わせに対する成功度合を示す評価値を経路設定部806に与える。
そして、ステップS1109において、経路設定部806は、上述した方法を用いて学習を行い、経路設定部806は、次の推奨値をActor部804に与えるとともに、Critic部803が報酬量に応じて求めた値を出力し、Actor部804が受信する。ステップS1110において、Actor部804は、Critic部803が出力した報酬量に応じて求めた値と経路設定部806が出力した次の推奨値を加算して移動補正量を求める。尚、このステップにおいて、経路設定部806が出力した次の推奨値を用いるだけで十分な効果がある場合には、Critic部803が出力した報酬量に応じて求めた値を加算する必要がないことは言うまでもない。また、Actor部804は、移動補正量を求めるために、Critic部803が出力した報酬量に応じて求めた値と経路設定部806が出力した次の推奨値の加算比率を設定し、加算比率に応じて変更してもよい。In step S1106, the
Usually, the mating is not successful at this point. Therefore, in step S1108, the
In step S1109, the
その後、ステップS1111において、Actor部804は、移動補正量を制御部203に与えてロボットアーム100の把持部101を移動させる。
その後、再度、ステップ1103に戻り、移動補正量によって移動された位置で画像を撮影し、嵌合動作を行う。これを成功するまで繰り返す。
嵌合が成功した場合、ステップS1107において、嵌合成功後は、嵌合成功した時のステップS1102からS1106までのIについてActor部804及びCritic部803の学習を行う。最後に経路決定部802は この学習されたニューラルネットワークのデータを制御パラメータ生成部202に与えることで、実施の形態1における動作が可能となる。Thereafter, in step S <b> 1111, the
Thereafter, the process returns to step 1103 again, an image is taken at the position moved by the movement correction amount, and the fitting operation is performed. Repeat until successful.
When the fitting is successful, in step S1107, after successful fitting, learning of the
尚、上記ステップS1107において、嵌合成功した場合IについてActor部804及びCritic部803の学習を行うとしているが、嵌合試行開示から成功まで全ての試行時のデータを用いてActor部804及びCritic部803が学習してもよい。その場合、実施の形態1において、制御量に応じて複数のニューラルネットワークを形成する場合について、記載しているが、嵌合の成功の位置がわかれば、嵌合成功までの距離を用いて制御量の大きさに応じた適切な複数のニューラルネットワークを同時に形成させることが可能となる。
In step S1107, the
強化学習モジュールとしてActor−Criticモデルをベースに記載したが、Q−Learningなど他の強化学習モデルを用いても構わない。
関数近似としてRBFネットワークをあげたが、他の関数近似手法(線形、二次関数、など)を用いても構わない。
評価手法として、コネクタの表面に色違いにする手法をあげたが、他の画像処理技術によりコネクタ間のずれ量等を評価手法としても構わない。The reinforcement learning module is described based on the Actor-Critic model, but other reinforcement learning models such as Q-Learning may be used.
Although the RBF network is given as the function approximation, other function approximation methods (linear, quadratic function, etc.) may be used.
As an evaluation method, the method of changing the color of the surface of the connector has been described. However, the shift amount between the connectors and the like may be used as the evaluation method by other image processing techniques.
また、実施の形態1及び本実施の形態で述べたように、この技術の適用はコネクタの嵌合に限られない。例えば基板にICを載せる場合にも適用できるし、特に足の寸法誤差が大きいコンデンサ等を基板の穴に挿入する場合においても、同様の方法を用いれば効果を奏するものである。
また、必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがあり、より、精度よく制御量を算出できる。Further, as described in the first embodiment and the present embodiment, the application of this technique is not limited to the fitting of the connector. For example, the present invention can be applied when an IC is mounted on a substrate, and even when a capacitor or the like having a large dimensional error is inserted into a hole in the substrate, the same method is effective.
Further, the present invention is not necessarily limited to the insertion into the substrate, and can be used for general position control for obtaining the control amount from the relationship between the image and the control amount. In the present invention, by learning the relationship between the image and the control amount using a neural network, there is a merit that each individual difference when aligning a thing and a thing can be absorbed, and more accurately. Control amount can be calculated.
したがって、本実施形態においては、制御量を学習するためにActor-Criticモデルを用いる際、Actor部804は、Critic部803が報酬量に応じて求めた値と、経路設定部806が評価値に基づいて求めた推奨値とを加算して試行するための移動補正量を求めることで、通常のActor-Criticモデルでは、位置合わせが成功するまでは非常に多くの試行錯誤数が必要だが、本発明により大幅に位置合わせの試行数を削減することが可能である。
Therefore, in the present embodiment, when the Actor-Critic model is used to learn the control amount, the
尚、本実施の形態においては、位置合わせ失敗時の撮像部201からの画像を評価することによって位置合わせの試行回数を削減することについて記載したが、位置合わせ試行時の力覚センサ801の値を用いても試行回数を削減することができる。例えば、コネクタの嵌合または二つのモノの挿入を含む位置合わせにおいて、失敗時は力覚センサ801の値がある閾値以上になった時に二つのモノの位置が嵌合または挿入が完了している位置にあるか否かをActor部804が判断することが一般的である。その場合に、a.閾値に達した時点で嵌合または挿入途中だった場合、b.嵌合と挿入は完了しているが嵌合または挿入途中の力覚センサ801の値が、ある程度の値を示す場合なども考えられる。
a.の場合は、力覚センサ801の値と画像の両方を学習させる方法があり、詳細は実施の形態3に記載の方法を用いれば実施できる。
b.の場合も、力覚センサ801の値のみで学習する方法として実施の形態3に記載の方法を用いれば、実施できる。また、別の方法として、Actor-Criticモデルでの報酬Rの定義において、嵌合または挿入最中にかかった最大負荷をFとし、Aを正の定数とした時、成功時、R = (1-A/F), 失敗時 R = 0と定義しても同様の効果を奏することができる。In the present embodiment, it has been described that the number of alignment trials is reduced by evaluating an image from the
a. In this case, there is a method of learning both the value of the
b. In this case, the method described in
実施の形態3.
本実施の形態においては、実施の形態2において、位置合わせが成功した後に行う学習過程において効率的にデータを収集する方法について説明する。したがって特に説明しない場合については実施の形態2と同じものとする。すなわち、実施の形態3における位置制御装置の機能構成図は図8であり、ハードウエア構成図は図9となる。
In the present embodiment, a method for efficiently collecting data in a learning process performed after successful alignment in the second embodiment will be described. Therefore, unless otherwise specified, it is the same as in the second embodiment. That is, FIG. 8 is a functional configuration diagram of the position control device according to the third embodiment, and FIG. 9 is a hardware configuration diagram.
動作においては、実施の形態2における図11のステップS1107の動作の際により効率的に学習データを収集する方法について以下説明する。 In operation, a method of collecting learning data more efficiently during the operation of step S1107 in FIG. 11 in the second embodiment will be described below.
図12は、実施の形態3における位置制御装置の経路学習におけるフローチャートを示している。
まず、ステップS1201において、図11のステップS1107においてオス側コネクタ110とメス側コネクタ120の嵌合が成功した場合、経路設定部806は、変数をi=0, j =1, k =1 として初期化する。 変数iは、以降のロボットアーム100の学習回数、変数kは、オス側コネクタ110とメス側コネクタ120のとの嵌合が外れた時からの学習回数、変数jは図12のフローチャートのループ回数である。FIG. 12 shows a flowchart in route learning of the position control device in the third embodiment.
First, in step S1201, when the
次に、ステップS1202において、経路設定部806は、図11ステップS1104において嵌合を行うために与えた移動量から1mm分、戻すようにActor部804を経由して制御部203に移動量を与え、駆動部204によってロボットアーム100を移動させる。そして変数iに対して1加算する。ここで、移動量から1mm戻す指示を与えたが、必ずしも1mmに限る必要はなく、0.5mmでも2mmなどの単位量でもよい。
Next, in step S1202, the
次に、ステップS1203において、経路設定部806はその時の座標をO(i)(この時i = 1)として記憶する。
ステップS1204において、経路設定部806はO(i)を中心に、ランダムに制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を決定し、Actor部804を経由して制御部203に制御量与え、駆動部204によってロボットアーム100を移動させる。この時、この制御量の最大量は、移動ができる範囲で任意に設定することができる。Next, in step S1203, the
In step S1204, the
次にステップS1205において、ステップS1204において移動後の位置において、Actor部804は、移動量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)に対応する力覚センサ801の値を収集するとともに、ステップS1206において、Critic部803とActor部804は、移動量に−1を乗じた(-ΔX、-ΔY、-ΔZ、-ΔAx、-ΔAy、-ΔAz)とオス側コネクタ110を保持するためにかかる力を計測する力覚センサ801のセンサ値を学習データとして記録する。
Next, in step S1205, at the position after the movement in step S1204, the
次にステップS1207において、経路設定部806は、集めたデータ数が規定数Jに到達できたかを判定する。データ数が足りなければ、ステップS1208において変数j に1加算してステップS1204に戻り、制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を乱数によって変えてデータを取得し、規定数J個のデータが溜まるまでS1204〜S1207繰り返す。
規定数のデータが溜まったら、ステップS1209において、経路設定部806は、変数j を1にしたうえで、ステップS1210において、オス側コネクタ110とメス側コネクタ120のとの嵌合が外れたかを確認する。In step S1207, the
When the prescribed number of data is accumulated, in step S1209, the
外れていなかったら、ステップS1211を経由してステップS1202に戻る。
ステップS1211において経路設定部806は、ロボットアーム100の座標を、制御量を与える前の座標O(i)に戻すようにActor部804を経由して制御部203に制御量を与え、駆動部204によってロボットアーム100を移動させる。
その後、ステップS1202からステップS1210までのループをオス側コネクタ110とメス側コネクタ120のとの嵌合が外れるまで、嵌合を行うために与えた制御量から1mmもしくは単位量戻す処理と、戻した位置を中心に制御量を与えて力覚センサ801のデータを収集する処理とを繰り返す。オス側コネクタ110とメス側コネクタ120のとの嵌合が外れた場合は、ステップS1212に進む。If not, the process returns to step S1202 via step S1211.
In step S1211, the
Thereafter, the loop from step S1202 to step S1210 is returned to the process of returning 1 mm or a unit amount from the given control amount until the
ステップS1212において、経路設定部806は、変数iをI(Iはオス側コネクタ110とメス側コネクタ120のとの嵌合が外れたと判定された時のiの値よりも大きい整数)とするとともに、嵌合を行うために与えた移動量から例えば10mm(ここもその他の値でもよい)戻すようにActor部804を経由して制御部203に制御量を与え、駆動部204によってロボットアーム100を移動させる。
In step S1212, the
次に、ステップS1213において、経路設定部806は、ステップS1212で移動したロボットアーム100の座標の位置を中心位置O(i+k)として記憶する。
次に、ステップS1214において、経路設定部806は、中心位置O(i+k)を中心に、再度、ランダムに制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を決定した上で、Actor部804を経由して制御部203に制御量与え、駆動部204によってロボットアーム100を移動させる。Next, in step S1213, the
Next, in step S1214, the
ステップS1215において、Critic部803とActor部804は、制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)にて移動後のロボットアーム100位置において、単眼カメラ102の撮像部201が撮像した画像を取得する。
ステップS1216において、Critic部803とActor部804は、移動量に−1を乗じた(-ΔX、-ΔY、-ΔZ、-ΔAx、-ΔAy、-ΔAz)と画像を1つの学習データとして記録する。In step S1215, the
In step S1216, the
ステップS1217において、経路設定部806は、集めたデータ数が規定数Jに到達できたかを判定する。データ数が足りなければ、ステップS1212において変数j に1加算してステップS1214に戻り、制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を乱数によって変えてデータを取得し、規定数J個のデータが溜まるまでS1214〜S1217繰り返す。
なお、S1204における制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)とS1204での制御量のランダム値の最大値は異なる値を取ることができる。
以上の方法で取得した学習データは、Actor部804及びCritic部803の学習を行う。In step S1217, the
In addition, the maximum value of the control amount (ΔX, ΔY, ΔZ, ΔAx, ΔAy, ΔAz) in S1204 and the random value of the control amount in S1204 can take different values.
The learning data acquired by the above method performs learning of the
図13は実施の形態3におけるニューラルネットワークと、ニューラルネットワークの学習則の例を示す図である。
実施の形態1、2については、力覚センサ801のデータを用いた学習方法について記載していなかった。実施形態1と2は、入力層は画像のみであったのに対し、実施の形態3においては、入力層に画像に替えて力覚センサ801の値をいれればよい。力覚センサ801の値は、3つ(力と2方向のモーメント)の場合と、6つ(3方向と3方向モーメント)いずれでもよい。出力層は制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)が出力される。尚、オス側コネクタ110とメス側コネクタ120のとの嵌合が外れている場合には、入力層に画像と力覚センサ801の値が同時に入力されることとなる。
ニューラルネットワークの学習過程において、入力された画像及び力覚センサ801の値から中間層を経て得られた出力層の出力値が画像及び力覚センサ801の値とセットで記憶された制御量に近似させるために中間層のパラメータを最適化させることが行われ、学習されることなる。
最後に経路決定部802は この学習されたニューラルネットワークのデータを制御パラメータ生成部202に与えることで、実施の形態1における動作が可能となる。FIG. 13 is a diagram illustrating an example of a neural network and a learning rule of the neural network according to the third embodiment.
In the first and second embodiments, the learning method using the data of the
In the learning process of the neural network, the output value of the output layer obtained through the intermediate layer from the input image and the value of the
Finally, the
尚、本実施の形態においては、オス側コネクタ110とメス側コネクタ120のとの嵌合のための移動から少しずつ戻しつつ、ロボットアーム100を微小に周辺に移動させて学習させるために、嵌合がはずれるまでは単眼カメラ102の画像の画素量次第では十分な学習できない前提で説明していた。
しかしながら単眼カメラ102の画像が十分高精細でロボットアーム100を微小に周辺に移動させた画像であっても十分に学習可能である場合は、単眼カメラ102の画像のみで学習してもよいし、オス側コネクタ110とメス側コネクタ120とが嵌合している場合であっても単眼カメラ102の画像と力覚センサ801の値を両方用いてもよい。In this embodiment, the
However, if the image of the
さらに、実施の形態1、2において、複数のニューラルネットワークを使用するケースについて説明している。本実施の形態においても、例えばオス側コネクタ110とメス側コネクタ120とが嵌合している状態と、オス側コネクタ110とメス側コネクタ120とが嵌合していない場合とで、ニューラルネットワークを区別してもよい。上記に説明したようにオス側コネクタ110とメス側コネクタ120とが嵌合している状態では力覚センサ801のみを入力層と形成し、嵌合からはずれたら画像のみで入力層を形成した方がより精度のよい学習が行えるし、画像のみで学習させる場合でも嵌合している場合としていない場合を区別することで、画像の構成がことなるために精度よい学習が行える。
Furthermore, in the first and second embodiments, cases where a plurality of neural networks are used are described. Also in the present embodiment, for example, a state in which the
尚、実施の形態1、2で述べたように、本実施の形態にいても、この技術の適用はコネクタの嵌合に限られない。例えば基板にICを載せる場合にも適用できるし、特に足の寸法誤差が大きいコンデンサ等を基板の穴に挿入する場合おいても、同様の方法を用いれば効果を奏するものである。
また、必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがあり、より、精度よく制御量を算出できる。As described in the first and second embodiments, even in the present embodiment, the application of this technique is not limited to the fitting of the connector. For example, the present invention can be applied when an IC is mounted on a substrate, and even when a capacitor having a large dimensional error is inserted into a hole in the substrate, the same method can be used.
Further, the present invention is not necessarily limited to the insertion into the substrate, and can be used for general position control for obtaining the control amount from the relationship between the image and the control amount. In the present invention, by learning the relationship between the image and the control amount using a neural network, there is a merit that each individual difference when aligning a thing and a thing can be absorbed, and more accurately. Control amount can be calculated.
したがって、本実施の形態においては、二つのモノについて挿入を伴う位置合わせを含む場合、制御量を学習するために、挿入状態から抜き出す際に挿入状態からの経路上とその周辺とに移動させるよう制御量を指示する経路設定部806と、移動された位置の出力層、移動された位置の力覚センサ801の値を入力層として学習させるために移動された位置と力覚センサ801の値を取得するActor部804とを、備えたので、効率的に学習データを収集することができる。
Therefore, in the present embodiment, in the case of including alignment with insertion for two objects, in order to learn the control amount, when extracting from the insertion state, it is moved on the path from the insertion state and its periphery. The
実施の形態4.
本実施の形態においては、実施の形態2における学習過程(特に学習初期)においても、安全な制御を行わせる方法について説明する。実施の形態4における位置制御装置のハードウエア構成図は実施の形態2と同じ図9とする。
In the present embodiment, a method for performing safe control in the learning process (particularly in the initial learning stage) in the second embodiment will be described. The hardware configuration diagram of the position control device in the fourth embodiment is the same as that in the second embodiment shown in FIG.
図14は、実施の形態4における位置制御装置の機能構成図を示す。図8との違いは、制御パラメータ調整部1401、が追加されており、かつ制御パラメータ調整部1401は、軌道生成部1402、座標変換部1403、重力補正部1404、コンプライアントモーション制御部1405、合成部1406から構成されている。
FIG. 14 is a functional configuration diagram of the position control device according to the fourth embodiment. The difference from FIG. 8 is that a control
経路決定部802の構成は実施の形態2に準じ、強化学習モジュールとしてActor−Criticモデルを、成功度合を評価するモジュールとして評価部805と経路設定部806からなる構成を記載したが、Q−LearningやDDPGなど他の強化学習モデルを用いても構わない。また、本実施の形態で説明する内容の要点からすると、評価部805または経路設定部806がなくても、学習するための機能とロボットの位置制御するための機能が別あってもモノに過大な荷重を与えるのを防ぎつつ学習データを収集することができる。
The configuration of the
次に図14の詳細について説明する。
実施の形態2においては制御パラメータ生成部202が生成した制御量を制御部203に出力することで駆動部204を構成する各デバイスに対する電流・電圧値を決定し制御していたが、この方法では特に初期の学習過程において制御量が不適切となり、駆動部204がエラー停止する、またはロボットアームやオス側コネクタ110とメス側コネクタ120などの周辺環境を破損する可能性がある。また、オス側コネクタ110とメス側コネクタ120の強度が想定よりも弱く、学習過程において制御量を十分小さく設定していたとしても、オス側コネクタ110とメス側コネクタ120などの周辺環境を破損する可能性がある。これは制御量の設定側と制御量に基づく制御側とが独立しているために発生しうる要因である。ここで本実施の形態においては、学習過程においても周辺環境に負荷をかけすぎないような仕組みを導入する。Next, details of FIG. 14 will be described.
In the second embodiment, the control amount generated by the control
軌道生成を行う軌道生成部1402は、制御パラメータ生成部202が生成した制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)を目標位置として取得し、速度・加速度が滑らかになるように調整した周期制御量(ΔX’、ΔY’、ΔZ’、ΔAx’、ΔAy’、ΔAz’)をロボットアーム100の制御周期、すなわち制御部203の制御周期に合わせて出力する機能を持つ。目標位置としての制御量(ΔX、ΔY、ΔZ、ΔAx、ΔAy、ΔAz)はあくまで制御周期としては複数の周期で到達する制御量として定義されるのに対し、周期制御量(ΔX’、ΔY’、ΔZ’、ΔAx’、ΔAy’、ΔAz’)は、基本的に制御量に到達するために一周期ごと設定される制御量であり、周辺環境への負荷を考慮した制御量であり、想定外に力覚センサ801も検知された負荷などにも対応することができる。周期制御量の調整方法は後述する。
力覚センサ801は、ロボットアーム100の把持部101にかかる負荷を計測するものであり、例えば図1でいうオス側コネクタ110とメス側コネクタ120が当接した場合の力の値を計測できるものである。実施の形態2においては学習初期には試行の際出力される動作により、周辺環境に過大な力がかかり、ロボットアーム100やオス側コネクタ110とメス側コネクタ120などの周辺環境を破損する可能性がある。そこで実施の形態4においては、コンプライアントモーション制御部1405を制御パラメータ生成部202の後段に配置して、力覚センサ801で取得した外力に倣って動作させることで、ロボットアーム100やオス側コネクタ110とメス側コネクタ120などの周辺環境に過大な力をかけることを防ぐ。これにより、学習に必要な試行を安全に行わせることが出来る。
力覚センサ801の値は、3つ(力と2方向のモーメント)の場合と、6つ(3方向と3方向モーメント)いずれでもよい。6つの場合の力覚センサ801の値は(Fx、Fy、Fz、Tx、Ty、Tz)と表すことができる。ただし上記座標は力覚センサの座標系として求まるため、座標変換部1403は力覚センサの座標系とロボットアーム100全体の座標系が異なる場合に、力覚センサ801の値をロボットアーム100全体の座標系に変換する機能を持つ。
力覚センサ801で計測する値は、重力の影響を受ける。重力補正部1404は、力覚センサ801で計測した値から重力の影響を取り除く機能を持つ。
コンプライアントモーション制御部1405は、座標変換部1403および重力補正部1404で補正された力覚センサ801の値を取得する。物理法則に従い、力覚センサ801から検出されたこの外力に適応した制御量を出力する。外力に適応した制御量の調整方法は後述する。
合成部1406は、軌道生成部1402の出力である制御量と、コンプライアントモーション制御部1405の出力である制御量を合成し、制御部203に出力する。合成方法には、軌道生成部1402の出力である制御量とコンプライアントモーション制御部1405の出力である制御量の加算を用いる。あるいは加算比率を設定し、加算比率に応じた重み付き加算を行ってもよい。The
The
The
The value measured by the
The compliant
The combining unit 1406 combines the control amount that is the output of the
軌道生成部1402では、ロボットアーム100の制御周期および最大速度、最大加速度、最大加加速度を所与として、これらの少なくともいずれかの制限を超えないように制御周期単位での周期制御量を計算する。
例えば、非特許文献(KROGER, Torsten; PADIAL, Jose. Simple and robust visual servo control of robot arms using an on-line trajectory generator. In: Robotics and Automation (ICRA), 2012 IEEE International Conference on. IEEE, 2012. p. 4862-4869.)のように、以下の条件をすべて満たすように周期制御量を計算する方法がある。
以下の定数は、ロボットアーム100の仕様に対応した所与の定数とする。The
For example, non-patent literature (KROGER, Torsten; PADIAL, Jose. Simple and robust visual servo control of robot arms using an on-line trajectory generator. In: Robotics and Automation (ICRA), 2012 IEEE International Conference on. IEEE, 2012. p. 4862-4869.), there is a method to calculate the periodic control amount so that all of the following conditions are satisfied.
The following constants are given constants corresponding to the specifications of the
Tcycle :周期
Vmax :最大速度
Amax :最大加速度
Jmax :最大加加速度(ジャーク)
Tcycle: Cycle Vmax: Maximum speed Amax: Maximum acceleration Jmax: Maximum jerk (jerk)
ここで、xi、vi、αi、jiは以下を表す変数である。
xi:ステップiにおける現在位置
vi:ステップiにおける現在速度
αi:ステップiにおける現在加速度
ji:ステップiにおける現在加加速度(ジャーク)
Here, xi, vi, αi, and ji are variables representing the following.
xi: current position at step i vi: current speed αi at step i: current acceleration at step i ji: current jerk at step i (jerk)
上述したコンプライアントモーション制御部1405における外力に適応した制御量の調整方法について説明する。コンプライアントモーション制御では、環境の安定性および剛性を表す係数を所与として、外力の情報から従属動作を計算する。例えば、外力をf(t)とした時の従属動作Δx(t)は、次の微分方程式を解くことによって計算できる。
A control amount adjustment method adapted to the external force in the compliant
m: 重力定数
d: 抵抗
k: ばね定数
m: gravity constant
d: resistance
k: spring constant
次に動作フローを図15に示す。
図15は、実施の形態4における位置制御装置の経路学習におけるフローチャートである。
まず、ステップS1501において、ロボットアーム100の把持部101は、オス側コネクタ110を把持する。このオス側コネクタ110の位置や姿勢は図14の制御部203側で事前に登録されており、あらかじめ制御部203側に登録された制御プログラムに基づいて動作される。Next, an operation flow is shown in FIG.
FIG. 15 is a flowchart in route learning of the position control device according to the fourth embodiment.
First, in step S1501, the
次に、ステップS1502において、ロボットアーム100をメス側コネクタ120の挿入位置近辺まで近づける。このメス側コネクタ110のおおよその位置や姿勢は、図14の制御部203側で事前に登録されており、あらかじめ制御部203側に登録された制御プログラムに基づいてオス側コネクタ110の位置が、動作される。ここまでは実施の形態1における図4のフローチャートのステップS101〜S102と同じである。
Next, in step S1502, the
次に、ステップS1503において、経路決定部802は、単眼カメラ102の撮像部201に対し、画像を撮像するよう指示し、単眼カメラ102は、把持部101が把持しているオス側コネクタ110と、挿入先となるメス側コネクタ120とが両方映っている画像を撮像する。単眼カメラ102からの画像を経路決定部802の評価部805とCritic部803が記憶する。
さらに、ステップS1504において、経路決定部802は、力覚センサ801に対し、外力を取得するよう指示し、力覚センサ801は現在位置での外力を取得する。同時に、力覚センサ801の値を経路決定部802の評価部805とCritic部803が記憶する。Next, in step S1503, the
In step S1504, the
次に、ステップS1505において、経路決定部802部のActor部804は、嵌合を行うための制御量を計算し、軌道生成部1402に与える。
Next, in step S <b> 1505, the
次にステップS1506において、軌道生成部1402によって速度・加速度が滑らかになるように調整した新しい制御量を計算する。具体的には前述したロボットアーム100の仕様に対応した所与の定数、Tcycle、Vmax、Amax、Jmaxを満たすxiを1制御周期ごとの目標位置である周期制御量を算出する。
Next, in step S1506, a new control amount adjusted so that the velocity / acceleration is smoothed by the
ステップS1507において、座標変換部1403は、ステップS1503で取得した力覚センサ801の値をロボットアーム100全体の座標系に変換する。
In step S1507, the coordinate
次に、ステップS1508において、重力補正部1404は、ステップS1506で座標変換した力覚センサ801の値から重力の影響を取り除き、コンプライアントモーション制御部1405に与える。
Next, in step S1508, the
次に、ステップS1509において、コンプライアントモーション制御部1405は、ステップS1508で重力補正した力覚センサ801の値から、外力に適応した制御量を計算し、合成部1406に与える。外力に適応した制御量は、例えば力覚センサ801の値が小さくなるように、上述にて計算された値を算出する。
Next, in step S1509, the compliant
次に、ステップS1510において、合成部1406は、ステップS1506で計算した周期制御量と、ステップS1509で計算したコンプライアントモーション制御量を加算、または重みづけ加算することで合成し、周期制御量調整値として制御部203に与える。
Next, in step S1510, the synthesizing unit 1406 synthesizes the periodic control amount calculated in step S1506 and the compliant motion control amount calculated in step S1509 by adding or weighting and adding the periodic control amount adjustment value. To the
次にステップS1511において、駆動部204によってロボットアーム100を移動し、コネクタ挿入を試行する。制御パラメータ調整部1401は、周期制御量調整値が制御パラメータ生成部202で生成された制御量に到達したか否かを確認し、到達していなければステップS1504へ戻る。したがって制御周期毎にステップS1504からステップS1511までの動作を繰り返すことができる。
また、制御パラメータ生成部202で生成された制御量に到達する前にオス側コネクタ110とメス側コネクタ120が当接した場合でも、力覚センサ801の値が上昇することが制御周期毎に検出され、周期制御量調整値としてフィードバック制御されるため、学習初期であっても周囲の環境を破壊する可能性を小さくすることができる。Next, in step S1511, the
Further, even when the
次にステップS1512において、嵌合が成功したかを評価部805とCritic部803が確認すると同時に、ステップS1503で記憶した単眼カメラ102と力覚センサ801の値およびS1504で計算した制御パラメータの値より、Actor部804とCritic部803のニューラルネットワークパラメータを更新する。
Next, in step S1512, the
そして、ステップS1513において嵌合が成功していない場合は、ロボットアーム100の位置を動かさず、ステップS1503に戻って次の試行を行う。
尚、ステップS1503に戻る前に図15には示していないが、実施の形態2の図11のステップS1108、ステップS1109、及び図10に示す実施の形態2で用いた評価方法で評価したうえでステップS1503に戻ることで、実施の形態2の場合と同様の効果が得られる。If the fitting is not successful in step S1513, the position of the
Although not shown in FIG. 15 before returning to step S1503, evaluation is performed using the evaluation method used in step S1108 in FIG. 11 of the second embodiment, step S1109, and the second embodiment shown in FIG. By returning to step S1503, the same effect as in the second embodiment can be obtained.
なお、ステップS1513において、篏合が成功していた場合は、篏合タスク自体は終了する。Actor部804とCritic部803の学習をさらに続ける場合は、ステップS1501に戻ってオス側コネクタ110の把持から再試行することで、学習の精度を高めることが可能である。
In step S1513, if the combination is successful, the combination task itself ends. When further learning of the
強化学習モジュールとしてActor−Criticモデルをベースに記載したが、DDPGなど他の強化学習モデルを用いても構わない。 Although an Actor-Critic model has been described as a reinforcement learning module, other reinforcement learning models such as DDPG may be used.
また、実施の形態1及び本実施の形態で述べたように、この技術の適用はコネクタの嵌合に限られない。例えば基板にICを載せる場合にも適用できるし、特に足の寸法誤差が大きいコンデンサ等を基板の穴に挿入する場合においても、同様の方法を用いれば効果を奏するものである。
また、必ずしも基板への挿入に限った話ではなく、画像と制御量の関係から制御量を求める位置制御全般に利用できる。この発明においては、ニューラルネットワークを用いて画像と制御量との関係を学習させることで、モノとモノとの位置合わせを行う際の各々の個体差を吸収できるというメリットがあり、より、精度よく制御量を算出できる。Further, as described in the first embodiment and the present embodiment, the application of this technique is not limited to the fitting of the connector. For example, the present invention can be applied when an IC is mounted on a substrate, and even when a capacitor or the like having a large dimensional error is inserted into a hole in the substrate, the same method is effective.
Further, the present invention is not necessarily limited to the insertion into the substrate, and can be used for general position control for obtaining the control amount from the relationship between the image and the control amount. In the present invention, by learning the relationship between the image and the control amount using a neural network, there is a merit that each individual difference when aligning a thing and a thing can be absorbed, and more accurately. Control amount can be calculated.
したがって、本実施形態においては、二つのモノについて挿入を伴う位置合わせを含む場合、撮像部201から取得された画像と力覚センサ801の値に基づいて挿入するための制御量を指示するとともに位置合わせに対する結果から学習する経路決定部802と、制御量に到達するために一制御周期ごとに設定される周期制御量と、力覚センサ801の値に基づく外力に適応した制御量とに基づいて周期制御量調整値を出力する制御パラメータ調整部1401を備えたので、軌道生成制御および力覚センサ801を用いたコンプライアントモーション制御を加算した制御量によってロボットアーム100を動作させ、通常の強化学習モデルでは学習が収束するまでは試行錯誤が必要であり環境を破損する可能性があるが、本発明により学習の初期であっても安全に試行を行わせることが可能である。
Therefore, in the present embodiment, in the case of including alignment with insertion for two objects, the control amount for insertion based on the image acquired from the
尚、本実施の形態においては、制御パラメータ調整部1401の機能に限定して説明したが、実施の形態2、3に記述の内容に対しても制御パラメータ調整部1401の機能を追加しても実施の形態2、3動作させることができ、安全に且つ学習速度を向上させることが可能である。
In the present embodiment, the description is limited to the function of the control
100:ロボットアーム、
101:把持部、
102:単眼カメラ
110:オス側コネクタ
120:メス側コネクタ
201:撮像部
202:制御パラメータ生成部
203:制御部
204:駆動部
301:入出力インターフェース
302:プロセッサ、
303:メモリ、
304:制御回路、
305:モータ、
801:力覚センサ
802:経路決定部
803:Critic部
804:Actor部
805:評価部
806:経路設定部
1401:制御パラメータ調整部
1402:軌道生成部
1403:座標変換部
1404:重力補正部
1405:コンプライアントモーション制御部
1406:合成部100: Robot arm,
101: gripping part,
102: Monocular camera 110: Male connector 120: Female connector 201: Imaging unit 202: Control parameter generation unit 203: Control unit 204: Drive unit 301: Input / output interface 302: Processor,
303: memory,
304: Control circuit,
305: Motor,
801: Force sensor 802: Route determination unit 803: Critic unit 804: Actor unit 805: Evaluation unit 806: Path setting unit 1401: Control parameter adjustment unit 1402: Trajectory generation unit 1403: Coordinate conversion unit 1404: Gravity correction unit 1405: Compliant motion control unit 1406: composition unit
Claims (8)
前記学習の過程において、
前記経路決定部からの前記ロボットアームの位置の制御量を受信するとともに、前記ロボットアームの位置の制御量に到達するために制御部の一制御周期ごとに設定される周期制御量と、前記一制御周期に対応した前記力覚センサの値に基づく外力に適応した制御量と、に基づいて周期制御量調整値を前記制御部に出力する制御パラメータ調整部と、
を備えた位置制御装置。 When aligning with insertion from one mono two things to the other things, a shall be acquired from the imaging unit, while said gripped by the gripper of the robotic arm of mono- and of the other and images and objects have been photographed, the result of the alignment instructs the value of the force sensor that measures the load on the gripping portion, the control amount of the position of the robot arm for insertion on the basis of, A route determination unit that learns a control amount of the position of the robot arm from which the alignment succeeds from the value of the image and the force sensor ;
In the course of the learning,
The control amount of the position of the robot arm from the path determination unit is received, and the periodic control amount set for each control period of the control unit to reach the control amount of the position of the robot arm; a control amount that is adapted to the external force based on the value of the force sensor corresponding to the control period, a control parameter adjusting section for outputting a periodic control amount adjustment value to the control unit on the basis of,
A position control device.
を備えた請求項1乃至3のいずれかに記載の位置制御装置。 The route determination unit includes: a route setting unit that instructs a movement amount to move to and around the route from the insertion state when extracting from the insertion state; an output layer of the moved position data; An Actor unit for acquiring the value of the moved position and the value of the force sensor in order to learn the value of the force sensor as an input layer;
The position control device according to claim 1, comprising:
二つのモノの一方のモノから他方のモノへの挿入を伴う位置合わせを行う場合、ロボットアームの把持部によって把持された前記一方のモノと前記他方のモノとが写された画像と、前記把持部にかかる負荷を計測する力覚センサの値と、に基づいて挿入するための前記ロボットアームの位置の制御量を出力し、
学習の過程において、
前記ロボットアームの位置の制御量を受信するとともに、前記ロボットアームの位置の制御量に対して一制御周期で到達できる制御部の周期制御量と、前記一制御周期に対応した前記力覚センサの値に基づく外力に適応した制御量と、に基づいて周期制御量調整値を前記制御部に出力し、
前記位置合わせに対する結果から、前記画像と前記力覚センサの値から前記位置合わせが成功する前記ロボットアームの位置の制御量を学習する
二つのモノの位置制御方法。 A method for controlling the position of two objects,
In the case of performing alignment with insertion of one of the two objects from the other object to the other object, an image of the one object and the other object gripped by the grip portion of the robot arm, and the grip outputs the value of the force sensor that measures the load on the part, the control amount of the position of the robot arm for insertion on the basis of,
In the course of learning,
The control amount of the position of the robot arm is received, the periodic control amount of the control unit that can reach the control amount of the position of the robot arm in one control cycle, and the force sensor corresponding to the one control cycle A control amount adapted to an external force based on the value , and a periodic control amount adjustment value based on the control amount is output to the control unit ,
A position control method for two things, wherein the control amount of the position of the robot arm that is successfully aligned is learned from the image and the value of the force sensor from the result of the alignment.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/002053 WO2019146007A1 (en) | 2018-01-24 | 2018-01-24 | Position control device and position control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6458912B1 true JP6458912B1 (en) | 2019-01-30 |
JPWO2019146007A1 JPWO2019146007A1 (en) | 2020-02-06 |
Family
ID=65228992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018530627A Expired - Fee Related JP6458912B1 (en) | 2018-01-24 | 2018-01-24 | Position control device and position control method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6458912B1 (en) |
TW (1) | TW201932257A (en) |
WO (1) | WO2019146007A1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111230469A (en) * | 2020-03-11 | 2020-06-05 | 苏州科诺机器人有限责任公司 | Full-automatic water joint assembling mechanism and assembling method |
CN112109080A (en) * | 2019-06-19 | 2020-12-22 | 发那科株式会社 | Adjustment auxiliary device |
CN113140104A (en) * | 2021-04-14 | 2021-07-20 | 武汉理工大学 | Vehicle queue tracking control method and device and computer readable storage medium |
WO2022172812A1 (en) * | 2021-02-10 | 2022-08-18 | オムロン株式会社 | Robot model learning device, robot model machine learning method, robot model machine learning program, robot control device, robot control method, and robot control program |
US11548152B2 (en) | 2019-08-02 | 2023-01-10 | Dextrous Robotics, Inc. | Systems and methods for robotic control under contact |
US11845184B2 (en) | 2022-04-18 | 2023-12-19 | Dextrous Robotics, Inc. | System and/or method for grasping objects |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4017688A1 (en) | 2019-09-30 | 2022-06-29 | Siemens Aktiengesellschaft | Machine learning enabled visual servoing with dedicated hardware acceleration |
DE102020105317A1 (en) * | 2020-02-28 | 2021-09-02 | Rittal Gmbh & Co. Kg | Arrangement for equipping and wiring electronic components in switchgear construction and a corresponding process |
TWI766252B (en) * | 2020-03-18 | 2022-06-01 | 揚明光學股份有限公司 | Optical lens manufacturing system and optical lens manufacturing method using the same |
JP7466403B2 (en) | 2020-08-03 | 2024-04-12 | キヤノン株式会社 | CONTROL APPARATUS, LITHOGRAPHY APPARATUS, CONTROL METHOD AND ARTICLE MANUFACTURING METHOD - Patent application |
CN115990891B (en) * | 2023-03-23 | 2023-06-16 | 湖南大学 | Robot reinforcement learning assembly method based on visual teaching and virtual-actual migration |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998017444A1 (en) * | 1996-10-24 | 1998-04-30 | Fanuc Ltd | Force control robot system with visual sensor for inserting work |
JP2011230245A (en) * | 2010-04-28 | 2011-11-17 | Yaskawa Electric Corp | Robot system |
JP2013180380A (en) * | 2012-03-02 | 2013-09-12 | Seiko Epson Corp | Control device, control method, and robot apparatus |
JP2015157341A (en) * | 2014-02-25 | 2015-09-03 | セイコーエプソン株式会社 | Robot, robot system, and control device |
JP6376296B1 (en) * | 2017-02-09 | 2018-08-22 | 三菱電機株式会社 | Position control device and position control method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5620445B2 (en) * | 2012-09-13 | 2014-11-05 | ファナック株式会社 | Article takeout device for determining holding position and posture of robot based on selection condition |
JP2015217486A (en) * | 2014-05-19 | 2015-12-07 | 富士通株式会社 | Determining apparatus, determining method, and determining program |
JP6592969B2 (en) * | 2015-06-02 | 2019-10-23 | セイコーエプソン株式会社 | Mating method |
JP2016221660A (en) * | 2015-06-03 | 2016-12-28 | 富士通株式会社 | Determination method, determination program and determination device |
WO2017018113A1 (en) * | 2015-07-29 | 2017-02-02 | 株式会社オートネットワーク技術研究所 | Object handling simulation device, object handling simulation system, method for simulating object handling, manufacturing method for object, and object handling simulation program |
JP6522488B2 (en) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | Machine learning apparatus, robot system and machine learning method for learning work taking-out operation |
-
2018
- 2018-01-24 JP JP2018530627A patent/JP6458912B1/en not_active Expired - Fee Related
- 2018-01-24 WO PCT/JP2018/002053 patent/WO2019146007A1/en active Application Filing
- 2018-07-20 TW TW107125131A patent/TW201932257A/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998017444A1 (en) * | 1996-10-24 | 1998-04-30 | Fanuc Ltd | Force control robot system with visual sensor for inserting work |
JP2011230245A (en) * | 2010-04-28 | 2011-11-17 | Yaskawa Electric Corp | Robot system |
JP2013180380A (en) * | 2012-03-02 | 2013-09-12 | Seiko Epson Corp | Control device, control method, and robot apparatus |
JP2015157341A (en) * | 2014-02-25 | 2015-09-03 | セイコーエプソン株式会社 | Robot, robot system, and control device |
JP6376296B1 (en) * | 2017-02-09 | 2018-08-22 | 三菱電機株式会社 | Position control device and position control method |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112109080A (en) * | 2019-06-19 | 2020-12-22 | 发那科株式会社 | Adjustment auxiliary device |
US11548152B2 (en) | 2019-08-02 | 2023-01-10 | Dextrous Robotics, Inc. | Systems and methods for robotic control under contact |
CN111230469A (en) * | 2020-03-11 | 2020-06-05 | 苏州科诺机器人有限责任公司 | Full-automatic water joint assembling mechanism and assembling method |
WO2022172812A1 (en) * | 2021-02-10 | 2022-08-18 | オムロン株式会社 | Robot model learning device, robot model machine learning method, robot model machine learning program, robot control device, robot control method, and robot control program |
CN113140104A (en) * | 2021-04-14 | 2021-07-20 | 武汉理工大学 | Vehicle queue tracking control method and device and computer readable storage medium |
US11845184B2 (en) | 2022-04-18 | 2023-12-19 | Dextrous Robotics, Inc. | System and/or method for grasping objects |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019146007A1 (en) | 2020-02-06 |
WO2019146007A1 (en) | 2019-08-01 |
TW201932257A (en) | 2019-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6458912B1 (en) | Position control device and position control method | |
JP6376296B1 (en) | Position control device and position control method | |
JP6587761B2 (en) | Position control device and position control method | |
CN109807882B (en) | Gripping system, learning device, and gripping method | |
JP5852364B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
CN112109075B (en) | Control system and control method | |
JP5904635B2 (en) | Control apparatus, control method, and robot apparatus | |
CN112757284B (en) | Robot control device, method, and storage medium | |
CN104959982A (en) | Robot control system, robot, program and robot control method | |
Melchiorre et al. | Collison avoidance using point cloud data fusion from multiple depth sensors: a practical approach | |
JP6322949B2 (en) | Robot control apparatus, robot system, robot, robot control method, and robot control program | |
CN113954076B (en) | Robot precision assembling method based on cross-modal prediction assembling scene | |
CN113927602A (en) | Robot precision assembly control method and system based on visual and tactile fusion | |
US20100246893A1 (en) | Method and Apparatus for Nonlinear Dynamic Estimation of Feature Depth Using Calibrated Moving Cameras | |
JP3981778B2 (en) | Visual feedback method of mechanical device using imaging device and mechanical device | |
Chang et al. | A shared control method for collaborative human-robot plug task | |
Kato et al. | World-Model-Based Control for Industrial box-packing of Multiple Objects using NewtonianVAE | |
Belousov et al. | Web-based teleoperation of the robot interacting with fast moving objects | |
Zha et al. | Coordination of visual and tactile sensors for pushing operation using multiple autonomous arms | |
Cazy et al. | Visual servoing using model predictive control to assist multiple trajectory tracking | |
Liu | Three-Dimensional Hand Tracking and Surface-Geometry Measurement for a Robot-Vision System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180611 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180611 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180611 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6458912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |