JP6541397B2 - INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM - Google Patents
INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP6541397B2 JP6541397B2 JP2015077978A JP2015077978A JP6541397B2 JP 6541397 B2 JP6541397 B2 JP 6541397B2 JP 2015077978 A JP2015077978 A JP 2015077978A JP 2015077978 A JP2015077978 A JP 2015077978A JP 6541397 B2 JP6541397 B2 JP 6541397B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- force
- gripping
- peripheral
- torque
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
Description
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ロボットを用いて対象物を操作するために用いて好適なものである。 The present invention relates to an information processing apparatus, an information processing method, and a program, and in particular, is suitable for use in operating an object using a robot.
従来、ロボットを用いた対象物のマニピュレーションでは、整列されている対象物を決まった位置から取り出すことが一般的であった。これに対して、特許文献1では、力覚センサとビジョンセンサ(視覚センサ)とを用いて、対象物を把持する技術が開示されている。具体的に、特許文献1に記載の技術では、ビジョンセンサにより検出された対象物の位置情報に基づいてロボットアームを移動させて対象物に近づけ、ロボットアームの先端に取り付けされた力覚センサの出力に基づいて、対象物の位置情報を修正する。 Heretofore, in robot manipulation of objects, it has been common to take out the objects being aligned from fixed positions. On the other hand, Patent Document 1 discloses a technique for gripping an object using a force sensor and a vision sensor (vision sensor). Specifically, in the technology described in Patent Document 1, the robot arm is moved based on the position information of the object detected by the vision sensor to bring it close to the object, and the force sensor attached to the tip of the robot arm Correct the position information of the object based on the output.
しかしながら、特許文献1に記載の手法では、ビジョンセンサによる検出で得た対象物の位置情報に基づいてロボットアームを対象物に近づけ、力覚センサから出力される情報に基づいて対象物の位置情報を修正する。したがって、対象物の位置情報のズレが大きすぎる場合には対応できないという問題がある。また、特許文献1に記載の手法では、ロボットアームにより対象物を把持する時にしか、対象物の位置の誤差を検知しない。したがって、ロボットアームにより対象物を把持した後のマニピュレーションにおいてロボットが所定の操作を行っていない場合でも、そのことを検知できないという問題がある。 However, in the method described in Patent Document 1, the robot arm is brought close to the object based on the position information of the object obtained by the detection by the vision sensor, and the position information of the object based on the information output from the force sensor Correct the Therefore, there is a problem that it can not cope with the case where the displacement of the position information of the object is too large. Further, in the method described in Patent Document 1, an error in the position of the object is detected only when the object is gripped by the robot arm. Therefore, even when the robot does not perform a predetermined operation in the manipulation after gripping the target by the robot arm, there is a problem that it can not be detected.
本発明は、以上のような問題点に鑑みてなされたものであり、ロボットを用いて対象物をマニピュレーションする際に、ロボットが所定の操作を行っていないことを確実に検知することを目的とする。 The present invention has been made in view of the above problems, and it is an object of the present invention to reliably detect that a robot has not performed a predetermined operation when manipulating an object using a robot. Do.
本発明の情報処理装置は、ロボットにより対象物を操作するための処理を行う情報処理装置であって、前記対象物の動き、および、前記対象物の周辺にある物体である周辺物の動きに基づき、なお且つ、前記対象物を操作しているときに前記ロボットに生じる力およびトルクの少なくとも何れか1つに基づいて、前記ロボットが前記対象物を正常に操作しているか否かを判定する判定手段を有することを特徴とする。 The information processing apparatus of the present invention is an information processing apparatus for performing a process for manipulating the object by a robot,-out movement of the object, and the movement of the surrounding objects are objects in the neighborhood of the object Based on at least one of force and torque generated in the robot when operating the object, and determining whether the robot is operating the object normally It has a determination means to perform.
本発明によれば、ロボットを用いて対象物をマニピュレーションする際に、ロボットが所定の操作を行っていないことを確実に検知することができる。 According to the present invention, when manipulating an object using a robot, it is possible to reliably detect that the robot is not performing a predetermined operation.
以下、図面を参照しながら、実施形態を説明する。
(第1の実施形態)
まず、第1の実施形態で説明する。
本実施形態では、把持部であるエンドエフェクタにかかっている力およびトルクを力覚センサにより計測し、作業空間全体の位置および姿勢の変化をビジョンセンサにより計測する。こうすることで、対象物が周辺物と干渉していても、対象物をマニピュレーション中に発生するロボットの動作の異常を検知することができる。ここで、対象物とは、例えば、トナーカートリッジのような部品である。また、周辺物とは、マニピュレーションがなされる対象物の周辺にある物体である。例えば、山積みされた対象物において、把持対象となっていない対象物や、対象物が入れられた容器などが周辺物の一例である。尚、マニピュレーションとは、例えば、把持、引き抜き、搬送といった一連の動作のことである。また、ロボットの動作の異常とは、ロボットが対象物を決められた通りにマニピュレーションできていないことである。
Hereinafter, embodiments will be described with reference to the drawings.
First Embodiment
First, the first embodiment will be described.
In the present embodiment, the force sensor measures the force and torque applied to the end effector which is the grip portion, and the change in the position and posture of the entire work space is measured by the vision sensor. In this way, even if the object interferes with the surrounding objects, it is possible to detect an abnormal operation of the robot which occurs during manipulation of the object. Here, the target is, for example, a component such as a toner cartridge. Also, the peripheral object is an object that is in the vicinity of the object to be manipulated. For example, in stacked objects, an object not to be held, a container in which the object is placed, and the like are examples of peripheral objects. Manipulation is, for example, a series of operations such as gripping, pulling out, and conveyance. Also, the abnormal movement of the robot means that the robot can not manipulate the object as determined.
図1は、ロボットシステムの構成の一例を示す図である。本実施形態では、図1に示す機器を用いて、ロボットの動作の異常を検知する。ただし、図1は、機器の構成の一例であり、本発明の適用範囲を限定するものではない。
ロボット101は、マニピュレータや、ロボットハンドのようなエンドエフェクタなどの機器を有する。ロボット101は、情報処理装置104で決定された行動を実施し、対象物106を操作する。ここで、行動とは、対象物106を操作するためのロボット101の動作のことである。具体的に行動とは、例えば、ロボット101により対象物106を把持したり搬送したりすることである。
FIG. 1 is a diagram showing an example of the configuration of a robot system. In the present embodiment, the apparatus shown in FIG. 1 is used to detect an abnormality in the operation of the robot. However, FIG. 1 is an example of a structure of an apparatus, and does not limit the scope of application of this invention.
The robot 101 includes devices such as a manipulator and an end effector such as a robot hand. The robot 101 performs the action determined by the information processing apparatus 104 and operates the object 106. Here, the action is an operation of the robot 101 for operating the object 106. Specifically, the action is, for example, gripping or transporting the object 106 by the robot 101.
撮像装置(ビジョンセンサ)102は、例えば、カメラや、光を検出するセンサ(例えばフォトダイオード)などを有する。撮像装置102は、対象物106と周辺物107の画像情報を取得する。撮像装置102で取得された画像情報は、情報処理装置104にて処理される。尚、画像情報は、動画像であっても、異なるタイミングで撮像された複数の静止画像であってもよい。 The imaging device (vision sensor) 102 includes, for example, a camera, a sensor (for example, a photodiode) that detects light, and the like. The imaging device 102 acquires image information of the object 106 and the peripheral object 107. The image information acquired by the imaging device 102 is processed by the information processing device 104. The image information may be a moving image or a plurality of still images captured at different timings.
光源103は、例えば、プロジェクタを有する。光源103は、可視光を投影したり、レーザー装置を用いて赤外光を投影したりすることにより、対象物106と周辺物107を、均一照明光やパターン光で照明する。あるいは、撮像装置102と光源103を備えて構成されるレーザーレンジファインダ装置を用いてもよい。また、光源103を使わずに、撮像装置102を2つ用いてステレオ計測を行ってもよい。また、対象物106と周辺物107の位置および姿勢を計測するための情報を得ることができれば、光源103を用いずに、撮像装置102を1つだけ用いてもよい。 The light source 103 has, for example, a projector. The light source 103 illuminates the object 106 and the peripheral object 107 with uniform illumination light or pattern light by projecting visible light or projecting infrared light using a laser device. Alternatively, a laser range finder including the imaging device 102 and the light source 103 may be used. In addition, stereo measurement may be performed using two imaging devices 102 without using the light source 103. In addition, as long as information for measuring the positions and orientations of the object 106 and the peripheral object 107 can be obtained, only one imaging device 102 may be used without using the light source 103.
情報処理装置104は、コンピュータなどの計算機およびハードディスクなどの補助記憶装置を有する。情報処理装置104は、インタフェース機器を介して、ロボット101、撮像装置102、光源103、および力覚センサ105と相互に接続されている。情報処理装置104は、これらの機器と随時通信することができ、これらの機器の動作を制御する。また、情報処理装置104は、対象物106と周辺物107の三次元形状や、ロボット101の作業手順などの情報を保持する。 The information processing apparatus 104 has a computer such as a computer and an auxiliary storage device such as a hard disk. The information processing device 104 is mutually connected to the robot 101, the imaging device 102, the light source 103, and the force sensor 105 via an interface device. The information processing apparatus 104 can communicate with these devices as needed, and controls the operation of these devices. Further, the information processing apparatus 104 holds information such as the three-dimensional shapes of the object 106 and the peripheral object 107, and the work procedure of the robot 101.
本実施形態では、情報処理装置104は、力覚センサ105から入力された力覚情報と、撮像装置102から入力された画像情報とに基づいて、ロボット101の動作の異常を検知する。情報処理装置104は、情報処理装置104内に保持している情報と、力覚情報とに基づいて、対象物106を把持できているか否かと、対象物106および周辺物107にどのような力がかかっているかを検知する。 In the present embodiment, the information processing apparatus 104 detects an abnormality in the operation of the robot 101 based on the force sense information input from the force sensor 105 and the image information input from the imaging device 102. The information processing apparatus 104 determines whether or not the object 106 can be gripped based on the information held in the information processing apparatus 104 and the force sense information, and the force on the object 106 and the peripheral object 107. To detect if it is
また、情報処理装置104は、情報処理装置104内に保持している情報と、画像情報とに基づいて、対象物106および周辺物107の位置および姿勢を認識する。そして、情報処理装置104は、認識した結果に基づいて、対象物106は把持部と同期した動きをしているか否かと、周辺物107に動きはあるか否かを検知する。
情報処理装置104は、これらの検知によって、マニピュレーション中のロボット101の動作の異常を検知し、異常がある場合にはロボット101の行動の計画を作成し、作成した計画に従って動作することを示す動作命令をロボット101に出力する。
Further, the information processing apparatus 104 recognizes the positions and orientations of the target object 106 and the peripheral object 107 based on the information held in the information processing apparatus 104 and the image information. Then, based on the recognized result, the information processing apparatus 104 detects whether the object 106 is moving in synchronization with the holding unit and whether the peripheral object 107 has movement.
The information processing apparatus 104 detects an abnormality in the operation of the robot 101 during manipulation by these detections, and when there is an abnormality, prepares a plan of the action of the robot 101, and indicates that the robot 101 operates according to the prepared plan. An instruction is output to the robot 101.
力覚センサ105は、ロボット101のエンドエフェクタの根本に取り付けられている。本実施形態の力覚センサ105は、ひずみゲージや圧電素子を用いて構成され、ロボット101で対象物106を把持しているときのロボット101のエンドエフェクタにかかる力とトルクを計測する6軸力覚センサ(Force/Torqueセンサ)である。力覚センサ105で取得される力覚情報は、情報処理装置104にて処理される。尚、対象物106がロボット101により把持される際、ロボット101のエンドエフェクタの根本の部分(すなわち、力覚センサ105が取り付けられている部分)には、対象物106は接触しない。 The force sensor 105 is attached to the root of the end effector of the robot 101. The force sensor 105 of the present embodiment is configured using a strain gauge or a piezoelectric element, and is a six-axis force that measures the force and torque applied to the end effector of the robot 101 when the robot 106 grips the object 106. It is a sensor (Force / Torque sensor). The force sense information acquired by the force sensor 105 is processed by the information processing apparatus 104. When the object 106 is gripped by the robot 101, the object 106 does not contact the root portion of the end effector of the robot 101 (that is, the portion to which the force sensor 105 is attached).
対象物106は、マニピュレーションがなされる物体である。対象物106は、例えば、トナーカートリッジであり、ロボット101によって把持され搬送されることが想定されるものである。
周辺物107は、マニピュレーションの処理がなされる対象物106の周辺にある物体である。周辺物107は、例えば、山積みされた対象物106において、把持対象となっていない対象物(対象物となり得る物体)や、対象物106が入れられた容器などである。
The object 106 is an object to be manipulated. The object 106 is, for example, a toner cartridge, which is assumed to be gripped and transported by the robot 101.
The peripheral object 107 is an object in the periphery of the object 106 to be subjected to manipulation of manipulation. The peripheral object 107 is, for example, an object (object which can be an object) which is not a gripping target in the stacked objects 106, a container in which the object 106 is placed, or the like.
図2は、情報処理装置104の機能的な構成の一例を示す図である。図2では、情報処理装置104が有する機能のうち、対象物106をマニピュレーション中のロボット101の動作の異常の検知を実現するための機能を示す。
ロボット101は、行動計画部205からの動作命令に従って動作する。
前述したように撮像装置102は、対象物106および周辺物107を撮影する。対象物106および周辺物107は、光源103で照明されている場合もある。撮像装置102で撮影された画像情報は、画像取得部201で取得される。
FIG. 2 is a diagram showing an example of a functional configuration of the information processing apparatus 104. As shown in FIG. In FIG. 2, among the functions possessed by the information processing apparatus 104, functions for realizing detection of an abnormality in the operation of the robot 101 during manipulation of the object 106 are shown.
The robot 101 operates in accordance with the operation command from the action planning unit 205.
As described above, the imaging device 102 captures the object 106 and the peripheral object 107. The object 106 and the peripheral object 107 may be illuminated by the light source 103. Image information captured by the imaging device 102 is acquired by the image acquisition unit 201.
情報処理装置104は、後述する画像取得部201〜操作位置決定部210を有するロボット制御装置である。情報処理装置104の構成のうち、異常検知部301により、ロボット101の動作の異常が検知される。
力覚センサ105は、対象物106を把持および搬送している期間(すなわち、対象物106をマニピュレーション中)においてロボット101のエンドエフェクタにかかる力とトルクを力覚情報として計測する。力覚センサ105で計測された力覚情報は、力覚情報取得部207で取得される。
The information processing apparatus 104 is a robot control apparatus including an image acquisition unit 201 to an operation position determination unit 210 described later. In the configuration of the information processing apparatus 104, the abnormality detection unit 301 detects an abnormality in the operation of the robot 101.
The force sensor 105 measures the force and torque applied to the end effector of the robot 101 as force sense information during a period in which the object 106 is gripped and transported (that is, the object 106 is being manipulated). The force sense information measured by the force sensor 105 is obtained by the force sense information acquisition unit 207.
画像取得部201は、撮像装置102で撮影された画像情報を取得する。この画像情報は、位置・姿勢変化計測部202および位置・姿勢計測部209で使われる。画像取得部201は、例えばキャプチャボードやRAM(メモリ)を用いて構成される。
部品データベース(DB)203は、マニピュレーションの対象となる対象物106および周辺物107の部品種と形状の情報を保持する。位置・姿勢変化計測部202および位置・姿勢計測部209は、適宜、部品データベース203の情報を参照する。対象物106および周辺物107の形状の情報とは、例えば、CADデータやCGポリゴンなどのモデルデータである。あるいは、対象物106や周辺物107を多方向から観察した二次元画像の集合から、対象物106および周辺物107の形状の情報が構成されてもよい。
The image acquisition unit 201 acquires image information captured by the imaging device 102. This image information is used by the position / posture change measurement unit 202 and the position / posture measurement unit 209. The image acquisition unit 201 is configured using, for example, a capture board or a RAM (memory).
The part database (DB) 203 holds information on the part type and shape of the object 106 and the peripheral object 107 to be manipulated. The position / posture change measurement unit 202 and the position / posture measurement unit 209 refer to information in the component database 203 as appropriate. The information on the shapes of the object 106 and the peripheral object 107 is, for example, model data such as CAD data and CG polygons. Alternatively, information on the shapes of the object 106 and the peripheral object 107 may be configured from a set of two-dimensional images obtained by observing the object 106 and the peripheral object 107 from multiple directions.
異常検知部301は、位置・姿勢変化計測部202、力・トルク計測部208、および異常判定部204を有する。異常検知部301は、画像取得部201からの画像情報と、力覚情報取得部207からの力覚情報とを入力として、対象物106をマニピュレーション中のロボット101の動作に異常があるか否かを判定し、その判定の結果を行動計画部205に出力する。 The abnormality detection unit 301 includes a position / posture change measurement unit 202, a force / torque measurement unit 208, and an abnormality determination unit 204. The abnormality detection unit 301 receives as input the image information from the image acquisition unit 201 and the force sense information from the force sense information acquisition unit 207, and determines whether or not there is an abnormality in the operation of the robot 101 during manipulation of the object 106. And outputs the result of the determination to the action planning unit 205.
位置・姿勢変化計測部202は、画像取得部201で取得した画像情報を入力として、対象物106および周辺物107の位置の変化および姿勢の変化を計測(認識)する。具体的に位置・姿勢変化計測部202は、部品データベース203に蓄積されている対象物106および周辺物107の部品種と形状の情報と、画像情報とに基づいて、対象物106および周辺物107の位置の変化および姿勢の変化を導出する。そして、位置・姿勢変化計測部202は、対象物106および周辺物107の位置の変化および姿勢の変化を示す位置・姿勢変化情報を、異常判定部204へ出力する。 The position / posture change measurement unit 202 measures (recognizes) a change in position and a change in posture of the object 106 and the peripheral object 107 using the image information acquired by the image acquisition unit 201 as an input. Specifically, the position / posture change measurement unit 202 detects the object 106 and the peripheral object 107 based on the information on the part type and shape of the object 106 and the peripheral object 107 accumulated in the component database 203 and the image information. Derive the change of position and the change of posture. Then, the position / posture change measurement unit 202 outputs position / posture change information indicating a change in position and a change in posture of the object 106 and the peripheral object 107 to the abnormality determination unit 204.
力覚情報取得部207は、力覚センサ105から送られてきた力覚情報を取得する。この力覚情報は、力・トルク計測部208で使われる。力覚情報取得部207は、例えばRAM(メモリ)を用いて構成される。
力・トルク計測部208は、力覚情報取得部207で取得された力覚情報を入力として、対象物106のマニピュレーション中にロボット101のエンドエフェクタにかかる力とトルクを認識する。この認識の結果を示す力・トルク情報は、異常判定部204へ出力される。
The force sense information acquisition unit 207 obtains force sense information sent from the force sense sensor 105. This force sense information is used by the force / torque measurement unit 208. The force sense information acquisition unit 207 is configured using, for example, a RAM (memory).
The force / torque measurement unit 208 recognizes the force and torque applied to the end effector of the robot 101 during manipulation of the object 106, using the force sense information acquired by the force sense information acquisition unit 207 as an input. Force / torque information indicating the result of the recognition is output to the abnormality determination unit 204.
異常判定部204は、位置・姿勢変化計測部202からの位置・姿勢変化情報と、力・トルク計測部208からの力・トルク情報とを入力として、対象物106をマニピュレーション中のロボット101の動作に異常が生じているか否かを判定する。この判定の結果は、行動計画部205へ出力される。 The abnormality determination unit 204 receives the position / posture change information from the position / posture change measurement unit 202 and the force / torque information from the force / torque measurement unit 208, and operates the robot 101 during manipulation of the object 106. It is determined whether or not there is an abnormality in the The result of this determination is output to the action planning unit 205.
位置・姿勢計測部209は、画像取得部201で取得した画像情報を入力として、山積みされた物体のうち、把持すべき対象物106の位置および姿勢を計測(認識)する。具体的に位置・姿勢計測部209は、部品データベース203に蓄積されている対象物106の部品種と形状の情報と、画像情報とに基づいて、対象物106の位置および姿勢を決定する。位置・姿勢計測部209は、対象物106および周辺物107の位置および姿勢を示す位置・姿勢情報を、操作位置決定部210へ出力する。尚、例えば、対象物106の形状が球であるような場合には、対象物106の姿勢の計測(認識)は不要になる。 The position / posture measurement unit 209 measures (recognizes) the position and orientation of the object 106 to be grasped among the stacked objects, using the image information acquired by the image acquisition unit 201 as an input. Specifically, the position and orientation measurement unit 209 determines the position and orientation of the object 106 based on the information on the part type and shape of the object 106 accumulated in the parts database 203 and the image information. The position / posture measurement unit 209 outputs position / posture information indicating the positions and orientations of the object 106 and the peripheral object 107 to the operation position determination unit 210. For example, when the shape of the object 106 is a sphere, measurement (recognition) of the posture of the object 106 is unnecessary.
操作位置決定部210は、位置・姿勢計測部209からの位置・姿勢情報を入力として、対象物106の把持位置およびリリース位置を、対象物106の操作位置として決定する。尚、把持位置とは、ロボット101のエンドエフェクタで対象物106を把持する位置のことである。また、リリース位置とは、ロボット101のエンドエフェクタから、把持している対象物106をリリースする位置のことである。操作位置決定部210で決定された操作位置は、行動計画部205へ出力される。 The operation position determination unit 210 receives the position / posture information from the position / posture measurement unit 209 as input, and determines the grip position and the release position of the object 106 as the operation position of the object 106. The holding position is the position at which the end effector of the robot 101 holds the object 106. Further, the release position is a position at which the object 106 held by the end effector of the robot 101 is released. The operation position determined by the operation position determination unit 210 is output to the action planning unit 205.
操作位置決定部210は、ロボット101により対象物106を操作する処理において最初に実行される処理部となり、ロボット101が動作命令に従って動き始めた後に、異常検知部301の処理が実行される。指定された一つの対象物106の処理が終わり、新たな対象物106が操作対象となるときは、再び位置・姿勢計測部209および操作位置決定部210の処理が実行される。 The operation position determination unit 210 is a processing unit that is first executed in the process of operating the object 106 by the robot 101, and the process of the abnormality detection unit 301 is performed after the robot 101 starts to move according to the operation command. When the processing of one designated object 106 is finished and a new object 106 is to be operated, the processing of the position / posture measurement unit 209 and the operation position determination unit 210 is performed again.
操作データベース(DB)206は、行動計画部205が、対象物106に対するロボット101の行動を計画する際に参照する部品種と作業手順の情報を保持する。行動計画部205は、適宜、操作データベース206の情報を参照する。
行動計画部205は、異常判定部204からの判定の結果と、操作位置決定部210からの操作位置とを入力として、ロボット101の行動を計画する。行動計画部205は、操作データベース206に保持されている部品種と作業手順の情報を参照して、対象物106に対するロボット101の行動を計画する。計画された行動は、動作命令としてロボット101へ出力される。
The operation database (DB) 206 holds information on part types and work procedures that the action planning unit 205 refers to when planning the action of the robot 101 with respect to the object 106. The action planning unit 205 refers to the information of the operation database 206 as appropriate.
The action planning unit 205 uses the result of the determination from the abnormality determination unit 204 and the operation position from the operation position determination unit 210 as input to plan the action of the robot 101. The action planning unit 205 refers to the information of the part type and the work procedure held in the operation database 206 to plan the action of the robot 101 with respect to the object 106. The planned action is output to the robot 101 as an action command.
図3は、ロボットシステムを実現するための情報処理装置104の処理の一例を説明するフローチャートである。以下、図3に従って処理の手順を説明する。
ステップS1000では、本実施形態におけるロボットシステムの初期化が行われる。具体的に、ユーザーがロボットシステムを起動するための操作を行うと、ロボットシステムを実現するためのプログラムは、情報処理装置104にロードされ、図示しないメモリ上に展開されて実行可能な状態となる。また、ロボット101、撮像装置102、および力覚センサ105も、機器パラメータの読み込みや初期位置への復帰などが行われることにより、使用可能な状態となる。
FIG. 3 is a flowchart for explaining an example of processing of the information processing apparatus 104 for realizing the robot system. The procedure of the process will be described below with reference to FIG.
In step S1000, initialization of the robot system in the present embodiment is performed. Specifically, when the user performs an operation for activating the robot system, a program for realizing the robot system is loaded to the information processing apparatus 104, expanded on a memory (not shown), and becomes executable. . In addition, the robot 101, the imaging device 102, and the force sensor 105 also become usable by reading the device parameters and returning to the initial position.
次に、ステップS1100では、画像取得部201は、撮像装置102を用いて対象物106および周辺物107に関する画像情報を取得する。
次に、ステップS1200では、位置・姿勢計測部209は、把持すべき対象物106の位置および姿勢を計測する。図4は、図3のステップS1200の詳細な処理の一例を説明するフローチャートである。以下、ステップS1200に該当するステップS1201からステップS1203の処理の手順を、図4のフローチャートに従って説明する。
Next, in step S1100, the image acquisition unit 201 acquires image information on the object 106 and the peripheral object 107 using the imaging device 102.
Next, in step S1200, the position and orientation measurement unit 209 measures the position and orientation of the object 106 to be gripped. FIG. 4 is a flowchart for explaining an example of the detailed process of step S1200 of FIG. Hereinafter, the procedure of the process from step S1201 to step S1203 corresponding to step S1200 will be described according to the flowchart of FIG.
ステップS1201では、位置・姿勢計測部209は、対象物106および周辺物107の部品種を判別する。対象物106および周辺物107の部品種を判別するために、例えば、パターンマッチングが行われる。位置・姿勢計測部209は、部品データベース203に蓄積されている対象物106の部品種の情報と、画像取得部201で取得された画像情報とに基づくパターンマッチングを行う事により、対象物106および周辺物107の部品種を判別する。パターンマッチングの方法としては、例えば相関ベースマッチングが挙げられる。位置・姿勢計測部209は、部品データベース203に部品種の情報として蓄積されている複数種類の部品パターンと、画像情報との比較により、画像情報に含まれる対象物106および周辺物107のそれぞれについて、最も類似する部品パターンを推定する。位置・姿勢計測部209は、このようにして対象物106および周辺物107の部品種を決定する。ただし、パターンマッチングは、対象物106および周辺物107の部品種を判別できる手法であれば他の処理でもよい。 In step S <b> 1201, the position / posture measurement unit 209 determines the component type of the object 106 and the peripheral object 107. In order to determine the component types of the object 106 and the peripheral object 107, for example, pattern matching is performed. The position / posture measurement unit 209 performs pattern matching based on the information on the part type of the object 106 stored in the parts database 203 and the image information acquired by the image acquisition unit 201 to obtain the object 106 and the object 106. The component type of the peripheral object 107 is determined. The pattern matching method includes, for example, correlation based matching. The position / posture measurement unit 209 compares each of the target object 106 and the peripheral object 107 included in the image information by comparing a plurality of types of component patterns stored as component type information in the component database 203 with the image information. , Estimate the most similar part pattern. The position / posture measurement unit 209 determines the part type of the object 106 and the peripheral object 107 in this manner. However, the pattern matching may be another process as long as it is a method capable of determining the component type of the object 106 and the peripheral object 107.
ステップS1202では、位置・姿勢計測部209は、ステップS1201で判別された部品種に基づいて、対象物106および周辺物107の位置および姿勢を判別する。対象物106および周辺物107の位置および姿勢を判別するために、例えば、モデルフィッティングが行われる。位置・姿勢計測部209は、例えば、対象物106および周辺物107に均一な照明光が照射された状態で撮像装置102により撮像されて画像取得部201により取得された画像情報から、対象物106および周辺物107のエッジを抽出する。そして、位置・姿勢計測部209は、抽出した対象物106および周辺物107のエッジと、対象物106および周辺物107の形状の情報(CADデータ等)を元にしたエッジモデルとのフィッティング処理を行う。尚、前述したように、対象物106および周辺物107の形状の情報(CADデータ等)は、部品種ごとに部品データベース203に蓄積されているものである。位置・姿勢計測部209は、このフィッティング処理の結果に基づいて、対象物106および周辺物107の位置および姿勢を判別する。 In step S1202, the position / posture measurement unit 209 determines the positions and orientations of the object 106 and the peripheral object 107 based on the part type determined in step S1201. In order to determine the position and orientation of the object 106 and the peripheral object 107, for example, model fitting is performed. For example, the position / posture measurement unit 209 detects an object 106 from image information captured by the imaging device 102 and acquired by the image acquisition unit 201 in a state where the object 106 and the peripheral object 107 are irradiated with uniform illumination light. And the edges of the peripheral object 107 are extracted. Then, the position / posture measurement unit 209 performs fitting processing of the extracted edge of the object 106 and the peripheral object 107 and the edge model based on the information (CAD data etc.) of the shapes of the object 106 and the peripheral object 107. Do. As described above, the information (CAD data etc.) of the shapes of the object 106 and the peripheral object 107 is stored in the parts database 203 for each part type. The position / posture measurement unit 209 determines the positions and orientations of the object 106 and the peripheral object 107 based on the result of the fitting process.
また、位置・姿勢計測部209は、以上のようにせずに、例えば以下のようにして対象物106および周辺物107の位置および姿勢を判別してもよい。まず、位置・姿勢計測部209は、マルチラインのパターン光が照射された状態で撮像装置102により撮像されて画像取得部201により取得された画像情報から、対象物106および周辺物107の表面に投影されたパターンを検出する。そして、位置・姿勢計測部209は、三角測量の原理に基づき、対象物106および周辺物107の表面の各点までの距離を示す距離点群データを導出する。そして、位置・姿勢計測部209は、導出した距離点群データと点群モデルとのフィッティング処理を、IPC(Iterative Closest Point)アルゴリズムを利用して行い、対象物106および周辺物107の位置および姿勢を判別する。 Further, the position / posture measurement unit 209 may determine the positions and orientations of the object 106 and the peripheral object 107 as follows, for example, without performing as described above. First, on the surface of the object 106 and the peripheral object 107, the position / posture measurement unit 209 acquires image information captured by the imaging device 102 and captured by the image acquisition unit 201 in a state in which multiline pattern light is irradiated. Detect the projected pattern. Then, based on the principle of triangulation, the position / posture measurement unit 209 derives distance point group data indicating the distances to the points on the surface of the object 106 and the peripheral object 107. The position / posture measurement unit 209 performs fitting processing between the derived distance point group data and the point group model using an IPC (Iterative Closest Point) algorithm, and the position and orientation of the object 106 and the peripheral object 107. To determine
次に、ステップS1203では、位置・姿勢計測部209は、ステップS1202で判別された結果(対象物106および周辺物107の位置および姿勢)に基づいて、対象物106および周辺物107の欠損・欠品判定処理を行う。この欠損・欠品判定処理は、例えば、以下のようにして行われる。位置・姿勢計測部209は、ステップS1202のモデルフィッティングにおいて、画像情報から抽出した対象物106および周辺物107のエッジと、エッジモデルとのマッチング度の評価を部分的に行う。そして、位置・姿勢計測部209は、これらが明らかにマッチしない場合、その部分に欠損・欠品があると判定する。ステップS1203の処理が終わった後、図3のステップS1300へ移行する。 Next, in step S1203, based on the result (the position and posture of the object 106 and the peripheral object 107) determined in step S1202, the position / posture measurement unit 209 detects the missing or missing object 106 and the peripheral object 107. Perform product judgment processing. For example, the loss / out-of-stock determination process is performed as follows. The position / posture measurement unit 209 partially evaluates the matching degree between the edge of the object 106 and the peripheral object 107 extracted from the image information and the edge model in the model fitting in step S1202. Then, the position / posture measurement unit 209 determines that there is a defect / out-of-stock in the portion when these do not clearly match. After the process of step S1203 ends, the process proceeds to step S1300 of FIG.
ステップS1300では、操作位置決定部210は、ステップS1200で計測された結果(把持すべき対象物106の位置および姿勢)に基づいて、対象物106の操作位置を決定する。ロボット101のエンドエフェクタの形状を考慮して、目標位置および目標姿勢へ対象物106を操作するための把持位置が決定される。ただし、エンドエフェクタが対象物106を把持する形状でない場合、例えば、エンドエフェクタが吸着などを用いて操作を行うものである場合には、そのエンドエフェクタによる対象物106の吸着位置が操作位置になる。 In step S1300, the operation position determination unit 210 determines the operation position of the object 106 based on the result (the position and orientation of the object 106 to be grasped) measured in step S1200. In consideration of the shape of the end effector of the robot 101, the gripping position for operating the object 106 to the target position and the target posture is determined. However, if the end effector does not hold the object 106, for example, if the end effector performs an operation using adsorption or the like, then the adsorption position of the object 106 by the end effector is the operation position. .
次に、ステップS1400では、行動計画部205は、ステップS1300で決定された操作位置を実現するためのロボット101の行動計画を決定する。具体的に行動計画部205は、ステップS1300で決定された操作位置を元に、操作データベース206に蓄積されている部品種と作業手順の情報を参照する。計画された動作は、ステップS1500のロボット101の動作を行う際に用いられる。 Next, in step S1400, the action planning unit 205 determines an action plan of the robot 101 for realizing the operation position determined in step S1300. Specifically, the action planning unit 205 refers to the information on the part type and the work procedure stored in the operation database 206 based on the operation position determined in step S1300. The planned operation is used when performing the operation of the robot 101 in step S1500.
次に、ステップS1500では、行動計画部205は、ステップS1400で決定された行動計画で動作すること指示する動作命令をロボット101へ出力する。これによりロボット101は、ステップS1400で決定された行動計画に従って動作する。
次に、ステップS1600では、異常検知処理が行われる。図5は、図3のステップS1600の詳細な処理の一例を説明するフローチャートである。以下、ステップS1600に該当するステップS1610からステップS1650の処理の手順を、図5のフローチャートに従って説明する。
Next, in step S1500, the action planning unit 205 outputs, to the robot 101, an operation command instructing to operate in the action plan determined in step S1400. Thus, the robot 101 operates in accordance with the action plan determined in step S1400.
Next, in step S1600, an abnormality detection process is performed. FIG. 5 is a flowchart for explaining an example of a detailed process of step S1600 in FIG. The procedures of steps S1610 to S1650 corresponding to step S1600 will be described below with reference to the flowchart of FIG.
ステップS1610では、力覚情報取得部207は、対象物106を把持しているロボット101のエンドエフェクタにかかっている力およびトルクに関する力覚情報を取得する。
次に、ステップS1620では、力・トルク計測部208は、ステップS1610で取得された力覚情報に基づき、第1の導出処理を実行する。第1の導出処理は、力・トルク情報を導出する処理である。力・トルク情報は、対象物106をマニピュレーション中のロボット101のエンドエフェクタにかかる力およびトルクを示す情報である。対象物106を把持して持ち上げたとき、ロボット101のエンドエフェクタには、対象物106の質量の分だけの力がかかり、また、対象物106を把持する姿勢によって、ロボット101のエンドエフェクタにかかるトルクが変化する。力・トルク計測部208は、これらの値を、ひずみゲージや圧電素子を用いた力覚センサ105により検出された値に基づいて計測することにより、対象物106をマニピュレーション中のロボット101のエンドエフェクタにかかる力およびトルクを計測する。
In step S1610, the force sense information acquisition unit 207 obtains force sense information regarding the force and torque applied to the end effector of the robot 101 gripping the object 106.
Next, in step S1620, the force / torque measurement unit 208 executes a first derivation process based on the force sense information acquired in step S1610. The first derivation process is a process of deriving force / torque information. The force / torque information is information indicating the force and torque applied to the end effector of the robot 101 during manipulation of the object 106. When the object 106 is gripped and lifted, a force corresponding to the mass of the object 106 is applied to the end effector of the robot 101, and the end effector of the robot 101 is applied by the posture for gripping the object 106 The torque changes. The force / torque measurement unit 208 measures these values based on the values detected by the force sensor 105 using a strain gauge or a piezoelectric element to obtain the end effector of the robot 101 during manipulation of the object 106. Measure the force and torque applied to the
図6は、図5のステップS1620の詳細な処理の一例を説明するフローチャートである。以下、ステップS1620に該当するステップS1621からステップS1622の処理の手順を、図6のフローチャートに従って説明する。
ステップS1621では、力・トルク計測部208は、ロボット101が対象物106を操作しているときにエンドエフェクタにかかる力に基づいて、ロボット101の座標系における鉛直方向の合力を計算する。ロボット101が対象物106を操作しているときにエンドエフェクタにかかる力は、力覚情報から得られる。対象物106を操作するとき、ロボット101には対象物106の質量の分だけ力がかかる。このとき計測される力は、力覚センサ105の座標系のX、Y、Z成分の計測値で求まる。力・トルク計測部208は、これらの成分に基づいて、ロボット101の座標系における鉛直方向の合力を求める。こうすることで、重力加速度の方向においてロボット101にかかっている力が求まり、対象物106を把持できているか否かの判定の際に利用できる。ただし、ロボット101の座標系における鉛直方向の合力は、ロボット101が把持している対象物106の質量が求まるならば、他の方法で計算してもよい。
FIG. 6 is a flowchart for explaining an example of the detailed process of step S1620 of FIG. The procedures of steps S1621 to S1622 corresponding to step S1620 will be described below with reference to the flowchart of FIG.
In step S1621, the force / torque measurement unit 208 calculates the resultant force in the vertical direction in the coordinate system of the robot 101 based on the force applied to the end effector when the robot 101 is operating the object 106. The force applied to the end effector when the robot 101 operates the object 106 is obtained from the force sense information. When operating the object 106, a force is applied to the robot 101 by the mass of the object 106. The force measured at this time can be obtained from the measurement values of the X, Y, and Z components of the coordinate system of the force sensor 105. The force / torque measurement unit 208 obtains the resultant force in the vertical direction in the coordinate system of the robot 101 based on these components. By doing this, the force applied to the robot 101 in the direction of the gravitational acceleration can be determined, and can be used in determining whether or not the object 106 can be gripped. However, the resultant force in the vertical direction in the coordinate system of the robot 101 may be calculated by another method as long as the mass of the object 106 held by the robot 101 is obtained.
ステップS1622では、力・トルク計測部208は、ロボット101が対象物106を操作しているときにエンドエフェクタにかかるトルクに基づいて、推定トルクを計算する。ロボット101が対象物106を操作しているときにエンドエフェクタにかかるトルクは、力覚情報から得られる。対象物106を操作するとき、ロボット101には対象物106の慣性モーメントに基づいてトルクがかかる。このとき計測されるトルクは、力覚センサ105の座標系のX、Y、Z成分の各軸の回転方向α、β、γに対して求まる。力・トルク計測部208は、これらの成分の値に基づいて、ロボット101が対象物106を把持する姿勢に応じたトルクを、推定トルクとして計算する。力・トルク計測部208は、例えば、対象物106の位置および姿勢から最も大きなトルクが発生している軸に対するトルクを推定トルクとして計算する。こうすることで、ロボット101にかかっている最大トルクが求まり、対象物106を把持できているか否かの判定の際に利用できる。ただし、推定トルクは、ロボット101にかかっているトルクが求まるならば他の方法で計算してもよい。また、必ずしも、ステップS1621およびステップS1622の両方の処理を行う必要はなく、いずれか一つの処理を行ってもよい。ステップS1622の処理が終わった後、図5のステップS1630へ移行する。 In step S1622, the force / torque measurement unit 208 calculates an estimated torque based on the torque applied to the end effector when the robot 101 is operating the object 106. The torque applied to the end effector when the robot 101 operates the object 106 is obtained from the force sense information. When operating the object 106, the robot 101 is torqued based on the moment of inertia of the object 106. The torque measured at this time is obtained with respect to the rotational directions α, β, γ of the respective axes of the X, Y, Z components of the coordinate system of the force sensor 105. The force / torque measurement unit 208 calculates, based on the values of these components, a torque corresponding to the posture in which the robot 101 grips the object 106 as an estimated torque. For example, the force / torque measurement unit 208 calculates, as an estimated torque, a torque with respect to an axis where the largest torque is generated from the position and posture of the object 106. By doing this, the maximum torque applied to the robot 101 can be obtained, and can be used for determining whether or not the object 106 can be gripped. However, the estimated torque may be calculated by another method if the torque applied to the robot 101 is obtained. Moreover, it is not necessary to necessarily perform both processes of step S1621 and step S1622, and any one process may be performed. After the process of step S1622, the process proceeds to step S1630 of FIG.
ステップS1630では、画像取得部201は、撮像装置102で撮像された画像情報を取得する。
次に、ステップS1640では、位置・姿勢変化計測部202は、第2の導出処理を実行する。第2の導出処理は、対象物106および周辺物107の位置および姿勢の変化を導出する処理である。図7は、図5のステップS1640の詳細な処理の一例を説明するフローチャートである。以下、ステップS1640に該当するステップS1641からステップS1643の処理の手順を、図7のフローチャートに従って説明する。
In step S1630, the image acquisition unit 201 acquires the image information captured by the imaging device 102.
Next, in step S1640, the position / posture change measurement unit 202 executes a second derivation process. The second derivation process is a process of deriving changes in the position and posture of the object 106 and the peripheral object 107. FIG. 7 is a flowchart for explaining an example of the detailed process of step S1640 of FIG. Hereinafter, the procedure of the process of step S1641 to step S1643 corresponding to step S1640 will be described according to the flowchart of FIG.
ステップS1641では、位置・姿勢変化計測部202は、対象物106および周辺物107の部品種を判別する。対象物106および周辺物107の部品種を判別するために、例えば、パターンマッチングが行われる。位置・姿勢変化計測部202は、部品データベース203に蓄積されている対象物の部品種の情報と、画像取得部201で取得された画像情報とに基づくパターンマッチングを行う事により、対象物106および周辺物107の部品種を判別する。パターンマッチングの方法としては、例えば相関ベースマッチングが挙げられる。この方法は、例えば、ステップS1201の処理で説明したのと同じ方法で実現できるので、ここでは、その詳細な説明を省略する。なお、パターンマッチングは、対象物106および周辺物107の部品種を判別できる手法であれば他の処理でもよい。 In step S1641, the position / posture change measurement unit 202 determines the component type of the object 106 and the peripheral object 107. In order to determine the component types of the object 106 and the peripheral object 107, for example, pattern matching is performed. The position / posture change measurement unit 202 performs pattern matching based on the information on the part type of the target object stored in the part database 203 and the image information acquired by the image acquisition unit 201, thereby obtaining the object 106 and the object. The component type of the peripheral object 107 is determined. The pattern matching method includes, for example, correlation based matching. This method can be realized by, for example, the same method as described in the process of step S1201, and thus the detailed description thereof is omitted here. The pattern matching may be another process as long as it is a method capable of determining the component type of the object 106 and the peripheral object 107.
次に、ステップS1642では、位置・姿勢変化計測部202は、ステップS1641で判別された結果(対象物106および周辺物107の部品種)に基づいて、対象物106および周辺物107の位置および姿勢を判別する。対象物106および周辺物107の位置および姿勢を判別するために、例えば、モデルフィッティングが行われる。この方法は、例えば、ステップS1202の処理で説明したのと同じ方法で実現できるので、ここでは、その詳細な説明を省略する。 Next, in step S1642, the position / posture change measurement unit 202 determines the position and orientation of the object 106 and the peripheral object 107 based on the result (the type of the component of the object 106 and the peripheral object 107) determined in step S1641. To determine In order to determine the position and orientation of the object 106 and the peripheral object 107, for example, model fitting is performed. This method can be implemented, for example, by the same method as described in the process of step S1202, and thus the detailed description thereof is omitted here.
次に、ステップS1643では、位置・姿勢変化計測部202は、ステップS1642で判別された結果(対象物106および周辺物107の位置および姿勢)に基づいて、対象物106および周辺物107の位置・姿勢変化判定処理が行われる。この位置・姿勢変化判定処理は、例えば、以下のようにして行われる。位置・姿勢変化計測部202は、ステップS1642で導出した距離点群データの特徴量を、前回のサンプリング時の距離点群データと比較して、その変化を調べることによって、対象物106および周辺物107の位置および姿勢の変化を判定する。また、このようにせずに、位置・姿勢変化計測部202は、対象物106および周辺物107が含まれる作業空間全体のオプティカルフローを導出し、対象物106および周辺物107の動きベクトルを検出してもよい。ただし、対象物106および周辺物107の位置および姿勢の変化を判定できれば、位置・姿勢変化判定処理は、他の処理でもよい。ステップS1643の処理が終わった後、図5のステップS1650へ移行する。 Next, in step S 1643, the position / posture change measurement unit 202 determines the positions of the object 106 and the peripheral object 107 based on the result (the position and orientation of the object 106 and the peripheral object 107) determined in step S 1642. Posture change determination processing is performed. The position / posture change determination process is performed, for example, as follows. The position / posture change measurement unit 202 compares the feature quantities of the distance point group data derived in step S1642 with the distance point group data at the time of the previous sampling, and examines the change to obtain the object 106 and the peripheral objects. A change in the position and posture of 107 is determined. Also, without doing this, the position / posture change measurement unit 202 derives the optical flow of the entire work space including the object 106 and the peripheral object 107, and detects the motion vector of the object 106 and the peripheral object 107. May be However, as long as it is possible to determine changes in the position and orientation of the object 106 and the peripheral object 107, the position / posture change determination process may be another process. After the process of step S1643 is finished, the process proceeds to step S1650 in FIG.
ステップS1650では、異常判定部204は、ステップS1620で導出された力・トルク情報と、ステップS1640で導出された対象物106および周辺物107の位置および姿勢の変化とに基づいて、異常判定を行う。異常判定部204では、力覚センサ105および撮像装置102(ビジョンセンサ)からの複数の情報を入力として、ロボット101の動作の異常の度合いの判定結果を出力とする。図8は、図5のステップS1650の詳細な処理の一例を説明するフローチャートである。以下、ステップS1650に該当するステップS1651からステップS1654の処理の手順を、図8のフローチャートに従って説明する。 In step S1650, abnormality determination unit 204 performs abnormality determination based on the force / torque information derived in step S1620 and changes in the position and orientation of object 106 and peripheral object 107 derived in step S1640. . The abnormality determination unit 204 receives a plurality of pieces of information from the force sensor 105 and the imaging device 102 (vision sensor), and outputs a determination result of the degree of abnormality of the operation of the robot 101. FIG. 8 is a flowchart for explaining an example of the detailed process of step S1650 of FIG. The procedures of steps S1651 to S1654 corresponding to step S1650 will be described below with reference to the flowchart of FIG.
ステップS1651では、異常判定部204は、ステップS1620で導出された力・トルク情報に示される力およびトルクが、予め設定された範囲のうち、どの範囲にあるのかを判定する。例えば、異常判定部204は、ステップS1620で導出された力・トルク情報に示される力およびトルクが、対象物106の把持あるいは搬送に必要な範囲内であるか否かを判定する。また、異常判定部204は、ステップS1620で導出された力・トルク情報に示される力およびトルクが、対象物106の把持あるいは搬送に必要な範囲外でも対象物106および周辺物107を破損しない範囲内であるか否かを判定する。 In step S1651, the abnormality determination unit 204 determines which of the ranges set in advance is the force and torque indicated in the force / torque information derived in step S1620. For example, the abnormality determination unit 204 determines whether or not the force and torque indicated in the force / torque information derived in step S1620 are within the range necessary for gripping or transporting the object 106. Further, the abnormality determination unit 204 is a range in which the force and torque indicated in the force / torque information derived in step S 1620 do not damage the object 106 and the peripheral object 107 even if the range necessary for gripping or transporting the object 106 is broken. It is determined whether or not it is inside.
この把持あるいは搬送に必要な範囲となる値や、対象物106および周辺物107を破損しない範囲の値といったパラメータは、例えば、設計者が以下のようにして予め設定する。まず、対象物106の質量がM[g]であり、そのばらつきが±m[g]であるとする。この場合、対象物106の質量をM±m[g]と設定する。したがって、重力加速度をg[m/s2]とすれば、対象物106の操作に必要な力の値を(M±m)×g[N]と設定できる。そのため、このステップS1621で計算された、ロボット101の座標系における鉛直方向の合力がこの設定値の範囲内ならば、適切な力がロボット101に印加されているものと考えられる。この設定値は予め設計者が決めておくことができる。また、この設定値として、対象物106に対応するような値を予め設定しておいてもよい。さらに、この設定値は、対象物106の操作に必要な値を設定できれば他の方法で設定してもよい。異常判定部204は、このような設定値を用いて、ステップS1620で導出された力・トルク情報に示される力・トルクがどの範囲にあるかを判定する。 Parameters such as the value which is a range necessary for gripping or transporting, and the value of a range in which the object 106 and the peripheral object 107 are not damaged are set in advance as follows by a designer, for example. First, it is assumed that the mass of the object 106 is M [g] and the variation thereof is ± m [g]. In this case, the mass of the object 106 is set to M ± m [g]. Therefore, assuming that the gravitational acceleration is g [m / s 2 ], the value of the force necessary for the operation of the object 106 can be set as (M ± m) × g [N]. Therefore, if the resultant force in the vertical direction in the coordinate system of the robot 101 calculated in the step S1621 is within the range of the setting value, it is considered that an appropriate force is applied to the robot 101. This set value can be determined in advance by the designer. In addition, a value corresponding to the object 106 may be set in advance as the setting value. Furthermore, this setting value may be set by another method as long as a value necessary for the operation of the object 106 can be set. The abnormality determination unit 204 determines which range the force / torque indicated by the force / torque information derived in step S1620 is by using such a set value.
次に、ステップS1652では、異常判定部204は、対象物106の動きがロボット101のエンドエフェクタ(把持部)の動きと同期しているか否かを判定する。対象物106の動きは、例えば、ステップS1640の計測の結果(対象物106の位置および姿勢の変化)に基づいて導出される。ロボット101のエンドエフェクタ(把持部)の動きは、例えば、ロボット101のエンドエフェクタの先端部分の位置および姿勢の情報と、ロボット101の関節の角度の情報とに基づいて、順運動学を用いた計算を行うことによって導出される。異常判定部204は、これら2つ(ロボット101のエンドエフェクタおよび対象物106)の位置および姿勢の変化の情報を比較することによって、対象物106の動きと、ロボット101のエンドエフェクタ(把持部)の動きと同期の有無を判定する。この判定を行うことによって、対象物106がロボット101によってどの程度正確に操作されているかを判定できるというメリットがある。 Next, in step S1652, the abnormality determination unit 204 determines whether the movement of the object 106 is synchronized with the movement of the end effector (grip unit) of the robot 101. The movement of the object 106 is derived based on, for example, the result of the measurement in step S1640 (change in the position and orientation of the object 106). The motion of the end effector (gripping portion) of the robot 101 uses, for example, forward kinematics based on the information on the position and posture of the tip portion of the end effector of the robot 101 and the information on the angles of the joints of the robot 101 It is derived by performing a calculation. The abnormality determination unit 204 compares the information on changes in the position and orientation of the two (the end effector of the robot 101 and the object 106), thereby to move the object 106 and the end effector (gripping portion) of the robot 101. Determine if there is motion or synchronization. By performing this determination, it is possible to determine how accurately the object 106 is operated by the robot 101.
次に、ステップS1653では、異常判定部204は、ステップS1640の計測の結果(対象物106の位置および姿勢の変化)に基づいて、周辺物107の動きの有無を判定する。この判定を行うことによって、周辺物107がロボット101による対象物106の操作の影響を受けているかどうかを判定できるというメリットがある。
次に、ステップS1654では、異常判定部204は、ステップS1651からステップS1653の判定の結果に基づいて、異常判定処理を行う。
Next, in step S1653, the abnormality determination unit 204 determines the presence or absence of the movement of the surrounding object 107 based on the result of the measurement in step S1640 (change in the position and orientation of the object 106). By performing this determination, it is possible to determine whether or not the peripheral object 107 is affected by the operation of the object 106 by the robot 101.
Next, in step S1654, the abnormality determination unit 204 performs an abnormality determination process based on the determination results of steps S1651 to S1653.
図9は、異常判定処理の内容の一例を表形式で示す図である。以下、図9を参照しながら、異常判定処理の一例を説明する。
まず、異常判定部204は、ステップS1620で導出された力・トルク情報に示される力およびトルクが、図9の「A.対象物を把持するのに必要な把持力の最低値以上」に該当するか否かを判定する。また、異常判定部204は、ステップS1620で導出された力・トルク情報に示される力およびトルクが、図9の「B.対象物が破損しない範囲の値以下」に該当するか否かを判定する。この判定は、図8のステップS1651の力およびトルクの判定の結果に従って行われる。
FIG. 9 is a diagram showing an example of the content of the abnormality determination process in the form of a table. Hereinafter, an example of the abnormality determination process will be described with reference to FIG.
First, the abnormality determination unit 204 determines that the force and torque indicated in the force / torque information derived in step S 1620 correspond to “A. Minimum value of gripping force necessary to grip the object” in FIG. It is determined whether to do. In addition, the abnormality determination unit 204 determines whether or not the force and torque indicated in the force / torque information derived in step S1620 correspond to “B. Value or less of the range in which the object is not damaged” in FIG. Do. This determination is performed according to the result of the determination of the force and torque of step S1651 of FIG.
次に、異常判定部204は、「a.対象物の動きは把持部と同期している」に該当するか否かと「b.周辺物の動きがある」に該当するか否かを判定する。この判定は、図8のステップS1652およびステップS1653の判定の結果に従って行われる。 Next, the abnormality determination unit 204 determines whether or not “a. The movement of the object is synchronized with the gripping unit” and whether or not “b. The movement of the peripheral object is”. . This determination is performed in accordance with the results of the determinations in steps S1652 and S1653 of FIG.
図9では、該当する場合を「Yes」と表記し、該当しない場合を「No」と表記する。例えば、「A.対象物を把持するのに必要な把持力の最低値以上」、「B.対象物が破損しない範囲の値以下」、「a.対象物の動きは把持部と同期している」および「b.周辺物の動きがある」の全てに該当する場合には、ケース2に分類される。 In FIG. 9, the applicable case is described as "Yes", and the case not applicable is described as "No". For example, "A or more of the minimum value of the gripping force necessary to grip the object", "B or less of the value of the range in which the object is not broken", "a. And “b. There is movement of peripheral objects”, it is classified into Case 2.
このような判定によって、マニピュレーション中の状態が、ケース1〜6の何れかのケースに分類される。尚、前記把持力は、エンドエフェクタによる対象物106の保持力である。例えば、エンドエフェクタが対象物106を吸着するものである場合には、前記把持力は吸着力に置き換えられる。 According to such a determination, the state during manipulation is classified into any of the cases 1 to 6. The gripping force is a holding force of the object 106 by the end effector. For example, when the end effector adsorbs the object 106, the gripping force is replaced by the attracting force.
以下、それぞれのケースに対する異常判定処理について説明する。ここでは、対象物106を把持しているロボット101のエンドエフェクタにかかっている力を用いて、ロボット101の動作の異常の有無を判定する場合を例に挙げて説明する。しかしながら、力をトルクに置き換えて適用してもよい。また、力とトルクの双方を用いてもよい。 Hereinafter, the abnormality determination process for each case will be described. Here, the case where the presence or absence of the abnormality of the operation of the robot 101 is determined using the force applied to the end effector of the robot 101 gripping the object 106 will be described as an example. However, the force may be applied in place of torque. Also, both force and torque may be used.
ケース1では、力覚センサ105の計測値は、対象物106を把持するのに必要な把持力の最低値に対応する値以下である、という状況である。ここで、ステップS1651において、対象物106の操作に必要な力の値を(M±m)×g[N]と設定した場合には、対象物106を把持するのに必要な把持力は、(M−m)×g[N]になる。対象物106を操作できている場合には、力覚センサ105の計測結果は、少なくともこの値以上にはなるはずである。したがって、異常判定部204は、対象物106を正確に操作するために、ロボット101の把持力を力覚センサ105の計測値よりも上げると判定する。行動計画部205は、この判定の結果に従って、ロボット101の行動の計画を作成する。把持力を力覚センサ105の計測値以上に上げられない場合、異常判定部204は、ロボット101の動作に異常があると判定する。 In Case 1, the measurement value of the force sensor 105 is equal to or less than the value corresponding to the minimum value of the gripping force required to grip the object 106. Here, in the case where the value of the force necessary for operating the object 106 is set to (M ± m) × g [N] in step S1651, the gripping force necessary for gripping the object 106 is It becomes (M−m) × g [N]. If the object 106 can be manipulated, the measurement result of the force sensor 105 should be at least this value or more. Therefore, the abnormality determination unit 204 determines that the gripping force of the robot 101 is higher than the measurement value of the force sensor 105 in order to operate the object 106 accurately. The action planning unit 205 creates a plan of the action of the robot 101 according to the result of the determination. If the gripping force can not be increased beyond the measurement value of the force sensor 105, the abnormality determination unit 204 determines that the operation of the robot 101 is abnormal.
ケース2では、力覚センサ105の計測値は、対象物106を把持するのに必要な最低値に対応する値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース2では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しており、周辺物107に動きがある、という状況である。この場合、対象物106を正確に操作できているものの、対象物106と周辺物107とが干渉しており、ロボット101が周辺物107まで操作してしまっていると考えられる。このときは、周辺物107を操作せずに対象物106のみを操作するような操作方法を実現する必要がある。例えば、異常判定部204は、対象物106を操作するときの力およびトルクのベクトルの方向と、周辺物107の位置および姿勢の変化のオプティカルフローより検出された動きベクトルの方向とを比較する。この比較の結果、それらの方向が一致している場合、対象物106および周辺物107ともに操作方向に外力が印加されていると考えられる。この場合、異常判定部204は、対象物106に印加される外力の方向を変えて、周辺物107への影響をより小さくすると判定する。行動計画部205は、この判定の結果に従って、ロボット101の行動の計画を作成する。 In Case 2, the measurement value of the force sensor 105 is equal to or more than the value corresponding to the minimum value necessary to grip the object 106, or less than the value in the range not damaging the object 106 and the peripheral object 107. It is. Furthermore, in Case 2, the movement of the object 106 is synchronized with the movement of the end effector (gripping portion) of the robot 101, and the surrounding object 107 has a movement. In this case, although the object 106 can be accurately operated, the object 106 and the peripheral object 107 interfere with each other, and it is considered that the robot 101 has operated up to the peripheral object 107. At this time, it is necessary to realize an operation method of operating only the object 106 without operating the peripheral object 107. For example, the abnormality determination unit 204 compares the directions of force and torque vectors when operating the object 106 with the directions of motion vectors detected from the optical flow of changes in the position and posture of the peripheral object 107. As a result of this comparison, when the directions coincide with each other, it is considered that an external force is applied to the object 106 and the peripheral object 107 in the operation direction. In this case, the abnormality determination unit 204 changes the direction of the external force applied to the object 106, and determines that the influence on the peripheral object 107 is further reduced. The action planning unit 205 creates a plan of the action of the robot 101 according to the result of the determination.
ケース3では、力覚センサ105の計測値は、対象物106を把持するのに必要な把持力の最低値に対応する値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース3では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しており、周辺物107に動きがない、という状況である。この場合、ロボット101は、対象物106のみを操作していると考えられる。したがって、異常判定部204は、ロボット101が正常な動作を行っていると判定する。よって、行動計画部205は、ロボット101に、現在の動作を引き続き継続させる。 In Case 3, the measurement value of the force sensor 105 is not less than the value corresponding to the minimum value of the gripping force necessary to grip the object 106, and not more than the value in the range not damaging the object 106 and the peripheral object 107. The situation is Furthermore, in Case 3, the movement of the object 106 is synchronized with the movement of the end effector (gripping portion) of the robot 101, and the surrounding object 107 does not move. In this case, the robot 101 is considered to operate only the object 106. Therefore, the abnormality determination unit 204 determines that the robot 101 is performing a normal operation. Thus, the action planning unit 205 causes the robot 101 to continue the current operation.
ケース4では、力覚センサ105の計測値は、対象物106を把持するのに必要な把持力の最低値に対応する値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース4では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しておらず、周辺物107に動きがある、という状況である。この場合、周辺物107が動いていることから、ロボット101が印加している外力は作業空間内に影響を与えている。したがって、ロボット101の動作を継続することによって対象物106を動かすことができる可能性がある。 In case 4, the measurement value of the force sensor 105 is not less than a value corresponding to the minimum value of the gripping force necessary to grip the object 106 and not more than a value in a range where the object 106 and the peripheral object 107 are not damaged. The situation is Furthermore, in Case 4, the movement of the object 106 is not synchronized with the movement of the end effector (gripping portion) of the robot 101, and the peripheral object 107 has a movement. In this case, since the peripheral object 107 is moving, the external force applied by the robot 101 affects the work space. Therefore, there is a possibility that the object 106 can be moved by continuing the movement of the robot 101.
この場合、対象物106および周辺物107の動きの度合いによって、ロボット101の動作の異常の検知の判定結果が異なる。例えば、対象物106が全く動いておらず、周辺物107のみが動いているような場合、ロボット101は対象物106ではなく周辺物107を操作している可能性がある。したがって、異常判定部204は、ロボット101の動作に異常があると判定する。逆に、対象物106の動きがある場合、異常判定部204は、周辺物107の動きの変化を元に、ロボット101の動作に異常があるか否かを判定する。この判定の結果、ロボット101の動作に異常がないと判定された場合、行動計画部205は、ロボット101に、現在の動作を引き続き継続させる。 In this case, the determination result of the detection of the abnormality of the operation of the robot 101 differs depending on the degree of the movement of the object 106 and the peripheral object 107. For example, if the object 106 is not moving at all and only the peripheral object 107 is moving, the robot 101 may be operating the peripheral object 107 instead of the object 106. Therefore, the abnormality determination unit 204 determines that the operation of the robot 101 is abnormal. Conversely, when there is a movement of the object 106, the abnormality determination unit 204 determines whether there is an abnormality in the movement of the robot 101 based on the change in the movement of the peripheral object 107. If it is determined that the operation of the robot 101 is not abnormal as a result of this determination, the action planning unit 205 causes the robot 101 to continue the current operation.
周辺物107の動きの度合いは、例えば、ステップS1643により判定された、周辺物107の位置および姿勢の変化が、どの程度であるかによって定めることができる。例えば、異常判定部204は、オプティカルフローを求めることにより検出された動きベクトルが、作業空間全体を格子状に区切った時に、その全体の面積に対してどの程度の領域に該当するかによって、周辺物107の動きの度合いを求めることができる。異常判定部204は、作業空間全体に対して、動きベクトルの存在する領域(動きのある領域)が予め設定された領域以上の場合に、ロボット101の動きに異常があると判定する。ただし、周辺物107の動きの度合いが分かる方法であれば、必ずしもこのような方法を用いる必要はない。例えば、背景差分を用いる方法などを、周辺物107の動きの度合いを導出する方法として採用してもよい。また、周辺物107の動きの状況も考慮する必要がある。例えば、周辺物107の動きの変化から、このままの動作では対象物106および周辺物107が本来入っているべき容器の外に出てしまうような動きの変化が観測された場合、異常判定部204は、ロボット101の動作を継続すべきでないと判定する。 The degree of movement of the peripheral object 107 can be determined, for example, by the degree of change in the position and orientation of the peripheral object 107 determined in step S1643. For example, when the motion vector detected by obtaining the optical flow divides the entire work space into a grid, the abnormality determination unit 204 determines whether the area corresponds to the area of the entire area. The degree of movement of the object 107 can be obtained. The abnormality determination unit 204 determines that there is an abnormality in the movement of the robot 101 when the area in which the motion vector exists (the area with movement) is equal to or more than the area set in advance in the entire work space. However, as long as the degree of movement of the peripheral object 107 can be determined, such a method need not necessarily be used. For example, a method using a background difference may be adopted as a method of deriving the degree of movement of the peripheral object 107. Also, it is necessary to consider the movement of the peripheral object 107. For example, if a change in movement is observed such that the object 106 and the peripheral object 107 move out of the container in which the object 106 and the peripheral object 107 should originally enter from the change in movement of the peripheral object 107, the abnormality determination unit 204 Determines that the operation of the robot 101 should not be continued.
ケース5では、力覚センサ105の計測値は、対象物106を把持するのに必要な最低値に対応する値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース5では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しておらず、周辺物107に動きがない、という状況である。この場合、対象物106が周辺物107の下に埋もれていて、外力を印加してもいずれの物体も操作できていないという状況や、対象物106および周辺物107が入っている容器に対して外力を印加してしまっているといった状況が考えられる。 In Case 5, the measurement value of the force sensor 105 is equal to or greater than a value corresponding to the minimum value necessary to grip the object 106, or less than a value in a range where the object 106 and the peripheral object 107 are not damaged. It is. Furthermore, in Case 5, the movement of the object 106 is not synchronized with the movement of the end effector (gripping portion) of the robot 101, and the peripheral object 107 does not move. In this case, for the situation where the object 106 is buried under the surrounding object 107 and no object can be manipulated even when an external force is applied, or for a container containing the object 106 and the surrounding object 107 A situation where an external force is applied may be considered.
ただし、ロボット101の動作を継続することによって対象物106を動かすことができる可能性がある。したがって、異常判定部204は、ロボット101の把持力が、対象物106を破損しない範囲の値以下である限り、ロボット101の動作に異常があるとは判定しない。この場合、行動計画部205は、ロボット101に、現在の動作を引き続き継続させる。ただし、急激に外力が変化するような場合には、異常判定部204は、印加する外力を変更する必要があると判定する。行動計画部205は、この判定の結果に基づいて、対象物106の破損を防ぐためにロボット101の動作方向を変更したり、動作速度を遅くしたりするように、ロボット101の行動の計画を作成する。 However, there is a possibility that the object 106 can be moved by continuing the operation of the robot 101. Therefore, the abnormality determination unit 204 does not determine that the operation of the robot 101 is abnormal as long as the gripping force of the robot 101 is equal to or less than the value of the range in which the object 106 is not damaged. In this case, the behavior planning unit 205 causes the robot 101 to continue the current motion. However, when the external force changes rapidly, the abnormality determination unit 204 determines that the external force to be applied needs to be changed. Based on the result of this determination, the action planning unit 205 creates a plan of the action of the robot 101 so as to change the movement direction of the robot 101 or to reduce the movement speed in order to prevent the breakage of the object 106. Do.
ケース6では、力覚センサ105の計測値は、対象物106を把持するのに必要な最低値に対応する値以上であり、且つ、対象物106および周辺物107を破損しない範囲の値も越えている、という状況である。この場合、ロボット101の操作を行うことで対象物106および周辺物107のいずれか一つ以上を破損してしまうので、異常判定部204は、対象物106および周辺物107の動きに関わらず、ロボット101の動作に異常があると判定する。 In Case 6, the measurement value of the force sensor 105 is equal to or more than the value corresponding to the minimum value necessary to grip the object 106, and the value in the range not damaging the object 106 and the peripheral object 107 is also exceeded. The situation is In this case, since one or more of the object 106 and the peripheral object 107 are damaged by operating the robot 101, the abnormality determination unit 204 determines whether the movement of the object 106 and the peripheral object 107 is performed. It is determined that the operation of the robot 101 is abnormal.
以上が異常判定処理で行われる内容の一例である。ただし、対象物106と周辺物107の位置および姿勢の変化を得ることができれば、その方法としてその他の方法を採用してもよい。例えば、対象物106と周辺物107とのそれぞれに、位置および姿勢を計測できるセンサを付けておき、そのセンサからの情報を読み取ることにより、対象物106および周辺物107の位置および姿勢の変化を得てもよい。 The above is an example of the content performed in the abnormality determination process. However, as long as changes in the position and posture of the object 106 and the peripheral object 107 can be obtained, other methods may be adopted as the method. For example, a sensor capable of measuring the position and orientation is attached to each of the object 106 and the peripheral object 107, and changes in the position and orientation of the object 106 and the peripheral object 107 are obtained by reading information from the sensor. You may get it.
また、ロボット101の動作の異常の度合いを判定できるのであれば、ステップS1651〜S1654以外の異常判定処理を行ってもよい。例えば、その他の異常判定処理として、ロボット101を用いたマニピュレーションによって、対象物106および周辺物107が本来入っているべき容器内からどの程度落下してしまうかを、機械学習を用いて、評価関数として設定する。 Further, as long as the degree of abnormality of the operation of the robot 101 can be determined, abnormality determination processing other than steps S1651 to S1654 may be performed. For example, as another abnormality determination processing, an evaluation function, using machine learning, to what extent the object 106 and the peripheral object 107 fall from the inside of the container that should originally be contained by manipulation using the robot 101. Set as.
このとき、ステップS1651の処理で力覚センサ105により計測された力およびトルクが想定される範囲に対してどの程度近いか、また、ステップS1643の処理で判定された位置および姿勢の変化がどの程度かといった情報を入力値として用いる。力およびトルクについてはスカラー値として求められる。 At this time, how close is the force and torque measured by force sensor 105 in the process of step S1651 to the assumed range, and how much the change in position and posture determined in the process of step S1643 is Information such as is used as an input value. The forces and torques are determined as scalar values.
したがって、力覚センサ105により計測された力およびトルクと、一次元で設定された閾値とを比較することにより、異常の度合いを決定できる。力覚センサ105により計測された力およびトルクが、対象物106を把持できている範囲内にあるか、あるいは対象物106を把持しているものの干渉がある領域にあるかといった異常の度合いの違いを用いる。これらの入力値に対しての評価関数の挙動の違いを判別することによって、入力パラメータに対する異常の度合いを機械学習させ、異常判定処理を実現する。 Therefore, the degree of abnormality can be determined by comparing the force and torque measured by the force sensor 105 with the threshold set in one dimension. Difference in the degree of abnormality such as whether the force and torque measured by the force sensor 105 are within the range in which the object 106 can be gripped or in the region where interference is present while gripping the object 106 Use By determining the difference in behavior of the evaluation function with respect to these input values, machine learning of the degree of abnormality with respect to the input parameters is realized, and abnormality determination processing is realized.
また、ケース2における異常判定処理を、後述する第2の実施形態で説明するケース12または第3の実施形態で説明するケース22のようにしてもよい。同様に、ケース4における異常判定処理を、後述する第2の実施形態で説明するケース14または第3の実施形態で説明するケース24のようにしてもよい。 In addition, the abnormality determination process in Case 2 may be similar to Case 12 described in the second embodiment described later or Case 22 described in the third embodiment. Similarly, the abnormality determination process in Case 4 may be similar to Case 14 described in the second embodiment described later or Case 24 described in the third embodiment.
異常判定処理(ステップS1654の処理)が終わった後、図3のステップS1700へ移行する。
ステップS1700では、行動計画部205は、ステップS1600の異常検知処理における判定の結果に基づいて、ロボット101の動作を終了するか否かを判定する。この判定の結果、ロボットの動作を終了しない(すなわち、ロボット101の動作を継続する)場合には、ステップS1400へ戻り処理を続行する。その際、異常検知処理の判定の結果で、ロボット101の動作が変わる場合、行動計画部205は、その結果に基づいて、再度、ロボット101の行動を計画する。例えば、行動計画部205は、対象物106の搬送経路を変更したり、ロボット101の動作速度を変更したりする。また、操作位置を変更したり、把持対象を変更したりする場合には、ステップS1800へ移行した後、再度ステップS1100に戻り、処理を続行する。
After the abnormality determination process (the process of step S <b> 1654) is finished, the process proceeds to step S <b> 1700 in FIG. 3.
In step S1700, the action planning unit 205 determines whether to end the operation of the robot 101 based on the determination result in the abnormality detection process of step S1600. As a result of the determination, if the operation of the robot is not ended (that is, the operation of the robot 101 is continued), the process returns to step S1400 to continue the processing. At that time, if the motion of the robot 101 changes as a result of the determination of the abnormality detection processing, the behavior planning unit 205 replans the behavior of the robot 101 based on the result. For example, the action planning unit 205 changes the transport path of the object 106 or changes the operation speed of the robot 101. Further, in the case of changing the operation position or changing the gripping target, the process proceeds to step S1800, and then returns to step S1100 again to continue the process.
一方、ロボット101の動作を終了する(すなわち、ロボット101の動作を継続しない)場合には、ステップS1800に進む。ステップS1800では、情報処理装置104は、画像取得部201で取得された画像情報に基づいて、処理を終了するか否か(次の対象物106が存在するか否か)を検知する。この判定の結果、次の対象物106が存在し、処理を終了しない場合には、ステップS1100に戻り処理を続行する。一方、次の対象物106が存在せず、処理を終了する場合には、図3のフローチャートによる処理を終了する。 On the other hand, when the operation of the robot 101 is ended (that is, the operation of the robot 101 is not continued), the process proceeds to step S1800. In step S1800, based on the image information acquired by the image acquisition unit 201, the information processing apparatus 104 detects whether to end the process (whether or not the next object 106 exists). As a result of this determination, if the next object 106 is present and the process is not ended, the process returns to step S1100 to continue the process. On the other hand, when the next object 106 does not exist and the processing is ended, the processing according to the flowchart of FIG. 3 is ended.
以上のように本実施形態では、ロボット101で対象物106を操作しているときに力覚センサ105により計測された力覚情報に基づいて、ロボット101のエンドエフェクタにかかっている力およびトルクを導出する。また、ロボット101で対象物106を操作しているときに撮像装置102により撮像された画像情報に基づいて、対象物106と周辺物107の位置および姿勢の変化を導出する。そして、ロボット101のエンドエフェクタにかかっている力およびトルクと、対象物106および周辺物107の位置および姿勢の変化とに基づいて、マニピュレーション中のロボット101の動作が異常であるか否かを判定する。したがって、例えば、対象物106をマニピュレーションする際に、対象物106と周辺物107とが山積み状態になっており干渉している場合においても、より正確なマニピュレーションを実現することができる。そのため、対象物106とその他の物体の干渉の状態をより正確に判別し、その判別の結果に基づいてロボット101の動作の異常を確実に検知することができる。よって、ロボット101が作業を継続することができる状況を拡大することができる。 As described above, in the present embodiment, the force and torque applied to the end effector of the robot 101 are calculated based on the force sense information measured by the force sensor 105 when the object 106 is operated by the robot 101. To derive. Further, based on the image information captured by the imaging device 102 when the object 106 is operated by the robot 101, changes in the position and orientation of the object 106 and the peripheral object 107 are derived. Then, based on the force and torque applied to the end effector of the robot 101 and the change in the position and posture of the object 106 and the peripheral object 107, it is determined whether or not the operation of the robot 101 during manipulation is abnormal. Do. Therefore, for example, when the object 106 is manipulated, even when the object 106 and the peripheral object 107 are piled up and interfere with each other, more accurate manipulation can be realized. Therefore, it is possible to more accurately determine the state of interference between the object 106 and other objects, and to reliably detect an abnormality in the operation of the robot 101 based on the result of the determination. Therefore, the situation where the robot 101 can continue the work can be expanded.
(第2の実施形態)
次に、第2の実施形態を説明する。第1の実施形態では、ロボット101のエンドエフェクタ(把持部)にかかる力およびトルクを計測する力覚センサ105を用いて、ロボット101の動作の異常を検知する場合を例に挙げて説明した。これに対して、本実施形態では、ロボット101のエンドエフェクタにおける把持力を計測するセンサを用いて、ロボット101の動作の異常を検知する。このように本実施形態と第1の実施形態は、主に、力覚センサによる計測の対象が異なると共に、力覚センサによる計測の対象が異なることによる処理の一部が異なる。したがって、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図9に付した符号と同一の符号を付すなどして詳細な説明を省略する。
Second Embodiment
Next, a second embodiment will be described. In the first embodiment, the case where abnormality in the operation of the robot 101 is detected using the force sensor 105 that measures the force and torque applied to the end effector (gripping portion) of the robot 101 has been described as an example. On the other hand, in the present embodiment, an abnormality in the operation of the robot 101 is detected by using a sensor that measures the gripping force of the end effector of the robot 101. As described above, in the present embodiment and the first embodiment, the target of measurement by the force sensor is mainly different, and a part of the process by the target of measurement by the force sensor is different. Therefore, in the description of the present embodiment, the same parts as those in the first embodiment are denoted by the same reference numerals as those in FIGS. 1 to 9, and the detailed description will be omitted.
図10は、ロボットシステムの構成の一例を示す図である。図10に示すロボットシステムは、図1に示すロボットシステムに対して、力覚センサ105がなくなり、把持力計測センサ108が追加されたものである。図10は、機器の構成の一例であり、本発明の適用範囲を限定するものではない。 FIG. 10 is a diagram showing an example of the configuration of a robot system. The robot system shown in FIG. 10 is the robot system shown in FIG. 1 except that the force sensor 105 is eliminated and a gripping force measuring sensor 108 is added. FIG. 10 is an example of the configuration of the device, and does not limit the scope of the present invention.
把持力計測センサ108は、ロボット101のエンドエフェクタの把持部の根本に取り付けられている。本実施形態の把持力計測センサ108は、ひずみゲージや圧電素子を用いて構成され、ロボット101で把持した対象物106を把持あるいは搬送しているときの把持力を計測する力覚センサである。把持力計測センサ108で取得される力覚情報は、情報処理装置104にて処理される。 The gripping force measurement sensor 108 is attached to the root of the gripping portion of the end effector of the robot 101. The gripping force measurement sensor 108 according to the present embodiment is a force sensor that is configured using a strain gauge or a piezoelectric element, and measures the gripping force when gripping or transporting the object 106 gripped by the robot 101. The force sense information acquired by the gripping force measurement sensor 108 is processed by the information processing apparatus 104.
本実施形態において、マニピュレーション中のロボット101の動作の異常を検知するための情報処理装置104の機能要素の構成と機能要素間の関係は図2に示したものと同じである。ただし、図2に示す力覚センサ105は把持力計測センサ108に代わる。
また、本実施形態において、ロボットシステムを実現するための情報処理装置104の処理の一例を示すフローチャートは図3と同じである。ただし、本実施形態では、ステップS1600の異常検知処理が以下のようになる。
In the present embodiment, the configuration of functional elements of the information processing apparatus 104 for detecting an abnormality in the operation of the robot 101 during manipulation and the relationship between the functional elements are the same as those shown in FIG. However, the force sensor 105 shown in FIG. 2 replaces the gripping force measuring sensor 108.
Further, in the present embodiment, a flowchart showing an example of processing of the information processing apparatus 104 for realizing the robot system is the same as FIG. 3. However, in the present embodiment, the abnormality detection process in step S1600 is as follows.
図11は、本実施形態における異常検知処理(図3のステップS1600に対応するステップS1600'の詳細な処理)の一例を説明するフローチャートである。以下、図11のフローチャートに従って、異常検知処理の手順を説明する。
ステップS1600'は、本実施形態で行われる異常検知処理である。図5に示したステップS1600と異なるステップS1620'およびステップS1650'について説明する。
FIG. 11 is a flowchart illustrating an example of the abnormality detection process (detailed process of step S1600 ′ corresponding to step S1600 of FIG. 3) in the present embodiment. Hereinafter, the procedure of the abnormality detection process will be described according to the flowchart of FIG.
Step S1600 'is an abnormality detection process performed in the present embodiment. Step S1620 'and step S1650' which are different from step S1600 shown in FIG. 5 will be described.
ステップS1620'では、力・トルク計測部208は、ステップS1610で取得された力覚情報に基づき、第1の導出処理を実行する。第1の導出処理は、ロボット101が対象物106を把持したときの力覚情報として、ロボット101の把持力を導出する処理である。
図12は、図11のステップS1620'の詳細な処理の一例を説明するフローチャートである。以下、ステップS1620'に該当するステップS1621'からステップS1622'の処理の手順を図12のフローチャートに従って説明する。
In step S1620 ′, the force / torque measurement unit 208 executes the first derivation process based on the force sense information acquired in step S1610. The first derivation process is a process of deriving the gripping force of the robot 101 as force sense information when the robot 101 grips the object 106.
FIG. 12 is a flowchart for explaining an example of the detailed process of step S1620 ′ of FIG. Hereinafter, the procedure of the processes of steps S1621 'to S1622' corresponding to step S1620 'will be described according to the flowchart of FIG.
ステップS1621'では、力・トルク計測部208は、力覚情報から得られたロボット101が対象物106を操作しているときの力として、ロボット101の把持力を計算する。ロボット101のエンドエフェクタが対象物106を把持する力がステップS1621'で計算される。このとき、ロボット101のエンドエフェクタが対象物106を把持する力は、把持方向のスカラー値として求まる。したがって、力・トルク計測部208は、このスカラー値を計算する。このようにして計算される、ロボット101のエンドエフェクタが対象物106を把持する力は、ステップS1622'の処理で用いられる。尚、ロボット101のエンドエフェクタが対象物106を把持する力が求まるならば、ロボット101の把持力を計算する方法は、その他の方法でもよい。 In step S1621 ', the force / torque measurement unit 208 calculates the gripping force of the robot 101 as a force when the robot 101 obtained from the force sense information is operating the object 106. The force with which the end effector of the robot 101 grips the object 106 is calculated in step S1621 '. At this time, the force with which the end effector of the robot 101 grips the object 106 is obtained as a scalar value in the gripping direction. Therefore, the force / torque measurement unit 208 calculates this scalar value. The force by which the end effector of the robot 101 grips the object 106, which is calculated in this manner, is used in the process of step S1622 '. If the end effector of the robot 101 can obtain the force for gripping the object 106, the method of calculating the gripping force of the robot 101 may be another method.
次に、ステップS1622'では、力・トルク計測部208は、ステップS1621'で計算されたロボット101の把持力に基づいて、把持力情報判定処理を行う。具体的に力・トルク計測部208は、ロボット101の把持力が、対象物106の把持に適切な値であるか否かを判定する。例えば、対象物106の質量がM[g]であり、そのばらつきが±m[g]であるとする。この場合、対象物106の質量をM±m[g]と設定する。したがって、重力加速度をg[m/s2]、静止摩擦係数をμとすれば、対象物106を把持するのに必要な力は(M±m)×μ×g[N]となる。そのため、このステップS1621'で求めた把持力がこの設定値以上ならば、対象物106を把持するのに必要な力がロボット101に印加されているものと考えられる。 Next, in step S1622 ', the force / torque measurement unit 208 performs gripping force information determination processing based on the gripping force of the robot 101 calculated in step S1621'. Specifically, the force / torque measurement unit 208 determines whether the gripping force of the robot 101 is an appropriate value for gripping the object 106. For example, it is assumed that the mass of the object 106 is M [g] and the variation thereof is ± m [g]. In this case, the mass of the object 106 is set to M ± m [g]. Therefore, assuming that the gravitational acceleration is g [m / s 2 ] and the static friction coefficient is μ, the force required to grip the object 106 is (M ± m) × μ × g [N]. Therefore, if the gripping force obtained in step S1621 'is equal to or greater than this set value, it is considered that the force necessary to grip the object 106 is being applied to the robot 101.
この設定値は予め設計者が決めておくことができる。また、この設定値として、対象物106に対応するような値を予め設定しておいてもよい。さらに、この設定値は、対象物106の操作に必要な値を設定できれば他の方法で設定してもよい。
以上のようにして図11のステップS1620'の処理が実行される。
This set value can be determined in advance by the designer. In addition, a value corresponding to the object 106 may be set in advance as the setting value. Furthermore, this setting value may be set by another method as long as a value necessary for the operation of the object 106 can be set.
As described above, the process of step S 1620 ′ of FIG. 11 is performed.
図11のステップS1650'では、異常判定部204は、ステップS1620'で計算されたロボット101の把持力と、ステップS1640で導出された対象物106および周辺物107の位置および姿勢の変化とに基づいて、異常判定を行う。異常判定部204では、把持力計測センサ108および撮像装置102(ビジョンセンサ)からの複数の情報を入力として、ロボット101の動作の異常の度合いの判定結果を出力とする。図13は、図11のステップS1650'の詳細な処理の一例を説明するフローチャートである。以下、ステップS1650'に該当し、ステップS1650と処理が異なるステップS1651'およびステップS1654'の処理の手順を、図13のフローチャートに従って説明する。 In step S1650 'of FIG. 11, the abnormality determination unit 204 is based on the gripping force of the robot 101 calculated in step S1620' and changes in the position and orientation of the target object 106 and the peripheral object 107 derived in step S1640. To make an abnormality judgment. The abnormality determination unit 204 receives a plurality of pieces of information from the holding force measurement sensor 108 and the imaging device 102 (vision sensor) and outputs a determination result of the degree of abnormality of the operation of the robot 101. FIG. 13 is a flowchart for explaining an example of the detailed process of step S1650 'of FIG. The procedure of steps S1651 ′ and S1654 ′ corresponding to step S1650 ′ and different in processing from step S1650 will be described below with reference to the flowchart of FIG.
ステップS1651'では、異常判定部204は、ステップS1620'で計算されたロボット101の把持力が予め設定された範囲のうち、どの範囲にあるのかを判定する。例えば、異常判定部204は、ステップS1620'で計算されたロボット101の把持力が、対象物106の把持に必要な値以上であるか否かを判定する。また、異常判定部204は、ステップS1620'で計算されたロボット101の把持力が、対象物106および周辺物107を破損しない範囲内であるか否かを判定する。 In step S1651 ', the abnormality determination unit 204 determines which range of the preset range the gripping force of the robot 101 calculated in step S1620' is. For example, the abnormality determination unit 204 determines whether the gripping force of the robot 101 calculated in step S1620 ′ is equal to or greater than a value necessary for gripping the object 106. Further, the abnormality determination unit 204 determines whether or not the gripping force of the robot 101 calculated in step S1620 ′ is within a range that does not damage the object 106 and the peripheral object 107.
この把持に必要な値や、対象物106および周辺物107を破損しない範囲の値といったパラメータは、例えば、設計者により予め設定される。
ステップS1651'の判定を行うことによって、ステップS1620'で計算されたロボット101の把持力に基づいて、対象物106を操作している力学的状態がどのような状態にあるかを分類できるというメリットがある。
Parameters, such as a value necessary for this gripping and a value of a range in which the object 106 and the peripheral object 107 are not damaged, are preset by, for example, a designer.
By performing the determination in step S1651 ', there is an advantage that it is possible to classify what kind of state the dynamic state of operating the object 106 is in based on the gripping force of the robot 101 calculated in step S1620'. There is.
ステップS1654'では、異常判定部204は、ステップS1651'、ステップS1652、およびステップS1653の判定の結果に基づいて、異常判定処理を行う。
図14は、異常判定処理の内容の一例を表形式で示す図である。以下、図14を参照しながら、異常判定処理の一例を説明する。
In step S1654 ', the abnormality determination unit 204 performs an abnormality determination process based on the determination results of step S1651', step S1652, and step S1653.
FIG. 14 is a diagram showing an example of the content of the abnormality determination process in the form of a table. Hereinafter, an example of the abnormality determination process will be described with reference to FIG.
まず、異常判定部204は、ステップS1620'で計算されたロボット101の把持力が図14の「C.対象物を把持するのに必要な把持力の最低値以上」に該当するか否かと「D.対象物が破損しない範囲の値以下」に該当するか否かを判定する。この判定は、ステップS1651'でのロボット101の把持力の判定の結果に従って行われる。 First, the abnormality determination unit 204 determines whether or not the gripping force of the robot 101 calculated in step S1620 ′ corresponds to “C. Minimum value of gripping force necessary to grip the object” in FIG. D. It is determined whether or not the target object falls under the value not exceeding the range of damage. This determination is performed according to the result of the determination of the gripping force of the robot 101 in step S1651 '.
次に、異常判定部204は、「c.対象物の動きは把持部と同期している」に該当するか否かと「d.周辺物の動きがある」に該当するか否かを判定する。この判定は、図13のステップS1652およびステップS1653の判定の結果に従って行われる。 Next, the abnormality determination unit 204 determines whether or not "c. The movement of the target object is synchronized with the grip part" and whether or not the "d. Movement of the peripheral object exists". . This determination is performed according to the results of the determinations in steps S1652 and S1653 of FIG.
図14でも、図9と同様に、該当する場合を「Yes」と表記し、該当しない場合を「No」と表記する。例えば、「C.対象物を把持するのに必要な把持力の最低値以上」、「D.対象物が破損しない範囲の値以下」、「c.対象物の動きは把持部と同期している」および「d.周辺物の動きがある」の全てに該当する場合には、ケース2に分類される。
このような判定によって、マニピュレーション中の状態が、ケース11〜16の何れかのケースに分類される。
Also in FIG. 14, in the same manner as FIG. 9, the corresponding case is described as “Yes”, and the case not corresponding is described as “No”. For example, “C. minimum value of gripping force required to grip the object”, “D. value or less in the range where the object is not broken”, “c. Movement of the object in synchronization with the gripping part And “d. There is movement of peripheral objects”, the case 2 is classified.
By such determination, the state during manipulation is classified into any of the cases 11-16.
以下、それぞれのケースに対する異常判定処理について説明する。
ケース11では、把持力計測センサ108の計測値は、対象物106を把持するのに必要な把持力の最低値以下である、という状況である。この場合、このままの把持力では対象物106を正確に操作できない。したがって、異常判定部204は、ロボット101の把持力を力覚センサ105の計測値よりも上げると判定する。行動計画部205は、この判定の結果に従って、ロボット101の行動の計画を作成する。把持力を把持力計測センサ108の計測値以上に上げられない場合、異常判定部204は、ロボット101の動作に異常があると判定する。
Hereinafter, the abnormality determination process for each case will be described.
In the case 11, the measurement value of the gripping force measurement sensor 108 is less than or equal to the minimum value of the gripping force required to grip the object 106. In this case, the object 106 can not be operated accurately with this holding force. Therefore, the abnormality determination unit 204 determines that the gripping force of the robot 101 is higher than the measurement value of the force sensor 105. The action planning unit 205 creates a plan of the action of the robot 101 according to the result of the determination. If the gripping force can not be increased beyond the measurement value of the gripping force measuring sensor 108, the abnormality determining unit 204 determines that the operation of the robot 101 is abnormal.
ケース12では、把持力計測センサ108の計測値は、対象物106を把持するのに必要な最低値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース12では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しており、周辺物107に動きがある、という状況である。この場合、ロボット101の動作は必ずしも正常であるとは判定できない。 In the case 12, the measurement value of the gripping force measurement sensor 108 is a condition not less than the minimum value necessary to grip the object 106 and not more than a value in a range where the object 106 and the peripheral object 107 are not damaged. Furthermore, in the case 12, the movement of the object 106 is synchronized with the movement of the end effector (gripping portion) of the robot 101, and the surrounding object 107 has a movement. In this case, the operation of the robot 101 can not necessarily be determined to be normal.
例えば、ロボット101によって対象物106を把持しているものの、対象物106と周辺物107とが干渉していることが想定される。そのため、異常判定部204は、周辺物107の動きの度合いを求め、その結果に基づいて、ロボット101の動作に異常があるか否かを判定する。具体的には、異常判定部204は、ステップS1643により判定された周辺物107の位置および姿勢の変化がどの程度かといった情報を用いることにより、周辺物107の動きの度合いを求める。 For example, although the robot 106 grips the object 106, it is assumed that the object 106 and the peripheral object 107 interfere with each other. Therefore, the abnormality determination unit 204 determines the degree of movement of the peripheral object 107, and based on the result, determines whether or not there is an abnormality in the operation of the robot 101. Specifically, the abnormality determination unit 204 obtains the degree of movement of the peripheral object 107 by using information on how much the change in the position and orientation of the peripheral object 107 determined in step S1643 is.
例えば、異常判定部204は、オプティカルフローを求めることにより検出された動きベクトルが、作業空間全体を格子状に区切った時に、その全体の面積に対してどの程度の領域に該当するかによって、周辺物107の動きの度合いを求めることができる。異常判定部204は、作業空間全体に対して、動きベクトルの存在する領域(動きのある領域)が予め設定された領域以上の場合に、ロボット101の動きに異常があると判定する。ただし、周辺物107の動きの度合いが分かる方法であれば、必ずしもこのような方法を用いる必要はない。例えば、背景差分を用いる方法などを、周辺物107の動きの度合いを導出する方法として採用してもよい。また、周辺物107の動きの状況も考慮する必要がある。例えば、周辺物107の動きの変化から、このままの動作では対象物106および周辺物107が本来入っているべき容器の外に出てしまうような動きの変化が観測された場合、異常判定部204は、ロボット101の動作を継続すべきでないと判定する。 For example, when the motion vector detected by obtaining the optical flow divides the entire work space into a grid, the abnormality determination unit 204 determines whether the area corresponds to the area of the entire area. The degree of movement of the object 107 can be obtained. The abnormality determination unit 204 determines that there is an abnormality in the movement of the robot 101 when the area in which the motion vector exists (the area with movement) is equal to or more than the area set in advance in the entire work space. However, as long as the degree of movement of the peripheral object 107 can be determined, such a method need not necessarily be used. For example, a method using a background difference may be adopted as a method of deriving the degree of movement of the peripheral object 107. Also, it is necessary to consider the movement of the peripheral object 107. For example, if a change in movement is observed such that the object 106 and the peripheral object 107 move out of the container in which the object 106 and the peripheral object 107 should originally enter from the change in movement of the peripheral object 107, the abnormality determination unit 204 Determines that the operation of the robot 101 should not be continued.
ケース13では、把持力計測センサ108の計測値は、対象物106を把持するのに必要な把持力の最低値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらにケース13では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しており、周辺物107に動きがない、という状況である。この場合、ロボット101は、対象物106のみを操作していると考えられる。したがって、異常判定部204は、ロボット101が正常な動作を行っていると判定する。よって、行動計画部205は、ロボット101に、現在の動作を引き続き継続させる。 In the case 13, the measurement value of the gripping force measuring sensor 108 is equal to or more than the minimum value of the gripping force necessary to grip the object 106 and not more than the value in the range not damaging the object 106 and the peripheral object 107. It is. Furthermore, in the case 13, the movement of the object 106 is synchronized with the movement of the end effector (gripping portion) of the robot 101, and the surrounding object 107 does not move. In this case, the robot 101 is considered to operate only the object 106. Therefore, the abnormality determination unit 204 determines that the robot 101 is performing a normal operation. Thus, the action planning unit 205 causes the robot 101 to continue the current operation.
ケース14では、把持力計測センサ108の計測値は、対象物106を把持するのに必要な把持力の最低値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース14では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しておらず、周辺物107に動きがある、という状況である。この場合、対象物106を把持している部分に滑りが生じているものと考えられる。そのため、異常判定部204は、ロボット101の把持力を、対象物106および周辺物107を破損しない限度値まで上げて処理を継続すると判定する。行動計画部205は、この判定の結果に従って、ロボット101の行動の計画を作成する。また、異常判定部204は、ロボット101の把持力を、対象物106および周辺物107を破損しない限度値まで上げられない場合、ロボット101の行動の動作に異常があると判定する。 In the case 14, the measurement value of the gripping force measuring sensor 108 is not less than the minimum value of the gripping force necessary to grip the object 106 and not more than the value in the range where the object 106 and the peripheral object 107 are not damaged. It is. Furthermore, in the case 14, the movement of the object 106 is not synchronized with the movement of the end effector (gripping portion) of the robot 101, and the peripheral object 107 has a movement. In this case, it is considered that slippage occurs in the portion holding the object 106. Therefore, the abnormality determination unit 204 determines that the gripping force of the robot 101 is increased to a limit value that does not damage the object 106 and the peripheral object 107 and the process is continued. The action planning unit 205 creates a plan of the action of the robot 101 according to the result of the determination. In addition, when the gripping force of the robot 101 can not be increased to a limit value that does not damage the object 106 and the peripheral object 107, the abnormality determining unit 204 determines that there is an abnormality in the action of the robot 101.
ケース15では、把持力計測センサ108の計測値は、対象物106を把持するのに必要な把持力の最低値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース15では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しておらず、周辺物107に動きがない、という状況である。この場合、ケース14のときと同様に、対象物106を把持している部分に滑りが生じているものと考えられる。 In the case 15, the measurement value of the gripping force measuring sensor 108 is not less than the minimum value of the gripping force necessary to grip the object 106, and not more than the value in the range not damaging the object 106 and the peripheral object 107. It is. Furthermore, in the case 15, the movement of the object 106 is not synchronized with the movement of the end effector (gripping portion) of the robot 101, and the peripheral object 107 does not move. In this case, as in the case 14, it is considered that slippage occurs in the portion holding the object 106.
ただし、ケース14のときと異なり、周辺物107の動きがないことから、対象物106が周辺物107の動かない部分に干渉していたり、周辺物107を動かせないように干渉していたりする状況である可能性がある。周辺物107の動かない部分としては、例えば対象物106および周辺物107が入っている容器そのものなどが考えられる。そのため、ケース15でもケース14と同様に、異常判定部204は、ロボット101の把持力を対象物106および周辺物107を破損しない限度値まで上げて処理を継続すると判定する。ただし、対象物106および周辺物107の変化をより正確に認識するために、この判定に加えて、異常判定部204は、ロボット101の動作速度を遅くすると判定する。行動計画部205は、この判定の結果に従って、ロボット101の行動の計画を作成する。また、異常判定部204は、ロボット101の把持力を、対象物106および周辺物107を破損しない限度値まで上げられない場合、ロボット101の行動の動作に異常があると判定する。 However, unlike the case 14, since there is no movement of the peripheral object 107, the object 106 interferes with the non-moving portion of the peripheral object 107 or interferes so that the peripheral object 107 can not be moved. It is possible. As a non-moving part of the peripheral object 107, for example, a container itself containing the object 106 and the peripheral object 107 can be considered. Therefore, in the case 15 as well as the case 14, the abnormality determination unit 204 determines that the gripping force of the robot 101 is increased to a limit value that does not damage the object 106 and the peripheral object 107 and the process is continued. However, in order to more accurately recognize changes in the object 106 and the peripheral object 107, in addition to this determination, the abnormality determination unit 204 determines that the operation speed of the robot 101 is to be reduced. The action planning unit 205 creates a plan of the action of the robot 101 according to the result of the determination. In addition, when the gripping force of the robot 101 can not be increased to a limit value that does not damage the object 106 and the peripheral object 107, the abnormality determining unit 204 determines that there is an abnormality in the action of the robot 101.
ケース16では、把持力計測センサ108の計測値は、対象物106を把持するのに必要な最低値以上であり、且つ、対象物106および周辺物107を破損しない範囲の値も越えている、という状況である。この場合、ロボット101の操作を行うことで対象物106および周辺物107のいずれか一つ以上を破損してしまうので、異常判定部204は、対象物106および周辺物107の動きに関わらず、ロボット101の動作に異常があると判定する。 In the case 16, the measurement value of the gripping force measurement sensor 108 is equal to or more than the minimum value necessary to grip the object 106, and also exceeds the value in the range not damaging the object 106 and the surrounding object 107. It is the situation that. In this case, since one or more of the object 106 and the peripheral object 107 are damaged by operating the robot 101, the abnormality determination unit 204 determines whether the movement of the object 106 and the peripheral object 107 is performed. It is determined that the operation of the robot 101 is abnormal.
以上が本実施形態における異常判定処理で行われる内容の一例である。ただし、異常判定処理の方法として、以上の方法以外の方法を採用してもよい。すなわち、ロボット101の把持力が、対象物106の把持に必要な値以上であるか否かと、対象物106および周辺物107を破損しない範囲の値以下であるか否かを判定できる方法であれば他の方法を採用してもよい。また、対象物106および周辺物107の位置および姿勢の変化を見られる方法であれば、他の方法を採用してもよい。 The above is an example of the content performed in the abnormality determination process in this embodiment. However, methods other than the above may be adopted as the method of the abnormality determination processing. That is, it can be determined whether the gripping force of the robot 101 is equal to or more than the value necessary for gripping the object 106 and whether it is equal to or less than the value in the range not damaging the object 106 and the peripheral object 107. Other methods may be adopted. Further, any other method may be employed as long as the change in the position and posture of the object 106 and the peripheral object 107 can be observed.
また、ケース12における異常判定処理を、第1の実施形態で説明したケース2または後述する第3の実施形態で説明するケース22のようにしてもよい。同様に、ケース14における異常判定処理を、第1の実施形態で説明したケース4または後述する第3の実施形態で説明するケース24のようにしてもよい。 Further, the abnormality determination process in the case 12 may be the case 2 described in the first embodiment or the case 22 described in the third embodiment to be described later. Similarly, the abnormality determination process in the case 14 may be similar to the case 4 described in the first embodiment or the case 24 described in the third embodiment to be described later.
以上のように本実施形態では、対象物106を操作中のロボット101の把持力を把持力計測センサ108により計測する。したがって、ロボット101のエンドエフェクタにかかる力およびトルクを計測しなくても、マニピュレーション中のロボット101の動作が異常であるか否かを正確に判定することができ、第1の実施形態で説明した効果と同じ効果が得られる。 As described above, in the present embodiment, the gripping force of the robot 101 in operation of the object 106 is measured by the gripping force measurement sensor 108. Therefore, it is possible to accurately determine whether or not the operation of the robot 101 during manipulation is abnormal without measuring the force and torque applied to the end effector of the robot 101, as described in the first embodiment. The same effect as the effect is obtained.
(第3の実施形態)
次に、第3の実施形態を説明する。第1の実施形態では、ロボット101のエンドエフェクタ(把持部)にかかる力およびトルクを計測する力覚センサ105を用いて、ロボット101の動作の異常を検知する場合を例に挙げて説明した。また、第2の実施形態では、ロボット101のエンドエフェクタ(把持部)の把持力を計測する把持力計測センサ108(力覚センサ)を用いて、ロボット101の動作の異常を検知する場合を例に挙げて説明した。これに対して、本実施形態では、ロボット101のエンドエフェクタ(把持部)のうち、対象物106を把持および搬送する際の対象物106との接触部分にかかる力およびトルクを直接的に計測する力覚センサを用いて、ロボット101の動作の異常を検知する。このように本実施形態と第1および第2の実施形態は、主に、力覚センサによる計測の対象が異なると共に、力覚センサによる計測の対象が異なることによる処理の一部が異なる。したがって、本実施形態の説明において、第1および第2の実施形態と同一の部分については、図1〜図14に付した符号と同一の符号を付すなどして詳細な説明を省略する。
Third Embodiment
Next, a third embodiment will be described. In the first embodiment, the case where abnormality in the operation of the robot 101 is detected using the force sensor 105 that measures the force and torque applied to the end effector (gripping portion) of the robot 101 has been described as an example. Also, in the second embodiment, an example is shown in which an abnormality in the operation of the robot 101 is detected using a gripping force measurement sensor 108 (force sensor) that measures the gripping force of the end effector (grip portion) of the robot 101. I mentioned to you. On the other hand, in the present embodiment, among the end effector (gripping portion) of the robot 101, the force and torque applied to the contact portion with the object 106 at the time of gripping and transporting the object 106 are directly measured. The force sensor is used to detect an abnormality in the operation of the robot 101. Thus, in the present embodiment and the first and second embodiments, the target of measurement by the force sensor is mainly different, and part of the processing by the target of measurement by the force sensor is different. Therefore, in the description of the present embodiment, the same parts as those in the first and second embodiments are denoted by the same reference numerals as those in FIGS. 1 to 14, and detailed description thereof will be omitted.
図15は、ロボットシステムの構成の一例を示す図である。図15に示すロボットシステムは、図1に示すロボットシステムに対して、力覚センサ105がなくなり、把持部力覚センサ109が追加されたものである。図15は、機器構成の一例であり、本発明の適用範囲を限定するものではない。 FIG. 15 is a diagram showing an example of the configuration of a robot system. The robot system shown in FIG. 15 is the robot system shown in FIG. 1 except that the force sensor 105 is eliminated and the grip portion force sensor 109 is added. FIG. 15 is an example of a device configuration, and does not limit the scope of the present invention.
把持部力覚センサ109は、ロボット101のエンドエフェクタの把持部のうち、把持する物体(対象物106)と接触する部分である把持接触部に取り付けられている。本実施形態の把持部力覚センサ109は、ひずみゲージや圧電素子を用いて構成され、ロボット101で対象物106を把持しているときの把持接触部にかかる力およびトルクを計測する力覚センサである。把持部力覚センサ109で取得される力覚情報は、情報処理装置104にて処理される。 The gripping portion force sensor 109 is attached to a gripping contact portion which is a portion of the gripping portion of the end effector of the robot 101 that contacts the object (target object 106) to be gripped. The gripping unit force sensor 109 according to the present embodiment is configured using a strain gauge or a piezoelectric element, and is a force sensor that measures the force and torque applied to the gripping contact unit when gripping the object 106 with the robot 101. It is. The force sense information acquired by the grip portion force sense sensor 109 is processed by the information processing apparatus 104.
本実施形態において、マニピュレーション中のロボット101の動作の異常を検知するための情報処理装置104の機能要素の構成と機能要素間の関係は図2に示したものと同じである。ただし、図2に示す力覚センサ105は把持部力覚センサ109に代わる。
また、本実施形態において、ロボットシステムを実現するための情報処理装置104の処理の一例を示すフローチャートは図3と同じである。ただし、本実施形態では、ステップS1600の異常検知処理が以下のようになる。
In the present embodiment, the configuration of functional elements of the information processing apparatus 104 for detecting an abnormality in the operation of the robot 101 during manipulation and the relationship between the functional elements are the same as those shown in FIG. However, the force sensor 105 shown in FIG.
Further, in the present embodiment, a flowchart showing an example of processing of the information processing apparatus 104 for realizing the robot system is the same as FIG. 3. However, in the present embodiment, the abnormality detection process in step S1600 is as follows.
図16は、本実施形態における異常検知処理(図3のステップS1600に対応するステップS1600' 'の詳細な処理)の一例を説明するフローチャートである。以下、図16のフローチャートに従って、異常検知処理の手順を説明する。
ステップS1600''は、本実施形態で行われる異常検知処理である。図5に示したステップS1600と異なるステップS1620''およびステップS1650''について説明する。
FIG. 16 is a flowchart illustrating an example of the abnormality detection process (detailed process of step S1600 ′ ′ corresponding to step S1600 of FIG. 3) in the present embodiment. The procedure of the abnormality detection process will be described below with reference to the flowchart of FIG.
Step S1600 '' is an abnormality detection process performed in the present embodiment. Step S1620 '' and step S1650 '' different from step S1600 shown in FIG. 5 will be described.
ステップS1620''では、力・トルク計測部208は、ステップS1610で取得された力覚情報に基づき、第1の導出処理を実行する。第1の導出処理は、把持接触部の力・トルク情報を計測する処理である。把持接触部の力・トルク情報は、対象物106をマニピュレーション中にロボット101のエンドエフェクタの把持接触部にかかる力およびトルクを示す情報である。
図17は、図16のステップS1602''の詳細な処理の一例を説明するフローチャートである。以下、ステップS1620''に該当するステップS1621''からステップS1622''の処理を、図17のフローチャートに従って説明する。
In step S1620 ′ ′, the force / torque measurement unit 208 executes the first derivation process based on the force sense information acquired in step S1610. The first derivation process is a process of measuring the force / torque information of the gripping contact portion. The force / torque information of the gripping contact portion is information indicating the force and torque applied to the gripping contact portion of the end effector of the robot 101 while the object 106 is being manipulated.
FIG. 17 is a flowchart for explaining an example of the detailed process of step S1602 ′ ′ of FIG. Hereinafter, the process from step S1621 ′ ′ to step S1622 ′ ′ corresponding to step S1620 ′ ′ will be described according to the flowchart of FIG.
ステップS1621''では、力・トルク計測部208は、ロボット101が対象物106を操作しているときの把持接触部にかかる力に基づいて、ロボット101の座標系における把持接触部の鉛直方向の合力を計算する。ロボット101が対象物106を操作しているときの把持接触部にかかる力は、力覚情報から得られる。対象物106を操作するとき、ロボット101には対象物106の質量の分だけ力がかかる。このとき計測される力は、把持部力覚センサ109の座標系のX、Y、Z成分の計測値で求まる。力・トルク計測部208は、これらの成分に基づいて、ロボット101の座標系における把持接触部の鉛直方向の合力を求める。こうすることで、重力加速度の方向においてロボット101にかかっている力が求まり、対象物106を把持できているか否かの判定の際に利用できる。ただし、ロボット101の座標系における把持接触部の鉛直方向の合力は、ロボット101が把持している対象物106の質量が求まるならば、他の方法で計算してもよい。 In step S1621 ′ ′, the force / torque measurement unit 208 determines the vertical direction of the gripping contact portion in the coordinate system of the robot 101 based on the force applied to the gripping contact portion when the robot 101 is operating the object 106. Calculate the strength. The force applied to the gripping contact portion when the robot 101 is operating the object 106 is obtained from the force sense information. When operating the object 106, a force is applied to the robot 101 by the mass of the object 106. The force measured at this time can be obtained from the measurement values of the X, Y, and Z components of the coordinate system of the grip portion force sensor 109. The force / torque measurement unit 208 obtains the resultant force in the vertical direction of the gripping contact portion in the coordinate system of the robot 101 based on these components. By doing this, the force applied to the robot 101 in the direction of the gravitational acceleration can be determined, and can be used in determining whether or not the object 106 can be gripped. However, the resultant force in the vertical direction of the gripping contact portion in the coordinate system of the robot 101 may be calculated by another method as long as the mass of the object 106 gripped by the robot 101 is obtained.
次に、ステップS1622''では、力・トルク計測部208は、ロボット101が対象物106を操作しているときの把持接触部にかかるトルクに基づいて、把持接触部における推定トルクを計算する。ロボット101が対象物106を操作しているときの把持接触部にかかるトルクは、力覚情報から得られる。対象物106を操作するとき、ロボット101には対象物106の慣性モーメントの分だけトルクがかかる。このとき計測されるトルクは、把持部力覚センサ109の座標系のX、Y、Z成分の各軸の回転方向α、β、γに対して求まる。力・トルク計測部208は、これらの成分の値に基づいて、ロボット101が対象物106を把持する姿勢に応じたトルクを、把持接触部における推定トルクとして計算する。把持接触部に力覚センサが取り付けられている場合、ロボット101が対象物106を把持する方向をZ軸と置くと、トルクはX−Y平面に対して求まる。計測されるトルクの方向は、このX−Y平面に対して、ロボット101が対象物106を把持する姿勢に応じて任意に決定される。こうすることで、把持接触部にかかっているトルクが求まり、対象物106を把持できているか否かの判定の際に利用できる。ただし、把持接触部における推定トルクは、把持接触部にかかっているトルクが求まるならば他の方法で計算してもよい。また、必ずしも、ステップS1621''およびステップS1622''の両方の処理を行う必要はなく、いずれか一つの処理を行ってもよい。ステップS1622''の処理が終わった後、図16のステップS1630へ移行する。 Next, in step S1622 ′ ′, the force / torque measurement unit 208 calculates an estimated torque in the grip contact unit based on the torque applied to the grip contact unit when the robot 101 is operating the object 106. The torque applied to the grip contact unit when the robot 101 is operating the object 106 is obtained from the force sense information. When operating the object 106, the robot 101 is torqued by the moment of inertia of the object 106. The torque measured at this time is obtained with respect to the rotational directions α, β and γ of the respective axes of the X, Y and Z components of the coordinate system of the grip portion force sensor 109. The force / torque measurement unit 208 calculates, based on the values of these components, a torque according to the posture in which the robot 101 grips the object 106 as an estimated torque in the grip contact unit. When a force sensor is attached to the gripping contact portion, the torque can be obtained with respect to the XY plane when the robot 101 grips the object 106 in the Z-axis direction. The direction of the torque to be measured is arbitrarily determined in accordance with the posture in which the robot 101 grips the object 106 with respect to the XY plane. By doing this, the torque applied to the gripping contact portion can be determined, and can be used in determining whether or not the object 106 can be gripped. However, the estimated torque at the gripping contact may be calculated by another method if the torque applied to the gripping contact is obtained. Moreover, it is not necessary to necessarily perform both processes of step S1621 '' and step S1622 '', and any one process may be performed. After the process of step S1622 ′ ′ is finished, the process proceeds to step S1630 of FIG.
ステップS1650''では、異常判定部204は、ステップS1620''で導出された把持接触部の力・トルク情報と、ステップS1640で導出された対象物106および周辺物107の位置および姿勢の変化とに基づいて、異常判定を行う。異常判定部204では、把持部力覚センサ109および撮像装置102(ビジョンセンサ)からの複数の情報を入力として、ロボット101の動作の異常の度合いの判定結果を出力とする。図18は、図16のステップS1650''の詳細な処理の一例を説明するフローチャートである。以下、ステップS1650''に該当し、ステップS1650と処理が異なるステップS1651''およびステップS1654''の処理の手順を、図18のフローチャートに従って説明する。 In step S1650 ′ ′, the abnormality determination unit 204 changes the force / torque information of the grip contact unit derived in step S1620 ′ ′, and changes in the position and orientation of the object 106 and the peripheral object 107 derived in step S1640. Based on the above, the abnormality determination is performed. The abnormality determination unit 204 receives a plurality of pieces of information from the holding unit force sensor 109 and the imaging device 102 (vision sensor) as an input, and outputs a determination result of the degree of abnormality of the operation of the robot 101. FIG. 18 is a flow chart for explaining an example of the detailed process of step S1650 '' of FIG. The procedure of steps S1651 ′ ′ and S1654 ′ ′ corresponding to step S1650 ′ ′ and different in processing from step S1650 will be described below according to the flowchart of FIG.
ステップS1651''では、異常判定部204は、ステップS1620''で導出された把持接触部の力・トルク情報に示される力およびトルクが、予め設定された範囲のうち、どの範囲にあるのかを判定する。例えば、異常判定部204は、ステップS1620で導出された力・トルク情報に示される力およびトルクが、対象物106の把持あるいは搬送に必要な範囲内であるか否かを判定する。また、異常判定部204は、ステップS1620''で導出された把持接触部の力・トルク情報に示される力およびトルクが、対象物106および周辺物107を破損しない範囲内であるか否かを判定する。 In step S1651 ′ ′, the abnormality determination unit 204 determines which of the ranges set in advance is the force and torque indicated in the force / torque information of the gripping contact portion derived in step S1620 ′ ′. judge. For example, the abnormality determination unit 204 determines whether or not the force and torque indicated in the force / torque information derived in step S1620 are within the range necessary for gripping or transporting the object 106. In addition, the abnormality determination unit 204 determines whether the force and torque indicated in the force / torque information of the grip contact unit derived in step S1620 ′ ′ are within a range not damaging the object 106 and the peripheral object 107. judge.
この把持あるいは搬送に必要な範囲となる値や、対象物106および周辺物107を破損しない範囲の値といったパラメータは、例えば、設計者が以下のようにして予め設定する。まず、対象物106の質量がM[g]であり、そのばらつきが±m[g]であるとする。この場合、対象物106の質量をM±m[g]と設定する。したがって、重力加速度をg[m/s2]、静止摩擦係数をμとすれば、対象物106を把持するのに必要な力を(M±m)×μ×g[N]と設定できる。そのため、このステップS1621''で計算された、ロボット101の座標系における把持接触部の鉛直方向の合力が、この設定値以上ならば、対象物106の把持に必要な力がロボット101に印加されているものと考えられる。 Parameters such as the value which is a range necessary for gripping or transporting, and the value of a range in which the object 106 and the peripheral object 107 are not damaged are set in advance as follows by a designer, for example. First, it is assumed that the mass of the object 106 is M [g] and the variation thereof is ± m [g]. In this case, the mass of the object 106 is set to M ± m [g]. Therefore, assuming that the gravitational acceleration is g [m / s 2 ] and the static friction coefficient is μ, the force required to grip the object 106 can be set as (M ± m) × μ × g [N]. Therefore, if the resultant force in the vertical direction of the gripping contact portion in the coordinate system of the robot 101 calculated in step S1621 ′ ′ is equal to or larger than the set value, a force necessary for gripping the object 106 is applied to the robot 101. It is thought that
この設定値は予め設計者が決めておくことができる。また、この設定値として、対象物106に対応するような値を予め設定しておいてもよい。さらに、この設定値は、対象物106の操作に必要な値を設定できれば他の方法で設定してもよい。
ステップS1651''の判定を行うことによって、ステップS1620''で計算されたロボット101の把持力に基づいて、対象物106を操作している力学的状態がどのような状態にあるかを分類できるというメリットがある。
This set value can be determined in advance by the designer. In addition, a value corresponding to the object 106 may be set in advance as the setting value. Furthermore, this setting value may be set by another method as long as a value necessary for the operation of the object 106 can be set.
By performing the determination in step S1651 ′ ′, it is possible to classify what kind of state the dynamic state of operating the object 106 is in, based on the gripping force of the robot 101 calculated in step S1620 ′ ′. There is a merit that.
ステップS1654''では、異常判定部204は、ステップS1651''、ステップS1652、およびステップS1653の判定の結果に基づいて、異常判定処理を行う。図19は、異常判定処理の内容の一例を表形式で示す図である。以下、図19を参照しながら、異常判定処理の一例を説明する。 In step S1654 ′ ′, the abnormality determination unit 204 performs abnormality determination processing based on the determination results in step S1651 ′ ′, step S1652, and step S1653. FIG. 19 is a diagram showing an example of the content of the abnormality determination process in the form of a table. Hereinafter, an example of the abnormality determination process will be described with reference to FIG.
まず、異常判定部204は、ステップS1620''で導出された把持接触部の力・トルク情報に示される力およびトルクが、図19の「E.対象物を把持するのに必要な把持力の最低値以上」に該当するか否かを判定する。また、異常判定部204は、ステップS1620''で導出された把持接触部の力・トルク情報に示される力およびトルクが、図19の「F.対象物が破損しない範囲の値以下」に該当するか否かを判定する。この判定は、図18のステップS1651''の把持接触部の力およびトルクの判定の結果に従って行われる。 First, the abnormality determination unit 204 determines that the force and torque shown in the force / torque information of the gripping contact portion derived in step S 1620 ′ ′ are “E. It is determined whether or not the condition is the minimum value or more. In addition, the abnormality determination unit 204 determines that the force and torque indicated in the force / torque information of the gripping contact portion derived in step S1620 ′ ′ are “F. or less of the range where the object is not damaged” in FIG. It is determined whether to do. This determination is performed according to the result of the determination of the force and torque of the gripping contact portion in step S1651 ′ ′ of FIG.
次に、異常判定部204は、「e.対象物の動きは把持部と同期している」に該当するか否かと「f.周辺物の動きがある」に該当するか否かを判定する。この判定は、図18のステップS1652''およびステップS1653''の判定の結果に従って行われる。 Next, the abnormality determination unit 204 determines whether or not “e. The movement of the object is synchronized with the gripping unit” and whether or not “f. The movement of the peripheral object is present”. . This determination is made in accordance with the results of the determinations in step S1652 "and step S1653" in FIG.
図19でも図9と同様に、該当する場合を「Yes」と表記し、該当しない場合を「No」と表記する。例えば、「E.対象物を把持するのに必要な把持力の最低値以上」、「F.対象物が破損しない範囲の値以下」、「e.対象物の動きは把持部と同期している」および「f.周辺物の動きがある」の全てに該当する場合には、ケース22に分類される。
このような判定によって、マニピュレーション中の状態が、ケース21〜26の何れかのケースに分類される。
In FIG. 19 as well as FIG. 9, the corresponding case is described as “Yes”, and the case not corresponding is described as “No”. For example, "E or more of the minimum value of the gripping force necessary to grip the object", "F or less of the range where the object is not broken", "e. The movement of the object is synchronized with the gripping portion And “f. There is movement of peripheral objects”, it is classified into case 22.
By such a determination, the state during manipulation is classified into any of the cases 21 to 26.
以下、それぞれのケースに対する異常判定処理について説明する。ここでは、対象物106を把持しているロボット101のエンドエフェクタの把持接触部にかかっている力を用いて、ロボット101の動作の異常の有無を判定する場合を例に挙げて説明する。しかしながら、力をトルクに置き換えて適用してもよい。また、力とトルクの双方を用いてもよい。 Hereinafter, the abnormality determination process for each case will be described. Here, the case where the presence or absence of an abnormality in the operation of the robot 101 is determined using the force applied to the gripping contact portion of the end effector of the robot 101 gripping the object 106 will be described as an example. However, the force may be applied in place of torque. Also, both force and torque may be used.
ケース21では、把持部力覚センサ109の計測値は、対象物106を把持するのに必要な把持力の最低値に対応する値以下である、という状況である。この場合、このままの把持力では対象物106を正確に操作できない。したがって、異常判定部204は、ロボット101の把持力を把持部力覚センサ109の計測値よりも上げると判定する。行動計画部205は、この判定の結果に従って、ロボット101の行動の計画を変更する。把持力を把持部力覚センサ109の計測値以上に上げられない場合、異常判定部204は、ロボット101の動作に異常があると判定する。 In the case 21, the measurement value of the gripping unit force sensor 109 is equal to or less than the value corresponding to the minimum value of the gripping force required to grip the object 106. In this case, the object 106 can not be operated accurately with this holding force. Therefore, the abnormality determination unit 204 determines that the gripping force of the robot 101 is higher than the measurement value of the gripping unit force sensor 109. The action planning unit 205 changes the action plan of the robot 101 in accordance with the result of the determination. If the gripping force can not be increased beyond the measurement value of the gripping unit force sensor 109, the abnormality determining unit 204 determines that the operation of the robot 101 is abnormal.
ケース22では、把持部力覚センサ109の計測値は、対象物106を把持するのに必要な把持力の最低値に対応する値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース22では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しており、周辺物107に動きがある、という状況である。この場合、ロボット101の動作は必ずしも正常であるとは判定できない。 In the case 22, the measurement value of the grip force sensor 109 is not less than the value corresponding to the minimum value of the gripping force necessary to grip the object 106, and not more than the value in the range not damaging the object 106 and the peripheral object 107. It is a situation that is. Furthermore, in the case 22, the movement of the object 106 is synchronized with the movement of the end effector (gripping portion) of the robot 101, and the surrounding object 107 has a movement. In this case, the operation of the robot 101 can not necessarily be determined to be normal.
例えば、ロボット101によって対象物106を把持しているものの、対象物106と周辺物107とが干渉していることが想定される。そのため、異常判定部204は、周辺物107の動きの度合いを求め、その結果に基づいて、ロボット101の動作に異常があるか否かを判定する。具体的には、異常判定部204は、ステップS1643により判定された周辺物107の位置および姿勢の変化がどの程度かといった情報を用いることにより、周辺物107の動きの度合いを求める。 For example, although the robot 106 grips the object 106, it is assumed that the object 106 and the peripheral object 107 interfere with each other. Therefore, the abnormality determination unit 204 determines the degree of movement of the peripheral object 107, and based on the result, determines whether or not there is an abnormality in the operation of the robot 101. Specifically, the abnormality determination unit 204 obtains the degree of movement of the peripheral object 107 by using information on how much the change in the position and orientation of the peripheral object 107 determined in step S1643 is.
例えば、異常判定部204は、オプティカルフローを求めることにより検出された動きベクトルが、作業空間全体を格子状に区切った時に、その全体の面積に対してどの程度の領域に該当するかによって、周辺物107の動きの度合いを求めることができる。異常判定部204は、作業空間全体に対して、動きベクトルの存在する領域(動きのある領域)が予め設定された領域以上の場合に、ロボット101の動きに異常があると判定する。ただし、周辺物107の動きの度合いが分かる方法であれば、必ずしもこのような方法を用いる必要はない。例えば、背景差分を用いる方法などを、周辺物107の動きの度合いを導出する方法として採用してもよい。また、周辺物107の動きの状況も考慮する必要がある。例えば、周辺物107の動きの変化から、このままの動作では対象物106および周辺物107が本来入っているべき容器の外に出てしまうような動きの変化が観測された場合、異常判定部204は、ロボット101の動作を継続すべきでないと判定する。 For example, when the motion vector detected by obtaining the optical flow divides the entire work space into a grid, the abnormality determination unit 204 determines whether the area corresponds to the area of the entire area. The degree of movement of the object 107 can be obtained. The abnormality determination unit 204 determines that there is an abnormality in the movement of the robot 101 when the area in which the motion vector exists (the area with movement) is equal to or more than the area set in advance in the entire work space. However, as long as the degree of movement of the peripheral object 107 can be determined, such a method need not necessarily be used. For example, a method using a background difference may be adopted as a method of deriving the degree of movement of the peripheral object 107. Also, it is necessary to consider the movement of the peripheral object 107. For example, if a change in movement is observed such that the object 106 and the peripheral object 107 move out of the container in which the object 106 and the peripheral object 107 should originally enter from the change in movement of the peripheral object 107, the abnormality determination unit 204 Determines that the operation of the robot 101 should not be continued.
把持部力覚センサ109の計測値としてトルクを用いる場合には、その計測値を利用して、マニピュレーションの状態を推定してもよい。例えば、ロボット101が対象物106の重心の近傍を把持している場合には、エンドエフェクタの対象物106を把持する平面に対して回転方向のトルクはほとんど発生しない。一方、対象物106と周辺物107との干渉がある場合にはトルクが発生する。そのトルクの発生している回転方向の外力が対象物106に印加されていることが推定される。したがって、異常判定部204は、対象物106に対する周辺物107のおおよその干渉状態を求め、その干渉状態をやわらげる方向へロボット101を動作させると判定する。行動計画部205は、この判定の結果に従って、ロボット101の行動の計画を作成する。 When a torque is used as the measurement value of the grip force sensor 109, the measurement value may be used to estimate the state of manipulation. For example, when the robot 101 grips the vicinity of the center of gravity of the object 106, almost no torque in the rotational direction is generated with respect to the plane gripping the object 106 of the end effector. On the other hand, when there is interference between the object 106 and the peripheral object 107, torque is generated. It is estimated that the external force in the rotational direction in which the torque is generated is applied to the object 106. Therefore, the abnormality determination unit 204 determines an approximate interference state of the peripheral object 107 with the object 106, and determines that the robot 101 is operated in a direction to soften the interference state. The action planning unit 205 creates a plan of the action of the robot 101 according to the result of the determination.
ケース23では、把持部力覚センサ109の計測値は、対象物106を把持するのに必要な把持力の最低値に対応する値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース23では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しており、周辺物107に動きがない、という状況である。この場合、ロボット101は、対象物106のみを操作していると考えられる。したがって、異常判定部204は、ロボット101が正常な動作を行っていると判定する。よって、行動計画部205は、ロボット101に、現在の動作を引き続き継続させる。 In the case 23, the measurement value of the grip force sensor 109 is not less than the value corresponding to the minimum value of the gripping force necessary to grip the object 106, and not more than the value in the range not damaging the object 106 and the peripheral object 107. It is a situation that is. Furthermore, in the case 23, the movement of the object 106 is synchronized with the movement of the end effector (gripping portion) of the robot 101, and the surrounding object 107 does not move. In this case, the robot 101 is considered to operate only the object 106. Therefore, the abnormality determination unit 204 determines that the robot 101 is performing a normal operation. Thus, the action planning unit 205 causes the robot 101 to continue the current operation.
ケース24では、把持部力覚センサ109の計測値は、対象物106を把持するのに必要な把持力の最低値に対応する値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース24では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しておらず、周辺物107に動きがある、という状況である。この場合、対象物106を把持している部分に滑りが生じているものと考えられる。そのため、異常判定部204は、ロボット101の把持力を、対象物106および周辺物107を破損しない限度値まで上げて処理を継続すると判定する。行動計画部205は、この判定の結果に従って、ロボット101の行動の計画を変更する。また、異常判定部204は、ロボット101の把持力を、対象物106および周辺物107を破損しない限度値まで上げられない場合、ロボット101の行動の動作に異常があると判定する。 In the case 24, the measurement value of the grip force sensor 109 is not less than the value corresponding to the minimum value of the gripping force necessary to grip the object 106, and not more than the value in the range not damaging the object 106 and the peripheral object 107. It is a situation that is. Furthermore, in the case 24, the movement of the object 106 is not synchronized with the movement of the end effector (gripping portion) of the robot 101, and the peripheral object 107 has a movement. In this case, it is considered that slippage occurs in the portion holding the object 106. Therefore, the abnormality determination unit 204 determines that the gripping force of the robot 101 is increased to a limit value that does not damage the object 106 and the peripheral object 107 and the process is continued. The action planning unit 205 changes the action plan of the robot 101 in accordance with the result of the determination. In addition, when the gripping force of the robot 101 can not be increased to a limit value that does not damage the object 106 and the peripheral object 107, the abnormality determining unit 204 determines that there is an abnormality in the action of the robot 101.
また、対象物106と周辺物107との干渉状態を推定するには、ケース22で説明したのと同様に、把持部力覚センサ109がトルクを計測しているのであれば、異常判定部204は、その計測値からおおよその干渉状態を求めることができる。あるいは、異常判定部204は、エンドエフェクタの対象物106を把持する平面の方向の力を、把持部力覚センサ109の計測値から導出することにより、対象物106の滑りの状況を直接的に推定してもよい。対象物106の滑りの方向を検知できた場合、異常判定部204は、対象物106の滑りを軽減させるために、ロボット101により外力を与える方向を変化させ、マニピュレーションを継続すると判定する。 Further, in order to estimate the interference state between the object 106 and the peripheral object 107, as in the case described in the case 22, if the grip force sensor 109 measures torque, the abnormality determination unit 204 Can calculate an approximate interference state from the measured value. Alternatively, the abnormality determination unit 204 directly derives the slip condition of the object 106 by deriving the force in the direction of the plane in which the end effector grips the object 106 from the measurement value of the gripping unit force sensor 109. It may be estimated. When the direction of the slip of the object 106 can be detected, the abnormality determination unit 204 changes the direction of the external force applied by the robot 101 to reduce the slip of the object 106, and determines that the manipulation is to be continued.
ケース25では、把持部力覚センサ109の計測値は、対象物106を把持するのに必要な把持力の最低値以上、対象物106および周辺物107を破損しない範囲の値以下である、という状況である。さらに、ケース25では、対象物106の動きは、ロボット101のエンドエフェクタ(把持部)の動きに同期しておらず、周辺物107に動きがない、という状況である。この場合、ケース24のときと同様に、対象物106を把持している部分に滑りが生じているものと考えられる。 In the case 25, the measurement value of the gripping unit force sensor 109 is not less than the minimum value of the gripping force necessary to grip the object 106 and not more than the value in the range not damaging the object 106 and the peripheral object 107. It is a situation. Furthermore, in the case 25, the movement of the object 106 is not synchronized with the movement of the end effector (gripping portion) of the robot 101, and the surrounding object 107 does not move. In this case, as in the case 24, it is considered that slippage occurs in the portion holding the object 106.
ただし、ケース24のときと異なり、周辺物107の動きがないことから、対象物106が周辺物107の動かない部分に干渉している可能性がある。したがって、異常判定部204は、このときの把持接触部の力の方向およびトルクの方向などに基づいて、対象物106および周辺物107を破損しない範囲でロボット101の把持力を上げて処理を継続すると判定する。このとき、ケース24で説明したように、異常判定部204は、ロボット101の動作速度を遅くすると判定してもよい。また、異常判定部204は、ロボット101の把持力を、対象物106および周辺物107を破損しない限度値まで上げられない場合、ロボット101の行動の動作に異常があると判定する。 However, unlike the case 24, since there is no movement of the peripheral object 107, there is a possibility that the object 106 interferes with the non-moving portion of the peripheral object 107. Therefore, the abnormality determination unit 204 continues the process by increasing the gripping force of the robot 101 within a range not damaging the object 106 and the peripheral object 107 based on the direction of the force and the direction of the torque of the gripping contact portion at this time. It will be determined. At this time, as described in the case 24, the abnormality determination unit 204 may determine that the operation speed of the robot 101 is to be reduced. In addition, when the gripping force of the robot 101 can not be increased to a limit value that does not damage the object 106 and the peripheral object 107, the abnormality determining unit 204 determines that there is an abnormality in the action of the robot 101.
ケース26では、把持部力覚センサ109の計測値は、対象物106を把持するのに必要な最低値以上であり、且つ、対象物106および周辺物107を破損しない範囲の値も越えている、という状況である。ロボット101の操作を行うことで対象物106および周辺物107のいずれか一つ以上を破損してしまうので、異常判定部204は、対象物106および周辺物107の動きに関わらず、ロボット101の動作に異常があると判定する。 In the case 26, the measurement value of the gripping unit force sensor 109 is equal to or more than the minimum value necessary to grip the object 106, and also exceeds the value in the range not damaging the object 106 and the peripheral object 107. The situation is Since the operation of the robot 101 damages one or more of the object 106 and the peripheral object 107, the abnormality determination unit 204 makes it possible to operate the robot 101 regardless of the movement of the object 106 and the peripheral object 107. It is determined that there is an abnormality in the operation.
尚、ケース22における異常判定処理を、第1の実施形態で説明したケース2または第2の実施形態で説明したケース12のようにしてもよい。同様に、ケース4における異常判定処理を、第1の実施形態で説明したケース4または第2の実施形態で説明したケース14のようにしてもよい。 The abnormality determination process in the case 22 may be similar to the case 2 described in the first embodiment or the case 12 described in the second embodiment. Similarly, the abnormality determination process in Case 4 may be similar to Case 4 described in the first embodiment or Case 14 described in the second embodiment.
以上が本実施形態における異常判定処理で行われる内容の一例である。ただし、異常判定処理の方法として、以上の方法以外の方法を採用してもよい。すなわち、ロボット101の把持力が、対象物106の把持に必要な値以上であるか否かと、対象物106および周辺物107を破損しない範囲の値以下であるか否かを判定できる方法であれば他の方法を採用してもよい。また、対象物106および周辺物107の位置および姿勢の変化を見られる方法であれば、他の方法を採用してもよい。 The above is an example of the content performed in the abnormality determination process in this embodiment. However, methods other than the above may be adopted as the method of the abnormality determination processing. That is, it can be determined whether the gripping force of the robot 101 is equal to or more than the value necessary for gripping the object 106 and whether it is equal to or less than the value in the range not damaging the object 106 and the peripheral object 107. Other methods may be adopted. Further, any other method may be employed as long as the change in the position and posture of the object 106 and the peripheral object 107 can be observed.
以上のように、対象物106を把持している把持接触部の力覚情報(力およびトルク)を計測することによっても、マニピュレーション中のロボット101の動作が異常であるか否かを正確に判定することができる。すなわち、本実施形態でも、第1の実施形態で説明した効果と同じ効果が得られる。 As described above, it is also possible to accurately determine whether or not the operation of the robot 101 during manipulation is abnormal by measuring the force sense information (force and torque) of the gripping contact portion gripping the object 106. can do. That is, the same effect as the effect described in the first embodiment can be obtained also in the present embodiment.
(第4の実施形態)
次に、第4の実施形態を説明する。第1〜第3の実施形態では、対象物106の剛性を考慮しない場合を例に挙げて説明した。これに対し、本実施形態では、対象物106の剛性を考慮して操作位置を決定することにより、ロボット101の動作の異常をより早く正確に検知することを可能とする。このように本実施形態と第1〜第3の実施形態は、対象物106の剛性を考慮する点が主として異なる。したがって、本実施形態の説明において、第1〜第3の実施形態と同一の部分については、図1〜図19に付した符号と同一の符号を付すなどして詳細な説明を省略する。
Fourth Embodiment
Next, a fourth embodiment will be described. In the first to third embodiments, the case where the rigidity of the object 106 is not considered is described as an example. On the other hand, in the present embodiment, by determining the operation position in consideration of the rigidity of the object 106, it is possible to detect the abnormality of the operation of the robot 101 more quickly and accurately. Thus, the present embodiment and the first to third embodiments are mainly different in that the rigidity of the object 106 is considered. Therefore, in the description of the present embodiment, the same parts as those in the first to third embodiments are denoted by the same reference numerals as those in FIGS.
図20は、情報処理装置104'の機能的な構成の一例を示す図である。図20に示す情報処理装置104'は、図2に示す情報処理装置104に対して、操作位置決定部210がなくなり、柔軟物操作位置決定部210'が追加されたものである。図2と異なる部分である柔軟物操作位置決定部210'について説明する。 FIG. 20 is a diagram showing an example of a functional configuration of the information processing apparatus 104 ′. The information processing apparatus 104 ′ shown in FIG. 20 is an information processing apparatus 104 shown in FIG. 2 in which the operation position determination unit 210 is eliminated and a flexible object operation position determination unit 210 ′ is added. The flexible material operation position determination unit 210 'which is a part different from FIG. 2 will be described.
柔軟物操作位置決定部210'は、位置・姿勢計測部209からの位置・姿勢情報を入力として、対象物106の把持位置およびリリース位置を、対象物106の操作位置として決定する。柔軟物操作位置決定部210'は、対象物106の各部の剛性を考慮し、対象物106のより剛性の高い部分、または、より変形しにくい部分がロボット101により把持されるように操作位置を決定する。このようにすることにより、力覚情報の判定を早く正確に行えるようにすることができる。柔軟物操作位置決定部210'で決定された操作位置は、行動計画部205へ出力される。 The flexible object operation position determination unit 210 ′ determines the grip position and the release position of the object 106 as the operation position of the object 106, using the position and orientation information from the position and orientation measurement unit 209 as an input. The flexible object operation position determination unit 210 'takes into consideration the rigidity of each part of the object 106, and the operation position is set so that the robot 101 can grip the more rigid or less deformable part of the object 106. decide. By doing this, it is possible to quickly and accurately determine the haptic information. The operation position determined by the flexible object operation position determination unit 210 ′ is output to the action planning unit 205.
図21は、ロボットシステムを実現するための情報処理装置104'の処理の一例を説明するフローチャートである。以下、図3に示したフローチャートと異なる部分について、図21のフローチャートに従って処理の手順を説明する。
ステップS1300'では、柔軟物操作位置決定部210は、ステップS1200で計測された結果(把持すべき対象物106の位置および姿勢)に基づいて、対象物106の操作位置を決定する。
FIG. 21 is a flowchart for explaining an example of processing of the information processing apparatus 104 ′ for realizing the robot system. Hereinafter, the procedure of the process will be described according to the flowchart of FIG. 21 for parts different from the flowchart shown in FIG.
In step S1300 ′, the flexible material manipulation position determination unit 210 determines the manipulation position of the target object 106 based on the result (the position and posture of the target object 106 to be gripped) measured in step S1200.
図3のステップS1300では、操作位置決定部210は、ロボット101のエンドエフェクタの形状を考慮して、目標位置・姿勢へ対象物106を操作するための把持位置が決定する。これに対し、ステップS1300'では、柔軟物操作位置決定部210'は、さらに対象物106の剛性を考慮して把持位置を決定する。図22は、図21のステップS1300'の詳細な処理の一例を説明するフローチャートである。以下、ステップS1300'に該当するステップS1301'からステップS1303'の処理の手順を、図22のフローチャートに従って説明する。 In step S1300 of FIG. 3, the operation position determination unit 210 determines the grip position for operating the target 106 to the target position and posture, in consideration of the shape of the end effector of the robot 101. On the other hand, in step S 1300 ′, the flexible material manipulation position determination unit 210 ′ further determines the gripping position in consideration of the rigidity of the object 106. FIG. 22 is a flowchart for explaining an example of the detailed process of step S1300 ′ of FIG. Hereinafter, the procedure of the process from step S1301 ′ to step S1303 ′ corresponding to step S1300 ′ will be described according to the flowchart of FIG.
ステップS1301'では、柔軟物操作位置決定部210'は、把持可能箇所を選定する。柔軟物操作位置決定部210'は、位置・姿勢計測部209から得られた対象物106の位置および姿勢の情報に基づいて、対象物106のどの位置ならば把持可能であり、目的とする操作を行えるかを判断する。そして、柔軟物操作位置決定部210'は、対象物106のうち、ロボット101で把持することが可能な箇所を把持可能箇所として一つ以上選定する。
前述したように、部品データベース203には、対象物106および周辺物107の形状の情報(CADデータ等)が記憶されている。柔軟物操作位置決定部210'は、把持可能箇所を選定するに際し、位置・姿勢計測部209から得られた対象物106の位置および姿勢の情報に加えて、対象物106の形状の情報を参照することができる。
In step S1301 ′, the flexible material manipulation position determination unit 210 ′ selects a grippable location. The flexible object operation position determination unit 210 ′ can grip any position of the object 106 based on the information of the position and orientation of the object 106 obtained from the position / posture measurement unit 209, and the target operation Decide if you can. Then, the flexible material operation position determination unit 210 ′ selects one or more locations of the object 106 that can be gripped by the robot 101 as grippable locations.
As described above, the component database 203 stores information (CAD data etc.) of the shapes of the object 106 and the peripheral object 107. The flexible object operation position determination unit 210 ′ refers to information on the shape of the object 106 in addition to the information on the position and orientation of the object 106 obtained from the position / posture measurement unit 209 when selecting a grippable location. can do.
次に、ステップS1302'では、柔軟物操作位置決定部210'は、対象物106の剛性と、ロボット101により対象物106を把持した場合に対象物106に生じる変形とを推定する。具体的に、柔軟物操作位置決定部210'は、ステップS1301'で選定された一つ以上の把持可能箇所について、剛性および変形の度合いを推定する。例えば、対象物106の剛性が均一でない場合、ロボット101が、剛性が小さい箇所よりも、剛性が大きい箇所を把持する方が好ましい。対象物106を操作する時の力覚情報が安定しやすく、また、エンドエフェクタ(把持部)のストロークも短くなることから、ロボット101の動作の異常をより早く正確に検知できるからである。同様の理由から、対象物106がケーブルのような変形しやすい物体の場合、輪になって膨らんでいるような部分よりもシュリンクされてまとまっている部分を把持した方が好ましい。 Next, in step S1302 ′, the flexible material manipulation position determination unit 210 ′ estimates the rigidity of the object 106 and the deformation that occurs in the object 106 when the robot 106 grips the object 106. Specifically, the flexible material manipulation position determination unit 210 ′ estimates the degree of rigidity and deformation of one or more grippable places selected in step S1301 ′. For example, in the case where the rigidity of the object 106 is not uniform, it is preferable that the robot 101 grip a portion with high rigidity than a portion with low rigidity. This is because the force sense information at the time of operating the object 106 is easily stabilized, and the stroke of the end effector (gripping portion) is also shortened, so that the abnormal operation of the robot 101 can be detected more quickly and accurately. For the same reason, in the case where the object 106 is a deformable object such as a cable, it is preferable to grip the shrunk and gathered portion rather than the portion which is bulging in a ring.
ステップS1302'の処理を行うために、例えば、対象物106の各位置の剛性を示す情報を部品データベース203に記憶させることができる。柔軟物操作位置決定部210'は、把持可能箇所の剛性および変形の度合いを推定する際に、対象物106の位置および姿勢の情報と、対象物106の形状の情報と、対象物106の各部(各位置)の剛性を示す情報とを参照することができる。 In order to perform the process of step S1302 ', for example, information indicating the rigidity of each position of the object 106 can be stored in the component database 203. When the flexible object operation position determination unit 210 ′ estimates the rigidity and the degree of deformation of the grippable portion, the information of the position and orientation of the object 106, the information of the shape of the object 106, and the portions of the object 106 It is possible to refer to the information indicating the rigidity of each position.
ステップS1303'では、柔軟物操作位置決定部210'は、操作位置を決定する。柔軟物操作位置決定部210'は、ステップS1301'で選定された把持可能箇所の中から、ステップS1302'で推定された剛性および変形度の合いを元にして、より剛性が高く、より変形が小さい部分を操作位置として決定する。 In step S1303 ', the flexible material manipulation position determination unit 210' determines the manipulation position. The flexible object operation position determination unit 210 ′ is higher in rigidity and more in deformation based on the combination of the rigidity and the degree of deformation estimated in step S1302 ′ from among the grippable portions selected in step S1301 ′. The small part is determined as the operation position.
以上のように本実施形態では、対象物106の剛性および変形の度合いを考慮してロボット101の操作位置を決定する。したがって、より短時間で正確に力覚情報を取得することができ、作業のタクトを短縮することができる。よって、対象物106をマニピュレーション中のロボット101の動作の異常をより短時間で正確に検知することができる。 As described above, in the present embodiment, the operation position of the robot 101 is determined in consideration of the rigidity and the degree of deformation of the object 106. Therefore, force sense information can be accurately acquired in a shorter time, and the tact time of work can be shortened. Therefore, it is possible to accurately detect an abnormality in the operation of the robot 101 during manipulation of the object 106 in a short time.
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The embodiments described above are merely examples of implementation for carrying out the present invention, and the technical scope of the present invention should not be interpreted in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical concept or the main features thereof.
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
(Other embodiments)
The present invention is also realized by performing the following processing. That is, first, software (computer program) for realizing the functions of the above embodiments is supplied to a system or apparatus via a network or various storage media. Then, a computer (or a CPU or MPU or the like) of the system or apparatus reads out and executes the computer program.
101:ロボット、104:情報処理装置、105:力覚センサ、106:対象物 101: robot, 104: information processing device, 105: force sensor, 106: object
Claims (7)
前記対象物の動き、および、前記対象物の周辺にある物体である周辺物の動きに基づき、なお且つ、前記対象物を操作しているときに前記ロボットに生じる力およびトルクの少なくとも何れか1つに基づいて、前記ロボットが前記対象物を正常に操作しているか否かを判定する判定手段を有することを特徴とする情報処理装置。 An information processing apparatus that performs processing for operating an object with a robot,
-Out movement of the object, and, based on the motion of the surrounding objects are objects in the neighborhood of the object still and, at least one of the force and torque generated in the robot when working with the object An information processing apparatus comprising: determination means for determining whether or not the robot normally operates the object based on one .
前記対象物の動きと、前記対象物の周辺にある物体である周辺物の動きを、前記対象物と前記周辺物とを含む画像に基づいて導出する第2の導出手段と、をさらに有することを特徴とする請求項1に記載の情報処理装置。 First deriving means for deriving at least one of a force and a torque generated in the robot when operating the object based on a measurement value of a sensor provided in the robot;
The apparatus further includes second deriving means for deriving the movement of the object and the movement of a peripheral object which is an object around the object based on an image including the object and the peripheral object. The information processing apparatus according to claim 1, characterized in that
前記対象物の動き、および、前記対象物の周辺にある物体である周辺物の動きに基づき、なお且つ、前記対象物を操作しているときに前記ロボットに生じる力およびトルクの少なくとも何れか1つに基づいて、前記ロボットが前記対象物を正常に操作しているか否かを判定する判定工程を有することを特徴とする情報処理方法。 An information processing method for performing processing for operating an object by a robot, comprising:
-Out movement of the object, and, based on the motion of the surrounding objects are objects in the neighborhood of the object still and, at least one of the force and torque generated in the robot when working with the object An information processing method comprising the step of determining whether the robot normally operates the object based on one .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015077978A JP6541397B2 (en) | 2015-04-06 | 2015-04-06 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015077978A JP6541397B2 (en) | 2015-04-06 | 2015-04-06 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016196077A JP2016196077A (en) | 2016-11-24 |
JP6541397B2 true JP6541397B2 (en) | 2019-07-10 |
Family
ID=57357314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015077978A Active JP6541397B2 (en) | 2015-04-06 | 2015-04-06 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6541397B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6983524B2 (en) * | 2017-03-24 | 2021-12-17 | キヤノン株式会社 | Information processing equipment, information processing methods and programs |
WO2019045779A1 (en) * | 2017-09-01 | 2019-03-07 | The Regents Of The University Of California | Robotic systems and methods for robustly grasping and targeting objects |
JP2019155542A (en) | 2018-03-14 | 2019-09-19 | 株式会社東芝 | Conveyance device, conveyance system, controller, and conveyance method |
KR102281218B1 (en) * | 2018-12-17 | 2021-07-23 | 한국전자기술연구원 | Flexible object recognition apparatus and method |
JP7183941B2 (en) * | 2019-05-09 | 2022-12-06 | トヨタ自動車株式会社 | Work identification method |
WO2021044751A1 (en) * | 2019-09-02 | 2021-03-11 | ソニー株式会社 | Information processing device, information processing method, and information processing program |
WO2022030242A1 (en) | 2020-08-03 | 2022-02-10 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
WO2022085408A1 (en) * | 2020-10-19 | 2022-04-28 | 三菱電機株式会社 | Robot control device and robot control method |
CN112583069B (en) * | 2020-11-19 | 2023-08-08 | 深圳拓邦股份有限公司 | Robot charging protection method and device, robot and storage medium |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7443115B2 (en) * | 2002-10-29 | 2008-10-28 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for robot handling control |
JP4774964B2 (en) * | 2005-12-06 | 2011-09-21 | ソニー株式会社 | Robot equipment |
JP5265296B2 (en) * | 2008-10-10 | 2013-08-14 | 本田技研工業株式会社 | Work removal method |
JP5218209B2 (en) * | 2009-03-30 | 2013-06-26 | 株式会社豊田自動織機 | Method for detecting relative movement between multiple objects |
JP2011200943A (en) * | 2010-03-24 | 2011-10-13 | Canon Inc | Force control robot |
JP5505138B2 (en) * | 2010-07-05 | 2014-05-28 | 株式会社安川電機 | Robot apparatus and gripping method using robot apparatus |
JP2013188815A (en) * | 2012-03-13 | 2013-09-26 | Sony Corp | Control device, control method and computer program |
JP2014108466A (en) * | 2012-11-30 | 2014-06-12 | Fanuc Ltd | Electric hand with force sensor |
-
2015
- 2015-04-06 JP JP2015077978A patent/JP6541397B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016196077A (en) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6541397B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
US10839261B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US10800033B2 (en) | Robot control apparatus, robot control method, robot system, and storage medium | |
US10894324B2 (en) | Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method | |
JP7286272B2 (en) | Information processing device, information processing method and program | |
US9126337B2 (en) | Robot system having a robot for conveying a workpiece | |
US10335951B2 (en) | Information processing apparatus, information processing method, robot control apparatus, and robot system | |
Li et al. | A Control Framework for Tactile Servoing. | |
JP6752615B2 (en) | Information processing device, information processing method, robot control device and robot system | |
JP2019063984A (en) | Information processor, method, and robot system | |
JP2020532440A (en) | Robot systems and methods for robustly gripping and targeting objects | |
JP6700726B2 (en) | Robot controller, robot control method, robot control system, and computer program | |
US20170151672A1 (en) | Workpiece position/posture calculation system and handling system | |
JP2009269127A (en) | Holding device and method of controlling the same | |
JP2019181622A (en) | Hand control device and hand control system | |
JP6643020B2 (en) | Robot control device, robot control method, and computer program | |
JP7377627B2 (en) | Object detection device, object grasping system, object detection method, and object detection program | |
JP7517788B2 (en) | Item Removal System | |
JP7264247B2 (en) | Information processing device and information processing method | |
JP2019016294A (en) | Information processor, information processing method, information processing program, and system | |
WO2023187006A1 (en) | Controlling a robotic manipulator for packing an object | |
JP5332873B2 (en) | Bag-like workpiece recognition device and method | |
JP7286524B2 (en) | Picking robot, picking method and program | |
JP2015104796A (en) | Gripping method, transportation method and robot | |
WO2023188407A1 (en) | Robot system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190611 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6541397 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |