JP6632656B2 - Interference determination device, interference determination method, and computer program - Google Patents
Interference determination device, interference determination method, and computer program Download PDFInfo
- Publication number
- JP6632656B2 JP6632656B2 JP2018093276A JP2018093276A JP6632656B2 JP 6632656 B2 JP6632656 B2 JP 6632656B2 JP 2018093276 A JP2018093276 A JP 2018093276A JP 2018093276 A JP2018093276 A JP 2018093276A JP 6632656 B2 JP6632656 B2 JP 6632656B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- gripping
- orientation
- workpiece
- measurement points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
本発明は、ワークを把持する際の干渉判定の技術に関するものである。 The present invention relates to a technique for determining interference when gripping a workpiece.
工場などの生産ラインにおいて、山積みされたワークの中から一個体をビジョンシステムを用いて特定し、三次元位置姿勢を認識することで、ロボットに取り付けたハンドにより把持を行う、山積みピッキング技術が近年開発されている。この技術において認識したワークを把持する際に、ワークの収容箱、あるいは把持対象以外のワークなどの周辺物体とハンドとの衝突を避けるためには、衝突の有無を事前に判定する処理が必要となる。 In a production line such as a factory, a pile picking technology has recently been developed in which a single individual is identified from a pile of works using a vision system, and by recognizing the three-dimensional position and orientation, it is gripped by a hand attached to a robot. Is being developed. When grasping a workpiece recognized by this technology, in order to avoid collision between the hand and a surrounding object such as a workpiece storage box or a workpiece other than the workpiece to be grasped, it is necessary to perform a process of determining in advance whether or not there is a collision. Become.
特許文献１には、上方に取り付けたセンサからワークまでの距離を画像様式で取得し、取得した情報からワークの位置姿勢を認識する。そして、ワークを把持するハンドの形状と位置姿勢、および取得した距離情報に基づき、事前に干渉判定を行う方法が記載されている。具体的には、認識したワークのｚ方向上方の基準高さ位置にハンドを仮想的に持っていく。そして、基準高さ位置からワークの把持位置までハンドをｚ方向に仮想的に下降させる。そして、下降させた把持位置で第１指部と第２指部との間を少し開き、第１指部と第２指部の各指先のｚ方向下方に指先から適当な余裕Δを持たせ、かつワークからも適当な余裕Δを持たせ、干渉判定用の仮想平板を仮想的に設定する。そして、センサで取得した画像様式の距離情報において仮想平板と重なる画素の距離値に、仮想平板よりも大きなｚ値を持つものが存在すれば干渉が発生すると判定する。これにより、認識したワークをハンドが把持する際の周辺物体との干渉の有無を高速に事前判定可能となる。 In Patent Literature 1, the distance from a sensor mounted above to a work is acquired in an image format, and the position and orientation of the work are recognized from the acquired information. A method is described in which interference determination is performed in advance based on the shape, position and orientation of the hand that grips the work, and the acquired distance information. Specifically, the hand is virtually brought to the reference height position above the recognized work in the z direction. Then, the hand is virtually lowered in the z direction from the reference height position to the work holding position. Then, at the lowered gripping position, the space between the first finger portion and the second finger portion is slightly opened, and an appropriate margin Δ is provided below the fingertips of the first finger portion and the second finger portion in the z direction. In addition, an appropriate margin Δ is provided from the work, and a virtual flat plate for interference determination is virtually set. Then, if distance values of pixels overlapping the virtual plate in the distance information in the image format acquired by the sensor include a value having a larger z value than the virtual plate, it is determined that interference occurs. Thus, it is possible to quickly determine in advance whether or not there is interference with a peripheral object when the hand grips the recognized work.
しかしながら、特許文献１の方法では、取得した画像様式の距離情報の中に、把持の対象となるワークの形状を表す距離情報も含まれる。特許文献１では、把持対象ワーク自身と干渉があると判定されるのを防ぐため、各指をワークから適当な余裕Δだけ離間させている。そのため、実際に把持対象ワークを把持する際に干渉しない周囲の物体とも干渉ありと判定されてしまう場合がある。 However, in the method of Patent Literature 1, the acquired distance information of the image format also includes distance information indicating the shape of the work to be gripped. In Patent Literature 1, each finger is separated from the workpiece by an appropriate margin Δ in order to prevent a determination that there is interference with the workpiece to be grasped. For this reason, it may be determined that there is also interference with surrounding objects that do not interfere when actually gripping the workpiece to be gripped.
本発明は以上の課題に鑑みてなされたものであり、把持対象ワーク以外の周辺物体とハンドとの干渉を事前に正しく判定することを目的とする。 The present invention has been made in view of the above problems, and has as its object to correctly determine in advance interference between a hand and a peripheral object other than a work to be grasped in advance.
本発明にかかる干渉判定装置は、例えば、複数のワークを含んだ空間内の複数の３次元計測点までの距離を取得する取得手段と、前記取得手段の取得結果と前記ワークの３次元モデル情報とに基づいて、前記複数のワークに含まれる把持対象ワークの位置姿勢を特定する特定手段と、前記複数の３次元計測点のうち、前記把持対象ワークの位置姿勢の前記３次元モデルとの距離が所定の値より小さい３次元計測点を除いた３次元計測点と、前記把持対象ワークを把持手段により把持する際の前記把持手段との干渉判定を行う判定手段と、を備える。 An interference determination device according to the present invention includes, for example, an acquisition unit that acquires distances to a plurality of three-dimensional measurement points in a space including a plurality of works, an acquisition result of the acquisition unit, and three-dimensional model information of the work. based on the bets, the plurality of identification means for identifying the position and orientation of the gripping target work contained in the work, among the plurality of 3-dimensional measurement points, the distance between the three-dimensional model of the position and orientation of the gripping target workpiece A three-dimensional measurement point excluding a three-dimensional measurement point whose value is smaller than a predetermined value, and a determination unit that determines interference between the three-dimensional measurement point and the gripping unit when the gripping target workpiece is gripped by the gripping unit.
本発明によれば、把持対象ワーク以外の物体とハンドとの干渉を事前に正しく判定することが可能となる。 According to the present invention, it is possible to correctly determine in advance the interference between the hand and an object other than the workpiece to be grasped.
（第１の実施形態）
第１の実施形態では、検出したワークを把持する際に、把持対象ワークの位置姿勢を利用して、２Ｄ画像上で把持対象ワーク領域を特定し、周辺物体とハンドとの干渉の有無を事前判定する方法について述べる。
(First embodiment)
In the first embodiment, when gripping a detected work, the position and orientation of the work to be gripped is used to specify a work area to be gripped on a 2D image, and it is determined in advance whether or not there is interference between a peripheral object and the hand. The determination method will be described.
具体的には、まず検出したワークの位置姿勢に基づき、計測装置と同様のカメラパラメータを持つ仮想カメラの観測画像平面上にワークの三次元形状モデルを投影する。そして、ワークの投影が行われた画素に距離画像上で対応する三次元点は把持対象ワーク領域と判定する。そして、把持対象ワーク領域の三次元点を除いた三次元形状データとハンドモデルとを用いて、三次元空間的な重なりを検出することで干渉の有無を判定する。 Specifically, first, based on the detected position and orientation of the work, a three-dimensional shape model of the work is projected onto an observation image plane of a virtual camera having the same camera parameters as the measuring device. Then, the three-dimensional point corresponding to the pixel on which the workpiece has been projected on the distance image is determined to be the grasp target work area. Then, the presence or absence of interference is determined by detecting a three-dimensional spatial overlap using the three-dimensional shape data excluding the three-dimensional points of the grasp target work area and the hand model.
これにより、ハンドを把持対象ワークに極めて近づけた把持動作に対しても、把持対象ワーク部分の計測点による誤検出なく、周辺（周囲）物体とハンドとの干渉を正しく判定することが可能となる。 This makes it possible to correctly determine the interference between the hand and the surrounding (surrounding) object without erroneous detection due to the measurement points of the workpiece to be gripped even in a gripping operation in which the hand is extremely close to the workpiece to be gripped. .
図１は、この実施形態に係る干渉判定装置１を備える対象ワークの山積みピッキングシステム１０の構成を示している。山積みピッキングシステム１０は、干渉判定装置１と、ロボット作業指示部１８と、ロボット制御部１９と、対象とするワーク２２を把持可能なハンド２０を有するロボットアーム２１と、同一形状のワークを山積みで収容する（複数含んでいる）ワーク収容箱２３と、から構成される。まず、各構成物について説明する。 FIG. 1 shows a configuration of a target work pile picking system 10 including an interference determination device 1 according to this embodiment. The stacking picking system 10 stacks the same shape workpieces with the interference determination device 1, the robot work instruction unit 18, the robot control unit 19, the robot arm 21 having the hand 20 capable of holding the target work 22, and the like. And a work storage box 23 (containing a plurality). First, each component will be described.
ロボット作業指示部１８は、干渉判定装置１の出力結果に基づき、ハンドと周辺物体との間に把持動作時の干渉が発生しないと判断されたワークを把持するよう、ロボット制御部１９に指示を行う。 The robot operation instructing unit 18 instructs the robot control unit 19 based on the output result of the interference determination device 1 to grasp the workpiece that is determined to cause no interference during the grasping operation between the hand and the surrounding object. Do.
ロボット制御部１９は、ロボット作業指示部１８からの指示情報を受けて、ロボットアーム２１およびハンド２０の動作制御を行い、把持対象ワークの把持、搬送動作を行う。 The robot control unit 19 receives the instruction information from the robot operation instruction unit 18, controls the operation of the robot arm 21 and the hand 20, and performs the gripping and transport operations of the workpiece to be gripped.
ハンド（把持部）２０は、ロボットアーム先端であるフランジに取り付けられ、ロボット制御部１９からの動作制御によりワークの把持動作を行うエンドエフェクタである。たとえば、ワークの平面部に押しつけることで把持を行う磁石式あるいは吸着式ハンドでもよいし、二指、三指といった多数の指の開閉により物体を内側あるいは外側から挟み込むことで把持を行うグリッパー式ハンドでもよい。その他、ロボットアームに取り付け可能で把持機構を有するエンドエフェクタであればいかなるものであってもよい。 The hand (gripping unit) 20 is an end effector that is attached to a flange at the tip of the robot arm and that performs a gripping operation of a work under operation control from the robot control unit 19. For example, a magnet-type or suction-type hand that grips by pressing against a flat surface of a work may be used, or a gripper-type hand that grips by pinching an object from inside or outside by opening and closing a number of fingers such as two or three fingers May be. In addition, any end effector that can be attached to the robot arm and has a gripping mechanism may be used.
ロボットアーム２１は、ロボット制御部の動作制御により対象ワークを把持可能な位置姿勢までハンドを動作可能な多自由度のロボットである。 The robot arm 21 is a multi-degree-of-freedom robot that can move the hand to a position and orientation capable of gripping the target work under the operation control of the robot control unit.
距離センサ２は、各画素に奥行きの情報を保持する距離画像を取得するセンサである。距離センサ２としては、たとえば対象物体に照射したレーザ光やスリット光・ランダムドットパターン光の反射光をカメラで撮影し、三角測量により距離を計測するアクティブ式のものが利用できる。アクティブ式の距離計測方法としては，空間符号化法、位相シフト法などのさまざまな方式を用いてよい。さらに、距離センサはこれに限るものではなく、光の飛行時間を利用するＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式であってもよい。また、ステレオカメラが撮影する画像から三角測量によって各画素の奥行きを計算するパッシブ式であってもよい。この他、対象物体の表面上の三次元位置を距離画像から取得できる方法であれば、いかなるものであっても本発明の本質を損なうものではない。 The distance sensor 2 is a sensor that acquires a distance image in which each pixel holds depth information. As the distance sensor 2, for example, an active sensor that captures laser light, slit light, or reflected light of random dot pattern light irradiated on a target object with a camera and measures the distance by triangulation can be used. Various methods such as a spatial encoding method and a phase shift method may be used as the active distance measuring method. Further, the distance sensor is not limited to this, and may be of a time-of-flight type using the flight time of light. Alternatively, a passive type that calculates the depth of each pixel by triangulation from an image captured by a stereo camera may be used. In addition, any method that can acquire the three-dimensional position on the surface of the target object from the distance image does not impair the essence of the present invention.
次に、干渉判定装置１の構成について、干渉判定装置の機能構成例を示すブロック図である図２を用いて説明する。 Next, the configuration of the interference determination device 1 will be described with reference to FIG. 2 which is a block diagram illustrating a functional configuration example of the interference determination device.
干渉判定装置１は、取得部１１、ワーク位置姿勢導出部１２、ワークモデル保持部１３、対象領域特定部１４、ハンド位置姿勢導出部１５、ハンドモデル保持部１６、干渉判定部１７とから構成される。以下、各処理部について説明する。 The interference determination device 1 includes an acquisition unit 11, a work position / posture deriving unit 12, a work model holding unit 13, a target area specifying unit 14, a hand position / posture deriving unit 15, a hand model holding unit 16, and an interference judgment unit 17. You. Hereinafter, each processing unit will be described.
３次元形状データ取得部１１は、対象ワークの山積み状態の表面形状を表す三次元形状データを取得する。より具体的には、距離センサにより距離画像を撮影し、各画素の座標と奥行き値から三次元の座標を算出した三次元点群を三次元形状データとして取得する。 The three-dimensional shape data acquisition unit 11 acquires three-dimensional shape data representing the surface shape of the target workpiece in a piled state. More specifically, a distance image is captured by a distance sensor, and a three-dimensional point group obtained by calculating three-dimensional coordinates from the coordinates of each pixel and a depth value is acquired as three-dimensional shape data.
３次元形状データ取得部１１が取得した計測情報はワーク位置姿勢導出部１２に入力される。ワーク位置姿勢導出部１２に設定された座標系を以後、センサ座標系と呼ぶ。なお、本実施形態において、距離センサとロボットとの幾何関係は固定であるものとし、両者間の相対位置姿勢は事前にロボット・ビジョンキャリブレーションを実施して求めておくことにより既知であるものとする。また、本実施形態では、センサは、ワーク収容箱の上部に固定されたものとして説明を行ったが、センサはロボットアームに固定してもかまわない。 The measurement information acquired by the three-dimensional shape data acquisition unit 11 is input to the work position / posture derivation unit 12. The coordinate system set in the work position / posture deriving unit 12 is hereinafter referred to as a sensor coordinate system. In the present embodiment, the geometric relationship between the distance sensor and the robot is assumed to be fixed, and the relative position and orientation between the two is known by performing robot vision calibration in advance. I do. In the present embodiment, the sensor has been described as being fixed to the upper part of the work storage box, but the sensor may be fixed to the robot arm.
ワーク位置姿勢導出部１２は、３次元形状データ取得部１１により入力された情報を手がかりに、ワーク収容箱２３内に存在するワークの一個体を検出するとともに、センサ座標系における、検出ワークの位置姿勢を表す６パラメータを算出する。 The work position / posture deriving unit 12 detects one individual work existing in the work storage box 23 based on the information input by the three-dimensional shape data acquisition unit 11, and detects the position of the detected work in the sensor coordinate system. Six parameters representing the posture are calculated.
本実施形態ではまず、多数の位置姿勢からワークを観測した距離画像情報をそれぞれパターンとしてデータベースに保持しておき、距離センサ２で計測した距離画像とこれらのパターンとをマッチングすることで一個体を検出し、ワークのおおまかな位置姿勢を算出する。次に、おおまかな位置姿勢からワークの位置姿勢を再度算出し直す。まず、ワークを距離画像として取得した際に観測されるであろう三次元点群を後段の処理で用いるワークの三次元形状モデルから抽出しておく。そして、おおまかな位置姿勢に基づいて、その三次元点群と、距離センサ２で取得した距離画像上から導出された三次元点群との対応関係を求め、両者がフィッティングするように位置姿勢を導出する。ただし、取得部１１で取得した距離画像を用いて、山積みワークの中から把持対象となる個体を発見し、その三次元位置姿勢を導出できる方法であれば、ここで述べた以外のいかなる方法であってもかまわない。 In the present embodiment, first, distance image information obtained by observing a workpiece from many positions and orientations is stored in a database as patterns, and one individual is identified by matching the distance image measured by the distance sensor 2 with these patterns. Detect and calculate the approximate position and orientation of the work. Next, the position and orientation of the work are calculated again from the approximate position and orientation. First, a three-dimensional point group that will be observed when a work is acquired as a distance image is extracted from a three-dimensional shape model of the work used in subsequent processing. Then, based on the rough position and orientation, the correspondence between the three-dimensional point group and the three-dimensional point group derived from the distance image acquired by the distance sensor 2 is obtained, and the position and orientation are determined so that both are fitted. Derive. However, any method other than the method described here can be used as long as it is a method that uses the distance image acquired by the acquisition unit 11 to find an individual to be grasped from a pile of works and derive its three-dimensional position and orientation. It doesn't matter.
ワークモデル保持部１３は、山積みピッキングの対象となるワークの三次元形状モデルを保持する。三次元形状モデル（３次元モデル情報）には、たとえばワークの三次元形状を近似表現したポリゴンモデルを用いることができる。ポリゴンモデルは、対象ワーク形状の表面点の３次元座標と、形状を近似する三角形の面（ポリゴン）を構成するための各表面点の連結情報によって構成される。なお、ポリゴンは三角形で構成されるのが一般的であるが、四角形や五角形であってもよい。その他、表面点の座標とその連結情報によりワーク形状を近似表現できるポリゴンモデルであればいかなるものであってもかまわない。ただし、三次元形状モデルはポリゴンモデルに限らない。たとえばＣＡＤデータ（ＣＡＤモデル）のように、Ｂ−Ｒｅｐ（Ｂｏｕｎｄａｒｙ−Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）表現と呼ばれる、区分されたパラメータ曲面の集合で形状を表現したモデルであってもよい。その他、ワークの三次元形状として、面形状を表現可能なモデルであればいかなるものであってもかまわない。三次元形状モデルは、干渉判定部１７において、距離画像から得られる三次元点群から、把持対象ワーク領域に該当する三次元点を特定する際に用いられる。 The work model holding unit 13 holds a three-dimensional shape model of a work to be piled. As the three-dimensional shape model (three-dimensional model information), for example, a polygon model that approximates the three-dimensional shape of the work can be used. The polygon model is composed of three-dimensional coordinates of surface points of the target workpiece shape and connection information of each surface point for forming a triangular surface (polygon) that approximates the shape. Although polygons are generally constituted by triangles, they may be quadrangular or pentagonal. In addition, any polygon model can be used as long as it can approximate the work shape using the coordinates of the surface points and its connection information. However, the three-dimensional shape model is not limited to the polygon model. For example, like CAD data (CAD model), it may be a model called a B-Rep (Boundary-Representation) expression that represents a shape by a set of partitioned parameter surfaces. In addition, any model can be used as the three-dimensional shape of the workpiece as long as the model can represent a surface shape. The three-dimensional shape model is used when the interference determination unit 17 specifies a three-dimensional point corresponding to the grasp target work area from a three-dimensional point group obtained from the distance image.
対象領域特定部１４は、３次元形状データ取得部１１により取得される把持対象ワークを含んだ空間の３次元形状データから、把持対象ワークの領域を除いた領域を特定する。そして、対象領域特定部１４は、干渉判定部１７に送出する。 The target area specifying unit 14 specifies an area excluding the area of the workpiece to be gripped from the three-dimensional shape data of the space including the workpiece to be gripped acquired by the three-dimensional shape data acquiring unit 11. Then, the target area specifying unit 14 sends the data to the interference determination unit 17.
ハンド位置姿勢導出部１５は、ワーク位置姿勢導出部１２により導出されたワークの位置姿勢に基づいて、該把持対象ワークを把持するハンドの位置姿勢を導出する。具体的な処理は後述する。ハンド位置姿勢導出部１５は、導出されたハンドの位置姿勢を干渉判定部１７に送出する。 The hand position / posture deriving unit 15 derives the position / posture of the hand gripping the target workpiece based on the position / posture of the work derived by the work position / posture deriving unit 12. Specific processing will be described later. The hand position and orientation deriving unit 15 sends the derived position and orientation of the hand to the interference determination unit 17.
ハンドモデル保持部１６は、把持対象ワークを把持するハンドの３次元形状モデルを保持する。ハンドモデルの３次元形状モデルに関しても、ワークの３次元形状モデルと同様なので説明を省略する。ハンドモデル保持部１６は、保持するハンドの３次元形状モデルを上述のハンド位置姿勢導出部１５と干渉判定部１７に送出する。 The hand model holding unit 16 holds a three-dimensional shape model of a hand that grips a workpiece to be gripped. The three-dimensional shape model of the hand model is the same as the three-dimensional shape model of the work, and therefore, the description is omitted. The hand model holding unit 16 sends the held three-dimensional shape model of the hand to the hand position / posture deriving unit 15 and the interference determining unit 17 described above.
干渉判定部１７は、３次元形状データ取得部１１が取得した三次元形状データのうち、把持対象ワーク領域特定部（対象領域特定部１４）が特定した把持対象ワークの領域を除いた領域に対して、干渉判定を行う。干渉判定は、ハンド位置姿勢導出部１６により導出されるハンドの位置姿勢でのハンドモデルと、把持対象ワーク周辺物体との干渉の有無を判定する。これには、ハンドモデル保持部１５に保持されるハンドの三次元形状を表現したポリゴンモデルを用いて、ゲームプログラミングなどで一般的に利用される衝突判定技術を利用する。具体的には、ビジョンシステムにより山積みワークを撮影した距離画像から得られる三次元形状データと、検出したワークを把持する際の位置姿勢におけるハンド形状との、三次元空間上での重なりを検出することで、干渉の発生を検出する。干渉判定部１７は、上記の干渉判定処理を行い、干渉がないと判定された場合に、把持対象ワークをロボット作業指示部１８に出力する。もちろん、干渉があると判定された場合にも、干渉判定の結果を出力してもかまわない。 The interference determination unit 17 determines an area of the three-dimensional shape data acquired by the three-dimensional shape data acquisition unit 11 other than an area of the grasp target work specified by the grasp target work area specifying unit (target area specifying unit 14 ). Then, interference determination is performed. In the interference determination, the presence / absence of interference between the hand model at the position and orientation of the hand derived by the hand position and orientation derivation unit 16 and the object around the workpiece to be grasped is determined. For this, a collision determination technique generally used in game programming or the like is used by using a polygon model representing the three-dimensional shape of the hand held in the hand model holding unit 15. Specifically, an overlap in a three-dimensional space between three-dimensional shape data obtained from a distance image obtained by photographing a pile of works by a vision system and a hand shape in a position and orientation when gripping the detected work is detected. Thus, the occurrence of interference is detected. The interference determination unit 17 performs the above-described interference determination process, and outputs the work to be grasped to the robot work instruction unit 18 when it is determined that there is no interference. Of course, even when it is determined that there is interference, the result of the interference determination may be output.
図３は、本実施形態において、干渉判定装置１を利用して把持動作時の干渉を事前判定しながら山積みワークのピッキングを行う処理手順を示すフローチャートである。 FIG. 3 is a flowchart illustrating a processing procedure for picking piled works while preliminarily determining interference during a gripping operation using the interference determination device 1 in the present embodiment.
（ステップＳ２０１）
ステップＳ２０１では、ワークモデル保持部１３が、保持しているワークの三次元形状モデルをワーク位置姿勢導出部１２および干渉判定部１７に入力する。
(Step S201)
In step S201, the work model holding unit 13 inputs the three-dimensional shape model of the held work to the work position / posture deriving unit 12 and the interference determining unit 17.
（ステップＳ２０２）
ステップＳ２０２では、ハンドモデル保持部１６が、保持しているハンドの三次元形状を表すモデルをハンド位置姿勢導出部１５および干渉判定部１７に入力する。ここでは、三次元形状をポリゴンの集合により近似したポリゴンモデルを入力するものとする。
(Step S202)
In step S202, the hand model holding unit 16 inputs a model representing the three-dimensional shape of the held hand to the hand position / posture deriving unit 15 and the interference determining unit 17. Here, it is assumed that a polygon model whose three-dimensional shape is approximated by a set of polygons is input.
（ステップＳ２０３）
ステップＳ２０３では、３次元形状データ取得部１１が、山積みされた対象ワークの距離画像を撮影し、各画素の座標と奥行き値から三次元点群の座標データを算出して、ワーク位置姿勢導出部１２に入力する。三次元点群の点の総数をＮとする。なお、得られる三次元点群の各点の座標は、基準座標系で表現されているものとする。これ以後、基準座標系で表現された三次元点群の各点にＩＤをつけ、ｉ番目の三次元点をｋｃ＿ｉと呼ぶことにする。ここで、本ステップで生成した三次元点の座標と、対応する距離画像の各画素の座標には、互いに参照できるようにリンク情報を記録しておく。
(Step S203)
In step S203, the three-dimensional shape data acquisition unit 11 captures a distance image of the piled target work, calculates coordinate data of a three-dimensional point group from the coordinates of each pixel and the depth value, and calculates the work position / posture derivation unit. Input to 12. Let N be the total number of points in the three-dimensional point cloud. It is assumed that the coordinates of each point of the obtained three-dimensional point group are expressed in a reference coordinate system. Hereinafter, an ID is assigned to each point of the three-dimensional point group expressed in the reference coordinate system, and the i-th three-dimensional point is referred to as kc_i. Here, link information is recorded in the coordinates of the three-dimensional point generated in this step and the coordinates of each pixel of the corresponding distance image so that they can be referred to each other.
（ステップＳ２０４）
ステップＳ２０４では、ワーク位置姿勢導出部１２が、山積み中のワークの中から把持対象となる個体を一つ検出し、センサ座標系における検出ワークの位置姿勢を表す６つのパラメータを算出する。個体の検出および位置姿勢の算出にはさまざまな方法を利用できる。前述したように、本ステップではまず、ワークを多数の位置姿勢から観測したときの各距離画像のパターンと、ステップＳ２０１で得られた距離画像とのマッチングを行い、もっともスコアの高かったデータに対応する観測位置姿勢を把持対象ワークの概略位置姿勢として求める。具体的には、特開２００１−１４３０７号公報明細書に記載されている方法を利用し、距離画像上の特徴点間の位置関係と、データベース上に存在する、各観測位置姿勢における特徴点間の位置関係とを比較して、最も一致する特徴点群を選別することで概略位置姿勢を算出する。次に、得られた概略位置姿勢を初期値として、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）法と呼ばれる手法を用いて、距離画像から得られた三次元点群に対して、ワークの三次元形状モデルが三次元空間中で当てはまるような位置姿勢を算出する。
(Step S204)
In step S204, the work position and orientation deriving unit 12 detects one individual to be grasped from among the piled works and calculates six parameters representing the position and orientation of the detected work in the sensor coordinate system. Various methods can be used for detecting the individual and calculating the position and orientation. As described above, in this step, first, the pattern of each distance image when the work is observed from many positions and orientations is matched with the distance image obtained in step S201, and the pattern corresponding to the data with the highest score is obtained. Obtained observation position and posture are obtained as the approximate position and posture of the work to be grasped. Specifically, using the method described in Japanese Patent Application Laid-Open No. 2001-14307, the positional relationship between the feature points on the distance image and the feature point between the feature points at each observation position and orientation existing on the database. , And the approximate position and orientation are calculated by selecting the best matching feature point group. Next, using the obtained approximate position and orientation as initial values, a three-dimensional shape model of the workpiece is transformed into a three-dimensional model by using a method called an ICP (Iterative Closest Point) method with respect to the three-dimensional point group obtained from the distance image. The position and orientation that apply in the original space are calculated.
まず、ワークの三次元形状モデル表面上から抽出した点群をＰとする。
Ｐ ＝ ｛ ｐｍ＿１， ｐｍ＿２， …， ｐｍ＿Ｎ ｝ （１）
First, let P be a point group extracted from the surface of the three-dimensional shape model of the work.
P = ｛ pm_1 , pm_2 , …, Pm_N ｝ (1)
次に、距離画像から得られる三次元点群をＫとする。
Ｋ ＝ ｛ ｋｍ＿１， ｋｍ＿２， …， ｋｍ＿Ｎ ｝ （２）
Next, let K be a three-dimensional point group obtained from the distance image.
K = {k m_1, k m_2 , ..., k m_N} (2)
三次元形状モデルからサンプリングした表面点群Ｐを変換して、距離画像から得られる三次元点群Ｋに一致するような位置姿勢パラメータを算出する。概略位置姿勢に基づき、点群Ｐの各点ｐｉをセンサ座標系に変換した時に点群Ｋの中で距離が最も近い点をｂｉ∈Ｋとしたとき、（３）のように誤差関数を定義できる。ここで、Ｒとｔはそれぞれ、求める姿勢パラメータと移動ベクトルである。 The surface point group P sampled from the three-dimensional shape model is converted, and a position and orientation parameter that matches the three-dimensional point group K obtained from the distance image is calculated. Based on the approximate position and orientation, when the point closest in the point group K when converting each point p i of the point group P in the sensor coordinate system and b i that is an element of the set K, the error function as (3) Can be defined. Here, R and t are a desired posture parameter and a movement vector, respectively.
この誤差関数Ｅを小さくするＲとｔを求めることで、位置姿勢を表す６パラメータを算出する。なお、誤差関数Ｅを小さくするＲとｔを求める方法については、以下の文献に載っている。Ｋ．Ｓ．Ａｒｕｎ，Ｔ．Ｓ．Ｈｕａｎｇ，ａｎｄ Ｓ．Ｄ．Ｂｌｏｓｔｅｌｎ，”Ｌｅａｓｔ−Ｓｑｕａｒｅｓ Ｆｉｔｔｉｎｇ ｏｆ Ｔｗｏ３−Ｄ Ｐｏｉｎｔ Ｓｅｔｓ，”ＰＡＭＩ，ｖｏｌ．９，ｎｏ．５，１９８７
なお、本ステップでは上記のようにＲ，ｔを直接求めるのではなく、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法など非線形最適化手法を用いてワークの位置姿勢パラメータの補正を繰り返すことで算出しても良い。その他、山積み中のワークの中から一個体を検出し、センサ座標系におけるワークの位置姿勢を表す６つのパラメータを算出可能な方法であればいかなる方法であってもよい。
By obtaining R and t for reducing the error function E, six parameters representing the position and orientation are calculated. The method of obtaining R and t for reducing the error function E is described in the following document. K. S. Arun, T .; S. Huang, and S.M. D. Blosteln, "Least-Squares Fitting of Two-D Point Sets," PAMI, vol. 9, no. 5,1987
In this step, R and t may not be directly calculated as described above, but may be calculated by repeatedly correcting the position and orientation parameters of the work using a nonlinear optimization method such as the Gauss-Newton method. In addition, any method may be used as long as it can detect one individual from among the piled works and calculate six parameters representing the position and orientation of the work in the sensor coordinate system.
（ステップＳ２０５）
ステップＳ２０５では、対象領域特定部１４が、ステップＳ２０４で導出した把持対象ワークの位置姿勢に基づき、三次元形状データ上で把持対象ワーク以外に該当する三次元点を特定する。本ステップの処理について図４を用いて説明する。
(Step S205)
In step S205, the target region specifying unit 14 specifies a three-dimensional point other than the target workpiece on the three-dimensional shape data based on the position and orientation of the target workpiece derived in step S204. The processing of this step will be described with reference to FIG.
図４（ａ）は、収容箱に山積みされたワークを撮影した距離画像、および、その距離画像からステップＳ２０２において検出、位置姿勢が算出された把持対象ワークを示している。ここで、ワークモデル保持部１３の保持するワークの三次元形状モデルと、把持対象ワークの位置姿勢とを用いて、以下の方法により、把持対象ワーク以外の三次元形状データを特定する。 FIG. 4A shows a distance image obtained by photographing the work piled up in the storage box, and a gripping target work whose position and orientation have been detected and calculated in step S202 from the distance image. Here, using the three-dimensional shape model of the work held by the work model holding unit 13 and the position and orientation of the work to be grasped, three-dimensional shape data other than the work to be grasped is specified by the following method.
まず、仮想カメラの観測画像平面を用意し、その観測画像平面上に、算出した位置姿勢に基づいてワークの三次元形状モデルをレンダリングする。なお、仮想カメラのカメラパラメータには、計測部（取得部１１）で実際に用いる撮像装置と同一のものを取得して利用するのがよい。同一のカメラパラメータを利用することで、計測部で撮影した距離画像の各画素（ｘ，ｙ）が、仮想カメラの観測画像平面上の（ｘ，ｙ）に対応する。ただし、撮影した距離画像と、仮想カメラの観測画像平面との画素の対応関係が特定できれば、必ずしも同一のカメラパラメータである必要はない。なお、レンダリング処理に先立って、まず、画像平面全体をたとえば（Ｒ，Ｇ，Ｂ）＝（０，０，０）などの色で初期化しておく。 First, an observation image plane of a virtual camera is prepared, and a three-dimensional shape model of a workpiece is rendered on the observation image plane based on the calculated position and orientation. As the camera parameters of the virtual camera, it is preferable to acquire and use the same camera parameters as those actually used by the measurement unit (acquisition unit 11 ) . By using the same camera parameters, each pixel (x, y) of the distance image captured by the measurement unit corresponds to (x, y) on the observation image plane of the virtual camera. However, the same camera parameters are not necessarily required as long as the correspondence between the captured distance image and the pixel of the observation image plane of the virtual camera can be specified. Prior to the rendering processing, first, the entire image plane is initialized with a color such as (R, G, B) = (0, 0, 0).
次に、ワークがレンダリングされた画素を特定できるよう、三次元形状モデルを構成する各面に対して、初期化に利用した色以外で固有の色を割り当て、割り当てた色で各面をレンダリングする。たとえば、ポリゴンモデルを利用するのであれば、ポリゴンモデルを構成する全ポリゴンに（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）の色を割り当ててレンダリングを行う。あるいはＢ−Ｒｅｐ表現の区分パラメータ曲面のモデルを利用する場合においても、各曲面に対して固有の色を割り当ててレンダリングを行う。なお、ワークがレンダリングされている領域の画素を特定できれば、カラー画像、濃淡画像を用いてもかまわないし、各面ごとに異なる色を割り当てても同一の色を割り当ててもかまわない。あるいは、二値化画像を利用してもかまわない。図４（ａ）の把持対象ワークに対して、上記処理により生成された画像を図４（ｂ）に示す。 Next, a unique color other than the color used for the initialization is assigned to each surface constituting the three-dimensional shape model so that the pixel on which the work is rendered can be specified, and each surface is rendered with the assigned color. . For example, if a polygon model is used, rendering is performed by assigning a color of (R, G, B) = (255, 0, 0) to all polygons constituting the polygon model. Alternatively, even when a model of a segmented parameter surface in B-Rep expression is used, rendering is performed by assigning a unique color to each surface. Note that as long as the pixels in the area where the work is rendered can be specified, a color image or a grayscale image may be used, or a different color may be assigned to each surface or the same color may be assigned. Alternatively, a binarized image may be used. Figure 4 relative to the gripping target workpiece (a), shows the image generated by the process in Figure 4 (b).
次に、距離画像上の各画素（ｘ，ｙ）に対して、その画素に対応する観測画像平面上の各画素の輝度値（Ｒ，Ｇ，Ｂ）を順次参照することで、その画素から算出した三次元点が把持対象ワークに該当する領域であるか順次判定する。たとえば距離画像の注目画素（ｘ，ｙ）に対応する観測画像平面上の画素の輝度値が（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）であったとする。この場合、その画素から算出した三次元点は把持対象ワークに該当する形状を表すデータであるものと判定して、その画素に対応付けて０の値を記録しておく。あるいは注目画素（ｘ，ｙ）に対応する観測画像平面上の画素の輝度値が（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）であったとする。この場合、その画素から算出した三次元点は、ワーク収容箱あるいは把持対象以外のワークなど周辺物体の形状を表すデータであるものと判定して、その画素に対応付けて１の値を記録しておく。この処理を全画素に行うことで、各画素から算出した三次元点について、把持対象ワークの形状を表すもの、把持対象ワーク以外の周辺物体の形状を表すもの、のいずれに該当するかを特定可能となる。 Next, for each pixel (x, y) on the distance image, the luminance value (R, G, B) of each pixel on the observation image plane corresponding to that pixel is sequentially referred to, and It is sequentially determined whether the calculated three-dimensional point is an area corresponding to the workpiece to be grasped. For example, it is assumed that the luminance value of the pixel on the observation image plane corresponding to the target pixel (x, y) of the distance image is (R, G, B) = (255, 0, 0). In this case, the three-dimensional point calculated from the pixel is determined to be data representing a shape corresponding to the workpiece to be grasped, and a value of 0 is recorded in association with the pixel. Alternatively, it is assumed that the luminance value of the pixel on the observation image plane corresponding to the target pixel (x, y) is (R, G, B) = (255, 0, 0). In this case, the three-dimensional point calculated from the pixel is determined to be data representing the shape of a peripheral object such as a work storage box or a work other than the work to be gripped, and a value of 1 is recorded in association with the pixel. Keep it. By performing this process on all pixels, the three-dimensional point calculated from each pixel can be identified as one of the shape representing the shape of the work to be grasped or the shape representing the shape of a peripheral object other than the work to be grasped. It becomes possible.
なお、ここでは、レンダリングの結果画像を格納するフレームバッファのうち、カラーバッファの輝度値を参照することで把持対象ワーク領域を特定したが、カラーバッファの代わりに、デプスバッファやステンシルバッファの値を参照して特定を行ってもよい。あるいはレンダリングを行わずに、仮想カメラ座標系の原点から各画素に対して向かう仮想の光線を計算し、その光線と対象ワークとが交わるか否かを判定することで把持対象ワーク領域か否かを判定してもよい。 In this case, the work area to be grasped is specified by referring to the luminance value of the color buffer among the frame buffers for storing the rendering result images, but the values of the depth buffer and the stencil buffer are used instead of the color buffer. The identification may be performed with reference to the reference. Or, without rendering, calculate a virtual ray directed from the origin of the virtual camera coordinate system toward each pixel, and determine whether or not the ray intersects with the target work to determine whether or not the area is the grasp target work area. May be determined.
ここで、図４（ｃ）は、図４（ａ）の距離画像に対する太線部の断面図を示したものである。計測装置により取得した距離画像から算出された各三次元点を白丸で示す。また、その中で、上記処理により把持対象ワークに該当するものを破線部で示す。破線部で示された把持対象ワークに該当する三次元点は除き（除外して）、実線の白丸で表示された三次元点を用いて干渉判定を行うことで、把持対象ワーク以外の物体との干渉判定が可能となる。 Here, FIG. 4C shows a cross-sectional view of a thick line portion with respect to the distance image of FIG. 4A. Each three-dimensional point calculated from the distance image acquired by the measuring device is indicated by a white circle. Among them, those corresponding to the work to be gripped by the above processing are indicated by broken lines. Excluding (excluded) the three-dimensional points corresponding to the workpiece to be grasped indicated by the broken line, and performing interference determination using the three-dimensional points indicated by solid white circles, the object other than the workpiece to be grasped can be identified. Can be determined.
なお、把持対象ワークの領域の特定は、以下の方法によっても可能である。たとえば、各種類が固有の色をもつような、異なる複数種のワークが混合で山積みされた中から、１種類のワークを把持する場合には、距離画像との対応が特定可能な輝度画像を取得し、輝度画像の画素の色情報に基づいて、把持対象ワークの領域を特定してもよい。すなわち、把持対象ワークが赤色なのであれば、輝度画像上で赤色の画素に対応する距離画像上の画素の計測点は無効、赤色以外の画素に対応する距離画像上の計測点は有効という情報を付与することで、把持対象ワークの特定処理が可能である。 The area of the work to be grasped can be specified by the following method. For example, when a plurality of different types of workpieces, each of which has a unique color, are stacked and mixed, when grasping one type of workpiece, a luminance image that can be identified with a distance image is used. The area of the workpiece to be grasped may be specified based on the acquired color information of the pixels of the luminance image. That is, if the workpiece to be grasped is red, the information that the measurement points of the pixels on the distance image corresponding to the red pixels on the luminance image are invalid, and the measurement points on the distance image corresponding to the pixels other than red are valid. By giving, the specific processing of the workpiece to be grasped can be performed.
（ステップＳ２０６）
ステップＳ２０６では、ハンド位置姿勢導出部１５が、ステップＳ２０４で導出したワークの位置姿勢に基づき、センサ座標系におけるワークの把持動作を行うハンドの位置姿勢を導出する。具体的には、把持を行う際のワークとハンドとの相対位置姿勢を、把持教示情報として記録させる作業を事前に行っておく。ワークとハンドとの相対位置姿勢の設定は、ワークのモデルとハンドのモデルとを仮想環境で操作することで行う。あるいは、センサにより計測したデータに基づき、センサ座標系における位置姿勢を求めたワークに対して、センサとハンド間の相対位置姿勢が取得可能なハンドにより、そのワークを把持できるような位置姿勢へハンドを動かし、両者の位置姿勢から算出してもよい。そして算出したワークの位置姿勢を表す座標変換行列に対して、記録しておいた把持教示情報に基づき、ワーク・ハンド間の相対位置姿勢を表す座標変換行列を掛け合わせることでセンサ座標系におけるハンドの座標変換行列を求め、両者間の位置姿勢を算出する。
(Step S206)
In step S206, the hand position and orientation deriving unit 15 derives the position and orientation of the hand that performs the work of gripping the work in the sensor coordinate system based on the position and orientation of the work derived in step S204. Specifically, the work of recording the relative position and orientation of the work and the hand at the time of gripping as gripping teaching information is performed in advance. The setting of the relative position and orientation between the work and the hand is performed by operating the model of the work and the model of the hand in a virtual environment. Alternatively, for a workpiece for which the position and orientation in the sensor coordinate system has been obtained based on data measured by the sensor, the hand is capable of acquiring the relative position and orientation between the sensor and the hand, and is then moved to a position and orientation capable of gripping the workpiece. May be moved to calculate from both positions and orientations. The calculated coordinate transformation matrix representing the position and orientation of the work is multiplied by a coordinate transformation matrix representing the relative position and orientation between the work and the hand based on the recorded gripping teaching information to obtain a hand in the sensor coordinate system. Is calculated, and the position and orientation between the two is calculated.
図４（ｄ）に、図４（ｃ）の把持対象ワークに対して、本ステップにより把持を行うハンドの位置姿勢を導出して配置した様子を示す。なお、ステップＳ２０５により把持対象ワークに該当すると判定された三次元点は取り除いている。 FIG. 4D shows a state in which the position and orientation of the hand to be gripped in this step are derived and arranged for the workpiece to be gripped in FIG. 4C. The three-dimensional points determined to correspond to the workpiece to be gripped in step S205 have been removed.
（ステップＳ２０７）
ステップＳ２０７では、干渉判定部１７が、ステップＳ２０５で特定した、把持対象ワーク以外に該当する三次元形状データと、ステップＳ２０６で算出した位置姿勢におけるハンドとの干渉判定を行う。
(Step S207)
In step S207, the interference determination unit 17 determines the interference between the three-dimensional shape data specified in step S205 other than the workpiece to be grasped and the hand at the position and orientation calculated in step S206.
まず、ステップＳ２０６で導出された位置姿勢にハンドの形状を表現するポリゴンモデルを配置する。さらに、把持対象ワーク以外に該当する三次元形状データの各三次元点の位置に半径ｒの微小な球を配置する。そして、各ポリゴンと球との三次元空間的な重なりを検出することで干渉判定を行う。球とポリゴンとに重なりがあれば干渉あり、なければ干渉なしと判定する。ポリゴンと球との干渉判定方法については、「Ｃｈｒｉｓｔｅｒ Ｅｒｉｃｓｏｎ， ”ゲームプログラミングのためのリアルタイム衝突判定”，（ボーンデジタル，２００５）」に記載されている方法を用いることができる。図４（ｄ）中において、把持対象ワーク以外の三次元点のうち、球とポリゴンとの干渉判定により、ハンドとの干渉ありと判定されたものを黒丸で示す。 First, a polygon model representing the shape of the hand is arranged at the position and orientation derived in step S206. Further, a minute sphere having a radius r is arranged at the position of each three-dimensional point of the three-dimensional shape data corresponding to a part other than the workpiece to be grasped. Then, interference determination is performed by detecting a three-dimensional spatial overlap between each polygon and the sphere. If the sphere and the polygon overlap, it is determined that there is interference, and if not, it is determined that there is no interference. As a method for determining the interference between a polygon and a sphere, a method described in “Christer Ericson,“ Real-time collision determination for game programming ”, (Bone Digital, 2005)” can be used. In FIG. 4 (d) in, of the three-dimensional points other than gripping target workpiece, indicated by the interference determination that the sphere and the polygon, the one where it is determined that there is interference between the hand by a black circle.
ただし、干渉判定はこのほかの方法で行ってもよい。たとえば、距離画像上で隣接した画素間の三次元点を連結することで山積みワークの三次元形状データを表現するポリゴンを生成し、把持位置姿勢におけるハンドのポリゴンモデルとの、ポリゴン間の交差を検出することで干渉判定を実施する。この場合、ポリゴン間に交差があれば干渉あり、なければ干渉なしと判定し、結果を出力する。ポリゴン間の干渉判定方法については、「Ｔｏｍａｓ Ｍｏｌｌｅｒ， ”Ａ Ｆａｓｔ Ｔｒｉａｎｇｌｅ−Ｔｒｉａｎｇｌｅ Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｔｅｓｔ”， １９９７」に記載されている方法を用いることができる。なお、ハンドの形状モデルにはポリゴンモデルを利用したが、円柱や球、直方体などの簡単な幾何形状の組み合わせで三次元形状を表現したモデルを用いてもかまわない。このほか、山積みワークの三次元形状データと、ワークを把持するハンドの形状モデルとの間の三次元空間的な重なりを検出できる方法であればいかなる方法であってもかまわない。また、ハンドの形状モデルを把持対象ワークと反対側の方向に拡大してもよい。拡大したハンドの形状モデルを用いて干渉判定を行うことにより、実際に行われる把持動作に余裕を持たせることができる。 However, the interference determination may be performed by another method. For example, a polygon representing the three-dimensional shape data of a pile of workpieces is generated by connecting three-dimensional points between adjacent pixels on the distance image, and the intersection between the polygon and the polygon model of the hand at the holding position and orientation is determined. The interference is determined by detecting the interference. In this case, if there is an intersection between the polygons, it is determined that there is interference, otherwise, it is determined that there is no interference, and the result is output. As a method of determining interference between polygons, a method described in “Tomas Moller,“ A Fast Triangle-Triangle Intersection Test ”, 1997” can be used. Although the polygon model is used as the hand shape model, a model expressing a three-dimensional shape by a combination of simple geometric shapes such as a cylinder, a sphere, and a rectangular parallelepiped may be used. In addition, any method may be used as long as it can detect a three-dimensional spatial overlap between the three-dimensional shape data of the piled works and the shape model of the hand holding the work. Further, the shape model of the hand may be enlarged in the direction opposite to the workpiece to be grasped. By performing the interference determination using the enlarged hand shape model, a margin can be given to the gripping operation actually performed.
（ステップＳ２０８）
ステップＳ２０８では、ステップＳ２０７の結果、干渉がないと判定されればステップＳ２０９へ進む。干渉があると判定されればステップＳ２０２へ進み、別の個体の検出、位置姿勢導出を行う。
(Step S208)
In step S208, if it is determined that there is no interference as a result of step S207, the process proceeds to step S209. If it is determined that there is interference, the process advances to step S202 to detect another individual and derive a position and orientation.
（ステップＳ２０９）
ステップＳ２０９では、ロボットアームを動作させて、把持対象ワークを把持できる位置姿勢へハンドを移動し、ハンドによるワークの把持、所定位置への搬送動作を行う。
(Step S209)
In step S209, the robot arm is operated to move the hand to a position and orientation at which the workpiece to be gripped can be gripped, and the workpiece is gripped by the hand and transported to a predetermined position.
（ステップＳ２１０）
ステップＳ２１０では、ワーク収容箱が空であるか判定する。空でなければ、ステップＳ２０３へ進む。空であれば処理を終了する。
(Step S210)
In step S210, it is determined whether the work storage box is empty. If not empty, go to step S203. If it is empty, the process ends.
以上の方法により、干渉判定装置１を利用して把持動作時の干渉を事前判定し、干渉がないと判定された把持対象ワークに対してピッキング（把持）を行う。 By the above method, the interference at the time of the gripping operation is preliminarily determined using the interference determination device 1, and picking (gripping) is performed on the workpiece to be gripped determined to have no interference.
第１の実施形態では、検出したワークを把持する際に、把持対象ワークの位置姿勢を利用して、２Ｄ画像上で把持対象ワーク領域を特定し、周辺物体とハンドとの干渉の有無を事前判定する方法について説明した。具体的には、検出したワークの位置姿勢に基づき、計測装置と同様のカメラパラメータを持つ仮想カメラの観測画像平面上にワークの三次元形状モデルを投影し、ワークの投影が行われている画素に対応する三次元点は把持対象ワーク領域と判定する。そして、把持対象ワーク領域の三次元点を除いた三次元形状データとハンドモデルとを用いて、三次元空間的な重なりを検出することで干渉の有無を判定する。これにより、ハンドを把持対象ワークに極めて近づけた把持動作に対しても、把持対象ワーク部分の計測点による誤検出なく、周辺物体とハンドとの干渉を正しく判定することが可能である。この方法は主に、ワークの検出方法が、他の個体に遮蔽されていない山積み表層の個体を検出する性質を持つ場合に有効である。 In the first embodiment, when gripping a detected work, the position and orientation of the work to be gripped is used to specify a work area to be gripped on a 2D image, and it is determined in advance whether or not there is interference between a peripheral object and the hand. The determination method has been described. Specifically, based on the detected position and orientation of the work, a three-dimensional shape model of the work is projected on an observation image plane of a virtual camera having the same camera parameters as the measuring device, and pixels on which the work is projected are Is determined as the grasp target work area. Then, the presence or absence of interference is determined by detecting a three-dimensional spatial overlap using the three-dimensional shape data excluding the three-dimensional points of the grasp target work area and the hand model. This makes it possible to correctly determine the interference between the hand and the surrounding object without erroneous detection due to the measurement points of the part to be gripped even in the gripping operation in which the hand is brought extremely close to the workpiece to be gripped. This method is effective mainly when the method of detecting a workpiece has a property of detecting individuals on a piled surface layer that are not covered by other individuals.
なお、本実施形態では、把持教示情報は一つだけ記録してハンドの把持位置姿勢を算出したが、ワークが把持可能な相対位置姿勢を複数記録しておき、ワークの姿勢などに応じて把持教示情報を選択してハンドの位置姿勢を算出してもよい。あるいは、複数の把持教示情報に対して優先順位を設定しておき、優先順位の高い把持教示情報を選択して位置姿勢を算出してもよい。複数の把持教示情報を記録しておく場合、干渉判定処理により干渉が発生すると判定された場合には、次点の把持教示情報に基づく把持動作を選択して位置姿勢を算出し、再度干渉判定を行う。 In the present embodiment, only one gripping teaching information is recorded to calculate the gripping position and orientation of the hand. However, a plurality of relative positions and orientations at which the workpiece can be gripped are recorded, and the gripping orientation is determined according to the orientation of the workpiece. The position and orientation of the hand may be calculated by selecting the teaching information. Alternatively, priorities may be set for a plurality of pieces of gripping teaching information, and gripping teaching information having a higher priority may be selected to calculate the position and orientation. When a plurality of gripping teaching information is recorded, if it is determined that interference occurs by the interference determination processing, a gripping operation based on the gripping teaching information of the next point is selected, the position and orientation are calculated, and the interference determination is performed again. I do.
（第２の実施形態）
第２の実施形態（以下、本実施形態）では、検出したワークを把持する際に、把持対象ワークの位置姿勢を利用して、３Ｄ空間上で把持対象ワーク領域を特定し、周辺物体とハンドとの干渉の有無を事前判定する方法について述べる。本実施例では、算出した位置姿勢における把持対象ワークの三次元形状モデルと、三次元形状データを構成する各三次元点との距離に基づき、距離が小さいものを把持対象ワークに該当するものと判定することで、周辺物体に該当する三次元点群を特定する。これにより、他の個体により遮蔽された個体を検出した場合においても、把持対象ワーク部分の計測点による誤検出なく、周辺物体とハンドとの干渉を正しく判定することが可能となる。
(Second embodiment)
In the second embodiment (hereinafter, this embodiment), when grasping a detected work, the position and orientation of the work to be grasped is used to specify a work area to be grasped in a 3D space, and the surrounding object and the hand are grasped. A method for determining in advance whether or not there is interference with the above will be described. In the present embodiment, based on the distance between the three-dimensional shape model of the workpiece to be gripped at the calculated position and orientation and each of the three-dimensional points that make up the three-dimensional shape data, a small distance corresponds to the workpiece to be gripped. By making the determination, the three-dimensional point group corresponding to the peripheral object is specified. Accordingly, even when an individual shielded by another individual is detected, it is possible to correctly determine the interference between the surrounding object and the hand without erroneous detection due to the measurement points of the workpiece to be grasped.
なお、本実施形態における装置構成および各処理部の処理内容は基本的には第１の実施形態において図２で示した干渉判定装置１と同様のため、説明を省略する。また、持動作時の干渉を事前判定しながら山積みワークのピッキングを行う処理手順についても、基本的には第１の実施形態において図３に示したフローチャートと同様のため、説明を省略する。ただし、本実施形態では、ステップＳ２０５、Ｓ２０６、Ｓ２０７の処理内容が第１の実施形態と異なる。したがって、そのほかのステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０８、Ｓ２０９、Ｓ２１０については説明を省略し、以下ではステップＳ２０５、Ｓ２０６、Ｓ２０７についてのみ説明する。 Note that the device configuration and the processing contents of each processing unit according to the present embodiment are basically the same as those of the interference determination device 1 shown in FIG. 2 in the first embodiment, and a description thereof will be omitted. Further, the processing procedure for picking a pile of workpieces while preliminarily determining the interference during the holding operation is basically the same as the flowchart shown in FIG. 3 in the first embodiment, and therefore the description is omitted. However, in this embodiment, the processing contents of steps S205, S206, and S207 are different from those of the first embodiment. Therefore, description of the other steps S201, S202, S203, S204, S208, S209, and S210 will be omitted, and only steps S205, S206, and S207 will be described below.
（ステップＳ２０５）
ステップＳ２０５は、対象領域特定部１４が、ステップＳ２０４で導出したワークの位置姿勢に基づき、三次元形状データ上で把持対象ワーク以外に該当する三次元点を特定する。本ステップの処理について図５を用いて説明する。
(Step S205)
In step S205, based on the position and orientation of the work derived in step S204, the target area specifying unit 14 specifies a three-dimensional point other than the work to be grasped on the three-dimensional shape data. The processing of this step will be described with reference to FIG.
図５（ａ）は、収容箱に山積みされたワークを撮影した距離画像、および、その距離画像からステップＳ２０２において検出され、位置姿勢が算出された把持対象ワークを示している。センサにより取得した距離画像上で、他の個体に遮蔽されずに観察された把持対象ワーク表面上の三次元点は、算出された位置姿勢に基づいて配置された把持対象ワークの表面との距離が十分に小さくなることが期待される。そこで、ワークモデル保持部１３の保持するワークの三次元形状モデルと、把持対象ワークの位置姿勢とを用いて以下の方法により、把持対象ワーク以外の三次元形状データを特定する。 FIG. 5A shows a distance image obtained by photographing the work piled up in the storage box, and a gripping target work whose position and orientation have been calculated from the distance image in step S202. On the distance image obtained by the sensor, the three-dimensional point on the surface of the gripping target work observed without being shielded by other individuals is the distance from the surface of the gripping target work arranged based on the calculated position and orientation. Is expected to be sufficiently small. Therefore, using the three-dimensional shape model of the work held by the work model holding unit 13 and the position and orientation of the work to be grasped, three-dimensional shape data other than the work to be grasped is specified by the following method.
まず、各三次元点ｋｃ＿ｉ（ｉ＝１〜Ｎ）に対して、算出した位置姿勢におけるワークの三次元形状モデルとの距離ｄ ｉを算出する。具体的には、センサ座標系の原点から、三次元点ｋｃ＿ｉに対応する距離画像上の画素へ向かう視線ベクトルを求め、算出した位置姿勢におけるワークの三次元形状モデルと視線ベクトルとが最短距離で交わる点を求める。この交点と三次元点ｋｃ＿ｉとの距離をｄ ｉとして、３次元点と対応付けて記録する。なお、交点が存在しなかった場合には、想定される距離値に対して極端に大きい値を距離値として記録する。たとえば、ｄ ｉ＜１０が想定できるのであれば、交点が存在しなかった場合には、ｄ ｉ＝１００００００を記録しておく。ここで、図５（ｂ）は、図５（ａ）の断面図を示している。この図において、破線で示された直線は視線ベクトルを、太線で示された直線は求めた交点と三次元点との距離を示している。次に、記録された距離値ｄ ｉを参照して、三次元点ｋｃ＿ｉが把持対象ワークに該当するか否かを判定する。具体的には、小さい距離値を判定するための閾値θを定めておき、ｄ ｉ＜θのものは把持対象ワークに該当する三次元点、θ≦ｄ ｉであれば把持対象ワーク以外の別の物体に該当する三次元点、と判定する。この処理により、図５（ｂ）において破線で示された白丸は、ワークの三次元形状モデルとの距離値が小さいため、把持対象ワークに該当する三次元点と判定される。 First, for each three-dimensional point kc_i (i = 1 to N), the distance di between the calculated position and orientation and the three-dimensional shape model of the work is calculated. Specifically, a line-of-sight vector directed from the origin of the sensor coordinate system to a pixel on the distance image corresponding to the three-dimensional point kc_i is obtained, and the three-dimensional shape model of the workpiece and the line-of-sight vector at the calculated position and orientation are determined by the shortest distance. Find the intersection. The distance between this intersection and the three-dimensional point kc_i is recorded as di in association with the three-dimensional point. When no intersection exists, an extremely large value is recorded as the distance value with respect to the assumed distance value. For example, if di <10 can be assumed, if no intersection exists, di = 100000 is recorded. Here, FIG. 5B shows a cross-sectional view of FIG. 5A. In this figure, a straight line indicated by a broken line indicates a line-of-sight vector, and a straight line indicated by a thick line indicates a distance between the obtained intersection and the three-dimensional point. Next, with reference to the recorded distance value di, it is determined whether or not the three-dimensional point kc_i corresponds to the work to be grasped. More specifically, a threshold value θ for determining a small distance value is set in advance, and three-dimensional points corresponding to a workpiece to be gripped when di <θ are used. Is determined as a three-dimensional point corresponding to the object. This process, white circles indicated by broken lines in FIG. 5 (b), the distance value between the 3D model of the workpiece is small, it is determined that the three-dimensional point corresponding to the gripping target workpiece.
（ステップＳ２０６）
ステップＳ２０５で導出したワークの位置姿勢に基づき、センサ座標系における、ワークの把持動作を行うハンドの位置姿勢を導出する。具体的には、把持を行う際のワークとハンドとの相対位置姿勢を、把持教示情報として記録させる作業を事前に行っておく。そして導出したワークの位置姿勢を表す座標変換行列に対して、記録しておいた把持教示情報に基づき、ワーク・ハンド間の相対位置姿勢を表す座標変換行列を掛け合わせることでセンサ座標系におけるハンドの座標変換行列を求め、両者間の位置姿勢を算出する。
(Step S206)
Based on the position and orientation of the work derived in step S205, the position and orientation of the hand that performs the work of gripping the work in the sensor coordinate system is derived. Specifically, the work of recording the relative position and orientation of the work and the hand at the time of gripping as gripping teaching information is performed in advance. Then, by multiplying the derived coordinate transformation matrix representing the position and orientation of the work by a coordinate transformation matrix representing the relative position and orientation between the work and hand based on the recorded gripping teaching information, the hand in the sensor coordinate system is obtained. Is calculated, and the position and orientation between the two is calculated.
図５（ｃ）に、図５（ｂ）の把持対象ワークに対して、本ステップにより把持を行うハンドの位置姿勢を算出して配置した様子を示す。なお、ステップＳ２０５により把持対象ワークに該当すると判定された三次元点は取り除いている。 FIG. 5C shows a state where the position and orientation of the hand to be gripped in this step is calculated and arranged on the workpiece to be gripped in FIG. 5B. The three-dimensional points determined to correspond to the workpiece to be gripped in step S205 have been removed.
（ステップＳ２０７）
ステップＳ２０５で特定した、把持対象ワーク以外に該当する三次元形状データと、ステップＳ２０６で算出した位置姿勢におけるハンドとの干渉判定を実施する。なお、干渉判定には、第１の実施形態と同様の方法を用いればよい。ここで図５（ｃ）中において、把持対象ワーク以外の三次元点のうち、ハンドとの干渉ありと判定されたものを黒丸で示す。
(Step S207)
An interference determination is performed between the three-dimensional shape data specified in step S205 other than the work to be grasped and the hand at the position and orientation calculated in step S206. Note that the same method as in the first embodiment may be used for interference determination. Here in FIG. 5 (c) during the show of the three-dimensional points other than the gripping target work, what has been determined that there is interference between the hand by a black circle.
第２の実施形態では、検出したワークを把持する際に、把持対象ワークの位置姿勢を利用して、３Ｄ空間上で把持対象ワーク領域を特定し、周辺物体とハンドとの干渉の有無を事前判定する方法について述べた。具体的には、算出した位置姿勢における把持対象ワークの三次元形状モデルと、三次元形状データを構成する各三次元点との距離に基づき、距離が小さいものを把持対象ワークに該当するものと判定することで、周辺物体に該当する三次元点群を特定する。これにより、他の個体により遮蔽された個体を検出した場合においても、把持対象ワーク部分の計測点による誤検出なく、周辺物体とハンドとの干渉を正しく判定することが可能となる。この方法は主に、ワークの検出方法が他の個体に一部遮蔽されているような個体を検出する性質を持つ場合に有効である。 In the second embodiment, when gripping the detected work, the position and orientation of the work to be gripped is used to specify the work area to be gripped in the 3D space, and it is determined in advance whether or not there is interference between the surrounding object and the hand. The determination method has been described. Specifically, based on the distance between the three-dimensional shape model of the gripping target workpiece in the calculated position and orientation and each of the three-dimensional points forming the three-dimensional shape data, the one having a smaller distance corresponds to the gripping target workpiece. By making the determination, the three-dimensional point group corresponding to the peripheral object is specified. Accordingly, even when an individual shielded by another individual is detected, it is possible to correctly determine the interference between the surrounding object and the hand without erroneous detection due to the measurement points of the workpiece to be grasped. This method is effective mainly when the work detection method has a property of detecting an individual that is partially covered by another individual.
なお、本実施形態では、各三次元点に対応する距離画像上の画素へ向かう視線ベクトルと、三次元形状モデルとの交点を求めることで、三次元点との距離を算出した。しかし、ワークの三次元形状モデルと各三次元点との距離の算出方法はこの他の方法であってもかまわない。たとえば、算出した位置姿勢におけるワークの三次元形状モデルの表面との最短距離を求め、この値を代わりに利用してもよい。 In the present embodiment, the distance between the three-dimensional point and the line-of-sight vector directed to the pixel on the distance image corresponding to each three-dimensional point is calculated by obtaining the intersection of the three-dimensional shape model. However, the method of calculating the distance between the three-dimensional shape model of the work and each of the three-dimensional points may be another method. For example, the shortest distance from the surface of the three-dimensional shape model of the work at the calculated position and orientation may be obtained, and this value may be used instead.
（第３の実施形態）
図２に示した干渉判定装置１内の各部はハードウェアで構成しても良い。また、ワークモデル保持部１３をメモリで構成し、その他の各部をコンピュータプログラムで構成しても良い。
(Third embodiment)
Each unit in the interference determination device 1 shown in FIG. 2 may be configured by hardware. Further, the work model holding unit 13 may be configured by a memory, and the other units may be configured by a computer program.
その場合、一般のＰＣ（パーソナルコンピュータ）等を情報処理装置１〜３に適用することができる。例えば、ワークモデル保持部１３をハードディスク内に構成し、且つモデル保持部以外の各部の機能をＣＰＵに実行させるためのコンピュータプログラムをこのハードディスクに保存しておく。そしてＰＣのＣＰＵがハードディスクに保存されているコンピュータプログラムやデータをＲＡＭに読み出し、読み出したコンピュータプログラムやデータを用いて処理を実行することで、このＰＣは、干渉判定装置１として機能することになる。また、上記の各実施形態や変形例は、適宜組み合わせて用いても良い。 In that case, a general PC (personal computer) or the like can be applied to the information processing apparatuses 1 to 3. For example, the work model holding unit 13 is configured in a hard disk, and a computer program for causing the CPU to execute functions of each unit other than the model holding unit is stored in the hard disk. When the CPU of the PC reads the computer program or data stored in the hard disk into the RAM and executes processing using the read computer program or data, the PC functions as the interference determination device 1. . Further, the above embodiments and modifications may be appropriately combined and used.
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program and reads the program. This is the process to be performed.
Claims (11)
前記取得手段の取得結果と前記ワークの３次元モデル情報とに基づいて、前記複数のワークに含まれる把持対象ワークの位置姿勢を特定する特定手段と、
前記複数の３次元計測点のうち、前記把持対象ワークの位置姿勢の前記３次元モデルとの距離が所定の値より小さい３次元計測点を除いた３次元計測点と、前記把持対象ワークを把持手段により把持する際の前記把持手段と、の干渉判定を行う判定手段と、
を備えることを特徴とする干渉判定装置。 Acquiring means for acquiring distances to a plurality of three-dimensional measurement points in a space including a plurality of workpieces;
Specifying means for specifying the position and orientation of the work to be grasped included in the plurality of works, based on the acquisition result of the acquiring means and the three-dimensional model information of the work;
The three-dimensional measurement points excluding the three-dimensional measurement points, of which the distance from the three-dimensional model of the position and orientation of the work to be grasped is smaller than a predetermined value, among the plurality of three-dimensional measurement points; Determining means for determining interference between the gripping means when gripping by means,
An interference determination device comprising:
前記取得手段の取得結果と前記ワークの３次元モデル情報とに基づいて、前記複数のワークに含まれる把持対象ワークの位置姿勢を特定する特定手段と、Specifying means for specifying the position and orientation of the work to be grasped included in the plurality of works, based on the acquisition result of the acquiring means and the three-dimensional model information of the work;
前記把持対象ワークを把持する際に関する３次元計測点のうち、前記把持対象ワークの位置姿勢の前記３次元モデルの表面からの距離が所定の値より小さい３次元計測点を除いた３次元計測点と、前記把持対象ワークを把持する把持手段と、の干渉判定を行う判定手段と、Three-dimensional measurement points excluding three-dimensional measurement points at which the distance from the surface of the three-dimensional model of the position and orientation of the workpiece to be gripped is smaller than a predetermined value among the three-dimensional measurement points related to gripping the workpiece to be gripped. Determining means for determining interference between gripping means for gripping the workpiece to be gripped,
を備えることを特徴とする干渉判定装置。An interference determination device comprising:
前記取得工程の取得結果と前記ワークの３次元モデル情報とに基づいて、前記複数のワークに含まれる把持対象ワークの位置姿勢を特定する特定工程と、
前記複数の３次元計測点のうち、前記把持対象ワークの位置姿勢の前記３次元モデルとの距離が所定の値より小さい３次元計測点を除いた３次元計測点と、前記把持対象ワークを把持手段により把持する際の前記把持手段との干渉判定を行う判定工程と、
を備えることを特徴とする干渉判定方法。 An acquisition step of acquiring distances to a plurality of three-dimensional measurement points in a space including a plurality of works;
A specifying step of specifying the position and orientation of a grasp target work included in the plurality of works based on the acquisition result of the acquisition step and the three-dimensional model information of the work;
The three-dimensional measurement points excluding the three-dimensional measurement points, of which the distance from the three-dimensional model of the position and orientation of the work to be grasped is smaller than a predetermined value, among the plurality of three-dimensional measurement points; A determination step of performing interference determination with the gripping means when gripping by means,
An interference determination method comprising:
前記取得工程の取得結果と前記ワークの３次元モデル情報とに基づいて、前記複数のワークに含まれる把持対象ワークの位置姿勢を特定する特定工程と、A specifying step of specifying the position and orientation of a grasp target work included in the plurality of works based on the acquisition result of the acquisition step and the three-dimensional model information of the work;
前記把持対象ワークを把持する際に関する３次元計測点のうち、前記把持対象ワークの位置姿勢の前記３次元モデルの表面からの距離が所定の値より小さい３次元計測点を除いた３次元計測点と、前記把持対象ワークを把持する把持手段と、の干渉判定を行う判定工程と、Three-dimensional measurement points excluding three-dimensional measurement points at which the distance from the surface of the three-dimensional model of the position and orientation of the workpiece to be gripped is smaller than a predetermined value among the three-dimensional measurement points related to gripping the workpiece to be gripped. And a determination step of performing interference determination between a gripping unit that grips the gripping target work,
を備えることを特徴とする干渉判定方法。An interference determination method comprising:
把持対象ワークを把持する把持手段を備えることを特徴とするシステム。 System characterized in that it comprises a gripping means for gripping the gripping target work with any one of the interference determination apparatus of claims 1 to 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018093276A JP6632656B2 (en) | 2018-05-14 | 2018-05-14 | Interference determination device, interference determination method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018093276A JP6632656B2 (en) | 2018-05-14 | 2018-05-14 | Interference determination device, interference determination method, and computer program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013136176A Division JP6415026B2 (en) | 2013-06-28 | 2013-06-28 | Interference determination apparatus, interference determination method, and computer program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019223746A Division JP7066671B2 (en) | 2019-12-11 | 2019-12-11 | Interference determination device, interference determination method, program and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018126862A JP2018126862A (en) | 2018-08-16 |
| JP6632656B2 true JP6632656B2 (en) | 2020-01-22 |
Family
ID=63173433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018093276A Active JP6632656B2 (en) | 2018-05-14 | 2018-05-14 | Interference determination device, interference determination method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6632656B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2194921B1 (en) | 2007-10-04 | 2018-08-29 | TriVascular, Inc. | Modular vascular graft for low profile percutaneous delivery |
| KR102178013B1 (en) * | 2019-02-08 | 2020-11-12 | 한양대학교 산학협력단 | Training data generation method and pose determination method for grasping object |
| JP7439410B2 (en) * | 2019-08-07 | 2024-02-28 | オムロン株式会社 | Image processing device, image processing method and program |
| TWI722738B (en) * | 2019-12-25 | 2021-03-21 | 亞達科技股份有限公司 | Augmented reality device and positioning method |
| JP7560411B2 (en) | 2021-06-23 | 2024-10-02 | 株式会社日立製作所 | ROBOT SYSTEM AND METHOD FOR CONTROLLING ROBOT SYSTEM |
| WO2024004746A1 (en) * | 2022-07-01 | 2024-01-04 | ソニーセミコンダクタソリューションズ株式会社 | System and program |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6134675A (en) * | 1984-07-27 | 1986-02-18 | Hitachi Ltd | Image recognizing method and its device |
| JP2001277167A (en) * | 2000-03-31 | 2001-10-09 | Okayama Pref Gov Shin Gijutsu Shinko Zaidan | Three-dimensional attitude recognizing method |
| JP5295828B2 (en) * | 2009-03-11 | 2013-09-18 | 本田技研工業株式会社 | Object gripping system and interference detection method in the system |
| JP5429614B2 (en) * | 2009-04-16 | 2014-02-26 | 株式会社Ｉｈｉ | Box-shaped workpiece recognition apparatus and method |
| US9089966B2 (en) * | 2010-11-17 | 2015-07-28 | Mitsubishi Electric Corporation | Workpiece pick-up apparatus |
| JP5767464B2 (en) * | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | Information processing apparatus, information processing apparatus control method, and program |
| JP2013101045A (en) * | 2011-11-08 | 2013-05-23 | Fanuc Ltd | Recognition device and recognition method of three-dimensional position posture of article |
| JP5791475B2 (en) * | 2011-11-24 | 2015-10-07 | キヤノン株式会社 | Image processing apparatus, image processing method, and image processing program |
-
2018
- 2018-05-14 JP JP2018093276A patent/JP6632656B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018126862A (en) | 2018-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6415026B2 (en) | Interference determination apparatus, interference determination method, and computer program | |
| JP6632656B2 (en) | Interference determination device, interference determination method, and computer program | |
| JP5977544B2 (en) | Information processing apparatus and information processing method | |
| JP6529302B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP6879238B2 (en) | Work picking device and work picking method | |
| JP5458885B2 (en) | Object detection method, object detection apparatus, and robot system | |
| JP6892286B2 (en) | Image processing equipment, image processing methods, and computer programs | |
| JP6703812B2 (en) | 3D object inspection device | |
| JP5088278B2 (en) | Object detection method, object detection apparatus, and robot system | |
| JP2004295223A (en) | Image processing apparatus and robot system | |
| JP2014063475A (en) | Information processor, information processing method, and computer program | |
| JP6598814B2 (en) | Information processing apparatus, information processing method, program, system, and article manufacturing method | |
| JP7377627B2 (en) | Object detection device, object grasping system, object detection method, and object detection program | |
| WO2020158060A1 (en) | Object grasping system | |
| JP7454132B2 (en) | Robot system control device, robot system control method, computer control program, and robot system | |
| JP7066671B2 (en) | Interference determination device, interference determination method, program and system | |
| CN116529760A (en) | Grabbing control method, grabbing control device, electronic equipment and storage medium | |
| JP7264247B2 (en) | Information processing device and information processing method | |
| US20240003675A1 (en) | Measurement system, measurement device, measurement method, and measurement program | |
| JP2018146347A (en) | Image processing device, image processing method, and computer program | |
| CN116175542A (en) | Grabbing control method, grabbing control device, electronic equipment and storage medium | |
| CN116188559A (en) | Image data processing method, device, electronic equipment and storage medium | |
| JP2018156412A (en) | Image processing apparatus, image processing system, and program | |
| JP2003141511A (en) | Method, apparatus and program for recognizing three- dimensional configuration | |
| JP2021071420A (en) | Information processing apparatus, information processing method, program, system, manufacturing method for product, and measuring apparatus and measuring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191210 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6632656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |