JP5429614B2 - Box-shaped workpiece recognition apparatus and method - Google Patents
Box-shaped workpiece recognition apparatus and method Download PDFInfo
- Publication number
- JP5429614B2 JP5429614B2 JP2009099573A JP2009099573A JP5429614B2 JP 5429614 B2 JP5429614 B2 JP 5429614B2 JP 2009099573 A JP2009099573 A JP 2009099573A JP 2009099573 A JP2009099573 A JP 2009099573A JP 5429614 B2 JP5429614 B2 JP 5429614B2
- Authority
- JP
- Japan
- Prior art keywords
- box
- shaped workpiece
- shaped
- dimensional shape
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- De-Stacking Of Articles (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
本発明は、箱状ワーク認識装置および方法に関する。 The present invention relates to a box-shaped workpiece recognition apparatus and method.
本出願において、「箱状ワーク」とは、ダンボール箱のように直方体であり、原則として同一物を隣接して荷積みするものをいう。このような、箱状ワークをピッキング対象（ワーク）とし、ワークの把持および搬送を行う場合、従来、ワークの認識を行わず、ピッキングするワークの位置をティーチングし、ロボットでピッキングを行っていた。しかし、この場合、ティーチング位置にワークを並べる必要があり、ずれや荷崩れが生じた場合に対応することができない問題点があった。
そこで、荷積み状態のワークの位置姿勢を認識し、ワークの把持および搬送を行う手段として、特許文献１〜４が既に提案されている。
In the present application, the “box-shaped workpiece” is a rectangular parallelepiped like a cardboard box and, as a rule, loads the same object adjacent to each other. In the case where such a box-shaped workpiece is picked (work) and the workpiece is gripped and conveyed, conventionally, the workpiece is not recognized and the position of the workpiece to be picked is taught and picked by a robot. However, in this case, it is necessary to arrange the workpieces at the teaching position, and there is a problem that it is not possible to cope with a case where a deviation or a load collapse occurs.
Therefore,
特許文献１は、レーザレーダやステレオカメラなどのセンサを用いて計測した３次元データの中から、登録された形状と似た形状を探索するものである。
特許文献２及び特許文献３は、デパレタイズを対象とした認識手法であり、照明装置を取り付け、影を発生させて、エッジを抽出し輪郭を認識する。直方体を仮定しているため、エッジは角にて直交することを利用し、直線にフィッティングを行っている。ステレオカメラなどによる高さ情報を物品選択に利用することや、スリット光を投影して撮像しエッジを得る方法も併用されている。
特許文献４では、荷崩れを検出する方法であり、正しく積載された場合の画像を事前に撮影し、現在の画像との差分を比較して、荷崩れが発生しているかを判断する。
上述した特許文献１では、レーザを使用する場合、箱が密着している状態では、箱の隣接部分が平面として得られしまうため、箱の境界が三次元データに反映されず、登録した形状を探索することができない。ステレオカメラを使用する場合は箱に特徴的なテクスチャが必要であるため、無地の箱は認識が難しい。
In
特許文献２及び特許文献３では、対象とする形を直方体のようなものに仮定しているため、箱が荷崩れしている場合のようにエッジが直交しない場合は認識できない。
特許文献４では、荷崩れを判断するのみであり、ピッキングなどは実施していない。また、あらかじめ正しく積載された状態の画像を事前に登録しておく必要があり、積載方法や対象となるワークが変わった場合に対応できない。さらに、バラ積みにも対応できない。
In
In
本発明は上述した従来の問題点を解決するために創案されたものである。すなわち、本発明の目的は、箱状ワークを対象とし、ワークが密着している場合や荷崩れしている場合でもピッキングするワークの位置と姿勢を高い精度で認識することができる箱状ワーク認識装置および方法を提供することにある。 The present invention has been developed to solve the above-described conventional problems. That is, an object of the present invention is a box-shaped workpiece recognition that can recognize the position and posture of a workpiece to be picked with high accuracy even when the workpiece is in close contact or when the load collapses. It is to provide an apparatus and method.
本発明によれば、隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラと、
前記複数の箱状ワーク全体の３次元形状を計測する距離センサと、
前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する物体認識処理装置とを備えた、ことを特徴とする箱状ワーク認識装置が提供される。
According to the present invention, a monocular camera that captures a plurality of box-shaped workpieces loaded adjacently from above and obtains an entire image;
A distance sensor for measuring a three-dimensional shape of the entire plurality of box-shaped workpieces;
An object that detects an edge portion of a box-shaped workpiece from the entire image, recognizes the position and posture of each box-shaped workpiece from the three-dimensional shape with the edge portion as a boundary, and outputs the position and posture of the box-shaped workpiece to be picked A box-shaped workpiece recognition device including a recognition processing device is provided.
また、本発明によれば、隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得し、
前記複数の箱状ワーク全体の３次元形状を計測し、
前記全体画像から箱状ワークのエッジ部分を検出し、
前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、
ピッキングする箱状ワークの位置と姿勢を出力する、ことを特徴とする箱状ワーク認識方法が提供される。
Further, according to the present invention, a plurality of box-shaped workpieces loaded adjacent to each other are photographed from above to obtain an entire image,
Measuring the overall three-dimensional shape of the plurality of box-shaped workpieces;
Detecting the edge part of the box-shaped workpiece from the entire image,
Recognizing the position and posture of each box-shaped workpiece from the three-dimensional shape with the edge portion as a boundary,
A box-shaped workpiece recognition method is provided that outputs the position and posture of a box-shaped workpiece to be picked.
本発明の実施形態によれば、前記３次元形状の点群に箱状ワークの異なる面を表すように異なるラベル値を設定し、
前記ラベル値を同一の箱状ワークごとにグループ化し、
各グループ内の点群の情報から、ピッキングする箱状ワークの位置と姿勢を出力する。
According to an embodiment of the present invention, different label values are set to represent different surfaces of the box-shaped workpiece in the three-dimensional shape point cloud,
Group the label values by the same box-shaped workpiece,
From the point cloud information in each group, the position and orientation of the picked box-shaped workpiece are output.
前記ラベル値は、単眼カメラで得られた画像中のエッジ部分を境界に異なるラベル値を割り当て、
隣接する点群間の距離が閾値以上の箇所を境として異なるラベル値を割り当て、
隣接する点群の法線ベクトル間の角度が閾値以上の部分を境として異なるラベル値を割り当てる。
The label value is assigned a different label value with the edge portion in the image obtained by the monocular camera as a boundary,
Assign a different label value at the boundary where the distance between adjacent point groups is greater than or equal to the threshold,
Different label values are assigned at a portion where the angle between normal vectors of adjacent point groups is equal to or greater than a threshold value.
また、各ラベル値の点群から平均の法線ベクトルを求めて、各ラベル値の代表法線ベクトルとし、
各ラベル値の代表法線ベクトルと、隣接するラベル値の代表法線ベクトル間の角度が所定の範囲にあるラベル値をグループ化する。
In addition, an average normal vector is obtained from the point cloud of each label value, and is used as a representative normal vector for each label value.
The label values whose angle between the representative normal vector of each label value and the representative normal vector of the adjacent label value is within a predetermined range are grouped.
また、箱状ワークの上面面積を予め記憶し、前記各ラベル値に属する点群の占める面積と比較して、各グループから上面に相当するラベルを認識する。 Further, the upper surface area of the box-shaped workpiece is stored in advance, and the label corresponding to the upper surface is recognized from each group as compared with the area occupied by the point group belonging to each label value.
或いは、前記各ラベル値に属する点群の占める面積を算出し、これをヒストグラム化して最も投票数の多い面積から上面に相当するラベルを認識する。 Alternatively, the area occupied by the point group belonging to each of the label values is calculated, and this is converted into a histogram to recognize the label corresponding to the upper surface from the area with the largest number of votes.
本発明の装置及び方法によれば、単眼カメラによる全体画像から箱状ワークのエッジ部分を検出し、このエッジ部分を境界として距離センサによる３次元形状から各箱状ワークの位置と姿勢を認識するので、箱状ワークが密着している場合や荷崩れの場合でもピッキングするワークの位置と姿勢を高い精度で認識することができる。 According to the apparatus and method of the present invention, an edge portion of a box-shaped workpiece is detected from an entire image obtained by a monocular camera, and the position and posture of each box-shaped workpiece are recognized from a three-dimensional shape by a distance sensor using this edge portion as a boundary. Therefore, the position and posture of the workpiece to be picked can be recognized with high accuracy even when the box-shaped workpiece is in close contact or when the load collapses.
従って、本発明の装置及び方法により以下の効果が得られる。
（１） ティーチングを必要としないため、単眼カメラの撮影範囲内及び距離センサの計測範囲内に箱状ワークが存在すれば、ワーク毎に位置がずれていてもピッキングができる。
（２） 単眼カメラの全体画像を併用し、エッジが抽出された部分（エッジ部分）に相当する３次元形状の点群データに、その部分が箱の境界であるという情報を与えるので、箱の境界部分を容易に認識できる。距離センサにレーザレーダなどを利用すれば、テクスチャがない場合でも認識できる。また、全体画像と３次元形状のデータ処理のみでピッキングするワークの位置と姿勢の認識を行うため、事前にワーク形状を登録する必要がない。
（３） エッジが直交しているという条件は使用しない。また、３次元データの法線ベクトルの角度を見て認識するため、荷崩れや荷積みのようにエッジが直交しない場合でも認識可能である。
（４） 本発明はワークをピッキングすることを想定している。荷崩れがあるかの判断ではなく、検出したラベルグループに含まれる点群の座標値や法線ベクトルから位置、姿勢を計算してピッキングすることができる。
Therefore, the following effects can be obtained by the apparatus and method of the present invention.
(1) Since teaching is not required, picking can be performed even if the position of each work is shifted if a box-shaped work exists within the photographing range of the monocular camera and the measurement range of the distance sensor.
(2) Since the whole image of the monocular camera is used in combination and information indicating that the part is the boundary of the box is given to the point cloud data of the three-dimensional shape corresponding to the part from which the edge is extracted (edge part), The boundary part can be easily recognized. If a laser radar or the like is used for the distance sensor, it can be recognized even when there is no texture. Further, since the position and orientation of the workpiece to be picked are recognized only by data processing of the entire image and the three-dimensional shape, it is not necessary to register the workpiece shape in advance.
(3) The condition that the edges are orthogonal is not used. In addition, since recognition is performed by looking at the angle of the normal vector of the three-dimensional data, it can be recognized even when the edges are not orthogonal, such as load collapse or loading.
(4) The present invention assumes picking a workpiece. Rather than determining whether there is a load collapse, the position and orientation can be calculated and picked from the coordinate values and normal vectors of the point cloud included in the detected label group.
以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図１は、本発明の箱状ワーク認識装置を備えたピッキングシステムの全体構成図である。
この図において、１はワーク、２はロボット、３はロボットハンド、４はハンド制御部、５はロボット制御部、６は総括処理部、７はロボット制御装置であり、ロボット制御装置７はロボット制御部５と総括処理部６からなる。
FIG. 1 is an overall configuration diagram of a picking system provided with a box-shaped workpiece recognition device of the present invention.
In this figure, 1 is a work, 2 is a robot, 3 is a robot hand, 4 is a hand control unit, 5 is a robot control unit, 6 is a general processing unit, 7 is a robot control device, and the
ワーク１は、ダンボール箱のような密閉された直方体である。このようなワークを本出願では、「箱状ワーク」又は単に「ワーク」と呼ぶ。
この図において、複数のワーク１は、計測用の台８の上に隣接して密に荷積みされている。計測用台８は、固定されている必要はなく、例えば計測時間が短いなど、後述する３次元形状の計測に支障が生じない限りで、コンベア装置等であってもよい。
The
In this figure, a plurality of
ロボット２は、例えば多関節３次元ロボットであり、ロボットハンド３を所定のワーキングエリア内で６自由度の位置及び姿勢を制御できるようになっている。なお、ロボット２は、多関節３次元ロボットに限定されず、その他のロボットであってもよい。
ロボットハンド３は、例えば真空による吸着パッド、開閉機構を有する把持装置、或いはこれらの複合装置であり、ピッキングする箱状ワーク１の上面を吸着又は把持して、１つずつ持ち上げ、別の位置まで保持するようになっている。
The
The
ハンド制御部４は、総括処理部６から受信する把持指令９ａに応じてロボットハンド３に制御信号を出力し、ロボットハンド３から位置信号を受信してこれを総括処理部６へ送信する。
なおハンド制御部４は必須ではなくこれを省略し、その機能を総括処理部６に含ませてもよい。
The
The
ロボット制御部５は、総括処理部６から受信したピッキングする箱状ワークの位置と姿勢に基づき、ロボット２を制御し、ロボットハンド３によりピッキングする箱状ワーク１の上面を吸着又は把持して、１つずつ持ち上げ、別の位置まで保持して搬送する。
The
総括処理部６は、本発明の箱状ワーク認識装置１０から受信したピッキングする箱状ワークの位置と姿勢をロボット制御部５に送信する。
The
図１において、本発明の箱状ワーク認識装置１０は、単眼カメラ１１、距離センサ１２、センサ制御部１４、及び物体認識処理装置１６からなる。
In FIG. 1, a box-shaped
単眼カメラ１１は、デジタルカメラ（ＣＣＤカメラ又はＣＭＯＳカメラ）であり、隣接して荷積みした複数の箱状ワーク１を上方から撮影して全体画像を取得する。
The
距離センサ１２は、前記複数の箱状ワーク１の全体の３次元形状を計測する。
この例において、距離センサ１２は、レーザレーダであり、計測用台８の上方に位置し、複数の箱状ワーク１の３次元形状を上方から計測する。また、距離センサ１２の高さ及び姿勢を制御する移動・回転機構１３（例えば直動テーブルや回転テーブル）を備え、距離センサ１２の姿勢を自由に変え、視野を調節できるようになっている。
例えば、対象が小さいときに近づいて計測し、対象が大きいときに遠ざかって計測して、視野を適正化するようになっている。
The
In this example, the
For example, when the object is small, the field of view is approached, and when the object is large, the object is measured away to optimize the field of view.
なお、距離センサ１２は、レーザレーダに限定されず、ワークまでの距離を検出できるように、一定の間隔を隔てたステレオカメラであってもよい。
The
センサ制御部１４は、物体認識処理装置１６から姿勢制御信号９ｂを受信しこの信号を距離センサ１２に出力して距離センサ１２の高さ及び姿勢を制御し、かつ距離センサ１２で計測した複数の箱状ワーク１の３次元形状（センサデータ９ｃ）を受信し、物体認識処理装置１６に送信する。
なおセンサ制御部１４は必須ではなくこれを省略し、その機能を物体認識処理装置１６に含ませてもよい。
The
The
物体認識処理装置１６は、単眼カメラ１１による全体画像から箱状ワーク１のエッジ部分を検出し、このエッジ部分を境界として距離センサ１２による３次元形状から各箱状ワーク１の位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢をロボット制御装置７に出力する。
物体認識処理装置１６は、この例ではＰＣ（コンピュータ）である。なお、上述したロボット制御装置７（ロボット制御部５と総括処理部６）、及びセンサ制御部１４を同一のＰＣで構成しても、それぞれ独立のＰＣで構成してもよい。
The object
The object
図２は、図１のピッキングシステムの作動フロー図である。
この図において、このピッキングシステムは、Ｓ１〜Ｓ６の各ステップ（工程）からなる。
FIG. 2 is an operational flow diagram of the picking system of FIG.
In this figure, this picking system comprises steps (steps) S1 to S6.
ステップＳ１では、計測する対象（箱状ワーク１）が単眼カメラ１１と距離センサ１２の視野（計測範囲）に適切に入るように単眼カメラ１１と距離センサ１２の高さと姿勢を調整する。適切とはワーク１の全体が視野内に入り、かつ、十分な大きさで写っており、以後の認識処理に対応できる解像度をもつことである。姿勢の調整方法はフィードバックなどによる自動調整によるのが好ましいが、手動によってもよい。
In step S <b> 1, the height and posture of the
ステップＳ２では、距離センサ１２により３次元形状を取得する。ここでの３次元形状は３次元座標を持つ各点が集合した点群を想定している。
In step S2, a three-dimensional shape is acquired by the
ステップＳ３では、単眼カメラ１１により、隣接して荷積みした複数の箱状ワーク１を上方から撮影して全体画像を取得する。
なお、ステップＳ２とステップＳ３は、順序が逆でも、同時でもよい。
In step S <b> 3, a plurality of box-shaped
Note that step S2 and step S3 may be in reverse order or simultaneous.
ステップＳ４では、全体画像から箱状ワークのエッジ部分を検出し、このエッジ部分を境界として３次元形状から各箱状ワークの位置と姿勢を認識する。
ステップＳ５では、統括処理部に認識の結果から必要な情報を送る。必要な情報とは認識した物体の数や、各認識した物体の位置、姿勢情報などである。
In step S4, an edge portion of the box-shaped workpiece is detected from the entire image, and the position and posture of each box-shaped workpiece are recognized from the three-dimensional shape with this edge portion as a boundary.
In step S5, necessary information is sent to the overall processing unit from the recognition result. The necessary information includes the number of recognized objects, the position and orientation information of each recognized object, and the like.
ステップＳ６では、統括処理部はピッキングするワークを、ロボット制御部とハンド制御部を通じてロボットとハンドを制御し、指定した座標の点でピッキングする。 In step S6, the overall processing unit controls the robot and the hand through the robot control unit and the hand control unit, and picks the workpiece to be picked at the point of the designated coordinate.
図３は、図２における認識アルゴリズムのフロー図である。
この図において、認識アルゴリズムは、Ｔ１〜Ｔ１２の各ステップ（工程）からなる。
FIG. 3 is a flowchart of the recognition algorithm in FIG.
In this figure, the recognition algorithm is composed of steps (processes) T1 to T12.
ステップＴ１では、距離センサ１２で取得した複数の箱状ワーク全体の３次元形状のノイズ除去を、例えばメディアンフィルタなどで行う。このステップは省略してもよい。
ステップＴ２では、３次元形状のマスキングを行い、ワーク外の位置にある点群や地面に相当する点群を除去する。このステップは必須ではなく、省略してもよい。
ステップＴ３では、単眼カメラ１１による全体画像から箱状ワーク１のエッジ部分１ａを検出する。この場合、無地の箱を想定するなら、検出されたエッジをそのまま利用してもよい。また、箱の面に模様などがあるならば直線のエッジを抽出する。
In step T1, noise removal of the three-dimensional shape of the entire plurality of box-shaped workpieces acquired by the
In step T2, masking of a three-dimensional shape is performed, and point groups at positions outside the work and point groups corresponding to the ground are removed. This step is not essential and may be omitted.
In step T3, the edge part 1a of the box-shaped
ステップＴ４では、単眼カメラ１１の位置、距離センサ１２の位置を利用して全体画像中のエッジ部分１ａに対応する３次元の点群を抽出する。
単眼カメラ１１と距離センサ１２の位置が既知であれば、画像上のある点（例えばエッジ部分１ａ）は、カメラ位置と画像上の点とを結ぶ直線と、３次元形状とが交差する点を抽出すればよい。
In step T4, a three-dimensional point group corresponding to the edge portion 1a in the entire image is extracted using the position of the
If the positions of the
図４は、荷積みした複数の箱状ワークのラベル（Ａ）とグループ化（Ｂ）の説明図である。
図４（Ａ）は、下段５個、上段４個、計９個の箱状ワーク１が、隣接して密に積層され、上段の１個の箱状ワーク１が荷崩れしている状態を示している。
この図において、黒丸（●）は、距離センサ１２による３次元形状の計測点、白丸（○）は、距離センサ１２による３次元形状の計測点であり、かつエッジ部分１ａに対応する３次元の点群である。この図に示すように、エッジ部分１ａに対応する３次元の点群は、エッジに隣接して１つ又は２つが存在する。
FIG. 4 is an explanatory diagram of labels (A) and groupings (B) of a plurality of box-shaped works loaded.
FIG. 4 (A) shows a state in which a total of nine box-shaped
In this figure, a black circle (●) is a three-dimensional shape measurement point by the
ステップＴ５では、抽出されたエッジ部分１ａに対応する３次元の点群にエッジに隣接することを意味するフラグを振る。例えば、距離センサ１２による３次元形状の計測点の座標値（ｘ、ｙ、ｚ）と共にフラグｅを記憶する。フラグｅは、例えば０（エッジ部分以外）と１（エッジ部分）である。
In step T5, a flag indicating that the three-dimensional point group corresponding to the extracted edge portion 1a is adjacent to the edge is set. For example, the flag e is stored together with the coordinate values (x, y, z) of the measurement point of the three-dimensional shape by the
ステップＴ６では、計測データ（３次元形状）の隣接する計測点との距離を利用してメッシュ（例えば３角メッシュ）を生成する。このメッシュ生成は、隣接する計測点との距離を利用することで、最適なメッシュをはることができる。これにより、３次元形状を３Ｄで把握することができる。 In step T6, a mesh (for example, a triangular mesh) is generated using the distance between the measurement data (three-dimensional shape) and an adjacent measurement point. In this mesh generation, an optimal mesh can be set by using the distance between adjacent measurement points. Thereby, a three-dimensional shape can be grasped in 3D.
図４（Ａ）において、条件１，２，３は、ラベル値の設定（ラベリング）の条件を模式的に示している。
ステップＴ７では、以下の条件１〜３により、各点群にラベル値を設定する。
条件１：隣接する点にフラグが振られている場合は、異なるラベル値を割り当てる。
条件２：隣接する点の距離が閾値以上の点は異なるラベル値を割り当てる。
条件３：隣接する点の法線ベクトル間の角度の差が閾値以上の点は異なるラベル値を割り当てる。
In FIG. 4A,
In step T7, a label value is set for each point group according to the following conditions 1-3.
Condition 1: If a flag is assigned to an adjacent point, a different label value is assigned.
Condition 2: A different label value is assigned to a point where the distance between adjacent points is equal to or greater than a threshold.
Condition 3: A different label value is assigned to a point where the angle difference between the normal vectors of adjacent points is equal to or greater than a threshold value.
すなわち、順次各点をスキャンし、隣接する点との距離、法線ベクトル、フラグを確認し、隣接する点が条件１〜３のいずれかを満たせば、隣接する点と異なるラベル値を割り当て、そうでなければ同じラベル値を割り当てる。
ここで、ラベル値は、任意の数字または記号である。
That is, each point is sequentially scanned, the distance to the adjacent point, the normal vector, and the flag are confirmed, and if the adjacent point satisfies any of the
Here, the label value is an arbitrary number or symbol.
図４（Ｂ）は、ステップＴ７によるラベル値１〜７とそのグループ化を示している。
ステップＴ８では、極端にラベル値の大きいものや小さいものを除去する。すなわち、不必要なラベル値を除去する。なお、このステップは不可欠ではない。また、ラベル値の大きさ以外で判断してもよい。
この時点で、各ラベル値が箱（箱状ワーク）の面を表す。すなわち、図４（Ｂ）では、１〜７の７面が検出されている。
FIG. 4B shows
In step T8, those having extremely large or small label values are removed. That is, unnecessary label values are removed. This step is not essential. Further, the determination may be made other than the size of the label value.
At this point, each label value represents the surface of the box (box-shaped workpiece). That is, in FIG. 4B, seven
ステップＴ９では、得られたラベル値に属する点群の法線ベクトルの平均を求め、各ラベル値に属する点群の代表の法線ベクトルとする。このステップでは、箱状ワークの面の向きを計算していることになる。
図４（Ｂ）における矢印は、代表の法線ベクトルを示している。
In step T9, the average of the normal vectors of the point group belonging to the obtained label value is obtained and set as the representative normal vector of the point group belonging to each label value. In this step, the orientation of the surface of the box-shaped workpiece is calculated.
The arrows in FIG. 4B indicate representative normal vectors.
ステップＴ１０では、隣接するラベル値の代表法線ベクトル間の角度が９０度程度であれば、同一のグループに含める。ただし、お互いの法線ベクトルが外側を向いていることが条件となる。
この時点で各グループが各ワーク（箱状ワーク）を表す。
図４（Ｂ）において、ラベル値５，６の法線ベクトル間の角度が９０度なのでグループ化する。
ラベル値４，５の法線ベクトルは内側に向いているので、グループ化しない。
ラベル値６，７の法線ベクトルも内側に向いているので、グループ化しない。
In step T10, if the angle between the representative normal vectors of adjacent label values is about 90 degrees, they are included in the same group. However, it is a condition that the normal vectors of each other face outward.
At this point, each group represents each work (box-shaped work).
In FIG. 4B, since the angle between the normal vectors of the label values 5 and 6 is 90 degrees, they are grouped.
Since the normal vectors of the label values 4 and 5 are inward, they are not grouped.
Since the normal vectors of the label values 6 and 7 are also directed inward, they are not grouped.
なおこの例のように、法線ベクトルの角度を利用せず、画像上の陰影による色の違いを利用してラベリングしてもよい。 Note that, as in this example, labeling may be performed using the difference in color due to shading on the image without using the angle of the normal vector.
ステップＴ１１では、箱状ワーク１の上面を認識する。
上面を認識する手段として、以下が挙げられるが、本発明はこれに限定されない。
（１）あらかじめ上面の面積を登録しておく。
各点群は３次元座標を持っている。従って、各ラベルのＸＹ座標の最大値、最小値から各面の面積を算出することができる。これを事前に登録した面積と比較し、認識する。この手段は、主に姿勢がばらばらに積まれている状態に適する。
（２）ラベル内に含まれる点群の数をヒストグラム化し上面を認識する。
ひどい荷崩れが頻繁に起きなければ、多くの箱は上面が見えている。そこでワークが搬送されて最初の認識にて、各ラベルに含まれる点群の座標値から面積を算出し、図５のようにヒストグラム化し、もっとも数の多い面を上面とする。
In step T11, the upper surface of the box-shaped
Although the following is mentioned as a means to recognize an upper surface, This invention is not limited to this.
(1) The area of the upper surface is registered in advance.
Each point group has three-dimensional coordinates. Therefore, the area of each surface can be calculated from the maximum and minimum values of the XY coordinates of each label. This is recognized by comparing with the area registered in advance. This means is suitable mainly for a state in which postures are piled up separately.
(2) The number of point groups contained in the label is histogrammed to recognize the upper surface.
Many boxes can be seen from the top if severe collapses do not occur frequently. Therefore, the area is calculated from the coordinate value of the point group included in each label when the work is conveyed and is recognized for the first time, and a histogram is formed as shown in FIG.
ステップＴ１２では、得られたグループ内の点群からピッキングする箱状ワーク１の重心位置や姿勢など、その箱状ワーク１のピッキングに必要な情報（認識結果）を統括処理部６に出力する。
In step T12, information (recognition result) necessary for picking the box-shaped
上述した本発明の装置及び方法によれば、単眼カメラ１１による全体画像から箱状ワーク１のエッジ部分１ａを検出し、このエッジ部分１ａを境界として距離センサ１２による３次元形状から各箱状ワーク１の位置と姿勢を認識するので、箱状ワーク１が密着している場合や荷崩れの場合でもピッキングするワークの位置と姿勢を高い精度で認識することができる。
According to the apparatus and method of the present invention described above, the edge portion 1a of the box-shaped
従って、本発明の装置及び方法により以下の効果が得られる。
（１） ティーチングを必要としないため、単眼カメラ１１の撮影範囲内及び距離センサ１２の計測範囲内に箱状ワーク１が存在すれば、ワーク毎に位置がずれていてもピッキングができる。
（２） 単眼カメラ１１の全体画像を併用し、エッジが抽出された部分（エッジ部分１ａ）に相当する３次元形状の点群データに、その部分が箱の境界であるという情報を与えるので、箱の境界部分を容易に認識できる。距離センサ１２にレーザレーダなどを利用すれば、テクスチャがない場合でも認識できる。また、全体画像と３次元形状のデータ処理のみでピッキングするワークの位置と姿勢の認識を行うため、事前にワーク形状を登録する必要がない。
（３） エッジが直交しているという条件は使用しない。また、３次元データの法線ベクトルの角度を見て認識するため、荷崩れやばらばらに積まれている状態のようにエッジが直交しない場合でも認識可能である。
（４） 本発明はワークをピッキングすることを想定している。荷崩れがあるかの判断ではなく、検出したラベルグループに含まれる点群の座標値や法線ベクトルから位置、姿勢を計算してピッキングすることができる。
Therefore, the following effects can be obtained by the apparatus and method of the present invention.
(1) Since teaching is not required, if the box-shaped
(2) Since the whole image of the
(3) The condition that the edges are orthogonal is not used. In addition, since the recognition is performed by looking at the angle of the normal vector of the three-dimensional data, it is possible to recognize even when the edges are not orthogonal, such as a state where the load collapses or is piled apart.
(4) The present invention assumes picking a workpiece. Rather than determining whether there is a load collapse, the position and orientation can be calculated and picked from the coordinate values and normal vectors of the point cloud included in the detected label group.
なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。 In addition, this invention is not limited to embodiment mentioned above, Of course, a various change can be added in the range which does not deviate from the summary of this invention.
１ ワーク（箱状ワーク）、１ａ エッジ部分、
２ ロボット、３ ロボットハンド、
４ ハンド制御部、５ ロボット制御部、
６ 総括処理部、７ ロボット制御装置、
８ 計測用台、
１０ 箱状ワーク認識装置、
１２ 距離センサ、１３ 移動・回転機構、
１４ センサ制御部、１６ 物体認識処理装置
1 work (box-shaped work), 1a edge part,
2 robots, 3 robot hands,
4 Hand control unit, 5 Robot control unit,
6 General processing section, 7 Robot controller,
8 Measuring table,
10 Box-shaped workpiece recognition device,
12 distance sensor, 13 movement / rotation mechanism,
14 sensor control unit, 16 object recognition processing device
Claims (8)
前記複数の箱状ワーク全体の３次元形状を、３次元座標を持つ各計測点が集合した点群として計測する距離センサと、
前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として、前記エッジ部分に対応する、前記距離センサによる計測点の点群を抽出し、当該点群に基づいて、前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する物体認識処理装置とを備えた、ことを特徴とする箱状ワーク認識装置。 A monocular camera that captures a plurality of box-shaped workpieces loaded adjacently from above and obtains an entire image;
A distance sensor that measures a three-dimensional shape of the whole of the plurality of box-shaped workpieces as a group of points each measuring point having a three-dimensional coordinate ;
An edge part of the box-shaped workpiece is detected from the whole image, and a point cloud of measurement points by the distance sensor corresponding to the edge part is extracted with the edge part as a boundary , and based on the point cloud, the 3 A box-shaped workpiece recognition device comprising: an object recognition processing device that recognizes the position and posture of each box-shaped workpiece from a dimensional shape and outputs the position and posture of the box-shaped workpiece to be picked.
前記複数の箱状ワーク全体の３次元形状を計測する距離センサと、
前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する物体認識処理装置とを備え、
前記物体認識処理装置は、前記３次元形状の点群に箱状ワークの異なる面を表すように異なるラベル値を設定し、前記ラベル値を同一の箱状ワークごとにグループ化し、各グループ内の点群の情報から、ピッキングする箱状ワークの位置と姿勢を出力する、ことを特徴とする箱状ワーク認識装置。 A monocular camera that captures a plurality of box-shaped workpieces loaded adjacently from above and obtains an entire image;
A distance sensor for measuring a three-dimensional shape of the entire plurality of box-shaped workpieces;
An object that detects an edge portion of a box-shaped workpiece from the entire image, recognizes the position and posture of each box-shaped workpiece from the three-dimensional shape with the edge portion as a boundary, and outputs the position and posture of the box-shaped workpiece to be picked A recognition processing device ,
The object recognition processing device sets different label values so as to represent different surfaces of the box-shaped workpiece in the point group of the three-dimensional shape, groups the label values for the same box-shaped workpiece, A box-shaped workpiece recognition apparatus that outputs the position and orientation of a box-shaped workpiece to be picked from point cloud information .
距離センサにより、前記複数の箱状ワーク全体の３次元形状を、３次元座標を持つ各計測点が集合した点群として計測し、
物体認識処理装置により、前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として、前記エッジ部分に対応する、前記距離センサによる計測点の点群を抽出し、当該点群に基づいて、前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する、ことを特徴とする箱状ワーク認識方法。 Using a monocular camera, take a picture of multiple box-shaped workpieces loaded adjacent to each other, and obtain an entire image.
The distance sensor measures the three-dimensional shape of the entire plurality of box-shaped workpieces as a group of points each measuring point having three-dimensional coordinates ,
An object recognition processing device detects an edge portion of a box-shaped workpiece from the entire image , extracts a point cloud of measurement points by the distance sensor corresponding to the edge portion with the edge portion as a boundary, and the point cloud The box-shaped workpiece recognition method is characterized in that the position and posture of each box-shaped workpiece are recognized from the three-dimensional shape and the position and posture of the box-shaped workpiece to be picked are output.
前記３次元形状の点群に箱状ワークの異なる面を表すように異なるラベル値を設定し、
前記ラベル値を同一の箱状ワークごとにグループ化し、
各グループ内の点群の情報から、ピッキングする箱状ワークの位置と姿勢を出力する、ことを特徴とする箱状ワーク認識方法。 A plurality of box-shaped workpieces loaded adjacent to each other are photographed from above to obtain an entire image, the three-dimensional shape of the whole of the plurality of box-shaped workpieces is measured, and the edge portion of the box-shaped workpiece is detected from the whole image. and, wherein the edge portion recognizes the position and orientation of each box-shaped workpiece from the three-dimensional shape as a boundary, a box-shaped position and orientation of the workpiece you output a box-shaped workpiece recognition method for picking,
Set different label values to represent different surfaces of the box-shaped workpiece in the three-dimensional shape point cloud,
Group the label values by the same box-shaped workpiece,
A box-shaped workpiece recognition method, characterized in that the position and orientation of a box-shaped workpiece to be picked are output from information on point groups in each group .
単眼カメラで得られた画像中のエッジ部分を境界に異なるラベル値を割り当て、
隣接する点群間の距離が閾値以上の箇所を境として異なるラベル値を割り当て、
隣接する点群の法線ベクトル間の角度が閾値以上の部分を境として異なるラベル値を割り当てる、ことを特徴とする請求項４に記載の箱状ワーク認識方法。 The label value is
Assign different label values to the border of the edge part in the image obtained with a monocular camera,
Assign a different label value at the boundary where the distance between adjacent point groups is greater than or equal to the threshold,
5. The box-shaped workpiece recognition method according to claim 4 , wherein different label values are assigned with a boundary between normal vectors of adjacent point groups as a boundary.
各ラベル値の代表法線ベクトルと、隣接するラベル値の代表法線ベクトル間の角度が所定の範囲にあるラベル値をグループ化する、ことを特徴とする請求項４に記載の箱状ワーク認識方法。 Obtain the average normal vector from the point cloud of each label value, and use it as the representative normal vector for each label value.
The box-shaped workpiece recognition according to claim 4 , wherein the label normal value vector of each label value and the label value whose angle between the representative normal vectors of adjacent label values is within a predetermined range are grouped. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009099573A JP5429614B2 (en) | 2009-04-16 | 2009-04-16 | Box-shaped workpiece recognition apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009099573A JP5429614B2 (en) | 2009-04-16 | 2009-04-16 | Box-shaped workpiece recognition apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010247959A JP2010247959A (en) | 2010-11-04 |
| JP5429614B2 true JP5429614B2 (en) | 2014-02-26 |
Family
ID=43310796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009099573A Active JP5429614B2 (en) | 2009-04-16 | 2009-04-16 | Box-shaped workpiece recognition apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5429614B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101918168B1 (en) * | 2017-10-16 | 2018-11-14 | 삼성에스디에스 주식회사 | Method for performing 3D measurement and Apparatus thereof |
| JP2020537775A (en) * | 2018-10-30 | 2020-12-24 | 株式会社Ｍｕｊｉｎ | Robot system with automatic package registration mechanism and automatic detection pipeline |
| US11034025B2 (en) | 2018-10-30 | 2021-06-15 | Mujin, Inc. | Automated package registration systems, devices, and methods |
| WO2021249570A1 (en) * | 2020-06-12 | 2021-12-16 | 深圳市海柔创新科技有限公司 | Control method and apparatus for warehouse robot, and robot and warehouse system |
| US11607803B2 (en) | 2018-11-21 | 2023-03-21 | Thk Co., Ltd. | Image information processing device, gripping system, and image information processing method |
| US11823414B2 (en) | 2018-03-14 | 2023-11-21 | Omron Corporation | Information processing device, information processing method, and information processing non-transitory computer readable medium |
| US11964399B2 (en) | 2018-09-07 | 2024-04-23 | Omron Corporation | Target object recognition device, manipulator, and mobile robot |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9067744B2 (en) * | 2011-10-17 | 2015-06-30 | Kabushiki Kaisha Yaskawa Denki | Robot system, robot, and sorted article manufacturing method |
| JP2015147256A (en) | 2014-02-04 | 2015-08-20 | セイコーエプソン株式会社 | Robot, robot system, control device, and control method |
| CN104897053A (en) * | 2014-03-05 | 2015-09-09 | 泰科电子(上海)有限公司 | Programmable digital machine vision detection platform |
| US10029857B2 (en) * | 2014-08-04 | 2018-07-24 | Panasonic Intellectual Property Management Co., Ltd. | Package loading instruction method and loading instruction system |
| JP6486114B2 (en) | 2015-01-16 | 2019-03-20 | 株式会社東芝 | Handling equipment |
| WO2016181480A1 (en) * | 2015-05-12 | 2016-11-17 | 株式会社日立製作所 | Storage rack and picking system |
| JP6466297B2 (en) * | 2015-09-14 | 2019-02-06 | 株式会社東芝 | Object detection apparatus, method, depalletizing automation apparatus, and packing box |
| JP6472363B2 (en) * | 2015-10-16 | 2019-02-20 | キヤノン株式会社 | Measuring device, measuring method, and article manufacturing method |
| CN105690369B (en) * | 2015-12-31 | 2018-11-30 | 中国科学院自动化研究所 | The full-automatic uploading in rice steamer robot system of white wine |
| JP2019063984A (en) * | 2017-10-02 | 2019-04-25 | キヤノン株式会社 | Information processor, method, and robot system |
| JP6687591B2 (en) | 2017-12-26 | 2020-04-22 | ファナック株式会社 | Article transport device, robot system, and article transport method |
| JP7065632B2 (en) * | 2018-02-13 | 2022-05-12 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Box-shaped object picking device and its method |
| JP7117126B2 (en) * | 2018-04-02 | 2022-08-12 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Picking device and method |
| JP6632656B2 (en) * | 2018-05-14 | 2020-01-22 | キヤノン株式会社 | Interference determination device, interference determination method, and computer program |
| JP7237496B2 (en) * | 2018-09-10 | 2023-03-13 | 株式会社東芝 | Picking system, information processing device and information processing program |
| US11396101B2 (en) | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
| JP7034971B2 (en) * | 2018-11-08 | 2022-03-14 | 株式会社東芝 | Actuation systems, controls, and programs |
| CN110104359A (en) * | 2019-04-19 | 2019-08-09 | 深圳蓝胖子机器人有限公司 | A kind of warehouse goods sorting method, system and equipment |
| CN109956251A (en) * | 2019-04-19 | 2019-07-02 | 深圳蓝胖子机器人有限公司 | A kind of cargo identification grasping means, equipment and storage medium |
| CN110395515B (en) * | 2019-07-29 | 2021-06-11 | 深圳蓝胖子机器智能有限公司 | Cargo identification and grabbing method and equipment and storage medium |
| JP7280655B2 (en) * | 2019-08-30 | 2023-05-24 | 株式会社日立オートメーション | Transfer target workpiece height measurement system |
| US10614340B1 (en) | 2019-09-23 | 2020-04-07 | Mujin, Inc. | Method and computing system for object identification |
| JP6924448B2 (en) * | 2019-12-02 | 2021-08-25 | Ａｒｉｔｈｍｅｒ株式会社 | Picking system, picking method, and program |
| JP7146829B2 (en) * | 2020-02-04 | 2022-10-04 | 株式会社メイキコウ | Image processing device and transport device equipped with image processing device |
| CN113619986A (en) * | 2020-05-08 | 2021-11-09 | 星猿哲科技(上海)有限公司 | Robot sowing and/or sorting system with lifting mechanism |
| WO2022050169A1 (en) * | 2020-09-02 | 2022-03-10 | ファナック株式会社 | Robot system, and control method |
| JP2022184425A (en) * | 2021-06-01 | 2022-12-13 | 村田機械株式会社 | Edge position detection method, transfer position determination method, and article transfer system |
| JP2022184429A (en) * | 2021-06-01 | 2022-12-13 | 村田機械株式会社 | Article type determination method and article type determination system |
| JP7252580B1 (en) | 2021-12-28 | 2023-04-05 | 三菱倉庫株式会社 | box counter |
| WO2024176359A1 (en) * | 2023-02-21 | 2024-08-29 | ファナック株式会社 | Position correction device, robot system, and position correction program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04244391A (en) * | 1991-01-30 | 1992-09-01 | Toyota Motor Corp | Step disordering device using robot |
| JP2940317B2 (en) * | 1992-06-24 | 1999-08-25 | 三菱電機株式会社 | Image processing device |
| JPH10156775A (en) * | 1996-12-03 | 1998-06-16 | Hamamatsu Syst Kaihatsu Kyodo Kumiai | Picking system and welding robot control system |
| JP2001005978A (en) * | 1999-06-18 | 2001-01-12 | Sony Corp | Device and method for extracting object, and program providing medium |
| JP5013961B2 (en) * | 2007-05-21 | 2012-08-29 | キヤノン株式会社 | Position / orientation measuring apparatus and control method thereof |
| WO2009025271A2 (en) * | 2007-08-22 | 2009-02-26 | Kabushiki Kaisha Yaskawa Denki | Device and method for controlling robot |
| JP5458885B2 (en) * | 2007-08-30 | 2014-04-02 | 株式会社安川電機 | Object detection method, object detection apparatus, and robot system |
-
2009
- 2009-04-16 JP JP2009099573A patent/JP5429614B2/en active Active
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101918168B1 (en) * | 2017-10-16 | 2018-11-14 | 삼성에스디에스 주식회사 | Method for performing 3D measurement and Apparatus thereof |
| US11823414B2 (en) | 2018-03-14 | 2023-11-21 | Omron Corporation | Information processing device, information processing method, and information processing non-transitory computer readable medium |
| US11964399B2 (en) | 2018-09-07 | 2024-04-23 | Omron Corporation | Target object recognition device, manipulator, and mobile robot |
| US11501445B2 (en) | 2018-10-30 | 2022-11-15 | Mujin, Inc. | Robotic system with automated package scan and registration mechanism and methods of operating the same |
| US11636605B2 (en) | 2018-10-30 | 2023-04-25 | Mujin, Inc. | Robotic system with automated package registration mechanism and minimum viable region detection |
| US11189033B2 (en) | 2018-10-30 | 2021-11-30 | Mujin, Inc. | Robotic system with automated package registration mechanism and auto-detection pipeline |
| US12002007B2 (en) | 2018-10-30 | 2024-06-04 | Mujin, Inc. | Robotic system with automated package scan and registration mechanism and methods of operating the same |
| US11288810B2 (en) | 2018-10-30 | 2022-03-29 | Mujin, Inc. | Robotic system with automated package registration mechanism and methods of operating the same |
| US11062457B2 (en) | 2018-10-30 | 2021-07-13 | Mujin, Inc. | Robotic system with automated package registration mechanism and minimum viable region detection |
| JP2020537775A (en) * | 2018-10-30 | 2020-12-24 | 株式会社Ｍｕｊｉｎ | Robot system with automatic package registration mechanism and automatic detection pipeline |
| US11176674B2 (en) | 2018-10-30 | 2021-11-16 | Mujin, Inc. | Robotic system with automated object detection mechanism and methods of operating the same |
| US11961042B2 (en) | 2018-10-30 | 2024-04-16 | Mujin, Inc. | Robotic system with automated package registration mechanism and auto-detection pipeline |
| US11780101B2 (en) | 2018-10-30 | 2023-10-10 | Mujin, Inc. | Automated package registration systems, devices, and methods |
| US11797926B2 (en) | 2018-10-30 | 2023-10-24 | Mujin, Inc. | Robotic system with automated object detection mechanism and methods of operating the same |
| US11034025B2 (en) | 2018-10-30 | 2021-06-15 | Mujin, Inc. | Automated package registration systems, devices, and methods |
| DE112019005825B4 (en) | 2018-11-21 | 2023-07-27 | Thk Co., Ltd. | Image information processing device, gripping system and image information processing method |
| US11607803B2 (en) | 2018-11-21 | 2023-03-21 | Thk Co., Ltd. | Image information processing device, gripping system, and image information processing method |
| WO2021249570A1 (en) * | 2020-06-12 | 2021-12-16 | 深圳市海柔创新科技有限公司 | Control method and apparatus for warehouse robot, and robot and warehouse system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010247959A (en) | 2010-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5429614B2 (en) | Box-shaped workpiece recognition apparatus and method | |
| KR102650494B1 (en) | Automated package registration systems, devices, and methods | |
| US11780101B2 (en) | Automated package registration systems, devices, and methods | |
| JP2019509559A (en) | Box location, separation, and picking using a sensor-guided robot | |
| WO2023092519A1 (en) | Grabbing control method and apparatus, and electronic device and storage medium | |
| JP7398662B2 (en) | Robot multi-sided gripper assembly and its operating method | |
| JP5544464B2 (en) | 3D position / posture recognition apparatus and method for an object | |
| JP5360369B2 (en) | Picking apparatus and method | |
| EP4245480A1 (en) | Measuring system, measuring device, measuring method, and measuring program | |
| CN116175542B (en) | Method, device, electronic equipment and storage medium for determining clamp grabbing sequence | |
| JP5332873B2 (en) | Bag-like workpiece recognition device and method | |
| CN116188559A (en) | Image data processing method, device, electronic equipment and storage medium | |
| JP7398763B2 (en) | Robot system equipped with overlap processing mechanism and its operating method | |
| CN116197888B (en) | Method and device for determining position of article, electronic equipment and storage medium | |
| CN116175541B (en) | Grabbing control method, grabbing control device, electronic equipment and storage medium | |
| CN116175540B (en) | Grabbing control method, device, equipment and medium based on position and orientation | |
| WO2022264381A1 (en) | Workpiece retrieval count calculation device, hand system, and display device | |
| CN116197887A (en) | Image data processing method, device, electronic equipment and storage medium | |
| CN116214494A (en) | Grabbing control method, grabbing control device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130729 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131121 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5429614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |