JP6724499B2 - Object gripping device and grip control program - Google Patents
Object gripping device and grip control program Download PDFInfo
- Publication number
- JP6724499B2 JP6724499B2 JP2016075739A JP2016075739A JP6724499B2 JP 6724499 B2 JP6724499 B2 JP 6724499B2 JP 2016075739 A JP2016075739 A JP 2016075739A JP 2016075739 A JP2016075739 A JP 2016075739A JP 6724499 B2 JP6724499 B2 JP 6724499B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- grip
- data
- grip control
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、物体把持装置及び把持制御プログラムに関する。 The present invention relates to an object gripping device and a grip control program.
従来から、ロボットによるピッキング技術は、産業分野で部品供給や組立工程の自動化を実現するために利用されており、その技術において様々な工夫がなされている。 2. Description of the Related Art Conventionally, robot picking technology has been used in the industrial field to realize automation of parts supply and assembly processes, and various innovations have been made in the technology.
例えば、従来では、予め用意した三次元モデルを用いたパターンマッチングにより、山積みされたオブジェクトの位置姿勢を認識し、ロボットによるピッキングを行うことが知られている（特許文献１）。 For example, it is conventionally known that the position and orientation of piled objects are recognized by pattern matching using a three-dimensional model prepared in advance, and picking by a robot is performed (Patent Document 1).
さらに、従来では、ピッキングの対象物の形状が微妙に異なっていたり、対象物の一部が隠れている場合等に関する技術として、センサからの距離分布情報を利用する事で葉と果実を分離し、目的の果実を識別する果実収穫ロボットが知られている（特許文献２）。 Furthermore, conventionally, as a technique related to cases where the shape of the picking object is slightly different or part of the object is hidden, the distance distribution information from the sensor is used to separate the leaves and fruits. A fruit harvesting robot that identifies a target fruit is known (Patent Document 2).
上述した特許文献１記載の技術は、対象物の一部が隠れている状態は想定されていないため、対象物の一部が隠れていた場合には、ピッキングの精度が低下する虞がある。また、特許文献２記載の技術は、対象物である果実の一部が隠れていた場合に、隠れている部分の形状の復元を行っていない。このため、特許文献２記載の技術では、対象物のサイズや形状、重心位置等に合わせて対象物をピッキングすることができず、ピッキングの精度が低下する虞がある。 The technique described in Patent Document 1 described above does not assume a state in which a part of the target object is hidden. Therefore, when a part of the target object is hidden, the picking accuracy may decrease. Further, the technique described in Patent Document 2 does not restore the shape of the hidden part when part of the fruit that is the target is hidden. For this reason, in the technique described in Patent Document 2, the object cannot be picked in accordance with the size and shape of the object, the position of the center of gravity, and the like, and there is a risk that the accuracy of picking will decrease.
開示の技術は、対象物を適切に把持させることを目的としている。 The disclosed technology aims to appropriately grasp an object.
開示の技術は、撮像領域の画像及び距離情報を含む撮像データを取得する撮像データ取得部と、前記撮像データを用いて撮像領域内に配置された物体毎の物体領域を検出し、前記物体領域と物体形状モデルに基づいて前記物体の３次元形状データを生成する認識処理部と、前記３次元形状データに基づいて、アーム部材及びハンド部材の動作を制御する把持制御部と、を有し、前記把持制御部は、前記３次元形状データに対する把持の成功確率を出力するモデルデータを保持する保持部と、前記３次元形状データが示す形状を所定の角度ずつ回転させ、回転させる毎に、前記モデルデータを用いて前記成功確率を算出する成功確率算出部と、前記成功確率に応じて前記アーム部材及び前記ハンド部材に対し、前記物体の把持の指示を出力する把持指示出力部と、を有する物体把持装置である。 The disclosed technology includes an imaging data acquisition unit that acquires imaging data including an image of an imaging region and distance information, and an object region for each object arranged in the imaging region using the imaging data to detect the object region. and a recognition processor for generating a three-dimensional shape data of the object based on the object shape model based on the three-dimensional shape data, possess a grip controller that controls the operation of the arm member and the hand member, The grip control unit rotates a holding unit that holds model data that outputs a success probability of gripping the three-dimensional shape data and a shape that the three-dimensional shape data indicates by a predetermined angle. A success probability calculation unit that calculates the success probability using model data; and a gripping instruction output unit that outputs a gripping instruction of the object to the arm member and the hand member according to the success probability. It is an object gripping device.
対象物を適切に把持させることができる。 The target object can be appropriately grasped.
（第一の実施形態）
以下に図面を参照して第一の実施形態について説明する。図１は、第一の実施形態の物体把持装置を説明する図である。
(First embodiment)
The first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram illustrating an object gripping device according to the first embodiment.
本実施形態の物体把持装置１００は、把持制御装置２００と、アーム部材３００と、ハンド部材３１０と、撮像装置４００とを有する。 The object gripping device 100 of this embodiment includes a gripping control device 200, an arm member 300, a hand member 310, and an imaging device 400.
本実施形態の把持制御装置２００は、把持制御処理部２１０を有し、撮像装置４００が撮像した撮像データに基づき、アーム部材３００とハンド部材３１０を制御する。 The grip control device 200 according to the present embodiment has a grip control processing unit 210 and controls the arm member 300 and the hand member 310 based on the imaging data captured by the imaging device 400.
本実施形態の把持制御処理部２１０は、撮像データ取得部２２０、認識処理部２３０、把持制御部２４０を有する。 The grip control processing unit 210 of the present embodiment includes an imaging data acquisition unit 220, a recognition processing unit 230, and a grip control unit 240.
撮像データ取得部２２０は、撮像装置４００が撮像した撮像データを取得する。認識処理部２３０は、撮像データから取得される点群データ、及び画像データから、撮像領域内に存在する物体毎の物体領域を検出し、形状モデルを用いて各物体の形状を復元する。復元された形状は、３次元座標の点群として示される。以下の説明では、この点群を３次元形状データと呼ぶ。 The imaging data acquisition unit 220 acquires the imaging data captured by the imaging device 400. The recognition processing unit 230 detects an object area for each object existing in the imaging area from the point cloud data acquired from the imaging data and the image data, and restores the shape of each object using the shape model. The restored shape is shown as a point group of three-dimensional coordinates. In the following description, this point group is referred to as three-dimensional shape data.
把持制御部２４０は、３次元物体をピッキングするためのアーム部材３００及びハンド部材３１０の動作を制御する。具体的には、把持制御部２４０は、復元された形状に応じて、アーム部材３００及びハンド部材３１０によるピッキングの対象となる３次元物体の把持方法を決定する。各部の処理の詳細は後述する。 The grip control unit 240 controls operations of the arm member 300 and the hand member 310 for picking a three-dimensional object. Specifically, the grip control unit 240 determines a grip method for a three-dimensional object to be picked by the arm member 300 and the hand member 310 according to the restored shape. Details of the processing of each unit will be described later.
本実施形態のアーム部材３００とハンド部材３１０は、３次元物体をピッキングするものであり、把持制御装置２００からの指示により駆動し、動作する。また、本実施形態のハンド部材３１０は、先端部に、ハンド部材３１０が物体に接触したか否かを検出するための接触検知センサが設けられていても良い。本実施形態では、ハンド部材３１０は、回動しない状態で固定されていても良い。 The arm member 300 and the hand member 310 of this embodiment are for picking a three-dimensional object, and are driven and operated by an instruction from the grip control device 200. Further, the hand member 310 of the present embodiment may be provided with a contact detection sensor for detecting whether or not the hand member 310 has come into contact with an object at the tip portion. In the present embodiment, the hand member 310 may be fixed without rotating.
本実施形態の撮像装置４００は、ステレオカメラ、赤外線を利用したイメージセンサ等であり、３次元物体の撮像データを取得する。本実施形態の撮像装置４００は、例えばアーム部材３００に設けられている。より具体的には、撮像装置４００は、アーム部材３００の基端部の近傍に設定されていても良い。 The imaging device 400 of this embodiment is a stereo camera, an image sensor using infrared rays, or the like, and acquires imaging data of a three-dimensional object. The imaging device 400 of this embodiment is provided on, for example, the arm member 300. More specifically, the imaging device 400 may be set near the base end of the arm member 300.
尚、本実施形態における撮像データは、３次元物体の画像データと、撮像装置４００から３次元物体までの距離を示す距離情報と、３次元物体に対する撮像装置４００の角度を示す情報とが含まれる。距離情報は点群データとして表現される。 The imaging data in this embodiment includes image data of a three-dimensional object, distance information indicating a distance from the imaging device 400 to the three-dimensional object, and information indicating an angle of the imaging device 400 with respect to the three-dimensional object. .. The distance information is represented as point cloud data.
また、本実施形態におけるピッキングとは、不規則に配置された複数の３次元物体（オブジェクト）を、物体把持装置１００として機能するロボットアームを用いて把持して所定の場所へ移動させる動作を指す。したがって、ピッキングの対象となる３次元物体は、把持の対象となる３次元物体とも言える。以下の説明では、物体把持装置１００によるピッキング（把持）の対象となる３次元物体を把持対象物と呼ぶ。 In addition, the picking in the present embodiment refers to an operation of gripping a plurality of three-dimensional objects (objects) that are randomly arranged using a robot arm that functions as the object gripping device 100 and moving them to a predetermined location. .. Therefore, the three-dimensional object to be picked can be said to be the three-dimensional object to be gripped. In the following description, a three-dimensional object that is a target for picking (grasping) by the object gripping device 100 is referred to as a gripping target.
次に、図２を参照し、本実施形態の物体把持装置１００の動作の概略を説明する。図２は、第一の実施形態の物体把持装置の動作の手順を説明する図である。 Next, with reference to FIG. 2, an outline of the operation of the object gripping device 100 of the present embodiment will be described. FIG. 2 is a diagram illustrating an operation procedure of the object gripping device according to the first embodiment.
本実施形態の物体把持装置１００は、把持制御処理部２１０の撮像データ取得部２２０により、撮像データを取得する（ステップＳ２０１）。続いて、把持制御処理部２１０は、認識処理部２３０により、撮像領域内の各物体の領域を取得し（ステップＳ２０２）、物体毎に形状を補間する（ステップＳ２０３）。本実施形態では、認識処理部２３０による処理により、撮像領域内の物体の形状が復元される。 In the object gripping device 100 of this embodiment, the imaging data acquisition unit 220 of the grip control processing unit 210 acquires imaging data (step S201). Subsequently, the grip control processing unit 210 acquires the area of each object in the imaging area by the recognition processing unit 230 (step S202) and interpolates the shape for each object (step S203). In the present embodiment, the shape of the object in the imaging region is restored by the processing by the recognition processing unit 230.
続いて、把持制御処理部２１０は、把持制御部２４０により、アーム部材３００とハンド部材３１０による把持対象物の把持の仕方を決定する（ステップＳ２０４）。 Subsequently, the grip control processing unit 210 causes the grip control unit 240 to determine how the arm member 300 and the hand member 310 grip the object to be gripped (step S204).
本実施形態の把持制御部２４０は、把持の仕方が決定されると、アーム部材３００とハンド部材３１０に対して決定された方法で対象物を把持させるように、動作の指示を行う。 When the gripping method is determined, the grip control unit 240 of the present embodiment instructs the arm member 300 and the hand member 310 to perform an operation so that the target object is gripped by the determined method.
ここで、本実施形態の認識処理部２３０による物体の形状の復元について説明する。本実施形態では、撮像データにおいて、撮像装置４００と把持対象物との間を遮る障害物により、把持対象物の画像の一部が欠落していた場合でも、欠落した部分の形状及び姿勢を復元する。 Here, the restoration of the shape of the object by the recognition processing unit 230 of the present embodiment will be described. In the present embodiment, even if a part of the image of the grasped object is missing in the imaged data due to an obstacle blocking between the imaging device 400 and the grasped object, the shape and posture of the missing part are restored. To do.
言い換えれば、本実施形態では、把持対象物とアーム部材３００との間に障害物が存在していた場合でも、把持対象物の全体の形状を復元することができる。 In other words, in the present embodiment, even if there is an obstacle between the grip target and the arm member 300, the entire shape of the grip target can be restored.
したがって、本実施形態によれば、把持対象物が障害物の背後に配置されていた場合等でも、把持対象物の形状の認識精度を向上させることができ、適切に把持対象物を把持できる。 Therefore, according to the present embodiment, even when the gripping target is placed behind the obstacle, the recognition accuracy of the shape of the gripping target can be improved, and the gripping target can be appropriately gripped.
次に、図３を参照して本実施形態の把持制御装置２００のハードウェア構成について説明する。図３は、第一の実施形態の把持制御装置のハードウェア構成の一例を示す図である。 Next, the hardware configuration of the grip control device 200 of the present embodiment will be described with reference to FIG. FIG. 3 is a diagram illustrating an example of a hardware configuration of the grip control device according to the first embodiment.
本実施形態の把持制御装置２００は、それぞれバスＢで相互に接続されているメモリ装置２１、演算処理装置２２、インターフェース装置２３、ドライブ装置２４、補助記憶装置２５を含む。 The grip control device 200 of the present embodiment includes a memory device 21, an arithmetic processing device 22, an interface device 23, a drive device 24, and an auxiliary storage device 25, which are connected to each other by a bus B.
メモリ装置２１は、演算処理装置２２による演算結果の情報等が格納される。演算処理装置２２は、把持制御装置２００の全体的な制御を行う。また、演算処理装置２２は、メモリ装置２１や補助記憶装置２５に格納されたプログラムを実行し、各処理を行う。 The memory device 21 stores information on the calculation result of the calculation processing device 22 and the like. The arithmetic processing device 22 controls the grip control device 200 as a whole. The arithmetic processing unit 22 also executes the programs stored in the memory unit 21 and the auxiliary storage unit 25 to perform each process.
インターフェース装置２３は、アーム部材３００や撮像装置４００とのインターフェースである。演算処理装置２２は、インターフェース装置２３を介してアーム部材３００へ駆動指示や動作指示を行っても良い。また、演算処理装置２２は、インターフェース装置２３を介して撮像装置４００から撮像データを取得しても良い。 The interface device 23 is an interface with the arm member 300 and the imaging device 400. The arithmetic processing device 22 may issue a drive instruction or an operation instruction to the arm member 300 via the interface device 23. Further, the arithmetic processing device 22 may acquire image pickup data from the image pickup device 400 via the interface device 23.
把持制御プログラムは、把持制御装置２００を制御する各種プログラムの少なくとも一部である。把持制御プログラムは例えば記録媒体２６の配布やネットワークからのダウンロードなどによって提供される。把持制御プログラムを記録した記録媒体２６は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。 The grip control program is at least a part of various programs that control the grip control device 200. The grip control program is provided, for example, by distributing the recording medium 26 or downloading from the network. The recording medium 26 in which the grip control program is recorded is a recording medium such as a CD-ROM, a flexible disk or a magneto-optical disk for recording information optically, electrically or magnetically, or information such as a ROM or a flash memory. It is possible to use various types of recording media such as a semiconductor memory that electrically records data.
また、把持制御プログラムは、把持制御プログラムを記録した記録媒体２６がドライブ装置２４にセットされるとは記録媒体２６からドライブ装置２４を介して補助記憶装置２５にインストールされる。補助記憶装置２５は、インストールされた把持制御プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置２１は、把持制御装置２００の起動時に補助記憶装置２５から把持制御プログラムを読み出して格納する。そして、演算処理装置２２はメモリ装置２１に格納された把持制御プログラムに従って、後述するような各種処理を実現している。 The grip control program is installed in the auxiliary storage device 25 from the recording medium 26 via the drive device 24 when the recording medium 26 recording the grip control program is set in the drive device 24. The auxiliary storage device 25 stores the installed grip control program and also stores necessary files, data, and the like. The memory device 21 reads and stores the grip control program from the auxiliary storage device 25 when the grip control device 200 is activated. Then, the arithmetic processing unit 22 realizes various processes as described later according to the grip control program stored in the memory unit 21.
尚、本実施形態の把持制御装置２００は、例えばネットワークと接続するための通信インターフェース等を有しており、ネットワークを介して把持制御プログラムをダウンロードしても良い。 The grip control device 200 according to the present embodiment has, for example, a communication interface for connecting to a network, and may download the grip control program via the network.
次に、図４を参照して、本実施形態の把持制御装置２００の機能について説明する。図４は、第一の実施形態の把持制御装置の機能を説明する図である。 Next, the function of the grip control device 200 of the present embodiment will be described with reference to FIG. FIG. 4 is a diagram illustrating the function of the grip control device according to the first embodiment.
本実施形態の把持制御装置２００は、把持制御処理部２１０を有する。本実施形態の把持制御処理部２１０は、把持制御装置２００の演算処理装置２２が、把持制御プログラムをメモリ装置２１等から読み出して実行することで実現される。 The grip control device 200 of this embodiment includes a grip control processing unit 210. The grip control processing unit 210 of the present embodiment is realized by the arithmetic processing unit 22 of the grip control device 200 reading the grip control program from the memory device 21 or the like and executing it.
本実施形態の把持制御処理部２１０は、撮像データ取得部２２０、認識処理部２３０、把持制御部２４０を有する。以下では、認識処理部２３０と把持制御部２４０について説明する。始めに、認識処理部２３０について説明する。 The grip control processing unit 210 of the present embodiment includes an imaging data acquisition unit 220, a recognition processing unit 230, and a grip control unit 240. The recognition processing unit 230 and the grip control unit 240 will be described below. First, the recognition processing unit 230 will be described.
認識処理部２３０は、物体領域検出部２３１と、形状復元部２３２とを有し、撮像データと、把持対象物の形状モデルとに基づき、撮像領域において把持対象物が配置された領域を検出し、把持対象物の形状を復元する。 The recognition processing unit 230 includes an object region detection unit 231 and a shape restoration unit 232, and detects the region in which the gripping target object is arranged in the imaging region based on the imaging data and the shape model of the gripping target object. , Restore the shape of the grasped object.
物体領域検出部２３１は、撮像データに含まれる画像データと距離情報（点群データ）に基づき、撮像領域において物体が存在する領域を検出する。 The object area detection unit 231 detects an area where an object exists in the imaging area based on the image data included in the imaging data and the distance information (point cloud data).
以下に、物体が存在する領域（以下、物体領域）の検出について説明する。撮像領域内の点群データ、又は距離画像データから、任意の形状の各オブジェクトに相当する領域（物体の点群データ又は物体領域を示すセグメント）を抽出する方法は、既存の研究が数多くあり、これら技術を適用する事ができる。 Hereinafter, detection of an area where an object exists (hereinafter referred to as an object area) will be described. There are many existing studies on the method of extracting a region corresponding to each object of an arbitrary shape (point cloud data of an object or a segment indicating an object region) from point cloud data in an imaging region or range image data, These techniques can be applied.
具体的には、例えば、非特許文献１では、入力の画像データ及び距離情報に基づいて、オブジェクト単位の領域情報を返すアルゴリズムが提案されている。本実施形態の物体領域検出部２３１は、例えばこのような手法により、物体領域を検出すれば良い。 Specifically, for example, Non-Patent Document 1 proposes an algorithm that returns area information in object units based on input image data and distance information. The object area detection unit 231 of the present embodiment may detect the object area by such a method, for example.
次に、物体の形状の復元について説明する。本実施形態の形状復元部２３２では、物体領域検出部２３１により検出された物体領域を示す情報と、形状モデルを組み合わせる事で、元の物体の形状を類推する。 Next, the restoration of the shape of the object will be described. The shape restoration unit 232 of the present embodiment estimates the shape of the original object by combining the information indicating the object region detected by the object region detection unit 231 and the shape model.
具体的には、例えば、部分的に遮蔽された物体の形状を復元する手法としてShape prior segmentationという技術が知られている。この技術では、見えている部分の情報に関する確からしさと、見えている部分から全体形状を補間類推した際のその形状の確からしさ、という２項で、以下の式（１）に示すコスト関数Ｅが定義される。１項目はデータ項、２項目はshape項とここでは呼ぶことにする。λは、どちらの項をより優先的に扱うかを決めるバランス係数である。このコスト関数Ｅは、物体復元処理の信頼度を示す。 Specifically, for example, a technique called Shape prior segmentation is known as a method of restoring the shape of an object that is partially occluded. In this technique, the cost function E shown in the following equation (1) is defined by the two terms of certainty regarding the information of the visible portion and certainty of the shape when the overall shape is inferred from the visible portion. Is defined. One item is called a data item, and two items are called a shape item here. λ is a balance coefficient that determines which term is treated more preferentially. The cost function E indicates the reliability of the object restoration process.
Ｅ＝Ｅｄａｔａ＋λＥｓｈａｐｅ 式（１）
このコスト関数を最小化することで、見えている部分の確からしさと、見えている部分をベースに補間した形状の物体形状らしさが最適化されることになる。
E=E data +λE shape formula (1)
By minimizing this cost function, the certainty of the visible portion and the likelihood of the object shape of the shape interpolated based on the visible portion are optimized.
以下に、１つの物体を対象として形状補間する場合について説明する。Shape Prior segmentationという技術については、これまで多くの研究が成されており、その代表的なものとして、非特許文献２と非特許文献３が挙げられる。これらの手法では、Shape項をＰＣＡ（Principal Component Analysis）など統計的なモデルを用いて表現している。 The case where the shape interpolation is performed on one object will be described below. Many studies have been made on the technology called Shape Prior segmentation, and representative examples thereof include Non-Patent Document 2 and Non-Patent Document 3. In these methods, the Shape term is expressed using a statistical model such as PCA (Principal Component Analysis).
更に、近年では、機械学習を用いて、複数の物体の形状分布を学習する方法が提案されている（非特許文献４参照）。この技術を用いると、例えば複数の物体の情報を（ラベルなし）学習データとして与えると、新しく入力された物体形状について、学習済みの形状に近づけるよう作用するため、一部が欠損された物体が入力された場合、欠損を補う方向に補間させる事になる。 Furthermore, in recent years, a method of learning the shape distribution of a plurality of objects using machine learning has been proposed (see Non-Patent Document 4). When this technology is used, for example, when information of multiple objects is given as (unlabeled) learning data, the newly input object shape acts so as to approach the learned shape. When input, it will be interpolated in the direction to compensate for the loss.
次に、複数の物体を対象として形状補間する場合について説明する。この場合には、撮像領域内に存在する複数の物体領域が与えられていると仮定する。 Next, a case where shape interpolation is performed for a plurality of objects will be described. In this case, it is assumed that a plurality of object areas existing in the imaging area are given.
物体に対する遮蔽が、物体の前に置かれている物体（障害物）によって生じているとすると、遮蔽している物体（障害物）の形状を用いる事で、効果的に物体形状を補間する事ができる。このような問題はSegmentation with Depthと呼ばれ、非特許文献５において定義されている。 If the occlusion of an object is caused by an object (obstacle) placed in front of the object, the shape of the obstructing object (obstacle) is used to effectively interpolate the object shape. You can Such a problem is called Segmentation with Depth and is defined in Non-Patent Document 5.
このアルゴリズムに与えるデータはグレースケールであるため、深度情報に基づいて、各領域をある輝度値で塗りつぶすことを考える。また、深度情報に基づいて、各領域の順序関係は簡単に求める事ができる。Segmentation with Depth問題を解くと、各物体の真の形状（輪郭）が同時に復元される。この際、Shape項として、機械学習で得られた形状モデルを用いる事で、カテゴリの異なる物体の形状も同時に復元する事ができる。 Since the data given to this algorithm is gray scale, it is considered to fill each area with a certain brightness value based on the depth information. Moreover, the order relation of each region can be easily obtained based on the depth information. Solving the Segmentation with Depth problem restores the true shape (contour) of each object at the same time. At this time, by using a shape model obtained by machine learning as the Shape term, it is possible to simultaneously restore the shapes of objects in different categories.
本実施形態の認識処理部２３０では、上述したような既存の技術を用いて、撮像データから物体領域の検出と物体の形状の復元や、遮蔽された物体の形状の補間を行い、物体の３次元形状データを生成する。 The recognition processing unit 230 according to the present embodiment detects the object region from the imaged data, restores the shape of the object, and interpolates the shape of the occluded object by using the existing technology as described above, and detects the object 3 Generate dimensional shape data.
次に、本実施形態の把持制御部２４０について説明する。本実施形態の把持制御部２４０は、学習モデル保持部２４１、成功確率算出部２４２、閾値判定部２４３、把持指示出力部２４４を有する。 Next, the grip control unit 240 of the present embodiment will be described. The grip control unit 240 according to the present embodiment includes a learning model holding unit 241, a success probability calculation unit 242, a threshold value determination unit 243, and a grip instruction output unit 244.
本実施形態の学習モデル保持部２４１は、学習モデル２５０を保持している。学習モデル２５０は、画像データを入力とし、成功確率を出力とする関数である。本実施形態では、学習モデル２５０は、予め生成されて、把持制御装置２００に格納されている。 The learning model holding unit 241 of the present embodiment holds the learning model 250. The learning model 250 is a function that inputs image data and outputs a success probability. In the present embodiment, the learning model 250 is generated in advance and stored in the grip control device 200.
以下に、学習モデル２５０の生成について説明する。本実施形態では、各物体の３次元形状データを取得し、様々な位置、角度でハンド部材３１０により物体を把持する試行を繰り返し、成功と失敗の事例を記憶する。具体的には、この学習では、把持が成功した時の角度分回転させた状態で３次元形状データに１を対応付けて保存し、把持が失敗した時の角度分回転させた状態で３次元形状データに０を対応付けて保存する。このような対応付けを行うことで、様々な角度の３次元形状データ毎に、把持に成功した確率を求めることができる。 The generation of the learning model 250 will be described below. In this embodiment, three-dimensional shape data of each object is acquired, trials of gripping the object with the hand member 310 at various positions and angles are repeated, and examples of success and failure are stored. Specifically, in this learning, 1 is stored in association with the three-dimensional shape data in the state rotated by the angle when the grip is successful, and the three-dimensional shape data is stored in the state rotated by the angle when the grip is failed. 0 is associated with the shape data and saved. By making such correspondence, the probability of successful gripping can be obtained for each of the three-dimensional shape data at various angles.
本実施形態では、この学習結果から、画像データと、この画像データから復元される３次元形状データが把持に成功する確率（以下、成功確率）との関係を表す関数を生成し、学習モデル２５０としている。言い換えれば、学習モデル２５０は、画像データから生成される３次元形状データにおける成功確率を求めるための関数である。 In the present embodiment, a function representing the relationship between the image data and the probability that the three-dimensional shape data restored from the image data will be successfully gripped (hereinafter referred to as the success probability) is generated from the learning result, and the learning model 250 is generated. I am trying. In other words, the learning model 250 is a function for obtaining the success probability in the three-dimensional shape data generated from the image data.
本実施形態の成功確率算出部２４２は、認識処理部２３０により生成された３次元形状データと、学習モデル２５０とから成功確率を算出する。 The success probability calculation unit 242 of the present embodiment calculates the success probability from the learning model 250 and the three-dimensional shape data generated by the recognition processing unit 230.
閾値判定部２４３は、算出された成功確率と閾値とを比較し、成功確率が閾値以上であるか否かを判定する。尚、閾値は、予め設定されている値であり、閾値判定部２４３が保持していても良い。本実施形態の閾値は、物体把持装置１００の利用者等により任意に変更されるものであっても良い。 The threshold determination unit 243 compares the calculated success probability with the threshold and determines whether the success probability is equal to or higher than the threshold. The threshold value is a preset value and may be held by the threshold value determination unit 243. The threshold value of the present embodiment may be arbitrarily changed by the user of the object gripping device 100 or the like.
把持指示出力部２４４は、成功確率が閾値以上となったときの３次元形状データに基づき、アーム部材３００に対して物体の把持させる指示を出力する。 The gripping instruction output unit 244 outputs an instruction to cause the arm member 300 to grip an object based on the three-dimensional shape data when the success probability is equal to or higher than the threshold value.
次に、図５を参照して本実施形態の把持制御装置２００の動作を説明する。図５は、第一の実施形態の把持制御装置の動作を説明するフローチャートである。 Next, the operation of the grip control device 200 of the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart illustrating the operation of the grip control device according to the first embodiment.
本実施形態の把持制御処理部２１０は、撮像データ取得部２２０により、撮像装置４００が撮像した把持対象物を含む撮像データを取得する（ステップＳ５０１）。尚、本実施形態では、撮像データを取得する前に、アーム部材３００を、把持対象物を把持できる位置まで移動させておくものとした。また、本実施形態の撮像データ取得部２２０は、ステップＳ５０１において撮像データを取得した後も、把持対象物を含む撮像データを取得し続けても良い。言い換えれば、撮像データ取得部２２０は、撮像装置４００から、把持対象物の動画を撮像させ、動画の１フレームを取得して認識処理部２３０へ渡しても良い。 The grip control processing unit 210 of the present embodiment acquires the imaging data including the grip target imaged by the imaging device 400 by the imaging data acquisition unit 220 (step S501). In the present embodiment, the arm member 300 is moved to a position where the object to be gripped can be gripped before acquiring the imaging data. Further, the imaging data acquisition unit 220 of the present embodiment may continue to acquire the imaging data including the grasped object even after acquiring the imaging data in step S501. In other words, the imaging data acquisition unit 220 may capture a moving image of the grip target from the imaging device 400, acquire one frame of the moving image, and pass the frame to the recognition processing unit 230.
続いて、把持制御処理部２１０は、認識処理部２３０の物体領域検出部２３１により、撮像データから物体領域を検出する（ステップＳ５０２）。続いて、認識処理部２３０は、形状復元部２３２により、把持対象物の３次元形状データを生成する（ステップＳ５０３）。このとき、形状復元部２３２は、把持対象物の一部が障害物等により隠れている場合には、補間により、隠れている部分も復元した３次元形状データを生成する。 Subsequently, the grip control processing unit 210 causes the object region detection unit 231 of the recognition processing unit 230 to detect an object region from the imaged data (step S502). Subsequently, the recognition processing unit 230 causes the shape restoration unit 232 to generate three-dimensional shape data of the grasped object (step S503). At this time, when a part of the grasped object is hidden by an obstacle or the like, the shape restoration unit 232 generates three-dimensional shape data in which the hidden portion is also restored by interpolation.
次に、把持制御部２４０は、全ての角度の３次元形状データに対して、ステップＳ５０５以降の処理を行ったか否かを判定する（ステップＳ５０４）。ステップＳ５０４において、全ての角度について処理を行った場合、把持制御処理部２１０は処理を終了する。 Next, the grip control unit 240 determines whether or not the processing from step S505 has been performed on the three-dimensional shape data of all angles (step S504). When the processing is performed for all the angles in step S504, the grip control processing unit 210 ends the processing.
ステップＳ５０４において、全ての角度において処理を行っていない場合、把持制御部２４０は、成功確率算出部２４２により、生成した把持対象物の３次元形状データを所定の角度回転させる（ステップＳ５０５）。所定の角度とは、例えばπ／１０である。 When the processing is not performed for all angles in step S504, the grip control unit 240 causes the success probability calculation unit 242 to rotate the generated three-dimensional shape data of the grip target by a predetermined angle (step S505). The predetermined angle is, for example, π/10.
続いて成功確率算出部２４２は、回転させた３次元形状データと、学習モデル２５０とから、成功確率を算出する（ステップＳ５０６）。 Subsequently, the success probability calculation unit 242 calculates the success probability from the rotated three-dimensional shape data and the learning model 250 (step S506).
続いて、把持制御部２４０は、閾値判定部２４３により、算出した成功確率が閾値以上であるか否かを判定する（ステップＳ５０７）。ステップＳ５０７において、成功確率が閾値以上でない場合、把持制御処理部２１０はステップＳ５０４へ戻る。 Subsequently, the grip control unit 240 causes the threshold value determination unit 243 to determine whether the calculated success probability is greater than or equal to the threshold value (step S507). If the success probability is not equal to or more than the threshold value in step S507, the grip control processing unit 210 returns to step S504.
ステップＳ５０７において、成功確率が閾値以上であった場合、把持制御部２４０は、把持指示出力部２４４により、ハンド部材３１０に対する把持指示を行い（ステップＳ５０８）、処理を終了する。 If the success probability is equal to or higher than the threshold value in step S507, the grip control unit 240 instructs the grip member output unit 244 to grip the hand member 310 (step S508), and ends the process.
このとき、把持指示出力部２４４は、ステップＳ５０６において成功確率が閾値以上となったときの３次元形状データの回転角度を取得する。そして、把持指示出力部２４４は、撮像装置４００から取得する撮像データを参照して、ハンド部材３１０と把持対象物との位置関係が、回転させた３次元形状データと一致するようにアーム部材３００及びハンド部材３１０を動作させる。 At this time, the gripping instruction output unit 244 acquires the rotation angle of the three-dimensional shape data when the success probability becomes equal to or higher than the threshold value in step S506. Then, the gripping instruction output unit 244 refers to the image pickup data acquired from the image pickup apparatus 400 so that the positional relationship between the hand member 310 and the gripping target matches the rotated three-dimensional shape data. And the hand member 310 is operated.
つまり、把持指示出力部２４４は、アーム部材３００に設けられた撮像装置４００から取得される撮像データに含まれる把持対象物が、回転させた３次元形状データと一致する角度となる位置に、アーム部材３００を移動させ、ハンド部材３１０に把持対象物を把持させる。 That is, the gripping instruction output unit 244 causes the gripping target included in the imaging data acquired from the imaging device 400 provided on the arm member 300 to be positioned at an angle that matches the rotated three-dimensional shape data of the arm. The member 300 is moved, and the hand member 310 is caused to grip the grip target.
本実施形態では、このようにアーム部材３００とハンド部材３１０の動作を制御することで、一定以上の成功確率を有する状態において、把持対象物を把持させることができ、把持対象物を適切に把持させることができる。 In the present embodiment, by controlling the operations of the arm member 300 and the hand member 310 in this manner, the gripping target can be gripped in a state having a certain success probability, and the gripping target is appropriately gripped. Can be made.
また、本実施形態では、認識処理部２３０における把持対象物の３次元形状データの生成において、撮像データから取得した把持対象物の画像の一部が、障害物等により遮蔽されて欠損している場合には、欠損部分を補間する。したがって、本実施形態では、３次元形状データを把持対象物の真の形状に近づけることができ把持対象物の形状の認識精度を向上させることができる。 Further, in the present embodiment, in the generation of the three-dimensional shape data of the gripping target in the recognition processing unit 230, a part of the image of the gripping target acquired from the imaging data is blocked by an obstacle or the like and is missing. In some cases, the defective portion is interpolated. Therefore, in the present embodiment, the three-dimensional shape data can be brought close to the true shape of the grip target, and the recognition accuracy of the shape of the grip target can be improved.
尚、本実施形態では、ハンド部材３１０は、回動しない状態で固定されている状態を想定しているが、これに限定されない。ハンド部材３１０がアーム部材３００に対して回動可能な状態で固定されている場合には、ハンド部材３１０に撮像装置４００を設けても良い。この場合、成功確率が閾値以上となった場合には、ハンド部材３１０のみを回転させれば良い。 In the present embodiment, the hand member 310 is assumed to be fixed in a non-rotating state, but the present invention is not limited to this. When the hand member 310 is rotatably fixed to the arm member 300, the imaging device 400 may be provided on the hand member 310. In this case, if the success probability is equal to or higher than the threshold value, only the hand member 310 may be rotated.
尚、把持制御部２４０は、例えば上述した方法以外の方法でアーム部材３００とハンド部材３１０とを制御しても良い。 The grip control unit 240 may control the arm member 300 and the hand member 310 by a method other than the method described above, for example.
復元される物体は、３次元点群、またはＶｏｘｅｌ群として表現する事ができる。このように大きさやサイズが既知の物体を把持するアルゴリズムは、従来から数多く提案されている。一般に、ヒューリスティックに把持方法を探索する場合、その探索範囲が非常に大きい点が問題となる。その解決策として、物体をいくつかの外接矩形の組に分解することで物体形状を単純化し、探索範囲を縮小させ方法が知られている（非特許文献６）。この方法では、まず、３次元形状全体に矩形をフィッティング（Ｌｅｖｅｌ１）させ、３次元矩形の数がなるべく少なく、かつ矩形の体積の総和がなるべく小さくなるように元の物体を分割し、最終的に深さＬｅｖｅｌＮの外接矩形の分割木を構成する。これより、物体形状を近似しつつ、形状は２Ｎ−１個のノードを持つ木として表現することができる。 The restored object can be expressed as a three-dimensional point cloud or a Voxel cloud. Many algorithms for gripping an object of known size and size have been proposed in the past. Generally, when heuristically searching for a gripping method, the problem is that the search range is very large. As a solution to this problem, a method is known in which an object is decomposed into a set of circumscribing rectangles to simplify the object shape and reduce the search range (Non-Patent Document 6). In this method, first, a rectangle is fitted (Level 1) to the entire three-dimensional shape, and the original object is divided so that the number of three-dimensional rectangles is as small as possible and the total volume of the rectangle is as small as possible, and finally, A circumscribed rectangular partition tree of depth LevelN is constructed. From this, the shape can be represented as a tree having 2N-1 nodes while approximating the object shape.
（第二の実施形態）
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態では、ハンド部材３１０が把持対象物を把持する際の接触点が可視状態であるか否かを考慮する点が、第一の実施形態と相違する。したがって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Second embodiment)
The second embodiment will be described below with reference to the drawings. The second embodiment is different from the first embodiment in that whether or not the contact point when the hand member 310 grips the gripping target object is in a visible state is considered. Therefore, in the following description of the second embodiment, only differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be described in the first embodiment. The same reference numerals as those used in step 1 are given and the description thereof is omitted.
図６は、第二の実施形態の把持制御装置の機能を説明する図である。第二の実施形態の把持制御装置２００Ａの把持制御処理部２１０Ａは、把持制御部２４０Ａを有する。本実施形態の把持制御部２４０Ａは、第一の実施形態の把持制御部２４０の有する各部に加え、可視領域判定部２４５を有する。 FIG. 6 is a diagram illustrating functions of the grip control device according to the second embodiment. The grip control processing unit 210A of the grip control device 200A according to the second embodiment includes a grip control unit 240A. The grip control unit 240A of the present embodiment includes a visible region determination unit 245 in addition to the units included in the grip control unit 240 of the first embodiment.
本実施形態の可視領域判定部２４５は、撮像データ取得部２２０により取得される撮像データにおいて、把持対象物のおける把持部分の画像が欠落していないか否かを判定する。把持位置とは、把持対象物において、ハンド部材３１０により把持される部分である。 The visible region determination unit 245 of the present embodiment determines whether or not the image of the gripped portion of the gripping target is missing in the imaged data acquired by the imaged data acquisition unit 220. The grip position is a portion of the grip target that is gripped by the hand member 310.
言い換えれば、可視領域判定部２４５は、撮像データに把持対象物の把持部分の画像が写っているか否かを判定する。 In other words, the visible area determination unit 245 determines whether or not the image of the gripped portion of the grip target is included in the captured data.
次に、図７を参照し、本実施形態の把持制御装置２００Ａの動作を説明する。図７は、第二の実施形態の把持制御装置の動作を説明するフローチャートである。 Next, the operation of the grip control device 200A of the present embodiment will be described with reference to FIG. FIG. 7 is a flowchart illustrating the operation of the grip control device according to the second embodiment.
図７のステップＳ７０１からステップＳ７０７までの処理は、図５のステップＳ５０１からステップＳ５０７までの処理と同様であるから、説明を省略する。 Since the processing from step S701 to step S707 in FIG. 7 is the same as the processing from step S501 to step S507 in FIG. 5, description thereof will be omitted.
ステップＳ７０７において、成功確率αが閾値ｔｈ以上であった場合、把持制御部２４０Ａは、可視領域判定部２４５により、撮像データにおいて把持対象物の把持部分の画像が可視領域内であるか否かを判定する（ステップＳ７０８）。 When the success probability α is equal to or greater than the threshold value th in step S707, the grip control unit 240A causes the visible region determination unit 245 to determine whether or not the image of the grip portion of the grip target is within the visible region in the captured data. The determination is made (step S708).
ステップＳ７０８において、把持部分の画像が可視領域内でない場合、つまり、把持部分の画像が障害物等により隠れて欠損している場合、把持制御処理部２１０Ａは、ステップＳ７０４に戻る。 In step S708, when the image of the grip portion is not in the visible region, that is, when the image of the grip portion is hidden by an obstacle or the like and is missing, the grip control processing unit 210A returns to step S704.
ステップＳ７０８において、把持部分の画像が可視領域内にある場合、把持制御部２４０Ａは、ステップＳ７０９へ進む。ステップＳ７０９の処理は、図５のステップＳ５０８の処理と同様であるから、説明を省略する。 In step S708, when the image of the gripped portion is within the visible region, the grip control unit 240A proceeds to step S709. The process of step S709 is similar to the process of step S508 of FIG.
以上のように、本実施形態では、成功確率が閾値以上であり、且つ把持対象物の把持部分とアーム部材３００との間に障害物が存在しないとき、成功確率と対応する３次元形状データに応じてアーム部材３００とハンド部材３１０を動作させ、把持対象物を把持させることができる。よって、本実施形態によれば、把持対象物を適切に把持させることができる。 As described above, in the present embodiment, when the probability of success is equal to or greater than the threshold and there is no obstacle between the grip portion of the object to be gripped and the arm member 300, the three-dimensional shape data corresponding to the probability of success is obtained. Accordingly, the arm member 300 and the hand member 310 can be operated to grip an object to be gripped. Therefore, according to the present embodiment, the gripping target can be appropriately gripped.
（第三の実施形態）
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、成功確率が最大値となる３次元形状データと対応する角度で把持対象物を把持させる点が第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Third embodiment)
The third embodiment will be described below with reference to the drawings. The third embodiment is different from the first embodiment in that the gripping target is gripped at an angle corresponding to the three-dimensional shape data having the maximum success probability. Therefore, in the following description of the third embodiment, only the differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be described in the first embodiment. The same reference numerals as those used in step 1 are given and the description thereof is omitted.
図８は、第三の実施形態の把持制御装置の機能を説明する図である。 FIG. 8 is a diagram illustrating the function of the grip control device according to the third embodiment.
第三の実施形態の把持制御装置２００Ｂの把持制御処理部２１０Ｂは、把持制御部２４０Ｂを有する。本実施形態の把持制御部２４０Ｂは、学習モデル保持部２４１、成功確率算出部２４２Ａ、最大値取得部２４６、把持指出力部２４４を有する。つまり、把持制御部２４０Ｂは、第一の実施形態の把持制御部２４０の閾値判定部２４３の代わりに、最大値取得部２４６を有する。 The grip control processing unit 210B of the grip control device 200B according to the third embodiment includes a grip control unit 240B. The grip control unit 240B of the present embodiment includes a learning model holding unit 241, a success probability calculation unit 242A, a maximum value acquisition unit 246, and a grip finger output unit 244. That is, the grip control unit 240B has a maximum value acquisition unit 246 instead of the threshold value determination unit 243 of the grip control unit 240 of the first embodiment.
本実施形態の成功確率算出部２４２Ａは、成功確率を算出すると、回転させた角度と算出した成功確率とを対応付けて保持しておく。 After calculating the success probability, the success probability calculating unit 242A of the present embodiment holds the rotated angle and the calculated success probability in association with each other.
本実施形態の最大値取得部２４６は、成功確率算出部２４２が算出した成功確率が、成功確率の最大値であるか否かを判定する。 The maximum value acquisition unit 246 of this embodiment determines whether the success probability calculated by the success probability calculation unit 242 is the maximum value of the success probability.
次に、図９を参照して、第三の実施形態の把持制御装置２００Ｂの動作について説明する。図９は、第三の実施形態の把持制御装置の動作を説明するフローチャートである。 Next, the operation of the grip control device 200B according to the third embodiment will be described with reference to FIG. FIG. 9 is a flowchart illustrating the operation of the grip control device according to the third embodiment.
図９のステップＳ９０１からステップＳ９０５の処理は、図５のステップＳ５０１からステップＳ５０５までの処理と同様であるから、説明を省略する。尚、図９では、ステップＳ９０４で全ての角度の３次元形状データに対して、ステップＳ９０５以降の処理を行ったとき、ステップＳ９０７へ進む。 The processing from step S901 to step S905 in FIG. 9 is the same as the processing from step S501 to step S505 in FIG. Note that, in FIG. 9, when the processing from step S905 is performed on the three-dimensional shape data of all angles in step S904, the process proceeds to step S907.
ステップＳ９０５に続いて、把持制御部２４０Ｂの成功確率算出部２４２Ａは、回転させた３次元形状データと、学習モデル２５０とから、成功確率を算出し、回転させた角度と成功確率とを対応付けて保持し（ステップＳ９０６）、把持制御部２４０ＢはステップＳ９０４へ戻る。 Following step S905, the success probability calculation unit 242A of the grip control unit 240B calculates the success probability from the rotated three-dimensional shape data and the learning model 250, and associates the rotated angle with the success probability. Hold (step S906), and the grip control unit 240B returns to step S904.
ステップＳ９０４において、全ての角度の３次元形状データに対して、ステップＳ９０５、ステップＳ９０６の処理を行った場合、把持制御部２４０Ｂは、最大値取得部２４６により、成功確率の最大値と対応付けられた角度を取得する（ステップＳ９０７）。 In step S904, when the processes of step S905 and step S906 are performed on the three-dimensional shape data of all angles, the grip control unit 240B is associated with the maximum value of the success probability by the maximum value acquisition unit 246. The acquired angle is acquired (step S907).
続いて、把持制御部２４０Ｂは、把持指示出力部２４４により、撮像データにおける把持対象物の形状と、取得した角度分回転させた３次元形状データが示す形状とが一致する角度から把持対象物を把持するように、アーム部材３００とハンド部材３１０に対する把持の指示を行い（ステップＳ９０８）、処理を終了する。 Subsequently, the grip control unit 240B causes the grip instruction output unit 244 to select the grip target from an angle at which the shape of the grip target in the imaging data matches the shape indicated by the acquired three-dimensional shape data rotated by the acquired angle. A gripping instruction is given to the arm member 300 and the hand member 310 so as to grip (step S908), and the process ends.
以上のように、本実施形態では、成功確率が最大値となる状態となる位置にアーム部材３００を動かして、ハンド部材３１０把持対象物を把持させることができる。したがって、本実施形態によれば、把持対象物を適切に把持させることができる。 As described above, in the present embodiment, the arm member 300 can be moved to a position where the success probability has the maximum value, and the hand member 310 can be gripped by the target object. Therefore, according to the present embodiment, the gripping target can be appropriately gripped.
（第四の実施形態）
以下に図面を参照して第四の実施形態について説明する。以下の第四の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Fourth embodiment)
The fourth embodiment will be described below with reference to the drawings. In the following description of the fourth embodiment, only the differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment are used in the description of the first embodiment. The same reference numerals as those used here are given and the description thereof is omitted.
本実施形態では、把持対象物とアーム部材３００との間に存在する障害物を、任意の場所に移動させていくことで、把持対象物を把持しやすい環境を作り、把持対象物を適切に把持させる。 In the present embodiment, an obstacle existing between the grip target and the arm member 300 is moved to an arbitrary place, thereby creating an environment in which the grip target is easily gripped, and appropriately grasping the grip target. Hold it.
図１０は、第四の実施形態の把持制御装置の機能を説明する図である。本実施形態の把持制御装置２００Ｃは、把持制御処理部２１０Ｃを有する。 FIG. 10 is a diagram illustrating the function of the grip control device according to the fourth embodiment. The grip control device 200C of the present embodiment has a grip control processing unit 210C.
把持制御処理部２１０Ｃは、撮像データ取得部２２０、認識処理部２３０Ａ、把持制御部２４０Ｃを有する。 The grip control processing unit 210C includes an imaging data acquisition unit 220, a recognition processing unit 230A, and a grip control unit 240C.
本実施形態の認識処理部２３０Ａは、第一の実施形態の認識処理部２３０の有する各部に加え、物体領域抽出部２５１、信頼度算出部２５２、信頼度閾値判定部２５３を有する。 The recognition processing unit 230A of the present embodiment includes an object region extraction unit 251, a reliability calculation unit 252, and a reliability threshold determination unit 253, in addition to the units included in the recognition processing unit 230 of the first embodiment.
本実施形態の物体領域抽出部２５１は、物体領域検出部２３１により検出された物体領域を抽出する。より具体的には、物体領域抽出部２５１は、撮像データから複数の物体領域が検出されたとき、複数の物体領域から１つの物体領域を抽出する。 The object area extraction unit 251 of this embodiment extracts the object area detected by the object area detection unit 231. More specifically, the object area extracting unit 251 extracts one object area from the plurality of object areas when a plurality of object areas are detected from the imaged data.
信頼度算出部２５２は、形状復元部２３２により復元された物体の形状の信頼度を算出する。 The reliability calculation unit 252 calculates the reliability of the shape of the object restored by the shape restoration unit 232.
本実施形態の信頼度は、物体の３次元形状データが示す形状が、どの程度物体の真の形状に近いかという度合いを示すものであり、以下の式（２）に示すように、コスト関数Ｅの逆数で表現される。 The reliability of the present embodiment indicates the degree to which the shape indicated by the three-dimensional shape data of the object is closer to the true shape of the object. It is expressed as the reciprocal of E.
信頼度＝１／Ｅ 式（２）
本実施形態では、信頼度の値が大きいほど、物体の３次元形状データが示す形状が物体の真の形状に近いものとなる。
Reliability=1/E Formula (2)
In the present embodiment, the larger the reliability value, the closer the shape indicated by the three-dimensional shape data of the object to the true shape of the object.
本実施形態の信頼度閾値判定部２５３は、算出された信頼度が、信頼度閾値以上であるか否かを判定する。本実施形態の信頼度閾値は、予め設定されており、信頼度閾値判定部２５３に保持されていても良い。本実施形態の信頼度閾値は、任意に変更が可能な値であっても良い。 The reliability threshold determination unit 253 of the present embodiment determines whether the calculated reliability is equal to or higher than the reliability threshold. The reliability threshold value of this embodiment is set in advance and may be held in the reliability threshold value determination unit 253. The reliability threshold value of this embodiment may be a value that can be arbitrarily changed.
本実施形態の把持制御部２４０Ｃは、把持指示出力部２４４、対象物判定部２５４を有する。本実施形態の対象物判定部２５４は、ハンド部材３１０により把持された物体が、把持対象物であるか否かを判定する。具体的には、対象物判定部２５４は、ハンド部材３１０により把持された物体の撮像データから、把持された物体が把持対象物であるか否かを判定しても良い。 The grip control unit 240C of the present embodiment includes a grip instruction output unit 244 and an object determination unit 254. The target object determination unit 254 of the present embodiment determines whether the object gripped by the hand member 310 is a grip target object. Specifically, the object determination unit 254 may determine whether or not the grasped object is the grasped object from the imaged data of the object grasped by the hand member 310.
図１１は、第四の実施形態の把持制御装置の動作を説明するフローチャートである。 FIG. 11 is a flowchart illustrating the operation of the grip control device according to the fourth embodiment.
図１１のステップＳ１１０１とステップＳ１１０２の処理は、図５のステップＳ５０１とステップＳ５０２の処理と同様であるから、説明を省略する。 The processes of steps S1101 and S1102 in FIG. 11 are the same as the processes of steps S501 and S502 in FIG.
ステップＳ１１０２において各物体の物体領域が検出されると、認識処理部２３０Ａは、物体領域抽出部２５１により、把持対象物の物体領域を抽出する（ステップＳ１１０３）。 When the object region of each object is detected in step S1102, the recognition processing unit 230A causes the object region extraction unit 251 to extract the object region of the grip target (step S1103).
続いて、認識処理部２３０Ａは、形状復元部２３２により、物体領域抽出部２５１が抽出した物体領域から、把持対象物の形状を復元して補間し、３次元形状データを生成する（ステップＳ１１０４）。 Subsequently, the recognition processing unit 230A restores the shape of the grasped object from the object area extracted by the object area extracting unit 251 and interpolates the shape by the shape restoring unit 232 to generate three-dimensional shape data (step S1104). ..
続いて、認識処理部２３０Ａは、信頼度算出部２５２により、式（２）により、ステップＳ１１０４で生成された３次元形状データの示す形状の信頼度を算出する（ステップＳ１１０５）。続いて、認識処理部２３０Ａは、信頼度閾値判定部２５３により、信頼度が信頼度閾値以上であるか否かを判定する（ステップＳ１１０６）。 Subsequently, the recognition processing unit 230A calculates the reliability of the shape indicated by the three-dimensional shape data generated in step S1104 by the reliability calculation unit 252 using the equation (2) (step S1105). Subsequently, the recognition processing unit 230A causes the reliability threshold determination unit 253 to determine whether the reliability is equal to or higher than the reliability threshold (step S1106).
ステップＳ１１０６において、信頼度が信頼度閾値以上でない場合、認識処理部２３０Ａは、物体領域抽出部２５１により、物体領域検出部２３１が検出した物体領域のうち、抽出された物体領域の次に撮像装置４００から離れている物体領域を抽出し（ステップＳ１１０７）、ステップＳ１１０４へ戻る。 In step S1106, when the reliability is not higher than or equal to the reliability threshold, the recognition processing unit 230A causes the object region extraction unit 251 to detect the object region detected by the object region detection unit 231 next to the extracted object region, and then the imaging device. An object region distant from 400 is extracted (step S1107), and the process returns to step S1104.
ステップＳ１１０６において、信頼度が信頼度閾値以上である場合、認識処理部２３０Ａは把持制御部２４０Ｃにこれを通知する。把持制御部２４０Ｃは、把持指示出力部２４４により、アーム部材３００及びハンド部材３１０に対し、ステップＳ１１０４で生成した３次元形状データと対応する物体の把持を指示する（ステップＳ１１０８）。 In step S1106, when the reliability is equal to or higher than the reliability threshold, the recognition processing unit 230A notifies the grip control unit 240C of this. The grip control unit 240C instructs the arm member 300 and the hand member 310 to grip an object corresponding to the three-dimensional shape data generated in step S1104 by the grip instruction output unit 244 (step S1108).
続いて、把持制御部２４０Ｃは、対象物判定部２５４により、把持された物体が把持対象物であるか否かを判定する（ステップＳ１１０９）。ステップＳ１１０９において、把持された物体が把持対象物であった場合、把持制御処理部２１０Ｃは処理を終了する。 Subsequently, the grip control unit 240C causes the object determination unit 254 to determine whether the gripped object is a grip target (step S1109). When the grasped object is the grasped object in step S1109, the grasp control processing unit 210C ends the process.
ステップＳ１１０９において、把持した物体が把持対象物でない場合、把持指示出力部２４４は、アーム部材３００及びハンド部材３１０に対し、把持した物体を任意の方向への移動を指示する（ステップＳ１１１０）。本実施形態では、物体が把持対象物でない場合、この物体が撮像装置４００と把持対象物の間を遮らない位置へ移動させれば良い。 When the grasped object is not the grasped object in step S1109, the grasping instruction output unit 244 instructs the arm member 300 and the hand member 310 to move the grasped object in an arbitrary direction (step S1110). In the present embodiment, when the object is not the object to be grasped, it may be moved to a position where the object does not block between the imaging device 400 and the object to be grasped.
続いて、認識処理部２３０Ａは、物体領域抽出部２５１により、物体領域検出部２３１が検出した物体領域のうち、最も撮像装置４００に近い物体の物体領域をステップＳ１１１１）、ステップＳ１１０４へ戻る。尚、ステップＳ１１１１では、ステップＳ１１１０において物体が、撮像データに含まれない位置へ移動された後の撮像データにおいて、最も撮像装置４００に近い物体の物体領域を抽出する。 Subsequently, the recognition processing unit 230A causes the object region extraction unit 251 to select the object region of the object closest to the imaging device 400 among the object regions detected by the object region detection unit 231, and returns to step S1104. Note that in step S1111, the object region of the object closest to the imaging device 400 is extracted from the imaging data after the object has been moved to a position not included in the imaging data in step S1110.
以上のように、本実施形態では、把持対象物とアーム部材３００との間に障害物が存在する場合でも、障害物を移動させることで、把持対象物の形状の認識精度を向上させる。 As described above, in the present embodiment, even if there is an obstacle between the grip target and the arm member 300, the accuracy of recognizing the shape of the grip target is improved by moving the obstacle.
以下に、図１２を参照し、本実施形態の把持制御処理部２１０Ｃの処理を具体的に説明する。図１２は、第四の実施形態の把持制御装置の動作を説明する図である。 The processing of the grip control processing unit 210C of the present embodiment will be specifically described below with reference to FIG. FIG. 12 is a diagram illustrating the operation of the grip control device according to the fourth embodiment.
図１２では、図１２（Ａ）に示すように物体が配置されており、撮像装置４００の撮像面が矢印Ｙ１方向を向くようにして撮像データを取得する場合を示している。図１２（Ｂ）は、撮像面を矢印Ｙ１方向に向けて撮像した際の画像の例を示している。 In FIG. 12, the objects are arranged as shown in FIG. 12A, and the case where the image pickup data is acquired with the image pickup surface of the image pickup apparatus 400 facing the arrow Y1 direction is shown. FIG. 12B shows an example of an image when the image pickup surface is imaged in the direction of the arrow Y1.
図１２では、物体１２３を把持対象物とし、物体１２１と物体１２２を障害物としている。 In FIG. 12, the object 123 is a grip target, and the objects 121 and 122 are obstacles.
本実施形態の把持制御処理部２１０Ｃにおいて、物体領域検出部２３１は、始めに把持対象物である物体１２３の物体領域を検出する。ここで検出される物体領域は、図１２（Ｂ）に示す物体領域１２３Ａである。 In the grip control processing unit 210C of the present embodiment, the object region detection unit 231 first detects the object region of the object 123 that is the grip target. The object area detected here is the object area 123A shown in FIG.
続いて、把持制御処理部２１０Ｃは、物体領域１２３Ａから物体１２３の形状を復元し、復元された形状の信頼度を算出する。このとき、物体１２３の画像は、物体１２２の画像と物体１２１の画像が重なっており、一部が欠落している。したがって、物体領域１２３Ａからは、一部が欠落した物体１２３の形状が復元されることになり、信頼度は信頼度閾値未満となる。 Subsequently, the grip control processing unit 210C restores the shape of the object 123 from the object region 123A, and calculates the reliability of the restored shape. At this time, in the image of the object 123, the image of the object 122 and the image of the object 121 are overlapped, and a part is missing. Therefore, the shape of the object 123 that is partially missing is restored from the object region 123A, and the reliability becomes less than the reliability threshold value.
すると、把持制御処理部２１０Ｃは、物体１２３の次に撮像装置４００から離れている物体の物体領域を抽出する。ここでは、物体１２３の次に撮像装置４００から離れている物体は、物体１２２である。よって、把持制御処理部２１０Ｃは、物体１２２の物体領域１２２Ａを抽出する。そして、物体領域１２２Ａから物体１２２の形状を復元し、復元された形状の信頼度を算出する。 Then, the grip control processing unit 210</b>C extracts the object area of the object next to the object 123 and farther from the imaging device 400. Here, the object next to the image capturing apparatus 400 after the object 123 is the object 122. Therefore, the grip control processing unit 210C extracts the object region 122A of the object 122. Then, the shape of the object 122 is restored from the object region 122A, and the reliability of the restored shape is calculated.
このとき、物体１２２の画像は、物体１２１の画像が重なっており、一部が欠落している。したがって、物体領域１２２Ａからは、一部が欠落した物体１２２の形状が復元されることになり、信頼度は信頼度閾値未満となる。 At this time, the image of the object 122 is overlapped with the images of the object 121, and a part is missing. Therefore, the shape of the partially omitted object 122 is restored from the object region 122A, and the reliability is less than the reliability threshold value.
次に、把持制御処理部２１０Ｃは、物体１２２の次に撮像装置４００から離れている物体の物体領域を抽出する。ここでは、物体１２２の次に撮像装置４００から離れている物体は、物体１２１である。よって、把持制御処理部２１０Ｃは、物体１２１の物体領域１２１Ａを抽出する。そして、物体領域１２１Ａから物体１２１の形状を復元し、復元された形状の信頼度を算出する。 Next, the grip control processing unit 210C extracts the object region of the object next to the object 122 after the object 122. Here, the object next to the imaging device 400 after the object 122 is the object 121. Therefore, the grip control processing unit 210C extracts the object region 121A of the object 121. Then, the shape of the object 121 is restored from the object region 121A, and the reliability of the restored shape is calculated.
このとき、物体１２１の画像は欠落がない。したがって、物体領域１２１Ａからは、物体１２１の形状が復元されることになり、信頼度は信頼度閾値以上となる。 At this time, the image of the object 121 is not missing. Therefore, the shape of the object 121 is restored from the object region 121A, and the reliability becomes equal to or higher than the reliability threshold value.
よって、把持制御処理部２１０Ｃは、物体１２１を把持し、物体１２１が把持対象物であるか否かを判定する。物体１２１は把持対象物ではないため、把持制御処理部２１０Ｃは、物体１２１を、撮像装置４００を遮らない位置へ移動させる。つまり、把持制御処理部２１０Ｃは、物体１２１を撮像装置４００の撮像領域外へ再配置する。 Therefore, the grip control processing unit 210C grips the object 121 and determines whether the object 121 is a grip target. Since the object 121 is not the object to be gripped, the grip control processing unit 210C moves the object 121 to a position that does not block the imaging device 400. That is, the grip control processing unit 210C rearranges the object 121 outside the imaging region of the imaging device 400.
次に、把持制御処理部２１０Ｃは、物体１２１の移動後の状態で、最も撮像装置４００に近い物体領域を抽出する。物体１２１の移動後において、最も撮像装置４００に近い物体領域は、物体１２２の物体領域である。このとき、物体１２１が移動させられたため、物体１２２の画像には欠落がない。したがって、物体１２２の物体領域から物体１２２の形状が復元されることになり、信頼度は信頼度閾値以上となる。よって、物体１２１と同様に、物体１２２も移動させられる。 Next, the grip control processing unit 210C extracts the object region closest to the imaging device 400 in the state after the movement of the object 121. After moving the object 121, the object area closest to the imaging device 400 is the object area of the object 122. At this time, since the object 121 has been moved, there is no omission in the image of the object 122. Therefore, the shape of the object 122 is restored from the object region of the object 122, and the reliability becomes equal to or higher than the reliability threshold value. Therefore, like the object 121, the object 122 is also moved.
この状態で、把持対象物の物体１２３とアーム部材３００との間の障害物が取り除かれる。この後も、把持制御処理部２１０Ｃは同様に、欠落のない物体１２３の物体領域を抽出し、物体１２３の形状を復元する。 In this state, the obstacle between the object 123 to be grasped and the arm member 300 is removed. Even after this, the grip control processing unit 210C similarly extracts the object region of the object 123 without omission and restores the shape of the object 123.
そして、把持制御処理部２１０Ｃは、物体１２３が把持対象物であると判定し、アーム部材３００とハンド部材３１０による把持対象物の把持制御に関する処理を終了する。 Then, the grip control processing unit 210</b>C determines that the object 123 is the grip target, and terminates the processing regarding the grip control of the grip target by the arm member 300 and the hand member 310.
尚、把持制御処理部２１０Ｃは、把持対象物を把持した後は、把持対象物を所定の場所へ移動させる。 Note that the grip control processing unit 210C moves the grip target to a predetermined location after gripping the grip target.
以上のように、本実施形態によれば、把持対象物とアーム部材３００との間に存在する障害物を取り除くことができ、把持対象物を適切に把持させることができる。 As described above, according to the present embodiment, the obstacle existing between the grip target and the arm member 300 can be removed, and the grip target can be appropriately gripped.
尚、上述した各実施形態では、物体把持装置１００が把持制御処理部２１０を有する構成としたが、これに限定されない。 In each of the above-described embodiments, the object gripping device 100 has the grip control processing unit 210, but the invention is not limited to this.
物体把持装置１００は、例えば把持制御処理部２１０を有するコンピュータにより制御されても良い。 The object gripping device 100 may be controlled by, for example, a computer having a grip control processing unit 210.
図１３は、把持制御システムの一例を示す図である。 FIG. 13 is a diagram illustrating an example of the grip control system.
把持制御システム５００は、物体把持装置１００Ａと情報処理装置６００とを有する。物体把持装置１００Ａと情報処理装置６００とは、ネットワークを介して接続される。 The grip control system 500 includes an object grip device 100A and an information processing device 600. The object gripping device 100A and the information processing device 600 are connected via a network.
物体把持装置１００Ａは、通信部１１０と、アーム部材３００と、ハンド部材３１０と、撮像装置４００とを少なくとも有する。尚、物体把持装置１００Ａは、アーム部材３００、ハンド部材３１０を駆動させる駆動部や、撮像装置４００を制御する制御部等を有していても良い。 The object gripping device 100A includes at least a communication unit 110, an arm member 300, a hand member 310, and an imaging device 400. The object gripping device 100A may include a drive unit that drives the arm member 300 and the hand member 310, a control unit that controls the imaging device 400, and the like.
情報処理装置６００は、把持制御処理部２１０を有する。情報処理装置６００は、例えば一般のコンピュータ等であり、把持制御処理部２１０を実現する把持制御プログラムがインストールされている。 The information processing device 600 has a grip control processing unit 210. The information processing device 600 is, for example, a general computer or the like, and a grip control program that realizes the grip control processing unit 210 is installed.
把持制御システム５００では、情報処理装置６００が、物体把持装置１００Ａの通信部１１０から出力される撮像データを取得し、把持制御処理部２１０の処理を行う。そして、情報処理装置６００は、把持制御処理部２１０が出力した指示を物体把持装置１００Ａへ送信する。物体把持装置１００Ａは、通信部１１０を介して指示を受け取り、アーム部材３００とハンド部材３１０とを動作させる。 In the grip control system 500, the information processing device 600 acquires the imaging data output from the communication unit 110 of the object gripping device 100A and performs the process of the grip control processing unit 210. Then, the information processing device 600 transmits the instruction output by the grip control processing unit 210 to the object gripping device 100A. The object gripping device 100A receives the instruction via the communication unit 110 and operates the arm member 300 and the hand member 310.
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。 Although the present invention has been described above based on the respective embodiments, the present invention is not limited to the requirements shown in the above embodiments. With respect to these points, the gist of the present invention can be modified within a range that does not impair the invention, and can be appropriately determined according to the application mode.
１００、１００Ａ 物体把持装置
２００、２００Ａ、２００Ｂ、２００Ｃ 把持制御装置
２１０、２１０Ａ、２１０Ｂ、２１０Ｃ 把持制御処理部
２２０ 撮像データ取得部
２３０ 認識処理部
２３１ 物体領域検出部
２３２ 形状復元部
２４０、２４０Ａ、２４０Ｂ、２４０Ｃ 把持制御部
２４１ 学習モデル保持部
２４２ 成功確率算出部
２４３ 閾値判定部
２４４ 把持指示出力部
２４５ 可視領域判定部
２４６ 最大値取得部
２５０ 学習モデル
２５１ 物体領域抽出部
２５２ 信頼度算出部
２５３ 信頼度閾値判定部
２５４ 対象物判定部
３００ アーム部材
３１０ ハンド部材
４００ 撮像装置
100, 100A object gripping device 200, 200A, 200B, 200C gripping control device 210, 210A, 210B, 210C gripping control processing unit 220 imaging data acquisition unit 230 recognition processing unit 231 object region detection unit 232 shape restoration unit 240, 240A, 240B 240C Grasping control unit 241 Learning model holding unit 242 Success probability calculation unit 243 Threshold determination unit 244 Grasping instruction output unit 245 Visible region determination unit 246 Maximum value acquisition unit 250 Learning model 251 Object region extraction unit 252 Reliability calculation unit 253 Reliability Threshold determination unit 254 Object determination unit 300 Arm member 310 Hand member 400 Imaging device
Claims (5)
前記撮像データを用いて撮像領域内に配置された物体毎の物体領域を検出し、前記物体領域と物体形状モデルに基づいて前記物体の３次元形状データを生成する認識処理部と、
前記３次元形状データに基づいて、アーム部材及びハンド部材の動作を制御する把持制御部と、を有し、
前記把持制御部は、
前記３次元形状データに対する把持の成功確率を出力するモデルデータを保持する保持部と、
前記３次元形状データが示す形状を所定の角度ずつ回転させ、回転させる毎に、前記モデルデータを用いて前記成功確率を算出する成功確率算出部と、
前記成功確率に応じて前記アーム部材及び前記ハンド部材に対し、前記物体の把持の指示を出力する把持指示出力部と、を有する物体把持装置。 An imaging data acquisition unit that acquires imaging data including an image of the imaging region and distance information,
A recognition processing unit that detects an object region for each object arranged in an imaging region using the imaging data and generates three-dimensional shape data of the object based on the object region and an object shape model,
On the basis of the three-dimensional shape data, it possesses a grip controller that controls the operation of the arm member and the hand member,
The grip control unit,
A holding unit that holds model data that outputs a probability of successful gripping with respect to the three-dimensional shape data;
A success probability calculator that rotates the shape represented by the three-dimensional shape data by a predetermined angle, and calculates the success probability using the model data every time the shape is rotated;
An object gripping device comprising: a gripping instruction output unit that outputs an instruction to grip the object to the arm member and the hand member according to the success probability .
前記成功確率が閾値以上であるか否かを判定する閾値判定部を有し、
前記把持指示出力部は、
前記成功確率が前記閾値以上であるとき、前記把持の指示を出力する請求項１記載の物体把持装置。 The grip control unit,
A threshold determining unit that determines whether the probability of success is greater than or equal to a threshold,
The gripping instruction output unit,
When the success rate is above the threshold, the object gripping device according to claim 1, wherein outputting the indication of the gripping.
複数の物体領域から１つの物体領域を抽出する物体領域抽出部と、
抽出された物体領域に基づき生成された物体の３次元形状データが示す形状の信頼度を算出する信頼度算出部と、を有し、
前記物体領域抽出部は、
前記信頼度が信頼度閾値未満であったとき、
前記複数の物体領域のうち、前記抽出された物体領域よりも撮像装置に近い物体領域を抽出する請求項１又は２記載の物体把持装置。 The recognition processing unit,
An object region extraction unit that extracts one object region from a plurality of object regions,
A reliability calculation unit that calculates the reliability of the shape indicated by the three-dimensional shape data of the object generated based on the extracted object region,
The object area extraction unit,
When the reliability is less than the reliability threshold,
It said plurality of object regions, object gripping apparatus according to claim 1 or 2, wherein extracting the object area close to the imaging device than the extracted object region.
前記信頼度が信頼度閾値以上であり、且つ前記抽出された物体領域と対応する物体が把持対象物でないと判定されたとき、前記物体を把持して前記撮像領域外へ移動させる請求項３記載の物体把持装置。 The grip control unit,
Wherein is the reliability is confidence threshold or more, and when the object corresponding to the extracted object region is determined not to be grasped object, according to claim 3, wherein the moving to the imaging area outside by grasping the object Object gripping device.
前記撮像データを用いて撮像領域内に配置された物体毎の物体領域を検出し、前記物体領域と物体形状モデルに基づいて前記物体の３次元形状データを生成する処理と、
前記３次元形状データに基づいて、アーム部材及びハンド部材の動作指示を出力し、
前記３次元形状データに対する把持の成功確率を出力するモデルデータを保持部に保持し、
前記３次元形状データが示す形状を所定の角度ずつ回転させ、回転させる毎に、前記モデルデータを用いて前記成功確率を算出し、
前記成功確率に応じて前記アーム部材及び前記ハンド部材に対し、前記物体の把持の指示を出力する処理と、をコンピュータに実行させる把持制御プログラム。 A process of acquiring image pickup data including an image of the image pickup region and distance information,
A process of detecting an object area for each object arranged in an imaging area using the imaging data, and generating three-dimensional shape data of the object based on the object area and an object shape model;
Based on the three-dimensional shape data, output the operation instruction of the arm member and the hand member,
The model data that outputs the probability of successful grip of the three-dimensional shape data is held in a holding unit,
The shape indicated by the three-dimensional shape data is rotated by a predetermined angle, and each time the shape is rotated, the success probability is calculated using the model data,
A grip control program that causes a computer to execute a process of outputting a command for gripping the object to the arm member and the hand member according to the success probability .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016075739A JP6724499B2 (en) | 2016-04-05 | 2016-04-05 | Object gripping device and grip control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016075739A JP6724499B2 (en) | 2016-04-05 | 2016-04-05 | Object gripping device and grip control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017185578A JP2017185578A (en) | 2017-10-12 |
| JP6724499B2 true JP6724499B2 (en) | 2020-07-15 |
Family
ID=60045268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016075739A Active JP6724499B2 (en) | 2016-04-05 | 2016-04-05 | Object gripping device and grip control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6724499B2 (en) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6880457B2 (en) * | 2017-11-14 | 2021-06-02 | オムロン株式会社 | Gripping method, gripping system and program |
| JP6676030B2 (en) | 2017-11-20 | 2020-04-08 | 株式会社安川電機 | Grasping system, learning device, gripping method, and model manufacturing method |
| JP7136554B2 (en) * | 2017-12-18 | 2022-09-13 | 国立大学法人信州大学 | Grasping device, learning device, program, grasping system, and learning method |
| JP6940186B2 (en) * | 2017-12-26 | 2021-09-22 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | Picking object gripping information registration system |
| JP6911798B2 (en) | 2018-03-15 | 2021-07-28 | オムロン株式会社 | Robot motion control device |
| CN108656107B (en) * | 2018-04-04 | 2020-06-26 | 北京航空航天大学 | Mechanical arm grabbing system and method based on image processing |
| JP6937995B2 (en) * | 2018-04-05 | 2021-09-22 | オムロン株式会社 | Object recognition processing device and method, and object picking device and method |
| JP6912415B2 (en) | 2018-04-10 | 2021-08-04 | ファナック株式会社 | Hand control device and hand control system |
| JP7052546B2 (en) | 2018-05-11 | 2022-04-12 | トヨタ自動車株式会社 | Autonomous mobile systems, autonomous mobiles, charging docks, control methods, and programs |
| WO2020044510A1 (en) * | 2018-08-30 | 2020-03-05 | 株式会社オプティム | Computer system, object sensing method, and program |
| JPWO2020050405A1 (en) * | 2018-09-07 | 2021-09-02 | Ntn株式会社 | Working equipment |
| JP7044047B2 (en) * | 2018-12-14 | 2022-03-30 | トヨタ自動車株式会社 | robot |
| US11185978B2 (en) | 2019-01-08 | 2021-11-30 | Honda Motor Co., Ltd. | Depth perception modeling for grasping objects |
| US10456915B1 (en) | 2019-01-25 | 2019-10-29 | Mujin, Inc. | Robotic system with enhanced scanning mechanism |
| US10870204B2 (en) | 2019-01-25 | 2020-12-22 | Mujin, Inc. | Robotic system control method and controller |
| JP6697204B1 (en) * | 2019-01-25 | 2020-05-20 | 株式会社Ｍｕｊｉｎ | Robot system control method, non-transitory computer-readable recording medium, and robot system control device |
| JP7204513B2 (en) * | 2019-02-13 | 2023-01-16 | 株式会社東芝 | Controller and program |
| JP6659886B1 (en) * | 2019-03-14 | 2020-03-04 | 上銀科技股▲分▼有限公司 | A system that eliminates the interference of multiple randomly stacked objects |
| JP7179672B2 (en) * | 2019-04-24 | 2022-11-29 | 株式会社日立製作所 | Computer system and machine learning method |
| JP7229115B2 (en) * | 2019-07-09 | 2023-02-27 | 株式会社日立製作所 | Robot controller and robot |
| US11213953B2 (en) | 2019-07-26 | 2022-01-04 | Google Llc | Efficient robot control based on inputs from remote client devices |
| JP2022120664A (en) * | 2021-02-05 | 2022-08-18 | 株式会社アマダ | Workpiece detection device, workpiece detection method, workpiece detection system, and workpiece detection program |
| WO2023042306A1 (en) * | 2021-09-15 | 2023-03-23 | ヤマハ発動機株式会社 | Image processing device, component gripping system, image processing method, and component gripping method |
| WO2023152812A1 (en) * | 2022-02-09 | 2023-08-17 | 日本電気株式会社 | Structure investigation assistance system, structure investigation assistance method, and recording medium |
-
2016
- 2016-04-05 JP JP2016075739A patent/JP6724499B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017185578A (en) | 2017-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6724499B2 (en) | Object gripping device and grip control program | |
| Davison | Real-time simultaneous localisation and mapping with a single camera | |
| US9292734B2 (en) | Method and system for head tracking and pose estimation | |
| JP6430064B2 (en) | Method and system for aligning data | |
| Sridhar et al. | Interactive markerless articulated hand motion tracking using RGB and depth data | |
| KR101776622B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| US9904845B2 (en) | Body feature detection and human pose estimation using inner distance shape contexts | |
| US11741701B2 (en) | Autonomous task performance based on visual embeddings | |
| CN101479082B (en) | Robot device and robot device control method | |
| JP6976350B2 (en) | Imaging system for locating and mapping scenes, including static and dynamic objects | |
| Bandouch et al. | A self-training approach for visual tracking and recognition of complex human activity patterns | |
| JP2986455B1 (en) | Hand gesture recognition device | |
| JP2000331170A (en) | Hand motion recognizing device | |
| JP6103765B2 (en) | Action recognition device, method and program, and recognizer construction device | |
| JP7385747B2 (en) | Method and system for determining the three-dimensional position, local reference frame, and grasping pattern of a grasping point on an object | |
| Choi et al. | Real-time 3-D face tracking and modeling from awebcam | |
| JP6877072B1 (en) | Area extraction device, area extraction method, and area extraction program | |
| Bhuyan et al. | Estimation of 2D motion trajectories from video object planes and its application in hand gesture recognition | |
| CN113379930B (en) | Immersive interaction method and device through human body graph and storage medium | |
| US11620479B2 (en) | System for determining diverting availability of object recognition model | |
| Tanaka | Detecting collision-free paths by observing walking people | |
| KR102392594B1 (en) | Tidy-up system using tidy-up robot | |
| Krzeszowski et al. | An approach for model-based 3D human pose tracking, animation and evaluation | |
| Mohammed et al. | Deep Reinforcement Learning-Based Robotic Grasping in Clutter and Occlusion. Sustainability 2021, 13, 13686 | |
| JP2002170121A (en) | Image processing device and method and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6724499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |