WO2022085560A1 - Robot hand control device, and method for controlling robot hand - Google Patents

Robot hand control device, and method for controlling robot hand Download PDF

Info

Publication number
WO2022085560A1
WO2022085560A1 PCT/JP2021/038068 JP2021038068W WO2022085560A1 WO 2022085560 A1 WO2022085560 A1 WO 2022085560A1 JP 2021038068 W JP2021038068 W JP 2021038068W WO 2022085560 A1 WO2022085560 A1 WO 2022085560A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot hand
control device
gripping
fingers
hand control
Prior art date
Application number
PCT/JP2021/038068
Other languages
French (fr)
Japanese (ja)
Inventor
幸太郎 今村
宏友 柚木
満 近藤
潤 百瀬
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Publication of WO2022085560A1 publication Critical patent/WO2022085560A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • B25J15/10Gripping heads and other end effectors having finger members with three or more finger members

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

Provided is a robot hand control device that controls a robot hand having a plurality of fingers to grasp an object to be grasped. The robot hand control device identifies the shape and posture of the object, determines an approaching direction of the robot hand on the basis of the identified shape and posture of the object, moves the robot hand in the determined approaching direction to approach the object, and then causes the robot hand to grasp the object.

Description

ロボットハンド制御装置、及びロボットハンドの制御方法Robot hand control device and robot hand control method
 本発明は、物体を把持するロボットハンドを制御するロボットハンド制御装置、及びロボットハンドの制御方法に関する。 The present invention relates to a robot hand control device that controls a robot hand that grips an object, and a method for controlling the robot hand.
 複数の指を備え、その指を操作して物体(ワーク)を把持することのできるロボットハンドがある。このようなロボットハンドは、工場における部品の取り扱いなどに利用されている。 There is a robot hand that has multiple fingers and can operate the fingers to grasp an object (work). Such robot hands are used for handling parts in factories and the like.
 上述したロボットハンドは、一般的に、形状や姿勢が既知の物体を操作するために利用される。そのため、把持対象となる物体の形状や姿勢が予め分かっていない場合、どのようにその物体を把持すればよいかについては未だ十分に検討されていない。 The robot hand described above is generally used for manipulating an object whose shape and posture are known. Therefore, when the shape and posture of the object to be gripped are not known in advance, how to grip the object has not been sufficiently studied.
 本発明は上記実情を考慮してなされたものであって、その目的の一つは、未知の物体を適切に把持することのできるロボットハンド制御装置、及びロボットハンドの制御方法を提供することにある。 The present invention has been made in consideration of the above circumstances, and one of the objects thereof is to provide a robot hand control device capable of appropriately grasping an unknown object, and a robot hand control method. be.
 本発明の一態様に係るロボットハンド制御装置は、複数の指を備えるロボットハンドを制御して把持対象となる対象物を把持するロボットハンド制御装置であって、前記対象物の形状及び姿勢を特定する対象物特定部と、前記特定された対象物の形状及び姿勢に基づいて、前記ロボットハンドのアプローチ方向を決定する決定部と、前記ロボットハンドを前記決定されたアプローチ方向に移動させて前記対象物に近づけてから、前記ロボットハンドに前記対象物を把持させる把持制御部と、を含むロボットハンド制御装置である。 The robot hand control device according to one aspect of the present invention is a robot hand control device that controls a robot hand having a plurality of fingers to grip an object to be gripped, and specifies the shape and posture of the object. The object specifying unit, the determining unit that determines the approach direction of the robot hand based on the shape and posture of the specified object, and the object by moving the robot hand in the determined approach direction. It is a robot hand control device including a grip control unit that causes the robot hand to grip the object after approaching the object.
 本発明の一態様に係るロボットハンドの制御方法は、複数の指を備え、把持対象となる対象物を把持するロボットハンドの制御方法であって、前記対象物の形状及び姿勢を特定するステップと、前記特定された対象物の形状及び姿勢に基づいて、前記ロボットハンドのアプローチ方向を決定するステップと、前記ロボットハンドを前記決定されたアプローチ方向に移動させて前記対象物に近づけてから、前記ロボットハンドに前記対象物を把持させるステップと、を含むロボットハンドの制御方法である。 The robot hand control method according to one aspect of the present invention is a robot hand control method that includes a plurality of fingers and grips an object to be gripped, and includes a step of specifying the shape and posture of the object. A step of determining the approach direction of the robot hand based on the shape and posture of the specified object, and moving the robot hand in the determined approach direction to bring it closer to the object, and then the above. It is a control method of a robot hand including a step of making a robot hand hold the object.
本発明の実施の形態に係るロボットハンド制御装置の全体概要図である。It is an overall schematic diagram of the robot hand control device which concerns on embodiment of this invention. ロボットハンドの外観を模式的に示す図である。It is a figure which shows the appearance of the robot hand schematically. 本発明の実施の形態に係るロボットハンド制御装置の機能ブロック図である。It is a functional block diagram of the robot hand control device which concerns on embodiment of this invention. 本発明の実施の形態に係るロボットハンド制御装置が把持工程の準備段階において実行する処理の流れの一例を示すフロー図である。It is a flow diagram which shows an example of the flow of the process which the robot hand control device which concerns on embodiment of this invention executes in the preparatory stage of a gripping process. アプローチ方向について説明する図である。It is a figure explaining the approach direction. 本発明の実施の形態に係るロボットハンド制御装置が把持工程において実行する処理の流れの一例を示すフロー図である。It is a flow diagram which shows an example of the flow of the process which the robot hand control device which concerns on embodiment of this invention executes in a gripping process. 目標値を用いた把持動作の制御内容の一例を説明するための図である。It is a figure for demonstrating an example of the control content of a gripping operation using a target value. 各指部に設定される目標値の一例を説明するための図である。It is a figure for demonstrating an example of the target value set for each finger part.
 以下、本発明の実施の形態について、図面に基づき詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
 図1は、本発明の一実施形態に係るロボットハンド制御装置1の全体概要図である。同図に示されるように、ロボットハンド制御装置1は、制御部10と、カメラ20と、アーム部30と、ハンド40と、を含んで構成されている。 FIG. 1 is an overall schematic view of the robot hand control device 1 according to the embodiment of the present invention. As shown in the figure, the robot hand control device 1 includes a control unit 10, a camera 20, an arm unit 30, and a hand 40.
 制御部10は、アーム部30及びハンド40の動作を制御するコンピュータである。制御部10が実行する処理の内容については、後述する。 The control unit 10 is a computer that controls the operations of the arm unit 30 and the hand 40. The content of the process executed by the control unit 10 will be described later.
 カメラ20は、ハンド40、及びハンド40による把持対象となる物体(以下、対象物Oという)を撮影可能な位置に固定されている。カメラ20による撮影画像は制御部10に送信される。 The camera 20 is fixed at a position where the hand 40 and an object to be gripped by the hand 40 (hereinafter referred to as an object O) can be photographed. The image captured by the camera 20 is transmitted to the control unit 10.
 アーム部30は、互いに連結された複数のアーム31を含んで構成されている。これらのアーム31は、制御部10からの制御命令に従って連動して駆動する。アーム部30の基端は床面などに置かれた基台32に固定されており、アーム部30の先端にはハンド40が取り付けられている。これらのアーム31を動作させることによって、制御部10はハンド40を所望の位置に移動させることができる。 The arm portion 30 is configured to include a plurality of arms 31 connected to each other. These arms 31 are interlocked and driven according to a control command from the control unit 10. The base end of the arm portion 30 is fixed to a base 32 placed on a floor surface or the like, and a hand 40 is attached to the tip of the arm portion 30. By operating these arms 31, the control unit 10 can move the hand 40 to a desired position.
 ハンド40は、掌部41と、複数の指部42と、を備えて構成されている。図2は、ハンド40の外観を示す図である。同図に示されるように、本実施形態においてハンド40は、人間の手と同様に親指部42a、人差し指部42b、中指部42c、薬指部42d、及び小指部42eの5本の指部42を備えている。 The hand 40 includes a palm portion 41 and a plurality of finger portions 42. FIG. 2 is a diagram showing the appearance of the hand 40. As shown in the figure, in the present embodiment, the hand 40 has five finger portions 42 of the thumb portion 42a, the index finger portion 42b, the middle finger portion 42c, the ring finger portion 42d, and the little finger portion 42e, similar to the human hand. I have.
 掌部41は、アーム部30の先端に対して所定範囲内で回転可能に連結されている。また、掌部41の表面には、掌センサー43が配置されている。この掌センサー43は、何らかの物体が接触した際にその接触を検出し、検出結果を制御部10に通知する。掌センサー43は、感圧センサーなど各種のセンサーであってよい。 The palm portion 41 is rotatably connected to the tip of the arm portion 30 within a predetermined range. Further, a palm sensor 43 is arranged on the surface of the palm portion 41. When the palm sensor 43 comes into contact with any object, the palm sensor 43 detects the contact and notifies the control unit 10 of the detection result. The palm sensor 43 may be various sensors such as a pressure sensor.
 各指部42は、その基端が掌部41に対して連結されている。また、各指部42は掌部41への連結部分を含めて1以上の関節を備えており、この関節の位置で屈曲可能に構成されている。各指部42は、制御部10からの制御命令に従って互いに独立に関節を駆動させる。対象物Oを把持する際には、各指部42が内側(掌部41の表面に近づく側)に屈曲してその先端が対象物Oに押しつけられることにより、ハンド40が対象物Oを把持する。 The base end of each finger portion 42 is connected to the palm portion 41. Further, each finger portion 42 includes one or more joints including a connecting portion to the palm portion 41, and is configured to be flexible at the position of this joint portion. Each finger 42 drives a joint independently of each other according to a control command from the control 10. When gripping the object O, each finger portion 42 bends inward (the side closer to the surface of the palm portion 41) and its tip is pressed against the object O, so that the hand 40 grips the object O. do.
 各指部42の先端部分には、指センサー44が配置されている。すなわち、指部42a-42eそれぞれの先端に、指センサー44a-44eが配置されている。指センサー44は、指部42の先端が物体に押しつけられた際に先端部分にかかる力の大きさを検出し、検出結果を制御部10に通知する。指センサー44は、何らかの物体が接触したことを検知するだけでなく、物体の接触によって受ける力の大きさを計測可能な力覚センサーであるものとする。また、指センサー44は、各指部42にかかる力を計測する力覚センサーだけでなく、物体の接触を検出する感圧センサー等、複数のセンサーを含んで構成されてもよい。 A finger sensor 44 is arranged at the tip of each finger portion 42. That is, the finger sensors 44a-44e are arranged at the tips of the finger portions 42a-42e. The finger sensor 44 detects the magnitude of the force applied to the tip portion when the tip of the finger portion 42 is pressed against the object, and notifies the control unit 10 of the detection result. It is assumed that the finger sensor 44 is a force sensor capable of not only detecting the contact of some object but also measuring the magnitude of the force received by the contact of the object. Further, the finger sensor 44 may be configured to include not only a force sensor that measures the force applied to each finger portion 42, but also a plurality of sensors such as a pressure sensor that detects contact with an object.
 以下、このロボットハンド制御装置1が実現する機能について説明する。ロボットハンド制御装置1は、制御開始時点ではその位置や形状が判明してない対象物Oを把持対象として、この対象物Oをハンド40で掴んで持ち上げる把持動作を行う。以下では、ロボットハンド制御装置1がアーム部30及びハンド40を駆動させて対象物Oの把持動作を行うまでの一連の工程を把持工程という。図3は、このような把持工程を実現するためにロボットハンド制御装置1が備える機能を示す機能ブロック図である。図3に示されるように、ロボットハンド制御装置1の制御部10は、機能的に、対象物特定部11と、把持方法決定部12と、把持制御部13と、を含んで構成される。これらの機能は、制御部10が予め用意されたプログラムを実行することにより実現される。 Hereinafter, the functions realized by this robot hand control device 1 will be described. The robot hand control device 1 takes an object O whose position and shape are unknown at the start of control as a gripping target, and performs a gripping operation of grasping and lifting the object O with the hand 40. Hereinafter, a series of steps until the robot hand control device 1 drives the arm portion 30 and the hand 40 to perform the gripping operation of the object O is referred to as a gripping step. FIG. 3 is a functional block diagram showing a function provided by the robot hand control device 1 in order to realize such a gripping process. As shown in FIG. 3, the control unit 10 of the robot hand control device 1 is functionally configured to include an object specifying unit 11, a gripping method determining unit 12, and a gripping control unit 13. These functions are realized by the control unit 10 executing a program prepared in advance.
 対象物特定部11は、カメラ20の撮影画像を解析することによって、対象物Oの実空間内における位置、その形状、及び姿勢を特定する。具体的にカメラ20は、把持対象となる対象物Oが置かれると想定される場所(例えばテーブルの上)が撮影範囲に含まれるように設置されている。対象物特定部11は、このカメラ20の撮影画像を解析することによって、その画像内に写っている対象物Oの位置、形状及び姿勢を特定する。 The object specifying unit 11 identifies the position, shape, and posture of the object O in the real space by analyzing the captured image of the camera 20. Specifically, the camera 20 is installed so that the shooting range includes a place (for example, on a table) where the object O to be gripped is supposed to be placed. The object specifying unit 11 identifies the position, shape, and posture of the object O shown in the image by analyzing the captured image of the camera 20.
 把持方法決定部12は、対象物特定部11によって特定された対象物Oの形状及び姿勢の情報に基づいて、対象物Oの把持方法を決定する。具体的に把持方法決定部12は、把持方法として、一連の把持工程を実行する際におけるアーム部30及びハンド40に対する具体的な制御内容や制御条件を決定する。特に本実施形態では、把持方法決定部12は、少なくともハンド40の対象物Oに対するアプローチ方向を決定する。アプローチ方向は、把持工程においてハンド40を対象物Oに近づけるように移動させる際の移動方向である。 The gripping method determining unit 12 determines the gripping method of the object O based on the information on the shape and posture of the object O specified by the object specifying unit 11. Specifically, the gripping method determining unit 12 determines specific control contents and control conditions for the arm unit 30 and the hand 40 when executing a series of gripping steps as the gripping method. In particular, in the present embodiment, the gripping method determining unit 12 determines at least the approach direction of the hand 40 with respect to the object O. The approach direction is a moving direction when the hand 40 is moved so as to approach the object O in the gripping step.
 また、把持方法決定部12は、実際に指部42を駆動させて対象物Oを把持する把持動作を開始する条件(把持開始条件)や、把持動作を終了する条件(把持終了条件)を把持方法の一部として決定してもよい。把持方法決定部12が実行する処理の具体例については、後述する。 Further, the gripping method determining unit 12 grips a condition for actually driving the finger portion 42 to start the gripping operation of gripping the object O (grasping start condition) and a condition for ending the gripping operation (grasping end condition). It may be determined as part of the method. A specific example of the process executed by the gripping method determining unit 12 will be described later.
 把持制御部13は、把持方法決定部12が決定した把持方法の内容にしたがって実際にアーム部30及びハンド40を制御することによって、把持工程を実行する。具体的に把持制御部13は、把持方法決定部12が決定したアプローチ方向に向けてハンド40を移動させることによって、ハンド40を対象物Oに近づける。その後、予め定められた把持開始条件を満たしたタイミングでアプローチ方向への移動を停止し、ハンド40の各指部42を駆動させて対象物Oを掴む把持動作を開始させる。そして、予め定められた把持終了条件を満たしたタイミングで、各指部42の駆動を停止し、把持動作を完了する。 The gripping control unit 13 executes the gripping process by actually controlling the arm unit 30 and the hand 40 according to the content of the gripping method determined by the gripping method determining unit 12. Specifically, the gripping control unit 13 brings the hand 40 closer to the object O by moving the hand 40 toward the approach direction determined by the gripping method determining unit 12. After that, the movement in the approach direction is stopped at the timing when the predetermined gripping start condition is satisfied, and each finger portion 42 of the hand 40 is driven to start the gripping operation of gripping the object O. Then, at the timing when the predetermined gripping end condition is satisfied, the driving of each finger portion 42 is stopped, and the gripping operation is completed.
 把持制御部13は、掌センサー43、及び指センサー44a-44eによる検出結果をモニタしながら、把持動作を開始するタイミングや終了するタイミングを決定する。すなわち、把持開始条件及び把持終了条件は、掌センサー43、及び指センサー44a-44eの検出結果が満たすべき条件を含むものとする。また、把持動作を行っている最中の各指部42の制御内容についても、各指センサー44の出力に応じて決定されてよい。これらの制御の具体例についても、後述する。 The grip control unit 13 determines the timing to start and the timing to end the grip operation while monitoring the detection results of the palm sensor 43 and the finger sensors 44a-44e. That is, the gripping start condition and the gripping end condition include the conditions that the detection results of the palm sensor 43 and the finger sensors 44a-44e should satisfy. Further, the control content of each finger portion 42 during the gripping operation may also be determined according to the output of each finger sensor 44. Specific examples of these controls will also be described later.
 次に、ロボットハンド制御装置1が把持工程を実行する際の具体的な制御内容の例について、説明する。まず、実際にアーム部30及びハンド40を駆動させる把持工程を開始する前の準備段階において制御部10が実行する処理内容について、図4のフロー図を用いて説明する。 Next, an example of specific control contents when the robot hand control device 1 executes the gripping process will be described. First, the processing contents executed by the control unit 10 in the preparatory stage before starting the gripping process for actually driving the arm unit 30 and the hand 40 will be described with reference to the flow chart of FIG.
 把持工程を開始する前の準備段階では、まず対象物特定部11が、カメラ20の撮影画像に含まれるハンド40の位置に基づいて、ロボット座標系とカメラ座標系との対応関係を特定する(S1)。ここでカメラ座標系は、カメラ20の撮影位置、及び撮影方向を基準とする空間座標系であり、ロボット座標系はハンド40の位置、及び向きを基準とする空間座標系である。対象物特定部11は、カメラ20の撮影画像に写っているハンド40の位置及び外観に基づいて、カメラ20の撮影位置を基準とするハンド40の実空間内における位置、及び向きを特定する。これにより制御部10は、把持工程において、カメラ座標系の位置座標に基づいてロボット座標系の位置座標を決定し、その位置座標を用いてハンド40の位置制御を行うことが可能になる。なお、ハンド40の位置を特定するために、ハンド40の表面にはマーカー画像が配置されていてもよい。撮影画像内からこのマーカー画像を検出することによって、対象物特定部11はハンド40の位置及び向きを精度よく特定することができる。 In the preparatory stage before starting the gripping process, the object identification unit 11 first identifies the correspondence between the robot coordinate system and the camera coordinate system based on the position of the hand 40 included in the captured image of the camera 20 (. S1). Here, the camera coordinate system is a spatial coordinate system based on the shooting position and shooting direction of the camera 20, and the robot coordinate system is a spatial coordinate system based on the position and orientation of the hand 40. The object specifying unit 11 specifies the position and orientation of the hand 40 in the real space with respect to the shooting position of the camera 20 based on the position and appearance of the hand 40 captured in the image captured by the camera 20. As a result, in the gripping process, the control unit 10 can determine the position coordinates of the robot coordinate system based on the position coordinates of the camera coordinate system and control the position of the hand 40 using the position coordinates. A marker image may be arranged on the surface of the hand 40 in order to specify the position of the hand 40. By detecting this marker image from the captured image, the object specifying unit 11 can accurately identify the position and orientation of the hand 40.
 次に対象物特定部11は、カメラ20の撮影画像を解析することによって、撮影画像内に写っている対象物Oを認識する(S2)。対象物Oの認識は、公知の画像処理技術などによって実現できる。 Next, the object identification unit 11 recognizes the object O shown in the captured image by analyzing the captured image of the camera 20 (S2). The recognition of the object O can be realized by a known image processing technique or the like.
 なお、本実施形態では対象物Oの形状は事前に判明していないと想定しているが、複数の候補物のうちのいずれかであることは事前に判明していることとしてもよい。この場合、制御部10は、これらの候補物の形状や表面の硬度などの特徴に関する情報を事前に取得しておいてもよい。この場合、対象物特定部11は、対象物Oの認識結果に基づいて、対象物Oが複数の候補物のうちのどれであるかを識別する。こうすれば、続く対象物Oの姿勢などの特定処理を容易にすることができる。また、候補物ごとに事前に用意された把持開始条件や把持終了条件などを把持方法として採用してもよい。 In this embodiment, it is assumed that the shape of the object O is not known in advance, but it may be known in advance that it is one of a plurality of candidates. In this case, the control unit 10 may acquire information on features such as the shape and surface hardness of these candidates in advance. In this case, the object identification unit 11 identifies which of the plurality of candidates the object O is based on the recognition result of the object O. By doing so, it is possible to facilitate the subsequent specific processing such as the posture of the object O. In addition, gripping start conditions, gripping end conditions, and the like prepared in advance for each candidate may be adopted as the gripping method.
 続いて対象物特定部11は、S2で認識された対象物Oの実空間内における位置を特定する(S3)。ここでの対象物Oの位置は、カメラ座標系の位置座標として特定される。対象物特定部11は、単にその全体形状の中心位置を対象物Oの位置として特定してもよいが、その形状から重心位置を推定し、推定された重心位置を対象物Oの位置として特定してもよい。 Subsequently, the object identification unit 11 specifies the position of the object O recognized in S2 in the real space (S3). The position of the object O here is specified as the position coordinates of the camera coordinate system. The object specifying unit 11 may simply specify the center position of the entire shape as the position of the object O, but estimates the position of the center of gravity from the shape and specifies the estimated position of the center of gravity as the position of the object O. You may.
 さらに対象物特定部11は、S2で認識された対象物Oの姿勢を特定する(S4)。具体的に対象物特定部11は、対象物Oの長手方向がどの方向を向いているかを特定する。長手方向とは、対象物Oの端から端までの長さが他よりも長くなる方向である。例えば細長い筒状の物体であれば、筒の延伸方向が長手方向となる。長手方向を特定することで、対象物特定部11は対象物Oがどのような向きに配置されているかを特定することになる。 Further, the object identification unit 11 specifies the posture of the object O recognized in S2 (S4). Specifically, the object specifying unit 11 specifies in which direction the longitudinal direction of the object O is facing. The longitudinal direction is a direction in which the length from one end of the object O to the other is longer than the other. For example, in the case of an elongated tubular object, the extending direction of the cylinder is the longitudinal direction. By specifying the longitudinal direction, the object specifying portion 11 will specify in what direction the object O is arranged.
 なお、カメラ20の撮影画像が単なる平面画像であっても、公知のアルゴリズムによってある程度の精度で対象物Oの形状や向きを特定することが期待できる。対象物特定部11は、より対象物Oの形状及び姿勢特定の精度を向上させるため、例えばディープラーニングなどの機械学習アルゴリズムを利用してもよい。また、対象物Oの立体的な形状を直接的に特定するため、対象物O表面の各点までの距離を計測可能な立体カメラをカメラ20として利用してもよい。 Even if the captured image of the camera 20 is just a flat image, it can be expected that the shape and orientation of the object O can be specified with a certain degree of accuracy by a known algorithm. The object specifying unit 11 may use a machine learning algorithm such as deep learning in order to further improve the accuracy of specifying the shape and posture of the object O. Further, in order to directly specify the three-dimensional shape of the object O, a three-dimensional camera capable of measuring the distance to each point on the surface of the object O may be used as the camera 20.
 把持方法決定部12は、S4で特定された対象物Oの長手方向に基づいて、ハンド40のアプローチ方向を決定する(S5)。具体的に把持方法決定部12は、対象物Oの長手方向と交差する向きとなるように(すなわち、長手方向に対してなす角が大きくなるように)アプローチ方向を決定する。なお、アプローチ方向が長手方向と直交するときにアプローチ方向と長手方向とがなす角が最大になるが、アプローチ方向は必ずしも対象物Oの長手方向と直交する方向でなくともよい。 The gripping method determining unit 12 determines the approach direction of the hand 40 based on the longitudinal direction of the object O specified in S4 (S5). Specifically, the gripping method determining unit 12 determines the approach direction so as to intersect the longitudinal direction of the object O (that is, so that the angle formed with respect to the longitudinal direction becomes larger). When the approach direction is orthogonal to the longitudinal direction, the angle formed by the approach direction and the longitudinal direction is maximized, but the approach direction does not necessarily have to be the direction orthogonal to the longitudinal direction of the object O.
 一例として、把持方法決定部12は、複数の候補アプローチ方向の中から、より長手方向に対してなす角が大きくなる方向をアプローチ方向として決定する。この場合の候補アプローチ方向は、例えば鉛直方向、及び水平方向の2方向であってよい。候補アプローチ方向が鉛直方向及び水平方向の2方向の場合、把持方法決定部12は、対象物Oの長手方向が水平方向に近ければ鉛直方向を、対象物Oの長手方向が鉛直方向に近ければ水平方向を、それぞれアプローチ方向として選択する。ここで、対象物Oの長手方向が水平方向に近いというのは、水平面に対象物Oが置かれた状態で水平面に沿った所与の基準軸方向から見た対象物Oの横幅が鉛直面に沿った高さよりも大きいことに対応する。逆に対象物Oの長手方向が垂直方向に近くなるのは、対象物Oを水平面上の所与の基準軸方向から見た横幅よりも対象物Oの高さが大きい場合である。そのため、候補アプローチ方向が鉛直方向及び水平方向の2方向に限られる場合、対象物特定部11は長手方向の水平面に対する角度を正確に特定せずとも、長手方向が鉛直方向及び水平方向のどちらに近いか(すなわち、対象物Oの横幅と高さのどちらがより大きいか)を特定しさえすれば、把持方法決定部12はアプローチ方向を決定することができる。 As an example, the gripping method determining unit 12 determines the direction in which the angle formed with respect to the longitudinal direction becomes larger from among a plurality of candidate approach directions as the approach direction. In this case, the candidate approach directions may be, for example, two directions, a vertical direction and a horizontal direction. When the candidate approach directions are two directions, the vertical direction and the horizontal direction, the gripping method determining unit 12 determines the vertical direction if the longitudinal direction of the object O is close to the horizontal direction, and the gripping method determination unit 12 if the longitudinal direction of the object O is close to the vertical direction. Select the horizontal direction as the approach direction. Here, the fact that the longitudinal direction of the object O is close to the horizontal direction means that the width of the object O seen from a given reference axis direction along the horizontal plane with the object O placed on the horizontal plane faces the vertical direction. Corresponds to being greater than the height along. On the contrary, the longitudinal direction of the object O is close to the vertical direction when the height of the object O is larger than the horizontal width when the object O is viewed from a given reference axis direction on the horizontal plane. Therefore, when the candidate approach direction is limited to two directions, the vertical direction and the horizontal direction, the object identification unit 11 does not have to accurately specify the angle with respect to the horizontal plane in the longitudinal direction, but the longitudinal direction is either the vertical direction or the horizontal direction. The gripping method determining unit 12 can determine the approach direction as long as it is specified whether it is close (that is, whether the width or the height of the object O is larger).
 図5は、対象物Oの姿勢とアプローチ方向の具体例を示す図である。この図においては、破線の矢印が対象物Oの長手方向を、実線の矢印がアプローチ方向を、それぞれ示している。図5(a)は対象物Oの長手方向が鉛直方向である例を示している。この場合には、アプローチ方向は水平方向に決定され、把持工程においてハンド40は水平面に沿って横方向から対象物Oに近づいていくことになる。一方、図5(b)は対象物Oの長手方向が水平方向である例を示している。この場合には、アプローチ方向は鉛直方向に決定され、把持工程においてハンド40は対象物Oの上方から鉛直方向に沿って対象物Oに近づいていくことになる。 FIG. 5 is a diagram showing a specific example of the posture and approach direction of the object O. In this figure, the broken line arrow indicates the longitudinal direction of the object O, and the solid arrow indicates the approach direction. FIG. 5A shows an example in which the longitudinal direction of the object O is the vertical direction. In this case, the approach direction is determined to be the horizontal direction, and the hand 40 approaches the object O from the lateral direction along the horizontal plane in the gripping process. On the other hand, FIG. 5B shows an example in which the longitudinal direction of the object O is the horizontal direction. In this case, the approach direction is determined in the vertical direction, and the hand 40 approaches the object O from above the object O along the vertical direction in the gripping step.
 なお、ここでは水平方向に沿った大きさを、一つの基準軸方向から見た横幅によって定義することとした。しかしながら対象物特定部11は、複数の基準軸方向のそれぞれから見た横幅を特定し、その最大値が得られた方向を長手方向としてもよい。 Here, the size along the horizontal direction is defined by the width seen from one reference axis direction. However, the object specifying unit 11 may specify the lateral width seen from each of the plurality of reference axis directions, and the direction in which the maximum value is obtained may be the longitudinal direction.
 ここで、特定された対象物Oの長手方向に対して自動的な演算によってアプローチ方向を決定する場合、把持方法決定部12は、アプローチ方向を鉛直下方向ではなく鉛直上方向と決定してしまう場合がある。このような場合には、決定されたアプローチ方向を反転させ、鉛直下方向になるよう修正する。 Here, when the approach direction is determined by an automatic calculation with respect to the longitudinal direction of the specified object O, the gripping method determining unit 12 determines the approach direction as the vertically upward direction instead of the vertically downward direction. In some cases. In such a case, the determined approach direction is reversed and corrected so that it is vertically downward.
 また、対象物Oの長手方向が鉛直方向に近くアプローチ方向が水平方向と決定される場合、その向きは水平面に平行ないずれかの方向として一次的に決定されることになる。しかしながら、この場合のアプローチ方向は水平面に平行な任意の方向であってよく、必ずしも一次的に決定された方向でなくともよい。 Further, when the longitudinal direction of the object O is close to the vertical direction and the approach direction is determined to be the horizontal direction, the direction is temporarily determined as one of the directions parallel to the horizontal plane. However, the approach direction in this case may be any direction parallel to the horizontal plane, and does not necessarily have to be a primary determined direction.
 具体的に、把持方法決定部12は、アプローチ方向の決定が行われる時点におけるハンド40と対象物Oとの間の位置関係に基づいて、実際に採用するアプローチ方向を決定してもよい。アーム部30の構造上、ハンド40を基台32に向かう方向に移動させて対象物Oに近づけるのは難しい。そのため把持方法決定部12は、ハンド40の現在位置から対象物Oに向かう方向により近くなるようにアプローチ方向を決定してよい。例えばカメラ20から見てハンド40が対象物Oよりも右側に位置している場合、カメラ20から見て左側に向かう方向をアプローチ方向として決定する。こうすれば、後述する準備段階においてハンド40を比較的短い移動距離でアプローチ開始位置まで移動させることができる。 Specifically, the gripping method determining unit 12 may determine the approach direction to be actually adopted based on the positional relationship between the hand 40 and the object O at the time when the approach direction is determined. Due to the structure of the arm portion 30, it is difficult to move the hand 40 in the direction toward the base 32 to bring it closer to the object O. Therefore, the gripping method determining unit 12 may determine the approach direction so as to be closer to the direction from the current position of the hand 40 toward the object O. For example, when the hand 40 is located on the right side of the object O when viewed from the camera 20, the direction toward the left side when viewed from the camera 20 is determined as the approach direction. In this way, the hand 40 can be moved to the approach start position with a relatively short movement distance in the preparation stage described later.
 また、対象物Oが球に近い形状を有している場合など、対象物Oの長手方向がどの方向か明確でない場合がある。このような場合、把持方法決定部12は、予め定められた方向(例えば鉛直方向)をアプローチ方向として決定してもよい。 In addition, it may not be clear which direction the longitudinal direction of the object O is, such as when the object O has a shape close to a sphere. In such a case, the gripping method determining unit 12 may determine a predetermined direction (for example, a vertical direction) as an approach direction.
 次に把持方法決定部12は、S5で決定されたアプローチ方向、及びS3で特定された対象物Oの位置に基づいて、ハンド40のアプローチ開始位置を決定する(S6)。アプローチ開始位置は、S3で特定された対象物Oの位置を目標位置として、この目標位置からアプローチ方向と逆側に所定距離移動した位置である。 Next, the gripping method determining unit 12 determines the approach start position of the hand 40 based on the approach direction determined in S5 and the position of the object O specified in S3 (S6). The approach start position is a position moved by a predetermined distance from this target position to the opposite side of the approach direction with the position of the object O specified in S3 as the target position.
 さらに把持方法決定部12は、対象物Oの形状や大きさ等に基づいて、把持動作の内容、及び把持終了条件を決定する(S7)。具体的に把持方法決定部12は、把持動作に使用する指部42の数を決定するものとする。対象物Oの大きさによっては、5本の指部42全てを使用する必要がなかったり、また使用することが困難だったりするためである。また、前述したように対象物Oが複数の候補物のいずれであるか特定されている場合、把持方法決定部12は、予め記憶されている候補物ごとの情報を用いて把持終了条件や把持動作の内容を決定してもよい。なお、把持終了条件の詳細については、後述する。ここまでで、把持方法決定部12は対象物Oの把持方法を決定し、把持工程を開始するための準備段階が終了する。 Further, the gripping method determining unit 12 determines the content of the gripping operation and the gripping end condition based on the shape and size of the object O (S7). Specifically, the gripping method determining unit 12 determines the number of finger portions 42 used for the gripping operation. This is because, depending on the size of the object O, it may not be necessary to use all five finger portions 42, or it may be difficult to use them. Further, as described above, when it is specified which of the plurality of candidates the object O is, the gripping method determining unit 12 uses the information stored in advance for each candidate to perform gripping end conditions and gripping. The content of the operation may be determined. The details of the gripping end condition will be described later. Up to this point, the gripping method determining unit 12 determines the gripping method of the object O, and the preparatory step for starting the gripping process is completed.
 次に、把持制御部13がアーム部30及びハンド40を制御して実際の把持工程を実行する際における制御フローの一例について、図6を用いて説明する。 Next, an example of the control flow when the gripping control unit 13 controls the arm unit 30 and the hand 40 to execute the actual gripping process will be described with reference to FIG.
 まず把持制御部13は、アーム部30を制御して、S6で決定されたアプローチ開始位置にハンド40を移動させる(S11)。その後、S5で決定されたアプローチ方向に向けてハンド40の移動を開始させる(S12)。これによりハンド40は徐々に目標位置(対象物Oの位置)に近づいていく。なお、S3で対象物Oの重心位置を推定している場合には、この重心位置を目標位置としてハンド40を移動させることになる。 First, the grip control unit 13 controls the arm unit 30 to move the hand 40 to the approach start position determined in S6 (S11). After that, the movement of the hand 40 is started in the approach direction determined in S5 (S12). As a result, the hand 40 gradually approaches the target position (position of the object O). When the position of the center of gravity of the object O is estimated in S3, the hand 40 is moved with the position of the center of gravity as the target position.
 この状態で把持制御部13は掌センサー43及び指センサー44の検出結果をモニタし、所与の把持開始条件を満たすか否か監視する(S13)。把持開始条件は、例えばいずれかのセンサーが物体の接触を検出することである。この場合にセンサーが接触を検出する物体は、必ずしも対象物Oであるとは限らない。例えば対象物Oが比較的小さくアプローチ方向が鉛直下方向である場合、掌センサー43が対象物Oに接触するより先に対象物Oが置かれているテーブルの上面に指センサー44が接触する可能性がある。このような場合、把持制御部13は、いずれかの指センサー44が物体に接触したことを検出した場合に把持開始条件を満足したと判定する。 In this state, the grip control unit 13 monitors the detection results of the palm sensor 43 and the finger sensor 44, and monitors whether or not a given grip start condition is satisfied (S13). The gripping start condition is, for example, that one of the sensors detects the contact of the object. In this case, the object for which the sensor detects contact is not necessarily the object O. For example, when the object O is relatively small and the approach direction is vertically downward, the finger sensor 44 can come into contact with the upper surface of the table on which the object O is placed before the palm sensor 43 comes into contact with the object O. There is sex. In such a case, the grip control unit 13 determines that the grip start condition is satisfied when it detects that any of the finger sensors 44 has come into contact with the object.
 把持開始条件を満たしていない間、把持制御部13はアプローチ方向にハンド40を移動させる制御を継続する。そして、把持開始条件を満足したと判定されると、把持制御部13はハンド40のアプローチ方向への移動を停止させ、対象物Oの把持動作を開始させる(S14)。具体的に、把持制御部13は、把持に利用される各指部42を屈曲させ、その先端を対象物Oに近づけさせる動作(すなわち、人が手で物を握る際の指の動きに対応する動作)を実行させる。本実施形態では、人間の手と同様に親指部42aが他の指部42と対向するように掌部41に連結されている。そのため、親指部42aは必ず把持動作の対象となる。しかし、その他の4本の指部42b-42eは必ずしも全て把持動作に使用しなければならないわけではない。対象物Oの大きさに応じて、指部42b-42eのうち最小で1本、最大で4本全ての指部42が把持動作の対象として選択される。 While the gripping start condition is not satisfied, the gripping control unit 13 continues the control of moving the hand 40 in the approach direction. Then, when it is determined that the gripping start condition is satisfied, the gripping control unit 13 stops the movement of the hand 40 in the approach direction and starts the gripping operation of the object O (S14). Specifically, the grip control unit 13 corresponds to an operation of bending each finger portion 42 used for gripping and bringing the tip thereof closer to the object O (that is, a movement of a finger when a person grips an object by hand). Operation) is executed. In the present embodiment, the thumb portion 42a is connected to the palm portion 41 so as to face the other finger portions 42, similar to the human hand. Therefore, the thumb portion 42a is always the target of the gripping operation. However, not all of the other four fingers 42b-42e must be used for the gripping operation. Depending on the size of the object O, a minimum of one finger portion 42b-42e and a maximum of all four finger portions 42 are selected as targets for the gripping operation.
 把持動作を開始した後は、把持制御部13は所与の把持終了条件が満たされるか否か監視する(S15)。把持終了条件は、ハンド40が把持動作の対象となる各指部42によって対象物Oを掴み、持ち上げることができる状態になっていると判断するための条件である。把持終了条件の詳細については、後述する。 After starting the gripping operation, the gripping control unit 13 monitors whether or not the given gripping end condition is satisfied (S15). The gripping end condition is a condition for determining that the hand 40 is in a state where the object O can be grasped and lifted by each finger portion 42 to be gripped. The details of the gripping end condition will be described later.
 把持終了条件を満たしていない間、把持制御部13は把持動作の対象となる各指部42を屈曲させる制御を継続する。そして、把持終了条件を満足したと判定されると、把持制御部13は各指部42を屈曲させる把持動作を停止させる(S16)。その後、把持制御部13は、ハンド40を鉛直上方向に移動させて対象物Oを持ち上げるなど、予め定められた動作を実行する。 While the gripping end condition is not satisfied, the gripping control unit 13 continues the control of bending each finger portion 42 that is the target of the gripping operation. Then, when it is determined that the gripping end condition is satisfied, the gripping control unit 13 stops the gripping operation of bending each finger unit 42 (S16). After that, the grip control unit 13 executes a predetermined operation such as moving the hand 40 vertically upward to lift the object O.
 以下、把持動作中の制御内容、及び把持終了条件の具体例について説明する。 Hereinafter, the control contents during the gripping operation and specific examples of the gripping end conditions will be described.
 まず第1の例として、各指部42の位置を監視することによって把持終了条件の判定を行う例について説明する。この例において把持制御部13は、把持動作の対象となる各指部42を所定の強さで屈曲させながら、その位置を監視し、各指部42がそれ以上動かなくなった(すなわち、位置が変化しなくなった)時点で把持動作を終了する。例えば対象物Oが十分な剛性を備えており、ある程度の強さで握ってもよいと想定される場合、このような把持終了条件を採用することができる。この例では、各指部42が備えるアクチュエータ等の駆動機構を駆動させてもそれ以上屈曲できない状態になった場合、各指部42が対象物Oの表面に所定以上の強さで押しつけられていると想定される。把持動作に使用する全ての指部42がこのような状態になれば、把持制御部13は把持終了条件を満たしたと判断できる。 First, as a first example, an example in which the gripping end condition is determined by monitoring the position of each finger portion 42 will be described. In this example, the grip control unit 13 monitors the position of each finger portion 42 to be gripped while bending it with a predetermined strength, and each finger portion 42 does not move any more (that is, the position is changed). The gripping operation ends at the point (when it does not change). For example, when it is assumed that the object O has sufficient rigidity and can be gripped with a certain degree of strength, such a gripping end condition can be adopted. In this example, when a drive mechanism such as an actuator included in each finger portion 42 cannot be bent any more, each finger portion 42 is pressed against the surface of the object O with a strength equal to or higher than a predetermined value. It is assumed that there is. When all the finger portions 42 used for the gripping operation are in such a state, it can be determined that the gripping control unit 13 satisfies the gripping end condition.
 第2の例として、把持制御部13は各指部42に配置された指センサー44の検出結果に応じて各指部42の動作制御を実行してもよい。この場合、各指部42に対して、指センサー44の検出結果の目標値が予め決定される。この目標値は、把持方法決定部12によって把持終了条件の一部として決定される。把持制御部13は、各指センサー44の検出結果が予め定められた目標値に近づくように、対応する指部42が備える駆動機構の出力値を制御する。 As a second example, the grip control unit 13 may execute operation control of each finger unit 42 according to the detection result of the finger sensor 44 arranged on each finger unit 42. In this case, the target value of the detection result of the finger sensor 44 is predetermined for each finger portion 42. This target value is determined by the gripping method determining unit 12 as part of the gripping end condition. The grip control unit 13 controls the output value of the drive mechanism included in the corresponding finger unit 42 so that the detection result of each finger sensor 44 approaches a predetermined target value.
 具体的に、対応する指センサー44の検出値が目標値を下回っていれば、その指部42をさらに屈曲させ、その先端を対象物Oに近づけるように制御する。逆に指センサー44の検出値が目標値を上回っている場合、指部42を屈曲させた状態から伸ばす状態に向けて変化させ、その先端が対象物Oから遠ざかるように制御する。このような制御を連続的に実行することで、把持動作の対象となる全ての指部42について、指センサー44の検出値を目標値に一致させることができる。把持動作の対象となる全ての指部42について指センサー44の検出値が所定の範囲内で目標値に一致する状態になれば、把持制御部13は把持終了条件を満たしたと判断する。 Specifically, if the detected value of the corresponding finger sensor 44 is lower than the target value, the finger portion 42 is further bent and the tip thereof is controlled to be closer to the object O. On the contrary, when the detected value of the finger sensor 44 exceeds the target value, the finger portion 42 is changed from the bent state to the extended state, and the tip thereof is controlled to move away from the object O. By continuously executing such control, the detected value of the finger sensor 44 can be matched with the target value for all the finger portions 42 to be gripped. When the detection value of the finger sensor 44 for all the finger portions 42 to be gripped is in a state of matching the target value within a predetermined range, the gripping control unit 13 determines that the gripping end condition is satisfied.
 この例において把持制御部13は、把持動作の実行中、対応する指センサー44の検出結果が目標値からより大きく離れている指部42ほど変位量が大きくなるように、各指部42の動きを制御してもよい。こうすれば、その指部42にかかっている力の大きさが目標値から離れている指部42ほど、より素早く目標値に近づくように制御することができる。 In this example, the grip control unit 13 moves each finger unit 42 so that the displacement amount becomes larger as the finger unit 42 whose detection result of the corresponding finger sensor 44 is farther from the target value during the execution of the gripping operation. May be controlled. In this way, it is possible to control the finger portion 42 in which the magnitude of the force applied to the finger portion 42 is farther from the target value so that the finger portion 42 approaches the target value more quickly.
 図7は、このような制御内容の一例を示すグラフであって、指センサー44の検出値と指部42の駆動量との関係を示している。この図の横軸は力覚センサーの検出値を、縦軸は指部42の駆動量を、それぞれ示している。この図の例では、目標値を挟んで正負が逆転するものの、検出値が目標値を上回っている場合も下回っている場合も、目標値と検出値との差異が大きいほど、指部42の駆動量が大きくなっている。 FIG. 7 is a graph showing an example of such control contents, and shows the relationship between the detected value of the finger sensor 44 and the driving amount of the finger portion 42. The horizontal axis of this figure shows the detected value of the force sensor, and the vertical axis shows the driving amount of the finger portion 42. In the example of this figure, the positive and negative are reversed across the target value, but the larger the difference between the target value and the detected value, the larger the difference between the target value and the detected value, the larger the difference between the detected value and the detected value. The amount of drive is large.
 この図の例では、指センサー44の検出値と指部42の駆動量との関係は3次関数によって規定されている。具体的に、この図における駆動量yは、検出値xを用いて以下の式によって計算される。
y=((x-Ft)/α)
ここでFtは目標値であり、アルファは所与の調整用係数である。このように3次関数を用いて検出値xの3乗に比例するように駆動量yを算出することで、検出値xが目標値Ftから離れるほど、急激に駆動量yの絶対値が大きく算出されるようになる。
In the example of this figure, the relationship between the detected value of the finger sensor 44 and the driving amount of the finger portion 42 is defined by a cubic function. Specifically, the driving amount y in this figure is calculated by the following formula using the detected value x.
y = ((x-Ft) / α) 3
Where Ft is the target value and alpha is a given adjustment factor. By calculating the drive amount y so as to be proportional to the cube of the detected value x using the cubic function in this way, the absolute value of the drive amount y increases sharply as the detected value x moves away from the target value Ft. It will be calculated.
 この例における各指部42の目標値は、各指部42の位置関係、及び把持動作に用いられる指部42の数に応じて決定されてよい。前述したように、把持方法決定部12は、対象物Oに応じて把持動作に用いる指部42の数を決定する。例えば対象物Oが十分大きければ5本の指部42全てを把持動作に使用することとし、小さければ親指部42aと人差し指部42bだけを把持動作に使用する。そして、把持動作に使用する指部42の数を考慮して、各指部42の目標値を決定する。 The target value of each finger portion 42 in this example may be determined according to the positional relationship of each finger portion 42 and the number of finger portions 42 used for the gripping operation. As described above, the gripping method determining unit 12 determines the number of finger portions 42 used for the gripping operation according to the object O. For example, if the object O is sufficiently large, all five finger portions 42 are used for the gripping operation, and if the object O is small, only the thumb portion 42a and the index finger portion 42b are used for the gripping operation. Then, the target value of each finger portion 42 is determined in consideration of the number of finger portions 42 used for the gripping operation.
 具体的に、把持方法決定部12は、一方の側から対象物Oを把持する指部42に設定される目標値の合計値が、逆側から対象物Oを把持する指部42に設定される目標値の合計値と一致するように、各指部42の目標値を決定する。本実施形態では親指部42aとその他の指部42が対向する状態で対象物Oを把持するので、親指部42aの目標値と、その他の各指部42の目標値の合計値と、が一致するようにすればよい。さらに、把持方法決定部12は、同じ側から対象物Oを把持する各指部42の目標値が互いに等しくなるように、各指部42に対する目標値を決定するものとする。 Specifically, in the gripping method determining unit 12, the total value of the target values set in the finger portion 42 that grips the object O from one side is set in the finger portion 42 that grips the object O from the opposite side. The target value of each finger portion 42 is determined so as to match the total value of the target values. In the present embodiment, since the object O is gripped with the thumb portion 42a and the other finger portions 42 facing each other, the target value of the thumb portion 42a and the total value of the target values of the other finger portions 42 match. You just have to do it. Further, the gripping method determining unit 12 determines the target value for each finger portion 42 so that the target values of the finger portions 42 that grip the object O from the same side are equal to each other.
 一例として、同じ側から対象物Oを把持する指部42の目標値の合計値を0.5Nに設定する場合について、説明する。本実施形態では親指部42aはそれ単体で一方の側から対象物Oを把持するので、常に目標値として0.5Nが設定される。その他の指部42については、把持動作に用いる指の数に応じて、互いに等しい目標値が設定される。例えば人差し指部42bだけを把持動作に用いる場合、その目標値は親指部42aと同様0.5Nに設定される。人差し指部42b、及び中指部42cの2本の指部42が把持動作に用いられる場合、それぞれの目標値は0.25N(=0.5N/2)に設定される。図8は、この場合の各指部42に設定される目標値の関係を模式的に示す図である。また、4本の指部42全てが把持動作に用いられる場合、各指部42の目標値は0.125N(=0.5N/4)に設定される。このように各指部42の目標値を設定することで、ロボットハンド制御装置1は、対象物Oを互いに対向する2方向から同じ力で挟んで把持することができる。 As an example, a case where the total value of the target values of the finger portions 42 that grip the object O from the same side is set to 0.5N will be described. In the present embodiment, since the thumb portion 42a by itself grips the object O from one side, 0.5N is always set as the target value. For the other fingers 42, equal target values are set according to the number of fingers used for the gripping operation. For example, when only the index finger portion 42b is used for the gripping operation, the target value is set to 0.5N as in the thumb portion 42a. When the two finger portions 42 of the index finger portion 42b and the middle finger portion 42c are used for the gripping operation, the respective target values are set to 0.25N (= 0.5N / 2). FIG. 8 is a diagram schematically showing the relationship between the target values set for each finger portion 42 in this case. When all four fingers 42 are used for the gripping operation, the target value of each finger 42 is set to 0.125N (= 0.5N / 4). By setting the target value of each finger portion 42 in this way, the robot hand control device 1 can grip and grip the object O from two directions facing each other with the same force.
 以上説明したように、本実施形態に係るロボットハンド制御装置1によれば、対象物Oの形状や姿勢などに応じて適切な把持方法で対象物Oを把持することができる。 As described above, according to the robot hand control device 1 according to the present embodiment, the object O can be gripped by an appropriate gripping method according to the shape and posture of the object O.
 なお、本発明の実施の形態は以上説明したものに限られない。例えばアーム部30やハンド40の形状や構成は一例に過ぎず、これとは異なる構成を備えてもよい。特に、ハンド40が備える指部42の数や配置位置は、以上の説明と異なるものであってもよい。 It should be noted that the embodiments of the present invention are not limited to those described above. For example, the shape and configuration of the arm portion 30 and the hand 40 are only examples, and different configurations may be provided. In particular, the number and arrangement positions of the finger portions 42 included in the hand 40 may be different from those described above.
 また、把持工程の手順についても、以上説明したものに限られず、ステップの実行順序を入れ替えたり、ステップを追加又は削除したりしてもよい。 Further, the procedure of the gripping process is not limited to the one described above, and the execution order of the steps may be changed, and steps may be added or deleted.
 1 ロボットハンド制御装置、10 制御部、11 対象物特定部、12 把持方法決定部、13 把持制御部、20 カメラ、30 アーム部、31 アーム、32 基台、40 ハンド、41 掌部、42 指部、43 掌センサー、44 指センサー。 1 robot hand control device, 10 control unit, 11 object identification unit, 12 gripping method determination unit, 13 grip control unit, 20 camera, 30 arm unit, 31 arm, 32 base, 40 hand, 41 palm part, 42 fingers Department, 43 palm sensor, 44 finger sensor.

Claims (13)

  1.  複数の指を備えるロボットハンドを制御して把持対象となる対象物を把持するロボットハンド制御装置であって、
     前記対象物の形状及び姿勢を特定する対象物特定部と、
     前記特定された対象物の形状及び姿勢に基づいて、前記ロボットハンドのアプローチ方向を決定する決定部と、
     前記ロボットハンドを前記決定されたアプローチ方向に移動させて前記対象物に近づけてから、前記ロボットハンドに前記対象物を把持させる把持制御部と、
     を含むロボットハンド制御装置。
    A robot hand control device that controls a robot hand having a plurality of fingers to grip an object to be gripped.
    An object specifying part that specifies the shape and posture of the object, and
    A determination unit that determines the approach direction of the robot hand based on the shape and posture of the specified object, and
    A grip control unit that moves the robot hand in the determined approach direction to bring it closer to the object, and then causes the robot hand to grip the object.
    Robot hand control device including.
  2.  請求項1に記載のロボットハンド制御装置において、
     前記対象物特定部は、前記対象物の長手方向を特定し、
     前記決定部は、前記長手方向と交差する方向に前記アプローチ方向を決定する
     ことを特徴とするロボットハンド制御装置。
    In the robot hand control device according to claim 1,
    The object identification unit specifies the longitudinal direction of the object and
    The determination unit is a robot hand control device characterized in that the approach direction is determined in a direction intersecting the longitudinal direction.
  3.  請求項2に記載のロボットハンド制御装置において、
     前記決定部は、前記長手方向に応じて、前記アプローチ方向を鉛直方向に沿った方向及び水平方向に沿った方向のいずれかに決定する
     ことを特徴とするロボットハンド制御装置。
    In the robot hand control device according to claim 2,
    The determination unit is a robot hand control device characterized in that the approach direction is determined to be either a direction along a vertical direction or a direction along a horizontal direction according to the longitudinal direction.
  4.  請求項1から3のいずれか一項に記載のロボットハンド制御装置において、
     前記決定部は、さらに前記対象物と前記ロボットハンドの位置関係に基づいて、前記アプローチ方向を決定する
     ことを特徴とするロボットハンド制御装置。
    The robot hand control device according to any one of claims 1 to 3.
    The determination unit is a robot hand control device that further determines the approach direction based on the positional relationship between the object and the robot hand.
  5.  請求項1から4のいずれか一項に記載のロボットハンド制御装置において、
     前記決定部は、前記アプローチ方向、及び前記対象物の位置に基づいてアプローチ開始位置を決定し、
     前記把持制御部は、前記アプローチ開始位置に前記ロボットハンドを移動させてから、前記アプローチ方向に前記ロボットハンドを移動させる
     ことを特徴とするロボットハンド制御装置。
    In the robot hand control device according to any one of claims 1 to 4.
    The determination unit determines the approach start position based on the approach direction and the position of the object.
    The grip control unit is a robot hand control device characterized in that the robot hand is moved to the approach start position and then the robot hand is moved in the approach direction.
  6.  請求項1から5のいずれか一項に記載のロボットハンド制御装置において、
     前記対象物特定部は、前記対象物の重心位置を特定し、
     前記把持制御部は、前記重心位置を目標位置として前記ロボットハンドを前記アプローチ方向に移動させる
     ことを特徴とするロボットハンド制御装置。
    The robot hand control device according to any one of claims 1 to 5.
    The object identification unit identifies the position of the center of gravity of the object and determines the position of the center of gravity of the object.
    The grip control unit is a robot hand control device characterized in that the robot hand is moved in the approach direction with the center of gravity position as a target position.
  7.  請求項1から6のいずれか一項に記載のロボットハンド制御装置において、
     前記複数の指、及び前記ロボットハンドの掌部のそれぞれには、物体の接触を検知するためのセンサーが設けられ、
     前記把持制御部は、いずれかの前記センサーが物体の接触を検知したタイミングで前記アプローチ方向への移動を停止し、前記対象物の把持を開始する
     ことを特徴とするロボットハンド制御装置。
    The robot hand control device according to any one of claims 1 to 6.
    Sensors for detecting the contact of an object are provided on each of the plurality of fingers and the palm of the robot hand.
    The grip control unit is a robot hand control device, characterized in that movement in the approach direction is stopped at a timing when any of the sensors detects contact with an object, and gripping of the object is started.
  8.  請求項1から7のいずれか一項に記載のロボットハンド制御装置において、
     前記複数の指のそれぞれには、当該指にかかる力を計測するセンサーが設けられ、
     前記把持制御部は、前記複数の指のそれぞれを、当該指に設けられたセンサーの計測値が所与の目標値に近づくように制御することによって、前記対象物を前記ロボットハンドに把持させる
     ことを特徴とするロボットハンド制御装置。
    In the robot hand control device according to any one of claims 1 to 7.
    Each of the plurality of fingers is provided with a sensor that measures the force applied to the finger.
    The grip control unit causes the robot hand to grip the object by controlling each of the plurality of fingers so that the measured value of the sensor provided on the finger approaches a given target value. A robot hand control device featuring.
  9.  請求項8に記載のロボットハンド制御装置において、
     前記決定部は、前記対象物に応じて把持に用いる指の数を決定し、決定した指の数に応じて、前記複数の指それぞれに対する前記目標値を決定する
     ことを特徴とするロボットハンド制御装置。
    In the robot hand control device according to claim 8,
    The robot hand control is characterized in that the determination unit determines the number of fingers used for gripping according to the object, and determines the target value for each of the plurality of fingers according to the determined number of fingers. Device.
  10.  請求項9に記載のロボットハンド制御装置において、
     前記決定部は、前記対象物を一方側から把持する1又は複数の指に対する前記目標値の合計値が、前記一方側と逆側から把持する1又は複数の指に対する前記目標値の合計値と一致するように、前記複数の指それぞれに対する前記目標値を決定する
     ことを特徴とするロボットハンド制御装置。
    In the robot hand control device according to claim 9.
    In the determination unit, the total value of the target values for one or more fingers gripping the object from one side is the total value of the target values for one or more fingers gripping the object from the opposite side to the one side. A robot hand control device comprising determining the target value for each of the plurality of fingers so as to match.
  11.  請求項10に記載のロボットハンド制御装置において、
     前記決定部は、前記対象物を同じ側から把持する複数の指のそれぞれに対する前記目標値が互いに等しくなるように、前記複数の指それぞれに対する前記目標値を決定する
     ことを特徴とするロボットハンド制御装置。
    In the robot hand control device according to claim 10,
    The robot hand control is characterized in that the determination unit determines the target value for each of the plurality of fingers so that the target values for each of the plurality of fingers holding the object from the same side are equal to each other. Device.
  12.  請求項8から11のいずれか一項に記載のロボットハンド制御装置において、
     前記把持制御部は、前記複数の指のそれぞれを、前記センサーの計測値と前記目標値との差が大きいほど大きく動かすよう制御する
     ことを特徴とするロボットハンド制御装置。
    The robot hand control device according to any one of claims 8 to 11.
    The grip control unit is a robot hand control device characterized in that each of the plurality of fingers is controlled so as to move larger as the difference between the measured value of the sensor and the target value increases.
  13.  複数の指を備え、把持対象となる対象物を把持するロボットハンドの制御方法であって、
     前記対象物の形状及び姿勢を特定するステップと、
     前記特定された対象物の形状及び姿勢に基づいて、前記ロボットハンドのアプローチ方向を決定するステップと、
     前記ロボットハンドを前記決定されたアプローチ方向に移動させて前記対象物に近づけてから、前記ロボットハンドに前記対象物を把持させるステップと、
     を含むロボットハンドの制御方法。
    It is a control method of a robot hand that has multiple fingers and grips an object to be gripped.
    Steps to specify the shape and posture of the object,
    A step of determining the approach direction of the robot hand based on the shape and posture of the specified object, and
    A step of moving the robot hand in the determined approach direction to bring it closer to the object, and then causing the robot hand to grip the object.
    How to control the robot hand, including.
PCT/JP2021/038068 2020-10-20 2021-10-14 Robot hand control device, and method for controlling robot hand WO2022085560A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-175950 2020-10-20
JP2020175950 2020-10-20

Publications (1)

Publication Number Publication Date
WO2022085560A1 true WO2022085560A1 (en) 2022-04-28

Family

ID=81290443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038068 WO2022085560A1 (en) 2020-10-20 2021-10-14 Robot hand control device, and method for controlling robot hand

Country Status (1)

Country Link
WO (1) WO2022085560A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003245883A (en) * 2002-02-25 2003-09-02 Gifu Univ Robot hand and method for controlling grip of robot hand, and robot and method for controlling the same
JP2005169564A (en) * 2003-12-11 2005-06-30 Toyota Motor Corp Method for gripping object of optional shape by robot
JP2006130580A (en) * 2004-11-02 2006-05-25 Toyota Motor Corp Method for gripping arbitrarily-shaped object by robot
JP2007216367A (en) * 2006-02-20 2007-08-30 Toyota Motor Corp Device and method for holding object
JP2009241168A (en) * 2008-03-28 2009-10-22 Juki Corp Component grasping device and method therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003245883A (en) * 2002-02-25 2003-09-02 Gifu Univ Robot hand and method for controlling grip of robot hand, and robot and method for controlling the same
JP2005169564A (en) * 2003-12-11 2005-06-30 Toyota Motor Corp Method for gripping object of optional shape by robot
JP2006130580A (en) * 2004-11-02 2006-05-25 Toyota Motor Corp Method for gripping arbitrarily-shaped object by robot
JP2007216367A (en) * 2006-02-20 2007-08-30 Toyota Motor Corp Device and method for holding object
JP2009241168A (en) * 2008-03-28 2009-10-22 Juki Corp Component grasping device and method therefor

Similar Documents

Publication Publication Date Title
CN105598987B (en) Determination of a gripping space for an object by means of a robot
JP5778311B1 (en) Picking apparatus and picking method
US10350768B2 (en) Control device, robot, and robot system
JP2022009733A5 (en)
JP6454960B2 (en) Robot, robot system, robot controller
JP4001105B2 (en) Grasping method of arbitrarily shaped object by robot
JP2019181622A (en) Hand control device and hand control system
JP6663978B2 (en) System and method for determining tool offset
JP2012011531A (en) Robot apparatus and gripping method for use in robot apparatus
JP7186349B2 (en) END EFFECTOR CONTROL SYSTEM AND END EFFECTOR CONTROL METHOD
Koyama et al. Integrated control of a multi-fingered hand and arm using proximity sensors on the fingertips
JP2012006097A (en) Robot device
CN111037553B (en) Control device
JP4591043B2 (en) Method of gripping an arbitrarily shaped object by a robot
WO2022085560A1 (en) Robot hand control device, and method for controlling robot hand
JPWO2019065427A1 (en) Robot hand system control method and robot hand system
CN113894774A (en) Robot grabbing control method and device, storage medium and robot
JP6314429B2 (en) Robot, robot system, and robot controller
JP4600445B2 (en) Robot hand device
JP2005144573A (en) Gripping force control method of robot hand
Romero et al. Modeling and evaluation of human-to-robot mapping of grasps
JP4715296B2 (en) Robot hand holding and gripping control method.
JP7217109B2 (en) Belt-shaped object work position determination method, robot control method, belt-shaped object work position determination device, and belt-shaped object handling system
JP4055703B2 (en) Robot hand device
WO2023013699A1 (en) Robot control device, robot control system, and robot control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882701

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21882701

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP