WO2023062941A1 - 把持制御装置、および把持制御方法 - Google Patents

把持制御装置、および把持制御方法 Download PDF

Info

Publication number
WO2023062941A1
WO2023062941A1 PCT/JP2022/031538 JP2022031538W WO2023062941A1 WO 2023062941 A1 WO2023062941 A1 WO 2023062941A1 JP 2022031538 W JP2022031538 W JP 2022031538W WO 2023062941 A1 WO2023062941 A1 WO 2023062941A1
Authority
WO
WIPO (PCT)
Prior art keywords
fingertip
control device
gripping
force
contact surface
Prior art date
Application number
PCT/JP2022/031538
Other languages
English (en)
French (fr)
Inventor
智子 水谷
康宏 松田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280067963.6A priority Critical patent/CN118076467A/zh
Priority to JP2023554950A priority patent/JPWO2023062941A1/ja
Publication of WO2023062941A1 publication Critical patent/WO2023062941A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices

Definitions

  • the present disclosure relates to a gripping control device and a gripping control method.
  • Patent Documents 1 and 2 Various technologies related to the control of robot hands, etc. have been proposed (see, for example, Patent Documents 1 and 2, and Non-Patent Document 1).
  • a robot hand or the like is required to stably grip even an unknown object (an object whose mass, center of gravity, coefficient of friction, etc. are unknown).
  • it is required to appropriately apply the magnitude and direction of each fingertip force in a robot hand or the like.
  • a gripping control device includes a detection unit that detects displacement in the normal direction of each of a plurality of curved elastic bodies provided on each of a plurality of fingertips that are in contact with a gripped object. and a calculating unit for calculating the contact surface normal of each fingertip with respect to the gripped object based on the detection result of the detecting unit.
  • a gripping control method detects a displacement in a normal direction of each of a plurality of curved elastic bodies provided on each of a plurality of fingertips contacting a gripped object; calculating the contact surface normal of each fingertip with respect to the gripped object based on the detection result.
  • FIG. 4 is a configuration diagram schematically showing a state in which an object is brought into vertical contact with a fingertip of a curved elastic body, and then a shear displacement is generated.
  • FIG. 2 is an explanatory diagram showing an FEM analysis result of the state shown in FIG. 1;
  • FIG. 4 is a configuration diagram schematically showing a state in which an object is obliquely contacted with a fingertip of a curved elastic body;
  • FIG. 3 is an explanatory diagram showing an FEM analysis result of the state shown in FIG. 2;
  • 1 is a configuration diagram schematically showing an example of a grasping system according to a first embodiment of the present disclosure;
  • FIG. FIG. 4 is an explanatory diagram of gripping force control;
  • FIG. 4 is an explanatory diagram of sticking rate
  • FIG. 2 is a configuration diagram schematically showing an example of fingertips in the gripping device according to the first embodiment
  • FIG. 4 is an explanatory diagram showing an outline of a method of calculating a contact surface normal
  • FIG. 4 is an explanatory diagram showing an outline of a contact point calculation method
  • FIG. 4 is an explanatory diagram schematically showing a first example (situation 1) of an environment for evaluating contact surface normal detection accuracy
  • FIG. 11 is an explanatory diagram schematically showing a second example (situation 2) of the evaluation environment for the detection accuracy of the contact surface normal
  • FIG. 13 is a configuration diagram showing an outline of a robot hand in the evaluation environment of FIG. 12;
  • FIG. 1 is an explanatory diagram showing an outline of a method of calculating a contact surface normal
  • FIG. 4 is an explanatory diagram showing an outline of a contact point calculation method
  • FIG. 4 is an explanatory diagram schematically showing a first example (situation 1) of an environment for evaluating contact
  • FIG. 12 is a characteristic diagram showing evaluation results of estimated angles of contact surface normals in situation 1 of FIG. 11 ;
  • FIG. 13 is a characteristic diagram showing an evaluation result of an estimated contact surface normal angle in situation 2 of FIG. 12 ;
  • FIG. 10 is an explanatory diagram schematically showing an environment for evaluating the detection accuracy of contact surface normals of different object shapes;
  • FIG. 4 is an explanatory diagram schematically showing a planar evaluation object;
  • FIG. 4 is an explanatory diagram schematically showing a columnar evaluation object;
  • FIG. 4 is an explanatory diagram schematically showing a spherical evaluation object;
  • FIG. 10 is a characteristic diagram showing an evaluation result when the evaluation object is planar;
  • FIG. 10 is a characteristic diagram showing evaluation results when the evaluation object is cylindrical and the detection direction is the non-curvature direction;
  • FIG. 10 is a characteristic diagram showing evaluation results when the evaluation object is cylindrical and the detection direction is the direction with curvature;
  • FIG. 10 is a characteristic diagram showing evaluation results when an evaluation object is spherical;
  • FIG. 10 is an explanatory diagram of evaluation results when the evaluation object is cylindrical and the detection direction is the direction with curvature;
  • FIG. 10 is an explanatory diagram showing evaluation results of each evaluation object;
  • 4 is a block diagram schematically showing an example of hand control by the gripping control device according to the first embodiment;
  • FIG. FIG. 4 is an explanatory diagram showing an example of parameters used for hand control;
  • FIG. FIG. 2 is a configuration diagram schematically showing an example of a robot hand used for evaluation of a hand control method by the gripping control device according to the first embodiment;
  • FIG. 10 is an explanatory diagram showing a simulation result of evaluation of a hand control method by the gripping control device according to the first embodiment;
  • FIG. 4 is an explanatory diagram showing physical parameters of a robot hand used in a simulation for evaluating a hand control method by the gripping control device according to the first embodiment;
  • FIG. 5 is an explanatory diagram showing physical parameters of a gripped object and control parameters of hand control used in a simulation for evaluating a hand control method by the gripping control device according to the first embodiment;
  • the fingertip In order to make the pressure distribution steep, the fingertip is required to be an elastic body with a curved surface. In order to satisfy the condition 2, it is common to use the contact point of the fingertip and the normal line of the contact surface during the gripping operation. Therefore, in order to satisfy both the condition 1 and the condition 2, it is required to detect the contact surface normal of the fingertip of the curved elastic body and the contact point during the gripping operation.
  • FIG. 1 schematically shows a state in which an object 100 is brought into vertical contact with a fingertip 110 of a curved elastic body, and then a shear displacement is generated.
  • FIG. 2 shows the FEM analysis results of the state shown in FIG.
  • FIG. 3 schematically shows a state in which the object 100 is in oblique contact with the fingertip 110 of the curved elastic body.
  • FIG. 4 shows the FEM analysis results of the state shown in FIG.
  • a sensor 120 is provided on the bottom surface of the fingertip 110 .
  • FIGS. 2 and 4 show the contact surface state (A), the normal stress distribution on the contact surface (B), and the normal stress distribution on the sensor surface (C) as the FEM analysis results. From the results of FIGS. 2 and 4, it can be seen that the vertical stress distribution is maximized at a position shifted from the center in both cases in which the object 100 is in contact with the fingertip 110 vertically and obliquely. It can be seen that the distribution changes to From this, it can be seen that it is difficult to distinguish between the case of vertical contact and subsequent shear displacement and the oblique contact.
  • Non-Patent Document 1 (“Intelligent Fingertip Sensing for Contact Information Identification”, Advances in Reconfigurable Mechanisms and Robots, pp.599-608, 2012) is an existing technology related to contact surface normal and contact point detection.
  • the technique described in Non-Patent Document 1 utilizes 6-axis haptic information to calculate the contact surface normal of a curved rigid body fingertip and the contact point from a mathematical model.
  • the technique described in Non-Patent Document 1 assumes that the fingertip is a rigid body and does not deform. Therefore, it is difficult to both calculate the contact surface normal of the fingertip of the curved elastic body and the contact point and detect the initial slippage.
  • Patent document 1 Japanese Patent Application Laid-Open No. 2009-56593 is an existing technology related to contact surface normal line and contact point detection.
  • the fingertip surface is divided into elements, and the contact point and the contact surface normal are calculated in advance from the coordinates of each grid point.
  • image recognition the coordinates of the target contact point on the object are determined, the fingertip contact point having a normal line along the normal vector is determined, and the target joint angle is determined.
  • the technology described in Patent Literature 1 is not a technology aimed at stable gripping after contact, but a technology for fingertip approach before contact, and detection after contact is not taken into consideration.
  • the image recognition method may cause occlusion depending on the position and orientation of the robot hand and the object.
  • Patent document 2 Japanese Patent Application Laid-Open No. 2007-75929 is an existing technology related to multi-fingered hand control using contact surface normals and contact points.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2007-75929
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2007-75929
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2007-75929
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2007-75929
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2007-75929
  • FIG. 5 schematically shows a configuration example of a grasping system according to the first embodiment of the present disclosure.
  • the gripping system 50 is a system that grips the object 100, and has a gripping control device 51 and a gripping device 52, as shown in FIG.
  • the gripping control device 51 is communicably connected to the gripping device 52 and can control driving of the gripping device 52 .
  • the gripping control device 51 can drive the gripping device 52 so as to grip the object 100 and control the gripping force (fingertip force) with which the gripping device 52 grips the object 100 .
  • the gripping control device 51 can also acquire information obtained by the gripping device 52 .
  • the gripping control device 51 can control driving of the gripping device 52 using information acquired from the gripping device 52 .
  • the gripping control device 51 has a "detection unit” and a “calculation unit” in the technology of the present disclosure.
  • the detection unit in the gripping control device 51 detects the normal direction of each of the plurality of curved elastic bodies 10 ( FIG. 8 to be described later) provided on each of the plurality of fingertips 1 of the gripping control device 51 . Detects the displacement of The calculation unit in the gripping control device 51 calculates the contact surface normal line of each fingertip 1 with respect to the gripped object, etc., based on the detection result of the detection unit, as will be described later.
  • the grip control device 51 is configured by a computer including, for example, one or more CPUs (Central Processing Units), one or more ROMs (Read Only Memories), and one or more RAMs (Random Access Memories). good too.
  • the processing of each unit by the gripping control device 51 can be realized by one or more CPUs executing processes based on programs stored in one or more ROMs or RAMs. Further, the processing of each unit by the gripping control device 51 may be realized by one or a plurality of CPUs executing processing based on a program externally supplied via a wired or wireless network, for example.
  • the gripping device 52 is, for example, a robot hand, and performs processing related to gripping the object 100 .
  • the gripping device 52 is driven under the control of the gripping control device 51 and can grip the object 100 with a gripping force designated by the gripping control device 51 .
  • Robot tasks such as object gripping and walking require control of contact force with the surrounding environment and the object 100 for gripping and walking.
  • the control becomes difficult.
  • gripping control it is necessary to control the gripping force that does not cause the object 100 to slip or break.
  • an appropriate gripping force is determined. This is a difficult task for robot control.
  • Initial slippage is a phenomenon in which only a part of the contact surface begins to slip, and is also called a premonitory phenomenon of total slippage.
  • slip also called total slip
  • fixation refers to a state in which static friction occurs over the entire contact surface between the fingertip and the object 100 as the gripped object, and there is no relative movement between the two.
  • Slip total slip
  • total slip refers to a state in which dynamic friction is generated and two objects in contact are in relative motion.
  • dynamic friction is generated over the entire contact surface between the fingertip and the grasped object, and it refers to slippage accompanied by relative movement between the two.
  • Initial slippage is a phenomenon in which dynamic friction is generated on a part of the contact surface between the fingertip and the gripped object, which is also called a precursor phenomenon of the above-mentioned slippage (overall slippage).
  • This initial slip state is said to exist during the transition from the "stick” state to the "slip” state. In the initial sliding state, no relative motion occurs between the fingertip and the grasped object.
  • the contact area is defined as the "sticking area” (that is, the partial area where static friction occurs in the contact surface between the fingertip and the grasped object) where initial slippage does not occur, and the contact area where initial slippage occurs. (that is, the partial area where dynamic friction is generated in the contact surface between the fingertip and the gripped object).
  • the degree of slippage can be expressed as a ratio of these two regions.
  • FIG. 7A a spherical object as the object 100 is gripped with a planar fingertip, or as the object 100 as shown in FIG.
  • FIG. 7C shows an example of the results of FEM analysis performed under conditions corresponding to the case of gripping with fingertips.
  • FIG. 7C shows how the sticking ratio (sliding area/sticking area) changes on the contact surface.
  • the areas shown in dark gray indicate sticking areas, and the areas shown in light gray indicate slip areas.
  • F X unit: Newton (N)
  • N Newton
  • the "shear direction” is a direction perpendicular to the normal direction of the contact surface and indicates a direction parallel to the contact surface. It is the same as the direction in which slip occurs.
  • a gripping device 52 such as a robot hand has a plurality of fingertips 1 .
  • a configuration example of one fingertip 1 is shown in FIG.
  • Each fingertip 1 has a plurality of elastic bodies 10 having a curvature (having a curved surface shape) and a sensor 20 such as a pressure distribution sensor provided on the bottom surface of each elastic body 10 .
  • the detection unit of the gripping control device 51 Based on the detection result of the sensor 20 of each fingertip 1, the detection unit of the gripping control device 51 detects the displacement of each elastic body 10 in the normal direction, the displacement of each fingertip 1 in the shear direction, and the displacement of the gripping object during gripping.
  • the sensor 20 is not limited to the pressure distribution sensor, and a force sensor, an optical tactile sensor, a displacement sensor, or the like can also be used.
  • the detection unit of the gripping control device 51 can directly detect force in the normal direction using the force sensor. Further, when using a force sensor, the detection unit of the gripping control device 51 can directly detect force in the shear direction using the force sensor and convert it into displacement in the shear direction.
  • the detection section of the grip control device 51 can detect force in the normal direction in the same way as when a pressure distribution sensor is used. Moreover, when an optical tactile sensor is used, the detection unit of the grip control device 51 can directly detect the displacement in the shear direction by the optical tactile sensor. When a displacement sensor is used, the detection unit of the grip control device 51 can directly detect the displacement in the normal direction using the displacement sensor.
  • FIG. 9 shows an outline of a method for calculating the contact surface normal.
  • FIG. 10 shows an overview of the contact point calculation method.
  • the detection unit of the gripping control device 51 uses, for example, formulas (1) and (2) based on Hertz's theorem below to determine the force acting on each elastic body 10 in the normal direction and the force of each elastic body 10 on the gripped object. From the contact surface information, the displacement (push amount) ⁇ in the normal direction of each elastic body 10 is calculated.
  • the calculation unit of the gripping control device 51 linearly approximates each pressing amount to calculate the contact surface of each fingertip 1 with respect to the gripped object (see FIGS. 9A and 9B).
  • P max maximum contact pressure
  • F contact force
  • E * contact elastic modulus
  • R * relative radius of curvature
  • Displacement in the normal direction (indentation amount) indicates
  • the calculation unit of the grip control device 51 calculates a contact surface normal vector n xz (see FIG. 9A) from the estimated contact surface.
  • the calculation unit of the gripping control device 51 calculates the contact point Ci between each fingertip 1 and the gripped object based on the contact surface of each fingertip 1 with respect to the gripped object (see FIGS. 10A and 10B).
  • the calculation unit of the grip control device 51 calculates the center of pressure position (CoP ).
  • the calculation unit of the grip control device 51 calculates the z-coordinate of the contact point Ci , for example, from the intersection of the contact surface and the x, y coordinates (the height of the x, y coordinate point on the contact surface in the z-axis direction). .
  • the pressure distribution sensor has a plurality of nodes for detecting pressure formed in a matrix.
  • N is the number of sensor nodes of the pressure distribution sensor
  • xi is the coordinate of the i-th node in the x-axis direction
  • yi is the coordinate of the i-th node in the y-axis direction
  • p(xi ) is the pressure detected by the i-th node in the x-axis direction
  • p(yi) is the pressure detected by the i-th node in the y-axis direction.
  • FIG. 11 schematically shows a first example (situation 1) of the environment for evaluating the detection accuracy of the contact surface normal.
  • FIG. 12 schematically shows a second example (situation 2) of the environment for evaluating the detection accuracy of the contact surface normal.
  • FIG. 13 shows an overview of the robotic hand 310 in the evaluation environment of FIG.
  • the evaluation tester 200 includes a Z stage 201 for adjusting the pushing amount and an X stage (translation/rotation stage 202) for generating shear displacement.
  • the shape of the object 100 is a planar object.
  • the robot 300 whose outline is shown in FIG. 12 is used.
  • the robot 300 has a robot hand 310 and an arm 320 .
  • the arm 320 is an arm with 7 degrees of freedom.
  • the robot hand 310 is a parallel gripper having a first finger (first fingertip) 311 and a second finger (second fingertip) 312, the outline of which is shown in FIG.
  • the first finger portion 311 and the second finger portion 312 have the same structure as the fingertip 1 shown in FIG.
  • FIG. 14 shows the evaluation result of the estimated angle of the normal to the contact surface in situation 1 of Fig. 11.
  • FIG. 15 shows the evaluation result of the estimated angle of the normal to the contact surface in Situation 2 of FIG. 14 and 15 show evaluation results of estimated angles between the xz direction and the yz direction.
  • FIG. 16 schematically shows an evaluation environment for the detection accuracy of the contact surface normal of the other object shape.
  • An evaluation tester 200A having basically the same structure as the evaluation tester 200 of FIG. ing.
  • Figures 17 to 19 show examples of evaluation objects.
  • evaluation objects three types of planar objects 101, cylindrical objects 102, and spherical objects 103 were prepared. Data were collected at 2° steps from 0° to 10° contact angle. For the columnar object 102, two types of data were collected: a direction without curvature and a direction with curvature.
  • 20 to 25 show evaluation results of each evaluation object.
  • the horizontal axis indicates the jig angle ⁇ a (°) and the vertical axis indicates the estimated angle ⁇ b (°). Since the estimated angle ⁇ b depends on the Young's modulus of the object, the absolute value cannot be guaranteed, but it was confirmed that the linearity and reproducibility are high.
  • 20 to 25 the closer the coefficient of determination R2 is to 1, the higher the linearity.
  • Each measurement was performed five times, and the standard deviation shown in FIG. 25 indicates the dispersion of measured values for each measurement. It should be noted that in the case of the cylindrical object 102 with curvature and the spherical object 103, since the object surface has a curvature, the jig angle object does not have a correct value.
  • the calculator calculates the fingertip force (gripping force) of each fingertip 1 on the gripped object based on the initial slippage of each fingertip 1, the normal to the contact surface of each fingertip 1, and the contact point of each fingertip 1. Calculate The gripping control device 51 performs hand control for stably gripping an unknown object based on the calculated fingertip force (gripping force).
  • FIG. 26 schematically shows an example of a control block diagram of hand control by the grip control device 51.
  • FIG. 27 shows an example of parameters used for hand control.
  • the grip control device 51 includes a slip detection/grip force determination unit 21, a grip control unit 22, a damping unit 24, and a subtractor 25 as control blocks for hand control.
  • Dai indicates a damping coefficient
  • S indicates a differential term.
  • the slip detection/grip force determination unit 21 detects and calculates the initial slip using the method described above based on the detection result from the sensor 20 . Further, the slip detection/grip force determination unit 21 calculates the target grip force (fingertip force) f d based on the initial slip and the detection/calculation results of the contact surface normal, and the grip control unit 22 controls input as a signal.
  • the hand 23 is hand-controlled based on the joint torque ⁇ calculated by the grip control unit 22 , the damping unit 24 and the subtractor 25 .
  • the hand 23 has a first finger portion (first fingertip) 11 and a second finger portion (second fingertip) 12 as a plurality of fingertips to grip the object 100.
  • the first finger portion 11 and the second finger portion 12 have a structure of a plurality of elastic bodies 10 having a curved shape like the fingertip 1 shown in FIG. 8, but the structure is shown in a simplified manner in FIG. .
  • the number of fingertips of the hand 23 is not limited to two, and is arbitrary.
  • Equation (5) An example of the control signal ⁇ i output from the grip control unit 22 is shown in Equation (5).
  • J(q i ) Jacobian matrix relating to the joint angle q i of each finger of the hand 23 and the center position of the fingertip hemisphere;
  • a i the center of the fingertip of the hand 23;
  • O the geometric center of each contact point between each fingertip of the hand 23 and the object 100;
  • C i each contact point between each fingertip of the hand 23 and the object 100;
  • f d target gripping force (fingertip force) indicates
  • the control signal ⁇ i (equation (5)) utilizes each fingertip force vector directed from each contact point C i between each fingertip of the hand 23 and the object 100 to the geometric center O of each contact point C i , resulting in a resultant force, and that the resultant moment is zero.
  • the control signal ⁇ i (equation (5)) can also be transformed into equation (6).
  • X i , Y i the contact surface line distance from the geometric center O to the contact point C i of each fingertip; e Xi , e Yi : contact surface line unit vector, e Zi : Indicates the contact surface normal unit vector.
  • the first term indicates the control term in the fingertip normal direction
  • the second and third terms indicate the control terms in the fingertip tangential direction.
  • the second and third terms are terms that compensate for the moment that each fingertip receives from the object 100 .
  • FIG. 28 schematically shows a configuration example of the slip detection/gripping force determination unit 21.
  • the slip detection/grip force determination unit 21 has an LPF (low pass filter) 31 , a reference value generation unit 32 , and a PID (Proportional Integral Differential) control unit 33 .
  • Initial slippage can be detected from displacement in shear direction and contact surface information.
  • the shear displacement can be estimated by using, for example, a pressure distribution sensor and based on the movement information of the pressure center position.
  • a pressure distribution sensor For the target gripping force fd , for example, as shown in FIG. 28, an algorithm that determines a gripping force that does not cause initial slippage using PID control can be used.
  • the initial slip can be used to prevent the occurrence of slip, and at the same time, the contact surface normal and the contact point can be used to achieve three-dimensional force balance.
  • the calculation unit calculates the fingertip force for controlling the position and orientation of the gripped object based on the contact surface normal of each fingertip 1 and the contact point of each fingertip 1 as the fingertip force of each fingertip 1 . You may make it calculate force.
  • FIG. 29 schematically shows an example of a control block diagram for performing position/orientation control of a grasped object by the grasping control device 51.
  • FIG. 29 schematically shows an example of a control block diagram for performing position/orientation control of a grasped object by the grasping control device 51.
  • the grip control device 51 includes a position/attitude control unit 40 as a control block that controls the position/attitude of the gripped object.
  • the position/orientation control section 40 has a position control section 41 and an orientation control section 42 .
  • FIG. 29 shows an example in which the position and orientation of the grasped object are controlled by the first finger (first fingertip) 11 and the second finger (second fingertip) 12, but the number of fingertips is reduced to two. It is optional and not limited.
  • Mode conversion by discrete Fourier transform is used for position/orientation control of the grasped object (equation (7)).
  • DFT transform discrete Fourier transform
  • G is a real scalar value after mode conversion
  • g is a real scalar value before mode conversion
  • W is a complex scalar value indicating a rotator.
  • N is a scalar value representing any integer.
  • the DFT can be expressed using the matrix FN shown in Equation (8) below.
  • the DFT matrix is used for the extraction of grasping modes and manipulation modes.
  • g denotes the external force [f 1 , .
  • G is the force or position extraction mode, whose components are divided into grasping and manipulating modes.
  • the "grasping mode” means force balance control
  • the "manipulation mode” means position and orientation control of the center of gravity of an object.
  • the position control signal ⁇ pi of the object center of gravity in the manipulation mode can be expressed, for example, by Equation (9), and the attitude control signal ⁇ Oi can be expressed, for example, by Equation (10).
  • O d target object position
  • K p position gain
  • e Xd e Xd
  • e Yd e Zd
  • K O attitude gain
  • J( ⁇ i ) Jacobian matrix for each joint angle of the posture angular velocity vector at the fingertip hemisphere center position.
  • FIG. 30 schematically shows an example of a robot hand used for evaluation of the hand control technique by the grip control device 51.
  • FIG. 31 shows simulation results when the hand control method according to the present technology described above is applied to the two-finger four-degree-of-freedom (pitch-pitch/pitch-pitch) robot hand shown in FIG.
  • FIG. 32 shows the physical parameters of the robot hand used in the simulation. Also, the physical parameters of the gripped object and the control parameters of hand control are shown in FIG. From the simulation results in FIG. 31, it can be confirmed that the values of Y1 and Y2 gradually approach each other. In other words, it was confirmed that the rolling of the fingertips could be used to control the balance of force and moment.
  • the normal lines of the plurality of curved elastic bodies 10 provided at the fingertips 1 contacting the gripped object Based on the directional displacement, the contact surface normal of each fingertip 1 with respect to the gripped object is calculated. This makes it possible to achieve stable gripping of an unknown object using the contact surface normal.
  • the gripping control device According to the gripping control device according to the first embodiment, the following effects are obtained. (1) It is possible to grasp an unknown object (no prior information about the object 100) by simultaneously detecting the initial slip that occurs during object grasping, the normal to the contact surface, and the contact point. . (2) To stably grip an unknown object with the minimum necessary force by detecting initial slippage, preventing slippage, and using the contact surface normal and contact point to solve the force/moment balance. enable (3) It can be applied to multi-flexible hand control without depending on the hand configuration. (4) If it becomes possible to apply it to a multi-degree-of-freedom hand, it will improve gripping stability and expand the range of objects that can be gripped.
  • the present technology can also have the following configuration.
  • each of the fingertips with respect to the gripped object is displaced in the normal direction of each of the plurality of elastic bodies having a curved surface shape provided on each of the plurality of fingertips contacting the gripped object. Calculate the contact surface normal. This makes it possible to achieve stable gripping of an unknown object using the contact surface normal.
  • a gripping control device comprising: a calculator that calculates a contact surface normal of each fingertip with respect to the gripped object based on a detection result of the detector.
  • the calculation unit calculates the contact surface normal of each fingertip based on the contact surface of each fingertip with respect to the gripped object calculated based on the displacement of each elastic body of each fingertip in the normal direction.
  • the calculator calculates the fingertip force for controlling the position and orientation of the grasped object based on the contact surface normal of each fingertip and the contact point of each fingertip as the fingertip force of each fingertip.
  • the gripping control device according to any one of (9) to (11) above. (13) The gripping control device according to (4) above, wherein the detection unit detects the force acting on each elastic body in the normal direction using a force sensor provided on the bottom surface of each elastic body. (14) The detection unit detects the force acting on each elastic body in the normal direction by combining the maximum pressure calculated based on the detection result of an optical tactile sensor provided on the bottom surface of each elastic body and the contact surface information. The gripping control device according to (4) above. (15) The gripping control device according to (1) above, wherein the detection unit detects displacement in a normal direction of each elastic body by a displacement sensor provided on a bottom surface of each elastic body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本開示の把持制御装置は、把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位を検出する検出部と、検出部の検出結果に基づいて、把持物体に対する各指先の接触面法線を算出する算出部とを備える。

Description

把持制御装置、および把持制御方法
 本開示は、把持制御装置、および把持制御方法に関する。
 ロボットハンド等の制御に関する技術が種々、提案されている(例えば特許文献1、2、および非特許文献1参照)。ロボットハンド等では、把持物体が未知物体(質量、重心位置、摩擦係数等が不明な物体)であっても安定的に把持することが求められる。安定した把持を実現するためには、ロボットハンド等において各指先力の大きさおよび向きを適切に与えることが求められる。
特開2009-56593号公報 特開2007-75929号公報
"Intelligent Fingertip Sensing for Contact Information Identification", Advances in Reconfigurable Mechanisms and Robots, pp.599-608, 2012
 未知物体の安定的な把持を実現するために、把持物体に対する各指先の接触面法線等を算出して指先力の制御に利用することが考えられる。
 未知物体の安定的な把持を実現することが可能な把持制御装置、および把持制御方法を提供することが望ましい。
 本開示の一実施の形態に係る把持制御装置は、把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位を検出する検出部と、検出部の検出結果に基づいて、把持物体に対する各指先の接触面法線を算出する算出部とを備える。
 本開示の一実施の形態に係る把持制御方法は、把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位を検出することと、検出結果に基づいて、把持物体に対する各指先の接触面法線を算出することとを含む。
 本開示の一実施の形態に係る把持制御装置、または把持制御方法では、把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位に基づいて、把持物体に対する各指先の接触面法線が算出される。
物体を曲面弾性体の指先に対して垂直に接触させ、その後せん断変位を発生させた状態を模式的に示す構成図である。 図1に示した状態のFEM解析結果を示す説明図である。 物体を曲面弾性体の指先に対して斜めに接触させた状態を模式的に示す構成図である。 図2に示した状態のFEM解析結果を示す説明図である。 本開示の第1の実施の形態に係る把持システムの一例を概略的に示す構成図である。 把持力制御についての説明図である。 固着率についての説明図である。 第1の実施の形態に係る把持装置における指先の一例を概略的に示す構成図である。 接触面法線の算出手法の概要を示す説明図である。 接触点の算出手法の概要を示す説明図である。 接触面法線の検出精度の評価環境の第1の例(シチュエーション1)を模式的に示す説明図である。 接触面法線の検出精度の評価環境の第2の例(シチュエーション2)を模式的に示す説明図である。 図12の評価環境におけるロボットハンドの概要を示す構成図である。 図11のシチュエーション1による接触面法線の推定角度の評価結果を示す特性図である。 図12のシチュエーション2による接触面法線の推定角度の評価結果を示す特性図である。 他物体形状の接触面法線の検出精度の評価環境を模式的に示す説明図である。 平面状の評価物体を模式的に示す説明図である。 円柱状の評価物体を模式的に示す説明図である。 球状の評価物体を模式的に示す説明図である。 評価物体が平面状である場合の評価結果を示す特性図である。 評価物体が円柱状であり、かつ検出方向が曲率なし方向である場合の評価結果を示す特性図である。 評価物体が円柱状であり、かつ検出方向が曲率あり方向である場合の評価結果を示す特性図である。 評価物体が球状である場合の評価結果を示す特性図である。 評価物体が円柱状であり、かつ検出方向が曲率あり方向である場合の評価結果の説明図である。 各評価物体の評価結果を示す説明図である。 第1の実施の形態に係る把持制御装置によるハンド制御の一例を概略的に示すブロック図である。 ハンド制御に用いられるパラメータの一例を示す説明図である。 滑り検出・把持力決定部の一構成例を概略的に示すブロック図である。 第1の実施の形態に係る把持制御装置による把持物体の位置姿勢制御の一例を概略的に示すブロック図である。 第1の実施の形態に係る把持制御装置によるハンド制御手法の評価に用いたロボットハンドの一例を概略的に示す構成図である。 第1の実施の形態に係る把持制御装置によるハンド制御手法の評価のシミュレーション結果を示す説明図である。 第1の実施の形態に係る把持制御装置によるハンド制御手法の評価のシミュレーションに用いたロボットハンドの物理パラメータを示す説明図である。 第1の実施の形態に係る把持制御装置によるハンド制御手法の評価のシミュレーションに用いた把持物体の物理パラメータ、およびハンド制御の制御パラメータを示す説明図である。
 以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
 0.比較例(図1~図4)
 1.第1の実施の形態(図5~図33)
  1.1 把持システムの構成例
  1.2 把持システムの各部の構成例および動作例、ならびに評価例
  1.3 効果
 2.その他の実施の形態
 
<0.比較例>
 ロボットハンド等では、把持物体が未知物体(質量、重心位置、摩擦係数等が不明な物体)であっても安定的に把持することが求められる。安定した把持を実現するためには、ロボットハンド等において各指先力の大きさおよび向きを適切に与えることが求められる。安定把持の条件は2つあり、各指先力が摩擦円錐内に存在すること(滑りの発生を防ぐ)(条件1)、合力、および合モーメントが0であること(条件2)である。条件1を満たすためには、初期滑りの検出が有効である。初期滑りとは、滑りの前兆現象であり、指先の接触面の一部のみが滑り出す現象である。初期滑りは圧力分布が急峻であるほど緩やかに発生し、検出が容易になる。圧力分布を急峻にするためには、指先は曲面の弾性体であることが求められる。条件2を満たすためには、把持動作中の指先の接触点および接触面法線を利用する方法が一般的である。したがって、条件1と条件2とを両立させるためには、把持動作中の曲面弾性体の指先の接触面法線、および接触点を検出することが求められる。
 ここで、把持動作中の曲面弾性体の指先の接触面法線、および接触点の検出の技術的課題について、FEM(Finite Element Method)解析結果をもとに説明する。
 図1は、物体100を曲面弾性体の指先110に対して垂直に接触させ、その後せん断変位を発生させた状態を模式的に示している。図2には、図1に示した状態のFEM解析結果を示す。図3は、物体100を曲面弾性体の指先110に対して斜めに接触させた状態を模式的に示している。図4には、図3に示した状態のFEM解析結果を示す。指先110の底面にはセンサ120が設けられている。
 図2および図4には、FEM解析結果として、接触面状態(A)と、接触面の垂直応力分布(B)と、センサ面の垂直応力分布(C)とを示す。図2および図4の結果より、物体100を指先110に対して垂直に接触させた場合と斜めに接触させた場合とのどちらの場合でも垂直応力分布は中心からずれた位置で最大を取るような分布に変化することが見て取れる。このことから、垂直に接触させ、その後せん断変位を発生させた場合と斜めに接触させた場合とを区別することは困難であることがわかる。
 既存の技術には上記条件1で必要となる初期滑りの検出と、上記条件2で必要となる接触面法線、および接触点の検出の両立を試みた例がない。したがって、既存の技術では、把持動作中の曲面弾性体の指先の接触面法線、および接触点を検出することは困難である。既存の技術とその問題点を以下に示す。
 非特許文献1(“Intelligent Fingertip Sensing for Contact Information Identification”, Advances in Reconfigurable Mechanisms and Robots, pp.599-608, 2012)は、接触面法線、および接触点検出に関する既存技術である。非特許文献1に記載の技術では、6軸力覚情報を利用し、数理モデルから曲面剛体指先の接触面法線、および接触点を算出する。非特許文献1に記載の技術では、指先が剛体であり、変形しないことを前提としている。このため、曲面弾性体の指先の接触面法線、および接触点を算出することと初期滑り検出とを両立することは困難である。
 特許文献1(特開2009-56593号公報)は、接触面法線、および接触点検出に関する既存技術である。特許文献1に記載の技術では、指先表面を要素分割し、予め各格子点の座標から接触点、接触面法線を算出する。画像認識によって、物体上の目標接触点の座標を決定し、その法線ベクトルと沿う方向の法線を有する指先接触点を求め、目標関節角度を求める。特許文献1に記載の技術は、接触後の安定把持を目的とする技術ではなく、接触前の指先アプローチのための技術であり、接触後の検出が考慮されていない。また、画像認識による手法はロボットハンドおよび物体の位置姿勢によってはオクルージョンが発生する場合がある。
 特許文献2(特開2007-75929号公報)は、接触面法線、および接触点を利用した多指ハンド制御に関する既存技術である。特許文献2に記載の技術では、指と把持する物体との接触点の変動を制御系に加えることが提案されている。また、摩擦係数が既知であることを利用して指先力の大きさを決定する。接触面法線、および接触点の検出に6軸力センサを利用する。特許文献2に記載の技術は、摩擦係数が既知であることを前提としており、初期滑り検出との両立は考慮されていない。使用センサも6軸力覚センサであり、剛体であることを前提としていると思われ、初期滑り検出との両立は困難である。
<1.第1の実施の形態>
[1.1 把持システムの構成例]
 図5は、本開示の第1の実施の形態に係る把持システムの一構成例を概略的に示している。
 把持システム50は、物体100を把持するシステムであり、図5に示されるように、把持制御装置51および把持装置52を有する。把持制御装置51は、把持装置52と通信可能に接続され、把持装置52の駆動を制御することができる。例えば、把持制御装置51は、物体100を把持するように把持装置52を駆動させたり、把持装置52が物体100を把持する把持力(指先力)を制御したりすることができる。また、把持制御装置51は、把持装置52において得られる情報を取得することもできる。例えば、把持制御装置51は、その把持装置52から取得した情報を用いて、把持装置52の駆動を制御することができる。
 把持制御装置51は、本開示の技術における「検出部」および「算出部」を有している。把持制御装置51における検出部は、後述するように、把持制御装置51の複数の指先1のそれぞれに設けられた曲面形状を有する複数の弾性体10(後述する図8)のそれぞれの法線方向の変位等を検出する。把持制御装置51における算出部は、検出部の検出結果に基づいて、後述するように、把持物体に対する各指先1の接触面法線等を算出する。
 把持制御装置51は、例えば1または複数のCPU(Central Processing Unit)と、1または複数のROM(Read Only Memory)と、1または複数のRAM(Random Access Memory)とを備えたコンピュータで構成されてもよい。この場合、把持制御装置51による各部の処理は、1または複数のROMまたはRAMに記憶されたプログラムに基づく処理を1または複数のCPUが実行することで実現し得る。また、把持制御装置51による各部の処理は、例えば有線または無線によるネットワークにより外部から供給されたプログラムに基づく処理を1または複数のCPUが実行することで実現してもよい。
 把持装置52は、例えばロボットハンドであり、物体100の把持に関する処理を行う。例えば、把持装置52は、把持制御装置51の制御に従って駆動され、把持制御装置51により指定される把持力で物体100を把持することができる。
(初期滑り)
 物体把持や歩行等のロボットのタスクで、把持や歩行などは、周囲環境や物体100との接触力の制御が必要である。しかしながら、その環境や物体100の物理量が不明の場合は制御が難しくなる。例えば把持制御においては物体100を滑らさずかつ破壊しない把持力を制御する必要があるが、物理量(質量、重心位置、摩擦係数等)が不明な未知物体の場合は適切な把持力を決定することが難しく、ロボット制御の課題となっている。
 そこで注目されているのが「初期滑り」と呼ばれる現象である。初期滑りは接触面の一部のみ滑り出す現象で全体滑りの前兆現象とも呼ばれている。初期滑り領域が徐々に拡大していき接触領域全域に広がると、一般的に言われている「滑り」(全体滑りとも称する)に遷移し、接触していた物体100や環境との相対的な運動が生じる。
 ここで、「固着」とは、指先と把持物体としての物体100との接触面全域で静止摩擦が発生し、両者の間で相対的な運動が無い状態を指す。また、「滑り(全体滑り)」とは、動摩擦が発生し接触している2つの物体間で相対的な運動を伴う状態を指す。ここでは、指先と把持物体との接触面全域で動摩擦が発生し、両者の間で相対的な運動を伴う滑りのことを指す。
 「初期滑り」とは、上述の滑り(全体滑り)が発生する前兆現象とも称される、指先と把持物体との接触面の一部で動摩擦が発生する現象のことである。「固着」状態から「滑り」状態へ遷移する間に、この初期滑り状態が存在すると言われている。初期滑り状態の場合、指先と把持物体との間で相対的な運動は生じない。
 例えば図6に示されるように、接触面に対して垂直な法線方向に働く力である把持力fが過剰に大きいと、物体100を破壊してしまう。また、把持力fが適性レベルを下回ると、「初期滑り」が発生し、さらに、把持力fが不足すると、その「初期滑り」が「滑り」に発展し、物体100を把持することができなくなる(落下させてしまう)。
 つまり、この初期滑りを検出することができれば、例えば把持制御において、物体を滑らさずに持てる最小把持力を算出することができる。物体を最小把持力で把持することができれば、把持により物体を破壊してしまう可能性をより抑制することができる。
(固着率)
 初期滑りを制御するためには、初期滑りの度合いを定量化する必要がある。ここで、接触領域は、初期滑りが発生していない「固着領域」(つまり、指先と把持物体との接触面のうち、静止摩擦が発生している部分領域)と、初期滑りが発生している「滑り領域」(つまり、指先と把持物体との接触面のうち、動摩擦が発生している部分領域)に分けられる。滑り度合いはこの2つの領域の割合で示すことができる。ここでは、接触領域に対する固着領域の割合を「固着率」と定義する。固着率1(=100%)の場合、接触領域は、滑り領域が無く完全に固着している状態にある。逆に、固着率0の場合、接触領域は、その全てが滑り領域となり、滑り(全体滑り)が発生している状態にある。逆に、固着率0の場合、接触領域は、その全てが滑り領域となり、滑り(全体滑り)が発生している状態にある。
 例えば、図7の(A)に示されるように物体100として球面物体を平面状の指先で把持した場合、または、図7の(B)に示されるように物体100として平面物体を曲面状の指先で把持した場合に相当する条件でFEM解析を行った結果の例を図7の(C)に示す。図7の(C)においては、接触表面における固着率(滑り領域/固着領域)の変化の様子が示されている。濃いグレーで示される領域が固着領域を示し、薄いグレーで示される領域が滑り領域を示す。せん断方向に働く力であるせん断力F(単位:ニュートン(N))が大きくなるにつれ、滑り領域が接触面の周囲から広がっていき、固着率が0%になると全て滑り領域へ遷移している。したがって、物体100を滑らせずに把持するためには、固着率が0%にならない程度に把持力を調整すれば良いと言える。
 ここで、「せん断方向」は、接触面法線方向に直交する方向であり、接触面に対して平行の方向を示す。滑りが発生する方向と同じである。
[1.2 把持システムの各部の構成例および動作例、ならびに評価例]
(初期滑り検出と両立する接触面法線、および接触点の算出手法の例)
 ロボットハンド等の把持装置52は、指先1を複数、有する。1つの指先1の一構成例を図8に示す。各指先1は、曲率を有する(曲面形状を有する)複数の弾性体10と、各弾性体10の底面に設けられた圧力分布センサ等のセンサ20とを有する。把持制御装置51の検出部は、各指先1のセンサ20の検出結果に基づいて、各弾性体10の法線方向の変位と、各指先1のせん断方向の変位と、把持物体の把持中に発生する各指先1の初期滑りとを同時に検出可能となっている。なお、以下では、各弾性体10に働く法線方向の力や法線方向の変位、および各指先のせん断方向の変位の検出をセンサ20として圧力分布センサを用いる場合を例に説明する。ただし、センサ20としては、圧力分布センサに限らず、力覚センサ、光学式触覚センサ、または変位センサ等を用いることも可能である。力覚センサを用いる場合、把持制御装置51の検出部は、力覚センサによって直接的に法線方向の力を検出することが可能である。また、力覚センサを用いる場合、把持制御装置51の検出部は、力覚センサによって直接的にせん断方向の力を検出し、せん断方向の変位に変換することが可能である。光学式触覚センサを用いる場合、把持制御装置51の検出部は、圧力分布センサを用いる場合と同様にして法線方向の力を検出することが可能である。また、光学式触覚センサを用いる場合、把持制御装置51の検出部は、光学式触覚センサによって直接的にせん断方向の変位を検出することが可能である。変位センサを用いる場合、把持制御装置51の検出部は、変位センサによって直接的に法線方向の変位を検出することが可能である。
 図9は、接触面法線の算出手法の概要を示している。図10は、接触点の算出手法の概要を示している。把持制御装置51の検出部は、例えば以下のヘルツの定理に基づく式(1)、式(2)を用いて、各弾性体10に働く法線方向の力と各弾性体10の把持物体に対する接触面情報とから、各弾性体10の法線方向の変位(押し込み量)δを算出する。把持制御装置51の算出部は、各押し込み量を線形近似することで、各指先1の把持物体に対する接触面を算出する(図9(A),(B)参照)。
ここで、
 Pmax:最大接触圧力、
 F:接触力、
 E:接触弾性係数、
 R:相対曲率半径、
 δ:法線方向の変位(押し込み量)
を示す。
Figure JPOXMLDOC01-appb-M000001
 
Figure JPOXMLDOC01-appb-M000002
 
 把持制御装置51の算出部は、推定した接触面から接触面法線ベクトルnxz(図9(A)参照)を算出する。把持制御装置51の算出部は、各指先1の把持物体に対する接触面に基づいて、各指先1と把持物体との接触点Cを算出する(図10(A),(B)参照)。把持制御装置51の算出部は、例えば接触点Cのx、y座標を、例えば以下の式(3)、式(4)に基づいて、センサ20としての圧力分布センサにおける圧力中心位置(CoP)より算出する。把持制御装置51の算出部は、接触点Cのz座標を、例えば上記接触面とx,y座標との交点より算出する(接触面におけるx,y座標点のz軸方向の高さ)。ここで、x,y各軸に対して最大値フィルタを利用すれば、様々な物体形状を検出することが可能となる。また、接触半球数変化時の不安定化対策として、接触・非接触がある程度連続的に検出された場合のみ数値更新するとよい。圧力分布センサは、マトリクス状に形成された圧力を検出するための複数のノードを備えている。式(3)、式(4)において、Nは圧力分布センサのセンサノード数、xiはx軸方向のi番目のノードの座標、yiはy軸方向のi番目のノードの座標、p(xi)はx軸方向のi番目のノードが検出した圧力、p(yi)はy軸方向のi番目のノードが検出した圧力である。
Figure JPOXMLDOC01-appb-M000003
 
Figure JPOXMLDOC01-appb-M000004
 
(初期滑り検出と両立する接触面法線、および接触点の算出手法の評価の例)
(評価例1:把持動作中の接触面法線の検出精度の評価例)
 図11は、接触面法線の検出精度の評価環境の第1の例(シチュエーション1)を模式的に示している。図12は、接触面法線の検出精度の評価環境の第2の例(シチュエーション2)を模式的に示している。図13は、図12の評価環境におけるロボットハンド310の概要を示す。
 下記2つのシチュエーションを想定した。
 ・物体100を、複数の曲面状の弾性体10を有する図8と同様の構造の指先1に対して垂直に接触させ、その後、せん断変位を発生させた場合(図11、シチュエーション1)
 ・ロボットハンド310で滑らないように紙コップ401を把持させ、途中で鉄球402が流し込まれた場合(図12、シチュエーション2)
 シチュエーション1では、図11に概要を示した評価試験機200を用いている。評価試験機200は、押し込み量を調整するZステージ201と、せん断変位を発生させるXステージ(並進・回転ステージ202)とを備えている。物体100の形状は平面物体となっている。
 シチュエーション2では、図12に概要を示したロボット300を用いている。ロボット300は、ロボットハンド310と、アーム320とを備えている。アーム320は、7自由度のアームとなっている。ロボットハンド310は、図13に概要を示した第1指部(第1指先)311と、第2指部(第2指先)312とを有する平行グリッパとなっている。第1指部311と第2指部312は、図8に示した指先1と同様の構造を有している。
 図14に、図11のシチュエーション1による接触面法線の推定角度の評価結果を示す。図15に、図12のシチュエーション2による接触面法線の推定角度の評価結果を示す。図14および図15には、xz方向とyz方向との推定角度の評価結果を示す。
 図14の結果より、既存の技術では接触面法線がせん断変位によってうまく検出されないことが課題であったが、本技術により標準偏差0.3°、最大誤差1.35°で接触面法線が検出できていることを確認できた。また、シチュエーション2では、鉄球402を注ぎ込むと重量が重くなり、滑らないように把持力を上げるため、紙コップ401は徐々につぶれ、接触面法線は90°に近づく。図15の結果より、推定結果はそれと一致することが確かめられた。
(評価例2:他物体形状の接触面法線の検出精度の評価例)
 図16に、他物体形状の接触面法線の検出精度の評価環境を模式的に示す。図11の評価試験機200と基本的に同様の構造の評価試験機200Aを用いているが、評価試験機200Aは、Zステージ201と並進・回転ステージ202とに加え、さらに回転ステージ203を備えている。
 図17~図19に、評価物体の例を示す。評価物体として、平面状の物体101、円柱状の物体102、および球状の物体103の3種類を用意した。接触角度0°から10°まで2°刻みでデータを収集した。円柱状の物体102では、曲率なし方向と、曲率あり方向との2通りのデータを収集した。
 図20~図25に、各評価物体の評価結果を示す。図20~図24において横軸は治具角度θa(°)、縦軸は推定角度θb(°)を示す。推定角度θbは物体のヤング率に依存するため絶対値の保証はできないものの、リニアリティ、再現性が高いことが確かめられた。なお、図20~図25において決定係数Rが1に近づくほどリニアリティが高いことを示す。各測定は5回ずつ行っており、図25に示す標準偏差は各測定の測定値のばらつきを示す。円柱状の物体102の曲率あり方向、球状の物体103については、物体表面に曲率があるので、治具角度物体が正解値とならないことに注意されたい。治具角度物体を変化させていくと、物体の形状を検出し、接触面法線が検出できていることがわかる。参考のため、図24にイメージ図を示す。円柱や球といった表面に曲率がある形状の物体に対しても、ばらつきが小さく、再現性が高いことが確認できた。
(初期滑り、接触面法線、および接触点に基づいて、未知物体を安定して把持するためのハンド制御手法の例)
 把持制御装置51において、算出部は、各指先1の初期滑り、各指先1の接触面法線、および各指先1の接触点に基づいて、各指先1の把持物体に対する指先力(把持力)を算出する。把持制御装置51は、算出された指先力(把持力)に基づいて未知物体を安定して把持するためのハンド制御を行う。
 図26に、把持制御装置51によるハンド制御の制御ブロック図の一例を概略的に示す。また、図27に、ハンド制御に用いられるパラメータの一例を示す。
 把持制御装置51は、ハンド制御のための制御ブロックとして、滑り検出・把持力決定部21と、把持制御部22と、ダンピング部24と、減算器25とを備えている。ダンピング部24において、Daはダンピング係数、Sは微分項を示す。
 滑り検出・把持力決定部21は、センサ20からの検出結果に基づいて、上述した手法で初期滑りの検出・算出を行う。また、滑り検出・把持力決定部21は、初期滑り、および接触面法線の検出・算出結果に基づいて、目標の把持力(指先力)fを算出して、把持制御部22に制御信号として入力する。
 ハンド23は、把持制御部22、ダンピング部24、および減算器25によって算出された関節トルクτに基づいてハンド制御される。ハンド23は、例えば図27に示したように、複数の指先として、第1指部(第1指先)11と、第2指部(第2指先)12とを有して物体100を把持する。第1指部11と第2指部12は、図8に示した指先1と同様に、曲面形状を有する複数の弾性体10の構造となっているが、図27では構造を簡略化して示す。なお、ハンド23の指先の数は2つに限定されず、任意である。
 把持制御部22から出力される制御信号τの例を式(5)に示す。
ここで、
 J(q):ハンド23の各指の関節角度qと指先半球中心位置に関するヤコビ行列、
 A:ハンド23の指先中心、
 O:ハンド23の各指先と物体100との各接触点の幾何中心、
 C:ハンド23の各指先と物体100との各接触点、
 f:目標の把持力(指先力)
を示す。
Figure JPOXMLDOC01-appb-M000005
 
 制御信号τ(式(5))は、ハンド23の各指先と物体100との各接触点Cから各接触点Cの幾何中心Oへと向かう各指先力ベクトルを利用し、合力、および合モーメントが0であることを満たす。制御信号τ(式(5))は、式(6)に式変形することもできる。
ここで、
 X、Y:幾何中心Oから各指先の接触点Cまでの接触面接線距離、
 eXi,eYi:接触面接線単位ベクトル、
 eZi:接触面法線単位ベクトル
を示す。
 式(6)において、第1項は指先法線方向の制御項、第2項および第3項は指先接線方向の制御項を示す。第2項および第3項は、物体100から各指先が受けるモーメントを補償する項である。
Figure JPOXMLDOC01-appb-M000006
 
 未知物体を安定して把持するために、適切な把持力fを設定する。本技術では初期滑りを利用して把持力fを決定する。図28に、滑り検出・把持力決定部21の一構成例を概略的に示す。滑り検出・把持力決定部21は、LPF(ローパスフィルタ)31と、参照値生成部32と、PID(Proportional Integral Differential)制御部33とを有する。
 初期滑りは、せん断方向の変位と接触面情報から検出することができる。せん断変位は例えば圧力分布センサを利用し、圧力中心位置の移動情報により推定することができる。目標の把持力fは、例えば図28に示したように、PID制御を利用して、初期滑りが発生しないような把持力を決定するアルゴリズムを利用することができる。
 以上より、初期滑りを利用して滑りの発生を防ぎ、同時に接触面法線、および接触点を利用して3次元の力のつり合いを実現することができる。
(接触面法線、および接触点に基づいて、未知物体の位置姿勢を制御する手法の例)
 さらに、上記ハンド制御に加え、接触面法線、および接触点を利用して、物体100の位置姿勢を制御する手法(重力補償)を説明する。
 把持制御装置51において、算出部は、各指先1の指先力として、各指先1の接触面法線、および各指先1の接触点に基づいて、把持物体の位置および姿勢を制御するための指先力を算出するようにしてもよい。
 図29に、把持制御装置51による把持物体の位置姿勢制御を行う制御ブロック図の一例を概略的に示す。
 把持制御装置51は、把持物体の位置姿勢制御を行う制御ブロックとして、位置姿勢制御部40を備える。位置姿勢制御部40は、位置制御部41と、姿勢制御部42とを有する。なお、図29には、第1指部(第1指先)11と第2指部(第2指先)12とによって把持物体の位置姿勢制御を行う例を示すが、指先の数は2つに限定されず、任意である。
 把持物体の位置姿勢制御には、離散フーリエ変換(DFT変換)によるモード変換を利用する(式(7))。式(7)において、Gはモード変換後の実スカラ値、gはモード変換前の実スカラ値、Wは回転子を示す複素スカラ値である。Nは任意の整数を示すスカラ値である。
Figure JPOXMLDOC01-appb-M000007
 
 DFTは以下の式(8)に示す行列Fを用いて表現できる。ここでは、DFT行列を把持モードと操りモードの抽出のために用いる。
Figure JPOXMLDOC01-appb-M000008
 
 式(7)において、gはn指のロボットフィンガーに加わる外力[f,…f、またはn指のロボットフィンガーの位置[x,…xを示す。Gは、力または位置に関する抽出モードであり、その成分は把持モードと操りモードに分けられる。「把持モード」は力のつり合い制御を意味し、「操りモード」は物体重心の位置姿勢制御を意味する。行ベクトル同士が直交するモード変換行列によって、「把持モード」と「操りモード」とに分解することで、互いに干渉することなく独立して制御することができる。
 操りモードである物体重心の位置制御信号τpiは例えば式(9)、姿勢制御信号τOiは例えば式(10)のように表すことができる。
ただし、
 O:目標物体位置、
 K:位置ゲイン、
 eXd,eYd,eZd:目標物体姿勢、
 K:姿勢ゲイン、
 J(Ω):指先半球中心位置における姿勢角速度ベクトルの各関節角に関するヤコビ行列
を示す。
Figure JPOXMLDOC01-appb-M000009
 
Figure JPOXMLDOC01-appb-M000010
 
(初期滑り、接触面法線、および接触点に基づいて、未知物体を安定して把持するためのハンド制御手法の評価例)
 図30は、把持制御装置51によるハンド制御手法の評価に用いたロボットハンドの一例を概略的に示している。上述の本技術によるハンド制御手法を、図30に示した2指4自由度(pitch-pitch/pitch-pitch)のロボットハンドに適用した場合のシミュレーション結果を図31に示す。
 ここで使用したシミュレーション環境はMATLAB R2019bである。シミュレーションに用いたロボットハンドの物理パラメータを図32に示す。また、把持物体の物理パラメータ、およびハンド制御の制御パラメータを図33に示す。図31のシミュレーション結果から、YとYの値が徐々に近づくことが確認できる。つまり、指先の転がりを利用して力、モーメントのつり合いが保たれるよう制御できることが確認できた。
[1.3 効果]
 以上説明したように、第1の実施の形態に係る把持制御装置によれば、把持物体に接触する複数の指先1のそれぞれに設けられた曲面形状を有する複数の弾性体10のそれぞれの法線方向の変位に基づいて、把持物体に対する各指先1の接触面法線を算出する。これにより、接触面法線を利用して、未知物体の安定的な把持を実現することが可能となる。
 第1の実施の形態に係る把持制御装置によれば、以下の効果が得られる。
(1)物体把持中に発生する初期滑りと接触面法線、および接触点を同時に検出することを可能にすることで、未知物体(事前に物体100の情報がない)の把持が可能になる。
(2)初期滑りを検出して滑りを防ぎ、接触面法線、および接触点を利用して力・モーメントのつり合いを解くことで、未知物体を必要最小限の力で安定的に把持することを可能にする。
(3)ハンド構成に依存せず、多自由のハンド制御への適用が可能となる。
(4)多自由度ハンドへの適用が可能になると、把持安定性の向上や、把持可能物体の範囲が拡大する。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
<2.その他の実施の形態>
 本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
 例えば、本技術は以下のような構成を取ることもできる。
 以下の構成の本技術によれば、把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位に基づいて、把持物体に対する各指先の接触面法線を算出する。これにより、接触面法線を利用して、未知物体の安定的な把持を実現することが可能となる。
(1)
 把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位を検出する検出部と、
 前記検出部の検出結果に基づいて、前記把持物体に対する前記各指先の接触面法線を算出する算出部と
 を備える
 把持制御装置。
(2)
 前記算出部は、前記各指先の前記各弾性体の法線方向の変位をもとに算出された前記各指先の前記把持物体に対する接触面に基づいて、前記各指先の前記接触面法線を算出する
 上記(1)に記載の把持制御装置。
(3)
 前記算出部は、さらに、前記各指先の前記把持物体に対する前記接触面に基づいて、前記各指先と前記把持物体との接触点を算出する
 上記(2)に記載の把持制御装置。
(4)
 前記検出部は、前記各弾性体の法線方向の変位を、前記各弾性体に働く法線方向の力と前記各弾性体の前記把持物体に対する接触面情報とから算出する
 上記(1)ないし(3)のいずれか1つに記載の把持制御装置。
(5)
 前記検出部は、前記各弾性体に働く前記法線方向の力を、前記各弾性体の底面に設けられた圧力分布センサの検出結果に基づいて算出された最大圧力と前記接触面情報とから算出する
 上記(4)に記載の把持制御装置。
(6)
 前記検出部は、さらに、前記各指先のせん断方向の変位を検出する
 上記(3)に記載の把持制御装置。
(7)
 前記検出部は、前記せん断方向の変位を、前記各弾性体の底面に設けられた圧力分布センサの検出結果に基づいて算出された前記各指先の圧力中心位置の移動情報に基づいて算出する
 上記(6)に記載の把持制御装置。
(8)
 前記検出部は、さらに、前記把持物体の把持中に発生する前記各指先の初期滑りを検出する
 上記(6)または(7)に記載の把持制御装置。
(9)
 前記算出部は、さらに、前記各指先の初期滑り、前記各指先の前記接触面法線、および前記各指先の前記接触点に基づいて、前記各指先の前記把持物体に対する指先力を算出する
 上記(8)に記載の把持制御装置。
(10)
 前記算出部は、前記各指先の前記指先力として、前記各指先の初期滑りが発生しないような指先力を算出する
 上記(9)に記載の把持制御装置。
(11)
 前記算出部は、前記各指先の前記指先力として、前記各指先の前記接触面法線、および前記各指先の前記接触点に基づいて、合力、および合モーメントが0となるような指先力を算出する
 上記(9)または(10)に記載の把持制御装置。
(12)
 前記算出部は、前記各指先の前記指先力として、前記各指先の前記接触面法線、および前記各指先の前記接触点に基づいて、前記把持物体の位置および姿勢を制御するための指先力を算出する
 上記(9)ないし(11)のいずれか1つに記載の把持制御装置。
(13)
 前記検出部は、前記各弾性体に働く前記法線方向の力を、前記各弾性体の底面に設けられた力覚センサによって検出する
 上記(4)に記載の把持制御装置。
(14)
 前記検出部は、前記各弾性体に働く前記法線方向の力を、前記各弾性体の底面に設けられた光学式触覚センサの検出結果に基づいて算出された最大圧力と前記接触面情報とから算出する
 上記(4)に記載の把持制御装置。
(15)
 前記検出部は、前記各弾性体の法線方向の変位を、前記各弾性体の底面に設けられた変位センサによって検出する
 上記(1)に記載の把持制御装置。
(16)
 前記検出部は、前記せん断方向の変位を、前記各弾性体の底面に設けられた光学式触覚センサによって検出する
 上記(6)に記載の把持制御装置。
(17)
 前記検出部は、前記せん断方向の変位を、前記各弾性体の底面に設けられた力覚センサによって検出する
 上記(6)に記載の把持制御装置。
(18)
 把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位を検出することと、
 前記検出結果に基づいて、前記把持物体に対する前記各指先の接触面法線を算出することと
 を含む
 把持制御方法。
 本出願は、日本国特許庁において2021年10月15日に出願された日本特許出願番号第2021-169412号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
 当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
 

Claims (18)

  1.  把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位を検出する検出部と、
     前記検出部の検出結果に基づいて、前記把持物体に対する前記各指先の接触面法線を算出する算出部と
     を備える
     把持制御装置。
  2.  前記算出部は、前記各指先の前記各弾性体の法線方向の変位をもとに算出された前記各指先の前記把持物体に対する接触面に基づいて、前記各指先の前記接触面法線を算出する
     請求項1に記載の把持制御装置。
  3.  前記算出部は、さらに、前記各指先の前記把持物体に対する前記接触面に基づいて、前記各指先と前記把持物体との接触点を算出する
     請求項2に記載の把持制御装置。
  4.  前記検出部は、前記各弾性体の法線方向の変位を、前記各弾性体に働く法線方向の力と前記各弾性体の前記把持物体に対する接触面情報とから算出する
     請求項1に記載の把持制御装置。
  5.  前記検出部は、前記各弾性体に働く前記法線方向の力を、前記各弾性体の底面に設けられた圧力分布センサの検出結果に基づいて算出された最大圧力と前記接触面情報とから算出する
     請求項4に記載の把持制御装置。
  6.  前記検出部は、さらに、前記各指先のせん断方向の変位を検出する
     請求項3に記載の把持制御装置。
  7.  前記検出部は、前記せん断方向の変位を、前記各弾性体の底面に設けられた圧力分布センサの検出結果に基づいて算出された前記各指先の圧力中心位置の移動情報に基づいて算出する
     請求項6に記載の把持制御装置。
  8.  前記検出部は、さらに、前記把持物体の把持中に発生する前記各指先の初期滑りを検出する
     請求項6に記載の把持制御装置。
  9.  前記算出部は、さらに、前記各指先の初期滑り、前記各指先の前記接触面法線、および前記各指先の前記接触点に基づいて、前記各指先の前記把持物体に対する指先力を算出する
     請求項8に記載の把持制御装置。
  10.  前記算出部は、前記各指先の前記指先力として、前記各指先の初期滑りが発生しないような指先力を算出する
     請求項9に記載の把持制御装置。
  11.  前記算出部は、前記各指先の前記指先力として、前記各指先の前記接触面法線、および前記各指先の前記接触点に基づいて、合力、および合モーメントが0となるような指先力を算出する
     請求項9に記載の把持制御装置。
  12.  前記算出部は、前記各指先の前記指先力として、前記各指先の前記接触面法線、および前記各指先の前記接触点に基づいて、前記把持物体の位置および姿勢を制御するための指先力を算出する
     請求項9に記載の把持制御装置。
  13.  前記検出部は、前記各弾性体に働く前記法線方向の力を、前記各弾性体の底面に設けられた力覚センサによって検出する
     請求項4に記載の把持制御装置。
  14.  前記検出部は、前記各弾性体に働く前記法線方向の力を、前記各弾性体の底面に設けられた光学式触覚センサの検出結果に基づいて算出された最大圧力と前記接触面情報とから算出する
     請求項4に記載の把持制御装置。
  15.  前記検出部は、前記各弾性体の法線方向の変位を、前記各弾性体の底面に設けられた変位センサによって検出する
     請求項1に記載の把持制御装置。
  16.  前記検出部は、前記せん断方向の変位を、前記各弾性体の底面に設けられた光学式触覚センサによって検出する
     請求項6に記載の把持制御装置。
  17.  前記検出部は、前記せん断方向の変位を、前記各弾性体の底面に設けられた力覚センサによって検出する
     請求項6に記載の把持制御装置。
  18.  把持物体に接触する複数の指先のそれぞれに設けられた曲面形状を有する複数の弾性体のそれぞれの法線方向の変位を検出することと、
     前記検出結果に基づいて、前記把持物体に対する前記各指先の接触面法線を算出することと
     を含む
     把持制御方法。
PCT/JP2022/031538 2021-10-15 2022-08-22 把持制御装置、および把持制御方法 WO2023062941A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280067963.6A CN118076467A (zh) 2021-10-15 2022-08-22 把持控制装置和把持控制方法
JP2023554950A JPWO2023062941A1 (ja) 2021-10-15 2022-08-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021169412 2021-10-15
JP2021-169412 2021-10-15

Publications (1)

Publication Number Publication Date
WO2023062941A1 true WO2023062941A1 (ja) 2023-04-20

Family

ID=85987376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031538 WO2023062941A1 (ja) 2021-10-15 2022-08-22 把持制御装置、および把持制御方法

Country Status (3)

Country Link
JP (1) JPWO2023062941A1 (ja)
CN (1) CN118076467A (ja)
WO (1) WO2023062941A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01316194A (ja) * 1988-06-16 1989-12-21 Yamatake Honeywell Co Ltd 滑り検出装置及びロボットハンドの滑り検出装置
JP2000254884A (ja) * 1999-03-10 2000-09-19 Keiogijuku ハンド又はマニピュレータによる物体把持制御方法
JP2017177294A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム
WO2020246263A1 (ja) * 2019-06-05 2020-12-10 ソニー株式会社 制御装置および方法、並びに、プログラム
WO2022039058A1 (ja) * 2020-08-20 2022-02-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01316194A (ja) * 1988-06-16 1989-12-21 Yamatake Honeywell Co Ltd 滑り検出装置及びロボットハンドの滑り検出装置
JP2000254884A (ja) * 1999-03-10 2000-09-19 Keiogijuku ハンド又はマニピュレータによる物体把持制御方法
JP2017177294A (ja) * 2016-03-31 2017-10-05 キヤノン株式会社 ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム
WO2020246263A1 (ja) * 2019-06-05 2020-12-10 ソニー株式会社 制御装置および方法、並びに、プログラム
WO2022039058A1 (ja) * 2020-08-20 2022-02-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2023062941A1 (ja) 2023-04-20
CN118076467A (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
Costanzo et al. Two-fingered in-hand object handling based on force/tactile feedback
Dollar et al. Joint coupling design of underactuated grippers
JP2009269127A (ja) 把持装置及びその制御方法
Delgado et al. In-hand recognition and manipulation of elastic objects using a servo-tactile control strategy
JP2014018931A (ja) 制御システム、プログラム及び機械装置の制御方法
CN106994685B (zh) 一种机械手的手指姿态判断方法及机械手
Costanzo Control of robotic object pivoting based on tactile sensing
US20240009857A1 (en) Information processing device, information processing method, and program
Costanzo et al. Slipping control algorithms for object manipulation with sensorized parallel grippers
León et al. Robot grasping foundations
Jia et al. Pose and motion from contact
JP6003312B2 (ja) ロボットシステム
Mazhitov et al. Human–robot handover with prior-to-pass soft/rigid object classification via tactile glove
WO2023062941A1 (ja) 把持制御装置、および把持制御方法
Narwal et al. Study of dynamics of soft contact rolling using multibond graph approach
Yussof et al. Development of optical three-axis tactile sensor and its application to robotic hand for dexterous manipulation tasks
Kansal et al. Tele-operation of an industrial robot by an arm exoskeleton for peg-in-hole operation using immersive environments
Lazher et al. Modeling and analysis of 3D deformable object grasping
Homma et al. Development of an identification method for the minimal set of inertial parameters of a multibody system
Yussof et al. Analysis of tactile slippage control algorithm for robotic hand performing grasp-move-twist motions
Kawasaki et al. Perception and haptic rendering of friction moments
Fasoulas et al. Active control of rolling manoeuvres of a robotic finger with hemispherical tip
Nacy et al. A novel fingertip design for slip detection under dynamic load conditions
Jia et al. Observing pose and motion through contact
Fasoulas et al. Modeling and grasp stability analysis for object manipulation by soft rolling fingertips

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22880638

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023554950

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280067963.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE