WO2021015025A1 - 制御装置、制御方法および制御プログラム - Google Patents

制御装置、制御方法および制御プログラム Download PDF

Info

Publication number
WO2021015025A1
WO2021015025A1 PCT/JP2020/027155 JP2020027155W WO2021015025A1 WO 2021015025 A1 WO2021015025 A1 WO 2021015025A1 JP 2020027155 W JP2020027155 W JP 2020027155W WO 2021015025 A1 WO2021015025 A1 WO 2021015025A1
Authority
WO
WIPO (PCT)
Prior art keywords
slip
force
gripping
control
detected
Prior art date
Application number
PCT/JP2020/027155
Other languages
English (en)
French (fr)
Inventor
智子 永仮
成田 哲也
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080051472.3A priority Critical patent/CN114206557A/zh
Priority to US17/624,656 priority patent/US20220274262A1/en
Publication of WO2021015025A1 publication Critical patent/WO2021015025A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • B25J13/083Grasping-force detectors fitted with slippage detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/084Tactile sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39505Control of gripping, grasping, contacting force, force distribution
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39507Control of slip motion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39528Measuring, gripping force sensor build into hand
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39532Gripping force sensor build into finger
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39547Program, plan gripping force, range and speed

Definitions

  • the present disclosure relates to control devices, control methods and control programs.
  • the control device includes a slip detection unit that detects the slip of the object gripped by the grip portion, and a control unit that controls the grip force that the grip portion grips the object based on the slip detected by the slip detection unit. Based on the slip detected by the slip detection unit, the control unit estimates the external force applied to the object being gripped by the grip unit, and controls the grip force based on the estimated external force.
  • Embodiment 1-1 Examples of robot hands applicable to the embodiment 1-2. About existing technology 2. More specific explanation of delivery according to the embodiment 2-1. Definition of each part 2-2. Method of estimating external force using slip sensation 2-3. Configuration of robot hand according to the embodiment 2-4. Control of delivery operation according to the embodiment 2-5. Operation in any delivery direction according to the embodiment 2-6. Application example of control according to the embodiment 3. First modification of the embodiment 4. Second modification of the embodiment 5. Third modification of the embodiment 6. Other configurations
  • the embodiment according to the present disclosure relates to the control of a robot hand capable of gripping an object, and particularly when a person passes an object to the robot hand and when a person receives an object from the robot hand, the gripping force Regarding the technology to properly control.
  • FIG. 1 is a perspective view schematically showing the appearance of the robot hand applicable to the embodiment.
  • the robot hand 11 is provided with two fingers 13a and 13b for the sake of explanation, and these fingers 13a and 13b are connected to the wrist portion 12 and arranged so as to face each other. That is, the finger portions 13a and 13b are held with the wrist portion 12 as a holding portion. Further, the finger portions 13a and 13b are provided with a parallel link mechanism, and are driven to open and close so that the links on the tip side (opposite side to the wrist portion 12) of the finger portions 13a and 13b maintain a parallel relationship. To do.
  • the links on the tip sides of the finger portions 13a and 13b are referred to as fingertip portions, respectively. Further, the finger portions 13a and 13b are driven to open and close by an actuator in response to a control signal supplied from the outside, for example.
  • the robot hand 11 is provided with a tactile sensor 15 at the fingertip portion of the finger portion 13a, and is further provided with an elastic body 14 with respect to the tactile sensor 15.
  • An elastic resin such as rubber is used for the elastic body 14, and the elastic body 14 is deformed according to a force applied to a side facing the surface in contact with the tactile sensor 15.
  • the elastic body 14 has a hemispherical shape, but this is not limited to this example.
  • the elastic body 14 may have a plate shape, or the surface in contact with the object gripped by the robot hand 11 may be subjected to processing such as unevenness.
  • the tactile sensor 15 outputs a detection signal according to the applied pressure.
  • a pressure distribution sensor capable of detecting the pressure distribution on a two-dimensional plane is applied.
  • the tactile sensor 15 can detect the force applied to the elastic body 14, the amount of displacement of the deformation generated in response to the force, and the direction of displacement in the two-dimensional plane.
  • the elastic body 14 and the tactile sensor 15 are similarly provided on the fingertip portion of the finger portion 13b.
  • the robot hand 11 can pinch an object of an object by the fingertips of the finger portions 13a and 13b, and can grip the object by using the frictional force.
  • the fingertip portion including the elastic body 14 (and the tactile sensor 15) can be said to be a grip portion that grips the object in response to the movements of the finger portions 13a and 13b.
  • an acceleration sensor for detecting the acceleration of the robot hand 11 is provided on the wrist portion 12 (not shown).
  • an acceleration sensor capable of detecting acceleration in each direction of the three axes is provided on the wrist portion 12. Based on the sensor output of the acceleration sensor, the magnitude of gravity applied to the robot hand 11 and the posture of the robot hand 11 can be detected.
  • the posture includes, for example, in the robot hand 11, when defining an axis whose direction coincides with the direction of gravity, the inclination of this axis with respect to the direction of gravity and the rotation with respect to the axis in the direction of gravity are included.
  • a force sensor (not shown) is further provided on the wrist portion 12 to detect the force applied to the entire robot hand 11.
  • the force sensor can be configured by, for example, an acceleration sensor. In the embodiment, this force sensor can be omitted.
  • the first problem is that it is difficult to detect minute changes in external force related to the fingertips because the force sensor provided on the wrist is used. That is, in order to realize the delivery of a natural object, it is necessary to be able to detect a minute change in external force.
  • the second problem is that it is difficult to distinguish whether the force detected by the force sensor is an external force related to the robot hand or an external force related to an object held by the robot hand.
  • the force sensor provided on the wrist may mistakenly detect the external force related to the robot hand as the external force related to the object, and it is difficult to realize the delivery of the object robust to the external force.
  • the third problem is the control of two states based on a certain threshold value.
  • the robot hand keeps grasping the object while maintaining a constant gripping force until a person applies a certain amount of force, and releases the force at once at a certain threshold value. Therefore, it is expected that a person cannot predict the movement of the robot hand and loses the balance.
  • the gripping portion of the robot hand when the gripping portion of the robot hand grips an object, the gripping portion detects slippage on the object, and the gripping portion controls the gripping force for gripping the object according to the detected slippage. In this way, by controlling the gripping force when the gripping part delivers the object according to the sliding of the object in the gripping part, it is possible to interact between the person and the robot hand as if they were human beings. Become.
  • FIG. 2 is a diagram schematically showing a force generated in each part when a human force acts on an object 300 gripped by the robot hand 11.
  • the robot hand 11 is in a posture in which the finger portions 13a and 13b open and close along a plane horizontal to the direction of gravity Mg, and the object 300 to be gripped is the finger portion 13a.
  • 13b are gripped by each fingertip.
  • a person is trying to pull up the object 300 in the direction opposite to the gravity Mg by, for example, a hand 301, and receive it from the robot hand 11.
  • each force acting on the object 300 by the fingertip portion (elastic body 14) of the finger portion 13b is defined.
  • the normal force f nRi the shear force f tRi , and the moment n Ri act on the object 300.
  • the normal force f nRi is a force acting on the object 300 in the direction in which the fingertips of the finger portions 13a and 13b sandwich the object 300. This normal force f nRi can be considered to be the gripping force with which the robot hand 11 grips the object 300.
  • the shear force f tRi is a force acting in a direction perpendicular to the normal force f nRi . In the example of FIG. 2, the shearing force ftRi is a force acting in the direction perpendicular to the object 300 (in the direction of gravity Mg).
  • the moment n Ri is a force acting in the direction of rotation in a plane intersecting at right angles to the direction of the normal force f n Ri .
  • the subscript "i" indicates each finger. That is, in the example of FIG. 2, the normal force f nR1 , the shear force f tR1 , and the moment n R1 act on the object 300 by the fingertip portion of the finger portion 13b. Further, the fingertips of the finger 13a exert a normal force f nR2 , a shearing force f tR2 , and a moment n R2 on the object 300.
  • each force of the normal force f nHi , the shearing force ftHi , and the moment n Hi acts on the object 300.
  • the normal force f nHi is a force acting on the object 300 in the direction in which each fingertip of the hand 301, for example, the thumb and each finger other than the thumb sandwiches the object 300.
  • the shearing force f tHi is a force acting on the object 300 in a direction perpendicular to the normal force f nHi .
  • the shearing force ftHi is a force acting in the direction perpendicular to the object 300 (direction of gravity Mg).
  • the moment n Hi is a force acting on the object 300 in the direction of rotation in a plane intersecting the normal force f n Hi at right angles.
  • each force of the normal force (grip force) f nH1 , the shear force ftH1 , and the moment nH1 acts on the object 300 by the first fingertip (for example, the thumb) of the hand 301. .. Further, the second fingertip 301 (e.g. each finger except the thumb), the normal force f nH2 relative to the object 300, shear forces f tH2, and each force moment n H2 acts.
  • the coefficient of friction between the robot hand 11 (elastic body 14) and the object 300 is the coefficient of friction ⁇ R
  • the coefficient of friction between the finger of the hand 301 and the object 300 is the coefficient of friction ⁇ H.
  • Estimate (moment generated by external force) Then, the robot so that the balance between the estimated external force and the force (grip force) generated by the robot hand 11 and the balance between the estimated external moment and the moment generated by the robot hand 11 are always maintained.
  • the gripping force in the hand 11 is controlled.
  • Equation (3) shows the balance between the estimated external force and the force generated by the robot hand 11. Further, the equation (4) shows the balance between the estimated external moment and the moment generated by the robot hand 11. That is, the equation (3) shows the balance in the positional direction, and the equation (4) shows the balance in the rotational direction.
  • the value "i" indicates each finger as described above.
  • the value "N" indicates the number of fingers.
  • FIG. 3 is a diagram showing a model for explaining Hertz's contact theory.
  • the horizontal right direction of the figure is the direction of gravity Mg
  • the elastic sphere 311 corresponds to the elastic body 14 of FIGS. 1 and 2
  • the rigid flat plate 310 corresponds to the object 300 of FIG.
  • the elastic sphere 311 is a hemisphere in which the surface facing the rigid flat plate 310 corresponding to the object 300 in FIG. 2 is joined to the tactile sensor 15.
  • Chart 320 of FIG. 3 schematically shows how the rigid flat plate 310 is in contact with the elastic sphere 311 with a direction parallel to the direction of gravity Mg as a tangent line.
  • Chart 321 of Figure 3 with the normal force f n is applied to the tangent and the direction perpendicular to the rigid flat plate 310, and a state in which the shearing force f t in the tangential direction is applied is schematically shown.
  • Shearing force f t is a gravity Mg
  • the shearing force f tH 0 by the hand 301.
  • a fingertip shear displacement amount u r is determined on the basis of the detection output by the tactile sensor 15. That is, the tactile sensor 15 is due to the shearing force f t, used as a sliding sensation sensor for detecting (sliding sense) sliding in the elastic ball 311 and the rigid flat plate 310 Prefecture.
  • the fingertip shear displacement amount u r there is shown a displacement of the position-direction, the contact theory of Hertz (Hertz), represented by the following formula (5).
  • Hertz Hertz
  • the radius of curvature of the elastic sphere 311 is R
  • the combined lateral elastic modulus of the elastic sphere 311 and the rigid plate 310 is G *
  • the combined longitudinal elastic modulus of the elastic sphere 311 and the rigid plate 310 is E *.
  • the shear force ft is unknown.
  • the normal force f n is known in, for example, a control unit that controls the gripping force of the robot hand 11, that is, the normal force f n .
  • the radius of curvature R, the synthetic lateral elastic modulus G * , and the synthetic Young's modulus E * are physical information and constant values of the elastic sphere 311 and the rigid flat plate 310. Therefore, it can be seen that the fingertip shear displacement amount u r depends on the normal force f n and the shear force f t . Therefore, by observing the fingertip shear displacement amount u r, it is possible to estimate the shear force f t.
  • the fingertip rotational displacement amount u theta which indicates the displacement in the rotational direction, is expressed by the following equation (6) based on the same concept as the fingertip shear displacement amount u r described above.
  • the moment n can be estimated by observing the fingertip rotational displacement amount u theta in the same manner as described above.
  • the fingertip rotational displacement amount u theta can also be obtained based on the detection result of the tactile sensor 15 as a slip sensor, similarly to the fingertip shear displacement amount u r described above.
  • Figure 4 is a case where external force Delta] f t is applied to the object 300 is a diagram showing an example of applying the model described with reference to FIG. Chart 322 in Figure 4, from the state shown in the chart 321 of FIG. 3 described above, and a state in which external force Delta] f t That shearing force f tH in the direction of gravity Mg opposite to the rigid flat plate 310 acts schematically shown.
  • the state of the chart 322 of FIG. 4 corresponds to a state in which the object 300 held by the robot hand 11 is pulled upward by, for example, the hand 301.
  • the shear force f tH has a negative value.
  • Chart 323 in FIG. 4 schematically shows a state in which a shear force ftH acts on the rigid flat plate 310 in the same direction as gravity Mg from the state shown in chart 321 of FIG. 3 described above.
  • the state shown in the chart 323 of FIG. 4 corresponds to a state in which the object 300 held by the robot hand 11 is pulled down by, for example, the hand 301.
  • the shear force ftH has a positive value.
  • the elastic sphere 311 is further deformed according to the added shear force ftH (> 0) with respect to the state shown in the chart 321 of FIG. 3 (see chart 323 of FIG. 4).
  • the fingertip shear displacement amount u r of the right diagram of FIG. 4 to the fingertip shear displacement amount u r in the state shown in the chart 321 of FIG. 3, the positive value corresponding to the shearing force f tH becomes the fingertip shear displacement amount ⁇ u r is added.
  • the fingertip shear displacement Delta] u r and fingertip rotation displacement Delta] u theta are corresponding to the slip of magnitude change in relative to the object 300 of the elastic ball 311 (e.g., changes per unit time).
  • the fingertip shear displacement Delta] u r and fingertip rotation displacement Delta] u theta is a value indicating the degree of slip with respect to the object 300 of the elastic ball 311.
  • the absolute contact position moves while maintaining the relative positional relationship between the contact positions of the elastic sphere 311 and the rigid flat plate 310, that is, the so-called initial slip. It is in a state.
  • the slips dealt with herein are in this initial slip condition.
  • FIG. 5 is a block diagram schematically showing a configuration of a robot device to which the robot hand 11 according to the embodiment can be applied.
  • the robot device 1 includes a robot hand 11 and an overall control unit 20.
  • the overall control unit 20 includes, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), various interfaces, etc., and uses the RAM as a work memory according to a program stored in advance in the ROM. , Control the overall operation of this robot device 1.
  • the interface transmits and receives signals between, for example, the overall control unit 20 and the robot hand 11.
  • the robot hand 11 includes a gripping force control unit 10, a plant 30, and various sensors 31.
  • the plant 30 includes, for example, an actuator used for a movable portion of the robot hand 11 and a drive circuit for driving the actuator, and executes opening / closing operations, gripping operations, and the like of the fingers 13a and 13b according to a drive control signal.
  • the various sensors 31 include one or more sensors that detect the force acting on the plant 30.
  • the various sensors 31 include the above-mentioned tactile sensor 15 and an acceleration sensor (described later) that detects the acceleration of the robot hand 11.
  • the gripping force control unit 10 generates a drive control signal for driving the plant 30 based on the control information supplied from the overall control unit 20 and the sensor information supplied from various sensors 31.
  • FIG. 6 is a functional block diagram of an example for explaining the function of the robot hand 11 according to the embodiment.
  • the robot hand 11 includes a tactile sensor 15, a plant 30, a gripping force generation unit 100, a reference force generation unit 101, an adder / subtractor 102, a drive control unit 103, a calculation unit 104, and a subtractor. Includes 105 and an acceleration sensor 110.
  • the gripping force control unit 10 described with reference to FIG. 5 includes, for example, a gripping force generation unit 100, a reference force generation unit 101, an adder / subtractor 102, a drive control unit 103, a calculation unit 104, and a subtractor 105.
  • the gripping force generation unit 100, the reference force generation unit 101, the adder / subtractor 102, the drive control unit 103, the calculation unit 104, and the subtractor 105 are based on a program that operates on a CPU (described later) included in the gripping force control unit 10. It will be realized.
  • a hardware circuit that operates a part or all of the gripping force generation unit 100, the reference force generation unit 101, the adder / subtractor 102, the drive control unit 103, the calculation unit 104, and the subtractor 105 in cooperation with each other. It may be configured by.
  • the various sensors 31 include, for example, a tactile sensor 15 and an acceleration sensor 110.
  • the acceleration sensor 110 is, for example, a sensor capable of detecting acceleration in each direction of three axes, and can detect the posture of the robot hand 11 and gravity Mg.
  • the calculation unit 104 calculates the fingertip shear displacement amount u r and the fingertip rotational displacement amount u theta based on the detection output of the tactile sensor 15. That is, the calculation unit 104 and the tactile sensor 15 constitute a slip detection unit that detects slippage of the object 300 gripped by the robot hand 11.
  • a pressure distribution sensor capable of detecting a pressure distribution can be applied.
  • a plurality of pressure sensors for detecting pressure are arranged in a matrix, and information indicating the pressure detected by each pressure sensor can be output in association with coordinate information in the matrix. is there.
  • the calculation unit 104 calculates the amount of movement of the pressure center CoP (Center of Pressure) based on the detection output supplied from the tactile sensor 15.
  • the pressure center CoP can be generally calculated by the following equation (7).
  • the variable x i indicates the position (x coordinate) of the pressure sensor in the X direction
  • the variable p (x i ) indicates the pressure at the position x i
  • the variable N indicates the number of distributions.
  • the calculation unit 104 acquires the detection output of the tactile sensor 15 at a predetermined sampling cycle, performs a calculation based on the above equation (7), and obtains the pressure center X cop and the pressure acquired in the immediately preceding calculation. Find the difference from the center X cop .
  • Calculation unit 104 outputs the difference as a fingertip shear displacement Delta] u r.
  • the amount of rotational displacement of the fingertip ⁇ u theta can be calculated based on the amount of change in the pressure center CoP in the angular direction.
  • Fingertip shear displacement amount Delta] u r and fingertip rotation displacement Delta] u theta output from the operation unit 104 is input to one input terminal of each of the subtractor 105.
  • the other input of the subtractor 105, the fingertip shear displacement Delta] u r and fingertip rotation displacement Delta] u theta respective target value u R_ref and u Theta_ref are input.
  • the value "0" is input to the other input end of the subtractor 105 as the target values ur_ref and u theta_ref , respectively.
  • These target values u r_ref and u theta_ref are supplied , for example, from the overall control unit 20 as information included in the control information. Not limited to this, these target values ur_ref and u theta_ref may be stored in advance in a memory or the like provided in the gripping force control unit 10.
  • Subtractor 105 supplies a value obtained by subtracting the other input from the target value u R_ref inputted to the input terminal to one input terminal a fingertip shear displacement Delta] u r gripping force generation unit 100.
  • the gripping force generation unit 100 generates a gripping force for the robot hand 11 to grip the object 300. More specifically, the gripping force generating unit 100 applies the supplied values from the subtractor 105 to the fingertip shear displacement amount u r of formula (5) described above, to calculate the shear force f t. Moreover, the gripping force generating unit 100, the value supplied from the subtractor 105, based on the shearing force f t, the above equation (5) to calculate the normal force f n. The gripping force generating unit 100 calculates the moment n using the equation (6) in the same manner for the fingertip rotational displacement amount u theta .
  • the gripping force generation unit 100 generates, for example, a gripping force corresponding to these normal forces ⁇ f n and moment ⁇ n. More specifically, the gripping force generating unit 100 calculates torque information ⁇ 0 indicating the torque for driving the actuator provided in, for example, the plant 30 corresponding to the normal force ⁇ f n and the moment ⁇ n as the gripping force. To do.
  • the torque information ⁇ 0 generated by the gripping force generation unit 100 is input to one input end of the adder / subtractor 102.
  • the reference force generation unit 101 generates initial values of the normal force f n and the moment n as the reference force.
  • the initial value of the normal force f n and moments n is, for example, a normal force f n and moments n when gripping the object 300 to the robot hand 11 is the subject of current processing first.
  • the initial values are the normal force f n and the moment n in a state where the shearing force ft or the like by the hand 301 is not acting on the object 300 held by the robot hand 11.
  • the reference force generation unit 101 generates a reference force according to the normal force f n and the moment n. More specifically, the reference force generation unit 101 generates torque information ⁇ 1 as a reference force.
  • the reference force generation unit 101 is a memory, and the gripping force (torque information ⁇ 0 in this example) generated by the gripping force generation unit 100 in the state is used as a reference force (torque information ⁇ 1 in this example). ).
  • the reference force generation unit 101 may store the torque information ⁇ , which is the actual torque used by the drive control unit 103, which will be described later, to drive the plant 30 as the reference force.
  • the reference force generated (read out) by the reference force generation unit 101 is input to the other input end of the adder / subtractor 102.
  • the addition / subtractor 102 subtracts or adds the reference force input from the reference force generation unit 101 and the gripping force input from the gripping force generation unit 100.
  • the result of addition or subtraction of the reference force and the gripping force by the addition / subtractor 102 is output as information indicating the gripping force for actually driving the plant 30.
  • the adder / subtractor 102 performs subtraction by subtracting the gripping force from the reference force.
  • the adder / subtractor 102 adds the gripping force to the reference force.
  • Whether the robot hand 11 delivers or receives the object 300 can be determined by using, for example, the sensor output of the acceleration sensor 110.
  • the gripping force generation unit 100 detects the direction of gravity Mg based on the sensor output of the acceleration sensor 110. Also, the gripping force generating unit 100, based on the sign of the fingertip shear displacement Delta] u r, generated in the robot hand 11, to detect the direction of sliding relative to the object 300. As an example, it is conceivable that the gripping force generating unit 100 determines that the sliding direction coincides with the direction of gravity Mg, it receives it, and if it does not match (reverse direction), it receives it.
  • the information indicating the gripping force output from the addition / subtractor 102 is supplied to the drive control unit 103.
  • the drive control unit 103 generates a drive control signal for driving the plant 30 based on the information indicating the supplied gripping force.
  • the drive control unit 103 generates torque information ⁇ indicating the torque when driving the actuator included in the plant 30, for example, based on the information indicating the gripping force supplied from the adder / subtractor 102.
  • the drive control unit 103 drives the plant 30 based on the generated torque information ⁇ .
  • FIG. 7 is a block diagram of an example showing the hardware configuration of the robot hand 11 according to the embodiment. Note that FIG. 7 shows the configuration of the control system extracted from the hardware configuration of the robot hand 11.
  • the robot hand 11 includes a CPU 1000, a ROM 1001, a RAM 1002, a drive I / F (interface) 1010, a sensor I / F 1011 and a communication I / F 1012.
  • the CPU 1000 uses the RAM 1002 as a work memory according to the program stored in the ROM 1001 to control the overall operation of the robot hand 11.
  • the drive I / F 1010 is an interface between the CPU 1000 and a drive unit such as various actuators included in the plant 30.
  • the CPU 1000 sends a drive control signal generated according to the program to the plant 30 via the drive I / F 1010. Further, the plant 30 sends each information about the operation and the state of the plant 30 such as the status information indicating its own state to the drive I / F 1010.
  • the drive I / F 1010 receives each information sent from the plant 30 and passes it to the CPU 1000.
  • the sensor I / F1011 is an interface between various sensors 31 and the CPU 1000.
  • the sensor I / F receives each sensor output output from various sensors 31, and passes each received sensor output to the CPU 1000.
  • the communication I / F 1012 controls the communication between the overall control unit 20 and the robot hand 11.
  • the control information output from the overall control unit 20 is transmitted to the robot hand 11 via the communication I / F 1012.
  • the information output from the robot hand 11 can be transmitted to the overall control unit 20 via the communication I / F 1012.
  • the data of the program for operating the CPU 1000 can be transmitted from the overall control unit 20 to the robot hand 11 via the communication I / F 1012.
  • the CPU 1000 can store the program data received from the overall control unit 20 via the communication I / F 1012 in the ROM 1001. As a result, the program stored in the ROM 1001 can be updated.
  • the program for realizing the gripping force generation unit 100, the reference force generation unit 101, the adder / subtractor 102, the drive control unit 103, the calculation unit 104, and the subtractor 105 shown in FIG. 6 described above is connected to a network such as the Internet. It is provided by storing it on a computer and downloading it via the network.
  • the program may be configured to be provided or distributed via a network such as the Internet.
  • the program is recorded and provided as a file in an installable format or an executable format on a computer-readable recording medium such as a CD (Compact Disk), a flexible disk (FD), or a DVD (Digital Versatile Disk). You may.
  • the programs for realizing the gripping force generation unit 100, the reference force generation unit 101, the adder / subtractor 102, the drive control unit 103, the calculation unit 104, and the subtractor 105 are, for example, the gripping force generation unit 100 and the reference force generation unit 101. , Adder / subtractor 102, drive control unit 103, calculation unit 104, and subtractor 105.
  • the CPU 1000 reads each program from a storage medium such as ROM 1001 and executes the program, each of the above-mentioned parts is loaded on a main storage device such as RAM 1002, and each part is generated on the main storage device. It is supposed to be done.
  • FIG. 8 is a flowchart of an example schematically showing the control of the delivery operation according to the embodiment.
  • the gripping force control unit 10 constantly observes the slippage of the finger portions 13a and 13b at the fingertip portions (step S10). More specifically, the gripping force control unit 10 always observed as information indicating a fingertip shear displacement Delta] u r and fingertip rotation displacement Delta] u theta, a slip difference between the target value u R_ref and u Theta_ref, slip Perform detection.
  • the difference between the fingertip shear displacement Delta] u r and the target value u r_ref ( 0), the fingertip shear displacement Delta] u r.
  • the gripping force control unit 10 detects the trigger of the delivery operation based on the slip detection result (step S11). In the next step S12, the gripping force control unit 10 controls the gripping force in the delivery operation of passing the object 300 to the hand 301. In the next step S13, the gripping force control unit 10 confirms whether or not the delivery operation is stable by controlling the gripping force in step S12. When the gripping force control unit 10 confirms that the delivery operation is stable, the gripping force control unit 10 releases the robot hand 11. As a result, the object 300 held by the robot hand 11 is handed over to the hand 301, and the handing over operation is completed.
  • FIG. 9 is an example flowchart showing a trigger detection operation of the delivery operation according to the embodiment.
  • the process according to the flowchart of FIG. 9 corresponds to the process of step S11 in FIG.
  • step S110 the gripping force control unit 10 determines whether or not the detected slip is a slip caused by disturbance.
  • the gripping force control unit 10 can detect the slip speed and determine whether or not the slip is a slip caused by a disturbance based on the slip speed. This determination may, for example, a fingertip shear displacement amount Delta] u r is the case of exceeding the other threshold set to a larger value as the absolute value for the above-mentioned threshold value in the case of performing the slip detection, the detected slip It can be determined that the slip is due to the disturbance.
  • the gripping force control unit 10 can also use machine learning such as LSTM (Long Short-Term Memory) to determine whether or not the detected slip is due to disturbance.
  • machine learning such as LSTM (Long Short-Term Memory) to determine whether or not the detected slip is due to disturbance.
  • LSTM Long Short-Term Memory
  • step S110 determines that the detected slip is a slip caused by a disturbance (step S110, “Yes")
  • the process returns to step S110.
  • step S110, “No” determines that the detected slip is not the slip caused by the disturbance
  • step S111 the gripping force control unit 10 detects the direction of gravity Mg.
  • the direction of gravity Mg can be detected based on the sensor output of the acceleration sensor 110. Not limited to this, the direction of gravity Mg can be detected by predicting the current posture of the robot hand 11 based on the history of movements, rotations, and the like of the robot hand 11.
  • the gripping force control unit 10 determines whether or not a slip in a direction different from the direction of the gravity Mg detected in the step S111 is detected. For example, the grasping force control unit 10 determines that it has detected the slip when the absolute value of the fingertip shear displacement Delta] u r exceeds a threshold value. Moreover, the gripping force control unit 10, based on the sign of the value of the fingertip shear displacement Delta] u r when slippage is detected, it is determined whether the direction of sliding are different direction to the direction of gravity Mg.
  • step S112, "No" When the gripping force control unit 10 determines that a slip different from the direction of gravity Mg has not been detected (step S112, "No"), the process returns to step S112. On the other hand, when the gripping force control unit 10 determines that the slip in the direction different from the direction of the gravity Mg is detected, it is assumed that the trigger of the delivery operation is detected, and the series of processes according to the flowchart of FIG. Then, the process shifts to the process of step S12 of FIG.
  • FIG. 10 is a flowchart of an example showing an operation of controlling the gripping force of delivery according to the embodiment.
  • the process according to the flowchart of FIG. 10 corresponds to the process of step S12 in FIG.
  • step S120 the gripping force control unit 10 reduces the gripping force based on the slip detection result. For example, when the grasping force control unit 10, at least one of which is greater than zero in absolute value the values of the fingertip shear displacement Delta] u r and fingertip rotation displacement Delta] u theta (absolute value, respectively), gripping by the robot hand 11 Reduce the force (normal force f nR ) by a predetermined amount.
  • the hand 301 is trying to receive the object 300 from the robot hand 11 by pulling up the object 300 in the direction opposite to the direction of gravity Mg.
  • the slip that occurs between the robot hand 11 and the object 300 is, for example, when the hand 301 is trying to pull up the object 300 held by the robot hand 11, the hand 301 pulls up the object 300.
  • it is considered that it shows a state in which some resistance is felt.
  • step S120 When the gripping force control unit 10 reduces the gripping force by a predetermined amount in step S120, the gripping force control unit 10 ends a series of processes according to the flowchart of FIG. 10, and shifts the process to step S13 of FIG.
  • FIG. 11 is a flowchart of an example showing the operation of confirming the stability of the delivery operation according to the embodiment.
  • the process according to the flowchart of FIG. 11 corresponds to the process of step S13 in FIG.
  • step S130 the gripping force control unit 10 reduces the gripping force (normal force f nR ) by a predetermined amount. It is conceivable that the degree of reduction of the gripping force at this time is smaller than, for example, the degree of reduction in step S120 of FIG. 10 described above. In the next step S131, the gripping force control unit 10 determines whether or not slippage has occurred in the same manner as in step S120 of FIG. 10 described above.
  • step S131 after the gripping force is reduced in step S120 in the flowchart of FIG. 10 described above, slipping is determined in a state where the gripping force is further reduced in step S130. Therefore, this slip is a force in the direction of gravity Mg in which the gripping force of the robot hand 11 is a combination of the shear force ftH of the hand 301 and the gravity Mg acting in the opposite direction to the shear force ftH . It occurs because it cannot be countered.
  • step S131 When the gripping force control unit 10 determines that slippage has occurred (step S131, “Yes”), the process shifts to step S132, and the gripping force (normal force f nR ) by the robot hand 11 is restored. ..
  • the gripping force control unit 10 returns the gripping force to the state immediately before step S130.
  • the gripping force control unit 10 restores the gripping force in step S132, the process returns to step S130.
  • step S131 determines that slipping has not occurred in step S131 (step S131, "No")
  • the gripping force control unit 10 ends a series of processes according to the flowchart of FIG. Then, the gripping force control unit 10 shifts the process to step S14 in the flowchart of FIG. 8 and releases the robot hand 11.
  • the robot hand 11 detects slippage at the fingertip portion that grips the object 300, and controls the gripping force that grips the object 300 based on the detected slippage.
  • the slip since the slip is detected by the tactile sensor 15 provided on the fingertip portion, it is possible to detect a minute change in the external force, and the object 300 can be more naturally delivered from the robot hand 11 to the hand 301. realizable.
  • the detected external force is the external force applied to the robot hand 11 or the external force applied to the object 300 gripped by the robot hand 11. Can be easily distinguished. Therefore, it is possible to realize the delivery of an object having a high robustness against an external force.
  • the gripping force is appropriately lowered (relaxed) while feeding back the external force applied to the object 300 in response to the slip detected by the tactile sensor 15 provided on the fingertip portion of the robot hand 11. Is possible. Therefore, it is possible to avoid damage to the object 300 due to an excessive force being applied to the object 300 to be delivered, and to prevent the object 300 from falling due to the force for gripping the object 300 being too weak.
  • the finger portions 13a and 13b of the robot hand 11 are gripping the object 300 in the vertical direction.
  • the hand 301 pulls up the object 300 upward on the drawing, the object 300 is delivered from the robot hand 11 to the hand 301.
  • the hand 301 pulls up the object 300 diagonally upward to the right in the drawing, so that the robot hand 11 grips the object 300 from diagonally upward to the left in the drawing.
  • the hand 301 pulls up the object 300 diagonally upward to the right on the drawing, the object 300 is delivered from the robot hand 11 to the hand 301.
  • the hand 301 generates a gripping force (normal force) ⁇ f nH satisfying the following equation (9), which only generates an external force ⁇ f tH applied to the object 300.
  • a force ⁇ f gH equivalent to the shearing force ⁇ f tH which satisfies the following equation (10), can be generated with respect to the direction of gravity Mg.
  • FIG. 13A the direction of the normal force f nR of the robot hand 11 and the normal force f nH when the hand 301 grips the object 300 coincide with the direction of the gravity Mg.
  • the hand 301 pulls the object 300 in the horizontal direction on the drawing, the object 300 is delivered from the robot hand 11 to the hand 301.
  • FIG. 13B shows that the directions of these normal forces f nR and f nH have an angle ( ⁇ 0 °) with respect to the direction of gravity Mg.
  • the hand 301 pulls up the object 300 diagonally upward to the right on the drawing, the object 300 is delivered from the robot hand 11 to the hand 301.
  • the normal force ⁇ f nR of the robot hand 11 and the normal force ⁇ f nH of the hand 301 generate gripping forces that satisfy the following equations (19) and (20), respectively.
  • the direction of the shearing force ftR of the robot hand 11 and the direction of the gravity Mg may not match depending on the gripping posture of the robot hand 11. In that case, it can be seen that the force balance in the shear direction is established, but there is no guarantee that the force balance in the normal direction is established.
  • the situation where the force balance in the normal direction is not established is, for example, when the friction coefficient ⁇ R between the robot hand 11 and the object 300 is larger than the friction coefficient ⁇ H between the finger of the hand 301 and the object 300 ( ⁇ ). R > ⁇ H ).
  • the gripping force (normal force) ⁇ f nR of the robot hand 11 is smaller than the gripping force ⁇ f nH of the hand 301 ( ⁇ f nR ⁇ f nH ).
  • the force supported by the robot hand 11 and the hand 301 increases with respect to the weight of the object 300, and the object 300 moves in the direction opposite to the gravity Mg.
  • the deviation ⁇ of the positions of the fingers of the robot hands 11 increases.
  • the position deviation ⁇ corresponds to the difference between the degree of opening ⁇ a and ⁇ b of the finger portions 13a and 13b with respect to the center of symmetry C, respectively.
  • position control is added so that the position deviation ⁇ between the finger portion 13a and the finger portion 13b of the robot hand 11 is set to 0. This makes it possible to achieve both a balance of forces in the shear direction and a balance of forces in the normal direction.
  • the direction in which the hand 301 receives the object 300 can be estimated to some extent from the gripping position on the robot hand 11 by the tactile sensor 15. However, strictly speaking, it is not known from which direction the hand 301 receives until the hand 301 starts the receiving operation.
  • the delivery operation in any direction is possible, and a more flexible delivery operation can be realized.
  • control according to the embodiment has been described so as to be applied to the delivery of the object 300, but this is not limited to this example.
  • control according to the embodiment it is also possible to apply it to a floor-standing operation that requires relaxation of force.
  • the object 300 to be gripped is limited to a rigid body.
  • the symmetrical object 300 for gripping is a flexible object that is deformed or damaged by applying an excessive force, the force balance and the moment are taken into consideration in consideration of the magnitude of the external force according to the embodiment.
  • the control according to the present disclosure is applied to a delivery operation in which the object 300 held by the robot hand 11 is passed to the hand 301.
  • the control according to the present disclosure is applied to a receiving operation in which the robot hand 11 receives the object 300 from the hand 301.
  • FIG. 15 is a flowchart of an example schematically showing the control of the receiving operation according to the first modification of the embodiment.
  • the finger portions 13a and 13b are such that the object 300 to be received comes into contact with the elastic body 14 provided at the fingertip portions of the finger portions 13a and 13b, respectively. It is assumed that the position is controlled in advance. In this state, consider a case where the hand 301 passes the object 300 to the robot hand 11 by, for example, sliding the object 300 between the fingertip portion of the finger portion 13a and the fingertip portion of the finger portion 13b.
  • the gripping force control unit 10 constantly observes the slippage of the finger portions 13a and 13b at each fingertip portion (step S20).
  • the gripping force control unit 10 detects the trigger of the delivery operation based on the slip detection result (step S21)
  • the process shifts to the next step S22 and the receiving operation of the object 300 is started.
  • the gripping force control unit 10 determines whether or not the detected slip is a slip caused by a disturbance, such as the speed of the slip. Judgment is made using machine learning. When it is determined that the detected slip is not the slip caused by the disturbance, the gripping force control unit 10 detects the direction of the gravity Mg. Then, the gripping force control unit 10 determines whether or not the slip in the same direction as the detected gravity Mg direction is detected. When the gripping force control unit 10 determines that the slip in the same direction as the direction of the gravity Mg is detected, it is assumed that the trigger of the receiving operation is detected, and the process shifts to step S22.
  • a disturbance such as the speed of the slip. Judgment is made using machine learning.
  • the gripping force control unit 10 detects the direction of the gravity Mg. Then, the gripping force control unit 10 determines whether or not the slip in the same direction as the detected gravity Mg direction is detected.
  • the gripping force control unit 10 determines that the slip in the same direction as the direction of
  • step S23 the gripping force control unit 10 slightly lowers the gripping force to generate slippage.
  • step S24 the gripping force control unit 10 determines whether or not slip is detected. When the gripping force control unit 10 determines that slippage has been detected (step S24, “Yes”), the process shifts to step S25.
  • step S25 the gripping force control unit 10 slightly increases the gripping force.
  • the gripping force control unit 10 increases the gripping force by a slightly smaller degree than the degree to which the gripping force is lowered in step S23.
  • the process returns to step S23.
  • step S24 determines that slippage is not detected in step S24 (step S24, “No”)
  • step S26 the process shifts to step S26, and it is assumed that the reception of the object 300 from the hand 301 is completed. ..
  • the robot hand 11 detects the slip at the fingertip portion that grips the object 300, and controls the gripping force that grips the object 300 based on the detected slip.
  • the slip since the slip is detected by the tactile sensor 15 provided on the fingertip portion, it is possible to detect a minute change in the external force, and the operation of the robot hand 11 receiving the object 300 from the hand 301 is more natural. It can be realized by various operations.
  • FIG. 16 is a block diagram schematically showing the configuration of the robot device 1 to which the robot hand 11'according to the second modification of the embodiment is applied.
  • the robot hand 11' adds an image sensor 32 and an image processing unit 33 to the robot hand 11 according to the embodiment described with reference to FIG.
  • the image sensor 32 includes a general image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor and a CCD (Charge Coupled Device) image sensor, and a drive circuit for driving the image sensor.
  • the image sensor 32 is arranged, for example, by including at least the fingertips of the finger portions 13a and 13b of the robot hand 11 in the imaging range.
  • the captured image data output from the image sensor 32 is supplied to the image processing unit 33.
  • the image processing unit 33 executes predetermined image processing on the captured image data supplied from the image sensor 32.
  • the image processing unit 33 executes an image recognition process for recognizing a predetermined object included in the captured image data.
  • the image processing unit 33 supplies the result of performing image processing on the captured image data to, for example, the gripping force control unit 10.
  • the gripping force control unit 10 determines the delivery status of the object 300 and the delivery partner based on the visual information (captured image data in this example) acquired by the image sensor 32 by the image processing of the image processing unit 33. Detect information.
  • the gripping force control unit 10 combines the information detected based on the visual information, and controls, for example, multiplying the gripping force to be reduced in the delivery operation by a variable variable. For example, when a small child receives an object 300 in an unstable situation, a margin can be provided for the balance of force and the balance of moment by applying a variable variable that reduces the gripping force to be reduced.
  • a method of using machine learning in which visual information is input and the safety level of delivery is output is conceivable in the image processing unit 33.
  • the image processing unit 33 supplies the set variable variable to the gripping force control unit 10 as a result of image processing.
  • the variable variable may be set in the gripping force control unit 10 based on the output of the image processing unit 33.
  • the gripping force is controlled by further utilizing the sliding direction.
  • the robustness is improved by reducing the gripping force only for the vertical downward slip. It is possible to improve.
  • the transfer operation trigger can be detected more robustly. For example, based on the visual information, it is possible to recognize that the hand 301 is approaching the robot hand 11, and to determine that the trigger of the delivery operation is detected when the hand 301 approaches within a predetermined distance.
  • the auditory information is acquired, for example, by adding a microphone and a voice processing unit that executes voice processing for the voice signal output from the microphone to the configuration of FIG.
  • the output of the voice processing unit is supplied to the gripping force control unit 10.
  • the voice processing unit analyzes the voice signal based on the sound picked up by the microphone, acquires the meaning of the utterance, for example, and determines whether the content of the utterance is the content for which the robot hand 11 of the object 300 is requested to be handed over to the hand 301. It is possible to judge.
  • the hand 301 Furthermore, it is possible to predict the direction in which the object 300 is received by the hand 301 from the visual information and the auditory information. By matching this predicted receiving direction with the sliding direction, it is possible to more robustly detect the trigger of the receiving operation. For example, when it is known that the direction in which the hand 301 is received is the vertical downward direction, it is determined that the receiving operation trigger is detected even when the slip in the same direction as the direction of the gravity Mg is detected. It is possible.
  • the gripping force control unit 10 uses the sensor output of the force sensor provided on the wrist portion 12 and the sensor output of each tactile sensor 15 provided on each fingertip portion of each finger portion 13a and 13b. Thereby, the external force applied to the robot hand 11 and the external force applied to the object 300 gripped by the robot hand 11 can be distinguished. As an example, it is conceivable that a threshold value is determined for the sensor output of the force sensor, and when a force exceeding the threshold value is detected by the force sensor, it is determined that an external force is applied to the robot hand 11 itself.
  • the robot hand 11 (or the robot device 1) is moved in the pulling direction without releasing the gripping object 300. Is possible. Further, when the object 300 is pulled, it is possible to control the delivery of the object 300 without moving the robot hand 11 (or the robot device 1).
  • the present technology can also take the following configurations.
  • a slip detection unit that detects the slip of the object gripped by the grip unit, A control unit that controls a gripping force by which the gripping unit grips the object based on the slip detected by the slip detecting unit.
  • the control unit A control device that estimates an external force applied to the object gripped by the gripping portion based on the slip detected by the slip detecting unit, and controls the gripping force based on the estimated external force.
  • the slip detection unit The amount of shear displacement generated with respect to the grip portion as the slip is detected.
  • the control unit The control device according to (1) above, which estimates the external force based on the shear displacement amount.
  • the control unit Based on the slip detected by the slip detection unit, the moment applied to the object gripped by the grip portion is further estimated, and the estimated moment is further used to control the grip force (1). ).
  • the slip detection unit As the slip, the amount of rotational displacement generated with respect to the grip portion is calculated.
  • the control unit The control device according to (3) above, which estimates the moment based on the amount of rotational displacement.
  • the grip portion An elastic body that comes into contact with the object and generates a frictional force against the object, A sensor that detects the force generated in the elastic body according to the frictional force, and Including The slip detection unit The control device according to any one of (1) to (4) above, which detects the slip based on the detection output of the sensor.
  • the sensor is a pressure distribution sensor that detects a pressure distribution on at least a two-dimensional plane.
  • the slip detection unit The control device according to (5), wherein the slip is detected based on the movement of the center position of the pressure distribution detected by the pressure distribution sensor.
  • the control unit When the slip detected by the slip detection unit is not a slip generated by disturbance and is a slip in a direction different from the direction of gravity, the slip for delivering the object gripped by the grip portion.
  • the control device according to any one of (1) to (6) above, which controls the gripping force.
  • the control unit The control device according to (7) above, which controls to reduce the gripping force for gripping the object in response to the slip detected by the slip detection unit.
  • the control unit Control that the gripping portion controls to lower the gripping force that grips the object, and when the slip detecting portion detects the slip of a predetermined value or more, the gripping force is returned to the gripping force immediately before the control.
  • the control device according to (8) above.
  • the control unit The control device according to any one of (1) to (9), which controls the gripping force based on at least the visual information in the range including the gripping portion and the slip detected by the slip detecting portion.
  • (11) The control unit The control device according to (10), wherein the gripping portion predicts a direction in which the gripping portion delivers the object based on the visual information, and controls the gripping force according to the predicted direction.
  • control unit further controls the gripping force by further using the detection result of the force detected in the holding unit holding the gripping portion.
  • a slip detection step in which the slip detection unit detects the slip of the object gripped by the grip portion
  • a control step in which the control unit controls the gripping force at which the gripping portion grips the object based on the slip detected by the slip detecting step.
  • the control step A control method in which an external force applied to the object gripped by the grip portion is estimated based on the slip detected by the slip detection step, and the grip force is controlled based on the estimated external force.
  • a slip detection step that detects the slip of the object gripped by the grip A control step in which the gripping portion controls a gripping force for gripping the object based on the slip detected by the slip detection step.
  • the control step A control program for estimating an external force applied to the object gripped by the gripping portion based on the slip detected by the slip detecting step, and controlling the gripping force based on the estimated external force.
  • Robot device 10 Gripping force control unit 11
  • Robot hand 12 Wrist part 13a, 13b
  • Finger part 14 Elastic body 15
  • Tactile sensor 20 Overall control unit 30
  • Plant 31 Various sensors 32
  • Image sensor 33 Image processing unit 100
  • Reference force generation Unit 102 Addition / subtractor 103
  • Drive control unit 104 Calculation unit 105
  • Accelerometer 300 Object 301 Hand 1000

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

人間とロボットとの間で恰も人間同士のような自然なインタラクションを実現可能とする制御装置、制御方法および制御プログラムを提供する。本開示に係る制御装置は、滑り検出部(15、104)と、制御部(10)と、を備える。滑り検出部は、把持部が把持する対象物の滑りを検出する。制御部は、滑り検出部により検出された滑りに基づき把持部が対象物を把持する把持力を制御する。制御部は、滑り検出部により検出された滑りに基づき、把持部が把持している対象物に加わる外力を推定し、推定された外力に基づき把持力を制御する。

Description

制御装置、制御方法および制御プログラム
 本開示は、制御装置、制御方法および制御プログラムに関する。
 ロボットが人間と共存するためには、人間とのインタラクションの実現が不可欠であり、そのためには、人の認識、音声対話などソフトウェアで実現できる機能に加え、ハード的に実現できる機能が必要となる。ハード的なインタラクション機能の一つとして、把持した物体を人との間で授受する機能がある。ロボットの制御技術として、他から物体を受け取るために把持力を上げることは勿論、把持した物体を他に渡すために把持力を下げることは必須の技術である。
特許第4683073号公報 特許第4600445号公報
 しかしながら、従来では、物体の受け渡しの際に把持力を上げる技術は多く研究されている一方で、把持力を下げる技術の研究は十分に行われていなかった。そのため、人間とロボットとの間で、恰も人間同士のような自然なインタラクションを実現することが難しかった。
 本開示は、人間とロボットとの間で恰も人間同士のような自然なインタラクションを実現可能とする制御装置、制御方法および制御プログラムを提供することを目的とする。
 本開示に係る制御装置は、把持部が把持する対象物の滑りを検出する滑り検出部と、滑り検出部により検出された滑りに基づき把持部が対象物を把持する把持力を制御する制御部と、を備え、制御部は、滑り検出部により検出された滑りに基づき、把持部が把持している対象物に加わる外力を推定し、推定された外力に基づき把持力を制御する。
実施形態に適用可能なロボットハンドの外観を概略的に示す斜視図である。 ロボットハンドに把持させた物体に対して人の力が作用した場合に各部に発生する力を概略的に示す図である。 ヘルツ(Hertz)の接触理論を説明するためのモデルを示す図である。 物体に外力Δftが作用した場合を、ヘルツの接触理論を説明するためのモデルに適用した例を示す図である。 実施形態に係るロボットハンドを適用可能なロボット装置の構成を概略的に示すブロック図である。 実施形態に係るロボットハンドの機能を説明するための一例の機能ブロック図である。 実施形態に係るロボットハンドのハードウェア構成を示す一例のブロック図である。 実施形態に係る受け渡し動作の制御を概略的に示す一例のフローチャートである。 実施形態に係る、受け渡し動作のトリガ検出動作を示す一例のフローチャートである。 実施形態に係る、受け渡しの把持力を制御する動作を示す一例のフローチャートである。 実施形態に係る、受け渡し動作の安定確認の動作を示す一例のフローチャートである。 ロボットハンドのせん断力ftの方向が重力Mgの方向と一致する場合の例を、模式的に示す図である。 ロボットハンドのせん断力ftの方向が重力Mgの方向と一致する場合の例を、模式的に示す図である。 ロボットハンドのせん断力ftの方向が重力Mgの方向と一致しない場合の例を、模式的に示す図である。 ロボットハンドのせん断力ftの方向が重力Mgの方向と一致しない場合の例を、模式的に示す図である。 偏差を説明するための図である。 実施形態の第1の変形例に係る受け取り動作の制御を概略的に示す一例のフローチャートである。 実施形態の第2の変形例に係るロボットハンドが適用されたロボット装置の構成を概略的に示すブロック図である。
 以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
 以下、本開示の実施形態について、下記の順序に従って説明する。
1.実施形態の概要
 1-1.実施形態に適用可能なロボットハンドの例
 1-2.既存技術について
2.実施形態に係る受け渡しのより具体的な説明
 2-1.各部の定義
 2-2.滑り覚を利用した外力の推定方法
 2-3.実施形態に係るロボットハンドの構成
 2-4.実施形態に係る受け渡し動作の制御
 2-5.実施形態に係る、任意の受け渡し方向による動作
 2-6.実施形態に係る制御の応用例
3.実施形態の第1の変形例
4.実施形態の第2の変形例
5.実施形態の第3の変形例
6.他の構成
1.実施形態の概要
 本開示に係る実施形態は、物体を把持可能なロボットハンドの制御に関し、特に人がロボットハンドに対して物体を渡す場合、および、人がロボットハンドから物体を受け取る場合の把持力を適切に制御する技術に関する。
1-1.実施形態に適用可能なロボットハンドの例
 図1は、実施形態に適用可能なロボットハンドの外観を概略的に示す斜視図である。図1において、ロボットハンド11は、説明のため、指部13aおよび13bの2指を備えるものとし、これら指部13aおよび13bがそれぞれ手首部12に接続され、互いに対向して配置される。すなわち、指部13aおよび13bは、手首部12を保持部として保持される。また、指部13aおよび13bは、平行リンク機構を備えており、指部13aおよび13bの先端側(手首部12と反対側)のリンクが平行の関係を保つように開閉を駆動されるものとする。
 以下、指部13aおよび13bの先端側のリンクを、それぞれ指先部と呼ぶ。また、指部13aおよび13bは、例えば外部から供給される制御信号に応じて、アクチュエータにより開閉駆動が行われる。
 図1において、ロボットハンド11は、指部13aの指先部に触覚センサ15が設けられ、さらに、触覚センサ15に対して弾性体14が設けられる。弾性体14は、例えばゴムなどの弾性のある樹脂が用いられ、触覚センサ15に接する面と対向する側に対して加わる力に応じて変形する。図1の例では、弾性体14が半球形状とされているが、これはこの例に限定されない。例えば、弾性体14は、板状であってもよいし、ロボットハンド11により把持される物体が接する面に凹凸などの加工が施されていてもよい。
 触覚センサ15は、印加された圧力に応じた検知信号を出力する。実施形態では、触覚センサ15として、2次元面での圧力の分布を検知可能な圧力分布センサを適用する。触覚センサ15は、弾性体14に加えられた力と、その力に応じて生じた変形の2次元平面内での変位量および変位の方向と、を検知可能である。
 弾性体14および触覚センサ15は、指部13bの指先部にも、同様にして設けられる。
 ロボットハンド11は、指部13aおよび13bそれぞれの指先部により対象物の物体を挟み込み、摩擦力を利用して、当該物体を把持することができる。換言すれば、弾性体14(および触覚センサ15)を含む指先部は、指部13aおよび13bの動きに応じて当該物体を把持する把持部であるといえる。
 また、例えば手首部12に対して、ロボットハンド11の加速度を検出する加速度センサが設けられる(図示しない)。例えば、3軸の各方向の加速度を検出可能な加速度センサが手首部12に設けられる。加速度センサのセンサ出力に基づき、ロボットハンド11に加えられる重力の大きさや、ロボットハンド11の姿勢を検出することができる。ここで、姿勢とは、例えばロボットハンド11において方向が重力方向と一致する軸を定義するとき、この軸の重力方向に対する傾きと、重力方向の軸に対する回転と、を含むものとする。
 手首部12に対して、さらに、ロボットハンド11の全体に印加される力を検知する力覚センサが設けられる(図示しない)。力覚センサは、例えば加速度センサにより構成することができる。実施形態においては、この力覚センサは、省略することができる。
1-2.既存技術について
 ここで、既存技術に係る、ロボットハンドと人との間における物体の受け渡しについて説明する。既存技術によれば、ロボットハンドにおいて、手首部に備えた力覚センサを利用し、当該力覚センサが予め定めた閾値以上の変化量を検出した瞬間に指部を開放する方法が提案されている(例えば特許文献1、特許文献2)。しかしながら、この方法で人とロボットハンドとの間で自然なインタラクションを実現するためには、3つの大きな課題があると考える。
 第1の課題は、手首部に備えた力覚センサを利用するため、指先に係る微小な外力変化の検出が難しい点である。すなわち、自然な物体の受け渡しを実現するためには、微小な外力変化を検出できる必要がある。第2の課題は、力覚センサにより検知された力が、ロボットハンドに係る外力か、ロボットハンドが把持する物体に係る外力であるかを区別することが困難である点である。手首に備えた力覚センサでは、ロボットハンドに係る外力を物体に係る外力であると誤って検出してしまうおそれがあり、外力にロバストな物体の受け渡しを実現することが難しい。第3の課題は、ある閾値に基づく2状態の制御である点である。閾値に基づく2状態の制御では、ロボットハンドは、人がある大きさの力を掛けるまでは、一定の把持力を維持して物体を把持し続け、ある閾値を境に一気に力を抜く。そのため、人は、ロボットハンドの動作を予測できず、バランスを崩してしまうことが予想される。
 このように、既存の方法では、ロボットハンドと人とのハード的なインタラクション機能の実現が難しい。
 本開示では、ロボットハンドにおける把持部が物体を把持する際の、把持部の物体に対する滑りを検出し、検出された滑りに応じて把持部が物体を把持する把持力を制御する。このように、把持部における物体の滑りに応じて把持部が物体を受け渡す際の把持力を制御することで、人とロボットハンドとの間で、恰も人同士かのようなインタラクションが可能となる。
2.実施形態に係る受け渡しのより具体的な説明
2-1.各部の定義
 次に、実施形態に係る、ロボットハンドと人との間の物体の受け渡しについて、具体的に説明する。図2は、ロボットハンド11に把持させた物体300に対して人の力が作用した場合に各部に発生する力を概略的に示す図である。図2において、ロボットハンド11は、重力Mgの方向に対して水平な面に沿って指部13aおよび13bが開閉するような姿勢とされており、把持の対象物である物体300が指部13aおよび13bの各指先部により把持されている。人は、例えば手301により、この物体300を重力Mgとは逆の方向に引き上げて、ロボットハンド11から受け取ろうとしている。
 ここで、指部13bの指先部(弾性体14)により物体300に対して働く各力について定義する。指先部により物体300を把持することで、物体300には、法線力fnRi、せん断力ftRi、および、モーメントnRiの各力が働く。
 法線力fnRiは、物体300に対し、指部13aおよび13bの各指先部が物体300を挟み込む方向に働く力である。この法線力fnRiが、ロボットハンド11が物体300を把持する把持力であると考えることができる。せん断力ftRiは、法線力fnRiに対して直角の方向に働く力である。図2の例では、せん断力ftRiは、物体300に対し、垂直方向(重力Mgの方向)に働く力となっている。モーメントnRiは、法線力fnRiの方向に対して直角に交わる平面における回転方向に働く力である。
 なお、法線力fnRi、せん断力ftRi、および、モーメントnRiにおいて、添字「i」は、各指を示している。すなわち、図2の例では、指部13bの指先部により、物体300に対して法線力fnR1、せん断力ftR1、および、モーメントnR1の各力が働く。また、指部13aの指先部により、物体300に対して法線力fnR2、せん断力ftR2、および、モーメントnR2の各力が働く。
 さらに、手301が物体300を把持することで、物体300に対して法線力fnHi、せん断力ftHi、および、モーメントnHiの各力が働く。法線力fnHiは、物体300に対し、手301の各指先、例えば親指と親指以外の各指とが物体300を挟み込む方向に働く力である。せん断力ftHiは、物体300に対し、法線力fnHiと直角の方向に働く力である。図2の例では、せん断力ftHiは、物体300に対して垂直方向(重力Mgの方向)に働く力となっている。モーメントnHiは、物体300に対して、法線力fnHiと直角に交わる平面における回転方向に働く力である。
 なお、上述と同様に、添字「i」は、各指を示している。すなわち、図2の例では、手301の第1の指先(例えば親指)により、物体300に対して法線力(把持力)fnH1、せん断力ftH1、および、モーメントnH1の各力が働く。また、手301の第2の指先(例えば親指以外の各指)により、物体300に対して法線力fnH2、せん断力ftH2、および、モーメントnH2の各力が働く。
 ここで、ロボットハンド11(弾性体14)と物体300との間の摩擦係数を摩擦係数μRとし、手301の指と物体300との間の摩擦係数を摩擦係数μHとする。この場合、物体300が滑らずに手301およびロボットハンド11に把持されるためには、アモントン=クーロンの摩擦法則によれば、次式(1)および(2)の関係を満たしていることが前提となる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 実施形態では、これら式(1)および(2)を満たしている状態において、指部13aおよび13bそれぞれに設けられた触覚センサ15により検知される初期滑りを用いて物体300に掛かる外力および外モーメント(外力により発生するモーメント)を推定する。そして、推定された外力とロボットハンド11が発生する力(把持力)との釣り合いと、推定された外モーメントとロボットハンド11が発生するモーメントとの釣り合いと、が常に保たれるように、ロボットハンド11における把持力を制御する。
 式(3)は、推定された外力とロボットハンド11が発生する力との釣り合いを示す。また、式(4)は、推定された外モーメントとロボットハンド11が発生するモーメントとの釣り合いを示す。すなわち、式(3)は位置方向の釣り合いを示し、式(4)は回転方向の釣り合いを示している。なお、式(3)および(4)において、値「i」は、上述と同様に各指を示す。また、値「N」は、指の本数を示している。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
2-2.滑り覚を利用した外力の推定方法
 次に、実施形態に係る、滑り覚を利用した外力の推定方法について説明する。図3は、ヘルツ(Hertz)の接触理論を説明するためのモデルを示す図である。
 図3のチャート320および321において、図の水平右方向が重力Mgの方向であり、弾性球311は、図1および図2の弾性体14に対応し、剛体平板310が図2における物体300に対応する。例えば、弾性球311は、図2における物体300に対応する剛体平板310と対向する面が触覚センサ15と接合される半球である。図3のチャート320は、剛体平板310が弾性球311に対して、重力Mgの方向と平行な方向を接線として接している様子を模式的に示している。
 図3のチャート321は、剛体平板310に対して接線と直角な方向に法線力fnが加えられると共に、接線方向にせん断力ftが加えられている状態を模式的に示している。せん断力ftは、重力Mgと、手301によるせん断力ftHとを合成した力であり、ft=Mg+ftHとして表される。なお、チャート321では、手301によるせん断力ftH=0であるものとする。
 図3のチャート321において、せん断力ftにより弾性球311がせん断力ftの方向に応じて変形する。これにより、剛体平板310と弾性球311とが接する点の位置が図3の左側の図の位置に対して移動し、当該点の位置について変位量urが発生している。この変位量urは、例えばロボットハンド11の指部13aおよび13bの指先部で発生するものであり、以下では、指先せん断変位量urと呼ぶ。
 詳細は後述するが、実施形態では、指先せん断変位量urは、触覚センサ15による検知出力に基づき求める。すなわち、触覚センサ15は、せん断力ftによる、弾性球311と剛体平板310とにおける滑りを検出(滑り覚)する滑り覚センサとして用いられる。
 この指先せん断変位量urは、位置方向の変位を示すものであって、ヘルツ(Hertz)の接触理論により、次式(5)にて表される。なお、式(5)において、弾性球311の曲率半径をR、弾性球311と剛体平板310との合成横弾性係数をG*、弾性球311と剛体平板310との合成縦弾性係数をE*とする(図3の左側の図参照)。
Figure JPOXMLDOC01-appb-M000005
 ここで、せん断力ftは、未知である。また、法線力fnは、例えばロボットハンド11の把持力すなわち法線力fnを制御する制御部において既知である。一方、曲率半径R、合成横弾性係数G*、および、合成縦弾性係数E*は、弾性球311と剛体平板310との物理的情報であり、定数である。そのため、指先せん断変位量urは、法線力fnとせん断力ftとに依存することがわかる。したがって、指先せん断変位量urを観測することで、せん断力ftを推測することが可能である。
 回転方向の変位を示す指先回転変位量uthetaは、上述の指先せん断変位量urと同様の考え方により、次式(6)にて表される。この場合についても上述と同様に、指先回転変位量uthetaを観測することで、モーメントnを推測することが可能である。この指先回転変位量uthetaも、上述した指先せん断変位量urと同様に、滑り覚センサとしてとの触覚センサ15の検知結果に基づき求めることができる。
Figure JPOXMLDOC01-appb-M000006
 次に、図2を参照し、ロボットハンド11が法線力(把持力)fnRで物体300を把持している最中に、物体300に外力Δftが作用した場合について考える。この外力Δftは、例えば手301によるせん断力ΔftHである。
 図4は、この物体300に外力Δftが作用した場合を、図3を用いて説明したモデルに適用した例を示す図である。図4におけるチャート322は、上述した図3のチャート321に示す状態から、剛体平板310に重力Mgと逆の方向に外力Δftすなわちせん断力ftHが作用した状態を模式的に示している。この図4のチャート322の状態は、図2の例では、ロボットハンド11に把持される物体300を例えば手301が上方に引き上げた状態に対応する。この場合、せん断力ftHは、負の値となる。
 弾性球311は、図3におけるチャート321に示す状態に対してせん断力ftH(<0)に応じて変形が戻った状態となる。すなわち、図4の左側の図の指先せん断変位量urは、図3のチャート321に示す状態における指先せん断変位量urに対して、負の値の指先せん断変位量Δurが加算された値となる。せん断力ftH(<0)+Mg=0であれば、弾性球311は、図4のチャート322に示す状態となり、指先せん断変位量ur=0となる。
 図4におけるチャート323は、上述した図3のチャート321に示す状態から、剛体平板310に重力Mgと同じ方向にせん断力ftHが作用した状態を模式的に示している。この図4のチャート323に示す状態は、図2の例では、ロボットハンド11に把持される物体300を例えば手301が下方に引き下ろした状態に対応する。この場合、せん断力ftHは、正の値となる。
 弾性球311は、図3のチャート321に示す状態に対して、追加されたせん断力ftH(>0)に応じてさらに変形した状態となる(図4のチャート323参照)。この場合には、図4の右側の図の指先せん断変位量urは、図3のチャート321に示す状態における指先せん断変位量urに対して、せん断力ftHに応じた正の値の指先せん断変位量Δurが加算されたものとなる。
 実施形態では、この図4のチャート322および323に示す場合において、指先せん断変位量Δurおよび指先回転変位量Δuthetaを観測し、上述した式(5)および(6)を用いて物体300に掛かる外力ΔftHおよび外モーメントΔnHを推定する。そして、推定された外力ΔftHおよび外モーメントΔnHに基づき、各力およびモーメントの釣り合いが常に保たれるように、ロボットハンド11による把持力を制御する。
 ここで、指先せん断変位量Δurおよび指先回転変位量Δuthetaは、それぞれ、弾性球311の物体300に対する滑りの大きさの変化(例えば単位時間当たりの変化)に対応する。換言すれば、指先せん断変位量Δurおよび指先回転変位量Δuthetaは、それぞれ、弾性球311の物体300に対する滑りの度合いを示す値である。
 なお、図3および図4に示したチャート321~323では、弾性球311および剛体平板310の接触位置の相対的な位置関係を維持しながら、絶対的な接触位置が移動する、所謂初期すべりの状態となっている。本明細書にて扱う滑りは、この初期すべりの状態である。
2-3.実施形態に係るロボットハンドの構成
 次に、実施形態に係るロボットハンド11の構成について、より具体的に説明する。図5は、実施形態に係るロボットハンド11を適用可能なロボット装置の構成を概略的に示すブロック図である。図5において、ロボット装置1は、ロボットハンド11と全体制御部20とを含む。
 全体制御部20は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェースなどを含み、ROMに予め記憶されたプログラムに従い、RAMをワークメモリとして用いて、このロボット装置1の全体の動作を制御する。インタフェースは、例えば全体制御部20とロボットハンド11との間の信号の送受信を行う。
 ロボットハンド11は、把持力制御部10と、プラント30と、各種センサ31と、を含む。プラント30は、例えばロボットハンド11の可動部分に用いられるアクチュエータと、アクチュエータを駆動するための駆動回路とを含み、駆動制御信号に従い、指部13aおよび13bの開閉動作、把持動作などを実行する。
 各種センサ31は、プラント30に対して作用する力を検知する1以上のセンサを含む。例えば、各種センサ31は、上述した触覚センサ15や、ロボットハンド11の加速度を検出する加速度センサ(後述する)などを含む。
 把持力制御部10は、全体制御部20から供給される制御情報と、各種センサ31から供給されるセンサ情報と、に基づきプラント30を駆動するための駆動制御信号を生成する。
 図6は、実施形態に係るロボットハンド11の機能を説明するための一例の機能ブロック図である。図6において、ロボットハンド11は、触覚センサ15と、プラント30と、把持力生成部100と、基準力生成部101と、加減算器102と、駆動制御部103と、演算部104と、減算器105と、加速度センサ110と、を含む。
 図5で説明した把持力制御部10は、例えば、把持力生成部100、基準力生成部101、加減算器102、駆動制御部103、演算部104および減算器105を含む。これら把持力生成部100、基準力生成部101、加減算器102、駆動制御部103、演算部104および減算器105は、把持力制御部10に含まれるCPU(後述する)上で動作するプログラムにより実現される。これに限らず、把持力生成部100、基準力生成部101、加減算器102、駆動制御部103、演算部104および減算器105の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
 また、各種センサ31は、例えば触覚センサ15と加速度センサ110と、を含む。加速度センサ110は、例えば3軸の各方向の加速度を検出可能なセンサであって、ロボットハンド11の姿勢や、重力Mgを検出することができる。
 演算部104は、触覚センサ15の検知出力に基づき指先せん断変位量urおよび指先回転変位量uthetaを算出する。すなわち、演算部104と触覚センサ15とにより、ロボットハンド11が把持する物体300に対する滑りを検出する滑り検出部が構成される。
 ここで、触覚センサ15は、例えば圧力分布を検知可能な圧力分布センサを適用することができる。例えば、触覚センサ15は、それぞれ圧力を検知する複数の圧力センサが行列状に配列され、各圧力センサにより検知された圧力を示す情報を、当該行列における座標情報と関連付けて出力することが可能である。
 演算部104は、触覚センサ15から供給された検知出力に基づき、圧力中心CoP(Center of Pressure)の移動量を算出する。圧力中心CoPは、一般的に、次式(7)により算出できる。式(7)において、変数xiは圧力センサのX方向の位置(x座標)、変数p(xi)は位置xiにおける圧力、変数Nは分布の個数を示している。
Figure JPOXMLDOC01-appb-M000007
 演算部104は、例えば所定のサンプリング周期で触覚センサ15の検知出力を取得して上述の式(7)に基づく計算を行い、取得された圧力中心Xcopと、直前の計算で取得された圧力中心Xcopとの差分を求める。演算部104は、この差分を指先せん断変位量Δurとして出力する。なお、指先回転変位量Δuthetaは、圧力中心CoPの角度方向の変化量に基づき算出することができる。
 演算部104から出力された指先せん断変位量Δurおよび指先回転変位量Δuthetaは、それぞれ減算器105の一方の入力端に入力される。減算器105の他方の入力端には、指先せん断変位量Δurおよび指先回転変位量Δuthetaそれぞれの目標値ur_refおよびutheta_refが入力される。ここでは、目標値ur_refおよびutheta_refとして、それぞれ値「0」が減算器105の他方の入力端に入力される。これら目標値ur_refおよびutheta_refは、例えば全体制御部20から制御情報に含まれる情報として供給される。これに限らず、これら目標値ur_refおよびutheta_refを、把持力制御部10が備えるメモリなどに予め記憶させておいてもよい。
 減算器105は、他方の入力端に入力された目標値ur_refから一方の入力端に入力された指先せん断変位量Δurを減じた値を把持力生成部100に供給する。
 把持力生成部100は、ロボットハンド11が物体300を把持するための把持力を生成する。より具体的には、把持力生成部100は、減算器105から供給された値を上述した式(5)の指先せん断変位量urに適用して、せん断力ftを算出する。さらに、把持力生成部100は、減算器105から供給された値と、せん断力ftとに基づき、上述した式(5)から、法線力fnを算出する。なお、把持力生成部100は、指先回転変位量uthetaに対しても同様にして、式(6)を用いてモーメントnを算出する。
 ここで算出される法線力fnは、指先せん断変位量Δurに対応するものであり、以下、法線力Δfnと呼ぶ。同様に、ここで算出されるモーメントnは、指先回転変位量Δuthetaに対応するものであり、以下、モーメントΔnと呼ぶ。把持力生成部100は、例えば、これら法線力ΔfnおよびモーメントΔnに応じた把持力を生成する。より具体的には、把持力生成部100は、当該把持力として、法線力ΔfnおよびモーメントΔnに対応して例えばプラント30が備えるアクチュエータを駆動するためのトルクを示すトルク情報τ0を算出する。把持力生成部100が生成したトルク情報τ0は、加減算器102の一方の入力端に入力される。
 基準力生成部101は、法線力fnおよびモーメントnの初期値を、基準力として生成する。法線力fnおよびモーメントnの初期値は、例えば、ロボットハンド11が現在処理の対象となっている物体300を最初に把持した際の法線力fnおよびモーメントnである。この場合、初期値は、ロボットハンド11に把持されている物体300に対して、手301によるせん断力ftなどが作用していない状態における法線力fnおよびモーメントnとなる。基準力生成部101は、これら法線力fnおよびモーメントnに応じた基準力を生成する。より具体的には、基準力生成部101は、基準力として、トルク情報τ1を生成する。
 一例として、基準力生成部101は、メモリであって、当該状態において把持力生成部100により生成された把持力(この例ではトルク情報τ0)を、基準力(この例ではトルク情報τ1)として記憶する。これに限らず、基準力生成部101は、後述する駆動制御部103がプラント30を駆動するために用いる実トルクであるトルク情報τを、基準力として記憶してもよい。基準力生成部101で生成された(読み出された)基準力は、加減算器102の他方の入力端に入力される。
 加減算器102は、基準力生成部101から入力された基準力と、把持力生成部100から入力された把持力と、の減算または加算を行う。加減算器102により基準力と把持力とによる加算または減算が行われた結果は、実際にプラント30を駆動させるための把持力を示す情報として出力される。
 ここで、加減算器102は、ロボットハンド11が把持している物体300を手301に渡す(受け渡す)場合には、基準力から把持力を減ずる減算を行う。一方、加減算器102は、ロボットハンド11が手301から物体300を受け取る場合には、基準力に対して把持力を加算する。
 ロボットハンド11が物体300の受け渡しおよび受け取りの何れを行うかは、例えば加速度センサ110のセンサ出力を用いて判定することが可能である。一例として、把持力生成部100は、加速度センサ110のセンサ出力に基づき重力Mgの方向を検出する。また、把持力生成部100は、指先せん断変位量Δurの正負に基づき、ロボットハンド11において発生した、物体300に対する滑りの方向を検出する。一例として、把持力生成部100は、滑りの方向が重力Mgの方向と一致する場合には、受け取り、一致しない(逆方向)の場合には、受け渡し、として判定することが考えられる。
 これに限らず、ロボットハンド11が物体300の受け渡しおよび受け取りの何れを行うかを、全体制御部20からの指示に応じて取得することも可能である。
 加減算器102から出力された把持力を示す情報は、駆動制御部103に供給される。駆動制御部103は、供給された把持力を示す情報に基づき、プラント30を駆動するための駆動制御信号を生成する。例えば、駆動制御部103は、加減算器102から供給された把持力を示す情報に基づき、例えばプラント30に含まれるアクチュエータを駆動する際のトルクを示すトルク情報τを生成する。駆動制御部103は、生成したトルク情報τに基づきプラント30を駆動する。
 図7は、実施形態に係るロボットハンド11のハードウェア構成を示す一例のブロック図である。なお、図7では、ロボットハンド11のハードウェア構成のうち、制御系の構成を抽出して示している。図7において、ロボットハンド11は、CPU1000と、ROM1001と、RAM1002と、駆動I/F(インタフェース)1010と、センサI/F1011と、通信I/F1012と、を含む。
 CPU1000は、ROM1001に記憶されるプログラムに従い、RAM1002をワークメモリとして用いて、このロボットハンド11の全体の動作を制御する。
 駆動I/F1010は、プラント30が含む各種アクチュエータなど駆動部とCPU1000とのインタフェースである。CPU1000は、プログラムに従い生成した駆動制御信号を、駆動I/F1010を介してプラント30に送る。また、プラント30は、自身の状態を示すステータス情報などのプラント30の動作や状態に関する各情報を、駆動I/F1010に送る。駆動I/F1010は、プラント30から送られた各情報を受け取り、CPU1000に渡す。
 センサI/F1011は、各種センサ31とCPU1000とのインタフェースである。センサI/Fは、各種センサ31から出力された各センサ出力を受信し、受信した各センサ出力をCPU1000に渡す。
 通信I/F1012は、全体制御部20とロボットハンド11との間の通信を制御する。例えば、全体制御部20から出力された制御情報は、通信I/F1012を介してロボットハンド11に送信される。また、ロボットハンド11から出力された情報を、通信I/F1012を介して全体制御部20に送信することもできる。さらに、CPU1000を動作させるためのプログラムのデータを、全体制御部20から通信I/F1012を介してロボットハンド11に送信することができる。ロボットハンド11において、CPU1000は、全体制御部20から通信I/F1012を介して受信したプログラムデータをROM1001に記憶させることができる。これにより、ROM1001に記憶されるプログラムの更新が可能である。
 上述した図6に示した把持力生成部100、基準力生成部101、加減算器102、駆動制御部103、演算部104および減算器105を実現するためのプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供される。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。さらに、当該プログラムを、インストール可能な形式または実行可能な形式のファイルでCD(Compact Disk)、フレキシブルディスク(FD)、DVD(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。
 把持力生成部100、基準力生成部101、加減算器102、駆動制御部103、演算部104および減算器105を実現するための各プログラムは、例えばこれら把持力生成部100、基準力生成部101、加減算器102、駆動制御部103、演算部104および減算器105を含むモジュール構成となっている。実際のハードウェアとしては、CPU1000がROM1001などの記憶媒体から当該各プログラムを読み出して実行することにより、上述した各部がRAM1002などの主記憶装置上にロードされ、当該各部が主記憶装置上に生成されるようになっている。
2-4.実施形態に係る受け渡し動作の制御
 次に、実施形態に係る、ロボットハンド11から手301に対して物体300を渡す受け渡し動作の制御について、より具体的に説明する。図8は、実施形態に係る受け渡し動作の制御を概略的に示す一例のフローチャートである。
 図8のフローチャートによる処理の開始に先立って、ロボットハンド11は、物体300を垂直(重力Mgと平行な方向)に把持しているものとする。この状態において、手301がこの物体300を、例えば重力Mgの方向と逆の方向に引き上げて、ロボットハンド11から受け取る場合について考える。
 把持力制御部10は、指部13aおよび13bの各指先部における滑りを、常時観測する(ステップS10)。より具体的には、把持力制御部10は、指先せん断変位量Δurおよび指先回転変位量Δuthetaと、目標値ur_refおよびutheta_refとの差分を滑りを示す情報として常時観測し、滑りの検出を行う。
 以下では、説明のため、特に記載の無い限り、指先せん断変位量Δurと目標値ur_ref(=0)との差分を、指先せん断変位量Δurとする。同様に、特に記載の無い限り、指先回転変位量Δuthetaと目標値utheta_ref(=0)との差分を、指先回転変位量uthetaとする。
 把持力制御部10は、滑りの検出結果に基づき受け渡し動作のトリガを検出する(ステップS11)。次のステップS12で、把持力制御部10は、物体300を手301に対して渡す受け渡し動作における把持力の制御を行う。次のステップS13で、把持力制御部10は、ステップS12の把持力の制御により受け渡し動作が安定したか否かを確認する。把持力制御部10は、受け渡し動作の安定が確認されると、把持力制御部10は、ロボットハンド11を開放する。これにより、ロボットハンド11に把持されていた物体300が手301に渡され、受け渡し動作が完了する。
 図9は、実施形態に係る、受け渡し動作のトリガ検出動作を示す一例のフローチャートである。この図9のフローチャートによる処理は、図8におけるステップS11の処理に対応する。
 図9において、ステップS110で、把持力制御部10は、検出された滑りが外乱により発生した滑りであるか否かを判定する。
 一例として、把持力制御部10は、滑りの速度を検出し、この滑りの速度に基づき当該滑りが外乱により発生した滑りであるか否かを判定することができる。この判定は、例えば、指先せん断変位量Δurが、滑り検出を行う場合の上述した閾値に対して絶対値としてより大きな値に設定された他の閾値を超えた場合に、検出された滑りが外乱により滑りであると判定できる。
 別の例として、把持力制御部10は、LSTM(Long Short-Term Memory)などの機械学習を用いて、検出された滑りが外乱による滑りであるか否かを判定することもできる。この場合、触覚センサ15の出力に基づき取得された位置情報の時系列データを入力、外乱であるか否かを出力データとして学習した学習データを用いて、判定を行うことが考えられる。
 把持力制御部10は、検出された滑りが外乱により発生した滑りであると判定した場合(ステップS110、「Yes」)、処理をステップS110に戻す。一方、把持力制御部10は、検出された滑りが外乱により発生した滑りではないと判定した場合(ステップS110、「No」)、処理をステップS111に移行させる。
 ステップS111で、把持力制御部10は、重力Mgの方向を検出する。重力Mgの方向は、加速度センサ110のセンサ出力に基づき検出することができる。これに限らず、ロボットハンド11の移動、回転などの動作の履歴に基づきロボットハンド11の現在の姿勢を予測して、重力Mgの方向を検出することもできる。
 次のステップS112で、把持力制御部10は、ステップS111で検出された重力Mgの方向と異なる方向の滑りを検出したか否かを判定する。例えば、把持力制御部10は、指先せん断変位量Δurの絶対値が閾値を超えた場合に滑りを検出したと判定する。さらに、把持力制御部10は、滑りが検出された場合の指先せん断変位量Δurの値の正負に基づき、滑りの方向が重力Mgの方向と異なる方向であるか否かを判定する。
 把持力制御部10は、重力Mgの方向と異なる滑りを検出していないと判定した場合(ステップS112、「No」)、処理をステップS112に戻す。一方、把持力制御部10は、重力Mgの方向と異なる方向の滑りを検出したと判定した場合、受け渡し動作のトリガが検出されたとして、図9のフローチャートによる一連の処理を終了させる。そして、処理が図8のステップS12の処理に移行される。
 図10は、実施形態に係る、受け渡しの把持力を制御する動作を示す一例のフローチャートである。この図10のフローチャートによる処理は、図8におけるステップS12の処理に対応する。
 ステップS120で、把持力制御部10は、滑りの検出結果に基づき把持力を下げる。例えば、把持力制御部10は、指先せん断変位量Δurおよび指先回転変位量Δutheta(それぞれ絶対値)のうち少なくとも一方がその絶対値において0を超える値である場合に、ロボットハンド11による把持力(法線力fnR)を所定分だけ下げる。
 すなわち、この例では、手301が物体300を、重力Mgの方向と逆の方向に引き上げることにより、ロボットハンド11から物体300を受け取ろうとしている。この場合において、ロボットハンド11と物体300との間に発生する滑りは、例えば、ロボットハンド11が把持している物体300を手301が引き上げようとしている場合に、手301が物体300の引き上げに対して若干の抵抗を感じる状態を示していると考えられる。
 把持力制御部10は、ステップS120で把持力を所定分だけ下げると、この図10のフローチャートによる一連の処理を終了させ、処理を図8のステップS13に移行させる。
 図11は、実施形態に係る、受け渡し動作の安定確認の動作示す一例のフローチャートである。この図11のフローチャートによる処理は、図8におけるステップS13の処理に対応する。
 ステップS130で、把持力制御部10は、把持力(法線力fnR)を所定分だけ下げる。このときの把持力の下げ度合いは、例えば上述した図10のステップS120での下げ度合いよりも小さくすることが考えられる。次のステップS131で、把持力制御部10は、上述した図10のステップS120と同様にして、滑りが発生したか否かを判定する。
 ステップS131では、上述した図10のフローチャートにおけるステップS120で把持力を下げた後に、ステップS130でさらに把持力を下げた状態での滑りの判定になる。したがって、この滑りは、ロボットハンド11による把持力が、手301のせん断力ftHと、当該せん断力ftHに対して逆向きに働く重力Mgと、を合成した、重力Mgの方向の力に対抗できていないために発生する。
 把持力制御部10は、滑りが発生したと判定した場合(ステップS131、「Yes」)、処理をステップS132に移行させて、ロボットハンド11による把持力(法線力fnR)を元に戻す。例えば、把持力制御部10は、把持力を、ステップS130の直前の状態に戻す。把持力制御部10は、ステップS132で把持力を元に戻すと、処理をステップS130に戻す。
 一方、把持力制御部10は、ステップS131で滑りが発生していないと判定した場合(ステップS131、「No」)、この図11のフローチャートによる一連の処理を終了させる。そして、把持力制御部10は、処理を図8のフローチャートにおけるステップS14に移行させ、ロボットハンド11を開放する。
 このように、実施形態では、ロボットハンド11が物体300を把持する指先部における滑りを検出し、検出された滑りに基づき物体300を把持する把持力を制御している。このとき、実施形態では、指先部に設けた触覚センサ15により滑りを検出しているため、微小な外力の変化を検出可能となり、ロボットハンド11から手301への物体300のより自然な受け渡しを実現できる。
 また、実施形態では、ロボットハンド11の指先部に設けた触覚センサ15を利用することで、検出された外力がロボットハンド11に掛かる外力か、ロボットハンド11が把持する物体300に掛かる外力か、を容易に区別することが可能である。そのため、外力に対してロバスト性の高い物体の受け渡しを実現することができる。
 さらに、実施形態では、ロボットハンド11の指先部に設けられた触覚センサ15により検出された滑りに応じて、物体300に掛かる外力をフィードバックしながら、適切に把持力を下げる(力を抜く)ことが可能である。そのため、受け渡しを行う物体300に過剰な力が加わることによる物体300の破損や、物体300を把持する力が弱すぎることによる物体300の落下などを回避することができる。
2-5.実施形態に係る、任意の受け渡し方向による動作
 上述では、ロボットハンド11のせん断力の方向が重力Mgの方向と一致する場合の受け渡し制御について、説明を行った。これに限らず、実施形態に係る受け渡し制御は、任意の方向について成立する。以下では、ロボットハンド11のせん断力ftの方向が、(1)重力Mgの方向と一致する場合の受け渡し制御と、(2)重力Mgの方向と一致しない場合の受け渡し制御と、について、説明する。
 なお、詳細は後述するが、任意の把持姿勢において法線力fnの方向の力の釣り合いを成立させるためには、上述した把持力の制御に加えて、位置拘束を加えることが好ましい。
 先ず、(1)の、ロボットハンド11のせん断力ftの方向が重力Mgの方向と一致する場合の受け渡し制御について説明する。図12Aおよび図12Bは、ロボットハンド11のせん断力ftの方向が重力Mgの方向と一致する場合の例を、模式的に示す図である。換言すれば、図12Aおよび図12Bは、それぞれ、ロボットハンド11の法線力fnRの方向と、手301が物体300を把持する際の法線力fnHと、が重力Mgの方向に対して直角となっている。
 図12Aの例では、上述と同様に、上述と同様に、ロボットハンド11の指部13aおよび13bが、物体300を垂直方向に把持している。手301が物体300を図上で上方向に引き上げることで、ロボットハンド11から手301に対する物体300の受け渡しが行われる。また、図12Bの例では、手301が物体300を図上の右斜め上方に引き上げることで、ロボットハンド11が図上の左斜め上方から、物体300を把持している。手301が物体300を図上の右斜め上方に引き上げることで、ロボットハンド11から手301に対する物体300の受け渡しが行われる。
 物体300にある外力として手301のせん断力ΔftHが加えられた場合の指先せん断変位量Δurを観測する。そして、その指先せん断変位量Δurが発生しないようにするために必要なロボットハンド11のロボットの法線力ΔfnRを弱める場合を考える。この場合、ロボットハンド11のせん断力ftRは、次式(8)で表される。
Figure JPOXMLDOC01-appb-M000008
 ここで、手301は、物体300に加える外力ΔftHを発生させるだけの、次式(9)満たす把持力(法線力)ΔfnHを発生させているものとする。この場合において、重力Mgの方向に対しても次式(10)を満たす、せん断力ΔftHと同等の力ΔfgHを発生させることができるものとする。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
 このとき、手301のせん断力ftHは、次式(11)で表される。
Figure JPOXMLDOC01-appb-M000011
 式(8)および式(11)を、上述した式(3)に代入し、力の釣り合いを考えると、次式(12)に示されるように、せん断方向の力の釣り合いが保たれることが確認される。
Figure JPOXMLDOC01-appb-M000012
 なお、法線力方向の力の釣り合いは、互いの指が発揮する力で打ち消されるものとし、ここでの説明を省略する。
 次に、(2)の、ロボットハンド11のせん断力ftの方向が重力Mgの方向と一致しない場合の受け渡し制御について説明する。図13Aおよび図13Bは、ロボットハンド11のせん断力ftの方向が重力Mgの方向と一致しない場合の例を、模式的に示す図である。
 図13Aでは、ロボットハンド11の法線力fnRの方向と、手301が物体300を把持する際の法線力fnHとが重力Mgの方向と一致している。手301が物体300を図上で水平方向に引っ張ることで、ロボットハンド11から手301に対する物体300の受け渡しが行われる。一方、図13Bは、これら法線力fnRおよびfnHの方向が重力Mgの方向に対してある角度(≠0°)を有している。手301が物体300を図上の右斜め上方に引き上げることで、ロボットハンド11から手301に対する物体300の受け渡しが行われる。
 ここでは、説明のため、図13Aに示す状態を例にとって説明を行う。
 物体300にある外力として手301のせん断力ftHが加えられた場合の指先せん断変位量Δurを観測する。そして、その指先せん断変位量Δurが発生しないようにするために必要な、ロボットハンド11のロボットの法線力ΔfnRを弱める場合を考える。この場合、ロボットハンド11の法線力fnRおよびせん断力ftRは、それぞれ次式(13)および(14)で表される。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
 このとき、人の法線力fnHおよびせん断力ftHは、それぞれ次式(15)および(16)で表される。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
 式(13)~(16)を上述した式(3)に代入し、力の釣り合いを考えると、それぞれ次式(17)および(18)のようになる。なお、式(17)の末尾の「0(?)」は、式(17)の結果として値「0」が得られるか否かが未知であることを示している。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
 この場合、ロボットハンド11の法線力ΔfnR、および、手301の法線力ΔfnHは、それぞれ次式(19)および(20)を満たすような把持力を発生させていることになる。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
 しかしながら、ロボットハンド11の法線力ΔfnRと、手301の法線力ΔfnHと、が等しい(ΔfnR=ΔfnH)という保証は無い。摩擦係数が一致し(μR=μH)、且つ、ロボットハンド11および手301がそれぞれ物体300が滑り出す直前の力で把持できているとすれば、法線方向の力の釣り合いは成り立っていることになる。しかしながら、これら摩擦係数の一致と、ロボットハンド11および手301がそれぞれ物体300による、滑り出す直前の力での把持と、の両方を満たさない限りは、式(17)の右辺=0が成り立たないことがわかる。
 なお、せん断方向の力の釣り合いは、上述した式(18)に示す通り、成立することが確かめられる。
 以上より、ロボットハンド11の把持姿勢によっては、ロボットハンド11のせん断力ftRの方向と重力Mgの方向とが一致しない場合がある。その場合、せん断方向の力の釣り合いは成り立つが、法線方向の力の釣り合いが成り立つ保証が無いことがわかる。
 法線方向の力の釣り合いが成り立たない状況は、例えば、ロボットハンド11と物体300との間の摩擦係数μRが手301の指と物体300との間の摩擦係数μHより大きい場合(μR>μH)が挙げられる。この場合、ロボットハンド11の把持力(法線力)ΔfnRが手301の把持力ΔfnHに比べて小さくなる(ΔfnR<ΔfnH)。この場合、物体300の重量に対してロボットハンド11と手301とで支える力が大きくなり、物体300は、重力Mgと逆の方向に移動することになる。これは、次式(21)に示すように、ロボットハンド11の互いの指の位置の偏差δが増えていくということを意味する。なお、位置偏差δは、図14に模式的に示すように、指部13aおよび13bの対称中心Cに対するそれぞれの開き度合いθaおよびθbの差分に対応する。
Figure JPOXMLDOC01-appb-M000021
 したがって、本アルゴリズムの力制御に加えて、ロボットハンド11の指部13aと指部13bとの位置偏差δを0にするような位置制御を加える。これにより、せん断方向の力の釣り合いと、法線方向の力の釣り合いと、を両立させることが可能になる。
 ロボットハンド11が手301に物体300を受け渡す場合、手301が物体300をどの方向から受け取るかは、触覚センサ15により、ロボットハンド11における把持位置からある程度は推測が可能である。しかしながら、厳密には、手301が受け取る動作を開始するまでは、手301がどの方向から受け取るかは分からない。実施形態に係る受け渡し制御では、上述したように、任意の方向に対する受け渡し動作が可能であり、より柔軟な受け渡し動作を実現することができる。
2-6.実施形態に係る制御の応用例
 なお、上述では、実施形態に係る制御が、物体300の受け渡しに適用されるように説明したが、これはこの例に限定されない。実施形態に係る制御の応用例として、力を抜くことが必要とされる床置き動作に適用することも可能である。
 床置き動作の制御方法としては、受け渡し動作とは異なり、物体300の重量と同等の閾値を定めておき、把持力を下げる、既存手法による単純な制御方法を適用することが考えられる。しかしながら、この既存手法による制御は、把持の対象となる物体300が剛体に限定される。把持の対称の物体300が、過剰な力を加えることで変形、破損してしまうような柔軟物体である場合、実施形態に係る、外力の大きさを考慮して、力の釣り合い、および、モーメントの釣り合いが成り立つような把持力の制御を適用することで、床に置く際に物体を破損してしまう自体を回避できる。
3.実施形態の第1の変形例
 次に、実施形態の第1の変形例について説明する。上述した実施形態では、本開示に係る制御を、ロボットハンド11が把持する物体300を手301に渡す、受け渡し動作に適用した。実施形態の第1の変形例では、本開示に係る制御を、ロボットハンド11が手301から物体300を受け取る、受け取り動作に適用した例である。
 図15は、実施形態の第1の変形例に係る受け取り動作の制御を概略的に示す一例のフローチャートである。ここでは、説明のため、ロボットハンド11において、指部13aおよび13bは、指部13aおよび13bそれぞれの指先部に設けられる弾性体14に対して、受け取る対象となる物体300が接触するように、予め位置制御されているものとする。この状態において、手301が物体300を指部13aの指先部と、指部13bの指先部と、の間に例えば滑り込ませることで、物体300をロボットハンド11に渡す場合について考える。
 把持力制御部10は、指部13aおよび13bの各指先部における滑りを、常時観測する(ステップS20)。把持力制御部10は、滑りの検出結果に基づき受け渡し動作のトリガを検出すると(ステップS21)、処理を次のステップS22に移行させ、物体300の受け取り動作を開始する。
 ステップS21の処理は、例えば、図9のフローチャートを用いて説明した制御と同様に、把持力制御部10は、検出された滑りが外乱により発生した滑りであるか否かを、滑りの速度や機械学習を用いて判定する。検出された滑りが外乱により発生した滑りではないと判定した場合、把持力制御部10は、重力Mgの方向を検出する。そして、把持力制御部10は、検出された重力Mgの方向と同一の方向の滑りを検出したか否かを判定する。把持力制御部10は、重力Mgの方向と同一の方向の滑りを検出したと判定した場合、受け取り動作のトリガが検出されたとして、処理をステップS22に移行させる。
 ステップS23で、把持力制御部10は、把持力を少しだけ下げて、滑りを発生させる。次のステップS24で、把持力制御部10は、滑りが検出されたか否かを判定する。把持力制御部10は、滑りが検出されたと判定した場合(ステップS24、「Yes」)、処理をステップS25に移行させる。
 ステップS25で、把持力制御部10は、把持力を少しだけ上げる。例えば、把持力制御部10は、ステップS23で把持力を下げた度合いに対して、少しだけ小さい度合いで把持力を上げる。把持力制御部10は、ステップS25で把持力を上げると、処理をステップS23に戻す。
 一方、把持力制御部10は、ステップS24で滑りが検出されないと判定した場合(ステップS24、「No」)、処理をステップS26に移行させ、物体300の手301からの受け取りが完了したとする。
 このように、実施形態の第1の変形例では、ロボットハンド11が物体300を把持する指先部における滑りを検出し、検出された滑りに基づき物体300を把持する把持力を制御している。このとき、実施形態では、指先部に設けた触覚センサ15により滑りを検出しているため、微小な外力の変化を検出可能となり、ロボットハンド11が手301から物体300を受け取る動作を、より自然な動作で実現できる。
4.実施形態の第2の変形例
 次に、実施形態の第2の変形例について説明する。実施形態の第2の変形例では、触覚センサ15に加え、視覚情報を検出する画像センサを用いて受け渡し動作の制御を行う。
 図16は、実施形態の第2の変形例に係るロボットハンド11’が適用されたロボット装置1の構成を概略的に示すブロック図である。図16において、ロボットハンド11’は、図5を用いて説明した実施形態に係るロボットハンド11に対して、画像センサ32と、画像処理部33と、が追加されている。
 画像センサ32は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサや、CCD(Charge Coupled Device)イメージセンサといった、一般的なイメージセンサと、イメージセンサを駆動する駆動回路と、を含む。画像センサ32は、例えば、少なくともロボットハンド11の指部13aおよび13bそれぞれの指先部を撮像範囲に含めて配置される。画像センサ32から出力された撮像画像データは、画像処理部33に供給される。
 画像処理部33は、画像センサ32から供給される撮像画像データに対して、所定の画像処理を実行する。例えば、画像処理部33は、撮像画像データに含まれる所定のオブジェクトを認識する画像認識処理を実行する。画像処理部33は、撮像画像データに対して画像処理を実行した結果を、例えば把持力制御部10に供給する。
 一例として、把持力制御部10は、画像処理部33の画像処理により、画像センサ32により取得された視覚情報(この例では撮像画像データ)に基づき、物体300の受け渡しの状況や受け渡しの相手の情報を検出する。把持力制御部10は、視覚情報に基づき検出された情報を組み合わせて、例えば受け渡し動作において減少させる把持力に可変変数を乗ずる制御を行う。例えば、小さな子供が不安定な状況で物体300を受け取る場合には、減少させる把持力を小さくする可変変数を適用することで、力の釣り合い、モーメントの釣り合いにマージンを持たせることができる。可変変数の設定に関しては、例えば視覚情報を入力とし、受け渡しの安全度などを出力とした機械学習を画像処理部33において利用する方法が考えられる。
 画像処理部33は、設定された可変変数を、画像処理の結果として把持力制御部10に供給する。可変変数の設定は、画像処理部33の出力に基づき把持力制御部10において行ってもよい。
 また、画像センサ32により取得された視覚情報から、受け渡しの相手が物体300を受け取る方向を予め予測し、滑りの方向とマッチングすることで、滑りの方向をさらに利用して把持力を制御することが可能である。例えば、視覚情報に基づき、受け渡しにより手301が物体300を受け取る方向が鉛直下方向であることが分かっている場合、鉛直下方向の滑りだけに対して把持力を減少させることで、ロバスト性を向上させることが可能となる。
 さらに、図8のステップS11における受け渡し動作トリガ検出処理に対して視覚情報に基づき取得できるシーンやユーザ情報を組み合わせて利用することで、受け渡し動作トリガをよりロバストに検出可能になる。例えば、視覚情報に基づき、手301がロボットハンド11に近付いていることを認識し、所定の距離以内に手301が近付いた場合に受け渡し動作のトリガを検出したと判定することが可能である。
 これに限らず、視覚情報に加えて、聴覚情報を用いてシーンやユーザ情報を取得し、取得した情報に基づき受け渡し動作のトリガを検出することも可能である。聴覚情報は、例えば、図16の構成に対して、さらにマイクロホンと、マイクロホンから出力された音声信号に対する音声処理を実行する音声処理部と、を追加して取得する。音声処理部の出力は、把持力制御部10に供給される。音声処理部は、マイクロホンにより収音された音に基づく音声信号を解析し、例えば発話の意味を取得し、発話の内容が、物体300のロボットハンド11から手301への受け渡しを求める内容かどうかを判断することが可能である。
 さらにまた、視覚情報や聴覚情報から、手301により物体300を受け取る方向を予測することが可能である。この予測された受け取りの方向と、滑りの方向とをマッチングすることで、よりロバストに受け取り動作のトリガを検出することができる。例えば、手301による受け取りが行われる方向が鉛直下方向であると分かっている場合には、重力Mgの方向と同一の向きの滑りを検出した場合にも、受け取り動作トリガを検出したと判定することが可能である。
 このように、受け渡し動作や受け取り動作のトリガ検出を、触覚センサ15による検出結果と、視覚情報や聴覚情報とを組み合わせて行うことで、よりロバスト性の高いトリガ検出を実現できる。
5.実施形態の第3の変形例
 次に、実施形態の第3の変形例について説明する。実施形態の第3の変形例は、図5の各種センサ31として、触覚センサ15に加えて、ロボットハンド11の例えば手首部12に力覚センサを設け、触覚センサ15および力覚センサの各センサ出力を用いて受け渡し動作の制御を行う例である。
 把持力制御部10は、手首部12に設けられる力覚センサのセンサ出力と、各指部13aおよび13bそれぞれの指先部に設けられる各触覚センサ15のセンサ出力と、を用いる。これにより、ロボットハンド11に加えられた外力と、ロボットハンド11が把持する物体300に加えられる外力と、を区別することができる。一例として、力覚センサのセンサ出力に対して閾値判定を行い、力覚センサにおいて閾値を超える力が検出された場合には、外力がロボットハンド11自体に加えられたと判定することが考えられる。
 これにより、ロボットハンド11を引っ張るような外力が加えられている場合には、把持している物体300を離さずに、ロボットハンド11(またはロボット装置1)を引っ張られている方向に移動させる制御が可能である。また、物体300が引っ張られている場合には、ロボットハンド11(またはロボット装置1)は移動させずに、物体300を受け渡す制御が可能である。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
6.他の構成
 なお、本技術は以下のような構成も取ることができる。
(1)
 把持部が把持する対象物の滑りを検出する滑り検出部と、
 前記滑り検出部により検出された前記滑りに基づき前記把持部が前記対象物を把持する把持力を制御する制御部と、
を備え、
 前記制御部は、
 前記滑り検出部により検出された前記滑りに基づき、前記把持部が把持している前記対象物に加わる外力を推定し、推定された該外力に基づき前記把持力を制御する
制御装置。
(2)
 前記滑り検出部は、
 前記滑りとして、前記把持部に対して生じるせん断変位量を検出し、
 前記制御部は、
 前記せん断変位量に基づき前記外力を推定する
前記(1)に記載の制御装置。
(3)
 前記制御部は、
 前記滑り検出部により検出された前記滑りに基づき、前記把持部が把持している前記対象物に加わるモーメントをさらに推定し、推定された該モーメントをさらに用いて前記把持力を制御する
前記(1)に記載の制御装置。
(4)
 前記滑り検出部は、
 前記滑りとして、前記把持部に対して生じる回転変位量を出し、
 前記制御部は、
 前記回転変位量に基づき前記モーメントを推定する
前記(3)に記載の制御装置。
(5)
 前記把持部は、
 前記対象物に接触して該対象物に対して摩擦力を発生させる弾性体と、
 前記摩擦力に応じて前記弾性体に発生した力を検知するセンサと、
を含み、
 前記滑り検出部は、
 前記センサの検知出力に基づき前記滑りを検出する
前記(1)乃至(4)の何れかに記載の制御装置。
(6)
 前記センサは、少なくとも2次元面での圧力の分布を検知する圧力分布センサであって、
 前記滑り検出部は、
 前記圧力分布センサにより検知される圧力の分布の中心位置の移動に基づき前記滑りを検出する
前記(5)に記載の制御装置。
(7)
 前記制御部は、
 前記滑り検出部により検出された前記滑りが、外乱により発生した滑りではなく、且つ、重力方向と異なる向きの滑りである場合に、前記把持部に把持される前記対象物の受け渡しのための前記把持力の制御を行う
前記(1)乃至(6)の何れかに記載の制御装置。
(8)
 前記制御部は、
 前記滑り検出部により検出された前記滑りに応じて、該対象物を把持する把持力を下げる制御を行う
前記(7)に記載の制御装置。
(9)
 前記制御部は、
 前記把持部が前記対象物を把持する前記把持力を下げる制御を行い、前記滑り検出部により所定以上の前記滑りが検出された場合に、該把持力を該制御の直前の把持力に戻す制御を行う
前記(8)に記載の制御装置。
(10)
 前記制御部は、
 少なくとも前記把持部を含む範囲の視覚情報と、前記滑り検出部により検出された前記滑りと、に基づき前記把持力の制御を行う
前記(1)乃至(9)の何れかに記載の制御装置。
(11)
 前記制御部は、
 前記視覚情報に基づき前記把持部が前記対象物を受け渡す方向を予測し、予測された該方向に応じて前記把持力の制御を行う
前記(10)に記載の制御装置。
(12)
 前記制御部は、前記把持部を保持する保持部において検知される力の検知結果をさらに用いて前記把持力の制御を行う
前記(1)乃至(11)の何れかに記載の制御装置。
(13)
 把持部が把持する対象物の滑りを滑り検出部が検出する滑り検出ステップと、
 前記滑り検出ステップにより検出された前記滑りに基づき前記把持部が前記対象物を把持する把持力を制御部が制御する制御ステップと、
を含み、
 前記制御ステップは、
 前記滑り検出ステップにより検出された前記滑りに基づき、前記把持部が把持している前記対象物に加わる外力を推定し、推定された該外力に基づき前記把持力を制御する
制御方法。
(14)
 把持部が把持する対象物の滑りを検出する滑り検出ステップと、
 前記滑り検出ステップにより検出された前記滑りに基づき前記把持部が前記対象物を把持する把持力を制御する制御ステップと、
をプロセッサに実行させ、
 前記制御ステップは、
 前記滑り検出ステップにより検出された前記滑りに基づき、前記把持部が把持している前記対象物に加わる外力を推定し、推定された該外力に基づき前記把持力を制御する
ための制御プログラム。
1 ロボット装置
10 把持力制御部
11 ロボットハンド
12 手首部
13a,13b 指部
14 弾性体
15 触覚センサ
20 全体制御部
30 プラント
31 各種センサ
32 画像センサ
33 画像処理部
100 把持力生成部
101 基準力生成部
102 加減算器
103 駆動制御部
104 演算部
105 減算器
110 加速度センサ
300 物体
301 手
1000 CPU

Claims (14)

  1.  把持部が把持する対象物の滑りを検出する滑り検出部と、
     前記滑り検出部により検出された前記滑りに基づき前記把持部が前記対象物を把持する把持力を制御する制御部と、
    を備え、
     前記制御部は、
     前記滑り検出部により検出された前記滑りに基づき、前記把持部が把持している前記対象物に加わる外力を推定し、推定された該外力に基づき前記把持力を制御する
    制御装置。
  2.  前記滑り検出部は、
     前記滑りとして、前記把持部に対して生じるせん断変位量を検出し、
     前記制御部は、
     前記せん断変位量に基づき前記外力を推定する
    請求項1に記載の制御装置。
  3.  前記制御部は、
     前記滑り検出部により検出された前記滑りに基づき、前記把持部が把持している前記対象物に加わるモーメントをさらに推定し、推定された該モーメントをさらに用いて前記把持力を制御する
    請求項1に記載の制御装置。
  4.  前記滑り検出部は、
     前記滑りとして、前記把持部に対して生じる回転変位量を検出し、
     前記制御部は、
     前記回転変位量に基づき前記モーメントを推定する
    請求項3に記載の制御装置。
  5.  前記把持部は、
     前記対象物に接触して該対象物に対して摩擦力を発生させる弾性体と、
     前記摩擦力に応じて前記弾性体に発生した力を検知するセンサと、
    を含み、
     前記滑り検出部は、
     前記センサの検知出力に基づき前記滑りを検出する
    請求項1に記載の制御装置。
  6.  前記センサは、2次元面での圧力の分布を検知する圧力分布センサであって、
     前記滑り検出部は、
     前記圧力分布センサにより検知される圧力の分布の中心位置の移動に基づき前記滑りを検出する
    請求項5に記載の制御装置。
  7.  前記制御部は、
     前記滑り検出部により検出された前記滑りが、外乱により発生した滑りではなく、且つ、重力方向と異なる向きの滑りである場合に、前記把持部に把持される前記対象物の受け渡しのための前記把持力の制御を行う
    請求項1に記載の制御装置。
  8.  前記制御部は、
     前記滑り検出部により検出された前記滑りに応じて、該対象物を把持する把持力を下げる制御を行う
    請求項7に記載の制御装置。
  9.  前記制御部は、
     前記把持部が前記対象物を把持する前記把持力を下げる制御をさらに行い、前記滑り検出部により所定以上の前記滑りが検出された場合に、該把持力を該制御の直前の把持力に戻す制御を行う
    請求項8に記載の制御装置。
  10.  前記制御部は、
     少なくとも前記把持部を含む範囲の視覚情報と、前記滑り検出部により検出された前記滑りと、に基づき前記把持力の制御を行う
    請求項1に記載の制御装置。
  11.  前記制御部は、
     前記視覚情報に基づき前記把持部が前記対象物を受け渡す方向を予測し、予測された該方向に応じて前記把持力の制御を行う
    請求項10に記載の制御装置。
  12.  前記制御部は、前記把持部を保持する保持部において検知される力の検知結果をさらに用いて前記把持力の制御を行う
    請求項1に記載の制御装置。
  13.  把持部が把持する対象物の滑りを滑り検出部が検出する滑り検出ステップと、
     前記滑り検出ステップにより検出された前記滑りに基づき前記把持部が前記対象物を把持する把持力を制御部が制御する制御ステップと、
    を含み、
     前記制御ステップは、
     前記滑り検出ステップにより検出された前記滑りに基づき、前記把持部が把持している前記対象物に加わる外力を推定し、推定された該外力に基づき前記把持力を制御する
    制御方法。
  14.  把持部が把持する対象物の滑りを検出する滑り検出ステップと、
     前記滑り検出ステップにより検出された前記滑りに基づき前記把持部が前記対象物を把持する把持力を制御する制御ステップと、
    をプロセッサに実行させ、
     前記制御ステップは、
     前記滑り検出ステップにより検出された前記滑りに基づき、前記把持部が把持している前記対象物に加わる外力を推定し、推定された該外力に基づき前記把持力を制御する
    ための制御プログラム。
PCT/JP2020/027155 2019-07-23 2020-07-10 制御装置、制御方法および制御プログラム WO2021015025A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080051472.3A CN114206557A (zh) 2019-07-23 2020-07-10 控制装置、控制方法和控制程序
US17/624,656 US20220274262A1 (en) 2019-07-23 2020-07-10 Control device, control method, and control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-135684 2019-07-23
JP2019135684 2019-07-23

Publications (1)

Publication Number Publication Date
WO2021015025A1 true WO2021015025A1 (ja) 2021-01-28

Family

ID=74193959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027155 WO2021015025A1 (ja) 2019-07-23 2020-07-10 制御装置、制御方法および制御プログラム

Country Status (3)

Country Link
US (1) US20220274262A1 (ja)
CN (1) CN114206557A (ja)
WO (1) WO2021015025A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202100008006A1 (it) * 2021-03-31 2022-10-01 Fondazione St Italiano Tecnologia Metodo di controllo di una pinza di presa
JP7415775B2 (ja) 2020-04-30 2024-01-17 トヨタ自動車株式会社 ロボット

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7458818B2 (ja) * 2020-02-21 2024-04-01 キヤノン株式会社 ロボット装置、インタフェース装置、制御装置、エンドエフェクタ、制御方法、ロボット装置を用いた物品の製造方法、プログラム及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004167674A (ja) * 2002-10-29 2004-06-17 Matsushita Electric Ind Co Ltd ロボット把持制御装置及びロボット把持制御方法
JP2005219161A (ja) * 2004-02-05 2005-08-18 Matsushita Electric Ind Co Ltd ロボット把持制御装置及びロボット把持制御システム
JP2009034742A (ja) * 2007-07-31 2009-02-19 Sony Corp 検出装置
JP2009066714A (ja) * 2007-09-13 2009-04-02 Sony Corp 制御装置および方法、プログラム並びに記録媒体
JP2019018253A (ja) * 2017-07-12 2019-02-07 株式会社日立製作所 滑り検出システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006030570A1 (ja) * 2004-09-14 2006-03-23 National University Corporation Nara Institute Ofscience And Technology 接触センサ、把持装置及び滑り余裕計測方法
JP2006102920A (ja) * 2004-10-08 2006-04-20 Fanuc Ltd 把握型ハンド
JP7086531B2 (ja) * 2017-05-18 2022-06-20 キヤノン株式会社 ロボットハンド、ロボット装置、ロボットハンドの制御方法、物品の製造方法、制御プログラム及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004167674A (ja) * 2002-10-29 2004-06-17 Matsushita Electric Ind Co Ltd ロボット把持制御装置及びロボット把持制御方法
JP2005219161A (ja) * 2004-02-05 2005-08-18 Matsushita Electric Ind Co Ltd ロボット把持制御装置及びロボット把持制御システム
JP2009034742A (ja) * 2007-07-31 2009-02-19 Sony Corp 検出装置
JP2009066714A (ja) * 2007-09-13 2009-04-02 Sony Corp 制御装置および方法、プログラム並びに記録媒体
JP2019018253A (ja) * 2017-07-12 2019-02-07 株式会社日立製作所 滑り検出システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415775B2 (ja) 2020-04-30 2024-01-17 トヨタ自動車株式会社 ロボット
IT202100008006A1 (it) * 2021-03-31 2022-10-01 Fondazione St Italiano Tecnologia Metodo di controllo di una pinza di presa
WO2022208384A1 (en) * 2021-03-31 2022-10-06 Camozzi Automation S.p.A. Method for controlling a gripper

Also Published As

Publication number Publication date
US20220274262A1 (en) 2022-09-01
CN114206557A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
WO2021015025A1 (ja) 制御装置、制御方法および制御プログラム
Edsinger et al. Human-robot interaction for cooperative manipulation: Handing objects to one another
JP4683073B2 (ja) ロボット把持制御装置及びロボット把持制御方法
US20230302665A1 (en) Systems, devices, articles, and methods for prehension
JP2019075169A5 (ja)
Eguiluz et al. Reliable object handover through tactile force sensing and effort control in the shadow robot hand
JP2009269127A (ja) 把持装置及びその制御方法
WO2007088735A1 (ja) ロボットシステム
JP2007222951A5 (ja)
Gómez Eguíluz et al. Reliable robotic handovers through tactile sensing
Pozzi et al. On grasp quality measures: Grasp robustness and contact force distribution in underactuated and compliant robotic hands
Parastegari et al. A fail-safe object handover controller
JP2009066683A (ja) ロボットハンド及び制御方法、並びにプログラム
JP4228871B2 (ja) ロボット把持制御装置及びロボット把持制御方法
Li et al. Model-free impedance control for safe human-robot interaction
Costanzo et al. Slipping control algorithms for object manipulation with sensorized parallel grippers
Parastegari et al. Failure recovery in robot–human object handover
KR102586779B1 (ko) 제어 장치, 제어 방법, 및 프로그램
WO2022039058A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019117309A1 (ja) 位置・力制御装置
Al-Mohammed et al. A switched adaptive controller for robotic gripping of novel objects with minimal force
JP2021084210A (ja) ロボット、エンドエフェクタ、システム、方法及びプログラム
Mazhitov et al. Human–robot handover with prior-to-pass soft/rigid object classification via tactile glove
Kim et al. Tele-operation system with reliable grasping force estimation to compensate for the time-varying sEMG feature
Chan et al. Implementation of a robot-human object handover controller on a compliant underactuated hand using joint position error measurements for grip force and load force estimations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844243

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20844243

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP