WO2023008190A1 - 推定装置、推定方法、及び推定プログラム - Google Patents

推定装置、推定方法、及び推定プログラム Download PDF

Info

Publication number
WO2023008190A1
WO2023008190A1 PCT/JP2022/027486 JP2022027486W WO2023008190A1 WO 2023008190 A1 WO2023008190 A1 WO 2023008190A1 JP 2022027486 W JP2022027486 W JP 2022027486W WO 2023008190 A1 WO2023008190 A1 WO 2023008190A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
state
flexible material
electrical characteristics
learning
Prior art date
Application number
PCT/JP2022/027486
Other languages
English (en)
French (fr)
Inventor
創 北野
泰通 若尾
仁 安井
真広 山口
浩人 杉野
祐輔 藤沢
Original Assignee
株式会社ブリヂストン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021121941A external-priority patent/JP2023017591A/ja
Priority claimed from JP2021121942A external-priority patent/JP2023017592A/ja
Priority claimed from JP2021121928A external-priority patent/JP2023017579A/ja
Priority claimed from JP2021121943A external-priority patent/JP2023017593A/ja
Priority claimed from JP2021202896A external-priority patent/JP2023088197A/ja
Application filed by 株式会社ブリヂストン filed Critical 株式会社ブリヂストン
Priority to EP22849254.2A priority Critical patent/EP4378639A1/en
Priority to CN202280047155.3A priority patent/CN117597218A/zh
Publication of WO2023008190A1 publication Critical patent/WO2023008190A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/18Measuring force or stress, in general using properties of piezo-resistive materials, i.e. materials of which the ohmic resistance varies according to changes in magnitude or direction of force applied to the material
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41DOUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D13/00Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches
    • A41D13/05Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches protecting only a particular body part
    • A41D13/08Arm or hand
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41DOUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D19/00Gloves
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/084Tactile sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices

Definitions

  • the present disclosure relates to an estimation device, an estimation method, and an estimation program.
  • a robot is equipped with a large number of special contact sensors in order to consider buffering with people and objects, and a technology for detecting contact of people and objects with the robot is known (for example, Japanese Patent Application Laid-Open No. 2011-056619 reference).
  • the estimation device of the present disclosure includes: A robot having at least a part of its outer shell provided with a flexible material that is conductive and whose electrical properties change according to changes in applied pressure, or a gripping member, or at least a part of which is covered with the flexible material a detection unit that detects electrical characteristics between a plurality of predetermined detection points on the flexible material in the projecting portion bendable from the base of the movable body that is arranged so as to be able to be arranged or covered; Time-series electrical characteristics when pressure is applied to the flexible material, robot state information indicating the state of the robot applying pressure to the flexible material, contact object information indicating the object applying pressure to the flexible material, or the flexible Sliding state information indicating a sliding state when a grasping object is grasped by the grasping member that applies a stimulus to the material, or applied stimulation state information indicating a applied stimulation state that applies pressure to the flexible material is used as learning data.
  • a learning model trained to input the time-series electrical characteristics and output the robot state information, the contact object information, the sliding state information, or the applied stimulus state information inputting time-series electrical characteristics detected by the detection unit, robot state information indicating a robot state corresponding to the input time-series electrical characteristics, or contacting object information indicating an object that applied pressure to the flexible material;
  • robot state information indicating a robot state corresponding to the input time-series electrical characteristics, or contacting object information indicating an object that applied pressure to the flexible material
  • slipping state information indicating a slipping state when the grasping object is gripped by the gripping member corresponding to the input time-series electrical characteristics, or indicating an applied stimulus state corresponding to the input time-series electrical characteristics.
  • an estimating unit that estimates applied stimulus state information; including.
  • the estimation method of the present disclosure is A robot having at least a part of its outer shell part made of a flexible material that is electrically conductive and whose electrical properties change in response to changes in applied pressure, or a gripping member, or at least a part of which is made of said flexible material.
  • the electrical characteristics from a detection unit that detects the electrical characteristics between a plurality of predetermined detection points on the flexible material in the projecting portion that is bendable from the base of the movable body that is arranged to cover or is arranged to be able to be covered.
  • robot state information indicating the state of the robot applying pressure to the flexible material
  • contact object information indicating the object applying pressure to the flexible material
  • flexible Sliding state information indicating a sliding state when a grasping object is grasped by the grasping member that applies a stimulus to the material
  • applied stimulation state information indicating a applied stimulation state that applies pressure to the flexible material is used as learning data.
  • a learning model trained to input the time-series electrical characteristics and output the robot state information, the contact object information, the sliding state information, or the applied stimulus state information, inputting time-series electrical characteristics detected by the detection unit, robot state information indicating a robot state corresponding to the input time-series electrical characteristics, or contacting object information indicating an object that applied pressure to the flexible material;
  • robot state information indicating a robot state corresponding to the input time-series electrical characteristics
  • contacting object information indicating an object that applied pressure to the flexible material
  • slipping state information indicating a slipping state when the grasping object is gripped by the gripping member corresponding to the input time-series electrical characteristics, or indicating an applied stimulus state corresponding to the input time-series electrical characteristics.
  • the program of the present disclosure is A robot having at least a part of its outer shell provided with a flexible material that is conductive and whose electrical properties change according to changes in applied pressure, or a gripping member, or at least a part of the flexible material.
  • the electrical characteristics from a detection unit that detects the electrical characteristics between a plurality of predetermined detection points on the flexible material in the projecting portion that is bendable from the base of the movable body that is arranged to cover or is arranged to be able to be covered.
  • robot state information indicating the state of the robot applying pressure to the flexible material
  • contact object information indicating the object applying pressure to the flexible material
  • flexible Sliding state information indicating a sliding state when a grasping object is grasped by the grasping member that applies a stimulus to the material
  • applied stimulation state information indicating a applied stimulation state that applies pressure to the flexible material is used as learning data.
  • FIG. 4 is a diagram relating to the hardness of the outer shell of the robot according to the embodiment; It is a figure regarding the robot which concerns on embodiment. It is a figure regarding the robot which concerns on embodiment. It is a figure regarding the robot which concerns on embodiment.
  • FIG. 4 is a diagram relating to detection points of a conductive member according to the embodiment;
  • FIG. 4 is a diagram related to a conductive member according to the embodiment;
  • FIG. 4 is a diagram related to a conductive member according to the embodiment;
  • FIG. 4 is a diagram related to a conductive member according to the embodiment;
  • FIG. 4 is a diagram related to a conductive member according to the embodiment;
  • FIG. 4 is a diagram related to a conductive member according to the embodiment;
  • FIG. 4 is a diagram related to a conductive member according to the embodiment;
  • FIG. 4 is a diagram related to a conductive member according to the embodiment;
  • FIG. 4 is a diagram related to a conductive member according to
  • FIG. 4 is a diagram related to a conductive member according to the embodiment; It is a figure regarding the learning process which concerns on embodiment.
  • 6 is a flowchart illustrating an example of learning data collection processing according to the embodiment;
  • FIG. 4 is a diagram related to learning processing in a learning processing unit according to the embodiment;
  • 6 is a flowchart showing an example of the flow of learning processing according to the embodiment;
  • FIG. 4 is a diagram related to learning processing in a learning processing unit according to the embodiment; It is a figure which shows an example of a structure of the robot state estimation apparatus which concerns on embodiment.
  • 6 is a flowchart showing an example of the flow of estimation processing according to the embodiment;
  • FIG. 4 is a diagram showing characteristics related to a robot according to an embodiment; It is a figure which shows an example of a structure of the state estimation apparatus which concerns on 2nd Embodiment. It is a figure regarding the robot concerning 2nd Embodiment. It is a figure regarding the robot concerning 2nd Embodiment.
  • FIG. 10 is a diagram relating to learning processing in a learning processing unit according to the second embodiment; It is a figure which shows an example of the glove which concerns on 2nd Embodiment.
  • FIG. 12 is a diagram relating to the body of the robot according to the third embodiment; FIG. 12 is a diagram relating to learning processing in a learning processing unit according to the third embodiment; FIG.
  • FIG. 11 is a diagram showing the configuration of a robot control device according to a fourth embodiment; It is a figure regarding the robot based on 4th Embodiment. It is a figure regarding the learning process which concerns on 4th Embodiment. It is a figure regarding the learning process which concerns on 4th Embodiment.
  • FIG. 14 is a flowchart showing the flow of learning data collection processing according to the fourth embodiment;
  • FIG. 12 is a conceptual diagram showing characteristics related to the robot according to the fourth embodiment;
  • FIG. 16 is a flowchart showing the flow of learning processing according to the fourth embodiment;
  • FIG. FIG. 14 is a flowchart showing the flow of robot control processing according to the fourth embodiment;
  • FIG. FIG. 13 shows a hand with a glove.
  • FIG. 10 is a diagram showing a state in which a gloved hand grips an object to be gripped; It is a figure which shows the detailed structure of an estimation apparatus.
  • FIG. 13 shows a hand with a glove. It is a figure which shows the detailed structure of an estimation apparatus.
  • the present disclosure provides an estimation device, an estimation method, an estimation program, and an estimation device capable of estimating robot state information indicating a robot state by using electrical properties of a conductive flexible material without using a special detection device.
  • a learning model generator is provided.
  • a "robot” is a concept that includes a structure composed of a plurality of parts (hereinafter referred to as "parts") linked together and at least some of the parts being movable.
  • the "robot state” is a concept including a state indicating an active form (hereinafter referred to as an active form state) and a state indicating a passive form (hereinafter referred to as a passive form state).
  • the active form state is a concept that includes a state indicating the active form such as the posture, behavior, and movement of the robot indicated by at least some of the parts that make up the structure.
  • a passive form state is a concept that includes a state that exhibits a passive form that is indicated by applying energy such as pressure to at least some of the parts.
  • states indicating an active form examples include a posture state indicating a static posture indicated by a combination of one or more parts, and a behavior state indicating dynamic movement.
  • An example of a state indicating a passive state includes a contact state in which a person such as a human body and an object is in contact with the robot, and an energized state in which a person such as a human body and an object applies energy such as pressure to the robot.
  • a person is a concept that includes at least one of an external human body and an object that exerts pressure on the robot from the outside.
  • the contact state includes a state in which a human body outside the robot is in contact with the robot, a state in which an external object is in contact with the robot, and a state in which an external human body and objects are in contact with the robot.
  • human and object are collectively referred to as a person, without distinguishing between at least one of a human body and an object.
  • a single person of a human body and an object, and a combination of a human body and an object are referred to as a person.
  • the term “flexible material” is a concept that includes materials that are at least partially deformable such as bending when an external force is applied. It includes at least one structure and a structure in which a plurality of fine air bubbles are scattered. At least one of the fibrous and network structures may be a structure having at least one of the fibrous and network structures as a skeleton. An example of an external force is pressure. Polymer materials such as urethane material and rubber (foam) are given as examples of at least one of fibrous and mesh-like structures and structures in which a plurality of fine air bubbles are scattered.
  • the term "flexible material to which electrical conductivity is imparted” is a concept that includes materials having electrical conductivity, materials obtained by imparting electrical conductivity to a flexible material to impart electrical conductivity, and materials in which the flexible material has electrical conductivity. including. Polymer materials such as urethane materials and rubbers are suitable for the flexible material that imparts electrical conductivity.
  • the flexible material to which electrical conductivity is imparted has the function of changing electrical properties according to deformation.
  • An example of a physical quantity that causes a function of changing electrical properties in response to deformation is a pressure value that indicates a stimulus due to pressure applied to a flexible material (hereinafter referred to as pressure stimulus).
  • An example of a physical quantity representing electrical properties that change according to deformation of a flexible material is an electrical resistance value.
  • Other examples include voltage values or current values.
  • the electrical resistance value can be regarded as the volume resistance value of the flexible material.
  • the flexible material By giving electrical conductivity to flexible materials, electrical properties appear according to deformation due to pressure. That is, in a flexible material to which electrical conductivity is imparted, electrical pathways are intricately linked, and the electrical pathways expand and contract according to deformation. It may also exhibit behavior in which the electrical path is temporarily disconnected, and behavior in which a different connection than before occurs. Therefore, the flexible material behaves differently depending on the magnitude and distribution of the applied force (e.g., pressure stimulus) between positions separated by a predetermined distance (e.g., the positions of the detection points where the electrodes are arranged). indicates Therefore, the electrical properties change according to the magnitude and distribution of force (for example, pressure stimulus) applied to the flexible material.
  • the applied force e.g., pressure stimulus
  • detection points such as electrodes are provided at at least two arbitrary locations sandwiching the location where pressure is applied to the flexible material.
  • the estimation device of the present disclosure uses a learned learning model to estimate the state of the robot from the electrical properties of the conductive flexible material provided in the robot.
  • the learning model uses, as learning data, time-series electrical characteristics when pressure is applied to a conductive flexible material, and robot state information indicating the state of the robot that applies pressure to the flexible material.
  • the learning model receives time-series electrical characteristics as input and is trained to output robot state information indicating the robot state corresponding to the time-series electrical characteristics.
  • conductive urethane a member formed by blending and infiltrating (also referred to as impregnation) a conductive material into all or part of a urethane material
  • conductive urethane a member formed by blending and infiltrating (also referred to as impregnation) a conductive material into all or part of a urethane material
  • the conductive urethane can be formed by either blending or soaking (impregnation) of the conductive material, and can be formed by blending or soaking (impregnating) the conductive material.
  • the conductive urethane obtained by infiltration has higher conductivity than the conductive urethane obtained by blending, it is preferable to form the conductive urethane by infiltration (impregnation).
  • a case where conductive urethane is arranged on at least a part of the outer shell of the robot will be described.
  • a value (pressure value) indicating a pressure stimulus given to the robot, that is, the flexible material is applied as a physical quantity for deforming the conductive urethane.
  • the electrical resistance value of conductive urethane is applied as the physical quantity that changes according to the pressure stimulus.
  • FIG. 1 shows an example of the configuration of a robot state estimation device 1 as an estimation device of the present disclosure.
  • the estimation process in the robot state estimation device 1 uses the learned learning model 51 to determine the active state and the passive state of the robot 2 as unknown robot states from the electrical properties of the conductive urethane 22 placed on the robot 2 . Estimate and output the morphological state. This makes it possible to estimate the robot state information indicating the robot state without using a special device or a large-sized device or directly measuring the deformation of the outer shell of the robot 2 .
  • the learning model 51 uses a robot state (for example, a state value indicating an active mode state or a passive mode state) as a label, and the electrical properties of the conductive urethane in the state of the robot (that is, the conductive urethane placed on the robot 2 electrical resistance) is learned as an input. Learning of the learning model 51 will be described later.
  • FIG. 2 shows an example of the robot structure of a humanoid robot 200 modeled after a humanoid.
  • the humanoid robot 200 shown in FIG. 2 has a head 210, a body 220, arms 230 (upper arms 232, forearms 234, hands 236), and legs 240 (thighs 242, lower legs 244, legs 246).
  • Linked by skeleton 21 .
  • the humanoid robot 200 arranges the conductive urethane 22 around the skeleton 21 so that the conductive urethane 22 is arranged on the outer shell of the humanoid robot 200 .
  • the conductive urethane 22 placed on the humanoid robot 200 is connected to an electrical property detector 76 (FIG. 8) via a detection point 75 such as an electrode.
  • An outer shell 27 is arranged which also functions as a skin.
  • An outer shell 27 functioning as an outer skin may be arranged around the skeleton 21 .
  • the conductive urethane 22 may be placed on the material placed around the skeleton 21, that is, at least part of the outer shell 27, and may be placed inside or outside (Fig. 4).
  • the inside of the shell portion 27 may be entirely made of the conductive urethane 22 so that the AA cross section of the shell portion 27 is shown as a shell cross section 27-1.
  • the conductive urethane 22 may be formed on a part of the outside (surface side) of the shell 27, and as shown in a cross section 27-3 of the shell, the A conductive urethane 22 may be formed on the inner side (framework side).
  • the conductive urethane 22 may be formed in a part of the inside of the shell 27.
  • FIG. Further, as shown in a cross section 27-5 of the shell, the conductive urethane 22 may be arranged outside the flexible material 27A constituting the shell 27, and as shown in a cross section 27-6 of the shell, The conductive urethane 22 may be arranged outside of the inside (framework side) of 27 .
  • the conductive urethane 22 is arranged outside the material 27A that forms the outer shell 27, the conductive urethane 22 and the material that forms the outer shell 27 may be laminated, and the conductive urethane 22 and the outer shell 27 may be formed.
  • the conductive urethane 22 may be formed to have flexibility with a predetermined hardness.
  • FIG. 5 is a conceptual diagram relating to the hardness of the outer shell of the robot.
  • a conceptual diagram relating to the structure of the conductive urethane 22 is shown on the left side of the paper, and a conceptual diagram of the relationship between the depth and hardness of the conductive urethane 22 is shown on the right side of the paper. .
  • the outer shell 27 shown as the outer shell cross section 27-7 is made of the conductive urethane 22
  • the depth increases from the outer side (surface side) to the inner side (framework side) of the outer shell 27.
  • the conductive urethane 22 It is possible to form the conductive urethane 22 to be progressively harder with increasing depth. Further, as shown in the outer shell section 27-8, a plurality of conductive urethanes 22 having different hardnesses (hardness: 22X ⁇ 22Y ⁇ 22Z) may be arranged. By configuring the hardness (flexibility) of the outer shell 27 containing the conductive urethane 22 so as to change according to the depth, it is possible to provide a tactile sensation close to that of the skin of the human body.
  • the robot 2 forms an outer shell portion by arranging a conductive urethane 22 as an outer shell that is the outside of the robot 2 around the skeleton 21 .
  • the robot 2 comprises a head 210 including a display section 211 and a neck section 212 and a body section 220 including an upper body 222 and a lower body 224 .
  • the robot 2 configures an arm section 230 including a shoulder section 231, an arm section 233, and a hand 236, and configures a leg section 240 including a base section 241 having a moving mechanism (not shown).
  • Head 210 , body 220 , arms 230 and legs 240 are connected by skeleton 21 .
  • each of the body portion 220 (the upper body portion 222 and the lower body portion 224), the arm portion 230 (the shoulder portion 231, the arm portion 233 and the hand 236), and the leg portion 240 (the base portion 241)
  • An outer shell 27 containing conductive urethane 22 is arranged on the outside.
  • the outer shell part 27 may be configured by one sheet and arranged, or may be arranged for each part.
  • the outer shell 27 may be arranged so that a part of the outer shell 27 overlaps.
  • the conductive urethane 22 placed on the robot 2 is connected to an electrical property detector 76 (FIG. 8) via a detection point 75 such as an electrode.
  • the arm portion 230 is formed so that the arm portion 233 can bend around the shoulder portion 231 as a fulcrum.
  • a member containing an elastic body that deforms linearly or non-linearly can be applied to the configuration in which the arm portion 233 is formed to be bendable by the arm portion 230, and can be bent in a predetermined direction by a given physical quantity (for example, pressure or fluid supply).
  • a member containing an elastic body that deforms linearly or non-linearly can be applied to the configuration in which the arm portion 233 is formed to be bendable by the arm portion 230, and can be bent in a predetermined direction by a given physical quantity (for example, pressure or fluid supply).
  • a given physical quantity for example, pressure or fluid supply
  • an elastic contraction body that generates a contraction force is an elastic contraction member that generates a contraction force.
  • a known air bag type member can be applied (see, for example, Japanese Patent Publication No. 52-40378).
  • An airbag-type elastic contraction body
  • the rubber actuator expands and deforms when a pressurized fluid is supplied to the internal cavity through a connection port provided in the closing member, and a contraction force is generated along the axial direction.
  • the length of the rubber actuator changes due to expansion deformation.
  • the application to rubber actuators is merely an example, and the estimation device of the present disclosure can also be applied to members other than rubber actuators.
  • the robot 2 bends the arm portion 233 as shown in FIG. 7 by driving an elastic contractile body (not shown). By operating the arm portion 233, it is possible to simulate the arm portion of the human body.
  • the robot 2 can be moved by providing a movement mechanism (not shown) in the base portion 241 .
  • the base portion 241 is provided with a control device 250 that controls the robot 2 (FIG. 17).
  • the control device 250 includes functional units that operate as the robot state estimation device 1 .
  • the robot 2 is provided with an operation unit 115, a display unit 211, a microphone 117, and a speaker 118 (FIG. 17) to acquire and provide information such as instructions from the user, user status, and responses to the user. It is possible to
  • the robot 2 includes a drive section 119 (FIG. 17) for moving each part in cooperation with the skeleton 21 in a region other than the leg section 240 including the base section 241 .
  • the robot 2 can maintain various postures and perform various behaviors by moving each part or moving a plurality of parts in cooperation. Therefore, the robot 2 operates as an autonomous robot system.
  • the robot state estimation device 1 detects electrical characteristics of the conductive urethane 22 placed on the robot 2 in order to estimate the robot state.
  • FIG. 8 illustrates a case where the conductive urethane 22 arranged as part of the outer shell 27 is developed on a plane.
  • the detection points 75 are biased to the sides of the conductive urethane 22, and signals from a plurality of detection points 75 arranged diagonally on the conductive urethane 22 with a distance therebetween Detection set #1 is shown for detecting electrical resistance values.
  • the arrangement of the plurality of detection points 75 is not limited to the positions shown in FIG.
  • a plurality of detection points 75 may be spaced apart, and are not limited to being arranged on the side portions, but may be arranged on the central portion, or may be a combination of the side portions and the central portion.
  • the electrical characteristics of the conductive urethane 22 can be obtained by connecting an electrical characteristics detector 76 for detecting electrical characteristics (that is, a volume resistance value, which is an electrical resistance value) to the detection point 75 and using the output thereof.
  • the electric resistance value detected in the robot 2 configured by providing the outer shell 27 with the conductive urethane 22 is changed by deformation of the conductive urethane 22 such as when the outer shell 27 of the robot 2 is subjected to a pressure stimulus. change before and after. Therefore, detection of time-series electrical resistance values, that is, detection of changes in electrical resistance values from a state in which no pressure stimulus is applied to the robot 2 (for example, detection of electrical resistance values exceeding a predetermined threshold value). , it becomes possible to detect the bias of the person to the robot 2 .
  • the biased state indicating the biased state of the person to the robot 2 includes the contact state because even the contact of the person to the robot 2 is accompanied by a pressure stimulus.
  • the outer shell 27 including the conductive urethane 22 formed in the robot 2 may be formed by forming the outer shell 27 including the conductive urethane 22 as an integral structure on the outside of the robot 2, and the conductive urethane 22 may be formed independently for each part. You may form the outer shell part 27 containing.
  • detection points than the detection points (two) shown in FIG. 8 may be used in order to improve the detection accuracy of the electrical characteristics of one conductive urethane 22 .
  • the conductive urethane 22 may be formed by arranging one or more rows of a plurality of conductive urethane pieces each having a detection point, and the electrical characteristics may be detected for each of the plurality of conductive urethane pieces. good.
  • the conductive urethane pieces 23 (FIG. 9) may be arranged to form the conductive urethane 22 (FIGS. 10 and 11).
  • the example shown in FIG. 9 includes a first detection set #1 that detects an electrical resistance value from a signal from a detection point 75A arranged diagonally with a distance therebetween, and another detection set #1 arranged diagonally.
  • a second detection set #2 is shown which detects the electrical resistance value from the signal from point 75B. Further, in the example shown in FIG.
  • the conductive urethane pieces 23 are arranged (4 ⁇ 1) in the longitudinal direction of the outer shell 27 to form the conductive urethane 22, and then the first detection set #1. to construct the eighth detection set #8. Further, in the example shown in FIG. 11, the conductive urethane pieces 23 (FIG. 9) each adopt the first detection set #1 and are arranged (4 ⁇ 2) in the longitudinal direction and width direction of the outer shell 27 to form conductive urethane pieces. 22 to form a first detection set #1 to an eighth detection set #8.
  • the detection range on the conductive urethane 22 may be divided, a detection point may be provided for each divided detection range, and the electrical characteristics may be detected for each detection range.
  • a region corresponding to the size of the conductive urethane piece 23 shown in FIGS. 10 and 11 is set in the conductive urethane 22 as a detection range, a detection point is arranged for each set detection range, What is necessary is just to detect an electrical characteristic.
  • the robot state estimation device 1 includes an estimation unit 5.
  • the estimation unit 5 receives input data 4 which is time-series electrical characteristics representing the magnitude of electrical resistance (electrical resistance value) in the conductive urethane 22 .
  • an electrical characteristic that is, a volume resistance value, which is an electrical resistance value
  • Input data 4 corresponds to robot state 3 of robot 2 .
  • the estimator 5 also outputs output data 6 representing an output that is a physical quantity (robot state value) indicating the robot state 3 as an estimation result.
  • the estimation unit 5 includes a learning model 51 that has been trained.
  • the learning model 51 determines the robot state, that is, the active or passive state (output data 6) of the robot 2 from the electrical resistance (input data 4) of the conductive urethane 22 that changes due to pressure stimulation corresponding to the robot state 3. It is a model that has completed learning to derive.
  • the learning model 51 is, for example, a model that defines a trained neural network, and is expressed as a set of information on weights (strengths) of connections between nodes (neurons) that make up the neural network.
  • the learning model 51 is generated by learning processing of the learning processing unit 52 (FIG. 12).
  • the learning processing unit 52 performs learning processing using the electrical characteristics (input data 4) of the conductive urethane 22 that change due to the pressure stimulation caused by the robot state 3.
  • FIG. That is, a large amount of data obtained by measuring the electrical resistance in the conductive urethane 22 in chronological order using the robot state 3 as a label is used as learning data.
  • the learning data includes a large amount of sets of input data including electrical resistance values (input data 4) and information indicating the robot state 3 corresponding to the input data (output data 6).
  • time-series information is associated with each of the electrical resistance values (input data 4) of the conductive urethane 22 by adding information indicating the measurement time. In this case, for the period determined as robot state 3, information indicating the time of measurement may be added to the set of time-series electrical resistance values in the conductive urethane 22 to associate the time-series information.
  • the learning processing section 52 will be described.
  • the outer shell 27 of the robot 2 on which the conductive urethane 22 is arranged is applied as a detection unit, and the robot state 3 and the electrical resistance value (input data 4 ) are used as training data.
  • data for a robot state that indicates an active state is used as learning data.
  • the drive unit 119 is controlled so that at least some parts of the robot 2 have a predetermined posture, movement, or other behavior, and the electrical resistance value at that time is detected to determine the robot state (robot state). state value) and used as learning data.
  • the robot 2 changes the electric resistance value of the conductive urethane 22 due to deformation of the outer shell 27 due to its own posture, behavior, movement, etc., so that the time-series electric resistance value is detected and the robot state ( (robot state value) can be used as learning data.
  • the active form state includes a posture state indicating a static posture indicated by a combination of one or more parts, and a behavior state indicating dynamic movement.
  • the data for the robot state indicating the passive form state is used as the learning data.
  • the user OP is brought into contact with the robot 2 in a predetermined posture or with movement so that at least some of the parts are in a predetermined robot state in which energy such as pressure is applied. etc., and the electrical resistance value at that time is detected and associated with the robot state to be used as learning data.
  • the robot 2 when energy such as pressure is applied to at least some of the parts of the robot 2, the outer shell 27 is deformed and the electrical resistance of the conductive urethane 22 changes. can be detected and associated with the robot state (robot state value) to be used as learning data.
  • the passive state includes a contact state in which a person is brought into contact with the robot, and an energized state in which energy such as pressure is applied to the robot by the person.
  • the learning processing unit 52 can be configured including a computer including a CPU (not shown), and executes learning data collection processing and learning processing.
  • FIG. 13 shows an example of learning data collection processing executed by a CPU (not shown).
  • the learning processing unit 52 performs processing related to application of the pressure stimulus for obtaining the above-described robot state. obtained in chronological order.
  • the acquired time-series electrical resistance values are labeled with a robot state value indicating robot state 3 and stored.
  • the learning processing unit 52 makes a negative determination until a positive determination is made in step S106 until the set of the robot state value and the electrical resistance value of the conductive urethane 22 reaches a predetermined number or a predetermined predetermined time. ) and repeat the above process.
  • the learning processing unit 52 can acquire and store the electrical resistance value of the conductive urethane 22 in chronological order for each robot state 3.
  • a set of 22 electrical resistance values serves as learning data.
  • FIG. 19 shows an example of electrical characteristics of the arm section 233 of the robot 2.
  • FIG. 19 shows the electrical characteristics of the conductive urethane 22 when the arm 233 of the robot 2 is pressed by the user's hand with different biasing forces (pressing forces with peak values P1 to P8).
  • the peak values P1 to P7 are assumed to be robot states in which a person does not come into contact
  • the peak value P8 is assumed to be a robot state when a person makes contact.
  • each of the time-series electrical characteristics of the conductive urethane 22 (electrical characteristics before and after including the peak values P1 to P8) is applied to the arm portion 233 according to the user's biasing force (pressing force).
  • Characteristic pattern in the robot state when touched and actuated That is, the characteristic pattern is a pattern in which the electrical resistance value rapidly increases when the arm portion 233 is pressed by the user's hand, and the electrical resistance value gradually decreases when the pressing is released (the user's hand is removed). appears as In the example shown in FIG. 19, the electrical resistance value at the peak value P8 is greater than the peak values P1 to P7.
  • the learning processing unit 52 learns, as learning data, the time-series electrical characteristics corresponding to the biasing force (pressing force) that identifies the contact biasing state.
  • the robot state which is not limited to contact detection, can be identified by each physical quantity such as the position of each part in the robot 2, or the relative positional relationship between multiple parts, the distribution, magnitude, and frequency of pressure stimulation in each part. is. Therefore, the time-series electrical characteristics of the conductive urethane 22 include time-series physical quantity features indicating the robot state. In this embodiment, by using the conductive urethane 22, it is possible to detect the electrical characteristics (volume resistance) reflecting these physical quantities in chronological order.
  • the pressure stimulus in the robot 2 changes according to the robot state, and by acquiring the electrical characteristics corresponding to the changes in the pressure stimulus in time series, the time-series electrical characteristics can be stored in association with the robot state. becomes possible.
  • a set of the time-series electrical characteristics and the robot state value indicating the robot state can be used as learning data.
  • Table 1 is an example of data in which time-series electrical resistance value data (r) and active mode state values are associated with each other as learning data relating to the active mode state including the attitude state and the behavior state.
  • Table 2 is an example of data in which time-series electrical resistance value data (R) and passive mode state values are associated with each other as learning data relating to the passive mode state including the contact state and the energized state.
  • Table 3 shows data in which a set of characteristic data (J) representing time-series electrical resistance values detected in each part and robot state values are associated with each other, taking into account that each part in the robot 2 is linked. is an example.
  • Any characteristic data (J) included in this set includes features of the robot state, that is, feature patterns. All characteristic data (J) are used as learning data. For example, a plurality of characteristic data (J) detected by the robot 2 and robot state values (in Table 3, values indicating the motion of the robot "holding a person with both arms") are used as learning data.
  • FIG. 14 is a diagram showing functions of a CPU (not shown) of the learning processing unit 52 in learning processing.
  • a CPU (not shown) of the learning processing unit 52 includes functional units of the generator 54 and the calculator 56 .
  • the generator 54 has a function of generating an output in consideration of the sequential relationship of the electrical resistance values obtained in time series as an input.
  • the learning processing unit 52 uses, as data for learning, input data 4 (electrical resistance value), which is the input described above, and output data 6, which is an output representing the robot state 3 corresponding to the input data 4 (electrical resistance value). I have a lot of sets with.
  • the generator 54 includes an input layer 540, an intermediate layer 542, and an output layer 544 to form a known neural network (NN: Neural Network). Since the neural network itself is a known technology, detailed description is omitted, but the intermediate layer 542 includes a large number of node groups (neuron groups) having inter-node connections and feedback connections. Data from the input layer 540 is input to the intermediate layer 542 , and data resulting from the operation of the intermediate layer 542 is output to the output layer 544 .
  • N Neural Network
  • the generator 54 is a neural network that generates generated output data 6A representing the state of the robot from the input data 4 (electrical resistance).
  • the generated output data 6A is data obtained by estimating the robot state from the input data 4 (electrical resistance).
  • the generator 54 generates generated output data indicating a state close to a robot state from the input data 4 (electrical resistance) input in time series. By learning using a large number of input data 4 (electric resistance), the generator 54 can generate generated output data 6A that approximates a robot state in which the robot 2, that is, the conductive urethane 22 is given a pressure stimulus.
  • the electrical characteristics of the input data 4 input in time series are captured as patterns, and by learning the patterns, the robot 2, that is, the conductive urethane 22 is given a pressure stimulus to generate an output close to a robot state.
  • Data 6A can now be generated.
  • the calculator 56 is a calculator that compares the generated output data 6A and the output data 6 of the learning data and calculates the error of the comparison result.
  • the learning processing unit 52 inputs the generated output data 6A and the output data 6 of the learning data to the calculator 56 .
  • the calculator 56 calculates the error between the generated output data 6A and the output data 6 of the learning data, and outputs a signal indicating the calculation result.
  • the learning processing unit 52 performs learning for the generator 54 that tunes the weight parameters of the connections between nodes based on the error calculated by the calculator 56 .
  • the weight parameter of the connection between the nodes of the input layer 540 and the hidden layer 542 in the generator 54, the weight parameter of the connection between the nodes in the hidden layer 542, and the node of the hidden layer 542 and the output layer 544 Each of the weight parameters of the connections between is fed back to the generator 54 using techniques such as gradient descent and error backpropagation. That is, with the output data 6 of the learning data as a target, the connections between all nodes are optimized so as to minimize the error between the generated output data 6A and the output data 6 of the learning data.
  • the learning model 51 is generated by the learning processing of the learning processing unit 52.
  • the learning model 51 is expressed as a set of information of weight parameters (weights or strengths) of connections between nodes as a result of learning by the learning processing unit 52 .
  • Fig. 15 shows an example of the flow of the learning process.
  • the learning processing unit 52 acquires input data 4 (electrical resistance) labeled with information indicating the state of the robot, which is learning data obtained as a result of time-series measurements.
  • the learning processing unit 52 generates the learning model 51 using learning data obtained as a result of time-series measurement. That is, a set of information on weight parameters (weights or strengths) of connections between nodes is obtained as a result of learning using a large amount of learning data as described above.
  • step S114 data expressed as a set of information on weight parameters (weights or strengths) of connections between nodes of learning results is stored as a learning model 51.
  • the generator 54 may use a recursive neural network that has a function of generating an output in consideration of the context of time-series inputs, or may use another technique.
  • the learned generator 54 generated by the method exemplified above (that is, data expressed as a set of information on the weight parameters of the connections between nodes of the learning results) is used as a learning model. 51. If a sufficiently learned learning model 51 is used, it is not impossible to identify the robot state from the time-series electrical resistance values of the conductive urethane 22 placed on the robot 2 , that is, the outer shell 27 .
  • the processing by the learning processing unit 52 is an example of the processing of the learning model generation device of the present disclosure.
  • the robot state estimation device 1 is an example of an estimation unit and an estimation device of the present disclosure.
  • the output data 6, which is information indicating the robot state 3, is an example of robot state information of the present disclosure.
  • the electrical paths are linked in a complicated manner as described above, and the electrical paths expand, contract, expand, contract, temporarily disconnect, and create new connections in response to deformation. behavior and consequently exhibit different electrical properties depending on the applied force (eg pressure stimulus).
  • This allows the conductive urethane 22 to be treated as a reservoir that stores data regarding deformation of the conductive urethane 22 . That is, the robot state estimation device 1 can apply the conductive urethane 22 to a network model (hereinafter referred to as PRCN) called physical reservoir computing (PRC). Since PRC and PRCN are known techniques, detailed description thereof will be omitted.
  • a reservoir may be called a reservoir and a reservoir.
  • FIG. 16 shows an example of the learning processing unit 52 that learns by treating the robot 2 containing the conductive urethane 22 as a reservoir that stores data relating to deformation of the robot 2 containing the conductive urethane 22 .
  • the conductive urethane 22 becomes an electrical characteristic (electrical resistance value) according to each of various pressure stimuli, and functions as an input layer for inputting the electrical resistance value. act as a layer. Since the conductive urethane 22 outputs different electrical characteristics (input data 4) according to the pressure stimulus given by the robot state 3, the pressure stimulus 3 can be estimated. Therefore, in the learning process, the estimation layer should be learned.
  • the robot state estimation device 1 described above can be realized, for example, by causing a computer to execute a program representing each function described above.
  • FIG. 17 shows an example of a control device 250 including a computer as an execution device that executes processing for realizing various functions of the robot state estimation device 1 .
  • the control device 250 functioning as the robot state estimation device 1 includes a computer main body 100 shown in FIG.
  • the computer main body 100 includes a CPU 102 , a RAM 104 such as a volatile memory, a ROM 106 , an auxiliary storage device 108 such as a hard disk drive (HDD), and an input/output interface (I/O) 110 .
  • These CPU 102, RAM 104, ROM 106, auxiliary storage device 108, and input/output I/O 110 are connected via a bus 112 so as to exchange data and commands with each other.
  • a communication unit 114 for communicating with an external device is connected to the input/output I/O 110 .
  • the communication unit 114 functions to acquire the input data 4 (electrical resistance) with the robot 2 including the conductive urethane 22 . That is, the communication unit 114 can acquire the input data 4 (electrical resistance) from the electrical characteristic detection unit 76 connected to the detection point 75 in the conductive urethane 22 arranged on the robot 2, which is the detection unit. be.
  • an operation unit 115 such as a keyboard, a display unit 211 such as a display, a microphone 117 for voice input, a speaker 118 for voice output, and a drive unit 119 are connected.
  • the display unit 211 is arranged on the head 210 of the robot 2 .
  • the operation unit 115, the microphone 117, and the speaker 118 are arranged inside the body portion 220 of the robot 2, for example (not shown).
  • the driving unit 119 is arranged so as to movably drive each part in cooperation with the skeleton 21 of the robot 2 (not shown).
  • the auxiliary storage device 108 stores a control program 108P for causing the computer main body 100 to function as the robot state estimation device 1 as an example of the estimation device of the present disclosure.
  • the CPU 102 reads the control program 108P from the auxiliary storage device 108, develops it in the RAM 104, and executes processing. Thereby, the computer main body 100 executing the control program 108P operates as the robot state estimation device 1 as an example of the estimation device of the present disclosure.
  • the auxiliary storage device 108 stores a learning model 108M including the learning model 51 and data 108D including various data.
  • the control program 108P may be provided by a recording medium such as a CD-ROM.
  • FIG. 18 shows an example of the flow of estimation processing by the control program 108P executed in the computer main body 100.
  • the estimation process shown in FIG. 18 is executed by the CPU 102 when the computer main body 100 is powered on. That is, the CPU 102 reads out the control program 108P from the auxiliary storage device 108, develops it in the RAM 104, and executes the process.
  • step S200 the CPU 102 reads out the learning model 51 from the learning model 108M of the auxiliary storage device 108 and develops it in the RAM 104, thereby obtaining the learning model 51.
  • a network model (see FIGS. 14 and 16), which is a connection between nodes based on weight parameters expressed as the learning model 51, is developed in the RAM 104.
  • FIG. Therefore, a learning model 51 is constructed in which connections between nodes are realized by weight parameters.
  • step S202 the CPU 102 acquires the unknown input data 4 (electrical resistance) for estimating the robot state due to the pressure stimulus applied to the conductive urethane 22 in time series via the communication unit 114. do.
  • step S204 the CPU 102 uses the learning model 51 acquired in step S200 to estimate the output data 6 (unknown robot state) corresponding to the input data 4 (electrical resistance) acquired in step S202.
  • the output data 6 (robot state) of the estimation result is output via the communication unit 114, data is output from the speaker 118 so as to emit a sound, or the data is displayed on the display unit 211.
  • the data is output as follows, and this processing routine ends.
  • estimation process shown in FIG. 18 is an example of the process executed by the estimation method of the present disclosure.
  • the robot state it is possible to estimate the robot state from the input data 4 (electrical resistance) that changes according to the pressure stimulation in the robot state 3 with respect to the conductive urethane 22. . That is, it is possible to estimate an unknown robot state without using a special device or a large-sized device or directly measuring the deformation of the flexible member.
  • the robot state estimating device 1 by using the learning model 51 learned by the above-described learning process, by inputting the electrical characteristics of the conductive urethane 22, various robot states corresponding to the electrical characteristics can be obtained. can be estimated.
  • the robot state estimation device 1 when focusing on detecting an urging state in which a person contacts the outer shell 27 as the robot state, for example, a contact state, the robot state estimation device 1 is configured so that the time-series electrical characteristics are predetermined for contact detection. A functional part that detects that the threshold is exceeded can be applied as a contact detection device that detects contact of the robot 2 with a person.
  • the present disclosure provides an estimating device, an estimating method, and an estimating program capable of estimating the applied stimulus state that applies pressure to a flexible material by using the electrical properties of a conductive flexible material without using a special detection device. , and a learning model generation device.
  • a movable body is a concept that includes a movable body made up of one part or a robot configured by a plurality of parts, some of which are movable, in cooperation with each other. Also, the movable body can be applied to a part of the human body.
  • Protruding part is a concept that includes parts and parts such as the head, arms, and legs that protrude from a base (for example, body or torso) that constitutes a robot or the like and can move relative to the base. . It should be noted that the protruding part can be provided with a partial body such as, for example, a finger on an arm or a hand including a finger. A flexible material is disposed on the protrusion.
  • the applied stimulus state is a concept that includes at least one state of an external human body or object that applies pressure to the flexible material from the outside other than the movable body. That is, the applied stimulus state includes the state of the external human body, the state of the external object, and the state of the external human body and object.
  • human and object are collectively referred to as a person, without distinguishing between at least one of an external human body and an object that applies external pressure to the flexible material other than the movable body.
  • a single person of a human body and an object, and a combination of a human body and an object are referred to as a person.
  • the applied stimulus state includes at least one of a contact state, a shape state, and a physical state.
  • a contact state includes a state in which the flexible material and an external person are in contact.
  • the contact state includes a case where a predetermined member intervenes between the flexible material and an outside person.
  • the contact state may be a state in which energy is relatively transferred between the flexible material and an external person via a predetermined member and the flexible member is deformed.
  • the shape state includes a state indicating any one of a person's surface shape, surface texture, and surface tactile sensation.
  • a physical state is a physical state of a person, and includes states indicating pressure from the person, weight of the person, and hardness of the person.
  • the applied stimulus state appears in either a state indicating an active form (hereinafter referred to as an active state) or a state indicating a passive form (hereinafter referred to as a passive state) in the movable body.
  • the active form state is a concept including a state showing a dynamic form such as behavior and movement of the movable body indicated by the movable body on which the flexible material is arranged.
  • the passive form state is a concept including a state indicating a static form when energy such as pressure is applied from the outside to a flexible material such as the posture of a movable body.
  • An example of a state indicating an active form is a behavior state indicating movement of a movable body.
  • An example of the state indicating the passive form is a posture state indicating the posture of the movable body.
  • the estimation device of the present disclosure uses a learned learning model to estimate the applied stimulus state from the electrical properties of the conductive flexible material placed on the movable body.
  • the flexible material is at least a protruding portion (eg, any one of the head, hands, legs, etc.) protruding from the base (eg, body) of the movable body (eg, robot, etc.) so as to be movable relative to the base. It is arranged so as to cover part of it.
  • the learning model uses, as learning data, time-series electrical characteristics when pressure is applied to a conductive flexible material, and applied stimulation state information indicating the applied stimulation state of a person applying pressure to the flexible material.
  • the learning model receives time-series electrical characteristics as input, and is trained to output applied stimulus state information indicating the applied stimulus state corresponding to the time-series electrical characteristics.
  • a case where a robot is applied as a movable body will be described.
  • a case where conductive urethane in which a conductive material is infiltrated in all or at least a part of a urethane member as a flexible material having conductivity is arranged on at least a part of the outer shell of the robot will be described.
  • a value (pressure value) indicating a pressure stimulus given to the robot, that is, the flexible material is applied.
  • the electrical resistance value of conductive urethane is applied as the physical quantity that changes according to the pressure stimulus will be described.
  • FIG. 20 shows an example of the configuration of a state estimation device as the estimation device of the present disclosure. Since the state estimating device according to the present embodiment has the same configuration as the robot state estimating device 1 described above, the robot state estimating device 1 described above will be referred to as the state estimating device 1 in the present embodiment.
  • FIG. 20 differs from FIG. 1 in that a conductive urethane 22 is arranged on the robot hand. A robot hand will be described later.
  • the estimation process in the state estimation device 1 uses the learned learning model 51 to determine the surface shape of the person outside the robot, It estimates and outputs either the state of the texture of the surface, the tactile sensation of the surface, or the contact state of an external person. As a result, it is possible to measure the surface shape, surface texture, surface tactile sensation, etc. of the person applying pressure to the robot, as well as the contact state of an external person, etc., without measuring using special equipment or large equipment. It becomes possible to estimate the applied stimulus state.
  • the learning model 51 is learned using the applied stimulus state (eg, state value indicating the applied stimulus state) as a label and the electrical properties (eg, electrical resistance value) of the conductive urethane in the applied stimulus state as input. Learning of the learning model 51 will be described later.
  • the humanoid robot 200 includes a head 210, a body 220, arms 230 (upper arms 232, forearms 234, hands 236), and legs 240 (thighs 242, lower legs 244, feet 246). are connected by a skeleton 21 (FIG. 2).
  • the humanoid robot 200 arranges the conductive urethane 22 around the skeleton 21 so that the conductive urethane 22 is arranged on the outer shell of the humanoid robot 200 .
  • the conductive urethane 22 placed on the humanoid robot 200 is connected to an electrical property detector 76 (FIG. 8) via a detection point 75 such as an electrode.
  • the robot hand 2 shown in FIG. 21 corresponds to the part of the hand 236 included in the arm 230 of the robot shown in FIG.
  • the robot hand 2 includes a base portion 237 and a plurality of (three in the example shown in FIG. 3) finger portions 238 connected to the base portion 237 to configure the robot hand.
  • Each finger 238 is configured to be bendable by fluid supply or the like (details will be described later), and forms a finger shape according to the degree of bending.
  • a finger form 236-1 in which the tips of the fingers 238 are positioned at a predetermined initial spacing
  • a finger form 236-2 in which the tips of the fingers 238 are close together
  • a finger form 236-2 in which the tips of the fingers 238 are spaced apart.
  • Form 236-3 is shown as an example.
  • each of the finger portions 238 of the robot hand 2 includes the skeleton 21 , and the conductive urethane 22 is arranged around the skeleton 21 to form the outer shell portion 27 .
  • the base portion 237 also functions as a skeleton.
  • the outer shell portion 27 of each finger portion 238 may be composed of one sheet containing the conductive urethane 22 and arranged, or a plurality of sheets containing at least one of the conductive urethane 22 may be arranged. When forming the outer shell part 27 with a plurality of sheets, the sheets may be arranged so that a part of the sheets overlap.
  • the conductive urethane 22 is connected to an electrical characteristic detection section 76 (FIG. 8) via a detection point 75 such as an electrode.
  • the finger portion 238 is formed to be bendable with the base portion 237 as a fulcrum.
  • a member containing an elastic body that deforms linearly or non-linearly can be applied to the configuration in which the finger portion 238 is formed to be bendable, and a contraction force is generated in a predetermined direction by a given physical quantity (for example, pressure or fluid supply).
  • a given physical quantity for example, pressure or fluid supply.
  • an elastic contraction body for example, the rubber actuator described above.
  • the robot hand 2 bends the fingers 238 as indicated by finger forms 236-1 to 236-3 in FIG.
  • finger forms 236-1 to 236-3 By operating (bending) the fingers 238, it is possible to simulate a human hand that grips and releases a person.
  • the example shown in FIG. 21 is an example of finger form 236-1 in the initial form, finger form 236-2 in the gripping form, and finger form 236-3 in the open form releasing the grip.
  • control device 250 that controls the robot hand 2 on the base portion 237 (FIG. 17).
  • Control device 250 includes a functional unit that operates as state estimation device 1 .
  • the robot hand 2 includes a drive section 119 (FIG. 17) for bending each finger section 238, which is a part, by supplying fluid or the like.
  • a drive section 119 for bending each finger section 238, which is a part, by supplying fluid or the like.
  • each finger portion 238 can be bent to form various finger shapes. Therefore, the robot equipped with the robot hand 2 operates as an independent robot system.
  • a robot hand is configured by three finger portions 238 connected to a base portion 237
  • the number of finger portions 238 is not limited to three. may be, or may be four or more.
  • each finger portion 238 is not limited to having the same shape. For example, it is of course possible to form a different shape imitating a finger of a human body.
  • each finger portion 238 arranges the conductive urethane 22 around the skeleton 21 to form the outer shell portion 27
  • the robot hand 2 is not limited to disposing the conductive urethane 22 around the fingers 238 .
  • the robot hand 2 is not limited to having a plurality of fingers 238 .
  • the outer shell 27 of the hand 236 may be formed by arranging the conductive urethane 22 around the hand composed of the fingers 238B having the skeleton 21.
  • FIG. The robot hand 2B can simulate a hand in a clenched state.
  • the robot hand 2 is not limited to having a curved surface.
  • the outer shell 27 of the hand 236 may be formed by arranging the conductive urethane 22 around a flat hand composed of fingers 238B having a skeleton 21.
  • FIG. The robot hand 2C can simulate a palm and a back.
  • the state estimation device 1 detects the electrical properties of the conductive urethane 22 placed on the robot hand 2 in order to estimate the applied stimulus state (see FIG. 8).
  • the electrical resistance value detected in the robot hand 2 configured by providing the outer shell 27 with the conductive urethane 22 is changed by the deformation of the conductive urethane 22, such as when the outer shell 27 of the robot hand 2 is subjected to a pressure stimulus. Changes before and after deformation. Therefore, detection of time-series electrical resistance values, that is, detection of changes in electrical resistance values from a state in which no pressure stimulus is applied to the robot hand 2 (for example, detection of electrical resistance values exceeding a predetermined threshold value).
  • the stimulus state applied by the person to the robot hand 2 includes the contact state because even the contact of the person to the robot hand 2 involves the pressure stimulus.
  • the shell portion 27 containing the conductive urethane 22 arranged on the robot hand 2 may be formed by forming the shell portion 27 containing the conductive urethane 22 with the outer side of the robot hand 2 as an integral structure.
  • An outer shell 27 containing an independent conductive urethane 22 may be formed.
  • more detection points than the above may be used as detection points as described above (see FIGS. 9 to 11).
  • the state estimation device 1 includes an estimation unit 5.
  • the estimation unit 5 receives input data 4 which is time-series electrical characteristics representing the magnitude of electrical resistance (electrical resistance value) in the conductive urethane 22 .
  • an electrical characteristic that is, a volume resistance value, which is an electrical resistance value
  • Input data 4 corresponds to applied stimulus state 3 of robot hand 2 .
  • the estimating unit 5 also outputs output data 6 representing a physical quantity (applied stimulus state value) indicating the applied stimulus state 3 as an estimation result.
  • the estimation unit 5 includes a learning model 51 that has been trained.
  • the learning model 51 obtains the applied stimulus state, that is, the active or passive state of the robot hand 2 (output data It is a model that has been trained to derive 6).
  • the learning model 51 is, for example, a model that defines a trained neural network, and is expressed as a set of information on weights (strengths) of connections between nodes (neurons) that make up the neural network.
  • the learning model 51 is generated by learning processing of the learning processing unit 52 (FIG. 12).
  • the learning processing unit 52 performs learning processing using the electrical characteristics (input data 4) of the conductive urethane 22 that change with the pressure stimulus generated in the applied stimulus state 3 instead of the robot state described above. That is, a large amount of data obtained by measuring the electrical resistance of the conductive urethane 22 in chronological order using the applied stimulus state 3 as a label is used as learning data.
  • the learning data includes a large amount of sets of input data including an electrical resistance value (input data 4) and information indicating the applied stimulus state 3 corresponding to the input data (output data 6). .
  • time-series information is associated with each of the electrical resistance values (input data 4) of the conductive urethane 22 by adding information indicating the measurement time.
  • information indicating the time of measurement may be added to the set of time-series electrical resistance values of the conductive urethane 22 for the period determined as the applied stimulation state 3 to associate the time-series information.
  • the learning processing section 52 will be described.
  • the outer shell 27 of the robot hand 2 on which the conductive urethane 22 described above is arranged is applied as a detection unit, and the applied stimulus state 3 and the electrical resistance value (input Data 4) is used as learning data.
  • data indicating applied stimulus states in the active and passive states are used as learning data.
  • the drive unit 119 is controlled so that at least some parts of the robot hand 2 behave in a predetermined posture, movement, etc., and the electric resistance value at that time is detected to determine the applied stimulus state. (applied stimulus state value) and used as learning data.
  • the time-series electrical resistance values in the active configuration state contain data characteristic of the applied stimulus state. Therefore, the time-series electrical resistance values may be detected and associated with the applied stimulus state (applied stimulus state value) to be used as learning data.
  • the time-series electrical resistance value in the active state in a state in which there is no applied stimulus state for example, a no-load state
  • a difference component for example, a difference
  • the time-series electrical resistance value in the applied stimulus state in the state may be associated with the applied stimulus state and used as learning data.
  • the drive unit 119 is controlled so that at least some parts of the robot hand 2 assume a predetermined posture, and the electrical resistance value at that time is detected to determine the applied stimulation state (applied stimulation state). state value) and used as learning data.
  • the robot hand 2 in a predetermined posture is brought into contact with or pressed against a person in a stimulation state, and the electric resistance value at that time is detected to correspond to the stimulation state. and use it as learning data.
  • the learning processing unit 52 can be configured including a computer including a CPU (not shown), and executes learning data collection processing and learning processing (FIG. 13).
  • a CPU (not shown) executes learning data collection processing instead of the above-described robot state as the applied stimulus state. That is, in step S100, the learning processing unit 52 applies pressure to the robot hand 2 in the state of the robot hand 2 (active state or passive state), and in step S102, the conductive urethane that changes according to the applied stimulus state. 22 electrical resistance values are acquired in chronological order. In the next step S104, the obtained time-series electrical resistance values are labeled with applied stimulation state values indicating the applied stimulation state 3 and stored.
  • the learning processing unit 52 continues until the set of the applied stimulus state value and the electrical resistance value of the conductive urethane 22 reaches a predetermined number or a predetermined time (in step S106, negative until affirmative determination is made). decision) and repeat the above process. As a result, the learning processing unit 52 can acquire and store the electrical resistance value of the conductive urethane 22 in chronological order for each applied stimulation state 3, and the time-series electrical conductivity for each of the stored applied stimulation states can be obtained. A set of electrical resistance values of the urethane 22 is learning data.
  • the electrical characteristics change greatly as the biasing force (pressing force) with which the person touches the outer shell 27 increases. Therefore, by detecting that the time-series electrical characteristic exceeds a predetermined threshold value for contact detection, it is possible to detect at least the applied stimulus state indicating that a person has touched the outer shell portion 27 . Therefore, if the learning process is executed so as to be able to estimate at least the applied stimulus state in which the person touches the outer shell 27, the time-series electrical characteristics corresponding to the biasing force (pressing force) that identifies the contact should be used as the learning data. (See also FIG. 19).
  • Each of the time-series electrical characteristics of the conductive urethane 22 comes into contact according to the biasing force (pressing force) and appears as a characteristic pattern in the applied stimulus state. That is, when the robot hand 2 is pressed by a person, the electrical resistance value rises sharply, and when the pressure is released (the user's hand is moved away), the electrical resistance value gradually decreases. . Therefore, by setting the electrical resistance value exceeding the peak values P1 to P7 as the threshold value th as described above, it is possible to detect the stimulation state in which the person touches the outer shell portion 27 . Therefore, the learning processing unit 52 learns, as learning data, the time-series electrical characteristics corresponding to the biasing force (pressing force) that specifies the applied stimulus state of contact.
  • the applied stimulus state which is not limited to contact detection, depends on each physical quantity such as the position of each part in the robot hand 2, or the relative positional relationship between a plurality of parts, the distribution, size, and frequency of the pressure stimulus in each part. Identifiable. Therefore, the time-series electrical characteristics of the conductive urethane 22 include the time-series physical quantity characteristics indicating the applied stimulus state. In this embodiment, by using the conductive urethane 22, it is possible to detect the electrical characteristics (volume resistance) reflecting these physical quantities in chronological order.
  • the pressure stimulus in the robot hand 2 changes according to the applied stimulus state, and by acquiring the electrical characteristics corresponding to the changes in the pressure stimulus in time series, the time-series electrical characteristics can be associated with the applied stimulus state. It is possible to memorize. A set of the time-series electrical characteristics and applied stimulus state values indicating the applied stimulus state can be used as learning data.
  • Table 4 is an example of data in which time-series electrical resistance value data (r) and applied stimulus state active form state values are associated with each other as learning data relating to the applied stimulus state.
  • Table 5 is an example of data showing time-series electrical resistance value data (R) for each part of the robot hand 2 .
  • Table 3 is an example of data in which a set of characteristic data (J) indicating time-series electrical resistance values detected at each finger of the robot hand 2 is associated with applied stimulus state values.
  • the example shown in Table 5 includes fingertips, finger pads, roots, palms, backs, and sides as parts for detecting pressure applied to the robot hand 2 .
  • the data shown in Table 5 may be included in each of the data shown in Table 1.
  • the example shown in Table 6 includes a set of characteristic data (J) indicating time-series electrical resistance values detected in each part, an applied stimulus state value, and is learning data associated with
  • one of the characteristic data (J) included in each set includes the characteristics of the applied stimulus state, that is, the characteristic pattern. Therefore, all characteristic data (J) can be used as learning data.
  • the applied stimulus state can be identified from a combination of characteristic data (J) including variations in electrical resistance detected at each of the three fingers 236 that constitute the robot hand 2 .
  • "holding an object" can be identified when the electrical resistance values of the three fingers 236 change in the pressing direction at two or more sites.
  • the learning process described above is performed in the learning processing unit 52 (FIG. 14).
  • the learning process is executed by replacing the robot state described above with the applied stimulus state. Since the learning process is the same as the above, the explanation is omitted.
  • the learning model 51 is generated by the learning processing of the learning processing unit 52 described above (FIG. 15).
  • the learning model 51 is expressed as a set of information of weight parameters (weights or strengths) of connections between nodes as a result of learning by the learning processing unit 52 .
  • the learned generator 54 generated by the method exemplified above (that is, data expressed as a set of information on the weight parameters of the connections between nodes of the learning result) is converted into a learning model 51.
  • a sufficiently learned learning model 51 it is not impossible to identify the applied stimulus state from the time-series electrical resistance values of the conductive urethane 22 placed on the robot hand 2 , that is, the outer shell 27 .
  • the processing by the learning processing unit 52 is an example of the processing of the learning model generation device of the present disclosure.
  • the state estimation device 1 is an example of an estimation unit and an estimation device of the present disclosure.
  • the output data 6, which is information indicating the applied stimulation state 3, is an example of the applied stimulation state information of the present disclosure.
  • the conductive urethane 22 can be treated as a reservoir that stores data related to deformation of the conductive urethane 22 . That is, the state estimating device 1 can apply the conductive urethane 22 to PRCN called Physical Reservoir Computing (PRC).
  • PRC Physical Reservoir Computing
  • the robot hand 2 including the conductive urethane 22 is treated as a reservoir for storing data regarding deformation of the robot hand 2 including the conductive urethane 22.
  • the state estimation device 1 can be realized, for example, by causing a computer to execute a program representing each function described above.
  • the control device 250 may be configured to include a computer as an execution device that executes processing for realizing various functions of the state estimation device 1 (FIG. 17).
  • the estimation process according to the present embodiment is executed by the CPU 102 when the computer main body 100 is powered on (FIG. 18). That is, the CPU 102 reads out the control program 108P from the auxiliary storage device 108, develops it in the RAM 104, and executes the process. In the present embodiment, the estimation process is executed by replacing the robot state with the applied stimulus state as described above.
  • step S200 the CPU 102 reads out the learning model 51 from the learning model 108M of the auxiliary storage device 108 and develops it in the RAM 104, thereby obtaining the learning model 51.
  • a network model (see FIGS. 14 and 16), which is a connection between nodes based on weight parameters expressed as the learning model 51, is developed in the RAM 104.
  • FIG. Therefore, a learning model 51 is constructed in which connections between nodes are realized by weight parameters.
  • step S202 the CPU 102 transmits the unknown input data 4 (electrical resistance), which is the target for estimating the applied stimulus state due to the pressure stimulus applied to the conductive urethane 22, in chronological order via the communication unit 114. get.
  • unknown input data 4 electrical resistance
  • step S204 the CPU 102 uses the learning model 51 acquired in step S200 to estimate the output data 6 (unknown stimulation state) corresponding to the input data 4 (electrical resistance) acquired in step S202. .
  • step S206 output data 6 (applied stimulus state) of the estimation result is output via the communication unit 114, data is output so as to emit a sound from the speaker 118, or is displayed on the display unit 211. Data is output so as to end this processing routine.
  • estimation processing according to the present embodiment is an example of processing executed by the estimation method of the present disclosure.
  • the applied stimulation state can be estimated from the input data 4 (electrical resistance) that changes according to the pressure stimulation in the applied stimulation state 3 for the conductive urethane 22. becomes. That is, it is possible to estimate an unknown applied stimulus state without using a special device or a large-sized device or directly measuring the deformation of the flexible member.
  • Applied stimulus state can be estimated. That is, even in various applied stimulus states in which a person applies pressure to the robot hand 2, an appropriate applied stimulus state can be estimated by using the learning model described above.
  • the state estimation device 1 by using the learning model 51 learned by the learning process described above, by inputting the electrical characteristics of the conductive urethane 22, various applied stimulus states corresponding to the electrical characteristics can be estimated.
  • the state estimation device 1 described above can be applied to various devices.
  • the state estimation device 1 described above functions effectively when the applied stimulus state is shared at a plurality of locations.
  • the state estimation device 1 causes the robot hand 2 to function as part of a remote device that is placed at a remote location, so that the person detected by the robot hand 2 is located at a location distant from the place where the robot hand 2 is placed. It is possible to grasp an unknown applied stimulus state.
  • the applied stimulation state value indicating the applied stimulation state is transmitted to a predetermined remote location via the communication unit 114 as data. You just need to add a process to send it first.
  • the state estimating device 1 detects that the time-series electrical characteristic exceeds a predetermined threshold value for contact detection.
  • the functional portion that performs the function can be applied as a contact detection device that detects human contact.
  • the member containing the conductive urethane 22 may be placed on a cover portion placed around the robot, or placed on a bag (for example, a hat, gloves, socks, etc.) attached to a part of the human body. good.
  • the movable body on which the conductive urethane is placed may be a human body, such as a robot or a human body, as long as it has a base and a protruding portion for applying pressure to the conductive urethane 22 according to the applied stimulus state.
  • FIG. 24 shows a glove 29 having conductive urethane 22 to which the technology of the present disclosure is applied.
  • the glove 29 is a member worn on the outside of the hand of the human body, and the conductive urethane 22 is arranged inside or at least part of the outside.
  • the glove 20 in which the member worn on the outside of the human hand is made of the conductive urethane 22 will be explained.
  • the glove 20 includes a first finger portion 20-1 covering the thumb, a second finger portion 20-2 covering the index finger, a third finger portion 20-3 covering the middle finger, and a fourth finger portion covering the ring finger. 20-4, and a fifth finger portion 20-5 covering the little finger, each connected to a palm portion 20-6 covering the palm (back).
  • the gloves 20 may cover the hands 236 of the robot shown in FIG.
  • the glove 20 has the conductive properties of each part, that is, in order to detect the electrical characteristics of each of the first to fifth finger parts 20-1 to 20-5 and the palm part 20-6.
  • a detection point 75 such as an electrode is arranged on the urethane 22 .
  • conductive urethane 22 is connected to controller 250A with electrical property detector 76 (FIG. 8). Since the control device 250A has the same configuration as the control device 250 shown in FIG. 21, the description thereof is omitted.
  • the arrangement of the detection points 75 such as the electrodes on the glove 20 shown in FIG. 24 is an example, and is not limited to the arrangement shown in FIG.
  • at least one pair of detection points 75 such as electrodes may be arranged on the glove 20, and a plurality of detection points may be arranged to improve detection accuracy.
  • the glove 20 with the conductive urethane 22 placed thereon can estimate the stimulation state applied to the person according to the active and passive states of the robot's or human's hand. Therefore, by arranging a member containing conductive urethane 22 on a cover part arranged around the robot or on a bag body (for example, a hat, gloves, tabi, etc.) worn on a part of the human body, , it is possible to easily estimate the applied stimulus state of a person without providing a large-scale sensor system.
  • the present disclosure provides an estimation device, an estimation method, an estimation program, and a robot capable of estimating contacting object information indicating a contacting object by using electrical properties of a conductive flexible material without using a special detection device.
  • a system and learning model generator are provided.
  • Contacting object in this disclosure is a concept that includes the type of contacting object and the state of the contacting object.
  • the estimation device of the present disclosure uses a learned learning model to estimate information about a contacting object from the electrical properties of a conductive flexible material provided in the robot.
  • the learning model uses, as learning data, time-series electrical characteristics when pressure is applied to a flexible material having conductivity, and contacting object information indicating a contacting object that applies pressure to the flexible material.
  • the learning model receives time-series electrical characteristics as input and is trained to output contacting object information indicating a contacting object corresponding to the time-series electrical characteristics.
  • conductive urethane which is a flexible material having conductivity and is made by blending a conductive material in all or at least a part of the urethane member, is arranged in at least a part of the outer shell of the body of the robot.
  • a value pressure value
  • the electrical resistance value of conductive urethane is applied as the physical quantity that changes according to the pressure stimulus.
  • a contacting object estimation device as an estimation device of the present disclosure has the same configuration as the robot state estimation device 1 described above. A detailed description of the configuration of the estimation device 1 is omitted.
  • the estimation process in the contacting object estimation device 1 uses the learned learning model 51 to estimate the type and state of the unknown contacting object from the electrical characteristics of the conductive urethane 22 placed on the robot 2, and outputs them. This makes it possible to estimate the contacting object information indicating the contacting object without using a special device or a large-sized device or directly measuring the deformation of the outer shell of the robot 2 .
  • the learning model 51 uses a contacting object (for example, a value indicating the type of the contacting object or a state value indicating the state of the contacting object) as a label, and the electrical characteristics of the conductive urethane ( That is, learning is performed using the electrical resistance value of the conductive urethane placed on the robot 2 as an input.
  • an outer shell portion 27 is arranged around the inner layer 25, which also functions as an outer skin.
  • an outer shell portion 27 that functions as a skin that covers the plurality of skeletons 21 of the body portion 220 may be arranged.
  • the conductive urethane 22 may be disposed on at least a portion of the material arranged to cover the plurality of skeletons 21 of the body portion 220, that is, the outer shell portion 27, in the same manner as described above (for example, as shown in FIG. 4). , may be placed inside or outside.
  • the robot 2 forms an outer shell portion by arranging the conductive urethane 22 as an outer shell outside the robot 2 so as to cover the plurality of skeletons 21 of the body portion 220 .
  • the contacting object estimation device 1 detects electrical characteristics of the conductive urethane 22 placed on the robot 2 (see FIG. 8). .
  • the electrical resistance value detected in the robot 2 configured by providing the outer shell 27 with the conductive urethane 22 is changed by the deformation of the conductive urethane 22 such as when the outer shell 27 of the body 220 of the robot 2 is given a pressure stimulus. , changes before and after the transformation. Therefore, detection of time-series electrical resistance values, that is, detection of changes in electrical resistance values from a state in which no pressure stimulus is applied to the torso portion 220 of the robot 2 (for example, detection of electrical resistance values exceeding a predetermined threshold value). detection), it is possible to detect a contacting object with respect to the body portion 220 of the robot 2 .
  • the contacting object with respect to the body portion 220 of the robot 2 includes the type of the contacting object with respect to the body portion 220 of the robot 2 and the state of the contacting object. Therefore, by arranging the conductive urethane 22 on the body portion 220 of the robot 2 , it becomes possible to detect the type and state of the contacting object with respect to the body portion 220 of the robot 2 . Moreover, even if any one of the position, distribution, and magnitude of the pressure stimulus applied to the robot 2 changes, the electric resistance value also changes. Therefore, it is not impossible to detect the type of contacting object with respect to the body 220 of the robot 2 and the state of the contacting object from the electrical resistance value that changes in time series.
  • the shell portion 27 containing the conductive urethane 22 formed on the body portion 220 of the robot 2 may be formed by forming the shell portion 27 containing the conductive urethane 22 with the outside of the body portion 220 of the robot 2 as an integral structure.
  • the shell 27 containing the conductive urethane 22 may be formed independently for each of the body 222 and the lower body 224 .
  • the contacting object estimation device 1 includes an estimation unit 5.
  • Time-series input data 4 representing the magnitude of electrical resistance (electrical resistance value) in the conductive urethane 22 is input to the estimation unit 5 .
  • Input data 4 corresponds to the contact object 3 of the robot 2 .
  • the estimation unit 5 also outputs output data 6 representing contacting object information indicating the contacting object 3 as an estimation result.
  • the estimation unit 5 includes a learning model 51 that has been trained.
  • the learning model 51 uses the electrical resistance (input data 4) of the conductive urethane 22 that changes due to pressure stimulation corresponding to the contacting object 3 to determine the contacting object, that is, the type of contacting object with respect to the body 220 of the robot 2 and the state of the contacting object. It is a model that has been trained to derive (output data 6).
  • the learning model 51 is, for example, a model that defines a trained neural network, and is expressed as a set of information on weights (strengths) of connections between nodes (neurons) that make up the neural network.
  • the learning model 51 is generated by learning processing of the learning processing unit 52 (FIG. 12).
  • the learning processing unit 52 performs learning processing using the electrical characteristics (input data 4) of the conductive urethane 22 that change due to the pressure stimulation caused by the contact object 3 instead of the robot state described above. That is, a large amount of data obtained by measuring the electrical resistance of the conductive urethane 22 in chronological order using the contact object 3 as a label is used as learning data.
  • the learning data is a large set of input data including an electrical resistance value (input data 4) and contact object information (output data 6) indicating the contact object 3 corresponding to the input data. include.
  • time-series information is associated with each of the electrical resistance values (input data 4) of the conductive urethane 22 by adding information indicating the measurement time.
  • information indicating the time of measurement may be added to a set of time-series electrical resistance values of the conductive urethane 22 for a period determined as the contact object 3 to associate the time-series information.
  • the learning processing section 52 will be described.
  • the outer shell part 27 of the body part 220 of the robot 2 on which the conductive urethane 22 is arranged is applied as a detection part, and the type and state of the contact object 3 and the conductive urethane 22 is used as learning data (input data 4).
  • data for each type of contact object is used as learning data.
  • the user OP is instructed to give a pressure stimulus by a contact object of a predetermined type to which energy such as pressure is applied to the torso portion 220 of the robot 2, and the electric resistance value at that time is detected. are used as learning data in association with the type of the contacting object.
  • the body 220 of the robot 2 is given energy such as pressure from the contacting object, the outer shell 27 is deformed and the electrical resistance of the conductive urethane 22 changes, so the time-series electrical resistance is detected. Therefore, learning data can be obtained in association with the type of the contacting object.
  • the data for each state of the contacting object is used as learning data.
  • the user OP is instructed to apply a pressure stimulus by a contacting object in a predetermined state in which energy such as pressure is applied to the body portion 220 of the robot 2, and the electric resistance value at that time is detected. are used as learning data in association with the state of the contacting object.
  • the body 220 of the robot 2 is given energy such as pressure from the contacting object, the outer shell 27 is deformed and the electrical resistance of the conductive urethane 22 changes, so the time-series electrical resistance is detected.
  • learning data can be obtained in association with the state of the contacting object.
  • the contact object state includes a contact state in which a person contacts the robot.
  • the learning processing unit 52 can be configured including a computer including a CPU (not shown), and executes learning data collection processing and learning processing (FIG. 13). In this embodiment, the learning processing unit 52 instructs the body 220 of the robot 2 to apply a pressure stimulus to the body 220 of the robot 2 in step S100.
  • the electrical resistance value of the conductive urethane 22 is acquired in time series.
  • contacting object information indicating the type and state of the contacting object 3 is assigned as a label to the acquired time-series electrical resistance values and stored.
  • the learning processing unit 52 continues until the set of the contact object information and the electrical resistance value of the conductive urethane 22 reaches a predetermined number or a predetermined time (in step S106, a negative judgment is made until an affirmative judgment is made). ) and repeat the above process. As a result, the learning processing unit 52 can acquire and store the electrical resistance value of the conductive urethane 22 in chronological order for each type of the contact object 3 and for each state of the contact object 3. A set of time-series electrical resistance values of the conductive urethane 22 for each type of object and for each state serves as learning data.
  • the electrical characteristics change greatly depending on the type and state of the contacting object. Therefore, by detecting time-series electrical characteristics, it is possible to detect the type and state of the contacting object. Therefore, time-series electrical characteristics corresponding to the type and state of the contacting object may be used as learning data.
  • Table 7 is an example of data in which time-series electrical resistance value data (r) and types of contact objects are associated with each other as learning data relating to the types of contact objects.
  • Table 8 is an example of data in which time-series electrical resistance value data (R) and the state of the contacting object are associated with each other as learning data regarding the state of the contacting object.
  • the learning processing section 52 performs the above-described learning processing (FIG. 14).
  • the learning process is executed by replacing the robot state described above with the type and state of the contacting object. Since the learning process is the same as the above, the explanation is omitted.
  • the learning model 51 is generated by the learning processing of the learning processing unit 52 described above (FIG. 15).
  • the learning model 51 is expressed as a set of information of weight parameters (weights or strengths) of connections between nodes as a result of learning by the learning processing unit 52 .
  • the trained generator 54 generated by the method exemplified above (that is, data expressed as a set of information on weight parameters of connections between nodes of learning results) is used as a learning model. 51. If a sufficiently learned learning model 51 is used, it is not impossible to identify the type and state of the contacting object from the time-series electrical resistance values of the conductive urethane 22 placed on the robot 2, that is, the outer shell 27.
  • the processing by the learning processing unit 52 is an example of the processing of the learning model generation device of the present disclosure.
  • the contacting object estimation device 1 is an example of an estimation unit and an estimation device of the present disclosure.
  • the output data 6, which is information indicating the type and state of the contacting object 3, is an example of contacting object information of the present disclosure.
  • the conductive urethane 22 can be treated as a reservoir that stores data related to deformation of the conductive urethane 22 . That is, the contacting object estimation device 1 can apply the conductive urethane 22 to PRCN called PRC.
  • FIG. 26 shows an example of a learning processing unit 52 that learns by treating the robot 2 containing the conductive urethane 22 as a reservoir for storing data related to deformation of the robot 2 containing the conductive urethane 22, as in FIG. 16 described above. show.
  • the conductive urethane 22 becomes an electrical characteristic (electrical resistance value) according to each of various pressure stimuli, and functions as an input layer for inputting the electrical resistance value. act as a layer.
  • the conductive urethane 22 Since the conductive urethane 22 outputs different electrical characteristics (input data 4) according to the pressure stimulation given by the contact object 3, in the estimation layer, the contact object 3 given from the electrical resistance value of the conductive urethane 22 It is possible to estimate the type and state of Therefore, in the learning process, the estimation layer should be learned.
  • the contacting object estimation device 1 described above can be realized, for example, by causing a computer to execute a program representing each function described above.
  • the control device 250 may be configured to include a computer as an execution device that executes processing for realizing various functions of the contacting object estimation device 1 (FIG. 17).
  • the estimation process according to the present embodiment is executed by the CPU 102 when the computer main body 100 is powered on (FIG. 18). That is, the CPU 102 reads out the control program 108P from the auxiliary storage device 108, develops it in the RAM 104, and executes the process.
  • step S200 the CPU 102 reads the learning model 51 from the learning model 108M of the auxiliary storage device 108 and develops it in the RAM 104, thereby obtaining the learning model 51.
  • a network model (see FIGS. 14 and 16), which is a connection between nodes based on weight parameters expressed as the learning model 51, is developed in the RAM 104.
  • FIG. Therefore, a learning model 51 is constructed in which connections between nodes are realized by weight parameters.
  • step S202 the CPU 102 receives the unknown input data 4 (electrical resistance), which is the target for estimating the contacting object that applied the pressure stimulus to the conductive urethane 22, in chronological order via the communication unit I/F 114. get.
  • the unknown input data 4 electrical resistance
  • step S204 the CPU 102 uses the learning model 51 acquired in step S200 to generate output data 6 (type and state of unknown contact object) corresponding to input data 4 (electrical resistance) acquired in step S202. to estimate
  • the output data 6 (kind and state of the contacting object) of the estimation result is output via the communication unit I/F 114, data is output so that a sound is emitted from the speaker 118, The data is output so as to be displayed on the display unit 211, and this processing routine ends.
  • the control device 250 maintains various postures of the robot 2 and executes various behaviors based on the output data 6 (the type and state of the contacting object) of the estimation result. For example, if the estimated state of the contacting object is "tapping", the power of the robot 2 is switched on and off. Thereby, the body portion 220 of the robot 2 functions as a large switch. Also, when the estimated state of the contacting object is "touching", the behavior speed of the robot 2 is slowed down.
  • estimation processing according to the present embodiment is an example of processing executed by the estimation method of the present disclosure.
  • the type and state of the contacting object can be estimated from the input data 4 (electrical resistance) that changes according to the pressure stimulus on the contacting object 3 with respect to the conductive urethane 22. becomes possible. That is, it is possible to estimate the type and state of an unknown contacting object without using a special device or a large-sized device or directly measuring the deformation of the flexible member.
  • the electrical characteristics of the contacting object change according to the contacting object, and the characteristics of the contacting object are reflected in the electrical characteristics (time-series electrical resistance). It is possible to estimate the type and state of That is, even with various contacting objects, the appropriate type and state of the contacting object can be estimated by using the learning model described above. For example, it is possible to determine what hit the torso portion 220, or to determine who is hugging and with what strength.
  • the contacting object estimation device 1 by using the learning model 51 learned by the above-described learning process, by inputting the electrical characteristics of the conductive urethane 22, various contacting objects corresponding to the electrical characteristics can be obtained. can estimate the type and state of
  • the learning model 51 learned by the learning process described above is used to estimate the types and states of various contact objects corresponding to the electrical characteristics of the conductive urethane 22.
  • the contacting object estimation device 1 is configured as a contact detection device that detects the contact of the person of the robot 2 from the time-series electrical characteristics. It is applicable as a device.
  • the electrical characteristics of the conductive urethane 22 may be detected independently at the front (abdomen) and rear (back) portions of the body portion 220. In this case, actions such as hugging from the front or tackling from behind can be inferred.
  • the present disclosure is a robot control device and a robot that can control the operating state of a robot by using a robot state estimated from the electrical properties of a conductive flexible material with a simple configuration without using a special device.
  • a control method, a robot control program, and a robot system are provided.
  • the "operating state of the robot” is a concept that includes a robot state that is formed when at least some of the parts that make up the robot move from the above-described robot state.
  • the operating state of the robot is at least one of an active configuration state and a passive configuration state, i.e., a robot state in which energy such as pressure can be applied to at least some parts of the robot. It includes a predetermined (or predicted) robot state formed by the actuation of at least some of its parts.
  • the robot controller of the present disclosure provides an electrical connection between multiple sensing points in a robot comprising a flexible material that is controllable in actuation, is electrically conductive, and has electrical properties that change in response to changes in applied pressure.
  • the characteristic is detected by the detector.
  • the derivation unit derives operation data indicating an operation state to be changed corresponding to the robot state estimated using the first learning model from the electrical characteristics of the robot, and outputs the operation data to the drive unit that drives the parts of the robot.
  • the robot control device controls the operational state of the robot by driving at least some parts of the robot by the driving section based on the operational data.
  • FIG. 27 shows an example of a robot control device as an estimation device of the present disclosure. Since the robot control device according to the present embodiment has the same configuration as the robot state estimation device 1 described above, the robot state estimation device 1 described above is referred to as the robot control device 1 in the present embodiment.
  • a robot control device 1 according to this embodiment includes a robot state estimation device 1A having an estimation function for estimating a robot state, and a robot driving device 1B for driving the robot.
  • the robot state estimation device 1A includes an estimation unit 5, and the estimation unit 5 executes estimation processing for estimating the robot state.
  • the estimation process uses the learned learning model 51 to estimate the robot state of the robot 2 as an unknown robot state from the electrical characteristics (input data 4) of the conductive urethane 22 placed on the robot 2, and outputs Output as data 6.
  • the state of the robot can be estimated without using a special device or a large-sized device or directly measuring the deformation of the outer shell of the robot 2 .
  • the learning model 51 is learned using the robot state (for example, state value) as a label and the electrical characteristics of the conductive urethane in the robot state (that is, the electrical resistance value of the conductive urethane placed on the robot 2) as an input. .
  • the estimation process and the learning of the learning model 51 used in the estimation process will be described later.
  • the robot drive device 1B includes a derivation unit 7, and the derivation unit 7 uses the robot state (output data 6) estimated by the robot state estimation device 1A to determine the operating state of the robot 2 corresponding to the estimated robot state. to control the robot 2 to move to This control uses a learned learning model 51 to generate data indicating a future robot state, for example, a state to which the robot 2 will transition next, to the current robot state of the robot 2.
  • Operation data 8 (driving information) indicating the driving value is derived and output to the driving section 119 .
  • the robot 2 is put into the operation state 9 corresponding to the estimated robot state, and the operation of the robot can be controlled with a simple configuration without using a special device.
  • the learning model 51 labels future robot states (for example, operating state values including driving values), and labels the robot states (that is, the state of the robot 2 estimated from the electrical resistance value of the conductive urethane placed on the robot 2). ) as input. Derivation processing and learning of the learning model 51 used in the derivation processing will be described later.
  • the robot state estimation device 1A and the robot driving device 1B in the robot control device 1 each use a common learning model 51.
  • the present disclosure is not limited to this.
  • independent learning models may be used for each of the robot state estimation device 1A and the robot driving device 1B.
  • the robot 2 is made movable by equipping the base portion 241 with a movement mechanism (not shown).
  • the base portion 241 is provided with a control device 250 that controls the robot 2 .
  • the control device 250 includes functional units that operate as the robot state estimation device 1A and the robot driving device 1B.
  • the robot 2 includes a driving section 119 for moving each part in cooperation with the skeleton 21 in a region other than the leg section 240 including the base section 241 .
  • the robot 2 can maintain various postures and perform various behaviors by moving or deforming each part or by moving or deforming a plurality of parts in cooperation. That is, the robot 2 can control the operating state of the robot 2 by driving the driving unit 119 . Therefore, the robot 2 operates as an autonomous robot system.
  • the driving unit 119 also functions as a display driving unit that outputs data for display to the display unit 211 included in the head 210 in order to display the data on the display unit 211 .
  • the robot state estimation device 1A in the robot control device 1 detects the electrical characteristics of the conductive urethane 22 placed on the robot 2 in order to estimate the robot state (Fig. 8).
  • the electric resistance value detected in the robot 2 configured by providing the outer shell 27 with the conductive urethane 22 is changed by deformation of the conductive urethane 22 such as when the outer shell 27 of the robot 2 is subjected to a pressure stimulus. change before and after. Therefore, detection of time-series electrical resistance values, that is, detection of changes in electrical resistance values from a state in which no pressure stimulus is applied to the robot 2 (for example, detection of electrical resistance values exceeding a predetermined threshold value). , it becomes possible to detect the bias of the person to the robot 2 .
  • the biased state indicating the biased state of the person to the robot 2 includes the contact state because even the contact of the person to the robot 2 is accompanied by a pressure stimulus.
  • the outer shell 27 including the conductive urethane 22 formed on the robot 2 may be formed by forming the outer shell 27 including the conductive urethane 22 as an integral structure on the outside of the robot 2.
  • An outer shell 27 containing an independent conductive urethane 22 may be formed.
  • more detection points may be used (see FIGS. 9 to 11).
  • the robot state estimation device 1A includes an estimation unit 5.
  • Time-series input data (electrical characteristics) 4 representing the magnitude of electrical resistance (electrical resistance value) in the conductive urethane 22 is input to the estimation unit 5 .
  • an electrical characteristic that is, a volume resistance value, which is an electrical resistance value
  • Input data 4 corresponds to robot state 3 of robot 2 .
  • the estimating unit 5 also outputs output data 6 representing a physical quantity (robot state value) indicating an unknown robot state corresponding to the input data 4 as an estimation result.
  • the estimating unit 5 estimates the output data 6 representing an unknown robot state using the learned model 51 that has already been trained.
  • the robot driving device 1B includes a lead-out portion 7.
  • the robot state (output data 6) estimated from the time-series input data (electrical characteristics) 4 in the robot state estimation device 1A is input to the derivation unit 7 . It may be desirable in the future for the input robot state (output data 6) to transition, for example, from the current robot state to the next operating state. Therefore, the derivation unit 7 derives operation data 8 representing physical quantities for operating the robot 2 in an unknown operation state corresponding to the estimated robot state (output data 6), and outputs the operation data 8 to the drive unit 119. The robot 2 is thus driven to the operating state 9 .
  • the derivation unit 7 uses the learned learning model 51 to derive the operation data 8 indicating the operation state corresponding to the estimated robot state.
  • the learning model 51 is a trained model that has been learned to output data indicating characteristics of the input data and related information of the input data when data is input. Specifically, the learning model 51, as a learning model used in the robot state estimation device 1A, performs learning for deriving the robot state (output data 6) of the robot 2 from the electrical resistance (input data 4) of the conductive urethane 22. Includes completed first learning model 51A.
  • the learning model 51 is a learning model used in the robot driving device 1B, and derives operation data 8 for controlling the robot 2 to an operation state corresponding to the robot state from the robot state estimated by the estimation unit 5. It includes a second learning model 51B that has completed learning.
  • the learning model 51 is, for example, a model that defines a trained neural network, and is expressed as a set of information on weights (strengths) of connections between nodes (neurons) that make up the neural network.
  • the learning models 51 including the first learning model 51A and the second learning model 51B are generated by the learning processing of the learning processing unit 52 (FIGS. 29A and 29B).
  • the learning processing unit 52 performs learning processing using the electrical characteristics (input data 4) of the conductive urethane 22 that change due to the pressure stimulation caused by the robot state 3 (FIG. 29A). . That is, a large amount of data obtained by measuring the electrical resistance in the conductive urethane 22 in chronological order using the robot state 3 as a label is used as learning data.
  • the learning data includes a large amount of sets of input data including electrical resistance values (input data 4) and information indicating the robot state 3 corresponding to the input data (output data 6).
  • time-series information is associated with each of the electrical resistance values (input data 4) of the conductive urethane 22 by adding information indicating the measurement time.
  • the set of time-series electrical resistance values in the conductive urethane 22 may be associated with time-series information by adding information indicating the measurement time.
  • the learning processing unit 52 performs learning processing using the operating state 9 of the robot 2 that changes according to the robot state 6x estimated from the electrical characteristics of the conductive urethane 22 in order to generate the second learning model 51B ( Figure 29B). That is, with the operating state 9 of the robot 2 as a label, a large amount of data obtained by measuring the operating data for operating the robot 2 in the operating state corresponding to the robot state 6x estimated from the time-series electrical characteristics of the conductive urethane 22 is collected. Let it be training data.
  • the learning data includes input data including information (output data 6) indicating the robot state 6x, and operation data 8 corresponding to the input data. It contains a large set of operational data 8 (output data) and .
  • the operation data 8 is data for driving the bar of the robot 2 by the drive unit 119 .
  • An example of learning data for generating the first learning model 51A is data corresponding to the robot state.
  • states such as a posture state indicating a static posture indicated by a combination of one or a plurality of parts and a behavior state indicating dynamic movement are applied.
  • the drive unit 119 is controlled so that at least some parts of the robot 2 behave in a predetermined posture and movement, and the electric resistance value at that time is detected to determine the robot state (robot state value).
  • the robot 2 when energy such as pressure is applied to at least some parts of the robot 2, the outer shell 27 is deformed and the electrical resistance value of the conductive urethane 22 changes. can be detected and associated with the robot state (robot state value) to be used as learning data.
  • an example of learning data for generating the second learning model 51B includes data indicating the operating state in which the robot 2 will operate next with respect to the estimated robot state. Data such as a process in which the robot notifies a message according to the estimated robot state is applied to the operating state.
  • a state in which the robot 2 responds to energy such as pressure applied from a person to the robot 2 can also be applied to the operating state. For example, in a robot state in which the energy applied to the robot 2 is greater than a predetermined threshold and the robot 2 is subsequently unbalanced, the robot 2 preferably responds by transitioning to an operating state that maintains balance. .
  • the operation state may be changed to the robot state when the user clings to the body portion 220 with energy greater than a predetermined threshold value (a value determined so that balance can be maintained).
  • a predetermined threshold value a value determined so that balance can be maintained.
  • the robot 2 moves or moves or deforms the corresponding part or other parts to which the energy is applied, so as to suppress the applied energy as an operating state for maintaining balance. It suffices to shift to an operating state in which balance is maintained.
  • the learning processing unit 52 can be configured including a computer including a CPU (not shown), and executes learning data collection processing and learning processing.
  • FIG. 30 shows an example of learning data collection processing executed by a CPU (not shown).
  • the learning processing unit 52 acquires the robot state in step S100, and acquires the electrical resistance value of the conductive urethane 22 in time series in step S102.
  • a set of physical quantities labeled with data indicating robot state 3 (robot state value) is stored to the acquired time-series electrical resistance values.
  • information (operation state value) indicating correspondence to the robot state is acquired.
  • the operation data 8 indicating the drive value for driving the bar of the robot 2 is applied.
  • step S105B data (robot state value) indicating robot state 3 is added as a label to the acquired information (operation state value) indicating correspondence to the robot state, and stored as a correspondence set. If there is no information (operating state) indicating the correspondence to the robot state, the processing of steps S105A and S105B may be omitted (skipped).
  • the learning processing unit 52 makes a negative determination until a positive determination is made in step S106 until the set of the robot state value and the electrical resistance value of the conductive urethane 22 reaches a predetermined number or a predetermined predetermined time. ) and repeat the above process.
  • the learning processing unit 52 can acquire and store the electrical resistance value of the conductive urethane 22 in chronological order for each robot state 3.
  • a set of 22 electrical resistance values serves as learning data.
  • the stored set of time-series electrical resistance values of the conductive urethane 22 for each robot state is an example of learning data for the first learning model 51A.
  • the learning processing unit 52 can acquire and store information (operating state values) indicating the correspondence to the robot state for each robot state 3.
  • the set is also training data.
  • the stored corresponding set of operating state values for each robot state is an example of learning data for the second learning model 51B.
  • the pressure stimulus in the robot 2 changes according to the robot state, and by acquiring the electrical characteristics corresponding to the changes in the pressure stimulus in time series, the time-series electrical characteristics are associated with the robot state. It becomes possible to store A set of the time-series electrical characteristics and the robot state value indicating the robot state can be used as learning data.
  • the robot 2 it may be preferable for the robot 2 to transition to a predetermined operating state when the robot 2 is given a pressure stimulus by a person's urging.
  • the electrical characteristics electrical resistance value
  • the time-series electrical characteristic exceeds a predetermined threshold value for transition to a predetermined operating state, the state of urging by a person to the outer shell portion 27 for shifting to the predetermined operating state is detected. detectable.
  • the learning process is executed so as to be able to estimate the robot state for detecting the urging state for transitioning to the predetermined operating state
  • the time series corresponding to the urging force (pressing force) for specifying the urging state Electrical characteristics may be used as learning data.
  • FIG. 31 shows an example of a conceptual diagram of the electrical characteristics of the body section 220 of the robot 2 .
  • FIG. 31 shows the user's holding forces with different biasing forces (pressing forces of peak values P11 to P17) against the body portion 220 of the robot 2 based on predetermined electrical characteristics (for example, electrical characteristics shown in FIG. 19).
  • FIG. 4 is a conceptual diagram of the electrical properties of conductive urethane 22 that is technically predictable in terms of arrival.
  • peak values P11, P13, P14, and P17 are concepts of electrical characteristics corresponding to robot states in which the user does not cling to the body 220 of the robot 2 .
  • the peak values P12 and P16 are concepts of electrical characteristics corresponding to the robot state due to clinging to the torso portion 220 .
  • the peak value P15 is a concept of an electrical characteristic corresponding to a robot state due to the user clinging to the torso portion 220 to such an extent that the robot 2 loses its balance. Therefore, the learning processing unit 52 can learn, as learning data, the time-series electrical characteristics corresponding to the biasing force (pressing force) that identifies the contact biasing state.
  • Each of the time-series electrical characteristics of the conductive urethane 22 (electrical characteristics before and after including peak values P11 to P17) shown as a conceptual diagram in FIG. ) can be regarded as a feature pattern in the robot state corresponding to the state of the robot.
  • the time-series electrical characteristics are characterized by a pattern in which the electrical resistance value rises sharply when the body portion 220 is pressed by the user, and the electrical resistance value gradually decreases when the pressing is released (the user moves away). It is thought that it will appear as a pattern.
  • the peak values P12 and P16 are electrical resistance values larger than the peak values P11, P13, P14 and P17.
  • the electrical resistance value exceeding the peak values P11, P13, P14, and P17 as the threshold value th1, it is also possible to detect the biased state (state of hugging) in which the user touches the outer shell portion 27 of the body portion 220. It is possible.
  • the peak value P15 transitions to a larger electrical resistance value than the peak values P12 and P16. Therefore, by setting an electrical resistance value exceeding the peak values P12 and P16 as the threshold value th2, it is possible to detect a state in which the user clings to the body portion 220 to such an extent that the robot 2 loses its balance. For example, when it is predicted that the robot 2 will be in a robot state due to an electrical resistance value exceeding the threshold th2, the robot 2 moves to suppress the applied energy as an operating state for maintaining balance. A process of transitioning to an operating state that maintains balance may be performed. In addition, the robot 2 may perform a process of transitioning to the balance-maintaining operation state by moving and deforming the part or other parts to which energy is applied, to the balance-maintaining operation state.
  • Table 9 is an example of data in which time-series electrical resistance value data (r) and robot state values are associated with each other as learning data relating to the state of the robot for generating the first learning model 51A.
  • Tables 10 to 12 are examples of data in which robot state values and operating state values are associated as learning data relating to operating states for generating the second learning model 51B.
  • the example shown in Table 9 is an example showing the robot state value indicating the robot state as data including three indices.
  • the first index is data indicating, as a part, the target portion of the electrical characteristics to be input.
  • the second index is data indicating, as an estimated state, the robot state corresponding to the input electrical characteristics.
  • the third index is data indicating, as sensitivity, a physical quantity such as the magnitude (strength) and properties of the pressure applied in the robot state corresponding to the electrical characteristics to be input.
  • Table 1 is an example of learning data in which the indicators of parts, estimated state, and sensitivity are associated with electrical characteristics input as robot state values.
  • Table 10 is an example of side learning data in which display of data on the display unit 211 or the like corresponds to the robot state as the operation state of the robot 2 .
  • the robot state is indicated by the above-described three indices, and is expressed as an estimation result by the processing (primary processing) for estimating the robot state.
  • the processing in the robot 2 that is executed for the robot state estimated from the electrical characteristics is defined as the corresponding processing, and the data used in the corresponding processing is the operating data. is an example shown as
  • Table 11 is an example of side learning data that corresponds to the robot state by performing more detailed estimation from the robot state estimated in the primary processing as the operating state of the robot 2 .
  • Table 11 from the robot state indicating that the contact target is in a smooth state estimated by contact, the hand of the robot 2 is finely moved or slid with the drive value to the drive unit 119, and detailed It shows activating the robot 2 so that the estimation can be carried out.
  • Table 12 is an example of side learning data in which operating the robot corresponds to the robot state estimated in the primary processing as the operating state of the robot 2 .
  • Table 12 shows that the robot 2 is operated using the drive value of the drive unit 119 for operating the robot 2 as the operation data 8 as a corresponding process for the robot state.
  • the learning process described above is performed in the learning processing unit 52 (FIG. 14).
  • the learning process is executed by replacing the robot state described above with the applied stimulus state. Since the learning process is the same as the above, the explanation is omitted.
  • the learning processing unit 52 performs learning of the generator 54 that tunes the weight parameter of the connection between nodes based on the error calculated by the calculator 56 in the same manner as described above. Specifically, the weight parameter of the connection between the nodes of the input layer 540 and the hidden layer 542 in the generator 54, the weight parameter of the connection between the nodes in the hidden layer 542, and the node of the hidden layer 542 and the output layer 544 Each of the weight parameters of the connections between is fed back to the generator 54 using techniques such as gradient descent and error backpropagation. That is, with the output data 6 of the learning data as a target, the connections between all nodes are optimized so as to minimize the error between the generated output data 6A and the output data 6 of the learning data.
  • the first learning model 51A is generated by the learning processing of the learning processing unit 52 described above.
  • the first learning model 51A is expressed as a set of information of weight parameters (weights or strengths) of connections between nodes of the learning result of the learning processing unit 52 .
  • the second learning model 51B is similar to the first learning model 51A described above, so detailed description thereof will be omitted.
  • Fig. 32 shows an example of the flow of learning processing.
  • the learning processing unit 52 acquires input data 4 (time-series electrical resistance) labeled with information indicating the robot state, that is, learning data of a set of robot state values and electrical resistance values.
  • the learning processing unit 52 generates the learning model 51 using the learning data in step S112. That is, a set of information on weight parameters (weights or strengths) of connections between nodes is obtained as a result of learning using a large amount of learning data as described above.
  • step S114 data expressed as a set of information on weight parameters (weights or strengths) of connections between nodes of learning results is stored as a first learning model 51A included in the learning model 51.
  • step S120 the learning processing unit 52 determines whether the operation data 8 (operation state value) indicating the operation state corresponding to the learning data of the set of the robot state value and the electrical resistance value is stored. . If the determination in step S120 is affirmative, the process proceeds to step S122, and if the determination is negative, the processing routine ends.
  • step S122 the learning processing unit 52 generates operation data 8 (operation state values) indicating the operation state labeled with information indicating the robot state (robot state value), that is, a corresponding set of information indicating the robot state and the operation state.
  • Get training data for the learning processing unit 52 generates the learning model 51 using the learning data of the corresponding set. That is, a set of information on weight parameters (weights or strengths) of connections between nodes is obtained as a result of learning using a large amount of learning data as described above.
  • step S126 data expressed as a set of information on weight parameters (weights or strengths) of connections between nodes of learning results is stored as a second learning model 51B included in the learning model 51.
  • the generator 54 may use a recursive neural network that has a function of generating an output in consideration of the context of time-series inputs, or may use another technique.
  • the trained generator 54 (that is, data expressed as a set of information on the weight parameters of the connections between the nodes of the learning result) generated by the method exemplified above is used as the learning model 51.
  • the robot state can be identified from the time-series electrical resistance values in the conductive urethane 22 placed on the robot 2, that is, the outer shell 27, and the operating state corresponding to the robot state can be identified. It is not impossible to do so.
  • the processing by the learning processing unit 52 is an example of processing for generating a learning model used in the derivation unit of the present disclosure.
  • the robot control device 1 is an example of the derivation unit and the control unit of the present disclosure.
  • the derivation unit 7 is an example of the derivation unit of the present disclosure.
  • the drive unit 119 is an example of a functional unit that operates the robot when the robot is controlled by the control unit of the present disclosure.
  • the conductive urethane 22 can be treated as a reservoir that stores data related to deformation of the conductive urethane 22 . That is, the robot control device 1 including the robot state estimation device 1A can apply the conductive urethane 22 to a network model (PRCN) called a physical PRC (FIG. 16). Therefore, in the learning process, the estimation layer should be learned.
  • PRCN network model
  • PRC physical PRC
  • the robot control device 1 described above can be realized by causing a computer to execute a program representing each of the functions described above, as in the above embodiment (FIG. 17).
  • FIG. 33 shows an example of the flow of robot control processing by the control program 108P executed in the computer main body 100.
  • the robot control process shown in FIG. 33 is executed by the CPU 102 when the computer main body 100 is powered on. That is, the CPU 102 reads out the control program 108P from the auxiliary storage device 108, develops it in the RAM 104, and executes the process.
  • the robot control process includes an estimation process for estimating the robot state of the robot 2 and a process related to robot control according to the estimated robot state.
  • the CPU 102 executes estimation processing for estimating the robot state of the robot 2 .
  • CPU 102 reads learning model 51 (that is, first learning model 51A) from learning model 108M of auxiliary storage device 108, and develops learning model 51 (that is, first learning model 51A) in RAM 104.
  • 1 learning model 51A) is acquired.
  • a network model (see FIGS. 14 and 16), which is a connection between nodes based on weight parameters expressed as a first learning model 51A included in the learning model 51, is developed in the RAM 104.
  • FIG. Therefore, the first learning model 51A is constructed in which connections between nodes are realized by weight parameters.
  • step S202 the CPU 102 acquires the unknown input data 4 (electrical resistance), which is an object for estimating the robot state due to the pressure stimulus given to the conductive urethane 22, in time series via the communication unit 114. .
  • step S204 the CPU 102 uses the learning model 51 (that is, the first learning model 51A) acquired in step S200 to output data 6 (electrical resistance) corresponding to the input data 4 (electrical resistance) acquired in step S202. unknown robot state).
  • step S206 output control is performed to output the output data 6 (robot state value indicating the robot state) as a result of estimation.
  • This output control includes processing for outputting the output data 6 to the outside via the communication unit 114, processing for outputting a signal corresponding to the output data 6 to the speaker 118, and processing for outputting message data corresponding to the output data 6 to the display unit 211. At least one process, such as outputting to . Note that the process of step S206 may be included in the process of step S212, which will be described later.
  • step S210 the CPU 102 uses the learning model 51 (that is, the second learning model 51B) to determine the operation of the robot 2, which is information indicating the response to the estimated output data 6 (unknown robot state).
  • An operating state value (operating data 8) indicating the state is derived. For example, as the operation state value (operation data 8), data indicating a drive value for driving the bar of the robot 2 is derived.
  • step S212 the CPU 102 uses the derived information (operation state value) indicating the correspondence to the robot state, and executes processing related to the operation state so that the robot 2 transitions to the operation state. 2 is performed, and this processing routine ends. Specifically, the CPU 102 controls the drive unit 119 to output a drive value (operation data 8) for driving the bar of the robot 2 . As a result, the robot 2 is driven by the corresponding parts in the robot 2 input to the driving unit 119, and the robot 2 is shifted to the operating state.
  • operation state value indicating the correspondence to the robot state
  • control process shown in FIG. 33 is an example of the process executed by the robot control method of the present disclosure.
  • program for causing a computer to execute the control process shown in FIG. 33 is an example of the robot control program of the present disclosure.
  • the robot state it is possible to estimate the robot state from the input data 4 (electrical resistance) that changes according to the pressure stimulation in the robot state 3 with respect to the conductive urethane 22. . That is, it is possible to estimate an unknown robot state without using a special device or a large-sized device or directly measuring the deformation of the flexible member.
  • the robot control device 1 by using the learning model 51 learned by the above-described learning process, by inputting the electrical characteristics of the conductive urethane 22, various robot states corresponding to the electrical characteristics are generated. It was confirmed that the robot 2 can be estimated and that the robot 2 can be controlled as a response to the robot state.
  • a dedicated detector is attached to the gripping member.
  • a dedicated detector is attached to the gripping member.
  • the present disclosure is an estimation capable of estimating a slipping state when a gripping member grips an object to be gripped by using electrical characteristics of a gripping member including a conductive flexible material without using a special detection device.
  • a device, an estimation method, an estimation program, and a learning model generation device are provided.
  • the estimating device can estimate the state of the applying side of a person or the like from the input data 4 (electrical characteristics) that change according to the stimulus given to the conductive urethane 22 depending on the state of the applying side. becomes.
  • the input data 4 electrical characteristics
  • the estimating device according to the present embodiment as the estimating device of the present disclosure has the same configuration as the robot state estimating device 1 described above. A detailed description of the configuration of the device 1 is omitted.
  • a case where the conductive urethane 22 described above is applied to gloves will be described.
  • a pressure stimulus such as partial compression of the glove is generated in accordance with the movement of the gloved hand to grasp the grasped object.
  • the slipperiness of the gripping target is indicated by the grip force with which the hand grips the gripping target, how the gripping target is gripped, the material of the glove, the weight of the gripping target, the material of the gripping target, and the like. Slip conditions are different. The slipping state can be estimated based on time-series changes in the pressure applied to the conductive urethane 22 .
  • the estimating device 1 can estimate the slipping state when the gloved hand grips the object to be gripped from the time-series electrical resistance value of the conductive urethane 22 .
  • the person who puts on the glove G is simply referred to as "person”.
  • the sliding state includes, for example, a state related to the frictional force distribution between a gloved hand as an example of the gripping member and the gripped object. If the distribution of the friction force between the glove containing the conductive urethane 22 and the object to be grasped is known, it can be estimated whether the object to be grasped will slip off the gloved hand. Therefore, the sliding state includes the degree to which the grasped object slides down. Note that the sliding state is not limited to these as long as it indicates the degree of slippage between the gripping member and the gripped object.
  • FIG. 34 is a diagram showing an example in which the conductive urethane 22 is applied to the glove G as the object 2.
  • the glove G is the object 2 to which the pressure stimulus is applied.
  • the glove G is not limited to one that covers the entire hand. Instead of the G, a mitten-type glove G that is not separated for each finger may be used.
  • the person grips the gripping object B with the hand H wearing the glove G containing the conductive urethane 22 .
  • the fact that the glove G contains the conductive urethane 22 means that the conductive urethane 22 and the member 21 (in this case, cotton or chemical fiber) that constitutes the glove G are arranged such that the conductive urethane 22 shown in FIG. It means that any one of the arrangement examples of the flexible urethane 22 and the member 21 is satisfied.
  • the conductive urethane 22 has substantially the same shape as the glove G, and is provided on the entire inside of the glove G, for example.
  • Glove G also includes a detection unit 78 .
  • the detection unit 78 includes an electrical characteristic detection section 76 to which a plurality of detection points 75 provided on the conductive urethane 22 are connected, a communication section 80, a power storage section 82, and a power generation section 84.
  • the position and number of the detection points 75 are appropriately set according to the size and shape of the glove G so that the change in electrical properties due to the pressure stimulation can be detected over the glove G as a whole.
  • the electrical characteristic detection section 76 detects the electrical characteristic input from the detection point 75 and outputs the detection result to the communication section 80 .
  • the communication unit 80 communicates with the mobile terminal device 30 such as a smartphone, and transmits the detection result of the physical quantity representing the electrical properties obtained from the detection point 75 of the electrical property detection unit 76 to the mobile terminal device 30 .
  • the communication unit 80 communicates with the mobile terminal device 30 by short-range wireless communication such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the power storage unit 82 supplies power for the electrical characteristic detection unit 76 to detect electrical characteristics and power for the communication unit 80 to communicate with the mobile terminal device 30 .
  • Various types of rechargeable batteries, capacitors, and the like are applied to the power storage unit 82 , and are charged with electric power generated by the power generation unit 84 .
  • the power generation unit 84 generates power by various well-known methods, and supplies the generated power to the power storage unit 82 to charge the power storage unit 82 .
  • a coil and a magnet may be used, and power may be generated by causing the magnet to relatively move in the coil as the glove G swings.
  • power may be generated using a power generation element or the like that converts energy such as light, heat, pressure, or vibration into electric power.
  • the mobile terminal device 30 includes the computer main body 100, the communication section 114, and the operation display section 116 described above.
  • the mobile terminal device 30 functions as the estimation device 1, and the computer main body 100 uses the learning model 51 that has already been learned to determine the electrical characteristics of the conductive urethane 22 provided on the glove G. A slip state when the object B is gripped is estimated.
  • the communication unit 114 communicates with the communication unit 80 of the glove G and acquires from the glove G the detection result of the physical quantity representing the electrical characteristics obtained from the detection point 75 of the electrical characteristics detection unit 76 .
  • the communication unit 114 communicates with the mobile terminal device 30 by short-range wireless communication such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the operation display unit 116 corresponds to an example of the output unit, and displays the sliding state when the hand H wearing the glove G grips the gripping object B estimated by the computer main body 100, such as the frictional force distribution. Thereby, it is possible to grasp whether or not the grasped object B is likely to slide down.
  • the estimation process in the mobile terminal device 30 uses the learned learning model 51 to estimate, for example, the frictional force distribution as an unknown sliding state when the gripping object B is gripped by the hand H wearing the glove G. ,Output.
  • the learned learning model 51 is stored in the auxiliary storage device 108 for estimating the state of slippage when the hand H wearing the glove G grips the gripping object B.
  • the learning processing unit 52 of the learning model generation device in the learning data collection process, performs A large amount of input data 4 obtained by chronologically measuring the electrical resistance value of the conductive urethane 22 labeled with the state data 3 representing the state of slipping is collected as learning data.
  • the electrical properties of the conductive urethane 22 (for example, electrical resistance value) is obtained in time series from the electrical characteristic detection unit 76 attached to the glove G.
  • state data 3 is attached to the obtained input data 4, which is the time-series electrical characteristics, as a label indicating a slip state, and a plurality of learning data combining the state data 3 and the input data 4 are prepared.
  • the electrical resistance value is used as an example of the electrical characteristics of the conductive urethane 22 contained in the glove G.
  • the current value or the voltage value may be used as the electrical characteristics of the conductive urethane 22. As I said.
  • the learning data used for estimating slippage state information when gripping object B with hand H wearing glove G the data set shown in Table 1 is used, for example.
  • the data set in Table 1 when the conductive urethane 22 is applied to the glove G is the time-series electrical resistance value data (r) obtained from the glove G and the grip object B with the hand H wearing the glove G. It is a data set in which the state data (R) indicating the slipping state when gripped are associated with each other.
  • the states R1 to Rk . . . described above are slipping states R1 to Rk .
  • Examples of the sliding state include the frictional force distribution and the degree to which the grasped object B slides down, as described above.
  • the learning processing unit 52 uses learning data in which such time-series electrical resistance value data (r) and state data (R) indicating the slipping state of the hand H wearing the glove G are associated with each other. , the learning model 51 is generated by the learning model generation process described above.
  • the estimating device 1 mechanically determines the relationship between the feature pattern represented by the time-series electrical resistance value data of the conductive urethane 22 and the slippage state when the hand H wearing the glove G grips the gripping object B.
  • an object to be grasped by the hand H wearing the glove G is obtained from the time-series unknown electrical resistance value data of the conductive urethane 22. Estimate the slip state when the object B is gripped.
  • the learning model 51 regarding the state is acquired, and the CPU 102 inputs the time-series electrical resistance value data transmitted from the electrical characteristic detection unit 76 provided in the glove G whose slipping state is to be estimated, as in step S202. 4.
  • the input data 4 to be acquired may be the input data 4 obtained in real time from the glove G during the execution period of the estimation process, or the input data 4 obtained in advance before executing the estimation process. good too.
  • the CPU 102 inputs the acquired input data 4 to the acquired learning model 51, and acquires the output data 6 output from the learning model 51.
  • the CPU 102 estimates the slipping state associated with the state data 3 closest to the output data 6 among the state data 3 as the slipping state when the hand H wearing the glove G grips the gripping object B. .
  • the CPU 102 outputs slipping state information indicating the slipping state when the hand H wearing the estimated glove G grips the gripping object B.
  • the operation display unit 116 is caused to display the frictional force distribution, or the operation display unit 116 is caused to display the degree to which the grasped object B slides down.
  • the conductive urethane 22 is applied to the glove G, and the pressure stimulus generated by gripping the gripping object B with the hand H wearing the glove G changes the The relationship between the time-series electrical characteristics of the conductive urethane 22 and the sliding state information indicating the slipping state when the hand H wearing the glove G grips the object B is stored in a learning model 51 that has undergone machine learning in advance.
  • the output data 6 obtained by inputting the time-series unknown electrical characteristics corresponding to the slippage state when the gripped object B is gripped by the hand H wearing the glove G, the hand H wearing the glove G A slip state is estimated when the grasped object B is grasped.
  • the estimating device 1 makes it possible, for example, to estimate the slipping state when the hand H wearing the glove G described above grips the gripping object B, and the estimated slipping state can be estimated. It becomes possible to display on the operation display unit 116 . Accordingly, it is possible to prompt the user to grip the gripping object B in an appropriate gripping state.
  • the glove G may be configured so that the gripping state can be adjusted automatically, and the gripping state may be automatically controlled based on the estimated slipping state information.
  • the gripping state includes at least one of gripping force and gripping manner.
  • the way of gripping indicates how the gripping object is gripped, and includes, for example, the shape of the glove G when gripping the gripping object.
  • the glove G is configured to include a driving portion 79 for adjusting the gripping state of the glove G.
  • the drive unit 79 can communicate with the mobile terminal device 30 via the communication unit 80 as shown in FIG. 38 .
  • the computer main body 100 of the mobile terminal device 30 functions as a control section, and transmits a control signal for controlling the gripping state to the glove G via the communication section 114 based on the estimated slipping state information.
  • the glove G receives the control signal from the mobile terminal device 30 via the communication section 80, and the driving section 79 controls the gripping state of the glove G based on the received control signal.
  • FIG. 39 shows a flowchart of control processing when controlling the gripping state of the glove G.
  • FIG. The control process of FIG. 39 is obtained by adding step S208 to the estimation process of FIG. 18, and the processes of steps S200 to S206 are the same as those of FIG. 18, so description thereof will be omitted.
  • step S208 the gripping state of the glove G is controlled based on the slipping state estimated in step S204. For example, if the estimated sliding state indicates that the gripped object B is sliding down, a control signal is transmitted to instruct a change in the gripping state so that the gripped object B does not slide down. As a result, the drive unit 79 of the glove G changes the gripping state of the glove G so that the gripped object does not slip down. That is, for example, the gripping force is increased, or the method of gripping the gripping object is changed. On the other hand, if the estimated sliding state indicates that the grasped object B does not slide down, a control signal instructing to maintain the grasped state is transmitted. Thereby, the gripping state of the gripping object B of the glove G can be automatically controlled. Therefore, for example, it is possible to assist a person whose hand strength is weakened to grip the gripping object B. FIG.
  • the gripping member may be the hand of a robot.
  • the hand HD of the robot RB is provided with a conductive urethane 22 .
  • the gripping state of the hand HD is changed so that the gripping object B does not slide down. do.
  • the gripping state of the gripping object B is maintained. In this manner, the grasped state is automatically controlled so that the grasped object B does not slide down, so that the grasped object B can be prevented from slipping down.
  • the technology of the present disclosure is capable of estimating various states using the electrical properties of conductive flexible materials without using a special detection device.
  • the technology of the present disclosure includes the following aspects, since various processes are realized by a software configuration and a hardware configuration using a computer.
  • a first aspect of the present disclosure includes: A flexible material that is electrically conductive and whose electrical properties change in response to changes in applied pressure and that is disposed over or covers at least a portion of the bendable protrusion from the base of the movable body a detection unit that detects electrical characteristics between a plurality of predetermined detection points on the flexible material capable of The time-series electrical characteristics are input using the time-series electrical characteristics when pressure is applied to the flexible material and applied stimulus state information indicating the applied stimulation state in which pressure is applied to the flexible material as learning data.
  • an estimating unit for estimating applied stimulus state information indicating is an estimating device including
  • a second aspect is the estimation device of the first aspect, the electrical property is volume resistance; the robot state includes a biased state including human contact with the robot; The learning model is trained to output, as the robot state information, information indicating the urging state of the person corresponding to the detected electrical characteristics.
  • a third aspect is the estimation device of the first aspect or the second aspect,
  • the flexible material includes at least one of fibrous and mesh-like structures, or a urethane material having a structure in which a plurality of fine air bubbles are dispersed, and at least a portion of which is electrically conductive.
  • a fourth aspect is the estimating device according to any one aspect of the first aspect to the third aspect,
  • the flexible material is arranged around the skeleton of the robot, and is made of a material whose hardness increases as it approaches the skeleton of the robot, or whose hardness increases as it approaches the skeleton of the robot. In addition, it is formed by laminating a plurality of materials with different hardness.
  • a fifth aspect is the estimation device according to any one aspect of the first aspect to the fourth aspect, the flexible material is placed in different parts of the robot;
  • the detection unit detects electrical characteristics between a plurality of detection points in each of the plurality of different parts,
  • the learning model is trained to output, as the robot state information, part state information indicating the state of parts for each of the plurality of different parts.
  • a sixth aspect is the estimating device according to any one aspect of the first to fifth aspects,
  • the learning model includes a model generated by learning using a network by reservoir computing using the flexible material as a reservoir and using the reservoir.
  • the seventh aspect is a robot having at least a part of its outer shell made of a flexible material that is electrically conductive and whose electrical properties change according to changes in applied pressure; the estimation device; It is a robot system with
  • the eighth aspect is A robot having at least a part of a flexible material that is electrically conductive and whose electrical properties change in response to a change in applied pressure. Acquiring the electrical characteristics from a detection unit that detects electrical characteristics between Using time-series electrical characteristics when pressure is applied to the flexible material and robot state information indicating a robot state in which pressure is applied to the flexible material as learning data, and using the time-series electrical characteristics as input, A robot state indicating a robot state corresponding to the input time-series electrical characteristics by inputting the time-series electrical characteristics detected by the detection unit to a learning model trained to output the robot state information. It is an estimation method for estimating information.
  • the ninth aspect is A robot having at least a part of its outer shell made of a flexible material that is electrically conductive and whose electrical properties change in response to changes in applied pressure. Acquiring the electrical characteristics from a detection unit that detects electrical characteristics between Using time-series electrical characteristics when pressure is applied to the flexible material and robot state information indicating a robot state in which pressure is applied to the flexible material as learning data, and using the time-series electrical characteristics as input, A robot state indicating a robot state corresponding to the input time-series electrical characteristics by inputting the time-series electrical characteristics detected by the detection unit to a learning model trained to output the robot state information. It is an estimation program for executing the process of estimating information.
  • the tenth aspect is A robot in which at least a part of an outer shell is provided with a flexible material that is electrically conductive and whose electrical properties change in response to changes in applied pressure.
  • a learning model generating unit configured to generate a learning model outputting robot state information representing a state of the robot applying pressure to the flexible material based on the electrical characteristics input from a detecting unit that detects the electrical characteristics.
  • the present disclosure it is possible to estimate the robot state information indicating the robot state by using the electrical properties of the conductive flexible material without using a special detection device.
  • An eleventh aspect of the present disclosure includes: A flexible material that is electrically conductive and whose electrical properties change in response to changes in applied pressure and that is disposed over or covers at least a portion of the bendable protrusion from the base of the movable body a detection unit that detects electrical characteristics between a plurality of predetermined detection points on the flexible material capable of The time-series electrical characteristics are input using the time-series electrical characteristics when pressure is applied to the flexible material and applied stimulus state information indicating the applied stimulation state in which pressure is applied to the flexible material as learning data.
  • an estimating unit for estimating applied stimulus state information indicating is an estimating device including
  • a twelfth aspect is the estimation device of the eleventh aspect, the electrical property is volume resistance;
  • a robot having a body as the base body and at least one of a hand and a leg connected to the body as the protrusion is the movable body, The flexible material is disposed around the skeleton of at least one of the hands and legs of the robot.
  • a thirteenth aspect is the estimating device of the eleventh aspect or the twelfth aspect,
  • the flexible material is disposed on an external member attachable to the outside of the projection.
  • a fourteenth aspect is the estimating device of any one aspect of the eleventh to thirteenth aspects,
  • the applied stimulus state includes at least one of a state indicating surface shape, a state indicating surface material, a state indicating weight, and a state indicating hardness for at least one of a human body and an object.
  • a fifteenth aspect is the estimating device according to any one of the eleventh to fourteenth aspects,
  • the flexible material includes at least one of fibrous and mesh-like structures, or a urethane material having a structure in which a plurality of fine air bubbles are dispersed, and at least a portion of which is electrically conductive.
  • a sixteenth aspect is the estimation device of the fifteenth aspect,
  • the flexible material is made of a material whose hardness increases from the surface toward the inside of the protrusion, or has a plurality of different hardnesses such that the hardness increases from the surface toward the inside of the protrusion. It is formed by laminating the materials of
  • a seventeenth aspect is the estimating device according to any one aspect of the eleventh to sixteenth aspects,
  • the learning model includes a model generated by learning using a network by reservoir computing using the flexible material as a reservoir and using the reservoir.
  • the eighteenth aspect is The computer is a flexible material that is conductive and whose electrical properties change in response to changes in applied pressure, and is arranged to cover at least a portion of the bendable protrusion from the base of the movable body.
  • the electrical characteristics are obtained from a detection unit that detects electrical characteristics between a plurality of predetermined detection points on the flexible material that can be covered.
  • the time-series electrical characteristics are input using the time-series electrical characteristics when pressure is applied to the flexible material and applied stimulus state information indicating the applied stimulation state in which pressure is applied to the flexible material as learning data. and inputting the obtained time-series electrical characteristics to a learning model that has been trained to output the information on the applied stimulus state, and applying indicating the applied stimulus state corresponding to the input time-series electrical characteristics This is an estimation method for estimating stimulus state information.
  • the nineteenth aspect is A flexible material that is conductive and whose electrical properties change in response to changes in applied pressure, and is arranged to cover at least a portion of the bendable protrusion from the base of the movable body
  • the electrical characteristics are obtained from a detection unit that detects electrical characteristics between a plurality of predetermined detection points on the flexible material that can be covered
  • the time-series electrical characteristics are input using the time-series electrical characteristics when pressure is applied to the flexible material and applied stimulus state information indicating the applied stimulation state in which pressure is applied to the flexible material as learning data.
  • the twentieth aspect is A flexible material that is electrically conductive and whose electrical properties change in response to changes in applied pressure and that is disposed over or covers at least a portion of the bendable protrusion from the base of the movable body an applied stimulus indicating a applied stimulus state in which pressure is applied to the flexible material, with the electric characteristics detected by a detecting unit that detects electric characteristics between a plurality of predetermined detection points on the flexible material as an input;
  • the learning model generation device includes a learning model generation unit that generates a learning model that outputs state information.
  • a twenty-first aspect of the present disclosure includes: A robot in which at least a part of a body portion is provided with a flexible material that is conductive and whose electrical properties change according to changes in applied pressure, and between a plurality of predetermined detection points on the flexible material. a detection unit that detects electrical characteristics; Inputting the time-series electrical characteristics using time-series electrical characteristics when an object applies pressure to the flexible material and contact object information indicating the object that has applied pressure to the flexible material as learning data. and inputting the time-series electrical characteristics detected by the detection unit to the learning model trained to output the contacting object information, and corresponding to the input time-series electrical characteristics, the flexible material an estimating unit for estimating contacting object information indicating an object that exerts pressure on the is an estimating device including
  • a twenty-second aspect is the estimation device of the twenty-first aspect, the electrical property is volume resistance; the contacting object information includes the type of object that applied pressure to the flexible material or the state of the object; The learning model is trained to output, as the contacting object information, information indicating the type of the object that applied pressure to the flexible material or the state of the object, corresponding to the detected electrical property.
  • a twenty-third aspect is the estimating device of the twenty-first aspect or the twenty-second aspect
  • the flexible material includes a fibrous or mesh-like structure, or a urethane material having a structure in which a plurality of fine air bubbles are dispersed, and at least a portion of the urethane material is provided with electrical conductivity.
  • a twenty-fourth aspect is the estimating device according to any one of the twenty-first to twenty-third aspects,
  • the flexible material is arranged around the skeleton of the body of the robot, and is made of a material whose hardness increases as it approaches the skeleton of the body. It is formed by laminating a plurality of materials with different hardness so that the thickness is hard.
  • a twenty-fifth aspect is the estimation device according to any one of the twenty-first to twenty-fourth aspects,
  • the flexible material is arranged in a plurality of different parts of the robot torso,
  • the detection unit detects electrical characteristics between a plurality of detection points in each of the plurality of different parts,
  • the learning model is trained to output, as the contacting object information, part contacting object information indicating the type or state of the object that applied pressure to the flexible material of the part for each of the plurality of different parts. .
  • a twenty-sixth aspect is the estimating device according to any one of the twenty-first to twenty-fifth aspects,
  • the learning model includes a model generated by learning using a network by reservoir computing using the flexible material as a reservoir and using the reservoir.
  • the twenty-seventh aspect is a robot having at least a part of the outer shell of the body portion thereof made of a flexible material that is electrically conductive and whose electrical properties change according to changes in applied pressure; the estimation device; It is a robot system with
  • the twenty-eighth aspect is A robot in which at least a part of a body portion is provided with a flexible material that is electrically conductive and whose electrical properties change in response to a change in applied pressure. Acquiring the electrical characteristics from a detection unit that detects electrical characteristics between Inputting the time-series electrical characteristics using time-series electrical characteristics when an object applies pressure to the flexible material and contact object information indicating the object that has applied pressure to the flexible material as learning data. and inputting the time-series electrical characteristics detected by the detection unit to the learning model trained to output the contacting object information, and corresponding to the input time-series electrical characteristics, the flexible material
  • This is an estimation method for estimating contacting object information that indicates an object that exerts pressure on the
  • the twenty-ninth aspect is A robot equipped with at least a part of a body portion of a flexible material that is electrically conductive and whose electrical properties change according to a change in applied pressure, and which is provided with a plurality of predetermined detection points on the flexible material. Acquiring the electrical characteristics from a detection unit that detects electrical characteristics between Inputting the time-series electrical characteristics using time-series electrical characteristics when an object applies pressure to the flexible material and contact object information indicating the object that has applied pressure to the flexible material as learning data.
  • the thirtieth aspect is A robot in which at least a part of a body portion is provided with a flexible material that is conductive and whose electrical properties change according to changes in applied pressure, and between a plurality of predetermined detection points on the flexible material.
  • a learning model generating unit configured to generate a learning model outputting contacting object information indicating an object that applies pressure to the flexible material by receiving the electrical characteristics as input from a detecting unit that detects the electrical characteristics.
  • the present disclosure it is possible to estimate the contacting object information indicating the contacting object by using the electrical properties of the conductive flexible material without using a special detection device.
  • the thirty-first aspect is A robot capable of controlling the operating state of at least a part of the robot, wherein at least a part of the outer shell is provided with a flexible material that is electrically conductive and whose electrical properties change according to changes in applied pressure.
  • a detection unit that detects electrical characteristics between a plurality of predetermined detection points on the flexible material in the robot; using, as first learning data, time-series electrical characteristics between the plurality of detection points when pressure is applied to the flexible material and robot state information indicating a state of the robot that applies the pressure to the flexible material, A first learning model trained to output the robot state information when the time-series electrical characteristics are input, and robot state information indicating a robot state that applies pressure to the flexible material, corresponding to the robot state.
  • a second learning model which is learned and connected so as to receive the output of the first learning model, wherein the first learning model receives the time-series electrical characteristics detected by the detection unit.
  • a control unit that controls the robot based on the operating state derived by the deriving unit; is a robot controller including
  • a thirty-second aspect is the robot control device according to the thirty-first aspect, the electrical property is volume resistance;
  • the robot is composed of a plurality of parts, the operating state includes a posture state of the robot formed by a combination of the plurality of parts;
  • the operating state information includes drive information for driving at least one of the plurality of parts so that the robot indicates the posture state.
  • a thirty-third aspect is the robot control device of the thirty-first aspect or the thirty-second aspect
  • the flexible material includes at least one of fibrous and mesh-like structures, or a urethane material having a structure in which a plurality of fine air bubbles are dispersed, and at least a portion of which is electrically conductive.
  • a thirty-fourth aspect is the robot control device according to any one of the thirty-first to thirty-third aspects,
  • the flexible material is arranged around the skeleton of the robot, and is made of a material whose hardness increases as it approaches the skeleton of the robot, or whose hardness increases as it approaches the skeleton of the robot. In addition, it is formed by laminating a plurality of materials with different hardness.
  • a thirty-fifth aspect is the robot control device according to any one of the thirty-first to thirty-fourth aspects,
  • the first learning model includes a model generated by learning using a network based on reservoir computing using the flexible material as a reservoir.
  • the thirty-sixth aspect is A robot capable of controlling the operating state of at least a part of the robot, wherein at least a part of the outer shell is provided with a flexible material that is electrically conductive and whose electrical properties change according to changes in applied pressure.
  • the thirty-seventh aspect is A robot capable of controlling the operating state of at least a part of the robot by a computer, and having a conductive flexible material whose electrical properties change according to changes in applied pressure on at least a part of the outer shell.
  • the operating state information indicating the operating state of at least a part of the robot to be changed as the second learning data, and outputting the operating state information when the robot state information is input.
  • the time-series electrical characteristics detected by the detection unit are input to the first learning model. Deriving the information output when the operation is performed as an operating state corresponding to the electrical characteristics detected by the detection unit, A robot control method for controlling the robot based on the derived operating state.
  • the thirty-eighth aspect is A robot capable of controlling the operating state of at least a portion of the robot by a computer, and having a flexible material that is conductive and whose electrical properties change according to changes in applied pressure is applied to at least a portion of the outer shell.
  • the time-series electrical characteristics detected by the detection unit are input to the first learning model.
  • a robot control program for executing a process of controlling the robot based on the derived operating state.
  • a thirty-ninth aspect is a gripping member comprising a flexible material that is electrically conductive and whose electrical properties change in response to changes in the applied stimulus.
  • a detection unit that detects characteristics, a time-series electrical characteristic when a stimulus is applied to the flexible material, and a slipping state indicating a slipping state when the gripping member that applies the stimulus to the flexible material grips an object to be gripped.
  • the time-series electrical characteristics detected by the detection unit are applied to a learning model trained to input the time-series electrical characteristics and output the slip state information using information and information as learning data.
  • an estimating unit for estimating slipping state information indicating a slipping state when the gripping member corresponding to the input time-series electrical characteristics grips the gripped object, and an output unit for outputting the slipping state information. and an estimating device including
  • a fortieth aspect is the estimating device of the thirty-ninth aspect, wherein the sliding state includes a state regarding a frictional force distribution between the gripping member and the gripping object.
  • a 41st aspect is the estimating device of the 39th aspect or the 40th aspect, wherein the gripping member is either a glove worn on a hand or a hand of a robot.
  • a 42nd aspect is the estimation device according to any one of the 39th to 41st aspects, wherein the gripping member is capable of adjusting a gripping state when gripping the gripping object, and based on the sliding state information , further comprising a control unit for controlling the holding state.
  • a forty-third aspect is the estimating device according to any one of the thirty-ninth to forty-second aspects, wherein the gripping member has a structure having at least one of a fibrous and mesh-like skeleton, or a plurality of fine air bubbles scattered inside. It includes a urethane material having a structure that provides conductivity, or a material in which at least a portion of rubber is imparted with conductivity.
  • a forty-fourth aspect is the estimation device according to any one of the thirty-ninth to forty-third aspects, wherein the learning model is generated by learning using a network based on reservoir computing using the flexible material as a reservoir. including models that have been
  • the computer detects a plurality of predetermined detection points on the flexible material of the gripping member having a flexible material that is conductive and whose electrical properties change according to changes in the applied stimulus.
  • a time-series electrical characteristic when a stimulus is applied to the flexible material inputting the detected time-series electrical characteristics to a learning model that has been trained to input the time-series electrical characteristics and output the slip state information using information and information as learning data;
  • the estimation method includes estimating slippage state information indicating a slippage state when the gripping object is gripped by the gripping member corresponding to the input time-series electrical characteristics, and outputting the slippage state information.
  • the computer is provided with a plurality of predetermined detection points on the flexible material of the gripping member, which is electrically conductive and whose electrical properties change according to changes in the applied stimulus.
  • a time-series electrical characteristic when a stimulus is applied to the flexible material inputting the detected time-series electrical characteristics to a learning model that has been trained to input the time-series electrical characteristics and output the slip state information using information and information as learning data;
  • An estimation program for estimating slipping state information indicating a slipping state when the gripping member corresponding to the input time-series electrical characteristics is gripping the gripping object, and for executing processing for outputting the slipping state information.
  • a forty-seventh aspect is a gripping member comprising a flexible material that is electrically conductive and whose electrical properties change in response to changes in the applied stimulus.
  • an acquisition unit that acquires the electrical characteristics from a detection unit that detects the characteristics and slipping state information that indicates a slipping state when the gripping member that stimulates the flexible material grips the object to be gripped; Based on the acquisition result of the unit, the time-series electrical characteristics when pressure is applied to the flexible material are input, and the sliding state when the grasping member that applies the stimulus to the flexible material grasps the grasped object is calculated. and a learning model generation unit that generates a learning model that outputs slip state information.
  • the electrical characteristics of a gripping member having a conductive flexible material are used to estimate the slipping state when the gripping member grips a gripping target. It has the effect of being able to
  • the estimation process and the learning process have been described as being realized by a software configuration based on processing using flowcharts. It is good also as a form which carries out.
  • the flow of processing of the program described in the above embodiment is also an example, and unnecessary steps may be deleted, new steps added, or the processing order changed without departing from the scope of the invention. good too.
  • part of the estimation device for example, a neural network such as a learning model, may be configured as a hardware circuit.
  • a program written in computer-processable code for the above-described processes may be stored in a storage medium such as an optical disc and distributed.
  • a CPU is used as an example of a general-purpose processor.
  • GPU Graphics Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • programmable logic device etc.
  • processors in the above-described embodiments may be performed not only by a single processor but also by a plurality of processors working together. It may be something that is made by working.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Textile Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

推定装置は導電性を有し、かつ付与された圧力の変化に応じて電気特性が変化する柔軟材料を備えたロボットにおける複数の検出点の間の電気特性を検出部で検出する。推定部は、学習モデルを用いてロボットの電気特性からロボット状態を推定する。柔軟材料に圧力を与えた際の電気特性と、ロボットの柔軟材料に圧力を与えるロボット状態とを学習用データとして用いて、その電気特性を入力とし、ロボット状態を出力するように学習された学習モデルに対して、電気特性を入力し、入力した電気特性に対応するロボット状態を出力するように学習される。

Description

推定装置、推定方法、及び推定プログラム
 本開示は、推定装置、推定方法、及び推定プログラムに関する。
 従来より、ユーザの作業や動作を支援するロボットに関する技術開発が盛んに行われている。ロボットは、人や物との緩衝を考慮するため、多数の特殊な接触センサを備えて、ロボットに対する人や物の接触を検出する技術が知られている(例えば、特開2011-056619号公報参照)。
 また、ロボットに対する人や物の接触を検出するために、ロボットの外郭に生じる形状変化を検出することが考えられるが、形状変化を検出する側面で、変形を検出するためには、特殊な検出装置が要求される。例えば、カメラによる物体の変位と振動を測定して、変形画像を取得し、変形量を抽出する技術が知られている(例えば、国際公開2017029905号参照)。また、光の透過量から変形量を推定する柔軟触覚センサに関する技術も知られている(例えば、特開2013-101096号公報参照)。
 本開示の推定装置は、
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボット、又は把持部材、若しくは前記柔軟材料を少なくとも一部を覆って配置するかまたは覆うことが可能に配置した可動体の基体から屈曲可能な突出部における前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部と、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与える物体を示す接触物体情報、若しくは前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記ロボット状態情報、又は前記接触物体情報、若しくは前記滑り状態情報、或いは、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応するロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与えた物体を示す接触物体情報、若しくは、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
推定部と、
 を含む。
 本開示の推定方法は、
 コンピュータが
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボット、又は把持部材、若しくは前記柔軟材料を少なくとも一部を覆って配置するかまたは覆うことが可能に配置した可動体の基体から屈曲可能な突出部における前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与える物体を示す接触物体情報、若しくは前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記ロボット状態情報、又は前記接触物体情報、若しくは前記滑り状態情報、或いは、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応するロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与えた物体を示す接触物体情報、若しくは、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する。
 本開示のプログラムは、
 コンピュータに
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボット、又は把持部材、若しくは前記柔軟材料を少なくとも一部を覆って配置するかまたは覆うことが可能に配置した可動体の基体から屈曲可能な突出部における前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与える物体を示す接触物体情報、若しくは前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記ロボット状態情報、又は前記接触物体情報、若しくは前記滑り状態情報、或いは、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応するロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与えた物体を示す接触物体情報、若しくは、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
 処理を実行させるための推定プログラムである。
実施形態に係るロボット状態推定装置の構成の一例を示す図である。 実施形態に係るロボットに関する図である。 実施形態に係るロボットの腕部に関する図である。 実施形態に係るロボットの外郭部に関する図である。 実施形態に係るロボットの外郭部の硬さに関する図である。 実施形態に係るロボットに関する図である。 実施形態に係るロボットに関する図である。 実施形態に係る導電性を有する部材の検出点に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る学習処理に関する図である。 実施形態に係る学習データ収集処理の一例を示すフローチャートである。 実施形態に係る学習処理部における学習処理に関する図である。 実施形態に係る学習処理の流れの一例を示すフローチャートである。 実施形態に係る学習処理部における学習処理に関する図である。 実施形態に係るロボット状態推定装置の構成の一例を示す図である。 実施形態に係る推定処理の流れの一例を示すフローチャートである。 実施形態に係るロボットに関係する特性を示す図である。 第2実施形態に係る状態推定装置の構成の一例を示す図である。 第2実施形態に係るロボットに関する図である。 第2実施形態に係るロボットに関する図である。 第2実施形態に係る学習処理部における学習処理に関する図である。 第2実施形態に係る手袋の一例を示す図である。 第3実施形態に係るロボットの胴体部に関する図である。 第3実施形態に係る学習処理部における学習処理に関する図である。 第4実施形態に係るロボット制御装置の構成を示す図である。 第4実施形態に係るロボットに関する図である。 第4実施形態に係る学習処理に関する図である。 第4実施形態に係る学習処理に関する図である。 第4実施形態に係る学習データ収集処理の流れを示すフローチャートである。 第4実施形態に係るロボットに関係する特性を示す概念図である。 第4実施形態に係る学習処理の流れを示すフローチャートである。 第4実施形態に係るロボット制御処理の流れを示すフローチャートである。 手袋を装着した手を示す図である。 手袋を装着した手で把持対象物を把持した状態を示す図である。 推定装置の詳細な構成を示す図である。 手袋を装着した手を示す図である。 推定装置の詳細な構成を示す図である。 実施形態に係る推定処理の流れを示すフローチャートである。 実施形態に係る推定処理の流れを示すフローチャートである。
 以下、図面を参照して本開示の技術を実現する実施形態を詳細に説明する。
 なお、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。また、本開示は、以下の実施形態に何ら限定されるものではなく、本開示の目的の範囲内において、適宜変更を加えて実施することができる。また、本開示では、主として非線形に変形する部材に対する物理量の推定を説明するが、線形に変形する部材に対する物理量の推定に適用可能であることは言うまでもない。
[第1実施形態]
 ところで、多数の特殊な接触センサを備えて接触を検出する側面では、接触を検出するための各部位に接触センサを備えることが要求され、センサ数が膨大となって、ロボットの大型化を招くので好ましくはない。また、多数の特殊な接触センサ自体がロボットの接触状態を阻害する虞もある。
 また、形状変化を検出する側面では、変形量を検出するためにカメラや光の透過量を検出するセンサとセンサ出力を解析する解析装置等を含むシステムは、大規模なものとなり、ロボットの大型化を招くので好ましくはない。また、変形量を検出するためにロボットの全ての部位に対して変形量を検出するセンサを配置することが要求され、好ましくはない。
 本開示は、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、ロボット状態を示すロボット状態情報を推定することができる推定装置、推定方法、推定プログラム、及び学習モデル生成装置を提供する。
 本開示において「ロボット」とは、複数の部位(以下、パーツという。)が連携して構成され、少なくとも一部のパーツが可動可能な構造体を含む概念である。「ロボット状態」とは、能動形態を示す状態(以下、能動形態状態という。)及び受動形態を示す状態(以下、受動形態状態という。)を含む概念である。能動形態状態は、構造体を構成する少なくとも一部のパーツによって示されるロボットの姿勢、立ち振る舞い、及び動き等の能動形態を示す状態を含む概念である。受動形態状態は、少なくとも一部のパーツに対して圧力等のエネルギが与えられることによって示される受動形態を示す状態を含む概念である。能動形態を示す状態の一例には、1又は複数パーツの組み合わせによって示される静的な姿勢を示す姿勢状態、及び動的な動きを示す挙動状態が挙げられる。受動形態を示す状態の一例には、人体及び物体等の人物がロボットに接触される接触状態を含む、人体及び物体等の人物により圧力等のエネルギがロボットに与えられる付勢状態が挙げられる。
 また、本開示において人物とは、ロボットに外部から圧力を与える外部の人体及び物体の少なくとも一方を含む概念である。例えば、接触状態は、ロボット外部の人体がロボットに接触される状態、外部の物体がロボットに接触される状態、並びに、外部の人体及び物体がロボットに接触される状態を含む。なお、以下の説明では、人体及び物体の少なくとも一方を区別することなく、ヒトとモノとを含む概念として人物と総称して説明する。具体的には、人体及び物体のそれぞれの単体、及び人体と物体の組み合わせを人物と称する。
 本開示において「柔軟材料」とは、外部力が与えられることによって少なくとも一部が撓み等のように変形可能な材料を含む概念であり、ゴム材料等の柔らかい弾性体、繊維状及び網目状の少なくとも一方の構造体、及び内部に微小な空気泡が複数散在する構造体を含む。繊維状及び網目状の少なくとも一方の構造体は、繊維状及び網目状の少なくとも一方を骨格として有する構造体でもよい。外部力の一例には圧力が挙げられる。繊維状及び網目状の少なくとも一方の構造体、及び内部に微小な空気泡が複数散在する構造体の一例には、ウレタン材及びゴム(発泡体)などの高分子材料が挙げられる。「導電性が付与された柔軟材料」とは、導電性を有する材料を含む概念であり、導電性を付与するために導電材を柔軟材料に付与した材料、及び柔軟材料が導電性を有する材料を含む。導電性を付与する柔軟材料はウレタン材及びゴムなどの高分子材料が好適である。また、導電性が付与された柔軟材料は、変形に応じて電気特性が変化する機能を有する。なお、変形に応じて電気特性が変化する機能を生じさせる物理量の一例には柔軟材料に与えられる圧力による刺激(以下、圧力刺激という。)を示す圧力値が挙げられる。柔軟材料の変形に応じて変化する電気特性を表す物理量の一例には、電気抵抗値が挙げられる。また、他例には、電圧値、又は電流値が挙げられる。電気抵抗値は、柔軟材料の体積抵抗値と捉えることが可能である。
 柔軟材料は、導電性を与えることで、圧力による変形に応じた電気特性が現れる。すなわち、導電性が付与された柔軟材料は、電気経路が複雑に連携し、変形に応じて電気経路が伸縮したり膨縮したりする。また、電気経路が一時的に切断される挙動、及び以前と異なる接続が生じる挙動を示す場合もある。従って、柔軟材料は、所定距離を隔てた位置(例えば電極が配置された検出点の位置)の間では、与えられた力(例えば圧力刺激)の大きさや分布に応じて異なる電気特性を有する挙動を示す。このため、柔軟材料に与えられた力(例えば圧力刺激)の大きさや分布に応じて電気特性が変化する。
 なお、導電性が付与された柔軟材料を用いるため、人体及び物体等の人物によって柔軟材料に圧力が与えられる箇所の全てに電極等の検出点を設ける必要はない。柔軟材料の圧力が与えられる箇所を挟む任意の少なくとも2箇所に電極等の検出点が設けられていればよい。
 本開示の推定装置は、学習済みの学習モデルを用いて、ロボットに備えられた導電性を有する柔軟材料における電気特性からロボット状態を推定する。学習モデルは、導電性を有する柔軟材料に圧力を与えた際の時系列の電気特性と、その柔軟材料に圧力を与えるロボット状態を示すロボット状態情報とを学習用データとして用いる。学習モデルは、時系列の電気特性を入力とし、その時系列の電気特性に対応するロボット状態を示すロボット状態情報を出力するように学習される。
 以下の説明では、導電性が付与された柔軟材料の一例として、ウレタン材の全部または一部に導電材料を配合及び浸潤(含浸ともいう)等により形成させた部材を、「導電性ウレタン」と称して説明する。導電性ウレタンは、導電材料を配合と浸潤(含浸)との何れかの方法で形成可能であり、導電材料の配合又は浸潤(含浸)で形成可能で、また導電材料の配合と浸潤(含浸)とを組み合わせて形成可能である。例えば、浸潤(含浸)による導電性ウレタンが、配合による導電性ウレタンより導電性が高い場合には、浸潤(含浸)により導電性ウレタンを形成することが好ましい。
 また、本実施形態では、導電性ウレタンが、ロボットの少なくとも一部の外郭部に配置された場合を説明する。また、導電性ウレタンを変形させる物理量としてはロボット、すなわち柔軟材料に与えられる圧力刺激を示す値(圧力値)を適用する。なお、圧力刺激に応じて変化する物理量としては、導電性ウレタンの電気抵抗値を適用した場合を説明する。
 図1に、本開示の推定装置としてのロボット状態推定装置1の構成の一例を示す。
 ロボット状態推定装置1における推定処理は、学習済みの学習モデル51を用いて、ロボット2に配置された導電性ウレタン22における電気特性から、未知のロボット状態として、ロボット2における能動形態状態、及び受動形態状態を推定し、出力する。これにより、特殊な装置や大型の装置を用いたりロボット2の外郭の変形を直接計測することなく、ロボット状態を示すロボット状態情報を推定することが可能となる。学習モデル51は、ロボット状態(例えば、能動形態状態又は受動形態状態を示す状態値)をラベルとし、当該ロボットの状態における導電性ウレタンの電気特性(すなわち、ロボット2に配置された導電性ウレタンの電気抵抗値)を入力として学習される。学習モデル51の学習については後述する。
 ここで、ロボット2の構造を説明する。図2に人型に模した人型ロボット200のロボット構造の一例を示す。
 図2に示す人型ロボット200は、頭部210、胴体部220、腕部230(上腕232、前腕234、手236)、脚部240(大腿242、下腿244、足246)の各々のパーツが骨格21によって連結される。人型ロボット200は、骨格21の周囲に導電性ウレタン22を配置することで、人型ロボット200の外側である外郭に導電性ウレタン22が配置される。人型ロボット200に配置された導電性ウレタン22は、電極等の検出点75を介して電気特性検出部76(図8)に接続される。
 例えば、図3に上腕232の概略構造の一例を断面図で示すように、上腕232の骨格21の周囲に、人工筋肉などの構造物を含む内部層25が配置され、内部層25の周囲に表皮としても機能する外郭部27が配置される。なお、骨格21の周囲に表皮として機能する外郭部27を配置してもよい。
 導電性ウレタン22は、骨格21の周囲に配置する材料、すなわち外郭部27の少なくとも一部に配置すればよく、内部に配置してもよいし外部に配置してもよい(図4)。具体的な一例には、外郭部27のA-A断面を外郭断面27-1として示すように、外郭部27の内部を全て導電性ウレタン22で構成しても良い。また、外郭断面27-2に示すように、外郭部27の外側(表面側)の一部に導電性ウレタン22を形成しても良く、外郭断面27-3に示すように、外郭部27の内側(骨格側)に導電性ウレタン22を形成しても良い。さらに、外郭断面27-4に示すように、外郭部27の内部の一部に導電性ウレタン22を形成しても良い。また、外郭断面27-5に示すように、外郭部27を構成する柔軟性を有する材料27Aの外側に導電性ウレタン22を配置しても良く、外郭断面27-6に示すように、外郭部27の内側(骨格側)の外部に導電性ウレタン22を配置しても良い。導電性ウレタン22を外郭部27を構成する材料27Aの外部に配置する場合、導電性ウレタン22と外郭部27を構成する材料とを積層するのみでもよく、導電性ウレタン22と外郭部27を構成する材料とを接着等により一体化してもよい。なお、導電性ウレタン22を外郭部27を構成する材料の外部に配置する場合であっても、導電性ウレタン22が導電性を有するウレタン部材であるため、外郭部27を構成する材料の柔軟性は阻害されない。
 また、導電性ウレタン22は、所定の硬さの柔軟性を有するように形成してもよく、例えば、図5に示すように、深さに応じて硬さが変化する柔軟性を有するように形成してもよい。図5はロボットの外郭部の硬さに関する概念図であり、紙面左側に導電性ウレタン22の構造に関する概念図を示し、紙面右側に導電性ウレタン22の深さと硬さの関係の概念図を示す。図5に示す例では、外郭断面27-7として示す外郭部27を導電性ウレタン22で構成する場合、外郭部27の外側(表面側)から内側(骨格側)に向かうに従って、すなわち深さが深くなるのに従って徐々に硬さが硬くなるように導電性ウレタン22を形成することが可能である。また、外郭断面27-8に示すように、硬さが異なる複数の導電性ウレタン22(硬さ:22X<22Y<22Z)を配置しても良い。導電性ウレタン22を含む外郭部27の硬さ(柔軟性)を深さに応じて変化するように構成することで、人体の表皮部分に近い触感を提供することが可能である。
 以降では、説明を簡単にするため、本開示のロボットの一例として、図6に示す簡易型のロボットを含む自立型ロボットシステムをロボット2として適用した場合を説明する。ロボット2は、骨格21の周囲にロボット2の外側である外郭として導電性ウレタン22を配置して外郭部を形成する。
 図6に示すように、ロボット2は、表示部211及び首部212を含んで頭部210を構成し、上部胴体222、及び下部胴体224を含んで胴体部220を構成する。また、ロボット2は、肩部231、アーム部233、及び手236を含んで腕部230を構成し、図示しない移動機構を備えたベース部241を含んで脚部240を構成する。頭部210、胴体部220、腕部230及び脚部240は、骨格21によって連結される。
 図6に示すロボット2では、胴体部220(上部胴体222、及び下部胴体224)、腕部230(肩部231、アーム部233、及び手236)、脚部240(ベース部241)の各々の外側に導電性ウレタン22を含む外郭部27が配置される。なお、外郭部27は、1枚のシートで構成して配置してもよく、各々のパーツ毎に配置してもよい。各々のパーツ毎に導電性ウレタン22を含む外郭部27を配置する場合、外郭部27の一部が重複するように配置してもよい。ロボット2に配置された導電性ウレタン22は、電極等の検出点75を介して電気特性検出部76(図8)に接続される。
 腕部230は、肩部231を支点として、アーム部233が屈曲可能に形成される。腕部230でアーム部233が屈曲可能に形成する構成には、線形又は非線形に変形する弾性体を含む部材が適用可能であり、付与された物理量(例えば圧力や流体の供給)により所定方向に収縮力を発生する弾性収縮体が一例として挙げられる。弾性収縮体の一例には、公知技術のエアバッグタイプの部材を適用可能である(例えば、特公昭52-40378号参照)。エアバッグタイプの弾性収縮体(例えば、ラバーアクチュエータ)は、ゴム部材等の柔らかい弾性体で構成される管状体の外周を、有機又は無機高張力繊維、例えば芳香族ポリアミド繊維の編組み補強構造により被覆した本体を有し、両端開口を閉塞部材によって
封止したものである。ラバーアクチュエータは、その閉塞部材に設けられた接続口を介して内部空洞に加圧流体が供給されることによって膨径変形し、軸線方向に沿って収縮力が発生するようになっている。このラバーアクチュエータは、膨径変形によって、ラバーアクチュエータの長さが変化する。ただし、ラバーアクチュエータを適用対象とするのはあくまで一例に過ぎず、本開示の推定装置はラバーアクチュエータ以外の部材にも適用可能である。
 ロボット2は、図示しない弾性収縮体の駆動によって、図7に示すように、アーム部233が屈曲する。アーム部233の作動によって、人体の腕部を模擬することが可能となる。
 また、ロボット2は、ベース部241に図示しない移動機構を備えることで、移動可能とされる。ベース部241には、ロボット2の制御を行う制御装置250が備えられている(図17)。制御装置250は、ロボット状態推定装置1として動作する機能部を含む。
 また、ロボット2は、操作部115、表示部211、マイク117、スピーカ118を備えることで(図17)、ユーザからの指示やユーザの状態、及びユーザへの応答等の情報を取得したり提供することが可能である。
 なお、ロボット2は、ベース部241を含む脚部240以外の部位において、骨格21の連携による各パーツを移動するための駆動部119(図17)を備えている。駆動部119(図17)の駆動によって、ロボット2は、パーツ毎の移動、或いは複数のパーツが連携した移動によって、各種の姿勢を維持したり、各種の挙動を実行することが可能となる。よって、ロボット2は、自立型ロボットシステムとして動作する。
 ところで、ロボット状態推定装置1は、ロボット状態を推定するために、ロボット2に配置された導電性ウレタン22における電気特性を検出する。
 図8に示すように、距離を隔てて配置された複数(図8では2個)の検出点75からの信号によって、導電性ウレタン22の電気特性(すなわち、電気抵抗値である体積抵抗値)を検出することが可能である。図8は、外郭部27の一部として配置された導電性ウレタン22を平面展開した場合を例示した。また、図8では、導電性ウレタン22上の側辺部分に検出点75を偏らせて、導電性ウレタン22上で距離を隔てて対角位置に配置された複数の検出点75からの信号により電気抵抗値を検出する検出セット#1が示されている。なお、複数の検出点75の配置は、図8に示す位置に限定されるものではなく、導電性ウレタン22の電気特性を検出可能な位置であれば何れの位置でもよい。例えば、複数の検出点75を離間して配置すればよく、側辺部分への配置に限定されず、中央部であってもよく、側辺部分と中央部分との組み合わせであってもよい。また、導電性ウレタン22の電気特性は、電気特性(すなわち、電気抵抗値である体積抵抗値)の検出する電気特性検出部76を検出点75に接続し、その出力を用いればよい。
 外郭部27に導電性ウレタン22を備えて構成されるロボット2において検出される電気抵抗値は、ロボット2の外郭部27に圧力刺激が与えられる等の導電性ウレタン22の変形によって、その変形の前後で変化する。よって、時系列の電気抵抗値の検出、すなわち、ロボット2に圧力刺激が与えられていない状態からの電気抵抗値の変化を検出(例えば予め定めた閾値を超えた電気抵抗値を検出)することで、ロボット2に対する人物の付勢を検出することが可能となる。具体的には、ロボット2に対する人物の付勢を示す付勢状態は、ロボット2に対する人物の接触であっても圧力刺激を伴うため、接触状態を含む。よって、ロボット2に導電性ウレタン22を配置することで、ロボット2に対する人物
の接触を含む付勢を検出可能となる。また、ロボット2に与えられた圧力刺激の位置や分布、及び大きさの何れか1つが変化しても電気抵抗値は変化する。従って、時系列に変化した電気抵抗値から、ロボット2に対する人物の接触位置を含む付勢状態を検出することも不可能ではない。
 ロボット2に形成される導電性ウレタン22を含む外郭部27は、ロボット2の外側を一体構造として導電性ウレタン22を含む外郭部27を形成してもよく、パーツ毎に独立した導電性ウレタン22を含む外郭部27を形成してもよい。
 なお、1つの導電性ウレタン22の電気特性の検出精度を向上するため、図8に示す検出点(2個)より多くの検出点を用いてもよい。
 一例としては、各々検出点が配置された複数の導電性ウレタン片からなる列を1列または複数列並べて導電性ウレタン22を形成し、複数の導電性ウレタン片毎に電気特性を検出してもよい。例えば、導電性ウレタン片23(図9)を、配列して導電性ウレタン22を構成してもよい(図10、図11)。図9に示す例は、距離を隔てて対角位置に配置された検出点75Aからの信号により電気抵抗値を検出する第1の検出セット#1と、他の対角位置に配列された検出点75Bからの信号により電気抵抗値を検出する第2の検出セット#2とを示している。また、図10に示す例では、導電性ウレタン片23(図9)を、外郭部27の長手方向に配列(4x1)して導電性ウレタン22を構成し、順に、第1の検出セット#1から第8の検出セット#8を構成することを示している。さらに、図11に示す例では、導電性ウレタン片23(図9)において各々第1の検出セット#1を採用し、外郭部27の長手方向及び幅方向に配列(4x2)して導電性ウレタン22を構成し、第1の検出セット#1から第8の検出セット#8を構成することを示している。
 また、他例としては、導電性ウレタン22上における検出範囲を分割して分割した検出範囲毎に検出点を設けて検出範囲毎に電気特性を検出してもよい。例えば、図10及び図11に示す導電性ウレタン片23の大きさに相当する領域を検出範囲として導電性ウレタン22に設定し、設定した検出範囲毎に検出点を配置して、検出範囲毎に電気特性を検出すればよい。
 図1に示すように、ロボット状態推定装置1は、推定部5を備えている。推定部5には、導電性ウレタン22における電気抵抗の大きさ(電気抵抗値)を表す時系列の電気特性である入力データ4が入力される。具体的には、導電性ウレタン22の検出点75に接続された電気特性検出部76から出力される電気特性(すなわち、電気抵抗値である体積抵抗値)が入力される。入力データ4は、ロボット2のロボット状態3に対応する。また、推定部5は、推定結果としてロボット状態3を示す物理量(ロボット状態値)である出力を表す出力データ6を出力する。なお、推定部5は、学習済みの学習モデル51を含む。
 学習モデル51は、ロボット状態3に応じた圧力刺激により変化する導電性ウレタン22の電気抵抗(入力データ4)から、ロボット状態、すなわちロボット2における能動形態状態又は受動形態状態(出力データ6)を導出する学習を済ませたモデルである。学習モデル51は、例えば、学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード(ニューロン)同士の間の結合の重み(強度)の情報の集合として表現される。
 学習モデル51は、学習処理部52(図12)の学習処理により生成される。学習処理部52は、ロボット状態3により生じる圧力刺激で変化する導電性ウレタン22における電気特性(入力データ4)を用いて学習処理を行う。すなわち、ロボット状態3をラベルとして導電性ウレタン22における電気抵抗を時系列に測定した大量のデータを学習データとする。具体的には、学習データは、電気抵抗値(入力データ4)を含んだ入力データと、その入力データに対応するロボット状態3を示す情報(出力データ6)と、のセットを大量に含む。ここでは、導電性ウレタン22の電気抵抗値(入力データ4)の各々に測定時刻を示す情報を付与することで時系列情報が対応付けられる。この場合、ロボット状態3として定まる期間について、導電性ウレタン22における時系列な電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。
 次に、学習処理部52について説明する。
 学習処理部52が行う学習処理では、上述した導電性ウレタン22が配置されたロボット2の外郭部27が検出部として適用され、ロボット状態3、及び導電性ウレタン22による電気抵抗値(入力データ4)が学習データとして用いられる。
 例えば、能動形態状態を示すロボット状態に対するデータを学習データとする。具体的には、ロボット2の少なくとも一部のパーツによる所定の姿勢や動き等の挙動となるように駆動部119の駆動制御を行い、そのときの電気抵抗値を検出して、ロボット状態(ロボット状態値)と対応付けて学習データとする。ロボット2は、自己の姿勢、立ち振る舞い、及び動き等によって外郭部27が変形して、導電性ウレタン22の電気抵抗値が変化するので、時系列な電気抵抗値を検出して、ロボット状態(ロボット状態値)と対応付けて学習データとすることが可能となる。能動形態状態には、1又は複数パーツの組み合わせによって示される静的な姿勢を示す姿勢状態、及び動的な動きを示す挙動状態が適用される。
 また、受動形態状態を示すロボット状態に対するデータを学習データとする。具体的には、少なくとも一部のパーツに対して圧力等のエネルギが与えられる所定のロボット状態となるように、ユーザOPに、ロボット2に対して所定姿勢で接触したり動きを伴って接触する等を行うことを指示し、そのときの電気抵抗値を検出して、ロボット状態と対応付けて学習データとする。ロボット2は、人物から少なくとも一部のパーツに対して圧力等のエネルギが与えられることによって外郭部27が変形して、導電性ウレタン22の電気抵抗値が変化するので、時系列な電気抵抗値を検出して、ロボット状態(ロボット状態値)と対応付けて学習データとすることが可能となる。受動形態状態には、人物がロボットに接触される接触状態を含み、人物により圧力等のエネルギがロボットに与えられる付勢状態が適用される。
 学習処理部52は、図示しないCPUを含むコンピュータを含んで構成可能であり、学習データ収集処理及び学習処理を実行する。図13に、図示しないCPUが実行する学習データ収集処理の一例を示す。学習処理部52は、ステップS100で、上述したロボット状態を得るための圧力刺激の付与に関する処理を行い、ステップS102で、ロボット状態に応じた圧力刺激により変化する導電性ウレタン22の電気抵抗値を時系列に取得する。次のステップS104では、取得した時系列の電気抵抗値にロボット状態3を示すロボット状態値をラベルとして付与して、記憶する。学習処理部52は、これらロボット状態値、及び導電性ウレタン22の電気抵抗値のセットが予め定めた所定数、又は予め定めた所定時間に達するまで(ステップS106で、肯定判断されるまで否定判断し)、上記処理を繰り返す。これにより、学習処理部52は、ロボット状態3毎に、導電性ウレタン22における電気抵抗値を時系列に取得し、記憶することが可能となり、記憶されたロボット状態毎の時系列な導電性ウレタン22の電気抵抗値のセットが学習データとなる。
 ところで、ロボット状態のうち、ロボット2に人物が接触等の圧力刺激を伴って付勢した場合、人物が外郭部27に接触する付勢状態から付勢力(押圧力)が大きくなるのに従って、電気特性(電気抵抗値)が大きく変化する。従って、時系列の電気特性が接触検出用に予め定めた閾値を超えることを検出することで、少なくとも人物が外郭部27に接触した付勢状態を検出可能である。よって、少なくとも人物が外郭部27に接触した付勢状態を検出するのであれば、接触した付勢状態を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとすればよい。
 図19に、ロボット2のアーム部233における電気特性の一例を示す。図19は、ロボット2のアーム部233を、異なる付勢力(ピーク値P1~P8の押圧力)によってユーザの手により押圧した際の導電性ウレタン22の電気特性を示す。また、ピーク値P1~P7は、人物が接触に至らないロボット状態とし、ピーク値P8は、人物が接触したときのロボット状態とする。
 図19に示すように、導電性ウレタン22の時系列の電気特性(各ピーク値P1~P8を含む前後の電気特性)の各々が、ユーザの付勢力(押圧力)に応じてアーム部233に接触し、付勢された際のロボット状態における特徴パターンである。すなわち、アーム部233がユーザの手により押圧されると、電気抵抗値が急激に上昇し、押圧が解除(ユーザの手が離間)されると電気抵抗値が徐々に低下するパターンが、特徴パターンとして現れている。図19に示す例では、ピーク値P1~P7に比べて、ピーク値P8が大きい電気抵抗値となっている。このため、ピーク値P1~P7を超える電気抵抗値を閾値thに定めることで、人物が外郭部27に接触した付勢状態を検出可能である。よって、学習処理部52は、接触した付勢状態を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとして学習する。
 一方、接触検出に限定しないロボット状態は、ロボット2における各パーツの位置、又は複数のパーツの相対的な位置関係、各パーツにおける圧力刺激の分布、大きさ、及び頻度等の各物理量により同定可能である。従って、導電性ウレタン22の時系列の電気特性には、ロボット状態を示す時系列の物理量の特徴が含まれる。本実施形態では、導電性ウレタン22を用いることで、これらの物理量が反映された電気特性(体積抵抗)を時系列に検出することが可能である。
 従って、ロボット状態に応じてロボット2における圧力刺激が変化し、その圧力刺激の変化に対応する電気特性を時系列に取得することで、ロボット状態に時系列の電気特性を対応付けて記憶することが可能となる。当該時系列の電気特性およびロボット状態を示すロボット状態値とのセットを学習データとすることが可能となる。
 次に、上述した学習データの一例を表で示す。表1は、姿勢状態及び挙動状態を含む能動形態状態に関する学習データとして、時系列の電気抵抗値データ(r)と能動形態状態値とを対応付けたデータの一例である。表2は、接触状態及び付勢状態を含む受動形態状態に関する学習データとして、時系列の電気抵抗値データ(R)と受動形態状態値とを対応付けたデータの一例である。表3は、ロボット2における各パーツが連携することを考慮して、各パーツで検出された時系列の電気抵抗値を示す特性データ(J)のセットと、ロボット状態値とを対応付けたデータの一例である。このセットに含まれる何れかの特性データ(J)にロボット状態の特徴、すなわち、特徴パターンが含まれる。各特性データ(J)は、全て学習データとして用いる。例えば、ロボット2で検出された複数の特性データ(J)とロボット状態値(表3ではロボットが人物を「両腕で抱える」動作を示す値)とを学習データとして用いる。
Figure JPOXMLDOC01-appb-T000001

 
Figure JPOXMLDOC01-appb-T000002

 
Figure JPOXMLDOC01-appb-T000003
 次に、学習処理部52における学習処理ついて説明する。図14は、学習処理において学習処理部52の図示しないCPUにおける機能を示す図である。
 学習処理部52の図示しないCPUは、生成器54及び演算器56の機能部を含む。生成器54は、入力である時系列に取得された電気抵抗値の前後関係を考慮して出力を生成する機能を有する。
 また、学習処理部52は、学習用データとして、上述した入力である入力データ4(電気抵抗値)と、入力データ4(電気抵抗値)に対応するロボット状態3を表す出力である出力データ6とのセットを多数保持している。
 生成器54は、入力層540、中間層542、および出力層544を含んで、公知のニューラルネットワーク(NN:Neural Network)を構成する。ニューラルネットワーク自体は公知の技術であるため詳細な説明は省略するが、中間層542は、ノード間結合およびフィードバック結合を有するノード群(ニューロン群)を多数含む。その中間層542には、入力層540からのデータが入力され、中間層542の演算結果のデータは、出力層544へ出力される。
 生成器54は、入力された入力データ4(電気抵抗)からロボット状態を表す生成出力データ6Aを生成するニューラルネットワークである。生成出力データ6Aは、入力データ4(電気抵抗)からロボット状態を推定したデータである。生成器54は、時系列に入力された入力データ4(電気抵抗)から、ロボット状態に近い状態を示す生成出力データを生成する。生成器54は、多数の入力データ4(電気抵抗)を用いて学習することで、ロボット2すなわち導電性ウレタン22に圧力刺激が与えられるロボット状態に近い生成出力データ6Aを生成できるようになる。他の側面では、時系列に入力された入力データ4である電気特性をパターンとして捉え、当該パターンを学習することで、ロボット2すなわち導電性ウレタン22に圧力刺激が与えられるロボット状態に近い生成出力データ6Aを生成できるようになる。
 演算器56は、生成出力データ6Aと、学習データの出力データ6とを比較し、その比較結果の誤差を演算する演算器である。学習処理部52は、生成出力データ6A、および学習データの出力データ6を演算器56に入力する。これに応じて、演算器56は、生成出力データ6Aと、学習データの出力データ6との誤差を演算し、その演算結果を示す信号を出力する。
 学習処理部52は、演算器56で演算された誤差に基づいて、ノード間の結合の重みパラメータをチューニングする、生成器54の学習を行う。具体的には、生成器54における入力層540と中間層542とのノード間の結合の重みパラメータ、中間層542内のノード間の結合の重みパラメータ、および中間層542と出力層544とのノード間の結合の重みパラメータの各々を例えば勾配降下法や誤差逆伝搬法等の手法を用いて、生成器54にフィードバックする。すなわち、学習データの出力データ6を目標として、生成出力データ6Aと学習データの出力データ6との誤差を最小化するように全てのノード間の結合を最適化する。
 学習モデル51は、学習処理部52の学習処理により生成される。学習モデル51は、学習処理部52による学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現される。
 図15に学習処理の流れの一例を示す。学習処理部52は、ステップS110で、時系列に測定した結果の学習データである、ロボット状態を示す情報をラベルとした入力データ4(電気抵抗)を取得する。学習処理部52は、ステップS112で、時系列に測定した結果の学習データを用いて学習モデル51を生成する。すなわち、上記のようにして多数の学習データを用いて学習した学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合を得る。そして、ステップS114で、学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現されるデータを学習モデル51として記憶する。
 なお、生成器54は、時系列入力の前後関係を考慮して出力を生成する機能を有する再帰型ニューラルネットワークを用いてもよく、他の手法を用いてもよい。
 そして、上記ロボット状態推定装置1では、以上に例示した手法により生成した学習済みの生成器54(すなわち、学習結果のノード間の結合の重みパラメータの情報の集合として表現されるデータ)を学習モデル51として用いる。十分に学習した学習モデル51を用いれば、ロボット2、すなわち外郭部27に配置された導電性ウレタン22における時系列の電気抵抗値からロボット状態を同定することも不可能ではない。
 なお、学習処理部52による処理は、本開示の学習モデル生成装置の処理の一例である。また、ロボット状態推定装置1は、本開示の推定部および推定装置の一例である。ロボット状態3を示す情報である出力データ6は、本開示のロボット状態情報の一例である。
 ところで、上述したように、導電性ウレタン22は、上述したように電気経路が複雑に連携し、変形に応じた電気経路の伸縮、膨縮、一時的な切断、及び新たな接続が生じる等の挙動を示し、結果的に、与えられた力(例えば圧力刺激)に応じて異なる電気特性を有する挙動を示す。このことは、導電性ウレタン22を、導電性ウレタン22の変形に関するデータを貯留するリザーバとして扱うことが可能である。すなわち、ロボット状態推定装置1は、物理的なリザーバコンピューティング(PRC:Physical Reservoir Computing)と呼ばれるネットワークモデル(以下、PRCNという。)に、導電性ウレタン22を適用することが可能である。PRCおよびPRCN自体は公知の技術であるため、詳細な説明を省略するが、すなわち、PRC、及びPRCNは、導電性ウレタン22の変形に関する情報の推定に好適に適用可能である。なお、リザーバは、リザバ及びリザーバーと称する場合がある。
 図16に、導電性ウレタン22を含むロボット2を、導電性ウレタン22を含むロボット2の変形に関するデータを貯留するリザーバとして扱って学習する学習処理部52の一例を示す。導電性ウレタン22は、多様な圧力刺激の各々に応じた電気特性(電気抵抗値)となり、電気抵抗値を入力する入力層として機能し、また、導電性ウレタン22の変形に関するデータを貯留するリザーバ層として機能する。導電性ウレタン22は、ロボット状態3により与えられた圧力刺激に応じて異なる電気特性(入力データ4)を出力するので、推定層で、導電性ウレタン22の電気抵抗値から与えられた圧力刺激3を推定することが可能である。従って、学習処理では、推定層を学習すればよい。
 上述のロボット状態推定装置1は、例えば、コンピュータに上述の各機能を表すプログラムを実行させることにより実現可能である。
 図17に、ロボット状態推定装置1の各種機能を実現する処理を実行する実行装置としてコンピュータを含んで構成した制御装置250の一例を示す。
 ロボット状態推定装置1として機能する制御装置250は、図17に示すコンピュータ本体100を備えている。コンピュータ本体100は、CPU102、揮発性メモリ等のRAM104、ROM106、ハードディスク装置(HDD)等の補助記憶装置108、及び入出力インターフェース(I/O)110を備えている。これらのCPU102、RAM104、ROM106、補助記憶装置108、及び入出力I/O110は、相互にデータ及びコマンドを授受可能にバス112を介して接続された構成である。また、入出力I/O110には、外部装置と通信するための通信部114が接続されている。通信部114は、導電性ウレタン22を含むロボット2との間で、入力データ4(電気抵抗)を取得する機能する。すなわち、通信部114は、検出部である、ロボット2に配置された導電性ウレタン22における検出点75に接続された電気特性検出部76から入力データ4(電気抵抗)を取得することが可能である。
 また、入出力I/O110には、キーボード等の操作部115、ディスプレイ等の表示部211、音声入力のためのマイク117、音声出力のためのスピーカ118、及び駆動部119が接続されている。表示部211は、ロボット2の頭部210に配置される。また、操作部115、マイク117、及びスピーカ118は、例えば、ロボット2の胴体部220の内部に配置される(図示省略)。駆動部119は、ロボット2の骨格21の連携による各パーツを移動可能に駆動するように配置される(図示省略)。
 補助記憶装置108には、コンピュータ本体100を本開示の推定装置の一例としてロボット状態推定装置1として機能させるための制御プログラム108Pが記憶される。CPU102は、制御プログラム108Pを補助記憶装置108から読み出してRAM104に展開して処理を実行する。これにより、制御プログラム108Pを実行したコンピュータ本体100は、本開示の推定装置の一例としてロボット状態推定装置1として動作する。
 なお、補助記憶装置108には、学習モデル51を含む学習モデル108M、及び各種データを含むデータ108Dが記憶される。制御プログラム108Pは、CD-ROM等の記録媒体により提供するようにしても良い。
 次に、コンピュータにより実現されたロボット状態推定装置1における推定処理について説明する。
 図18に、コンピュータ本体100において、実行される制御プログラム108Pによる推定処理の流れの一例を示す。
 図18に示す推定処理では、コンピュータ本体100が電源投入されると、CPU102により実行される。すなわち、CPU102は、制御プログラム108Pを補助記憶装置108から読み出し、RAM104に展開して処理を実行する。
 まず、CPU102は、ステップS200で、補助記憶装置108の学習モデル108Mから学習モデル51を読み出し、RAM104に展開することで、学習モデル51を取得する。具体的には、学習モデル51として表現された重みパラメータによるノード間の結合となるネットワークモデル(図14、図16参照)を、RAM104に展開する。よって、重みパラメータによるノード間の結合が実現された学習モデル51が構築される。
 次に、CPU102は、ステップS202で、導電性ウレタン22に与えられた圧力刺激によるロボット状態を推定する対象となる未知の入力データ4(電気抵抗)を、通信部114を介して時系列に取得する。
 次に、CPU102は、ステップS204で、ステップS200で取得した学習モデル51を用いて、ステップS202において取得した入力データ4(電気抵抗)に対応する出力データ6(未知のロボット状態)を推定する。
 そして、次のステップS206で、推定結果の出力データ6(ロボット状態)を、通信部114を介して出力したり、スピーカ118から音を発するようにデータを出力したり、表示部211に表示するようにデータを出力して、本処理ルーチンを終了する。
 なお、図18に示す推定処理は、本開示の推定方法で実行される処理の一例である。
 以上説明したように、本開示によれば、導電性ウレタン22に対して、ロボット状態3における圧力刺激に応じて変化する入力データ4(電気抵抗)から、ロボット状態を推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測することなく、未知のロボット状態を推定することが可能となる。
 また、ロボット状態に応じて電気特性が変化し、当該電気特性(時系列の電気抵抗)にロボット状態の特徴が反映されるので、導電性ウレタン22において時系列に変化する電気抵抗値からロボット状態を推定可能である。すなわち、ロボット2が様々なロボット状態であっても、上述した学習モデルを用いることで、適切なロボット状態を推定できる。
 本実施形態に係るロボット状態推定装置1では、上述した学習処理によって学習された学習モデル51を用いることによって、導電性ウレタン22の電気特性を入力することで、電気特性に対応した様々なロボット状態を推定できることを確認した。
 なお、本実施形態では、上述したように、柔軟部材の一例として導電性ウレタンを適用した場合を説明したが、柔軟部材は導電性を有する材料であればよく、導電性ウレタンに限定されないことは勿論である。
 また、本実施形態では、上述した学習処理によって学習された学習モデル51を用いて、導電性ウレタン22の電気特性に対応した様々なロボット状態を推定する場合を説明した。この場合、ロボット状態として人物が外郭部27に接触した付勢状態、例えば接触状態を検出することに注目する場合、ロボット状態推定装置1を、時系列の電気特性が接触検出用に予め定めた閾値を超えること検出する機能部分は、ロボット2の人物の接触を検出する接触検出装置として適用可能である。
[第2実施形態]
 次に、本開示の第2実施形態を説明する。第2実施形態は、第1実施形態と同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する場合がある。
 本開示は、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、柔軟材料に圧力を与える付与刺激状態を推定することができる推定装置、推定方法、推定プログラム、及び学習モデル生成装置を提供する。
 本開示において可動体とは、1パーツによる可動体または一部のパーツが可動可能な複数のパーツが連携して構成されるロボットを含む概念である。また、可動体は、人体の一部の部位に適用可能である。突出部は、ロボット等を構成する基体(例えば、ボデーや胴体)から突出し、かつ当該基体に対して相対的に移動可能な頭部、腕部及び脚部等のパーツや部位を含む概念である。なお、突出部は、例えば、腕部における指や指を備える手部等のように部分体を備えることが可能である。突出部には、柔軟材料が配置される。
 また、本開示において付与刺激状態とは、柔軟材料に可動体以外の外部から圧力を与える外部の人体及び物体の少なくとも一方の状態を含む概念である。つまり、付与刺激状態は、外部の人体の状態、外部の物体の状態、並びに、外部の人体及び物体の状態を含む。なお、以下の説明では、柔軟材料に可動体以外の外部から圧力を与える外部の人体及び物体の少なくとも一方を区別することなく、ヒトとモノとを含む概念として人物と総称して説明する。具体的には、人体及び物体のそれぞれの単体、及び人体と物体の組み合わせを人物と称する。例えば、付与刺激状態は、接触状態、形状状態、及び物理状態の少なくとも1状態を含む。接触状態は、柔軟材料と外部の人物とが接触される状態を含む。なお、接触状態は、柔軟材料と外部の人物との間に予め定められた部材が介在する場合を含む。例えば、接触状態は、予め定められた部材を介して柔軟材料と外部の人物との間に相対的にエネルギの授受が生じて柔軟部材が変形する状態であればよい。形状状態は、人物の表面形状、表面の質感及び表面の触感の何れかを示す状態を含む。物理状態は、人物に関する物理的な状態であり、人物からの圧力、人物の重さ、及び人物の硬さを示す状態を含む。
 なお、付与刺激状態は、可動体における能動形態を示す状態(以下、能動形態状態という。)及び受動形態を示す状態(以下、受動形態状態という。)の何れかの状態下において表れる。能動形態状態は、柔軟材料が配置された可動体によって示される可動体の立ち振る舞い、及び動き等の動的な形態を示す状態を含む概念である。受動形態状態は、可動体の姿勢等の柔軟材料に外部から圧力等のエネルギが与えられる際の静的な形態を示す状態を含む概念である。能動形態を示す状態の一例には、可動体の動きを示す挙動状態が挙げられる。受動形態を示す状態の一例には、可動体の姿勢を示す姿勢状態が挙げられる。
 本開示の推定装置は、学習済みの学習モデルを用いて、可動体に配置された導電性を有する柔軟材料における電気特性から付与刺激状態を推定する。柔軟材料は、可動体(例えば、ロボット等)の基体(例えば、胴体)と相対的に移動可能に基体から突出した突出部(例えば、頭部、手部及び脚部等の何れか)の少なくとも一部を覆うように配置される。学習モデルは、導電性を有する柔軟材料に圧力を与えた際の時系列の電気特性と、その柔軟材料に圧力を与える人物の付与刺激状態を示す付与刺激状態情報とを学習用データとして用いる。学習モデルは、時系列の電気特性を入力とし、その時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を出力するように学習される。
 本実施形態では、可動体としてロボットを適用した場合を説明する。また、導電性を有する柔軟材料としてウレタン部材の全部または少なくとも一部に導電材料が浸潤された導電性ウレタンが、ロボットの少なくとも一部の外郭部に配置された場合を説明する。また、導電性ウレタンを変形させる物理量としてはロボット、すなわち柔軟材料に与えられる圧力刺激を示す値(圧力値)を適用する。なお、圧力刺激に応じて変化する物理量としては、導電性ウレタンの電気抵抗値を適用した場合を説明する。
 図20に、本開示の推定装置としての状態推定装置の構成の一例を示す。本実施形態に係る状態推定装置は、上述したロボット状態推定装置1と同様の構成のため、本実施形態では、上述したロボット状態推定装置1を状態推定装置1と称する。図20は、ロボットハンドに導電性ウレタン22を配置した点で図1と異なる。ロボットハンドについては後述する。
 状態推定装置1における推定処理は、学習済みの学習モデル51を用いて、ロボットに配置された導電性ウレタン22における電気特性から、未知の人物の付与刺激状態として、ロボット外部の人物の表面形状、表面の質感及び表面の触感等の状態、並びに外部の人物の接触状態の何れかを推定し、出力する。これにより、特殊な装置や大型の装置を用いて計測することなく、ロボットに圧力を与える人物の表面形状、表面の質感及び表面の触感等の状態、並びに外部の人物の接触状態等の人物の付与刺激状態を推定することが可能となる。学習モデル51は、付与刺激状態(例えば、付与刺激状態を示す状態値)をラベルとし、当該付与刺激状態における導電性ウレタンの電気特性(例えば、電気抵抗値)を入力として学習される。学習モデル51の学習については後述する。
 上述したように、人型ロボット200は、頭部210、胴体部220、腕部230(上腕232、前腕234、手236)、脚部240(大腿242、下腿244、足246)の各々のパーツが骨格21によって連結される(図2)。人型ロボット200は、骨格21の周囲に導電性ウレタン22を配置することで、人型ロボット200の外側である外郭に導電性ウレタン22が配置される。人型ロボット200に配置された導電性ウレタン22は、電極等の検出点75を介して電気特性検出部76(図8)に接続される。
 本実施形態では、説明を簡単にするため、本開示のロボットの一例として、図21に示す簡易型のロボットハンドをロボットハンド2として適用した場合を説明する。図21に示すロボットハンド2は図2に示すロボットの腕部230に含まれる手236のパーツに対応する。
 図21に示すように、ロボットハンド2は、ベース部237及びベース部237に連結された複数(図3に示す例では、3つ)の指部238を含んでロボットハンドを構成する。各指部238は、流体供給等により屈曲可能な構成となっており(詳細は後述)、屈曲の度合いに応じた指形態を形成する。図21では、各指部238の先端が所定の初期間隔で位置する指形態236-1、各指部238の先端が接近する指形態236-2、及び各指部238の先端が離間する指形態236-3が一例として示されている。
 図21に示すロボットハンド2では、指部238の各々の外側に導電性ウレタン22を含む外郭部27が配置される。すなわち、ロボットハンド2の指部238の各々は、骨格21を含み、骨格21の周囲に外郭として導電性ウレタン22を配置して外郭部27を形成する。なお、ベース部237は骨格としても機能する。各指部238の外郭部27は、導電性ウレタン22を含む1枚のシートで構成して配置してもよく、少なくとも1つに導電性ウレタン22を含む複数のシートを配置してもよい。複数シートにより外郭部27を形成する場合、シートの一部が重複するように配置してもよい。導電性ウレタン22は、電極等の検出点75を介して電気特性検出部76(図8)に接続される。
 指部238は、ベース部237を支点として、屈曲可能に形成される。指部238を屈曲可能に形成する構成には、線形又は非線形に変形する弾性体を含む部材が適用可能であり、付与された物理量(例えば圧力や流体の供給)により所定方向に収縮力を発生する弾性収縮体(例えば、上述したラバーアクチュエータ)が一例として挙げられる。
 ロボットハンド2は、図示しない弾性収縮体の駆動によって、図21に指形態236-1~236-3として示すように、指部238が屈曲する。指部238の作動(屈曲)によって、人物を把持したり、把持を解除する人体の手を模擬することが可能となる。図21に示す例は、指形態236-1が初期形態、指形態236-2が把持形態、そして指形態236-3が把持を解除する開放形態の一例である。
 また、ロボットハンド2は、ベース部237に、ロボットハンド2の制御を行う制御装置250が備えられている(図17)。制御装置250は、状態推定装置1として動作する機能部を含む。
 なお、ロボットハンド2は、パーツである各指部238を、流体供給等によって屈曲するための駆動部119(図17)を備えている。駆動部119(図17)の駆動によって、各指部238が屈曲し、各種の指形態を形成することが可能となる。よって、ロボットハンド2を備えたロボットは、自立型ロボットシステムとして動作する。
 本実施形態では、ロボットハンド2として、ベース部237に連結された3つの指部238によりロボットハンドを構成する一例を説明するが、指部238は3つに限定されるものではなく、2つであってもよく、4つ以上であってもよい。また、各指部238は、同一形状であることに限定されない。例えば、人体の指を模して異なる形状に形成してもよいことは勿論である。
 また、本実施形態では、各指部238が骨格21の周囲に導電性ウレタン22を配置して外郭部27を形成するロボットハンド2を説明するが(図21)、ロボットハンド2の構成は各指部238の周囲に導電性ウレタン22を配置ことに限定されない。例えば、図22にロボットハンド2Aとして示すように、ベース部237に連結され、骨格21を備えた複数の指部238Aの周囲に導電性ウレタン22を配置して手236の外郭部27を形成してもよい。また、ロボットハンド2は、複数の指部238を備えることに限定されない。例えば、図22にロボットハンド2Bとして示すように、骨格21を備えた指部238Bからなる手の周囲に導電性ウレタン22を配置して手236の外郭部27を形成してもよい。ロボットハンド2Bでは、握った状態の手を模擬することが可能となる。一方、ロボットハンド2は、曲面を備えることに限定されない。例えば、図22にロボットハンド2Cとして示すように、骨格21を備えた指部238Bからなる平坦な手の周囲に導電性ウレタン22を配置して手236の外郭部27を形成してもよい。ロボットハンド2Cでは、掌や甲を模擬することが可能となる。
 状態推定装置1は、付与刺激状態を推定するために、ロボットハンド2に配置された導電性ウレタン22における電気特性を検出する(図8参照)。
 外郭部27に導電性ウレタン22を備えて構成されるロボットハンド2において検出される電気抵抗値は、ロボットハンド2の外郭部27に圧力刺激が与えられる等の導電性ウレタン22の変形によって、その変形の前後で変化する。よって、時系列の電気抵抗値の検出、すなわち、ロボットハンド2に圧力刺激が与えられていない状態からの電気抵抗値の変化を検出(例えば予め定めた閾値を超えた電気抵抗値を検出)することで、ロボットハンド2に圧力を与える人物の付与刺激状態を検出することが可能となる。具体的には、ロボットハンド2に対する人物の付与刺激状態は、ロボットハンド2に対する人物の接触であっても圧力刺激を伴うため、接触状態を含む。よって、ロボットハンド2に導電性ウレタン22を配置することで、ロボットハンド2に対する人物の接触を含む付与刺激状態を検出可能となる。また、ロボットハンド2に与えられた圧力刺激の位置や分布、及び大きさの何れか1つが変化しても電気抵抗値は変化する。従って、時系列に変化した電気抵抗値から、ロボットハンド2に対する人物の接触位置を含む付与刺激状態を検出することも不可能ではない。
 ロボットハンド2に配置される導電性ウレタン22を含む外郭部27は、ロボットハンド2の外側を一体構造として導電性ウレタン22を含む外郭部27を形成してもよく、指部等のパーツ毎に独立した導電性ウレタン22を含む外郭部27を形成してもよい。
 なお、1つの導電性ウレタン22の電気特性の検出精度を向上するため、上述したように検出点として上記より多くの検出点を用いてもよい(図9から図11を参照)。
 状態推定装置1は、推定部5を備えている。推定部5には、導電性ウレタン22における電気抵抗の大きさ(電気抵抗値)を表す時系列の電気特性である入力データ4が入力される。具体的には、導電性ウレタン22の検出点75に接続された電気特性検出部76から出力される電気特性(すなわち、電気抵抗値である体積抵抗値)が入力される。入力データ4は、ロボットハンド2の付与刺激状態3に対応する。また、推定部5は、推定結果として付与刺激状態3を示す物理量(付与刺激状態値)を表す出力である出力データ6を出力する。なお、推定部5は、学習済みの学習モデル51を含む。
 学習モデル51は、付与刺激状態3に応じた圧力刺激により変化する導電性ウレタン22の電気抵抗(入力データ4)から、付与刺激状態、すなわちロボットハンド2における能動形態状態又は受動形態状態(出力データ6)を導出する学習を済ませたモデルである。学習モデル51は、例えば、学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード(ニューロン)同士の間の結合の重み(強度)の情報の集合として表現される。
 学習モデル51は、学習処理部52(図12)の学習処理により生成される。本実施形態では、学習処理部52は、上述したロボット状態に代えて付与刺激状態3により生じる圧力刺激で変化する導電性ウレタン22における電気特性(入力データ4)を用いて学習処理を行う。すなわち、付与刺激状態3をラベルとして導電性ウレタン22における電気抵抗を時系列に測定した大量のデータを学習データとする。具体的には、学習データは、電気抵抗値(入力データ4)を含んだ入力データと、その入力データに対応する付与刺激状態3を示す情報(出力データ6)と、のセットを大量に含む。ここでは、導電性ウレタン22の電気抵抗値(入力データ4)の各々に測定時刻を示す情報を付与することで時系列情報が対応付けられる。この場合、付与刺激状態3として定まる期間について、導電性ウレタン22における時系列の電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。
 次に、学習処理部52について説明する。
 学習処理部52が行う学習処理では、上述した導電性ウレタン22が配置されたロボットハンド2の外郭部27が検出部として適用され、付与刺激状態3、及び導電性ウレタン22による電気抵抗値(入力データ4)が学習データとして用いられる。
 例えば、能動形態状態及び受動形態状態における付与刺激状態を示すデータを学習データとする。具体的には、ロボットハンド2の少なくとも一部のパーツによる所定の姿勢や動き等の挙動となるように駆動部119の駆動制御を行い、そのときの電気抵抗値を検出して、付与刺激状態(付与刺激状態値)と対応付けて学習データとする。
 能動形態状態では、ロボットハンド2は、動き等によって外郭部27が変形して、導電性ウレタン22の電気抵抗値が変化する。従って、能動形態状態における時系列の電気抵抗値には、付与刺激状態の特徴を示すデータが含まれる。よって、時系列の電気抵抗値を検出して、付与刺激状態(付与刺激状態値)と対応付けて学習データとすればよい。なお、能動形態状態における時系列の電気抵抗値の成分を分離する場合は、付与刺激状態が存在しない状態、例えば無負荷の状態による能動形態状態での時系列の電気抵抗値と、当該能動形態状態における付与刺激状態での時系列の電気抵抗値との相違成分(例えば差分)を、付与刺激状態と対応付けて学習データとしてもよい。
 一方、受動形態状態では、ロボットハンド2の少なくとも一部のパーツによる所定の姿勢となるように駆動部119の駆動制御を行い、そのときの電気抵抗値を検出して、付与刺激状態(付与刺激状態値)と対応付けて学習データとすればよい。具体的には、所定姿勢のロボットハンド2に対して、人物を接触させたり、人物を押圧したりする付与刺激状態を生じさせ、そのときの電気抵抗値を検出して、付与刺激状態と対応付けて学習データとする。
 学習処理部52は、図示しないCPUを含むコンピュータを含んで構成可能であり、学習データ収集処理及び学習処理を実行する(図13)。本実施形態では、上述したロボット状態を付与刺激状態に代えて、図示しないCPUが学習データ収集処理を実行する。すなわち、学習処理部52は、ステップS100で、ロボットハンド2の状態(能動形態状態又は受動形態状態)でロボットハンド2に圧力を与え、ステップS102で、付与刺激状態に応じて変化する導電性ウレタン22の電気抵抗値を時系列に取得する。次のステップS104では、取得した時系列の電気抵抗値に付与刺激状態3を示す付与刺激状態値をラベルとして付与して、記憶する。学習処理部52は、これら付与刺激状態値、及び導電性ウレタン22の電気抵抗値のセットが予め定めた所定数、又は予め定めた所定時間に達するまで(ステップS106で、肯定判断されるまで否定判断し)、上記処理を繰り返す。これにより、学習処理部52は、付与刺激状態3毎に、導電性ウレタン22における電気抵抗値を時系列に取得し、記憶することが可能となり、記憶された付与刺激状態毎の時系列の導電性ウレタン22の電気抵抗値のセットが学習データとなる。
 ところで、ロボットハンド2に対する人物の接触等では、人物が外郭部27に接触する付勢力(押圧力)が大きくなるのに従って、電気特性(電気抵抗値)が大きく変化する。従って、時系列の電気特性が接触検出用に予め定めた閾値を超えること検出することで、少なくとも人物が外郭部27に接触したことを示す付与刺激状態を検出可能である。よって、少なくとも人物が外郭部27に接触した付与刺激状態を推定可能に学習処理を実行するのであれば、接触を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとすればよい(図19も参照)。
 導電性ウレタン22の時系列の電気特性(各ピーク値P1~P8を含む前後の電気特性)の各々が、付勢力(押圧力)に応じて接触し、付与刺激状態における特徴パターンとして現れる。すなわち、ロボットハンド2が人物により押圧されると、電気抵抗値が急激に上昇し、押圧が解除(ユーザの手が離間)されると電気抵抗値が徐々に低下するパターンが、特徴パターンとして現れる。このため、上述したようにピーク値P1~P7を超える電気抵抗値を閾値thに定めることで、人物が外郭部27に接触した付与刺激状態を検出可能である。よって、学習処理部52は、接触した付与刺激状態を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとして学習する。
 一方、接触検出に限定しない付与刺激状態は、ロボットハンド2における各パーツの位置、又は複数のパーツの相対的な位置関係、各パーツにおける圧力刺激の分布、大きさ、及び頻度等の各物理量により同定可能である。従って、導電性ウレタン22の時系列の電気特性には、付与刺激状態を示す時系列の物理量の特徴が含まれる。本実施形態では、導電性ウレタン22を用いることで、これらの物理量が反映された電気特性(体積抵抗)を時系列に検出することが可能である。
 従って、付与刺激状態に応じてロボットハンド2における圧力刺激が変化し、その圧力刺激の変化に対応する電気特性を時系列に取得することで、付与刺激状態に時系列の電気特性を対応付けて記憶することが可能となる。当該時系列の電気特性および付与刺激状態を示す付与刺激状態値とのセットを学習データとすることが可能となる。
 次に、上述した学習データの一例を表で示す。表4は、付与刺激状態に関する学習データとして、時系列の電気抵抗値データ(r)と付与刺激状態能動形態状態値とを対応付たデータの一例である。表5は、ロボットハンド2における部位ごとの時系列の電気抵抗値データ(R)を示すデータの一例である。表3は、ロボットハンド2における各指部で検出された時系列の電気抵抗値を示す特性データ(J)のセットと、付与刺激状態値とを対応付たデータの一例である。
 表4に示す例は、付与刺激状態に含まれる接触状態、形状状態、及び物理状態の各状態について、対象となる人物の部位、及び性質を適用とし、当該状態に対応する触感、質感、物理量を示す値を対応付けた学習データである。
Figure JPOXMLDOC01-appb-T000004
 表5に示す例は、ロボットハンド2に与えられる圧力を検出する部位として、指先、指腹、付け根、及び掌、甲、側面を含む。表5に示すデータは、表1に示すデータの各々に含むようにしてもよい。例えば、r11=(R111、R112、R113、・・・、R11m:n=m)とすることが可能である。
Figure JPOXMLDOC01-appb-T000005
 表6に示す例は、ロボットハンド2における各パーツが連携することを考慮して、各パーツで検出された時系列の電気抵抗値を示す特性データ(J)のセットと、付与刺激状態値とを対応付た学習データである。ロボットハンド2では、各セットに含まれる何れかの特性データ(J)に付与刺激状態の特徴、すなわち、特徴パターンが含まれる。よって、各特性データ(J)は、全て学習データとして用いることが可能である。例えば、ロボットハンド2を構成する3つの指部236の各々で検出された電気抵抗値の変動を含む特性データ(J)の組み合わせから付与刺激状態を同定可能である。例えば3つの指部236において2以上の部位で電気抵抗値が押圧方向に変動したことで「物を把持」を同定可能であり、2以上の部位で閾値以内の電気抵抗値の変動から急激に変化する場合に「握りそこね」や「把持解除」を同定可能である。また、閾値以内の電気抵抗値の変動からの変動幅の大きさから人物の把持に人物の位置がずれる「すべり」を同定可能である。
Figure JPOXMLDOC01-appb-T000006
 次に、学習処理部52における学習処理ついて説明する。学習処理部52では上述した学習処理が行われる(図14)。本実施形態では、上述したロボット状態を付与刺激状態に代えて学習処理が実行される。学習処理については上記と同様のため、説明を省略する。
 学習モデル51は、上述した学習処理部52の学習処理により生成される(図15)。学習モデル51は、学習処理部52による学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現される。
 そして、上記状態推定装置1では、以上に例示した手法により生成した学習済みの生成器54(すなわち、学習結果のノード間の結合の重みパラメータの情報の集合として表現されるデータ)を学習モデル51として用いる。十分に学習した学習モデル51を用いれば、ロボットハンド2、すなわち外郭部27に配置された導電性ウレタン22における時系列の電気抵抗値から付与刺激状態を同定することも不可能ではない。
 なお、学習処理部52による処理は、本開示の学習モデル生成装置の処理の一例である。また、状態推定装置1は、本開示の推定部および推定装置の一例である。付与刺激状態3を示す情報である出力データ6は、本開示の付与刺激状態情報の一例である。
 また、上述したように、導電性ウレタン22は、導電性ウレタン22の変形に関するデータを貯留するリザーバとして扱うことが可能である。すなわち、状態推定装置1は、物理的なリザーバコンピューティング(PRC)と呼ばれるPRCNに、導電性ウレタン22を適用することが可能である。
 図23に、上述した図16に示す例と同様に、本実施形態に係る導電性ウレタン22を含むロボットハンド2を、導電性ウレタン22を含むロボットハンド2の変形に関するデータを貯留するリザーバとして扱って学習する学習処理部52の一例を示す。従って、上述したように学習処理では、推定層を学習すればよい。
 状態推定装置1は、例えば、コンピュータに上述の各機能を表すプログラムを実行させることにより実現可能である。例えば、状態推定装置1の各種機能を実現する処理を実行する実行装置としてコンピュータを含んで制御装置250を構成すればよい(図17)。
 次に、コンピュータにより実現された状態推定装置1における推定処理について説明する。
 本実施形態に係る推定処理は、コンピュータ本体100に電源投入されると、CPU102により実行される(図18)。すなわち、CPU102は、制御プログラム108Pを補助記憶装置108から読み出し、RAM104に展開して処理を実行する。本実施形態では、上述したようにロボット状態を付与刺激状態に代えて、推定処理が実行される。
 まず、CPU102は、ステップS200で、補助記憶装置108の学習モデル108Mから学習モデル51を読み出し、RAM104に展開することで、学習モデル51を取得する。具体的には、学習モデル51として表現された重みパラメータによるノード間の結合となるネットワークモデル(図14、図16参照)を、RAM104に展開する。よって、重みパラメータによるノード間の結合が実現された学習モデル51が構築される。
 次に、CPU102は、ステップS202で、導電性ウレタン22に与えられた圧力刺激による付与刺激状態を推定する対象となる未知の入力データ4(電気抵抗)を、通信部114を介して時系列に取得する。
 次に、CPU102は、ステップS204で、ステップS200で取得した学習モデル51を用いて、ステップS202において取得した入力データ4(電気抵抗)に対応する出力データ6(未知の付与刺激状態)を推定する。
 そして、次のステップS206で、推定結果の出力データ6(付与刺激状態)を、通信部114を介して出力したり、スピーカ118から音を発するようにデータを出力したり、表示部211に表示するようにデータを出力して、本処理ルーチンを終了する。
 なお、本実施形態に係る推定処理は、本開示の推定方法で実行される処理の一例である。
 以上説明したように、本開示によれば、導電性ウレタン22に対して、付与刺激状態3における圧力刺激に応じて変化する入力データ4(電気抵抗)から、付与刺激状態を推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測することなく、未知の付与刺激状態を推定することが可能となる。
 また、付与刺激状態に応じて電気特性が変化し、当該電気特性(時系列の電気抵抗)に付与刺激状態の特徴が反映されるので、導電性ウレタン22において時系列に変化する電気抵抗値から付与刺激状態を推定可能である。すなわち、ロボットハンド2に対して人物によって圧力が与えれる各種の付与刺激状態であっても、上述した学習モデルを用いることで、適切な付与刺激状態を推定できる。
 本実施形態に係る状態推定装置1では、上述した学習処理によって学習された学習モデル51を用いることによって、導電性ウレタン22の電気特性を入力することで、電気特性に対応した様々な付与刺激状態を推定できることを確認した。
<応用例>
 上述した状態推定装置1は、各種の装置への応用が可能である。
 上述した状態推定装置1は、複数の場所において付与刺激状態を共有する場合に有効に機能する。例えば、状態推定装置1は、ロボットハンド2を遠隔地に配置される遠隔装置の一部として機能させることで、ロボットハンド2の配置先から離間した場所において、ロボットハンド2により検出される人物の未知の付与刺激状態を把握することが可能である。遠隔地において、人物の未知の付与刺激状態を把握するためには、上述した推定結果である付与刺激状態を示す付与刺激状態値をデータとして、通信部114を介して予め定めた遠隔地の送信先に送信する処理を追加すればよい。
 また、上述した実施形態では、上述した学習処理によって学習された学習モデル51を用いて、導電性ウレタン22の電気特性に対応した様々な付与刺激状態を推定する場合を説明した。この場合、付与刺激状態として人物が外郭部27に接触した接触状態を検出することに注目する場合、状態推定装置1を、時系列の電気特性が接触検出用に予め定めた閾値を超えること検出する機能部分は、人物の接触を検出する接触検出装置として適用可能である。
 上述した実施形態では、本開示の技術を導電性ウレタン22が外殻部に配置されたロボットに適用した場合を説明したが、本開示の技術は、ロボットへの適用に限定されない。例えば、導電性ウレタン22を含む部材を、ロボットの周囲に配置されるカバー部に配置したり、人体の一部に装着される袋体(例えば、帽子、手袋及び足袋等)に配置してもよい。すなわち、導電性ウレタンを配置する可動体は、ロボットや人体等の導電性ウレタン22に付与刺激状態に応じて圧力を与えるための基体及び突出部を有する人物であればよい。
 図24に、本開示の技術を適用した導電性ウレタン22が配置された手袋29を示す。手袋29は、人体の手の外部に装着する部材であり、内部又は外部の少なくとも一部に導電性ウレタン22が配置される。
 ここでは、説明を簡単にするため、人体の手の外部に装着する部材を導電性ウレタン22で形成した手袋20を説明する。図24に示すように手袋20は、親指を覆う第1指部20-1、人差し指を覆う第2指部20-2、中指を覆う第3指部20-3、薬指を覆う第4指部20-4、及び小指を覆う第5指部20-5を備え、各々掌(甲)を覆う掌部20-6に連結される。なお、手袋20は、図2に示すロボットの手236を覆うものであってもよい。
 また、手袋20は、各部位毎に、すなわち、第1指部20-1から第5指部20-5及び掌部20-6の各々における電気特性を検出するために、各部位の導電性ウレタン22に電極等の検出点75が配置される。手袋20では、導電性ウレタン22は、電気特性検出部76(図8)を備えた制御装置250Aに接続される。制御装置250Aは、図21に示す制御装置250と同様の構成であるため、説明を省略する。
 なお、図24に示す手袋20における電極等の検出点75の配置は一例であって、図24に示す配置に限定されるものではない。例えば、手袋20に少なくとも一対の電極等の検出点75を配置すればよく、検出精度向上のために、複数の検出点を配置してもよい。
 導電性ウレタン22を配置した手袋20は、ロボット又は人の手の能動形態状態及び受動形態状態に応じた人物の付与刺激状態を推定できる。よって、導電性ウレタン22を含む部材を、ロボットの周囲に配置されるカバー部に配置したり、人体の一部に装着される袋体(例えば、帽子、手袋及び足袋等)に配置することにより、大規模なセンサシステムを備えることなく、簡単に人物の付与刺激状態を推定可能となる。
[第3実施形態]
 次に、本開示の第3実施形態を説明する。第3実施形態は、第1実施形態及び第2実施形態と同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する場合がある。
 本開示は、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、接触物体を示す接触物体情報を推定することができる推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置を提供する。
 本開示において「接触物体」とは、接触した物体の種類及び接触した物体の状態を含む概念である。
 本開示の推定装置は、学習済みの学習モデルを用いて、ロボットに備えられた導電性を有する柔軟材料における電気特性から接触物体に関する情報を推定する。学習モデルは、導電性を有する柔軟材料に圧力を与えた際の時系列の電気特性と、その柔軟材料に圧力を与える接触物体を示す接触物体情報とを学習用データとして用いる。学習モデルは、時系列の電気特性を入力とし、その時系列の電気特性に対応する接触物体を示す接触物体情報を出力するように学習される。
 以下の説明では、導電性を有する柔軟材料としてウレタン部材の全部または少なくとも一部に導電材が配合された導電性ウレタンが、ロボットの胴体部の少なくとも一部の外郭部に配置された場合を説明する。また、導電性ウレタンを変形させる物理量としてはロボット、すなわち柔軟材料に与えられる圧力刺激を示す値(圧力値)を適用する。なお、圧力刺激に応じて変化する物理量としては、導電性ウレタンの電気抵抗値を適用した場合を説明する。
 本開示の推定装置としての接触物体推定装置は、上述したロボット状態推定装置1と同様の構成のため、本実施形態では、上述したロボット状態推定装置1を接触物体推定装置1と称して接触物体推定装置1の構成については詳細な説明を省略する。
 接触物体推定装置1における推定処理は、学習済みの学習モデル51を用いて、ロボット2に配置された導電性ウレタン22における電気特性から、未知の接触物体の種類及び状態を推定し、出力する。これにより、特殊な装置や大型の装置を用いたりロボット2の外郭の変形を直接計測することなく、接触物体を示す接触物体情報を推定することが可能
となる。学習モデル51は、接触物体(例えば、接触物体の種類を示す値又は接触物体の状態を示す状態値)をラベルとし、当該接触物体により圧力刺激が与えられた状態における導電性ウレタンの電気特性(すなわち、ロボット2に配置された導電性ウレタンの電気抵抗値)を入力として学習される。
 本実施形態では、例えば、図25に胴体部220の概略構造の一例を断面図で示すように、胴体部220の複数の骨格21を覆うように、人工筋肉などの構造物を含む内部層25が配置され、内部層25の周囲に表皮としても機能する外郭部27が配置される。なお、胴体部220の複数の骨格21を覆う表皮として機能する外郭部27を配置してもよい。
 導電性ウレタン22は、上記と同様に(例えば、図4に示すように)、胴体部220の複数の骨格21を覆うように配置する材料、すなわち外郭部27の少なくとも一部に配置すればよく、内部に配置してもよいし外部に配置してもよい。
 本実施形態では、本開示のロボットの一例として、上述した簡易型のロボットを含む自立型ロボットシステムをロボット2として適用した場合を説明する(図6)。ロボット2は、胴体部220の複数の骨格21を覆うようにロボット2の外側である外郭として導電性ウレタン22を配置して外郭部を形成する。
 ところで、接触物体推定装置1は、接触物体を推定するために、ロボット2に配置された導電性ウレタン22における電気特性を検出する(図8参照)。
 外郭部27に導電性ウレタン22を備えて構成されるロボット2において検出される電気抵抗値は、ロボット2の胴体部220の外郭部27に圧力刺激が与えられる等の導電性ウレタン22の変形によって、その変形の前後で変化する。よって、時系列の電気抵抗値の検出、すなわち、ロボット2の胴体部220に圧力刺激が与えられていない状態からの電気抵抗値の変化を検出(例えば予め定めた閾値を超えた電気抵抗値を検出)することで、ロボット2の胴体部220に対する接触物体を検出することが可能となる。具体的には、ロボット2の胴体部220に対する接触物体は、ロボット2の胴体部220に対する接触物体の種類及び接触物体の状態を含む。よって、ロボット2の胴体部220に導電性ウレタン22を配置することで、ロボット2の胴体部220に対する接触物体の種類及び接触物体の状態を検出可能となる。また、ロボット2に与えられた圧力刺激の位置や分布、及び大きさの何れか1つが変化しても電気抵抗値は変化する。従って、時系列に変化した電気抵抗値から、ロボット2の胴体部220に対する接触物体の種類及び接触物体の状態を検出することも不可能ではない。
 ロボット2の胴体部220に形成される導電性ウレタン22を含む外郭部27は、ロボット2の胴体部220の外側を一体構造として導電性ウレタン22を含む外郭部27を形成してもよく、上部胴体222及び下部胴体224毎に独立した導電性ウレタン22を含む外郭部27を形成してもよい。
 なお、1つの導電性ウレタン22の電気特性の検出精度を向上するため、上述したように、上記より多くの検出点を用いてもよい(図9から図11を参照)。
 接触物体推定装置1は、推定部5を備えている。推定部5には、導電性ウレタン22における電気抵抗の大きさ(電気抵抗値)を表す時系列の入力データ4が入力される。入力データ4は、ロボット2の接触物体3に対応する。また、推定部5は、推定結果として接触物体3を示す接触物体情報を表す出力データ6を出力する。なお、推定部5は、学習済みの学習モデル51を含む。
 学習モデル51は、接触物体3に応じた圧力刺激により変化する導電性ウレタン22の電気抵抗(入力データ4)から、接触物体、すなわちロボット2の胴体部220に対する接触物体の種類及び接触物体の状態(出力データ6)を導出する学習を済ませたモデルである。学習モデル51は、例えば、学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード(ニューロン)同士の間の結合の重み(強度)の情報の集合として表現される。
 学習モデル51は、学習処理部52(図12)の学習処理により生成される。本実施形態では、学習処理部52は、上述したロボット状態に代えて接触物体3により生じる圧力刺激で変化する導電性ウレタン22における電気特性(入力データ4)を用いて学習処理を行う。すなわち、接触物体3をラベルとして導電性ウレタン22における電気抵抗を時系列に測定した大量のデータを学習データとする。具体的には、学習データは、電気抵抗値(入力データ4)を含んだ入力データと、その入力データに対応する接触物体3を示す接触物体情報(出力データ6)と、のセットを大量に含む。ここでは、導電性ウレタン22の電気抵抗値(入力データ4)の各々に測定時刻を示す情報を付与することで時系列情報が対応付けられる。この場合、接触物体3として定まる期間について、導電性ウレタン22における時系列の電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。
 次に、学習処理部52について説明する。
 学習処理部52が行う学習処理では、上述した導電性ウレタン22が配置されたロボット2の胴体部220の外郭部27が検出部として適用され、接触物体3の種類、状態、及び導電性ウレタン22による電気抵抗値(入力データ4)が学習データとして用いられる。
 例えば、接触物体の各種類に対するデータを学習データとする。具体的には、ロボット2の胴体部220に対して圧力等のエネルギが与えられる所定の種類の接触物体により圧力刺激を与えるように、ユーザOPに指示し、そのときの電気抵抗値を検出して、接触物体の種類と対応付けて学習データとする。ロボット2の胴体部220は、接触物体から圧力等のエネルギが与えられることによって外郭部27が変形して、導電性ウレタン22の電気抵抗値が変化するので、時系列の電気抵抗値を検出して、接触物体の種類と対応付けて学習データとすることが可能となる。
 また、接触物体の各状態に対するデータを学習データとする。具体的には、ロボット2の胴体部220に対して圧力等のエネルギが与えられる所定の状態で接触物体により圧力刺激を与えるように、ユーザOPに指示し、そのときの電気抵抗値を検出して、接触物体の状態と対応付けて学習データとする。ロボット2の胴体部220は、接触物体から圧力等のエネルギが与えられることによって外郭部27が変形して、導電性ウレタン22の電気抵抗値が変化するので、時系列の電気抵抗値を検出して、接触物体の状態と対応付けて学習データとすることが可能となる。接触物体の状態には、人物がロボットに接触する接触状態が含まれる。
 学習処理部52は、図示しないCPUを含むコンピュータを含んで構成可能であり、学習データ収集処理及び学習処理を実行する(図13)。本実施形態では、学習処理部52は、ステップS100で、物体によりロボット2の胴体部220に対して圧力刺激を与えるための指示を行い、ステップS102で、接触物体に応じた圧力刺激により変化する導電性ウレタン22の電気抵抗値を時系列に取得する。次のステップS104では、取得した時系列の電気抵抗値に接触物体3の種類及び状態を示す接触物体情報をラベルとして付与して、記憶する。学習処理部52は、これら接触物体情報、及び導電性ウレタン22の電気抵抗値のセットが予め定めた所定数、又は予め定めた所定時間に達するまで(ステップS106で、肯定判断されるまで否定判断し)、上記処理を繰り返す。これにより、学習処理部52は、接触物体3の種類毎及び接触物体3の状態毎に、導電性ウレタン22における電気抵抗値を時系列に取得し、記憶することが可能となり、記憶された接触物体の種類毎及び状態毎の時系列の導電性ウレタン22の電気抵抗値のセットが学習データとなる。
 ところで、ロボット2の胴体部220の外郭部27に物体の接触による圧力刺激を与えた場合、接触物体の種類及び状態に応じて、電気特性(電気抵抗値)が大きく変化する。従って、時系列の電気特性を検出することで、接触物体の種類及び状態を検出可能である。よって、接触物体の種類及び状態に対応する時系列の電気特性を学習データとすればよい。
 次に、上述した学習データの一例を表で示す。表7は、接触物体の種類に関する学習データとして、時系列の電気抵抗値データ(r)と接触物体の種類とを対応付けたデータの一例である。表8は、接触物体の状態に関する学習データとして、時系列の電気抵抗値データ(R)と接触物体の状態とを対応付けたデータの一例である。
Figure JPOXMLDOC01-appb-T000007

 
Figure JPOXMLDOC01-appb-T000008
 次に、学習処理部52における学習処理ついて説明する。学習処理部52では、上述した学習処理が行われる(図14)。本実施形態では、上述したロボット状態を接触物体の種類及び状態に代えて学習処理が実行される。学習処理については上記と同様のため、説明を省略する。
 学習モデル51は、上述した学習処理部52の学習処理により生成される(図15)。学習モデル51は、学習処理部52による学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現される。
 そして、上記接触物体推定装置1では、以上に例示した手法により生成した学習済みの生成器54(すなわち、学習結果のノード間の結合の重みパラメータの情報の集合として表現されるデータ)を学習モデル51として用いる。十分に学習した学習モデル51を用いれば、ロボット2、すなわち外郭部27に配置された導電性ウレタン22における時系列の電気抵抗値から接触物体の種類及び状態を同定することも不可能ではない。
 なお、学習処理部52による処理は、本開示の学習モデル生成装置の処理の一例である。また、接触物体推定装置1は、本開示の推定部および推定装置の一例である。接触物体3の種類及び状態を示す情報である出力データ6は、本開示の接触物体情報の一例である。
 また、上述したように、導電性ウレタン22は、導電性ウレタン22の変形に関するデータを貯留するリザーバとして扱うことが可能である。すなわち、接触物体推定装置1は、PRCと呼ばれるPRCNに、導電性ウレタン22を適用することが可能である。
 図26に、上述した図16と同様に、導電性ウレタン22を含むロボット2を、導電性ウレタン22を含むロボット2の変形に関するデータを貯留するリザーバとして扱って学習する学習処理部52の一例を示す。導電性ウレタン22は、多様な圧力刺激の各々に応じた電気特性(電気抵抗値)となり、電気抵抗値を入力する入力層として機能し、また、導電性ウレタン22の変形に関するデータを貯留するリザーバ層として機能する。導電性ウレタン22は、接触物体3により与えられた圧力刺激に応じて異なる電気特性(入力データ4)を出力するので、推定層で、導電性ウレタン22の電気抵抗値から与えられた接触物体3の種類及び状態を推定することが可能である。従って、学習処理では、推定層を学習すればよい。
 上述の接触物体推定装置1は、例えば、コンピュータに上述の各機能を表すプログラムを実行させることにより実現可能である。例えば、接触物体推定装置1の各種機能を実現する処理を実行する実行装置としてコンピュータを含んで制御装置250を構成すればよい(図17)。
 次に、コンピュータにより実現された接触物体推定装置1における推定処理について説明する。
 本実施形態に係る推定処理は、上述したように、コンピュータ本体100に電源投入されると、CPU102により実行される(図18)。すなわち、CPU102は、制御プログラム108Pを補助記憶装置108から読み出し、RAM104に展開して処理を実行する。
 すなわち、CPU102は、ステップS200で、補助記憶装置108の学習モデル108Mから学習モデル51を読み出し、RAM104に展開することで、学習モデル51を取得する。具体的には、学習モデル51として表現された重みパラメータによるノード間の結合となるネットワークモデル(図14、図16参照)を、RAM104に展開する。よって、重みパラメータによるノード間の結合が実現された学習モデル51が構築される。
 次に、CPU102は、ステップS202で、導電性ウレタン22に圧力刺激を与えた接触物体を推定する対象となる未知の入力データ4(電気抵抗)を、通信部I/F114を介して時系列に取得する。
 次に、CPU102は、ステップS204で、ステップS200で取得した学習モデル51を用いて、ステップS202において取得した入力データ4(電気抵抗)に対応する出力データ6(未知の接触物体の種類及び状態)を推定する。
 そして、次のステップS206で、推定結果の出力データ6(接触物体の種類及び状態)を、通信部I/F114を介して出力したり、スピーカ118から音を発するようにデータを出力したり、表示部211に表示するようにデータを出力して、本処理ルーチンを
終了する。また、制御装置250は、推定結果の出力データ6(接触物体の種類及び状態)に基づいて、ロボット2の各種の姿勢を維持したり、各種の挙動を実行する。例えば、推定された接触物体の状態が、「かるくたたく」である場合に、ロボット2の電源のオンオフを切り替える。これにより、ロボット2の胴体部220が大きなスイッチとして機能する。また、推定された接触物体の状態が、「さする」である場合に、ロボット2の挙動速度を遅くする。
 なお、本実施形態に係る推定処理は、本開示の推定方法で実行される処理の一例である。
 以上説明したように、本開示によれば、導電性ウレタン22に対して、接触物体3における圧力刺激に応じて変化する入力データ4(電気抵抗)から、接触物体の種類及び状態を推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測することなく、未知の接触物体の種類及び状態を推定することが可能となる。
 また、接触物体に応じて電気特性が変化し、当該電気特性(時系列の電気抵抗)に接触物体の特徴が反映されるので、導電性ウレタン22において時系列に変化する電気抵抗値から接触物体の種類及び状態を推定可能である。すなわち、様々な接触物体であっても、上述した学習モデルを用いることで、適切な接触物体の種類及び状態を推定できる。例えば、胴体部220に何がぶつかったのかを判別できたり、誰が、どれぐらいの強さで抱き着いたかを判別することができる。
 本実施形態に係る接触物体推定装置1では、上述した学習処理によって学習された学習モデル51を用いることによって、導電性ウレタン22の電気特性を入力することで、電気特性に対応した様々な接触物体の種類及び状態を推定できる。
 なお、本実施形態では、上述したように、柔軟部材の一例として導電性ウレタンを適用した場合を説明したが、柔軟部材は導電性を有する材料であればよく、導電性ウレタンに限定されないことは勿論である。
 また、本実施形態では、上述した学習処理によって学習された学習モデル51を用いて、導電性ウレタン22の電気特性に対応した様々な接触物体の種類及び状態を推定する場合を説明した。この場合、接触物体として人物が外郭部27に接触した接触状態を検出することに注目する場合、接触物体推定装置1を、時系列の電気特性から、ロボット2の人物の接触を検出する接触検出装置として適用可能である。
 また、胴体部220の前部(腹部)、後部(背中)で独立して導電性ウレタン22の電気特性を検出するようにしてもよい。この場合、正面からの抱きつきや背後からのタックル等の行為を推定することができる。
[第4実施形態]
 次に、本開示の第4実施形態を説明する。第4実施形態は、第1実施形態から第3実施形態と同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する場合がある。
 ところで、例えば、姿勢変化が可能なロボットでロボットの姿勢を変化させるための作動を制御する場合、ロボットに対する人体及び物体の少なくとも一方の接触やロボットの形状変化を検出して、予め定められた姿勢となるように制御することが考えられる。
 しかしながら、多数の特殊な接触センサを備えて接触を検出する側面では、接触を検出するための各部位に接触センサを備えることが要求され、センサ数が膨大となって、ロボットの大型化を招くので好ましくはない。また、多数の特殊な接触センサ自体がロボットの接触状態を阻害する虞もある。
 また、形状変化を検出する側面では、変形量を検出するためにカメラや光の透過量を検出するセンサとセンサ出力を解析する解析装置等を含むシステムは、大規模なものとなり、ロボットの大型化を招くので好ましくはない。また、変形量を検出するためにロボットの全ての部位に対して変形量を検出するセンサを配置することが要求され、好ましくはない。
 従って、簡単な構成で、ロボットに対する人体及び物体の少なくとも一方の接触等に応じてロボットの作動を制御するためには、改善の余地がある。
 本開示は、特殊装置を用いることなく簡単な構成で、導電性を有する柔軟材料の電気特性から推定されるロボット状態を利用して、ロボットの作動状態を制御することができるロボット制御装置、ロボット制御方法、ロボット制御プログラム、及びロボットシステムを提供する。
 本開示において「ロボットの作動状態」とは、上述したロボット状態から、ロボットを構成する少なくとも一部のパーツが作動によって可動した場合に形成されるロボット状態を含む概念である。例えば、ロボットの作動状態は、能動形態状態及び受動形態状態の少なくとも一方の状態、すなわち、ロボットの少なくとも一部のパーツに対して圧力等のエネルギが与えられることが可能なロボット状態に対して、少なくとも一部のパーツの作動によって形成される、予め定められた(または予測された)ロボット状態を含む。
 本開示のロボット制御装置は、作動状態が制御可能で、導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を備えたロボットにおける複数の検出点間の電気特性を検出部で検出する。導出部は、ロボットの電気特性から第1学習モデルを用いて推定されたロボット状態に対応して変化させる作動状態を示す作動データを導出し、ロボットのパーツを駆動する駆動部へ出力する。ロボット制御装置は、作動データに基づく駆動部によるロボットの少なくとも一部のパーツの駆動によってロボットの作動状態を制御する。
 図27に、本開示の推定装置としてのロボット制御装置の一例を示す。本実施形態に係るロボット制御装置は、上述したロボット状態推定装置1と同様の構成のため、本実施形態では、上述したロボット状態推定装置1をロボット制御装置1と称する。本実施形態に係るロボット制御装置1は、ロボット状態を推定する推定機能を有するロボット状態推定装置1A、及びロボット駆動を行うロボット駆動装置1Bを含む。
 ロボット状態推定装置1Aは、推定部5を備え、推定部5において、ロボット状態を推定する推定処理を実行する。推定処理は、学習済みの学習モデル51を用いて、ロボット2に配置された導電性ウレタン22における電気特性(入力データ4)から、未知のロボット状態として、ロボット2におけるロボット状態を推定し、出力データ6として出力する。これにより、特殊な装置や大型の装置を用いたりロボット2の外郭の変形を直接計測することなく、ロボット状態を推定することが可能となる。学習モデル51は、ロボット状態(例えば、状態値)をラベルとし、当該ロボット状態における導電性ウレタンの電気特性(すなわち、ロボット2に配置された導電性ウレタンの電気抵抗値)を入力として学習される。推定処理及び推定処理で用いる学習モデル51の学習については後述する。
 ロボット駆動装置1Bでは、導出部7を備え、導出部7において、ロボット状態推定装置1Aで推定されたロボット状態(出力データ6)を用いて、推定されたロボット状態に対応するロボット2の作動状態にロボット2を移行する制御を実行する。この制御は、学習済みの学習モデル51を用いて、ロボット2の現在のロボット状態に対して、将来のロボット状態、例えば次にロボット2が移行する状態を示すデータとして、ロボット2における各パーツの駆動値を示す作動データ8(駆動情報)を導出し、駆動部119に出力する。これにより、ロボット2は推定されたロボット状態に対応する作動状態9となり、特殊装置を用いることなく簡単な構成で、ロボットの作動を制御することが可能となる。学習モデル51は、将来のロボット状態(例えば、駆動値を含む作動状態値)をラベルとし、ロボット状態(すなわち、ロボット2に配置された導電性ウレタンの電気抵抗値から推定されるロボット2の状態)を入力として学習される。導出処理及び導出処理で用いる学習モデル51の学習については後述する。
 なお、本実施形態では、ロボット制御装置1におけるロボット状態推定装置1A、及びロボット駆動装置1Bの各々で共通の学習モデル51を用いる場合を説明するが、本開示はこれに限定されない。例えば、ロボット状態推定装置1A、及びロボット駆動装置1Bの各々に対して独立した学習モデルを用いてもよい。
 本実施形態では、説明を簡単にするため、ロボット2の一例として、上述した簡易型のロボット(図6)を含む自立型ロボットシステムをロボット2として適用した場合を説明する。
 図28に詳細を示すように、ロボット2は、ベース部241に図示しない移動機構を備えることで、移動可能とされる。ベース部241には、ロボット2の制御を行う制御装置250が備えられている。制御装置250は、ロボット状態推定装置1A、及びロボット駆動装置1Bの各々として動作する機能部を含む。
 また、ロボット2は、ベース部241を含む脚部240以外の部位において、骨格21の連携による各パーツを移動するための駆動部119を備えている。駆動部119の駆動によって、ロボット2は、パーツ毎の移動や変形、或いは複数のパーツが連携した移動や変形によって、各種の姿勢を維持したり、各種の挙動を実行することが可能となる。すなわち、ロボット2は、駆動部119の駆動によって、ロボット2の作動状態を制御可能である。よって、ロボット2は、自立型ロボットシステムとして動作する。なお、駆動部119は、頭部210に含まれる表示部211へのデータを表示するために、表示部211に表示のためのデータを出力する表示駆動部としても機能する。
 ところで、ロボット制御装置1におけるロボット状態推定装置1Aは、ロボット状態を推定するために、ロボット2に配置された導電性ウレタン22における電気特性を検出する(図8)。
 外郭部27に導電性ウレタン22を備えて構成されるロボット2において検出される電気抵抗値は、ロボット2の外郭部27に圧力刺激が与えられる等の導電性ウレタン22の変形によって、その変形の前後で変化する。よって、時系列の電気抵抗値の検出、すなわち、ロボット2に圧力刺激が与えられていない状態からの電気抵抗値の変化を検出(例えば予め定めた閾値を超えた電気抵抗値を検出)することで、ロボット2に対する人物の付勢を検出することが可能となる。具体的には、ロボット2に対する人物の付勢を示す付勢状態は、ロボット2に対する人物の接触であっても圧力刺激を伴うため、接触状態を含む。よって、ロボット2に導電性ウレタン22を配置することで、ロボット2に対する人物の接触を含む付勢を検出可能となる。また、ロボット2に与えられた圧力刺激の位置や分布、及び大きさの何れか1つが変化しても電気抵抗値は変化する。従って、時系列に変化
した電気抵抗値から、ロボット2に対する人物の接触位置を含む付勢状態を検出することも不可能ではない。
 なお、上述したように、ロボット2に形成される導電性ウレタン22を含む外郭部27は、ロボット2の外側を一体構造として導電性ウレタン22を含む外郭部27を形成してもよく、パーツ毎に独立した導電性ウレタン22を含む外郭部27を形成してもよい。また、1つの導電性ウレタン22の電気特性の検出精度を向上するため、より多くの検出点を用いてもよい(図9から図11を参照)。
 図27に示すように、ロボット状態推定装置1Aは、推定部5を備えている。推定部5には、導電性ウレタン22における電気抵抗の大きさ(電気抵抗値)を表す時系列の入力データ(電気特性)4が入力される。具体的には、導電性ウレタン22の検出点75に接続された電気特性検出部76から出力される電気特性(すなわち、電気抵抗値である体積抵抗値)が入力される。入力データ4は、ロボット2のロボット状態3に対応する。また、推定部5は、推定結果として入力データ4に対応する未知のロボット状態を示す物理量(ロボット状態値)を表す出力データ6を出力する。なお、推定部5は、学習済みの学習モデル51を用いて未知のロボット状態を示す出力データ6を推定する。
 また、図27に示すように、ロボット駆動装置1Bは、導出部7を備えている。導出部7には、ロボット状態推定装置1Aにおいて時系列の入力データ(電気特性)4から推定されたロボット状態(出力データ6)が入力される。入力されたロボット状態(出力データ6)には、将来、例えば、現在のロボット状態から次の作動状態に推移することが好ましい場合がある。そこで、導出部7は、推定されたロボット状態(出力データ6)に対応するロボット2の未知の作動状態に作動させるための物理量を表す作動データ8を導出し、駆動部119に出力する。よって、ロボット2は、作動状態9になるように駆動される。なお、導出部7は、学習済みの学習モデル51を用いて、推定されたロボット状態に対応する作動状態を示す作動データ8を導出する。
 学習モデル51は、データが入力されると、入力されたデータの特徴や入力されたデータの関連情報を示すデータを出力するように学習された、学習済みのモデルである。具体的には、学習モデル51は、ロボット状態推定装置1Aで用いる学習モデルとして、導電性ウレタン22の電気抵抗(入力データ4)から、ロボット2におけるロボット状態(出力データ6)を導出する学習を済ませた第1学習モデル51Aを含む。また、学習モデル51は、ロボット駆動装置1Bで用いる学習モデルとして、推定部5で推定されたロボット状態から、当該ロボット状態に対応する作動状態にロボット2を制御するための作動データ8を導出する学習を済ませた第2学習モデル51Bを含む。学習モデル51は、例えば、学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード(ニューロン)同士の間の結合の重み(強度)の情報の集合として表現される。
 第1学習モデル51A及び第2学習モデル51Bを含む学習モデル51は、学習処理部52(図29A、図29B)の学習処理により生成される。
 学習処理部52は、第1学習モデル51Aを生成するために、ロボット状態3により生じる圧力刺激で変化する導電性ウレタン22における電気特性(入力データ4)を用いて学習処理を行う(図29A)。すなわち、ロボット状態3をラベルとして導電性ウレタン22における電気抵抗を時系列に測定した大量のデータを学習データとする。具体的には、学習データは、電気抵抗値(入力データ4)を含んだ入力データと、その入力データに対応するロボット状態3を示す情報(出力データ6)と、のセットを大量に含む。ここでは、導電性ウレタン22の電気抵抗値(入力データ4)の各々に測定時刻を示す情報を付与することで時系列情報が対応付けられる。この場合、ロボット状態3として定まる期間について、導電性ウレタン22における時系列の電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。
 また、学習処理部52は、第2学習モデル51Bを生成するために、導電性ウレタン22の電気特性から推定されるロボット状態6xにより変化するロボット2の作動状態9を用いて学習処理を行う(図29B)。すなわち、ロボット2の作動状態9をラベルとして導電性ウレタン22の時系列の電気特性から推定されたロボット状態6xに対応する作動状態にロボット2を作動するための作動データを測定した大量のデータを学習データとする。具体的には、学習データは、ロボット状態6xを示す情報(出力データ6)を含んだ入力データと、その入力データに対応する作動データ8、すなわちロボット状態6xに対応してロボット2を作動させる作動データ8(出力データ)と、のセットを大量に含む。作動データ8は、ロボット2のバーツを駆動部119により駆動するためのデータである。
 第1学習モデル51Aを生成するための学習データの一例には、ロボット状態に対応するデータが挙げられる。ロボット状態には、1又は複数パーツの組み合わせによって示される静的な姿勢を示す姿勢状態、及び動的な動きを示す挙動状態等の状態が適用される。例えば、ロボット2の少なくとも一部のパーツによる所定の姿勢や動き等の挙動となるように駆動部119の駆動制御を行い、そのときの電気抵抗値を検出して、ロボット状態(ロボット状態値)と対応付けて学習データとすればよい。ロボット2は、人物から少なくとも一部のパーツに対して圧力等のエネルギが与えられることによって外郭部27が変形して、導電性ウレタン22の電気抵抗値が変化するので、時系列の電気抵抗値を検出して、ロボット状態(ロボット状態値)と対応付けて学習データとすることが可能となる。
 また、第2学習モデル51Bを生成するための学習データの一例には、推定されたロボット状態に対して、ロボット2が次に作動する作動状態を示すデータが挙げられる。作動状態には、ロボットが、推定されたロボット状態に応じたメッセージを報知する処理等のデータが適用される。また、作動状態には、人物からロボット2に対して与えられた圧力等のエネルギに対して応答する状態も適用可能である。例えば、ロボット2に与えられるエネルギが予め定められた閾値より大きく、この後にロボット2のバランスが崩れるようなロボット状態では、ロボット2は、バランスを維持する作動状態に推移する応答をすることが好ましい。具体的には、胴体部220に、予め定められた閾値(バランス維持可能に定めた値)より大きいエネルギでユーザが抱き着いた際のロボット状態に対する作動状態に推移すればよい。この場合、ロボット2は、バランスを維持する作動状態として、与えられたエネルギを抑制するへく、ロボット2が移動したり、エネルギが与えられた該当パーツ又は他のパーツを移動させたり変形させてバランスを維持する作動状態に移行すればよい。
 学習処理部52は、図示しないCPUを含むコンピュータを含んで構成可能であり、学習データ収集処理及び学習処理を実行する。図30に、図示しないCPUが実行する学習データ収集処理の一例を示す。学習処理部52は、ステップS100で、ロボット状態を取得し、ステップS102で、導電性ウレタン22の電気抵抗値を時系列に取得する。次のステップS104では、取得した時系列の電気抵抗値にロボット状態3を示すデータ(ロボット状態値)をラベルとして付与した物理量のセットを記憶する。次のステップS105Aでは、ロボット状態への対応を示す情報(作動状態値)を取得する。作動状態値は、ロボット2のバーツを駆動するための駆動値を示す作動データ8が適用される。次のステップS105Bでは、取得したロボット状態への対応を示す情報(作動状態値)にロボット状態3を示すデータ(ロボット状態値)をラベルとして付与して、対応セットとして記憶する。なお、ロボット状態への対応を示す情報(作動状態)が存在しない場合は、ステップS105A及びステップS105Bの処理を省略(スキップ)してもよい。学習処理部52は、これらロボット状態値、及び導電性ウレタン22の電気抵抗値のセットが予め定めた所定数、又は予め定めた所定時間に達するまで(ステップS106で、肯定判断されるまで否定判断し)、上記処理を繰り返す。
 これにより、学習処理部52は、ロボット状態3毎に、導電性ウレタン22における電気抵抗値を時系列に取得し、記憶することが可能となり、記憶されたロボット状態毎の時系列の導電性ウレタン22の電気抵抗値のセットが学習データとなる。記憶されたロボット状態毎の時系列の導電性ウレタン22の電気抵抗値のセットは、第1学習モデル51Aの学習データの一例である。また、学習処理部52は、ロボット状態3毎に、ロボット状態への対応を示す情報(作動状態値)を取得し、記憶することが可能となり、記憶されたロボット状態毎の作動状態値の対応セットも学習データとなる。記憶されたロボット状態毎の作動状態値の対応セットは、第2学習モデル51Bの学習データの一例である。
 上述したロボット状態のうち、ロボット2に人物が接触等の圧力刺激を伴って付勢した場合、人物が外郭部27に接触する付勢状態から付勢力(押圧力)が大きくなるのに従って、電気特性(電気抵抗値)が大きく変化する。従って、時系列の電気特性が接触検出用に予め定めた閾値を超えることを検出することで、少なくとも人物が外郭部27に接触した付勢状態を検出可能である。よって、少なくとも人物が外郭部27に接触した付勢状態を検出するロボット状態を推定可能に学習処理を実行するのであれば、接触した付勢状態を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとすればよい。
 従って、上述したようにロボット状態に応じてロボット2における圧力刺激が変化し、その圧力刺激の変化に対応する電気特性を時系列に取得することで、ロボット状態に時系列の電気特性を対応付けて記憶することが可能となる。当該時系列の電気特性およびロボット状態を示すロボット状態値とのセットを学習データとすることが可能となる。
 ところで、ロボット状態のうち、ロボット2に人物の付勢による圧力刺激が与えられた際に、ロボット2が所定の作動状態に移行することが好ましい場合がある。例えば、人物が外郭部27に与える付勢力(押圧力)が大きくなるのに従って、電気特性(電気抵抗値)が大きく変化する。従って、時系列の電気特性が所定の作動状態への移行用に予め定めた閾値を超えることを検出することで、所定の作動状態に移行するための人物による外郭部27への付勢状態を検出可能である。よって、所定の作動状態に移行するための付勢状態を検出するロボット状態を推定可能に学習処理を実行するのであれば、付勢状態を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとすればよい。
 図31に、ロボット2の胴体部220における電気特性の概念図を一例として示す。図31は、所定の電気特性(例えば図19に示す電気特性)を基にして、ロボット2の胴体部220に対して、異なる付勢力(ピーク値P11~P17の押圧力)でのユーザの抱き着きについて技術的に予測可能な導電性ウレタン22の電気特性の概念図である。図中、ピーク値P11、P13、P14、P17は、ユーザがロボット2の胴体部220への抱き着きに至らないロボット状態に対応する電気特性の概念である。また、ピーク値P12、P16は、胴体部220への抱き着きによるロボット状態に対応する電気特性の概念である。さらに、ピーク値P15は、ロボット2がバランスを崩す程度に胴体部220へのユーザの抱き着きによるロボット状態に対応する電気特性の概念である。よって、学習処理部52は、接触した付勢状態を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとして学習することが可能である。
 図31に概念図として示す導電性ウレタン22の時系列の電気特性(各ピーク値P11~P17を含む前後の電気特性)の各々が、ロボット2の胴体部220へのユーザの付勢力(押圧力)に応じたロボット状態における特徴パターンとして捉えることが可能である。時系列の電気特性は、胴体部220がユーザにより押圧されると、電気抵抗値が急激に上昇し、押圧が解除(ユーザが離間)されると電気抵抗値が徐々に低下するパターンが、特徴パターンとして現れると考えられる。また、ピーク値P12、P16は、ピーク値P11、P13,P14,P17と比べて大きい電気抵抗値である。このため、ピーク値P11、P13,P14,P17を超える電気抵抗値を閾値th1に定めることで、ユーザが胴体部220の外郭部27に接触した付勢状態(抱き着いた状態)を検出することも可能である。
 一方、ピーク値P15は、ピーク値P12、P16に比べてさらに大きい電気抵抗値に推移すると考えられる。このため、ピーク値P12、P16を超える電気抵抗値を閾値th2に定めることで、ロボット2がバランスを崩す程度に胴体部220にユーザが抱き着いた状態を検出することも可能である。例えば、ロボット2は、閾値th2を超えた電気抵抗値によるロボット状態になることが予測されるときに、バランスを維持する作動状態として、与えられたエネルギを抑制するべく、ロボット2が移動してバランスを維持する作動状態に移行する処理を実行してもよい。また、ロボット2は、バランスを維持する作動状態として、エネルギが与えられた該当パーツ又は他のパーツの移動及び変形によってバランスを維持する作動状態に移行する処理を実行してもよい。
 次に、上述した学習データの一例を表で示す。表9は、第1学習モデル51Aを生成するためのロボット状態に関する学習データとして、時系列の電気抵抗値データ(r)とロボット状態値とを対応付けたデータの一例である。表10から表12は、第2学習モデル51Bを生成するための作動状態に関する学習データとして、ロボット状態値と作動状態値とを対応付けたデータの一例である。
 表9に示す例は、ロボット状態を示すロボット状態値を、3つの指標を含むデータとして示す一例である。第1指標は、入力する電気特性の対象部位をパーツとして示すデータである。第2指標は、入力する電気特性に対応するロボット状態を推定状態として示すデータである。第3指標は、入力する電気特性に対応するロボット状態で示される圧力が与えられる状態の大きさ(強度)や性質などの物理量を感度として示すデータである。表1に示す例は、パーツ、推定状態、及び感度の各指標をロボット状態値として入力する電気特性に対応付けた学習データの一例である。
Figure JPOXMLDOC01-appb-T000009
 表10に示す例は、ロボット2の作動状態として、表示部211等へのデータの表示を、ロボット状態への対応とする側面の学習データの一例である。表10では、ロボット状態は、上述した3つの指標により示し、ロボット状態を推定する処理(一次処理)による推定結果として表記している。また、作動状態の欄では、作動状態の情報(作動状態値)として、電気特性から推定されたロボット状態に対して実行されるロボット2における処理を対応処理とし、対応処理で用いるデータを作動データとして示す一例である。
Figure JPOXMLDOC01-appb-T000010
 表11に示す例は、ロボット2の作動状態として、一次処理で推定されたロボット状態からさらに詳細な推定を実行することを、ロボット状態への対応とする側面の学習データの一例である。表11では、接触により推定された接触対象の平滑な状態であることを示すロボット状態から、さらにロボット2の手を駆動部119への駆動値で微小移動させたり摺動させることで、詳細な推定を実行可能にするようにロボット2を作動させることを示している。
Figure JPOXMLDOC01-appb-T000011
 表12に示す例は、ロボット2の作動状態として、一次処理で推定されたロボット状態に対して、ロボットを作動させることを、ロボット状態への対応とする側面の学習データの一例である。表12では、ロボット状態に対する対応処理としてロボット2を作動させる駆動部119の駆動値を作動データ8としてロボット2を作動させることを示している。
Figure JPOXMLDOC01-appb-T000012
 次に、学習処理部52における学習処理ついて説明する。学習処理部52では上述した学習処理が行われる(図14)。本実施形態では、上述したロボット状態を付与刺激状態に代えて学習処理が実行される。学習処理については上記と同様のため、説明を省略する。
 学習処理部52は、上記と同様に、演算器56で演算された誤差に基づいて、ノード間の結合の重みパラメータをチューニングする、生成器54の学習を行う。具体的には、生成器54における入力層540と中間層542とのノード間の結合の重みパラメータ、中間層542内のノード間の結合の重みパラメータ、および中間層542と出力層544とのノード間の結合の重みパラメータの各々を例えば勾配降下法や誤差逆伝搬法等の手法を用いて、生成器54にフィードバックする。すなわち、学習データの出力データ6を目標として、生成出力データ6Aと学習データの出力データ6との誤差を最小化するように全てのノード間の結合を最適化する。
 第1学習モデル51Aは、上述した学習処理部52の学習処理により生成される。第1学習モデル51Aは、学習処理部52による学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現される。
 なお、第2学習モデル51Bについては、上述した第1学習モデル51Aと同様のため、詳細な説明を省略する。
 図32に学習処理の流れの一例を示す。学習処理部52は、ステップS110で、ロボット状態を示す情報をラベルとした入力データ4(時系列の電気抵抗)、すなわち、ロボット状態値及び電気抵抗値のセットの学習データを取得する。学習処理部52は、ステップS112で、学習データを用いて学習モデル51を生成する。すなわち、上記のようにして多数の学習データを用いて学習した学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合を得る。そして、ステップS114で、学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現されるデータを学習モデル51に含まれる第1学習モデル51Aとして記憶する。
 次に、学習処理部52は、ステップS120で、ロボット状態値及び電気抵抗値のセットの学習データに対応する作動状態を示す作動データ8(作動状態値)が記憶されているか否かを判断する。ステップS120で肯定判断の場合はステップS122へ処理を移行し、否定判断の場合は本処理ルーチンを終了する。
 ステップS122では、学習処理部52は、ロボット状態を示す情報(ロボット状態値)をラベルとした作動状態を示す作動データ8(作動状態値)、すなわち、ロボット状態及び作動状態を示す情報の対応セットの学習データを取得する。学習処理部52は、ステップS124で、対応セットの学習データを用いて学習モデル51を生成する。すなわち、上記のようにして多数の学習データを用いて学習した学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合を得る。そして、ステップS126で、学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現されるデータを学習モデル51に含まれる第2学習モデル51Bとして記憶する。
 なお、生成器54は、時系列入力の前後関係を考慮して出力を生成する機能を有する再帰型ニューラルネットワークを用いてもよく、他の手法を用いてもよい。
 そして、ロボット制御装置1では、以上に例示した手法により生成した学習済みの生成器54(すなわち、学習結果のノード間の結合の重みパラメータの情報の集合として表現されるデータ)を学習モデル51として用いる。十分に学習した学習モデル51を用いれば、ロボット2、すなわち外郭部27に配置された導電性ウレタン22における時系列の電気抵抗値からロボット状態を同定すること、及び当該ロボット状態に対する作動状態を同定することも不可能ではない。
 なお、学習処理部52による処理は、本開示の導出部で用いる学習モデルを生成する処理の一例である。また、ロボット制御装置1は、本開示の導出部および制御部の一例である。導出部7は、本開示の導出部の一例である。駆動部119は、本開示の制御部でロボットを制御する際のロボットを作動する機能部の一例である。
 また、上述したように、導電性ウレタン22は、導電性ウレタン22の変形に関するデータを貯留するリザーバとして扱うことが可能である。すなわち、ロボット状態推定装置1Aを含むロボット制御装置1は、物理的なPRCと呼ばれるネットワークモデル(PRCN)に、導電性ウレタン22を適用することが可能である(図16)。よって、学習処理では、推定層を学習すればよい。
 上述のロボット制御装置1は、上記実施形態と同様に、コンピュータに上述の各機能を表すプログラムを実行させることにより実現可能である(図17)。
 次に、コンピュータにより実現されたロボット制御装置1におけるロボット制御処理について説明する。
 図33に、コンピュータ本体100において、実行される制御プログラム108Pによるロボット制御処理の流れの一例を示す。
 図33に示すロボット制御処理は、コンピュータ本体100が電源投入されると、CPU102により実行される。すなわち、CPU102は、制御プログラム108Pを補助記憶装置108から読み出し、RAM104に展開して処理を実行する。本実施形態では、ロボット制御処理は、ロボット2のロボット状態を推定する推定処理と、推定されたロボット状態に応じたロボット制御に関する処理とを含む。
 まず、CPU102は、ロボット2のロボット状態を推定する推定処理を実行する。具体的には、CPU102は、ステップS200で、補助記憶装置108の学習モデル108Mから学習モデル51(すなわち、第1学習モデル51A)を読み出し、RAM104に展開することで、学習モデル51(すなわち、第1学習モデル51A)を取得する。具体的には、学習モデル51に含まれる第1学習モデル51Aとして表現された重みパラメータによるノード間の結合となるネットワークモデル(図14、図16参照)を、RAM104に展開する。よって、重みパラメータによるノード間の結合が実現された第1学習モデル51Aが構築される。
 次に、CPU102は、ステップS202で、導電性ウレタン22に与えられた圧力刺激によるロボット状態の推定対象となる未知の入力データ4(電気抵抗)を、通信部114を介して時系列に取得する。
 次に、CPU102は、ステップS204で、ステップS200で取得した学習モデル51(すなわち、第1学習モデル51A)を用いて、ステップS202において取得した入力データ4(電気抵抗)に対応する出力データ6(未知のロボット状態)を推定する。
 次に、CPU102は、ステップS204で推定されたロボット状態に応じたロボット制御に関する処理を実行する。具体的には、ステップS206で、推定結果の出力データ6(ロボット状態を示すロボット状態値)を出力する出力制御を行う。この出力制御には、出力データ6を通信部114を介して外部に出力する処理、出力データ6に対応する信号をスピーカ118に出力する処理、及び出力データ6に対応するメッセージデータを表示部211に出力する処理等の少なくとも1処理が適用可能である。なお、ステップS206の処理は、後述するステップS212の処理に含めてもよい。
 次に、CPU102は、ステップS210で、学習モデル51(すなわち、第2学習モデル51B)を用いて、推定された出力データ6(未知のロボット状態)への対応を示す情報であるロボット2の作動状態を示す作動状態値(作動データ8)を導出する。例えば、作動状態値(作動データ8)は、ロボット2のバーツを駆動するための駆動値を示すデータが導出される。
 次に、CPU102は、ステップS212で、導出されたロボット状態への対応を示す情報(作動状態値)を用いて、ロボット2が作動状態に移行するように作動状態に関する処理を実行することでロボット2の制御を行って、本処理ルーチンを終了する。具体的には、CPU102は、駆動部119へ、ロボット2のバーツを駆動するための駆動値(作動データ8)を出力する制御を行う。これによって、ロボット2は、駆動部119に入力されたロボット2において該当するバーツが駆動され、ロボット2が作動状態に移行される。
 なお、図33に示す制御処理は、本開示のロボット制御方法で実行される処理の一例である。また、図33に示す制御処理をコンピュータに実行させるためのプログラムは、本開示のロボット制御プログラムの一例である。
 以上説明したように、本開示によれば、導電性ウレタン22に対して、ロボット状態3における圧力刺激に応じて変化する入力データ4(電気抵抗)から、ロボット状態を推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測することなく、未知のロボット状態を推定することが可能となる。
 また、ロボット状態への対応を示す作動状態にロボット2を作動させることが可能であり、特殊装置を用いることなく簡単な構成で、導電性ウレタン22の電気特性から推定されるロボット状態を利用して、ロボットの作動状態を制御することが可能になる。
 本実施形態に係るロボット制御装置1では、上述した学習処理によって学習された学習モデル51を用いることによって、導電性ウレタン22の電気特性を入力することで、電気特性に対応した様々なロボット状態を推定でき、そのロボット状態に対する対応としてロボット2を制御可能であることを確認した。
[第5実施形態]
 次に、本開示の第5実施形態を説明する。第5実施形態は、第1実施形態から第4実施形態の少なくとも1実施形態と同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する場合がある。
 ところで、例えば手に装着するグローブ及びロボットのハンド等のような把持部材が把持対象物を把持した際に生じる形状変化から把持対象物の滑り状態を検出する場合、把持部材に専用の検出器を設けて把持部材の形状変化から滑り状態を検出する他なかった。また、把持対象物を把持した際に生じる滑り状態を検出するのは、複雑かつ大掛かりな装置が要求されるため、実用的ではなかった。
 本開示は、特殊な検出装置を用いることなく、導電性を有する柔軟材料を備えた把持部材の電気特性を利用して、把持部材が把持対象物を把持した際の滑り状態を推定可能な推定装置、推定方法、推定プログラム、及び学習モデル生成装置を提供する。
 上記実施形態で説明したように、導電性ウレタン22の電気抵抗値から未知の付与側の状態を推定可能である。具体的には、推定装置では、付与側の状態により導電性ウレタン22に与えられた刺激に応じて変化する入力データ4(電気特性)から、人物等の付与側の状態を推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測することなく、人物等の付与側の状態を推定することが可能となる。
 本開示の推定装置としての本実施形態に係る推定装置は、上述したロボット状態推定装置1と同様の構成のため、本実施形態では、上述したロボット状態推定装置1を推定装置1と称して推定装置1の構成については詳細な説明を省略する。
<滑り状態の推定>
 本実施形態では、上述した導電性ウレタン22を手袋に適用する場合について説明する。導電性ウレタン22を手袋に適用した場合、手袋を装着した手による把持対象物を把持する動きに応じて手袋の部分的な圧縮といった圧力刺激が生じる。また、手が把持対象物を把持する把持力、把持対象物の把持の仕方、手袋の素材、把持対象物の重さ、及び把持対象物の素材等によって、把持対象物の滑りやすさを示す滑り状態は異なる。滑り状態は、導電性ウレタン22に加わる圧力の時系列変化に基づいて推定することが可能である。そのため、推定装置1によって、導電性ウレタン22の時系列の電気抵抗値から手袋を装着した手により把持対象物を把持した際の滑り状態が推定可能となる。説明の便宜上、以降では、手袋Gをはめる人物を、単に「人物」ということにする。
 ここで、滑り状態は、例えば把持部材の一例としての手袋を装着した手と把持対象物との摩擦力分布に関する状態を含む。導電性ウレタン22を含む手袋と把持対象物との摩擦力の分布が分かれば把持対象物が手袋を装着した手から滑り落ちるか否かを推定することができる。従って、滑り状態は、把持対象物が滑り落ちる度合いを含む。なお、滑り状態は、把持部材と把持対象物との滑りの度合いを示すものであれば、これらに限られるものではない。
 図34は、導電性ウレタン22を対象物2としての手袋Gに適用した一例を示す図である。すなわち、圧力刺激が与えられる対象物2は手袋Gということになる。ここで、手袋Gは、手の全てを覆うものに限定されず、例えば、指先の部分を覆わないようなものであってもよいし、又、各指に分かれている五本指型の手袋Gではなく、各指に分かれていないミトン型の手袋Gであってもよい。
 図35に示すように、人物は導電性ウレタン22を含む手袋Gを装着した手Hで把持対象物Bを把持する。なお、手袋Gに導電性ウレタン22が含まれるとは、導電性ウレタン22と手袋Gを構成する部材21(この場合、綿や化学繊維)との配置例が、図4に示したような導電性ウレタン22と部材21の配置例の何れかを満たすことをいう。
 図34に示すように、導電性ウレタン22は、手袋Gと略同一の形状であり、例えば手袋Gの内側全体に設けられる。また、手袋Gは、検出ユニット78を備える。
 図36に示すように、検出ユニット78は、導電性ウレタン22に設けられた複数の検出点75が接続された電気特性検出部76、通信部80、蓄電部82、及び発電部84を備えている。なお、検出点75の位置及び数は、圧力刺激による電気特性の変化が手袋Gの全体で検出可能なように、手袋Gのサイズ及び形状に応じて適宜設定される。
 電気特性検出部76は、検出点75から入力される電気特性を検出し、検出結果を通信部80に出力する。
 通信部80は、スマートフォン等の携帯端末装置30と通信を行い、電気特性検出部76の検出点75から得られる電気特性を表す物理量の検出結果を携帯端末装置30に送信する。通信部80は、例えば、Wi-Fi(登録商標)やBluetooth(登録商標)等の近距離無線通信により、携帯端末装置30と通信を行う。
 蓄電部82は、電気特性検出部76が電気特性を検出するための電力、及び通信部80が携帯端末装置30と通信するための電力を供給する。蓄電部82は、例えば、各種充電電池や、キャパシタ等が適用され、発電部84による発電電力により充電される。
 発電部84は、種々の周知の方法で発電し、発電電力を蓄電部82に供給することにより、蓄電部82を充電する。例えば、コイルと磁石を用いて、手袋Gの揺動に応じて磁石がコイル中を相対移動することにより発電してもよい。或いは、光、熱、圧力、振動などのエネルギーを電力に変換する発電素子等を用いて発電してもよい。
 一方、携帯端末装置30は、上述のコンピュータ本体100、通信部114、及び操作表示部116の構成を備える。
 携帯端末装置30は、推定装置1として機能し、コンピュータ本体100が、学習済みの学習モデル51を用いて、手袋Gに設けた導電性ウレタン22における電気特性から手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を推定する。
 通信部114は、手袋Gの通信部80と通信を行い、電気特性検出部76の検出点75から得られる電気特性を表す物理量の検出結果を手袋Gから取得する。通信部114は、例えば、Wi-Fi(登録商標)やBluetooth(登録商標)等の近距離無線通信により、携帯端末装置30と通信を行う。
 操作表示部116は、出力部の一例に対応し、コンピュータ本体100によって推定した、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態、例えば摩擦力分布等を表示する。これにより、把持対象物Bが滑り落ちそうか否かを把握することができる。
 携帯端末装置30における推定処理は、学習済みの学習モデル51を用いて、手袋Gを装着した手Hで把持対象物Bを把持した際の未知の滑り状態として、例えば摩擦力分布等を推定し、出力する。これにより、特殊な装置や大型の装置を用いたり手袋Gに含まれる導電性ウレタン22の変形を直接計測したりすることなく、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を同定することが可能となる。従って、導電性ウレタン22における電気特性から手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を推定するために、携帯端末装置30には、導電性ウレタン22における電気特性から手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を推定する学習モデル51が補助記憶装置108に記憶される。
 次に、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態情報を推定するための学習モデル51を生成する学習処理について説明する。
 本実施形態に係る学習モデル生成装置の学習処理部52は、図12に示した学習処理部と同様に、学習データ収集処理において、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を表す状態データ3をラベルとする導電性ウレタン22における電気抵抗値を時系列に測定した大量の入力データ4を学習データとして収集する。
 具体的には、学習データ収集処理では、手袋Gを装着した手Hで把持対象物Bを把持することにより圧力刺激が与えられた手袋Gに含まれる導電性ウレタン22の電気特性(例えば、電気抵抗値)を手袋Gに取り付けられた電気特性検出部76から時系列に取得する。次に、取得した時系列の電気特性である入力データ4に状態データ3を、滑り状態を示すラベルとして付与し、状態データ3と入力データ4とを組み合わせた複数の学習データを準備する。
 以降では、手袋Gに含まれる導電性ウレタン22の電気特性の一例として電気抵抗値を用いた説明を行うが、導電性ウレタン22の電気特性として電流値又は電圧値を用いてもよいことは前述した通りである。
 手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態情報の推定に用いる学習データとしては、例えば前述した表1に示すデータセットが用いられる。導電性ウレタン22を手袋Gに適用した場合における表1のデータセットは、手袋Gから得られた時系列の電気抵抗値データ(r)と、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を示す状態データ(R)とを対応付けたデータセットである。
 この場合、上述した状態R1~Rk・・・は、手袋Gを装着した手Hに対する滑り状態R1~Rk・・・である。滑り状態の例としては、前述したように、摩擦力分布及び把持対象物Bが滑り落ちる度合い等が挙げられる。
 学習処理部52は、このような時系列の電気抵抗値データ(r)と、手袋Gを装着した手Hに対する滑り状態を示す状態データ(R)と、が対応付けられた学習データを用いて、前述した学習モデル生成処理により学習モデル51を生成する。
 推定装置1は、導電性ウレタン22の時系列の電気抵抗値データによって表される特徴パターンと、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態との関連性を機械学習した滑り状態に関する学習モデル51を用いて図7に示した推定処理を実行することによって、導電性ウレタン22における時系列の未知の電気抵抗値データから、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を推定する。
 具体的には、図18に示す処理と同様の処理を行う、すなわち、ステップS200と同様に、推定装置1のCPU102は、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態に関する学習モデル51を取得し、ステップS202と同様に、CPU102は、滑り状態の推定対象となる手袋Gに設けられた電気特性検出部76から送信された時系列の電気抵抗値データを入力データ4として取得する。
 なお、取得する入力データ4は、推定処理の実行期間中に手袋Gからリアルタイムに得られた入力データ4であっても、推定処理を実行する前に予め得られていた入力データ4であってもよい。
 次に、ステップS204と同様に、CPU102は、取得した学習モデル51に、取得した入力データ4を入力し、学習モデル51から出力された出力データ6を取得する。CPU102は、状態データ3のうち、出力データ6に最も近い状態データ3と対応付けられている滑り状態を、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態として推定する。
 次に、ステップS206と同様に、CPU102は、推定した手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を示す滑り状態情報を出力する。例えば、摩擦力分布を操作表示部116に表示させたり、把持対象物Bが滑り落ちる度合いを操作表示部116に表示させたりする。
 このように、本実施形態に係る推定装置1によれば、導電性ウレタン22を手袋Gに適用し、手袋Gを装着した手Hで把持対象物Bを把持することにより発生する圧力刺激によって変化する導電性ウレタン22の時系列の電気特性と、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を示す滑り状態情報との関連性を予め機械学習した学習モデル51に、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態に対応した時系列の未知の電気特性を入力することで得られる出力データ6により、手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を推定する。
 したがって、本実施形態に係る推定装置1によって、例えば、上記で説明した手袋Gを装着した手Hで把持対象物Bを把持した際の滑り状態を推定することが可能となり、推定した滑り状態を操作表示部116に表示することが可能となる。これにより、把持対象物Bを適切な把持状態で把持するよう促すことができる。
 ところで、手袋Gを、自動で把持状態を調整可能な構成とし、推定した滑り状態情報に基づいて、把持状態を自動で制御するようにしてもよい。ここで、把持状態とは、把持力及び把持の仕方の少なくとも1つを含む。把持の仕方とは、どのように把持対象物を把持するかを表し、例えば把持対象物を把持する際の手袋Gの形状を含む。この場合、図37に示すように、手袋Gは、手袋Gの把持状態を調整するための駆動部79を備えた構成とする。駆動部79は、図38に示すように、通信部80を介して携帯端末装置30と通信可能である。
 携帯端末装置30のコンピュータ本体100は制御部として機能し、推定した滑り状態情報に基づいて、把持状態を制御するための制御信号を、通信部114を介して手袋Gに送信する。これにより、手袋Gでは、通信部80を介して携帯端末装置30からの制御信号を受信し、受信した制御信号に基づいて駆動部79が手袋Gの把持状態を制御する。
 図39には、手袋Gの把持状態を制御する場合の制御処理のフローチャートを示す。図39の制御処理は、図18の推定処理にステップS208が追加されたものであり、ステップS200~S206の処理は図18と同一であるので説明は省略する。
 ステップS208では、ステップS204で推定された滑り状態に基づいて、手袋Gの把持状態を制御する。例えば、推定された滑り状態が、把持対象物Bが滑り落ちる状態を示している場合は、把持対象物が滑り落ちないよう把持状態の変更を指示する制御信号を送信する。これにより、手袋Gの駆動部79は、把持対象物が滑り落ちないように手袋Gの把持状態を変更する。すなわち、例えば把持力を強くしたり、把持対象物の把持の仕方を変更したりする。一方、推定された滑り状態が、把持対象物Bが滑り落ちない状態を示している場合は、把持状態を維持することを指示する制御信号を送信する。これにより、手袋Gの把持対象物Bの把持状態を自動で制御することができる。このため、例えば手の力が弱くなっている人物が把持対象物Bを把持する動作を支援することが可能となる。
 なお、本実施形態では、把持部材が手袋Gである場合について説明したが、ロボットのハンドでもよい。例えば図40に示すように、ロボットRBのハンドHDに導電性ウレタン22を設けた構成とする。この場合、ハンドHDが把持対象物Bを把持した際の滑り状態が、把持対象物Bが滑り落ちる状態を示している場合は、把持対象物Bが滑り落ちないようにハンドHDの把持状態を変更する。一方、ハンドHDが把持対象物Bを把持した際の滑り状態が、把持対象物Bが滑り落ちない状態を示している場合は、把持対象物Bの把持状態を維持する。このように、把持対象物Bが滑り落ちないように把持状態が自動で制御されるため、把持対象物Bが滑り落ちてしまうのを防ぐことができる。
[本開示の技術に係る態様]
 上述したように、本開示の技術は、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、様々な状態を推定可能である。また、本開示の技術は、コンピュータを利用したソフトウェア構成やハードウェア構成により各種の処理が実現されることを含むので、以下の態様を含む。
 本開示の第1態様は、
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部と、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する推定部と、
 を含む推定装置である。
 第2態様は、第1態様の推定装置において、
 前記電気特性は、体積抵抗であり、
 前記ロボット状態は、ロボットへの人物の接触を含む付勢状態を含み、
 前記学習モデルは、検出された電気特性に対応する人物の付勢状態を示す情報を前記ロボット状態情報として出力するように学習される。
 第3態様は、第1態様又は第2態様の推定装置において、
 前記柔軟材料は、繊維状及び網目状の少なくとも一方の構造、又は内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料を含む。
 第4態様は、第1態様から第3態様の何れか1態様の推定装置において、
 前記柔軟材料は、前記ロボットの骨格の周囲に配置され、前記ロボットの骨格に近づくに従って、硬さが硬くなる材料で形成されるか、又は前記ロボットの骨格に近づくに従って、硬さが硬くなるように、硬さが異なる複数の材料を積層して形成される。
 第5態様は、第1態様から第4態様の何れか1態様の推定装置において、
 前記柔軟材料は、前記ロボットの複数の異なる部位に配置され、
 前記検出部は、前記複数の異なる部位の各々における複数の検出点の間の電気特性を検出し、
 前記学習モデルは、前記複数の異なる部位の各々に対するパーツ状態を示すパーツ状態情報を前記ロボット状態情報として出力するように学習される。
 第6態様は、第1態様から第5態様の何れか1態様の推定装置において、
 前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む。
 第7態様は、
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボットと、
 前記推定装置と、
 を備えたロボットシステムである。
 第8態様は、
 コンピュータが
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボットにおける前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記ロボット状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応するロボット状態を示すロボット状態情報を推定する
 推定方法である。
 第9態様は、
 コンピュータに
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボットにおける前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記ロボット状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応するロボット状態を示すロボット状態情報を推定する
 処理を実行させるための推定プログラムである。
 第10態様は、
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボットにおける前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を入力とし、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報を出力する学習モデルを生成する学習モデル生成部
 を含む学習モデル生成装置である。
 本開示によれば、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、ロボット状態を示すロボット状態情報を推定することができる、という効果を有する。
 本開示の第11態様は、
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部と、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する推定部と、
 を含む推定装置である。
 第12態様は、第11態様の推定装置において、
 前記電気特性は、体積抵抗であり、
 胴体部を前記基体とし、前記胴体部に連結される手部及び脚部の少なくとも一方を前記突出部とするロボットを前記可動体とし、
 前記柔軟材料は、前記ロボットの手部及び脚部の少なくとも一方の骨格の周囲に配置される。
 第13態様は、第11態様又は第12態様の推定装置において、
 前記柔軟材料は、前記突出部の外側に装着可能な外部部材に配置される。
 第14態様は、第11態様から第13態様の何れか1態様の推定装置において、
 前記付与刺激状態は、人体及び物体の少なくとも一方について、表面形状を示す状態、表面材質を示す状態、重さを示す状態、及び硬さを示す状態の少なくとも1状態を含む。
 第15態様は、第11態様から第14態様の何れか1態様の推定装置において、
 前記柔軟材料は、繊維状及び網目状の少なくとも一方の構造、又は内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料を含む。
 第16態様は、第15態様の推定装置において、
 前記柔軟材料は、表面から前記突出部の内部に向かうに従って硬さが硬くなる材料で形成されるか、又は表面から前記突出部の内部に向かうに従って硬さが硬くなるように硬さが異なる複数の材料を積層して形成される。
 第17態様は、第11態様から第16態様の何れか1態様の推定装置において、
 前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む。
 第18態様は、
 コンピュータが
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部から前記電気特性を取得し、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記取得された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
 推定方法である。
 第19態様は、
 コンピュータに
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部から前記電気特性を取得し、
 前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記取得された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
 処理を実行させるための推定プログラムである。
 第20態様は、
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部で検出された前記電気特性を入力とし、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報を出力する学習モデルを生成する学習モデル生成部
 を含む学習モデル生成装置である。
 本開示によれば、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、柔軟材料に圧力を与える付与刺激状態を推定することができる、という効果を有する。
 本開示の第21態様は、
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を胴体部の少なくとも一部に備えたロボットにおける前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部と、
 物体により前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えた物体を示す接触物体情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記接触物体情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する、前記柔軟材料に圧力を与えた物体を示す接触物体情報を推定する推定部と、
 を含む推定装置である。
 第22態様は、第21態様の推定装置において、
 前記電気特性は、体積抵抗であり、
 前記接触物体情報は、前記柔軟材料に圧力を与えた物体の種類又は前記物体の状態を含み、
 前記学習モデルは、検出された電気特性に対応する、前記柔軟材料に圧力を与えた物体の種類又は前記物体の状態を示す情報を前記接触物体情報として出力するように学習される。
 第23態様は、第21態様又は第22態様の推定装置において、
前記柔軟材料は、繊維状若しくは網目状の構造、又は内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料を含む。
 第24態様は、第21態様から第23態様の何れか1態様の推定装置において、
 前記柔軟材料は、前記ロボットの胴体部の骨格の周囲に配置され、前記胴体部の骨格に近づくに従って、硬さが硬くなる材料で形成されるか、又は前記胴体部の骨格に近づくに従って、硬さが硬くなるように、硬さが異なる複数の材料を積層して形成される。
 第25態様は、第21態様から第24態様の何れか1態様の推定装置において、
 前記柔軟材料は、前記ロボットの胴体部の複数の異なる部位に配置され、
 前記検出部は、前記複数の異なる部位の各々における複数の検出点の間の電気特性を検出し、
 前記学習モデルは、前記複数の異なる部位の各々に対するパーツの前記柔軟材料に圧力を与えた物体の種類又は前記物体の状態を示すパーツ接触物体情報を前記接触物体情報として出力するように学習される。
 第26態様は、第21態様から第25態様の何れか1態様の推定装置において、
 前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む。
 第27態様は、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を胴体部の外郭部の少なくとも一部に備えたロボットと、
 前記推定装置と、
 を備えたロボットシステムである。
 第28態様は、
 コンピュータが
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を胴体部の少なくとも一部に備えたロボットにおける前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
 物体により前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えた物体を示す接触物体情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記接触物体情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する、前記柔軟材料に圧力を与えた物体を示す接触物体情報を推定する
 推定方法である。
 第29態様は、
 コンピュータに
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を胴体部の少なくとも一部に備えたロボットにおける前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
 物体により前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えた物体を示す接触物体情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記接触物体情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する、前記柔軟材料に圧力を与えた物体を示す接触物体情報を推定する
 処理を実行させるための推定プログラムである。
 第30態様は、
 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を胴体部の少なくとも一部に備えたロボットにおける前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を入力とし、前記柔軟材料に圧力を与えた物体を示す接触物体情報を出力する学習モデルを生成する学習モデル生成部
 を含む学習モデル生成装置である。
 本開示によれば、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、接触物体を示す接触物体情報を推定することができる、という効果を有する。
 第31態様は、
 少なくとも一部の部位の作動状態が制御可能なロボットであって、導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えた前記ロボットにおける前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部と、
 前記柔軟材料に圧力を与えた際の前記複数の検出点間の時系列の電気特性と、前記柔軟材料に前記圧力を与えるロボット状態を示すロボット状態情報とを第1学習用データとして用いて、前記時系列の電気特性を入力した際に、前記ロボット状態情報を出力するように学習された第1学習モデル、及び前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報と、ロボット状態に対応して変化させる前記ロボットの少なくとも一部の部位の作動状態を示す作動状態情報とを第2学習用データとして用いて、前記ロボット状態情報を入力した際に、前記作動状態情報を出力するように学習されると共に、前記第1学習モデルの出力が入力されるように接続された第2学習モデルを備え、前記第1学習モデルに前記検出部で検出された時系列の電気特性が入力された際に出力される情報を、前記検出部で検出された電気特性に対応する作動状態として導出する導出部と、
 前記導出部で導出された作動状態に基づいて、前記ロボットを制御する制御部と、
 を含むロボット制御装置である。
 第32態様は、第31態様のロボット制御装置において、
 前記電気特性は、体積抵抗であり、
 前記ロボットは、複数のパーツから構成され、
 前記作動状態は、前記複数のパーツの組み合わせによって形成されるロボットの姿勢状態を含み、
 前記作動状態情報は、前記ロボットが前記姿勢状態を示すように前記複数のパーツの内の少なくとも1パーツを駆動する駆動情報を含む。
 第33態様は、第31態様又は第32態様のロボット制御装置において、
 前記柔軟材料は、繊維状及び網目状の少なくとも一方の構造、又は内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料を含む。
 第34態様は、第31態様から第33態様の何れか1態様のロボット制御装置において、
 前記柔軟材料は、前記ロボットの骨格の周囲に配置され、前記ロボットの骨格に近づくに従って、硬さが硬くなる材料で形成されるか、又は前記ロボットの骨格に近づくに従って、硬さが硬くなるように、硬さが異なる複数の材料を積層して形成される。
 第35態様は、第31態様から第34態様の何れか1態様のロボット制御装置において、
 前記第1学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む。
 第36態様は、
 少なくとも一部の部位の作動状態が制御可能なロボットであって、導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えた前記ロボットと、
 前記ロボット制御装置と、
 を備えたロボットシステムである。
 第37態様は、
 コンピュータが
 少なくとも一部の部位の作動状態が制御可能なロボットであって、導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えた前記ロボットにおける前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部から前記電気特性を取得し、
 前記柔軟材料に圧力を与えた際の前記複数の検出点間の時系列の電気特性と、前記柔軟材料に前記圧力を与えるロボット状態を示すロボット状態情報とを第1学習用データとして用いて、前記時系列の電気特性を入力した際に、前記ロボット状態情報を出力するように学習された第1学習モデル、及び前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報と、ロボット状態に対応して変化させる前記ロボットの少なくとも一部の部位の作動状態を示す作動状態情報とを第2学習用データとして用いて、前記ロボット状態情報を入力した際に、前記作動状態情報を出力するように学習されると共に、前記第1学習モデルの出力が入力されるように接続された第2学習モデルを用いて、前記第1学習モデルに前記検出部で検出された時系列の電気特性が入力された際に出力される情報を、前記検出部で検出された電気特性に対応する作動状態として導出し、
 導出された作動状態に基づいて、前記ロボットを制御する
 ロボット制御方法である。
 第38態様は、
 コンピュータに
 少なくとも一部の部位の作動状態が制御可能なロボットであって、導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えた前記ロボットにおける前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部から前記電気特性を取得し、
 前記柔軟材料に圧力を与えた際の前記複数の検出点間の時系列の電気特性と、前記柔軟材料に前記圧力を与えるロボット状態を示すロボット状態情報とを第1学習用データとして用いて、前記時系列の電気特性を入力した際に、前記ロボット状態情報を出力するように学習された第1学習モデル、及び前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報と、ロボット状態に対応して変化させる前記ロボットの少なくとも一部の部位の作動状態を示す作動状態情報とを第2学習用データとして用いて、前記ロボット状態情報を入力した際に、前記作動状態情報を出力するように学習されると共に、前記第1学習モデルの出力が入力されるように接続された第2学習モデルを用いて、前記第1学習モデルに前記検出部で検出された時系列の電気特性が入力された際に出力される情報を、前記検出部で検出された電気特性に対応する作動状態として導出し、
 導出された作動状態に基づいて、前記ロボットを制御する
 処理を実行させるためのロボット制御プログラムである。
 本開示によれば、特殊装置を用いることなく簡単な構成で、導電性を有する柔軟材料の電気特性から推定されるロボット状態を利用して、ロボットの作動状態を制御することができる、という効果を有する。
 第39態様は、導電性を有し、かつ与えられた刺激の変化に応じて電気特性が変化する柔軟材料を備えた把持部材の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部と、前記柔軟材料に刺激を与えた際の時系列の電気特性と、前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記滑り状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報を推定する推定部と、前記滑り状態情報を出力する出力部と、を含む推定装置である。
 第40態様は、第39態様の推定装置において、前記滑り状態は、前記把持部材と前記把持対象物との摩擦力分布に関する状態を含む。
 第41態様は、第39態様又は第40態様の推定装置において、前記把持部材は、手に装着するグローブ及びロボットのハンドの何れかである。
 第42態様は、第39~第41態様の何れかの態様の推定装置において、前記把持部材は、前記把持対象物を把持する際の把持状態を調整可能であり、前記滑り状態情報に基づいて、前記把持状態を制御する制御部を更に備える。
 第43態様は、第39~第42態様の何れかの態様の推定装置において、前記把持部材は、繊維状及び網目状の少なくとも一方の骨格を有する構造、又は内部に微小な空気泡が複数散在する構造のウレタン材、若しくはゴムの少なくとも一部に導電性が付与された材料を含む。
 第44態様は、第39~第43態様の何れかの態様の推定装置において、前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む。
 第45態様は、コンピュータが、導電性を有し、かつ与えられた刺激の変化に応じて電気特性が変化する柔軟材料を備えた把持部材の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出し、前記柔軟材料に刺激を与えた際の時系列の電気特性と、前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記滑り状態情報を出力するように学習された学習モデルに対して、検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報を推定し、前記滑り状態情報を出力する推定方法である。
 第46態様は、コンピュータに、導電性を有し、かつ与えられた刺激の変化に応じて電気特性が変化する柔軟材料を備えた把持部材の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出し、前記柔軟材料に刺激を与えた際の時系列の電気特性と、前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記滑り状態情報を出力するように学習された学習モデルに対して、検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報を推定し、前記滑り状態情報を出力する処理を実行させる推定プログラムである。
 第47態様は、導電性を有し、かつ与えられた刺激の変化に応じて電気特性が変化する柔軟材料を備えた把持部材の前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部からの前記電気特性と、前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報と、を取得する取得部と、前記取得部の取得結果に基づいて、前記柔軟材料に圧力を与えた際の時系列の電気特性を入力とし、前記柔軟材料に刺激を与える前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報を出力する学習モデルを生成する学習モデル生成部と、を含む学習モデル生成装置である。
 本開示によれば、特殊な検出装置を用いることなく、導電性を有する柔軟材料を備えた把持部材の電気特性を利用して、把持部材が把持対象物を把持した際の滑り状態を推定することができる、という効果を有する。
[その他の実施形態]
 本開示では、柔軟部材の一例として導電性ウレタンを適用した場合を説明したが、柔軟部材は柔軟性を有すればよく、上述した導電性ウレタンに限定されないことは勿論である。
 本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本開示の技術的範囲に含まれる。
 また、上記実施形態では、推定処理及び学習処理を、フローチャートを用いた処理によるソフトウエア構成によって実現した場合について説明したが、これに限定されるものではなく、例えば各処理をハードウェア構成により実現する形態としてもよい。また、上述した実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
 また、推定装置の一部、例えば学習モデル等のニューラルネットワークを、ハードウェア回路として構成してもよい。
 さらに、上述した実施形態における処理をコンピュータにより実行させるために、上述した処理をコンピュータで処理可能なコードで記述したプログラムを光ディスク等の記憶媒体等に記憶して流通するようにしてもよい。
 上述した実施形態では、汎用的なプロセッサの一例としてCPUを用いて説明したが、上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
 また、上述した実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、複数のプロセッサが連携して成すものであってもよく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。
 本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (20)

  1.  導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボット、又は把持部材、若しくは前記柔軟材料を少なくとも一部を覆って配置するかまたは覆うことが可能に配置した可動体の基体から屈曲可能な突出部における前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部と、
     前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与える物体を示す接触物体情報、若しくは前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記ロボット状態情報、又は前記接触物体情報、若しくは前記滑り状態情報、或いは、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応するロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与えた物体を示す接触物体情報、若しくは、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
    推定部と、
     を含む推定装置。
  2.  前記電気特性は、体積抵抗であり、
     前記ロボット状態は、ロボットへの人物の接触を含む付勢状態を含み、
     前記学習モデルは、検出された電気特性に対応する人物の付勢状態を示す情報を前記ロボット状態情報として出力するように学習される
     請求項1に記載の推定装置。
  3.  前記柔軟材料は、繊維状及び網目状の少なくとも一方の構造、又は内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料を含む
     請求項1又は請求項2に記載の推定装置。
  4.  前記柔軟材料は、前記ロボットの骨格の周囲に配置され、前記ロボットの骨格に近づくに従って、硬さが硬くなる材料で形成されるか、又は前記ロボットの骨格に近づくに従って、硬さが硬くなるように、硬さが異なる複数の材料を積層して形成される
     請求項1から請求項3の何れか1項に記載の推定装置。
  5.  前記柔軟材料は、前記ロボットの複数の異なる部位に配置され、
     前記検出部は、前記複数の異なる部位の各々における複数の検出点の間の電気特性を検出し、
     前記学習モデルは、前記複数の異なる部位の各々に対するパーツ状態を示すパーツ状態情報を前記ロボット状態情報として出力するように学習される
     請求項1から請求項4の何れか1項に記載の推定装置。
  6.  前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む
     請求項1から請求項5の何れか1項に記載の推定装置。
  7.  前記電気特性は、体積抵抗であり、
     胴体部を前記基体とし、前記胴体部に連結される手部及び脚部の少なくとも一方を前記突出部とするロボットを前記可動体とし、
     前記柔軟材料は、前記ロボットの手部及び脚部の少なくとも一方の骨格の周囲に配置される
     請求項1に記載の推定装置。
  8.  前記柔軟材料は、前記突出部の外側に装着可能な外部部材に配置される
     請求項7に記載の推定装置。
  9.  前記付与刺激状態は、人体及び物体の少なくとも一方について、表面形状を示す状態、表面材質を示す状態、重さを示す状態、及び硬さを示す状態の少なくとも1状態を含む
     請求項7又は請求項8に記載の推定装置。
  10.  前記柔軟材料は、表面から前記突出部の内部に向かうに従って硬さが硬くなる材料で形成されるか、又は表面から前記突出部の内部に向かうに従って硬さが硬くなるように硬さが異なる複数の材料を積層して形成される
     請求項7から請求項9の何れか1項に記載の推定装置。
  11.  前記電気特性は、体積抵抗であり、
     前記接触物体情報は、前記柔軟材料に圧力を与えた物体の種類又は前記物体の状態を含み、
     前記学習モデルは、検出された電気特性に対応する、前記柔軟材料に圧力を与えた物体の種類又は前記物体の状態を示す情報を前記接触物体情報として出力するように学習される
     請求項1に記載の推定装置。
  12.  前記柔軟材料は、前記ロボットの胴体部の骨格の周囲に配置され、前記胴体部の骨格に近づくに従って、硬さが硬くなる材料で形成されるか、又は前記胴体部の骨格に近づくに従って、硬さが硬くなるように、硬さが異なる複数の材料を積層して形成される
     請求項11に記載の推定装置。
  13.  前記柔軟材料は、前記ロボットの胴体部の複数の異なる部位に配置され、
     前記検出部は、前記複数の異なる部位の各々における複数の検出点の間の電気特性を検出し、
     前記学習モデルは、前記複数の異なる部位の各々に対するパーツの前記柔軟材料に圧力を与えた物体の種類又は前記物体の状態を示すパーツ接触物体情報を前記接触物体情報として出力するように学習される
     請求項11又は12に記載の推定装置。
  14.  前記推定部は、前記学習モデルとして、前記柔軟材料に圧力を与えた際の前記複数の検出点間の時系列の電気特性と、前記柔軟材料に前記圧力を与えるロボット状態を示すロボット状態情報とを第1学習用データとして用いて、前記時系列の電気特性を入力した際に、前記ロボット状態情報を出力するように学習された第1学習モデル、及び前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報と、ロボット状態に対応して変化させる前記ロボットの少なくとも一部の部位の作動状態を示す作動状態情報とを第2学習用データとして用いて、前記ロボット状態情報を入力した際に、前記作動状態情報を出力するように学習されると共に、前記第1学習モデルの出力が入力されるように接続された第2学習モデルを備え、前記第1学習モデルに前記検出部で検出された時系列の電気特性が入力された際に出力される情報を、前記検出部で検出された電気特性に対応する作動状態として導出する導出部を含み、
     前記導出部で導出された作動状態に基づいて、前記ロボットを制御する制御部をさらに備える
     請求項1に記載の推定装置。
  15.  前記電気特性は、体積抵抗であり、
     前記ロボットは、複数のパーツから構成され、
     前記作動状態は、前記複数のパーツの組み合わせによって形成されるロボットの姿勢状態を含み、
     前記作動状態情報は、前記ロボットが前記姿勢状態を示すように前記複数のパーツの内の少なくとも1パーツを駆動する駆動情報を含む
     請求項14に記載の推定装置。
  16.  前記滑り状態は、前記把持部材と前記把持対象物との摩擦力分布に関する状態を含む
     請求項1に記載の推定装置。
  17.  前記把持部材は、手に装着するグローブ及びロボットのハンドの何れかである
     請求項16に記載の推定装置。
  18.  前記把持部材は、前記把持対象物を把持する際の把持状態を調整可能であり、
     前記滑り状態情報に基づいて、前記把持状態を制御する制御部
     を更に備えた請求項16又は請求項17に記載の推定装置。
  19.  コンピュータが
     導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボット、又は把持部材、若しくは前記柔軟材料を少なくとも一部を覆って配置するかまたは覆うことが可能に配置した可動体の基体から屈曲可能な突出部における前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
     前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与える物体を示す接触物体情報、若しくは前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記ロボット状態情報、又は前記接触物体情報、若しくは前記滑り状態情報、或いは、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応するロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与えた物体を示す接触物体情報、若しくは、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
     推定方法。
  20.  コンピュータに
     導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料を外郭部の少なくとも一部に備えたロボット、又は把持部材、若しくは前記柔軟材料を少なくとも一部を覆って配置するかまたは覆うことが可能に配置した可動体の基体から屈曲可能な突出部における前記柔軟材料に予め定められた複数の検出点の間の電気特性を検出する検出部から前記電気特性を取得し、
     前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与えるロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与える物体を示す接触物体情報、若しくは前記柔軟材料に刺激を与える前記把持部材により把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記ロボット状態情報、又は前記接触物体情報、若しくは前記滑り状態情報、或いは、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応するロボット状態を示すロボット状態情報、又は前記柔軟材料に圧力を与えた物体を示す接触物体情報、若しくは、入力した時系列の電気特性に対応する前記把持部材により前記把持対象物を把持した際の滑り状態を示す滑り状態情報、或いは、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
     処理を実行させるための推定プログラム。
PCT/JP2022/027486 2021-07-26 2022-07-12 推定装置、推定方法、及び推定プログラム WO2023008190A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22849254.2A EP4378639A1 (en) 2021-07-26 2022-07-12 Estimation device, estimation method, and estimation program
CN202280047155.3A CN117597218A (zh) 2021-07-26 2022-07-12 估计装置、估计方法以及估计程序

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2021-121943 2021-07-26
JP2021121941A JP2023017591A (ja) 2021-07-26 2021-07-26 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
JP2021-121941 2021-07-26
JP2021-121942 2021-07-26
JP2021121942A JP2023017592A (ja) 2021-07-26 2021-07-26 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
JP2021121928A JP2023017579A (ja) 2021-07-26 2021-07-26 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
JP2021-121928 2021-07-26
JP2021121943A JP2023017593A (ja) 2021-07-26 2021-07-26 ロボット制御装置、ロボット制御方法、ロボット制御プログラム、及びロボットシステム
JP2021202896A JP2023088197A (ja) 2021-12-14 2021-12-14 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
JP2021-202896 2021-12-14

Publications (1)

Publication Number Publication Date
WO2023008190A1 true WO2023008190A1 (ja) 2023-02-02

Family

ID=85086741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/027486 WO2023008190A1 (ja) 2021-07-26 2022-07-12 推定装置、推定方法、及び推定プログラム

Country Status (2)

Country Link
EP (1) EP4378639A1 (ja)
WO (1) WO2023008190A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5240378B2 (ja) 1971-08-03 1977-10-12
JP2005140503A (ja) * 2003-11-04 2005-06-02 Honda Motor Co Ltd 車両用ホイールおよび車両の負荷監視装置
WO2008032661A1 (fr) * 2006-09-12 2008-03-20 National Institute Of Advanced Industrial Science And Technology Procédé de mesure de valeur de distribution et système de mesure utilisant un capteur de valeur de distribution pour celui-ci
JP2008128940A (ja) * 2006-11-24 2008-06-05 Kobe Univ 触覚センサ
JP2011056619A (ja) 2009-09-10 2011-03-24 Honda Motor Co Ltd 多指ハンド装置
JP2013101096A (ja) 2011-10-11 2013-05-23 Touchence Inc 柔軟触覚センサ
WO2017029905A1 (ja) 2015-08-19 2017-02-23 国立研究開発法人産業技術総合研究所 単一カメラによる物体の変位と振動の測定方法、装置およびそのプログラム
US20210122039A1 (en) * 2019-10-25 2021-04-29 Dexterity, Inc. Detecting slippage from robotic grasp
JP2021099552A (ja) * 2019-12-19 2021-07-01 株式会社ブリヂストン 推定装置、推定方法、プログラム、及び学習モデル生成装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5240378B2 (ja) 1971-08-03 1977-10-12
JP2005140503A (ja) * 2003-11-04 2005-06-02 Honda Motor Co Ltd 車両用ホイールおよび車両の負荷監視装置
WO2008032661A1 (fr) * 2006-09-12 2008-03-20 National Institute Of Advanced Industrial Science And Technology Procédé de mesure de valeur de distribution et système de mesure utilisant un capteur de valeur de distribution pour celui-ci
JP2008128940A (ja) * 2006-11-24 2008-06-05 Kobe Univ 触覚センサ
JP2011056619A (ja) 2009-09-10 2011-03-24 Honda Motor Co Ltd 多指ハンド装置
JP2013101096A (ja) 2011-10-11 2013-05-23 Touchence Inc 柔軟触覚センサ
WO2017029905A1 (ja) 2015-08-19 2017-02-23 国立研究開発法人産業技術総合研究所 単一カメラによる物体の変位と振動の測定方法、装置およびそのプログラム
US20210122039A1 (en) * 2019-10-25 2021-04-29 Dexterity, Inc. Detecting slippage from robotic grasp
JP2021099552A (ja) * 2019-12-19 2021-07-01 株式会社ブリヂストン 推定装置、推定方法、プログラム、及び学習モデル生成装置

Also Published As

Publication number Publication date
EP4378639A1 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
Wang et al. Toward whole-hand kinesthetic feedback: A survey of force feedback gloves
Khurshid et al. Effects of grip-force, contact, and acceleration feedback on a teleoperated pick-and-place task
Chinello et al. A three revolute-revolute-spherical wearable fingertip cutaneous device for stiffness rendering
US6059506A (en) Force feedback and texture simulating interface device
Shorthose et al. Design of a 3D-printed soft robotic hand with integrated distributed tactile sensing
Li et al. Intuitive control of a robotic arm and hand system with pneumatic haptic feedback
EP0513199B1 (en) A force feedback and texture simulating interface device
Zubrycki et al. Novel haptic device using jamming principle for providing kinaesthetic feedback in glove-based control interface
Jadhav et al. Soft robotic glove for kinesthetic haptic feedback in virtual reality environments
JP2019121397A (ja) 仮想物体に接触すること及び仮想物体を把持することに関連する触覚効果を提供するためのシステム及び方法
Su et al. Robust grasping for an under-actuated anthropomorphic hand under object position uncertainty
Zubrycki et al. Novel haptic glove-based interface using jamming principle
Park et al. WeHAPTIC: a wearable haptic interface for accurate position tracking and interactive force control
Li et al. Design and performance characterization of a soft robot hand with fingertip haptic feedback for teleoperation
WO2023008190A1 (ja) 推定装置、推定方法、及び推定プログラム
Luo Intelligent Textiles for Physical Human-Environment Interactions
Ha et al. Use of deep learning for position estimation and control of soft glove
JP2023017592A (ja) 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
Suwanratchatamanee et al. Balance control of robot and human-robot interaction with haptic sensing foots
Shanmugam et al. A Comprehensive Review of Haptic Gloves: Advances, Challenges, and Future Directions
JP2023017580A (ja) 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
JP2023017593A (ja) ロボット制御装置、ロボット制御方法、ロボット制御プログラム、及びロボットシステム
JP2023017591A (ja) 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
JP2023017579A (ja) 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
CN117597218A (zh) 估计装置、估计方法以及估计程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22849254

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18570640

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280047155.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022849254

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022849254

Country of ref document: EP

Effective date: 20240226