WO2019201873A1 - Verfahren zur erkennung einer intention eines partners gegenüber einer mehrgliedrigen aktuierten kinematik - Google Patents

Verfahren zur erkennung einer intention eines partners gegenüber einer mehrgliedrigen aktuierten kinematik Download PDF

Info

Publication number
WO2019201873A1
WO2019201873A1 PCT/EP2019/059704 EP2019059704W WO2019201873A1 WO 2019201873 A1 WO2019201873 A1 WO 2019201873A1 EP 2019059704 W EP2019059704 W EP 2019059704W WO 2019201873 A1 WO2019201873 A1 WO 2019201873A1
Authority
WO
WIPO (PCT)
Prior art keywords
kinematics
acceleration
intention
classifying
partner
Prior art date
Application number
PCT/EP2019/059704
Other languages
English (en)
French (fr)
Inventor
Nico ANGERSTEIN
Matthias Dagen
Jens Kotlarski
Julian OELTJEN
Tobias Ortmaier
Andreas Schoob
Original Assignee
Yuanda Robotics Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuanda Robotics Gmbh filed Critical Yuanda Robotics Gmbh
Publication of WO2019201873A1 publication Critical patent/WO2019201873A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40408—Intention learning

Definitions

  • the present invention relates to a method for detecting an intention of a partner to a multi-unit actuated kinematics according to claim 1, a Computerprogrammpro product with a program code for carrying out such a method according to the patent claim 14 and a multi-unit actuated kinematics for carrying out such a method according to the patent claim 15th
  • articulated robots For a long time, robots have been used as technical devices to relieve people of mechanical work. Robots are now used in many different areas. Thus, in particular articulated robots are widely used in industry to take particular tasks in assembly, manufacturing, logistics and packaging and order picking over.
  • An articulated robot is usually a 6-axis machine with a cubic working space, which is why articulated robots can be used very flexibly.
  • the tool which serves as an end effector, can be changed.
  • the programming of the articulated robotic arm has to be adapted to the application. By itself, however, the articulated robot can be used unchanged, which can make it very adaptable.
  • the robots and in particular the articulated robots have evolved, e.g. to work directly with people during assembly.
  • the term of the collaborative robot or Cobot (from collaborative robot) has developed. It can be applied both to mechanical boundaries such as Lattice walls are dispensed with, which were previously common to separate the working space of the robot from the environment in which people can safely stay, as well as on light barriers, light grids and the like, which recognize at least Betre ten of the working space of the robot by a person can. Rather, people can move freely towards the robot.
  • a robot In order to avoid a collision with a person or several persons, it may also be helpful if a robot already recognizes an imminent collision in advance and, for example, detects it. avoid by Auswei chen. In this regard, it can also be said that a robot can recognize an intention or an intention of a person and react to it.
  • a trained classifier for use with a navigation algorithm for use with mobile robots is known to calculate safe and efficient trajectories.
  • An offline learning process is used to train a classifier for the navigation algorithm or for the motion planner.
  • the classifier functions in humans in a space shared with the robot can accurately discern the intentions of humans to prevent the robot from departing from its current trajectory.
  • the trained classifier may be regression based on past trajectories of e.g. People are used to predict where people will move in the future and whether people are likely to pose obstacles to the mobile robot.
  • the planning algorithm or motion planner generates trajectories based on predictions of human behavior that enable the mobile robot to navigate between human beings more securely and efficiently.
  • the classifier is realized in such a way that a human path of movement is sensory detected and its further course predicted. Taking into account the mobile robot's own current motion path, the classifier outputs a value representing the probability that the person following their predicted motion path will block the mobile robot's motion path. Based on this value of the classifier output, the motion planner calculates a safer and more efficient motion path for the mobile robot.
  • DE 10 2007 062 473 A1 relates to a method for actuating a door or flap, in particular a vehicle door, with at least two kinematic degrees of freedom, the at least one actuator for motor support an opening and / or closing movement and or or a Ent- or Locking process is assigned. For controlling the at least one actuator, the signals of at least one sensor device are evaluated.
  • DE 10 2007 062 473 A1 also relates to a corresponding door, in particular a vehicle door.
  • the sensors include an optical detection device in the form of a camera with a downstream image evaluation device and a mechanical sensor and / or a pressure-sensitive sensor. Flier barn a contact situation between a person and the door can be detected, if necessary via the pressure-sensitive sensor, also how much a user pulls or pushes on the door. Also, by the camera and / or by e.g. Inductive sensors are detected detection of an impending interaction between the user and door. Other sensors for detecting the state of motion of the door due to position, speed and / or acceleration values may be provided.
  • the user's assisting servo forces of the actuator can be adjusted such that the characteristic of the operation of the door is largely retained, even when changing the physical parameters.
  • the goal here is to keep the characteristic of the door largely constant for the user.
  • Various of these sensor values can also be used to who, to recognize an intention of the user. Intention recognition can then be taken into account during path planning, preferably in combination with collision avoidance.
  • Automation systems and robots can work together and in particular articulated-arm robots are referred to as drive systems or as multi-membered actuated Kinemati ken.
  • An object of the present invention is to provide a method for detecting an intention of a part ner over a multi-membered actuated kinematics.
  • This method should AS POSSIBLE easily, inexpensively and / or can be performed quickly.
  • this method should be applicable to a multi-membered actuated kinematics with more than two degrees of freedom. In particular, this is to be made possible for robots and especially for articulated robots.
  • the operation, the control and / or the programming of a multi-unit actuated kinematics, especially a robot should be simplified.
  • a multi-unit actuated kinematics can be any mechanical design that can perform movements in the room by means of appropriate drives.
  • such a kinematics has at least two degrees of freedom, but preferably more than two degrees of freedom and more preferably six degrees of freedom.
  • One degree of freedom is the number of independent movement possibilities of a system.
  • Flierzu the kinematics may have several members which can be moved linearly and / or rotationally by means of drives against each other.
  • drives hydraulic cal, pneumatic and electric drives can be used, wherein electric drives, for example.
  • the members may be rigid bodies, which may be interconnected with each other movable Lich; This can preferably be implemented via joints and in particular via hinges.
  • the kinematics can be a robot and very particularly preferably an articulated-arm robot, since such kinematics can be used in a variety of ways and flexibly.
  • other devices of automation technology come in costume.
  • the spatial position of a single member of the kinematics as well as an end effector of Kinema tik can be referred to as pose, which represents the combination of position and orientation of the member or the end effector.
  • kinematics - can be done.
  • these can be persons as living beings whose safety is observed by the kinematics and must be guaranteed and with the kinematics and / or the kinematics cooperate and / or program.
  • the articles may in particular be workpieces which are to be processed, handled and the like by the kinematics, as well as other kinematics with which the kinematics should cooperate.
  • An intention is an intention, a project, a goal and the like of an interaction of the partner on the kinematics or an interaction of the partner with the kinematics or a contact of the partner with the kinematics to understand, for.
  • a movement which may be in particular a part of a task and in particular a repetitive task.
  • the way in which the partner contacts the kinematics to affect the motion state of the kinematics can be understood as the intention, intention, and the like of the partner.
  • the intention, intention and the like of the partner can also be regarded as its conscious action in order to influence or change the state of motion of the kinematics.
  • this action or action of the partner is a change in thehovszu state of kinematics, which, as will be explained below, sensory detected, classified and thus can be identified as the intention, intent and the like of the partner.
  • the intention of an article may e.g. as a special kinematics special be programmed movement through which a, in particular desirable or undesirable, contact with the kinematics can arise.
  • the task can be a single step of a higher-level, more complex application.
  • the method has at least the steps:
  • tion values at least one member of the kinematics
  • the detection of the plurality of acceleration values of a link of the kinematics can take place by means of acceleration sensors.
  • the acceleration sensors can preferably be implemented capacitively or piezoe lektrisch working, since these measuring principles are tested and can be converted cost-effective. It can be used for each acceleration direction to be detected in each case a uniaxial mes transmit acceleration sensor.
  • a single multiaxial measurement of the acceleration sensor can be used, which can detect several acceleration values in different directions. This can simplify the measurement since only one sensor is used. and must be read out.
  • the individual direction components of the measurement such as in the three Cartesian Jardin lines are provided directly from the sensor, so that can be dispensed with a subsequent combining and converting three individually detected acceleration values. This can simplify and speed up the evaluation and improve the quality of the acquired acceleration values.
  • the acceleration values are preferably recorded in all three spatial directions of the Cartesian coordinate system.
  • classification can be carried out by means of mathematical methods or by means of mathematical models which are able to make a division or classification into different categories from data obtained, such as the multiple acceleration values, which in this case correspond to different intentions of the partner of the kinematics , As a result, Intentionserken tion can be implemented with high quality and reliability. Further advantages will be described below.
  • Classification may be performed by a classifier, which may preferably be implemented as a software function.
  • a "rough" classification between undesired and desired contact can first be made. These two types of contact can each be differentiated more precisely by applying the classification in a correspondingly differentiating manner.Furthermore, the classification result can be used by means of a superordinate classifying more complex processes and processes Assign actions to the classification result, as will be described below.
  • the present invention is based on the finding that acceleration sensors are comparatively inexpensive as compared, for example, compared to Achsmomentensensoren.
  • the data on which the subsequent classification takes place can be provided comparatively inexpensively.
  • This can favor the implementation of the method according to the invention and promote the dissemination of the use of the method according to the invention, since the sensor values required for this purpose can be provided comparatively inexpensively.
  • acceleration sensors it is also advantageous when using acceleration sensors that they can be implemented comparatively compact, for example as a microchip, so that such acceleration sensors, whether uniaxial or multiaxial measuring, combined with electronics can be arranged, which are available anyway for operating electric drives for actuation of the limbs or the joints, for example.
  • acceleration sensors can be accommodated on the motor controller board of an electrical drive or a drive module of a link, so that the acceleration can be detected easily, compactly and / or inexpensively and relatively close to the axis of the joint.
  • the result of recognizing an intention of the partner can be used in many ways.
  • a representation of a graphic human-machine interface of the kinematics can be adapted to the recognized intention by displaying information there and / or by offering input options that take into account the recognized intention.
  • Help texts and / or training materials, in particular videos, may also be offered, taking into account the intended intention.
  • a corresponding application can be proposed which matches the recognized intention.
  • a suitable parameter set for the control or a suitable control algorithm for the kinematics can be selected.
  • a plurality of acceleration values are detected per link of a plurality of links, preferably all links, of the kinematics.
  • the number of information can be increased, so that the classification more Sensororda th can be made available, under whose consideration the Intentionserkennung the partner can be done by means of classification. This can improve the quality of the classification.
  • At least the further step takes place after the detection:
  • an acceleration vector of the limb preferably an acceleration vector per limb
  • the classification taking place taking into account the acceleration vector of the limb, preferably the acceleration vectors of the limbs.
  • the detected acceleration values By converting the detected acceleration values into an acceleration vector, they can be displayed simpler and more compactly, which can simplify and, in particular, speed up the subsequent processing, for example by classifying. This can have an advantageous effect on the performance of the process as a whole. Also, the information can be in this way Working space of the kinematics are displayed, which can be illustrative both for a user and for the classification and thus easier to process. This can improve the quality of the classification.
  • the acceleration vector is preferably determined in local coordinates of the ent speaking member of the kinematics. In particular, the acceleration vector can be determined at the location of a corresponding acceleration sensor.
  • acceleration values of a limb or individual limbs can be converted into an acceleration vector in each case.
  • all available acceleration values are respectively converted into acceleration vectors in order to be able to use the advantages described above per link and thus as completely as possible.
  • acceleration vectors from a local coordinate system of the link to a kinematics coordinate system.
  • the acceleration vector and, in particular, the acceleration vectors can each be transformed into a coordinate system, which can be helpful for understanding a movement of a multipartite actuated kinematics.
  • the coordinate system of cinema can also be referred to as a reference coordinate system or as a reference coordinate system. This can make it easier for both a user and the step of classifying to draw conclusions regarding the movement of the kinematics from the transformed acceleration vector or from the transformed acceleration vectors. This can thus favor classifying in order to recognize an intention of a partner in relation to kinematics.
  • At least the further step takes place after the detection:
  • the classification taking into account at least one feature, preferably several Fea tures occurs.
  • feature is to be understood as a feature in the sense of feature engineering. ⁇ br /> ⁇ br/> ⁇ br/> ⁇ br/> Feature engineering is the process of using domain knowledge to identify features or characteristics from the features. to make machine learning algorithms work better and / or faster. The feature engineering is fundamental to the application of machine learning. Manual feature engineering can be avoided through automated feature learning. The features can be created and processed in the time domain and / or in the frequency domain.
  • preprocessing of the data can take place in order to reduce the amount of data due to the assignment of the data to features, since the subsequent steps such as e.g. classifying only the features must be processed instead of the underlying larger amounts of data. This can speed up the classification and thus make the whole process faster. Also, the quality of the classification can be improved. This can preferably be done automatically by automated feature learning.
  • the classifying is arranged to distinguish between an undesired contact and a desired contact as the intention of the partner.
  • Undesirable contact is a collision of the kinematics with the partner, e.g. to understand with a person or with an object.
  • the partner can cross the movement of the kinematics with his own movement or get in the way of it statically.
  • a desired contact is e.g. to understand a contact with a person, which e.g. the user input serves as e.g. guiding the kinematics along a path to its programming.
  • a desired contact with the environment may take place by contacting an object with the kinematics and being recognized thereby, e.g. to grab the object.
  • this aspect of the present invention is also encompassed, since a contact can only be recognized as desired and thereby excluded as undesirable. This can also apply to several different desired contacts. This can facilitate the implementation of this aspect of the present invention.
  • the further step is: In the case of an undesired contact, putting the kinematics in a safe state in accordance with the identified intention, and / or
  • a safe state can be achieved, for example, by switching off the drives, for example by switching them off. be disconnected from the power supply.
  • an actuation of brakes of the drives can be made to the movements as quickly as possible and as completely as possible to stop the.
  • a safe state can also be achieved by the kinematics performs a BeWe movement, which leads them sufficiently far and preferably as quickly as possible away from the partner, without causing further collisions or other disadvantages. This may depend on the cinema, the work environment and the application.
  • the kinematics can thereby adequately respond to a detected unwanted contact.
  • at least the fundamental occurrence of an undesired contact can be detected; This can also be done by the fact that a recognized contact can not be classified as desirable and thus may be undesirable in reverse, as previously described.
  • a recognized contact can not be classified as desirable and thus may be undesirable in reverse, as previously described.
  • this step differentiated between different undesirable contacts and, if necessary, each case reacts differently, while in the preceding step, preferably only an unwanted desired contact can be recognized per se, without differentiating more closely.
  • a reaction occurs depending on the perceived intention of the partner.
  • the partner eg in the form of a person, that the person grasps the kinematics on a limb close to the end effector and moves the end effector on a path or pulls it from a starting point to an end point of a movement path by dragging or pushing.
  • Flier can be done a simple, fast and intuitive way of programming the kinematics.
  • a member of the kinematics can be grasped and held by a person to interrupt or terminate a movement of Kine matik and thereby introduce, for example, a new pose in the path planning of Ki nematik.
  • a kinematic from standstill can be pushed by a person as an instruction to initialize a movement of the kinematics.
  • a kinematic can be slowed or accelerated by a person as programming in the movement by the person encompasses a link in the kinematics and moves slower or pushes a member of the kinematics along the path of movement.
  • sliding of the kinematics to the side may also be performed by a person as programming to add a dodge as a short motion segment to a movement.
  • the kinematics can recognize unambiguous task patterns as well as simple parts of a task from the intention of a person. This can be beispielswei se easier movements such as screws, gluing, shaking, tapping, taking, laying, pulling, pressing and the like. These movements can be traversed by the kinematics by leadership of the person in the context of a desired contact and thereby recognized and thereby trained.
  • To respond to an unwanted contact is basically different than to a desired contact.
  • At least a portion of the procedural steps is repeated at least once, preferably several times, the classification taking into account a plurality of temporally offset, preferably temporally immediately successive, acceleration values, preferably acceleration vectors, particularly preferably features.
  • a temporal course of the data on which the classification is based is considered.
  • at least two temporally offset acceleration values or the like are required as data.
  • This data may have been acquired immediately in succession, which may be advantageous for recognizing an intention, since this data can be attributed to the same act of the partner.
  • data can also be used which can have a greater temporal offset from one another, so that the data quantities can be reduced at a high data acquisition rate and yet the data can be assigned to the same act of the partner, which is usually significantly slower than the sensory data acquisition.
  • a plurality, more preferably a plurality, of such data are used, and the quality of the classifying can basically be increased with the amount of data used.
  • the recognition of clear task patterns as well as simple parts of a task from the intention of a partner can be promoted thereby.
  • the rate of data acquisition can preferably be reduced so much that the characteristics of the intentions of the partner to be recognized can be recognized from as few data as possible.
  • the further step is:
  • a desired intention of the partner can be recognized.
  • This can also include the recognition of unique task patterns as well as simple parts of a task from the intention of a partner. By using a temporal history of the data underlying the classification, this can be favored.
  • classifying may be limited to recognizing an intention of a partner that may result directly from this data.
  • this aspect of the present invention goes a step further, in that a recognized intent can be recognized by the superordinate classifying as a part of a more extensive course of action or movement.
  • a recognized intent can be recognized by the superordinate classifying as a part of a more extensive course of action or movement.
  • the overall task per se can be recognized as a complete application scenario. For example, these may include pick-and-place tasks, paint application, spot welding job, and administrative tasks such as paint job. the calibration of a tool or a coordinate system.
  • the kinematic can be guided by a person through a desired contact and executed here by a start of an object and the gripping of the object.
  • This movement and grasping can be recognized by classification as such from kinematics as the intention of the person.
  • This can be done by the parent classification, which can be implemented as well as the "simple" classification by appropriate mathematical methods or models, an assignment of this action of movement and gripping to a prior com plexeren pick-and-place task, which thereby
  • a person can start such a complex task by performing sufficient sub-steps by guiding the kinematics, so that the kinematics hereby recognize the more complex task as the intention of the person and then continue to do it automatically
  • This can provide an intuitive way to give such a kinematic an instruction to carry out a known more complex task.
  • the derivation of at least one feature additionally takes into account at least one detected position value of at least one member of the kinematics, preferably the detected position values per member of several members of the kinematics.
  • a position value of a limb depending on the direction of movement of the limb, either a position indication in a translatory direction in the case of a linearly movable limb or a position indication in a rotational direction, such as, for example, can be given.
  • an angle information in a rotationally movable member be understood. This applies accordingly to the speed values.
  • a relative position or speed between the respective links is respectively detected or determined.
  • position values can each be detected by means of corresponding sensors. This can be facilitated by the fact that the poses of the links of the kinematics are usually known anyway, since the lengths or angles of the joints are usually already detected in order to measure the poses of the links and e.g. In the case of a robot as a kinematics, this determines the position and orientation of an end effector. Thus, existing data can be used both with regard to the position values of the links of the kinematics and the position values of the end effector of the kinematics, which need not be additionally recorded. In particular, no additional sensors are required for this purpose.
  • a speed value can preferably be calculated by time differentiation from sensor-detected position values, so that additional information can be made available without having to use additional sensors such as speed sensors for this purpose. This also applies to the velocity values of the end effector of the kinematics. As a result, the effort to obtain this additional information can be kept low and further costs avoided the.
  • speed sensors which preferably already exist. If additional speed sensors are to be used, these costs and the corresponding cabling and sensor data acquisition, processing and evaluation can be justified by the fact that additional and independent data can be obtained which can be used for the classification. This can improve the quality of the classification.
  • motor currents in addition to the data previously described, which are related to a movement, can introduce additional aspects into the classification resulting from the electrical drives of the links. This allows a different type of information to be used in addition to the classification, which may further improve the quality of the results of the classification. This can usually be done without additional sensors, since the motor currents of the drives are detected by the controllers anyway and thus can be provided without additional effort and without additional costs.
  • the classification takes place taking into account a previous learning, wherein at least a part of the method steps were carried out while learning the intention of the partner during learning, and / or where simulatively generated during training, preferably taking into account a kinematics model and / or a dynamic model of kinematics, are used.
  • Training is to be understood as a training of the mathematical methods or models on which the classification is based.
  • various undesired and desired contacts of the kinematics can be carried out with at least one partner and preferably with different partners and in this case the acceleration values and the like can be detected.
  • Classification can be specified who, whether it is an unwanted or desired contact, what kind of unwanted or desired contact as well as what is a partner. In this way, the classifier or the classifier can learn to differentiate these scenarios and to recognize the peculiarities in the data that allow conclusions about these scenarios. On the basis of this knowledge, the classification can take place during operation if the method according to the invention is applied to unknown situations.
  • simulation data can be used, which can represent such scenarios.
  • the simulation data or simulatively generated data can also be referred to as model-based data. These may be used in addition to or alternatively to detected acceleration values and the like to teach the classification.
  • using kinematics models and / or kinematics-based data on a dynamics model can increase the quality of the simulation data and approximate it to the real conditions, so that classifying with the simulation data with comparable quality as with sensory data can be made. This can reduce the effort of providing data for training, but lead to comparable results of learning.
  • the classifying takes place taking into account at least one preceding classifying, the result of the classifying being taken into account depending on a rating.
  • the findings that result from the application of the method according to the invention can be used continuously for further Anler NEN of the classifier or the classifier to improve its capabilities beyond the original training n addition.
  • the application of the method can be used in practice to incorporate the knowledge gained here in the further development of the classification, so that the classification can continue to evolve.
  • the result of the classification can be communicated to a user and only then taken into account in the classification in the future, if the result of the classification is confirmed by the user as being correct.
  • the feedback from the user to the result of the classifying can also be done indirectly, e.g. a proposed application is accepted or rejected by the user. This can lead to a certainty about the success of the classification.
  • the classification is carried out by means of a method of machine learning, preferably by means of a support vector-machine method or by means of a neural network.
  • suitable methods can be used to implement the classification as described above.
  • Machine learning is understood to mean the "artificial" generation of knowledge from experi- ence as an “override.”
  • An artificial system learns from examples and can generalize these after completion of the learning phase. In other words, examples are not memorized, but the method "recognizes" patterns and laws in the learning data, so the system can also evaluate unknown data and thereby perform a learning transfer, such as regression or classification techniques such as the Support-Vector-Machine Method or neural networks.
  • the present invention also relates to a computer program product having a program code stored on a computer-readable medium for carrying out a method as described above.
  • the computer-readable medium may be internal memory of a computer as well as removable memory such as memory. a floppy disk, a CD, a DVD, a USB stick, a memory card and the like.
  • a computer is understood to mean any computing unit which is capable of carrying out the method. In this way, the method according to the invention can be made available to a computer, which can be a control unit of a device according to the invention.
  • the present invention also relates to a multi-membered actuated kinematics, preferably a robotic robot, more preferably an articulated robot, for carrying out a method as described above with several members which are interconnected by actuated joints, at least one member, preferably several members, especially preferably all members, at least one acceleration sensor, and with a control unit, which is designed to carry out a method as described above.
  • a kinematics can be created with which the method according to the invention can be carried out.
  • Figure 1 is a side schematic representation of a multi-membered kinetic kinematics according to the invention.
  • Fig. 2 is a schematic representation of a flow chart of a method according to the invention.
  • Fig. 1 is considered in Cartesian coordinates. It extends a longitudinal direction X, which may also be referred to as depth X. Perpendicular to the longitudinal direction X extends a transverse direction Rich, which can also be referred to as width. Perpendicular to both the longitudinal direction X and the transverse direction extends a vertical direction Z, which may also be referred to as height Z.
  • Fig. 1 shows a lateral schematic representation of a multi-element actuated kinematics 1 according to the invention in the form of a robot 1 and more precisely an articulated robot 1.
  • the articulated robot 1 has a base 10, with which the articulated robot 1 is fixedly arranged on a substrate 3, wherein the Articulated robot 1 can also be designed mobile.
  • a plurality of members 11 extend, which verbun with each other with aktu faced joints 12 are the.
  • Flier nurse forms the articulated robot 1 from a serial kinematic chain, which extends from the base 10 toward an end effector 13.
  • the end effector 13 may, for example, see ver with a gripper or be designed as a gripper to grab objects and to be able to move with them.
  • the movements of the articulated robot 1 and the operation of the gripper of the end effector 13 are controlled or regulated by a control unit 15, which can also be referred to as the arithmetic unit 15 or main computer 15 of the articulated robot 1.
  • the joints 12 are each formed as hinges 12 and are actuated by the fact that in each case one electric drive per joint 12 is provided (not shown), which can drive this rotationally.
  • the drives are each controlled or regulated by a motor controller (not shown), which can also detect the measured variables of the respective drive.
  • the drive of a joint 12 or its motor controller is respectively arranged on the member 11, which faces the base 10.
  • the weight of the drive or its motor controller is in each case supported by the member 11, which is arranged closer to the base 10. Flier nurse the weight to be moved can be kept as low as possible.
  • an acceleration sensor 14 is provided for each joint 12, which is arranged in each case on the board of the corresponding motor controller of the drive of the joint 12.
  • the Be acceleration sensors 14 are each designed to collect the accelerations in the three Cartesian spatial directions relative to the motor controller board together, so that each single Lich an acceleration sensor 14 is required.
  • the detected acceleration values of the acceleration sensors 14 can be used by means of the following method according to the invention to achieve an intention of a partner 2 such as e.g. a person 2 of the articulated robot 1, which would like to interact with the articulated robot 1, as follows:
  • FIG. 2 shows a schematic representation of a flow chart of a method according to the invention.
  • a first step 100 the three Cartesian acceleration values per link 11 for each movable link 11 of the articulated robot 1 are detected.
  • the acquired acceleration values are digitized on the respective motor controller board by means of A / D conversion, possibly amplified, filtered or the like and subsequently transmitted to the main computer 15, for example by means of a field bus, which is also referred to as Motion Control System 15 can be designated.
  • a Bevantungsvek gate per member 11 is determined from its detected acceleration values in local coordinates of the corresponding member 11 in a second step 200. This can be a clearer illustration of this information. This can also simplify and / or accelerate further processing.
  • the determined local acceleration vectors are then transformed in a third step 300 of each respective pose of the acceleration sensor 14 on the motor controller board in a reference coordinate system of the articulated robot 1. From the ascertained acceleration vectors of the reference coordinate system, 400 so-called features are then derived in a fourth step in order to pre-process the quantity of data and thereby reduce it so that the following method steps can be simplified and accelerated.
  • a fifth step 500 the features are classified. This can e.g. by means of ma chine learning such as preferably by means of a support vector-machine method or by means of a neural network.
  • classifying 500 it is possible first to distinguish between an undesired contact and a desired contact as the intention of the person 2.
  • the inventive method between the who, whether a contact between the person 2 and the articulated robot 1 inadvertently. as a collision, because e.g. the person 2 has entered a track of the articulated robot 1 and has therefore been touched by it, or whether the person 2 has deliberately made contact with the articulated robot 1 by the person 2, e.g. a member 11 or the end effector 13 of the articulated robot 1 has seized.
  • a more accurate differentiation of the contact can take place, as will be described below.
  • the articulated-arm robot 1 may e.g. be put into a safe state by deenergizing the drives and by pressing the brakes of the drives, since the recognized by means of the classification 500 contact to the person 2 can be recognized as its intention not to be more affected by the articulated robot 1 and probably injured.
  • a reaction of the articulated-arm robot 1 to the person 2 can take place, which corresponds to the recognized intention of the person 2.
  • the articulated robot 1 can recognize the intention of the person 2 to want to guide the articulated robot 1 and in particular its end effector 13 on a track or in a pose.
  • the articulated robot 1 can allow this movement in the gravitational compensation mode and save the lane at the same time in order to learn it and later to be able to drive off automatically.
  • Actuation of the gripper of the end effector 13 can thereby, for example, a pick-and-place task of the Person 2 are performed with the articulated robot 1 to this example to program for this task.
  • the classifying 500 can be configured to digitally distinguish, as it were, between an undesired and a desired contact, and to respond to this with a single action. This may be stopping the movement of the articulated robot 1 in the event of unwanted contact and activating a gravity compensation mode in the case of a desired contact.
  • the classification 500 is differentiated formed, so that in the context of this step 500 can also be made in each case a distinction between different unwanted or desired contacts that can trigger different reactions that correspond to the recognized intention of the person 2.
  • the inventive method is carried out continuously repeated, see arrow from step 700 or 800 to step 100 of FIG. 2, so that acceleration values can be continuously detected and processed to perform the classification 500, taking into account several temporally staggered ter and immediately successive features to be able to.
  • the correspondingly increased amount of data that may be used for classifying 500 may increase the quality of the classifying result 500 and, in particular, allow for more complex conclusions that would not be possible due to a single snapshot of the articulated robot 1.
  • a higher-level classification 800 of the recognized desired contact of the person 2 with respect to a movement process that goes beyond the recognized intention per se can take place.
  • a single pick-and-place action is identified by the parent classifier 800 as a constituent part of a larger task or an entire action sequence of multiple pick-and-place actions and other actions.
  • the articulated robot 1 can be requested by the person 2 by "presenting" the individual action for autonomous execution of the overarching overall execution sequence, in other words, an instruction for action can be given by the person 2 to the articulated robot 1.
  • the derivation 400 of the features takes place taking into account further information of the articulated robot 1.
  • This can be, for example, detected poses of the individual members 11, which are usually detected anyway and thus can be made available without additional effort.
  • This information can also be speed values of the individual members 11, which can be obtained by temporal differentiation from the detected position values or can additionally be detected by sensors.
  • the pose and / or the speed values of the Endeffek sector 13 of the articulated robot 1 can be determined and taken into account.
  • the motor currents of the individual electric drives can be taken into account, which are determined by the motor controllers of the 11 are usually detected anyway for controlling or regulating the drives and thus can be made available without additional effort.
  • the classifying 500 takes into account a previous learning 000 which precedes the other previously described method steps as an initial step, see the dashed box of step 000 of FIG. 2.
  • the teaching 000 serves to provide a basis of mathematical rules by which the classification 500 is started can be.
  • the method steps can also have been executed with knowledge of the intention of the person 2 so that the classifier or the classification 500 knows its result and can interpret the received data in such a way that the predetermined result can be recognized.
  • simulatively generated data can be used, which may have been created taking into account a kinematics model and / or a dynamic model of the articulated robot 1.
  • the intention of the person 2 is known, which matches the simulated data, so that also here by classifying 500 can be trained.
  • the data and the intentions classified therefrom are used during the application of the method to provide continuous feedback to the classifier 500, see dashed arrow in FIG. 2 there, and thereby further improve the classifying 500.
  • the classifying 500 is performed taking into consideration the already performed classifying processes 500.
  • the result of the current classifying 500 is given to a user e.g. communicated via a display on a screen and e.g. asked for confirmation; If this confirmation is given by the user, the result of classifying 500 is regarded as applicable and will be taken into account in future executions of the method. This may allow for continued learning of the classifying 500 mathematical methods.
  • the superordinate classifying 800 can also be trained accordingly (not shown) and continuously improved by taking into account its results, see dashed arrow in FIG. 2 there.
  • the initial training 000 of the classifying 500 and the continuous conclusions of a successful classification 500 on future applications of classifying 500 can only be done for the articulated robot 1 itself, so that the method executed locally on the control unit 15 of Knickarmrobo age 1 and there also the data of the mathematical method of classifying 500 ge can be stored and processed.
  • the data records of the classification 500 can be aggregated centrally, eg in the cloud, by different kinematics 1, for example by different articulated robot robots 1, as well as also learning 000 based on simulation data is done there, so that the learned and further developed by the application mathematical models of classifying 500 then the individual NEN involved in the cloud articulated robots 1 can be provided.
  • the cost of training 000 and the further development of the classification 500 can be reduced, because this only needs to be performed once for several articulated robots 1 but can be used by several ren articulated robots 1.
  • the data from the application of an articulated robot 1 can be used to improve the classification 500 for all involved Knickarmro boter 1, so that due to the increased amount of data faster Rothentwi crawl of classifying 500 can be done, which is beneficial to all involved articulated robots 1 can come. This may apply accordingly to the parent classifier 800.
  • a kinematics 1 such as e.g. a Knickarmrobo ter 1 both simple distinctions between an action or intention of a person 2 as between an undesirable and a desired contact can be distinguished.
  • the two types of contact can each be differentiated more precisely, e.g. to distinguish different desired contacts from each other. These can be recognized as subsections of a higher-level action and assigned to them.
  • This can be the cooperation e.g. between a person 2 and the kink arm robot 1 simplify, make more intuitive for the person 2 and at the same time ensure the security of the cooperation. As a result, time and thus costs for a lower training need of the person 2 for programming and / or operation of the articulated robot 1 can be saved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung einer Intention eines Partners (2) gegenüber einer mehrgliedrigen aktuierten Kinematik (1), mit wenigstens den Schritten: Erfassen (100) mehrerer Beschleunigungswerte, vorzugsweise von drei kartesischen Beschleunigungswerten, wenigstens eines Glieds (11) der Kinematik (1), und Klassifizieren (500) der Beschleunigungswerte hinsichtlich einer Intention des Partners (2) gegenüber der Kinematik (1).

Description

BESCHREIBUNG
Verfahren zur Erkennung einer Intention eines Partners gegenüber einer mehrgliedrigen aktuierten Kinematik
Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung einer Intention eines Partners gegenüber einer mehrgliedrigen aktuierten Kinematik gemäß des Patentanspruchs 1, ein Computerprogrammpro dukt mit einem Programmcode zur Ausführung eines derartigen Verfahrens gemäß des Patentanspruchs 14 sowie eine mehrgliedrige aktuierte Kinematik zur Ausführung eines derartigen Verfahrens gemäß des Patentanspruchs 15.
Bereits seit längerem werden Roboter als technische Apparaturen dazu verwendet, dem Menschen me chanische Arbeit abzunehmen. Roboter werden mittlerweile in vielen verschiedenen Bereichen einge setzt. So sind in der Industrie insbesondere Knickarmroboter weit verbreitet, um insbesondere Aufgaben in der Montage, in der Fertigung, in der Logistik sowie beim Verpacken und Kommissionieren zu über nehmen. Ein Knickarmroboter ist üblicherweise eine 6-achsige Maschine mit einem kubischen Arbeits raum, weshalb Knickarmroboter sehr flexibel eingesetzt werden können. Je nach Anwendung kann das Werkzeug, welches als Endeffektor dient, gewechselt werden. Ferner ist die Programmierung des Knick armroboters an die Anwendung anzupassen. An sich kann der Knickarmroboter jedoch unverändert eingesetzt werden, was ihn sehr anpassungsfähig machen kann.
In den letzten Jahren haben sich die Roboter und insbesondere die Knickarmroboter dahin entwickelt, z.B. bei der Montage unmittelbar mit Personen zusammenzuarbeiten. Hieraus hat sich der Begriff des kollaborativen Roboters oder kurz Cobot (aus dem Englischen: collaborative robot) entwickelt. Es kann sowohl auf mechanische Abgrenzungen wie z.B. Gitterwände verzichtet werden, welche bisher üblich waren, um den Arbeitsraum des Roboters von der Umgebung zu trennen, in der sich Personen sicher aufhalten können, als auch auf Lichtschranken, Lichtgitter und dergleichen, welche zumindest ein Betre ten des Arbeitsraums des Roboters durch eine Person erkennen können. Vielmehr können sich Personen frei gegenüber dem Roboter bewegen.
Dies erfordert aus Sicherheitsgründen zugunsten der Personen, dass der Roboter einen Kontakt mit einer Person oder auch mit einem anderen Objekt wie z.B. einem anderen Antriebssystem, einem Werk stück, einem Werkzeug und dergleichen sicher erkennen und ggfs durch ein Stoppen seiner Antriebe hierauf reagieren kann, um die Sicherheit der Personen bzw. des Objekts sowie die eigene Sicherheit zu gewährleisten.
Zur Vermeidung einer Kollision mit einer Person oder mehreren Personen kann es auch hilfreich sein, wenn ein Roboter bereits im Vorhinein eine drohende Kollision erkennen und diese z.B. durch Auswei chen vermeiden kann. Diesbezüglich kann auch davon gesprochen werden, dass ein Roboter eine Ab sicht oder eine Intention einer Person erkennen und hierauf reagieren kann.
So ist aus der US 2017/0190051 Al ein trainierter Klassifikator zur Verwendung mit einem Navigations algorithmus zur Verwendung mit mobilen Robotern bekannt, um sichere und effiziente Trajektorien zu berechnen. Ein Offline-Lernprozess wird verwendet, um einen Klassifikator für den Navigationsalgorith mus oder für den Bewegungsplaner zu trainieren. Nach Abschluss des Trainings können die Klassifikator funktionen bei Menschen in einem mit dem Roboter geteilten Raum die Absichten der Menschen, den Roboter am Abfahren seiner aktuellen Trajektorie zu hindern, genau erkennen. Im Betrieb kann der trainierte Klassifikator mit einer Regression basierend auf vergangenen Trajektorien von z.B. Menschen verwendet werden, um vorherzusagen, wohin sich die Menschen in der Zukunft bewegen werden und ob die Menschen wahrscheinlich Hindernisse für den mobilen Roboter darstellen. Der Planungsalgo rithmus oder Bewegungsplaner erzeugt Trajektorien auf der Grundlage von Vorhersagen menschlichen Verhaltens, die es dem mobilen Roboter ermöglichen, sicherer und effizienter zwischen Menschenmen gen zu navigieren.
Der Klassifikator wird derart realisiert, dass ein menschlicher Bewegungspfad sensorisch erfasst und dessen weiterer Verlauf vorausberechnet wird. Unter Berücksichtigung des eigenen aktuellen Bewe gungspfads des mobilen Roboters wird vom Klassifikator ein Wert ausgegeben, welcher die Wahrschein lichkeit repräsentiert, dass die Person, welche ihrem vorausberechneten Bewegungspfad folgt, den Be wegungspfad des mobilen Roboters blockiert. Basierend auf diesem Wert der Klassifikator-Ausgabe wird seitens des Bewegungsplaners ein sicherer und effizienter Bewegungspfad für den mobilen Roboter berechnet.
Die Vorausberechnung eines menschlichen Bewegungspfads im zweidimensionalen Raum und die hie rauf abgestimmte Bewegung eines mobilen Roboters stellt eine vergleichsweise einfache Aufgabe dar, so dass die hierzu verwendeten Verfahren nicht auf die dreidimensionalen Bewegungen von Menschen und mehrachsigen bzw. mehrgliedrigen Robotern wie z.B. Knickarmrobotern übertragbar sind. Auch kann ein aus einer sensorisch erfassten Bewegung eines Menschen vorausberechneter weiterer Bewe gungspfad nicht als erkannte Intention bezeichnet werden, da es sich hierbei lediglich um den weiteren Verlauf einer bereits begonnenen Bewegung handelt. Die DE 10 2007 062 473 Al betrifft ein Verfahren zur Betätigung einer Tür oder Klappe, insbesondere einer Fahrzeugtür, mit wenigstens zwei kinematischen Freiheitsgraden, der wenigstens ein Aktuator zur motorischen Unterstützung einer Öffnungs- und bzw. oder Schließbewegung und bzw. oder eines Ent- oder Verriegelungsvorgangs zugeordnet ist. Zur Ansteuerung des wenigstens einen Aktuators werden die Signale wenigstens einer Sensoreinrichtung ausgewertet. Die DE 10 2007 062 473 Al betrifft auch eine entsprechende Tür, insbesondere eine Fahrzeugtür.
Zu den Sensoren gehört eine optische Erfassungseinrichtung in Form einer Kamera mit nachgeschalteter Bildauswerteeinrichtung sowie ein mechanischer Sensor und bzw. oder ein druckempfindlicher Sensor. Flierdurch kann eine Kontaktsituation zwischen einer Person und der Tür erfasst werden, ggfs über den druckempfindlichen Sensor, auch, wie stark ein Benutzer an der Tür zieht oder drückt. Auch können durch die Kamera und bzw. oder durch z.B. induktive Sensoren eine Erkennung einer sich anbahnenden Interaktion zwischen Benutzer und Tür erfasst werden. Weitere Sensoren zur Erfassung des Bewegungs zustands der Tür aufgrund von Positions-, Geschwindigkeits- und bzw. oder Beschleunigungswerten können vorgesehen sein.
Auf diese Weise können die den Benutzer unterstützenden Servokräfte des Aktuators derart angepasst werden, dass die Charakteristik der Bedienung der Tür weitgehend erhalten bleibt, auch bei Änderung der physikalischen Parameter. Das Ziel hierbei ist die weitgehende Konstanthaltung der Charakteristik der Tür für den Benutzer. Verschiedenste dieser Sensorwerte können dabei auch dazu verwendet wer den, eine Intention des Benutzers zu erkennen. Die Intentionserkennung kann dann, vorzugsweise in Kombination mit einer Kollisionsvermeidung, bei der Pfadplanung berücksichtigt werden.
Nachteilig ist hierbei, dass eine vergleichsweise aufwendige Sensorik verwendet werden muss, um die erforderlichen Messdaten zur Umsetzung des Verfahrens der DE 10 2007 062 473 Al zur Verfügung zu stellen. Auch wird bei der DE 10 2007 062 473 Al ein System mit lediglich zwei Freiheitsgraden sowie ein vergleichsweise einfacher Bewegungsablauf betrachtet, so dass das verwendete Verfahren nicht auf die dreidimensionalen Bewegungen von Menschen und mehrachsigen Robotern wie z.B. Knickarmrobotern übertragbar ist.
Somit ist eine Intentionserkennung im Bereich der Mensch-Roboter-Kollaboration bisher nicht bekannt. Diese ist jedoch wünschenswert, um sowohl das Programmieren als auch den Betrieb von Robotern und insbesondere von Knickarmrobotern zu erleichtern und bzw. oder zu beschleunigen. Dies gilt insbeson dere für kollaborative Roboter.
Derartige Überlegungen spielen auch bei Automatisierungsanlage eine Rolle, welche hinsichtlich der Beweglichkeit der angetriebenen Glieder zueinander den Robotern vergleichbar sind und für vergleich bare Aufgaben eingesetzt werden können. Gemeinsam können Automatisierungsanlagen sowie Roboter und insbesondere Knickarmroboter als Antriebssysteme oder auch als mehrgliedrige aktuierte Kinemati ken bezeichnet werden.
Eine Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Erkennung einer Intention eines Part ners gegenüber einer mehrgliedrigen aktuierten Kinematik bereitzustellen. Dieses Verfahren soll mög lichst einfach, kostengünstig und bzw. oder schnell ausgeführt werden können. Insbesondere soll dieses Verfahren auf eine mehrgliedrige aktuierte Kinematik mit mehr als zwei Freiheitsgraden angewendet werden können. Insbesondere soll dies für Roboter und ganz besonders für Knickarmroboter ermöglicht werden. Dabei sollen insbesondere die Bedienung, die Steuerung und bzw. oder die Programmierung einer mehrgliedrigen aktuierten Kinematik, ganz besonders eines Roboters, vereinfacht werden.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1, durch ein Computerprogrammprodukt mit den Merkmalen des Patentanspruchs 14 sowie durch eine mehrgliedrige aktuierte Kinematik mit den Merkmalen des Patentanspruchs 15 gelöst. Vorteilhafte Wei terbildungen sind in den Unteransprüchen beschrieben.
Somit betrifft die vorliegende Erfindung ein Verfahren zur Erkennung einer Intention eines Partners ge genüber einer mehrgliedrigen aktuierten Kinematik. Eine mehrgliedrige aktuierte Kinematik kann jegli che mechanische Konstruktion sein, welche mittels entsprechender Antriebe Bewegungen im Raum ausführen kann. Insbesondere weist eine derartige Kinematik wenigstens zwei Freiheitsgrade auf, vor zugsweise jedoch mehr als zwei Freiheitsgrade und besonders vorzugsweise sechs Freiheitsgrade. Unter einem Freiheitsgrad ist die Zahl der voneinander unabhängigen Bewegungsmöglichkeiten eines Systems zu verstehen. Flierzu kann die Kinematik mehrere Glieder aufweisen, welche mittels Antrieben gegen über einander linear und bzw. oder rotatorisch bewegt werden können. Als Antriebe können hydrauli sche, pneumatische sowie elektrische Antriebe verwendet werden, wobei elektrische Antriebe z.B. auf grund der einfachen Energiezufuhr über elektrische Leitungen auch über mehrere Glieder der Kinematik hinweg zu bevorzugen sind. Die Glieder können starre Körper darstellen, welche untereinander beweg lich miteinander verbunden sein können; dies kann vorzugsweise über Gelenke und insbesondere über Drehgelenke umgesetzt werden. Die Kinematik kann insbesondere ein Roboter und ganz besonders bevorzugt ein Knickarmroboter sein, da derartige Kinematiken vielfältig und flexibel einsetzbar sein können. Als Kinematik kommen jedoch auch andere Vorrichtungen der Automatisierungstechnik in Be tracht. Die räumliche Lage eines einzelnen Gliedes der Kinematik sowie eines Endeffektors der Kinema tik kann als Pose bezeichnet werden, welche die Kombination von Position und Orientierung des Gliedes bzw. des Endeffektors darstellt.
Unter einem Partner können sowohl Lebewesen als auch Gegenstände verstanden werden, mit denen ein Zusammenwirken der mehrgliedrigen aktuierten Kinematik - kurz: Kinematik - erfolgen kann. Insbe sondere können dies als Lebewesen Personen sein, deren Sicherheit von der Kinematik beachtet sowie gewährleistet werden muss und die mit der Kinematik Zusammenarbeiten und bzw. oder die Kinematik bedienen und bzw. oder programmieren können. Auch können die Gegenstände insbesondere Werkstü cke sein, welche von der Kinematik bearbeitet, gehandhabt und dergleichen werden sollen, ebenso wie andere Kinematiken, mit denen die Kinematik Zusammenarbeiten soll.
Unter einer Intension ist eine Absicht, ein Vorhaben, ein Ziel und dergleichen eines Einwirkens des Part ners auf die Kinematik bzw. eines Zusammenwirkens des Partners mit der Kinematik bzw. eines Kontakts des Partners mit der Kinematik zu verstehen, um z.B. eine Bewegung auszuführen, welche insbesondere ein Bestandteil einer Aufgabe und insbesondere einer sich wiederholenden Aufgabe sein kann. Mit an deren Worten kann die Art und Weise eines Kontakts des Partners mit der Kinematik, um auf den Bewe gungszustand der Kinematik einzuwirken, als die Intention, Absicht und dergleichen des Partners ver standen werden. Die Intention, Absicht und dergleichen des Partners kann auch als dessen bewusstes Handeln angesehen werden, um den Bewegungszustand der Kinematik zu beeinflussen bzw. zu verän dern. Durch dieses Wirken bzw. Einwirken des Partners erfolgt eine Veränderung des Bewegungszu stands der Kinematik, welche, wie nachfolgend erläutert werden wird, sensorisch erfasst, klassifiziert und hierdurch als Intention, Absicht und dergleichen des Partners erkannt werden kann. Insbesondere kann erkannt bzw. dazwischen unterschieden werden, ob es sich bei dem Einwirken des Partners auf die Kinematik um einen erwünschten Kontakt als Intention oder um einen unerwünschten Kontakt als In tention handelt. Entsprechend kann die Intention eines Gegenstands z.B. als weitere Kinematik insbe sondere dessen einprogrammierte Bewegung sein, durch welche ein, insbesondere erwünschter oder unerwünschter, Kontakt mit der Kinematik entstehen kann.
Die Aufgabe kann ein Einzelschritt einer übergeordneten komplexeren Anwendung sein.
Das Verfahren weist wenigstens die Schritte auf:
• Erfassen mehrerer Beschleunigungswerte, vorzugsweise von drei kartesischen Beschleuni
gungswerten, wenigstens eines Glieds der Kinematik, und
• Klassifizieren der Beschleunigungswerte hinsichtlich einer Intention des Partners gegenüber der Kinematik.
Das Erfassen der mehreren Beschleunigungswerte eines Glieds der Kinematik kann mittels Beschleuni gungssensoren erfolgen. Die Beschleunigungssensoren können vorzugsweise kapazitiv oder piezoe lektrisch arbeitend umgesetzt werden, da diese Messprinzipien erprobt sind und kostengünstig umge setzt werden können. Es kann pro zu erfassender Beschleunigungsrichtung jeweils ein einachsig mes sender Beschleunigungssensor verwendet werden. Vorzugsweise kann ein einziger mehrachsig messen der Beschleunigungssensor verwendet werden, welcher mehrere Beschleunigungswerte in unterschied lichen Richtungen erfassen kann. Dies kann die Messung vereinfachen, da lediglich ein Sensor verwen- det und ausgelesen werden muss. Auch können mittels eines mehrachsig messenden Beschleunigungs sensors die einzelnen Richtungskomponenten der Messung wie z.B. in den drei kartesischen Raumrich tungen direkt vom Sensor zur Verfügung gestellt werden, so dass auf ein anschließendes Kombinieren und Umrechnen von drei einzeln erfassten Beschleunigungswerten verzichtet werden kann. Dies kann die Auswertung vereinfachen und beschleunigen sowie die Qualität der erfassten Beschleunigungswerte verbessern. In beiden Fällen werden die Beschleunigungswerte vorzugsweise in allen drei Raumrichtun gen des kartesischen Koordinatensystems erfasst.
Das Klassifizieren kann mittels mathematischer Methoden bzw. mittels mathematischer Modelle erfol gen, welche in der Lage sind, aus erhaltenen Daten wie hier den mehreren Beschleunigungswerten eine Einteilung bzw. Klassifikation in unterschiedliche Kategorien vorzunehmen, welche in diesem Fall unter schiedlichen Intentionen des Partners der Kinematik entsprechen. Hierdurch kann eine Intentionserken nung mit hoher Qualität und Verlässlichkeit umgesetzt werden. Weitere Vorteile werden weiter unten noch beschrieben. Ein Klassifizieren kann durch einen Klassifikator durchgeführt werden, welcher vor zugsweise als Software-Funktion umgesetzt sein kann.
Dabei können mittels des Klassifizierens z.B. unerwünschte Kontakte wie z.B. Kollisionen sowie er wünschte Kontakte wie z.B. Nutzereingaben, die Übergabe von Objekten wie z.B. Werkstücken und an deren Gegenständen seitens einer Person oder einer anderen Kinematik klassifiziert und hierdurch er kannt werden. Auch kann aus der Klassifikation der Beschleunigungswerte z.B. ein Stillstand der Kinema tik erkannt werden. Ferner kann z.B. durch das Klassifizieren ein unerwünschtes Verhalten z.B. aufgrund von fehlerhaften Modellparametern wie z.B. ein Abdriften im Gravitationskompensationsmodus auf grund einer fehlerhaft parametrierten Last am Endeffektor erkannt werden. Dabei kann vorzugsweise zunächst eine„grobe" Klassifizierung zwischen unerwünschtem und erwünschtem Kontakt vorgenom men werden. Diese beiden Kontaktarten können jeweils genauer unterschieden werden, indem das Klassifizieren entsprechend differenzierend angelegt wird. Ferner kann das Klassifizierungsergebnis dazu verwendet werden, mittels eines übergeordneten Klassifizierens komplexere Abläufe und Handlungen dem Klassifizierungsergebnis zuzuordnen, wie weiter unten noch beschrieben werden wird.
Der vorliegenden Erfindung liegt dabei die Erkenntnis zugrunde, dass Beschleunigungssensoren ver gleichsweise kostengünstig sind, beispielsweise im Vergleich zu Achsmomentensensoren. Somit können die Daten, auf denen das nachfolgende Klassifizieren erfolgt, vergleichsweise kostengünstig zur Verfü gung gestellt werden. Dies kann die Umsetzung des erfindungsgemäßen Verfahrens begünstigen und die Verbreitung des Einsatzes des erfindungsgemäßen Verfahrens fördern, da die hierzu erforderlichen Sen sorwerte vergleichsweise kostengünstig zur Verfügung gestellt werden können.
Vorteilhaft ist bei der Verwendung von Beschleunigungssensoren auch, dass diese z.B. als Mikrochip vergleichsweise kompakt umgesetzt werden können, so dass derartige Beschleunigungssensoren, ob einachsig oder mehrachsig messend, kombiniert mit Elektroniken angeordnet werden können, welche z.B. zum Betrieb elektrischer Antriebe zur Aktuierung der Glieder bzw. der Gelenke ohnehin vorhanden sind. Beispielsweise können Beschleunigungssensoren auf der Motorcontroller-Platine eines elektri schen Antriebs bzw. eines Antriebsmoduls eines Glieds untergebracht werden, so dass die Beschleuni gungen einfach, kompakt und bzw. oder kostengünstig sowie relativ nahe an der Achse des Gelenks erfasst werden können.
Das Ergebnis des Erkennens einer Intention des Partners kann vielfältig genutzt werden. Beispielsweise kann eine Darstellung eines grafischen Human-Machine-Interfaces der Kinematik an die erkannte Inten tion angepasst werden, indem dort Informationen angezeigt und bzw. oder Eingabemöglichkeiten ange- boten werden, welche die erkannte Intention berücksichtigen. Auch können Hilfe-Texte und bzw. oder Schulungsmaterialien wie insbesondere Videos unter Berücksichtigung der erkannten Intention angebo- ten werden. Ferner kann eine entsprechende Applikation vorgeschlagen werden, welche zu der erkann ten Intention passt. Ebenso kann ein passender Parametersatz für die Steuerung oder ein passender Regelalgorithmus für die Kinematik ausgewählt werden.
Gemäß eines Aspekts der vorliegenden Erfindung erfolgt ein Erfassen mehrerer Beschleunigungswerte pro Glied mehrerer Glieder, vorzugsweise aller Glieder, der Kinematik. Mit anderen Worten werden die Beschleunigungen, wie zuvor beschriebenen, jeweils für mehrere Glieder der Kinematik und vorzugswei se jeweils für alle Glieder der Kinematik erfasst, wobei dies lediglich für Glieder oder sonstige Bauteile der Kinematik erfolgt, welche auch im bestimmungsgemäßen Einsatz Bewegungen ausführen können. Hierdurch kann die Anzahl der Informationen erhöht werden, so dass dem Klassifizieren mehr Sensorda ten zur Verfügung gestellt werden können, unter deren Berücksichtigung die Intentionserkennung des Partners mittels Klassifizieren erfolgen kann. Dies kann die Qualität des Klassifizierens verbessern.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt nach dem Erfassen wenigstens der weitere Schritt:
• Ermitteln eines Beschleunigungsvektors des Glieds, vorzugsweise eines Beschleunigungsvektors pro Glied, aus dessen erfassten Beschleunigungswerten, wobei das Klassifizieren unter Berücksichtigung des Beschleunigungsvektors des Glieds, vorzugsweise der Beschleunigungsvektoren der Glieder, erfolgt.
Durch die Wandlung der erfassten Beschleunigungswerte in einen Beschleunigungsvektor können diese einfacher und kompakter dargestellt werden, was die anschließende Verarbeitung z.B. durch das Klassi fizieren vereinfachen und insbesondere beschleunigen kann. Dies kann sich vorteilhaft auf die Leistungs fähigkeit des Verfahrens als Ganzes auswirken. Auch können die Information auf diese Art und Weise im Arbeitsraum der Kinematik abgebildet werden, was sowohl für einen Benutzer als auch für das Klassifi zieren anschaulicher und damit einfacher zu verarbeiten sein kann. Dies kann die Qualität des Klassifizie rens verbessern. Der Beschleunigungsvektor wird dabei vorzugsweise in lokalen Koordinaten des ent sprechenden Gliedes der Kinematik ermittelt. Insbesondere kann der Beschleunigungsvektor am Ort eines entsprechenden Beschleunigungssensors ermittelt werden.
Dabei können je nach verwendeten Sensordaten lediglich die Beschleunigungswerte eines Glieds oder einzelner Glieder in jeweils einen Beschleunigungsvektor gewandelt werden. Vorzugsweise werden alle zur Verfügung stehenden Beschleunigungswerte jeweils in Beschleunigungsvektoren gewandelt, um die zuvor beschriebenen Vorteile pro Glied und damit möglichst vollständig nutzen zu können.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt nach dem Ermitteln wenigstens der weitere Schritt:
• Transformieren des ermittelten Beschleunigungsvektors, vorzugsweise der ermittelten Be
schleunigungsvektoren, von einem lokalen Koordinatensystem des Glieds in ein Koordinatensys tem der Kinematik.
Auf diese Weise kann der Beschleunigungsvektor und insbesondere können die Beschleunigungsvekto ren jeweils in ein Koordinatensystem transformiert werden, welches für das Verständnis einer Bewe gung einer mehrgliedrigen aktuierten Kinematik hilfreich sein kann. Das Koordinatensystem der Kinema tik kann auch als Bezugskoordinatensystem oder als Referenzkoordinatensystem bezeichnet werden. Dies kann es sowohl einem Benutzer als auch dem Schritt des Klassifizierens erleichtern, aus dem trans formierten Beschleunigungsvektor bzw. aus den transformierten Beschleunigungsvektoren Schlussfolge rungen hinsichtlich der Bewegung der Kinematik zu ziehen. Dies kann somit das Klassifizieren begünsti gen, um eine Intention eines Partners gegenüber der Kinematik zu erkennen.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt nach dem Erfassen wenigstens der weitere Schritt:
• Ableiten wenigstens eines Features aus wenigstens den erfassten Beschleunigungswerten, vor zugsweise aus wenigstens dem ermittelten Beschleunigungsvektor, besonders vorzugsweise aus wenigstens den ermittelten Beschleunigungsvektoren, wobei das Klassifizieren unter Berücksichtigung wenigstens eines Features, vorzugsweise mehrerer Fea tures, erfolgt.
Unter dem Begriff„Feature" ist ein Merkmal im Sinne des Feature Engineering zu verstehen. Feature Engineering ist der Prozess der Nutzung von Domänenwissen, um Features bzw. Merkmale aus den Da- ten zu erstellen, die maschinelle Lernalgorithmen besser und bzw. oder schneller funktionieren lassen. Das Feature Engineering ist für die Anwendung des maschinellen Lernens von grundlegender Bedeu tung. Das manuelle Feature-Engineering kann durch automatisiertes Feature-Learning vermieden wer den. Die Features können im Zeitbereich und bzw. oder im Frequenzbereich erstellt und verarbeitet werden.
Durch das Ableiten von Features aus Daten wie z.B. aus erfassten Beschleunigungswerten oder aus er mittelten Beschleunigungsvektoren kann eine Vorverarbeitung der Daten stattfinden, um durch die Zu ordnung der Daten zu Features die Menge der Daten zu reduzieren, da durch die anschließenden Schrit te wie z.B. das Klassifizieren lediglich die Features weiterverarbeitet werden müssen anstelle der diesen zugrunde liegenden größeren Datenmengen. Dies kann das Klassifizieren beschleunigen und damit das gesamte Verfahren schneller werden lassen. Auch kann die Qualität des Klassifizierens verbessert wer den. Dies kann vorzugsweise selbststätig durch automatisiertes Feature-Learning erfolgen.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung ist das Klassifizieren ausgebildet, zwischen einem unerwünschten Kontakt und einem erwünschten Kontakt als Intention des Partners zu unter scheiden. Unter einem unerwünschten Kontakt ist eine Kollision der Kinematik mit dem Partner wie z.B. mit einer Person oder mit einem Gegenstand zu verstehen. Der Partner kann in diesem Moment mit seiner eigenen Bewegung die Bewegung der Kinematik kreuzen oder sich dieser statisch im Weg befin den. Unter einem erwünschten Kontakt ist z.B. ein Kontakt mit einer Person zu verstehen, welcher z.B. der Nutzereingabe dient wie z.B. dem Führen der Kinematik entlang einer Bahn zu dessen Programmie rung. Auch kann ein erwünschter Kontakt mit der Umgebung bzw. mit einem Objekt stattfinden, indem ein Gegenstand von der Kinematik kontaktiert und hierdurch erkannt wird, z.B. um den Gegenstand zu greifen.
Somit ist es erfindungsgemäß möglich, durch das Klassifizieren der Beschleunigungswerte bzw. hierauf beruhender Daten bzw. Features der Kinematik Informationen zu übermitteln, wie sie auf diese Daten zu reagieren hat. Hierdurch kann das Zusammenwirken der Kinematik mit der Umgebung verbessert und bzw. oder vereinfacht werden.
Dabei wird von diesem Aspekt der vorliegenden Erfindung auch umfasst, da ein Kontakt lediglich als erwünscht erkannt und hierdurch als unerwünscht ausgeschlossen werden kann. Dies kann auch für mehrere unterschiedliche erwünschte Kontakte gelten. Dies kann die Umsetzung dieses Aspekts der vorliegenden Erfindung vereinfachen.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt der weitere Schritt: • im Fall eines unerwünschten Kontakts, Versetzen der Kinematik in einen sicheren Zustand ent sprechend der erkannten Intention, und bzw. oder
• im Fall eines erwünschten Kontakts, Reagieren der Kinematik auf den Partner entsprechend der erkannten Intention.
Ein sicherer Zustand kann beispielsweise durch das Abschalten der Antriebe erfolgen, indem diese z.B. von der Energieversorgung getrennt werden. Vorzugsweise kann zusätzlich ein Betätigen von Bremsen der Antriebe erfolgen, um die Bewegungen möglichst schnell sowie möglichst vollständig zu unterbin den. Ein sicherer Zustand kann jedoch auch dadurch erreicht werden, indem die Kinematik eine Bewe gung ausführt, welche sie ausreichend weit und vorzugsweise möglichst schnell von dem Partner weg führt, ohne dabei weitere Kollisionen oder andere Nachteile zu verursachen. Dies kann von der Kinema tik sowie von der Arbeitsumgebung und der Anwendung abhängen.
Auf jeden Fall kann die Kinematik hierdurch auf einen erkannten unerwünschten Kontakt angemessen reagieren. Dabei kann wenigstens das grundsätzliche Eintreten eines unerwünschten Kontakts erkannt werden; dies kann auch dadurch geschehen, dass ein erkannter Kontakt nicht als erwünscht klassifiziert werden kann und somit im Umkehrschluss unerwünscht sein kann, wie zuvor bereits beschrieben. Auch kann in diesem Schritt zwischen verschiedenen unerwünschten Kontakten unterschieden und ggfs je weils anders reagiert werden, während in dem vorangehenden Schritt vorzugsweise lediglich ein uner wünschter Kontakt an sich erkannt werden kann, ohne diesen näher zu differenzieren.
Im Fall eines erwünschten Kontakts erfolgt eine Reaktion in Abhängigkeit der erkannten Intention des Partners. Beispielsweise kann als Intention des Partner z.B. in Form einer Person erkannt werden, dass die Person die Kinematik an einem Glied nahe dem Endeffektor umgreift und durch Ziehen oder Drü cken den Endeffektor auf einer Bahn bewegt bzw. von einem Ausgangspunkt zu einem Endpunkt eines Bewegungspfads führt, welcher von der Kinematik erlernt werden soll. Flierdurch kann eine einfache, schnelle und intuitive Art der Programmierung der Kinematik erfolgen. Auch kann zu diesem Zweck ein Glied der Kinematik von einer Person gegriffen und festgehalten werden, um eine Bewegung der Kine matik zu unterbrechen oder zu beenden und hierdurch z.B. eine neue Pose in die Bahnplanung der Ki nematik einzubringen. Ebenso kann eine Kinematik aus dem Stillstand von einer Person als Anweisung angeschoben werden, um eine Bewegung der Kinematik zu initialisieren. Vergleichbar kann eine Kine matik von einer Person als Programmierung in der Bewegung verlangsamt oder beschleunigt werden, indem die Person ein Glied der Kinematik umgreift und langsamer weiterbewegt bzw. ein Glied der Ki nematik entlang des Bewegungspfads anschiebt. Darüber hinaus kann auch ein Schieben der Kinematik zur Seite von einer Person als Programmierung vorgenommen werden, um ein Ausweichen als kurzes Bewegungssegment zu einer Bewegung hinzuzufügen. Darüber hinaus kann es auch ermöglicht werden, dass die Kinematik eindeutige Aufgabenmuster sowie einfache Anteile einer Aufgabe aus der Intention einer Person erkennen kann. Dies können beispielswei se einfachere Bewegungsabläufe wie z.B. Schrauben, Kleben, Rütteln, Klopfen, Nehmen, Legen, Ziehen, Drücken und dergleichen sein. Diese Bewegungsabläufe können von der Kinematik durch Führung von der Person im Rahmen eines erwünschten Kontakts abgefahren und hierdurch erkannt und dadurch angelernt werden.
Mit anderen Worten kann zunächst, wie zuvor beschrieben, grundsätzlich zwischen einem unerwünsch ten Kontakt und einem erwünschten Kontakt unterschieden werden. Auf einen unerwünschten Kontakt grundsätzlich anders als auf einen erwünschten Kontakt reagiert werden. Im vorliegenden Schritt kann dann jeweils genauer unterschieden werden, welche Art von unerwünschtem Kontakt vorliegt und wie hierauf z.B. durch Stoppen, durch Ausweichen, durch Zurückweichen etc. zu reagieren ist. Ebenso kann, wie zuvor ausgeführt, zwischen verschiedenen Arten von erwünschtem Kontakt unterschieden und ent sprechend reagiert werden.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung wird zumindest ein Teil der Verfahrensschrit te wenigstens einmalig, vorzugsweise mehrmalig, wiederholt, wobei das Klassifizieren unter Berücksich tigung mehrerer zeitlich versetzter, vorzugsweise zeitlich unmittelbar aufeinanderfolgender, Beschleu nigungswerte, vorzugsweise Beschleunigungsvektoren, besonders vorzugsweise Features, erfolgt. Mit anderen Worten wird ein zeitlicher Verlauf der Daten, welche der Klassifizierung zugrunde liegen, be trachtet. Hierzu sind wenigstens zwei zeitlich versetzte Beschleunigungswerte oder dergleichen als Da ten erforderlich. Diese Daten können unmittelbar aufeinanderfolgend erfasst worden sein, was zur Er kennung einer Intention vorteilhaft sein kann, da diese Daten derselben Handlung des Partners zuge schrieben werden können. Es können jedoch auch Daten verwendet werden, welche einen größeren zeitlichen Versatz zueinander aufweisen können, so dass bei einer hohen Datenerfassungsrate die Da tenmengen reduziert werden und dennoch die Daten derselben Handlung des Partners zugeordnet werden können, welche üblicherweise signifikant langsamer als die sensorische Datenerfassung erfolgt.
Auf diese Art und Weise können mehr Daten verwendet werden, um hierauf ein Klassifizieren anzuwen den. Vorzugsweise wird eine Mehrzahl, besonders vorzugsweise eine Vielzahl, von derartigen Daten verwendet, wobei die Qualität des Klassifizierens grundsätzlich mit der Menge an verwendeten Daten gesteigert werden kann. Insbesondere kann das Erkennen von eindeutigen Aufgabenmustern sowie einfachen Anteilen einer Aufgabe aus der Intention eines Partners hierdurch begünstigt werden.
Um gleichzeitig die Ausführung des Verfahrens nicht zu rechenintensiv bzw. zu langsam werden zu las sen, kann vorzugsweise die Rate der Datenerfassung soweit reduziert werden, dass die Charakteristiken der zu erkennenden Intentionen des Partners aus möglichst wenigen Daten erkannt werden kann. Die Wahl der Rate der Datenerfassung kann sich je nach Anwendungsfall aus der praktischen Umsetzung ergeben.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt der weitere Schritt:
• übergeordnetes Klassifizieren des erkannten erwünschten Kontakts des Partners hinsichtlich ei nes Bewegungsablaufs, der über die erkannte Intention an sich hinausgeht.
Hierunter ist zu verstehen, dass wie zuvor beschrieben durch das Klassifizieren der Beschleunigungswer te und dergleichen eine erwünschte Intention des Partners erkannt werden kann. Dies kann auch das Erkennen von eindeutigen Aufgabenmustern sowie einfachen Anteilen einer Aufgabe aus der Intention eines Partners beinhalten. Durch die Verwendung eines zeitlichen Verlaufs der Daten, welche der Klassi fizierung zugrunde liegen, kann dies begünstigt werden. Jedoch kann das Klassifizieren hierdurch auf das Erkennen einer Intention eines Partners beschränkt sein, welche sich direkt aus diesen Daten ergeben kann.
Daher geht dieser Aspekt der vorliegenden Erfindung einen Schritt weiter, indem eine erkannte Intenti on durch das übergeordnete Klassifizieren als Abschnitt bzw. Bestandteil eines weiterreichenden Hand- lungs- oder Bewegungsablaufs erkannt werden kann. Mit anderen Worten kann unter Berücksichtigung erkannter Aufgabenmuster sowie einfacher Anteile einer Aufgabe die Gesamtaufgabe an sich als voll ständiges Applikationsszenario erkannt werden. Beispielsweise können dies Pick-and-Place-Aufgaben, ein Farbauftrag, ein Punktschweißauftrag sowie administrative Aufgaben wie z.B. das Einmessen eines Werkzeugs oder eines Koordinatensystems sein.
Beispielsweise kann die Kinematik von einer Person durch einen gewünschten Kontakt geführt und hier durch ein Anfahren eines Gegenstands sowie das Greifen des Gegenstands ausgeführt werden. Diese Bewegung und das Greifen können durch das Klassifizieren als solches von der Kinematik als Intention der Person erkannt werden. Hierdurch kann durch das übergeordnete Klassifizieren, welches ebenso wie das„einfache" Klassifizieren durch entsprechende mathematische Verfahren bzw. Modelle umgesetzt werden kann, eine Zuordnung dieser Handlung von Bewegung und Greifen zu einer vorbekannten kom plexeren Pick-and-Place-Aufgabe erfolgen, welche hierdurch als auszuführende Aufgabe für die Kinema tik erkannt werden kann. Somit kann eine Person eine derartige komplexere Aufgabe starten, indem ausreichende Teilschritte durch Führen der Kinematik durchgeführt werden, so dass die Kinematik hie raus die komplexere Aufgabe als Intention der Person erkennen und diese nun selbsttätig weiterführen kann. Dies kann eine intuitive Möglichkeit schaffen, einer derartigen Kinematik eine Anweisung zur Aus führung einer bekannten komplexeren Aufgabe zu geben. Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt das Ableiten wenigstens eines Fea tures, vorzugsweise mehrerer Features, besonders vorzugsweise aller Features, zusätzlich unter Berück sichtigung wenigstens eines erfassten Positionswerts wenigstens eines Glieds der Kinematik, vorzugs weise der erfassten Positionswerte pro Glied mehrerer Glieder der Kinematik, besonders vorzugsweise aller Glieder der Kinematik, und bzw. oder wenigstens eines erfassten und bzw. oder bestimmten Ge schwindigkeitswerts wenigstens eines Glieds der Kinematik, vorzugsweise der erfassten und bzw. oder bestimmten Geschwindigkeitswerte pro Glied mehrerer Glieder der Kinematik, besonders vorzugsweise aller Glieder der Kinematik, und bzw. oder wenigstens des bestimmten Positionswerts eines Endeffek tors der Kinematik und bzw. oder wenigstens des bestimmten Geschwindigkeitswerts eines Endeffek tors der Kinematik und bzw. oder eines erfassten Motorstroms eines elektrischen Antriebs wenigstens eines Glieds der Kinematik, vorzugsweise des erfassten Motorstroms eines elektrischen Antriebs pro Glied mehrerer Glieder der Kinematik, besonders vorzugsweise aller Glieder der Kinematik. Flierdurch können zusätzliche weitere Informationen genutzt werden, um die hieraus abgeleiteten Features in der Qualität zu verbessern, was sich positiv auf das Klassifizieren auswirken kann.
Unter einem Positionswert eines Gliedes kann je nach Bewegungsrichtung des Gliedes entweder eine Positionsangabe in einer translatorischen Richtung bei einem linear beweglichen Glied oder eine Positi onsangabe in einer rotatorischen Richtung wie z.B. eine Winkelinformation bei einem rotatorisch be weglichen Glied verstanden werden. Dies gilt entsprechend für die Geschwindigkeitswerte. Sowohl bei den Positionswerten als auch bei den Geschwindigkeitswerten wird jeweils eine relative Position bzw. Geschwindigkeit zwischen den jeweiligen Gliedern erfasst bzw. bestimmt.
Diese Positionswerte können jeweils mittels entsprechender Sensoren erfasst werden. Dies kann dadurch begünstigt werden, dass die Posen der Glieder der Kinematik üblicherweise ohnehin bekannt sind, da die Längen bzw. Winkel der Gelenke üblicherweise bereits erfasst werden, um die Posen der Glieder und z.B. bei einem Roboter als Kinematik hieraus die Position und Orientierung eines Endeffek tors zu bestimmen. Somit können sowohl hinsichtlich der Positionswerte der Glieder der Kinematik als auch der Positionswerte des Endeffektors der Kinematik bereits vorhandenen Daten genutzt werden, welche nicht zusätzlich erfasst werden müssen. Insbesondere sind keine zusätzlichen Sensoren hierzu erforderlich.
Ein Geschwindigkeitswert kann vorzugsweise durch zeitliches Differenzieren aus sensorisch erfassten Positionswerten berechnet werden, so dass zusätzliche Informationen zur Verfügung gestellt werden können, ohne hierzu zusätzliche Sensoren wie z.B. Geschwindigkeitssensoren verwenden zu müssen. Dies gilt ebenso für die Geschwindigkeitswerte des Endeffektors der Kinematik. Hierdurch kann der Aufwand zur Erlangung dieser zusätzlichen Informationen gering gehalten und weitere Kosten vermie den werden. Alternativ können jedoch auch Geschwindigkeitssensoren verwendet werden, welche vor- zugsweise bereits vorhanden sind. Sind zusätzliche Geschwindigkeitssensoren zu verwenden, so können diese Kosten und der entsprechende Aufwand der Verkabelung sowie der Sensordatenerfassung, - aufbereitung und -auswertung dadurch gerechtfertigt sein, dass zusätzliche und unabhängige Daten gewonnen werden können, welche für das Klassifizieren genutzt werden können. Dies kann die Qualität des Klassifizierens verbessern.
Die Einbeziehung von Motorströmen kann neben den zuvor beschriebenen Daten, welche Zusammen hänge einer Bewegung darstellen, zusätzliche Aspekte mit in das Klassifizieren einbringen, welche aus den elektrischen Antrieben der Glieder resultieren. Hierdurch kann eine andere Art von Information zusätzlich zum Klassifizieren verwendet werden, was die Qualität der Ergebnisse des Klassifizierens wei ter verbessern kann. Dies kann üblicherweise ohne zusätzliche Sensorik erfolgen, da die Motorströme der Antriebe von deren Steuerungen ohnehin erfasst werden und somit ohne zusätzlichen Aufwand und ohne zusätzliche Kosten zur Verfügung gestellt werden können.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt das Klassifizieren unter Berücksichti gung eines vorangehenden Anlernens, wobei beim Anlernen zumindest ein Teil der Verfahrensschritte unter Kenntnis der Intention des Partners ausgeführt wurden, und bzw. oder wobei beim Anlernen si- mulativ erzeugte Daten, vorzugsweise unter Berücksichtigung eines Kinematikmodells und bzw. oder eines Dynamikmodells der Kinematik, verwendet werden. Unter einem Anlernen ist ein Trainieren der mathematischen Verfahren bzw. Modelle zu verstehen, welche dem Klassifizieren zugrunde liegen.
Zu diesem Zweck können verschiedene unerwünschte und erwünschte Kontakte der Kinematik mit we nigstens einem Partner und vorzugsweise mit verschiedenartigen Partnern ausgeführt und hierbei die Beschleunigungswerte und dergleichen erfasst werden. Dem Klassifizieren kann dabei vorgegeben wer den, ob es sich um einen unerwünschten oder erwünschten Kontakt, um welche Art von unerwünsch tem oder erwünschtem Kontakt sowie um was für einen Partner es sich handelt. Hierdurch kann das Klassifizieren bzw. der Klassifikator lernen, diese Szenarien zu unterscheiden und die Besonderheiten in den Daten zu erkennen, welche Rückschlüsse auf diese Szenarien zulassen. Ausgehend von diesem Wis sen kann das Klassifizieren im Betrieb erfolgen, wenn das erfindungsgemäße Verfahren auf unbekannte Situationen angewendet wird.
Zusätzlich oder alternativ können Simulationsdaten verwendet werden, welche derartige Szenarien dar stellen können. Die Simulationsdaten bzw. simulativ erzeugte Daten können auch als modellbasierte Daten bezeichnet werden. Diese können zusätzlich oder alternativ zu erfassten Beschleunigungswerten und dergleichen verwendet werden, um das Klassifizieren anzulernen. Hierbei auf einem Kinematikmo dell und bzw. oder auf einem Dynamikmodell der Kinematik basierende Daten zu verwenden kann die Qualität der Simulationsdaten erhöhen und ausreichend an die realen Bedingungen annähern, so dass ein Anlernen des Klassifizierens mit den Simulationsdaten mit einer vergleichbaren Qualität wie mit sensorisch erfassten Daten erfolgen kann. Dies kann den Aufwand der Bereitstellung von Daten zum Anlernen reduzieren, jedoch zu vergleichbaren Ergebnissen des Anlernens führen.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt das Klassifizieren unter Berücksichti gung wenigstens eines vorangehenden Klassifizierens, wobei das Ergebnis des Klassifizierens in Abhän gigkeit einer Bewertung berücksichtigt wird. Auf diese Art und Weise können die Erkenntnisse, welche sich aus der Anwendung des erfindungsgemäßen Verfahrens ergeben, fortlaufend zum weiteren Anler nen des Klassifizierens bzw. des Klassifikators verwendet werden, um dessen Fähigkeiten über das ur sprüngliche Anlernen hinaus zu verbessern. Mit anderen Worten kann die Anwendung des Verfahrens in der Praxis dazu verwendet werden, die hierbei gewonnenen Erkenntnisse in die Weiterentwicklung des Klassifizierens einfließen zu lassen, so dass sich das Klassifizieren fortlaufend weiterentwickeln kann.
Dies kann die Qualität des Klassifizierens weiter steigern.
Hierbei ist es jedoch, vergleichbar dem Anlernen, erforderlich, das Ergebnis jedes Klassifizierens zu be werten um dem Verfahren eine Rückmeldung zu geben, ob das Klassifizieren erfolgreich durchgeführt wurde oder nicht. Mit anderen Worten muss von außerhalb des Verfahrens beurteilt werden, ob die tatsächliche Intention mit der klassifizierten Intention übereinstimmt oder nicht. In beiden Fällen kann dies zur Verbesserung des Schrittes des Klassifizierens beitragen bzw. den Klassifikator in seiner Genau igkeit verbessern helfen. Diese Bewertung kann selbsttätig z.B. dadurch erfolgen, dass das Ergebnis in Relation zu anderen Randbedingungen, Messdaten sowie hieraus gewonnener Ergebnisse betrachtet wird. Beispielsweise kann ein Überschreiten von zulässigen Geschwindigkeiten oder Positionen der Ki nematik dazu führen, dass ein Widerspruch zu einer als zulässig klassifizierten Bewegung der Kinematik erkannt und somit z.B. das Klassifikationsergebnis als unzutreffend erkannt sowie nicht zur Weiterent wicklung des Klassifizierens verwendet wird. Im umgekehrten Fall kann das Einhalten von bestimmten Parametern zu einer Bestätigung eines klassifizierten Verhaltens als zutreffend führen, so dass dieses Klassifizierungsergebnis zukünftig bei dem Klassifizieren berücksichtigt wird. Zusätzlich oder alternativ kann das Ergebnis des Klassifizierens einem Benutzer mitgeteilt und lediglich dann zukünftig beim Klassi fizieren berücksichtigt werden, falls das Ergebnis des Klassifizierens vom Benutzer als zutreffend bestä tigt wird. Die Rückmeldung vom Benutzer zum Ergebnis des Klassifizierens kann auch indirekt erfolgen, indem z.B. eine vorgeschlagene Applikation vom Benutzer angenommen oder abgelehnt wird. Dies kann zu einer sicheren Aussage über den Erfolg des Klassifizierens führen.
Gemäß eines weiteren Aspekts der vorliegenden Erfindung erfolgt das Klassifizieren mittels eines Ver fahrens des maschinellen Lernens, vorzugsweise mittels eines Support-Vector-Machine-Verfahrens oder mittels eines neuronalen Netzes. Hierdurch können geeignete Verfahren verwendet werden, um das Klassifizieren wie zuvor beschrieben umzusetzen. Unter dem maschinellen Lernen wird als ein Oberbe griff die„künstliche" Generierung von Wissen aus Erfahrung verstanden. Ein künstliches System lernt aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern. Mit anderen Worten werden nicht Beispiele auswendig gelernt, sondern das Verfahren„erkennt" Muster und Gesetzmäßig keiten in den Lerndaten. So kann das System auch unbekannte Daten beurteilen und hierdurch einen Lerntransfer durchführen. Hierzu können Regressionsverfahren oder Klassifizierungsverfahren wie z.B. das Support -Vector-Machine-Verfahren oder neuronale Netze verwendet werden.
Die vorliegende Erfindung betrifft auch ein Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Ausführung eines Verfahrens wie zuvor beschrieben. Das computerlesbare Medium kann ein interner Speicher eines Computers sowie ein entfernbarer Speicher wie z.B. eine Diskette, eine CD, eine DVD, ein USB-Stick, eine Speicherkarte und dergleichen sein. Unter einem Computer wird jegliche Recheneinheit verstanden, welche dazu in der Lage ist, das Verfahren auszuführen. Auf diese Art und Weise kann das erfindungsgemäße Verfahren einem Computer, welcher eine Steuerungseinheit einer erfindungsgemäßen Vorrichtung sein kann, zur Verfügung gestellt werden.
Die vorliegende Erfindung betrifft auch eine mehrgliedrige aktuierte Kinematik, vorzugsweise einen Ro boter, besonders vorzugsweise einen Knickarmroboter, zur Ausführung eines Verfahrens wie zuvor be schrieben mit mehreren Gliedern, welche durch aktuierte Gelenke miteinander verbunden sind, wobei wenigstes ein Glied, vorzugsweise mehrere Glieder, besonders vorzugsweise alle Glieder, wenigstens einen Beschleunigungssensor aufweisen, und mit einer Steuerungseinheit, welche ausgebildet ist, ein Verfahren wie zuvor beschrieben auszuführen. Hierdurch kann eine Kinematik geschaffen werden, mit welcher das erfindungsgemäße Verfahren ausgeführt werden kann. Die diesbezüglichen Eigenschaften und Vorteile wurden bereits zuvor hinsichtlich des erfindungsgemäßen Verfahrens beschrieben und sollen daher hier nicht wiederholt werden.
Ein Ausführungsbeispiel und weitere Vorteile der Erfindung werden nachstehend im Zusammenhang mit den folgenden Figuren erläutert. Darin zeigt:
Fig. 1 eine seitliche schematische Darstellung einer erfindungsgemäßen mehrgliedrigen aktuierten Kinematik; und
Fig. 2 eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens.
Die Fig. 1 wird in kartesischen Koordinaten betrachtet. Es erstreckt sich eine Längsrichtung X, welche auch als Tiefe X bezeichnet werden kann. Senkrecht zur Längsrichtung X erstreckt sich eine Querrich tung, welche auch als Breite bezeichnet werden kann. Senkrecht sowohl zur Längsrichtung X als auch zur Querrichtung erstreckt sich eine vertikale Richtung Z, welche auch als Höhe Z bezeichnet werden kann. Fig. 1 zeigt eine seitliche schematische Darstellung einer erfindungsgemäßen mehrgliedrigen aktuierten Kinematik 1 in Form eines Roboters 1 und genauer eines Knickarmroboters 1. Der Knickarmroboter 1 weist eine Basis 10 auf, mit welcher der Knickarmroboter 1 auf einem Untergrund 3 feststehend ange ordnet ist, wobei der Knickarmroboter 1 auch mobil ausgebildet sein kann. Von der feststehenden Basis 10 weg erstrecken sich mehrere Glieder 11, welche untereinander mit aktuierten Gelenken 12 verbun den sind. Flierdurch bildet der Knickarmroboter 1 eine serielle kinematische Kette aus, welche sich von der Basis 10 hin zu einem Endeffektor 13 erstreckt. Der Endeffektor 13 kann z.B. mit einem Greifer ver sehen bzw. als Greifer ausgebildet sein, um Gegenstände greifen und mit sich mit bewegen zu können. Die Bewegungen des Knickarmroboters 1 sowie die Betätigung des Greifers des Endeffektors 13 werden von einer Steuerungseinheit 15 gesteuert bzw. geregelt, welche auch als Recheneinheit 15 oder Flaupt- rechner 15 des Knickarmroboters 1 bezeichnet werden kann.
Die Gelenke 12 sind jeweils als Drehgelenke 12 ausgebildet und werden dadurch aktuiert, dass jeweils ein elektrischer Antrieb pro Gelenke 12 vorgesehen ist (nicht dargestellt), welcher dieses rotatorisch antreiben kann. Die Antriebe werden jeweils von einem Motorcontroller gesteuert bzw. geregelt (nicht dargestellt), welcher auch die Messgrößen des jeweiligen Antriebs erfassen kann. Der Antrieb eines Gelenks 12 bzw. dessen Motorcontroller ist jeweils auf dem Glied 11 angeordnet, welches der Basis 10 zugewandt ist. Somit wird das Gewicht des Antriebs bzw. dessen Motorcontrollers jeweils von dem Glied 11 getragen, welches näher an der Basis 10 angeordnet ist. Flierdurch kann das zu bewegende Gewicht möglichst gering gehalten werden.
Erfindungsgemäß ist für jedes Gelenk 12 ein Beschleunigungssensor 14 vorgesehen, welcher jeweils auf der Platine des entsprechenden Motorcontrollers des Antriebs des Gelenks 12 angeordnet ist. Die Be schleunigungssensoren 14 sind jeweils ausgebildet, die Beschleunigungen in den drei kartesischen Raumrichtungen bezogen auf die Motorcontrollerplatine gemeinsam zu erfassen, so dass hierzu ledig lich jeweils ein Beschleunigungssensor 14 erforderlich ist.
Die erfassten Beschleunigungswerte der Beschleunigungssensoren 14 können mittels des folgenden erfindungsgemäßen Verfahrens dazu genutzt werden, eine Intention eines Partners 2 wie z.B. einer Per son 2 des Knickarmroboters 1, welcher mit dem Knickarmroboter 1 interagieren möchte, wie folgt zu erkennen:
Fig. 2 zeigt eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens.
In einem ersten Schritt 100 werden die drei kartesischen Beschleunigungswerte pro Glied 11 für jedes bewegliche Glied 11 des Knickarmroboters 1 erfasst. Die erfassten Beschleunigungswerte werden auf der jeweiligen Motorcontrollerplatine mittels A/D-Wandlung digitalisiert, ggfs verstärkt, gefiltert oder dergleichen und anschließend z.B. mittels Feldbus zum Flauptrechner 15 übertragen, welcher auch als Motion Control System 15 bezeichnet werden kann. Im Hauptrechner 15 oder auch bereits vorher auf der jeweiligen Motorcontrollerplatine wird in einem zweiten Schritt 200 jeweils ein Beschleunigungsvek tor pro Glied 11 aus dessen erfassten Beschleunigungswerten in lokalen Koordinaten des entsprechen den Gliedes 11 ermittelt. Dies kann eine verständlichere Darstellung dieser Information sein. Auch kann dies die weitere Verarbeitung vereinfachen und bzw. oder beschleunigen.
Die ermittelten lokalen Beschleunigungsvektoren werden nun in einem dritten Schritt 300 von der je weiligen Pose des Beschleunigungssensors 14 auf der Motorcontrollerplatine in ein Bezugskoordinaten system des Knickarmroboters 1 transformiert. Aus den ermittelten Beschleunigungsvektoren des Be zugskoordinatensystems werden dann in einem vierten Schritt 400 sog. Features abgeleitet, um die Menge der Daten vorzuverarbeiten und hierdurch zu reduzieren, so dass die folgenden Verfahrens schritte vereinfacht und beschleunigt werden können.
In einem fünften Schritt 500 werden die Features klassifiziert. Dies kann z.B. mittels Verfahren des ma schinellen Lernens wie vorzugsweise mittels eines Support-Vector-Machine-Verfahrens oder mittels eines neuronalen Netzes erfolgen. Als Ergebnis des Klassifizierens 500 kann zunächst zwischen einem unerwünschten Kontakt und einem erwünschten Kontakt als Intention der Person 2 unterschieden wer den. Mit anderen Worten kann durch das erfindungsgemäße Verfahren dazwischen differenziert wer den, ob ein Kontakt zwischen der Person 2 und dem Knickarmroboter 1 unabsichtlich z.B. als Kollision eintritt, weil z.B. die Person 2 in eine Bahn des Knickarmroboters 1 gelangt ist und daher von diesem berührt wurde, oder ob die Person 2 absichtlich Kontakt zu dem Knickarmroboter 1 aufgenommen hat, indem die Person 2 z.B. ein Glied 11 oder den Endeffektor 13 des Knickarmroboters 1 ergriffen hat. In nerhalb desselben Schritts des Klassifizierens 500 oder in einem anschließenden Schritt kann dann eine genauere Differenzierung des Kontakts erfolgen, wie weiter unten noch beschrieben wird.
Im Fall eines unerwünschten Kontakts in einem sechsten Schritt 600 kann der Knickarmroboter 1 z.B. durch stromlosschalten der Antriebe sowie durch Betätigen der Bremsen der Antriebe in einen sicheren Zustand versetzt werden, da der mittels des Klassifizierens 500 erkannte Kontakt zur Person 2 als dessen Intention erkannt werden kann, nicht stärker von dem Knickarmroboter 1 berührt und wohlmöglich verletzt zu werden.
Im Fall eines erwünschten Kontakts kann in einem alternativen siebten Schritt 700 eine Reaktion des Knickarmroboters 1 auf die Person 2 erfolgen, welche der erkannten Intention der Person 2 entspricht. Beispielsweise kann der Knickarmroboter 1 die Absicht der Person 2 erkennen, den Knickarmroboter 1 und insbesondere dessen Endeffektor 13 auf einer Bahn oder zu einer Pose führen zu wollen. In diesem Fall kann der Knickarmroboter 1 diese Bewegung im Gravitationskompensationsmodus zulassen und die Bahn gleichzeitig speichern, um sie zu lernen und später selbsttätig abfahren zu können. Inklusive einer
Betätigung des Greifers des Endeffektors 13 kann hierdurch z.B. eine Pick-and-Place-Aufgabe von der Person 2 mit dem Knickarmroboter 1 ausgeführt werden, um diesen z.B. für diese Aufgabe zu program mieren.
Dabei kann in einer einfachen Realisierung das Klassifizieren 500 ausgebildet sein, lediglich zwischen einem unerwünschten und erwünschten Kontakt sozusagen digital zu unterscheiden und jeweils mit einer einzigen Handlung hierauf zu reagieren. Dies kann bei einem unerwünschten Kontakt ein Stoppen der Bewegung des Knickarmroboters 1 und im Fall eines erwünschten Kontakts das Aktivieren eines Gravitationskompensationsmodus sein. Wie zuvor beschrieben ist das Klassifizieren 500 jedoch differen zierter ausgebildet, so dass im Rahmen dieses Schrittes 500 auch jeweils eine Unterscheidung zwischen verschiedenen unerwünschten bzw. erwünschten Kontakten erfolgen kann, welche unterschiedliche Reaktionen auslösen können, die der erkannten Intention der Person 2 entsprechen.
Dabei wird das erfindungsgemäße Verfahren fortlaufend wiederholend ausgeführt, siehe Pfeil von Schritt 700 bzw. 800 zu Schritt 100 der Fig. 2, so dass durchgängig Beschleunigungswerte erfasst und verarbeitet werden können, um das Klassifizieren 500 unter Berücksichtigung mehrerer zeitlich versetz ter und unmittelbar aufeinanderfolgender Features ausführen zu können. Die entsprechend gesteigerte Menge an Daten, welche zum Klassifizieren 500 verwendet werden können, kann die Qualität des Er gebnisses des Klassifizierens 500 erhöhen und insbesondere komplexere Schlussfolgerungen zulassen, welche aufgrund einer einzigen Momentaufnahme des Knickarmroboters 1 gar nicht möglich wären.
Auf diesen einfachen Klassifizierungsergebnissen beruhend kann in einem achten Schritt 800 ein über geordnetes Klassifizieren 800 des erkannten erwünschten Kontakts der Person 2 hinsichtlich eines Be wegungsablaufs erfolgen, der über die erkannte Intention an sich hinausgeht. Mit anderen Worten kann z.B. eine einzelne Pick-and-Place-Handlung durch das übergeordnete Klassifizieren 800 als ein Bestand teil einer umfangreicheren Aufgabe bzw. eines ganzen Handlungsablaufs mehrere Pick-and-Place- Handlungen sowie weiterer Handlungen erkannt werden. Hierdurch kann der Knickarmroboter 1 seitens der Person 2 durch das„Vormachen" der einzelnen Handlung zum selbstständigen Ausführen des über geordneten Gesamthandlungsablaufs aufgefordert werden. Mit anderen Worten kann auf diese Weise eine Handlungsanweisung von der Person 2 an den Knickarmroboter 1 erteilt werden.
Vorzugsweise erfolgt das Ableiten 400 der Features unter Berücksichtigung weiterer Informationen des Knickarmroboters 1. Dies können z.B. erfasste Posen der einzelnen Glieder 11 sein, welche üblicher weise ohnehin erfasst werden und somit ohne zusätzlichen Aufwand zur Verfügung gestellt werden können. Auch können diese Informationen Geschwindigkeitswerte der einzelnen Glieder 11 sein, welche durch zeitliches Differenzieren aus den erfassten Positionswerten erhalten oder zusätzlich sensorisch erfasst werden können. Auch können die Pose und bzw. oder die Geschwindigkeitswerte des Endeffek tors 13 des Knickarmroboters 1 bestimmt und berücksichtigt werden. Ferner können die Motorströme der einzelnen elektrischen Antriebe berücksichtigt werden, welche von den Motorcontrollern der Glie- der 11 üblicherweise ohnehin zur Steuerung bzw. Regelung der Antriebe erfasst werden und somit ohne zusätzlichen Aufwand zur Verfügung gestellt werden können. Durch die Verwendung dieser zusätzlichen Informationen können aussagekräftigere Features abgeleitet werden, was die Qualität des Klassifizie rens 500 verbessern kann.
Das Klassifizieren 500 erfolgt unter Berücksichtigung eines vorangehenden Anlernens 000, welches als initialer Schritt den übrigen zuvor beschriebenen Verfahrensschritten vorausgeht, siehe gestrichelten Kasten des Schritts 000 der Fig. 2. Das Anlernen 000 dient dem Schaffen einer Basis mathematischer Regeln, mittels derer das Klassifizieren 500 begonnen werden kann. Flierzu können die Verfahrensschrit te unter Kenntnis der Intention der Person 2 ausgeführt worden sein, so dass der Klassifikator bzw. das Klassifizieren 500 sein Ergebnis kennt und die erhaltenen Daten derart interpretieren kann, dass das vorgegebene Ergebnis erkannt werden kann. Zusätzlich oder alternativ können beim Anlernen 000 simu- lativ erzeugte Daten verwendet werden, welche unter Berücksichtigung eines Kinematikmodells und bzw. oder eines Dynamikmodells des Knickarmroboters 1 erstellt worden sein können. Auch in diesem Fall ist die Intention der Person 2 bekannt, welche zu den simulierten Daten passt, so dass auch hier durch das Klassifizieren 500 angelernt werden kann.
Zusätzlich zum initialen Anlernen 000 werden die Daten sowie die hieraus klassifizierten Intentionen während der Anwendung des Verfahrens verwendet, um dem Klassifizieren 500 fortlaufend Rückmel dungen zu geben, siehe gestrichelten Pfeil in Fig. 2 dort, und hierdurch das Klassifizieren 500 immer weiter zu verbessern. Mit anderen Worten erfolgt das Klassifizieren 500 unter Berücksichtigung der be reits erfolgten Vorgänge des Klassifizierens 500. Flierzu wird das Ergebnis des aktuellen Klassifizierens 500 einem Benutzer z.B. über eine Anzeige auf einem Bildschirm mitgeteilt und z.B. um Bestätigung gebeten; erfolgt diese Bestätigung des Benutzers, wird das Ergebnis des Klassifizierens 500 als zutref fend angesehen und zukünftig bei weiteren Ausführungen des Verfahrens berücksichtigt. Dies kann ein fortlaufendes Lernen der mathematischen Verfahren des Klassifizierens 500 ermöglichen. Auch das übergeordnete Klassifizieren 800 kann entsprechend initial angelernt werden (nicht dargestellt) und fortlaufend durch Berücksichtigung seiner Ergebnisse verbessert werden, siehe gestrichelten Pfeil in Fig. 2 dort.
Das initiale Anlernen 000 des Klassifizierens 500 sowie die fortlaufenden Rückschlüsse eines erfolgten Klassifizierens 500 auf zukünftige Anwendungen des Klassifizierens 500 kann lediglich für den Knickarm roboter 1 selbst erfolgen, so dass das Verfahren lokal auf der Steuerungseinheit 15 des Knickarmrobo ters 1 ausgeführt und dort auch die Daten des mathematischen Verfahrens des Klassifizierens 500 ge speichert und verarbeitet werden können.
Es ist jedoch auch möglich, dass die Datensätze des Klassifizierens 500 zentral z.B. in der Cloud von ver schiedenen Kinematiken 1 wie z.B. von verschiedenen Knickarmrobotern 1 aggregiert werden sowie auch das Anlernen 000 basierend auf Simulationsdaten dort erfolgt, so dass die angelernten sowie durch die Anwendung weiterentwickelten mathematischen Modelle des Klassifizierens 500 dann den einzel nen an der Cloud beteiligten Knickarmrobotern 1 zur Verfügung gestellt werden können. Hierdurch kann der Aufwand für das Anlernen 000 und das Weiterentwickeln des Klassifizierens 500 reduziert werden, weil dies lediglich einmalig für mehrere Knickarmroboter 1 durchgeführt werden muss aber von mehre ren Knickarmrobotern 1 genutzt werden kann. Auch können hierdurch die Daten aus der Anwendung eines Knickarmroboters 1 verwendet werden, um das Klassifizieren 500 für alle beteiligten Knickarmro boter 1 zu verbessern, so dass aufgrund der vergrößerten Datenmenge ein schnelleres Weiterentwi ckeln des Klassifizierens 500 erfolgen kann, was allen beteiligten Knickarmrobotern 1 zu Gute kommen kann. Dies kann entsprechend für das übergeordnete Klassifizieren 800 gelten.
Erfindungsgemäß können auf diese Art und Weise von einer Kinematik 1 wie z.B. einem Knickarmrobo ter 1 sowohl einfache Unterscheidungen einer Handlung bzw. Intention einer Person 2 wie zwischen einem unerwünschten und einem erwünschten Kontakt unterschieden werden. Auch können die beiden Kontaktarten jeweils genauer differenziert werden, um z.B. verschiedene erwünschte Kontakte vonei nander zu unterscheiden. Diese können als Teilabschnitte einer übergeordneten Handlung erkannt und dieser zugeordnet werden. Dies kann die Zusammenarbeit z.B. zwischen einer Person 2 und dem Knick armroboter 1 vereinfachen, intuitiver für die Person 2 machen und gleichzeitig die Sicherheit der Zu sammenarbeit gewährleisten. Hierdurch können auch Zeit und damit Kosten für einen geringeren Schu lungsbedarf der Person 2 zur Programmierung und bzw. oder Bedienung des Knickarmroboters 1 einge spart werden.
Dies beinhaltet auch, dass durch gewünschte Kontakte eine Kommunikation zwischen der Person 2 und dem Knickarmroboter 1 stattfinden kann, welche sowohl zur Programmierung von Bewegungen und dergleichen als auch zum Abruf von programmierten Handlungen verwendet werden kann. Dies kann insbesondere zu einer Zeitersparnis in der Programmierung und bzw. oder Bedienung des Knickarmro boters 1 für die Person 2 führen.
Dies kann unter Berücksichtigung der Beschleunigungswerte der Glieder oder sogar teilweise oder aus schließlich basierend auf den Beschleunigungswerten der Glieder 11 sehr kostengünstig erfolgen, was die Umsetzung des erfindungsgemäßen Verfahrens begünstigen und die Akzeptanz derartiger Kinemati ken 1 wie z.B. Knickarmroboter 1 auch aufgrund reduzierter Anschaffungskosten erhöhen kann. Dies mit Verfahren zum maschinellen Lernen zu kombinieren kann die recheneffiziente Auswertung der Sensor daten sowie das Erkennen auch komplexer Bewegungsmuster ermöglichen. BEZUGSZEICHENLISTE (Teil der Beschreibung)
X Längsrichtung; Tiefe
Z vertikale Richtung; Höhe
1 mehrgliedrige aktuierte Kinematik; (Knickarm-)Roboter
10 Basis
11 Glieder
12 aktuierte (Dreh-)Gelenke
13 Endeffektor
14 Beschleunigungssensoren
15 Steuerungseinheit; Recheneinheit; Hauptrechner; Motion Control System
2 Partner; Person
3 Untergrund
000 vorangehendes Anlernen des Klassifizierens 500
100 Erfassen Mehrzahl von Beschleunigungswerten wenigstens eines Glieds 11
200 Ermitteln Beschleunigungsvektor des Glieds 11 aus dessen erfassten Beschleunigungswerten
300 Transformieren erfasste Beschleunigungswerte
400 Ableiten von Feature aus erfassten Beschleunigungswerten
500 Klassifizieren des Features hinsichtlich Intention des Partners 2 gegenüber Kinematik 1 600 Versetzen Kinematik 1 in sicheren Zustand
700 Reagieren der Kinematik 1 auf Partner 2
800 übergeordnetes Klassifizieren der als positiv erkannten Intention des Partners 2

Claims

PATENTANSPRÜCHE
1. Verfahren zur Erkennung einer Intention eines Partners (2) gegenüber einer mehrgliedrigen aktu- ierten Kinematik (1), mit wenigstens den Schritten:
Erfassen (100) mehrerer Beschleunigungswerte, vorzugsweise von drei kartesischen Beschleuni- gungswerten, wenigstens eines Glieds (11) der Kinematik (1), und
Klassifizieren (500) der Beschleunigungswerte hinsichtlich einer Intention des Partners (2) gegen über der Kinematik (1).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Erfassen (100) mehrerer Beschleunigungswerte pro Glied (11) mehrerer Glieder (11), vor- zugsweise aller Glieder (11), der Kinematik (1) erfolgt.
3. Verfahren nach Anspruch 1 oder 2, gekennzeichnet durch wenigstens den Schritt nach dem Erfas sen (100):
Ermitteln (200) eines Beschleunigungsvektors des Glieds (11), vorzugsweise eines Beschleuni gungsvektors pro Glied (11), aus dessen erfassten Beschleunigungswerten, wobei das Klassifizieren (500) unter Berücksichtigung des Beschleunigungsvektors des Glieds (11), vorzugsweise der Beschleunigungsvektoren der Glieder (11), erfolgt.
4. Verfahren nach Anspruch 3, gekennzeichnet durch wenigstens den weiteren Schritt nach dem Ermitteln (200):
Transformieren (300) des ermittelten Beschleunigungsvektors, vorzugsweise der ermittelten Be- schleunigungsvektoren, von einem lokalen Koordinatensystem des Glieds (11) in ein Koordinaten system der Kinematik (1).
5. Verfahren nach einem der vorangehenden Ansprüche, gekennzeichnet durch wenigstens den weiteren Schritt nach dem Erfassen (100):
Ableiten (400) wenigstens eines Features aus wenigstens den erfassten Beschleunigungswerten, vorzugsweise aus wenigstens dem ermittelten Beschleunigungsvektor, besonders vorzugsweise aus wenigstens den ermittelten Beschleunigungsvektoren, wobei das Klassifizieren (500) unter Berücksichtigung wenigstens eines Features, vorzugsweise mehrere Features, erfolgt.
6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Klassifizieren (500) ausgebildet ist, zwischen einem unerwünschten Kontakt und einem er wünschten Kontakt als Intention des Partners (2) zu unterscheiden.
7. Verfahren nach Anspruch 6, gekennzeichnet durch den weiteren Schritt: im Fall eines unerwünschten Kontakts, Versetzen (600) der Kinematik (1) in einen sicheren Zu stand entsprechend der erkannten Intention, und/oder im Fall eines erwünschten Kontakts, Reagieren (700) der Kinematik (1) auf den Partner (2) ent sprechend der erkannten Intention.
8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein Teil der Verfahrensschritte wenigstens einmalig, vorzugsweise mehrmalig, wieder holt wird, wobei das Klassifizieren (500) unter Berücksichtigung mehrerer zeitlich versetzter, vorzugsweise zeitlich unmittelbar aufeinanderfolgender, Beschleunigungswerte, vorzugsweise Beschleuni gungsvektoren, besonders vorzugsweise Features, erfolgt.
9. Verfahren nach einem der Ansprüche 6 bis 8, gekennzeichnet durch den weiteren Schritt: übergeordnetes Klassifizieren (800) des erkannten erwünschten Kontakts des Partners (2) hin sichtlich eines Bewegungsablaufs, der über die erkannte Intention an sich hinausgeht.
10. Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, dass das Ableiten (400) wenigstens eines Features, vorzugsweise mehrerer Features, besonders vor zugsweise aller Features, zusätzlich unter Berücksichtigung wenigstens eines erfassten Positionswerts wenigstens eines Glieds (11) der Kinematik (1), vorzugsweise der erfassten Positionswerte pro Glied (11) mehrerer Glieder(ll) der Kinema tik (1), besonders vorzugsweise aller Glieder (11) der Kinematik (1), und/oder wenigstens eines erfassten und/oder bestimmten Geschwindigkeitswerts wenigstens eines Glieds (11) der Kinematik (1), vorzugsweise der erfassten und/oder bestimmten Geschwin digkeitswerte pro Glied (11) mehrerer Glieder (11) der Kinematik (1), besonders vorzugs weise aller Glieder (11) der Kinematik (1), und/oder wenigstens des bestimmten Positionswerts eines Endeffektors (13) der Kinematik (1), und/oder wenigstens des bestimmten Geschwindigkeitswerts eines Endeffektors (13) der Kinematik
(I), und/oder eines erfassten Motorstroms eines elektrischen Antriebs wenigstens eines Glieds (11) der Kinematik (1), vorzugsweise des erfassten Motorstroms eines elektrischen Antriebs pro Glied (11) mehrerer Glieder(ll) der Kinematik (1), besonders vorzugsweise aller Glieder
(II) der Kinematik (1), erfolgt.
11. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Klassifizieren (500) unter Berücksichtigung eines vorangehenden Anlernens (000) erfolgt, wobei beim Anlernen (000) zumindest ein Teil der Verfahrensschritte unter Kenntnis der Intention des Partners (2) ausgeführt wurden, und/oder wobei beim Anlernen (000) simulativ erzeugte Daten, vorzugsweise unter Berücksichtigung eines Kinematikmodells und/oder eines Dynamikmodells der Kinematik (1), verwendet werden.
12. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Klassifizieren (500) unter Berücksichtigung wenigstens eines vorangehenden Klassifizierens (500) erfolgt, wobei das Ergebnis des Klassifizierens (500) in Abhängigkeit einer Bewertung berücksichtigt wird.
13. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Klassifizieren (500) mittels eines Verfahrens des maschinellen Lernens, vorzugsweise mittels eines Support-Vector-Machine-Verfahrens oder mittels eines neuronalen Netzes, erfolgt.
14. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer les baren Medium gespeichert ist, zur Ausführung eines Verfahrens nach einem der vorangehenden Ansprüche.
15. Mehrgliedrige aktuierte Kinematik (1), vorzugsweise Roboter (1), besonders vorzugsweise Knick armroboter (1), zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 13, mit mehreren Gliedern (11), welche durch aktuierte Gelenke (12) miteinander verbunden sind, wobei wenigstes ein Glied (11), vorzugsweise mehrere Glieder (11), besonders vorzugsweise alle Glieder (11), wenigstens einen Beschleunigungssensor (14) aufweisen, und mit einer Steuerungseinheit (15), welche ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.
PCT/EP2019/059704 2018-04-19 2019-04-15 Verfahren zur erkennung einer intention eines partners gegenüber einer mehrgliedrigen aktuierten kinematik WO2019201873A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018109320.9 2018-04-19
DE102018109320.9A DE102018109320A1 (de) 2018-04-19 2018-04-19 Verfahren zur Erkennung einer Intention eines Partners gegenüber einer mehrgliedrigen aktuierten Kinematik

Publications (1)

Publication Number Publication Date
WO2019201873A1 true WO2019201873A1 (de) 2019-10-24

Family

ID=66223727

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/059704 WO2019201873A1 (de) 2018-04-19 2019-04-15 Verfahren zur erkennung einer intention eines partners gegenüber einer mehrgliedrigen aktuierten kinematik

Country Status (2)

Country Link
DE (1) DE102018109320A1 (de)
WO (1) WO2019201873A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202022103342U1 (de) 2022-06-14 2023-09-22 Kelo Robotics Gmbh Kollaborative Transporttechnik

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007062473A1 (de) 2007-12-20 2009-07-02 Technische Universität München Tür, insbesondere Fahrzeugtür, mit wenigstens zwei kinematischen Freiheitsgraden und Verfahren zu ihrer Betätigung
US20170190051A1 (en) 2016-01-06 2017-07-06 Disney Enterprises, Inc. Trained human-intention classifier for safe and efficient robot navigation
US20180032868A1 (en) * 2016-07-26 2018-02-01 University Of Connecticut Early prediction of an intention of a user's actions
US20180056520A1 (en) * 2016-08-23 2018-03-01 Fanuc Corporation Machine learning device, robot system, and machine learning method for learning motion of robot engaged in task performed by human and robot in cooperate with each other

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676379B2 (en) * 2006-07-04 2014-03-18 Panasonic Corporation Device and method for controlling robot arm, robot, and robot arm control program
DE102006048166A1 (de) * 2006-08-02 2008-02-07 Daimler Ag Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
EP2364243B1 (de) * 2008-12-03 2012-08-01 ABB Research Ltd. Robotersicherheitssystem und verfahren
JP5668770B2 (ja) * 2013-03-15 2015-02-12 株式会社安川電機 ロボットシステム、及び、ロボットシステムの制御方法
US9927797B2 (en) * 2014-08-29 2018-03-27 Amazon Technologies, Inc. Safety compliance for mobile drive units
DE102015108010B3 (de) * 2015-05-20 2016-06-02 Cavos Bagatelle Verwaltungs Gmbh & Co. Kg Steuern und Regeln von Aktoren eines Roboters unter Berücksichtigung von Umgebungskontakten

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007062473A1 (de) 2007-12-20 2009-07-02 Technische Universität München Tür, insbesondere Fahrzeugtür, mit wenigstens zwei kinematischen Freiheitsgraden und Verfahren zu ihrer Betätigung
US20170190051A1 (en) 2016-01-06 2017-07-06 Disney Enterprises, Inc. Trained human-intention classifier for safe and efficient robot navigation
US20180032868A1 (en) * 2016-07-26 2018-02-01 University Of Connecticut Early prediction of an intention of a user's actions
US20180056520A1 (en) * 2016-08-23 2018-03-01 Fanuc Corporation Machine learning device, robot system, and machine learning method for learning motion of robot engaged in task performed by human and robot in cooperate with each other

Also Published As

Publication number Publication date
DE102018109320A1 (de) 2019-10-24

Similar Documents

Publication Publication Date Title
DE102014115774B3 (de) Robotersystem und Verfahren zum Vermeiden eines Kontakts zwischen einem Greiforgan des Robotersystems und einem dynamischen Hindernis in der Umgebung
EP2905111B1 (de) Verfahren zum Programmieren eines Industrieroboters und zugehöriger Industrieroboter
DE102008062622B9 (de) Verfahren und Vorrichtung zur Befehlseingabe in eine Steuerung eines Manipulators
DE112016002013T5 (de) Systeme und Verfahren zur Steuerung einer Robotermanipulation
DE102014108287B4 (de) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter
DE102015010124B4 (de) Roboterprogramm-Erzeugungsvorrichtung, die Roboterprogramm zum Reduzieren von Stössen der Gelenke des Roboters erzeugt
DE102013202378B4 (de) Prozedurales Gedächtnislernen und Robotersteuerung
DE102012104194B4 (de) Roboter und Punktschweissroboter mit lernender Steuerungsfunktion
DE102015106227B3 (de) Steuern und/oder Regeln von Motoren eines Roboters
DE102018112360B3 (de) Bereichsabhängige Kollisionsdetektion für einen Robotermanipulator
DE102006055917B4 (de) Industrieroboter und Verfahren zum Erkennen eines ungenau parametrierten Robotermodells
DE102015008577A1 (de) Robotersteuervorrichtung zum Verhindern von Fehlbeurteilungen durch Kollisionsbeurteilungsteil
WO2010069429A1 (de) Verfahren und vorrichtung zur befehlseingabe in eine steuerung eines manipulators
DE102017001298B4 (de) Robotersimulationsvorrichtung, die einen überstrichenen Raum berechnet
DE102015108010B3 (de) Steuern und Regeln von Aktoren eines Roboters unter Berücksichtigung von Umgebungskontakten
DE102018133349A1 (de) Verfahren und Vorrichtung zur Momentschätzung
DE102012213188B4 (de) Verfahren und System zum Steuern einer Ausführungssequenz eines geschickten Roboters unter Verwendung einer Zustandsklassifizierung
EP3227061A1 (de) Verfahren zur bewegungssimulation eines manipulators
DE102015122998B3 (de) Roboter und Verfahren zum Betreiben eines Roboters
DE102013016019B3 (de) Verfahren zum Betreiben eines mehrgliedrigen Manipulators
DE102019205651B3 (de) Verfahren und System zum Ausführen von Roboterapplikationen
EP2208584B1 (de) Verfahren zur Steuerung von Industrierobotern
EP4094903A1 (de) Verfahren zum bestimmen externer interaktionskräfte und/oder interaktionsmomente eines roboters, roboter und computerprogrammprodukt
DE102018112370B4 (de) Richtungsabhängige Kollisionsdetektion für einen Robotermanipulator
EP2082852B1 (de) Verfahren und Vorrichtung zur Überwachung eines Manipulators

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19718334

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19718334

Country of ref document: EP

Kind code of ref document: A1