WO2021233670A1 - Konfigurieren, durchführen und/oder analysieren einer applikation eines mobilen und/oder kollaborativen roboters - Google Patents

Konfigurieren, durchführen und/oder analysieren einer applikation eines mobilen und/oder kollaborativen roboters Download PDF

Info

Publication number
WO2021233670A1
WO2021233670A1 PCT/EP2021/061627 EP2021061627W WO2021233670A1 WO 2021233670 A1 WO2021233670 A1 WO 2021233670A1 EP 2021061627 W EP2021061627 W EP 2021061627W WO 2021233670 A1 WO2021233670 A1 WO 2021233670A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
user interface
environment
virtual object
view
Prior art date
Application number
PCT/EP2021/061627
Other languages
English (en)
French (fr)
Inventor
Marco Baldini
Original Assignee
Kuka Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kuka Deutschland Gmbh filed Critical Kuka Deutschland Gmbh
Publication of WO2021233670A1 publication Critical patent/WO2021233670A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39443—Portable, adapted to handpalm, with joystick, function keys, display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming

Definitions

  • the present invention relates to a method and a system for configuring, executing and / or analyzing an application of a robot arrangement with at least one mobile and / or collaborative robot using a user interface for inputting and / or outputting data and a computer program product for executing the method.
  • the so-called mixed reality (“Mixed Reality”, MR) includes in particular the so-called augmented reality (“Augmented Reality”, AR) and the extended virtuality (“Augmented Virtuality”, AR).
  • real and virtual objects interact in the mixed reality.
  • MR or AR mixed reality
  • One object of an embodiment of the present invention is accordingly to improve the use of mobile and / or collaborative robots.
  • Claims 13, 14 provide a system or computer program product for performing a method described here under protection.
  • the subclaims relate to advantageous developments.
  • a robot arrangement has one or more mobile and / or collaborative robots.
  • the or one or more of the mobile robots in one embodiment collaborative robots (each) have a mobile base, in particular a chassis, in one embodiment not rail-bound, in particular one or more, in particular steered and / or driven, wheels, and / or at least one Robot arm, which in one embodiment has at least six joints or axes, in particular swivel joints or axes, and / or is arranged on, in particular on the mobile base, and / or a robot-side energy supply, in particular an electrical energy store, for at least one drive the mobile base and / or the robot arm.
  • the or one or more of the mobile robots are AGVs and / or collaborative robots.
  • the robot arrangement can additionally or alternatively have one or more stationary robots, in particular one or more (stationary) robot arms, which in one embodiment each have at least six joints or axes, in particular swivel joints or axes, and / or one external to the robot in one
  • Execution have central, robot arrangement control, which controls one or more of the mobile and / or one or more of the stationary robots or is provided for this purpose, in particular is set up or is used, in particular a fleet management (system).
  • human-collaborated in one embodiment human-collaborated in one embodiment, the or at least one of the collaborative robots at least temporarily ("human-robot collaboration"), in one embodiment it works, at least temporarily, (also) (fully) automated or . without (human or human-robot) collaboration, alternates in one version between (human) collaborative operation and (fully) automated operation or operation without (human or human-robot) collaboration, or is the Robot or the robot arrangement capable of this, in particular provided, set up in one embodiment, or is used for this purpose.
  • the or one or more of the collaborative robots are cobots and / or the robot arrangement comprises at least one hybrid cell.
  • the or at least one of the collaborative robots is a mobile or stationary robot and / or has a robot arm, which in one embodiment has at least six joints or axes, in particular swivel joints or axes.
  • the application comprises one or no human-robot collaboration, in one embodiment a change between (human) collaborative operation and (fully) automated operation or operation without (human or human-robot) collaboration.
  • a collaborative robot is a robot which, in one embodiment, is provided, in particular set up, or is used, at least temporarily, to carry out or to carry out a human-robot collaboration
  • Robot arrangement in one embodiment, a robot arrangement which is capable of being provided, in particular set up, or used in one embodiment, that (at least one) of your robot (s) carries out at least temporarily a human-robot collaboration, in one embodiment of the collaborative robots at least temporarily carry out a human-robot collaboration.
  • the present invention can be used with particular advantage for such robots (arrangements), in particular because of their fields of application, complexity and / or variability, without being restricted thereto.
  • the configuration includes planning or specifying movements and / or activities or work of the robot arrangement and / or an environment interacting with it, in particular storage, loading and / or unloading stations, conveying, loading or processing, Testing and / or refueling and / or electrical (charging) charging stations or the like and / or design, in particular parameterization and / or changing of the robot arrangement and / or the environment interacting with it.
  • the configuration takes place before the application is carried out.
  • performing an application of the robot arrangement includes commanding, in particular controlling or regulating, and / or monitoring movements and / or activities of the robot arrangement and / or an environment interacting with it, in particular storage, loading and / or unloading stations, conveyors -, processing, testing and / or refueling and / or electrical (charging) charging stations or the like.
  • the implementation according to the invention takes place online.
  • the implementation of an application of the robot arrangement includes, in particular, the control of the or one or more of the mobile and / or collaborative robot (s), in one embodiment online and / or remotely by a user of the user interface.
  • the analyzing includes collecting, in particular storing, and / or evaluating data from the robot arrangement and / or an environment interacting with it, in particular storage, loading and / or unloading stations, conveying, handling or processing, testing and / or refueling and / or electrical (charging) charging stations or the like, in particular an evaluation during and / or after the application has been carried out.
  • the view of the environment includes in one implementation
  • a view or a field of view of a user of the user interface a view or a field of view of a user of the user interface.
  • This representation of the environment in turn includes in one embodiment - At least one recorded, in particular current, updated or stored in an execution, image, in particular camera image, of the environment and / or
  • an artificial reconstruction of the environment in one embodiment on, in particular on or in, the user interface.
  • the camera image is or will be in one version
  • the superimposing includes in particular the following, non-exhaustive ones
  • an artificial reconstruction of the environment for example a representation of the environment in the form of grids, simplified geometric surfaces and / or bodies, virtual walls, floors, ceilings, bodies and the like, and the at least one virtual object, in one embodiment on a screen the user interface or by projection;
  • the robot arrangement in particular the or one or more of the mobile and / or collaborative robot (s), and / or
  • At least one, in one embodiment static or moving, surrounding object in one embodiment at least one surrounding object linked to the or one of the virtual object (s), relative to the environment; and or
  • the method includes determining, in particular recording and / or updating, this perspective, this pose (s) and / or viewing direction.
  • a determined pose or viewing direction is a captured and / or updated pose or viewing direction.
  • a pose comprises at least one one, two or three-dimensional position and / or at least one one, two or three-dimensional orientation, in particular a position and / or orientation relative to or in the environment.
  • the view of the environment is updated on the basis of the determined pose of the user interface, in one embodiment in real time and / or in such a way that a viewing direction of the view changes (accordingly) with or when the pose of the user interface changes , in one embodiment corresponding to a change in a user interface-fixed viewing direction (relative to the environment).
  • the viewing direction of the view of the environment also rotates in one embodiment (only) if the viewing direction of the user is constant relative to the user interface or also independently of this.
  • the view of the environment is updated on the basis of the determined pose of the robot arrangement, in one embodiment of the mobile and / or collaborative robot, in one embodiment in real time and / or in such a way that a viewing direction of the view with or in a Changing the pose of the robot (correspondingly) (with) changes, in one embodiment corresponding to a change in a robot-fixed viewing direction (relative to the environment).
  • the direction of view of the view of the environment also rotates (accordingly with).
  • a view of the environment of the robot arrangement in an embodiment of the mobile and / or collaborative robot, can be overlaid with one or more virtual objects, for example remote controls, remote sensing or other applications of the To configure, perform and / or analyze robot assembly, for example activities in manufacturing facilities, warehouses or the like.
  • virtual objects for example remote controls, remote sensing or other applications of the To configure, perform and / or analyze robot assembly, for example activities in manufacturing facilities, warehouses or the like.
  • a pose, in particular position and / or orientation, of the or at least one of the virtual object (s) in the overlay in one embodiment in the view of the surroundings, in particular in the representation of the surroundings or the Field of view of the user, based on the determined pose of the robot arrangement, in an embodiment of the mobile and / or collaborative robot, updated, in an embodiment in real time and / or in such a way that a pose, in particular position and / or orientation, of, in particular with the robot arrangement, in one embodiment the mobile and / or collaborative robot, linked, virtual object in the overlay or view of the environment with or when the pose of the robot arrangement or the robot is changed relative to the environment (accordingly) (with ) changes, in one embodiment the change corresponds to the pose, in particular position and / or orientation, of the virtual object in the overlay or view the change of the pose, in particular position and / or orientation, of the robot arrangement or the robot relative to the environment in terms of direction and size. If, for example, the robot moves, the virtual object linked to it
  • the robot arrangement can also not be linked to virtual objects and / or not (real) present in the (view of) the environment and / or (only) symbolized by virtual objects.
  • a pose, in particular position and / or orientation, of the or at least one of the virtual object (s) in the overlay in one embodiment in the view of the surroundings, in particular in the representation of the surroundings or the Field of view of the user, based on a forecast or only planned but not (yet) approached or planning pose of the robot arrangement, in an embodiment of the mobile and / or collaborative robot, updated, in an execution in real time and / or during planning (phase) of the application and / or such that a pose, in particular position and / or orientation, of the, in particular with the robot arrangement, in one embodiment the mobile and / or collaborative robot, linked, virtual object is in the overlay or view the environment with or in the event of a change in the predicted or planning pose of the robot arrangement or the robot relative to the environment (accordingly) (with) changes rt, in one embodiment, the change in the pose, in particular position and / or orientation, of this virtual object in the overlay or view corresponds to the change in the forecast or planning pose, in particular position and
  • a planning pose for example a node of a navigation path or the like
  • the virtual object linked to it is also shifted in the overlay or view of the environment (correspondingly with).
  • a user can advantageously pose effects of planned or future robots (arrangements), in particular potential injuries of shelters, collisions with obstacles or the like.
  • a pose, in particular the position and / or orientation, of the or one or more of the virtual objects in the overlay is displayed, in one embodiment in the view of the surroundings, in particular in the representation of the surroundings or the field of view of the user
  • the virtual object linked to it is also shifted in the overlay or view of the environment (accordingly with).
  • a pose, in particular the position and / or orientation, of the or one or more of the virtual objects relative to an outer contour of the view of the surroundings, in particular relative to an outer contour of the representation of the surroundings or an outer contour of the user's field of vision can also be constant or . be stationary relative to the outer contour.
  • a perspective of the view pivots around a vertical axis
  • such a virtual object can be relative to an outer contour of a (image, especially camera) image of the surroundings
  • an outer contour of an artificial reconstruction of the surroundings or an outer contour of a view (field) of the user or an outer contour of a spectacle, lens or mask glass of the user interface remain stationary.
  • the perspective of the view is, in particular, is determined in one embodiment on the basis of a determined, in particular current, pose of the user interface or robot arrangement, in particular of the mobile and / or collaborative robot, relative to the environment, and is updated in one embodiment.
  • the perspective of the view is determined on the basis of a determined, in particular current, viewing direction of a user, in particular wearer, of the user interface, updated in one embodiment, and relative in one embodiment on the basis of a determined viewing direction of the user for the user interface and a determined pose of the user interface relative to the environment or on the basis of a determined viewing direction of the user relative to the environment.
  • This perspective of the view is used in one embodiment when the view of the surroundings is superimposed with the virtual object (s), in particular the view is visualized in or with this perspective and / or the or one or more of the virtual object ( e) overlaying this perspective with the view of the surroundings, in particular in the manner described here or above and below.
  • the perspective of the view is (also) rotated accordingly.
  • the perspective of the view is also rotated accordingly. If he moves his eyes without moving his head, for example horizontally from left to right, in one embodiment the perspective of the view also moves (with). With a combination of eye and
  • the perspective of the view is also changed (determined) or updated accordingly in one embodiment. For example, if the user turns his head horizontally from left to right and his eyes from right to left at the same speed, the perspective of the view remains in one Execution constant, for example, if the user rotates his head horizontally from left to right and his eyes also from left to right, in one execution the perspective of the view also wanders with the superimposed speed of head and eye movement.
  • the view of the environment and the virtual object (s) are augmented.
  • the required time and / or the effort for configuring, executing or analyzing applications of mobile and / or collaborative robots can be reduced particularly advantageously in one embodiment and / or the reliability achieved in particular can be advantageously increased.
  • the view of the environment and the virtual object (s) are superimposed on the basis of a, in one embodiment, three-dimensional, in particular mathematical or data-technical, model of the environment.
  • a pose of the (respective) virtual object relative to or in the model corresponds to a determined pose of the surrounding object linked to this virtual object relative to the surroundings.
  • the model can in particular have one or more points, in particular point cloud (s), groups of features localized relative to one another, 3D grids or the like.
  • a 2D image that represents navigation of the mobile, in one embodiment collaborative, robot, in particular visualized can be precisely (r) and / or stably (er) superimposed on the view of the surroundings.
  • the model is also used to navigate the robot arrangement, whereby in one embodiment the model can be used synergistically and / or the navigation can be improved, in one embodiment the precision and / or stability can be increased.
  • the user interface has at least one, in one embodiment on the head, portable mixed-reality-specific, in one embodiment AR-specific, device such as Microsoft Hololens2, Magic Leap One or the like, in one embodiment MR glasses Lens or MR mask, in a version of an (MR) helmet or (MR) head strap.
  • the user interface has at least one portable multi-purpose device, in particular a mobile phone, tablet or the like, which in addition to the user interface functionality in one embodiment also has one or more other functionalities, in particular communication with the Internet and / or telephony, in particular video telephony such as Skype or the like has or provides.
  • an already existing user interface can take on several functions in one embodiment.
  • the user interface has at least one transparent display, at least one screen, in particular a touchscreen, at least one trackpad, at least one keyboard, at least one joystick and / or at least one computer mouse.
  • the user interface detects the environment or is set up for this purpose or is used for this purpose with the aid of one or more sensors, which in one embodiment are on the user interface side or fixed.
  • this can improve the representation of the environment and / or the self-localization of the user interface.
  • the user interface detects the viewing direction of a wearer of the user interface with the aid of one or more sensors, which in one embodiment are on the user interface side or fixed, or is set up for this purpose or is used for this purpose.
  • the superimposition can be improved in one embodiment.
  • the user interface sends, in one embodiment wirelessly, data to the robot arrangement, environment, a local network and / or a computer cloud and / or receives data wirelessly from the robot arrangement, environment, the local network and / or the computer cloud, in one embodiment , Data or is set up for this purpose or is used for this purpose.
  • sensor and / or computing capacity external to the user interface can be used and thus in particular a sensor or computing capacity of the user interface can be spared or reduced and / or the user interface can function as a sensor.
  • the user interface updates the overlay, in particular the view of the environment and / or the or one or more virtual object (s), in real time or is set up for this purpose or is used for this purpose.
  • the implementation of the application can be improved, in particular the precision can be increased.
  • the pose of the user interface and / or the pose of the robot arrangement, in particular of the mobile and / or collaborative robot, and / or the pose of the or one or more of the surrounding objects with which the or with which in each case one of the virtual object (s) is linked determined by means of self-localization and / or with the help of an environment map, in particular by means of SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • the pose of the user interface and / or the pose of the robot arrangement, in particular of the mobile and / or collaborative robot, and / or the pose of the or one or more of the surrounding objects with which the or with which in each case one of the virtual object (s) is linked determined with the aid of at least one user interface-side and / or at least one robot arrangement-side, in particular robot-side and / or at least one environmental-side sensor.
  • the pose of the robot arrangement, in particular the mobile and / or collaborative robot, and / or the pose of the or one or more of the surrounding objects is, in addition or alternatively, based on a predetermined, in particular planned or controlled, positioning, in particular movement, the robot arrangement or the (respective) surrounding object is determined.
  • the load on the user interface or robot arrangement or the mobile and / or collaborative robot can be reduced in one embodiment; Environments are used.
  • One or more cameras in particular 2D and / or 3D cameras, one or more LIDAR devices (“Light Detection And Ranging ”), one or more sonar sensors, one or more depth sensing devices, one or more radio sensors, in particular receivers of, in one embodiment, environmental and / or user interface parts or robot (arrangement) side, radio beacons (“Radio beacon”), and / or one or more inertial measurement units (“Inertial Measurement Units”, IMUs), in one embodiment spatial combinations of several inertial sensors such as acceleration sensors and rotation rate sensors.
  • LIDAR devices Light Detection And Ranging
  • sonar sensors in particular receivers of, in one embodiment, environmental and / or user interface parts or robot (arrangement) side
  • radio beacons (“Radio beacon”)
  • IMUs inertial measurement units
  • spatial combinations of several inertial sensors such as acceleration sensors and rotation rate sensors.
  • the pose of the user interface and / or the pose of the robot arrangement, in particular of the mobile and / or collaborative robot, and / or the pose of the or one or more of the surrounding objects with which the or with which in each case one of the virtual object (s) is linked determined in real time, in particular updated.
  • the superimposition on the basis of the determined pose can be improved, in particular a precision can be increased, and as a result in particular the execution and / or the analysis can be improved.
  • the (current) pose of the user interface and / or the pose of the robot arrangement in particular the mobile and / or collaborative robot, and / or the pose of the or one or more of the surrounding objects with which the or with each of which one of the virtual object (s) is linked, determined on the basis of a determined initial pose of the user interface, robot arrangement or the mobile and / or collaborative robot or (respective) surrounding object.
  • this initial pose is, in particular, is based on an environmental feature, which in one embodiment is or is arranged and / or coded and / or detected by means of image processing, and / or with the aid of (coordinate) triangulation and / or at least one , in particular determined with the user interface and / or robot arrangement communicating, external measuring device.
  • the initial pose can be detected using a QR code or another recognizable feature of the environment, which is detected by means of at least one sensor on the user interface or robot (arrangement) side, with the known pose of the environmental feature relative to the environment and the sensor-detected Pose of the environmental feature relative to the user interface or robot arrangement the (initial) pose of the User interface or robot arrangement can be determined relative to the environment.
  • the self-localization of the user interface can be improved, in particular a precision can be increased.
  • the user interface sends instructions to the robot arrangement, in particular the mobile and / or collaborative robot and / or a, in particular robot-external and / or central, robot arrangement controller, in one embodiment a fleet management system that controls or controls multiple mobile robots of the robot arrangement is set up or used for this purpose, in one embodiment the user interface sends movement instructions, instructions for changing a configuration of the robot arrangement, in particular of the mobile and / or collaborative robot, and / or requests for or requests for data.
  • sensor and / or computing capacity external to the user interface can be used and thus in particular a sensor or computing capacity of the user interface can be spared or reduced and / or the user interface can function as a sensor and / or one or more of the mobile and / or control collaborative robots.
  • the user interface receives data, in one embodiment navigation data, in particular map and / or path data, security data, configuration data and / or pose data, of the robot arrangement, in particular of the mobile and / or collaborative robot. In one embodiment, it receives the data from the robot arrangement, in particular from the mobile and / or collaborative robot and / or a robot arrangement controller, and / or stores such, in particular received, data. In one embodiment, and updated in one embodiment, the user interface determines the overlay on the basis of the stored or received data.
  • sensor and / or computing capacity external to the user interface can be used and thus in particular a sensor or computing capacity of the user interface can be spared or reduced.
  • at least one superimposed virtual object is linked to map data of a navigation means of the robot arrangement, in particular the mobile, in one embodiment collaborative, robot, represented in a further development, in particular visualized, this virtual object is the map data, for example an occupancy grid map or the like.
  • At least one superimposed virtual object is linked to a sensor area, in particular a sensor detection direction, represented in a development, in particular visualized, this virtual object is the sensor area or the sensor detection direction, for example one or more beams from one or more scanners, in particular laser scanners, or similar.
  • At least one superimposed virtual object is linked to a path or permitted path area of the robot arrangement, in particular the mobile and / or collaborative robot, which is planned and / or followed in an embodiment, this virtual object is represented in a further development, in particular visualized the path (area), for example in the form of a topometric or topological graph, Voronoi diagram, distance maps or the like.
  • At least one superimposed virtual object is linked to a security area of the environment and / or the robot arrangement, in particular the mobile and / or collaborative robot, specified in one embodiment and / or two- or three-dimensional, one-part or multi-part, in a Further development represents, in particular visualized, this virtual object this security area, for example in the form of a one-part or multi-part floor area or a one-part or multi-part envelope contour.
  • a surrounding area colliding with the robot-side safety area and / or a robot area colliding with the surrounding safety area is detected and, on the basis of the detection, a feature of the virtual object linked to this safety area is changed, for example (differently) colored or the like, and / or a own virtual
  • the object is linked to this colliding or intersecting area, which represents it in a further development, in particular visualizes it.
  • a robot-side safety area is, in particular, is predefined or determined in one embodiment as a function of a dimension, current or planning pose and / or current, planned or extreme position of the robot arrangement, in particular of the mobile and / or collaborative robot Version updated.
  • At least one superimposed virtual object is linked to an evaluation area of the environment and / or the robot arrangement, in particular the mobile and / or collaborative robot, specified in one embodiment and / or two- or three-dimensional, one-part or multi-part evaluation area, in one Further development represents, in particular visualized, this virtual object this evaluation area, for example in the form of a one-part or multi-part area, envelope contour or the like.
  • Such an evaluation area is, in particular, is specified in one version via the user interface and / or corresponds to a one-part or multi-part area of the environment that is or is or is primarily used for (self) localization, exclusively in one version . is.
  • a one-part or multi-part surrounding area specified via the user interface that is not intended to be used for (self) localization is also referred to as an evaluation area.
  • At least one superimposed virtual object is linked in one embodiment to a predetermined and / or two- or three-dimensional one-part or multi-part reachability area of the environment and / or the robot arrangement, in particular the mobile and / or collaborative robot Further development represents, in particular visualized, this virtual object this accessibility area, for example in the form of a one-part or multi-part area, envelope contour or the like.
  • such an accessibility area is, in particular, by means of at least partially automated detection of the surroundings, in particular obstacles determined, updated in an embodiment, and / or corresponds to a one-part or multi-part area of the environment that can be reached by the robot arrangement, in particular the mobile and / or collaborative robot.
  • At least one superimposed virtual object is linked in one embodiment with a reservation area of the environment and / or the robot arrangement, in particular the mobile and / or collaborative robot, predetermined and / or two- or three-dimensional, one-part or multi-part Further development represents, in particular visualized, this virtual object this reservation area, for example in the form of a one-part or multi-part floor area or a one-part or multi-part envelope contour.
  • Such a reservation area is, in particular, is predetermined or determined in one embodiment as a function of a dimension, current or planning pose and / or current, planned or extreme position of the robot arrangement, in particular of the mobile and / or collaborative robot Execution updates and / or represents or visualizes a one-part or multi-part area that the robot arrangement, in particular the mobile and / or collaborative robot, potentially, in particular when traveling a planned path and / or performing a planned task and / or in a extreme display.
  • a robot-side security or reservation area projects beyond an outer contour of the mobile and / or collaborative robot. As a result, in one embodiment, its determination can be simplified and / or security can be increased.
  • a safety area on the surrounding area is an area into which the robot must not or should not penetrate;
  • a (robot-side) reservation area is an area that is or should be reserved for the robot and / or in which the robot is allowed to stay and / or move.
  • At least one superimposed virtual object with a target location or a target pose, in particular the robot arrangement is in one embodiment of the mobile and / or collaborative robot, linked, represented in a development, in particular visualized, this virtual object such a target location or such a target pose, for example a (current and / or planned) loading and / or unloading station, conveyor, loading - or processing,
  • At least one superimposed virtual object is linked to a waiting location or a waiting pose, in particular the robot arrangement, in an embodiment of the mobile and / or collaborative robot, and in a further development is represented, in particular visualized, this virtual object is such a waiting location or a waiting position.
  • a waiting position for example a (current and / or planned) position to be approached, at which it is provided that the robot waits for a certain time and / or for a certain result, for example a release or the like.
  • At least one superimposed virtual object is linked to a waiting time, planned or remaining in an embodiment, for a mobile and / or collaborative robot, in an embodiment at a waiting location or a waiting position of the robot, in a Further development represents, in particular visualized, this virtual object this waiting time.
  • the robot arrangement in one embodiment the mobile and / or collaborative robot, in one embodiment at a waiting or destination location or a waiting or Target pose of the robot arrangement or the robot, linked, represented in a further development, in particular visualized, this virtual object this arrival time.
  • this virtual object represents, in particular visualized, the robot or status, for example a charge status of a battery, an accuracy of (self) localization, current errors on the robot, a reliability of a communication link or its current position in a fleet management administration.
  • At least one superimposed virtual object with an, in particular stationary or moving, surrounding object or point, in particular a state and / or a potential, in particular planned, interaction (of the surrounding object or (at the) surrounding point (s)) is included the robot arrangement, linked, represented in a further development, in particular visualized, this virtual object this environmental object or this environmental point, in particular its state and / or the potential, in particular planned, interaction with the robot arrangement, for example a degree of filling and / or equipment and / or readiness state of a loading and / or unloading station, conveying, loading or processing, testing and / or refueling and / or electric (charging) charging station - or parking station, a task that the mobile and / or collaborative Robots can or should perform at a station or the like.
  • At least one superimposed virtual object is linked with a navigation aid to a predetermined point, in a further development this virtual object is represented, in particular visualized, this navigation aid.
  • the virtual object has one or more (directional) arrows, distance information, paths, in particular currently traveled, already traveled and / or possible, in particular planned paths, and / or location identifications.
  • one or more of the virtual objects mentioned here or above and below are (in each case) linked to an, in particular stationary or moving, environmental object or point, in particular in such a way that their pose, in particular position, is relative for a view of this environment object or point remains constant in the view of the environment.
  • its orientation also remains constant relative to the viewing direction of the view; in particular, a virtual object in the form of a flat surface can always be oriented such that the viewing direction of the view is parallel to the surface normal of this surface.
  • a position of at least one superimposed virtual object relative to an outer contour of the view of the environment remains constant when the user interface is moved (relative to the environment) and / or the perspective of the view of the environment changes, in particular on a predetermined one in an embodiment User input selectable, in particular changeable, position, for example at an image edge or the like.
  • an orientation of at least one superimposed virtual object relative to an outer contour of the view of the environment remains constant when the user interface is moved (relative to the environment) and / or the perspective of the view of the environment changes, in particular in a predetermined, in an execution by user input selectable, in particular changeable, orientation, for example parallel to an image plane or the like.
  • a position and / or orientation of at least one superimposed virtual object relative to a view, in particular an image, of a surrounding object or surrounding point or path point or path section of the robot arrangement linked to this virtual object remains in the overlay, in one embodiment in the view of the Environment, in particular in the representation of the environment or the user's field of vision, constant when the user interface moves and / or the perspective of the view of the environment changes.
  • a change in the perspective of the view of the surroundings in particular as a result of a movement of the user interface, is compensated for or the position and / or orientation of the virtual object is correspondingly adjusted relative to an outer contour of the view of the surroundings.
  • the position of the (respective) virtual object in the overlay or view of the environment changes with or when the position of the associated environment object or path point or section relative to the environment (correspondingly) changes or changes.
  • an orientation of this virtual object relative to an outer contour of the view of the environment remains constant when the user interface is moved (relative to the environment) and / or the perspective of the view of the environment changes.
  • the ergonomics can be improved in one embodiment.
  • the user interface records a user input with the aid of eye recording, gesture recognition, speech recognition, recognition of virtual contact, in particular virtual contact, in one embodiment hand contact, of a user with a virtual object.
  • At least one superimposed virtual object and / or at least one feature of at least one superimposed virtual object is faded in and / or faded out and / or changed on the basis of a user input, in one embodiment a pose, in particular position and / or orientation, of the virtual object or feature relative to an outer contour of the view of the environment and / or at least one parameter of the virtual object or feature.
  • navigation data in particular maps, graphs or the like, and / or the or one or more of the virtual objects, in particular their pose in the overlay
  • one or more planned tasks and / or points, in particular sections, of a planned path of the robot arrangement, in particular of the mobile and / or collaborative robot are generated and / or changed by a user input via the user interface. in particular editable or generated and / or changed, in particular edited.
  • a user can remove an obstacle that no longer exists from a (navigation) map by means of appropriate user input, change or add a potential, in particular possible or planned, path for the mobile and / or collaborative robot, or a virtual one Move the object in the overlay and / or link it to a (different) surrounding object and / or (re) parameterize it.
  • the robot arrangement in particular the mobile and / or collaborative robot, can be controlled and / or (re) configured by a user input via the user interface.
  • a system for configuring, executing and / or analyzing an application is provided by a robot arrangement at least one mobile and / or collaborative robot with the aid of a user interface for inputting and / or outputting data, in particular hardware and / or software, in particular in terms of programming, is set up to carry out a method described here and / or has:
  • Means for overlaying a view, in particular a representation, of an environment with at least one virtual object the user interface being set up to provide this overlay for configuring, executing and / or analyzing the application, in one embodiment at the user interface, in one execution to superimpose the view of the environment and the virtual object and / or to configure, carry out and / or analyze the application on the basis of this superimposition.
  • system or its means has:
  • Configuration and / or pose data, of the robot arrangement in particular from the mobile and / or collaborative robot and / or a robot arrangement controller, and determining, in particular updating, the overlay on the basis of the stored or received data; and / or means for linking at least one superimposed virtual object with map data of a navigation means of the robot arrangement, in particular of the mobile and / or collaborative robot, with a sensor area, in particular a sensor detection direction, with a, in particular planned and / or traveled, path or permissible path area of the Robot arrangement, in particular the mobile and / or collaborative robot, with a, in particular predetermined and / or two- or three-dimensional, security, evaluation, accessibility and / or reservation area of the environment and / or the robot arrangement, in particular the mobile and / or collaborative robot, with a waiting or destination, with a waiting or target pose, with a waiting or arrival time, with the mobile and / or collaborative robot, in particular an energy, navigation, error, communication and / or logistics status , with a surrounding object or point,
  • a means within the meaning of the present invention can be designed in terms of hardware and / or software, in particular a data or signal-connected, in particular digital, processing, in particular microprocessor unit (CPU), graphics card (GPU), preferably with a memory and / or bus system ) or the like, and / or one or more programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a memory system, to acquire input signals from a data bus and / or to output output signals to a data bus.
  • a storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and / or other non-volatile media.
  • a computer program product can have, in particular, a non-volatile storage medium for storing a program or with a program stored on it, with execution of this program causing a system or a controller, in particular a computer, to create a program here to carry out the described method or one or more of its steps.
  • one or more, in particular all, steps of the method are carried out completely or partially in an automated manner, in particular by the system or its means.
  • the system has the robot arrangement. If we are talking about a mobile and / or collaborative robot, in particular a mobile, possibly collaborative, robot or a collaborative, possibly stationary, robot or a mobile, possibly collaborative, robot and additionally a collaborative, possibly stationary one , Robot means or includes the expression “mobile and / or collaborative robot” “mobile robot”, “collaborative robot” and “(at least) one mobile and (at least) one (additional) collaborative robot”.
  • An environment within the meaning of the present invention is, in one embodiment, a real or physical environment, an environment object corresponding to a real or physical, in particular one-part or multi-part material object (this environment), in particular external to the robot arrangement, i.e. in particular not a mobile and / or collaborative robot .
  • a path or a path in the sense of the present invention can in particular comprise, in particular be, a route, in particular a driving (t) route, and / or a trajectory.
  • a user of the user interface is a human user or a natural person.
  • Planned can mean “first planned” or “only planned”.
  • planned path can mean in particular “planned, not yet traveled path”
  • planned pose can mean “planned, not current pose”.
  • the user interface determines the superimposition, in particular arithmetically. Additionally or alternatively, the user interface visualizes the superimposition in one embodiment, in particular on at least one screen and / or by projection.
  • the overlay can also be determined entirely or partially externally to the user interface and (only) can be visualized. Both, ie both the determination and the visualization, are referred to here as superimposing the view of the environment and the virtual object by the, in particular at the, user interface.
  • FIG. 1 shows a system according to an embodiment of the present invention
  • Fig. 2 a method according to an embodiment of the present invention
  • 3 a superimposition of a view of an environment with a plurality of virtual objects according to an embodiment of the present invention
  • 4 a user input via a user interface according to a
  • the robot can have a robot arm indicated by dashed lines.
  • a user 3 wears the user interface, in one embodiment an MR mask or glasses 2, in another embodiment a suitably equipped and set up mobile radio device or tablet 2 '. Both versions are shown together for a more compact representation and can be used individually or together be provided or used. The user can also use an MR lens or the like.
  • the user interface 2 or 2 has one or more sensors S for environmental detection, in particular self-localization, and is for entering user inputs, for example by means of eye detection, gesture recognition, speech recognition, recognition of virtual contact, touchscreen, trackpad, keyboard, joystick, computer mouse or the like, as well as for sending and receiving data to or from the mobile and / or collaborative robot 1 and / or a robot-external robot arrangement controller 1.1 equipped and set up.
  • an environment object 4.1 and an environment-proof sensor 4.2 are indicated by way of example.
  • a pose of the user interface 2 or 2 relative to the environment and / or a viewing direction of the user 3 relative to the environment or user interface is determined. Additionally or alternatively, a pose of the mobile and / or collaborative robot 1 and / or a pose of the, possibly moving, surrounding object 4.1 can be determined in step S10.
  • a virtual object which in one embodiment is linked to the surrounding object 4.1 or an environmental point, with a view of the surroundings, for example a camera image, an artificial reconstruction of the surroundings or a view of the User 3 on the environment.
  • a step S30 the mobile and / or collaborative robot 1 is controlled and / or the virtual object is changed, for example, its position relative to an outer contour of the view and / or its content, in particular by or on the basis of corresponding user inputs and / or one or more of its displayed features.
  • a planned path of the mobile and / or collaborative robot 1 and / or interactions of the mobile and / or collaborative robot 1 with the environment for example the environment object 4.1, generated or changed, in particular adding, moving and / or deleting path points or sections and / or editing actions of the robot 1 and / or environment object 4.1, for example a number and / or Identification of transport goods to be unloaded or picked up or the like.
  • the method then returns to step S10 in order to update the pose (s).
  • FIG. 3 shows such a superimposition of a view of an environment with a plurality of virtual objects according to an embodiment of the present invention.
  • a view of an environment in the form of a camera image 10 is superimposed with virtual objects, in the exemplary embodiment a virtual object 110 that represents a navigation graph or path for the mobile and / or collaborative robot 1, a virtual object 120 that represents a node of the graph or a corresponding point in the vicinity or an arrival time, and a virtual object 130 which represents another node of the graph or a corresponding point in the vicinity, in particular its identity.
  • a virtual object 110 that represents a navigation graph or path for the mobile and / or collaborative robot 1
  • a virtual object 120 that represents a node of the graph or a corresponding point in the vicinity or an arrival time
  • a virtual object 130 which represents another node of the graph or a corresponding point in the vicinity, in particular its identity.
  • Fig. 4 or the sequence of figures 4 illustrates a user input by touching the virtual objects 120, 130, 140 or corresponding virtual buttons such as "Open details", “Hide” etc.
  • virtual objects 120, 130, 140 or corresponding virtual buttons such as "Open details", "Hide” etc.
  • the virtual object 130 it can be hidden (see FIG. 4) or additional features or details can be displayed by touching its virtual button "Open details”.
  • the two virtual objects 120, 130 are linked to the corresponding environment or path point, so that their position when the (perspective of) view 10 is changed, for example by rotating user interface 2 'or rotating user interface 2 and / or eye movement, in the view relative to the environment, remain stationary, ie above the corresponding node, and thus their position relative to a Outer contour of the view changed. Their orientation relative to the outer contour of the view remains constant.
  • the virtual object 140 in FIG. 4 is anchored in a stationary manner relative to the outer contour of the view in an upper right corner and maintains this position relative to the outer contour of the view even if the (perspective of the) view 10 changes due to the rotation of the user described above 3 changes.
  • FIG. 5 shows a superimposition of a camera image 20 with a virtual object 150, which represents an unobstructed accessibility area or a permissible path area in the form of a monochrome virtual floor area, as well as virtual objects in the form of laser scanner beams 160.
  • FIG. 6 shows a superimposition of a camera image 30 with a virtual object 170, which represents a reservation area in the form of a monochrome virtual floor area, two virtual objects 180.1, 180.2, which represent different (large) security areas in the form of monochrome virtual floor areas, a virtual object 190, which in the form described above represents a navigation graph or path for the mobile and / or collaborative robot 1, of which in FIG. 6 a node with the identification number ("Node ID”)
  • a virtual object 200 which is fixedly anchored relative to the outer contour of the view in an upper right corner and has features in the form of virtual input buttons.
  • a surrounding area colliding with the inner safety area is automatically recorded and visualized by a separate virtual object 210, which is linked to this colliding or intersecting area, and by coloring the virtual object 180.1.
  • FIG. 6 it is also indicated how the user 3 can edit the node or path via the touchscreen, in particular move his pose in the area.
  • the user interface 2 or 2 'transmits the corresponding (change) data to the path planning of the robot arrangement controller 1.1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Ein erfindungsgemäßes Verfahren zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung (1, 1.1) mit wenigstens einem mobilen und/oder kollaborativen Roboter (1), mithilfe einer Benutzerschnittstelle (2; 2') zum Ein- und/oder Ausgeben von Daten weist den Schritt auf: Überlagern (S20) einer Ansicht, insbesondere Darstellung (10; 20; 30), einer Umgebung mit wenigstens einem virtuellen Objekt (110-210); wobei diese Überlagerung zum Konfigurieren, Durchführen und/oder Analysieren der Applikation durch die, insbesondere an der, Benutzerschnittstelle zur Verfügung gestellt wird, insbesondere die Ansicht der Umgebung und das virtuelle Objekt durch die, insbesondere an der, Benutzerschnittstelle überlagert werden und/oder die Applikation auf Basis dieser Überlagerung, insbesondere mithilfe der Benutzerschnittstelle, konfiguriert, durchgeführt und/oder analysiert wird (S30).

Description

Beschreibung
Konfigurieren, Durchführen und/oder Analysieren einer Applikation eines mobilen und/oder kollaborativen Roboters
Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung mit wenigstens einem mobilen und/oder kollaborativen Roboter mithilfe einer Benutzerschnittstelle zum Ein- und/oder Ausgeben von Daten sowie ein Computerprogrammprodukt zur Durchführung des Verfahrens.
Die sogenannte gemischte Realität („Mixed Reality“, MR) umfasst insbesondere die sogenannte erweiterte Realität („Augmented Reality“, AR) und die erweiterte Virtualität („Augmented Virtuality“, AR). In einer Ausführung interagieren in der gemischten Realität reale und virtuelle Objekte.
Ein Grundgedanke der vorliegenden Erfindung ist demgegenüber die Verwendung einer gemischten, in einer Ausführung erweiterten, Realität (MR bzw. AR) zum Konfigurieren, Durchführen und/oder Analysieren von Applikationen mobiler und/oder kollaborativer Roboter.
Eine Aufgabe einer Ausführung der vorliegenden Erfindung ist es entsprechend, den Einsatz von mobilen und/oder kollaborativen Robotern zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 13, 14 stellen ein System bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung weist eine Roboteranordnung einen oder mehrere mobile und/oder kollaborative Roboter auf. In einer Ausführung weisen der bzw. einer oder mehrere der mobile(n), in einer Ausführung kollaborative(n), Roboter (jeweils) eine mobile Basis, insbesondere ein, in einer Ausführung nicht schienengebundenes, Fahrwerk, insbesondere ein oder mehrere, insbesondere gelenkte und/oder angetriebene, Räder, und/oder wenigstens einen Roboterarm, welcher in einer Ausführung wenigstens sechs Gelenke bzw. Achsen, insbesondere Drehgelenke bzw. -achsen, aufweist und/oder an, insbesondere auf der mobilen Basis angeordnet ist, und/oder eine roboterseitige Energieversorgung, insbesondere einen elektrischen Energiespeicher, für wenigstens einen Antrieb der mobilen Basis und/oder des Roboterarms auf. In einer Ausführung sind der bzw. einer oder mehrere der mobile(n) Roboter AGVs und/oder kollaborative Roboter. Die Roboteranordnung kann zusätzlich oder alternativ einen oder mehrere stationäre Roboter, insbesondere einen oder mehrere (stationäre) Roboterarme, welche in einer Ausführung jeweils wenigstens sechs Gelenke bzw. Achsen, insbesondere Drehgelenke bzw. -achsen, aufweisen, und/oder eine roboterexterne, in einer Ausführung zentrale, Roboteranordnungssteuerung aufweisen, die einen oder mehrere der mobilen und/oder einen oder mehrere der stationären Roboter steuert bzw. hierzu vorgesehen, insbesondere eingerichtet ist bzw. verwendet wird, insbesondere ein Flottenmanagement(system).
In einer Ausführung kollaboriert, in einer Ausführung humankollaboriert, der bzw. wenigstens einer der kollaborative(n) Roboter wenigstens temporär („Mensch- Roboter-Kollaboration“), in einer Ausführung arbeitet er, wenigstens temporär, (auch) (voll)automatisiert bzw. ohne (Human- bzw. Mensch-Roboter-)Kollaboration, wechselt in einer Ausführung zwischen (human)kollaborierendem Betrieb und (voll)automatisiertem Betrieb bzw. Betrieb ohne (Human- bzw. Mensch- Roboter-)Kollaboration, bzw. ist der Roboter bzw. die Roboteranordnung hierzu fähig, insbesondere vorgesehen, in einer Ausführung eingerichtet, bzw. wird hierzu verwendet. In einer Ausführung sind der bzw. einer oder mehrere der kollaborativen Roboter Cobots und/oder umfasst die Roboteranordnung wenigstens eine hybride Zelle. In einer Ausführung ist der bzw. wenigstens einer der kollaborativen Roboter ein mobiler oder stationärer Roboter und/oder weist einen Roboterarm auf, welcher in einer Ausführung wenigstens sechs Gelenke bzw. Achsen, insbesondere Drehgelenke bzw. -achsen, aufweist. In einer Ausführung umfasst die Applikation eine oder keine Mensch-Roboter-Kollaboration, in einer Ausführung einen Wechsel zwischen (human)kollaborierendem Betrieb und (voll)automatisiertem Betrieb bzw. Betrieb ohne (Human- bzw. Mensch-Roboter-)Kollaboration. Entsprechend ist ein kollaborativer Roboter in einer Ausführung ein Roboter, der dazu fähig, in einer Ausführung vorgesehen, insbesondere eingerichtet, ist bzw. verwendet wird, wenigstens temporär eine Mensch-Roboter-Kollaboration durchzuführen bzw. die Roboteranordnung in einer Ausführung eine Roboteranordnung, die dazu fähig, in einer Ausführung vorgesehen, insbesondere eingerichtet, ist bzw. verwendet wird, das (wenigstens einer) ihr(er) Roboter wenigstens temporär eine Mensch- Roboter-Kollaboration durchführt, in einer Ausführung führt der kollaborative Roboter wenigstens temporär eine Mensch-Roboter-Kollaboration durch.
Die vorliegende Erfindung kann für solche Roboter(anordnungen), insbesondere aufgrund von deren Einsatzfeldern, Komplexität und/oder Variabilität, mit besonderem Vorteil verwendet werden, ohne hierauf beschränkt zu sein.
Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation der Roboteranordnung mithilfe einer ein- oder mehrteiligen Benutzerschnittstelle, über die ein, insbesondere menschlicher, Benutzer Daten eingibt und/oder die Daten an einen bzw. den Benutzer ausgibt bzw. hierzu vorgesehen, insbesondere eingerichtet ist und/oder verwendet wird, die Schritte auf:
A) Überlagern a) einer Ansicht einer Umgebung, in einer Ausführung einer Umgebung der Benutzerschnittstelle und/oder der Roboteranordnung, insbesondere des bzw. eines oder mehrerer der mobilen und/oder kollaborativen Roboter(s), mit b) einem oder mehreren virtuellen Objekten, in einer Ausführung durch die, in einer Ausführung an, insbesondere auf oder in, der, Benutzerschnittstelle, in einer Ausführung Überlagern in der Ansicht der Umgebung; und
B) zur Verfügung stellen dieser Überlagerung durch die, in einer Ausführung an, insbesondere auf oder in, der, Benutzerschnittstelle, insbesondere dem Benutzer, zum Konfigurieren, Durchführen und/oder Analysieren der Applikation, in einer Ausführung Konfigurieren, Durchführen und/oder Analysieren der Applikation auf Basis, insbesondere mithilfe, dieser Überlagerung, in einer Ausführung mithilfe der, insbesondere durch, die Benutzerschnittstelle.
Hierdurch kann in einer Ausführung die benötigte Zeit und/oder der Aufwand zum Konfigurieren, Durchführen bzw. Analysieren der Applikation reduziert und/oder die dabei erreichte Zuverlässigkeit und/oder Präzision erhöht werden. Das Konfigurieren umfasst in einer Ausführung ein Planen bzw. Vorgeben von Bewegungen und/oder Tätigkeiten bzw. Arbeiten der Roboteranordnung und/oder einer damit interagierenden Umgebung, insbesondere Lagern, Be- und/oder Entladestationen, Förder-, Be- bzw. Verarbeitungs-, Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestationen oder dergleichen und/oder ein Gestalten, insbesondere Parametrieren und/oder Verändern der Roboteranordnung und/oder damit interagierenden Umgebung. In einer Ausführung erfolgt das Konfigurieren vor dem Durchführen der Applikation.
Das Durchführen einer Applikation der Roboteranordnung umfasst in einer Ausführung ein Kommandieren, insbesondere Steuern bzw. Regeln, und/oder Überwachen von Bewegungen und/oder Tätigkeiten der Roboteranordnung und/oder einer damit interagierenden Umgebung, insbesondere Lagern, Be- und/oder Entladestationen, Förder-, Be- bzw. Verarbeitungs-, Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestationen oder dergleichen. In einer Ausführung erfolgt das erfindungsgemäße Durchführen online. In einer Ausführung umfasst, insbesondere ist, das Durchführen einer Applikation der Roboteranordnung das Steuern des bzw. eines oder mehrerer der mobilen und/oder kollaborativen Roboter(s), in einer Ausführung online und/oder remote durch einen Benutzer der Benutzerschnittstelle.
Das Analysieren umfasst in einer Ausführung ein Sammeln, insbesondere Speichern, und/oder Auswerten von Daten von der Roboteranordnung und/oder einer damit interagierenden Umgebung, insbesondere Lagern, Be- und/oder Entladestationen, Förder-, Be- bzw. Verarbeitungs-, Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestationen oder dergleichen, insbesondere ein Auswerten während und/oder nach Durchführen der Applikation.
Die Ansicht der Umgebung umfasst in einer Ausführung
- wenigstens eine, in einer Ausführung zwei- oder dreidimensionale, Darstellung, der Umgebung und/oder
- einen Blick bzw. ein Sichtfeld eines Benutzers der Benutzerschnittstelle.
Diese Darstellung der Umgebung umfasst in einer Ausführung ihrerseits - wenigstens ein aufgenommenes, insbesondere aktuelles, in einer Ausführung aktualisiertes, oder gespeichertes, Bild, insbesondere Kamerabild, der Umgebung und/oder
- eine künstliche Rekonstruktion der Umgebung, in einer Ausführung an, insbesondere auf bzw. in, der Benutzerschnittstelle.
Das Kamerabild ist bzw. wird in einer Ausführung
- mithilfe der, insbesondere durch die, Benutzerschnittstelle bzw. wenigstens eine(r) benutzerschnittstellenseitige(n) Kamera,
- mithilfe der, insbesondere durch die, Roboteranordnung, insbesondere des bzw. den mobilen und/oder kollaborativen Roboter(s), bzw. wenigstens eine(r) roboter(anordnungs)seitige(n) Kamera und/oder
- mithilfe, insbesondere durch, wenigstens eine(r) benutzerschnittsteilen- und roboteranordnungsexterne(n) Kamera aufgenommen, insbesondere aktualisiert.
Somit umfasst das Überlagern insbesondere die folgenden, nicht abschließenden
Varianten:
- Überlagern eines aufgenommenen (Ab-, insbesondere Kamera)Bildes der Umgebung und des wenigstens einen virtuellen Objekts, in einer Ausführung auf einem Bildschirm der Benutzerschnittstelle oder durch Projektion;
- Überlagern einer künstlichen Rekonstruktion der Umgebung, beispielsweise einer Darstellung der Umgebung in Form von Gittern, vereinfachten geometrischen Flächen und/oder Körpern, virtuellen Wänden, Böden, Decken, Körpern und dergleichen, und des wenigstens einen virtuellen Objekts, in einer Ausführung auf einem Bildschirm der Benutzerschnittstelle oder durch Projektion;
- Überlagern des wenigstens einen virtuellen Objekts mit einem Blick bzw. Sichtfeld bzw. einer Sicht des Benutzers auf die Umgebung, insbesondere auf einem Brillen-, Linsen- oder Maskenglas der Benutzerschnittstelle oder durch Projektion.
In einer Ausführung werden die Ansicht der Umgebung und das bzw. die virtuelle(n)
Objekt(e)
- auf Basis bzw. in Abhängigkeit von einer ermittelten, in einer Ausführung aktuellen, in einer Ausführung aktualisierten, Perspektive der Ansicht;
- auf Basis bzw. in Abhängigkeit von (einer) ermittelten, in einer Ausführung aktuellen, in einer Ausführung aktualisierten, Pose(n) - der Benutzerschnittstelle,
- der Roboteranordnung, insbesondere des bzw. eines oder mehrerer der mobilen und/oder kollaborativen Roboter(s), und/oder
- wenigstens eines, in einer Ausführung statischen oder bewegten, Umgebungsobjekts, in einer Ausführung wenigstens eines mit dem bzw. einem der virtuellen Objekt(e) verknüpften Umgebungsobjekts, relativ zu der Umgebung; und/oder
- auf Basis bzw. in Abhängigkeit von (einer) ermittelten, in einer Ausführung aktuellen, in einer Ausführung aktualisierten, Blickrichtung eines Trägers der Benutzerschnittstelle, insbesondere relativ zu der Umgebung und/oder Benutzerschnittstelle überlagert.
Entsprechend umfasst das Verfahren in einer Ausführung das Ermitteln, insbesondere Erfassen und/oder Aktualisieren, dieser Perspektive, dieser Pose(n) und/oder Blickrichtung. Eine ermittelte Pose bzw. Blickrichtung ist in einer Ausführung eine erfasste und/oder aktualisierte Pose bzw. Blickrichtung.
Eine Pose umfasst in einer Ausführung wenigstens eine ein-, zwei- oder dreidimensionale Position und/oder wenigstens eine ein-, zwei- oder dreidimensionale Orientierung, insbesondere eine Position und/oder Orientierung relativ zu bzw. in der Umgebung.
In einer Ausführung wird die Ansicht der Umwelt auf Basis der ermittelten Pose der Benutzerschnittstelle aktualisiert, in einer Ausführung in Echtzeit und/oder derart, dass sich eine Blickrichtung der Ansicht mit bzw. bei einer Änderung der Pose der Benutzerschnittstelle (entsprechend) (mit)ändert, in einer Ausführung entsprechend einer Änderung einer benutzerschnittstellenfesten Blickrichtung (relativ zur Umgebung).
Wird beispielsweise die Benutzerschnittstelle um eine Achse gedreht, dreht sich, gegebenenfalls (nur) bei relativ zur Benutzerschnittstelle konstanter Blickrichtung des Benutzers oder auch unabhängig hiervon, in einer Ausführung auch die Blickrichtung der Ansicht der Umwelt (entsprechend mit). In einer Ausführung wird die Ansicht der Umwelt auf Basis der ermittelten Pose der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, aktualisiert, in einer Ausführung in Echtzeit und/oder derart, dass sich eine Blickrichtung der Ansicht mit bzw. bei einer Änderung der Pose des Roboters (entsprechend) (mit)ändert, in einer Ausführung entsprechend einer Änderung einer roboterfesten Blickrichtung (relativ zur Umgebung).
Dreht sich beispielsweise der Roboter um eine Achse, dreht sich in einer Ausführung auch die Blickrichtung der Ansicht der Umwelt (entsprechend mit).
Somit kann zusätzlich oder alternativ zu einer Ansicht der Umgebung der Benutzerschnittstelle auch eine Ansicht der Umgebung der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, mit einem oder mehreren virtuellen Objekten überlagert werden, um so beispielsweise Fernsteuerungen, Fernerkundungen oder andere Applikationen der Roboteranordnung, beispielsweise Tätigkeiten in Fabrikationsstätten, Lagern oder dergleichen, zu konfigurieren, durchzuführen und/oder zu analysieren.
In einer Ausführung wird eine Pose, insbesondere Position und/oder Orientierung, des bzw. wenigstens eines der virtuelle(n) Objekt(e) in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, auf Basis der ermittelten Pose der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, aktualisiert, in einer Ausführung in Echtzeit und/oder derart, dass sich eine Pose, insbesondere Position und/oder Orientierung, des, insbesondere mit der Roboteranordnung, in einer Ausführung dem mobilen und/oder kollaborativen Roboter, verknüpften, virtuellen Objekts in der Überlagerung bzw. Ansicht der Umgebung mit bzw. bei einer Änderung der Pose der Roboteranordnung bzw. des Roboters relativ zu der Umgebung (entsprechend) (mit)ändert, in einer Ausführung entspricht die Änderung der Pose, insbesondere Position und/oder Orientierung, des virtuellen Objekts in der Überlagerung bzw. Ansicht der Änderung der Pose, insbesondere Position und/oder Orientierung, der Roboteranordnung bzw. des Roboters relativ zu der Umgebung in Richtung und Größe. Verfährt beispielsweise der Roboter, verschiebt sich in einer Ausführung auch das damit verknüpfte virtuelle Objekt in der Überlagerung bzw. Ansicht der Umwelt (entsprechend mit).
Gleichermaßen kann die Roboteranordnung auch nicht mit virtuellen Objekten verknüpft und/oder in der (Ansicht der) Umgebung nicht (real) präsent und/oder (nur) durch virtuelle Objekte symbolisiert, sein.
In einer Ausführung wird eine Pose, insbesondere Position und/oder Orientierung, des bzw. wenigstens eines der virtuelle(n) Objekt(e) in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, auf Basis einer prognostizierten oder nur geplanten, aber (noch) nicht angefahrenen bzw. Planungs-Pose der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, aktualisiert, in einer Ausführung in Echtzeit und/oder während einer Planung(sphase) der Applikation und/oder derart, dass sich eine Pose, insbesondere Position und/oder Orientierung, des, insbesondere mit der Roboteranordnung, in einer Ausführung dem mobilen und/oder kollaborativen Roboter, verknüpften, virtuellen Objekts in der Überlagerung bzw. Ansicht der Umgebung mit bzw. bei einer Änderung der prognostizierten bzw. Planungs-Pose der Roboteranordnung bzw. des Roboters relativ zu der Umgebung (entsprechend) (mit)ändert, in einer Ausführung entspricht die Änderung der Pose, insbesondere Position und/oder Orientierung, dieses virtuellen Objekts in der Überlagerung bzw. Ansicht der Änderung der prognostizierten bzw. Planungs-Pose, insbesondere Position und/oder Orientierung, der Roboteranordnung bzw. des Roboters relativ zu der Umgebung in Richtung und Größe.
Verschiebt sich beispielsweise eine Planungs-Pose, etwa ein Knoten eines Navigationspfades oder dergleichen, insbesondere infolge einer Benutzereingabe, verschiebt sich in einer Ausführung auch das damit verknüpfte virtuelle Objekt in der Überlagerung bzw. Ansicht der Umwelt (entsprechend mit).
Hierdurch kann ein Benutzer in einer Ausführung vorteilhaft Auswirkungen geplanter bzw. zukünftiger Roboter(anordnugs)posen, insbesondere potentielle Verletzungen von Schutzräumen, Kollisionen mit Hindernissen oder dergleichen, vorteilhaft erkennen.
In einer Ausführung wird eine Pose, insbesondere Position und/oder Orientierung, des bzw. eines oder mehrerer der virtuellen Objekte in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, auf Basis der ermittelten Pose eines mit dem (jeweiligen) virtuellen Objekt verknüpften Umgebungsobjekts aktualisiert, in einer Ausführung in Echtzeit und/oder derart, dass sich eine Pose, insbesondere Position und/oder Orientierung, des (jeweiligen) virtuellen Objekts in der Überlagerung bzw. Ansicht der Umgebung mit bzw. bei einer Änderung der Pose des damit verknüpften Umgebungsobjekts relativ zu der Umgebung (entsprechend) (mit)ändert, in einer Ausführung entspricht die Änderung der Pose, insbesondere Position und/oder Orientierung, des virtuellen Objekts in der Überlagerung bzw. Ansicht der Änderung der Pose, insbesondere Position und/oder Orientierung, des Umgebungsobjekts relativ zu der Umgebung in Richtung und Größe.
Verschiebt sich beispielsweise ein Werkstück, Transportgut, Werkzeug- oder Fördertisch oder ein anderes Umgebungsobjekt, verschiebt sich in einer Ausführung auch das damit verknüpfte virtuelle Objekt in der Überlagerung bzw. Ansicht der Umwelt (entsprechend mit).
Gleichermaßen kann eine Pose, insbesondere Position und/oder Orientierung, des bzw. eines oder mehrerer der virtuellen Objekte relativ zu einer Außenkontur der Ansicht der Umgebung, insbesondere relativ zu einer Außenkontur der Darstellung der Umgebung bzw. einer Außenkontur des Sichtfelds des Benutzers auch konstant bzw. relativ zur Außenkontur ortsfest sein.
Schwenkt beispielsweise eine Perspektive der Ansicht um eine Vertikalachse, kann ein solches virtuelles Objekt relativ zu einer Außenkontur eines (Ab-, insbesondere Kamera)Bildes der Umgebung, einer Außenkontur einer künstlichen Rekonstruktion der Umgebung bzw. einer Außenkontur eines Blick(feld)s des Benutzers bzw. einer Außenkontur eines Brillen-, Linsen- oder Maskenglases der Benutzerschnittstelle ortsfest bleiben. Die Perspektive der Ansicht ist, insbesondere wird, in einer Ausführung auf Basis einer ermittelten, insbesondere aktuellen, Pose der Benutzerschnittstelle oder Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, relativ zur Umgebung ermittelt, in einer Ausführung aktualisiert.
Zusätzlich oder alternativ ist, insbesondere wird, die Perspektive der Ansicht in einer Ausführung auf Basis einer ermittelten, insbesondere aktuellen, Blickrichtung eines Benutzers, insbesondere Trägers, der Benutzerschnittstelle ermittelt, in einer Ausführung aktualisiert, in einer Ausführung auf Basis einer ermittelten Blickrichtung des Benutzers relativ zur Benutzerschnittstelle und einer ermittelten Pose der Benutzerschnittstelle relativ zur Umgebung oder auf Basis einer ermittelten Blickrichtung des Benutzers relativ zur Umgebung.
Diese Perspektive der Ansicht wird in einer Ausführung bei der Überlagerung der Ansicht der Umgebung mit dem bzw. den virtuellen Objekt(en) verwendet, insbesondere die Ansicht in bzw. mit dieser Perspektive visualisiert und/oder das bzw. eines oder mehrere der virtuellen Objekt(e) unter Berücksichtigung dieser Perspektive mit der Ansicht der Umgebung überlagert, insbesondere in hier bzw. vorstehend und nachfolgend beschriebener Weise.
Trägt beispielsweise ein Benutzer eine Benutzerschnittstelle in Form eines Handgeräts und dreht sich mit dem Handgerät um eine Achse, wird in einer Ausführung auch die Perspektive der Ansicht entsprechend (mit)gedreht.
Trägt ein Benutzer beispielsweise eine Benutzerschnittstelle in Form einer MR-Maske, MR-Linse, MR-Brille oder dergleichen und dreht sich ohne Augenbewegung um eine Achse, wird in einer Ausführung auch die Perspektive der Ansicht entsprechend (mit)gedreht. Bewegt er ohne Kopfbewegung die Augen, beispielsweise horizontal von links nach rechts, wandert in einer Ausführung auch die Perspektive der Ansicht entsprechend (mit). Bei einer Kombination von Augen- und
Benutzerschnittstellenbewegung bzw. einer Änderung der Blickrichtung des Benutzers und der Pose der Benutzerschnittstelle wird in einer Ausführung auch die Perspektive der Ansicht entsprechend geändert (ermittelt) bzw. aktualisiert. Dreht der Benutzer beispielsweise seinen Kopf horizontal von links nach rechts und seine Augen gleichschnell von rechts nach links, bleibt die Perspektive der Ansicht in einer Ausführung konstant, dreht der Benutzer beispielsweise seinen Kopf horizontal von links nach rechts und seine Augen ebenfalls von links nach rechts, wandert in einer Ausführung auch die Perspektive der Ansicht mit der superponierten Geschwindigkeit von Kopf- und Augenbewegung.
Somit werden in einer Ausführung die Ansicht der Umgebung und das bzw. die virtuelle(n) Objekt(e) augmentiert.
Hierdurch kann in einer Ausführung die benötigte Zeit und/oder der Aufwand zum Konfigurieren, Durchführen bzw. Analysieren von Applikationen mobiler und/oder kollaborativen Roboter, insbesondere aufgrund von deren Komplexität und/oder Variabilität, besonders vorteilhaft reduziert und/oder die dabei erreichte Zuverlässigkeit besonders vorteilhaft erhöht werden.
In einer Ausführung werden die Ansicht der Umgebung und das bzw. die virtuelle(n) Objekt(e) auf Basis eines, in einer Ausführung dreidimensionalen, insbesondere mathematischen bzw. datentechnischen, Modells der Umgebung überlagert. In einer Ausführung entspricht eine Pose des (jeweiligen) virtuellen Objekts relativ zu bzw. in dem Modell einer ermittelten Pose des mit diesem virtuellen Objekt verknüpften Umgebungsobjekts relativ zur Umgebung. Das Modell kann insbesondere eine(n) oder mehrere Punkte, insbesondere Punktewolke(n), Gruppen relativ zueinander lokalisierter Merkmale, 3D-Gitter oder dergleichen aufweisen.
Hierdurch kann in einer Ausführung das Überlagern verbessert, in einer Ausführung die Präzision und/oder Stabilität erhöht werden. Beispielsweise kann so eine 2D- Abbildung, die eine Navigation des mobilen, in einer Ausführung kollaborativen, Roboters repräsentiert, insbesondere visualisiert, der Ansicht der Umgebung präzise(r) und/oder stabil(er) überlagert werden.
Zusätzlich oder alternativ wird das Modell in einer Ausführung auch zur Navigation der Roboteranordnung verwendet, wodurch in einer Ausführung das Modell synergetisch genutzt und/oder die Navigation verbessert, in einer Ausführung die Präzision und/oder Stabilität erhöht werden kann. In einer Ausführung weist die Benutzerschnittstelle wenigstens eine, in einer Ausführung am Kopf, tragbare Mixed-Reality-spezifische, in einer Ausführung AR- spezifische, Vorrichtung wie beispielsweise Microsoft Hololens2, Magic Leap One oder dergleichen, in einer Ausführung eine MR-Brille, MR-Linse oder MR-Maske, in einer Ausführung eines (MR-)Helms oder (MR-)Kopfgurtes, auf.
Hierdurch kann in einer Ausführung die Ergonomie und/oder Präzision verbessert werden.
In einer Ausführung weist die Benutzerschnittstelle wenigstens eine tragbare Mehrzweckvorrichtung, insbesondere ein Mobiltelefon, Tablet oder dergleichen, auf, die neben der Benutzerschnittstellenfunktionalität in einer Ausführung noch eine oder mehrere andere Funktionalitäten, insbesondere Kommunikation mit dem Internet und/oder Telefonie, insbesondere Bildtelefonie wie Skype oder dergleichen aufweist bzw. zur Verfügung stellt.
Hierdurch kann in einer Ausführung eine bereits vorhandene Benutzerschnittstelle mehrere Funktionen übernehmen.
In einer Ausführung weist die Benutzerschnittstelle wenigstens ein transparentes Display, wenigstens einen Bildschirm, insbesondere Touchscreen, wenigstens ein Trackpad, wenigstens eine Tastatur, wenigstens einen Joystick und/oder wenigstens eine Computermaus auf.
Hierdurch kann in einer Ausführung die Ergonomie und/oder Präzision verbessert werden.
In einer Ausführung erfasst die Benutzerschnittstelle mithilfe eines oder mehrerer, in einer Ausführung benutzerschnittstellenseitiger bzw. -fester, Sensoren die Umgebung bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.
Hierdurch kann in einer Ausführung die Darstellung der Umgebung und/oder die Selbstlokalisation der Benutzerschnittstelle verbessert werden. In einer Ausführung erfasst die Benutzerschnittstelle mithilfe eines oder mehrerer, in einer Ausführung benutzerschnittstellenseitiger bzw. -fester, Sensoren die Blickrichtung eines Trägers der Benutzerschnittstelle bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.
Hierdurch kann in einer Ausführung die Überlagerung verbessert werden.
In einer Ausführung sendet die Benutzerschnittstelle, in einer Ausführung drahtlos, Daten an die Roboteranordnung, Umgebung, ein lokales Netzwerk und/oder eine Computercloud und/oder erhält von der Roboteranordnung, Umgebung, dem lokalen Netzwerk und/oder der Computercloud, in einer Ausführung drahtlos, Daten bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.
Hierdurch kann in einer Ausführung benutzerschnittstellenexterne Sensor- und/oder Rechenkapazität genutzt und damit insbesondere eine Sensor- bzw. Rechenkapazität der Benutzerschnittstelle geschont bzw. reduziert werden und/oder die Benutzerschnittstelle als Sensor fungieren.
In einer Ausführung aktualisiert die Benutzerschnittstelle die Überlagerung, insbesondere die Ansicht der Umgebung und/oder das bzw. eines oder mehrerer virtuelle(n/r) Objekt(e/s), in Echtzeit bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.
Hierdurch kann in einer Ausführung das Durchführen der Applikation verbessert, insbesondere eine Präzision erhöht werden.
In einer Ausführung ist, insbesondere wird, die Pose der Benutzerschnittstelle und/oder die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte, mit dem das bzw. mit denen jeweils eines der virtuelle(n) Objekt(e) verknüpft ist, mittels Selbstlokalisation und/oder mithilfe einer Umgebungskarte, insbesondere mittels SLAM (Simultaneous Localization and Mapping) ermittelt. Hierdurch kann das Überlagern auf Basis der ermittelten Pose verbessert, insbesondere eine Präzision erhöht werden.
In einer Ausführung ist, insbesondere wird, die Pose der Benutzerschnittstelle und/oder die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte, mit dem das bzw. mit denen jeweils eines der virtuelle(n) Objekt(e) verknüpft ist, mithilfe wenigstens eines benutzerschnittstellenseitigen und/oder wenigstens eines roboteranordnungs-, insbesondere roboterseitigen und/oder wenigstens eines umgebungsseitigen Sensors ermittelt. In einer Ausführung ist, insbesondere wird, die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte zusätzlich oder alternativ auf Basis einer vorgegebenen, insbesondere geplanten oder gesteuerten, Positionierung, insbesondere Bewegung, der Roboteranordnung bzw. des (jeweiligen) Umgebungsobjekts ermittelt.
Durch umgebungsseitige Sensoren kann in einer Ausführung die Belastung der Benutzerschnittstelle bzw. Roboteranordnung bzw. des mobilen und/oder kollaborativen Roboters reduziert werden, durch benutzerschnittsteilen- bzw. roboter(anordnungs)seitige Sensoren in einer Ausführung die Benutzerschnittstelle bzw. Roboteranordnung flexibler, insbesondere in beliebigen Umgebungen eingesetzt werden.
Als Sensor zur Ermittlung der Pose der Benutzerschnittstelle, Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, bzw. des Umgebungsobjekts werden bevorzugt eine oder mehrere Kameras, insbesondere 2D- und/oder 3D-Kameras, eine oder mehrere LIDAR-Vorrichtungen („Light Detection And Ranging“), ein oder mehrere Sonarsensoren, ein oder mehrere Tiefenwahrnehmungssensoren („depth sensing devices“), ein oder mehrere Funksensoren, insbesondere Empfänger von, in einer Ausführung umgebungsseitigen und/oder benutzerschnittsteilen- bzw. roboter(anordnungs)seitigen, Funkfeuern („radio beacon“), und/oder eine oder mehrere inertiale Messeinheiten („Inertial Measurement Units“, IMUs), in einer Ausführung räumliche Kombinationen mehrerer Inertialsensoren wie Beschleunigungssensoren und Drehratensensoren, verwendet. Hierdurch kann in einer Ausführung die Selbstlokalisation der Benutzerschnittstelle verbessert, insbesondere eine Präzision erhöht werden.
In einer Ausführung ist, insbesondere wird, die Pose der Benutzerschnittstelle und/oder die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte, mit dem das bzw. mit denen jeweils eines der virtuelle(n) Objekt(e) verknüpft ist, in Echtzeit ermittelt, insbesondere aktualisiert.
Hierdurch kann das Überlagern auf Basis der ermittelten Pose verbessert, insbesondere eine Präzision erhöht, und dadurch insbesondere das Durchführen und/oder die Analyse verbessert werden.
In einer Ausführung ist, insbesondere wird, die (aktuelle) Pose der Benutzerschnittstelle und/oder die Pose der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder die Pose des bzw. eines oder mehrerer der Umgebungsobjekte, mit dem das bzw. mit denen jeweils eines der virtuelle(n) Objekt(e) verknüpft ist, auf Basis einer ermittelten Anfangspose der Benutzerschnittstelle, Roboteranordnung bzw. des mobilen und/oder kollaborativen Roboters, bzw. (jeweiligen) Umgebungsobjekts ermittelt.
Diese Anfangspose ist, insbesondere wird, in einer Ausführung auf Basis eines Umgebungsmerkmals, das in einer Ausführung hierzu angeordnet und/oder codiert und/oder mittels Bildverarbeitung erfasst wird bzw. ist, und/oder mithilfe von (Koordinaten)Triangulation und/oder wenigstens einer, insbesondere mit der Benutzerschnittstelle und/oder Roboteranordnung kommunizierenden, externen Messvorrichtung ermittelt.
Beispielsweise kann die Anfangspose mithilfe eines QR-Codes oder eines anderen erkennbaren Merkmals der Umgebung erfasst werden, welches mittels wenigstens eines benutzerschnittsteilen- bzw. roboter(anordnungs)seitigen Sensors erfasst wird, wobei aus der bekannten Pose des Umgebungsmerkmals relativ zur Umgebung und der sensorisch erfassten Pose des Umgebungsmerkmals relativ zur Benutzerschnittstelle bzw. Roboteranordnung die (Anfangs)Pose der Benutzerschnittstelle bzw. Roboteranordnung relativ zur Umgebung ermittelt werden kann.
Hierdurch kann in einer Ausführung die Selbstlokalisation der Benutzerschnittstelle verbessert, insbesondere eine Präzision erhöht werden.
In einer Ausführung sendet die Benutzerschnittstelle Anweisungen an die Roboteranordnung, insbesondere den mobilen und/oder kollaborativen Roboter und/oder eine, insbesondere roboterexterne und/oder zentrale, Roboteranordnungssteuerung, in einer Ausführung ein Flottenmanagement(system), das mehrere mobile Roboter der Roboteranordnung steuert bzw. hierzu eingerichtet ist bzw. verwendet wird, in einer Ausführung sendet die Benutzerschnittstelle Bewegungsanweisungen, Anweisungen zur Änderung einer Konfiguration der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder Anforderungen von bzw. Nachfragen nach Daten.
Hierdurch kann in einer Ausführung benutzerschnittstellenexterne Sensor- und/oder Rechenkapazität genutzt und damit insbesondere eine Sensor- bzw. Rechenkapazität der Benutzerschnittstelle geschont bzw. reduziert werden und/oder die Benutzerschnittstelle als Sensor fungieren und/oder den bzw. einen oder mehrere der mobilen und/oder kollaborativen Roboter steuern.
In einer Ausführung empfängt die Benutzerschnittstelle Daten, in einer Ausführung Navigations-, insbesondere Karten- und/oder Pfaddaten, Sicherheitsdaten, Konfigurationsdaten und/oder Posendaten, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters. In einer Ausführung empfängt sie die Daten von der Roboteranordnung, insbesondere von dem mobilen und/oder kollaborativen Roboter und/oder einer bzw. der Roboteranordnungssteuerung, und/oder speichert solche, insbesondere empfangenen, Daten. In einer Ausführung ermittelt, in einer Ausführung aktualisiert, die Benutzerschnittstelle die Überlagerung auf Basis der gespeicherten bzw. empfangenen Daten.
Hierdurch kann in einer Ausführung benutzerschnittstellenexterne Sensor- und/oder Rechenkapazität genutzt und damit insbesondere eine Sensor- bzw. Rechenkapazität der Benutzerschnittstelle geschont bzw. reduziert werden. In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit Kartendaten eines Navigationsmittels der Roboteranordnung, insbesondere des mobilen, in einer Ausführung kollaborativen, Roboters verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt die Kartendaten, beispielsweise einer Occupancy Grid Map oder dergleichen.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem Sensorbereich, insbesondere einer Sensorerfassungsrichtung, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt den Sensorbereich bzw. die Sensorerfassungsrichtung, beispielsweise einen oder mehrere Strahlen eines oder mehrerer Scanner, insbesondere Laserscanner, oder dergleichen.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung geplanten und/oder abgefahrenen, Pfad oder zulässigen Pfadbereich der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt den Pfad(bereich), beispielsweise in Form eines topometrischen bzw. topologischen Graphen, Voronoi-Diagramms, Abstandskarten oder dergleichen.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung vorgegebenen und/oder zwei- oder dreidimensionalen ein- oder mehrteiligen, Sicherheitsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diesen Sicherheitsbereich, beispielsweise in Form einer ein- oder mehrteiligen Bodenfläche oder einer ein- oder mehrteiligen Hüllkontur.
In einer Ausführung wird ein mit dem roboterseitigen Sicherheitsbereich kollidierender Umgebungsbereich und/oder ein mit dem umgebungsseitigen Sicherheitsbereich kollidierender Roboterbereich erfasst und auf Basis der Erfassung ein Merkmal des mit diesem Sicherheitsbereich verknüpften virtuellen Objekts verändert, beispielsweise (anders) eingefärbt oder dergleichen, und/oder ein eigenes virtuelles Objekt mit diesem kollidierenden bzw. Schnittbereich verknüpft, das ihn in einer Weiterbildung repräsentiert, insbesondere visualisiert.
Ein roboterseitiger Sicherheitsbereich ist, insbesondere wird, in einer Ausführung in Abhängigkeit von einer Abmessung, aktuellen oder Planungs-Pose und/oder aktuellen, geplanten oder extremalen Stellung der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, vorgegeben bzw. ermittelt, in einer Ausführung aktualisiert.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung vorgegebenen und/oder zwei- oder dreidimensionalen ein- oder mehrteiligen, Auswertungsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diesen Auswertungsbereich, beispielsweise in Form einer ein- oder mehrteiligen Fläche, Hüllkontur oder dergleichen.
Ein solcher Auswertungsbereich ist, insbesondere wird, in einer Ausführung über die Benutzerschnittstelle vorgegeben und/oder entspricht einem ein- oder mehrteiligen Bereich der Umgebung, der zur (Selbst)Lokalisation ausgeschlossen oder primär, in einer Ausführung exklusiv, verwendet werden soll bzw. wird bzw. ist. Entsprechend wird insbesondere auch ein ein- oder mehrteiliger, über die Benutzerschnittstelle vorgegebener Umgebungsbereich, der nicht zur (Selbst)Lokalisation verwendet werden soll, als ein Auswertungsbereich bezeichnet.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung vorgegebenen und/oder zwei- oder dreidimensionalen ein- oder mehrteiligen, Erreichbarkeitsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diesen Erreichbarkeitsbereich, beispielsweise in Form einer ein- oder mehrteiligen Fläche, Hüllkontur oder dergleichen.
Ein solcher Erreichbarkeitsbereich ist, insbesondere wird, in einer Ausführung mittels wenigstens teilweise automatisierter Umgebungs-, insbesondere Hinderniserfassung ermittelt, in einer Ausführung aktualisiert, und/oder entspricht einem ein- oder mehrteiligen Bereich der Umgebung, der von der Roboteranordnung, insbesondere dem mobilen und/oder kollaborativen Roboter erreichbar ist.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, in einer Ausführung vorgegebenen und/oder zwei- oder dreidimensionalen ein- oder mehrteiligen, Reservierungsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diesen Reservierungsbereich, beispielsweise in Form einer ein- oder mehrteiligen Bodenfläche oder einer ein- oder mehrteiligen Hüllkontur.
Ein solcher Reservierungsbereich ist, insbesondere wird, in einer Ausführung in Abhängigkeit von einer Abmessung, aktuellen oder Planungs-Pose und/oder aktuellen, geplanten oder extremalen Stellung der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, vorgegeben bzw. ermittelt, in einer Ausführung aktualisiert, und/oder repräsentiert bzw. visualisiert einen ein- oder mehrteiligen Bereich, den die Roboteranordnung, insbesondere der mobile und/oder kollaborative Roboter, potentiell, insbesondere beim Abfahren einer geplanten Bahn und/oder Durchführen einer geplanten Aufgabe und/oder in einer extremalen Auslage, einnimmt.
Ein roboterseitiger Sicherheits- bzw. Reservierungsbereich überragt in einer Ausführung eine Außenkontur des mobilen und/oder kollaborativen Roboters. Hierdurch kann in einer Ausführung dessen Ermittlung vereinfacht und/oder eine Sicherheit erhöht werden. Ein umgebungsseitiger Sicherheitsbereich ist in einer Ausführung ein Bereich, in den der Roboter nicht eindringen darf bzw. soll, ein roboterseitiger Sicherheitsbereich entsprechend in einer Ausführung ein Bereich, in den kein Hindernis eindringen darf bzw. soll. Ein (roboterseitiger) Reservierungsbereich ist in einer Ausführung ein Bereich, der für den Roboter reserviert ist bzw. werden soll und/oder in dem der Roboter sich aufhalten und/oder bewegen darf.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem Zielort bzw. einer Zielpose, insbesondere der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt einen solchen Zielort bzw. eine solche Zielpose, beispielsweise eine (aktuell und/oder geplante) anzufahrende Be- und/oder Entladestation, Förder-, Be- bzw. Verarbeitungs-,
Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestation oder dergleichen.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem Warteort bzw. einer Wartepose, insbesondere der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt einen solchen Warteort bzw. eine solche Wartepose, beispielsweise eine (aktuell und/oder geplante) anzufahrende Position, an der vorgesehen ist, dass der Roboter für eine bestimmte Zeit und/oder auf ein bestimmtes Ergebnis, beispielsweise eine Freigabe oder dergleichen, wartet.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einer, in einer Ausführung geplanten oder verbleibenden, Wartezeit, für einen bzw. den mobilen und/oder kollaborativen Roboter, in einer Ausführung an einem Warteort bzw. einer Wartepose des Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diese Wartezeit.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einer, in einer Ausführung geplanten oder prognostizierten, Ankunftszeit, der Roboteranordnung, in einer Ausführung des mobilen und/oder kollaborativen Roboters, in einer Ausführung an einem Warte- oder Zielort bzw. einer Warte- oder Zielpose der Roboteranordnung bzw. des Roboters, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diese Ankunftszeit.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit dem mobilen und/oder kollaborativen Roboter, in einer Ausführung mit einem Energie-,
Navigations-, Fehler-, Kommunikations- und/oder Logistikzustand, des Roboters verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt den Roboter bzw. Zustand, beispielsweise einen Ladezustand einer Batterie, eine Genauigkeit einer (Selbst)Lokalisierung, aktuelle Fehler am Roboter, eine Zuverlässigkeit einer Kommunikationsverbindung oder seine aktuelle Stelle in einer Flottenmanagementverwaltung.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einem, insbesondere stationären oder bewegten, Umgebungsobjekt oder -punkt, insbesondere einem Zustand und/oder einer potentiellen, insbesondere geplanten, Interaktion (des Umgebungsobjekts bzw. (an dem) Umgebungspunkt(s)) mit der Roboteranordnung, verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt dieses Umgebungsobjekt bzw. diesen Umgebungspunkt, insbesondere dessen Zustand und/oder die potentielle, insbesondere geplante, Interaktion mit der Roboteranordnung, beispielsweise einen Füllgrad und/oder Ausrüstungs- und/oder Bereitschaftszustand einer Be- und/oder Entladestation, Förder-, Be- bzw. Verarbeitungs-, Prüf- und/oder Betankungs- und/oder Elektro-(Auf)Ladestation - oder Parkstation, eine Aufgabe, die der mobile und/oder kollaborativen Roboter an einer Station durchführen kann oder soll oder dergleichen.
In einer Ausführung ist wenigstens ein überlagertes virtuelles Objekt mit einer Navigationshilfe zu einer vorgegebenen Stelle verknüpft, in einer Weiterbildung repräsentiert, insbesondere visualisiert, dieses virtuelle Objekt diese Navigationshilfe. In einer Ausführung weist das virtuelle Objekt hierzu einen oder mehrere (Richtungs)Pfeile, Distanzangaben, Bahnen, insbesondere aktuell abgefahrene, bereits abgefahrene und/oder mögliche, insbesondere geplante Bahnen, und/oder Ortsidentifikationen auf.
In einer Ausführung sind bzw. werden ein oder mehrere der hier bzw. vor- und nachstehend genannten virtuellen Objekte (jeweils) mit einem, insbesondere stationären oder bewegten, Umgebungsobjekt oder -punkt, verknüpft, insbesondere derart, dass ihre Pose, insbesondere Position, relativ zu einer Ansicht dieses Umgebungsobjekts bzw. -punkts in der Ansicht der Umgebung konstant bleibt. In einer Ausführung bleibt zusätzlich ihre Orientierung relativ zur Blickrichtung der Ansicht konstant, insbesondere kann ein virtuelles Objekt in Form einer ebenen Fläche stets so orientiert sein, dass die Blickrichtung der Ansicht parallel zur Flächennormale dieser Fläche ist. Hierdurch kann in einer Ausführung die Ergonomie, Zuverlässigkeit, Schnelligkeit und/oder Präzision des Konfigurierens, Durchführens bzw. Analysierens der Applikation verbessert werden.
In einer Ausführung bleibt eine Position wenigstens eines überlagerten virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umwelt bei einer Bewegung der Benutzerschnittstelle (relativ zur Umgebung) und/oder Änderung der Perspektive der Ansicht der Umgebung konstant, insbesondere an einer vorgegebenen, in einer Ausführung durch Benutzereingabe wähl-, insbesondere veränderbaren, Position, beispielsweise an einem Bildrand oder dergleichen.
Zusätzlich oder alternativ bleibt in einer Ausführung eine Orientierung wenigstens eines überlagerten virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umwelt bei einer Bewegung der Benutzerschnittstelle (relativ zur Umgebung) und/oder Änderung der Perspektive der Ansicht der Umgebung konstant, insbesondere in einer vorgegebenen, in einer Ausführung durch Benutzereingabe wähl-, insbesondere veränderbaren, Orientierung, beispielsweise parallel zu einer Bildebene oder dergleichen.
In einer Ausführung bleibt eine Position und/oder Orientierung wenigstens eines überlagerten virtuellen Objekts relativ zu einer Ansicht, insbesondere einem Bild, eines mit diesem virtuellen Objekt verknüpften Umgebungsobjekts oder Umgebungspunkts oder Pfadpunkts oder Pfadabschnitts der Roboteranordnung in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, bei einer Bewegung der Benutzerschnittstelle und/oder Änderung der Perspektive der Ansicht der Umgebung konstant. In einer Ausführung wird dabei eine Änderung der Perspektive der Ansicht der Umgebung, insbesondere infolge einer Bewegung der Benutzerschnittstelle, kompensiert bzw. die Position und/oder Orientierung des virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umgebung entsprechend angepasst.
In einer Ausführung ist, insbesondere wird, eine Position des bzw. eines oder mehrerer der virtuellen Objekte in der Überlagerung, in einer Ausführung in der Ansicht der Umgebung, insbesondere in der Darstellung der Umgebung bzw. dem Sichtfeld des Benutzers, auf Basis der Position eines mit dem (jeweiligen) virtuellen Objekt verknüpften
- Umgebungsobjekts,
- Umgebungspunktes oder
- Punktes oder Abschnitts eines, insbesondere geplanten oder abgefahrenen, Pfades der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, relativ zur Umgebung ermittelt, insbesondere aktualisiert, in einer Ausführung in Echtzeit und/oder derart ermittelt bzw. aktualisiert, dass
- sich die Position des (jeweiligen) virtuellen Objekts in der Überlagerung bzw. Ansicht der Umgebung mit bzw. bei einer Änderung der Position des damit verknüpften Umgebungsobjekts bzw. Pfadpunktes bzw. -abschnitts relativ zu der Umgebung (entsprechend) (mit)ändert bzw.
- die Position des (jeweiligen) virtuellen Objekts relativ zu der Ansicht des Umgebungspunkts in der Überlagerung bzw. Ansicht der Umgebung konstant bleibt bzw.
- die Position des (jeweiligen) virtuellen Objekts relativ zu der Ansicht des Pfadpunkts bzw. -abschnitts in der Überlagerung bzw. Ansicht der Umgebung konstant bleibt.
In einer Ausführung bleibt zusätzlich eine Orientierung dieses virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umwelt bei einer Bewegung der Benutzerschnittstelle (relativ zur Umgebung) und/oder Änderung der Perspektive der Ansicht der Umgebung konstant.
Hierdurch kann in einer Ausführung die Ergonomie verbessert werden.
In einer Ausführung erfasst die Benutzerschnittstelle eine Benutzereingabe mithilfe von Blickerfassung, Gestenerkennung, Spracherkennung, Erkennung von virtuellem Kontakt, insbesondere virtuellem Kontakt, in einer Ausführung Handkontakt, eines Benutzers mit einem virtuellen Objekt.
Hierdurch kann in einer Ausführung die Ergonomie, Zuverlässigkeit, Schnelligkeit und/oder Präzision des Konfigurierens, Durchführens bzw. Analysierens der Applikation verbessert werden. In einer Ausführung wird wenigstens ein überlagertes virtuelles Objekt und/oder wenigstens ein Merkmal wenigstens eines überlagerten virtuellen Objekts auf Basis einer Benutzereingabe eingeblendet und/oder ausgeblendet und/oder verändert, in einer Ausführung eine Pose, insbesondere Position und/oder Orientierung, des virtuellen Objekts bzw. Merkmals relativ zu einer Außenkontur der Ansicht der Umwelt und/oder wenigstens ein Parameter des virtuellen Objekts bzw. Merkmals.
Insbesondere werden in einer Ausführung durch entsprechende Benutzereingaben zusätzliche Merkmale, in einer Ausführung (Unter)Menüs, ein- und/oder ausgeblendet.
In einer Ausführung sind, insbesondere werden, durch eine Benutzereingabe über die Benutzerschnittstelle Navigationsdaten, insbesondere Karten, Graphen oder dergleichen, und/oder das bzw. eines oder mehrere der virtuellen Objekte, insbesondere dessen Pose in der Überlagerung, veränder-, insbesondere editierbar bzw. verändert, insbesondere editiert. In einer Ausführung sind, insbesondere werden, durch eine Benutzereingabe über die Benutzerschnittstelle ein oder mehr geplante Aufgaben und/oder Punkte, insbesondere Abschnitte, einer geplanten Bahn der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, generier- und/oder veränder-, insbesondere editierbar bzw. generiert und/oder verändert, insbesondere editiert.
Beispielsweise kann ein Benutzer durch entsprechende Benutzereingabe ein Hindernis, welches nicht (mehr) vorhanden ist, aus einer (Navigations)Karte entfernen, einen potentiellen, insbesondere möglichen oder geplanten, Pfad für den mobilen und/oder kollaborativen Roboter umändern oder hinzufügen, oder ein virtuelles Objekt in der Überlagerung verschieben und/oder mit einem (anderen) Umgebungsobjekt verknüpfen und/oder (um)parametrieren.
Wie bereits erwähnt, ist in einer Ausführung die Roboteranordnung, insbesondere der mobile und/oder kollaborativen Roboter, durch eine Benutzereingabe über die Benutzerschnittstelle Steuer- und/oder (um)konfigurierbar.
Nach einer Ausführung der vorliegenden Erfindung ist ein System zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung mit wenigstens einem mobilen und/oder kollaborativen Roboter mithilfe einer Benutzerschnittstelle zum Ein- und/oder Ausgeben von Daten, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet ist und/oder weist auf:
Mittel zum Überlagern einer Ansicht, insbesondere Darstellung, einer Umgebung mit wenigstens einem virtuellen Objekt, wobei die Benutzerschnittstelle dazu eingerichtet ist, diese Überlagerung zum Konfigurieren, Durchführen und/oder Analysieren der Applikation, in einer Ausführung an der Benutzerschnittstelle, zur Verfügung zu stellen, in einer Ausführung die Ansicht der Umgebung und das virtuelle Objekt zu überlagern und/oder die Applikation auf Basis dieser Überlagerung zu konfigurieren, durchzuführen und/oder zu analysieren.
In einer Ausführung weist das System bzw. sein(e) Mittel auf:
Mittel zum Überlagern der Ansicht der Umgebung und des virtuellen Objekts auf Basis einer ermittelten, insbesondere aktuellen, Perspektive der Ansicht; auf Basis einer ermittelten, insbesondere aktuellen, Pose der Benutzerschnittstelle, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder wenigstens eines, insbesondere statischen oder bewegten, Umgebungsobjekts, insbesondere eines mit dem virtuellen Objekt verknüpften Umgebungsobjekts, relativ zu der Umgebung; auf Basis einer ermittelten, insbesondere aktuellen, Blickrichtung eines Trägers der Benutzerschnittstelle und/oder auf Basis eines, insbesondere dreidimensionalen, Modells der Umgebung; und/oder
Mittel zum Erfassen der Umgebung und/oder Blickrichtung, insbesondere mithilfe wenigstens eines, insbesondere benutzerschnittstellenseitigen, Sensors; und/oder
Mittel zum Senden von Daten an die Roboteranordnung, Umgebung, ein lokales Netzwerk und/oder eine Computercloud (S30) und/oder Erhalten von Daten der Roboteranordnung, Umgebung, dem lokalen Netzwerk und/oder der Computercloud und/oder zum Aktualisieren der Überlagerung, insbesondere der Ansicht der Umgebung und/oder des virtuellen Objekts, in Echtzeit; und/oder Mittel zum Ermitteln der Pose der Benutzerschnittstelle, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder des Umgebungsobjekts mittels Selbstlokalisation und/oder mithilfe einer Umgebungskarte, insbesondere mittels SLAM, und/oder mithilfe wenigstens eines benutzerschnittsteilen-, roboteranordnungs- oder umgebungsseitigen Sensors, insbesondere wenigstens einer inertialen Messeinheit, wenigstens einer Kamera, wenigstens einer LIDAR-Vorrichtung, wenigstens eines Sonarsensors, wenigstens eines Tiefenwahrnehmungssensors und/oder wenigstens eines Funksensors, und/oder in Echtzeit und/oder auf Basis einer ermittelten Anfangspose; und/oder Mittel zum Ermitteln der Anfangspose auf Basis eines, insbesondere mittels Bildverarbeitung, erfassten, insbesondere codierten und/oder hierzu angeordneten, Umgebungsmerkmals und/oder mithilfe von Triangulation und/oder wenigstens einer, insbesondere mit der Benutzerschnittstelle und/oder Roboteranordnung kommunizierenden, externen Messvorrichtung; und/oder Mittel zum Senden von Anweisungen von der Benutzerschnittstelle an die Roboteranordnung, insbesondere den mobilen und/oder kollaborativen Roboter und/oder eine Roboteranordnungssteuerung, und/oder Speichern und/oder Empfangen von Daten, insbesondere Navigations-, Sicherheits-,
Konfigurations- und/oder Posendaten, der Roboteranordnung, insbesondere von dem mobilen und/oder kollaborativen Roboter und/oder einer Roboteranordnungssteuerung, und Ermitteln, insbesondere Aktualisieren der Überlagerung auf Basis der gespeicherten bzw. empfangenen Daten; und/oder Mittel zum Verknüpfen wenigstens eines überlagerten virtuellen Objekts mit Kartendaten eines Navigationsmittels der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem Sensorbereich, insbesondere einer Sensorerfassungsrichtung, mit einem, insbesondere geplanten und/oder abgefahrenen, Pfad oder zulässigen Pfadbereich der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem, insbesondere vorgegebenen und/oder zwei- oder dreidimensionalen, Sicherheits-, Auswertungs-, Erreichbarkeits- und/oder Reservierungsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem Warte- oder Zielort, mit einer Warte- oder Zielpose, mit einer Warte- oder Ankunftszeit, mit dem mobilen und/oder kollaborativen Roboter, insbesondere einem Energie-, Navigations-, Fehler-, Kommunikations- und/oder Logistikzustand, mit einem Umgebungsobjekt oder -punkt, insbesondere einem Zustand und/oder einer potentiellen, insbesondere geplanten, Interaktion mit der Roboteranordnung, und/oder mit einer Navigationshilfe zu einer vorgegebenen Stelle; und/oder Mittel zum Erfassen einer Benutzereingabe mit der Benutzerschnittstelle mithilfe von Blickerfassung, Gestenerkennung, Spracherkennung, Erkennung von virtuellem Kontakt; und/oder
Mittel zum Verändern von Navigationsdaten und/oder dem virtuellen Objekt, insbesondere dessen Pose in der Überlagerung, durch eine Benutzereingabe über die Benutzerschnittstelle; und/oder
Mittel zum Ein- und/oder Ausblenden und/oder Verändern wenigstens eines überlagerten virtuellen Objekts und/oder wenigstens eines Merkmals wenigstens eines überlagerten virtuellen Objekts auf Basis einer Benutzereingabe, insbesondere seiner Pose relativ zu einer Außenkontur der Ansicht der Umwelt und/oder wenigstens eines Parameters des virtuellen Objekts bzw. Merkmals.
Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere die Applikation der Roboteranordnung konfigurieren, durchführen und/oder analysieren kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nicht flüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen. In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.
In einer Ausführung weist das System die Roboteranordnung auf. Sofern vorliegend von einem bzw. dem mobilen und/oder kollaborativen Roboter die Rede ist, ist dabei insbesondere ein mobiler, gegegebenfalls kollaborativer, Roboter oder ein kollaborativer, gegebenenfalls stationärer, Roboter oder ein mobiler, gegegebenfalls kollaborativer, Roboter und zusätzlich ein kollaborativer, gegebenenfalls stationärer, Roboter gemeint bzw. umfasst der Ausdruck „mobiler und/oder kollaborativer Roboter“ „mobiler Roboter“, „kollaborativer Roboter“ und „(wenigstens) ein mobiler und (wenigstens) ein (zusätzlicher) kollaborativer Roboter“.
Eine Umgebung im Sinne der vorliegenden Erfindung ist in einer Ausführung eine reale bzw. physikalische Umgebung, ein Umgebungsobjekt entsprechend ein reales bzw. physikalisches, insbesondere roboteranordnungsexternes, materielles ein- oder mehrteiliges Objekt (dieser Umgebung), insbesondere also kein mobiler und/oder kollaborativer Roboter.
Ein Pfad bzw. eine Bahn im Sinne der vorliegenden Erfindung kann insbesondere eine Route, insbesondere Fahr(t)route, und/oder eine Trajektorie umfassen, insbesondere sein.
Ein Benutzer der Benutzerschnittstelle ist in einer Ausführung ein menschlicher Benutzer bzw. eine natürliche Person.
„Geplant“ kann insbesondere „erst geplant“ bzw. „nur geplant“ bedeuten. Beispielsweise kann „geplanter Pfad“ insbesondere „geplanter, noch nicht abgefahrener Pfad“ und „geplante Pose“ „geplante, nicht aktuelle Pose“ bedeuten.
In einer Ausführung ermittelt die Benutzerschnittstelle die Überlagerung, insbesondere rechnerisch. Zusätzlich oder alternativ visualisiert die Benutzerschnittstelle in einer Ausführung die Überlagerung, insbesondere auf wenigstens einem Bildschirm und/oder durch Projektion. Dabei kann die Überlagerung auch ganz oder teilweise benutzerschnittstellenextern ermittelt und durch die Benutzerschnittstelle (nur) visualisiert werden. Beides, d. h. sowohl die Ermittlung als auch die Visualisierung, wird vorliegend als Überlagern der Ansicht der Umgebung und des virtuellen Objekts durch die, insbesondere an der, Benutzerschnittstelle bezeichnet.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System nach einer Ausführung der vorliegenden Erfindung;
Fig. 2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung;
Fig. 3: ein Überlagern einer Ansicht einer Umgebung mit mehreren virtuellen Objekten nach einer Ausführung der vorliegenden Erfindung; Fig. 4: eine Benutzereingabe über eine Benutzerschnittstelle nach einer
Ausführung der vorliegenden Erfindung;
Fig. 5: ein Überlagern einer Ansicht einer Umgebung mit virtuellen Objekten nach einer Ausführung der vorliegenden Erfindung; und
Fig. 6: ein Überlagern einer Ansicht einer Umgebung mit virtuellen Objekten nach einer Ausführung der vorliegenden Erfindung.
Fig. 1, 2 zeigen ein System bzw. Verfahren zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung mit wenigstens einem mobilen und/oder kollaborativen Roboter 1 mithilfe einer Benutzerschnittstelle 2, 2‘ zum Ein- und Ausgeben von Daten nach einer Ausführung der vorliegenden Erfindung. Der Roboter kann einen gestrichelt angedeuteten Roboterarm aufweisen.
Ein Benutzer 3 trägt die Benutzerschnittstelle, in einer Ausführung eine MR-Maske bzw. -Brille 2, in einer anderen Ausführung ein entsprechend ausgerüstetes und eingerichtetes Mobilfunkgerät oder Tablet 2‘. Beide Ausführungen sind zur kompakteren Darstellung gemeinsam gezeigt und können einzeln oder gemeinsam vorgesehen sein bzw. verwendet werden. Der Benutzer kann auch eine MR-Linse oder dergleichen verwenden.
Die Benutzerschnittstelle 2 bzw. 2‘ weist einen oder mehrere Sensoren S zur Umwelterfassung, insbesondere Selbstlokalisation, auf und ist zur Eingabe von Benutzereingaben, beispielsweise mittels Blickerfassung, Gestenerkennung, Spracherkennung, Erkennung von virtuellem Kontakt, Touchscreen, Trackpad, Tastatur, Joystick, Computermaus oder dergleichen, sowie zum Senden und Empfangen von Daten an bzw. von dem mobilen und/oder kollaborativen Roboter 1 und/oder eine(r) roboterexternen Roboteranordnungssteuerung 1.1 ausgerüstet und eingerichtet.
In einer Umgebung ist exemplarisch ein Umgebungsobjekt 4.1 sowie ein umgebungsfester Sensor 4.2 angedeutet.
Nach dem in Fig. 2 gezeigten Verfahren wird in einem Schritt S10 eine Pose der Benutzerschnittstelle 2 bzw. 2‘ relativ zur Umgebung und/oder eine Blickrichtung des Benutzers 3 relativ zur Umgebung oder Benutzerschnittstelle ermittelt. Zusätzlich oder alternativ kann in Schritt S10 eine Pose des mobilen und/oder kollaborativen Roboters 1 und/oder eine Pose des, gegebenenfalls bewegten, Umgebungsobjekts 4.1 ermittelt werden.
In einem Schritt S20 überlagert die Benutzerschnittstelle 2 bzw. 2‘ ein virtuelles Objekt, das in einer Ausführung mit dem Umgebungsobjekt 4.1 bzw. einem Umgebungspunkt verknüpft ist, mit einer Ansicht der Umgebung, beispielsweise einem Kamerabild, einer künstlichen Rekonstruktion der Umgebung oder einer Sicht des Benutzers 3 auf die Umgebung.
In einem Schritt S30 wird beispielsweise, insbesondere durch bzw. auf Basis entsprechende(r) Benutzereingaben, der mobile und/oder kollaborativen Roboter 1 gesteuert und/oder das virtuelle Objekt verändert, beispielsweise seine Position relativ zu einer Außenkontur der Ansicht und/oder sein Inhalt und/oder eines oder mehrere seiner angezeigten Merkmale. In einer Ausführung werden, insbesondere durch bzw. auf Basis entsprechende(r) Benutzereingaben, ein geplanter Pfad des mobilen und/oder kollaborativen Roboters 1 und/oder Interaktionen des mobilen und/oder kollaborativen Roboters 1 mit der Umgebung, beispielsweise dem Umgebungsobjekt 4.1, generiert oder verändert, insbesondere Pfadpunkte bzw. -abschnitte hinzufügt, verschoben und/oder gelöscht und/oder Aktionen des Roboters 1 und/oder Umgebungsobjekts 4.1 editiert, zum Beispiel eine Anzahl und/oder Identifikation abzuladender bzw. aufzunehmender T ransportgüter oder dergleichen.
Anschließend kehrt das Verfahren wieder zu Schritt S10 zurück, um die Pose(n) zu aktualisieren.
Fig. 3 zeigt ein solches Überlagern einer Ansicht einer Umgebung mit mehreren virtuellen Objekten nach einer Ausführung der vorliegenden Erfindung.
In Fig. 3 ist eine Ansicht einer Umgebung in Form eines Kamerabildes 10 mit virtuellen Objekten überlagert, im Ausführungsbeispiel einem virtuellen Objekt 110, das einen Navigationsgraph bzw. -pfad für den mobilen und/oder kollaborativen Roboter 1 repräsentiert, einem virtuellen Objekt 120, das einen Knoten des Graphen bzw. einen entsprechenden Umgebungspunkt bzw. eine Ankunftszeit repräsentiert, und einem virtuellen Objekt 130, das einen anderen Knoten des Graphen bzw. einen entsprechenden anderen Umgebungspunkt, insbesondere dessen Identität repräsentiert.
Fig. 4 bzw. die Figurenfolge
Figure imgf000033_0001
Fig. 4 illustriert eine Benutzereingabe durch Berühren der virtuellen Objekte 120, 130, 140 bzw. entsprechender virtueller Knöpfe wie zum Beispiel „Open details“, „Hide“ etc. So kann etwa durch Berühren des virtuellen Objekts 130 dieses ausgeblendet (vgl. Fig. 4) bzw. können durch Berühren seines virtuellen Knopfes „Open details“ zusätzliche Merkmale bzw. Details eingeblendet werden.
Die beiden virtuellen Objekte 120, 130 sind mit dem entsprechenden Umgebungs- bzw. Pfadpunkt verknüpft, so dass ihre Position bei einer Änderung der (Perspektive der) Ansicht 10, beispielsweise durch Drehen der Benutzerschnittstelle 2‘ bzw. Drehen der am Kopf getragenen Benutzerschnittstelle 2 und/oder Augenbewegung, in der Ansicht relativ zur Umgebung ortsfest, d.h. über dem entsprechenden Knoten, bleiben und sich somit ihre Position relativ zu einer Außenkontur der Ansicht verändert. Ihre Orientierung relativ zur Außenkontur der Ansicht bleibt dabei konstant.
Umgekehrt ist das virtuelle Objekt 140 in Fig. 4 relativ zur Außenkontur der Ansicht ortsfest in einer oberen rechten Ecke verankert und behält diese Position relativ zur Außenkontur der Ansicht auch bei, wenn sich die (Perspektive der) Ansicht 10 durch die oben beschriebene Drehung des Benutzers 3 ändert.
Fig. 5 zeigt eine Überlagerung eines Kamerabildes 20 mit einem virtuellen Objekt 150, das einen hindernisfreien Erreichbarkeitsbereich bzw. zulässigen Pfadbereich in Form einer einfarbigen virtuellen Bodenfläche repräsentiert, sowie virtuellen Objekten in Form von Laserscannerstrahlen 160.
Fig. 6 zeigt eine Überlagerung eines Kamerabildes 30 mit einem virtuellen Objekt 170, das einen Reservierungsbereich in Form einer einfarbigen virtuellen Bodenfläche repräsentiert, zwei virtuellen Objekten 180.1 , 180.2, die unterschiedlich( groß)e Sicherheitsbereiche in Form einfarbiger virtueller Bodenflächen repräsentieren, einem virtuellen Objekt 190, welches in vorstehend beschriebener Form einen Navigationsgraph bzw. -pfad für den mobilen und/oder kollaborativen Roboter 1 repräsentiert, von dem in Fig. 6 ein Knoten mit der Identifikationsnummer („Node ID“)
8 sichtbar ist, und einem virtuellen Objekt 200, das relativ zur Außenkontur der Ansicht ortsfest in einer oberen rechten Ecke verankert ist und Merkmale in Form virtueller Eingabeknöpfe aufweist.
Ein mit dem inneren Sicherheitsbereich kollidierender Umgebungsbereich wird automatisiert erfasst und durch ein eigenes virtuelles Objekt 210, welches mit diesem kollidierenden bzw. Schnittbereich verknüpft ist, sowie durch Einfärben des virtuellen Objektes 180.1 visualisiert.
In Fig. 6 ist zudem angedeutet, wie der Benutzer 3 den Knoten bzw. Pfad über den Touchscreen editieren, insbesondere seine Pose in der Umgebung verschieben kann. Die Benutzerschnittstelle 2 bzw. 2‘ übermittelt die entsprechenden (Änderungs)Daten an die Bahnplanung der Roboteranordnungssteuerung 1.1. Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezuqszeichenliste
1 mobiler und/oder kollaborativer Roboter
1.1 Roboteranordnungssteuerung
2 MR-Maske/-Brille 2 Tablet
3 Benutzer
4.1 Umgebungsobjekt
4.2 Sensor 10-30 Kamerabild (Ansicht der Umgebung) 110-210 virtuelles Objekt S Sensor der Benutzerschnittstelle

Claims

Patentansprüche
1. Verfahren zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung (1, 1.1) mit wenigstens einem mobilen und/oder kollaborativen Roboter (1), mithilfe einer Benutzerschnittstelle (2; 2‘) zum
Ein- und/oder Ausgeben von Daten, wobei das Verfahren den Schritt aufweist: Überlagern (S20) einer Ansicht, insbesondere Darstellung (10; 20; 30), einer Umgebung mit wenigstens einem virtuellen Objekt (110-210); wobei diese Überlagerung zum Konfigurieren, Durchführen und/oder Analysieren der Applikation durch die, insbesondere an der, Benutzerschnittstelle zur Verfügung gestellt wird, insbesondere die Ansicht der Umgebung und das virtuelle Objekt durch die, insbesondere an der, Benutzerschnittstelle überlagert werden und/oder die Applikation auf Basis dieser Überlagerung, insbesondere mithilfe der Benutzerschnittstelle, konfiguriert, durchgeführt und/oder analysiert wird (S30).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ansicht der Umgebung und das virtuelle Objekt auf Basis einer ermittelten, insbesondere aktuellen, Perspektive der Ansicht, einer ermittelten, insbesondere aktuellen, Pose der Benutzerschnittstelle, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder wenigstens eines, insbesondere statischen oder bewegten, Umgebungsobjekts, insbesondere eines mit dem virtuellen Objekt verknüpften Umgebungsobjekts, relativ zu der Umgebung, auf Basis einer ermittelten, insbesondere aktuellen, Blickrichtung eines Trägers (3) der Benutzerschnittstelle und/oder auf Basis eines, insbesondere dreidimensionalen, Modells der Umgebung überlagert werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Benutzerschnittstelle wenigstens eine tragbare Mixed-Reality-spezifische und/oder wenigstens eine tragbare Mehrzweckvorrichtung und/oder wenigstens ein transparentes Display, wenigstens einen Bildschirm, insbesondere Touchscreen, wenigstens ein Trackpad, wenigstens eine Tastatur, wenigstens einen Joystick und/oder wenigstens eine Computermaus, aufweist und/oder, insbesondere mithilfe wenigstens eines, insbesondere benutzerschnittstellenseitigen, Sensors, die Umgebung und/oder Blickrichtung erfasst und/oder Daten an die Roboteranordnung, Umgebung, ein lokales Netzwerk und/oder eine Computercloud sendet (S30) und/oder von der Roboteranordnung, Umgebung, dem lokalen Netzwerk und/oder der Computercloud erhält und/oder die Überlagerung, insbesondere die Ansicht der Umgebung und/oder das virtuelle Objekt, in Echtzeit aktualisiert.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Pose der Benutzerschnittstelle, der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, und/oder des Umgebungsobjekts mittels Selbstlokalisation und/oder mithilfe einer Umgebungskarte, insbesondere mittels SLAM, und/oder mithilfe wenigstens eines benutzerschnittsteilen-, roboteranordnungs- oder umgebungsseitigen Sensors (4.2), insbesondere wenigstens einer inertialen Messeinheit, wenigstens einer Kamera, wenigstens einer LIDAR-Vorrichtung, wenigstens eines Sonarsensors, wenigstens eines Tiefenwahrnehmungssensors und/oder wenigstens eines Funksensors, und/oder in Echtzeit und/oder auf Basis einer ermittelten Anfangspose ermittelt ist.
5. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Anfangspose auf Basis eines, insbesondere mittels Bildverarbeitung, erfassten, insbesondere codierten und/oder hierzu angeordneten, Umgebungsmerkmals und/oder mithilfe von Triangulation und/oder wenigstens einer, insbesondere mit der Benutzerschnittstelle und/oder Roboteranordnung kommunizierenden, externen Messvorrichtung ermittelt ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Benutzerschnittstelle Anweisungen an die Roboteranordnung, insbesondere den mobilen und/oder kollaborativen Roboter und/oder eine Roboteranordnungssteuerung, sendet (S30) und/oder Daten, insbesondere Navigations-, Sicherheits-, Konfigurations- und/oder Posendaten, der Roboteranordnung speichert und/oder, insbesondere von dem mobilen und/oder kollaborativen Roboter und/oder einer Roboteranordnungssteuerung, empfängt und die Überlagerung auf Basis der gespeicherten bzw. empfangenen Daten ermittelt, insbesondere aktualisiert.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein überlagertes virtuelles Objekt mit Kartendaten eines Navigationsmittels der Roboteranordnung, insbesondere des mobilen, in einer Ausführung kollaborativen, Roboters, mit einem Sensorbereich, insbesondere einer Sensorerfassungsrichtung, mit einem, insbesondere geplanten und/oder abgefahrenen, Pfad oder zulässigen Pfadbereich der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem, insbesondere vorgegebenen und/oder zwei- oder dreidimensionalen, Sicherheits-, Auswertungs-, Erreichbarkeits- und/oder Reservierungsbereich der Umgebung und/oder der Roboteranordnung, insbesondere des mobilen und/oder kollaborativen Roboters, mit einem Warte- oder Zielort, mit einer Warte- oder Zielpose, mit einer Warte- oder Ankunftszeit, mit dem mobilen und/oder kollaborativen Roboter, insbesondere einem Energie-, Navigations-, Fehler-, Kommunikations- und/oder Logistikzustand, mit einem Umgebungsobjekt oder -punkt, insbesondere einem Zustand und/oder einer potentiellen, insbesondere geplanten, Interaktion mit der Roboteranordnung, und/oder mit einer Navigationshilfe zu einer vorgegebenen Stelle verknüpft ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Position und/oder Orientierung wenigstens eines überlagerten virtuellen Objekts relativ zu einer Außenkontur der Ansicht der Umwelt bei einer Bewegung der Benutzerschnittstelle und/oder Änderung der Perspektive der Ansicht der Umgebung konstant bleibt.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Position und/oder Orientierung wenigstens eines überlagerten virtuellen Objekts relativ zu einer Ansicht eines mit diesem virtuellen Objekt verknüpften Umgebungsobjekts oder -punkts oder Pfadpunkts oder -abschnitts der Roboteranordnung in der Überlagerung bei einer Bewegung der Benutzerschnittstelle und/oder Änderung der Perspektive der Ansicht der Umgebung konstant bleibt.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Benutzerschnittstelle eine Benutzereingabe mithilfe von Blickerfassung, Gestenerkennung, Spracherkennung und/oder Erkennung von virtuellem Kontakt, erfasst.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch eine Benutzereingabe über die Benutzerschnittstelle Navigationsdaten und/oder das virtuelle Objekt, insbesondere dessen Pose in der Überlagerung, veränderbar (S30) sind.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein überlagertes virtuelles Objekt und/oder wenigstens ein Merkmal wenigstens eines überlagerten virtuellen Objekts auf Basis einer Benutzereingabe ein- und/oder ausgeblendet und/oder verändert wird, insbesondere seine Pose relativ einer Außenkontur der Ansicht der Umwelt und/oder wenigstens ein Parameter des virtuellen Objekts bzw. Merkmals.
13. System zum Konfigurieren, Durchführen und/oder Analysieren einer Applikation einer Roboteranordnung (1, 1.1) mit wenigstens einem mobilen und/oder kollaborativen Roboter (1), mithilfe einer Benutzerschnittstelle (2; 2‘) zum
Ein- und/oder Ausgeben von Daten, wobei das System zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:
Mittel zum Überlagern einer Ansicht, insbesondere Darstellung (10; 20; 30), einer Umgebung mit wenigstens einem virtuellen Objekt (110-210); wobei die Benutzerschnittstelle dazu eingerichtet ist, diese Überlagerung zum Konfigurieren, Durchführen und/oder Analysieren der Applikation, insbesondere an der Benutzerschnittstelle, zur Verfügung zu stellen, insbesondere die Ansicht der Umgebung und das virtuelle Objekt zu überlagern und/oder die Applikation auf Basis dieser Überlagerung zu konfigurieren, durchzuführen und/oder zu analysieren.
14. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
PCT/EP2021/061627 2020-05-22 2021-05-04 Konfigurieren, durchführen und/oder analysieren einer applikation eines mobilen und/oder kollaborativen roboters WO2021233670A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020206403.2 2020-05-22
DE102020206403.2A DE102020206403A1 (de) 2020-05-22 2020-05-22 Konfigurieren, Durchführen und/oder Analysieren einer Applikation eines mobilen und/oder kollaborativen Roboters

Publications (1)

Publication Number Publication Date
WO2021233670A1 true WO2021233670A1 (de) 2021-11-25

Family

ID=75870608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/061627 WO2021233670A1 (de) 2020-05-22 2021-05-04 Konfigurieren, durchführen und/oder analysieren einer applikation eines mobilen und/oder kollaborativen roboters

Country Status (2)

Country Link
DE (1) DE102020206403A1 (de)
WO (1) WO2021233670A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202571B3 (de) 2022-03-15 2023-07-06 Kuka Deutschland Gmbh Prüfen einer vorgegebenen Bahn eines Roboters
DE102022202562A1 (de) 2022-03-15 2023-09-21 Kuka Deutschland Gmbh Ermitteln wenigstens einer Grenze für ein Betreiben eines Roboters
DE102022202563B3 (de) 2022-03-15 2023-07-06 Kuka Deutschland Gmbh Planen einer Bahn eines Roboters
DE102022202564A1 (de) 2022-03-15 2023-09-21 Kuka Deutschland Gmbh Prüfen einer Sicherheitskonfiguration eines Roboters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
DE102018109463B3 (de) * 2018-04-19 2019-09-19 Yuanda Robotics Gmbh Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10063089C1 (de) 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
US9643314B2 (en) 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
DE102015006664A1 (de) 2015-05-22 2016-11-24 Giesecke & Devrient Gmbh System und Verfahren zur Bearbeitung von Wertdokumenten
DE102016224774B3 (de) 2016-12-13 2018-01-25 Audi Ag Verfahren zur Programmierung eines Messroboters und Programmiersystem
US10684480B2 (en) 2017-03-16 2020-06-16 Denso Wave Incorporated Information display system
JP6787966B2 (ja) 2018-10-02 2020-11-18 ファナック株式会社 拡張現実と複合現実を用いたロボット制御装置及び表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
DE102018109463B3 (de) * 2018-04-19 2019-09-19 Yuanda Robotics Gmbh Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung

Also Published As

Publication number Publication date
DE102020206403A1 (de) 2021-11-25

Similar Documents

Publication Publication Date Title
WO2021233670A1 (de) Konfigurieren, durchführen und/oder analysieren einer applikation eines mobilen und/oder kollaborativen roboters
DE102019002898B4 (de) Robotersimulationsvorrichtung
EP3590014B1 (de) Verfahren zur steuerung eines autonomen, mobilen roboters
EP3437036B1 (de) Verfahren und vorrichtung zum planen und/oder steuern und/oder simulieren des betriebs einer baumaschine
DE102019006800B4 (de) Robotersteuerung und Anzeigevorrichtung unter Verwendung von erweiterter Realität und gemischter Realität
EP2812766B2 (de) Verfahren zum automatischen auslösen einer selbstlokalisierung
EP1447770B1 (de) Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
US8073564B2 (en) Multi-robot control interface
US7801644B2 (en) Generic robot architecture
US7620477B2 (en) Robotic intelligence kernel
US7668621B2 (en) Robotic guarded motion system and method
US7587260B2 (en) Autonomous navigation system and method
EP3415070B1 (de) System mit mindestens zwei bodenbearbeitungseinrichtungen
US7584020B2 (en) Occupancy change detection system and method
EP3538967B1 (de) Verfahren und vorrichtung zum betrieb eines sich selbsttätig fortbewegenden roboters
EP3676680A1 (de) Bewegungsplanung für autonome mobile roboter
US20080009964A1 (en) Robotics Virtual Rail System and Method
EP3709853B1 (de) Bodenbearbeitung mittels eines autonomen mobilen roboters
DE112019003204T5 (de) Visualisierung und modifizierung von arbeitsrandbereichen unter verwendung von erweiterter realität
Westerberg et al. Virtual environment-based teleoperation of forestry machines: Designing future interaction methods
WO2008005659A2 (en) Robotic follow system and method
EP3811174A1 (de) Autonomer mobiler roboter und verfahren zum steuern eines autonomen mobilen roboters
DE102023118908A1 (de) Kollaborative sicherheitsüberwachung für robotische anwendungen, ermöglicht durch erweiterte realität und andere standortbezogene technologien
DE102022202563B3 (de) Planen einer Bahn eines Roboters
WO2019057490A1 (de) Verfahren zum lokalisieren eines mobilen roboters

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21724234

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21724234

Country of ref document: EP

Kind code of ref document: A1