WO2023143766A1 - VERFAHREN UND SYSTEM FÜR AUTOMATISIERTE MATERIALHANDHABUNG EINSCHLIEßLICH EINER 100%-VERIFIKATION - Google Patents

VERFAHREN UND SYSTEM FÜR AUTOMATISIERTE MATERIALHANDHABUNG EINSCHLIEßLICH EINER 100%-VERIFIKATION Download PDF

Info

Publication number
WO2023143766A1
WO2023143766A1 PCT/EP2022/080985 EP2022080985W WO2023143766A1 WO 2023143766 A1 WO2023143766 A1 WO 2023143766A1 EP 2022080985 W EP2022080985 W EP 2022080985W WO 2023143766 A1 WO2023143766 A1 WO 2023143766A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
code
image data
image
item
Prior art date
Application number
PCT/EP2022/080985
Other languages
English (en)
French (fr)
Inventor
Dennis Barteit
Felix BÖTTCHER
Original Assignee
Ssi Schäfer Automation Gmbh (At)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ssi Schäfer Automation Gmbh (At) filed Critical Ssi Schäfer Automation Gmbh (At)
Publication of WO2023143766A1 publication Critical patent/WO2023143766A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37097—Marker on workpiece to detect reference position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39536—Planning of hand motion, grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40538—Barcode reader to detect position

Definitions

  • the present disclosure generally relates to automated material handling systems and automated material handling methods in which objects are implemented for a variety of reasons with a manipulator (e.g. with a robotic arm including an end effector), with an identity of the objects being verified during the implementation by a respective one provided on the objects (Identification) code is read without setting down or re-gripping the gripped objects.
  • a manipulator e.g. with a robotic arm including an end effector
  • Identity e.g. with a robotic arm including an end effector
  • the document DE 10 2019 130 046 B4 describes a material handling system where objects are localized (location and orientation) and also identified (type) by means of image recognition in order to then transfer the objects with a (robot) manipulator from a starting point of a transfer movement to a destination , whereby the identity of the objects is also verified during the conversion by reading an individualizing code attached to the object and comparing it with an expected code.
  • localization means recognizing, ie determining, a particular location and an orientation, ie a pose, of the object. If “identification” is used below, this means determining an identity (unique type, name, etc.) of the object by (reading) the identification code.
  • both the localization and the identification are carried out on the basis of currently generated image data in combination with master data that has already been saved.
  • the master data includes basic information about object-specific parameters such as dimensions, size, shape, weight, color, name, logo, an identification number of the object in the form of an individualizing code, as well as a (relative) location and possibly also a size (Area) of the individualizing code. This is basic information that is essential for later handling of the object.
  • the image recognition algorithm of DE '046 B4 expects a special object in the image, which simplifies object localization because the characterizing parameters of the object are known in advance, which can then be searched for in the image (e.g. for a specific edge length).
  • a corresponding recognition in the image e.g. individual lengths, outlines, contours and the like are "measured" from the image data in order to draw conclusions about a pose and an identity of an object recognized in the image by comparing it with the master data. The object is then located and identified.
  • a code pose is also deduced from the master data - by calculation - with the information required for this regarding the code already being recorded beforehand, i.e. physically measured , and had to be saved in the master data.
  • the master data must have a corresponding level of detail. If the required code information is not stored in the master data, the code cannot be localized in DE' 046 B4. Since the master data is usually generated by the system operator (e.g. a logistics center) by If you generate the learning process (teach-in) yourself, this process is time-consuming, costly and laborious. The determination or parameterization of the respective code (in relation to the object) requires extensive efforts, especially if the system operator has a large assortment of different objects or articles, as is often the case in the logistics sector. In intralogistics, and especially in mail order and pharmaceutical retail, assortments of items can quickly include several 10,000 different items and more.
  • DE' 046 B4 faces the problem that errors or uncertainties resulting from object recognition are propagated into the code localization. This means that if an object is detected insecurely, the code is at least as insecure. It is not guaranteed that the end effector actually does not cover the code when grabbing. A 100% verification during transfer is not possible in this way, especially not without gripping around to uncover the code possibly covered by the gripper.
  • the document WO 2018/ 178 903 A1 also describes a robot system for the automated gripping and delivery of an article, where several manipulators are arranged one behind the other in order to move the article multiple times.
  • a vision system i.e. a system for machine vision, is assigned to each manipulator.
  • the vision system of the first robot is configured to generate images of the items to be gripped, to read individualizing item identifiers (e.g. barcodes) directly to identify the items, and to determine, through image processing, a location and an orientation of the items.
  • individualizing item identifiers e.g. barcodes
  • the document DE 10 2020 101 767 B4 relates to a control method and a controller for a robot system.
  • Document DE 10 2019 135 452 A1 relates to a fully automatic robot picking system and a picking method with a sensor arrangement for measuring a removed article as part of the lifting process.
  • the document DE 102017 123 877 A1 relates to a robot system.
  • the document describes a method for recognizing, identifying and locating at least one arbitrary object and/or space.
  • Document US 11 192 242 B2 relates to a holding device, a container with an identifier, an item holding program and an item holding method.
  • Document US 2017/0 136 632 A1 relates to a sorting system and method for sorting a variety of objects.
  • the code localization should not be based on the master data.
  • the master data should be free of information about the location and size of the individualizing code on the object.
  • the gripped object should not have to be gripped again or differently in order to reliably read the code during a conversion process.
  • a method for automated article handling by a manipulator which has the steps: providing an expected article, which is provided with a machine-readable individualizing code, at a (previously unknown) receiving location; Generating, by means of a first vision system, the resolution of which is not sufficient for reading the code (at the current location of the article), of image data of the article provided; Locating the article provided by means of image recognition based on the image data, preferably in combination with master data of the article; determining a gripping area based on the image data; locating one or more code areas using image recognition based solely on the image data; Ensure that the gripping surface does not overlap any of the previously determined code areas; picking up the article by automated gripping on the gripping surface by means of an end effector of the manipulator at the pick-up location; Moving the gripped item kels to a predetermined drop-off location; and verifying that the picked (and moved) item is the expected item by reading the code using a second separate vision system.
  • code localization does not require access to the master data because the individualizing codes are recognized directly in the same image data using image recognition.
  • the provision of corresponding master data especially with regard to the individualizing code (e.g. its size, design and relative position on the article), can be dispensed with.
  • the item master data is less extensive because information about the codes needed to locate the code once the item is recognized as such is missing.
  • the position of the code is usually measured when the associated item first appears.
  • so-called teach-in methods are usually used, in which the article is photographed from all sides and its individualizing properties (length, width, height, weight, color, color distribution, logo design and position, etc.) are measured .
  • the position of the code therefore does not have to be measured in a teach-in process. This shortens the time it takes when an article is newly added to a plant operator's range of articles.
  • the present development manages without the code master data because potential code areas are recognized. Recognition in this context does not mean reading the code. There is no teach-in.
  • the present method is also useful for handling items that are even more difficult to detect.
  • items of clothing shrink-wrapped in transparent film should be mentioned as an example. Due to the flexible fabric, the garments do not have a fixed shape, so that clear edges and flat surfaces are often not available.
  • the transparent cling film also makes it more difficult to differentiate between the same articles, in particular if several articles are provided at the same time, which are present in particular mixed up because there are no clearly recognizable packaging edges.
  • the method of the present disclosure avoids the error of the prior art, namely that the gripper selects the labels as the attack position, where the codes are also usually placed.
  • the labels are easy to recognize in the image data because of the clear contrast and their flat surface.
  • the present development recognizes the barcode, i.e. sees the barcode in the image, and thus prevents the gripper from grabbing at this point.
  • the step of locating the provided article includes recognizing the provided article in the image data and determining a position and an alignment of the recognized article.
  • the items are first recognized without having to be identified, which minimizes the computing effort, especially because the item master data can be used for this purpose, but it is not necessary.
  • a gripping pose position and orientation
  • the algorithm finds itself a suitable gripping pose based solely on the situation presented to it in the image.
  • the step of recognizing the item provided includes searching for a (geometric and/or color) pattern in the image data by comparing it with at least one of the following item parameters from the master data: length, width, height and/or item outline from at least one perspective.
  • accessing the master data can be helpful when locating the items in the image, because the algorithm knows in advance what to look for in the image.
  • the identification of the item can also be helpful, e.g. because certain items should not be gripped by the base or lid, which can also be stored in the master data.
  • the step of determining the gripping surface includes: determining a corresponding gripping pose.
  • the gripping surface is characterized not only by its size and position, but also by its orientation, which the algorithm preferably determines solely on the basis of the image data.
  • the same image data is used as for article recognition. It is therefore not necessary to create several images of the article.
  • the resolution that is sufficient for article recognition is also sufficient for code recognition (localization). No additional vision system needs to be provided. The effort and costs are minimal. It is also preferred if the step of locating the code area or areas includes: determining a position and an orientation of each of the identified code areas.
  • the code area is characterized not only by its size and position, but also by its orientation, which the algorithm determines solely on the basis of the image data.
  • a system for automated article handling comprising: an automated manipulator with a controller for transferring a provided article from a pickup location to a delivery location; a first vision system, the resolution of which is not sufficient for reading a code attached to the article provided, for generating image data of the article provided; an image recognition device for locating the article provided based on the image data, preferably in combination with master data of the article that were previously generated and stored in a database, a code recognition device for locating one or more code areas by means of image recognition based exclusively on the image data; and a second, separate, higher resolution vision system for reading the code to verify that the item picked is the item expected; wherein the controller is configured to determine a gripping area based on the image data and is further configured to ensure that the gripping area does not overlap any of the previously determined code areas.
  • This system has the same advantages as the method described above.
  • FIG. 1 shows a block diagram of a storage and picking system
  • Figure 2 is a block diagram of an article handling system
  • Fig. 4 shows an image of a cylindrical article with a bar code
  • Fig. 6 is a detailed view of steps of the flow chart of Fig. 5.
  • the method and system proposed here for automated article handling is used in particular in interlogistic storage and picking systems, which are used, for example, in the areas of e-commerce, e-grocery, micro-fulfillment centers or the like, especially in the pharmaceutical trade.
  • intralogistics includes logistical material and goods flows that occur within a company premises, especially within a company building.
  • the term intralogistics was defined in order to differentiate it from the transport of goods outside the company premises, which is carried out, for example, by a forwarding agency between two company sites.
  • the term intralogistics is defined as the organisation, control, implementation and optimization of the internal flow of goods (e.g. of products in distribution and/or shipping) and the flow of materials (e.g. of preliminary, intermediate and end products in production), of the flow of information as well as the handling of goods and materials in industry and commerce. In the following, only the material flow is referred to in simplified terms, even if essentially (individual) items are transported.
  • the storage and picking system 10 has a warehouse 12, at least one picking station 14 and a conveyor system 16.
  • the conveyor system 16 connects the warehouse 12 to the picking station 14 with regard to the material flow.
  • the conveyor system 16 can also connect a goods receipt 18 and/or a goods issue 20 of the system 10 to one another and to the warehouse 12 and the picking station 14 with regard to the material flow.
  • the conveyor technology system 16 can include continuous conveyors (eg roller conveyors, belt conveyors, chain conveyors, overhead conveyors, etc.) and/or discontinuous conveyors (eg driverless transport vehicles, stacker cranes, lifts, etc.).
  • the storage and picking system 10 has a (higher-level and preferably central) controller 22 which can generally include a data processing device and in particular a material flow computer 24, a warehouse management computer 26 and/or an order processing computer 28.
  • the material flow, warehouse management (storage space management, inventory data, etc.) and/or order processing (e.g. allocation and distribution of tasks to complete a picking order) can also be carried out decentrally in a distributed data processing system.
  • FIG. 2 shows a block diagram of an article handling system 30 that may be employed in system 10, for example.
  • the system 30 could automatically convert an article 32 from a storage container (not shown), for example, into an order container.
  • the system 30 could automatically transfer one or more articles 32 from e.g. a goods receipt pallet (not shown) to e.g. a storage tray (not shown).
  • the system 30 could automatically transfer one or more articles 32 from a conveyor 34 into a shipping box (not shown) for the purpose of shipping, e.g.
  • the article handling system 30 generally comprises a (robot) manipulator 36 with an end effector (eg suction gripper) 38 for the automated conversion of the articles 32 from a pickup location 40 (eg from a storage container) to a delivery location 42 (eg in an order container).
  • a corresponding (conversion) path 44 is illustrated in FIG. 2 with an arrow.
  • the system 30 further includes a first vision system 46 having a low resolution such that machine-readable personalizing codes 48 affixed to the articles 32 are unreadable.
  • the first vision system 46 cannot read the codes 48 and therefore cannot (automatically) identify the articles 32 either.
  • the identification can be performed with a second vision system 50 which is provided separately downstream of the first vision system 46, as will be explained in more detail below, and which has a higher resolution than the first vision system 46.
  • the second vision system 46 can be implemented by a scan unit, in particular a high-resolution one, which is preferably set up exclusively for reading the code 48 .
  • the scanning unit includes at least one scanner. When multiple scanners are included, they are preferably positioned along mutually perpendicular unit vectors (xyz), sometimes opposite one another, to permit simultaneous detection of article 32 from every direction, if possible.
  • Each of the vision systems 46 and 50 comprises at least one imaging, in particular an optical, sensor 52, such as a camera or a CCD sensor, in order to generate an image of the article 32, which was previously e.g a conveyor 34 to the pick-up location 40.
  • an optical, sensor 52 such as a camera or a CCD sensor
  • Each of the vision systems 46 and 50 is configured for machine vision.
  • the "machine vision” (machine vision) imitates the human vision for machines and comes from computer science and engineering, whereby the vision system, which can include image recognition software, a computer and at least one camera, recorded images or image data in a wide variety of ways process and analyze it in order to interpret its content and in particular to extract geometric information.
  • Each of the vision systems 46 and 50 is also set up to convert the generated images into image data 54 which are sent to an image recognition device 56 .
  • the image recognition device 56 can be integrated into the vision systems 46 and/or 50 .
  • the second vision system (50) only has to be set up to read the code 48. This means that the second vision system 50 is preferably implemented solely by the sensor 52, i.e. without an image recognition algorithm and data or image processing device.
  • the image recognition device 56 is part of the system 30 and has a data processing device (e.g. a processor, not shown) and a data memory (not shown), where software or an algorithm for image recognition (not shown) is stored, which is executed by the processor .
  • a data processing device e.g. a processor, not shown
  • a data memory not shown
  • software or an algorithm for image recognition not shown
  • objects are generally recognized, i.e. a distinction is made between "object present” and "no object present”, in order to recognize a pose in a second stage, i.e. to determine a position and location.
  • the "pose” is the combination of a position and orientation of an object in three-dimensional space.
  • the position of a punctiform mass in relation to a Cartesian coordinate system is therefore defined by the distances along the coordinate directions x, y, z. If a second Cartesian coordinate system is set up at this mass point, the orientation of this coordinate system is defined by the angular offset of its coordinate axes in relation to the corresponding axes of the base coordinate system. Three additional angles are therefore necessary to describe the position of the new coordinate system in relation to the base coordinate system.
  • "Image recognition" - i.e. recognition based on an image - is a sub-area of "pattern recognition” and image processing. The image processing includes in particular functions such as lighting correction, color balancing, suppression of image noise, improvement of sharpness and the like. Pattern recognition is in turn a sub-area of "object recognition”.
  • image recognition objects such as the items 32 are segmented in the image data 54 in a computer-implemented manner. Connected image areas are recognized during segmentation. A symbolic description is assigned to the segments. However, there is no search for connections between the objects, as is usual in pattern analysis.
  • Image recognition in the context of image processing is the ability of software to recognize objects in images. Image recognition software can be based on deep machine learning. The recognition is best for artificial neural network convolution processors because the specific task (recognize the expected article) otherwise requires enormous hardware resources due to its computationally intensive nature.
  • the image recognition algorithm works, for example, with comparative 3D models or edge recognition. The algorithm may have been trained with pre-tagged images using machine learning.
  • object recognition defines a computer-implemented method for recognizing objects (e.g. known from master data) within an object space using optical, acoustic or other physical recognition methods. For example, the presence of the object, such as the article 32, the image data 54 or in a video stream is recognized and its position and location (pose) is determined. In abstract image processing, object recognition methods are used to distinguish certain objects or patterns from other objects. For this purpose, the affected object is first described mathematically. The more precisely the description of the object is possible and the more analyzable information (master data) is available, the more reliably the object recognition works.
  • pattern recognition means the ability to identify computer-implemented regularities, repetitions, similarities or 54 in the set of image data recognize regularities.
  • a pattern recognition process as part of an object recognition can be broken down into a number of sub-steps, see FIG. 3, in which there is (image) acquisition at the beginning and a determined class division or classification at the end.
  • the image data 54 are recorded using the sensors 52 of the vision system 46 and digitized by the vision system 46 .
  • the image recognition device 56 obtains the patterns that can be represented mathematically in vectors, so-called feature vectors, and matrices. Pre-processing is usually carried out to reduce data and improve quality. By extracting features, the patterns can then be transformed into a feature space when obtaining features. The dimension of the feature space, in which the patterns are now represented as points, can be restricted to the essential features when features are reduced. A final step can be classification using a classifier, which assigns the features to different classes.
  • the image recognition device 56 therefore carries out an object or article recognition based on the image data 54 .
  • the article 32 is recognized in the image as soon as the article 32 is localized, i.e. when its position and its orientation based on the image data 54 are determined with sufficient accuracy to coordinate the manipulator 36 corresponding (of the recording location 40) - via a correspondingly set up (manipulator -) Control 58, see Fig. 2 - for gripping the article 32 (recognized).
  • a gripping surface 60 which is a portion of the (recognized) surface 62 of the article 32, see Fig. 4, can be determined on the article 32 where the end effector 38 grasps the article 32 later because the pose of the grasping surface 60 has been recognized.
  • FIG. 4 schematically illustrates an image that was recorded with the first vision system 46 (from a very specific viewing angle with a corresponding viewing direction) of an exemplary cylindrical article 32, such as a storage container for several drug pills.
  • the medicament box has a cylindrical base body with a lid and has a barcode 48 printed on it.
  • the can has an axis of symmetry 64 which is used to determine the orientation of the article 32.
  • the shape (cylinder) and the axis of symmetry 64 can be stored in the master data of the article 32, which can be stored in a (master) database 59 that is connected to the image recognition device 56 for data exchange.
  • the image recognition device 56 recognizes the article 32 in the image of FIG. 4, geometrically, e.g. based on an outline 66, and/or in color, e.g. based on a packaging color, a manufacturer's logo, etc., and determines a position and an orientation of the recognized article 32 in the picture and sends corresponding data to the controller 58 of the manipulator 36.
  • the controller 58 determines a gripping surface 60 based on this data.
  • the gripping surface 60 preferably corresponds to a (gripping contact) surface of the gripper 38 when the gripper 38 grips the article 32 for Relocate has taken hold.
  • the article image recognition algorithm which is executed by the image recognition device 56, usually accesses the (article) master data, which facilitates the recognition of the article 32 as such and its pose.
  • the item image recognition expects a specific item 32, e.g., because the conveyor 34 has transported this item 32 to the pick-up location 40.
  • This information can, for example, be supplied by the MFR 24 (not shown here) (cf. FIG. 1).
  • a length, height and width for example, can be derived from the master data of the delivered article 32, which is thus expected at the receiving location 40, provided that the article 32 has the shape of a parallelepiped.
  • the image recognition algorithm can use the length, width and height in order to even recognize the article 32 in the image and then to calculate its position and alignment.
  • the gripping surface 60 in turn is a partial area of the surface of the recognized item 32. This means that before the gripping surface 60 is determined, at least a part of the surface of the article 32 was recognized in the image data 54, in particular with additional consideration of the master data of the expected article 32. Recognition of the surface, position and orientation of the article 32 is easier for regularly shaped bodies than for odd shaped bodies. In the fashion industry, items 32 are represented by garments often sealed in clear plastic bags. These sleeves have no fixed geometric shape and flexibly conform to the flexible, deformable garments. The complexity increases when several shrink-wrapped garments are provided in a container at the same time and converted into the image data 54. In these cases it is possible that only parts of Article 32 will be recognised.
  • the image data 54 which have already been used for article recognition, i.e. for recognizing the presence of an article 32 and for determining the pose of the recognized article 32, are further evaluated by potential code areas 68 being recognized in the image data 54 by means of image recognition.
  • a corresponding code recognition is carried out by a code recognition device 70 without recourse to corresponding (code) master data, which in principle can be stored in the (master) database 59 .
  • the code recognition device 70 is set up to recognize the code areas 68 (ie areas that represent the code 48 in the image). This ability can have been previously trained in a corresponding code recognition algorithm, which is executed by the code recognition device 70, for example by means of machine learning. Code detection, which should not be confused with actually reading the Code 48, detects areas in the image where a Code 48 might be present. In Fig. 4 the recognized code area 68 contains the code 48.
  • the code recognition device 70 can be provided separately from the image recognition device 56, see FIG.
  • the article 32 gripped by the manipulator 36 must be identified on its way 44 from the pickup location 40 to the delivery location 42 by the second vision system 50 reading the individualizing code 48 .
  • the second vision system 50 can be implemented, for example, by one or more (simple) scanners, such as a "Dataman” scanner from the company COGNEX.
  • the second vision system 50 comprises five of these scanners, which are arranged to read barcodes within a space of e.g. 220x220x220mm3 in accordance with GS1 specifications. This space is crossed by path 44 when Article 32 is implemented.
  • the traversing movement can be stopped for a short period of time. However, the reading is preferably carried out while the translation movement is carried out continuously. The transfer movement therefore takes place without the article being set down and without the end effector 38 gripping it around.
  • the Code 48 can be implemented as a (one-dimensional) bar code, bar code, bar code or "bar code”.
  • Code 48 represents optoelectronically readable, individualizing information, which consists, for example, of parallel bars and gaps of different widths.
  • the term Code 48 generally stands for a representation of data by binary symbols. The data in the barcode are machine (in) read and electronically processed, in particular for the unique identification of the article 32.
  • Two-dimensional codes 48 encode the identifying information mostly in the area, with the information then not in the form of lines, but in the form of (white and black) dots. Stacked barcodes, matrix codes (eg QR code), dot codes or the like can be used, but these are not illustrated here.
  • Fig. 5 shows a flowchart 100 for the automated handling of articles 32 by a manipulator 36.
  • an article 32 is provided, which is expected according to an order. This can be a picking order, transport order, storage order, retrieval order, shipping order or the like, which requires the article 32 to be moved from a receiving location 40 to a delivery location 42 .
  • the article 32 is provided with a machine-readable individualizing code 48.
  • the article 32 is provided at the receiving location 40, e.g., with a conveyor 34 in a storage bin.
  • the image data 54 of the item 32 provided is generated by a first vision system 46 of the type described above.
  • the resolution of the first vision system 46 is not sufficient to read, i.e. identify, the code 48. Only image data 46 is generated.
  • the item 32 provided is localized by means of image recognition based on the image data 54, as already explained above.
  • the localization is preferably carried out in combination with the master data for the expected item 32, as also already explained above.
  • a gripping area 60 where the provided item 32 is gripped by the manipulator 36 can be determined based on the image data 54 after the item 32 is located.
  • one or more code areas 68 are located by image recognition based solely on the image data 54, if any (step S16). If one or more code areas 68 are present, these are recognized and localized using image recognition based solely on the image data 54 .
  • the image data 54 does not contain any Code areas 68, so that there is no risk that the end effector 38 of the manipulator 36 grips the article 32 at the location of a code 48, provided that the type of gripper does not require that invisible surfaces or surfaces not contained in the image data 54 are also included of the article 32 can be covered by the gripper 38. This would be the case, for example, with a pincer gripper.
  • step S18 it is ensured in a step S18 that the gripping surface 60 from step S14 does not overlap with any of the previously determined code areas 68.
  • step S20 the article 32 thus gripped is moved to the delivery location 42 set in advance.
  • step S22 it is verified that the gripped article 32 is the expected article 32 by reading the code 48 using a second separate vision system 50 .
  • Step S22 can be performed while article 32 is being repositioned in step S20.
  • FIG. 6 shows steps S16 and S18 of FIG. 5 in somewhat more detail.
  • step S16 codes 48 contained in the image data 54 are recognized but not read.
  • a first partial step S18-1 of step S18 it is checked whether potential code areas 68 are present in the image data 54. If no code 48 is visible at all, you can proceed directly to step S20. However, if code areas 68 were recognized den, it is checked in a second partial step S18-2 whether the detected code areas 68 overlap with the previously determined gripping surface 60. If there is no overlap, proceeding again to step S20 of FIG. Otherwise, a new gripping surface 60 is determined in a third sub-step S18-3 and a return is made to the second sub-step S18-2.
  • the second vision system 50 can be dispensed with.
  • the gripped article 32 is guided past the first vision system 46 again by the manipulator 36 for the 100% verification, but at a smaller distance than in the first recording. This distance is chosen in such a way that the (low) resolution of the first vision system 46 is then sufficient to read the code 48 .
  • the code area 68 has already been localized beforehand and can also be used to determine a corresponding movement path for the manipulator 36 .
  • the second vision system 50 could be provided with only one scanner configured to read the code 48 (in a single preferred direction). In this case, too, the previously recognized code area 68 can be used to plan the movement path of the manipulator 36 . The path of travel is such that the code 48 can be read by the single scanner.
  • the second vision system 50 has a simpler design and is cheaper.
  • MFR material flow computer
  • LVR warehouse management computer
  • Image recognition device manipulator
  • master master

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Es werden offenbart ein System und ein Verfahren zur automatisierten Artikelhandhabung durch einen Manipulator. Das Verfahren weist die Schritte: Bereitstellen eines erwarteten Artikels, der mit einem maschinenlesbaren individualisierenden Code versehen ist, an einem (vorab unbekannten) Aufnahmeort; Erzeugen, mittels eines ersten Visionsystems, dessen Auflösung zum Lesen des Codes nicht ausreicht, von Bilddaten des bereitgestellten Artikels; Lokalisieren des bereitgestellten Artikels mittels Bilderkennung basierend auf den Bilddaten, vorzugsweise in Kombination mit Stammdaten des Artikels; Bestimmen einer Greiffläche basierend auf den Bilddaten; Lokalisieren von einem oder mehreren Codebereichen mittels Bilderkennung basierend ausschließlich auf den Bilddaten; Sicherstellen, dass die Greiffläche keinen der zuvor bestimmten Codebereiche überlappt; Aufnehmen des Artikels durch automatisiertes Greifen an der Greiffläche mittels eines Endeffektors des Manipulators am Aufnahmeort; Bewegen des gegriffenen Artikels an einen vorab festgelegten Abgabeort; und Verifizieren, dass der gegriffene (und bewegte) Artikel der erwartete Artikel ist, durch Lesen des Codes mittels eines zweiten separaten Visionsystems.

Description

Verfahren und System für automatisierte Materialhandhabunq einschließlich einer 100%-Verifikation
Die vorliegende Offenbarung betrifft allgemein automatisierte Materialhandhabungssysteme und automatisierte Materialhandhabungsverfahren, bei denen Objekte aus verschiedensten Gründen mit einem Manipulator (z.B. mit einem Roboterarm inkl. Endeffektor) umgesetzt werden, wobei während des Umsetzens eine Identität der Objekte verifiziert wird, indem ein jeweils an den Objekten vorgesehener (Identifizierungs-) Code gelesen wird, ohne die gegriffenen Objekte abzusetzen oder neu zu greifen. Man spricht in diesem Fall von einer 100%-Verifikation beim Umsetzvorgang.
Das Dokument DE 10 2019 130 046 B4 beschreibt ein Materialhandhabungssystem, wo Objekte mittels Bilderkennung lokalisiert (Ort und Orientierung) und auch identifiziert (Typ) werden, um die Objekte dann mit einem (Roboter-)Manipulator von einem Startort einer Umsetzbewegung an einen Zielort umzusetzen, wobei die Identität der Objekte während des Umsetzens ebenfalls verifiziert wird, indem ein an dem Objekt angebrachter individualisierender Code gelesen und mit einem erwarteten Code verglichen wird. Wenn nachfolgend von „Lokalisierung“ gesprochen wird, ist damit eine Erkennung, d.h. Bestimmung, eines jeweiligen Orts und einer Ausrichtung, d.h. einer Pose, des Objekts gemeint. Wenn nachfolgend von einer „Identifizierung“ gesprochen wird, ist damit eine Bestimmung einer Identität (eindeutiger Typ, Name, etc.) des Objekts gemeint, indem der Identifizierungscode (aus)gelesen wird.
In der DE‘ 046 B4 wird sowohl die Lokalisierung als auch die Identifizierung auf Basis von aktuell erzeugten Bilddaten in Kombination mit bereits abgespeicherten Stammdaten durchgeführt. Die Stammdaten umfassen Grundinformationen über objektspezifische Parameter wie z.B. Abmessungen, eine Größe, eine Form, ein Gewicht, eine Farbe, einen Namen, ein Logo, eine Identnummer des Objekts in Form eines individualisierenden Codes sowie einen (relativen) Ort und ggf. auch eine Größe (Fläche) des individualisierenden Codes. Es handelt sich um Grundinformationen, die für eine spätere Handhabung des Objekts essentiell sind.
Der Bilderkennungsalgorithmus der DE‘ 046 B4 erwartet ein spezielles Objekt im Bild, was die Objektlokalisierung vereinfacht, weil charakterisierende Parameter des Objekts somit vorab bekannt sind, nach denen anschließend im Bild gesucht werden kann (z.B. nach einer spezifischen Kantenlänge). Mittels einer entsprechenden Erkennung im Bild werden z.B. einzelne Längen, Umrisse, Konturen und dergleichen aus den Bilddaten „gemessen“, um durch einen Vergleich mit den Stammdaten auf eine Pose und eine Identität eines im Bild erkannten Objekts rückzuschließen. Das Objekt ist dann lokalisiert und identifiziert. Sobald die Identität und Pose des - im Bild unter Zuhilfenahme der Stammdaten erkannten - Objekts erkannt sind, wird aus den Stammdaten - durch Berechnung - auch auf eine Code-Pose rückgeschlossen, wobei die dazu erforderliche Information hinsichtlich des Codes bereits zuvor erfasst, d.h. physisch gemessen, und in den Stammdaten gespeichert werden musste.
Dies bedeutet ferner, dass die Stammdaten einen entsprechenden Detailierungsgrad aufweisen müssen. Wenn die erforderlichen Code-Informationen nicht in den Stammdaten hinterlegt sind, kann der Code bei der DE‘ 046 B4 nicht lokalisiert werden. Da die Stammdaten üblicherweise von den Systembetreibern (z.B. eines Logistikzentrums) durch Ein- lernverfahren (Teach-in) selbst erzeugt werden, ist dieser Vorgang zeit-, kosten- und aufwandsintensiv. Die Bestimmung bzw. Parametrisierung des jeweiligen Codes (im Verhältnis zum Objekt) erfordert umfangreiche Anstrengungen, insbesondere wenn der Systembetreiber über ein großes Sortiment von verschiedenen Objekten bzw. Artikeln verfügt, wie es im Logistikbereich oft der Fall ist. In der Intralogistik, und insbesondere im Versandhandel und im Pharmaziehandel, können Artikelsortimente schnell mehrere 10.000 verschiedene Artikel und mehr umfassen.
Des Weiteren steht die DE‘ 046 B4 vor dem Problem, dass Fehler bzw. Unsicherheiten, die sich aus der Objekterkennung ergeben, in die Code-Lokalisierung fortpflanzen. Dies bedeutet, dass, wenn ein Objekt unsicher erkannt wird, der Code mindestens ebenso unsicher ist. Es ist nicht sichergestellt, dass der Endeffektor den Code beim Greifen tatsächlich nicht überdeckt. Eine 100%-Verifikation beim Umsetzen ist auf diese Weise, insbesondere nicht ohne ein Umgreifen zur Freilegung des möglicherweise durch den Greifer verdeckten Codes, nicht möglich.
Das Dokument WO 2018/ 178 903 A1 beschreibt ebenfalls ein Robotersystem zum automatisierten Greifen und Abgeben eines Artikels, wo mehrere Manipulatoren hintereinander angeordnet sind, um den Artikel mehrfach umzusetzen. Jedem Manipulator ist ein Visionsystem, also ein System zum maschinellen Sehen, zugeordnet. Das Visionsystem des ersten Roboters ist eingerichtet, Bilder der zu greifenden Artikel zu erzeugen, um individualisierende Artikelkennungen (z.B. Barcodes) direkt zu lesen, so dass die Artikel identifiziert werden, und um, mittels Bildverarbeitung, einen Ort und eine Ausrichtung der Artikel zu bestimmen. Auch in diesem Fall wird wieder auf zuvor erzeugte und bereits gespeicherte Stammdaten zurückgegriffen, wie oben bereits beschrieben.
Das Dokument DE 10 2020 101 767 B4 betrifft ein Steuerverfahren und eine Steuerung für ein Robotersystem.
Das Dokument DE 10 2019 135 452 A1 betrifft ein vollautomatisches Roboter-Kommissio- niersystem und ein Kommissionierverfahren mit einer Sensoranordnung zum Vermesse eines entnommenen Artikels im Rahmen des Anhebevorgangs. Das Dokument DE 102017 123 877 A1 betrifft ein Robotersystem.
Das Dokument ein Verfahren zum Erkennen, Bestimmen und Lokalisieren von zumindest einem beliebigen Gegenstand und/oder eines Raumes.
Das Dokument US 11 192 242 B2 betrifft eine Haltevorrichtung, einen Behälter mit einer Kennung, ein Gegenstandhalteprogramm und ein Gegenstandhalteverfahren.
Das Dokument US 2017/0 136 632 A1 betrifft Sortiersystem und -verfahren zum Sortieren einer Vielfalt von Objekten.
Es ist daher eine Aufgabe, die bekannten Handhabungsverfahren und -Systeme zu verbessern. Insbesondere soll die Code-Lokalisierung nicht auf Basis der Stammdaten erfolgen. Die Stammdaten sollen frei von Informationen über einen Ort und eine Größe des individualisierenden Codes am Objekt sein. Außerdem soll das gegriffene Objekt nicht neu bzw. anders gegriffen werden müssen, um den Code während eines Umsetzvorgangs sicher zu lesen.
Diese Aufgabe wird gelöst durch ein Verfahren zur automatisierten Artikelhandhabung durch einen Manipulator, das die Schritte aufweist: Bereitstellen eines erwarteten Artikels, der mit einem maschinenlesbaren individualisierenden Code versehen ist, an einen (vorab unbekannten) Aufnahmeort; Erzeugen, mittels eines ersten Visionsystems, dessen Auflösung zum Lesen des Codes (am aktuellen Ort des Artikels) nicht ausreicht, von Bilddaten des bereitgestellten Artikels; Lokalisieren des bereitgestellten Artikels mittels Bilderkennung basierend auf den Bilddaten, vorzugsweise in Kombination mit Stammdaten des Artikels; Bestimmen einer Greiffläche basierend auf den Bilddaten; Lokalisieren von einem oder mehreren Codebereichen mittels Bilderkennung basierend ausschließlich auf den Bilddaten; Sicherstellen, dass die Greiffläche keinen der zuvor bestimmten Codebereiche überlappt; Aufnehmen des Artikels durch automatisiertes Greifen an der Greiffläche mittels eines Endeffektors des Manipulators am Aufnahmeort; Bewegen des gegriffenen Arti- kels an einen vorab festgelegten Abgabeort; und Verifizieren, dass der gegriffene (und bewegte) Artikel der erwartete Artikel ist, durch Lesen des Codes mittels eines zweiten separaten Visionsystems.
Um auszuschließen, dass der Manipulator bzw. Roboter den Artikel genau an der Stelle greift, wo der individualisierende Code vorgesehen ist, wodurch der Code verdeckt würde, wird bei der Lokalisierung des Codes ausschließlich auf die Bilddaten zurückgegriffen.
Dies bedeutet, dass für die Code-Lokalisierung ein Rückgriff auf die Stammdaten nicht erforderlich ist, weil die individualisierenden Codes direkt in den gleichen Bilddaten mittels Bilderkennung erkannt werden.
Deshalb kann auf die Bereitstellung entsprechender Stammdaten, insbesondere im Hinblick auf den individualisierenden Code (z.B. dessen Größe, Ausgestaltung und Relativposition am Artikel), verzichtet werden. Die Artikelstammdaten sind weniger umfangreich, weil Informationen zu den Codes fehlen, die zur Lokalisierung des Codes benötigt werden, sobald der Artikel als solcher erkannt ist.
In der Praxis bedeutet dies, dass die (Relativ-) Position des Codes am Artikel nicht in den Stammdaten des Artikels gespeichert - und somit nicht vorab erzeugt - werden muss. Die Position des Codes wird üblicherweise gemessen, wenn der zugehörige Artikel zum ersten Mal auftaucht. Zu diesem Zweck werden üblicherweise sogenannte Einlernverfahren (Teach-in) verwendet, bei denen der Artikel von allen Seiten fotografiert und hinsichtlich seiner individualisierenden Eigenschaften (Länge, Breite, Höhe, Gewicht, Farbe, Farbverteilung, Logoausgestaltung und -position, etc.) vermessen wird. Die Position des Codes muss daher bei einem Einlernverfahren nicht gemessen werden. Dies verkürzt die Zeitdauer, wenn ein Artikel neu in ein Artikelsortiment eines Anlagenbetreibers aufgenommen wird.
Ein weiterer Vorteil ist darin zu sehen, dass es viele Artikelformen gibt, die eine eindeutige Erkennung der Pose des Artikels gar nicht zulässt. Insbesondere die Erkennung der Ausrichtung des Artikels ist in diesen Fällen schwierig. Zum Beispiel ist die Ausrichtung eines würfelförmigen oder zylindrischen Körpers schwierig aus Bilddaten zu bestimmen, weil der Erkennungsalgorithmus nicht ohne Weiteres in der Lage ist, die im Bild sichtbaren Seiten des Artikels im Bild zu identifizieren. Bei einem Würfel sind alle sechs Seiten gleich groß und es gibt keine Vorzugsrichtung. Bei einem Zylinder gibt es zwar eine Vorzugsrichtung (parallel zur Zylinderachse), aber keine Vorderseite, Rückseite oder seitliche Seiten. Um die Ausrichtung derartig geformter Artikel sicher zu bestimmen, sind weitere Grundinformationen erforderlich, die gelernt oder gemessen werden müssen, wie z.B. eine Färb-, Bild- und/oder Schriftverteilung auf der Oberfläche des Artikels.
Die vorliegende Entwicklung kommt ohne die Code-Stammdaten aus, weil potentielle Codebereiche erkannt werden. Erkennung bedeutet in diesem Zusammenhang nicht ein Lesen des Codes. Das Einlernen entfällt.
Das vorliegende Verfahren eignet sich auch zur Handhabung von Artikeln, die noch schwerer zu erkennen sind. Exemplarisch sind in diesem Fall in Klarsichtfolie eingeschweißte Kleidungsstücke zu nennen. Die Kleidungsstücke weisen wegen des flexiblen Stoffs keine feste Form auf, so dass klare Kanten und ebene Flächen häufig nicht vorhanden sind. Die durchsichtige Klarsichtfolie erschwert zusätzlich eine Abgrenzung gleicher Artikel zueinander, insbesondere wenn mehrere Artikel gleichzeitig bereitgestellt werden, die insbesondere durchmischt vorliegen, weil es keine klar erkennbaren Verpackungskanten gibt. Besonders in diesen Fällen vermeidet das Verfahren der vorliegenden Offenbarung den Fehler aus dem Stand der Technik, nämlich, dass der Greifer die Etiketten als Angriffsposition auswählt, wo üblicherweise auch die Codes platziert sind. Die Etiketten sind wegen des klaren Kontrasts und ihrer ebenen Fläche leicht in den Bilddaten zu erkennen.
Die vorliegende Entwicklung erkennt den Barcode, d.h. sieht den Barcode im Bild, und verhindert so, dass der Greifer an dieser Stelle zupackt.
Vorzugsweise umfasst der Schritt des Lokalisierens des bereitgestellten Artikels ein Erkennen des bereitgestellten Artikels in den Bilddaten und ein Bestimmen einer Position und einer Ausrichtung des erkannten Artikels. Bei der Artikellokalisierung werden die Artikel also erst einmal erkannt, ohne dass sie identifiziert werden müssen, was den Rechenaufwand minimiert, insbesondere weil zu diesem Zwecke zwar auf die Artikel-Stammdaten zurückgegriffen werden kann, aber nicht muss. Danach kann unabhängig vom tatsächlich bereitgestellten Artikeltyp, eine Greifpose (Position und Ausrichtung) bestimmt werden. Auch zu diesem Zweck muss man nicht auf die Stammdaten zurückgreifen. Der Algorithmus sucht sich selbst eine geeignete Greifpose und zwar allein auf Basis der Situation, die sich ihm im Bild darstellt.
Insbesondere umfasst der Schritt des Erkennens des bereitgestellten Artikels ein Suchen nach einem (geometrischen und/oder farblichen) Muster in den Bilddaten durch Vergleichen mit mindestens einem der folgenden Artikelparameter aus den Stammdaten: Länge, Breite, Höhe und/oder Artikelumriss aus mindestens einer Perspektive.
Natürlich kann ein Rückgriff auf die Stammdaten beim Auffinden der Artikel im Bild hilfreich sein, weil der Algorithmus so vorab weiß, wonach er im Bild suchen muss. Auch die Identifikation des Artikels kann hilfreich sein, z.B. weil bestimmte Artikel nicht am Boden oder Deckel gegriffen werden sollen, was ebenfalls in den Stammdaten hinterlegt werden kann.
Weiter ist es bevorzugt, wenn der Schritt des Bestimmens der Greiffläche umfasst: Bestimmen einer entsprechenden Greifpose.
Die Greiffläche zeichnet sich nicht nur durch ihre Größe und Position, sondern auch durch ihre Ausrichtung aus, die der Algorithmus vorzugsweise allein auf Basis der Bilddaten bestimmt.
Generell werden dabei die gleichen Bilddaten verwendet wie bei der Artikelerkennung. Es ist also nicht erforderlich mehrere Bilder vom Artikel zu erzeugen. Die Auflösung, die für die Artikelerkennung ausreicht, reicht auch zur Code-Erkennung (Lokalisierung) aus. Es muss kein weiteres Visionsystem vorgesehen werden. Der Aufwand und die Kosten sind minimal. Auch ist es bevorzugt, wenn der Schritt des Lokalisierens des oder der Codebereiche umfasst: Bestimmen einer Position und einer Ausrichtung von jedem der erkannten Codebereiche.
Der Codebereich zeichnet sich nicht nur durch seine Größe und Position, sondern auch durch seine Ausrichtung aus, die der Algorithmus allein auf Basis der Bilddaten bestimmt.
Ferner wird die oben definierte Aufgabe durch ein System zur automatisierten Artikelhandhabung gelöst, das aufweist: einen automatisierten Manipulator mit einer Steuerung zum Umsetzen eines bereitgestellten Artikels von einem Aufnahmeort an einen Abgabeort; ein erstes Visionsystem, dessen Auflösung zum Lesen eines an den bereitgestellten Artikel angebrachten Codes nicht ausreicht, zum Erzeugen von Bilddaten des bereitgestellten Artikels; eine Bilderkennungseinrichtung zum Lokalisieren des bereitgestellten Artikels basierend auf den Bilddaten, vorzugsweise in Kombination mit Stammdaten des Artikels, die zuvor erzeugt wurden und die in einer Datenbank gespeichert sind, eine Codeerkennungseinrichtung zum Lokalisieren von einem oder mehreren Codebereichen mittels Bilderkennung basierend ausschließlich auf den Bilddaten; und ein zweites, separates Visionsystem mit einer höheren Auflösung zum Lesen des Codes, um zu verifizieren, dass der gegriffene Artikel der erwartete Artikel ist; wobei die Steuerung eingerichtet ist, eine Greiffläche basierend auf den Bilddaten zu bestimmen, und ferner eingerichtet ist sicherzustellen, dass die Greiffläche keinen der zuvor bestimmten Codebereiche überlappt.
Mit diesem System ergeben sich die gleichen Vorteile wie mit dem oben beschriebenen Verfahren.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Offenbarung zu verlassen. Ausführungsbeispiele der Offenbarung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
Fig. 1 ein Blockdiagramm eines Lager- und Kommissioniersystems;
Fig. 2 ein Blockdiagramm eines Artikelhandhabungssystems;
Fig. 3 einen Mustererkennungsprozess im Rahmen einer Objekterkennung;
Fig. 4 ein Bild eines zylindrischen Artikels mit Barcode;
Fig. 5 ein Flussdiagramm eines Verfahren zur automatisierten Artikelhandhabung; und
Fig. 6 eine Detailansicht von Schritten des Flussdiagramms der Fig. 5.
Das hier vorgeschlagene Verfahren und System zur automatisierten Artikelhandhabung kommt insbesondere in interlogistischen Lager- und Kommissioniersystemen zum Einsatz, die z.B. in den Bereichen E-Commerce, E-Grocery, Micro-Fulfillment-Zentren oder Ähnlichem benutzt werden, insbesondere im Pharmahandel.
Allgemein umfasst der Begriff „Intralogistik“ logistische Material- und Warenflüsse, die sich innerhalb eines Betriebsgeländes, insbesondere innerhalb eines Betriebsgebäudes, ereignen. Der Begriff der Intralogistik wurde definiert, um eine Abgrenzung zum Warentransport außerhalb des Betriebsgeländes zu schaffen, der zum Beispiel durch eine Spedition zwischen zwei Betriebsstätten erfolgt. Der Begriff der Intralogistik ist als die Organisation, Steuerung, Durchführung und Optimierung des innerbetrieblichen Warenflusses (zum Beispiel von Produkten in der Distribution und/oder im Versand) und des Materialflusses (zum Beispiel von Vor-, Zwischen- und Endprodukten in der Produktion), der Informationsströme sowie des Waren- und Materialumschlags in der Industrie und im Handel definiert. Nachfolgend wird vereinfacht nur noch vom Materialfluss gesprochen, auch wenn im Wesentlichen (Einzel-)Artikel transportiert werden. Fig. 1 zeigt ein Blockdiagramm eines exemplarischen Lager- und Kommissioniersystems 10. Das Lager- und Kommissioniersystem 10 weist ein Lager 12, mindestens eine Kommissionierstation 14 und ein Fördertechniksystem 16 auf. Das Fördertechniksystem 16 verbindet das Lager 12 mit der Kommissionierstation 14 hinsichtlich des Materialflusses. Das Fördertechniksystem 16 kann ferner einen Wareneingang 18 und/oder einen Warenausgang 20 des Systems 10 miteinander und mit dem Lager 12 und der Kommissionierstation 14 hinsichtlich des Materialflusses verbinden. Das Fördertechniksystem 16 kann Stetigförderer (z.B. Rollenförderer, Bandförderer, Kettenförderer, Hängeförderer, etc.) und/oder Unstetigförderer (zum Beispiel fahrerlose Transportfahrzeuge, Regalbediengeräte, Lifte, etc.) umfassen.
Des Weiteren weist das Lager- und Kommissioniersystem 10 eine (übergeordnete und vorzugsweise zentrale) Steuerung 22 auf, die generell eine Datenverarbeitungseinrichtung und insbesondere einen Materialflussrechner 24, einen Lagerverwaltungsrechner 26 und/oder einen Auftragsabwicklungsrechner 28 umfassen kann. Der Materialfluss, die Lagerverwaltung (Lagerplatzverwaltung, Inventurdaten, etc.) und/oder die Auftragsabwicklung (z.B. Zuordnung und Verteilung von Aufgaben zur Erledigung eines Kommissionierauftrags) können auch dezentral in einem verteilten Datenverarbeitungssystem durchgeführt werden.
Fig. 2 zeigt ein Blockdiagramm eines Artikelhandhabungssystems 30, das z.B. im System 10 eingesetzt werden kann. Das System 30 könnte zum Zwecke einer Kommissionierung einen Artikel 32 automatisiert aus z.B. einem Lagerbehälter (nicht gezeigt) in einen Auftragsbehälter umsetzen. Das System 30 könnte zum Zwecke einer Einlagerung, z.B. im Wareneingang 18, einen oder mehrere Artikel 32 automatisiert von z.B. einer Wareneingangspalette (nicht gezeigt) auf z.B. ein Lagertablar (nicht gezeigt) umsetzen. Das System 30 könnte zum Zwecke eines Versands, z.B. im Warenausgang 20, einen oder mehrere Artikel 32 automatisiert von einem Förderer 34 in einen Versandkarton (nicht gezeigt) umsetzen.
Das Artikelhandhabungssystem 30 umfasst generell einen (Roboter-)Manipulator 36 mit einem Endeffektor (z.B. Sauggreifer) 38 zum automatisierten Umsetzen der Artikel 32 von einem Aufnahmeort 40 (z.B. aus einem Lagerbehälter) an einen Abgabeort 42 (z.B. in einem Auftragsbehälter). Eine entsprechender (Umsetz-) Weg 44 ist in Fig. 2 mit einem Pfeil veranschaulicht.
Ferner umfasst das System 30 ein erstes Visionsystem 46 mit einem geringen Auflösungsvermögen, so dass maschinenlesbare individualisierende Codes 48, die an den Artikeln 32 angebracht sind, nicht lesbar sind. Das erste Visionsystem 46 kann die Codes 48 also nicht lesen und kann die Artikel 32 deshalb auch nicht (automatisiert) identifizieren. Die Identifizierung kann mit einem zweiten Visionsystem 50 durchgeführt werden, das separat stromabwärts zum ersten Visionsystem 46 vorgesehen ist, wie es nachfolgend noch näher erläutert werden wird, und das eine höhere Auflösung als das erste Visionsystem 46 aufweist.
Das zweite Visionsystem 46 kann durch eine, insbesondere hochauflösenden, Scan-Einheit implementiert sein, die vorzugsweise ausschließlich zum Lesen des Codes 48 eingerichtet ist. Die Scan-Einheit umfasst mindestens einen Scanner. Wenn mehrere Scanner umfasst sind, sind diese vorzugsweise entlang von zueinander senkrechten Einheitsvektoren (xyz), mitunter gegenüberliegend, angeordnet, um den Artikel 32 möglichst aus jeder Richtung gleichzeitig erfassen zu können.
Jedes der Visionsysteme 46 und 50 umfasst mindestens einen bildgebenden, insbesondere einen optischen, Sensor 52, wie z.B. eine Kamera oder einen CCD-Sensor, um ein Bild des Artikels 32 zu erzeugen, der zuvor z.B. gemäß einem Kommissionierauftrag oder gemäß einem anderen Auftrag z.B. mit einem Förderer 34 an den Aufnahmeort 40 transportiert wurde.
Jedes der Visionsysteme 46 und 50 ist zum Maschinensehen eingerichtet. Das „Maschinensehen“ (Machine Vision) imitiert das menschliche Sehen für Maschinen und stammt aus der Informatik und den Ingenieurwissenschaften, wobei das Visionsystem, das eine Bilderkennungssoftware, einen Computer und mindestens eine Kamera umfassen kann, aufgenommene Bilder bzw. Bilddaten auf unterschiedlichste Art und Weise verarbeiten und analysieren kann, um deren Inhalt zu interpretieren und insbesondere geometrische Informationen zu extrahieren.
Jedes der Visionsysteme 46 und 50 ist ferner eingerichtet, die erzeugten Bilder in Bilddaten 54 zu wandeln, die an eine Bilderkennungseinrichtung 56 gesendet werden. Die Bilderkennungseinrichtung 56 kann in die Visionsysteme 46 und/oder 50 integriert sein.
Es versteht sich, dass das zweite Visionsystem (50) lediglich zum Lesen des Code 48 eingerichtet sein muss. Dies bedeutet, dass das zweite Visionsystem 50 vorzugsweise allein durch den Sensor 52, d.h. ohne Bilderkennungsalgorithmus und Daten- bzw. Bildverarbeitungseinrichtung, implementiert ist.
Die Bilderkennungseinrichtung 56 ist Teil des Systems 30 und verfügt über eine Datenverarbeitungseinrichtung (z.B. ein Prozessor, nicht gezeigt) und einen Datenspeicher (nicht gezeigt), wo eine Software bzw. ein Algorithmus zur Bilderkennung (nicht gezeigt) gespeichert ist, der vom Prozessor ausgeführt wird. In einer ersten (Erkennungs-) Stufe werden Objekte generell erkannt, d.h. es wird zwischen „Objekt vorhanden“ und „kein Objekt vorhanden“ unterschieden, um in einer zweiten Stufe eine Pose zu erkennen, d.h. eine Position und eine Lage zu bestimmen.
Die „Pose“ ist nach der DIN EN ISO 8373 (Industrieroboter Wörterbuch) die Kombination aus einer Position und Orientierung eines Objekts im dreidimensionalen Raum. Die Position einer punktförmigen Masse in Relation zu einem kartesischen Koordinatensystem definiert sich demnach durch die Abstände entlang den Koordinatenrichtungen x, y, z. Spannt man an diesem Massepunkt ein zweites kartesisches Koordinatensystem auf, so definiert sich die Orientierung dieses Koordinatenkreuzes durch den Winkelversatz seiner Koordinatenachsen in Bezug zu den entsprechenden Achsen des Basiskoordinatensystems. Es sind somit zusätzlich drei Winkel notwendig, um die Lage des neuen Koordinatensystems bezogen auf das Basiskoordinatensystem zu beschreiben. Die „Bilderkennung“ - also eine Erkennung basierend auf einem Bild - ist ein Teilgebiet der „Mustererkennung“ und der Bildverarbeitung. Die Bildverarbeitung umfasst insbesondere Funktionen wie eine Beleuchtungskorrektur, einen Farbausgleich, eine Unterdrückung von Bildrauschen, eine Verbesserung der Schärfe und Ähnliches. Die Mustererkennung ist wiederum ein Teilgebiet der „Objekterkennung“.
In der Bilderkennung werden Objekte, wie z.B. die Artikel 32, in den Bilddaten 54 computerimplementiert segmentiert. Bei der Segmentierung werden zusammenhängende Bildbereiche erkannt. Den Segmenten wird eine symbolische Beschreibung zugewiesen. Es wird aber nicht nach Zusammenhängen zwischen den Objekten gesucht, wie es in der Musteranalyse üblich ist. Die Bilderkennung im Kontext der Bildverarbeitung ist die Fähigkeit von Software, Objekte in Bildern zu erkennen. Die Software zur Bilderkennung kann auf einem tiefgreifenden maschinellen Lernen basieren. Die Erkennung ist bei Faltungsprozessoren für künstliche neuronale Netze am besten, weil die spezifische Aufgabe (Erkenne den erwarteten Artikel) aufgrund ihrer rechenintensiven Natur ansonsten enorme Hardwareressourcen erfordert. Der Bilderkennungsalgorithmus arbeitet z.B. mit vergleichenden 3D-Modellen oder Kantenerkennung. Der Algorithmus kann mit vorab markierten Bildern mittels maschinellem Lernen trainiert worden sein.
Der Begriff „Objekterkennung“ definiert ein computerimplementiertes Verfahren zum Erkennen von (z.B. aus Stammdaten vorbekannten) Objekten innerhalb eines Objektraums mittels optischer, akustischer oder anderer physikalischer Erkennungsverfahren. So wird z.B. das Vorhandensein des Objekts, wie z.B. des Artikels 32, den Bilddaten 54 oder in einem Videostream erkannt und dessen Position und Lage (Pose) bestimmt. In der abstrakten Bildverarbeitung dienen Objekterkennungsmethoden dazu, bestimmte Objekte bzw. Muster von anderen Objekten zu unterscheiden. Zu diesem Zweck wird das betroffene Objekt zunächst mathematisch beschrieben. Je genauer die Beschreibung des Objektes möglich ist und je mehr auswertbare Informationen (Stammdaten) vorhanden sind, umso zuverlässiger arbeitet die Objekterkennung.
Unter dem Begriff „Mustererkennung“ versteht man die Fähigkeit, in der Menge von Bilddaten 54 computerimplementiert Regelmäßigkeiten, Wiederholungen, Ähnlichkeiten oder Gesetzmäßigkeiten zu erkennen. Ein Mustererkennungsprozess im Rahmen einer Objekterkennung lässt sich in mehrere Teilschritte zerlegen, siehe Fig. 3, bei denen am Anfang die (Bild-)Erfassung und am Ende eine ermittelte Klasseneinteilung bzw. Klassifizierung steht. Bei der Erfassung werden die Bilddaten 54 mittels der Sensoren 52 des Visionsystems 46 aufgenommen und vom Visionsystem 46 digitalisiert.
Aus den Bilddaten 54 werden von der Bilderkennungseinrichtung 56 die Muster gewonnen, die sich z.B. mathematisch in Vektoren, sogenannten Merkmalsvektoren, und Matrizen darstellen lassen. Zur Datenreduktion und zur Verbesserung der Qualität findet in der Regel eine Vorverarbeitung statt. Durch eine Extraktion von Merkmalen können die Muster bei einer Merkmalsgewinnung anschließend in einen Merkmalsraum transformiert werden. Die Dimension des Merkmalsraums, in dem die Muster nun als Punkte repräsentiert sind, kann bei einer Merkmalsreduktion auf die wesentlichen Merkmale beschränkt werden. Ein abschließender Schritt kann die Klassifikation durch einen Klassifikator sein, der die Merkmale verschiedenen Klassen zuordnet.
Die Bilderkennungseinrichtung 56 führt also eine Objekt- bzw. Artikelerkennung basierend auf den Bilddaten 54 durch. Der Artikel 32 ist im Bild erkannt, sobald der Artikel 32 lokalisiert ist, d.h. wenn seine Position und seine Ausrichtung basierend auf den Bilddaten 54 ausreichend genau bestimmt ist, um dem Manipulator 36 entsprechende Koordinaten (des Aufnahmeort 40) - über eine entsprechend eingerichtete (Manipulator-)Steuerung 58, vgl. Fig. 2 - zum Greifen des (erkannten) Artikels 32 zu liefern. Wenn der Artikel 32 lokalisiert ist, wozu der Artikel 32 aber nicht identifiziert wird, kann eine Greiffläche 60, die einen Teilbereich der (erkannten) Oberfläche 62 des Artikels 32 ist, vgl. Fig. 4, am Artikel 32 bestimmt werden, wo der Endeffektor 38 den Artikel 32 später (er)greift, weil die Pose der Greiffläche 60 erkannt wurde.
Fig. 4 veranschaulicht schematisch ein Bild, das mit dem ersten Visionsystem 46 (aus einem ganz bestimmten Blickwinkel mit einer entsprechenden Blickrichtung) von einem, exemplarisch zylindrischen, Artikel 32, wie z.B. eine Vorratsdose für mehrere Arzneimittelpillen, aufgenommen wurde. Die Arzneimitteldose weist einen zylindrischen Grundkörper mit einem Deckel auf und ist mit einem Barcode 48 bedruckt. Die Dose weist eine Symmetrieachse 64 auf, die zur Bestimmung der Ausrichtung des Artikels 32 benutzt werden kann. Die Form (Zylinder) und die Symmetrieachse 64 können in den Stammdaten des Artikels 32 hinterlegt sein, die in einer (Stamm-) Datenbank 59 speicherbar sind, die mit der Bilderkennungsreinrichtung 56 zum Datenaustausch verbunden ist.
Die Bilderkennungseinrichtung 56 erkennt den Artikel 32 im Bild der Fig. 4, geometrisch, z.B. basierend auf einer Umrisslinie 66, und/oder farblich, z.B. basierend auf einer Verpackungsfarbe, eines Herstellerlogos, etc., und bestimmt eine Position und eine Ausrichtung des erkannten Artikels 32 im Bild und sendet entsprechende Daten an die Steuerung 58 des Manipulators 36. Die Steuerung 58 bestimmt basierend auf diesen Daten eine Greiffläche 60. Die Greiffläche 60 entspricht vorzugsweise einer (Greifkontakt-) Fläche des Greifers 38, wenn der Greifer 38 den Artikel 32 zum Umsetzen gegriffen hat.
Der Artikel-Bilderkennungsalgorithmus, der durch die Bilderkennungseinrichtung 56 ausgeführt wird, greift üblicherweise auf die (Artikel-) Stammdaten zu, was die Erkennung des Artikels 32 als solche und dessen Pose erleichtert. Die Artikel-Bilderkennung erwartet einen bestimmten Artikel 32, z.B. weil der Förderer 34 diesen Artikel 32 an den Aufnahmeort 40 transportiert hat. Diese Information kann z.B. der (hier nicht dargestellte) MFR 24 (vgl. Fig. 1) liefern. Aus den Stammdaten des angelieferten Artikels 32, der somit am Aufnahmeort 40 erwartet wird, können z.B. eine Länge, Höhe und Breite abgeleitet werden, vorausgesetzt der Artikel 32 hat die Form eines Parallelepipeds. Die Länge, Breite und Höhe kann der Bilderkennungsalgorithmus verwenden, um den Artikel 32 überhaupt im Bild zu erkennen und anschließend seine Position und Ausrichtung zu berechnen.
Die Greiffläche 60 wiederum ist ein Teilbereich der Oberfläche des erkannten Artikels 32. Dies bedeutet, dass, bevor die Greiffläche 60 bestimmt wird, zumindest ein Teil der Oberfläche des Artikels 32 in den Bilddaten 54 erkannt wurde, insbesondere unter zusätzlicher Berücksichtigung der Stammdaten des erwarteten Artikels 32. Die Erkennung der Oberfläche, der Position und der Ausrichtung des Artikels 32 ist bei regelmäßig geformten Körpern einfacher als bei unförmigen Körpern. In der Modeindustrie werden die Artikel 32 durch Kleidungsstücke repräsentiert, die oft in durchsichtigen Klarsichthüllen eingeschweißt sind. Diese Hüllen weisen keine feste geometrische Form auf und passen sich flexibel an die flexiblen, verformbaren Kleidungsstücke an. Die Komplexität steigert sich, wenn mehrere eingeschweißte Kleidungsstücke gleichzeitig in einem Behälter bereitgestellt und in die Bilddaten 54 umgewandelt werden. In diesen Fällen ist es möglich, dass nur Teile der Artikel 32 erkannt werden. Insbesondere werden oft nur Etiketten der Kleidungsstücke erkannt, weil die entsprechenden Papierschilder einen guten Kontrast ergeben und eine ebene Fläche darstellen, die sich besonders gut zum Greifen des (auf diese Weise erkannten) Artikels 32 eignen. Da die individualisierenden Codes 48 aber auf den Etiketten vorhanden sind, besteht eine besonders hohe Gefahr, dass die Steuerung genau diese in den Bilddaten 54 erkannten Bereiche als Greiffläche 60 bestimmt. In diesen Fällen ist die Gefahr besonders groß, dass der Greifer 38 die Artikel 32 im Bereich der Codes 48 greift und somit den Code 48 für ein späteres Lesen durch das zweite Visionsystem 50 verdeckt, so dass der Code 48 nicht lesbar und der Artikel 32 somit für die 100%-Verifikation nicht identifizierbar ist.
Um zu verhindern, dass der Greifer 38 des Manipulators 36 den Artikel 32 am Ort des Codes 48 greift, wird zeitlich vor dem Greifvorgang, z.B. durch die Steuerung 58, überprüft, ob sich die zuvor bestimmte Greiffläche 60 mit einem Code 48 überlappt oder nicht. Zu diesem Zweck werden die Bilddaten 54, die bereits zur Artikelerkennung, also zur Erkennung des Vorhandenseins eines Artikels 32 und zur Bestimmung der Pose des erkannten Artikels 32 benutzt wurden, weiter ausgewertet, indem in den Bilddaten 54 mittels Bilderkennung potenzielle Codebereiche 68 erkannt werden.
Eine entsprechende Codeerkennung erfolgt durch eine Codeerkennungseinrichtung 70 ohne Rückgriff auf entsprechende (Code-) Stammdaten, die grundsätzlich in der (Stamm-) Datenbank 59 speicherbar sind. Die Codeerkennungseinrichtung 70 ist eingerichtet, die Codebereiche 68 (d.h. Flächen, die den Code 48 im Bild repräsentieren) zu erkennen. Diese Fähigkeit kann einem entsprechenden Codeerkennungsalgorithmus, der von der Codeerkennungseinrichtung 70 ausgeführt wird, z.B. mittels maschinellem Lernen zuvor antrainiert worden sein. Die Codeerkennung, die nicht mit dem tatsächlichen Lesen des Codes 48 zu verwechseln ist, erkennt Bereiche im Bild, wo ein Code 48 vorhanden sein könnte. In Fig. 4 beinhaltet der erkannte Codebereich 68 den Code 48. Die Codeerkennungseinrichtung 70 kann separat zur Bilderkennungseinrichtung 56, vorgesehen sein, vgl. Fig. 2, oder in die Bilderkennungseinrichtung 56 integriert sein (nicht dargestellt).
Um die 100%-Verifikation durchzuführen, muss der vom Manipulator 36 gegriffene Artikel 32 auf seinem Weg 44 vom Aufnahmeort 40 zum Abgabeort 42 durch ein Lesen des individualisierenden Codes 48 durch das zweite Visionsystem 50 identifiziert werden. Das zweite Visionsystem 50 kann z.B. durch einen oder mehrere (einfache) Scanner implementiert sein, wie z.B. durch einen Scanner des Typs „Dataman“ von der Firma COGNEX.
Das zweite Visionsystem 50 umfasst exemplarisch fünf dieser Scanner, die angeordnet sind, Barcodes innerhalb eines Raums von z.B. 220x220x220mm3 GS1- Spezifikationskonform zu lesen. Dieser Raum wird beim Umsetzen des Artikels 32 vom Weg 44 gekreuzt. Zum Lesen des Codes 48 kann die Umsetzbewegung für eine kurze Zeitdauer angehalten werden. Vorzugsweise erfolgt das Lesen aber, während die Umsetzbewegung kontinuierlich durchgeführt wird. Die Umsetzbewegung erfolgt also ohne ein Absetzen des Artikels und ohne ein Umgreifen durch den Endeffektor 38.
Der Code 48 kann als (eindimensionaler) Strichcode, Balkencode, Streifencode oder „Barcode“ implementiert sein. Der Code 48 stellt eine optoelektronisch lesbare, individualisierende Information dar, die z.B. aus verschieden breiten, parallelen Strichen und Lücken besteht. Der Begriff Code 48 steht allgemein für eine Abbildung von Daten durch binäre Symbole. Die Daten in dem Strichcode werden maschinell (ein-)gelesen und elektronisch weiterverarbeitet, insbesondere zur eindeutigen Identifizierung der Artikel 32. Zweidimensionale Codes 48 kodieren die identifizierende Informationen meistens in der Fläche, wobei die Information dann nicht in Form von Strichen, sondern in Form von (weißen und schwarzen) Punkten enthalten ist. Es können gestapelte Barcodes, Matrix-Codes (z.B. QR-Code), Punktcodes oder Ähnliches eingesetzt werden, die hier aber nicht veranschaulicht sind. Fig. 5 zeigt ein Flussdiagramm 100 zur automatisierten Handhabung der Artikel 32 durch einen Manipulator 36.
In einem ersten Schritt S10 wird ein Artikel 32 bereitgestellt, der gemäß einem Auftrag erwartet wird. Hierbei kann es sich um einen Kommissionierauftrag, Transportauftrag, Einlagerungsauftrag, Auslagerungsauftrag, Versandauftrag o.Ä. handeln, der ein Umsetzen des Artikels 32 von einem Aufnahmeort 40 an einen Abgabeort 42 erfordert. Der Artikel 32 ist mit einem maschinenlesbaren individualisierenden Code 48 versehen. Der Artikel 32 wird an dem Aufnahmeort 40 bereitgestellt, z.B. mit einem Förderer 34 in einem Lagerbehälter.
In einem nächsten Schritt S12 werden die Bilddaten 54 des bereitgestellten Artikels 32 durch ein erstes Visionsystem 46 der oben beschriebenen Art erzeugt. Die Auflösung des ersten Visionsystems 46 reicht nicht zum Lesen, d.h. Identifizieren, des Codes 48 aus. Es werden lediglich Bilddaten 46 erzeugt.
In einem weiteren Schritt S14 wird der bereitgestellte Artikel 32 mittels Bilderkennung basierend auf den Bilddaten 54 lokalisiert, wie oben bereits erläutert. Die Lokalisierung erfolgt vorzugsweise in Kombination mit den Stammdaten zu dem erwarteten Artikel 32, wie ebenfalls bereits oben erläutert.
In einem weiteren Schritt (nicht veranschaulicht) oder im gleichen Schritt S14 kann eine Greiffläche 60, wo der bereitgestellte Artikel 32 durch den Manipulator 36 gegriffen wird, basierend auf den Bilddaten 54 bestimmt werden, nachdem der Artikel 32 lokalisiert ist.
Danach werden ein oder mehrere Codebereiche 68 durch Bilderkennung basierend allein auf den Bilddaten 54 lokalisiert, sofern sie vorhanden sind (Schritt S16). Wenn ein oder mehrere Codebereiche 68 vorhanden sind, werden dieser mittels Bilderkennung basierend ausschließlich auf den Bilddaten 54 erkannt und lokalisiert. Natürlich kann es vorkommen, dass der Artikel 32 während der Erzeugung der Bilddaten 54 so orientiert ist, dass der Code 48 nicht sichtbar ist. In diesem Fall enthalten die Bilddaten 54 keine Codebereiche 68, so dass auch keine Gefahr besteht, dass der Endeffektor 38 des Manipulators 36 den Artikel 32 an der Stelle eines Codes 48 greift, sofern die Art des Greifers nicht bedingt, dass auch nichtsichtbare Flächen, bzw. nicht in den Bilddaten 54 enthaltene Flächen des Artikels 32 durch den Greifer 38 bedeckt werden können. Dies wäre z.B. bei einem Zangengreifer der Fall.
Wenn jedoch ein oder mehrere Codebereiche 68 in den Bilddaten 54 im Schritt S16 lokalisiert wurden, wird in einem Schritt S18 sichergestellt, dass sich die Greiffläche 60 aus dem Schritt S14 sich mit keinem der zuvor bestimmten Codebereiche 68 überlappt.
Danach wird der Artikel 32 durch den Endeffektor 38 des Manipulators 36 in einen Schritt S20 aufgenommen, indem der Endeffektor 38 an die so bestimmte Greiffläche 60 des Schritts S14 greift. Im Schritt S20 wird der so gegriffene Artikel 32 an den vorab festgelegten Abgabeort 42 bewegt.
In einem weiteren Schritt S22 wird verifiziert, dass der gegriffene Artikel 32 der erwartete Artikel 32 ist, indem der Code 48 mittels eines zweiten separaten Visionsystems 50 gelesen wird. Der Schritt S22 kann durchgeführt werden, während der Artikel 32 im Schritt S20 umgesetzt wird.
Danach endet das Verfahren 100 der Fig. 5.
In der Fig. 6 sind die Schritte S16 und S18 der Fig. 5 etwas detaillierter gezeigt.
Nachdem im Schritt S14 der Artikel 32 lokalisiert wurde und eine Greiffläche 60 bestimmt wurde, werden im Schritt S16 in den Bilddaten 54 enthaltene Codes 48 erkannt, aber nicht gelesen.
In einem ersten Teilschritt S18-1 des Schritts S18 wird überprüft, ob potentielle Codebereiche 68 in den Bilddaten 54 vorhanden sind. Wenn gar kein Code 48 sichtbar ist, kann direkt zum Schritt S20 fortgefahren werden. Wenn jedoch Codebereiche 68 erkannt wur- den, wird in einem zweiten Teilschritt S18-2 überprüft, ob sich die erkannten Codebereiche 68 mit der zuvor bestimmten Greiffläche 60 überlappen. Wenn keine Überlappung vorhanden ist, wird wiederum zum Schritt S20 der Fig. 5 fortgefahren. Anderenfalls wird in einem dritten Teilschritt S18-3 eine neue Greiffläche 60 bestimmt und zum zweiten Teilschritt S18-2 zurückgekehrt.
Auf diese Weise ist sichergestellt, dass der Manipulator 36, wenn er den Artikel 32 ergreift, den Code 48 auf keinen Fall verdeckt. Damit ist wiederum sichergestellt, dass die 100 %-Verifikation sicher durchgeführt werden kann.
Ferner versteht es sich, dass auf das zweite Visionsystem 50 verzichtet werden kann. In diesem Fall wird der gegriffene Artikel 32 für die 100%-Verifikation erneut vom Manipulator 36 an dem ersten Visionsystem 46 vorbeigeführt, jedoch mit einem geringeren Abstand als bei der ersten Aufnahme. Dieser Abstand ist so gewählt, dass die (geringe) Auflösung des ersten Visionsystems 46 dann ausreicht, um den Code 48 zu lesen. Der Codebereich 68 wurde zuvor bereits lokalisiert und kann zur Bestimmung eines entsprechenden Bewegungswegs für den Manipulator 36 mit herangezogen werden.
Als weitere Alternative könnte das zweite Visionsystem 50 mit nur einem Scanner versehen sein, der eingerichtet ist, den Code 48 (in einer einzigen Vorzugsrichtung) zu lesen. Auch in diesem Fall kann der zuvor erkannte Codebereich 68 zur Planung des Bewegungswegs des Manipulators 36 benutzt werden. Der Bewegungsweg ist derart, dass der Code 48 durch den einzigen Scanner gelesen werden kann. Das zweite Visionsystem 50 ist einfacher aufgebaut und günstiger.
BEZUGSZEICHENLISTE
10 Lager- und Kommissioniersystem
12 Lager
14 Kommissionierstation
16 Fördertechniksystem
18 Wareneingang Warenausgang Steuerung Materialflussrechner (MFR) Lagerverwaltungsrechner (LVR) Auftragsabwicklung Handhabungssystem
Artikel
Förderer Manipulator
Endeffektor / Greifer Aufnahmeort
Abgabeort Umsetzweg
1. Visionsystem Code / Barcode
2. Visionsystem (Bild-) Sensor Bilddaten
Bilderkennungseinrichtung (Manipulator-) Steuerung (Stamm-)Datenbank Greiffläche
Artikeloberfläche Symmetrieachse
Umrisslinie / erkannter Artikel Codebereich
Codeerkennungseinrichtung

Claims

Patentansprüche Verfahren (100) zur automatisierten Artikelhandhabung durch einen Manipulator (36), das die Schritte aufweist:
Bereitstellen (S10) eines erwarteten Artikels (32), der mit einem maschinenlesbaren individualisierenden Code (48) versehen ist, an einem Aufnahmeort (40);
Erzeugen (S12), mittels eines ersten Visionsystems (46), dessen Auflösung zum Lesen des Codes (48) nicht ausreicht, von Bilddaten (54) des bereitgestellten Artikels (32);
Lokalisieren (S14) des bereitgestellten Artikels (32) mittels Bilderkennung basierend auf den Bilddaten (54), vorzugsweise in Kombination mit Stammdaten des Artikels (32);
Bestimmen (S14) einer Greiffläche (60) basierend auf den Bilddaten (54);
Lokalisieren (S16) von einem oder mehreren Codebereichen (68) mittels Bilderkennung basierend ausschließlich auf den Bilddaten (54);
Sicherstellen (S18), dass die Greiffläche (60) keinen der zuvor bestimmten Codebereiche (68) überlappt;
Aufnehmen (S20) des Artikels (32) durch automatisiertes Greifen an der Greiffläche (60) mittels eines Endeffektors (38) des Manipulators (36) am Aufnahmeort (40);
Bewegen (S20) des gegriffenen Artikels (32) an einen vorab festgelegten Abgabeort (42); und
Verifizieren (S22), dass der gegriffene Artikel (32) der erwartete Artikel (32) ist, durch Lesen des Codes (48) mittels eines zweiten separaten Visionsystems (50). Verfahren nach Anspruch 1, wobei der Schritt des Lokalisierens des bereitgestellten Artikels (32) aufweist:
Erkennen des bereitgestellten Artikels (32) in den Bilddaten (54) und Bestimmen einer Position und einer Ausrichtung des erkannten Artikels (32).
3. Verfahren nach Anspruch 2, wobei das Erkennen des bereitgestellten Artikels (32) umfasst:
Suchen nach einem Muster in den Bilddaten durch Vergleichen mit mindestens einem der folgenden Artikelparameter aus den Stammdaten: Länge, Breite, Höhe, Farbe und/oder Artikelumriss aus mindestens einer Perspektive.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei der Schritt des Bestimmens der Greiffläche (60) umfasst:
Bestimmen einer entsprechenden Greifpose.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei der Schritt des Lokalisierens des oder der Codebereiche (68) umfasst:
Bestimmen einer Position und einer Ausrichtung von jedem der erkannten Codebereiche (68).
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei das Verifizieren durchgeführt wird, während der gegriffene Artikel (32) ohne Stopp kontinuierlich vom Aufnahmeort (40) zum Abgabeort (42) bewegt wird.
7. System (30) zur automatisierten Artikelhandhabung, das aufweist: einen automatisierten Manipulator (36) mit einer Steuerung (58) zum Umsetzen eines bereitgestellten Artikels (32) von einem Aufnahmeort (40) an einen Abgabeort (42); ein erstes Visionsystem (46), dessen Auflösung zum Lesen eines an dem bereitgestellten Artikel (32) angebrachten Codes (48) nicht ausreicht, zum Erzeugen von Bilddaten (54) des bereitgestellten Artikels (32); eine Bilderkennungseinrichtung (56) zum Lokalisieren des bereitgestellten Artikels (32) basierend auf den Bilddaten (54), vorzugsweise in Kombination mit Stammdaten des Artikels (32), die zuvor erzeugt wurden und die in einer Datenbank (59) gespeichert sind; eine Codeerkennungseinrichtung (70) zum Lokalisieren von einem oder mehreren Codebereichen (68) mittels Bilderkennung basierend ausschließlich auf den Bilddaten (54); und ein zweites, separates Visionsystem (50) mit einer höheren Auflösung zum Lesen des Codes (48), um zu verifizieren, dass der gegriffene Artikel (32) der erwartete Artikel (32) ist; wobei die Steuerung (58) eingerichtet ist, eine Greiffläche (60) basierend auf den Bilddaten (54) zu bestimmen, und ferner eingerichtet ist sicherzustellen, dass die Greiffläche (60) keinen der zuvor bestimmten Codebereiche (68) überlappt. System (30) nach Anspruch 7, wobei das erste Visionsystem (46) ein Sichtfeld aufweist, das den Aufnahmeort (40) einschließt. System nach Anspruch 7 oder 8, wobei das zweite Visionsystem (50) ein Barcode-Scanner ist. System nach Anspruch 9, wobei der Barcode-Scanner aus mehreren Richtungen gleichzeitig misst. Lager- und Kommissioniersystem (10) mit einem System (30) nach einem der Ansprüche 7 bis 10. Lager- und Kommissioniersystem (10) mit einer Steuerung (22), die eingerichtet ist, ein Verfahren (100) gemäß einem der Ansprüche 1 bis 6 durchzuführen.
PCT/EP2022/080985 2022-01-26 2022-11-07 VERFAHREN UND SYSTEM FÜR AUTOMATISIERTE MATERIALHANDHABUNG EINSCHLIEßLICH EINER 100%-VERIFIKATION WO2023143766A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022101825.3A DE102022101825B3 (de) 2022-01-26 2022-01-26 Verfahren und System für automatisierte Materialhandhabung einschließlich einer 100%-Verifikation
DE102022101825.3 2022-01-26

Publications (1)

Publication Number Publication Date
WO2023143766A1 true WO2023143766A1 (de) 2023-08-03

Family

ID=84363031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/080985 WO2023143766A1 (de) 2022-01-26 2022-11-07 VERFAHREN UND SYSTEM FÜR AUTOMATISIERTE MATERIALHANDHABUNG EINSCHLIEßLICH EINER 100%-VERIFIKATION

Country Status (2)

Country Link
DE (1) DE102022101825B3 (de)
WO (1) WO2023143766A1 (de)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170136632A1 (en) 2015-11-13 2017-05-18 Berkshire Grey Inc. Sortation systems and methods for providing sortation of a variety of objects
DE102017123877A1 (de) 2016-10-14 2018-04-19 Engel Austria Gmbh Robotersystem
WO2018178903A1 (en) 2017-03-30 2018-10-04 Dematic Corp. Split robotic article pick and put system
WO2020180863A1 (en) * 2019-03-06 2020-09-10 RightHand Robotics, Inc. Item feature accommodation
DE102019130046B4 (de) 2019-01-25 2021-01-14 Mujin, Inc. Robotersytem mit verbessertem Abtastmechanismus
DE102019135452A1 (de) 2019-12-20 2021-06-24 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Vollautomatisches Roboter-Kommissioniersystem und Kommissionierverfahren mit Sensoranordnung zum Vermessen eines entnommenen Artikels im Rahmen des Anhebevorgangs
DE102020101767B4 (de) 2019-01-25 2021-07-22 Mujin, Inc. Steuerverfahren und steuerung für ein robotersystem
US11192242B2 (en) 2018-05-18 2021-12-07 Toyota Jidosha Kabushiki Kaisha Holding apparatus, container provided with tag, object holding program and object holding method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10007864A1 (de) 2000-02-21 2001-08-30 Wittenstein Gmbh & Co Kg Verfahren zum Erkennen, Bestimmen, Lokalisieren zumindest eines beliebigen Gegenstandes und/oder Raumes

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170136632A1 (en) 2015-11-13 2017-05-18 Berkshire Grey Inc. Sortation systems and methods for providing sortation of a variety of objects
DE102017123877A1 (de) 2016-10-14 2018-04-19 Engel Austria Gmbh Robotersystem
WO2018178903A1 (en) 2017-03-30 2018-10-04 Dematic Corp. Split robotic article pick and put system
US11192242B2 (en) 2018-05-18 2021-12-07 Toyota Jidosha Kabushiki Kaisha Holding apparatus, container provided with tag, object holding program and object holding method
DE102019130046B4 (de) 2019-01-25 2021-01-14 Mujin, Inc. Robotersytem mit verbessertem Abtastmechanismus
DE102020101767B4 (de) 2019-01-25 2021-07-22 Mujin, Inc. Steuerverfahren und steuerung für ein robotersystem
WO2020180863A1 (en) * 2019-03-06 2020-09-10 RightHand Robotics, Inc. Item feature accommodation
DE102019135452A1 (de) 2019-12-20 2021-06-24 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Vollautomatisches Roboter-Kommissioniersystem und Kommissionierverfahren mit Sensoranordnung zum Vermessen eines entnommenen Artikels im Rahmen des Anhebevorgangs

Also Published As

Publication number Publication date
DE102022101825B3 (de) 2023-02-23

Similar Documents

Publication Publication Date Title
DE112019000125B4 (de) Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
DE102019130046B4 (de) Robotersytem mit verbessertem Abtastmechanismus
EP2930264B1 (de) Verfahren zum Erfassen eines Wäschestücks
DE102013109220B4 (de) Robotervorrichtung und Verfahren zum Herausnehmen von Bulk-Ware aus einem Lager
AT507339B1 (de) Verfahren und anlage zum aufnehmen und/oder bearbeiten von objekten
DE102014016072B4 (de) Vorrichtung und Verfahren zum Aufheben eines willkürlich aufgestapelten Gegenstands mittels eines Roboters
DE102014102943A1 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
WO2009124878A1 (de) Lagerregal mit automatischer lagerortbuchung
DE102019208187A1 (de) Robotersystem und Steuerungsverfahren für ein Robotersystem
EP3071340B1 (de) Verfahren und vorrichtung zum sortieren von objekten
EP2385014B1 (de) Flurförderzeug mit einer Einrichtung zur Identifizierung eines geladenen Transportgutes, und Verfahren zur Identifizierung eines geladenen Transportgutes eines Flurförderzeugs
DE102011053547A1 (de) Verfahren und System zum Lagern und Kommissionieren von Artikeln, insbesondere von Apothekenartikeln
DE102021125104A1 (de) Etikettierrobotersystem und Verfahren zur Etikettierung von Verpackungen
EP3696135B1 (de) Gabelstapler und system mit gabelstapler zur identifikation einer ware
DE102022101825B3 (de) Verfahren und System für automatisierte Materialhandhabung einschließlich einer 100%-Verifikation
DE102006019248A1 (de) Identifizierungskennzeichnung zur unterscheidbaren Identifizierung von Gegenständen
EP2180959B1 (de) Vorrichtung und Verfahren zur Bearbeitung von Gegenständen mit aufgebrachten Informationen
EP1111334B1 (de) Verfahren und Anordnung zum Lokalisieren von zylinderförmigen Objekten
DE102018212671A1 (de) Verfahren zur Erstellung einer Versandinformation und mobile Vorrichtungen und Auswerterechner zur Durchführung des Verfahrens zur Erstellung einer Versandinformation
DE102021114265A1 (de) Robotervorrichtung eingerichtet zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts und Verfahren
WO2008014961A2 (de) Verfahren zur lagebestimmung von objekten im dreidimensionalen raum
DE102009007024A1 (de) Verfahren und Vorrichtung zum Vereinzeln von Bauteilen
DE102022112075A1 (de) Etikettierrobotersystem und Verfahren zur Etikettierung von Verpackungen
AT525778B1 (de) Verfahren und Vorrichtung zum Entnehmen eines Ladeguts von einem Stapel
DE19512575A1 (de) Verfahren und Vorrichtung zum Erkennen von Gegenständen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22813283

Country of ref document: EP

Kind code of ref document: A1