WO2023151856A1 - Überwachungsvorrichtung für einen lagerbereich, intralogistikanordnung mit der überwachungsvorrichtung sowie überwachungsverfahren - Google Patents

Überwachungsvorrichtung für einen lagerbereich, intralogistikanordnung mit der überwachungsvorrichtung sowie überwachungsverfahren Download PDF

Info

Publication number
WO2023151856A1
WO2023151856A1 PCT/EP2022/087912 EP2022087912W WO2023151856A1 WO 2023151856 A1 WO2023151856 A1 WO 2023151856A1 EP 2022087912 W EP2022087912 W EP 2022087912W WO 2023151856 A1 WO2023151856 A1 WO 2023151856A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage
designed
goods
monitoring device
storage locations
Prior art date
Application number
PCT/EP2022/087912
Other languages
English (en)
French (fr)
Inventor
Norbert Daenzer
Christian Knoll
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023151856A1 publication Critical patent/WO2023151856A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures

Definitions

  • the invention relates to a monitoring device for a storage area. Furthermore, the invention also relates to an intralogistics arrangement with the monitoring device, a monitoring method, in particular with the monitoring device and/or the intralogistics arrangement.
  • Intralogistics describes the logistical material and goods flows that take place within a company premises. Intralogistics is of particular importance for lean production, since it is necessary to supply the production lines with raw materials without interruption and at the same time to transport the manufactured products away without interruption. For the uninterrupted supply of starting material, this must be available in sufficient quantities. However, economic aspects come into play here, since in principle a buffer store of any size would be desirable for the uninterrupted supply, but at the same time this represents dead capital and becomes superfluous, especially when there is a product change on the production lines. It is therefore desirable to keep the buffer memory as small as possible.
  • Document DE 10 2016 223 859 A1 which relates to a camera for monitoring a surveillance area, is known from another technical field.
  • the camera is designed to record surveillance images of a surveillance area and to mask people in the surveillance images in order to protect data protection support. Furthermore, the camera is designed to only output initial images with masked persons.
  • the invention relates to a monitoring device having the features of claim 1, an intralogistics arrangement having the features of claim 10 and a monitoring method having the features of claim 15.
  • Preferred or advantageous embodiments of the invention result from the dependent claims, the following description and the attached figures .
  • the subject matter of the invention is a monitoring device which is suitable and/or designed for monitoring a storage area.
  • the storage area can be an open space area and/or a closed area, in particular a hall area.
  • the storage area can be continuous or distributed.
  • the monitoring device has at least one camera for recording a camera image. Provision can also be made for the monitoring device to have a number of cameras, which each implement the same function as the camera, but in different sections of the storage area.
  • the camera can be designed as a low-cost gray or color camera or color depth camera (time-of-flight, active stereo camera with pattern projector, strip projector, laser scanner or the like). In particular, the camera is designed to detect depth information in the camera image or to record the information for depth detection, so that depth detection can be carried out subsequently.
  • the storage area with a plurality of lanes with storage locations can be depicted on the camera image.
  • the lanes are arranged parallel to each other, with the storage bins lined up along the lanes.
  • the tracks extend parallel to a floor of the storage area.
  • Storage goods can be arranged in each of the storage locations.
  • the tracks with the storage locations and the stored goods form a buffer memory for the stored goods. It can be provided that the storage area has several such buffer storage or other storage areas with tracks with storage locations. It is possible that the different storage areas are monitored by different cameras.
  • the camera is preferably oriented relative to the storage area in such a way that the field of view of the camera is aligned with the storage area with the tracks from above or essentially from above, in particular perpendicularly from above or essentially perpendicularly from above.
  • the camera can also be aimed at the storage area with the tracks from the side or at an angle from above.
  • a viewing direction of the camera encloses an angle of between 75° and 90°, preferably between 85° and 90°, with a plane of a floor of the storage area.
  • the stored goods are in particular designed to be stackable.
  • one or more stored goods can be arranged at a storage location, which are stacked on top of each other and/or form a column.
  • the monitoring device has an evaluation device for evaluating the camera image.
  • the evaluation device is designed in particular as a digital data processing device, such as a computer, a server or a cloud. During the evaluation, the evaluation device is based in particular on digital image processing.
  • the evaluation device is designed in terms of programming and/or circuitry to determine a position of the stored goods relative to the storage locations.
  • the advantage of the invention is that the monitoring device in the storage area knows in real time how the storage area is filled with stored goods and where any required storage goods can be found. In this way, it is ruled out that a storage item is searched for in a lane with empty storage locations. In the same way, it is supported that stored goods are picked up from where the storage locations are full.
  • the monitoring device thus forms a key element of an improved intralogistics solution.
  • the evaluation device has a learning module, the learning module being programmed and/or is designed in terms of circuitry, on the basis of a teaching camera image of the camera with filled storage locations, to learn the lanes and the storage locations and, optionally, their 6DoF poses as target position data, a target fill level and/or a target stacking height of the storage locations in the storage area.
  • the 6DoF pose includes all six degrees of freedom (6D0F: 6 degrees of freedom, translation in X, Y, Z and rotation around the X, Y, Z axis).
  • the learning module can analyze the learning camera image using digital image processing and can thus on the one hand separate the different stored goods from one another so that the storage locations and the tracks can be deduced.
  • a height of the stacked storage goods at a storage location can be determined by a 3D analysis of the teaching camera image and stored as the target stack height.
  • the learning module can be designed as a software module or as a hardware module. As shown, the tracks and the storage locations in the storage area can be taught in automatically; alternatively, the geometry can also be entered as a model in a model module of the evaluation device, for example by an integrator.
  • the evaluation device is designed to determine a degree of surface overlap of the stored goods with the storage locations.
  • the degree of area overlap is 100%.
  • the degree of surface overlap can be 50%, for example.
  • FRTC fill level
  • the stored goods can be assigned to one of the storage locations.
  • a storage goods focus and a parking space focus are determined.
  • the centroids can be determined as centroids.
  • the evaluation device has an evaluation module which is designed in terms of programming and/or circuitry, based on the camera image and the known tracks and storage locations, a displacement of the stored goods along the tracks and/or a rotation of the stored goods, in particular by a to determine the vertical axis.
  • the evaluation module can thus be based on the learned and/or maintained geometry of the storage area and can determine a corresponding displacement and/or rotation, in particular about the vertical axis of the stored goods, for example via digital image processing.
  • the evaluation device and/or the evaluation module is designed to determine tilting of the stored goods.
  • a 6DoF pose actual position is determined in connection with the preceding development. Knowing the tilting and / or the 6DoF poses actual position, the intralogistics arrangement described below, in particular the
  • Guidance control device form customized pick-up instructions. From the detected 6DoF pose, the relative deviation from the learned target positions can then be determined, which can serve as a position correction for the navigation in the pick-up instructions.
  • the evaluation device and/or the evaluation module is particularly preferably designed to recognize a stacking height of the stored goods.
  • the stacking height of the stored goods can be used to estimate how full the respective storage space is occupied.
  • the intralogistics arrangement described below, in particular the guidance control device can form adapted pick-up instructions.
  • the evaluation device for depth detection is designed in the camera image.
  • the stack height can either only be determined in the color or in the black and white image, or in particular can be determined via a depth detection, in that the height of the stack of the stored goods is also detected via the depth detection. If one does without the evaluation in the depth image, e.g. B.
  • the translation in X and Y and the rotation around the Z axis can still be determined and also via the scaling the recognized stack contour with the help of the camera calibration, the translation in Z can also be estimated as the distance from the top of the stack to the camera.
  • the learning module and/or the evaluation module or a combination of learning module and evaluation module is designed as a neural network.
  • the detection of the lanes with storage locations and the detection of the stored goods can first be trained with training images of the storage area and in a second phase the trained neural network can be used to evaluate the camera image.
  • the neural network is in the form of a DCNN (deep convolutional neural network).
  • the neural network and/or the DCNN is particularly preferably designed as a Mask-R-CNN.
  • a DCNN deep convolutional neural network
  • the training in particular, first an object detection and the determination of bounding boxes around the detected objects and then a semantic segmentation of the detected objects in each bounding box takes place. This results in the outer contour of each recognized storage item, in particular designed as a stacked object. The degree of surface overlapping can be determined via the outer contour in comparison to an outer contour of the storage locations.
  • the stored goods are designed as small load carriers.
  • the stored goods and/or the small load carrier is designed as a crate, with a stack of crates being able to be arranged on the storage locations.
  • the stored goods and/or the small load carrier can be positioned on the storage locations on a trolley in order to simplify manual movement of the stored goods. Even after a manual process and/or rearrangement of the stored goods in the storage area its position in the storage area can be determined again via the monitoring device.
  • an identification for the type of storage item is additionally arranged on the storage item at a position that can be seen by the camera, at least of the topmost storage item.
  • the identification can be applied to a lid of the storage item.
  • the monitoring device is designed to determine the type of stored goods via the evaluation device and/or the evaluation module. In this way, the output of the monitoring device includes not only the position of the stored goods in the storage area, but also the type of stored goods. There is the restriction that only visible storage goods in a stack in the storage bins can be captured by the camera.
  • Another object of the invention is an intralogistics arrangement with a storage area, the storage area having a plurality of lanes with storage locations.
  • the intralogistics arrangement has the monitoring device as described above, the monitoring device being designed to determine a position of the stored goods relative to the storage locations. The knowledge of the position of the storage locations and/or lanes as well as the position of the stored goods is thus available in the intralogistics arrangement.
  • the monitoring device is designed to monitor restricted areas and/or delivery areas in the storage area.
  • the monitoring device can be designed to monitor whether these restricted areas and/or delivery areas are actually kept clear or whether they are occupied in violation of the logistics regulations. This gives the intralogistics arrangement and/or the monitoring device added value.
  • the monitoring device is designed to identify and anonymize people in the storage area.
  • the camera images of the camera are only used for the analysis for the filling degree detection and are then discarded.
  • the monitoring device can advantageously implement an anonymization of the people in the storage area, so that the camera images can be archived in accordance with data protection law.
  • the intralogistics arrangement has a master control device, the master control device being designed to transmit pick-up instructions to automatic vehicles and/or pick-up personnel based on the position of the stored goods.
  • the master control device is therefore responsible for the flow of material, whereby based on the position of the stored goods relative to the storage locations and thus also the occupancy of the lanes, automatic vehicles and/or pick-up personnel can be instructed accordingly to pick up the stored goods from the correct storage locations.
  • the pick-up instructions do not refer to the storage locations but can be matched to the real position of the stored goods. In this way, pick-up instructions can also be generated for misplaced, in particular shifted, twisted and/or tilted storage goods.
  • the master control device is designed to receive storage goods requirements from production plants and to additionally form the pick-up instructions on the basis of the storage goods requirements.
  • the master control device thus receives a storage goods requirement from the production plants, since these, for example, require new storage goods for further production.
  • the master control device can form the pick-up instructions on the basis of the known storage goods requirement and the known positions and optionally additionally the knowledge of the displacement, twisting, tilting, storage goods type and/or stacking height.
  • Another object of the invention relates to a monitoring method with the monitoring device as described above and / or with the intralogistics arrangement as described above, wherein in the method a camera image of a storage area with a plurality of Tracks is recorded with storage locations and the camera image is evaluated to determine the position of the stored goods.
  • Another subject matter of the invention relates to a computer program that is designed to carry out the method described above when it runs on a computer, a device, in the cloud and/or on the monitoring device and/or intralogistics arrangement as described above.
  • a further, optional subject matter of the invention relates to a storage medium, in particular a non-volatile machine-readable storage medium, with the computer program.
  • FIG. 1 shows a schematic block diagram of an intralogistics arrangement as an exemplary embodiment of the invention
  • FIG. 2 shows a schematic teaching camera image of the intralogistics arrangement in FIG. 1;
  • FIG. 3 shows a schematic camera image of the intralogistics arrangement in FIG. 1;
  • Figure 4 shows a schematic result of the intralogistics arrangement in Figure 1 based on the camera image in Figure 3.
  • FIG. 1 shows an intralogistics arrangement 1 as an exemplary embodiment of the invention in a schematic block diagram.
  • the intralogistics arrangement 1 has the task of organizing a flow of goods and/or materials for a production facility 2 .
  • the manufacturing facility 2 can manufacture automobile products, electronic products, etc., for example.
  • the intralogistics arrangement 1 has a monitoring device 3 , the monitoring device 3 being designed to monitor a storage area 4 .
  • the monitoring device 3 has at least one camera 5 , the camera 5 being aimed at the monitoring area 4 .
  • the Camera 5 records a camera image or, during operation, several camera images in succession or a video stream of camera images.
  • a buffer memory 6 is arranged in the storage area 4, for example, the storage area 4 and/or the buffer memory 6 having a plurality of tracks 7 which extend parallel on the floor of the storage area 4 and/or the buffer memory 6.
  • a plurality of storage locations 8 are arranged on the tracks 7 , with the storage locations 8 being partially occupied by storage goods 9 in the exemplary embodiment shown.
  • the storage item 9 is designed in particular as a stackable storage item, so that the storage locations 8—if they are occupied—are occupied with at least one storage item 9 and partially with a stack of storage items 9 .
  • the monitoring device 3 has an evaluation device 10 , the evaluation device 10 being designed to carry out a detection of the position of the storage goods 9 relative to the storage locations 8 .
  • the evaluation device 10 being designed to carry out a detection of the position of the storage goods 9 relative to the storage locations 8 .
  • FIG. 1 two empty storage locations 8 are shown on the left-hand side of the storage area 4 and/or the buffer store 6.
  • storage locations 9 are shown, which are occupied.
  • the storage goods 9 are designed, for example, as small load carriers, in particular in each case a box, with the small load carriers being able to be stacked as storage goods 9 in the storage locations 8 .
  • the camera 5 is aimed from above at the storage area 4, in particular at the buffer memory 6, so that the camera 5 can capture the tracks 7 in the longitudinal extension with the storage locations 8 and the storage goods 9 arranged thereon.
  • the camera image of the camera 5 is transmitted to the evaluation device 10, the evaluation device 10 determining the position of the storage goods 9 relative to the storage locations 8 on the basis of the camera image via digital image processing and evaluation algorithms.
  • the evaluation device has a neural network 12, the neural network 12 being at least functionally integrated into a Learning module 13 and an evaluation module 14 can be divided.
  • the learning module 13 the recognition of the tracks 7, the storage locations 8 and the position of the stored goods 9 in the neural network 12 is trained on the basis of training camera images.
  • the evaluation module 14 uses the trained neural network 12 and can then determine the lanes 7, the storage locations 8 and the position of the stored goods 9 on the basis of current camera images of the surveillance area 4 and/or the buffer memory 6 of the camera 5.
  • the evaluation module 14 can in particular determine a displacement of the storage goods 9 along the tracks 7 and/or a twisting of the storage goods 9 .
  • the evaluation module 14 can optionally determine a tilting of the storage goods 9 .
  • the monitoring device 3 can determine a 6DoF pose of the stored goods 9 .
  • the determined position and in particular the exact location of the storage goods 9 can subsequently be used by the intralogistics arrangement 1 in order to convey a collection of the storage goods 9 with corresponding collection instructions to automatic vehicles 16 and/or collection personnel in order to be able to collect the storage goods 9 even then if this is not arranged exactly on the storage locations 8, in particular shifted, twisted and/or tilted.
  • the monitoring device 3 thus enables fully automatic operation of the intralogistics arrangement 1.
  • a target stack height and a 6DoF pose may be determined as the target position of the storage locations 8 in the storage area 4 and/or the buffer store 6 via a teach-in camera image of the storage area 4 and/or the buffer store 6 and the evaluation module 14 can determine the position, an ACTUAL stack height and an ACTUAL 6DoF pose based on the current camera image and the known tracks 7 and storage locations 8 and optionally the target stack height and the target position as a 6DoF pose.
  • the neural network 12 is designed as a DCNN and/or as a Mask-R-CNN.
  • the intralogistics arrangement 1 has a master control device 15 , wherein the master control device 15 is designed to control the flow of materials and/or goods between the production plant 2 and the storage area 4 .
  • the master control device 15 receives from the evaluation device 10 the data on the tracks 7, storage locations 8 and the positions of the storage goods 9, in particular their exact position including the displacement, twisting, tilting and/or actual 6DoF pose.
  • the storage item 9 can additionally be provided with an identification which can be captured by the camera 5 so that the storage item type of the storage item 9 is also recorded by the respective stack at the storage location 8 and passed on to the master control device 15 .
  • the production facility 2 communicates a storage goods requirement to the master control device 15, e.g. so that the production facility 2 can continue production.
  • the master control device 15 develops Pick-up instructions for transporting the stored goods 9 to the production facility 2 and thus for organizing the material flow.
  • the pick-up instructions can be transmitted to automatic vehicles 16, for example, which autonomously transport the respective storage goods 9 or the respective storage goods stack from the storage area 4 and/or the buffer memory 6 to the production facility 2 for further use.
  • the production facility 2 can transmit a product collection requirement to the master control device 15 . Knowing the free storage locations 8 in the storage area 4 and/or in the buffer memory 6 or in another buffer memory of the storage area 4, the master control device 15 can send pick-up instructions to the automatic vehicle 16, so that they can transport the products from the production plant 2 to the storage area 4 , Transport in particular to the buffer memory 6 to organize the flow of goods.
  • the monitoring device 3 it is possible for the monitoring device 3 to have a number of such cameras 5 which monitor a number of buffer stores 6 in the storage area 4 . So it is conceivable that storage goods 9 are stored in the buffer memory 6 and the finished products are transported to a further storage area, not shown, with the position of the stored goods also being monitored in the further storage area by the monitoring device 3 and being reported to the master control device 15 .
  • the monitoring device 3 in particular the evaluation device 10, is designed to monitor restricted areas and/or delivery areas in the storage area 4 on the basis of the camera image. In particular, it is monitored whether these are kept free - as should be the case according to a logistics regulation or set of rules. If necessary, corresponding data on the status of the restricted areas and/or delivery areas can be transmitted to the control device 15 so that appropriate countermeasures can also be taken automatically if the restricted areas and/or delivery areas are blocked.
  • the monitoring device 3, in particular the evaluation device 10 to be designed to recognize people in the storage area 4, in particular in the buffer store 6. After people have been detected, they can be automatically anonymized in the camera image, for example by masking or hiding or other measures. In this way, the camera image is anonymized and can also be stored permanently for documentation purposes without violating applicable data protection guidelines.
  • FIG. 2 shows a top view of a teaching camera image 17 as a camera image from the camera 5 of the storage area 4 and/or of the buffer memory 6 in duplicate.
  • the storage area 4 or the buffer memory 6 is shown in a first analysis step, the outer contours of the storage goods 9 being detected as objects by the neural network 12 .
  • the structure of the storage area 4 and/or the buffer memory 6 can be seen from the illustration, storage locations 8 with each stack of the storage goods 9 lining up along the tracks 7 .
  • all storage locations 8 are fully occupied.
  • This teaching camera image 17 or the data derived therefrom for the tracks 7, storage locations 8 and the target position of the storage goods 9 can be used as a Reference for further operation of the monitoring device 3 are used.
  • the teaching camera image 17 is shown as a map of the depth image of the same area, with a degree of surface overlap being shown for the storage locations 8, with the storage goods 9 in the target state having a surface overlap with the storage locations of 100%.
  • FIG. 3 shows a current camera image 18 of the same storage area 4 and/or buffer store 6, the storage locations 8 being partially empty and partially occupied in a partially overlapping manner.
  • the evaluation device 10 and/or the evaluation module 14 can automatically detect this state of the storage area 4 and/or the buffer memory 6 and forward the resulting data, in particular with regard to the position of the stored goods 9 , to the master control device 15 .
  • Figure 4 shows a highly schematic representation of an evaluation of the camera image 18 of Figure 3, wherein the storage locations 8 are shown with the degree of surface overlap of the stored goods 9 and the degree of surface overlap of the storage locations 8 is shown in addition to the percentages by shading of the storage locations 8.
  • An assignment of the storage goods 9 to the storage locations 8 can be determined by the degree of surface overlap.
  • For forklifts as examples of the autonomous vehicles 16, there are forklift control systems and material flow control systems with camera systems mounted on the fork for goods and pallet identification. These capture Euro pallets as storage goods 9 in goods rack warehouses as buffer storage 6 from the side in a horizontal viewing direction.
  • the intralogistics arrangement 1 relates to a system which material storage as buffer storage 6 such as digital trolley supermarkets (lane supermarkets) with stacks of boxes as storage goods 9 on trolleys in the intralogistics of above and possibly also on the side, in order to guide autonomous mobile platforms (automatic guided vehicles AGVs) as autonomous vehicles 16 for transporting material.
  • AGVs autonomous guided vehicles 16 for transporting material.
  • stocks can be optimized and the buffer store 6 can be reduced in size.
  • RFID Supermarkets can be supplemented with such overview devices 10 as a basis for navigation control of AGVs.
  • the intralogistics arrangement 1 allows an optical localization of material containers as storage goods 9 in intralogistics supermarkets as storage areas 4 and/or buffer storage 6 for fleet management and AGV guidance control (English: Visual Localization of Bins in Intralogistic Supermarkets for fleet management and AGV guidance ):
  • boxes/small load carriers (KLTs) or similar transport boxes, blisters, pallets or similar should be stacked on trolleys (floor rollers) and filled with material or workpieces be transported as stored goods 9 between a trolley supermarket as a storage area 4 and/or buffer store 6 or other buffer space via automated communication between mobile transport platforms (Automated Guided Vehicle AGVs) and production lines (Point of Use PoU).
  • Ratio through automation Avoidance of labour-intensive material tracking tasks such as the scanning of KANBAN cards, RFID tags and data matrix codes or barcodes or similar by the employee. Error prevention through automation.
  • cameras as cameras 5 such as low-cost gray or color cameras or color depth cameras (time-of-flight, active stereo camera with pattern projector, strip projector, laser scanner, etc.) are installed above and next to the supermarkets. Additionally or alternatively, such cameras can also be mounted on AGVs such as ActiveShuttle, ActiveHandler, ActiveSupermarket and ActiveAssist assembly stations from Bosch-Rexroth AG and Robert Bosch GmbH.
  • AGVs such as ActiveShuttle, ActiveHandler, ActiveSupermarket and ActiveAssist assembly stations from Bosch-Rexroth AG and Robert Bosch GmbH.
  • Each color depth camera is preferably already intrinsically calibrated and the intrinsic calibration parameters can be read out, so that the color image can be mapped to the depth image. Otherwise, the cameras would have to be calibrated using common calibration methods.
  • Smart cameras with embedded image recognition on the chip can transmit the position data directly to the master control without an additional image recognition computer. Alternatively, many cameras without an evaluation chip can transmit the image data to just one or a few central, high-performance image recognition
  • the transmission of the image data, in particular the camera images, or directly the position data can be wired or wireless via WLAN or 5G in order to avoid laying long camera cables, especially with data transfer protocols such as USB3.X, the permissible cable lengths of which are limited.
  • the target positions and outer contours are saved as a reference (trolley/storage space grid as rectangles) - see Figure 2.
  • the actual positions and the overlap become the corresponding reference rectangular cell in the trolley/storage space grid ( Rectangles) of the detected KLT stacks, determined in particular on the individual trolleys - see Figure 3.
  • the extracted box contour can be projected onto the hall floor as a 3D world coordinate system via the intrinsic camera parameters and the distance measurement of the detected storage goods 9 in the depth image, with the plane of the empty hall floor in the 3D world coordinate system was determined once in the depth image in teach-in mode and saved.
  • This 3D world coordinate system could also be defined, for example, by recognizing a calibration plate in the color image mapped to the depth image or a 3D calibration body in the depth image.
  • the exact position of the trolleys and/or stored goods 9 in the 3D world coordinate system of the hall floor can be transmitted via the master control device 15 to the AGVs or the like for precise removal.
  • DCNN-based detection could automatically mask out individuals who may appear in the color image to ensure personal privacy. Since no images are saved in automatic mode, only position data and the like. are issued, data protection is guaranteed anyway.
  • Teach-in mode DCNN-based segmentation of the KLT stack as storage goods 9 on optional trolleys in the camera images of the cameras 5: Extraction of the outer contours of the KLT/storage goods regions and storage of the target reference positions. Automatic numbering in track and position number (e.g.: 11: track 1, pos 1) and saving as a reference for each camera DCNN segmentation in the camera image of a fully stocked supermarket with trolley or storage goods 9 in Target position or draw in the encompassing rectangle around the supermarket area on the screen with the mouse.
  • track and position number e.g.: 11: track 1, pos 1

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

Die Intralogistik beschreibt die logistischen Material- und Warenflüsse, die sich innerhalb eines Betriebsgeländes abspielen. Für eine schlanke Fertigung kommt der Intralogistik eine besondere Bedeutung zu, da es notwendig ist, die Fertigungslinien unterbrechungsfrei mit Ausgangsmaterial zu versorgen und zugleich die gefertigten Produkte unterbrechungsfrei abzutransportieren. Es wird eine Überwachungsvorrichtung (3) für einen Lagerbereich (4) vorgeschlagen, mit mindestens einer Kamera (5) zur Aufnahme eines Kamerabilds (18), wobei auf dem Kamerabild (18) der Lagerbereich oder ein Abschnitt davon mit einer Mehrzahl von Spuren (7) mit Lagerplätzen (8) abgebildet sein kann, wobei auf den Lagerplätzen (8) ein Lagergut (9) anordenbar und/oder angeordnet ist, mit einer Auswerteeinrichtung (10) zur Auswertung des Kamerabilds (18), wobei die Auswerteeinrichtung (10) ausgebildet ist, eine Position des Lagerguts (9) relativ zu den Lagerplätzen (8) zu bestimmen.

Description

Beschreibung
Titel für einen
Figure imgf000003_0001
mit der
Figure imgf000003_0002
sowie
Figure imgf000003_0003
Stand der Technik
Die Erfindung betrifft eine Überwachungsvorrichtung für einen Lagerbereich. Ferner betrifft die Erfindung auch eine Intralogistikanordnung mit der Überwachungsvorrichtung, ein Überwachungsverfahren, insbesondere mit der Überwachungsvorrichtung und/oder der Intralogistikanordnung.
Die Intralogistik beschreibt die logistischen Material- und Warenflüsse, die sich innerhalb eines Betriebsgeländes abspielen. Für eine schlanke Fertigung kommt der Intralogistik eine besondere Bedeutung zu, da es notwendig ist, die Fertigungslinien unterbrechungsfrei mit Ausgangsmaterial zu versorgen und zugleich die gefertigten Produkte unterbrechungsfrei abzutransportieren. Für die unterbrechungsfreie Versorgung mit Ausgangsmaterial muss dieses in ausreichender Menge vorhanden sein. Hier kommen jedoch wirtschaftliche Aspekte ins Spiel, da prinzipiell ein beliebig großes Pufferlager für die unterbrechungsfreie Versorgung wünschenswert wäre, dieses jedoch zugleich ein totes Kapital darstellt und insbesondere bei einem Produktwechsel auf den Fertigungslinien überflüssig wird. Damit ist es wünschenswert, die Pufferspeicher möglichst klein zu halten.
Aus einem anderen technischen Gebiet ist die Druckschrift DE 10 2016 223 859 A1 bekannt, welche eine Kamera zur Überwachung eines Überwachungsbereichs betrifft. Die Kamera ist ausgebildet, von einem Überwachungsbereich Überwachungsbilder aufzunehmen und auf den Überwachungsbildern Personen zu maskieren, um den Datenschutz zu unterstützen. Ferner ist die Kamera ausgebildet, ausschließlich Ausgangsbilder mit maskierten Personen auszugeben.
Offenbarung der Erfindung
Gegenstand der Erfindung ist eine Überwachungsvorrichtung mit den Merkmalen des Anspruchs 1 , eine Intralogistikanordnung mit den Merkmalen des Anspruchs 10 und ein Überwachungsverfahren mit den Merkmalen des Anspruchs 15. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.
Gegenstand der Erfindung ist eine Überwachungsvorrichtung, welche zur Überwachung von einem Lagerbereich geeignet und/oder ausgebildet ist. Bei dem Lagerbereich kann es sich um einen Freiflächenbereich und/oder um einen geschlossenen Bereich, insbesondere Hallenbereich, handeln. Der Lagerbereich kann zusammenhängend oder auch verteilt ausgebildet sein.
Die Überwachungsvorrichtung weist mindestens eine Kamera zur Aufnahme eines Kamerabilds auf. Es kann auch vorgesehen sein, dass die Überwachungsvorrichtung mehrere Kameras aufweist, welche jeweils die gleiche Funktion wie die Kamera, jedoch in unterschiedlichen Abschnitten des Lagerbereichs umsetzen. Die Kamera kann als Low-Cost Grau- oder Farbkameras oder Farb-Tiefenkameras (Time-Of-Flight, aktive Stereokamera mit Musterprojektor, Streifenprojektor, Laserscanner o.ä.) ausgebildet sein. Insbesondere ist die Kamera ausgebildet, eine Tiefeninformation in dem Kamerabild zu erkennen oder die Informationen für eine Tiefenerkennung aufzunehmen, so dass eine Tiefenerkennung nachträglich durchgeführt werden kann.
Auf dem Kamerabild kann der Lagerbereich mit einer Mehrzahl von Spuren mit Lagerplätzen abgebildet sein. Die Spuren sind parallel zueinander angeordnet, wobei die Lagerplätze entlang der Spuren aufgereiht sind. Die Spuren erstrecken sich parallel zu einem Boden des Lagerbereichs. Auf den Lagerplätzen kann jeweils Lagergut angeordnet sein. Insbesondere bilden die Spuren mit den Lagerplätzen und dem Lagergut einen Pufferspeicher für das Lagergut. Es kann vorgesehen sein, dass der Lagerbereich mehrere derartige Pufferspeicher oder andere Speicherbereiche mit Spuren mit Lagerplätzen aufweist. Möglich ist, dass die unterschiedlichen Lagerbereiche von unterschiedlichen Kameras überwacht werden.
Bevorzugt ist die Kamera relativ zu dem Lagerbereich so orientiert, dass das Sichtfeld der Kamera von oben oder im Wesentlichen von oben, insbesondere senkrecht von oben oder im Wesentlichen senkrecht von oben, auf den Lagerbereich mit den Spuren ausgerichtet ist. Alternativ hierzu kann die Kamera auf den Lagerbereich mit den Spuren auch seitlich oder schräg von oben gerichtet sein. Insbesondere schließt eine Blickrichtung der Kamera einen Winkel zwischen 75° und 90°, vorzugsweise zwischen 85° und 90°, mit einer Ebene eines Bodens des Lagerbereichs ein.
Das Lagergut ist insbesondere stapelbar ausgebildet. Somit kann an einem Lagerplatz ein oder mehrere Lagergüter angeordnet sein, welche übereinander gestapelt sind und/oder eine Säule bilden.
Die Überwachungsvorrichtung weist eine Auswerteeinrichtung zur Auswertung des Kamerabilds auf. Die Auswerteeinrichtung ist insbesondere als eine digitale Datenverarbeitungseinrichtung, wie zum Beispiel ein Computer, ein Server oder eine Cloud ausgebildet. Die Auswerteeinrichtung basiert bei der Auswertung insbesondere auf digitaler Bildverarbeitung. Die Auswerteeinrichtung ist programmtechnisch und/oder schaltungstechnisch ausgebildet, eine Position des Lagerguts relativ zu den Lagerplätzen zu bestimmen.
Der Vorteil der Erfindung ist es, dass durch die Überwachungsvorrichtung in dem Lagerbereich in Echtzeit bekannt ist, wie der Lagerbereich mit Lagergut gefüllt ist und wo gegebenenfalls benötigte Lagergüter zu finden sind. So wird dadurch ausgeschlossen, dass ein Lagergut an einer Spur mit leeren Lagerplätzen gesucht wird. In gleicher Weise wird unterstützt, dass Lagergut von dort abgeholt wird, wo die Lagerplätze gefüllt sind. Damit bildet die Überwachungsvorrichtung ein Schlüsselelement zu einer verbesserten Intralogistiklösung.
Bei einer bevorzugten Weiterbildung der Erfindung weist die Auswerteeinrichtung ein Einlernmodul auf, wobei das Einlernmodul programmtechnisch und/oder schaltungstechnisch ausgebildet ist, auf Basis eines Einlernkamerabilds der Kamera mit gefüllten Lagerplätzen die Spuren sowie die Lagerplätze und optional ergänzend deren 6DoF-Posen als Soll-Positionsdaten, einen Soll-Füllgrad und/oder eine Soll-Stapelhöhe der Lagerplätze in dem Lagerbereich zu lernen. Die 6DoF-Pose umfasst insbesondere alle sechs Freiheitsgraden (6D0F: 6 degrees of freedom, Translation in X, Y, Z und Rotation um X-, Y, Z-Achse). Das Einlernmodul kann das Einlernkamerabild mittels digitaler Bildverarbeitung analysieren und kann so zum einen die unterschiedlichen Lagergüter voneinander trennen, so dass diese auf die Lagerplätze und die Spuren schließen kann. Ferner kann durch eine 3-D-Analyse des Einlernkamerabilds eine Höhe der gestapelten Lagergüter an einem Lagerplatz ermittelt werden und als Soll-Stapelhöhe abgespeichert werden. Das Einlernmodul kann als ein Softwaremodul oder als ein Hardwaremodul ausgebildet sein. Das Einlernen der Spuren sowie der Lagerplätze in dem Lagerbereich kann wie dargestellt automatisiert erfolgen, alternativ hierzu kann die Geometrie auch als ein Modell in ein Modellmodul der Auswerteeinrichtung, z.B. von einem Integrator, eingepflegt werden.
Bei einer bevorzugten Weiterbildung der Erfindung ist die Auswerteeinrichtung ausgebildet, einen Flächenüberlappungsgrad des Lagerguts mit den Lagerplätzen zu bestimmen. Für den Fall, dass das Lagergut vollständig und korrekt auf einem Lagerplatz steht, beträgt der Flächenüberlappungsgrad 100%. Für den Fall, dass das Lagergut zwischen zwei Lagerplätzen steht, kann der Flächenüberlappungsgrad beispielsweise jeweils 50% betragen. Die prozentuale Überlappfläche zur korrespondierenden Referenz-Zelle als Lagerplatz in dem Lagerbereich, insbesondere im Trolley- Raster definiert einen Füllgrad (FRTC) für den Lagerplatz. Durch die Auswertung des Flächenüberlappungsgrad des Lagerguts kann das Lagergut einem der Lagerplätze zugeordnet werden. Alternativ oder ergänzend wird ein Lagergutschwerpunkt und ein Stellplatzschwerpunkt bestimmt. Beispielsweise können die Schwerpunkte als Flächenschwerpunkte bestimmt werden. Ferner wird ein Schwerpunktabstand zwischen dem Lagergutschwerpunkt und dem Stellplatzschwerpunkt bestimmt. In Abhängigkeit des Schwerpunktabstands wird das Lagergut zu dem Lagerplatz zugeordnet, dessen Schwerpunktabstand am geringsten ist. Mit diesen Varianten ist es möglich, dass Lagergut einem Stellplatz definiert zuzuordnen. Bei einer bevorzugten Weiterbildung der Erfindung weist die Auswerteeinrichtung ein Auswertemodul auf, welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, auf Basis des Kamerabildes und der bekannten Spuren und Lagerplätze eine Verschiebung des Lagerguts entlang der Spuren und/oder eine Verdrehung des Lagerguts, insbesondere um eine Hochachse zu bestimmen. Das Auswertemodul kann sich somit an der eingelernten und/oder eingepflegten Geometrie des Lagerbereichs orientieren und kann beispielsweise über eine digitale Bildverarbeitung eine entsprechende Verschiebung und/oder Verdrehung, insbesondere um die Hochachse des Lagerguts, bestimmen.
Bei einer bevorzugten Weiterbildung der Erfindung ist die Auswerteeinrichtung und/oder das Auswertemodul ausgebildet, eine Verkippung des Lagerguts zu bestimmen. In Verbindung mit der vorhergehenden Weiterbildung wird insbesondere eine 6DoF-Posen-lst-Position bestimmt. In Kenntnis der Verkippung und/oder der 6DoF-Posen-lst-Position kann die nachfolgend beschriebene Intralogistikanordnung, insbesondere die
Leitsteuerungsvorrichtung, angepasste Abholinstruktionen bilden. Aus der erkannten 6DoF-Pose kann dann die relative Abweichung zu den eingelernten Sollpositionen ermittelt werden, die als Lagekorrektur für die Navigation bei den Abholinstruktionen dienen kann.
Besonders bevorzugt ist die Auswerteeinrichtung und/oder das Auswertemodul ausgebildet, eine Stapelhöhe des Lagerguts zu erkennen. Durch die Stapelhöhe des Lagerguts kann abgeschätzt werden, wie voll der jeweilige Lagerplatz belegt ist. In Kenntnis der Stapelhöhe kann die nachfolgend beschriebene Intralogistikanordnung, insbesondere die Leitsteuerungsvorrichtung, angepasste Abholinstruktionen bilden. Optional ist die Auswerteeinrichtung zur Tiefenerkennung in dem Kamerabild ausgebildet. Die Stapelhöhe kann entweder nur im Färb- oder im Schwarzweiß-Bild bestimmt werden, oder insbesondere über eine Tiefenerkennung ermittelt werden, indem über die Tiefererkennung auch die Höhe des Stapels des Lagerguts erkannt wird. Verzichtet man auf die Auswertung im Tiefenbild, z. B. weil man nur eine normale Färb- oder Schwarzweißkamera einsetzt, so kann immer noch die Translation in X und Y und die Rotation um die Z-Achse bestimmt werden und auch über die Skalierung der erkannten Stapelkontur mit Hilfe der Kamerakalibrierung auch die Translation in Z als Abstand der Stapeldeckfläche zur Kamera geschätzt werden.
Besonders bevorzugt kann vorgesehen sein, dass die Auswerteeinrichtung und/oder das Auswertemodul zur Erkennung der Materialart und/oder Lagergutart, insbesondere Produktart in dem Lagergut ausgebildet ist Auch diese Information kann zur Bildung der Abholinstruktionen genutzt werden.
Bei einer bevorzugten Weiterbildung der Erfindung ist das Einlernmodul und/oder das Auswertemodul oder eine Kombination von Einlernmodul und Auswertemodul als ein neuronales Netz ausgebildet. Durch das neuronale Netz kann die Detektion der Spuren mit Lagerplätzen sowie die Detektion des Lagerguts zunächst mit Trainingsbildern des Lagerbereichs trainiert werden und in einer zweiten Phase das trainierte neuronale Netz zur Auswertung des Kamerabilds verwendet werden.
Bei einer bevorzugten Realisierung der Erfindung ist das neuronale Netz als ein DCNN (deep convolutional neural network) ausgebildet. Besonders bevorzugt ist das neuronale Netz und/oder das DCNN als ein Mask-R-CNN ausgebildet. In der Ausbildung erfolgt insbesondere zunächst eine Objektdetektion und die Ermittlung von Bounding-Boxen um die detektierten Objekte und nachfolgend eine semantische Segmentierung der detektierten Objekte in jeder Bounding- box. Daraus resultiert die Aussenkontur eines jeden erkannten Lagerguts, insbesondere ausgebildet als Stapel-Objekt. Über die Aussenkontur kann in Vergleich zu einer Aussenkontur der Lagerplätze der Flächenüberlappungsgrad bestimmt werden. Diese Architekturen oder Arten des neuronalen Netzes sind bei derartigen Bildanalyseverfahren besonders effizient und treffsicher einsetzbar.
Bei einer bevorzugten Realisierung der Erfindung ist das Lagergut jeweils als ein Kleinladungsträger ausgebildet. Insbesondere ist das Lagergut und/oder der Kleinladungsträger als eine Kiste ausgebildet, wobei auf den Lagerplätzen ein Stapel der Kisten angeordnet sein kann. Optional kann das Lagergut und/oder der Kleinladungsträger auf den Lagerplätzen auf einem Trolley positioniert sein, um ein manuelles Verfahren des Lagerguts zu vereinfachen. Auch nach einem manuellen Verfahren und/oder Umschichten des Lagerguts in dem Lagerbereich kann dessen Position in dem Lagerbereich über die Überwachungsvorrichtung wieder bestimmt werden.
Optional ergänzend ist auf dem Lagergut auf einer von der Kamera einsehbaren Position zumindest des obersten Lagerguts eine Identifikation für die Art des Lagerguts angeordnet Beispielsweise kann die Identifikation auf einem Deckel des Lagerguts aufgebracht sein. Die Überwachungsvorrichtung ist ausgebildet, über die Auswerteeinrichtung und/oder das Auswertemodul die Art des Lagerguts zu bestimmen. Auf diese Weise umfasst die Ausgabe der Überwachungsvorrichtung nicht nur die Position des Lagerguts in dem Lagerbereich, sondern auch die Art des Lagerguts. Dabei gibt es die Einschränkung, dass nur einsehbare Lagergüter in einem Stapel in den Lagerplätzen von der Kamera erfasst werden kann.
Ein weiterer Gegenstand der Erfindung bildet eine Intralogistikanordnung mit einem Lagerbereich, wobei der Lagerbereich eine Mehrzahl von Spuren mit Lagerplätzen aufweist. Die Intralogistikanordnung weist die Überwachungsvorrichtung auf, wie diese zuvor beschrieben wurde, wobei die Überwachungsvorrichtung ausgebildet ist, eine Position des Lagerguts relativ zu den Lagerplätzen zu bestimmen. Damit liegt in der Intralogistikanordnung die Kenntnis zu der Position der Lagerplätze und/oder Spuren sowie die Position des Lagerguts vor.
Bei einer bevorzugten Weiterbildung der Erfindung ist die Überwachungsvorrichtung ausgebildet, Sperrflächen und/oder Anlieferbereiche in dem Lagerbereich zu überwachen. Insbesondere kann die Überwachungsvorrichtung ausgebildet sein, zu überwachen, ob diese Sperrflächen und/oder Anlieferbereiche auch tatsächlich freigehalten werden oder ob diese gegen die Logistikordnung belegt sind. Damit bekommt die Intralogistikanordnung und/oder die Überwachungsvorrichtung einen Mehrwert.
Bei einer möglichen Weiterbildung ist vorgesehen, dass die Überwachungsvorrichtung ausgebildet ist, Personen in dem Lagerbereich zu erkennen und zu anonymisieren. Prinzipiell wird davon ausgegangen, dass die Kamerabilder der Kamera ohnehin nur für die Analyse für die Füllgraddetektion verwendet werden und danach verworfen werden. Für den Fall, dass aus Dokumentationsgründen die Kamerabilder doch archiviert werden, kann in vorteilhafter Weise durch die Überwachungsvorrichtung eine Anonymisierung der Personen in dem Lagerbereich umgesetzt werden, so dass die Kamerabilder datenschutzrechtlich zulässig archiviert werden können.
Bei einer bevorzugten Ausgestaltung der Erfindung weist die Intralogistikanordnung eine Leitsteuerungsvorrichtung auf, wobei die Leitsteuerungsvorrichtung ausgebildet ist, auf Basis der Position des Lagerguts Abholinstruktionen an automatische Vehikel und/oder Abholpersonal zu übermitteln. Die Leitsteuerungsvorrichtung ist somit für den Materialfluss zuständig, wobei auf Basis der Position des Lagerguts relativ zu den Lagerplätzen und damit auch der Belegung der Spuren automatische Vehikel und/oder Abholpersonal entsprechend instruiert werden können, das Lagergut an den richtigen Lagerplätzen abzuholen. Insbesondere wird durch die Bestimmung der Verschiebung, Verdrehung und/oder der Verkippung des Lagerguts, insbesondere der 6doF-Pose, erreicht, dass die Abholinstruktionen sich nicht auf die Lagerplätze beziehen, sondern auf die reale Lage des Lagerguts abgestimmt werden können. Damit können Abholinstruktionen auch für deplatziertes, insbesondere verschobenes, verdrehtes und/oder verkipptes Lagergut gebildet werden.
Bei einer bevorzugten Weiterbildung der Erfindung ist die Leitsteuerungsvorrichtung ausgebildet, Lagergutbedarf von Fertigungsanlagen zu empfangen und ergänzend auf Basis des Lagergutbedarfs die Abholinstruktionen zu bilden. Somit empfängt die Leitsteuerungsvorrichtung einen Lagergutbedarf der Fertigungsanlagen, da diese z.B. neues Lagergut zur weiteren Fertigung benötigen. Auf Basis des bekannten Lagergutbedarfs und der bekannten Positionen und optional ergänzend der Kenntnis der Verschiebung, Verdrehung, Verkippung, Lagergutart und/oder Stapelhöhe kann die Leitsteuerungsvorrichtung die Abholinstruktionen bilden.
Ein weiterer Gegenstand der Erfindung betrifft ein Überwachungsverfahren mit der Überwachungsvorrichtung wie diese zuvor beschrieben wurde und/oder mit der Intralogistikanordnung wie diese zuvor beschrieben wurde, wobei bei dem Verfahren ein Kamerabild von einem Lagerbereich mit einer Mehrzahl von Spuren mit Lagerplätzen aufgenommen wird und wobei das Kamerabild zur Bestimmung der Position des Lagerguts ausgewertet wird.
Ein weiterer Gegenstand der Erfindung betrifft ein Computerprogramm, welches ausgebildet ist, das zuvor beschriebene Verfahren durchzuführen, wenn dieses auf einem Computer, einem Gerät, in der Cloud und/oder auf der Überwachungsvorrichtung und/oder Intralogistikanordnung wie diese zuvor beschrieben wurde abläuft. Ein weiterer, optionaler Gegenstand der Erfindung betrifft ein Speichermedium, insbesondere ein nichtflüchtiges maschinenlesbares Speichermedium, mit dem Computerprogramm.
Weitere Merkmale, Vorteile und Wirkung der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung sowie der beigefügten Figuren. Diese zeigen:
Figur 1 ein schematisches Blockdiagramm einer Intralogistikanordnung als ein Ausführungsbeispiel der Erfindung;
Figur 2 ein schematisiertes Einlernkamerabild der Intralogistikanordnung in der Figur 1 ;
Figur 3 ein schematisiertes Kamerabild der Intralogistikanordnung in der Figur 1 ;
Figur 4 ein schematisiertes Ergebnis der Intralogistikanordnung in der Figur 1 auf Basis des Kamerabilds in der Figur 3.
Die Figur 1 zeigt in einem schematischen Blockdiagramm eine Intralogistikanordnung 1 als ein Ausführungsbeispiel der Erfindung. Die Intralogistikanordnung 1 hat die Aufgabe, einen Waren- und/oder Materialfluss für eine Fertigungsanlage 2 zu organisieren. Die Fertigungsanlage 2 kann zum Beispiel Automobilprodukte, Elektronikprodukte de etc. fertigen.
Die Intralogistikanordnung 1 weist einen Überwachungsvorrichtung 3 auf, wobei Überwachungsvorrichtung 3 ausgebildet ist einen Lagerbereich 4 zu überwachen. Die Überwachungsvorrichtung 3 weist mindestens eine Kamera 5 auf, wobei die Kamera 5 auf den Überwachungsbereich 4 gerichtet ist. Die Kamera 5 nimmt ein Kamerabild bzw. im Betrieb mehrere Kamerabilder hintereinander oder einen Videostrom von Kamerabildern auf.
In dem Lagerbereich 4 ist beispielsweise ein Pufferspeicher 6 angeordnet, wobei der Lagerbereich 4 und/oder der Pufferspeicher 6 eine Mehrzahl von Spuren 7 aufweist, welche sich auf dem Boden des Lagerbereichs 4 und/oder des Pufferspeichers 6 parallel erstrecken. Auf den Spuren 7 sind in der gezeigten Frontalansicht auf den Überwachungsbereich 4 mehrere Lagerplätze 8 angeordnet, wobei in dem gezeigten Ausführungsbeispiel die Lagerplätze 8 teilweise mit einem Lagergut 9 belegt sind. Das Lagergut 9 ist insbesondere als ein stapelbares Lagergut ausgebildet, so dass die Lagerplätze 8 - soweit sie belegt sind - mit mindestens einem Lagergut 9 und teilweise mit einem Stapel von Lagergütern 9 belegt sind.
Die Überwachungsvorrichtung 3 weist eine Auswerteeinrichtung 10 auf, wobei die Auswerteeinrichtung 10 ausgebildet ist, eine Detektion der Position des Lagerguts 9 relativ zu den Lagerplätze 8 durchzuführen. In der Figur 1 sind auf der linken Seite des Lagerbereichs 4 und/oder des Pufferspeichers 6 zwei leere Lagerplätze 8 gezeigt. Daneben sind Lagerplätze 9 gezeigt, welche belegt sind.
Das Lagergut 9 ist beispielsweise als ein Kleinladungsträger, insbesondere jeweils eine Kiste ausgebildet, wobei die Kleinladungsträger als Lagergut 9 an den Lagerplätzen 8 gestapelt werden können.
Die Kamera 5 ist von oben auf den Lagerbereich 4, insbesondere auf den Pufferspeicher 6 gerichtet, so dass die Kamera 5 die Spuren 7 in Längserstreckung mit den Lagerplätzen 8 und den darauf angeordneten Lagergütern 9 erfassen kann.
Das Kamerabild der Kamera 5 wird an die Auswerteeinrichtung 10 übermittelt, wobei die Auswerteeinrichtung 10 auf Basis des Kamerabilds über digitale Bildverarbeitung und Auswertungsalgorithmen die Position des Lagerguts 9 relativ zu den Lagerplätzen 8 bestimmt.
Bei diesem Ausführungsbeispiel weist die Auswerteeinrichtung ein neuronales Netz 12 auf, wobei das neuronale Netz 12 zumindest funktional in ein Einlernmodul 13 und ein Auswertemodul 14 aufgeteilt werden kann. In dem Einlernmodul 13 wird auf Basis von Trainings-Kamerabildern die Erkennung der Spuren 7, der Lagerplätze 8 sowie der Position des Lagerguts 9 in dem neuronalen Netz 12 trainiert. Das Auswertemodul 14 nutzt das trainierte neuronale Netz 12 und kann auf Basis von aktuellen Kamerabildern des Überwachungsbereichs 4 und/oder des Pufferspeichers 6 der Kamera 5 nachfolgend die Spuren 7, die Lagerplätze 8 und die Position des Lagerguts 9 bestimmen.
Das Auswertemodul 14 kann insbesondere eine Verschiebung des Lagerguts 9 entlang der Spuren 7 und/oder eine Verdrehung des Lagerguts 9 bestimmen. Optional ergänzend kann das Auswertemodul 14 eine Verkippung des Lagerguts 9 bestimmen. Im Speziellen kann die Überwachungsvorrichtung 3 eine 6DoF- Pose des Lagerguts 9 bestimmen. Optional ist es auch möglich, dass die Überwachungsvorrichtung 3 eine Stapelhöhe und eine Lagergutart des Lagerguts 9 bestimmt.
Die bestimmte Position und insbesondere die genaue Lage des Lagerguts 9 kann nachfolgend von der Intralogistikanordnung 1 verwendet werden, um eine Abholung des Lagerguts 9 mit entsprechenden Abholinstruktionen an automatische Vehikel 16 und/oder Abholpersonal zu vermitteln, um das Lagergut 9 auch dann abholen zu können, wenn dieses nicht genau auf den Lagerplätzen 8 angeordnet ist, insbesondere verschoben, verdreht und/oder verkippt ist. Damit ermöglicht die Überwachungsvorrichtung 3 einen vollautomatischen Betrieb der Intralogistikanordnung 1.
Es ist insbesondere optional möglich, dass über ein oder das Einlernkamerabild des Lagerbereichs 4 und/oder des Pufferspeichers 6 eine Soll-Stapelhöhe und eine 6DoF-Pose als Soll-Position der Lagerplätze 8 in dem Lagerbereich 4 und/oder dem Pufferspeicher 6 ermittelt wird und das Auswertemodul 14 auf Basis des aktuellen Kamerabilds und der bekannten Spuren 7 und Lagerplätze 8 sowie optional der Soll-Stapelhöhe und der als Soll-Position als 6DoF-Pose die Position, eine IST-Stapelhöhe und eine IST-6DoF-Pose bestimmen kann. Das neuronale Netz 12 ist als ein DCNN und/oder als ein Mask-R-CNN ausgebildet. Die Intralogistikanordnung 1 weist eine Leitsteuerungsvorrichtung 15 auf, wobei die Leitsteuerungsvorrichtung 15 ausgebildet ist, den Materialfluss und/oder Warenfluss zwischen der Fertigungsanlage 2 und dem Lagerbereich 4 zu steuern. Die Leitsteuerungsvorrichtung 15 erhält von der Auswerteeinrichtung 10 die Daten zu den Spuren 7, Lagerplätzen 8 sowie zu den Positionen des Lagerguts 9, insbesondere deren genaue Lage umfassend die Verschiebung, Verdrehung, Verkippung und/oder IST-6DoF-Pose. Optional ergänzend kann das Lagergut 9 mit einer Identifikation versehen sein, welche von der Kamera 5 erfasst werden kann, so dass die Lagergutart des Lagerguts 9 von dem jeweiligen Stapel an dem Lagerplatz 8 ebenfalls erfasst wird und an die Leitsteuerungsvorrichtung 15 weitergegeben wird.
Die Fertigungsanlage 2 kommuniziert einen Lagergutbedarf an die Leitsteuerungsvorrichtung 15, z.B. damit die Fertigungsanlage 2 die Fertigung weiterführen kann. Auf Basis des Lagergutbedarfs sowie der Daten zu den Spuren 7, Lagerplätzen 8 sowie der Position des Lagerguts 9 sowie weiterer ermittelten Informationen, wie die Verschiebung, Drehung und/oder Verkippung, im Speziellen die IST-6DoF-Pose des Lagerguts 9 erarbeitet die Leitsteuerungsvorrichtung 15 Abholinstruktionen zum Transport von dem Lagergut 9 zu der Fertigungsanlage 2 und somit zur Organisation des Materialflusses. Die Abholinstruktionen können beispielsweise an automatische Vehikel 16 übertragen werden, welche autonom das jeweilige Lagergut 9 bzw. den jeweiligen Lagergutstapel von dem Lagerbereich 4 und/oder dem Pufferspeicher 6 zu der Fertigungsanlage 2 zur weiteren Verwendung transportieren. Ebenso ist es möglich, dass die Fertigungsanlage 2 einen Produktabholbedarf an die Leitsteuerungsvorrichtung 15 übermittelt. In Kenntnis der freien Lagerplätze 8 in dem Lagerbereich 4 und/oder in dem Pufferspeicher 6 oder in einem weiteren Pufferspeicher des Lagerbereichs 4 kann die Leitsteuerungsvorrichtung 15 Abholinstruktionen an die automatische Vehikel 16 senden, so dass diese die Produkte von der Fertigungsanlage 2 in den Lagerbereich 4, insbesondere zu dem Pufferspeicher 6 transportieren, um den Warenfluss zu organisieren.
Es ist möglich, dass die Überwachungsvorrichtung 3 mehrere derartige Kameras 5 aufweist, welche mehrere Pufferspeicher 6 in dem Lagerbereich 4 überwachen. So ist es denkbar, dass Lagergut 9 in dem Pufferspeicher 6 bevorratet wird und die fertiggestellten Produkte in einen nicht dargestellt, weiteren Lagerbereich transportiert werden, wobei in dem weiteren Lagerbereich die Position des Lagerguts über die Überwachungsvorrichtung 3 ebenfalls überwacht wird und an die Leitsteuerungsvorrichtung 15 weitergemeldet wird.
Bei einer möglichen Ergänzung des Ausführungsbeispiels ist die Überwachungsvorrichtung 3, insbesondere die Auswerteeinrichtung 10 ausgebildet auf Basis des Kamerabilds Sperrflächen und/oder Anlieferbereiche in dem Lagerbereich 4 zu überwachen. Insbesondere wird überwacht, ob diese - wie dies nach einer Logistikordnung oder einem Regelwerk sein sollte - freigehalten sind. Gegebenenfalls können entsprechende Daten an die Leitsteuerungsvorrichtung 15 zum Zustand der Sperrflächen und/oder Anlieferbereiche übermittelt werden, so dass bei einer Blockierung der Sperrflächen und/oder Anlieferbereiche entsprechende Gegenmaßnahmen auch automatisiert getroffen werden können.
Ferner ist es möglich, dass die Überwachungsvorrichtung 3, insbesondere die Auswerteeinrichtung 10, ausgebildet ist, Personen in dem Lagerbereich 4, insbesondere in dem Pufferspeicher 6 zu erkennen. Nach der Objektdetektion der Personen können diese automatisiert in dem Kamerabild anonymisiert werden, zum Beispiel durch eine Maskierung oder durch ein Ausblenden oder andere Maßnahmen. Auf diese Weise ist das Kamerabild anonymisiert und kann zu Dokumentationszwecken auch dauerhaft gespeichert werden ohne gegen geltende Datenschutzrichtlinien zu verstoßen.
Die Figur 2 zeigt in einer Draufsicht ein Einlernkamerabild 17 als Kamerabild der Kamera 5 von dem Lagerbereich 4 und/oder von dem Pufferspeicher 6 in zweifacher Ausführung. In dem oberen Teil ist der Lagerbereich 4 bzw. der Pufferspeicher 6 in einem ersten Analyseschritt dargestellt, wobei durch das neuronale Netzwerk 12 die Aussenkonturen von dem Lagergut 9 als Objekte detektiert sind. Insbesondere ist aus der Darstellung der Aufbau des Lagerbereichs 4 und/oder des Pufferspeichers 6 zu erkennen, wobei sich entlang der Spuren 7 Lagerplätze 8 mit dem jeweils einem Stapel des Lagerguts 9 aufreihen. Bei dem Einlernkamerabild 17 sind alle Lagerplätze 8 vollständig belegt. Dieses Einlernkamerabild 17 bzw. die daraus abgeleiteten Daten zu den Spuren 7, Lagerplätzen 8 sowie der Soll-Position des Lagerguts 9 kann als Referenz für den weiteren Betrieb der Überwachungsvorrichtung 3 verwendet werden. In dem unteren Teil der Figur 1 ist das Einlernkamerabild 17 als eine Map des Tiefenbilds des gleichen Bereichs abgebildet, wobei für die Lagerplätze 8 ein Flächenüberlappungsgrad dargestellt ist, wobei das Lagergut 9 in dem Soll- Zustand einen Flächenüberlappungsgrad mit den Lagerplätzen von 100% aufweisen.
Die Figur 3 zeigt in gleicher Darstellung ein aktuelles Kamerabild 18 von dem gleichen Lagerbereich 4 und/oder Pufferspeicher 6, wobei die Lagerplätze 8 teilweise leer und teilweise teilüberlappend belegt sind. Die Auswerteeinrichtung 10 und/oder das das Auswertemodul 14 kann diesen Zustand des Lagerbereichs 4 und/oder des Pufferspeichers 6 automatisiert erkennen und die daraus resultierenden Daten, insbesondere hinsichtlich der Position des Lagerguts 9 an die Leitsteuerungsvorrichtung 15 weiterleiten.
Die Figur 4 zeigt in einer stark schematisierten Darstellung eine Auswertung des Kamerabilds 18 der Figur 3, wobei die Lagerplätze 8 mit dem Flächenüberlappungsgrad der Lagergüter 9 dargestellt sind und wobei der Flächenüberlappungsgrad der Lagerplätze 8 zusätzlich zu den Prozentangaben durch eine Schattierung der Lagerplätze 8 dargestellt ist. Durch den Flächenüberlappungsgrad kann eine Zuordnung des Lagerguts 9 zu den Lagerplätzen 8 ermittelt werden.
Nachfolgend wird ein weiteres Ausführungsbeispiel beschrieben: Für Gabelstapler als Beispiele für die autonomen Vehikel 16 gibt es Staplerleitsysteme und Materialflussleitsysteme mit an der Gabel montierten Kamerasystemen zur Waren- und Palettenidentifikation. Diese erfassen von der Seite in horizontaler Blickrichtung Europaletten als Lagergüter 9 in Warenregallagern als Pufferspeicher 6. Die Intralogistikanordnung 1 betrifft ein System, welches Materiallager als Pufferspeicher 6 wie z.B. digitale Rollwagensupermärkte (Lane-Supermärkte) mit Kistenstapel als Lagergüter 9 auf Trolleys in der Intralogistik von oben und ggfs. auch seitlich erfasst, um autonome mobile Plattformen (automatic guided vehicles AGVs) als autonome Vehikel 16 für den Material-Transport zu leiten. Dadurch können Bestände optimiert werden und die Pufferspeicher 6 verkleinert werden. Auch RFID- Supermärkte können durch solche Übersichtsvorrichtungen 10 ergänzt werden als Basis für eine Navigationssteuerung von AGVs.
Die Intralogistikanordnung 1 erlaubt eine optische Lokalisation von Materialbehältern als Lagergüter 9 in Intralogistik-Supermärkten als Lagerbereiche 4 und/oder Pufferspeicher 6 für das Flottenmanagement und die AGV-Leitsteuerung (engl.: Visual Localisation of Bins in Intralogistic Supermarkets for fleet management and AGV-guidance):
Zur flexiblen automatischen Versorgung von Produktionslinien in Fertigungsanlagen 2 in der Intralogistik sollen auf z.B. Trolleys (Bodenroller) gestapelte Kisten/Kleinladungsträger (KLTs) oder ähnliche Transportboxen, Blister, Paletten, o.ä. (im Folgenden als Kisten bezeichnet) gefüllt mit Material oder Werkstücken als Lagergüter 9 zwischen einem Rollwagensupermarkt als Lagerbereich 4 und/oder Pufferspeicher 6 oder anderem Pufferplatz über eine automatisierte Kommunikation automatisch zwischen mobilen Transportplattformen (Automated Guided Vehicle AGVs) und Fertigungslinien (Point of Use PoU) transportiert werden.
Übersichtskameras als Kameras 5 über den Supermärkten (Quellen/Senken) sollen von oben und/oder von der Seite das Material auf den Trolleys erfassen und die Positionsdaten sowie weitere Informationen wie z.B. Stapelhöhe, Materialart etc. an die Flottenmanagement-Leitsteuerung als Leitsteuerungsvorrichtung 15 übermitteln, um die AGV-Flotte für den Material- Transport effizient zu leiten und erforderliche Transportaufträge durch Abholinstruktionen auszulösen.
Übersichtskameras als Kameras 5 über und neben den Supermärkten erkennen von oben und von der Seite die Trolleys und ermitteln deren Position und Kontur sowie weitere Informationen wie z.B. Stapelhöhe, Materialanzahl, Materialart und -typ etc. Zusätzlich werden freie Anlieferbereiche erkannt und Sperrzonen (z.B. notwendiger Abstand Rollwagen zu Wand/Tür) überwacht. Diese Informationen (z.B. Wo stehen welche Rollwägen und in welcher Spur?) werden an das Flottenmanagement bzw. die AGV-Leitsteuerung übermittelt, die dann die Fahraufträge an die AGVs oder Milkrun-Zug oder auch den Feinlogistik- Mitarbeiter (engl.: Point of Use Provider) o.ä. zum Abtransport oder Befüllung der einzelnen Supermarkt-Spuren übermittelt.
Mögliche Vorteile sind:
Weniger akkumulierter Lagerbestand und reduzierter Pufferplatz im Supermarkt aufgrund des optimierten AGV-Flottenmanagements. Mehr Flexibilität und höhere Ausfallsicherheit. Ratio durch Automatisierung: Vermeidung arbeitsintensiver Materialverfolgungsaufgaben wie z.B. das Scannen von KANBAN-Karten, RFID-Tags und DataMatrix-Codes bzw. Barcodes o.ä. durch den Mitarbeiter. Fehlervermeidung durch Automatisierung.
Übersichtskameras als Kameras 5 wie z.B. Low-Cost Grau- oder Farbkameras oder Farb-Tiefenkameras (Time-Of-Flight, aktive Stereokamera mit Musterprojektor, Streifenprojektor, Laserscanner o.ä.) werden über und neben den Supermärkten montiert. Zusätzlich oder alternativ können solche Kameras auch auf AGVs wie z.B. ActiveShuttle, ActiveHandler, ActiveSupermarket und ActiveAssist- Montageplätzen der Bosch-Rexroth AG und Robert Bosch GmbH montiert sein. Vorzugsweise ist jede Farb-Tiefenkamera bereits intrinsisch kalibriert und die intrinsischen Kalibrierparameter sind auslesbar, so dass das Farbild zum Tiefenbild gemappt werden kann. Ansonsten müsste man die Kameras über gängige Kalibrierverfahren kalibrieren. Smart-Kameras mit eingebetteter Bilderkennung auf dem Chip können die Positionsdaten direkt an die Leitsteuerung übertragen ohne zusätzlichen Bilderkennungsrechner. Alternativ können viele Kameras ohne Auswertechip die Bilddaten an nur einen oder wenige zentrale performante Bilderkennungsrechner mit Grafikkarte zur schnellen Auswertung übertragen, um Hardwarekosten einzusparen.
Die Übertragung der Bilddaten, insbesondere der Kamerabilder, oder direkt der Positionsdaten kann kabelgebunden oder auch kabellos über WLAN oder 5G erfolgen, um die Verlegung langer Kamerakabel zu vermeiden, v.a. bei Datentransferprotokollen wie USB3.X, dessen zulässige Kabellängen begrenzt ist.
Zum Bildauswerteverfahren:
In einem Einlernvorgang werden die Trolley- und/oder Lagergutpositionen (3D-
Pose mit Stapelhöhe über dem Boden) beispielsweise durch Bildmatching- Verfahren oder ein vorher trainiertes neuronales Netz, z.B. Deep Convolutional Neural Network (DCNN) im Kamerabild erkannt, die Außenkontur eines jeden Trolleys und/oder Lagerguts 9 extrahiert und damit das Kamerabild in Spuren und Lagerplätze unterteilt. Die Sollpositionen und Außenkonturen werden als Referenz (Trolley/Lagerplatz- aster als Rechtecke) abgespeichert - siehe Figur 2. Im Automatikbetrieb werden die Ist-Positionen und der Überlapp (Füllgrad FRTC/Flächenüberlappungsgrad) zur korrespondierenden Referenz- Rechteckzelle im Trolley/Lagerplatz- Raster (Rechtecke) der erkannten KLT- Stapel, insbesondere auf den einzelnen Trolleys ermittelt - siehe Figur 3. Über die intrinsischen Kameraparameter und die Abstandsmessung der erkannten Lagergüter 9 im Tiefenbild kann die extrahierte Kistenkontur auf den Hallenboden als 3D-Weltkoordinatensystem projiziert werden, wobei die Ebene des leeren Hallenbodens im 3D-Weltkoordinatensystem im Einlernbetrieb einmalig im Tiefenbild bestimmt und abgespeichert wurde. Dieses 3D- Weltkoordinatensystem könnte auch z.B. über die Erkennung einer Kalibrierplatte im zum Tiefenbild gemappten Farbild oder eines 3D- Kalibrierkörpers im Tiefenbild definiert werden. Dadurch kann die exakte Position der Trolleys und/oder Lagergüter 9 im 3D-Weltkoordinatensystem des Hallenbodens über die Leitsteuerungsvorrichtung 15 an die AGVs o.ä. für den präzisen Abtransport übermittelt werden.
Zusätzlich könnte eine DCNN-basierte Detektion automatisch Personen ausmaskieren, die evtl, im Farbbild zu sehen sind, um den personenbasierten Datenschutz sicherzustellen. Da im Automatikbetrieb keine Bilder gespeichert werden, sondern nur Positionsdaten u.ä. ausgegeben werden, ist der Datenschutz aber ohnehin auch so gewährleistet.
Beispielhafte Ablaufbeschreibung:
Einlernbetrieb: DCNN-basierte Segmentierung der KLT-Stapel als Lagergüter 9 auf optionalen Trolleys in den Kamerabildern der Kameras 5: Extraktion der Außenkonturen der KLT/Lagergut- Regionen und Abspeichern der Soll- Referenzpositionen. Automatische Nummerierung in Spur- und Positionsnummer (z.B.: 11 : Spur 1 , Pos 1) und Abspeichern als Referenz für jede Kamera 5. Generierung der Kisten-Dolly-Standorte als Trolley/Lagergutraster der einzelnen erkannten Zellen (Rechtecke in Figur 2) z.B. mit DCNN-Segmentierung im Kamerabild eines vollgefüllten Supermarktes mit Trolley oder Lagergut 9 in Sollposition oder Einzeichnen des umfassenden Rechtecks um Supermarkt- Fläche am Bildschirm mit der Maus.
Automatikbetrieb: Bildaufnahme und Auswertung aller Kameras 5 und Zuordnung der Positionsdaten zu den entsprechenden Spuren 7 und Positionsnummern der
Lagerplätze des gespeicherten Trolley-/Lagergutrasters; Übermittlung an die Leitsteuerung.

Claims

Ansprüche
1 . Überwachungsvorrichtung (3) für einen Lagerbereich (4), mit mindestens einer Kamera (5) zur Aufnahme eines Kamerabilds (18), wobei auf dem Kamerabild (18) der Lagerbereich oder ein Abschnitt davon mit einer Mehrzahl von Spuren (7) mit Lagerplätzen (8) abgebildet sein kann, wobei auf den Lagerplätzen (8) ein Lagergut (9) anordenbar und/oder angeordnet ist, mit einer Auswerteeinrichtung (10) zur Auswertung des Kamerabilds (18), wobei die Auswerteeinrichtung (10) ausgebildet ist, eine Position des Lagerguts (9) relativ zu den Lagerplätzen (8) zu bestimmen.
2. Überwachungsvorrichtung (3) nach Anspruch 1 , dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ein Einlernmodul (13) aufweist, wobei das Einlernmodul (13) ausgebildet ist, auf Basis eines Einlernkamerabilds mit gefüllten Lagerplätzen (8) die Spuren (7) sowie die Lagerplätze (8) in dem Lagerbereich (5) zu lernen.
3. Überwachungsvorrichtung (3) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgebildet ist, einen Flächenüberlappungsgrad des Lagerguts (9) mit den Lagerplätzen (8) und/oder einen Schwerpunktabstand zwischen einem Lagergutschwerpunkt und einem Stellplatzschwerpunkt zu bestimmen, um eine Zuordnung des Lagerguts (9) relativ zu den Lagerplätzen (8) zu bestimmen.
4. Überwachungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ein Auswertemodul (14) aufweist, wobei das Auswertemodul (14) ausgebildet ist, eine Verschiebung des Lagerguts (9) entlang der Spuren (7) und/oder eine Verdrehung des Lagerguts (9) zu bestimmen.
5. Überwachungsvorrichtung (3) nach Anspruch 4, dadurch gekennzeichnet, dass das Auswertemodul (14) ausgebildet ist, eine Verkippung des Lagerguts (9) zu bestimmen.
6. Überwachungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Auswertemodul (14) ausgebildet ist, eine Stapelhöhe des Lagerguts (9) zu erkennen.
7. Überwachungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Einlernmodul (13) und/oder das Auswertemodul (14) ein neuronales Netz (12) aufweist.
8. Überwachungsvorrichtung (3) nach Anspruch 7, dadurch gekennzeichnet, dass das neuronale Netz (12) als ein DCNN und/oder als ein Deep Learning Mask-Region-CNN Model ausgebildet ist
9. Überwachungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Lagergut (9) als ein Kleinladungsträger ausgebildet ist oder diesen umfasst.
10. Intralogistikanordnung (1) mit einem Lagerbereich (4), wobei der Lagerbereich (4) eine Mehrzahl von Spuren (7) mit Lagerplätzen (8) aufweist, gekennzeichnet durch die Überwachungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, wobei die Überwachungsvorrichtung (3) ausgebildet ist, eine Position des Lagerguts (9) relativ zu den Lagerplätzen (8) zu bestimmen.
11 . Intralogistikanordnung (1) nach Anspruch 10, dadurch gekennzeichnet, dass die Überwachungsvorrichtung (3) ausgebildet ist, Sperrflächen und/oder Anlieferbereiche in dem Lagerbereich (4) zu überwachen.
12. Intralogistikanordnung (1) nach einem der vorhergehenden Ansprüche 10 bis 11 , dadurch gekennzeichnet, dass die Überwachungsvorrichtung (3) ausgebildet ist, Personen in dem Lagerbereich (4) zu erkennen und zu anonymisieren.
13. Intralogistikanordnung (1) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass diese eine Leitsteuerungsvorrichtung (15) umfasst, wobei die Leitsteuerungsvorrichtung (15) ausgebildet ist, auf Basis der Position des Lagerguts (9) relativ zu den Lagerplätzen (8) Abholinstruktionen an automatische Vehikel (16) und/oder Abholpersonal zu übermitteln.
14. Intralogistikanordnung (1) nach Anspruch 13, dadurch gekennzeichnet, dass die Leitsteuerungsvorrichtung (15) ausgebildet ist, Lagergutbedarf von Fertigungsanlagen (2) zu empfangen und ergänzend auf Basis des Lagergutbedarfs die Abholinstruktionen zu bilden.
15. Überwachungsverfahren, insbesondere mit der Überwachungsvorrichtung (3) nach einem der Ansprüche 1 bis 9 und/oder der Intralogistikanordnung (1) nach einem der Ansprüche 10 bis 14, wobei ein Kamerabild (18) von einem Lagerbereich (4) mit einer Mehrzahl von Spuren (7) mit Lagerplätzen (8) aufgenommen wird und wobei das Kamerabild (18) zur Bestimmung einer Position des Lagerguts (9) relativ zu den Lagerplätzen (8) ausgewertet wird.
PCT/EP2022/087912 2022-02-08 2022-12-27 Überwachungsvorrichtung für einen lagerbereich, intralogistikanordnung mit der überwachungsvorrichtung sowie überwachungsverfahren WO2023151856A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022201311.5A DE102022201311A1 (de) 2022-02-08 2022-02-08 Überwachungsvorrichtung für einen Lagerbereich, Intralogistikanordnung mit der Überwachungsvorrichtung sowie Überwachungsverfahren
DE102022201311.5 2022-02-08

Publications (1)

Publication Number Publication Date
WO2023151856A1 true WO2023151856A1 (de) 2023-08-17

Family

ID=84688282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/087912 WO2023151856A1 (de) 2022-02-08 2022-12-27 Überwachungsvorrichtung für einen lagerbereich, intralogistikanordnung mit der überwachungsvorrichtung sowie überwachungsverfahren

Country Status (2)

Country Link
DE (1) DE102022201311A1 (de)
WO (1) WO2023151856A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223859A1 (de) 2016-11-30 2018-05-30 Robert Bosch Gmbh Kamera zur Überwachung eines Überwachungsbereiches und Überwachungsvorrichtung sowie Verfahren zur Überwachung eines Überwachungsbereiches

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223859A1 (de) 2016-11-30 2018-05-30 Robert Bosch Gmbh Kamera zur Überwachung eines Überwachungsbereiches und Überwachungsvorrichtung sowie Verfahren zur Überwachung eines Überwachungsbereiches

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DÖRR LAURA ET AL: "Fully-Automated Packaging Structure Recognition in Logistics Environments", 11 August 2020 (2020-08-11), pages 1 - 9, XP093026618, Retrieved from the Internet <URL:https://arxiv.org/pdf/2008.04620.pdf> [retrieved on 20230223], DOI: 10.48550/arxiv.2008.04620 *
LIU GANG ET AL: "Road Scene Recognition of Forklift AGV Equipment Based on Deep Learning", PROCESSES, vol. 9, no. 11, 31 October 2021 (2021-10-31), pages 1955, XP093026622, DOI: 10.3390/pr9111955 *

Also Published As

Publication number Publication date
DE102022201311A1 (de) 2023-08-10

Similar Documents

Publication Publication Date Title
EP3177889B1 (de) Vorrichtung und verfahren zur volumenbestimmung eines durch ein flurförderzeug bewegten objekts
EP2439487B1 (de) Volumenmessvorrichtung für bewegte Objekte
EP2526378B1 (de) Verfahren und system zum erfassen der position eines fahrzeuges
EP3044760B1 (de) Verfahren zur analyse der verteilung von objekten in freien warteschlangen
EP2668118B1 (de) Vorrichtung und verfahren zur erfassung des warenbestandes eines regallagers, und verwendung eines computerprogrammprodukts in einem solchen regallager
EP3625740B1 (de) Vorrichtung und verfahren zum steuern eines materialflusses an einem materialfluss-knotenpunkt
DE102008027646A1 (de) System zur automatischen Steuerung der Einlagerung und/oder Kommissionierung in automatisierten Kleinteilelagern mittels Kameras
WO2005033734A1 (de) Transponderunterstütztes positioniersystem
EP2385014B1 (de) Flurförderzeug mit einer Einrichtung zur Identifizierung eines geladenen Transportgutes, und Verfahren zur Identifizierung eines geladenen Transportgutes eines Flurförderzeugs
EP3696135B1 (de) Gabelstapler und system mit gabelstapler zur identifikation einer ware
DE102020112825A1 (de) Verfahren zum Erfassen von relevanten statischen Objekten innerhalb einer Fahrspur sowie Recheneinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs
EP3454158B1 (de) Verfahren und vorrichtung zur navigation eines flurförderzeugs
EP3977225B1 (de) Verfahren zur erstellung einer umgebungskarte für die verwendung bei der autonomen navigation eines mobilen roboters
WO2008107150A1 (de) Überwachungssystem, insbesondere zur analyse des füllstands von regalen
WO2023151856A1 (de) Überwachungsvorrichtung für einen lagerbereich, intralogistikanordnung mit der überwachungsvorrichtung sowie überwachungsverfahren
EP4128017A1 (de) Mobiles system und verfahren zum betreiben eines mobilen systems
DE102019203484A1 (de) Verfahren, Vorrichtung und System zur Navigation autonomer Fahrzeuge
DE102021116177A1 (de) System und Verfahren zur Erkennung und Vermeidung von Bildfehlern
EP4258194A1 (de) Verfahren und system zum kontrollieren einer bewegung von transporteinheiten
DE102011110132B4 (de) Verfahren zur automatischen Identifizierung fehlender oder nicht gelesener Ladungsgüter einer Ladeinheit
EP4154219A1 (de) Materialflusssteuerung mit virtuellen sensoren
WO2023110341A1 (de) Verfahren zur erzeugung einer umgebungskarte für einen mobilen logistik-roboter und mobiler logistik-roboter
DE112020005958T5 (de) System und Verfahren zum Zählen und Überwachen von Behältern
DE112021005073T5 (de) Flexibles, robotergestütztes automatisches lagerungs- und wiederauffindungssystem
DE102023003260A1 (de) Verfahren zur Detektion eines Objekts durch ein mobiles System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22830894

Country of ref document: EP

Kind code of ref document: A1