WO2023001542A1 - Method and system for monitoring a loading compartment - Google Patents

Method and system for monitoring a loading compartment Download PDF

Info

Publication number
WO2023001542A1
WO2023001542A1 PCT/EP2022/068570 EP2022068570W WO2023001542A1 WO 2023001542 A1 WO2023001542 A1 WO 2023001542A1 EP 2022068570 W EP2022068570 W EP 2022068570W WO 2023001542 A1 WO2023001542 A1 WO 2023001542A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
devices
sensor
subsystem
measuring
Prior art date
Application number
PCT/EP2022/068570
Other languages
German (de)
French (fr)
Inventor
Konrad Feyerabend
Sebastian Kühne
Gafur Zymeri
Original Assignee
Zf Cv Systems Global Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Cv Systems Global Gmbh filed Critical Zf Cv Systems Global Gmbh
Publication of WO2023001542A1 publication Critical patent/WO2023001542A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the invention relates to a method and a system for monitoring a cargo space.
  • Such monitoring is often carried out by measuring, scanning or otherwise identifying the objects or parts of cargo which are loaded into a hold before or during loading.
  • Methods are known in which cameras are mounted on forklifts, for example, which scan the individual pieces of charge during loading and add up the results to give a total charge or a degree of filling within the hold.
  • RFID radio frequency identification, radio wave identification
  • DE 102016010881 A1 discloses a vehicle body in which a detection device, for example a camera or a laser scanner with an exposure unit, is arranged inside the loading space, and in which an evaluation unit is provided which determines and transmits the reflection time for each light signal emitted to an object forwards a data processing unit. From there, the data is forwarded to a telematics unit, in which the data is further processed to create a three-dimensional representation of the cargo area.
  • a detection device for example a camera or a laser scanner with an exposure unit
  • an evaluation unit determines and transmits the reflection time for each light signal emitted to an object forwards a data processing unit. From there, the data is forwarded to a telematics unit, in which the data is further processed to create a three-dimensional representation of the cargo area.
  • EP 3232404 A1 discloses a method and a system for measuring the dimensions of a target object or part of a load on a pallet or on a carrier, using a sensor or a depth-sensitive camera to determine a 3D data set that uses depth data, i.e Distance data (distance from the sensor) describing the three-dimensional, physical space occupied by the target object.
  • a disadvantage of the systems and methods known in the state of the art is that the assessment of the state of the loading space is generally only based on the results of a single measurement method or a calculation method.
  • the results of such measurements and electronic processing are often faulty, so that in many cases it is very difficult to make a reliable statement about the condition of the hold, even if such individual measurements are supplemented by manual activities or observations during loading or unloading.
  • the object of the present invention was therefore to provide an improved and fully automated method and an improved automated system for monitoring cargo holds, with reliable results for determining and monitoring a cargo hold being delivered and with the method and system being usable for cargo holds of any design.
  • the interior of the hold is measured three-dimensionally with at least one distance-measuring, depth-sensitive sensor and the 3D data describing the measuring points or measuring point sets are stored as a measuring data set.
  • This amount of measurement data and other data and results that can be determined with regard to the cargo space from different sensor and measurement devices and different data processing devices are transmitted via data communication devices to computing or evaluation devices that have predetermined or self-learning programs or algorithms, with the help of which the amount of measurement data can be compared with the other Data from one of the institutions in the sense of a "data fusion" (data fusion) are brought together and / or completed.
  • the merged and/or completed data is processed into a result data set that represents the current load status of the cargo space.
  • the method according to the invention uses data fusion, namely the combination of sensor data and other data in order to generate more precise, clearer and more consistent information than would be possible by evaluating data from just one data source.
  • the other data merged with the original quantity of measured data according to the procedure are data relating to the cargo hold itself, its surroundings, the logistical connection of the cargo hold with other cargo holds, as well as activities, planning and logistical and logical connections among one another relating to the cargo hold.
  • data from image processing of recordings of the cargo hold 3D data from a three-dimensional survey of the cargo hold, data describing the fill level of a cargo hold, data on volume or space requirements for the cargo, individual recognition of cargo objects, dimensions and position of objects within the loading space, person detection, motion detection, data from a device for door opening detection, data for loading space detection or for loading space size and dimensions, etc. are suitable as possible data for merging with the current measurement data set.
  • the method according to the invention makes it possible to consider and evaluate several detection and assessment processes in parallel and to use them to develop a result data set that also automatically describes the dynamic behavior of changes in the cargo hold in real time and provides a secure basis for assessing the actual current loading space condition and for further planning.
  • a system that is particularly suitable for carrying out the method according to the invention has one or more devices from the group of
  • the devices from these groups are combined in a system architecture, with at least one distance-measuring sensor being provided from the group of sensor and measuring devices, with which a three-dimensional measurement of the loading space can be carried out, the 3D data describing the measuring points or measuring point sets of the measurement be stored as a quantity of measurement data, namely as a so-called 3D point cloud (3D point cloud) or 3D point cluster (3D point duster), with the storage and, for example, further processing being carried out in a computing device from the group of computing or evaluation devices.
  • 3D point cloud 3D point cloud
  • 3D point duster 3D point cluster
  • the measurement data set can then be combined with other data from one of the facilities using a predetermined algorithm, preferably with the completion of the measurement data set using a data fusion method, as described above, with the combined and/or completed data being combined and/or completed in at least one of the facilities to form a den Current load status of the hold representing result data set can be processed.
  • the system architecture has one or more of the following subsystems (subsystems), namely a) a subsystem for providing the sensor data (sensor data provision/Sens/ng Data Provider (SDP)), b) a subsystem for provision of algorithms for the collection and processing of data (algorithmic detection/algorithmic detection application (ADA)), c) a sub-system for the provision of data, meta data and parameters affecting the load space monitoring, planning and business data, logistics data and profitability data (business logic application (BLA )), d) a subsystem for providing programs and algorithms for data fusion and data management (cloud server-based data fusion and processing/C/ouc/ data fusion & processing), with the devices from the group of sensor and measuring devices, data processing devices, the arithmetic or evaluation unit ments and the data communication facilities are each assigned to one or more of the subsystems.
  • subsystems subsystem for providing the sensor data
  • SDP sensor data provision/Sens/ng Data Provider
  • ADA algorithmic detection
  • the sub-system for providing the sensor data is also referred to by the English term “sensing data provider” (SDP) and describes an interaction and/or a combination of sensor and measuring devices and systems as well as the provision or transmission of their measurement results or signals , especially to other subsystems.
  • SDP sensing data provider
  • such a subsystem has sensors and measuring devices that continuously carry out measurements and provide the associated measurement results on request.
  • the measurement data or measurement results would consist of 3D data exist, which describe all determined surfaces and objects in a hold.
  • measurement results or measurement data from acceleration sensors (weight measurement or change of location) or data from antennas or receiving devices that recognize RFID tags or other identifiers can be transmitted.
  • the subsystem for providing algorithms for the acquisition and processing of data is also referred to as "Algorithmic Detection Application” (ADA) and describes an interaction and/or a combination of executable algorithms and software-based methods, whereby the data determined, e.g. measurement data, are processed and combined and summarized with data from various other sources, after which the results are also made available or transmitted, in particular to other subsystems.
  • ADA Algorithmic Detection Application
  • the subsystem for the provision of data, metadata and parameters, planning and business data, logistics data and profitability data affecting the load space monitoring is also referred to by the English term "Business Logic Application” (BLA) and describes an interaction and/or a combination of executable algorithms and software-based methods that verify the data determined by the other subsystems using, for example, model calculations, compare existing loading space dimensions with desired loading space dimensions, or check a relation of received RFID identification data from cargo parts to the existing loading space. Data fusion methods are also used here.
  • the subsystem for providing programs and algorithms for data fusion and data management (cloud server-based data fusion and processing) is also referred to as “Cloud Data Fusion &Processing" and describes an interaction and/or a combination of executable algorithms and software-based processes , which summarize, weight, evaluate and visualize the determined results of the other subsystems, if necessary also including web-based connections of external software for processing.
  • Such a system architecture allows the various measurement tasks and processes that can be carried out by the group of devices to be set up in a structure that allows the system according to the invention to be used without extensive new devices for any application and for use with any measurement technology, and any type of Adapt data processing technology and data transmission.
  • a further advantageous embodiment of the system is that the devices or subsystems can provide data that describes the status of the loading space doors with regard to the events “door open”, “door partially open” and “door closed”.
  • Checking and recording the condition of the doors and door areas is a particular focus when monitoring the cargo space and is very important, for example, for refrigerated transport or the transport of sensitive goods, including animals, etc., and is last but not least to prevent theft or unauthorized access to the cargo required.
  • a further advantageous embodiment of the system is that the devices or subsystems can provide data that describes the positions and dimensions of objects or cargo parts present in the cargo space and their temporal and spatial changes within the cargo space hold.
  • data can be provided, for example, using a method in which the interior of the hold is periodically measured in three dimensions with at least one distance-measuring, depth-sensitive sensor and the respective measurement result is stored in the form of 3D data as a data volume (3D point cloud, 3D point cloud). , whereby the 3D data of locally corresponding measuring points or sets of measuring points are compared by means of an algorithm in a computing or evaluation unit Changes descriptive further processable signal is provided.
  • a similarly advantageous configuration of the system is that the devices or subsystems can provide data that describes the area requirements and/or the volumes of objects or cargo parts and their relationship to the existing cargo space area or the existing volume.
  • a further advantageous embodiment of the system consists in the fact that dynamic changes of a temporal or spatial nature within the cargo space can be identified by the subsystem b) for providing algorithms for the acquisition and processing of data.
  • the sub-system b) contains an area or another sub-system for scene and scenario type detection, which can be referred to as "Scene and Scenario Type Detection" (SSTD) and an interaction and/or a combination of executable algorithms and software based method, whereby it can be determined whether a static or a dynamic state is present in the observation space and whether an object is closer or further away from the sensor.
  • SSTD scene and scenario type detection
  • an interaction and/or a combination of executable algorithms and software based method whereby it can be determined whether a static or a dynamic state is present in the observation space and whether an object is closer or further away from the sensor.
  • a further advantageous embodiment of the system consists in that the subsystem b) for providing algorithms for the acquisition and processing of data can be used to adapt and set the sensor parameters as a function of the state of the loading space.
  • the sub-system b) contains an area or another sub-system for sensor recording and scene adaptation parameterization, which can be referred to by the English term "Sensing and Scene Adaptation Parameterization" (SSAP) and an interaction and/or a combination of executable algorithms and on software includes based methods, through which, for example, an adjustment of the sensors with regard to exposure times for cameras or in adjustment to the distance from objects can be carried out.
  • SSAP Sensor and Scene Adaptation Parameterization
  • a further advantageous embodiment of the system consists in the distance-measuring sensor provided from the group of sensor and measuring devices being designed as an optical depth sensor, preferably as a time-of-flight camera (TOF camera) or stereo camera.
  • TOF camera for example, provides the distance of the object imaged on it for each pixel. An entire scene can be recorded at once without having to scan individually, which of course leads to faster processing of the corresponding signals.
  • the senor is designed as a LiDAR sensor (light imaging, detection and ranging) or a laser scanner (light amplification by stimulated emission of radiation), which represents a cheaper alternative for raster scanning.
  • LiDAR sensor light imaging, detection and ranging
  • laser scanner light amplification by stimulated emission of radiation
  • a further advantageous embodiment of the system is that the result data set can be processed into a signal for other devices and/or into 3D data for a visual representation of the cargo space and/or the local assignment of the cargo parts, in particular for representing the current loading status a monitor or display device.
  • Such a display after appropriate mathematical processing of the 3D data, then provides easy-to-interpret images on a monitor that allow a very quick and intuitive assessment by a person inspecting the load.
  • the 3D data or result data can also be given to other subsequent systems.
  • FIG. 1 shows a schematic representation of a system according to the invention for monitoring a loading space.
  • the system 1 has a system architecture that consists of five subsystems 2 to 6, namely a) two subsystems 2 and 3 for providing sensor data (sensing data provider (SDP)), b) a subsystem 4 for providing algorithms for acquiring and processing data (algorithmic detection/algorithmic detection application (ADA)), c) one Subsystem 5 for the provision of data, metadata and parameters affecting the cargo space monitoring, planning and business data, logistics data and economic data (Business Logic Application (BLA)), d) a subsystem 6 for the provision of programs and algorithms for data fusion and data management (cloud server-based data fusion and processing /cloud data fusion & processing).
  • SDP sensor data provider
  • ADA algorithmic detection/algorithmic detection application
  • BLA Business Logic Application
  • a subsystem 6 for the provision of programs and algorithms for data fusion and data management (cloud server-based data fusion and processing /cloud data fusion & processing).
  • subsystem 2 which works as a sensing data provider (SDP) contains a total of three optical sensors, namely two sensors 2.1 and 2.2, each for providing data from a 3D sensor measuring the cargo space, here a TOF sensor in each case, and one sensor 2.3 to provide the 2D data from a 2D camera, which also measures the loading space.
  • SDP sensing data provider
  • subsystem 3 which also works as a "sensing data provider (SDP)" contains a total of three additional sensors, namely a weight sensor 3.1 and an RFID sensor 3.2 for providing corresponding data on load parts/objects present in the loading space, as well as an additional sensor 3.3, which transmits further data relating to the loading space, namely here data from a door monitor.
  • SDP sensing data provider
  • the subsystems 2 and 3 can also contain any kind of other sensors or assemblies of sensors.
  • the subsystem 4 working as an Algorithmic Detection Application (ADA) for providing algorithms for the acquisition and processing of measurement data includes a device 4.1 for receiving and pre-processing the data from the subsystems 2 and 3, namely a Sensing Data Receiver (SDR), and a device 4.2. for the preparatory merging and completion of the measurement data as part of a first data fusion process, namely a device called Sensing Pre-Data Fusion (SPDF).
  • SDR Sensing Data Receiver
  • SPDF Sensing Pre-Data Fusion
  • the subsystem 4 also has a device 4.3, namely a further system/subsystem for sensor recording and scene adaptation parameterization, through which, for example, an adjustment of the sensors with regard to exposure times and similar recording settings for cameras or in adjustment to the distance of objects can be carried out and which, as already described above, is denoted by the English term Sensing and Scene Adaptation Parametrization (SSAP).
  • SSAP Sensing and Scene Adaptation Parametrization
  • the subsystem 4 also has a device 4.4, namely a further system/subsystem for scene and scenario type recognition, which can be used to determine, for example, whether a static or a dynamic state is present in the observation space and whether an object is closer or further away from the sensor , whereby these results can also be combined and improved with other data sets from the other devices or subsystems.
  • device 4.4 is referred to as Scene and Scenario Type Detection (SSTD).
  • the subsystem 4 also has a device 4.6, namely a further system/subsystem for result data fusion post-processing and thus for summarizing and processing data/measurement data and results from the previous devices in the sense of a data fusion (Results Post-Data Fusion).
  • the sub-system 4 also has a device 4.7, namely a system/sub-system, through which the data determined so far are passed on to other sub-systems or, in a corresponding computer structure, to sub-systems that can continue to work with this data.
  • a further device 4.8 of the subsystem 4 contains a further system/subsystem, through which queries and requirements from the other devices and systems are processed and given to the correct executing points within the system architecture.
  • Device 4.8 is a “task receiver”, a so-called “task receiver”.
  • a further device 4.9 of the subsystem 4 contains a further system/subsystem, which processes specific dynamic parameters from the other devices and systems and sends them to further processing devices or systems within the system architecture, ie to the points provided for execution or further processing given within the system architecture.
  • this system manages the measurement data from the driving conditions of a vehicle transporting the cargo space, such as a truck, as well as individual user and payment conditions, including the vehicle speed.
  • a vehicle transporting the cargo space such as a truck
  • individual user and payment conditions including the vehicle speed.
  • the subsystem 4 has a further device 4.10 or a further system/subsystem for initialization and recalibration, with the aid of which automatic calibration of sensors, recognition of the number of sensors, selection of the correct system and also the execution of a manual calibration as well as physical changes of the sensors can be detected and managed.
  • Device 4.10 is therefore a so-called “Initialization and Re-Calibration” device.
  • the subsystem 5 for providing data, metadata and parameters, planning and business data, logistics data and profitability data influencing the cargo space monitoring initially includes a device 5.1 for further processing of results data and result data aggregation (Results Processing Aggregation), furthermore a device 5.2. for result data distribution and provision ⁇ Result Sharing), a device 5.3 for input data processing ⁇ Input Processing), a device 5.4 in the form of a setting and parameterization receiver (Thing of Interest Setting Rbob ⁇ nb ⁇ and a device 5.5 for sensor data fusion post-processing (Sensing Post-Data Fusion).
  • Subsystem 5 queries calculation results and measurement results from processing by the other subsystems, in particular results from subsystem 4 (algorithmic detection/algorithmic detection application) and updates and stores this data. For this purpose, the data from specific measuring devices of subsystems 2 and 3 (provision of sensor data (sensing data provider)) is also combined and completed.
  • Further processing steps of the data are also carried out by the subsystem 5 in order to obtain meaningful data.
  • data from different sensors are checked, compared and correlated.
  • the results are checked using target models or target information, for example a detected object or part of the load is compared with a result of the load space measurement.
  • a specific charging scheme can also be checked and compared with any planned charges. The same happens when checking between determined objects/parts of charge and the determined resulting charge area or the
  • subsystem 5 provides results and data for the next stages of processing.
  • the subsystem 6 has facilities for providing programs and algorithms for data fusion and data management, which enables cloud server-based data fusion and processing (Cloud Data Fusion & Processing).
  • the subsystem 6 contains a device for providing and presenting the result data, a device for processing input data and a device for further processing additional input data.
  • Subsystem 6 further summarizes and processes the data and results that were determined and processed in the devices of subsystem 5 . This is also where the visualization and presentation of the various results takes place, if necessary using web-based graphics applications. In addition, the sub-system 6 provides data in various formats for other external applications and can also bring other tasks or settings into the sub-system 5.
  • the respective devices of the subsystems described here are, for example, sensor and measuring devices, data processing devices, computing or evaluation devices or also data communication devices.
  • the to The devices belonging to the subsystems are variable and, depending on the programming/software, can be used by one or more subsystems.
  • the system architecture therefore describes less a "hard-wired system” but rather an adapted architecture or organizational structure of cooperating systems and facilities that is mapped in the software.
  • arrows shown in Fig. 1 describe the information flow, i.e. the data flow or the mutual influence of different devices of the subsystems on one another, as provided in this exemplary embodiment. Of course, other feedbacks or effects are also possible.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The invention relates to a method and system for monitoring a loading compartment, in which the interior of the loading compartment is measured three-dimensionally by at least one distance-measuring and depth-sensitive sensor and the associated 3D data are stored as a quantity of measurement data, the quantity of measurement data and further data and results which can be determined with regard to the loading compartment from further sensor and measuring devices and data processing devices being transmitted to computing or evaluation devices, which have predetermined or self-learning programs or algorithms, by means of which the quantity of measurement data is combined with and/or completed by the further data from one of the devices (data fusion), and the combined and/or completed data are processed to provide a result data set representing the current loading state of the loading compartment.

Description

Verfahren und System zur Überwachung eines Laderaums Method and system for monitoring a cargo hold
Beschreibung description
Die Erfindung betrifft ein Verfahren und ein System zur Überwachung eines Laderaums. The invention relates to a method and a system for monitoring a cargo space.
Die Überwachung von Laderäumen durch Überwachungssysteme, insbesondere durch elektronische Systeme, nimmt bei den heutigen Verkehrsströmen und den Anforderungen an die Logistik von Gütern einen immer breiteren Raum ein. Insbesondere die Laderäume von Lkw und von Containern stehen in dieser Hinsicht bei Flottenbetreibern, Speditionen und Versandhandel im Fokus und müssen möglichst effizient genutzt werden. Dazu sind in Abhängigkeit vom Befüllungsgrad des Laderaums auch die Be- und Entladevorgänge zu planen. The monitoring of loading spaces by monitoring systems, in particular by electronic systems, is becoming increasingly important with today's traffic flows and the demands placed on the logistics of goods. In this regard, the loading spaces of trucks and containers in particular are the focus of fleet operators, freight forwarders and mail order companies and must be used as efficiently as possible. Depending on how full the hold is, the loading and unloading processes must also be planned.
Oft wird eine solche Überwachung dadurch durchgeführt, dass die Objekte oder Ladungsteile, die in einen Laderaum verladen werden, vor oder während der Verladung gemessen, gescannt oder in anderer Weise bestimmt werden. So sind Verfahren bekannt, bei denen etwa Kameras an Gabelstaplern montiert sind, die während der Verladung die einzelnen Ladungsstücke scannen und die Ergebnisse zu einer Gesamtladung bzw. zu einem Füllungsgrad innerhalb des Laderaums aufaddieren. Andere Lösung arbeiten mit an Ladungsteilen befestigten RFID Tags/Etiketten (RFID = radio frequency Identification,· Funkwellen-Identifikation), die während der Verladung oder innerhalb des Laderaums von entsprechenden Antennen im Laderaum oder etwa im Verladebereich an der Rampe detektiert werden. Eine genaue Bestimmung eines örtlich bestimmten Ladungszustands innerhalb des Laderaums ist dadurch nur bedingt möglich. Zudem erfordern solche Verfahren relativ viele Einrichtungen in der gesamten die Ladung umgebenden Infrastruktur, d. h. an Ladestellen, Rampen, an Ladefahrzeugen etc., die dann natürlich in einer geeigneten Form erst zusammengefasst und bewertet werden müssen. Such monitoring is often carried out by measuring, scanning or otherwise identifying the objects or parts of cargo which are loaded into a hold before or during loading. Methods are known in which cameras are mounted on forklifts, for example, which scan the individual pieces of charge during loading and add up the results to give a total charge or a degree of filling within the hold. Other solutions work with RFID tags/labels attached to parts of the load (RFID = radio frequency identification, radio wave identification), which are detected during loading or inside the hold by corresponding antennas in the hold or, for example, in the loading area on the ramp. An exact determination of a locally determined state of charge within the hold is therefore only possible to a limited extent. In addition, such methods require a relatively large number of facilities throughout the charge surrounding infrastructure, ie at loading points, ramps, loading vehicles, etc., which of course must first be summarized and evaluated in a suitable form.
Im Stand der Technik sind auch Verfahren bekannt, bei denen Laderäume mit Hilfe rechnergestützter Verfahren und Systeme überwacht werden. Methods are also known in the prior art in which cargo spaces are monitored with the aid of computer-aided methods and systems.
Die DE 102016010881 A1 offenbart dazu einen Fahrzeugaufbau, bei dem innerhalb des Laderaums eine Erkennungseinrichtung angeordnet ist, beispielsweise eine Kamera oder ein Laserscanner mit einer Belichtungseinheit, und bei dem eine Auswerteeinheit vorgesehen ist, die die Reflektionszeit für jedes zu einem Objekt ausgesandte Lichtsignal ermittelt und an eine Daten verarbeitungseinheit weiterleitet. Von dort werden die Daten weitergeleitet zu einer Telematik-Einheit, in der die Daten zu einer dreidimensionalen Darstellung des Laderaums weiterverarbeitet werden. DE 102016010881 A1 discloses a vehicle body in which a detection device, for example a camera or a laser scanner with an exposure unit, is arranged inside the loading space, and in which an evaluation unit is provided which determines and transmits the reflection time for each light signal emitted to an object forwards a data processing unit. From there, the data is forwarded to a telematics unit, in which the data is further processed to create a three-dimensional representation of the cargo area.
Die EP 3232404 A1 offenbart ein Verfahren und ein System für die Vermessung der Dimensionen eines Zielobjektes bzw. eines Ladungsteils auf einer Palette oder auf einem Träger, wobei mithilfe eines Sensors oder einer tiefenempfindlichen Kamera ein 3D-Datensatz ermittelt wird, der mithilfe von Tiefendaten, also Abstandsdaten (Abstand vom Sensor), den dreidimensionalen, physikalischen Raum beschreibt, den das Zielobjekt einnimmt. EP 3232404 A1 discloses a method and a system for measuring the dimensions of a target object or part of a load on a pallet or on a carrier, using a sensor or a depth-sensitive camera to determine a 3D data set that uses depth data, i.e Distance data (distance from the sensor) describing the three-dimensional, physical space occupied by the target object.
Nachteilig bei den im Stand der Technik bekannten Systemen und Verfahren ist es, dass der Beurteilung des Laderaumzustands in aller Regel nur die Ergebnisse eines einzigen Messverfahrens oder einer Berechnungsmethodik zugrunde liegen. Die Ergebnisse solcher Messungen und elektronischer Verarbeitungen sind jedoch oft fehlerbehaftet, sodass in vielen Fällen eine sichere Aussage über den Zustand des Laderaums selbst dann sehr schwierig ist, wenn solche Einzelmessungen durch manuelle Tätigkeiten oder Beobachtungen während der Verladung oder Entladung ergänzt werden. Die Aufgabe der vorliegenden Erfindung bestand demnach in der Bereitstellung eines verbesserten und vollständig automatisierten Verfahrens sowie eines verbesserten automatisierten Systems zur Überwachung von Laderäumen, wobei sichere Ergebnisse zur Bestimmung und Überwachung eines Laderaums geliefert und wobei Verfahren und System für beliebig ausgebildeten Laderäume einsetzbar sind. A disadvantage of the systems and methods known in the state of the art is that the assessment of the state of the loading space is generally only based on the results of a single measurement method or a calculation method. However, the results of such measurements and electronic processing are often faulty, so that in many cases it is very difficult to make a reliable statement about the condition of the hold, even if such individual measurements are supplemented by manual activities or observations during loading or unloading. The object of the present invention was therefore to provide an improved and fully automated method and an improved automated system for monitoring cargo holds, with reliable results for determining and monitoring a cargo hold being delivered and with the method and system being usable for cargo holds of any design.
Gelöst wird diese Aufgabe durch die Merkmale der unabhängigen Ansprüche 1 und 2. Weitere vorteilhafte Ausbildungen sind in den Unteransprüchen offenbart. This object is solved by the features of independent claims 1 and 2. Further advantageous developments are disclosed in the dependent claims.
Dabei wird nach dem erfindungsgemäßen Verfahren das Innere des Laderaums mit mindestens einem abstandsmessenden, tiefenempfindlichen Sensor dreidimensional vermessen und die die Messpunkte oder Messpunktmengen beschreibenden 3D-Daten werden als Messdatenmenge gespeichert. Diese Messdatenmenge sowie weitere in Hinblick auf den Laderaum ermittelbare Daten und Ergebnisse Unterschiedlicherweiterer Sensor- und Messeinrichtungen sowie unterschiedlicher Datenverarbeitungseinrichtungen werden über Daten- Kommunikationseinrichtungen an Rechen- oder Auswerteeinrichtungen übertragen, die vorgegebene oder selbstlernende Programme oder Algorithmen aufweisen, mit deren Hilfe die Messdatenmenge mit den weiteren Daten aus einer der Einrichtungen im Sinne einer „Datenfusion“ ( data fusion) zusammengeführt und/oder vervollständigt werden. Die zusammengeführten und/oder vervollständigten Daten werden dabei zu einem Ergebnis-Datensatz verarbeitet, der den aktuellen Beladungszustand des Laderaums darstellt. According to the method according to the invention, the interior of the hold is measured three-dimensionally with at least one distance-measuring, depth-sensitive sensor and the 3D data describing the measuring points or measuring point sets are stored as a measuring data set. This amount of measurement data and other data and results that can be determined with regard to the cargo space from different sensor and measurement devices and different data processing devices are transmitted via data communication devices to computing or evaluation devices that have predetermined or self-learning programs or algorithms, with the help of which the amount of measurement data can be compared with the other Data from one of the institutions in the sense of a "data fusion" (data fusion) are brought together and / or completed. The merged and/or completed data is processed into a result data set that represents the current load status of the cargo space.
Das erfindungsgemäße Verfahren wendet die Datenfusion an, nämlich die Zusammenführung von Sensordaten und weiteren Daten, um eine genauere, klarere und konsistentere Information zu erzeugen, als sie durch die Auswertung von Daten nur einer Datenquelle möglich wäre. Die weiteren, mit der ursprünglichen Messdatenmenge verfahrensgemäß zusammengeführten Daten sind dabei Daten, welche den Laderaum selbst, dessen Umgebung, die logistische Verknüpfung des Laderaums mit anderen Laderäumen sowie den Laderaum betreffende Tätigkeiten, Planungen und logistische sowie logische Verknüpfungen untereinander betreffen. The method according to the invention uses data fusion, namely the combination of sensor data and other data in order to generate more precise, clearer and more consistent information than would be possible by evaluating data from just one data source. The other data merged with the original quantity of measured data according to the procedure are data relating to the cargo hold itself, its surroundings, the logistical connection of the cargo hold with other cargo holds, as well as activities, planning and logistical and logical connections among one another relating to the cargo hold.
So sind beispielsweise Daten aus einer Bildverarbeitung von Aufnahmen des Laderaums, 3D-Daten aus einer dreidimensionalen Vermessung des Laderaums, Daten, die den Füllgrad eine Laderaums beschreiben, Daten über Volumen bzw. Flächenbedarf für die Ladung, Einzelerkennung von Ladungsobjekten, Abmessungen und Position von Objekten innerhalb des Laderaums, Personenerkennung, Bewegungserkennung, Daten einer Einrichtung zur Türöffnungserkennung, Daten zur Laderaumerkennung oder zur Laderaumgröße und -abmessung, usw. als mögliche Daten für die Zusammenführung mit der aktuellen Messdatenmenge geeignet. For example, data from image processing of recordings of the cargo hold, 3D data from a three-dimensional survey of the cargo hold, data describing the fill level of a cargo hold, data on volume or space requirements for the cargo, individual recognition of cargo objects, dimensions and position of objects within the loading space, person detection, motion detection, data from a device for door opening detection, data for loading space detection or for loading space size and dimensions, etc. are suitable as possible data for merging with the current measurement data set.
Durch das erfindungsgemäße Verfahren ist es möglich, mehrere Erkennungs- und Beurteilungsprozesse parallel zu betrachten und auszuwerten und daraus einen Ergebnis-Datensatz zu erarbeiten, der automatisiert in Echtzeit auch das dynamische Verhalten von Veränderungen im Laderaum beschreibt und der eine abgesicherte Grundlage für die Beurteilung des tatsächlichen aktuellen Laderaumzustands und für weitere Planungen liefert. The method according to the invention makes it possible to consider and evaluate several detection and assessment processes in parallel and to use them to develop a result data set that also automatically describes the dynamic behavior of changes in the cargo hold in real time and provides a secure basis for assessing the actual current loading space condition and for further planning.
Ein zur Durchführung des erfindungsgemäßen Verfahrens besonders geeignetes System weist eine oder mehrere Einrichtungen auf aus der Gruppe der A system that is particularly suitable for carrying out the method according to the invention has one or more devices from the group of
- Sensor- und Messeinrichtungen, - sensor and measuring devices,
- Datenverarbeitungseinrichtungen, insbesondere solcher mit programmierten Algorithmen zur Modellrechnung, - Data processing devices, in particular those with programmed algorithms for model calculations,
- Rechen- oder Auswerteeinrichtungen, insbesondere solcher mit Programmen oder Algorithmen zur Zusammenführung und/oder Vervollständigung von Datensätzen (Datenfusion) und der - Computing or evaluation devices, in particular those with programs or algorithms for merging and/or completing data sets (data fusion) and the
- Daten-Kommunikationseinrichtungen. Die Einrichtungen aus diesen Gruppen sind dabei in einer Systemarchitektur zusammengefasst, wobei aus der Gruppe der Sensor- und Messeinrichtungen mindestens ein abstandsmessender Sensor vorgesehen ist, mit dem eine dreidimensionale Vermessung des Laderaums durchführbar ist, wobei die die Messpunkte oder Messpunktmengen der Vermessung beschreibenden 3D-Daten als Messdatenmenge gespeichert werden, nämlich als so genannte 3D- Punktwolke (3D point cloud) oder 3D-Punktcluster (3D point duster), wobei die Speicherung wie z.B. auch die weitere Verarbeitung in einer Recheneinrichtung aus der Gruppe der Rechen- oder Auswerteeinrichtungen erfolgt. - Data communication facilities. The devices from these groups are combined in a system architecture, with at least one distance-measuring sensor being provided from the group of sensor and measuring devices, with which a three-dimensional measurement of the loading space can be carried out, the 3D data describing the measuring points or measuring point sets of the measurement be stored as a quantity of measurement data, namely as a so-called 3D point cloud (3D point cloud) or 3D point cluster (3D point duster), with the storage and, for example, further processing being carried out in a computing device from the group of computing or evaluation devices.
Mithilfe des erfindungsgemäßen Systems ist dann die Messdatenmenge mittels eines vorgegebenen Algorithmus mit weiteren Daten aus einer der Einrichtungen zusammenführbar, vorzugsweise unter Vervollständigung der Messdatenmenge durch ein Datenfusionsverfahren, wie oben beschrieben, wobei die zusammengeführten und/oder vervollständigten Daten in mindestens einer der Einrichtungen zu einem den aktuellen Beladungszustand des Laderaums darstellenden Ergebnis-Datensatz verarbeitbar sind. With the help of the system according to the invention, the measurement data set can then be combined with other data from one of the facilities using a predetermined algorithm, preferably with the completion of the measurement data set using a data fusion method, as described above, with the combined and/or completed data being combined and/or completed in at least one of the facilities to form a den Current load status of the hold representing result data set can be processed.
Es sei hier darauf hingewiesen, dass die Beschreibungen der Merkmale von computerimplementierten Erfindungen heutzutage kaum mehr möglich ist, ohne sich Ausdrücken der englischen Sprache zu bedienen. So wird auch im Weiteren bei der Beschreibung der System und Untersysteme zum Teil auf Ausdrücke aus der englischen Sprache zurückgegriffen, jedoch mit einer klarstellenden Beschreibung der Funktionsweise versehen. Der guten Ordnung halber und mit der Maßgabe, dass eine Patentschrift nicht zuletzt auch ihr eigenes Lexikon darstellt, schließt sich an das Ausführungsbeispiel auch eine Übersetzungstabelle an. Eine vorteilhafte Ausbildung des Systems besteht darin, dass die Systemarchitektur eines oder mehrere der folgenden Untersysteme (Subsysteme) aufweist, nämlich a) ein Untersystem zur Bereitstellung der Sensordaten (Sensordatenbereitstellung/Sens/ng Data Provider (SDP)), b) ein Untersystem zur Bereitstellung von Algorithmen zur Erfassung und Aufarbeitung von Daten (Algorithmische Detektierung /Algorithmic Detection Application (ADA)), c) ein Untersystem zur Bereitstellung von die Laderaumüberwachung beeinflussenden Daten, Metadaten und Parametern, Planungs- und Geschäftsdaten, Logistikdaten und Wirtschaftlichkeitsdaten ( Business Logic Application (BLA)), d) ein Untersystem zur Bereitstellung von Programmen und Algorithmen zur Datenfusion und zum Datenmanagement (cloudserverbasierte Datenfusion und -verarbeitung/C/ouc/ Data Fusion & Processing), wobei die Einrichtungen aus der Gruppe der Sensor- und Messeinrichtungen, der Datenverarbeitungseinrichtungen, der Rechen- oder Auswerteeinrichtungen und der Daten-Kommunikationseinrichtungen jeweils einem oder mehreren der Untersysteme zugeordnet sind. It should be pointed out here that the descriptions of the features of computer-implemented inventions are nowadays hardly possible without using expressions in the English language. In the following description of the system and subsystems, some expressions from the English language are also used, but with a clarifying description of how they work. For the sake of good order and with the proviso that a patent also represents its own encyclopedia, the exemplary embodiment is also followed by a translation table. An advantageous embodiment of the system is that the system architecture has one or more of the following subsystems (subsystems), namely a) a subsystem for providing the sensor data (sensor data provision/Sens/ng Data Provider (SDP)), b) a subsystem for provision of algorithms for the collection and processing of data (algorithmic detection/algorithmic detection application (ADA)), c) a sub-system for the provision of data, meta data and parameters affecting the load space monitoring, planning and business data, logistics data and profitability data (business logic application (BLA )), d) a subsystem for providing programs and algorithms for data fusion and data management (cloud server-based data fusion and processing/C/ouc/ data fusion & processing), with the devices from the group of sensor and measuring devices, data processing devices, the arithmetic or evaluation unit ments and the data communication facilities are each assigned to one or more of the subsystems.
Das Untersystem zur Bereitstellung der Sensordaten (Sensordatenbereitstellung) wird auch mit dem englischen Begriff „Sensing Data Provider " (SDP) bezeichnet und beschreibt ein Zusammenwirken und/oder einen Zusammenschluss von Sensor- und Messeinrichtungen und -Systemen sowie die Bereitstellung oder Übermittlung ihrer Messergebnisse oder Signale, insbesondere an andere Untersysteme. The sub-system for providing the sensor data (sensor data provision) is also referred to by the English term "sensing data provider" (SDP) and describes an interaction and/or a combination of sensor and measuring devices and systems as well as the provision or transmission of their measurement results or signals , especially to other subsystems.
Ein solches Untersystem (SDP) weist je nach angewandter Technologie Sensoren und Messeinrichtungen auf, die kontinuierlich Messungen durchführen und die zugehörigen Messergebnisse auf Abfrage bereitstellen. So würden im Falle eines tiefenempfindlichen Sensors die Messdaten oder Messergebnisse aus 3D-Daten bestehen, welche alle ermittelten Oberflächen und Objekte in einem Laderaum beschreiben. Ebenso können beispielsweise Messergebnisse oder Messdaten von Beschleunigungssensoren (Gewichtsmessung oder Ortsänderung) oder Daten von Antennen oder Empfangseinrichtungen, die RFID-Tags oder andere Kennzeichnungen erkennen, übermittelt werden. Depending on the technology used, such a subsystem (SDP) has sensors and measuring devices that continuously carry out measurements and provide the associated measurement results on request. In the case of a depth-sensitive sensor, the measurement data or measurement results would consist of 3D data exist, which describe all determined surfaces and objects in a hold. Likewise, for example, measurement results or measurement data from acceleration sensors (weight measurement or change of location) or data from antennas or receiving devices that recognize RFID tags or other identifiers can be transmitted.
Das Untersystem zur Bereitstellung von Algorithmen zur Erfassung und Aufarbeitung von Daten (algorithmische Detektierung) wird auch mit dem englischen Begriff „Algorithmic Detection Application“ (ADA) bezeichnet und beschreibt ein Zusammenwirken und/oder einen Zusammenschluss von ausführbaren Algorithmen und auf Software basierenden Verfahren, wodurch die ermittelten Daten, z.B. Messdaten, verarbeitet und mit Daten verschiedener weiterer Quellen kombiniert und zusammengefasst werden, wonach ebenfalls die Bereitstellung oder Übermittlung der Ergebnisse insbesondere an andere Untersysteme erfolgt. The subsystem for providing algorithms for the acquisition and processing of data (algorithmic detection) is also referred to as "Algorithmic Detection Application" (ADA) and describes an interaction and/or a combination of executable algorithms and software-based methods, whereby the data determined, e.g. measurement data, are processed and combined and summarized with data from various other sources, after which the results are also made available or transmitted, in particular to other subsystems.
Dazu sind diesem und auch den übrigen Untersystemen eine Reihe von Datenverarbeitungseinrichtungen, Rechen- oder Auswerteeinrichtungen und Daten-Kommunikationseinrichtungen zugeordnet. For this purpose, a number of data processing devices, computing or evaluation devices and data communication devices are assigned to this and also to the other subsystems.
Das Untersystem zur Bereitstellung von die Laderaumüberwachung beeinflussenden Daten, Metadaten und Parametern, Planungs- und Geschäftsdaten, Logistikdaten und Wirtschaftlichkeitsdaten wird auch mit dem englischen Begriff „Business Logic Application“ (BLA) bezeichnet und beschreibt ein Zusammenwirken und/oder einen Zusammenschluss von ausführbaren Algorithmen und auf Software basierenden Verfahren, welche die ermittelten Daten der anderen Untersysteme anhand von z.B. Modellrechnungen verifizieren, vorhandene Laderaumabmessungen mit gewünschten Laderaumabmessungen abgleichen oder eine Relation von erhaltenen RFID-Erkennungsdaten von Ladungsteilen zu vorhandenem Laderaum prüfen. Auch hier werden Datenfusionsverfahren genutzt. Das Untersystem zur Bereitstellung von Programmen und Algorithmen zur Datenfusion und zum Datenmanagement (cloudserverbasierte Datenfusion und -Verarbeitung) wird auch mit dem englischen Begriff „Cloud Data Fusion & Processing bezeichnet und beschreibt ein Zusammenwirken und/oder einen Zusammenschluss von ausführbaren Algorithmen und auf Software basierenden Verfahren, welche die ermittelten Ergebnisse der anderen Untersysteme zusammenfassen, gewichten, werten und visualisieren, ggf. auch unter Einbeziehung webbasierter Anbindungen externer Software zur Verarbeitung. The subsystem for the provision of data, metadata and parameters, planning and business data, logistics data and profitability data affecting the load space monitoring is also referred to by the English term "Business Logic Application" (BLA) and describes an interaction and/or a combination of executable algorithms and software-based methods that verify the data determined by the other subsystems using, for example, model calculations, compare existing loading space dimensions with desired loading space dimensions, or check a relation of received RFID identification data from cargo parts to the existing loading space. Data fusion methods are also used here. The subsystem for providing programs and algorithms for data fusion and data management (cloud server-based data fusion and processing) is also referred to as "Cloud Data Fusion &Processing" and describes an interaction and/or a combination of executable algorithms and software-based processes , which summarize, weight, evaluate and visualize the determined results of the other subsystems, if necessary also including web-based connections of external software for processing.
Eine solche Systemarchitektur erlaubt es, die verschiedenen Messaufgaben und Prozesse, die durch die Gruppe der Einrichtungen durchführbar sind, in einer Struktur aufzubauen, die es ohne umfangreiche Neueinrichtungen ermöglicht, das erfindungsgemäße System für jedweden Anwendungsfall und zur Verwendung mit jedweder Messtechnik, sowie jeder Art von Datenverarbeitungstechnik und Datenübermittlung anzupassen. Such a system architecture allows the various measurement tasks and processes that can be carried out by the group of devices to be set up in a structure that allows the system according to the invention to be used without extensive new devices for any application and for use with any measurement technology, and any type of Adapt data processing technology and data transmission.
Eine weitere vorteilhafte Ausbildung des Systems besteht darin, dass durch die Einrichtungen oder Untersysteme Daten bereitstellbar sind, die den Zustand der Laderaumtüren in Hinblick auf die Ereignisse „Tür geöffnet“, „Tür teilweise geöffnet“ und „Tür geschlossen“ beschreiben. Die Kontrolle und Erfassung des Zustandes der Türen und Türbereiche ist ein besonderer Schwerpunkt bei der Laderaumüberwachung und sehr wichtig für zum Beispiel Kühltransporte oder den Transport von empfindlichen Gütern, auch von Tieren etc., und ist nicht zuletzt für das Verhindern von Diebstählen oder unberechtigtem Zugang zum Ladegut erforderlich. A further advantageous embodiment of the system is that the devices or subsystems can provide data that describes the status of the loading space doors with regard to the events “door open”, “door partially open” and “door closed”. Checking and recording the condition of the doors and door areas is a particular focus when monitoring the cargo space and is very important, for example, for refrigerated transport or the transport of sensitive goods, including animals, etc., and is last but not least to prevent theft or unauthorized access to the cargo required.
Eine weitere vorteilhafte Ausbildung des Systems besteht darin, dass durch die Einrichtungen oder Untersysteme Daten bereitstellbar sind, die die Positionen und Abmessungen von im Laderaum vorhandenen Objekten oder Ladungsteilen beschreiben sowie deren zeitliche und örtliche Veränderungen innerhalb des Laderaums. Solche Daten können z.B. mit Hilfe eines Verfahrens bereitgestellt werden, bei dem das Innere des Laderaums mit mindestens einem abstandsmessenden, tiefenempfindlichen Sensor periodisch dreidimensional vermessen und das jeweilige Vermessungsergebnis in Form von 3D-Daten als Datenmenge (3D-Punktwolke, 3D point cloud) gespeichert wird, wobei mittels eines Algorithmus in einer Rechen- oder Auswerteeinheit die 3D-Daten örtlich korrespondierender Messpunkte oder Messpunktmengen verglichen werden, wobei für den Fall, dass bei dem Vergleich Änderungen der 3D-Daten ermittelt werden, die örtlich innerhalb des Laderaums liegen, ein die ermittelten Änderungen beschreibendes weiter verarbeitbares Signal bereitgestellt wird. Bei der Integration von Einrichtungen in das System, mit deren Hilfe ein solches Verfahren durchführbar ist, steht dann bereits eine Basisdatenmenge für die Vermessung des Laderaums zur Verfügung. A further advantageous embodiment of the system is that the devices or subsystems can provide data that describes the positions and dimensions of objects or cargo parts present in the cargo space and their temporal and spatial changes within the cargo space hold. Such data can be provided, for example, using a method in which the interior of the hold is periodically measured in three dimensions with at least one distance-measuring, depth-sensitive sensor and the respective measurement result is stored in the form of 3D data as a data volume (3D point cloud, 3D point cloud). , whereby the 3D data of locally corresponding measuring points or sets of measuring points are compared by means of an algorithm in a computing or evaluation unit Changes descriptive further processable signal is provided. With the integration of devices into the system, with the help of which such a method can be carried out, a basic quantity of data is then already available for measuring the loading space.
In ähnlicher Weise vorteilhaft ist eine Ausbildung des Systems, die darin besteht, dass durch die Einrichtungen oder Untersysteme Daten bereitstellbar sind, die den Flächenbedarf und/oder die Volumina von Objekten oder Ladungsteilen beschreiben sowie deren Verhältnis zur vorhandenen Laderaumfläche oder zum vorhandenen Volumen. A similarly advantageous configuration of the system is that the devices or subsystems can provide data that describes the area requirements and/or the volumes of objects or cargo parts and their relationship to the existing cargo space area or the existing volume.
Eine weitere vorteilhafte Ausbildung des Systems besteht darin, dass durch das Untersystem b) zur Bereitstellung von Algorithmen zur Erfassung und Aufarbeitung von Daten dynamische Veränderungen zeitlicher oder örtlicher Art innerhalb des Laderaums erkennbar sind. Dazu enthält das Untersystem b) einen Bereich oder ein weiteres Untersystem zur Szenen- und Szenariotyperkennung, das mit dem englischen Begriff „Scene and Scenario Type Detection“ (SSTD) bezeichnet werden kann und ein Zusammenwirken und/oder einen Zusammenschluss von ausführbaren Algorithmen und auf Software basierenden Verfahren beinhaltet, wodurch feststellbar ist, ob ein statischer oder ein dynamischer Zustand im Beobachtungsraum vorliegt und ob etwa ein Objekt näher oder weiter vom Sensor entfernt ist. Auch diese Ergebnisse können mit übrigen Datensätzen der übrigen Einrichtungen oder Untersysteme zusammengefasst und verbessert werden. A further advantageous embodiment of the system consists in the fact that dynamic changes of a temporal or spatial nature within the cargo space can be identified by the subsystem b) for providing algorithms for the acquisition and processing of data. For this purpose, the sub-system b) contains an area or another sub-system for scene and scenario type detection, which can be referred to as "Scene and Scenario Type Detection" (SSTD) and an interaction and/or a combination of executable algorithms and software based method, whereby it can be determined whether a static or a dynamic state is present in the observation space and whether an object is closer or further away from the sensor. These results can also other data sets of the other devices or subsystems are summarized and improved.
Eine weitere vorteilhafte Ausbildung des Systems besteht darin, dass durch das Untersystem b) zur Bereitstellung von Algorithmen zur Erfassung und Aufarbeitung von Daten eine Anpassung und Einstellung der Sensorparameter in Abhängigkeit vom Laderaumzustand durchführbar ist. Dazu enthält das Untersystem b) einen Bereich oder ein weiteres Untersystem zur Sensoraufnahme- und Szenenadaptierungsparametrisierung, das mit dem englischen Begriff „Sensing and Scene Adaptation Parametrization“ (SSAP) bezeichnet werden kann und ein Zusammenwirken und/oder einen Zusammenschluss von ausführbaren Algorithmen und auf Software basierenden Verfahren beinhaltet, durch welche beispielsweise eine Anpassung der Sensorik im Hinblick auf Belichtungszeiten für Kameras oder in Anpassung an die Entfernung von Objekten durchgeführt werden kann. A further advantageous embodiment of the system consists in that the subsystem b) for providing algorithms for the acquisition and processing of data can be used to adapt and set the sensor parameters as a function of the state of the loading space. For this purpose, the sub-system b) contains an area or another sub-system for sensor recording and scene adaptation parameterization, which can be referred to by the English term "Sensing and Scene Adaptation Parameterization" (SSAP) and an interaction and/or a combination of executable algorithms and on software includes based methods, through which, for example, an adjustment of the sensors with regard to exposure times for cameras or in adjustment to the distance from objects can be carried out.
Eine weitere vorteilhafte Ausbildung des Systems besteht darin, dass durch das Untersystem b) zur Bereitstellung von Algorithmen zur Erfassung und Aufarbeitung von Daten eine szenenspezifische und auf den Anwendungsfall angepasste spezifische Detektierung und Detektierungsmodellausführung möglich wird, also eine Auswahl von Messverfahren anhand vorliegender Modelle und/oder gespeicherter vorlaufender Entscheidungsdaten zur Optimierung von Messergebnissen (SDME = Scene and Case Specific Detection and Data Model Executiori). A further advantageous embodiment of the system is that the subsystem b) for providing algorithms for the acquisition and processing of data enables scene-specific detection and detection model execution adapted to the application, i.e. a selection of measurement methods based on existing models and/or stored preliminary decision data to optimize measurement results (SDME = Scene and Case Specific Detection and Data Model Executiori).
Eine weitere vorteilhafte Ausbildung des Systems besteht darin, dass der aus der Gruppe der Sensor- und Messeinrichtungen vorgesehene abstandsmessende Sensor als optischer Tiefensensor ausgebildet ist, vorzugsweise als Time-of- Flight-Kamera (TOF-Kamera) oder Stereokamera. Eine TOF-Kamera liefert beispielsweise für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Dabei kann eine ganze Szene auf einmal aufgenommen werden, ohne dass einzeln abgetastet werden muss, was natürlich zu einer schnelleren Verarbeitung der entsprechenden Signale führt. A further advantageous embodiment of the system consists in the distance-measuring sensor provided from the group of sensor and measuring devices being designed as an optical depth sensor, preferably as a time-of-flight camera (TOF camera) or stereo camera. A TOF camera, for example, provides the distance of the object imaged on it for each pixel. An entire scene can be recorded at once without having to scan individually, which of course leads to faster processing of the corresponding signals.
Natürlich ist es je nach Anwendung ebenfalls vorteilhaft, wenn der Sensor als LiDAR-Sensor {light imaging, detection and ranging) oder Laser-Scanner {light amplification by stimulated emission of radiation) ausgebildet ist, der für eine gerasterte Abtastung eine preiswertere Alternative darstellt. Diese Systeme als solche sind bekannt und können daher ohne weiteres in die Systemarchitektur bzw. in die Ausgestaltung der entsprechenden Einrichtungen aufgenommen werden. Of course, depending on the application, it is also advantageous if the sensor is designed as a LiDAR sensor (light imaging, detection and ranging) or a laser scanner (light amplification by stimulated emission of radiation), which represents a cheaper alternative for raster scanning. These systems as such are known and can therefore easily be included in the system architecture or in the design of the corresponding devices.
Eine weitere vorteilhafte Ausbildung des Systems besteht darin, dass der Ergebnis-Datensatz zu einem Signal für weitere Einrichtungen und/oder zu 3D- Daten für eine visuelle Darstellung des Laderaums und oder der örtlichen Zuordnung der Ladungsteile verarbeitbar ist, insbesondere zur Darstellung des aktuellen Beladungszustands auf einem Monitor oder einem Anzeigegerät. Eine solche Darstellung nach entsprechender rechnerischer Aufarbeitung der 3D-Daten liefert dann einfach zu interpretierende Bilder auf einem Monitor, die eine sehr schnelle und intuitive Beurteilung durch eine die Ladung kontrollierende Person erlauben. Natürlich können auch die 3D-Daten oder Ergebnisdaten an andere nachfolgende Systeme gegeben werden. A further advantageous embodiment of the system is that the result data set can be processed into a signal for other devices and/or into 3D data for a visual representation of the cargo space and/or the local assignment of the cargo parts, in particular for representing the current loading status a monitor or display device. Such a display, after appropriate mathematical processing of the 3D data, then provides easy-to-interpret images on a monitor that allow a very quick and intuitive assessment by a person inspecting the load. Of course, the 3D data or result data can also be given to other subsequent systems.
Anhand eines Ausführungsbeispiels soll die Erfindung näher erläutert werden. The invention will be explained in more detail using an exemplary embodiment.
Fig. 1 zeigt hierzu eine schematische Darstellung eines erfindungsgemäßen Systems zur Überwachung eines Laderaums. 1 shows a schematic representation of a system according to the invention for monitoring a loading space.
Das erfindungsgemäße System 1 weist hier eine Systemarchitektur auf, die aus fünf Untersystemen 2 bis 6 besteht, nämlich aus a) zwei Untersystemen 2 und 3 zur Bereitstellung von Sensordaten ( Sensing Data Provider (SDP)), b) einem Untersystem 4 zur Bereitstellung von Algorithmen zur Erfassung und Aufarbeitung von Daten (Algorithmische Detektierung /Algorithmic Detection Application (ADA)), c) einem Untersystem 5 zur Bereitstellung von die Laderaumüberwachung beeinflussenden Daten, Metadaten und Parametern, Planungs- und Geschäftsdaten, Logistikdaten und Wirtschaftlichkeitsdaten ( Business Logic Application (BLA)), d) einem Untersystem 6 zur Bereitstellung von Programmen und Algorithmen zur Datenfusion und zum Datenmanagement (cloudserverbasierte Datenfusion und -Verarbeitung /Cloud Datenfusion & Processing). The system 1 according to the invention here has a system architecture that consists of five subsystems 2 to 6, namely a) two subsystems 2 and 3 for providing sensor data (sensing data provider (SDP)), b) a subsystem 4 for providing algorithms for acquiring and processing data (algorithmic detection/algorithmic detection application (ADA)), c) one Subsystem 5 for the provision of data, metadata and parameters affecting the cargo space monitoring, planning and business data, logistics data and economic data (Business Logic Application (BLA)), d) a subsystem 6 for the provision of programs and algorithms for data fusion and data management (cloud server-based data fusion and processing /cloud data fusion & processing).
Das als Sensing Data Provider (SDP) arbeitende Untersystem 2 beinhaltet bei diesem Ausführungsbeispiel insgesamt drei optische Sensoren, nämlich zwei Sensoren 2.1 und 2.2 jeweils zur Bereitstellung von Daten eines den Laderaum vermessenden 3-D Sensors, hier jeweils eines TOF-Sensors, und einen Sensor 2.3 zur Bereitstellung der 2D-Daten einer 2D-Kamera, die ebenfalls den Laderaum vermisst. In this exemplary embodiment, subsystem 2, which works as a sensing data provider (SDP), contains a total of three optical sensors, namely two sensors 2.1 and 2.2, each for providing data from a 3D sensor measuring the cargo space, here a TOF sensor in each case, and one sensor 2.3 to provide the 2D data from a 2D camera, which also measures the loading space.
Das ebenfalls als „Sensing Data Provider (SDP)“ arbeitende Untersystem 3 beinhaltet in diesem Ausführungsbeispiel insgesamt drei weitere Sensoren, nämlich einen Gewichtssensor 3.1 und einen RFID-Sensor 3.2 zur Bereitstellung entsprechender Daten im Laderaum vorhandener Ladungsteile/Objekte, sowie einen weiteren Sensor 3.3, der weitere den Laderaum betreffende Daten übermittelt, nämlich hier Daten einer Türüberwachung. Die Untersysteme 2 und 3 können natürlich auch jede Art von anderen Sensoren oder Zusammenstellungen von Sensoren enthalten. In this exemplary embodiment, subsystem 3, which also works as a "sensing data provider (SDP)", contains a total of three additional sensors, namely a weight sensor 3.1 and an RFID sensor 3.2 for providing corresponding data on load parts/objects present in the loading space, as well as an additional sensor 3.3, which transmits further data relating to the loading space, namely here data from a door monitor. Of course, the subsystems 2 and 3 can also contain any kind of other sensors or assemblies of sensors.
Das als Algorithmic Detection Application (ADA) arbeitende Untersystem 4 zur Bereitstellung von Algorithmen zur Erfassung und Aufarbeitung von Messdaten umfasst eine Einrichtung 4.1 zum Empfang und zur Vorverarbeitung der Daten der Untersysteme 2 und 3, nämlich einen Sensing Data Receiver { SDR), sowie eine Einrichtung 4.2. zur vorbereitenden Zusammenführung und Vervollständigung der Messdaten im Rahmen eines ersten Datenfusionsverfahrens, nämlich eine Einrichtung mit der Bezeichnung Sensing Pre-Data Fusion (SPDF). The subsystem 4 working as an Algorithmic Detection Application (ADA) for providing algorithms for the acquisition and processing of measurement data includes a device 4.1 for receiving and pre-processing the data from the subsystems 2 and 3, namely a Sensing Data Receiver (SDR), and a device 4.2. for the preparatory merging and completion of the measurement data as part of a first data fusion process, namely a device called Sensing Pre-Data Fusion (SPDF).
Das Untersystem 4 weist weiterhin eine Einrichtung 4.3 auf, nämlich ein weiteres System/Untersystem zur Sensoraufnahme- und Szenenadaptierungs parametrisierung, durch welches beispielsweise eine Anpassung der Sensorik im Hinblick auf Belichtungszeiten und ähnliche Aufnahmeeinstellungen für Kameras oder in Anpassung an die Entfernung von Objekten durchgeführt werden kann und das, wie oben bereits beschrieben, mit dem englischen Begriff Sensing and Scene Adaptation Parametrization (SSAP) bezeichnet wird. The subsystem 4 also has a device 4.3, namely a further system/subsystem for sensor recording and scene adaptation parameterization, through which, for example, an adjustment of the sensors with regard to exposure times and similar recording settings for cameras or in adjustment to the distance of objects can be carried out and which, as already described above, is denoted by the English term Sensing and Scene Adaptation Parametrization (SSAP).
Das Untersystem 4 weist weiterhin eine Einrichtung 4.4 auf, nämlich ein weiteres System/Untersystem zur Szenen- und Szenariotyperkennung, durch welches z.B. ermittelbar ist, ob ein statischer oder ein dynamischer Zustand im Beobachtungsraum vorliegt und ob etwa ein Objekt näher oder weiter vom Sensor entfernt ist, wobei auch diese Ergebnisse mit übrigen Datensätzen der übrigen Einrichtungen oder Untersysteme zusammengefasst und verbessert werden können. Die Einrichtung 4.4 wird, wie oben dargestellt, mit dem englischen Begriff Scene and Scenario Type Detection (SSTD) bezeichnet. The subsystem 4 also has a device 4.4, namely a further system/subsystem for scene and scenario type recognition, which can be used to determine, for example, whether a static or a dynamic state is present in the observation space and whether an object is closer or further away from the sensor , whereby these results can also be combined and improved with other data sets from the other devices or subsystems. As shown above, device 4.4 is referred to as Scene and Scenario Type Detection (SSTD).
Darüber hinaus weist das Untersystem 4 eine Einrichtung 4.5 auf, nämlich ein weiteres System/Untersystem zur szenenspezifischen und vom Anwendungsfall abhängigen Detektierung und Detektierungsmodellausführung, durch welches eine Auswahl von Messverfahren anhand vorliegender Modelle und/oder gespeicherter vorlaufender Entscheidungsdaten zur Optimierung von Messergebnissen durchführbar ist (SDME = Scene and Case Specific Detection and Data Model Execution). Das Untersystem 4 weist weiterhin eine Einrichtung 4.6 auf, nämlich ein weiteres System/Untersystem zur Ergebnisdatenfusionsnachverarbeitung und damit zur Zusammenfassung und Aufbereitung von Daten/Messdaten sowie Ergebnissen der vorherigen Einrichtungen im Sinne einer Datenfusion ( Results Post-Data Fusion). In addition, the subsystem 4 has a device 4.5, namely a further system/subsystem for scene-specific and application-dependent detection and detection model execution, through which a selection of measurement methods can be carried out using existing models and/or stored preliminary decision data for optimizing measurement results (SDME = Scene and Case Specific Detection and Data Model Execution). The subsystem 4 also has a device 4.6, namely a further system/subsystem for result data fusion post-processing and thus for summarizing and processing data/measurement data and results from the previous devices in the sense of a data fusion (Results Post-Data Fusion).
Das Untersystem 4 weist auch eine Einrichtung 4.7 auf, nämlich ein System/Untersystem, durch welches die bisher ermittelten Daten weitergegeben werden an weitere Untersysteme oder auch in einer entsprechenden Rechnerstruktur an Untersysteme, die mit diesen Daten Weiterarbeiten können. The sub-system 4 also has a device 4.7, namely a system/sub-system, through which the data determined so far are passed on to other sub-systems or, in a corresponding computer structure, to sub-systems that can continue to work with this data.
Eine weitere Einrichtung 4.8 des Untersystems 4 beinhaltet ein weiteres System/Untersystem, durch welches Anfragen und Anforderungen der übrigen Einrichtungen und Systeme bearbeitet und an die jeweils richtigen ausführenden Stellen innerhalb der Systemarchitektur gegeben werden. Bei der Einrichtung 4.8 handelt es sich um einen „Aufgabenempfänger“, einen sogenannten „Task Receiver“. A further device 4.8 of the subsystem 4 contains a further system/subsystem, through which queries and requirements from the other devices and systems are processed and given to the correct executing points within the system architecture. Device 4.8 is a “task receiver”, a so-called “task receiver”.
Eine weitere Einrichtung 4.9 des Untersystems 4 beinhaltet ein weiteres System/Untersystem, durch welches spezifische dynamische Parameter aus den übrigen Einrichtungen und Systemen bearbeitet und an jeweils weitere bearbeitende Einrichtungen oder Systeme innerhalb der Systemarchitektur, d.h. an die jeweils für die Ausführung oder weitere Bearbeitung vorgesehenen Stellen innerhalb der Systemarchitektur gegeben werden. Beispielsweise verwaltet dieses System die Messdaten aus den Fahrzuständen eines den Laderaum transportierenden Fahrzeugs, etwa eines Lkw, sowie auch individuelle Nutzer- und Zahlungskonditionen, auch die Fahrzeuggeschwindigkeit. Bei der Einrichtung 4.9. handelt es sich um einen sogenannten „Detektierungs- und Parametrisierungseingabeempfänger“, in englischer Sprache „Detection Parametrization Input Receiver “. Letztlich weist in diesem Ausführungsbeispiel das Untersystem 4 eine weitere Einrichtung 4.10 bzw. ein weiteres System/Untersystem zur Initialisierung und Re- Kalibrierung auf, mit dessen Hilfe eine automatische Kalibrierung von Sensoren, eine Erkennung der Anzahl der Sensoren, eine Auswahl des richtigen Systems und auch die Ausführung einer manuellen Kalibrierung sowie physische Veränderungen der Sensoren erkannt und verwaltet werden. Bei der Einrichtung 4.10 handelt es sich also um eine sogenannte „Initialization and Re-Calibration“- Einrichtung. A further device 4.9 of the subsystem 4 contains a further system/subsystem, which processes specific dynamic parameters from the other devices and systems and sends them to further processing devices or systems within the system architecture, ie to the points provided for execution or further processing given within the system architecture. For example, this system manages the measurement data from the driving conditions of a vehicle transporting the cargo space, such as a truck, as well as individual user and payment conditions, including the vehicle speed. When setting up 4.9. It is a so-called "detection and parameterization input receiver". Ultimately, in this exemplary embodiment, the subsystem 4 has a further device 4.10 or a further system/subsystem for initialization and recalibration, with the aid of which automatic calibration of sensors, recognition of the number of sensors, selection of the correct system and also the execution of a manual calibration as well as physical changes of the sensors can be detected and managed. Device 4.10 is therefore a so-called “Initialization and Re-Calibration” device.
Das Untersystem 5 zur Bereitstellung von die Laderaumüberwachung beeinflussenden Daten, Metadaten und Parametern, Planungs- und Geschäftsdaten, Logistikdaten und Wirtschaftlichkeitsdaten beinhaltet zunächst eine Einrichtung 5.1 zur Ergebnisdatenweiterverarbeitung und Ergebnisdatenaggregation ( Results Processing Aggregation), weiterhin eine Einrichtung 5.2. zur Ergebnisdatenverteilung und -bereitstellung {Result Sharing), eine Einrichtung 5.3 zur Eingangsdatenverarbeitung {Input Processing), eine Einrichtung 5.4 in Form eines Einstellungs- und Parametrisierungsempfängers ( Thing of Interest Setting Rbobϊnbή sowie eine Einrichtung 5.5 zur Sensordatenfusionsnachverarbeitung ( Sensing Post-Data Fusion). The subsystem 5 for providing data, metadata and parameters, planning and business data, logistics data and profitability data influencing the cargo space monitoring initially includes a device 5.1 for further processing of results data and result data aggregation (Results Processing Aggregation), furthermore a device 5.2. for result data distribution and provision {Result Sharing), a device 5.3 for input data processing {Input Processing), a device 5.4 in the form of a setting and parameterization receiver (Thing of Interest Setting Rbobϊnbή and a device 5.5 for sensor data fusion post-processing (Sensing Post-Data Fusion).
Durch das Untersystem 5 erfolgt so die Abfrage von Berechnungsergebnissen und Messergebnissen aus Verarbeitungen der anderen Untersysteme, insbesondere von Ergebnissen aus dem Untersystem 4 (Algorithmische Detektierung /Algorithmic Detection Application) sowie eine Fortschreibung und Speicherung dieser Daten. Dazu wird auch eine Zusammenführung und Vervollständigung der Daten aus spezifischen Messeinrichtungen der Untersysteme 2 und 3 (Bereitstellung von Sensordaten ( Sensing Data Provider)) durchgeführt. Subsystem 5 queries calculation results and measurement results from processing by the other subsystems, in particular results from subsystem 4 (algorithmic detection/algorithmic detection application) and updates and stores this data. For this purpose, the data from specific measuring devices of subsystems 2 and 3 (provision of sensor data (sensing data provider)) is also combined and completed.
Auch werden durch das Untersystem 5 weitergehende Verarbeitungsschritte der Daten durchgeführt, um auf den jeweiligen Anwendungsfall besser angepasste, aussagestarke Daten zu erhalten. Es werden dazu Daten aus unterschiedlicher Sensorik geprüft, verglichen und korreliert. Darüber hinaus wird eine Überprüfung der Ergebnisse anhand von Zielmodellen oder Zielinformationen durchgeführt, beispielsweise wird ein ermitteltes Objekt oder Ladungsteil mit einem Ergebnis der Laderaumvermessung verglichen. Ebenso kann ein bestimmtes Ladungsschema überprüft werden und mit etwa geplanten Ladungen verglichen werden. Gleiches passiert bei einer Überprüfung zwischen ermittelten Objekten/Ladungsteilen und der ermittelten resultierenden Ladungsfläche oder desFurther processing steps of the data are also carried out by the subsystem 5 in order to to obtain meaningful data. For this purpose, data from different sensors are checked, compared and correlated. In addition, the results are checked using target models or target information, for example a detected object or part of the load is compared with a result of the load space measurement. A specific charging scheme can also be checked and compared with any planned charges. The same happens when checking between determined objects/parts of charge and the determined resulting charge area or the
Ladungsraums/Ladungsvolumens. Außerdem stellt das Untersystem 5 Ergebnisse und Daten für die nächsten Stufen der Verarbeitung zur Verfügung. cargo space/cargo volume. In addition, subsystem 5 provides results and data for the next stages of processing.
Das Untersystem 6 weist Einrichtungen auf zur Bereitstellung von Programmen und Algorithmen zur Datenfusion und zum Datenmanagement, wodurch eine cloudserverbasierte Datenfusion und Verarbeitung {Cloud Data Fusion & Processing) ermöglicht wird. Das Untersystem 6 beinhaltet dazu eine Einrichtung zur Bereitstellung und Präsentation der Ergebnisdaten, eine Einrichtung zur Eingangsdatenverarbeitung sowie eine Einrichtung zur Weiterverarbeitung zusätzlicher Eingangsdaten. The subsystem 6 has facilities for providing programs and algorithms for data fusion and data management, which enables cloud server-based data fusion and processing (Cloud Data Fusion & Processing). For this purpose, the subsystem 6 contains a device for providing and presenting the result data, a device for processing input data and a device for further processing additional input data.
Durch das Untersystem 6 erfolgt eine weitere Zusammenfassung und Verarbeitung der Daten und Ergebnisse, die in den Einrichtungen des Untersystems 5 ermittelt und bearbeitet wurden. Hier erfolgt auch die Visualisierung und die Präsentation der verschiedenen Ergebnisse, gegebenenfalls unter Nutzung von webbasierten Grafikanwendungen. Zusätzlich stellt das Untersystemen 6 Daten in verschiedenen Formaten für andere externe Anwendungen bereit und kann außerdem weitere Aufgaben oder Einstellungen in das Untersystem 5 einbringen. Subsystem 6 further summarizes and processes the data and results that were determined and processed in the devices of subsystem 5 . This is also where the visualization and presentation of the various results takes place, if necessary using web-based graphics applications. In addition, the sub-system 6 provides data in various formats for other external applications and can also bring other tasks or settings into the sub-system 5.
Die jeweiligen hier beschriebenen Einrichtungen der Untersysteme sind etwa Sensor- und Messeinrichtungen, Datenverarbeitungseinrichtungen, Rechen- oder Auswerteeinrichtungen oder auch Daten-Kommunikationseinrichtungen. Die zu den Untersystemen gehörigen Einrichtungen sind dabei variabel und je nach Programmierung/Software von einem oder von mehreren Untersystemen nutzbar. Die Systemarchitektur beschreibt daher weniger ein „fest verdrahtetes System“, sondern eine jeweils in der Software abgebildete, angepasste Architektur oder Organisationsstruktur von zusammenarbeitenden Systemen und Einrichtungen. The respective devices of the subsystems described here are, for example, sensor and measuring devices, data processing devices, computing or evaluation devices or also data communication devices. the to The devices belonging to the subsystems are variable and, depending on the programming/software, can be used by one or more subsystems. The system architecture therefore describes less a "hard-wired system" but rather an adapted architecture or organizational structure of cooperating systems and facilities that is mapped in the software.
Die in der Fig. 1 dargestellten Pfeile beschreiben den Informationsfluss, d.h. den Datenfluss bzw. die gegenseitige Einwirkung unterschiedlicher Einrichtungen der Untersysteme aufeinander, wie sie in diesem Ausführungsbeispiel vorgesehen sind. Selbstverständlich sind auch andere Rückkopplungen oder Einwirkungen möglich. The arrows shown in Fig. 1 describe the information flow, i.e. the data flow or the mutual influence of different devices of the subsystems on one another, as provided in this exemplary embodiment. Of course, other feedbacks or effects are also possible.
Ubersetzungstabelle:
Figure imgf000019_0001
Figure imgf000020_0001
Translation table:
Figure imgf000019_0001
Figure imgf000020_0001
Bezugszeichenliste (Teil der Beschreibung) List of reference symbols (part of the description)
1 System zur Überwachung eines Laderaums 1 system for monitoring a cargo hold
2 Untersystem zur Bereitstellung von Sensordaten 2 Subsystem for providing sensor data
2.1 3D-Sensor (TOF) 2.1 3D sensor (TOF)
2.2 3D-Sensor (TOF) 2.2 3D sensor (TOF)
2.3 2D-Sensor 2.3 2D sensor
3 Untersystem zur Bereitstellung von Sensordaten 3 Subsystem for providing sensor data
3.1 Gewichtssensor 3.1 Weight Sensor
3.2 RFID-Sensor 3.2 RFID sensor
3.3 Türsensor 3.3 Door Sensor
4 Untersystem zur Bereitstellung von Algorithmen zur Erfassung und4 Subsystem providing algorithms for detection and
Aufarbeitung von Messdaten Processing of measurement data
4.1 Einrichtung zum Empfang und zur Vorverarbeitung von Daten 4.1 Facility for receiving and pre-processing data
4.2 Einrichtung zur vorbereitenden Zusammenführung und Vervollständigung der Messdaten 4.2 Setup for preparatory merging and completion of measurement data
4.3 Einrichtung/System/Untersystem zur Anpassung der Sensorik 4.3 Device/system/subsystem for adapting the sensors
4.4 Einrichtung/System/Untersystem zur Ermittlung statischer oder dynamischer Zustände 4.4 Device/system/subsystem for determining static or dynamic conditions
4.5 Einrichtung/System/Untersystem zur Auswahl von Messverfahren anhand vorliegender Modelle 4.5 Device/system/subsystem for the selection of measurement methods based on existing models
4.6 Einrichtung/System/Untersystem zur Zusammenfassung und Aufbereitung von Daten und Ergebnissen der vorherigen Einrichtungen 4.6 Facility/system/subsystem for summarizing and processing data and results from previous facilities
4.7 Einrichtung/System/Untersystem zur Weitergabe bisher ermittelter Daten4.7 Device/system/subsystem for the transfer of previously determined data
4.8 Einrichtung/System/Untersystem zur Verwaltung von Anfragen und Anforderungen an/von übrigen Einrichtungen und Systemen 4.8 Facility/system/subsystem to manage requests and requests to/from other facilities and systems
4.9 Einrichtung/System/Untersystem zur Bearbeitung spezifischer dynamischer Parameter aus den übrigen Einrichtungen und Systemen 4.9 device/system/subsystem to handle specific dynamic parameters from the rest of the devices and systems
4.10 Einrichtung/System/Untersystem zur Initialisierung und Rekalibrierung Untersystem zur Bereitstellung von die Laderaumüberwachung beeinflussenden Daten, Metadaten und Parametern Einrichtung zur Ergebnisdatenweiterverarbeitung und Ergebnisdatenaggregation Einrichtung zur Ergebnisdatenverteilung und -bereitstellung Einrichtung zur Eingangsdatenverarbeitung Einstellungs- und Parametrisierungsempfänger Einrichtung zur Sensordatenfusionsnachverarbeitung Untersystem zur cloudserverbasierten Datenfusion und -Verarbeitung 4.10 Setup/system/subsystem for initialization and recalibration Sub-system for the provision of data, metadata and parameters influencing the cargo space monitoring Device for further processing of result data and result data aggregation Device for result data distribution and provision Device for input data processing Setting and parameterization receiver Device for sensor data fusion post-processing Sub-system for cloud-server-based data fusion and processing

Claims

Patentansprüche patent claims
1. Verfahren zur Überwachung eines Laderaums, bei dem das Innere des Laderaums mit mindestens einem abstandsmessenden, tiefenempfindlichen Sensor dreidimensional vermessen wird und die die Messpunkte oder Messpunktmengen beschreibenden 3D-Daten als Messdatenmenge gespeichert werden, wobei die Messdatenmenge und weitere in Hinblick auf den Laderaum ermittelbare Daten und Ergebnisse unterschiedlicher Sensor- und Messeinrichtungen und weiterer unterschiedlicher1. A method for monitoring a cargo hold, in which the interior of the cargo hold is measured three-dimensionally with at least one distance-measuring, depth-sensitive sensor and the 3D data describing the measuring points or sets of measuring points are stored as a set of measurement data, with the set of measurement data and other data that can be determined with regard to the hold Data and results from different sensor and measuring devices and other different ones
Datenverarbeitungseinrichtungen über Daten-Kommunikationseinrichtungen an Rechen- oder Auswerteeinrichtungen übertragen werden, die vorgegebene oder selbstlernende Programme oder Algorithmen aufweisen, mit deren Hilfe die Messdatenmenge mit den weiteren Daten aus einer der Einrichtungen unter Nutzung von Datenfusionsverfahren zusammengeführt und/oder vervollständigt wird, und wobei die zusammengeführten und/oder vervollständigten Daten zu einem den aktuellen Laderaumzustand, vorzugsweise den Beladungszustand des Laderaums, darstellenden Ergebnis- Datensatz verarbeitet werden. Data processing devices are transmitted via data communication devices to computing or evaluation devices that have predefined or self-learning programs or algorithms, with the help of which the measurement data volume is merged and/or completed with the other data from one of the devices using data fusion methods, and the merged and/or completed data are processed into a result data set representing the current loading space status, preferably the loading status of the loading space.
2. System zur Überwachung eines Laderaums nach einem Verfahren gemäß Anspruch 1 , bei dem mehrere Einrichtungen aus der Gruppe der 2. System for monitoring a hold according to a method according to claim 1, wherein a plurality of devices from the group of
- Sensor- und Messeinrichtungen, - sensor and measuring devices,
- Datenverarbeitungseinrichtungen, insbesondere solcher mit programmierten Algorithmen zur Modellrechnung, - Data processing devices, in particular those with programmed algorithms for model calculations,
- Rechen- oder Auswerteeinrichtungen, insbesondere solcher mit Programmen oder Algorithmen zur Zusammenführung und/oder Vervollständigung von Datensätzen - Datenfusion - und der - Computing or evaluation devices, in particular those with programs or algorithms for merging and/or completing data sets - data fusion - and the
- Daten-Kommunikationseinrichtungen in einer Systemarchitektur zusammengefasst sind, wobei - Data communication devices are combined in a system architecture, where
• aus der Gruppe der Sensor- und Messeinrichtungen mindestens ein abstandsmessender Sensor vorgesehen ist, durch den eine dreidimensionale Vermessung des Laderaums durchführbar ist, wobei die die Messpunkte oder Messpunktmengen beschreibenden 3D-Daten als Messdatenmenge in einer Recheneinrichtung aus der Gruppe der Rechen- oder Auswerteeinrichtungen speicherbar sind, • At least one distance-measuring sensor is provided from the group of sensor and measuring devices three-dimensional measurement of the cargo space can be carried out, the 3D data describing the measuring points or sets of measuring points being storable as a set of measured data in a computing device from the group of computing or evaluation devices,
• wobei die Messdatenmenge mittels eines vorgegebenen Algorithmus mit weiteren Daten aus einer der Einrichtungen mittels Datenfusions verfahren zusammenführbar und/oder komplettierbar ist, und wobei die zusammengeführten und/oder vervollständigten Daten in mindestens einer der Einrichtungen zu einem den aktuellen Laderaumzustand, vorzugsweise des Beladungszustand des Laderaums darstellenden Ergebnis- Datensatz verarbeitbar sind. • whereby the quantity of measurement data can be combined and/or completed with further data from one of the facilities by means of a data fusion process using a specified algorithm, and the combined and/or completed data in at least one of the facilities on the current loading space status, preferably the loading status of the loading space representing result data record can be processed.
3. System nach Anspruch 2, bei dem die Systemarchitektur jeweils eines oder mehrere der folgenden Untersysteme aufweist: a) ein Untersystem (2, 3) zur Bereitstellung der Sensordaten, b) ein Untersystem (4) zur Bereitstellung von Algorithmen zur Erfassung und Aufarbeitung von Daten, c) ein Untersystem (5) zur Bereitstellung von die Laderaumüberwachung beeinflussenden Daten, Metadaten und Parametern, Planungs- und Geschäftsdaten, Logistikdaten und Wirtschaftlichkeitsdaten, d) einem Untersystem (6) zur Bereitstellung von Programmen und Algorithmen zur Datenfusion und zum Datenmanagement, wobei die Einrichtungen aus der Gruppe der Sensor- und Messeinrichtungen, der Datenverarbeitungseinrichtungen, der Rechen- oder Auswerteeinrichtungen und der Daten-Kommunikationseinrichtungen jeweils einem oder mehreren der Untersysteme zugeordnet sind. 3. System according to claim 2, in which the system architecture has one or more of the following subsystems: a) a subsystem (2, 3) for providing the sensor data, b) a subsystem (4) for providing algorithms for the detection and processing of Data, c) a subsystem (5) for providing data, metadata and parameters, planning and business data, logistics data and economic data influencing the load space monitoring, d) a subsystem (6) for providing programs and algorithms for data fusion and data management, wherein the devices from the group of sensor and measuring devices, data processing devices, computing or evaluation devices and data communication devices are each assigned to one or more of the subsystems.
4. System nach Anspruch 2 oder 3, bei dem durch die Einrichtungen oder Untersysteme (2, 3, 4, 5, 6) Daten bereitstellbar sind, die den Zustand von Laderaumtüren des Laderaums in Hinblick auf die Ereignisse „Tür geöffnet“, „Tür teilweise geöffnet“ und „Tür geschlossen“ beschreiben, und/oder Daten bereitstellbar sind, die Positionen und Abmessungen von im Laderaum vorhandenen Objekten oder Ladungsteilen beschreiben, sowie deren zeitliche und örtliche Veränderungen innerhalb des Laderaums. 4. System according to claim 2 or 3, in which data can be provided by the devices or subsystems (2, 3, 4, 5, 6) which "open door", "door partially open" and "door closed" and/or data can be made available, which describe the positions and dimensions of objects or parts of the load present in the hold, as well as their temporal and spatial changes within the hold.
5. System nach einem der Ansprüche 2 bis 4, bei dem durch die Einrichtungen oder Untersysteme (2, 3, 4, 5, 6) Daten bereitstellbar sind, die den Flächenbedarf und/oder die Volumina von Objekten oder Ladungsteilen beschreiben sowie deren Verhältnis zur vorhandenen Laderaumfläche oder zum vorhandenen Volumen. 5. System according to one of Claims 2 to 4, in which data can be provided by the devices or subsystems (2, 3, 4, 5, 6) which describe the area requirements and/or the volumes of objects or parts of the charge and their relationship to the existing loading space or the existing volume.
6. System nach einem der Ansprüche 2 bis 5, bei dem das Untersystem (4) eine Einrichtung (4.1) zum Empfang und zur Vorverarbeitung der Daten des Untersystems (2, 3) und/oder eine Einrichtung (4.2) zur vorbereitenden Zusammenführung und Vervollständigung der Messdaten des Untersystems (2, 3) aufweist, nämlich eine Einrichtung zur Vorverarbeitung einer Sensordatenfusion. 6. System according to one of claims 2 to 5, in which the subsystem (4) has a device (4.1) for receiving and preprocessing the data of the subsystem (2, 3) and/or a device (4.2) for preparatory merging and completion which has the measurement data of the subsystem (2, 3), namely a device for preprocessing a sensor data fusion.
7. System nach einem der Ansprüche 2 bis 6, bei dem das Untersystem (4) eine Einrichtung (4.3) zur Parametrisierung und Adaptierung der Messumgebung und Sensorumgebung aufweist, durch welche eine Anpassung und Einstellung der Sensorparameter in Abhängigkeit vom Laderaum- und Sensorzustand durchführbar ist, und/oder eine Einrichtung (4.4) zur Szenen- und Szenario- Typerkennung aufweist, durch welche ermittelbar ist, ob ein statischer oder ein dynamischer Zustand im Beobachtungsraum vorliegt und die Entfernung eines Objekts zum Sensor verändert ist. 7. System according to one of Claims 2 to 6, in which the subsystem (4) has a device (4.3) for parameterizing and adapting the measurement environment and sensor environment, through which an adaptation and setting of the sensor parameters depending on the loading space and sensor status can be carried out , and/or has a device (4.4) for scene and scenario type recognition, by means of which it can be determined whether a static or a dynamic state is present in the observation space and the distance of an object from the sensor has changed.
8. System nach einem der Ansprüche 2 bis 7, bei dem das Untersystem (4) eine Einrichtung (4.5) aufweist, durch welche eine Auswahl von Messverfahren anhand vorliegender Modelle und/oder gespeicherter vorlaufender Entscheidungsdaten zur Optimierung von Messergebnissen durchführbar ist, und/oder eine Einrichtung (4.6) aufweist, durch welche Daten/Messdaten sowie Ergebnisse/Ergebnisdaten der weiteren Einrichtungen oder Untersysteme im Sinne einer Datenfusion zusammenfassbar und komplettierbar sind. 8. System according to one of Claims 2 to 7, in which the subsystem (4) has a device (4.5) through which a selection of measurement methods can be carried out using available models and/or stored preliminary decision data for optimizing measurement results, and/or has a device (4.6) through which data / measurement data and Results/result data from the other facilities or subsystems can be summarized and completed in the sense of a data fusion.
9. System nach einem der Ansprüche 2 bis 8, bei dem das Untersystem (4) eine Einrichtung (4.7) aufweist, durch welche eine Weiterverarbeitung und Bereitstellung der Ergebnisdaten durchführbar ist, und/oder eine Einrichtung (4.8) aufweist, durch welche Anfragen und Anforderungen der übrigen Einrichtungen und Systeme bearbeitbar sind und an weitere jeweils bearbeitende Einrichtungen oder Systeme innerhalb der Systemarchitektur leitbar sind. 9. System according to one of Claims 2 to 8, in which the subsystem (4) has a device (4.7) by which further processing and provision of the result data can be carried out, and/or a device (4.8) by which queries and Requirements of the other devices and systems can be processed and can be routed to other devices or systems within the system architecture that are to be processed.
10. System nach einem der Ansprüche 2 bis 9, bei dem das Untersystem (4) eine Einrichtung (4.9) aufweist, durch welche dynamische Parameter aus den übrigen Einrichtungen und Systemen bearbeitbar und an jeweils weitere bearbeitende Einrichtungen oder Systeme innerhalb der Systemarchitektur leitbar sind, und/oder eine Einrichtung (4.10), durch welche eine Initialisierung, Erkennung und Re-Kalibrierung der Sensoren durchführbar ist. 10. System according to one of Claims 2 to 9, in which the subsystem (4) has a device (4.9) through which dynamic parameters from the other devices and systems can be processed and can be routed to further processing devices or systems within the system architecture, and/or a device (4.10) by which the sensors can be initialized, recognized and recalibrated.
11. System nach einem der Ansprüche 2 bis 10, bei dem das Untersystem (5) Einrichtungen (5.1 - 5.5) aufweist, durch die eine Weiterverarbeitung und Aggregation der Ergebnisdaten, eine Verteilung der Ergebnisdaten an andere Einrichtungen und Systeme, eine Verarbeitung von Eingangsdaten, eine Verarbeitung in das System eingehender Einstellungen und Parameter, sowie eine Nachverarbeitung der Sensordatenfusion durchführbar sind. 11. System according to one of claims 2 to 10, in which the subsystem (5) has devices (5.1 - 5.5) through which further processing and aggregation of the result data, distribution of the result data to other devices and systems, processing of input data, processing incoming settings and parameters into the system, as well as post-processing of the sensor data fusion can be carried out.
12. System nach einem der Ansprüche 2 bis 11 , bei dem das Untersystem (6) Einrichtungen aufweist, durch die eine Bereitstellung und Präsentation der Ergebnisdaten sowie eine Verarbeitung und ein Einbringen von Eingangsdaten durchführbar sind. 12. System according to one of Claims 2 to 11, in which the subsystem (6) has devices which can be used to provide and present the result data and to process and introduce input data.
13. System nach einem der Ansprüche 2 bis 12, bei dem der aus der Gruppe der Sensor- und Messeinrichtungen vorgesehene abstandsmessende Sensor als optischer Tiefensensor ausgebildet ist, vorzugsweise als Time-of-Flight- Kamera oder Stereokamera. 13. System according to any one of claims 2 to 12, wherein the provided from the group of sensor and measuring devices distance-measuring sensor is designed as an optical depth sensor, preferably as a time-of-flight camera or stereo camera.
14. System nach einem der Ansprüche 2 bis 12, bei dem der aus der Gruppe der Sensor- und Messeinrichtungen vorgesehene abstandsmessende Sensor als LiDAR-Sensor oder Laser-Scanner ausgebildet ist. 14. System according to one of Claims 2 to 12, in which the distance-measuring sensor provided from the group of sensor and measuring devices is designed as a LiDAR sensor or laser scanner.
15. System nach einem der Ansprüche 2 bis 14, wobei der Ergebnis-Datensatz zu einem Signal für weitere Einrichtungen und/oder zu 3D-Daten für eine visuelle Darstellung des Laderaums und der Ladungsteile verarbeitbar ist, insbesondere zur Darstellung des aktuellen Beladungszustands auf einem Monitor oder einem Anzeigegerät. 15. System according to any one of claims 2 to 14, wherein the result data record can be processed into a signal for further devices and/or into 3D data for a visual representation of the cargo hold and the cargo parts, in particular for the representation of the current loading status on a monitor or a display device.
PCT/EP2022/068570 2021-07-21 2022-07-05 Method and system for monitoring a loading compartment WO2023001542A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021118879.2 2021-07-21
DE102021118879.2A DE102021118879A1 (en) 2021-07-21 2021-07-21 Method and system for monitoring a cargo hold

Publications (1)

Publication Number Publication Date
WO2023001542A1 true WO2023001542A1 (en) 2023-01-26

Family

ID=82703209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/068570 WO2023001542A1 (en) 2021-07-21 2022-07-05 Method and system for monitoring a loading compartment

Country Status (2)

Country Link
DE (1) DE102021118879A1 (en)
WO (1) WO2023001542A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140372182A1 (en) * 2013-06-17 2014-12-18 Motorola Solutions, Inc. Real-time trailer utilization measurement
EP3232404A1 (en) 2016-04-13 2017-10-18 SICK, Inc. Method and system for measuring dimensions of a target object
DE102016010881A1 (en) 2016-09-12 2018-03-15 Fahrzeugwerk Bernard Krone GmbH & Co. KG vehicle body
US20180094966A1 (en) * 2014-03-04 2018-04-05 Amazon Technologies, Inc. Generating load characteristic information based on sensor data
US20190114577A1 (en) * 2017-10-16 2019-04-18 Flex Ltd. Method and system for tracking and optimizing cargo utilization and volume measurement and imaging sensing using lidars and video camera
US20200014888A1 (en) * 2018-07-09 2020-01-09 Zebra Technologies Corporation Method and system for door status detection and alert generation
US20200193639A1 (en) * 2018-12-12 2020-06-18 Zebra Technologies Corporation Method and apparatus for calibrating trailer monitoring units

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005001480B3 (en) 2005-01-12 2006-10-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Loading space e.g. container, utilization detecting device for e.g. truck, has evaluation unit evaluating volume utilization and/or surface utilization as parameters of utilization of loading space from determined geometrical size
US20100073476A1 (en) 2008-09-24 2010-03-25 Industrial Technology Research Institute Systems and methods for measuring three-dimensional profile
US10783656B2 (en) 2018-05-18 2020-09-22 Zebra Technologies Corporation System and method of determining a location for placement of a package
US10867275B1 (en) 2018-09-17 2020-12-15 Amazon Technologies, Inc. Optimized package loading
EP3663730B1 (en) 2018-12-05 2023-08-02 Schmitz Cargobull AG Determination method of whether a cargo compartment of a commercial vehicle contains one or more usable space areas for additional loading

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140372182A1 (en) * 2013-06-17 2014-12-18 Motorola Solutions, Inc. Real-time trailer utilization measurement
US20180094966A1 (en) * 2014-03-04 2018-04-05 Amazon Technologies, Inc. Generating load characteristic information based on sensor data
EP3232404A1 (en) 2016-04-13 2017-10-18 SICK, Inc. Method and system for measuring dimensions of a target object
DE102016010881A1 (en) 2016-09-12 2018-03-15 Fahrzeugwerk Bernard Krone GmbH & Co. KG vehicle body
US20190114577A1 (en) * 2017-10-16 2019-04-18 Flex Ltd. Method and system for tracking and optimizing cargo utilization and volume measurement and imaging sensing using lidars and video camera
US20200014888A1 (en) * 2018-07-09 2020-01-09 Zebra Technologies Corporation Method and system for door status detection and alert generation
US20200193639A1 (en) * 2018-12-12 2020-06-18 Zebra Technologies Corporation Method and apparatus for calibrating trailer monitoring units

Also Published As

Publication number Publication date
DE102021118879A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
DE102018006765B4 (en) PROCEDURE AND SYSTEM (S) FOR THE MANAGEMENT OF CARGO VEHICLES
DE112019002547B4 (en) SYSTEM AND PROCEDURE FOR DETERMINING A LOCATION FOR PLACEMENT OF A PACKAGE
DE102018100192A1 (en) Generation of training data for automatic leak detection in vehicles
DE102017116952A1 (en) SYSTEM AND METHOD FOR IMPROVED SCORING OF 3D LAYERS AND REMOVAL OF DISTURBANCES IN 3D IMAGE DATA
DE102016102607A1 (en) Scan arrangement and method for scanning an object
DE102019110428A1 (en) SENSOR CALIBRATION
DE102017219282A1 (en) Method and device for automatically generating an artificial neural network
DE102020118629B4 (en) Computer-implemented method for determining the validity of an estimated position of a vehicle
DE102019114371A1 (en) ONLINE DIAGNOSTICS AND PROGNOSTICS FOR A VEHICLE PERCEPTION SYSTEM
BE1029791B1 (en) SYSTEM AND METHOD FOR DETECTING THE CALIBRATION OF A 3D SENSOR
EP3597490B1 (en) Method for monitoring the condition of commercial vehicles or interchangeable bodies for commercial vehicles
EP4222451A1 (en) Map plausibility test method
DE102020214596A1 (en) Method for generating training data for a recognition model for recognizing objects in sensor data of an environment sensor system of a vehicle, method for generating such a recognition model and method for controlling an actuator system of a vehicle
WO2023001542A1 (en) Method and system for monitoring a loading compartment
EP3596428B1 (en) Method and device for updating a digital map for vehicle navigation
DE102019105578A1 (en) GENERATE A SUPER RESOLUTION DEPTH CARD
DE102023202349B3 (en) COMPUTER-IMPLEMENTED METHOD FOR DETERMINING A CAPACITY
DE102020208080A1 (en) Detection of objects in images under equivariance or invariance with respect to the object size
DE102019220364A1 (en) Calibration device and method for calibrating a device
DE102019127322A1 (en) Method for detecting objects in a vehicle environment, device for data processing, computer program product and computer-readable data carrier
DE102019201633A1 (en) Calibration of a sensor for a vehicle based on object-side and image-side identification indices of a reference object
DE102019205474A1 (en) Object detection in the vicinity of a vehicle using a primary sensor device and a secondary sensor device
DE102019209849B4 (en) Method and control device for distance-measuring image processing for a stereo camera device for a vehicle and stereo camera system with a stereo camera device and a control device
DE102021127789A1 (en) Procedure for registering cargo
DE102021123581A1 (en) Procedures for cargo monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22747624

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22747624

Country of ref document: EP

Kind code of ref document: A1