WO2023046653A1 - Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist - Google Patents

Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist Download PDF

Info

Publication number
WO2023046653A1
WO2023046653A1 PCT/EP2022/076020 EP2022076020W WO2023046653A1 WO 2023046653 A1 WO2023046653 A1 WO 2023046653A1 EP 2022076020 W EP2022076020 W EP 2022076020W WO 2023046653 A1 WO2023046653 A1 WO 2023046653A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
layer
training
image
transported
Prior art date
Application number
PCT/EP2022/076020
Other languages
English (en)
French (fr)
Inventor
Muhammad Zeeshan Karamat
Original Assignee
Deutschdata Karamat und Ziesche GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutschdata Karamat und Ziesche GmbH filed Critical Deutschdata Karamat und Ziesche GmbH
Priority to JP2024541125A priority Critical patent/JP2024533867A/ja
Priority to EP22790299.6A priority patent/EP4405908A1/de
Priority to CN202280063854.7A priority patent/CN117980964A/zh
Publication of WO2023046653A1 publication Critical patent/WO2023046653A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the invention relates to a method for determining whether a given item to be transported is located in a monitored area.
  • the invention relates to a computer device for determining whether a specified item to be transported is located in a monitored area and a device with such a computer device.
  • the invention also relates to a computer program product, a data carrier and a data carrier signal.
  • Different configurations of production lines are known from the prior art.
  • a given item to be transported is examined at least once along a production route.
  • devices are provided by means of which the quality of the transported goods is checked.
  • the devices usually have an image acquisition device, by means of which an area of the production line is monitored.
  • the image acquisition device is connected to the production line in terms of data technology.
  • sensor values that relate to the position of the goods to be transported are transmitted to the image acquisition device.
  • This information is necessary so that at least one image of the monitored area is recorded when the item to be transported is actually located in the monitored area.
  • the data can be transmitted via a data line or wirelessly.
  • a disadvantage of the known image capturing devices is that the structure of the image capturing device is very complex.
  • a high installation wall is required so that the image capturing device can capture image signals of a surveillance area. Accordingly, it is very time-consuming and costly to place the image capture device at a different point in the production line, or it is not possible.
  • the object of the invention is to specify a method in which the disadvantages mentioned above do not occur.
  • the object is achieved by a method for determining whether at least one specified item to be transported is arranged in a monitored area, an image signal of the monitored area through which a transport route of an object runs being recorded, with the image signal being fed to an artificial neural network by another artificial neural network determining on the basis of the image signal whether at least part of an object is located in the surveillance area, wherein the image signal is supplied to the neural network when it is determined by the other neural network that at least part of the object is in is arranged in the monitoring area, it being determined by the artificial neural network on the basis of the image signal whether the determined at least one part of the object corresponds to at least one part of the at least one specified item to be transported, wherein if it is determined by the artificial neural network that at least a part of the at least one specified item to be transported is arranged in the monitored area, an image of the monitored area is generated.
  • a further object consists in providing a computer device by means of which the disadvantages mentioned above can be avoided.
  • the device is solved by a computer device for determining whether at least one specified transport item is located in a monitoring area, with a transport item detection module that has an artificial neural network, and a filter module that has another artificial neural network and is connected upstream of the transport item detection module, wherein the computer device is configured in such a way that the other artificial neural network of the filter module determines on the basis of the image signal whether at least part of an object is arranged in the monitored area, the image signal being fed to the neural network of the transported goods detection module when the other neural network determines that at least a part of the object is arranged in the surveillance area, and that the artificial neural network determines on the basis of the image signal whether the determined at least a part of the object corresponds to at least a part of the at least one predetermined Corresponds to transport goods, wherein the computer device causes an image of the surveillance area to be generated when the artificial neural network determines that at least part of the at least one predetermined transport goods is arranged in the surveillance area.
  • the computer device can determine, independently of the data determined by the transport device, whether at least a part of the item to be transported is located in the monitored area and whether the specific item to be transported is a predetermined item to be transported. This makes it possible for the computer device to be placed at any point along the transport route without the settings of the transport device having to be changed.
  • the method can be carried out with almost any image acquisition device, so that no complex structures are required
  • the filter module with the other neural network offers the advantage that not all of the image signals are fed to the transported goods identification module. This is advantageous because the filter module can be used to filter out image signals that do not contain any specified goods to be transported. This means that they do not have to be analyzed by the transported goods identification module. Since the processing of the image signal by the transported goods detection module takes longer than by the filter module, the provision of the filter module ensures rapid data processing.
  • the filter module is configured to detect whether at least part of an object is located in the surveillance area. This also includes the filter module recognizing that the entire object is arranged in the surveillance area. However, the filter module does not recognize which object it is. In this respect, the filter module does not recognize whether the object is the specified item to be transported.
  • the item to be transported identification module is designed in such a way that it detects whether the at least one part of the object that is determined corresponds to at least one part of the specified item to be transported. This also includes recognizing whether the completely determined object corresponds to the specified transport goods.
  • the specified item to be transported is an object that is to be transported by means of the transport device and is therefore of interest. During operation, however, it can happen that objects other than the specified goods to be transported are arranged on the conveyor belt and/or the image signal contains other objects, such as people or moving components of the production line, which are not of interest. These objects must therefore be recognized as irrelevant objects and not taken into account.
  • transported goods An object that is subjected to a spatial change of location by means of the transport device is referred to as transported goods.
  • the item to be transported is of interest to the user, so the method is intended to determine whether the item to be transported is located in the monitored area.
  • the transport device is used to transport the goods to be transported and can be a conveyor belt, for example. Alternatively, other devices are also conceivable that act as a transport device.
  • “at least one specified item to be transported” is understood to mean that the computer device can determine a single specified item to be transported or a plurality of specified items to be transported. If there are several specified transport goods, they can be goods of the same type. Alternatively, the transported goods can differ in type. In this case, the training process described below must be carried out for each type of transported goods so that they are recognized by the computer device during operation as "predetermined transported goods”.
  • the transport path is understood to mean the path along which the transport device transports the specified goods to be transported or another object.
  • the monitoring area is selected in such a way that it includes part of the transport route. It is thus ensured in a simple manner that the Transport the specified transport goods always passes through the monitoring area.
  • Image generation or image recording is understood as a process in which the image signal is stored at a specific point in time in an electrical memory, in particular for repeated and/or permanent use.
  • the electrical memory can be a hard disk of the computer device and/or the image acquisition device. Based on the stored image signal, the image can be generated, which can be displayed, for example.
  • the image signal includes a plurality of pixels which as a whole form the aforementioned image.
  • the computer device is a data-processing electrical unit, by means of which the image signal is processed and/or evaluated.
  • the computer device can be a processor or have a processor.
  • the light of the image signal can be light visible to the human eye.
  • the light can have a wavelength in the range between 380 nm and 780 nm (nanometers). This offers the advantage that no complex and expensive image acquisition device has to be used to generate the image.
  • an electrical device such as a mobile phone, a tablet, a camera, etc. can be used to generate the image.
  • the artificial neural network and/or the other neural network may have been trained prior to operation.
  • the data determined during operation of the computer device can also be used to train the artificial neural network and/or the other neural network.
  • the training processes are described in more detail below.
  • the neural network may be a network having at least an input layer and a decision layer.
  • the neural network can have at least one layer.
  • the neural network can be a deep neural network.
  • a deep neural network is understood to mean an artificial neural network that has a large number of layers.
  • the neural network has the input layer and the decision layer. In between, the neural network has at least one layer that is connected to the input layer and the decision layer in terms of data technology.
  • the layer or layers located between the input layer and the decision layer are also referred to as the hidden layer or layers. Each of the aforementioned layers has neurons.
  • Neurons in one layer are connected to neurons in another layer.
  • the connection can be such that a neuron of one layer is connected to all neurons of another layer.
  • a neuron of one layer can be connected to only a part of neurons of the other layer.
  • a connection in the neural network can be realized in which one or more outputs of the input layer are fed to the layer.
  • one or more outputs of the layer are fed to the decision layer.
  • the neural network can have a neural convolution network, which is also referred to as a convolutional neural network.
  • Image signals can be examined particularly well by means of a neural convolution network.
  • patterns in image signals can be recognized well by means of a neural convolution network.
  • the image signal captured by the image capture device can be supplied to an input layer of the neural convolution network.
  • the number of neurons in an input layer of the neural convolution network can correspond to a number of pixels in the image signal.
  • the input layer contains information about image height and image width.
  • the input layer of the convolutional neural network can be three-dimensional.
  • the input layer can contain information about the image height, image width and image information.
  • the image information can be color information, for example. If the color information is limited to the colors red, yellow and blue, the input layer has three sub-layers.
  • the convolutional neural network may have one or more layers.
  • the layer may be a convolutional neural layer and/or downstream of the input layer.
  • the layer receives the output data of the input layer.
  • a layer can have several sublayers.
  • a sublayer has a multiplicity of neurons which are arranged in a plane, the planes being arranged offset from one another.
  • a layer can thus be viewed as a multi-dimensional matrix that outputs information at a different level of abstraction.
  • a first layer can thus recognize and output information about edges. The first layer may be downstream of the input layer.
  • a second layer downstream of the first layer can recognize and output different shapes based on the edges.
  • a third layer downstream of the second layer can in turn recognize and output objects based on the different shapes.
  • a fourth layer downstream of the third layer can recognize and output structures based on the objects.
  • the convolutional neural network may have multiple layers, each having one or more sub-layers.
  • the neural network can have a first layer and a second layer downstream of the first layer, with the second layer being generated by using a filter, in particular a one-dimensional or multi-dimensional filter.
  • the filter is configured in such a way that when applied to the first layer it produces one, in particular a single, sub-layer of the second layer.
  • the filter is thus matched to the first layer, in particular with regard to the number of sub-layers of the first layer.
  • the number of sub-layers of the second layer may correspond to the number of filters applied to the first layer.
  • the first layer can be downstream of the input layer and by applying a, in particular one or multi-dimensional filters are generated.
  • the filter is configured in such a way that when applied to the input layer it produces one, in particular a single, sub-layer of the first layer.
  • the filter is matched to the input layer, particularly with regard to the number of sublayers of the first layer.
  • the number of sublayers of the first layer depends on the number of filters applied to the input layer.
  • the decision layer of the neural network can be connected to at least two layers. This means that the outputs from at least two layers are fed directly to the decision layer. In particular, the decision layer can receive the outputs from each layer directly. Alternatively, the decision layer can be connected directly to the input layer. This is the case when the neural network has no layer between the input layer and the decision layer.
  • the artificial neural network can have an unsupervised machine algorithm, in particular a learning algorithm.
  • the unsupervised algorithm is used to accurately identify whether the specific at least a portion of the object corresponds to at least a portion of the specified cargo.
  • An unsupervised algorithm is understood to be an algorithm that determines structures and relationships in the input data on the basis of inputs. Two types of unsupervised learning algorithms can be distinguished. A “cluster” algorithm attempts to find clusters of observations in a dataset that are similar to each other. An “association” algorithm tries to find rules with which associations can be drawn. It is particularly advantageous if the unsupervised algorithm is a proximity search algorithm, in particular a nearest neighbor algorithm.
  • a decision layer of the convolutional neural network may include the unsupervised learning algorithm.
  • the unsupervised learning algorithm is supplied with the output data of the layer or the input layer.
  • the decision layer and hence the unsupervised algorithm can be fully connected to the upstream layer or the input layer.
  • all neurons of the decision layer are connected to all neurons of the preceding further layer or the input layer.
  • the convolutional neural network can have only a single layer, in particular the decision layer, which is completely connected to the previous layer.
  • the preceding layer is understood to mean the layer that is arranged before the decision layer in an information flow from the input layer to the decision layer.
  • the decision layer can have a multiplicity of neurons which extend, in particular exclusively, in one direction. Such a one-dimensional decision layer enables faster processing of the data.
  • a data element of the image signal that is fed to the decision layer can be checked to see whether it contains part of the specified transport item.
  • the check can contain the determination of at least one parameter of the supplied data element.
  • two parameters can be determined.
  • the parameters can differ from each other in type.
  • one parameter can be the variance of an item of image information contained in the data element and/or another parameter can be the expected value of an item of image information contained in the data element.
  • using the unsupervised learning algorithm and the at least one specific parameter, in particular the two specific parameters it can be determined whether the data element contains part of the specified transport goods.
  • the unsupervised learning algorithm may use a training result to determine whether the data item contains a portion of the specified shipment.
  • the training result can be at least one parameter range.
  • the training result can be two parameter ranges. This is relevant for the case when the unsupervised learning algorithm determines two parameters.
  • the parameter range determined in the training is referred to below as the pre-trained parameter range.
  • the unsupervised learning algorithm can determine that the supplied data element contains part of the specified transport good if the determined at least one parameter lies in the at least one pre-trained parameter range. In the event that two parameters are determined, the unsupervised learning algorithm determines that the supplied data element contains part of the specified transport goods if a first determined parameter, such as the variance, is in a first pre-trained parameter range and a second determined parameter, such as the Expected value is in a second pre-trained parameter range. It has been recognized that by using the unsupervised learning algorithm it is possible to determine whether the objects contained in the image signal correspond to the specified transport goods. Therefore, the neural network can be used flexibly. In particular, the neural network can also be used if the image signal contains objects that are unknown to the neural network. This is possible because the unsupervised learning algorithm is based on the at least one parameter and uses the at least one parameter to determine whether or not the image signal contains the specified item to be transported.
  • the unsupervised learning algorithm can be trained in such a way that it also determines another predefined item to be transported.
  • the method works in the same way if a number of predefined goods to be transported are to be determined.
  • the other item to be transported differs, for example, in type from the specified item to be transported.
  • the two types of goods to be transported can be arranged in the monitoring area at the same time.
  • the types of goods to be transported can be arranged in the monitoring area at different points in time. In this case, as part of the training process, several parameter ranges of the same type have been determined, which are assigned to the respective goods to be transported.
  • the computer device can determine the specified transport item assigned to the specified parameter range.
  • the neural network can be used to identify in a simple manner whether a specified item to be transported or a plurality of specified types of item to be transported are located in the monitoring area.
  • the unsupervised algorithm may be configured to output a bounding box that encloses the portion of the specified cargo.
  • a bounding box may be created when it has been determined that a portion of the specified cargo is located within the surveillance area.
  • the bounding box is determined based on the analysis of the data items described above. Thus, after the analysis of the data elements, those data elements are known which contain part of the goods to be transported.
  • a neural convolution network which has an unsupervised learning algorithm, offers the advantage that it can be recognized particularly well whether the specified item to be transported is arranged in the monitored area.
  • the computer device can have a triggering module that determines a recording time.
  • the triggering module can be connected downstream of the transported goods identification module. This means that the triggering module receives the output data from the transported goods identification module as input data. Alternatively, it is possible for the triggering module to work in parallel with the item-of-transport identification module.
  • the recording time corresponds to the time at which the picture was taken.
  • the recording time can be offset by a period of time from a determination time at which the other artificial neural network has determined that at least part of the object is in the surveillance area.
  • the recording time is not time-delayed to the recording time and thus an image is recorded at the same time as it was determined that the object is arranged in the surveillance area. In this case it was determined by the other artificial neural network that the object, in particular transport goods, is arranged completely in the monitored area.
  • the time period can be selected such that the entire object, in particular transported goods, is arranged in the monitored area at the time of recording. This means that the picture is not taken until the object, in particular goods to be transported, from the position at the time of determination to a position in which the object, in particular goods to be transported, is completely arranged in the monitoring area.
  • the triggering module makes a prediction as to when the item to be transported is completely arranged in the monitoring area. It can thus be achieved in a simple manner that only images that can actually be processed in later processing are recorded. For this it is necessary that the complete transported goods are arranged in the monitored area.
  • the time of recording can be determined and/or the image can only be generated when the neural network of the item to be transported identification module determines that the specific object corresponds to the at least one specified item to be transported.
  • An algorithm of the triggering module can be used to determine when the object, in particular transport goods, is completely arranged in the monitored area.
  • the triggering module can have a linear quadratic estimation algorithm, by means of which it is determined when the cargo is completely arranged in the surveillance area.
  • the triggering module thus takes into account the fact that the image capturing device requires a certain time from receipt of a recording signal in order to capture an image. Accordingly, the triggering module ensures that the image capturing device captures the image neither too early nor too late, but always when the specified item to be transported is completely arranged in the monitored area.
  • the recorded image can be processed in such a way that the quality of the goods to be transported is assessed in a subsequent step. In particular, it can be assessed whether the transported goods are not damaged and/or have other undesirable properties.
  • an image can be made available in a simple manner and without a data connection to the transport device that can be used to assess the quality of the transported goods. This means that no electrical data, such as sensor data, relating to a state and/or a property of the transport device and/or the transported goods are transmitted to the computer device.
  • the determination of the transport quality can thus be based solely on the recorded optical image signal.
  • the computer device has a filter module.
  • the filter module is configured in such a way that it checks the image signal before supplying it to the artificial neural network as to whether at least a part of the object is arranged in the surveillance area.
  • the filter module is provided in the computer device in such a way that it first receives the image signals recorded by the image recording device.
  • the filter module can thus filter out image signals, so that only a part of the monitoring area goes to the transport goods detection module outgoing image signals. This is advantageous because the filter module requires less computing capacity than the modules connected downstream of the filter module. As a result, the computer capacity required can be kept low when no object is arranged in the monitored area.
  • the filter module may include another artificial neural network.
  • the other artificial neural network can determine whether an object is located in the monitoring area based on the supplied image signal.
  • the other artificial neural network may be a deep neural network. In this case, the other artificial network can have fewer layers than the artificial neural network. This allows the other artificial network to process the image signal faster than the artificial neural network.
  • the other neural network may be another convolution neural network.
  • the other convolutional neural network has the advantage that image patterns can be recognized and it is therefore advantageous for the analysis of image signals.
  • the other artificial neural network differs from the artificial network in that it is optimized to process the image signals quickly and recognizes that at least a part of the object is located in the monitoring area. However, it usually does not recognize or does not recognize which object is arranged in the monitored area. In contrast, the artificial neural network is optimized in such a way that it recognizes whether the object located in the monitored area corresponds to the specified transport goods.
  • the image signal captured by the image capture device can be supplied to an input layer of the other artificial neural network.
  • the number of neurons in the input layer of the other neural convolution network can correspond to a number of pixels in the image signal.
  • the input layer contains information about image height and image width.
  • the input layer of the other convolutional neural network can be three-dimensional.
  • the input layer can contain information about the image height, image width and image information.
  • the image information can be color information, for example. If color information is limited to the colors red, yellow and blue, the input layer has three sublayers. As a result, the input layer of the other neural network can be identical to the input layer of the neural network described above.
  • the other convolutional neural network can have one or more further layers.
  • the further layer can be a neuronal convolution layer and/or can be connected downstream of the input layer.
  • the further layer receives the output data of the input layer.
  • At least one filter with a predetermined pixel size of the further layer analyzes the received data and outputs an output matrix.
  • the number of output matrices depends on the number of filters.
  • the size of the output matrix depends on the filter size and other factors such as padding and step size.
  • the output of the further layer can be simplified, in particular reduced, by pooling, become.
  • the number of further layers of the other convolutional neural network is smaller than the number of layers of the convolutional neural network.
  • the other convolutional neural network may have only one input layer and one output layer.
  • the other neural network may have one or more layers between the input layer and the output layer.
  • the other neural network can thus have 10 or fewer further layers.
  • the convolutional neural network can have 20 or more further layers.
  • the other artificial neural network can have another unsupervised machine algorithm, in particular a learning algorithm.
  • the other unsupervised algorithm is for detecting whether at least part of an object is located in the surveillance area.
  • the other unmonitored algorithm also recognizes a hitherto unknown object that is located in the monitored area. It is particularly advantageous if the other unsupervised algorithm is a proximity search algorithm, in particular a nearest neighbor algorithm.
  • a decision layer of the other convolutional neural network may include the other unsupervised learning algorithm.
  • the output data of a further layer or the input layer are supplied to the other unsupervised learning algorithm.
  • the decision layer, and hence the other unsupervised algorithm may be fully connected to the preceding further layer or to the input layer.
  • all neurons of the decision layer are connected to all neurons of the preceding further layer or the input layer.
  • the other convolutional neural network can have only a single layer, in particular the decision layer, which is completely connected to the previous layer or the input layer.
  • the preceding layer is understood to mean the layer that is arranged before the decision layer in an information flow from the input layer to the decision layer.
  • the other unsupervised learning algorithm may be configured to output information as to whether or not a part of the object is located in the monitored area. If the unsupervised learning algorithm determines that part of the object is located in the surveillance area, the image is fed to the neural network. As a result, filtering of the image signals is achieved in a simple manner, so that only the image signals in which at least part of the object is arranged in the monitored area are fed to the neural network. The neural network can then determine, in the manner described above, whether the specific object is the specified item to be transported and/or generate the bounding box.
  • the other unsupervised learning algorithm can use a training result of the other neural network to determine whether the data element of the image signal contains a part of the object. In this way, the other unsupervised learning algorithm can determine a different parameter based on the image signal. In this case, the unsupervised learning algorithm can depend on the other parameter determine whether at least part of the object is located in the surveillance area. In particular, another parameter or another parameter range pre-trained in the training process can be used to assess whether the data element contains a part of the object or not. By comparing the other parameter determined in real operation to the other parameter pre-trained in the training process or the pre-trained other parameter range, it can be determined whether the data element contains at least part of the object.
  • the other neural network recognizes that at least part of an object is arranged in the monitored area.
  • the other neural network works like the neural network, in that in both cases it is checked whether another parameter determined in real operation lies within a pre-trained other parameter range, with the output of the respective network depending on the test result. Therefore, reference is also made to the above statements on the neural network.
  • the two networks may differ in the number of layers.
  • the other neural network can have fewer layers than the neural network, so that the other neural network cannot recognize exactly which object it is.
  • the other neural network can accurately recognize whether at least part of the object is located in the surveillance area.
  • the neural network outputs whether the object is the specified item to be transported or part of the item to be transported, while the other neural network outputs whether any part of an object is located in the monitoring area at all.
  • the structure, in particular the connections between the different layers, of the other artificial neural network can be determined by a neural architecture search system. This can also be done in the training process.
  • the structure of the network is optimized for speed and not for the precise recognition of patterns.
  • a system constructed in this way offers the advantage that the examination of the image signal can take place particularly quickly.
  • every neuron in one layer is connected to every neuron in another layer.
  • the search system is designed in such a way that it recognizes which connections between the neurons are actually necessary and removes the unnecessary connections. Therefore, the search system reduces the number of connections between the neurons, which allows the artificial neural network to process the image signal quickly. Since the decision layer is fully connected to the previous layer, the optimization only occurs in the layers preceding the decisions.
  • the neural convolutional network is trained in a training process before it is used.
  • the workout of the neural network can have a first training phase and a second training phase, in particular downstream of the first training phase.
  • the neural network can be trained in the second training phase using the neural network trained in the first training phase. This is explained in more detail below.
  • the neural network can be modified in comparison to the neural network used in real operation such that the neural network to be trained has a different decision layer.
  • the decision layer of the network to be trained does not have an unsupervised learning algorithm. This means that in the first training phase, the layers of the neural network to be trained that precede the decision layer are trained.
  • the training takes place in the first training phase with training images.
  • the number of training images supplied to the neural network to be trained in the first training phase is greater than the number of images supplied to the neural network to be trained in the second training phase.
  • the images fed to the neural network to be trained are labeled.
  • the first training phase can be understood as a basic training of the neural network. This means that the training is not geared towards the specific application, that is to say the at least one specified item to be transported, but rather the aim is for the neural network to learn a large number of different objects.
  • the image signal contains information about the image height, image width and other image information such as color.
  • the image signal contains information about the objects represented in the images.
  • the image signal contains information about what objects, e.g. screws, chair, pen, etc., are.
  • the training images supplied as part of the first training phase can have the specified goods to be transported.
  • the designated or classified objects are at least partially enclosed by a bounding box, so that the neural convolution network recognizes where the specified item to be transported is located in the image signal.
  • the neural network to be trained is supplied with a large number of images, in particular millions of images, which, as explained above, contain information about the object and the position of the object.
  • images can show a large number of different objects, in which case the goods to be transported can be included in the images, but do not have to be included.
  • the first training phase can preferably only be carried out once.
  • the neural network is only trained according to the second training phase for each new application.
  • the first training phase can be carried out before every second training phase, in particular each time the neural network is used in a new application.
  • the decision layer of the neural network to be trained features the unsupervised learning algorithm. This means that the structure and functionality of the neural network to be trained in the second training phase corresponds to the neural network that is used in real operation.
  • the neural network trained in the first training phase is used in the second training phase. This means that in the second training phase, the layer or layers preceding the decision layer have already been trained.
  • the second training phase is used to train the neural network for the special application, ie for the case in which the neural network is to recognize the at least one transport item.
  • the neural network to be trained can be supplied with training images which contain the specified item to be transported and optionally one or more other objects, and training images which contain no object and therefore no specified item to be transported. However, it is advantageous if 20-100%, in particular 80-95%, preferably 90-95%, of the supplied training images show the specified item to be transported.
  • the same training images can be supplied in the second training phase as in the first training phase. Alternatively, different training images can be supplied. At least one training image, in particular a large number of training images, can be supplied to the neural network in the second training phase. A part of the training images can be labeled and another part of the training images can not be labeled. Alternatively, all images may not be labeled. All training images that contain an object are labeled. Training images that do not contain an object are not labeled.
  • the neural network is trained for the at least one specified item to be transported. This means that the neural network recognizes very precisely whether the object in the monitored area is the specified item to be transported. Accordingly, the output of the neural network is whether the object located in the monitored area is the specified item to be transported.
  • At least one parameter is determined for at least one neuron of the decision layer supplied training data element.
  • the training data item comes from a layer upstream of the decision layer.
  • the training data element contains image information, in particular an image intensity, and/or represents an image area of a training image.
  • a large number of training data elements, each representing an image area, are fed to the decision layer.
  • the decision layer has the complete picture in the form of training data elements. It is clear that the training data elements are fed to the decision layer for each training image fed to the neural network to be trained.
  • At least one parameter is determined in the decision layer for, in particular each, training data element of a training image.
  • a variance of the image information contained in the training data element is determined as the first parameter and/or an expected value, in particular of a normal distribution, of the image information contained in the training data element is determined as the second parameter.
  • a parameter range can be determined in which the training data element has a part of the transport object.
  • the parameter range can be determined because a large number of training images are used for training. Accordingly, many parameters are determined so that a range of parameters can be determined.
  • two parameter ranges which are assigned to the specified item to be transported, are determined.
  • the training data element has at least part of the item to be transported if both determined parameters are in the respective parameter range.
  • the slices trained in the first training phase can determine very precisely whether the image signal contains an object. It is therefore possible in the second training phase that at least one cluster, in particular parameter ranges, can be formed.
  • the unsupervised algorithm is not adapted, but the above-mentioned parameter or parameters are determined.
  • the parameter values or parameter value ranges are known, which define a cluster area in which training data elements of the training images are arranged, which have a part of the transported goods. With knowledge of the parameter values or the parameter value ranges, a decision can be made in real operation as to whether the video signal contains at least part of the transported goods.
  • the other neural network in particular the convolution network, is trained in a training process before it is used.
  • the training can take place identically to the neural network.
  • the other neural network can also be trained in two training phases.
  • Analogous to the neural network at least one other parameter can be determined during training for a training image supplied to the decision layer of the other neural network.
  • the other unsupervised learning algorithm can determine the other parameter or another range of parameters.
  • the determined pre-trained other parameter or other range of parameters may characterize whether at least part of the object is located in the surveillance area.
  • the determined other parameter can be compared with the pre-trained parameter or other pre-trained parameter range determined in the training process, and depending on the comparison it can be determined whether at least part of the object is arranged in the monitored area. In particular, it can be determined that at least a part of the object is arranged in the surveillance area if the determined other parameter lies in the pre-trained other parameter range. Contrary to the neural network, the other becomes neural networks trained such that the output of the other neural network is whether or not at least part of the object is located in the surveillance area.
  • a device with an image capture device for capturing an image signal, which emanates from a monitored area and a computer device according to the invention that is data-technically connected to the image capture device.
  • the image capture device and the computer device are connected in such a way that the image signals captured by the image capture device are fed to the computer device.
  • the image acquisition device and the computer device can be integrated in the same device. So the device can be a mobile phone or camera or tablet or the like. Alternatively, the image acquisition device and the computer device can be designed separately from one another.
  • the computing device can thus be part of a computer which is connected to the image acquisition device in terms of data technology.
  • the computer device has to communicate with the image acquisition device and not with the transport device.
  • the image capturing device can have a lens. In this case, the same image capturing device can capture the image signal emanating from the surveillance area and record and thus generate the image. Alternatively, an image capture device can capture the image signal emanating from the monitored area and another image capture device can capture the image and thus generate it.
  • the image capture device can continuously monitor the surveillance area, so that image signals are continuously captured by the image capture device. Accordingly, image signals are continuously evaluated by the computer device.
  • the image acquisition device can be designed in such a way that it can acquire image signals that are in the wavelength range that is visible to the human eye. Alternatively or additionally, the image acquisition device can be designed in such a way that it can process image signals that are outside the wavelength range that is visible to the human eye, in particular in the infrared or hyperspectral range.
  • the computer device can output a recording signal and transmit it to the image acquisition device.
  • the image capturing device can record the image and thus generate it.
  • the recording signal can contain information about the recording time or is output at the recording time.
  • a computer program which includes instructions which, when the program is executed by a computer, cause the latter to carry out the method according to the invention.
  • a data carrier is advantageous on which the computer program according to the invention is saved.
  • a data carrier signal is advantageous which transmits a computer program according to the invention.
  • FIG. 1 shows a schematic representation of a device according to the invention at a point in time at which a part of a specified item to be transported is completely arranged in a monitoring area
  • FIG. 4 shows a flowchart for training the artificial neural network from FIG. 2,
  • FIG. 6 shows a flow chart of the method according to the invention.
  • a device 9 shown in FIG. 1 has an image acquisition device 10 and a computer device 3 . At least part of the image acquisition device 10 and the computer device 3 are arranged in a cavity of the device 9 that is enclosed by a housing 12 .
  • the image acquisition device 10 and the computer device 3 are connected in terms of data technology. In this way, optical image signals captured by the image capturing device 10 are transmitted to the computer device 3 .
  • the device 9 can be a mobile phone.
  • the device 9 is not connected to the transport device 11 in terms of data technology. This means that no data exchange takes place between the transport device 11 and the device 9 . In particular, no data is transmitted from the transport device 11 to the device 9 or vice versa.
  • the image capture device 10 monitors a surveillance area 2 from which the image signal emanates.
  • the transport device 11 can be a conveyor belt or the like.
  • the transport device 11 serves to transport objects.
  • the object can be a given transport item 1, which is further analyzed.
  • the object can be another transport item 1a that is not relevant and should therefore not be analyzed further.
  • the image capturing device 10 is placed in such a way that the monitored area 2 includes an area of the transport device 11 .
  • the monitoring area 2 includes a transport route of the object, so that it is ensured that each specified item to be transported 1 and each other, not relevant transport goods 1a must pass the monitoring area 2.
  • the image acquisition device 10 can record an image of the monitored area 2 after receiving a recording signal 13 output by the computer device 3 .
  • the computer device 3 includes a filter module 6 to which the image signal captured by the image capture device 10 is supplied.
  • the computer device 3 has a transported goods identification module 4 to which an output signal from the filter module 6 can be supplied.
  • the transported goods identification module 4 has an artificial neural network, the structure of which is shown in FIG.
  • the filter module 6 has another artificial neural network, the structure of which is shown in FIG.
  • the computer device 3 also has a triggering module 5 . The output signal of the filter module 6 is fed to the transport goods identification module 4 and the triggering module 5 .
  • the transported goods identification module 4 and the triggering module 5 generate the recording signal 13 which is fed to the image acquisition device 10 .
  • the image recording device 10 After receiving the recording signal 13 , the image recording device 10 records an image of the monitored area 2 . The image is saved and can be used for a subsequent determination of the quality of the specified item 1 to be transported.
  • the triggering module 5 is connected downstream of the goods identification module 4 .
  • Fig. 2 shows a schematic structure of an artificial neural network 7 of the transported goods identification module 4.
  • the neural network 7 has an input layer 15 and a decision layer 16 and a large number of layers 17, 17'. Although two layers are shown in FIG. 2, namely a first layer 17 and a second layer 17', the neural network 7 has more than two layers 17, 17'. The flow of information from the input layer 15 to the decision layer 16 takes place in the direction of the arrow shown.
  • the neural network 7 can have more than 100 layers.
  • the image signal received by the filter module 6 from the image acquisition device 10 is transmitted to the transported goods detection module 4 when it is determined in the filter module 6 that at least part of the specified transported goods 1 is located in the monitoring area 2.
  • the image signal is fed to the input layer 15 of the neural network 7 .
  • the input layer is three-dimensional.
  • the extent of the input layer 15 in the width direction B corresponds to an image width and the extent of the input layer 15 in the height direction H corresponds to the image height.
  • the number of neurons of the input layer 15 not shown in Figure 2 can be Width direction B corresponds to the number of pixels contained in the image signal in the width direction B and in height direction H correspond to the number of pixels contained in the image signal in the height direction.
  • the input layer 15 can contain further image information in the depth direction T. In this way, the input layer 15 can contain color information in the depth direction T. If the focus is only on the colors red, yellow and blue, the input layer has three sub-layers in the depth direction T, not shown in FIG. 2, namely one sub-layer for each of the aforementioned colors. However, the image information is not limited to color.
  • the layers 17 are convolutional layers.
  • the layers 17 each have a plurality of filters, which leads to a greater extension of the layers 17 in the depth direction T. This means that the layers 17 have a larger number of sub-layers in the depth direction T than the input layer 15 and/or than the respectively preceding layer 17, 17'.
  • the filters are selected in such a way that the number of neurons is reduced, at least in the width direction B. The number of neurons in the width direction B from layer 17, 17' to another layer 17, 17' in the direction of the decision layer 16 can continue to decrease.
  • the neural network 7 is designed in such a way that the decision layer 16 is one-dimensional. In the case shown in Figure 2, the decision layer 16 thus extends in the vertical direction H.
  • the decision layer 16 includes an unsupervised learning algorithm.
  • the unsupervised learning algorithm can be a proximity search algorithm, in particular a nearest neighbor algorithm.
  • the decision layer 16 is fully connected to the previous layer 17. This means that all neurons of the previous layer 17 are connected to all neurons of the decision layer 16.
  • the convolutional neural network 7 has only one layer, namely the decision layer 16, which is completely connected to a preceding layer.
  • the unsupervised learning algorithm is configured in such a way that its output 18 contains information as to whether at least part of the object, in particular item to be transported 1 , 1a in the monitoring area 2 corresponds to at least part of the specified item to be transported 1 .
  • the unsupervised learning algorithm creates a bounding box that encloses the cargo or a portion of the cargo.
  • Fig. 3 shows a schematic structure of another artificial neural network 7 of the filter module 6.
  • the other neural network 19 has an input layer 20 and a decision layer 22 and a large number of further layers 21 . Although a further layer 21 is shown in FIG. 3 , the neural network 19 can have more than one layer 21 . However, the other neural network 19 has fewer additional layers 21 than the neural network 7 shown in FIG indicated direction of the arrow.
  • the image signal captured by the image capture device 10 is supplied to the input layer 20 .
  • the input layer is three-dimensional and identical to the input layer 15 of the neural network 7 . Therefore, reference is made to the statements above.
  • the decision layer 22 includes an unsupervised learning algorithm.
  • the unsupervised learning algorithm can be a proximity search algorithm, in particular a nearest neighbor algorithm.
  • the unsupervised learning algorithm can be configured in such a way that its output 23 contains information as to whether at least a part of the object is arranged in the monitored area 2 .
  • the filter module does not differentiate whether the specific object is the specified item to be transported or not.
  • the filter module 6 only determines that an item to be transported 1 or another item to be transported 1a or another object is located in the monitored area.
  • FIG. 4 shows a flow chart of training of the neural network 7 shown in FIG. 2.
  • the training has two training phases T1, T2, with the second training phase T2 following the first training phase T1.
  • a neural network that is based on the neural network shown in FIG. 2 is trained.
  • the neural network to be trained differs in the decision layer 16 from the neural network shown in FIG.
  • the decision layer 16 of the neural network to be trained does not have an unsupervised learning algorithm, but outputs the result determined in the preceding layers.
  • the output can contain the information as to whether part of the specified item to be transported 1 is located in the monitored area 2 and/or have a boundary box which encloses the part of the item to be transported 1 located in the monitored area.
  • a large number of training images are supplied to the input layer.
  • the training images are labeled.
  • the images contain information as to whether an object is arranged and/or where the object is arranged.
  • the training images can contain the specified item to be transported 1 .
  • the training images can contain other objects in addition to the specified goods to be transported. It is also possible that the training images do not contain the specified transport item 1. As a result, the training images contain a large number of different objects.
  • a large number of training images is supplied to the neural network 7 to be trained.
  • the aim of the first training phase is basic training, after which the neural network recognizes a large number of objects which can also contain the at least one specified item to be transported.
  • the layers 17, 17' of the neural network can already recognize precisely whether a part of an object is arranged in the image signal.
  • the second training phase T2 is initiated.
  • the second training phase is based on the neural network T1 trained in the first training phase T1, which is symbolized by the dashed arrow in FIG.
  • the second training phase serves to train the neural network for the specific application. This means that after the end of the second training phase, the neural network can easily recognize whether the object in the monitored area is the specified item to be transported.
  • the neural network to be trained in the second training phase T2 does not differ in structure and functioning from the neural network used in real operation, which is shown in FIG.
  • the neural network to be trained in the second training phase T2 has a decision layer 16 with the unsupervised learning algorithm.
  • the neural network to be trained in the second training phase T2 has the layers 17, 17' trained in the first training phase T1.
  • a first training step T21 the neural network 7 to be trained is supplied with images which contain a specified item to be transported and images which do not contain any specified item to be transported. In contrast to the first training phase T1, at least some of the images are not labeled or all the images are not labeled.
  • a second training step T22 several parameters are determined in the decision layer 16 for each training data element of the training image supplied to the decision layer.
  • the training data element represents part of the training image and contains at least one piece of image information, such as the light intensity.
  • a normal distribution is then determined for the image information contained in the training data element. In particular, a variance and/or an expected value of the normal distribution is determined.
  • the parameters are determined for each training data element of a training image.
  • the process is repeated for each training image supplied to the neural network to be trained, in particular the training data elements of the training image.
  • a third training step T23 based on the ascertained parameter values, at least one parameter range is determined, in which the training data elements are located, which contain at least a part of the transported goods 1. Accordingly, it is also known at which parameter values the training data elements do not contain any part of the specified item to be transported. Utilization is made of the fact that the layers 17, 17' can already determine precisely whether an image signal contains a part of the specified transport item 1. Since the image information of a training data element and thus the parameters depend on whether it contains part of the specified item to be transported, the training data elements can be classified using the determined parameters as to whether they contain part of the specified item to be transported 1 or not.
  • FIG. 5 shows a diagram with training data elements.
  • the vertical axis is a parameter, such as Variance of the image information included in the training data item and the horizontal axis is another parameter, like expected value, of the image information included in the training data item.
  • the training data elements shown in FIG. 5 each show the same image section in each of the training images fed to the neural network 7 . In the present case it was assumed that 20 training images are supplied to the neural network 7, with 10 training images containing a first predefined training item and 10 training images containing a second predefined training item.
  • a first cluster area is defined by a first expectation area E1 and a first variance area V1.
  • a second cluster area is defined by a second expectation area E2 and a second variance area V2.
  • the cluster areas are determined by the determined parameter values of the first specified item to be transported and by the determined parameter values of the second specified item to be transported.
  • the first cluster area is selected in such a way that the parameter values determined by the neural network for the first specified item to be transported lie within the cluster area.
  • the second cluster area is selected in such a way that the parameter values determined by the neural network for the second specified item to be transported lie within the second cluster area C2.
  • the other neural network 19 shown in FIG. 3 is trained in the same way as the neural network 7. In this respect, reference is made to the above explanations for FIGS. In contrast to the neural network 7, however, the other neural network 19 outputs information as to whether at least part of the object is arranged in the monitored area 2.
  • FIG. 6 shows a flow chart of the method according to the invention.
  • a first method step S1 an image signal emanating from the monitored area 2 is captured by the image capturing device 10 .
  • the captured image signal is fed to the filter module 6 .
  • the filter module 6 is used to determine whether at least a part of the transported goods 1 is arranged in the monitored area 2 .
  • the filter module 6 has the other artificial neural network 19, which may be a convolutional neural network.
  • the neural convolution network has already been trained before use.
  • the other artificial network 19 determines, on the basis of the image signal received from the image acquisition device 10, whether at least part of an object is arranged in the monitored area 2. In particular, it is determined whether the determined other parameter value is within the other pre-trained parameter range. If it is determined in the filter module 6 that no part of the object is arranged in the monitored area 2, the processing is terminated and the process sequence begins again. This is the case when the determined other parameter value is not within the other pre-trained parameter range. This is symbolized by the dashed arrow. Since the filter module 6 continuously receives image signals from the image capture device 10, a new image signal is examined in the filter module 6 as described above.
  • the output signal is transmitted by the filter module 6 to the transported goods identification module 4 in a third method step S3 .
  • the image signal coming from the filter module 6 is processed in the transport goods identification module 4 in the layers 17, 17'.
  • several data elements of the image signal are transmitted to the decision layer 16 .
  • the parameters mentioned above, such as variance and expected value, are determined for each data element.
  • each data element represents a part of the image signal.
  • the decision layer is supplied with the image signal in the form of data elements.
  • the unsupervised learning algorithm uses the determined parameter values to determine for each data element whether the data element is in the first cluster area C1 or in the second cluster area C2. If this is the case, the transport identification module determines that the item in question is a predefined item to be transported assigned to the cluster area C1, C2, or at least part of the predefined item to be transported. This process is repeated for all data elements of the image signal.
  • a bounding box is generated, which encloses the part of the goods to be transported or the goods to be transported.
  • the bounding box can be created using the analyzed data elements. After analyzing the data elements, it is known whether they contain part of the transported goods.
  • a fifth method step S5 the output signal is transmitted from the transport detection module 4 to the triggering module 5.
  • a recording time is determined in the triggering module 5 on the basis of the output signal from the transport goods identification module 4 .
  • a period of time is determined in the triggering module 5 when the item to be transported 1 is completely arranged in the monitoring area 2 .
  • a recording signal is generated and transmitted to the image acquisition device 5 on the basis of the outputs of the transport detection module 4 and/or the triggering module 5 .
  • the recording signal can contain the information that the image acquisition device 5 is to record an image and the information when this is to take place.
  • the image acquisition device 10 records the image of the monitored area 2 and stores it. An assessment of the quality of the transported goods, which is not presented in more detail below, can be carried out on the basis of the recorded image.
  • V1 first range of variance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen, ob ein vorgegebenes Transportgut (1) in einem Überwachungsbereich (2) angeordnet ist, wobei ein Bildsignal des Überwachungsbereichs (2), durch den ein Transportweg eines Objekts verläuft, erfasst wird, wobei vor einem Zuführen des Bildsignals zu einem künstlich neuronalen Netz (7) durch ein anderes künstliches neuronales Netz (19) auf der Basis des Bildsignals bestimmt wird, ob wenigstens ein Teil eines Objekts in dem Überwachungsbereich (2) angeordnet ist, wobei das Bildsignal dem neuronalen Netz (7) zugeführt wird, wenn durch das andere neuronale Netz (19) bestimmt wird, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich (2) angeordnet ist, wobei durch das künstlich neuronale Netz (7) auf der Basis des Bildsignals bestimmt wird, ob der bestimmte wenigstens eine Teil des Objekts wenigstens einem Teil des vorgegebenen Transportguts (1) entspricht, wobei, wenn durch das künstlich neuronale Netz (7) bestimmt wird, dass wenigstens ein Teil des vorgegebenen Transportguts (1) in dem Überwachungsbereich (2) angeordnet ist, ein Bild des Überwachungsbereichs (2) erzeugt wird.

Description

Verfahren zum Bestimmen, ob ein vorgegebenes Transportgut in einem Überwachunqsbereich angeordnet ist
Die Erfindung betrifft ein Verfahren zum Bestimmen, ob ein vorgegebenes Transportgut in einem Überwachungsbereich angeordnet ist. Darüber hinaus betrifft die Erfindung eine Rechnereinrichtung zum Bestimmen, ob ein vorgegebenes Transportgut in einem Überwachungsbereich angeordnet ist und eine Vorrichtung mit einer solchen Rechnereinrichtung. Außerdem betrifft die Erfindung ein Computerprogrammprodukt, einen Datenträger und ein Datenträgersignal.
Aus dem Stand der Technik sind unterschiedliche Ausbildungen von Fertigungsstraßen bekannt. In den Fertigungsstraßen wird ein vorgegebenes Transportgut entlang eines Fertigungswegs wenigstens einmal untersucht. Dabei ist bekannt, dass Vorrichtungen vorgesehen sind, mittels denen die Qualität des Transportguts überprüft wird. Die Vorrichtungen weisen üblicherweise eine Bilderfassungseinrichtung auf, mittels der ein Bereich der Fertigungsstrecke überwacht wird. Die Bilderfassungseinrichtung ist mit der Fertigungsstraße datentechnisch verbunden. So werden Sensorwerte, die die Position des Transportguts betreffen, an die Bilderfassungseinrichtung übermittelt. Diese Information ist notwendig, damit wenigstens ein Bild des Überwachungsbereichs aufgenommen wird, wenn das Transportgut tatsächlich in dem Überwachungsbereich angeordnet ist. Insofern besteht eine direkte datentechnische Verbindung zwischen der Fertigungsstraße und der Bilderfassungseinrichtung. Die Datenübertragung kann über eine Datenleitung oder drahtlos erfolgen.
Nachteilig bei den bekannten Bilderfassungseinrichtungen ist, dass der Aufbau der Bilderfassungseinrichtung sehr komplex ist. Darüber hinaus ist ein hoher Einrichtungswand notwendig, damit die Bilderfassungserfassungsvorrichtung Bildsignale eines Überwachungsbereichs aufnehmen kann. Dementsprechend ist es sehr zeit- und kostenintensiv, die Bilderfassungseinrichtung an eine andere Stelle der Fertigungsstraße zu platzieren oder es ist nicht möglich.
Die Aufgabe der Erfindung besteht darin, ein Verfahren anzugeben, bei dem die oben genannten Nachteile nicht auftreten.
Die Aufgabe wird gelöst durch ein Verfahren zum Bestimmen, ob wenigstens ein vorgegebenes Transportgut in einem Überwachungsbereich angeordnet ist, wobei ein Bildsignal des Überwachungsbereichs, durch den ein Transportweg eines Objekts verläuft, erfasst wird, wobei vor einem Zuführen des Bildsignals zu einem künstlich neuronalen Netz durch ein anderes künstliches neuronales Netz auf der Basis des Bildsignals bestimmt wird, ob wenigstens ein Teil eines Objekts in dem Überwachungsbereich angeordnet ist, wobei das Bildsignal dem neuronalen Netz zugeführt wird, wenn durch das andere neuronale Netz bestimmt wird, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist, wobei durch das künstlich neuronale Netz auf der Basis des Bildsignals bestimmt wird, ob der bestimmte wenigstens eine Teil des Objekts wenigstens einem Teil des wenigstens einen vorgegebenen Transportguts entspricht, wobei, wenn durch das künstlich neuronale Netz bestimmt wird, dass wenigstens ein Teil des wenigstens einen vorgegebenen Transportguts in dem Überwachungsbereich angeordnet ist, ein Bild des Überwachungsbereichs erzeugt wird.
Eine weitere Aufgabe besteht darin eine Rechnereinrichtung bereitzustellen, mittels der die oben genannten Nachteile verhindert werden können.
Die Vorrichtung wird gelöst durch eine Rechnereinrichtung zum Bestimmen, ob wenigstens ein vorgegebenes Transportgut in einem Überwachungsbereich angeordnet ist, mit einem Transportguterkennungsmodul, das ein künstlich neuronales Netz aufweist, und einem Filtermodul, das ein anderes künstlich neuronales Netz aufweist und dem Transportguterkennungsmodul vorgeschaltet ist, wobei die Rechnereinrichtung derart konfiguriert ist, dass das andere künstlich neuronale Netz des Filtermoduls auf der Basis des Bildsignals bestimmt, ob wenigstens ein Teil eines Objekts in dem Überwachungsbereich angeordnet ist, wobei das Bildsignal dem neuronalen Netz des Transportguterkennungsmoduls zugeführt wird, wenn das andere neuronale Netz bestimmt, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist, und dass das künstlich neuronale Netz auf der Basis des Bildsignals bestimmt, ob der bestimmte wenigstens eine Teil des Objekts wenigstens einem Teil des wenigstens einen vorgegebenen Transportguts entspricht, wobei die Rechnereinrichtung veranlasst, ein Bild des Überwachungsbereichs zu erzeugen, wenn das künstlich neuronale Netz bestimmt, dass wenigstens ein Teil des wenigstens einen vorgegebenen Transportguts in dem Überwachungsbereich angeordnet ist.
Erfindungsgemäß wurde erkannt, dass durch Vorsehen eines künstlich neuronalen Netzes nicht mehr die Notwendigkeit besteht, dass die Rechnereinheit, in der die Bildsignale ausgewertet werden, datentechnisch mit einer Transportvorrichtung verbunden sein muss, mittels der das Transportgut transportiert wird. Insbesondere ist keine Hardwareanbindung der Bilderfassungseinrichtung mit der Transportvorrichtung mehr notwendig. Bei der erfindungsgemäßen Lösung besteht somit keine Notwendigkeit, dass durch Sensoren der Transportvorrichtung ermittelte Messwerte an die Rechnereinrichtung übermittelt werden. Die Rechnereinrichtung kann unabhängig von den von der Transportvorrichtung ermittelten Daten bestimmen, ob wenigstens ein Teil des Transportguts in dem Überwachungsbereich angeordnet ist und ob es sich bei dem bestimmten Transportgut um ein vorgegebenes Transportgut handelt. Dadurch ist es möglich, dass die Rechnereinrichtung an einer beliebigen Stelle der Transportstrecke platziert werden kann, ohne dass Einstellungen der Transporteinrichtung geändert werden müssen. Außerdem kann das Verfahren mit nahezu jeder Bilderfassungseinrichtung durchgeführt werden, sodass keine komplex aufgebauten
Bilderfassungseinrichtungen mehr notwendig sind. Das Filtermodul mit dem anderen neuronalen Netz bietet den Vorteil, dass dem Transportguterkennungsmodul nicht alle Bildsignale zugeführt werden. Dies ist vorteilhaft, weil durch das Filtermodul Bildsignale ausgefiltert werden können, die kein vorgegebenes Transportgut enthalten. Somit müssen diese durch das Transportguterkennungsmodul nicht analysiert werden. Da die Bildsignalverarbeitung durch das Transportguterkennungsmodul länger dauert als durch das Filtermodul, ist durch das Vorsehen des Filtermoduls eine schnelle Datenverarbeitung gewährleistet.
Das Filtermodul ist derart konfiguriert, dass es erkennt, ob wenigstens ein Teil eines Objekts in dem Überwachungsbereichs angeordnet ist. Dies umfasst auch, dass das Filtermodul erkennt, dass das gesamte Objekt in dem Überwachungsbereich angeordnet ist. Jedoch erkennt das Filtermodul nicht, um welches Objekt es sich handelt. Insofern erkennt das Filtermodul nicht, ob es sich bei dem Objekt um das vorgegebene Transportgut handelt.
Das Transportguterkennungsmodul ist derart ausgebildet, dass es erkennt, ob der bestimmte wenigstens eine Teil des Objekts wenigstens einem Teil des vorgegebenen Transportguts entspricht. Dies umfasst auch die Erkennung, ob das vollständig bestimmte Objekt dem vorgegebenen Transportgut entspricht. Bei dem vorgegebenen Transportgut handelt es sich um einen Gegenstand der mittels der Transportvorrichtung transportiert werden soll und somit von Interesse ist. Im Betrieb kann es jedoch vorkommen, dass andere Objekte als das vorgegebene Transportgut auf dem Transportband angeordnet sind und/oder das Bildsignal weitere Objekte enthält, wie Personen oder bewegliche Bauteile der Fertigungsstraße, die nicht von Interesse sind. Diese Objekte müssen daher als nicht relevante Objekte erkannt und nicht berücksichtigt werden.
Als Transportgut wird ein Gegenstand bezeichnet, der einer räumlichen Standortveränderung mittels der Transportvorrichtung unterzogen wird. Das Transportgut ist für den Benutzer von Interesse, sodass das Verfahren ermitteln soll, ob das Transportgut in dem Überwachungsbereich angeordnet ist. Die Transportvorrichtung dient zum Transportieren des Transportguts und kann beispielsweide ein Transportband sein. Alternativ sind noch weitere Einrichtungen denkbar, die als Transportvorrichtung fungieren.
Dabei wird mit „wenigstens ein vorgegebenes Transportgut“ verstanden, dass die Rechnereinrichtung ein einziges vorgegebenes Transportgut oder mehrere vorgegebene Transportgüter bestimmen kann. Bei mehreren vorgegebenen Transportgütern kann es sich um Güter des gleichen Typs handeln. Alternativ können sich die Transportgüter im Typ voneinander unterscheiden. In diesem Fall muss der nachstehend beschriebene Trainingsvorgang für jeden Transportguttyp durchgeführt werden, damit sie von der Rechnereinrichtung im Betrieb als „vorgegebenes Transportgut“ erkannt werden.
Als Transportweg wird der Weg verstanden, entlang dem die Transportvorrichtung das vorgegebene Transportgut oder ein anderes Objekt transportiert. Der Überwachungsbereich ist dabei derart gewählt, dass er einen Teil des Transportwegs umfasst. Somit ist auf einfache Weise sichergestellt, dass beim Transport das vorgegebene Transportgut immer den Überwachungsbereich durchläuft.
Als Bilderzeugung oder Bildaufnahme wird ein Vorgang verstanden, bei dem das Bildsignal zu einem bestimmten Zeitpunkt in einem elektrischen Speicher, insbesondere zur wiederholten und/oder dauerhaften Verwendung, gespeichert wird. Der elektrische Speicher kann eine Festplatte der Rechnereinrichtung und/oder der Bilderfassungseinrichtung sein. Basierend auf dem gespeicherten Bildsignal kann das Bild erzeugt werden, das beispielsweise angezeigt werden kann. Das Bildsignal enthält eine Vielzahl von Pixeln, die als Ganzes das zuvor genannte Bild bilden.
Die Rechnereinrichtung ist eine datenverarbeitende elektrische Einheit, mittels der das Bildsignal verarbeitet und/oder ausgewertet wird. Dabei kann die Rechnereinrichtung ein Prozessor sein oder einen Prozessor aufweisen.
Bei dem Licht des Bildsignals kann es sich um für das menschliche Auge sichtbares Licht handeln. Dabei kann das Licht eine Wellenlänge im Bereich zwischen 380nm bis 780nm (Nanometer) aufweisen. Dies bietet den Vorteil, dass keine komplexe und teure Bilderfassungseinrichtung zum Erzeugen des Bildes herangezogen werden muss. Insbesondere kann ein elektrisches Gerät, wie ein Mobiltelefon, ein Tablett, eine Kamera, etc. zum Erzeugen des Bildes verwendet werden.
Das künstlich neuronale Netz und/oder das andere neuronale Netz kann vor dem Betrieb trainiert worden sein. Dabei können zusätzlich die während des Verfahrensbetriebs der Rechnereinrichtung ermittelten Daten auch zum Trainieren des künstlich neuronalen Netzes und/oder des anderen neuronalen Netzes verwendet werden. Die Trainingsvorgänge werden nachfolgend detaillierter beschrieben.
Das neuronale Netz kann ein Netz sein, das wenigstens eine Eingabeschicht und eine Entscheidungsschicht aufweist. Darüber hinaus kann das neuronale Netz wenigstens eine Schicht aufweisen. Insbesondere kann das neuronale Netz ein tiefes neuronales Netz sein. Als tiefes neuronales Netz wird ein künstlich neuronales Netz verstanden, das eine Vielzahl von Schichten aufweist. Insbesondere weist das neuronale Netz die Eingabeschicht und die Entscheidungsschicht auf. Dazwischen weist das neuronale Netz wenigstens eine Schicht auf, die mit der Eingabeschicht und der Entscheidungsschicht datentechnisch verbunden ist. Die zwischen der Eingabeschicht und der Entscheidungsschicht angeordnete Schicht oder Schichten werden auch als verborgene Schicht oder verborgenen Schichten bezeichnet. Jede der zuvor genannten Schichten weist Neuronen auf.
Die Neuronen einer Schicht sind mit Neuronen einer anderen Schicht verbunden. Die Verbindung kann derart sein, dass ein Neuron einer Schicht mit allen Neuronen einer anderen Schicht verbunden ist. Alternativ kann ein Neuron einer Schicht mit nur einem Teil von Neuronen der anderen Schicht verbunden sein. Dadurch kann eine Verbindung im neuronalen Netz realisiert werden, bei der eine oder mehrere Ausgaben der Eingabeschicht zu der Schicht zugeführt werden. Darüber hinaus werden eine oder mehr Ausgaben der Schicht an die Entscheidungsschicht zugeführt. Dabei kann das neuronale Netz ein neuronales Faltungsnetz, das auch als convolutional neuronal network bezeichnet wird, aufweisen. Mittels eines neuronalen Faltungsnetzes lassen sich besonders gut Bildsignale untersuchen. Insbesondere können mittels eines neuronalen Faltungsnetzes Muster in Bildsignalen gut erkannt werden.
Das durch die Bilderfassungseinrichtung erfasste Bildsignal kann einer Eingabeschicht des neuronalen Faltungsnetzes zugeführt werden. Dabei kann die Anzahl der Neuronen einer Eingabeschicht des neuronalen Faltungsnetzes einer Anzahl an Pixeln des Bildsignals entsprechend. Somit enthält die Eingabeschicht Informationen zur Bildhöhe und Bildbreite. Die Eingabeschicht des neuronalen Faltungsnetzes kann dreidimensional sein. Dabei kann die Eingabeschicht Informationen zur Bildhöhe, Bildbreite und eine Bildinformation enthalten. Die Bildinformation kann beispielsweise eine Farbinformation sein. Für den Fall, dass die Farbinformation sich auf die Farben rot, gelb und blau beschränkt, weist die Eingabeschicht drei Subschichten auf.
Das neuronale Faltungsnetz kann eine oder mehrere Schichten aufweisen. Die Schicht kann eine neuronale Faltungsschicht sein und/oder der Eingabeschicht nachgeschaltet sein. Die Schicht empfängt die Ausgabedaten der Eingabeschicht.
Eine Schicht kann mehrere Subschichten aufweisen. Eine Subschicht weist eine Vielzahl von Neuronen auf, die einer Ebene angeordnet sind, wobei die Ebenen zueinander versetzt angeordnet sind. Eine Schicht kann somit als eine mehrdimensionale Matrix angesehen werden, die Informationen auf einem unterschiedlichen Abstraktionsniveau ausgeben. So kann eine erste Schicht Informationen über Kanten erkennen und ausgeben. Die erste Schicht kann der Eingabeschicht nachgeschaltet sein. Eine der ersten Schicht nachgeschaltete zweite Schicht kann basierend auf den Kanten unterschiedliche Formen erkennen und ausgeben. Eine der zweiten Schicht nachgeschaltete dritte Schicht kann wiederum basierend auf den unterschiedlichen Formen Objekte erkennen und ausgeben. Eine der dritten Schicht nachgeschaltete vierte Schicht kann basierend auf den Objekten Strukturen erkennen und ausgeben. Im Ergebnis kann das Bildsignal umso genauer analysiert werden, je höher die Anzahl der Schichten ist.
Wie zuvor ausgeführt ist, kann das neuronale Faltungsnetz mehrere Schichten aufweisen, die jeweils eine oder mehrere Subschichten aufweisen. Dabei kann das neuronale Netz eine erste Schicht und eine der ersten Schicht nachgeschaltete zweite Schicht aufweisen, wobei die zweite Schicht durch Anwenden eines, insbesondere ein oder mehrdimensionalen, Filters erzeugt wird. Der Filter ist derart konfiguriert, dass er beim Anwenden auf die erste Schicht eine, insbesondere eine einzige, Subschicht der zweiten Schicht erzeugt. Somit ist der Filter an die erste Schicht angepasst, insbesondere hinsichtlich der Anzahl der Subschichten der ersten Schicht. Die Anzahl der Subschichten der zweiten Schicht kann der Anzahl der auf die erste Schicht angewandten Filter entsprechen.
Die erste Schicht kann der Eingabeschicht nachgeschaltet sein und durch Anwenden eines, insbesondere ein oder mehrdimensionalen, Filters erzeugt werden. Der Filter ist derart konfiguriert, dass er beim Anwenden auf die Eingabeschicht eine, insbesondere eine einzige, Subschicht der ersten Schicht erzeugt. Somit ist der Filter an die Eingabeschicht angepasst, insbesondere hinsichtlich der Anzahl der Subschichten der ersten Schicht. Die Anzahl der Subschichten der ersten Schicht hängt von der Anzahl der an die Eingabeschicht angewandten Filter ab.
Die Entscheidungsschicht des neuronalen Netzes kann mit wenigstens zwei Schichten verbunden sein. Dies bedeutet, dass die Ausgaben von wenigstens zwei Schichten der Entscheidungsschicht direkt zugeführt werden. Insbesondere kann die Entscheidungsschicht die Ausgaben von jeder Schicht direkt erhalten. Alternativ kann die Entscheidungsschicht direkt mit der Eingabeschicht verbunden sein. Dies ist der Fall, wenn das neuronale Netz kein Schicht zwischen der Eingabeschicht und der Entscheidungsschicht aufweist.
Das künstlich neuronale Netz kann einen unüberwachten maschinellen Algorithmus, insbesondere Lernalgorithmus, aufweisen. Der unüberwachte Algorithmus dient zum genauen Erkennen, ob der bestimmte wenigstens eine Teil des Objekts wenigstens einem Teil des vorgegebenen Transportguts entspricht.
Als unüberwachter Algorithmus wird ein Algorithmus verstanden, der auf der Basis von Eingaben Strukturen und Beziehungen in den Eingabedaten ermittelt. Dabei können zwei Arten von unüberwachten Lernalgorithmen unterschieden werden. Bei einem „Cluster“-Algorithmus wird versucht Cluster von Beobachtungen in einem Datensatz zu finden, die einander ähnlich sind. Bei einem „Assoziations“- Algorithmus wird versucht Regeln zu finden, mit denen Assoziationen gezeichnet werden können. Besonders vorteilhaft ist, wenn der unüberwachte Algorithmus ein proximity search algorithmus, insbesondere ein nearest-neighbour algorihmus, ist.
Eine Entscheidungsschicht des neuronalen Faltungsnetzes kann den unüberwachten Lernalgorithmus aufweisen. Somit werden dem unüberwachten Lernalgorithmus die Ausgabedaten der Schicht oder der Eingabeschicht zugeführt. Die Entscheidungsschicht und somit der unüberwachte Algorithmus kann vollständig mit der vorgeschalteten Schicht oder der Eingabeschicht verbunden sein. Insbesondere sind alle Neuronen der Entscheidungsschicht mit allen Neuronen der vorhergehenden weiteren Schicht oder der Eingabeschicht verbunden. Das neuronale Faltungsnetz kann nur eine einzige Schicht, insbesondere die Entscheidungsschicht, aufweisen, die vollständig mit der vorhergehenden Schicht verbunden ist. Als vorhergehende Schicht wird die Schicht verstanden, die bei einem Informationsfluss von der Eingabeschicht zu der Entscheidungsschicht vor der Entscheidungsschicht angeordnet ist.
Die Entscheidungsschicht kann eine Vielzahl von Neuronen aufweisen, die sich, insbesondere ausschließlich, in einer Richtung erstrecken. Eine derartige eindimensionale Entscheidungsschicht ermöglich eine schnellere Bearbeitung der Daten. Im Realbetrieb kann ein Datenelement des Bildsignals, das der Entscheidungsschicht zugeführt wird, dahingehend überprüft werden, ob es einen Teil des vorgegebenen Transportguts enthält. Dabei kann die Prüfung das Bestimmen von wenigstens einem Parameter des zugeführten Datenelementes enthalten. Insbesondere können zwei Parameter bestimmt werden. Die Parameter können sich vom Typ voneinander unterscheiden. So kann ein Parameter die Varianz einer in dem Datenelement enthaltenen Bildinformation sein und/oder ein anderer Parameter kann der Erwartungswert einer in dem Datenelement enthaltenen Bildinformation sein. Dabei kann unter Verwendung des unüberwachten Lernalgorithmus und des wenigstens einen bestimmten Parameters, insbesondere der beiden bestimmten Parameter, bestimmt werden, ob das Datenelement einen Teil des vorgegebenen Transportguts enthält.
Der unüberwachte Lernalgorithmus kann zum Bestimmen, ob das Datenelement einen Teil des vorgegebenen Transportguts enthält, ein Trainingsergebnis verwenden. Das Trainingsergebnis kann wenigstens ein Parameterbereich sein. Insbesondere kann das Trainingsergebnis zwei Parameterbereiche sein. Dies ist für den Fall relevant, wenn der unüberwachte Lernalgorithmus zwei Parameter bestimmt. Der im Training ermittelte Parameterbereich ist im Folgenden als vortrainierter Parameterbereich bezeichnet.
Der unüberwachte Lernalgorithmus kann bestimmen, dass das zugeführte Datenelement einen Teil des vorgegebenen Transportguts enthält, wenn der bestimmte wenigstens eine Parameter in dem wenigstens einen vortrainierten Parameterbereich liegt. Für den Fall dass zwei Parameter bestimmt werden, bestimmt der unüberwachte Lernalgorithmus, dass das zugeführte Datenelement einen Teil des vorgegebenen Transportguts enthält, wenn ein erster bestimmter Parameter, wie beispielsweise die Varianz, in einem ersten vortrainierten Parameterbereich und ein zweiter bestimmter Parameter, wie beispielsweise der Erwartungswert, in einem zweiten vortrainierten Parameterbereich liegt. Es wurde erkannt, dass durch Verwenden des unüberwachten Lernalgorithmus es möglich ist, zu bestimmen, ob die im Bildsignal enthaltenen Objekte dem vorgegebenen Transportgut entsprechen. Daher ist das neuronale Netz flexibel einsetzbar. Insbesondere kann das neuronale Netz auch eingesetzt werden, wenn das Bildsignal Objekte enthält, die dem neuronalen Netz nicht bekannt sind. Dies ist möglich, weil der unüberwachte Lernalgorithmus auf den wenigstens einen Parameter abstellt und anhand des wenigstens einen Parameters bestimmt, ob das Bildsignal das vorgegebene Transportgut enthält oder nicht.
Abhängig von dem Trainingsvorgang kann der unüberwachte Lernalgorithmus dahingehend trainiert werden, dass er auch ein anderes vorgegebenes Transportgut bestimmt. Mit anderen Worten, das Verfahren funktioniert analog, wenn mehrere vorgegebene Transportgüter bestimmt werden sollen. Das andere Transportgut unterscheidet sich beispielweise in dem Typ von dem vorgegebenen Transportgut. Dabei können die beiden Transportguttypen zur gleichen Zeit in dem Überwachungsbereich angeordnet sein. Alternativ können die Transportguttypen zu unterschiedlichen Zeitpunkten in dem Überwachungsbereich angeordnet sein. In diesem Fall sind im Rahmen des Trainingsvorgangs mehrere Parameterbereiche vom gleichen Typ bestimmt worden, die dem jeweiligen Transportgut zugeordnet sind. Dies bedeutet, dass für den Fall, dass der im Realbetrieb ermittelten Parameter in dem vorgegebenen Parameterbereich liegt, die Rechnereinrichtung das dem vorgegebenen Parameterbereich zugeordnete vorgegebene Transportgut bestimmen kann. Im Ergebnis kann mittels des neuronalen Netzes auf einfache Weise erkannt werden, ob ein vorgegebenes Transportgut oder mehrere vorgegebene Transportguttypen in dem Überwachungsbereich angeordnet sind.
Bei einer besonderen Ausführung kann der unüberwachten Algorithmus derart konfiguriert sein, dass er einen Begrenzungskasten als Ausgabe ausgibt, der den Teil des vorgegebenen Transportguts umschließt. Insbesondere kann ein Begrenzungskasten erzeugt werden, wenn bestimmt wurde, dass ein Teil des vorgegebenen Transportguts in dem Überwachungsbereich angeordnet ist. Die Bestimmung des Begrenzungskasten erfolgt basierend auf der oben beschriebenen Analyse der Datenelemente. So sind nach der Analyse der Datenelemente diejenigen Datenelemente bekannt, die einen Teil des Transportguts aufweisen.
Die Verwendung eines neuronalen Faltungsnetzes, der einen unüberwachten Lernalgorithmus aufweist, bietet den Vorteil, dass besonders gut erkannt werden kann, ob das vorgegebene Transportgut in dem Überwachungsbereich angeordnet ist.
Bei einer besonderen Ausführung kann die Rechnereinrichtung ein Auslösemodul aufweisen, die einen Aufnahmezeitpunkt bestimmt. Das Auslösemodul kann dem Transportguterkennungsmodul datentechnisch nachgeschaltet sein. Dies bedeutet, dass das Auslösemodul die Ausgabedaten des Transportguterkennungsmoduls als Eingangsdaten empfängt. Alternativ ist es möglich, dass das Auslösemodul parallel zu dem Transportguterkennungsmodul arbeitet.
Der Aufnahmezeitpunkt entspricht dabei dem Zeitpunkt zu dem das Bild aufgenommen wird. Der Aufnahmezeitpunkt kann um eine Zeitdauer von einem Bestimmungszeitpunkt versetzt sein, zu dem das andere künstlich neuronale Netz bestimmt hat, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich. Alternativ ist es möglich, dass der Aufnahmezeitpunkt nicht zeitversetzt zu dem Aufnahmezeitpunkt ist und somit ein Bild zum gleichen Zeitpunkt aufgenommen wird, zu dem bestimmt wurde, dass das Objekt in dem Überwachungsbereich angeordnet ist. In diesem Fall wurde durch das andere künstlich neuronale Netz bestimmt, dass das Objekt, insbesondere Transportgut, vollständig in dem Überwachungsbereich angeordnet ist.
Für den Fall, dass bestimmt wird, dass nur ein Objektteil, insbesondere Transportgutteil, in dem Überwachungsbereich angeordnet ist, kann die Zeitdauer derart gewählt werden, dass zum Aufnahmezeitpunkt das vollständige Objekt, insbesondere Transportgut, in dem Überwachungsbereich angeordnet ist. Dies bedeutet, dass das Bild erst aufgenommen wird, wenn sich das Objekt, insbesondere Transportgut, aus der bei der zum Bestimmungszeitpunkt befindlichen Position in eine Position bewegt, bei der das Objekt, insbesondere Transportgut, vollständig in dem Überwachungsbereich angeordnet ist. Im Ergebnis tätigt das Auslösemodul eine Vorhersage, wann das Transportgut vollständig in dem Überwachungsbereich angeordnet ist. Somit kann auf einfache Weise erreicht werden, dass nur Bilder aufgenommen werden, die in einer späteren Verarbeitung auch tatsächlich verarbeitet werden können. Dazu ist es notwendig, dass das vollständige Transportgut in dem Überwachungsbereich angeordnet ist.
Der Aufnahmezeitpunkt kann bestimmt werden und/oder das Bild kann erst dann erzeugt, wenn das neuronale Netz des Transportguterkennungsmoduls bestimmt, dass das bestimmte Objekt dem wenigstens einen vorgegebenen Transportgut entspricht.
Die Bestimmung, wann das Objekt, insbesondere Transportgut, vollständig in dem Überwachungsbereich angeordnet ist, kann durch einen Algorithmus des Auslösemoduls erfolgen. Das Auslösemodul kann einen linear quadratischen Schätzungsalgorithmus (linear quadratic estimation algorithm) aufweisen, mittels dem bestimmt wird, wann das Transportgut vollständig in dem Überwachungsbereich angeordnet ist.
Im Auslösemodul wird somit die Tatsache berücksichtigt, dass die Bilderfassungseinrichtung eine gewisse Zeit ab Erhalt eines Aufnahmesignals benötigt, um ein Bild zu erfassen. Dementsprechend stellt das Auslösemodul sicher, dass die Bilderfassungseinrichtung weder das Bild zu früh noch zu spät erfasst, sondern immer dann, wenn das vorgegebene Transportgut vollständig in dem Überwachungsbereich angeordnet ist.
Das aufgenommene Bild kann dahingehend verarbeitet werden, dass in einem darauffolgenden Schritt die Transportgutqualität beurteilt wird. Insbesondere kann beurteilt werden, ob das Transportgut keine Beschädigungen aufweist und/oder weitere nicht erwünschte Eigenschaften aufweist. Im Ergebnis kann auf einfache Weise und ohne eine datentechnische Verbindung mit der Transportvorrichtung ein Bild zur Verfügung gestellt werden, dass zur Beurteilung der Transportgutqualität eingesetzt werden kann. Dies bedeutet, dass keine elektrischen Daten, wie Sensordaten, zu einem Zustand und/oder zu einer Eigenschaft der Transportvorrichtung und/oder des Transportguts an die Rechnereinrichtung übermittelt werden. Die Bestimmung der Transportqualität kann somit allein auf dem erfassten optischen Bildsignal basieren.
Wie oben bereits ausgeführt ist, weist die Rechnereinrichtung ein Filtermodul auf. Das Filtermodul ist derart konfiguriert, dass es das Bildsignal vor einem Zuführen zu dem künstlich neuronalen Netz dahingehend überprüft, ob wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist. Dabei ist das Filtermodul derart in der Rechnereinrichtung vorgesehen, dass es die von der Bilderfassungseinrichtung erfassten Bildsignale zuerst empfängt. Das Filtermodul kann somit Bildsignale ausfiltern, sodass zu dem Transportguterkennungsmodul nur ein Teil der vom Überwachungsbereich ausgehenden Bildsignale zugeführt wird. Dies ist vorteilhaft, weil das Filtermodul weniger Rechnerkapazität benötigt als die dem Filtermodul nachgeschalteten Module. Dadurch kann die benötigte Rechnerkapazität gering gehalten werden, wenn in dem Überwachungsbereich kein Objekt angeordnet ist.
Das Filtermodul kann ein anderes künstliches neuronales Netz aufweisen. Das andere künstliche neuronale Netz kann auf Basis des zugeführten Bildsignals bestimmen, ob in dem Überwachungsbereich ein Objekt angeordnet ist. Das andere künstliche neuronale Netz kann ein tiefes neuronales Netz sein. Dabei kann das andere künstliche Netz weniger Schichten aufweisen als das künstliche neuronale Netz. Dadurch kann das andere künstliche Netz das Bildsignal schneller verarbeiten als das künstlich neuronale Netz.
Darüber hinaus kann das andere neuronale Netz ein anderes neuronales Faltungsnetz sein. Wie oben bereits beschrieben ist, weist das andere neuronale Faltungsnetz den Vorteil auf, dass Bildmuster erkannt werden können und es daher für die Analyse von Bildsignalen vorteilhaft ist. Im Ergebnis unterscheidet sich das andere künstliche neuronale Netz von dem künstlichen Netz dadurch, dass es auf eine schnelle Verarbeitung der Bildsignale optimiert ist und erkennt, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist. Es erkennt jedoch zumeist nicht oder nicht, welches Objekt in dem Überwachungsbereich angeordnet ist. Dagegen ist das künstliche neuronale Netz dahingehend optimiert ist, dass es erkennt, ob das in dem Überwachungsbereich befindliche Objekt dem vorgegebenen Transportgut entspricht.
Das durch die Bilderfassungseinrichtung erfasste Bildsignal kann einer Eingabeschicht des anderen künstlichen neuronalen Netzes zugeführt werden. Dabei kann die Anzahl der Neuronen der Eingabeschicht des anderen neuronalen Faltungsnetzes einer Anzahl an Pixeln des Bildsignals entsprechen. Somit enthält die Eingabeschicht Informationen zur Bildhöhe und Bildbreite. Die Eingabeschicht des anderen neuronalen Faltungsnetzes kann dreidimensional sein. Dabei kann die Eingabeschicht Informationen zur Bildhöhe, Bildbreite und eine Bildinformation enthalten. Die Bildinformation kann beispielsweise eine Farbinformation sein. Für den Fall, dass Farbinformation sich auf die Farben rot, gelb und blau beschränkt, weist die Eingabeschicht drei Subschichten auf. Im Ergebnis kann die Eingabeschicht des anderen neuronalen Netzes identisch zu der Eingabeschicht des oben beschriebenen neuronalen Netzes sein.
Das andere neuronale Faltungsnetz kann eine oder mehrere weitere Schichten aufweisen. Die weitere Schicht kann eine neuronale Faltungsschicht sein und/oder der Eingabeschicht nachgeschaltet sein. Die weitere Schicht empfängt die Ausgabedaten der Eingabeschicht. Wenigstens ein Filter mit einer vorgegebenen Pixelgröße der weiteren Schicht analysiert die empfangen Daten und gibt eine Ausgabematrix aus. Die Anzahl der Ausgabematrizen hängt von der Anzahl der Filter ab. Die Größe der Ausgabematrix hängt von der Filtergröße und weiteren Faktoren, wie dem Padding und der Schrittweite. Darüber hinaus kann die Ausgabe der weiteren Schicht durch poolen vereinfacht, insbesondere reduziert, werden.
Wie oben bereits beschrieben ist, ist die Anzahl der weiteren Schichten des anderen neuronalen Faltungsnetzes kleiner als die Anzahl der Schichten des neuronalen Faltungsnetzes. So kann das andere neuronale Faltungsnetz nur eine Eingabeschicht und eine Ausgabeschicht aufweisen. Alternativ kann das andere neuronale Netz eine oder mehrere Schichten zwischen der Eingabeschicht und der Ausgabeschicht aufweisen. So kann das andere neuronale Netz 10 oder weniger weitere Schichten aufweisen. Dagegen kann das neuronale Faltungsnetz 20 oder mehr weitere Schichten aufweisen.
Das andere künstlich neuronale Netz kann einen anderen unüberwachten maschinellen Algorithmus, insbesondere Lernalgorithmus, aufweisen. Der andere unüberwachte Algorithmus dient zum Erkennen, ob wenigstens ein Teil eines Objekts in dem Überwachungsbereich angeordnet ist. Insbesondere erkennt der andere unüberwachte Algorithmus auch ein bislang unbekanntes Objekt, das in dem Überwachungsbereich angeordnet. Besonders vorteilhaft ist, wenn der andere unüberwachte Algorithmus ein proximity search algorithmus, insbesondere ein nearest-neighbour algorihmus, ist.
Eine Entscheidungsschicht des anderen neuronalen Faltungsnetzes kann den anderen unüberwachten Lernalgorithmus aufweisen. Somit werden dem anderen unüberwachten Lernalgorithmus die Ausgabedaten einer weiteren Schicht oder der Eingabeschicht zugeführt. Die Entscheidungsschicht und somit der andere unüberwachte Algorithmus kann vollständig mit der vorhergehenden weiteren Schicht oder der Eingabeschicht verbunden sein. Insbesondere sind alle Neuronen der Entscheidungsschicht mit allen Neuronen der vorhergehenden weiteren Schicht oder der Eingabeschicht verbunden. Das andere neuronale Faltungsnetz kann nur eine einzige Schicht, insbesondere die Entscheidungsschicht, aufweisen, die vollständig mit der vorhergehenden Schicht oder der Eingabeschicht verbunden ist. Als vorhergehende Schicht wird die Schicht verstanden, die bei einem Informationsfluss von der Eingabeschicht zu der Entscheidungsschicht vor der Entscheidungsschicht angeordnet ist.
Der andere unüberwachten Lernalgorithmus kann derart konfiguriert sein, dass er eine Information ausgibt, ob ein Teil des Objekts in dem Überwachungsbereich angeordnet ist oder nicht. Sofern der unüberwachte Lernalgorithmus bestimmt, dass ein Teil des Objekts in dem Überwachungsbereich angeordnet ist, wird das Bild dem neuronalen Netz zugeführt. Dadurch wird im Ergebnis auf einfache Weise eine Filterung der Bildsignale erreicht, sodass dem neuronalen Netz nur die Bildsignale zugeführt werden, bei denen wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist. Das neuronale Netz kann dann in oben beschriebener Weise bestimmen, ob es sich bei dem bestimmten Objekt um das vorgegebene Transportgut handelt und/oder den Begrenzungskasten erzeugen.
Der andere unüberwachte Lernalgorithmus kann zum Bestimmen, ob das Datenelement des Bildsignals einen Teil des Objekts enthält, ein Trainingsergebnis des anderen neuronalen Netzes verwenden. So kann der andere unüberwachte Lernalgorithmus auf der Basis des Bildsignals einen anderen Parameter bestimmen. Dabei kann der unüberwachte Lernalgorithmus abhängig von dem anderen Parameter bestimmen, ob wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist. Insbesondere kann ein im Trainingsvorgang vortrainierter anderer Parameter oder anderer Parameterbereich zur Beurteilung herangezogen werden, ob das Datenelement einen Teil des Objekts enthält oder nicht. So kann durch Vergleich des im Realbetrieb bestimmten anderen Parameters zu dem im Trainingsvorgang vortrainierten anderen Parameters oder vortrainierten anderen Parameterbereich bestimmt werden, ob das Datenelement wenigstens einen Teil des Objekts enthält.
So kann geprüft werden, ob der andere Parameter in dem vortrainierten anderen Parameterbereich liegt. Sofern dies der Fall ist, erkennt das andere neuronale Netz, dass wenigstens ein Teil eines Objekts in dem Überwachungsbereich angeordnet ist. Im Ergebnis funktioniert das andere neuronale Netz wie das neuronale Netz, indem in beiden Fällen geprüft wird, ob ein im Realbetrieb ermittelter anderer Parameter innerhalb eines vortrainierten anderen Parameterbereichs liegt, wobei die Ausgabe des jeweiligen Netzes von dem Prüfungsergebnis abhängt. Daher wird auch auf die obigen Ausführungen zu dem neuronalen Netz verwiesen.
Wie oben beschrieben ist, können sich die beiden Netze in der Anzahl der Schichten unterscheiden. Insbesondere kann das andere neuronale Netz weniger Schichten als das neuronale Netz aufweisen, sodass das andere neuronale Netz nicht genau erkennen kann, um welches Objekt es sich handelt. Jedoch kann das andere neuronale Netz genau erkennen, ob wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist. Im Ergebnis gibt das neuronale Netz als Ausgabe aus, ob es sich bei dem Objekt um das vorgegebene Transportgut oder einen Teil des Transportguts handelt, während hingegen das andere neuronale Netz ausgibt, ob überhaupt ein Teil eines Objekts in dem Überwachungsbereich angeordnet ist.
Der Aufbau, insbesondere die Verbindungen zwischen den verschiedenen Schichten, des anderen künstlichen neuronale Netzes kann durch ein Suchsystem für einen neuronalen Aufbau (neural architecture search system) ermittelt werden. Dies kann ebenfalls in dem Trainingsvorgang erfolgen. Dabei ist der Aufbau des Netzes auf Schnelligkeit und nicht auf das Genaue Erkennen von Mustern optimiert. Ein derart aufgebautes System bietet den Vorteil, dass die Untersuchung des Bildsignals besonders schnell erfolgen kann.
In künstlichen neuronalen Netzen ist jedes Neuron einer Schicht mit jedem Neuron einer anderen Schicht verbunden. Das Suchsystem ist derart ausgebildet, dass es erkennt, welche Verbindungen zwischen den Neuronen tatsächlich notwendig sind und die nicht notwendigen Verbindungen entfernt. Daher wird durch das Suchsystem die Anzahl der Verbindungen zwischen den Neuronen reduziert, wodurch das künstlich neuronale Netz das Bildsignal schnell verarbeiten kann. Da die Entscheidungsschicht vollständig mit der vorhergehenden Schicht verbunden ist, erfolgt die Optimierung nur in den der Entscheidungen vorhergehenden Schichten.
Das neuronale Faltungsnetz wird vor dessen Einsatz in einem Trainingsvorgang trainiert. Das Training des neuronalen Netzes kann eine erste Trainingsphase und eine, insbesondere der ersten Trainingsphase nachgeschaltete, zweite Trainingsphase aufweisen. Das Training des neuronalen Netzes in der zweiten Trainingsphase kann unter Verwendung des in der ersten Trainingsphase trainierten neuronalen Netzes erfolgen. Dies wird nachfolgend näher erläutert.
In der ersten Trainingsphase kann das neuronale Netz im Vergleich zu dem im Realbetrieb verwendeten neuronalen Netz dahingehend verändert werden, dass das zu trainierende neuronale Netz eine andere Entscheidungsschicht aufweist. Insbesondere weist die Entscheidungsschicht des zu trainierenden Netzes keinen unüberwachten Lernalgorithmus auf. Dies bedeutet, dass in der ersten Trainingsphase die der Entscheidungsschicht vorgeschalteten Schichten des zu trainierenden neuronalen Netzes trainiert werden.
Das Training erfolgt in der ersten Trainingsphase mit Trainingsbildern. Dabei ist die Anzahl der dem zu trainierenden neuronalen Netz in der ersten Trainingsphase zugeführten Trainingsbilder größer ist als die Anzahl der dem zu trainierenden neuronalen Netz in der zweiten Trainingsphase zugeführten Bilder. Die dem zu trainierenden neuronalen Netz zugeführten Bilder sind beschriftet. Die erste Trainingsphase kann als ein Basistraining des neuronalen Netzes verstanden werden. Dies bedeutet, dass das Training nicht auf den speziellen Anwendungsfall, also das wenigstens eine vorgegebene Transportgut, ausgerichtet ist, sondern die Zielsetzung darin besteht, dass das neuronale Netz eine große Anzahl von unterschiedlichen Objekten lernt.
Mit „beschriftet“ ist gemeint, dass das Bildsignal Informationen zu der Bildhöhe, Bildbreite und weitere Bildinformationen enthält, wie die Farbe. Darüber hinaus enthält das Bildsignal Informationen zu dem in den Bildern dargestellten Objekten. Insbesondere enthält das Bildsignal Informationen um was es sich von Objekten, z.B. Schrauben, Stuhl, Stift, etc., handelt. Dabei können die im Rahmen der ersten Trainingsphase zugeführten Trainingsbilder das vorgegebene Transportgut aufweisen. Die bezeichneten oder klassifizierten Objekte sind durch einen Begrenzungskasten wenigstens teilweise umschlossen, sodass das neuronale Faltungsnetz erkennt, wo das vorgegebene Transportgut in dem Bildsignal angeordnet ist.
In dem ersten Trainingsvorgang werden dem zu trainierenden neuronalen Netz eine große Anzahl von Bildern, insbesondere z.B. Millionen von Bildern zugeführt, die, wie zuvor erläutert ist, Informationen zu dem Objekt und der Position des Objekts enthalten. Wie oben bereits beschrieben ist, können die Bilder eine Vielzahl von unterschiedlichen Objekten zeigen, wobei das Transportgut in den Bildern enthalten sein kann, aber nicht enthalten sein muss.
Die erste Trainingsphase kann vorzugweise nur einmal ausgeführt werden. In diesem Fall wird bei jedem neuen Anwendungsfall das neuronale Netz nur gemäß der zwetien Trainingsphase trainiert. Alternativ kann die erste Trainingsphase vor jeder zweiter Trainingsphase, insbesondere bei jedem Einsatz des neuronalen Netzes in einem neuen Anwendungsfall, durchgeführt werden. In der zweiten Trainingsphase weist die Entscheidungsschicht des zu trainierenden neuronalen Netzes den unüberwachten Lernalgorithmus auf. Dies bedeutet, dass das in der zweiten Trainingsphase zu trainierende neuronale Netz vom Aufbau und Funktionsweise dem neuronalen Netz entspricht, das im Realbetrieb eingesetzt wird. Dabei wird in der zweiten Trainingsphase das in der ersten Trainingsphase trainierte neuronale Netz eingesetzt. Dies bedeutet, dass in der zweiten Trainingsphase die der Entscheidungsschicht vorgeschaltete Schicht oder die vorgeschalteten Schichten bereits trainiert sind. Die zweite Trainingsphase dient zum Trainieren des neuronalen Netzes auf den speziellen Anwendungsfall, also auf den Fall, bei dem das neuronale Netz das wenigstens eine Transportgut erkennen soll.
Beim Training können dem zur trainierenden neuronalen Netz Trainingsbilder zugeführt, die das vorgegebenen Transportgut und ggf. ein oder mehrere andere Objekte enthalten, und Trainingsbilder zugeführt werden, die kein Objekt und somit kein vorgegebenes Transportgut enthalten. Es ist jedoch vorteilhaft, wenn 20-100%, insbesondere 80-95%, vorzugsweise 90-95%, der zugeführten Trainingsbilder das vorgegebene Transportgut zeigen. In der zweiten Trainingsphase können die gleichen Trainingsbilder zugeführt werden wie in der ersten Trainingsphase. Alternativ können unterschiedliche Trainingsbilder zugeführt werden. Dabei kann dem neuronalen Netz in der zweiten Trainingsphase wenigstens ein Trainingsbild, insbesondere eine Vielzahl von Trainingsbildern, zugeführt werden. Dabei kann ein Teil der Trainingsbilder beschriftet und ein anderer Teil der Trainingsbilder nicht beschriftet sein. Alternativ können auch alle Bilder nicht beschriftet sein. Dabei sind alle Trainingsbilder beschriftet, die ein Objekt enthalten. Trainingsbilder, die kein Objekt enthalten, sind nicht beschriftet.
Nach der zweiten Trainingsphase ist das neuronale Netz auf das wenigstens eine vorgegebene Transportgut trainiert. Dies bedeutet, dass das neuronale Netz sehr genau erkennt, ob es sich bei dem im Überwachungsbereich befindlichen Objekt um das vorgegebene Transportgut handelt. Dementsprechend ist die Ausgabe des neuronalen Netzes, ob das im Überwachungsbereich befindliche Objekt das vorgegebene Transportgut ist.
Dabei wird für ein wenigstens einem Neuron der Entscheidungsschicht zugeführtes Trainingsdatenelement wenigstens ein Parameter bestimmt. Dies kann in der zweiten Trainingsphase erfolgen, weil, wie oben ausgeführt ist, das neuronale Netz in der zweiten Trainingsphase auf das vorgegebene Transportgut trainiert wird. Das Trainingsdatenelement stammt von einer der Entscheidungsschicht vorgeschalteten Schicht. Das Trainingsdatenelement enthält eine Bildinformationen, insbesondere eine Bildintensität, und/oder repräsentiert einen Bildbereich eines Trainingsbildes. Der Entscheidungsschicht wird eine Vielzahl von Trainingsdatenelementen zugeführt, die jeweils einen Bildbereich repräsentieren. Im Ergebnis liegt der Entscheidungsschicht das komplette Bild in Form von Trainingsdatenelementen vor. Es ist klar, dass für jedes dem zu trainierenden neuronalen Netz zugeführten Trainingsbild der Entscheidungsschicht die Trainingsdatenelemente zugeführt werden. In der Entscheidungsschicht wird für, insbesondere jedes, Trainingsdatenelement eines Trainingsbildes wenigstens ein Parameter, insbesondere zwei Parameter, ermittelt. Insbesondere wird als erster Parameter eine Varianz der im Trainingsdatenelement enthaltenen Bildinformation bestimmt und/oder als zweiter Parameter wird ein Erwartungswert, insbesondere einer Normalverteilung, der im Trainingsdatenelement enthaltenen Bildinformation bestimmt.
Dabei kann unter Berücksichtigung des wenigstens einen bestimmten Parameters ein Parameterbereich bestimmt werden, bei dem das Trainingsdatenelement ein Teil des Transportobjekts aufweist. Der Parameterbereich kann ermittelt werden, weil eine Vielzahl von Trainingsbildern zum Trainieren herangezogen werden. Dementsprechend werden viele Parameter bestimmt, sodass ein Parameterbereich ermittelt werden kann. Für den Fall, dass zwei Parameter bestimmt werden, werden zwei Parameterbereiche, die dem vorgegebenen Transportgut zugeordnet sind, bestimmt. Dabei weist das Trainingsdatenelement wenigstens einen Teil des Transportguts auf, wenn beide ermittelten Parameter in dem jeweiligen Parameterbereich liegen.
Hier wird ausgenutzt, dass die in der ersten Trainingsphase trainierten Schichten sehr genau ermitteln können, ob das Bildsignal ein Objekt enthält. Daher ist es in der zweiten Trainingsphase möglich, dass wenigstens ein Cluster, insbesondere Parameterbereiche, gebildet werden können. In der zweiten Trainingsphase erfolgt keine Anpassung des unüberwachten Algorithmus, sondern es wird der oben genannte Parameter bzw. die Parameter bestimmt. Somit sind nach Abschluss der zweiten Trainingsphase die Parameterwerte bzw. Parameterwertbereiche bekannt, die einen Clusterbereich definieren, in dem Trainingsdatenelemente der Trainingsbilder angeordnet sind, die einen Teil des Transportguts aufweisen. Mit Kenntnis der Parameterwerte bzw. der Parameterwertbereiche kann im Realbetrieb eine Entscheidung getroffen werden, ob das Bildsignal wenigstens einen Teil des Transportguts enthält.
Das andere neuronale Netz, insbesondere Faltungsnetz, wird vor dessen Einsatz in einem Trainingsvorgang trainiert. Das Training kann identisch zu dem neuronalen Netz erfolgen. Dies bedeutet, dass das andere neuronale Netz ebenfalls in zwei Trainingsphasen trainiert werden kann. Analog zum neuronalen Netz kann beim Training für ein der Entscheidungsschicht des anderen neuronalen Netzes zugeführtes Trainingsbild wenigstens ein anderer Parameter bestimmt werden. Dabei kann der andere unüberwachte Lernalgorithmus den anderen Parameter oder einen anderen Parameterbereich bestimmen. Der bestimmte vortrainierte anderer Parameter oder andere Parameterbereich kann charakterisieren, ob wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist. So kann im Realbetrieb der ermittelte andere Parameter mit dem im Trainingsvorgang bestimmten vortrainierten Parameter oder vortrainierten anderen Parameterbereich verglichen werden und abhängig vom Vergleich bestimmt werden, ob im Überwachungsbereich wenigstens ein Teil des Objekts angeordnet ist. Insbesondere kann bestimmt werden, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist, wenn der bestimmte andere Parameter in dem vortrainierten anderen Parameterbereich liegt. Im Gegensatz zum neuronalen Netz wird das andere neuronale Netze derart trainiert, dass die Ausgabe des anderen neuronalen Netzes ist, ob wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist oder nicht.
Von besonderem Vorteil ist eine Vorrichtung mit einer Bilderfassungseinrichtung zum Erfassen eines Bildsignals, das von einem Überwachungsbereich ausgeht, und einer mit der Bilderfassungseinrichtung datentechnisch verbundenen erfindungsgemäßen Rechnereinrichtung. Die Bilderfassungseinrichtung und die Rechnereinrichtung sind derart verbunden, dass die von der Bilderfassungseinrichtung erfassten Bildsignale der Rechnereinrichtung zugeführt werden.
Die Bilderfassungseinrichtung und die Rechnereinrichtung können in derselben Vorrichtung integriert sein. So kann die Vorrichtung ein Mobiltelefon oder Kamera oder Tablet oder dergleichen sein. Alternativ können die Bilderfassungseinrichtung und die Rechnereinrichtung separat voneinander ausgebildet sein. So kann die Rechnereinrichtung Bestandteil eines Computers sein, der mit der Bilderfassungseinrichtung datentechnisch verbunden ist. Somit muss im Gegensatz zu den bekannten Vorrichtungen die Rechnereinrichtung mit der Bilderfassungseinrichtung und nicht mit der Transportvorrichtung kommunizieren.
Die Bilderfassungseinrichtung kann ein Objektiv aufweisen. Dabei kann dieselbe Bilderfassungseinrichtung das von dem Überwachungsbereich ausgehende Bildsignal erfassen und das Bild aufnehmen und somit erzeugen. Alternativ kann eine Bilderfassungseinrichtung das von dem Überwachungsbereich ausgehende Bildsignal erfassen und eine andere Bilderfassungseinrichtung kann das Bild aufnehmen und somit erzeugen. Die Bilderfassungseinrichtung kann den Überwachungsbereich kontinuierlich überwachen, sodass kontinuierlich Bildsignale von der Bilderfassungseinrichtung erfasst werden. Dementsprechend werden Bildsignale von der Rechnereinrichtung kontinuierlich ausgewertet. Die Bilderfassungseinrichtung kann derart ausgebildet sein, dass es Bildsignale erfassen kann, die im für das menschliche Auge sichtbaren Wellenlängenbereich liegen. Alternativ oder zusätzlich kann die Bilderfassungseinrichtung derart ausgebildet sein, dass es Bildsignale verarbeiten kann, die außerhalb des für das menschliche Auge sichtbaren Wellenlängenbereichs liegen, insbesondere im Infrarot- oder Hyperspektralbereich.
Wie oben beschrieben ist, kann die Rechnereinrichtung ein Aufnahmesignal ausgeben und an die Bilderfassungseinrichtung übermitteln. Die Bilderfassungseinrichtung kann nach Empfang des Aufnahmesignals zu dem Aufnahmezeitpunkt das Bild aufnehmen und somit erzeugen. Das Aufnahmesignal kann eine Information zum Aufnahmezeitpunkt enthalten oder wird zu dem Aufnahmezeitpunkt ausgegeben.
Von besonderem Vorteil ist ein Computerprogramm, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren durchzuführen. Außerdem ist ein Datenträger vorteilhaft, auf dem das erfindungsgemäße Computerprogramm gespeichert ist. Darüber hinaus ist ein Datenträgersignal von Vorteil, das ein erfindungsgemäßes Computerprogramm überträgt.
In den Figuren ist der Erfindungsgegenstand schematisch dargestellt, wobei gleiche oder gleichwirkende Elemente zumeist mit denselben Bezugszeichen versehen sind. Dabei zeigt:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zu einem Zeitpunkt, bei dem ein Teil eines vorgegebenen Transportguts vollständig in einem Überwachungsbereich angeordnet sind,
Fig. 2 eine schematische Darstellung eines künstlich neuronalen Netzes,
Fig. 3 eine schematische Darstellung eines anderen künstlich neuronalen Netzes,
Fig. 4 ein Ablaufdiagramm eines Trainings des künstlich neuronalen Netzes aus Figur 2,
Fig. 5 eine Verteilung von Trainingsdatenelementen und
Fig. 6 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
Eine in Figur 1 gezeigte Vorrichtung 9 weist eine Bilderfassungseinrichtung 10 und eine Rechnereinrichtung 3 auf. Dabei ist zumindest ein Teil der Bilderfassungseinrichtung 10 und die Rechnereinrichtung 3 in einem von einem Gehäuse 12 umschlossenen Hohlraum der Vorrichtung 9 angeordnet. Die Bilderfassungseinrichtung 10 und die Rechnereinrichtung 3 sind datentechnisch verbunden. So werden von der Bilderfassungseinrichtung 10 erfasste optische Bildsignale an die Rechnereinrichtung 3 übermittelt. Die Vorrichtung 9 kann ein Mobiltelefon sein. Wie aus Figur 1 ersichtlich ist, ist die Vorrichtung 9 mit der Transportvorrichtung 11 datentechnisch nicht verbunden. Dies bedeutet, dass kein Datenaustausch zwischen der Transportvorrichtung 11 und der Vorrichtung 9 erfolgt. Insbesondere werden keine Daten von der Transportvorrichtung 11 zu der Vorrichtung 9 oder umgekehrt übermittelt.
Die Bilderfassungseinrichtung 10 überwacht einen Überwachungsbereich 2, von dem das Bildsignal ausgeht. Die Transportvorrichtung 11 kann ein Transportband oder dergleichen sein. Dabei dient die Transportvorrichtung 11 zum Transportieren von Objekten. Das Objekt kann ein vorgegebenes Transportgut 1 sein, das weiter analysiert wird. Alternativ kann das Objekt ein anderes Transportgut 1a sein, das nicht relevant ist und somit nicht weiter analysiert werden soll.
Die Bilderfassungseinrichtung 10 ist derart platziert, dass der Überwachungsbereich 2 einen Bereich der Transportvorrichtung 11 umfasst. Insbesondere umfasst der Überwachungsbereich 2 einen Transportweg des Objekts, sodass sichergestellt ist, dass jedes vorgegebene Transportgut 1 und jedes andere, nicht relevante Transportgut 1a den Überwachungsbereich 2 passieren muss. Bei dem in Figur 1 dargestellten Fall ist ein Teil des vorgegebenen Transportguts 1 in dem Überwachungsbereich 2 angeordnet. Die Bilderfassungseinrichtung 10 kann ein Bild des Überwachungsbereichs 2 nach Erhalt eines von der Rechnereinrichtung 3 ausgegebenen Aufnahmesignals 13 aufnehmen.
Die Rechnereinrichtung 3 umfasst ein Filtermodul 6, dem das von der Bilderfassungseinrichtung 10 erfasste Bildsignal zugeführt wird. Darüber hinaus weist die Rechnereinrichtung 3 ein Transportguterkennungsmodul 4 auf, dem ein Ausgabesignal des Filtermoduls 6 zugeführt werden kann. Das Transportguterkennungsmodul 4 weist ein künstlich neuronales Netz auf, dessen Aufbau in Figur 3 dargestellt ist. Das Filtermodul 6 weist ein anderes künstliches neuronales Netz auf, dessen Aufbau in Figur 3 dargestellt ist. Die Rechnereinrichtung 3 weist außerdem ein Auslösemodul 5 auf. Dabei wird das Ausgabesignal des Filtermoduls 6 dem Transportguterkennungsmodul 4 und dem Auslösemodul 5 zugeführt.
Das Transportguterkennungsmodul 4 und das Auslösemodul 5 erzeugen das Aufnahmesignal 13, das der Bilderfassungseinrichtung 10 zugeführt. Die Bilderfassungseinrichtung 10 nimmt nach Erhalt des Aufnahmesignals 13 ein Bild des Überwachungsbereichs 2 auf. Das Bild wird gespeichert und kann für eine anschließende Bestimmung der Qualität des vorgegebenen Transportguts 1 herangezogen werden.
Bei der in Figur 1 dargestellten Ausführung ist das Auslösemodul 5 dem Transportguterkennungsmodul 4 nachgeschaltet.
Fig. 2 zeigt einen schematischen Aufbau eines künstlichen neuronalen Netzes 7 des Transportguterkennungsmoduls 4.
Das neuronale Netz 7 weist eine Eingabeschicht 15 und eine Entscheidungsschicht 16 und eine Vielzahl von Schichten 17, 17‘ auf. In Fig. 2 sind zwar zwei Schichten gezeigt, nämlich eine erste Schicht 17 und eine zweite Schicht 17‘, jedoch weist das neuronale Netz 7 mehr als zwei Schichten 17, 17‘ auf. Der Informationsfluss von der Eingabeschicht 15 zu der Entscheidungsschicht 16 erfolgt entlang der eingezeichneten Pfeilrichtung. So kann das neuronale Netz 7 mehr als 100 Schichten aufweisen.
Wie nachstehend näher erläutert ist, wird das vom Filtermodul 6 von der Bilderfassungseinrichtung 10 empfangene Bildsignal an das Transportguterkennungsmodul 4 übermittelt, wenn in dem Filtermodul 6 festgestellt wird, dass wenigstens ein Teil des vorgegebenen Transportguts 1 in dem Überwachungsbereich 2 angeordnet ist.
In diesem Fall wird das Bildsignal der Eingabeschicht 15 des neuronalen Netzes 7 zugeführt. Die Eingabeschicht ist dreidimensional. Die Erstreckung der Eingabeschicht 15 in Breitenrichtung B entspricht einer Bildbreite und die Erstreckung der Eingabeschicht 15 in Höhenrichtung H entspricht der Bildhöhe. Die in Anzahl der in Figur 2 nicht dargestellten Neuronen der Eingabeschicht 15 kann in Breitenrichtung B der Anzahl der im Bildsignal enthaltenen Pixel in Breitenrichtung B und in Höhenrichtung H der Anzahl der im Bildsignal enthaltenen Pixel in Höhenrichtung entsprechen. Die Eingabeschicht 15 kann in Tiefenrichtung T weitere Bildinformationen enthalten. So kann die Eingabeschicht 15 in Tiefenrichtung T Farbinformationen enthalten. Für den Fall, dass nur auf die Farben Rot, Gelb und Blau abgestellt wird, weist die Eingabeschicht drei in der Figur 2 nicht gezeigte Subschichten in Tiefenrichtung T auf, nämlich für jede der zuvor genannten Farben eine Subschicht. Die Bildinformation ist jedoch nicht auf die Farbe begrenzt.
Die Schichten 17 sind Faltungsschichten. Die Schichten 17 weisen jeweils mehrere Filter auf, die zu einer größeren Erstreckung der Schichten 17 in Tiefenrichtung T führt. Dies bedeutet, dass die Schichten 17 in Tiefenrichtung T eine größere Anzahl an Subschichten aufweisen als die Eingabeschicht 15 und/oder als die jeweils vorhergehende Schicht 17, 17‘. Darüber hinaus sind die Filter derart gewählt, dass sich die Anzahl der Neuronen zumindest in Breitenrichtung B verkleinert. Dabei kann sich die Anzahl der Neuronen in Breitenrichtung B von Schicht 17, 17‘ zu weiterer Schicht 17, 17‘ in Richtung zur Entscheidungsschicht 16 immer weiter verkleinern. Insbesondere ist das neuronale Netz 7 derart ausgebildet, dass die Entscheidungsschicht 16 eindimensional ist. Im in Figur 2 dargestellten Fall erstreckt sich die Entscheidungsschicht 16 somit in Höhenrichtung H.
Die Entscheidungsschicht 16 weist einen unüberwachten Lernalgorithmus auf. Der unüberwachte Lernalgorithmus kann ein proximity search algorithmus, insbesondere ein nearest-neighbour algorihmus, sein. Die Entscheidungsschicht 16 ist vollständig mit der vorhergehenden Schicht 17 verbunden. Dies bedeutet, dass alle Neuronen der vorhergehenden Schicht 17 mit allen Neuronen der Entscheidungsschicht 16 verbunden sind. Das neuronale Faltungsnetz 7 weist lediglich eine Schicht, nämlich die Entscheidungsschicht 16, auf, die mit einer vorhergehenden Schicht vollständig verbunden ist.
Der unüberwachte Lernalgorithmus ist derart konfiguriert, dass seine Ausgabe 18 eine Information enthält, ob wenigstens ein Teil des Objekts, insbesondere Transportguts 1 , 1a im Überwachungsbereich 2 wenigstens einem Teil des vorgegebenen Transportguts 1 entspricht. Darüber hinaus erzeugt der unüberwachte Lernalgorithmus einen Begrenzungskasten, der das Transportgut oder einen Teil des Transportguts umschließt.
Fig. 3 zeigt einen schematischen Aufbau eines anderen künstlichen neuronalen Netzes 7 des Filtermoduls 6.
Das andere neuronale Netz 19 weist eine Eingabeschicht 20 und eine Entscheidungsschicht 22 und eine Vielzahl von weiteren Schichten 21 auf. In Fig. 3 ist zwar eine weitere Schicht 21 dargestellt, jedoch kann das neuronale Netz 19 mehr als eine Schicht 21 aufweisen. Dabei weist das andere neuronale Netz 19 jedoch weniger weitere Schichten 21 auf als das in Figur 2 gezeigte neuronale Netz 7. Der Informationsfluss von der Eingabeschicht 15 zu der Entscheidungsschicht 16 erfolgt entlang der eingezeichneten Pfeilrichtung.
Das von der Bilderfassungseinrichtung 10 erfasste Bildsignal wird der Eingabeschicht 20 zugeführt. Die Eingabeschicht ist dreidimensional und identisch zu der Eingabeschicht 15 des neuronalen Netzes 7 ausgebildet. Daher wird auf die obigen Ausführungen verwiesen.
Die Entscheidungsschicht 22 weist einen unüberwachten Lernalgorithmus auf. Der unüberwachte Lernalgorithmus kann ein proximity search algorithmus, insbesondere ein nearest-neighbour algorihmus, sein. Der unüberwachte Lernalgorithmus kann derart konfiguriert sein, dass seine Ausgabe 23 eine Information enthält, ob wenigstens ein Teil des Objekts in dem Überwachungsbereich 2 angeordnet ist. Dabei wird in dem Filtermodul nicht danach unterschieden, ob es sich bei dem bestimmten Objekt um das vorgegebene Transportgut oder nicht handelt. Das Filtermodul 6 ermittelt lediglich, dass ein Transportgut 1 oder ein anderes Transportgut 1a oder ein anderes Objekt in dem Überwachungsbereich angeordnet ist.
Fig. 4 zeigt ein Ablaufdiagramm eines Trainings des in Figur 2 dargestellten neuronalen Netzes 7. Das Training weist zwei Trainingsphasen T1 , T2 auf, wobei die zweite Trainingsphase T2 der ersten Trainingsphase T1 nachgeschaltet ist. In der ersten Trainingsphase T1 wird ein neuronales Netz trainiert, das auf dem in Figur 2 dargestellten neuronalen Netz basiert. Das zu trainierende neuronale Netz unterscheidet sich in der Entscheidungsschicht 16 von dem in Figur 2 dargestellten neuronalen Netz. So weist die Entscheidungsschicht 16 des zu trainierenden neuronalen Netzes keinen unüberwachten Lernalgorithmus auf, sondern gibt eine Ausgabe des in den vorhergehenden Schichten ermittelten Ergebnisses aus. Die Ausgabe kann die Information enthalten, ob ein Teil des vorgegebenen Transportguts 1 in dem Überwachungsbereich 2 angeordnet ist und/oder einen Begrenzungskasten aufweisen, der den im Überwachungsbereich befindlichen Teil des Transportguts 1 umschließt.
In einem ersten Trainingsschritt T11 der ersten Trainingsphase werden der Eingabeschicht eine Vielzahl von Trainingsbildern zugeführt. Die Trainingsbildern sind, insbesondere alle, beschriftet. Insbesondere enthalten die Bilder eine Information, ob ein Objekt angeordnet ist und/oder wo das Objekt angeordnet ist. Dabei können die Trainingsbilder das vorgegebene Transportgut 1 enthalten. Die Trainingsbilder können zusätzlich zu dem vorgegebenen Transportgut noch weitere Objekte enthalten. Es ist auch möglich, dass die Trainingsbilder das vorgegebene Transportgut 1 nicht enthalten. Im Ergebnis enthalten die Trainingsbilder eine Vielzahl von unterschiedlichen Objekten.
Dem zu trainierenden neuronalen Netz 7 wird eine große Anzahl von Trainingsbildern zugeführt. Ziel der ersten Trainingsphase ist ein Basistraining, nach dem das neuronale Netz eine Vielzahl von Objekten erkennt, die auch das das wenigstens eine vorgegebene Transportgut enthalten können. Nach Abschluss des ersten Trainingsvorgangs können die Schichten 17, 17‘ des neuronalen Netzes bereits präzise erkennen, ob in dem Bildsignal ein Teil eines Objektsangeordnet ist. Nach Abschluss der ersten Trainingsphase T1 wird die zweite Trainingsphase T2 eingeleitet. Die zweite Trainingsphase basiert auf dem in der ersten Trainingsphase T1 trainierten neuronalen Netz T1 , was in Figur 4 durch den gestrichelten Pfeil symbolisiert ist. Die zweite Trainingsphase dient dazu, das neuronale Netz auf den konkreten Anwendungsfall zu trainieren. Dies bedeutet, dass nach Abschluss der zweiten Trainingsphase das neuronale Netz gut erkennen kann, ob es sich bei dem im Überwachungsbereich befindlichen Objekt um das vorgegebene Transportgut handelt.
Das in der zweiten Trainingsphase T2 zu trainierende neuronale Netz unterscheidet sich im Aufbau und der Funktionsweise nicht von dem im Realbetrieb eingesetzten neuronalen Netz, das in Figur 2 dargestellt ist. Mit anderen Worten, das in der zweiten Trainingsphase T2 zu trainierende neuronale Netz weist eine Entscheidungsschicht 16 mit dem unüberwachten Lernalgorithmus auf. Zudem weist das in der zweiten Trainingsphase T2 zu trainierende neuronale Netz die in ersten Trainingsphase T1 trainierten Schichten 17, 17‘ auf.
In einem ersten Trainingsschritt T21 wird dem zu trainierenden neuronalen Netz 7 Bilder zugeführt, die ein vorgegebenen Transportgut enthalten, und Bilder zugeführt, die kein vorgegebenes Transportgut enthalten. Im Gegensatz zu der ersten Trainingsphase T1 ist wenigstens ein Teil der Bilder nicht beschriftet oder es sind alle Bilder nicht beschriftet.
In einem zweiten Trainingsschritt T22 werden in der Entscheidungsschicht 16 für jedes der Entscheidungsschicht zugeführte Trainingsdatenelement des Trainingsbildes mehrere Parameter ermittelt. Das Trainingsdatenelement repräsentiert einen Teil des Trainingsbildes und enthält wenigstens eine Bildinformation, wie beispielsweise die Lichtintensität. Im zweiten Trainingsschritt T22 wird dann eine Normalverteilung zu der in dem Trainingsdatenelement enthaltenen Bildinformation ermittelt. Insbesondere wird eine Varianz und/oder ein Erwartungswert der Normalverteilung ermittelt. Die Bestimmung der Parameter wird für jedes Trainingsdatenelement eines Trainingsbildes durchgeführt. Darüber hinaus wird der Vorgang für jedes dem zu trainierenden neuronalen Netz zugeführten Trainingsbild, insbesondere den Trainingsdatenelementen des Trainingsbildes, wiederholt.
In einem dritten Trainingsschritt T23 werden basierend auf den ermittelten Parameterwerten wenigstens ein Parameterbereich bestimmt werden, in dem Trainingsdatenelemente liegen, die wenigstens einen Teil des Transportguts 1 enthalten. Demensprechend ist auch bekannt, bei welchen Parameterwerten die Trainingsdatenelemente keinen Teil des vorgegebenen Transportguts enthalten. Es wird die Tatsache ausgenutzt, dass die Schichten 17, 17‘ bereits genau ermitteln können, ob ein Bildsignal einen Teil des vorgegebenen Transportguts 1 enthält. Da die Bildinformation eines Trainingsdatenelements und somit die Parameter davon abhängen, ob es einen Teil des vorgegebenen Transportguts enthält, können die Trainingsdatenelemente unter Verwendung der ermittelten Parameter dahingehend klassifiziert werden, ob sie einen Teil des vorgegebenen Transportguts 1 enthalten oder nicht.
Figur 5 zeigt ein Diagramm mit Trainingsdatenelementen. Dabei ist die Vertikalachse ein Parameter, wie Varianz, der in dem Trainingsdatenelement enthaltenen Bildinformation und die Horizontalachse ist ein anderer Parameter, wie Erwartungswert, der in dem Trainingsdatenelement enthaltenen Bildinformation. Die in Figur 5 dargestellten Trainingsdatenelemente zeigen jeweils den gleichen Bildabschnitt in jedem der dem neuronalen Netz 7 zugeführten Trainingsbilder. Im vorliegenden Fall wurde angenommen, dass dem neuronalen Netz 7 20 Trainingsbilder zugeführt werden, wobei 10 Trainingsbilder ein erstes vorgegebenes Trainingsgut enthalten und 10 Trainingsbilder ein zweites vorgegebenes Trainingsgut enthalten.
Bei dem in Figur 5 dargestellten Ausführungsbeispiel wird davon ausgegangen, dass das neuronale Netz derart trainiert wird, dass es zwei vorgegebene unterschiedliche Transportgüter erkennt. So werden im Rahmen des Trainingsvorgangs zwei Parameterbereiche, die auch als Clusterbereiche C1 , C2 bezeichnet werden, identifiziert. Ein erster Clusterbereich wird durch einen ersten Erwartungsbereich E1 und einen ersten Varianzbereich V1 definiert. Ein zweiter Clusterbereich wird durch einen zweiten Erwartungsbereich E2 und einen zweiten Varianzbereich V2 definiert. Die Clusterbereiche werden durch die ermittelten Parameterwerte des ersten vorgegebenen Transportguts und durch die ermittelten Parameterwerte des zweiten vorgegebenen Transportguts bestimmt. So wird der erste Clusterbereich derart gewählt, dass die durch das neuronale Netz für das erste vorgegebene Transportgut bestimmten Parameterwerte innerhalb des Clusterbereichs liegen. Darüber hinaus wird der zweite Clusterbereich derart gewählt, dass die durch das neuronale Netz für das zweite vorgegebene Transportgut bestimmten Parameterwerte innerhalb des zweiten Clusterbeichs C2 liegen.
Das in Figur 3 gezeigte andere neuronale Netz 19 wird auf die gleiche Weise trainiert wie das neuronale Netz 7. Insofern wird auf die obigen Ausführungen zu Figuren 4 und 5 verwiesen. Im Unterschied zu dem neuronalen Netz 7 gibt das andere neuronale Netz 19 als Ausgabe jedoch eine Information aus, ob wenigstens ein Teil des Objekts in dem Überwachungsbereich 2 angeordnet ist.
Das Verfahren zum Bestimmen, ob ein vorgegebenes Transportgut 1 in einem Überwachungsbereich 2 angeordnet ist, wird in Figur 6 näher beschrieben. Dabei zeigt Figur 6 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
In einem ersten Verfahrensschritt S1 wird ein von dem Überwachungsbereich 2 ausgehendes Bildsignal von der Bilderfassungseinrichtung 10 erfasst. Das erfasste Bildsignal wird dem Filtermodul 6 zugeführt. Das Filtermodul 6 dient zur Bestimmung, ob in dem Überwachungsbereich 2 wenigstens ein Teil des Transportguts 1 angeordnet ist. Das Filtermodul 6 weist das andere künstliches neuronale Netz 19 auf, das ein neuronales Faltungsnetz sein kann. Das neuronale Faltungsnetz wurde vor dem Einsatz bereits trainiert.
Das andere künstliche Netz 19 bestimmt in einem zweiten Verfahrensschritt S2 auf Basis des von der Bilderfassungseinrichtung 10 empfangenen Bildsignals, ob wenigstens ein Teil eines Objekts in dem Überwachungsbereich 2 angeordnet ist. Insbesondere wird bestimmt, ob der ermittelte andere Parameterwert innerhalb des anderen vortrainierten Parameterbereichs liegt. Sofern im Filtermodul 6 bestimmt wird, dass im Überwachungsbereich 2 kein Objektteil angeordnet ist, wird die Verarbeitung beendet und der Verfahrensablauf beginnt von Neuem. Dies ist der Fall, wenn der ermittelte andere Parameteiwert nicht innerhalb des anderen vortrainierten Parameterbereichs liegt. Dies ist durch den gestrichelten Pfeil symbolisiert. Da das Filtermodul 6 kontinuierlich Bildsignale von der Bilderfassungseinrichtung 10 empfängt, wird ein neues Bildsignal in dem Filtermodul 6, wie oben beschrieben ist, untersucht.
Für den Fall, dass die Ausgabe des Filtermoduls 6 ist, dass ein Teil des Objekts in dem Überwachungsbereich 2 angeordnet ist, wird vom Filtermodul 6 in einem dritten Verfahrensschritt S3 das Ausgabesignal an das Transportguterkennungsmodul 4 übermittelt. In dem Transportguterkennungsmodul 4 erfolgt eine Verarbeitung des vom Filtermodul 6 stammenden Bildsignals in den Schichten 17, 17‘. Dabei werden mehrere Datenelemente des Bildsignals zu der Entscheidungsschicht 16 übermittelt. In der Entscheidungsschicht werden für jedes Datenelement die oben genannten Parameter, wie beispielsweise Varianz und Erwartungswert, bestimmt. Wie oben bereits ausgeführt ist, repräsentiert jedes Datenelement einen Teil des Bildsignals. Mit anderen Worten, der Entscheidungsschicht wird das Bildsignal in Form von Datenelementen zugeführt.
Der unüberwachte Lernalgorithmus bestimmt dann für jedes Datenelement anhand der ermittelten Parameteiwerte, ob das Datenelement in dem ersten Clusterbereich C1 oder dem zweiten Clusterbereich C2 liegt. Sollte dies der Fall sein, bestimmt das Transporterkennungsmodul, dass es sich um ein dem Clusterbereich C1 , C2 zugeordnetes vorgegebenes Transportgut bzw. um wenigstens einen Teil des vorgegebenen Transportguts handelt. Dieser Vorgang wird für alle Datenelemente des Bildsignals wiederholt.
In einem vierten Verfahrensschritt S4 wird eine Begrenzungskasten erzeugt, der den Teil des Transportguts oder das Transportgut umschließt. Der Begrenzungskasten kann unter Verwendung der analysierten Datenelemente erzeugt. So ist nach Analyse der Datenelemente bekannt, ob dieses ein Teil des Transportguts enthält.
In einem fünften Verfahrensschritt S5 wird das Ausgabesignal von dem Transporterkennungsmodul 4 an das Auslösemodul 5 übermittelt. In dem Auslösemodul 5 wird auf Basis des Ausgabesignals von dem Transportguterkennungsmodul 4 ein Aufnahmezeitpunkt bestimmt. Darüber hinaus wird in dem Auslösemodul 5 eine Zeitdauer bestimmt, wann das Transportgut 1 vollständig in dem Überwachungsbereich 2 angeordnet ist.
Auf der Basis der Ausgaben des Transporterkennungsmoduls 4 und/oder des Auslösemoduls 5 wird ein Aufnahmesignal erzeugt und an die Bilderfassungseinrichtung 5 übermittelt. Das Aufnahmesignal kann die Information beinhalten, dass die Bilderfassungseinrichtung 5 ein Bild aufnehmen soll und die Information wann das erfolgen soll. Die Bilderfassungseinrichtung 10 nimmt im sechsten Verfahrensschritt S6 das Bild des Überwachungsbereichs 2 auf und speichert es ab. Eine im weiteren nicht näher vorgestellten Beurteilung der Transportgutqualität kann auf Basis des aufgenommen Bildes erfolgen.
Bezuqszeichenliste:
1 vorgegebenes Transportgut
1 a anderes Transportgut
2 Überwachungsbereich
3 Rechnereinrichtung
4 Transportguterkennungsmodul
5 Auslösemodul
6 Filtermodul
7 künstlich neuronales Netz
8 Eingabeschicht
9 Vorrichtung
10 Bilderfassungseinrichtung
11 Transportband
12 Gehäuse
13 Aufnahmesignal
14 Steuersignal
15 Eingabeschicht
16 Entscheidungsschicht
17 erste Schicht
17‘ zweite Schicht
18 Ausgabe des unüberwachten Lernalgorithmus des neuronalen Netzes
19 anderes künstlich neuronales Netz
20 Eingabeschicht des anderen neuronalen Netzes
21 weitere Schicht des anderen neuronalen Netzes
22 Entscheidungsschicht des anderen neuronalen Netzes
23 Ausgabe des unüberwachten Lernalgorithmus des anderen neuronalen Netzes
H Höhenrichtung
B Breitenrichtung
T Tiefenrichtung
C1 erster Clusterbereich
C2 zweiter Clusterbereich
E1 erster Erwartungswertbereich
E2 zweitere Erwartungswertbereich
V1 erster Varianzbereich
V2 zweiter Varianzbereich
S1-S6 Verfahrensschritte

Claims

26 Patentansprüche
1. Verfahren zum Bestimmen, ob wenigstens ein vorgegebenes Transportgut (1) in einem Überwachungsbereich (2) angeordnet ist, wobei ein Bildsignal des Überwachungsbereichs (2), durch den ein Transportweg eines Objekts verläuft, erfasst wird, wobei vor einem Zuführen des Bildsignals zu einem künstlich neuronalen Netz (7) durch ein anderes künstliches neuronales Netz (19) auf der Basis des Bildsignals bestimmt wird, ob wenigstens ein Teil eines Objekts in dem Überwachungsbereich (2) angeordnet ist, wobei das Bildsignal dem neuronalen Netz (7) zugeführt wird, wenn durch das andere neuronale Netz (19) bestimmt wird, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich (2) angeordnet ist, wobei durch das künstlich neuronale Netz (7) auf der Basis des Bildsignals bestimmt wird, ob der bestimmte wenigstens eine Teil des Objekts wenigstens einem Teil des wenigstens einen vorgegebenen Transportguts (1) entspricht, wobei, wenn durch das künstlich neuronale Netz (7) bestimmt wird, dass wenigstens ein Teil des wenigstens einen vorgegebenen Transportguts (1) in dem Überwachungsbereich (2) angeordnet ist, ein Bild des Überwachungsbereichs (2) erzeugt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das neuronale Netz (7) ein neuronales Faltungsnetz aufweist.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass a. das Bildsignal einer Eingabeschicht (15) des neuronalen Faltungsnetzes zugeführt wird und/oder dass b. die Anzahl der Neuronen einer Eingabeschicht (15) des neuronalen Faltungsnetzes einer Anzahl an Pixeln des Bildsignals entspricht und/oder dass c. eine Eingabeschicht (15) des neuronalen Faltungsnetzes dreidimensional ist.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das neuronale Netz (7) wenigstens eine Schicht (17, 17‘) aufweist, wobei a. die Schicht (17, 17‘) eine neuronale Faltungsschicht ist und/oder wobei b. die Schicht (17, 17‘) mit der Eingabeschicht (15) verbunden ist und/oder Ausgabedaten der Eingabeschicht (15) empfängt.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das neuronale Faltungsnetz mehrere Schichten (17, 17‘) aufweist, die jeweils eine oder mehrere Subschichten aufweisen, wobei a. eine erste Schicht (17) der Eingabeschicht (15) nachgeschaltet ist und durch Anwenden wenigstens eines Filters erzeugt wird, und/oder wobei b. eine erste Schicht (17) und eine der ersten Schicht (17) nachgeschaltete zweite Schicht (17‘) vorhanden sind, wobei die zweite Schicht (17‘) durch Anwenden wenigstens eines Filters erzeugt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass a. das neuronale Faltungsnetz eine Entscheidungsschicht (16) und mehrere vorhergehende Schichten (17, 17) aufweist, wobei die Entscheidungsschicht (16) mit wenigstens zwei Schichten (17, 17‘) verbunden ist und/oder dass b. eine Entscheidungsschicht (16) des neuronalen Faltungsnetzes den unüberwachten Lernalgorithmus aufweist und die Entscheidungsschicht (16) vollständig mit einer vorhergehenden Schicht (17, 17‘) verbunden ist und/oder dass c. das neuronale Faltungsnetz eine Entscheidungsschicht (16) und eine Eingabeschicht (15) aufweist, wobei die Entscheidungsschicht (16), insbesondere direkt, mit der Eingabeschicht (15) verbunden ist.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass a. das neuronale Netz (7) einen unüberwachten Lernalgorithmus aufweist und/oder dass b. eine Entscheidungsschicht (16) des neuronalen Netzes (7) den unüberwachten Lernalgorithmus aufweist.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass ein, insbesondere wenigstens einem Neuron, der Entscheidungsschicht (16) zugeführtes Datenelement des Bildsignals dahingehend überprüft wird, ob es einen Teil des vorgegebenen Transportguts (1) enthält.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Prüfung die Bestimmung von wenigstens einem Parameter aufweist, wobei unter Verwendung des bestimmten wenigstens einen Parameters bestimmt wird, ob das Datenelement einen Teil des vorgegebenen Transportguts (1) enthält.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass a. der unüberwachte Lernalgorithmus zum Bestimmen, ob das Datenelement des Bildsignals einen Teil des vorgegebenen Transportguts (1) enthält, ein Trainingsergebnis des neuronalen Netzes verwendet und/oder dass b. der unüberwachte Lernalgorithmus bestimmt, dass das zugeführte Datenelement einen Teil des vorgegebenen Transportguts (1) enthält, wenn der bestimmte wenigstens eine Parameter in wenigstens einem vortrainierten Parameterbereich liegt.
11 . Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass a. der unüberwachte Lernalgorithmus derart konfiguriert ist, dass er einen Begrenzungskasten als Ausgabe (18) ausgibt, der wenigstens einen Teil des vorgegebenen Transportguts (1) umschließt und/oder dass b. der unüberwachten Lernalgorithmus einen Begrenzungskasten erzeugt, wenn bestimmt wird, dass ein Teil des vorgegebenen Transportguts (1) in dem Überwachungsbereich (2) angeordnet ist.
12. Verfahren nach einem der Ansprüche 1 bis 11 , dadurch gekennzeichnet, dass a. ein Aufnahmezeitpunkt zum Erzeugen des Bildes bestimmt wird und/oder dass b. ein Aufnahmezeitpunkt zum Erzeugen des Bildes bestimmt wird, wobei der Aufnahmezeitpunkt um eine Zeitdauer von einem Bestimmungszeitpunkt versetzt ist, zu dem das andere künstlich neuronale Netz (19) bestimmt hat, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich (2) angeordnet ist, und/oder dass c. ein Aufnahmezeitpunkt zu einem Bestimmungszeitpunkt, zu dem das künstlich neuronale Netz (7) bestimmt hat, dass das Objekt in dem Überwachungsbereich (2) angeordnet ist, um eine Zeitdauer versetzt ist, wobei die Zeitdauer derart gewählt ist, dass zum Aufnahmezeitpunkt das vollständige Objekt in dem Überwachungsbereich (2) angeordnet ist.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass eine Transportgutqualität basierend auf dem erzeugten Bild beurteilt wird.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass a. das andere neuronale Netz (19) ein anderes neuronales Faltungsnetz aufweist oder dass b. das andere neuronale Netz (19) ein anderes neuronales Faltungsnetz aufweist, das weniger Schichten (21) aufweist als das neuronale Faltungsnetz (7).
15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass eine Entscheidungsschicht des anderen neuronalen Netzes (19) einen anderen unüberwachten Lernalgorithmus aufweist.
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass a. der andere unüberwachte Lernalgorithmus zum Bestimmen, ob das Datenelement des Bildsignals einen Teil des Objekts enthält, ein Trainingsergebnis des anderen neuronalen Netzes verwendet und/oder dass b. der andere unüberwachte Lernalgorithmus auf der Basis des Bildsignals einen anderen Parameter bestimmt und der andere unüberwachte Lernalgorithmus abhängig von dem anderen Parameter bestimmt wird, ob wenigstens ein Teil des Objekts in dem Überwachungsbereich angeordnet ist.
17. Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass a. ein Training des neuronalen Netzes (7) eine erste Trainingsphase und eine, insbesondere der ersten Trainingsphase nachgeschaltete, zweite Trainingsphase aufweist und/oder dass 29 b. ein Training des neuronalen Netzes (7) eine erste Trainingsphase und eine, insbesondere der ersten Trainingsphase nachgeschaltete, zweite Trainingsphase aufweist, wobei das Training des neuronalen Netzes in der zweiten Trainingsphase unter
Verwendung des in der ersten Trainingsphase trainierten neuronalen Netzes (7) erfolgt.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass in der ersten Trainingsphase a. das zu trainierende neuronale Netz (7) eine andere Entscheidungsschicht aufweist und/oder dass b. die Entscheidungsschicht des zu trainierenden neuronalen Netzes (7) keinen unüberwachten Lernalgorithmus aufweist.
19. Verfahren nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass a. die Anzahl der dem zu trainierenden neuronalen Netz (7) in der ersten Trainingsphase zugeführten Trainingsbilder größer ist als die Anzahl der dem zu trainierenden neuronalen Netz (7) in der zweiten Trainingsphase zugeführten Bilder und/oder dass b. die dem zu trainierenden neuronalen Netz (7) in der ersten Trainingsphase zugeführten Bilder beschriftet sind und/oder dass c. die dem zu trainierenden neuronalen Netz (7) der ersten Trainingsphase zugeführten Bilder das vorgegebene Transportgut enthalten.
20. Verfahren nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass a. in der zweiten Trainingsphase die Entscheidungsschicht des zu trainierenden neuronalen Netzes (7) den unüberwachten Lernalgorithmus aufweist und/oder dass b. in der zweiten Trainingsphase Trainingsbilder ohne Beschriftung dem neuronalen Netz (7) zugeführt werden und/oder dass c. dem zu trainierenden neuronalen Netz (7) in der zweiten Trainingsphase Trainingsbilder zugeführt werden, die das vorgegebenen Transportgut enthalten und/oder Trainingsbilder zugeführt werden, die das vorgegebene Transportgut nicht enthalten.
21 . Verfahren nach einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass für ein, insbesondere wenigstens einem Neuron, der Entscheidungsschicht zugeführtes Trainingsdatenelement eines Trainingsbildes wenigstens ein Parameter, insbesondere zwei Parameter, bestimmt wird.
22. Verfahren nach Anspruch 21 , dadurch gekennzeichnet, dass eine Varianz und/oder ein Erwartungswert, insbesondere einer Normalverteilung, einer im Trainingsdatenelement eines Trainingsbildes enthaltenen Bildinformation bestimmt wird.
23. Verfahren nach Anspruch 21 oder 22, dadurch gekennzeichnet, dass für die in der zweiten Trainingsphase zugeführten Trainingsbilder unter Berücksichtigung des wenigstens einen bestimmten Parameters wenigstens ein Parameterbereich bestimmt wird, bei dem wenigstens ein 30
Trainingsdatenelement einen Teil des Transportobjekts aufweist.
24. Verfahren nach einem der Ansprüche 1 bis 23, dadurch gekennzeichnet, dass zum Trainieren des anderen neuronalen Netzes (19) Trainingsbilder zugeführt werden, die unterschiedliche Objekte enthalten und/oder die Objekte enthalten, die sich von dem vorgegebenen Transportgut unterscheiden.
25. Verfahren nach Anspruch 24, dadurch gekennzeichnet, dass für ein der Entscheidungsschicht des anderen neuronalen Netzes zugeführtes Trainingsbild wenigstens ein anderer Parameter bestimmt wird, der charakterisiert, ob das Trainingsbild wenigstens einen Teil des vorgegebenen Transportguts aufweist.
26. Rechnereinrichtung (3) zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 25.
27. Rechnereinrichtung (3), insbesondere nach Anspruch 26, zum Bestimmen, ob wenigstens ein vorgegebenes Transportgut (1) in einem Überwachungsbereich (2) angeordnet ist, mit einem Transportguterkennungsmodul (4), das ein künstlich neuronales Netz (7) aufweist, und einem Filtermodul (6), das ein anderes künstlich neuronales Netz (19) aufweist und dem Transportguterkennungsmodul (4) vorgeschaltet ist, wobei die Rechnereinrichtung (3) derart konfiguriert ist, dass das andere künstlich neuronale Netz (19) des Filtermoduls (6) auf der Basis des Bildsignals bestimmt, ob wenigstens ein Teil eines Objekts in dem Überwachungsbereich (2) angeordnet ist, wobei das Bildsignal dem neuronalen Netz (7) des Transportguterkennungsmoduls (4) zugeführt wird, wenn das andere neuronale Netz (19) bestimmt, dass wenigstens ein Teil des Objekts in dem Überwachungsbereich (2) angeordnet ist, und dass das künstlich neuronale Netz (7) auf der Basis des Bildsignals bestimmt, ob der bestimmte wenigstens eine Teil des Objekts wenigstens einem Teil des wenigstens einen vorgegebenen Transportguts (1) entspricht, wobei die Rechnereinrichtung (3) veranlasst, ein Bild des Überwachungsbereichs (2) zu erzeugen, wenn das künstlich neuronale Netz bestimmt, dass wenigstens ein Teil des wenigstens einen vorgegebenen Transportguts (1) in dem Überwachungsbereich (2) angeordnet ist.
28. Vorrichtung (9) mit einer Bilderfassungseinrichtung (10) zum Erfassen eines Bildsignals, das von einem Überwachungsbereich (2) ausgeht, und einer mit der Bilderfassungseinrichtung (10) datentechnisch verbundenen Rechnereinrichtung (3) nach Anspruch 26 oder 27, der das erfasste Bildsignal zugeführt wird.
29. Vorrichtung (9) nach Anspruch 28, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (10) nach Empfang eines von der Rechnereinrichtung (3) ausgegebenem Aufnahmesignals das Bild aufnimmt.
30. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch 31 eine Rechnereinrichtung (3), insbesondere nach Anspruch 26 oder 27, diese veranlassen, das Verfahren nach einem der Ansprüche 1 bis 25 durchzuführen.
31. Datenträger, auf dem das Computerprogrammprodukt nach Anspruch 30 gespeichert ist, oder Datenträgersignal, das das Computerprogrammprodukt nach Anspruch 30 überträgt.
PCT/EP2022/076020 2021-09-21 2022-09-20 Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist WO2023046653A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024541125A JP2024533867A (ja) 2021-09-21 2022-09-20 所定の搬送アイテムが監視領域内に配置されているかどうかを判定する方法
EP22790299.6A EP4405908A1 (de) 2021-09-21 2022-09-20 Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist
CN202280063854.7A CN117980964A (zh) 2021-09-21 2022-09-20 用于确定预定的运输物品是否布置在监控区域内的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021124348.3A DE102021124348A1 (de) 2021-09-21 2021-09-21 Verfahren zum Bestimmen, ob ein Transportgut in einem Überwachungsbereich angeordnet ist
DE102021124348.3 2021-09-21

Publications (1)

Publication Number Publication Date
WO2023046653A1 true WO2023046653A1 (de) 2023-03-30

Family

ID=83898260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/076020 WO2023046653A1 (de) 2021-09-21 2022-09-20 Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist

Country Status (5)

Country Link
EP (1) EP4405908A1 (de)
JP (1) JP2024533867A (de)
CN (1) CN117980964A (de)
DE (1) DE102021124348A1 (de)
WO (1) WO2023046653A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
CN108038843A (zh) * 2017-11-29 2018-05-15 英特尔产品（成都）有限公司 一种用于缺陷检测的方法、装置和设备
JP2021012107A (ja) * 2019-07-05 2021-02-04 株式会社イシダ 検査装置及び学習装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3704626A1 (de) 2017-11-02 2020-09-09 Amp Robotics Corporation Systeme und verfahren zur optischen materialcharakterisierung von abfallmaterialien mithilfe von maschinenlernen
EP3816857A1 (de) 2019-11-04 2021-05-05 TOMRA Sorting GmbH Neuronales netzwerk zur massensortierung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
CN108038843A (zh) * 2017-11-29 2018-05-15 英特尔产品（成都）有限公司 一种用于缺陷检测的方法、装置和设备
JP2021012107A (ja) * 2019-07-05 2021-02-04 株式会社イシダ 検査装置及び学習装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EBRAHIMPOUR MOHAMMAD K ET AL: "WW-Nets: Dual Neural Networks for Object Detection", 2020 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), IEEE, 19 July 2020 (2020-07-19), pages 1 - 8, XP033831735, DOI: 10.1109/IJCNN48605.2020.9207407 *

Also Published As

Publication number Publication date
DE102021124348A1 (de) 2023-03-23
EP4405908A1 (de) 2024-07-31
CN117980964A (zh) 2024-05-03
JP2024533867A (ja) 2024-09-12

Similar Documents

Publication Publication Date Title
DE68928895T2 (de) Verfahren und Gerät für universelle adaptiv lernende Bildmessung und -erkennung
DE69637172T2 (de) Hochgeschwindigkeits sortierapparat für den lebensmittelmassentransport zur optischen inspektion und sortierung von grossvolumigen lebensmitteln
DE69024537T2 (de) Infrarot-Überwachungssystem
DE102017116017A1 (de) Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und mehreren neuronalen Netzen zum Erzeugen einer kombinierten Repräsentation einer Umgebung
DE102018128531A1 (de) System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen
WO2020049154A1 (de) Verfahren und vorrichtung zur klassifizierung von objekten
EP2034461A2 (de) Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
EP0523407A2 (de) Verfahren zur Klassifikation von Signalen
DE102018109276A1 (de) Bildhintergrundsubtraktion für dynamische beleuchtungsszenarios
EP3767403A1 (de) Machine-learning gestützte form- und oberflächenmessung zur produktionsüberwachung
EP3468727B1 (de) Sortiervorrichtung sowie entsprechendes sortierverfahren
DE102016100134A1 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE69821225T2 (de) Verfahren zur kontrolle der oberfläche einer laufenden materialbahn mit vorklassifikation von ermittelten unregelmässigkeiten
EP3779790A1 (de) Optische qualitätskontrolle
EP3482348A1 (de) Verfahren und einrichtung zur kategorisierung einer bruchfläche eines bauteils
EP2359308B1 (de) Vorrichtung zur erzeugung und/oder verarbeitung einer objektsignatur, überwachungsvorrichtung, verfahren und computerprogramm
DE102020209080A1 (de) Bildverarbeitungssystem
DE102023107476A1 (de) Ultraschall-defekterkennung und klassifikationssystem unter verwendung von maschinellem lernen
WO2023046653A1 (de) Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist
EP4007990A1 (de) Verfahren zur analyse von bild-informationen mit zugeordneten skalaren werten
DE19612465C2 (de) Automatisches Optimieren von Objekt-Erkennungssystemen
DE102022107144A1 (de) Komponentenprüfsystem und -verfahren auf produktionsgeschwindigkeit
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
EP0693200B1 (de) Verfahren zur klassifizierung von objekten
EP0469315B1 (de) Verfahren zur visuellen Inspektion zwei- oder dreidimensionaler Bilder

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22790299

Country of ref document: EP

Kind code of ref document: A1

WD Withdrawal of designations after international publication

Designated state(s): DE

ENP Entry into the national phase

Ref document number: 2024541125

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18693699

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280063854.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022790299

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022790299

Country of ref document: EP

Effective date: 20240422