WO2021254740A1 - Erkennen von lagergut in haushalts-lagerungsvorrichtungen - Google Patents

Erkennen von lagergut in haushalts-lagerungsvorrichtungen Download PDF

Info

Publication number
WO2021254740A1
WO2021254740A1 PCT/EP2021/064016 EP2021064016W WO2021254740A1 WO 2021254740 A1 WO2021254740 A1 WO 2021254740A1 EP 2021064016 W EP2021064016 W EP 2021064016W WO 2021254740 A1 WO2021254740 A1 WO 2021254740A1
Authority
WO
WIPO (PCT)
Prior art keywords
algorithm
standard
image set
storage device
household storage
Prior art date
Application number
PCT/EP2021/064016
Other languages
English (en)
French (fr)
Inventor
Dieter Urban
Original Assignee
BSH Hausgeräte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeräte GmbH filed Critical BSH Hausgeräte GmbH
Priority to EP21729282.0A priority Critical patent/EP4165556A1/de
Priority to US18/009,794 priority patent/US20230222769A1/en
Publication of WO2021254740A1 publication Critical patent/WO2021254740A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the invention relates to a method for recognizing stored goods in household storage devices with different configurations, in which at least one image of stored goods stored in a household storage device is recorded and the stored goods are recognized by evaluating image data of the at least one image using a recognition algorithm which has been trained on an image set.
  • the invention also relates to a household storage device, having at least one camera for recording stored goods and a data processing device for processing image data of the images recorded by the at least one camera, the data processing device being designed so that it functions according to the adaptation algorithm one of the preceding claims can execute.
  • the invention also relates to a system with at least one household storage device and an external data processing device that can be coupled with at least one household storage device, the external data processing device being set up in particular to execute the standard recognition algorithm.
  • the invention is particularly advantageously applicable to household food treatment devices such as refrigeration devices and cooking devices and range hoods.
  • the classification algorithm brings about the decision leading to the prediction or recognition result. For this purpose, it uses features, so-called “features”, which are calculated from the preceding part of the recognition algorithm (the so-called feature extractor or “feature extractor”) of the recognition algorithm.
  • An NN recognition algorithm for recognizing and classifying objects from image data therefore usually consists of two main functional components: the sub-algorithm for extracting the features from the image data (feature extraction algorithm) and a sub-algorithm that follows this, which uses the features to make a prediction (the recognition result ) for a recognized object class (classification algorithm).
  • preprocessing for example to adjust the average image brightness
  • simple arithmetic operations for example for mean value subtraction or variance normalization
  • the object is achieved by a method for recognizing stored goods in household storage devices, in which an image set (comprising at least one image) of stored goods stored by means of a household storage device is recorded and the stored goods are recognized by evaluating image data of this image set by means of a Recognition algorithm ("standard recognition algorithm”) is carried out, the standard recognition algorithm having been trained with respect to an image set ("standard image set") recorded under an associated configuration ("standard configuration”), and which specifies the data characteristics of the image data
  • Application of the standard recognition algorithm by means of an adaptation algorithm, which is at least partially trained depending on a configuration of the household storage device, to a (“standard”) data characteristic of the standard image set, in particular if there is a configuration of the household storage device device differs from the standard configuration.
  • This method has the advantage that the same standard recognition algorithm can be used for household storage devices with different configurations is because an adaptation of the image data recorded by these household storage devices is made exclusively by an upstream adaptation algorithm. Because the adaptation algorithm can be set up much more simply than the actual recognition algorithm (a few tens to hundreds of parameters that can be adapted through training in the adaptation algorithm versus typically millions of parameters that can be adapted through training in the standard recognition algorithm), the effort required to adapt to different household storage devices is considerably reduced, since it is limited to training the adaptation algorithm. This is supported by the fact that a significantly lower number of training data (ie, images) is required than when (re-) training the actual recognition algorithm. In addition, it is easier to replace the standard recognition algorithm with more precise versions, because device-specific (and thus data-specific) adaptations are only contained in the adaptation algorithm.
  • a household storage device can in principle be understood to mean any household device which is provided to store and / or monitor stored goods.
  • the household storage device can have at least one dedicated storage room for this purpose, but does not need one.
  • the household storage device is a household appliance, in particular in the sense of "white goods", specifically a large household appliance.
  • the household storage device is a food processing device, for example a cooling device (eg refrigerator and / or freezer) and / or a cooking device (eg an oven and / or a hob).
  • the household storage device is an extractor hood, the at least one camera of which is aimed at a hob.
  • the household storage device can also be a cooker hood / hob combination.
  • a hob items to be cooked, in particular food, are stored on the hob, for example before, during and / or after a cooking process.
  • the at least one camera can also be used for monitoring in a cooking appliance can be used during a cooking process.
  • the household storage device can, however, also be a cabinet such as a pantry, a wine / climate cabinet, etc.
  • the objects to be recognized can be food, but are not limited to them, but can also be e.g. dishes, laundry, general household objects, etc.
  • the stored goods can also be picked up by means of a mobile user terminal (smartphones, tablets, etc.), especially if they are arranged on the household appliance storage device, e.g. stored in a refrigerator or storage cupboard, placed on a hob.
  • a mobile user terminal smart phones, tablets, etc.
  • a typical configuration is established, which can depend, for example, on the type of household appliance storage device, the specific lighting conditions at the location of the household appliance storage device, the type of mobile user terminal, the typical mounting height, etc.
  • a configuration of a household storage device can be understood to mean its structural design, e.g. comprising a number of lighting units, their lighting angle, lighting brightness and / or light spectrum, a distance and angle of the camera with respect to a storage location, camera properties such as their color dynamics, resolution, etc.
  • Household storage devices with different configurations can differ in these configuration parameters, e.g. due to different types and / or positions of the camera (s), different lighting conditions, etc. a refrigerator) have different configurations.
  • the fact that at least one image of a stored item stored "by means of" a household storage device is recorded can consequently include that at least one image of a storage item stored within a household storage device is recorded (e.g. of items to be cooled in a refrigeration device or items to be cooked in an oven) or at least one image of a stored item deposited on a household storage device is recorded (for example, of items to be cooked on a hob).
  • the standard recognition algorithm has been trained on a predetermined set of images (the standard image set) of the respective objects to be recognized, the images having been recorded in a specific standard configuration and thus in the Image space have a typical standard data characteristic (for example typical data statistics, for example the so-called statistical distribution, also referred to as “statistical distribution”).
  • a typical standard data characteristic for example typical data statistics, for example the so-called statistical distribution, also referred to as “statistical distribution”.
  • the standard image set is a freely available image set, e.g. a COCO ("Common Objects in Context") image set.
  • the standard image set is an image set generated in a dedicated manner (e.g. by a manufacturer of the household storage device), e.g. is an image set generated by means of a specific household storage device.
  • the recognition result can generally include not only the type of the recognized object (e.g. "apple”, “tomato”), etc., but also, for example, its number, size and position.
  • the recognition result can, for example, be used in a generally known manner for inventory management, e.g. to create an inventory list, a shopping list, etc.
  • the adaptation algorithm has been at least partially trained includes in particular that it is an algorithm in the manner of a neural network (NN adaptation algorithm) and is not only generated by fixed-coded parameters as in conventional preprocessing.
  • the adaptation algorithm itself can therefore also be viewed as a neural network, which, however, apart from the adaptation and forwarding of the image data, does not work with the actual standard recognition algorithm and therefore does not represent a part, in particular no location, of the standard recognition algorithm.
  • the adaptation algorithm can consist of a single so-called convolutional layer or convolutional layer.
  • This folding position can be used, for example, by changes in brightness, contrast and / or color space and / or Differences to the standard configuration caused by changing the focus of the configuration can be compensated.
  • More complex adaptation algorithms can contain several NN layers.
  • non-linearity and / or regularization functions can also be included (e.g. so-called activation functions, pooling, L1-L2 regularization functions, functions to compensate for non-linear distortion such as those caused by non-linear compression algorithms such as JPEG, PNG, GIF or the like ., possibly also dropout noise functions, etc.). This enables more complex adjustments, e.g. to correct geometric distortions.
  • the standard recognition algorithm comprises a feature extraction algorithm (“Feature Extractor”) and a classification algorithm (“Classifier”) connected downstream of this.
  • Feature Extractor feature extraction algorithm
  • Classifier classification algorithm
  • the standard recognition algorithm can include, for example, a so-called “template matching” based on cross-correlation, for example using the sum of absolute differences of image points (SAD; "Sum of Absolute Differences”).
  • the feature extraction algorithm and / or the classification algorithm represents or is a neural network.
  • Such an NN recognition algorithm typically has a large number of consecutively arranged positions or “layers” (so-called. "Deep Learning”), for example using VGG ("Visual Geometry Group”), R-CNN ("Regions with convolutional” neural networks ”) -, SSD (" Single shot multibox detector ”) -, YOLO (" You only look once ”) architectures, etc.
  • the layers can also be referred to as layers.
  • the feature extraction algorithm and / or the classification algorithm is an algorithm based on methods of machine vision (also referred to as "computer vision algorithm”).
  • This algorithm can, for example, SURF ("Speeded Up Robust Features") -, HOG ( "Histogram of oriented gradients”) - architectures etc. use.
  • the adaptation algorithm for household storage devices is trained in conjunction with the standard recognition algorithm. The training can in particular take place in such a way that one or typically several images of an object to be recognized are initially recorded by means of the household storage device. The associated image data are first processed by the adaptation algorithm to be trained and then by the standard recognition algorithm.
  • the parameters or weights of the adaptation algorithm are then adjusted in order to improve the recognition result.
  • This sequence corresponds to what is known as “backpropagation”, which is known in principle, but only some or all of the parameters of the adaptation algorithm are varied. In contrast, the parameters of the standard recognition algorithm in particular remain unchanged (“frozen”).
  • the adaptation algorithm is a fully trained algorithm, so none of its parameters is hard-coded. This advantageously avoids the creation of hard-coded parameters.
  • the adaptation algorithm includes partially hard-coded conversion rules ("engineered"), which include, for example, physical deviations between the household storage device of the configuration when the standard image set is recorded.
  • engineered partially hard-coded conversion rules
  • One embodiment is that an image set of a previously unclassified stored item is recorded by means of a household storage device, and the standard recognition algorithm is set up (eg trained or programmed) on the basis of this image set to recognize the associated stored item.
  • the standard recognition algorithm is set up (eg trained or programmed) on the basis of this image set to recognize the associated stored item. This is particularly advantageous if a user wants to use his household storage device to identify a previously unclassified object. Due to the use of the adaptation algorithm, he only needs to take comparatively few pictures and, if necessary, together with an object description of a suitable instance to adapt the class. to send the sification algorithm.
  • the adaptation of the classification algorithm can take place automatically, in particular on the basis of the image data of the image set uploaded by the user, adapted by means of the associated adaptation algorithm.
  • the adaptation of the classification algorithm in the standard recognition algorithm can advantageously be used without further ado for household storage devices with different configurations. If, for example, a user takes pictures of a previously unclassified object using his household storage device of a certain configuration and if the classification algorithm used for all household storage devices is adapted on the basis of this, the previously unclassified object can also be used by household storage devices other configurations can be recognized. The users of the other household storage devices do not need to do anything. This achieves the advantage that a device-independent object or stored goods database can be expanded in a particularly simple manner for household storage devices with different configurations through the user-side object classification described above.
  • the parts of the recognition algorithm to be newly trained advantageously only have comparatively few free parameters to be matched, e.g. a few tens or hundreds of free parameters. This development is particularly advantageous if the recognition algorithm is integrated into the household storage device.
  • the object is also achieved by a household storage device, having at least one camera for recording an image set of stored goods and a data processing device for processing image data of this image set, the data processing device being designed so that it can execute the adaptation algorithm as described above.
  • the household storage device can be designed analogously to the method, and vice versa, and has the same advantages.
  • the adaptation algorithm thus corresponds io a device function. This can also be described in such a way that the adaptation algorithm is integrated or "embedded" in the device.
  • the data processing device can be programmed or hard-wired accordingly.
  • the feature extraction algorithm and / or the classification algorithm are also integrated into the household storage device.
  • a classification of objects recorded in an image can advantageously also be carried out without a data connection to an external data processing device.
  • This is also advantageous because the configuration or device-unspecific standard recognition algorithm remains unchanged.
  • porting a recognition algorithm developed with standard PC-based tools to an embedded architecture can be a very complex process, e.g. since parameters and data are typically transferred from floating point arithmetic to Fixed point arithmetic need to be converted. This effort is significantly lower for the less complex adaptation algorithm than for the recognition algorithm or may not be necessary at all because of the low computational complexity.
  • the object is also achieved by a system with at least one household storage device as described above and an external data processing device that can be coupled with at least one household storage device, the external data processing device being set up to execute at least the standard recognition algorithm.
  • This has the advantage that the household storage device can be designed in a particularly simple and inexpensive manner.
  • the system can be designed analogously to the method, and vice versa, and has the same advantages.
  • the adaptation of the image data to the standard image set can be carried out by the household storage device, the adapted image data can be sent to the external data processing device, where object recognition is carried out using the standard recognition algorithm and the result of the object recognition are reported back to the household storage device.
  • the household storage device can have at least one corresponding - for example wireless or wired - communication device, for example a Bluetooth module, a WLAN module, an Ethernet module, etc.
  • the external data processing device can be, for example, a network server or a so-called “cloud computer”.
  • the object is also achieved by a system with at least one household storage device, having at least one camera for recording a set of images of stored goods and an external data processing device that can be technically coupled with at least one household storage device, the external data processing device being set up to execute the adaptation algorithm and the standard recognition algorithm as described above.
  • This has the advantage that the adaptation algorithm can be exchanged particularly flexibly, e.g. an older version for a new version.
  • the household storage device can be made particularly simple as a result.
  • This system can also be designed analogously to the method, and vice versa, and has the same advantages.
  • This system can be implemented so that an image set of the stored goods to be recognized is recorded by means of a household storage device and sent to the external data processing device, possibly together with its configuration or an identifier that identifies the household storage device or its configuration .
  • the external data processing device searches for the appropriate adaptation algorithm based on the configuration or identifier and carries out object recognition. Since the adaptation algorithm comprises few free parameters in comparison to the standard recognition algorithm or has a small data size, a large number of different adaptation algorithms can easily be kept by the external data processing device. In a further development, instead of different adaptation algorithms in the external data processing device, a single, more complex (e.g.
  • adaptation algorithm can be used, which recognizes the configuration under which the image set was recorded based on an incoming image set or based on the associated data characteristics and automatically adapts to the self-known configuration, for example by inserting values of parameters belonging to the configuration. If information about the device model (configuration) is available, this information can advantageously also be used. For this development in particular, it is advantageous if the adaptation algorithms have the same structure or architecture.
  • the adaptation algorithm converts a previously unknown configuration or data characteristics unknown to it into the desired standard data characteristic by capturing the data characteristic of the input image sets and automatically adapting itself so that the standard data characteristic is at least approximately is achieved.
  • Fig.1 shows a sketch of a household storage device in the form of a refrigerator
  • Fig. 2 shows a sketch of a conventional method for object recognition
  • the refrigerator 1 shows a sketch of a household storage device in the form of a refrigerator 1.
  • the refrigerator 1 has a cooling space 2, which is provided for storing storage well in the form of refrigerated goods (here: food in the form of an apple A).
  • a camera 4 also called CiF, "Camera in Fridge "
  • an image set [B] with one or more images of the contents of the cooling space 2 can be recorded are not recorded contiguously.
  • the structural design of the refrigerator 1 can be referred to as configuration K1.
  • the refrigerator 1 has a data processing device (not shown) which makes it possible to process image data of the image set [B].
  • the refrigerator 1 is equipped with a communication device 5 (e.g. a Bluetooth or WLAN module) which enables the refrigerator 1 to exchange data with an external data processing device 6, e.g. the image set [B] to send the external data processing device 6, to receive recognition results RES (see FIG. 3), etc.
  • a communication device 5 e.g. a Bluetooth or WLAN module
  • the data connection can be established via the Internet N, for example.
  • the external data processing device 6 can be a network server or a cloud computer.
  • FIG. 2 shows a sketch of a conventional method for object recognition.
  • An image set [B0] recorded under a configuration K0 with a data characteristic DO is fed into a recognition algorithm EA which has been trained to recognize objects such as the apple A under the configuration K0.
  • the detection algorithm EA is therefore device-specific. It includes a feature extraction algorithm FE and a classification algorithm CL, optionally also an upstream fixed-coded preprocessing algorithm PP.
  • the detection algorithm EA works well with image data generated from image sets [BO], which have the same data characteristic DO (e.g. in the form of the statistical distribution development) like the image sets used to train the recognition algorithm EA.
  • DO data characteristic
  • each device model or configuration When using image sets that are generated in a configuration other than the trained configuration K0 (e.g. with a different device model or with a different camera), the data characteristics no longer correspond to those used for training the recognition algorithm EA. Rather, each device model or configuration generally supplies image data with different characteristics.
  • the accuracy for household storage devices is usually improved by retraining the detection algorithm EA.
  • new image sets with the configuration of the respective household storage device are generated for the respective objects to be recognized (such as the apple A), which then have their own data characteristics.
  • a similar, typically high number of images is generated as with the original image set.
  • this is complex and must be carried out individually for different refrigerators or other storage devices.
  • the household storage devices 1a to 1i can, for example, refrigerators of different configurations, for example a refrigerator 1a and another refrigerator 1b (at least one of which can be identical or similar to the refrigerator 1 described in FIG. 1), one or more household cooking appliances 1c, an extractor hood 1d or a chimney (possibly in combination with a Hob), a pantry 1i, etc.
  • respective image sets [B1] to [Bi] can be generated which, for example, have corresponding data characteristics D1 to Di.
  • the method uses a ("standard") recognition algorithm EA trained on the basis of a standard image set [BO] (e.g. a COCO image set or an image set generated by a manufacturer of the household storage devices 1a to 1i).
  • the standard image set [B0] has been generated under a configuration K0 that differs from the configurations K1 to Ki, its image data having a standard data characteristic DO.
  • the standard recognition algorithm EA has a respective adaptation algorithm AL1 to ALi interposed, which serves to convert the image sets [B1] to [Bi] recorded by the household storage devices 1a to 1i or their data characteristics D1 to Di to adapt to the standard image set [B0] or its data characteristic DO.
  • the adaptation algorithm AL1 to ALi transforms the data characteristics D1 to Di of the image sets [B1] to [Bi] into a distribution which is similar to the standard data characteristic DO of the standard image set B0.
  • the standard recognition algorithm EA unchanged, at least approximately the same recognition accuracy is achieved again.
  • the standard recognition algorithm EA runs on the external data processing device 6.
  • the adaptation algorithms AL1 to ALi run in the respective associated storage devices 1a to 1i.
  • the standard recognition algorithm EA can run in the storage devices 1a to 1i, for example as an "embedded" algorithm.
  • the adaptation algorithm AL1 to ALi continues to run in the respective associated storage devices 1a to 1i.
  • the adaptation algorithms AL1 to ALi and the standard recognition algorithm EA run in the external data processing device 6. This can be implemented in such a way that an image set [B1] to [Bi] is recorded by means of a household storage device 1a to 1i and transmitted to the external data processing device 6, in particular together with the associated configuration K1 to Ki or an identifier that identifies the household Storage device 1a to 1i or their configuration K1 to Ki identified (as indicated by the dotted arrow).
  • the external data processing device 6 looks for the appropriate adaptation algorithms AL1 to ALi on the basis of the configuration K1 to Ki or the identifier and carries out an object recognition. Since the adaptation algorithms AL1 to ALi in comparison to the standard recognition algorithm EA comprise few free parameters or have a small data size, a large number of different adaptation algorithms AL1 to ALi can easily be kept available.
  • a single, more complex (for example, several NN layers having) adaptation algorithm AL can be used, which is based on an incoming image set [B1] to [Bi] or the associated data characteristics D1 to Di itself recognizes the configuration K1 to Ki with which the image set [B1] to [Bi] was recorded and automatically adapts to the self-recognized configuration K1 to Ki.
  • FIG. 4 shows a training sequence for training an arbitrarily selected adaptation algorithm AL1.
  • an image set [B1] with advantageously several images is fed into the still untrained adaptation algorithm AL1, which converts the associated image data so that its data characteristic D1 is approximated as closely as possible to the standard data characteristic DO.
  • the image data converted in this way are fed into the standard recognition algorithm EA, which delivers a recognition result RES.
  • This recognition result RES is initially likely to be worse than the recognition result which the “frozen” standard recognition algorithm EA delivers for the standard image set B0.
  • the adaptation algorithm AL1 is then trained, for example by backpropagation (as indicated by the dashed arrow), for example until the recognition result RES at least corresponds to the recognition result for the standard image set B0.
  • the adaptation algorithm AL1 is significantly less complex in terms of its structure and number of parameters to be optimized than the standard recognition algorithm EA (a simple version of the adaptation algorithm AL1 can contain, for example, about 10 to 1000 free parameters, while the standard recognition algorithm EA about 1000 has up to a million free parameters), only comparatively few of the image data otherwise required are advantageously necessary for this. Under certain circumstances, training with only a subset of the objects recognized by the standard recognition algorithm EA may also be necessary. Of course, the present invention is not limited to the game personssbei shown.
  • Numbers can also include exactly the specified number as well as a customary tolerance range, as long as this is not explicitly excluded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren dient zum Erkennen von Lagergut (A) in Haushalts-Lagerungsvorrichtungen (1a-1i), wobei ein Bildsatz ([B1]-[Bi]) eines mittels einer Haushalts-Lagerungsvorrichtung (1a-1i) gelagerten Lagerguts (A) aufgenommen wird und ein Erkennen des Lagerguts (A) durch Auswertung von Bilddaten dieses Bildsatzes ([B1]-[Bi]) mittels eines Standard- Erkennungsalgorithmus (EA) durchgeführt wird, und wobei der Standard-Erkennungsalgorithmus (EA) mittels eines unter einer Standard-Konfiguration (K0) aufgenommenen Standard-Bildsatzes ([B0]) trainiert worden ist, und eine Datencharakteristik (D1-Di) der Bilddaten vor Anwendung des Standard-Erkennungsalgorithmus (EA) mittels eines abhängig von einer Konfiguration (K1-Ki) der Haushalts-Lagerungsvorrichtung (1a-1i) zumindest teilweise trainierten Adaptionsalgorithmus (AL1-AN) auf eine Standard-Datencharakteristik (DO) des Standard-Bildsatz ([B0]) hin angepasst wird. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Haushalts-Lebensmittelbehandlungsgeräte wie Kältegeräte und Gargeräte sowie Dunstabzugshauben.

Description

Erkennen von Lagergut in Haushalts-Lagerungsvorrichtungen
Die Erfindung betrifft ein Verfahren zum Erkennen von Lagergut in Haushalts-Lagerungs vorrichtungen mit unterschiedlichen Konfigurationen, bei dem mindestens ein Bild eines von in einer Haushalts-Lagerungsvorrichtung gelagerten Lagerguts aufgenommen wird und ein Erkennen des Lagerguts durch Auswertung von Bilddaten des mindestens ein Bilds mittels eines Erkennungsalgorithmus durchgeführt wird, der bezüglich eines Bildsat zes trainiert worden ist. Die Erfindung betrifft auch eine Haushalts-Lagerungsvorrichtung, aufweisend mindestens eine Kamera zu Aufnahme von Lagergut und eine Datenverarbei tungsvorrichtung zum Verarbeiten von Bilddaten der durch die mindestens eine Kamera aufgenommenen Bildern aufweist, wobei die Datenverarbeitungsvorrichtung so ausgebil det ist, dass sie die Funktion des Adaptionsalgorithmus gemäß einem der vorhergehen den Ansprüche ausführen kann. Die Erfindung betrifft ferner ein System mit mindestens einer Haushalts-Lagerungsvorrichtung und einer mit mindestens einer Haushalts- Lagerungsvorrichtung datentechnisch koppelbaren externen Datenverarbeitungsvorrich tung, wobei die externe Datenverarbeitungsvorrichtung insbesondere dazu eingerichtet ist, den Standard-Erkennungsalgorithmus auszuführen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Haushalts-Lebensmittelbehandlungsgeräte wie Kältegeräte und Gargeräte sowie Dunstabzugshauben.
Für ein Lagermanagement im Haushaltsbereich (z.B. für Lebensmittel) ist die Information über das Vorhandenseins eines bestimmten Lebensmittels eine wichtige Grundinformati on. Dies erfolgt z.B. kamerabasiert mit nachgelagerter Objekterkennung. Heutige Erken nungsalgorithmen erfordern dafür jeweils eine Anpassung an Änderungen der Charakte ristik der Bilddaten, wie sie z.B. durch geänderte Gerätemodelle oder Kameramodelle infolge geänderter Bildhelligkeiten oder Bildverzerrungen verursacht werden.
"Deep-Learning"-basierte Erkennungsalgorithmen für Objekterkennung oder/und Objekt detektion basierend auf digitalisierten Bilddaten sind Stand der Technik, siehe z.B. C. G. Pachon: "Product Detection System for Home Refrigerators implemented though a Regi- on-based Convolutional Neural Network", Int. J. of Applied Engineering Research, ISSN 0973-4562, Bd. 13, Nr. 12 (2018), Seiten 10381 bis 10388, US 2017/0050319 A1,
KR 20190108049 A oder WO 2018/40105 A1. Die Anpassung an neue Bilddaten erfolgt bei "Deep-Learning"-basierten Erkennungsalgo rithmen durch ein Neutrainieren (sog. "Retraining") des Erkennungsalgorithmus und be deutet einen nicht unerheblichen Entwicklungsaufwand, wobei in manchen Fällen sogar eine Verschlechterung der Erkennungsgenauigkeit bewirkt wird. Unter Umständen müs sen auch gerätespezifische Ausprägungen des Erkennungsalgorithmus parallel betrieben werden, um die Funktion über alle Gerätemodelle sicherzustellen. Dabei werden NN ("Neuronale Netzwerk")-Erkennungsalorithmen auf einen gewissen Datensatz zum Er kennen der dort vorhandenen Objekte trainiert. Viele dieser NN-Erkennungsalgorithmen stehen im Rahmen von "Open Source"-Lizenzen frei zur Verfügung. Bei der Verwendung solcher Erkennungsalgorithmen in eigenen Anwendungen werden sie auf den eigenen Bildsatz mit darin evtl auch enthaltenen neuen Objekten neu trainiert (auch als "Transfer Learning" bezeichnet). Dieses Training erfolgt durch Anpassung der im NN-Erkennungs- algorithmus enthaltenen Parameter (auch Gewichte oder "Weights" genannt) durch übli che Verfahren wie Gradientenabstieg, usw. Dabei erfolgt entweder eine Adaption aller Gewichte oder auch selektiv die Adaption der Gewichte nur eines Teilbereichs des Erken nungsalgorithmus. Üblich ist als Minimallösung häufig die Anpassung oder auch der kom plette Ersatz des letzten Teils des NN-Erkennungsalgorithmus, des Klassifizierungsalgo rithmus oder "Classifiers".
Der Klassifizierungsalgorithmus führt die zum Vorhersage- oder Erkennungsergebnis füh rende Entscheidung herbei. Dazu verwendet er Merkmale, sog. „Features“, welche aus dem vorgelagerten Teil des Erkennungsalgorithmus (dem sog. Merkmalsextraktor oder "Feature Extractor") des -Erkennungsalgorithmus berechnet werden.
Ein NN-Erkennungsalgorithmus zur Erkennung und Klassifizierung von Objekten aus Bilddaten besteht also üblicherweise aus zwei funktionalen Hauptbestandteilen: dem Teil algorithmus zum Extrahieren der Merkmale aus den Bilddaten (Merkmalsextraktionsalgo rithmus) und einem diesem nachgeschalteten Teilalgorithmus, welcher aus den Merkma len eine Vorhersage (das Erkennungsergebnis) für eine erkannte Objektklasse liefert (Klassifizierungsalgorithmus).
Dem Merkmalsextraktor vorgelagert sind häufig noch einfache, fest-codierte Umrechnun gen der Bilddaten (sog. "Preprocessing"), z.B. zur Anpassung der mittleren Bildhelligkeit oder des Kontrasts durch einfache Rechenoperationen, beispielsweise zur Mittelwert- Subtraktion oder Varianz-Normierung.
Nachteiligerweise sind die obigen Anpassungen des NN-Erkennungsalgorithmus durch Neutrainieren nur sehr aufwändig durchzuführen.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit bereit zustellen, in einem Haushalt gelagertes Lagergut durch einen Erkennungsalgorithmus zu erkennen.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteil hafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.
Die Aufgabe wird gelöst durch ein Verfahren zum Erkennen von Lagergut in Haushalts- Lagerungsvorrichtungen, bei dem ein Bildsatz (umfassend mindestens ein Bild) eines mittels einer Haushalts- Lagerungsvorrichtung gelagerten Lagerguts aufgenommen wird und ein Erkennen des Lagerguts durch Auswertung von Bilddaten dieses Bildsatzes mit tels eines Erkennungsalgorithmus ("Standard-Erkennungsalgorithmus") durchgeführt wird, wobei der Standard-Erkennungsalgorithmus bezüglich eines unter einer zugehörigen Konfi guration ("Standard-Konfiguration") aufgenommenen Bildsatzes ("Standard- Bildsatzes") trainiert worden ist, und die die Datencharakteristik der Bilddaten vor Anwendung des Standard-Erkennungs algorithmus mittels eines abhängig von einer Konfiguration der Haushalts- Lagerungsvorrichtung zumindest teilweise trainierten Adaptionsalgorithmus auf eine ("Standard")-Datencharakteristik des Standard-Bildsatzes hin angepasst wird, insbe sondere falls sich eine Konfiguration der Haushalts-Lagerungsvorrichtung von der Standard-Konfiguration unterscheidet.
Dieses Verfahren ergibt den Vorteil, dass der gleiche Standard-Erkennungsalgorithmus für Haushalts-Lagerungsvorrichtungen mit dazu unterschiedlicher Konfiguration nutzbar ist, da eine Anpassung der durch diese Haushalts-Lagerungsvorrichtungen aufgenomme nen Bilddaten ausschließlich durch einen vorgelagerten Adaptionsalgorithmus vorge nommen wird. Weil der Adaptionsalgorithmus sehr viel einfacher aufgebaut werden kann als der eigentliche Erkennungsalgorithmus (wenige zehn bis hundert durch Training an zupassende Parameter im Adaptionsalgorithmus gegenüber typischerweise Millionen durch Training anzupassenden Parametern im Standard-Erkennungsalgorithmus), wird ein Anpassungsaufwand an unterschiedliche Haushalts-Lagerungsvorrichtungen erheb lich verringert, da er auf das Training des Adaptionsalgorithmus beschränkt ist. Dies wird dadurch unterstützt, dass eine merklich geringere Zahl an benötigten Trainingsdaten (d.h., Bildern) benötigt wird als bei (Neu-)Trainieren des eigentlichen Erkennungsalgorithmus. Darüber hinaus wird ein Austausch des Standard-Erkennungsalgorithmus durch präzisere Versionen erleichtert, weil gerätespezifische (und damit datenspezifische) Anpassungen nur im Adaptionsalgorithmus enthalten sind.
Es ist ein weiterer Vorteil, dass das Anpassen der Datencharakteristik der von der Haus halts-Lagerungsvorrichtung erzeugten Bilddaten an die Datencharakteristik der Bilddaten des Standard-Bildsatzes ("Standard-Datencharakteristik") bei folgender Verarbeitung durch den Standard-Erkennungsalgorithmus ein besseres Erkennungsergebnis liefern kann als ohne Verwendung des Adaptionsalgorithmus.
Unter einer Haushalts-Lagerungsvorrichtung kann grundsätzlich jede Haushaltsvorrich tung verstanden werden, welche dazu vorgesehen ist, Lagergut zu lagern und/oder zu überwachen. Die Haushalts-Lagerungsvorrichtung kann dazu mindestens einen dedizier- ten Lagerraum aufweisen, braucht es aber nicht. Es ist eine Weiterbildung, dass die Haushalts-Lagerungsvorrichtung ein Haushaltsgerät ist, insbesondere im Sinne "weißer Ware", speziell ein Haushalts-Großgerät. Es ist eine Weiterbildung, dass die Haushalts- Lagerungsvorrichtung ein Lebensmittel-Behandlungsgerät ist, beispielsweise ein Kältege rät (z.B. Kühlschrank und/oder Gefrierschrank) und/oder ein Gargerät (z.B. ein Ofen und/oder ein Kochfeld). Es ist eine Weiterbildung, dass die Haushalts-Lagerungs vorrichtung eine Dunstabzugshaube ist, deren mindestens eine Kamera auf ein Kochfeld gerichtet ist. Die Haushalts-Lagerungsvorrichtung kann auch eine Dunstabzugshauben- /Kochfeld-Kombination sein. Im Fall eines Kochfelds wird Kochgut, insbesondere Le bensmittel, auf dem Kochfeld gelagert, z.B. vor, während und/oder nach einem Kochvor gang. Die mindestens einen Kamera kann bei einem Gargerät auch zur Überwachung eines Garvorgangs verwendet werden. Die Haushalts-Lagerungsvorrichtung kann aber auch ein Schrank wie ein Vorratsschrank, ein Wein/Klima-Schrank usw. sein.
Die zu erkennenden Objekte können Lebensmittel sein, sind aber nicht darauf beschränkt, sondern können z.B. auch Geschirr, Wäsche, allgemeine Haushaltsobjekte usw. sein.
Das Lagergut kann auch mittels eines mobilen Nutzerendgeräts (Smartphones, Tablets, usw.) aufgenommen werden, insbesondere wenn es an der Haushaltsgeräte- Lagerungsvorrichtung angeordnet ist, z.B. in einem Kühlschrank oder Vorratsschrank ge lagert ist, auf einem Kochfeld abgestellt ist. Auch hierbei stellt sich eine typische Konfigu ration ein, die z.B. von der Art der Haushaltsgeräte-Lagerungsvorrichtung, den konkreten Beleuchtungsbedingungen am Ort der Haushaltsgeräte-Lagerungsvorrichtung, der Art des mobilen Nutzerendgeräts, der typischen Aufnahmehöhe usw. abhängen kann
Unter einer Konfiguration einer Haushalts-Lagerungsvorrichtung kann deren konstruktiver Aufbau verstanden werden, z.B. umfassend eine Zahl von Beleuchtungseinheiten, deren Beleuchtungswinkel, Beleuchtungshelligkeit und/oder Lichtspektrum, ein Abstand und Winkel der Kamera bezüglich eines Lagerorts, Kameraeigenschaften wie deren Farbdy- namik, Auflösung usw. Haushalts-Lagerungsvorrichtungen mit unterschiedlichen Konfigu rationen können sich in diesen Konfigurationsparametern unterscheiden, z.B. durch un terschiedliche Arten und/oder Positionen der Kamera(s), unterschiedliche Beleuchtungs bedingungen usw. Insbesondere können unterschiedliche Gerätemodelle oder Gerätety pen einer gleichen Art von Haushalts-Lagerungsvorrichtung (z.B. eines Kühlschranks) unterschiedliche Konfigurationen aufweisen. Dass mindestens ein Bild eines "mittels" ei ner Haushalts-Lagerungsvorrichtung gelagerten Lagerguts aufgenommen wird, kann folg lich umfassen, dass mindestens ein Bild eines innerhalb einer Haushalts-Lagerungs vorrichtung gelagerten Lagerguts aufgenommen wird (z.B. von Kühlgut in einem Kältege rät oder von Gargut in einem Ofen) oder mindestens ein Bild eines auf einer Haushalts- Lagerungsvorrichtung abgelegten Lagerguts aufgenommen wird (z.B. von Gargut auf ei nem Kochfeld).
Der Standard-Erkennungsalgorithmus ist auf einen vorgegebenen Satz von Bildern (den Standard-Bildsatz) jeweiliger zu erkennender Objekte hin trainiert worden, wobei die Bil der in einer bestimmten Standard-Konfiguration aufgenommen worden sind und damit im Bildraum eine typische Standard-Datencharakteristik (beispielsweise eine typische Daten statistik, z.B. die sog. statistische Verteilung, auch als "Statistical Distribution" bezeichnet) aufweisen.
Es ist eine Weiterbildung, dass der Standard-Bildsatz ein frei verfügbarerer Bildsatz ist, z.B. ein COCO ("Common Objects in Context")-Bildsatz.
Es ist eine Weiterbildung, dass der Standard-Bildsatz ein (z.B. von einem Hersteller der Haushalts-Lagerungsvorrichtung) dediziert erzeugter Bildsatz ist, z.B. ein mittels einer bestimmten Haushalts-Lagerungsvorrichtung erzeugter Bildsatz ist. Dies ergibt den Vor teil, dass die Standard-Konfiguration, unter welcher der Standard-Bildsatz erzeugt worden ist, mit hoher Wahrscheinlichkeit eine geringere Abweichung zu den Konfigurationen der dann im Haushalt eingesetzten unterschiedlichen Haushalts-Lagerungsvorrichtungen aufweist als ein frei verfügbarerer Bildsatz. Dies kann den Aufwand für ein Trainieren des Adaptionsalgorithmus weiter verringern.
Das Erkennungsergebnis kann allgemein, wie grundsätzlich bekannt, nicht nur die Art des erkannten Objekt (z.B. "Apfel", "Tomate") usw. umfassen, sondern z.B. auch deren Zahl, Größe und Position. Das Erkennungsergebnis kann beispielsweise nach grundsätzlich bekannter Art für ein Lagerhaltungsmanagement verwendet werden, z.B. zum Erstellen einer Inventarliste, einer Einkaufsliste, usw.
Dass der Adaptionsalgorithmus zumindest teilweise trainiert worden ist, umfasst insbe sondere, dass er ein Algorithmus nach Art eines neuronalen Netzwerks ist (NN- Adaptionsalgorithmus) und nicht nur wie bei dem herkömmlichen Preprocessing durch festkodierte Parameter erzeugt wird. Der Adaptionsalgorithmus kann daher auch selbst als neuronales Netzwerk angesehen werden, das aber außer über die Anpassung und Weiterleitung der Bilddaten nicht mit dem eigentlichen Standard-Erkennungsalgorithmus zusammenarbeitet und daher keinen Teil, insbesondere keine Lage, des Standard- Erkennungsalgorithmus darstellt.
Der Adaptionsalgorithmus kann in einfachen Fällen aus einer einzelnen sog. Faltungslage oder Faltungsschicht ("Convolutional Layer") bestehen. Durch diese Faltungslage können beispielsweise durch Helligkeits-, Kontrast- und/oder Farbraumänderungen und/oder durch Bildschärfenänderung der Konfiguration bedingte Unterschiede zu der Standard- Konfiguration ausgeglichen werden.
Komplexere Adaptionsalgorithmen können mehrere NN-Schichten enthalten. Ferner kön nen zusätzlich Nichtlinearitäts- und/oder Regularisierungsfunktionen enthalten sein (z.B. sog. Aktivierungsfunktionen, Pooling, L1-L2-Regularisations-Funktionen, Funktionen zum Ausgleich von nichtlinearen Verzerrung wie sie z.B. durch nichtlineare Kompressions algorithmen wie JPEG, PNG, GIF o.ä. hervorgerufen werden, ggf. auch Dropout-Noise- Funktionen, usw.). Dadurch sind komplexere Anpassungen möglich, z.B. zur Korrektur geometrischer Verzerrungen.
Es ist eine Ausgestaltung, dass der Standard-Erkennungsalgorithmus einen Merkmalsext raktionsalgorithmus ("Feature Extractor") und einen diesem nachgeschalteten Klassifizie rungsalgorithmus ("Classifier") umfasst. Die detaillierte Arbeitsweise eines solchen Erken nungsalgorithmus ist aus dem Stand der Technik grundsätzlich bekannt.
Alternativ kann der Standard-Erkennungsalgorithmus z.B. ein auf Kreuzkorrelation beru hendes sog. "Template Matching" umfassen, z.B. unter Nutzung der Summe absoluter Differenzen von Bildpunkten (SAD; "Sum of Absolute Differences").
Es ist eine Weiterbildung, dass der Merkmalsextraktionsalgorithmus und/oder der Klassifi zierungsalgorithmus ein neuronales Netzwerk darstellt oder ist. Ein solcher NN- Erkennungsalgorithmus weist typischerweise eine Vielzahl von hintereinander angeordne ten Lagen oder "Layern" (sog. "Deep Learning") auf, beispielsweise unter Verwendung von VGG ("Visual Geometry Group")-, R-CNN ("Regions with convolutional neural net- works")-, SSD ("Single shot multibox detector")-, YOLO ("You only look once")- Architekturen, usw. Die Lagen können auch als Schichten bezeichnet werden.
Es ist eine Weiterbildung, dass der Merkmalsextraktionsalgorithmus und/oder der Klassifi zierungsalgorithmus ein auf Methoden des maschinellen Sehens (auch als "Computer Vision-Algorithmus bezeichenbar) beruhender Algorithmus ist. Dieser kann z.B. SURF ("Speeded Up Robust Features")-, HOG ("Histogram of oriented gradients")-Architekturen usw. benutzen. Es ist eine Ausgestaltung, dass der Adaptionsalgorithmus für Haushalts-Lagerungs vorrichtungen, deren Konfiguration nicht der Standard-Konfiguration entspricht, im Zu sammenspiel mit dem Standard- Erkennungsalgorithmus trainiert wird. Das Trainieren kann dabei insbesondere so erfolgen, dass zunächst mittels der Haushalts-Lagerungs vorrichtung ein oder typischerweise mehrere Bilder eines zu erkennenden Objekts aufge nommen werden. Die zugehörigen Bilddaten werden zunächst durch den zu trainierenden Adaptionsalgorithmus und dann durch den Standard-Erkennungsalgorithmus verarbeitet. Folgend werden die Parameter bzw. Gewichte des Adaptionsalgorithmus angepasst, um das Erkennungsergebnis zu verbessert. Dieser Ablauf entspricht einer grundsätzlich be kannten sog. "Backpropagation", wobei aber nur einige oder alle Parameter des Adapti onsalgorithmus variiert werden. Die Parameter des Standard-Erkennungsalgorithmus bleiben hingegen insbesondere unverändert ("frozen").
Es ist eine Ausgestaltung, dass der Adaptionsalgorithmus ein vollständig trainierter Algo rithmus ist, also keiner seiner Parameter festkodiert ist. Dies vermeidet vorteilhafterweise eine Erstellung festkodierter Parameter.
Es ist eine Weiterbildung, dass ein Teil der Parameter des Adaptionsalgorithmus festko diert ist und ein anderer Teil nach Methoden eines neuronalen Netzwerks trainiert worden ist. Dies kann auch so ausgedrückt werden, dass der Adaptionsalgorithmus teilweise fest kodierte Umwandlungsvorschriften umfasst ("engineert" worden ist), welche z.B. physika lische Abweichungen zwischen der Haushalts-Lagerungsvorrichtung der Konfiguration bei Aufnahme des Standard-Bildsatzes umfassen. Diese festkodierten Umwandlungsvor schriften können Umwandlungsvorschriften entsprechen, die ansonsten im Rahmen eines Preprocessings bereitgestellt würden.
Es ist eine Ausgestaltung, dass mittels einer Haushalts-Lagerungsvorrichtung ein Bildsatz eines bisher noch nicht klassifizierten Lagerguts aufgenommen wird, und der Standard- Erkennungsalgorithmus anhand dieses Bildsatzes auf das Erkennen des zugehörigen Lagerguts hin eingerichtet (z.B. trainiert oder programmiert) wird. Dies ist besonders vor teilhaft, wenn ein Nutzer mittels seiner Haushalts-Lagerungsvorrichtung ein bisher nicht klassifiziertes Objekt erkennen lassen möchte. Aufgrund der Nutzung des Adaptionsalgo rithmus braucht er dazu nur vergleichsweise wenige Bilder aufzunehmen und ggf. zu sammen mit einer Objektbeschreibung einer geeigneten Instanz zur Anpassung des Klas- sifikationsalgorithmus zukommen zu lassen. Die Anpassung des Klassifikationsalgorith- mus kann automatisch ablaufen, insbesondere auf Grundlage der mittels des zugehörigen Adaptionsalgorithmus adaptierten Bilddaten des von dem Nutzer hochgeladenen Bildsat zes. Da die gerätespezifischen Eigenschaften der Haushalts-Lagerungsvorrichtungen in dem jeweiligen Adaptionsalgorithmus enthalten sind, während die adaptierten Bilddaten praktisch geräteunspezifisch sind, kann die Anpassung des Klassifikationsalgorithmus im Standard-Erkennungsalgorithmus vorteilhafterweise ohne weiteres auch für Haushalts- Lagerungsvorrichtungen mit unterschiedlichen Konfigurationen verwendet werden. Nimmt also beispielsweise ein Nutzer Bilder eines bisher nicht klassifizierten Objekts mittels sei ner Haushalts-Lagerungsvorrichtung einer bestimmten Konfiguration auf und wird auf de ren Basis für alle Haushalts-Lagerungsvorrichtungen verwendete der Klassifikationsalgo rithmus angepasst, kann das bisher nicht klassifizierte Objekt auch von Haushalts- Lagerungsvorrichtungen mit anderen Konfigurationen erkannt werden. Die Nutzer der anderen Haushalts-Lagerungsvorrichtungen brauchen dazu nichts zu tun. So wird der Vorteil erreicht, dass sich für Haushalts-Lagerungsvorrichtungen mit unterschiedlichen Konfigurationen durch die oben beschriebene nutzerseitige Objektklassifizierung auf be sonders einfache Weise eine geräteunabhängige Objekt- bzw. Lagergut-Datenbank er weitern lässt.
Zusätzlich zu den obigen Ausführungen ist es grundsätzlich auch möglich, Anpassungen des Adaptionsalgorithmus (durch Neutrainieren) in Kombination mit Optimierung von Tei len des Erkennungsalgorithmus durchzuführen. Dazu weisen die neu zu trainierenden Teile des Erkennungsalgorithmus vorteilhafterweise nur vergleichsweise wenige anzu passende freie Parameter auf, z.B. wenige Zehn oder Hundert freie Parameter. Diese Weiterbildung ist besonders vorteilhaft, wenn Erkennungsalgorithmus in die Haushalts- Lagerungsvorrichtung integriert ist.
Die Aufgabe wird auch gelöst durch eine Haushalts-Lagerungsvorrichtung, aufweisend mindestens eine Kamera zu Aufnahme eines Bildsatzes von Lagergut und eine Datenver arbeitungsvorrichtung zum Verarbeiten von Bilddaten dieses Bildsatzes, wobei die Daten verarbeitungsvorrichtung so ausgebildet ist, dass sie den Adaptionsalgorithmus wie oben beschrieben ausführen kann. Die Haushalts-Lagerungsvorrichtung kann analog zu dem Verfahren ausgebildet sein, und umgekehrt, und weist die gleichen Vorteile auf. In dieser Variante der Haushalts-Lagerungsvorrichtung entspricht der Adaptionsalgorithmus also io einer Gerätefunktion. Dies kann auch so beschrieben werden, dass der Adaptionsalgo rithmus in die Vorrichtung integriert oder "embedded" ist. Die Datenverarbeitungsvorrich tung kann dazu entsprechend programmiert oder hartverdrahtet sein.
Es ist eine Weiterbildung, dass auch der Merkmalsextraktionsalgorithmus und/oder der Klassifizierungsalgorithmus in die Haushalts-Lagerungsvorrichtung integriert sind.
Dadurch kann eine Klassifizierung bildlich aufgenommener Objekte vorteilhafterweise auch ohne Datenverbindung zu einer externen Datenverarbeitungsvorrichtung durchge führt werden. Dies ist auch deshalb vorteilhaft, da der konfigurations- bzw. geräteunspezi fische Standard-Erkennungsalgorithmus unverändert bleibt. Denn eine Portierung eines mit üblichen PC-basierten Tools entwickelten Erkennungsalgorithmus auf eine Embed- ded-Architektur (mit in der Regel deutlich geringerer Rechenleistung) ist u.U. ein sehr aufwändiger Prozess, z.B. da typischerweise Parameter und Daten von einer Floating- Point-Arithmetik auf eine Fixed-Point-Arithmetik umgewandelt werden müssen. Dieser Aufwand ist für den weniger komplexen Adaptionsalgorithmus deutlich geringer als für den Erkennungsalgorithmus oder ist wegen der geringen Berechnungskomplexität evtl gar nicht notwendig.
Die Aufgabe wird ferner gelöst durch ein System mit mindestens einer Haushalts- Lagerungsvorrichtung wie oben beschrieben und einer mit mindestens einer Haushalts- Lagerungsvorrichtung datentechnisch koppelbaren externen Datenverarbeitungsvorrich tung, wobei die externe Datenverarbeitungsvorrichtung dazu eingerichtet ist, zumindest den Standard-Erkennungsalgorithmus auszuführen. So wird der Vorteil erreicht, dass die Haushalts-Lagerungsvorrichtung besonders einfach und preiswert gestaltbar ist. Das Sys tem kann analog zu dem Verfahren ausgebildet sein, und umgekehrt, und weist die glei chen Vorteile auf.
Bei diesem System können in einer Weiterbildung die Adaption der Bilddaten auf den Standard-Bildsatz (z.B. auf dessen Datencharakteristik) durch die Haushalts-Lagerungs vorrichtung durchgeführt, die adaptierten Bilddaten an die externe Datenverarbeitungsvor richtung gesandt, dort mittels des Standard-Erkennungsalgorithmus eine Objekterken nung durchgeführt und das Ergebnis der Objekterkennung zurück an die Haushalts- Lagerungsvorrichtung gemeldet werden. Zur datentechnischen Kopplung mit der externen Datenverarbeitungsvorrichtung kann die Haushalts-Lagerungsvorrichtung mindestens eine entsprechende - z.B. drahtlose oder drahtgebundene - Kommunikationseinrichtung aufweisen, beispielsweise ein Bluetooth- Modul, ein WLAN-Modul, ein Ethernet-Modul, usw.
Die externe Datenverarbeitungsvorrichtung kann z.B. ein Netzwerk-Server oder ein sog. "Cloud-Rechner" sein.
Jedoch sind grundsätzlich beliebige Verteilungen des Adaptionsalgorithmus, des Merk malsextraktionsalgorithmus und/oder des Klassifizierungsalgorithmus auf die Haushalts- Lagerungsvorrichtung und die externe Datenverarbeitungsvorrichtung möglich:
So wird die Aufgabe außerdem gelöst durch ein System mit mindestens einer Haushalts- Lagerungsvorrichtung, aufweisend mindestens eine Kamera zu Aufnahme eines Bildsat zes von Lagergut und einer mit mindestens einer Haushalts-Lagerungsvorrichtung daten technisch koppelbaren externen Datenverarbeitungsvorrichtung, wobei die externe Da tenverarbeitungsvorrichtung dazu eingerichtet ist, den Adaptionsalgorithmus und den Standard-Erkennungsalgorithmus wie oben beschrieben auszuführen. Dadurch wird der Vorteil erreicht, dass sich der Adaptionsalgorithmus besonders flexibel austauschen lässt, z.B. eine ältere Version gegen eine neue Version. Zudem kann die Haushalts-Lagerungs vorrichtung dadurch besonders einfach ausgestaltet werden. Auch dieses System kann analog zu dem Verfahren ausgebildet sein, und umgekehrt, und weist die gleichen Vortei le auf.
Dieses System kann so umgesetzt sein, dass mittels einer Haushalts-Lagerungs vorrichtung ein Bildsatz des zu erkennenden Lagerguts aufgenommen und an die externe Datenverarbeitungseinrichtung gesandt wird, ggf. zusammen mit dessen Konfiguration oder einer Kennung, welche die Haushalts-Lagerungsvorrichtung bzw. deren Konfigurati on identifiziert. Die externe Datenverarbeitungseinrichtung sucht anhand der Konfiguration oder Kennung den passenden Adaptionsalgorithmus aus und führt eine Objekterkennung durch. Da der Adaptionsalgorithmus im Vergleich zu dem Standard-Erkennungs algorithmus wenige freie Parameter umfasst bzw. eine geringe Datengröße aufweist, kann eine hohe Zahl an unterschiedlichen Adaptionsalgorithmen durch die externe Datenverar beitungseinrichtung ohne weiteres vorgehalten werden. In einer Weiterbildung kann anstelle unterschiedlicher Adaptionsalgorithmen in der exter ne Datenverarbeitungseinrichtung ein einziger, komplexerer (z.B. mehrere NN-Lagen aufweisender) Adaptionsalgorithmus verwendet werden, der anhand eines eingehenden Bildsatzes bzw. anhand der zugehörigen Datencharakteristik selbst erkennt, unter welcher Konfiguration der Bildsatz aufgenommen worden ist und sich automatisch an die selbster kannte Konfiguration anpasst, z.B. durch Einsetzen von zu der Konfiguration gehörigen Werten von Parametern. Bei verfügbarer Information über das Gerätemodell (Konfigurati on) kann diese Information vorteilhafterweise mitverwendet werden. Insbesondere für diese Weiterbildung ist es vorteilhaft, wenn die Adaptionsalgorithmen eine gleiche Struktur oder Architektur aufweisen.
Auch ist es möglich, dass der Adaptionsalgorithmus eine ihm vorher unbekannte Konfigu ration bzw. ihm vorher unbekannte Datencharakteristiken in die gewünschte Standard- Datencharakteristik überführt, indem er die Datencharakteristik der eingegebenen Bild sätze erfasst und sich automatisch so anpasst, dass die Standard-Datencharakteristik zumindest annähernd erreicht wird.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbei spiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
Fig.1 zeigt eine Skizze einer Haushalts-Lagerungsvorrichtung in Form eines Kühl schranks;
Fig.2 zeigt eine Skizze eines herkömmlichen Verfahrens zur Objekterkennung;
Fig.3 zeigt eine Skizze des erfindungsgemäßen Verfahrens zur Objekterkennung; und
Fig.4 zeigt einen T rainingsablauf zum T rainieren eines Adaptionsalgorithmus.
Fig.1 zeigt eine Skizze einer Haushalts-Lagerungsvorrichtung in Form eines Kühl schranks 1. Der Kühlschrank 1 weist einen Kühlraum 2 auf, der zur Lagerung von Lager gut in Form von Kühlgut (hier: Lebensmittel in Form eines Apfels A) vorgesehen ist. Bei spielsweise in einer Tür 3 des Kühlschranks 1 ist eine Kamera 4 (auch als CiF, "Camera in Fridge" bezeichnet) vorhanden, mittels der ein Bildsatz [B] mit ein oder mehreren Bil dern des Inhalts des Kühlraums 2 aufnehmbar sind. Falls der Bildsatz [B] mehrere Bilder aufweist, können diese zeitlich zusammenhängend (z.B. als Bildfolge oder Video) oder zeitlich nicht zusammenhängend aufgenommen werden.
Der konstruktive Aufbau des Kühlschrank 1 kann als Konfiguration K1 bezeichnet werden.
In einer Variante weist der Kühlschrank 1 eine Datenverarbeitungseinrichtung (o. Abb.) auf, die es ermöglicht, Bilddaten des Bildsatzes [B] zu verarbeiten.
In einer zusätzlichen oder alternativen Variante ist der Kühlschrank 1 mit einer Kommuni kationseinrichtung 5 (z.B. einem Bluetooth- oder WLAN-Modul) ausgestattet, die es dem Kühlschrank 1 ermöglicht, Daten mit einer externen Datenverarbeitungseinrichtung 6 aus zutauschen, z.B. den Bildsatz [B] an die externe Datenverarbeitungseinrichtung 6 zu sen den, Erkennungsergebnisse RES (siehe Fig.3) zu empfangen, usw. Die Datenverbindung kann z.B. über das Internet N hergestellt werden. Die externe Datenverarbeitungseinrich tung 6 kann ein Netzwerk-Server oder ein Cloudrechner sein.
Fig.2 zeigt eine Skizze eines herkömmlichen Verfahrens zur Objekterkennung. Ein unter einer Konfiguration K0 aufgenommener Bildsatz [B0] mit einer Datencharakteristik DO wird in einen Erkennungsalgorithmus EA eingespeist, der auf die Erkennung von Objekten wie dem Apfel A unter der Konfiguration K0 trainiert worden ist. Der Erkennungsalgorithmus EA ist dadurch gerätespezifisch. Er umfasst hier einen Merkmalsextraktionsalgorithmus FE und einen Klassifikationsalgorithmus CL, optional auch einen vorgeschalteten festko dierten Preprocessing-Algorithmus PP.
Der Erkennungsalgorithmus EA liefert eine Vorhersage (Ergebnis RES) der Art "Ein Apfel wurde mit 95% Wahrscheinlichkeit erkannt, eine Orange mit 70% , ...") oder dasselbe in Verbindung mit Positionsinformationen: "An Position x=100, y=150 wurde ein Apfel mit 95% Wahrscheinlichkeit erkannt, ...") und üblicherweise auch mit Größeninformation wie "im Bereich x=100 bis 150, y=150 bis 210 wurde ... erkannt").
Der Erkennungsalgorithmus EA funktioniert gut mit aus Bildsätzen [BO] generierten Bild daten, welche eine gleiche Datencharakteristik DO (z.B. in Form der statistischen Vertei- lung) aufweisen wie die zum Training des Erkennungsalgorithmus EA verwendeten Bild sätze.
Bei der Verwendung von Bildsätzen, die in einer anderen als der trainierten Konfiguration K0 (z.B. mit einem anderen Gerätemodell oder mit einer anderen Kamera) erzeugt wer den, entspricht die Datencharakteristik jedoch nicht mehr derjenigen, welche für das Trai ning des Erkennungsalgorithmus EA verwendet wurde. Jedes Gerätemodell bzw. Konfigu ration liefert vielmehr in der Regel Bilddaten mit unterschiedlicher Charakteristik.
Dies trifft insbesondere dann zu, wenn der Erkennungsalgorithmus EA mit frei verfügba ren Bildsätzen (z.B. COCO) trainiert worden ist, die von der Datencharakteristik her wenig mit den mittels einer Haushalts-Lagerungsvorrichtung zu tun haben. Der Grund dafür sind z.B. unterschiedliche Helligkeiten, Kontraste und/oder Farbraum-Verschiebungen der Bilddaten, aber auch unterschiedliche geometrische Verzerrungen oder Verzerrungen anderer Art (z.B. chromatische Artefakte durch chromatische Aberration oder ein Far- bübersprechen in CMOS Sensoren). Dies führt üblicherweise zu einer (meistens signifi kant) schlechteren Erkennungsgenauigkeit, selbst wenn der zum Training verwendete Bildsatz genau die gleichen zu erkennenden Objekte enthält.
Verbessert wird die Genauigkeit für Haushalts-Lagerungsvorrichtung üblicherweise durch Neutrainieren des Erkennungsalgorithmus EA. Dazu werden für jeweilige zu erkennende Objekte (wie den Apfel A) neue Bildsätze mit der Konfiguration der jeweiligen Haushalts- Lagerungsvorrichtung erzeugt, welche dann eine eigene Datencharakteristik aufweisen. Dazu wird eine ähnliche, typischerweise hohe Zahl von Bildern erzeugt wie bei dem ur sprünglichen Bildsatz. Dies ist jedoch aufwändig und muss für unterschiedliche Kühl schränke oder andere Lagerhaltungs-Vorrichtungen individuell durchgeführt werden.
Fig.3 zeigt eine Skizze des erfindungsgemäßen Verfahrens zur Objekterkennung für ein System mit mehreren Haushalts-Lagerungsvorrichtung 1a bis 1i mit unterschiedlichen Konfigurationen K1 bis Ki. Die Haushalts-Lagerungsvorrichtungen 1a bis 1i können bei spielsweise Kältegeräte unterschiedlicher Konfiguration, z.B. einen Kühlschrank 1a und einen anderen Kühlschrank 1b (von denen zumindest einer gleich oder ähnlich dem in Fig.1 beschriebenen Kühlschrank 1 ausgebildet sein kann), ein oder mehrere Haushalts- Gargeräte 1c, eine Dunstabzugshaube 1d bzw. Esse (ggf. in Kombination mit einem Kochfeld), einen Vorratsschrank 1i usw. umfassen. Mittels der Haushalts-Lagerungs vorrichtungen 1a bis 1i können jeweilige Bildsätze [B1] bis [Bi] erzeugt werden, welche z.B. entsprechende Datencharakteristiken D1 bis Di aufweisen.
Das Verfahren nutzt wie bisher einen anhand eines Standard-Bildsatzes [BO] (z.B. eines COCO-Bildsatzes oder eines von einem Hersteller der Haushalts-Lagerungsvorrichtungen 1a bis 1i erzeugten Bildsatzes) trainierten ("Standard")-Erkennungsalgorithmus EA. Der Standard-Bildsatz [B0] ist unter einer Konfiguration K0, die sich von den Konfigurationen K1 bis Ki unterscheidet, erzeugt worden, wobei dessen Bilddaten eine Standard-Daten charakteristik DO aufweisen. Für jede der Haushalts-Lagerungsvorrichtungen 1a bis 1i ist dem Standard-Erkennungsalgorithmus EA ein jeweiliger Adaptionsalgorithmus AL1 bis ALi zwischengeschaltet, der dazu dient, die von den Haushalts-Lagerungsvorrichtungen 1a bis 1i aufgenommenen Bildsätze [B1] bis [Bi] bzw. deren Datencharakteristiken D1 bis Di an den Standard-Bildsatzes [B0] bzw. dessen Datencharakteristik DO anzupassen. Der Adaptionsalgorithmus AL1 bis ALi transformiert dazu die Datencharakteristiken D1 bis Di der Bildsätze [B1] bis [Bi] in eine Verteilung welche ähnlich ist der Standard-Daten charakteristik DO des Standard-Bildsatzes B0 ist. Dadurch wird bei unverändertem Stan dard-Erkennungsalgorithmus EA wieder zumindest ungefähr die gleiche Erkennungs genauigkeit erreicht.
Ist der Standard-Bildsatz [B0] mittels einer Haushalts-Lagerungsvorrichtung (o. Abb.) er zeugt worden, kann für eine solche Haushalts-Lagerungsvorrichtung auf einen Adaptions algorithmus verzichtet werden, da der Standard-Erkennungsalgorithmus EA bereits an hand dieser Haushalts-Lagerungsvorrichtung trainiert worden ist.
In einer Variante läuft der Standard-Erkennungsalgorithmus EA auf der externen Daten verarbeitungseinrichtung 6 ab. Die Adaptionsalgorithmen AL1 bis ALi laufen in den jeweils zugehörigen Lagerungsvorrichtungen 1a bis 1i ab.
In einerweiteren Variante kann der Standard-Erkennungsalgorithmus EA in den Lage rungsvorrichtungen 1a bis 1i ablaufen, z.B. als "embedded" Algorithmus. Der Adaptions algorithmus AL1 bis ALi läuft weiterhin ebenfalls in den jeweils zugehörigen Lagerungs vorrichtungen 1a bis 1i ab. In noch einerweiteren Variante laufen die Adaptionsalgorithmen AL1 bis ALi und der Standard-Erkennungsalgorithmus EA in der externen Datenverarbeitungseinrichtung 6 ab. Dies kann so umgesetzt sein, dass mittels einer Haushalts-Lagerungsvorrichtung 1a bis 1i ein Bildsatz [B1] bis [Bi] aufgenommen und auf die externe Datenverarbeitungseinrichtung 6 übertragen wird, insbesondere zusammen mit der zugehörigen Konfiguration K1 bis Ki oder einer Kennung, welche die Haushalts-Lagerungsvorrichtung 1a bis 1i bzw. deren Konfiguration K1 bis Ki identifiziert (wie durch den gepunkteten Pfeil angedeutet). Die ex terne Datenverarbeitungseinrichtung 6 sucht anhand der Konfiguration K1 bis Ki oder der Kennung den passenden Adaptionsalgorithmen AL1 bis ALi aus und führt eine Objekter kennung durch. Da die Adaptionsalgorithmen AL1 bis ALi im Vergleich zu dem Standard- Erkennungsalgorithmus EA wenige freie Parameter umfassen bzw. eine geringe Daten größe aufweisen, kann eine hohe Zahl an unterschiedlichen Adaptionsalgorithmen AL1 bis ALi ohne weiteres vorgehalten werden.
In einer Abwandlung der letztgenannten Variante kann anstelle der unterschiedlichen Adaptionsalgorithmen AL1 bis ALi ein einziger, komplexerer (z.B. mehrere NN-Schichten aufweisender) Adaptionsalgorithmus AL verwendet werden, der anhand eines eingehen den Bildsatzes [B1] bis [Bi] bzw. anhand der zugehörigen Datencharakteristiken D1 bis Di selbst erkennt, mit welcher Konfiguration K1 bis Ki der Bildsatz [B1] bis [Bi] aufgenommen worden ist und passt sich automatisch an die selbsterkannte Konfiguration K1 bis Ki an.
Fig.4 zeigt einen Trainingsablauf zum Trainieren eines beliebig ausgewählten Adaptions algorithmus AL1. Dazu wird ein Bildsatz [B1] mit vorteilhafterweise mehreren Bildern in den noch untrainierten Adaptionsalgorithmus AL1 eingespeist, welcher die zugehörigen Bilddaten so umwandelt, dass deren Datencharakteristik D1 möglichst nahe an die Stan dard-Datencharakteristik DO angenähert wird. Die so umgewandelten Bilddaten werden in den Standard-Erkennungsalgorithmus EA eingespeist, welcher ein Erkennungsergebnis RES liefert. Dieses Erkennungsergebnis RES ist zunächst wahrscheinlich schlechter sein als das Erkennungsergebnis, das der unverändert gelassene ("frozen") Standard- Erkennungsalgorithmus EA für den Standard-Bildsatz B0 liefert. Folgend wird der Adapti onsalgorithmus AL1 z.B. durch Backpropagation (wie durch den gestrichelten Pfeil ange deutet) trainiert, beispielsweise bis das Erkennungsergebnis RES zumindest dem Erken nungsergebnis für den Standard-Bildsatz B0 entspricht. Da der Adaptionsalgorithmus AL1 bezüglich seiner Struktur und Zahl der zu optimieren den Parameter wesentlich weniger komplex ist als der Standard-Erkennungsalgorithmus EA (eine einfache Version des Adaptionsalgorithmus AL1 kann z.B. etwa 10 bis 1000 freie Parameter enthalten, während der Standard-Erkennungsalgorithmus EA ca. 1000 bis eine Million freie Parameter aufweist), sind hierfür vorteilhafterweise nur vergleichsweise weni ge der sonst benötigten Bilddaten notwendig. Auch kann unter Umständen ein Training mit nur einer Teilmenge der vom Standard-Erkennungsalgorithmus EA erkannten Objek ten erforderlich sein. Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei spiel beschränkt.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden wer den, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Tole ranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste
1a Kühlschrank
1b Kühlschrank
1c Haushalts-Gargerät
1d Dunstabzugshaube
1i Vorratsschrank
2 Kühlraum
3 Tür
4 Kamera
5 Kommunikationseinrichtung
6 Externe Datenverarbeitungseinrichtung
A Apfel
AL1 -Ali Adaptionsalgorithmus
[BO] Standard-Bildsatz
[B1]-[Bi] Bildsätze
CL Klassifikationsalgorithmus
DO Standard-Datencharakteristik
D1-Di Datencharakteristiken
EA Erkennungsalgorithmus
FE Merkmalsextraktionsalgorithmus
KO Standard- Konfiguration
K1-Ki Konfigurationen
PP Preprocessing-Algorithmus
RES Erkennungsergebnis
N Internet

Claims

Patentansprüche
1. Verfahren zum Erkennen von Lagergut (A) in Haushalts-Lagerungsvorrichtungen (1 a-1 i), bei dem ein Bildsatz ([B1]-[Bi]) eines mittels einer Haushalts-Lagerungsvorrichtung (1a- 1i) gelagerten Lagerguts (A) aufgenommen wird und ein Erkennen des Lager guts (A) durch Auswertung von Bilddaten dieses Bildsatzes ([B1]-[Bi]) mittels eines Standard-Erkennungsalgorithmus (EA) durchgeführt wird, wobei der Standard-Erkennungsalgorithmus (EA) bezüglich eines unter einer Stan dard-Konfiguration (KO) aufgenommenen Standard-Bildsatzes ([BO]) trainiert worden ist, und eine Datencharakteristik (D1-Di) der Bilddaten vor Anwendung des Standard- Erkennungsalgorithmus (EA) mittels eines abhängig von einer Konfiguration (K1-Ki) der Haushalts-Lagerungsvorrichtung (1 a-1 i) zumindest teilweise trai nierten Adaptionsalgorithmus (AL1-AN) auf eine Standard-Datencharakteristik (DO) des Standard-Bildsatz ([BO]) hin angepasst wird.
2. Verfahren nach Anspruch 1, bei dem der Standard-Erkennungsalgorithmus (EA) einen Merkmalsextraktionsalgorithmus (FE) und einen Klassifizierungsalgorithmus (CL) umfasst, die bezüglich des Standard-Bildsatzes ([BO]) trainiert worden sind.
3. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Adaptionsal gorithmus (AL1-AN) für Haushalts-Lagerungsvorrichtungen (1 a-1 i), deren Konfigu ration (K1-Ki) nicht der Standard-Konfiguration (KO) bei Aufnahme des Standard- Bildsatzes ([BO]) entspricht, im Zusammenspiel mit dem Standard-Erkennungs algorithmus (EA) trainiert worden ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem ein Teil der Pa rameter des Adaptionsalgorithmus (AL1-AN) festkodiert ist und ein anderer Teil nach Methoden eines neuronalen Netzwerks trainiert worden ist.
5. Verfahren nach einem der Ansprüche 1 bis 3, bei dem der Adaptionsalgorithmus (AL1-AN) vollständig nach Methoden eines neuronalen Netzwerks trainiert ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem mittels einer Haushalts-Lagerungsvorrichtung (1 a-1 i) ein Bildsatz ([B1]-[Bi]) eines bisher noch nicht klassifizierten Lagerguts (A) aufgenommen wird, und der Standard-Erkennungsalgorithmus (EA) anhand dieses Bildsatzes ([B1]-[Bi]) auf das Erkennen des zugehörigen Lagerguts (A) hin eingerichtet wird.
7. Haushalts-Lagerungsvorrichtung (1 a-1 i), aufweisend mindestens eine Kamera (4) zu Aufnahme eines Bildsatzes ([B1]-[Bi]) von Lagergut (a) und eine Datenverarbei tungsvorrichtung zum Verarbeiten von Bilddaten dieses Bildsatzes ([B1]-[Bi]), wo bei die Datenverarbeitungsvorrichtung so ausgebildet ist, dass sie den Adaptions algorithmus (AL1-AN) gemäß dem Verfahren nach einem der vorhergehenden An sprüche ausführen kann.
8. Haushalts-Lagerungsvorrichtung (1 a-1 i) nach Anspruch 7, wobei die Haushalts- Lagerungsvorrichtung (1 a-1 i) ein Gerät aus der Gruppe
Kältegerät (1a, 1b),
Ofen (1c),
Dunstabzugshaube (1d),
Schrank (1i) ist.
9. System (1 a-1 i, 6) mit mindestens einer Haushalts-Lagerungsvorrichtung (1 a-1 i) nach einem der Ansprüche 7 bis 8 und einer mit mindestens einer Haushalts- Lagerungsvorrichtung (1 a-1 i) datentechnisch koppelbaren externen Datenverarbei tungsvorrichtung (6), wobei die externe Datenverarbeitungsvorrichtung (6) dazu eingerichtet ist, zumindest einen Teil des Standard-Erkennungsalgorithmus (EA) des Verfahrens nach einem der Ansprüche 1 bis 5 auszuführen.
10. System (1 a-1 i, 6) mit mindestens einer Haushalts-Lagerungsvorrichtung (1 a-1 i), aufweisend mindestens eine Kamera (4) zu Aufnahme eines Bildsatzes ([B1]-[Bi]) von Lagergut (A) und einer mit mindestens einer Haushalts-Lagerungsvorrichtung (1 a-1 i) datentechnisch koppelbaren externen Datenverarbeitungsvorrichtung (6), wobei die externe Datenverarbeitungsvorrichtung (6) dazu eingerichtet ist, den Adaptionsalgorithmus (AL1 -Ali) und den Standard-Erkennungsalgorithmus (EA) des Verfahrens nach einem der Ansprüche 1 bis 5 auszuführen.
11. System (1 a-1 i, 6) nach Anspruch 10, wobei in der externen Datenverarbeitungs vorrichtung (6) ein Adaptionsalgorithmus vorgehalten ist, der dazu eingerichtet ist, anhand einer Datencharakteristik (D1-Di) eines eingehenden Bildsatzes ([B1]-[Bi]) selbst zu erkennen, unter welcher Konfiguration (K1-Ki) der Bildsatz ([B1]-[Bi]) aufgenommen worden ist und sich automatisch an die selbsterkannte Konfigurati on (K1-Ki) anpasst.
PCT/EP2021/064016 2020-06-15 2021-05-26 Erkennen von lagergut in haushalts-lagerungsvorrichtungen WO2021254740A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21729282.0A EP4165556A1 (de) 2020-06-15 2021-05-26 Erkennen von lagergut in haushalts-lagerungsvorrichtungen
US18/009,794 US20230222769A1 (en) 2020-06-15 2021-05-26 Identifying stored products in domestic storage devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020207371.6A DE102020207371A1 (de) 2020-06-15 2020-06-15 Erkennen von Lagergut in Haushalts-Lagerungsvorrichtungen
DE102020207371.6 2020-06-15

Publications (1)

Publication Number Publication Date
WO2021254740A1 true WO2021254740A1 (de) 2021-12-23

Family

ID=76217857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/064016 WO2021254740A1 (de) 2020-06-15 2021-05-26 Erkennen von lagergut in haushalts-lagerungsvorrichtungen

Country Status (4)

Country Link
US (1) US20230222769A1 (de)
EP (1) EP4165556A1 (de)
DE (1) DE102020207371A1 (de)
WO (1) WO2021254740A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022203553A1 (de) 2022-04-08 2023-10-12 BSH Hausgeräte GmbH Verfahren zum Darstellen von in einem Haushalts-Kältegerät vorhandenen Objekten

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170050319A1 (en) 2015-08-18 2017-02-23 Tyco Electronics (Shanghai) Co. Ltd. Programmable Machine Vision Device
WO2018040105A1 (zh) 2016-09-05 2018-03-08 合肥华凌股份有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
KR20190108049A (ko) 2018-03-13 2019-09-23 삼성전자주식회사 냉장고, 그 제어 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170050319A1 (en) 2015-08-18 2017-02-23 Tyco Electronics (Shanghai) Co. Ltd. Programmable Machine Vision Device
WO2018040105A1 (zh) 2016-09-05 2018-03-08 合肥华凌股份有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
KR20190108049A (ko) 2018-03-13 2019-09-23 삼성전자주식회사 냉장고, 그 제어 방법 및 시스템
EP3745304A1 (de) * 2018-03-13 2020-12-02 Samsung Electronics Co., Ltd. Kühlschrank sowie system und verfahren zur steuerung davon

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. G. PACHÖN: "Product Detection System for Home Refrigerators implemented though a Region-based Convolutional Neural Network", INT. J. OF APPLIED ENGINEERING RESEARCH, vol. 13, no. 12, 2018, pages 10381 - 10388, ISSN: ISSN 0973-4562
PAL KUNTAL KUMAR ET AL: "Preprocessing for image classification by convolutional neural networks", 2016 IEEE INTERNATIONAL CONFERENCE ON RECENT TRENDS IN ELECTRONICS, INFORMATION & COMMUNICATION TECHNOLOGY (RTEICT), IEEE, 20 May 2016 (2016-05-20), pages 1778 - 1781, XP033038228, DOI: 10.1109/RTEICT.2016.7808140 *

Also Published As

Publication number Publication date
DE102020207371A1 (de) 2021-12-16
EP4165556A1 (de) 2023-04-19
US20230222769A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
Shaik et al. Comparative study of skin color detection and segmentation in HSV and YCbCr color space
Li et al. Multi-focus image fusion using dictionary learning and low-rank representation
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
DE102019008142A1 (de) Lernen von Darstellungen unter Nutzung gemeinsamer semantischer Vektoren
CN106952246A (zh) 基于视觉注意特性的可见光红外图像增强彩色融合方法
DE212014000095U1 (de) Kühlschrank und Kühlschranksystem
CN103118220B (zh) 一种基于多维特征向量的关键帧提取算法
WO2021254740A1 (de) Erkennen von lagergut in haushalts-lagerungsvorrichtungen
Gautam et al. Video analytics-based intelligent surveillance system for smart buildings
DE102015210899A1 (de) Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät
DE102018217324A1 (de) Gargerät mit Kamera und Verfahren zum Betreiben eines Gargeräts
DE102016118557A1 (de) Beleuchtungssteuerungsvorrichtung, beleuchtungssystem und verfahren zur steuerung einer beleuchtungsvorrichtung
DE102018127802A1 (de) Hybrider klassifikator eines gepulsten neuronalen netzwerks und einer support-vektor-maschine
DE112015005688T5 (de) Bilderkennungssystem
Sharma et al. Automatic Office Environment System for Employees Using IoT and Computer Vision
DE102013005658A1 (de) Erfassung eines dokuments
EP2581731A1 (de) Vorrichtung und Verfahren zum Erkennen von Anomalien an Instrumenten
WO2022148593A1 (de) Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät
EP3306240B1 (de) Kühl- und/oder gefriergerät
DE102019216682A1 (de) Bestimmen eines Ziel-Verarbeitungszustands eines zu behandelnden Garguts
US10382516B2 (en) Detecting upscaled source video
CN114862750A (zh) 清晰图像的获取方法、设备及冰箱
DE102012017188A1 (de) Kühl- und/oder Gefriergerät
Karam et al. Generative sensing: Transforming unreliable sensor data for reliable recognition
EP3661198B1 (de) Verfahren zum kalibrieren einer anzeigeeinrichtung eines mobilen endgeräts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21729282

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021729282

Country of ref document: EP

Effective date: 20230116