WO2024003217A1 - Verfahren und vorrichtung zur kategorisierung von lebensmitteln - Google Patents

Verfahren und vorrichtung zur kategorisierung von lebensmitteln Download PDF

Info

Publication number
WO2024003217A1
WO2024003217A1 PCT/EP2023/067771 EP2023067771W WO2024003217A1 WO 2024003217 A1 WO2024003217 A1 WO 2024003217A1 EP 2023067771 W EP2023067771 W EP 2023067771W WO 2024003217 A1 WO2024003217 A1 WO 2024003217A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
food
sensor data
determined
data
Prior art date
Application number
PCT/EP2023/067771
Other languages
English (en)
French (fr)
Inventor
Jakob NIEMEYER
Mark Gerban
Jonas SCHEURER
Original Assignee
Clear Sea GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clear Sea GmbH filed Critical Clear Sea GmbH
Publication of WO2024003217A1 publication Critical patent/WO2024003217A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G01N2021/4764—Special kinds of physical applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/022—Casings
    • G01N2201/0221—Portable; cableless; compact; hand-held
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/101—Scanning measuring head
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Definitions

  • the present invention relates to a method and a device for categorizing food using a mobile terminal.
  • the present invention is based on the object of further developing a method and a device for categorizing a food in such a way that food can be categorized reliably and regardless of location.
  • the above-mentioned task is solved by a method for categorizing food, the method comprising the step of recording the food using at least one first sensor of a mobile terminal.
  • the method includes the evaluation of sensor data from the first sensor and the categorization of the food.
  • a sensor of a mobile device is to be understood as meaning a sensor that is connected to the device, for example physically or via a data connection.
  • the mobile device controls the sensor. In other words, the functionality of the end device is expanded by the connected sensor.
  • the first sensor is preferably designed to be movable, preferably portable.
  • the sensor can be assigned to the mobile terminal.
  • the sensor is connected to the mobile device. In this respect, the sensor can be understood as part of the mobile device.
  • the sensor can have its own SIM card for communication and thus for passing on information.
  • Production lines for example for processing food, can be easily upgraded using sensors with their own SIM cards without having to overhaul the entire production line.
  • the mobile device can be connected to the sensor so that it can be assigned to the mobile device.
  • the mobile device can be, for example, a smartphone, a tablet, a laptop, a pair of glasses or another portable device for perceiving an augmented or virtual reality (augmented reality or virtual reality glasses or wearable). This can include an interface to the first and/or the second sensor described below.
  • a “recording” is understood to mean determining sensor data of the food.
  • the first sensor is used to determine sensor data, on the basis of which the food is categorized after an appropriate evaluation.
  • the food can be, for example, fruit, vegetables, meat and /or fish. In particular, it can be whole fish, shellfish, crustaceans or molluscs.
  • At least one recording is taken of an outside of the food by means of the first sensor.
  • the food can be turned between shots.
  • the food is a fish, a shellfish, a crustacean or a mollusk, the food can be ingested from at least two sides.
  • categorization of the food means in particular that the food is categorized with respect to at least one category, i.e. assigned to a respective class of the at least one category. For example, it can first be determined what type of food it is. As soon as that If the food is determined, it can be determined which subspecies it is. For example, it can be determined whether the food is a fish and preferably which type of fish. The same applies, for example, to crustaceans, shellfish and molluscs. Even with meat For example, it can be determined which meat and, in a next step, which cut of the meat it is.
  • One category can therefore be the type of food (e.g. fish or meat) and another category can be the sub-type of food (e.g. type of fish). .
  • the first sensor is preferably designed to scan the food, in other words to measure the entire food using measuring pulses.
  • the The first sensor is therefore designed to send out measurement pulses that are reflected on the food and to receive them again.
  • the wavelength of the measuring pulse is particularly in the infrared range.
  • depth information about the food can be determined from the transit time of the measurement pulses that are emitted and then reflected and received.
  • measuring pulses in the green wavelength range especially with a wavelength between 522 nm and 542 nm, can be used as part of the lidar measurements.
  • the measurement pulses received in the infrared range can be compared with those in the green wavelength range.
  • the first sensor can be designed as a solid-state lidar sensor. This means that the first sensor does not require movable mirrors or scanning heads to send out measuring pulses at different solid angles to scan the food.
  • a corresponding lidar sensor has a transmission matrix and a reception matrix, with the transmission matrix comprising several transmission sources. Using transmission optics, measuring pulses from the transmission sources can be sent in slightly different directions, which are then imaged onto the reception matrix using corresponding reception optics.
  • the transmitting elements can be designed primarily as surface emitters, in other words VCSEL diodes.
  • the sensor data is available as a point cloud.
  • a spatial direction in other words the angle at which the reflection point on the food is located, as well as distance information is determined, so that a three-dimensional representation of the food in the form of spatial points, the so-called point cloud, is determined based on all received measurement pulses can be.
  • the method may include creating a three-dimensional representation of the food for categorization.
  • the three-dimensional representation is a point cloud, as described above.
  • a categorization is understood in particular as an assignment to at least one previously defined class of a previously defined category.
  • Examples of a category are, in particular, the type of food, where the class can be defined here as fish and/or meat and/or a fruit.
  • Sensor data from at least a second sensor can also be used to categorize the food.
  • at least one recording, preferably several recordings, of the food can also be created using a second sensor, with the sensor data determined in this way being included in the evaluation.
  • the first sensor and the second sensor differ in their type and therefore preferably in their measuring principle.
  • the second sensor is in particular an infrared sensor, a camera or a radar sensor.
  • a second sensor has the advantage that when using two sensors of different sensor types, more comprehensive and possibly more precise information about the food can be determined.
  • the outside temperature of the food can be determined using an infrared sensor.
  • a camera on the other hand - compared to a lidar sensor, for example - can record the color of the food, while a radar sensor can determine depth information.
  • Quantum sensors can be used to determine the chemical composition of the food. For example, contamination of the food, a type of water or water location in which the food was found can be determined. Furthermore, physical properties and/or tissue conditions (e.g. whether a food is rotting or whether bacteria are present) or the organic structure can be determined.
  • an infrared sensor as well as a camera and/or a radar sensor are preferably used.
  • a quantum sensor can be used.
  • the sensor data of the first sensor and preferably the sensor data of the second sensor are transmitted to an evaluation unit outside the mobile terminal for evaluation and categorization, especially wirelessly. It is therefore an external evaluation unit.
  • the transmission can take place, for example, using radio technology, such as mobile communications.
  • the transmission can take place via Bluetooth, Internet or satellite transmission.
  • the evaluation or categorization is therefore carried out outside the mobile device.
  • the evaluation unit is not part of the mobile device.
  • the evaluation or categorization is independent of the mobile device, for example of its hardware or software, for example software updates.
  • the evaluation unit can in particular be a central processing unit which, for example, receives sensor data from various mobile devices and centrally evaluates sensor data. Therefore, software and/or hardware-related requirements for evaluation and categorization only have to be met with regard to the central evaluation unit.
  • the evaluation unit can be part of a cloud to which the sensor data is transmitted.
  • the data can also be sent to a hard drive “Outsourcing” the evaluation enables reliable categorization, even if the sensor data is determined by different devices regardless of location.
  • the central evaluation unit can have different interfaces, for example to a third-party processing unit and/or to a manual evaluation module, in which the categorization is not automated but is carried out by a person who views the sensor data. Furthermore, the evaluation unit can include a module for automated evaluation, especially with the help of artificial intelligence.
  • the evaluation includes extracting characteristics of the food from the sensor data and comparing these characteristics with stored data of previously defined classes, with an assignment to a class being made based on the comparison.
  • the images can be compared, for example, with previously saved image data.
  • the evaluation unit can primarily use artificial intelligence for evaluation and/or categorization.
  • the evaluation unit can in particular include one feature extractor unit for each sensor type of the corresponding sensor data.
  • the evaluation unit can include a feature extractor unit for sensor data from a lidar sensor and a further feature extractor unit for image data, i.e. sensor data from a camera.
  • the feature extractor units are used to extract features from the measurement data.
  • Each feature extraction unit can include at least one neural network for evaluation.
  • the feature extractor units are neural networks.
  • the feature extractor unit for image data may have a convolutional neural (CNN) network that includes at least one convolutional layer.
  • CNN convolutional neural
  • a convolutional neural network is able to process input in the form of an image. For example, can For example, extract straight lines and, in deeper layers, more complex features such as L-features, circle features, etc.
  • a corresponding feature extractor unit for lidar data that is, sensor data from a lidar sensor, can be designed, for example, as a multilayer perceptron (MLP) network, whereby the MLP network can have a large number of MLP layers.
  • MLP multilayer perceptron
  • the evaluation unit can include a feature comparison unit, which can compare correspondingly extracted features with stored data of previously defined classes.
  • both the feature extraction unit and the feature comparison unit are trained using unsupervised learning.
  • the corresponding neural networks include weights determined through appropriate unsupervised learning. The training involves providing an input, whereby the output of the corresponding network is compared with the input in order to determine the appropriate weights of the network.
  • the categorization is carried out by comparing extracted features with stored data from previously defined classes of at least one category.
  • an average vector can be assigned to each class of each category.
  • Features extracted from lidar data which typically exist as vectors, can be compared with the corresponding average vectors of the corresponding classes, for example by determining cosine similarity.
  • the feature can then, for example, be assigned to the class with the greatest cosine similarity and thus the categorization can take place.
  • different types of fish can be saved. These are particularly characterized by their three-dimensional shape.
  • certain three-dimensional shapes can be assigned to a specific species of fish.
  • the three-dimensional shape of a fish can be inferred from corresponding image or lidar data, whereby the three-dimensional shape can be compared with the stored three-dimensional shapes of previously defined classes. An assignment can be made with the greatest agreement compared to all classes.
  • the categorization in particular with regard to any category, can also be assigned a confidence using the method. The confidence can be displayed to a user so that it is transparent with what certainty the corresponding food has been categorized.
  • a color and/or a temperature, especially an outside temperature, of the food can be determined, for example, based on the sensor data from the first sensor and/or the second sensor.
  • the color can be determined using sensor data from a camera, while the temperature can preferably be determined using sensor data from an infrared camera.
  • the color and/or the temperature can therefore be characteristics of the food that are used for categorization.
  • the temperature can be used to determine whether the food is in a deep-frozen state.
  • a category can therefore be the state, for example frozen or not frozen, with the temperature being extracted as a feature and compared with previously stored temperature data.
  • conclusions can be made about the hardness of the food based on the temperature.
  • the hardness category can be defined in the hardness category, with frozen foods, for example, being assigned to a class with a higher degree of hardness.
  • a three-dimensional shape and/or a surface can also be determined based on the sensor data.
  • a three-dimensional shape of the food can be determined, for example, from sensor data from a camera and/or a Lidar sensor.
  • the type of food and/or the sub-type of food for example the type of fish, can be determined.
  • the form is compared with previously saved forms with regard to the individual categories or their classes.
  • the surface is determined in particular based on the sensor data from a lidar sensor, as this contains the corresponding necessary depth information. for example, is smooth or whether the surface has noticeable unevenness.
  • additives or ingredients in the food since, for example, it is known that these additives or ingredients in particular are responsible for corresponding damage to the surface.
  • An example would be phosphate.
  • a degraded surface texture and thus a degraded quality is typically caused by phosphate in some foods, such as fish, so that if a degradation in smoothness is detected, it can be indirectly determined that phosphate is present.
  • Glazed means that the food is at least partially covered, preferably completely covered, with a layer of ice (the glaze). This can be done primarily using the sensor data based on the lidar scanner.
  • a proportion (preferably as a percentage) of an ice layer in the total weight of the food can be determined, in particular based on the sensor data.
  • the weight of the food is estimated based on the sensor data. There can therefore be different gradations in the weight category, whereby a weight can be estimated, for example, on the basis of the recognized food type, preferably the food subtype, and the three-dimensional shape.
  • a length and/or width and/or a diameter and/or a volume of the food can be estimated from the shape. From this, an estimated total weight of the food can be determined and preferably assigned to a calibration. This makes it possible to classify fish products, crustaceans, shellfish and molluscs in particular standard calibrations with information about the weight including or excluding the glaze content.
  • the thickness of an ice layer on the frozen food can also be determined. For example, it can be determined whether there is only a minimal protective glaze (and therefore a glaze that does not require declaration according to the Food Information Ordinance (LMIV)). Measuring pulses from a corresponding lidar measuring method are reflected both on the outer ice layer and at the transition between the ice layer and the food, so that the thickness of the ice layer can be determined based on the sensor data from a lidar sensor. From the thickness of the ice layer, the share of the ice layer in the total weight can be deduced and the drained weight (ATG) / drained net weight (net weight) can be determined.
  • LMIV Food Information Ordinance
  • the lidar sensor uses infrared light and/or green light.
  • measuring pulses in the green wavelength range especially with a wavelength between 522 nm and 542 nm, can be used as part of lidar measurements.
  • the measurement pulses received in the infrared range can be compared with those in the green wavelength range.
  • the transition between the fish's outer skin and the ice can be determined very precisely.
  • the origin of the food can be determined based on the sensor data. For example, it can be determined from which type of water (fresh water or salt water) and/or from which location, for example from which sea, a fish comes. This means the origin can be verified, for example.
  • the sensor data from the quantum sensor can be used for this purpose.
  • the quantum sensor can be used to determine the chemical, especially mineral, composition of the water residues still in the food.
  • the determined composition can be compared with a previously saved composition of certain locations, for example seas, and a location can thus be determined (fresh water or salt water) and/or the location can be matched with the food subspecies, e.g. fish species, which can increase certainty about the food's place of origin. This means fraud can be prevented and compliance with standards, for example in relation to sustainability, can be monitored.
  • the gas composition can also be determined using the sensor data.
  • the gas composition can also be determined based on sensor data from a quantum sensor.
  • blood flow can be determined at close range to see whether an object is alive or to determine its blood viscosity.
  • the method may include taking multiple images of the food over a period of time to monitor development of the food. For example, several recordings can be created, based on which a video sequence can be created. In this way, the temporal development of characteristics or categorization results can be observed over time.
  • the results of the categorization can in particular be saved using a storage unit.
  • the sensor data and/or already determined features and/or the results of the categorization can be transmitted to third parties, for example suppliers, transport companies, customers, etc.
  • the data can be processed via at least one payment system, an e-commerce platform, a logistics platform, a distributed ledger technology platform or a blockchain setup to enable complete transparency regarding the entire supply chain.
  • the corresponding three-dimensional representation can also be passed on accordingly.
  • the food can be displayed three-dimensionally, especially together with the identified categories.
  • the categorization can be used, for example, to identify deficiencies in compliance with supply chain requirements. This can result, for example, from a deviation in the determined class with respect to the quality category. Through Due to the maximum transparency, the supply chain can be easily identified and thus remedied.
  • Third parties can use the data provided, in particular for calculation and processing regarding payment. Furthermore, the information can be used to facilitate transport, for example by forwarding the information in advance to logistics companies.
  • the three-dimensional shape, the estimated weight and the dimension are particularly relevant.
  • the corresponding sensor data or results of the evaluation and categorization can be used to check whether international quality is maintained with regard to production standards, for example for local fisheries or meat producers.
  • the corresponding recorded sensor data or the results of the evaluation or categorization can each be assigned to a user profile, for example as part of an Apple ID or a Google Play account.
  • the method can in particular include adapting the categories or classes provided for certain categories with regard to a respective user. For example, if a user profile is used exclusively for fish, other classes of the food category can be excluded. This makes categorization easier. This dynamic adjustment can be carried out, for example, based on previously recorded sensor data or results of evaluation and categorization.
  • Sensor data and/or characteristics and/or results of the categorization of the food can be transformed into a virtual or augmented reality and thus the food can be visually represented in the virtual or augmented reality. Furthermore, determined characteristics of the food can be used to update a virtual inventory list.
  • Another application of the present method is the detection of fish determine, for example, whether they are legally permitted for fishing. A fisherman can therefore determine that fish are too small or endangered and can therefore release them back into the wild.
  • the present invention relates to a device which comprises at least a first sensor of a mobile terminal for picking up a food and at least one evaluation unit for evaluating sensor data from the first sensor and for categorizing the food.
  • the evaluation unit is not part of the mobile device.
  • the device can also include a transmission unit of the mobile terminal for transmitting sensor data to the external evaluation unit.
  • the device is designed in particular to carry out the method described above.
  • the device can in particular comprise at least one second sensor.
  • Figure 1 shows a flow chart of a method according to the invention
  • Figure 2 shows a device according to the invention.
  • FIG. 1 shows a process diagram of a method 100 according to the invention for categorizing food, the method 100 comprising the recording 101 of the food by means of at least a first sensor of a mobile terminal and/or by means of a first sensor assigned to the mobile terminal.
  • the method 100 further includes the evaluation 103 of the sensor data and the categorization 109 of the food.
  • sensor data from at least a second sensor can also be used for evaluation 104.
  • the food is also picked up using the second sensor.
  • the evaluation unit is in particular an external evaluation unit, so that the sensor data is transmitted 102 to the evaluation unit.
  • a three-dimensional shape of the food is created 105.
  • a color and/or a temperature of the food is determined 106 and/or a three-dimensional shape and/or a surface is determined 107 and/or a proportion of an ice layer in the total weight of the food is determined 108. All of the above Characteristics are used to categorize the food.
  • the method 100 may include taking 110 multiple shots of the food over a period of time to observe the above characteristics over time.
  • the sensor data and/or already determined characteristics of the food can be transferred to a third party 111. This is done in particular via an interface.
  • Features of the food can be transformed into a virtual or augmented reality 112 and thus the food can be visually represented in the virtual or augmented reality 113.
  • determined features of the food can be used to update 114 a virtual inventory list.
  • a device 10 according to the invention for categorizing a food 30 is shown in FIG.
  • the device 10 includes a first sensor 11 of a mobile terminal 20. Furthermore, the first sensor 11 can be assigned to the mobile terminal 20.
  • the first sensor 11 is designed to record images of the food 30, which in the present case is fish. In particular, the first sensor 11 can scan the food.
  • the device 10 has a second sensor 12, which is also designed to pick up the food.
  • the determined sensor data can be sent to an external evaluation unit 14 by means of a transmission unit 13 of the mobile terminal 20.
  • the external evaluation unit 14 is in particular a central processing unit. This in turn can have different interfaces 15, for example to a third-party processing unit. For example for the person to manually categorize the food. Beforehand, in particular, the evaluation unit 14 can display the food in a three-dimensional form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Chemical & Material Sciences (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Food Science & Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)

Abstract

Es wird ein Verfahren (100) zur Kategorisierung von Lebensmitteln umfassend eine Aufnahme (101) des Lebensmittels mittels mindestens eines ersten Sensors (11) eines mobilen Endgerätes (20) und/oder mittels mindestens einem dem mobilen Endgerät (20) zugeordneten ersten Sensor (11), eine Auswertung (103) von Sensordaten des ersten Sensors (11) und eine Kategorisierung (109) des Lebensmittels.

Description

Verfahren und Vorrichtung zur Kategorisierung von Lebensmitteln
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Kategorisierung von Lebensmitteln unter Verwendung eines mobilen Endgerätes.
Stand der Technik
Verfahren und Vorrichtungen zur Kategorisierung von Lebensmitteln sind aus dem Stand der Technik grundsätzlich bekannt. Diese basieren allerdings typischerweise auf einer relativ komplizierten Technik.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren sowie eine Vorrichtung zur Kategorisierung eines Lebensmittels derart weiterzuentwickeln, dass standortunabhängig und zuverlässig Lebensmittel kategorisiert werden können.
Gelöst wird die oben genannte Aufgabe durch ein Verfahren zur Kategorisierung von Lebensmitteln, wobei das Verfahren den Schritt der Aufnahme des Lebensmittels mittels mindestens eines ersten Sensors eines mobilen Endgerätes umfasst. Als weitere Schritte umfasst das Verfahren die Auswertung von Sensordaten des ersten Sensors und die Kategorisierung des Lebensmittels. Unter einem Sensor eines mobilen Endgerätes ist ein Sensor zu verstehen, der mit dem Endgerät verbunden ist, bspw. physisch oder über eine Datenverbindung. Dabei steuert das mobile Endgerät den Sensor. In anderen Worten wird die Funktionalität des Endgerätes durch den verbundenen Sensor erweitert. Der erste Sensor ist vorzugsweise beweglich, vorzugsweise tragbar, ausgebildet. Ferner kann der Sensor dem mobilen Endgerät zugeordnet ist. Auch hier besteht eine Verbindung des Sensors zum mobilen Endgerät. Insofern kann der Sensor als Teil des mobilen Endgerätes verstanden werden. Der Sensor kann eine eigenen Sim-Karte zur Kommunikation und somit zur Weitergabe an Informationen aufweisen. Fertigungsstraßen, bspw. zur Verarbeitung von Lebensmitteln, können durch Sensoren mit eigenen Sim-Karten leicht aufgerüstet werden, ohne dass die gesamte Fertigungsstraße überholt werden muss. Dabei kann das mobilen Endgeräts mit dem Sensor verbunden werden, sodass dieser dem mobilen Endgerät zugeordnet sein kann. Bei dem mobilen Endgerät kann es sich beispielsweise um ein Smartphone, ein Tablet, einen Laptop, eine Brille oder eine andere tragbare Vorrichtung zur Wahrnehmung einer erweiterten oder virtuellen Realität (Augmented Reality- oder Virtual Reality- Brille oder Wearable) handeln. Dieses kann eine Schnittstelle zum ersten und/oder zum weiter unten beschriebenen zweiten Sensor umfassen.
Unter einer „Aufnahme" ist ein Ermitteln von Sensordaten des Lebensmittels zu verstehen. Mittels des ersten Sensors werden Sensordaten ermittelt, auf deren Basis nach einer entsprechenden Auswertung das Lebensmittel kategorisiert wird. Bei dem Lebensmittel kann es sich bspw. um Obst, Gemüse, Fleisch und/oder Fisch handeln. Insbesondere kann es sich um ganze Fische Schalen-, Krustentiere oder Mollusken handeln.
Vor allem werden von einer Außenseite des Lebensmittels mittels des ersten Sensors mindestens eine Aufnahme, vorzugsweise Aufnahmen von unterschiedlichen Seiten, gemacht. Dabei kann das Lebensmittel zwischen den Aufnahmen gewendet werden. Insbesondere, wenn es sich bei dem Lebensmittel um einen Fisch, ein Schalentier, ein Krustentier oder eine Molluske handelt, kann das Lebensmittel von mindestens zwei Seiten aufgenommen werden.
Unter dem Begriff „Kategorisierung" des Lebensmittels ist insbesondere zu verstehen, dass das Lebensmittel bezüglich mindestens einer Kategorie kategorisiert, d.h. einer jeweiligen Klasse der mindestens einen Kategorie zugeordnet, wird. Beispielsweise kann zunächst festgestellt werden, um welche Art Lebensmittel es sich handelt. Sobald das Lebensmittel feststeht, kann ermittelt werden, um welche Subart es sich handelt. So kann beispielsweise festgestellt werden, ob es sich bei dem Lebensmittel um einen Fisch und vorzugsweise welche Fischart handelt. Das Gleiche gilt bspw. für Krustentiere, Schalentiere und Mollusken. Auch bei Fleisch kann bspw. festgestellt werden, um welches Fleisch und in einem nächsten Schritt um welchen Schnitt des Fleisches es sich handelt. Eine Kategorie kann somit bspw. die Lebensmittelart (bspw. Fisch oder Fleisch) und eine weitere Kategorie die Lebensmittelsubart (bspw. Fischart) sein.
Der erste Sensor ist vorzugsweise dazu ausgebildet das Lebensmittel zu scannen, in anderen Worten mittels Messpulsen das gesamte Lebensmittel zu vermessen. Der erste Sensor ist somit dazu ausgebildet, Messpulse auszusenden, die am Lebensmittel reflektiert werden, und wieder zu empfangen. Die Wellenlänge des Messpulse ist insbesondere im Infrarotbereich. Aus der Laufzeit der ausgesandten und wieder reflektierten und empfangenen Messpulse kann insbesondere Tiefeninformation des Lebensmittels ermittelt werden. Ferner können im Rahmen der Lidarmessungen Messpulse im grünen Wellenlängenbereich, vor allem mit einer Wellenlänge zwischen 522 nm und 542 nm, eingesetzt werden. Die empfangenden Messpulse im Infrarotbereich können mit denen im grünen Wellenlängenbereich verglichen werden.
Insbesondere kann der erste Sensor als Solid-State-Lidar-Sensor ausgebildet sein. Dies bedeutet, dass der erste Sensor keine beweglichen Spiegel oder Scanköpfe zum Aussenden von Messpulsen in unterschiedliche Raumwinkel zum Scannen des Lebensmittels benötigt. Typischerweise weist ein entsprechender Lidar-Sensor eine Sendematrix und eine Empfangsmatrix auf, wobei die Sendematrix mehrere Sendequellen umfasst. Mittels einer Sendeoptik können Messpulse der Sendequellen in leicht unterschiedliche Richtungen ausgesandt werden, die dann mittels einer entsprechenden Empfangsoptik auf die Empfangsmatrix abgebildet werden. Dabei können die Sendeelemente vor allem als Oberflächenemitter, in anderen Worten VCSEL-Dioden, ausgebildet sein.
Handelt es sich bei dem ersten Sensor um einen Lidar-Sensor, liegen die Sensordaten als Punktwolke vor. Für jeden reflektierten Messpuls wird eine Raumrichtung, in anderen Worten der Winkel, unter dem sich die Reflektionsstelle auf dem Lebensmittel befindet, sowie eine Distanzinformation ermittelt, sodass basierend auf allen empfangenen Messpulsen eine dreidimensionale Darstellung des Lebensmittels in Form von Raumpunkten, die sogenannte Punktwolke, ermittelt werden kann.
Dadurch, dass der Sensor Teil eines mobilen Endgerätes bzw. mit dem Endgerät verbunden und/oder mit diesem zugeordnet ist, können entsprechende Aufnahmen von Lebensmitteln von jeder Person durchgeführt werden. Diese Personen sind nicht mit speziellen Scangeräten auszustatten, sondern können, beispielsweise durch den Download einer Applikation, selbständig Aufnahmen des Lebensmittels anfertigen. Es können somit standortunabhängig Lebensmittel kategorisiert werden. Das Verfahren kann das Erstellen einer dreidimensionalen Darstellung des Lebensmittels zur Kategorisierung umfassen. Im Falle eines Lidar-Sensors handelt es sich bei der dreidimensionalen Darstellung, wie oben beschrieben, um eine Punktwolke.
Eine Kategorisierung wird insbesondere als Zuordnung zu zumindest einer zuvor definierten Klasse einer zuvor definierten Kategorie verstanden. Beispiele für eine Kategorie ist insbesondere die Art des Lebensmittels, wobei als Klasse hier Fisch und/oder Fleisch und/oder ein Obst definiert sein können.
Zur Kategorisierung des Lebensmittels können ferner Sensordaten mindestens eines zweiten Sensors verwendet werden. In anderen Worten können mittels eines zweiten Sensors ebenfalls mindestens eine Aufnahme, vorzugsweise mehrere Aufnahmen, des Lebensmittels erstellt werden, wobei die so ermittelten Sensordaten in die Auswertung miteinfließen.
Der erste Sensor und der zweite Sensor unterscheiden sich in ihrer Art und somit vorzugsweise in ihrem Messprinzip. Bei dem zweiten Sensor handelt es sich insbesondere um einen Infrarotsensor, eine Kamera oder einen Radarsensor.
Die Verwendung eines zweiten Sensors hat den Vorteil, dass bei der Verwendung zweier Sensoren unterschiedlicher Sensorart umfassendere und ggfs. auch präziserer Informationen zum Lebensmittel ermittelt werden können. Beispielsweise kann mittels eines Infrarotsensor die Außentemperatur des Lebensmittels ermittelt werden. Eine Kamera hingegen kann - beispielsweise im Vergleich zu einem Lidar-Sensor - die Farbe des Lebensmittels aufnehmen, während ein Radar-Sensor Tiefeninformationen ermitteln kann. Quantensensoren können zur Bestimmung der chemischen Zusammensetzung des Lebensmittels eingesetzt werden. Bspw. kann eine Kontamination des Lebensmittels, eine Wasserart oder Wasserlage, in der sich das Lebensmittel befunden hat, ermittelt werden. Ferner können physikalische Eigenschaften und/oder Gewebezustände (bspw. ob ein Lebensmittel verrottet oder Bakterien vorhanden sind) oder die organische Struktur ermittelt werden.
In anderen Worten können durch die Verwendung von Sensoren unterschiedlicher Art wäre ein gemusterter Fisch, von dem Lidar-Messdaten und Bilddaten vorliegen. Während das Muster in den Lidar-Messdaten nicht zu erkennen ist, kann dieses aus den Bilddaten ermittelt werden. Andersherum verhält es sich mit der Tiefeninformation. Diese lässt sich aus den Lidar-Messdaten ableiten, aus den Bilddaten allerdings nicht. In anderen Worten ist das Muster ein bildspezifisches Merkmal, während die Tiefeninformation ein Lidar-spezifisches Merkmal sind. Die Kontur des Lebensmittels wären hingegen sowohl in den Bilddaten als auch in den Lidar-Daten zu erkennen. Durch die Verwendung mehrerer Sensoren unterschiedlicher Sensorart wird die Zuverlässigkeit der Kategorisierung erhöht.
Vorzugsweise werden neben dem ersten Sensor sowohl ein Infrarotsensor als auch eine Kamera und/oder ein Radarsensor verwendet. Ferner kann ein Quantensensor verwendet werden.
Vorzugsweise werden die Sensordaten des ersten Sensors und vorzugsweise die Sensordaten des zweiten Sensors an eine Auswerteeinheit außerhalb des mobilen Endgerätes zur Auswertung und Kategorisierung übertragen, vor allem kabellos. Es handelt sich somit um eine externe Auswerteeinheit. Die Übertragung kann beispielsweise mittels Funktechnologie, beispielsweise Mobilfunk, erfolgen. Ferner kann die Übertragung mittels Bluetooth, Internet oder mittels Satellitenübertragung erfolgen.
Die Auswertung beziehungsweise Kategorisierung wird somit außerhalb des mobilen Endgerätes durchgeführt. In anderen Worten ist die Auswerteeinheit kein Teil des mobilen Endgerätes. Durch die Übertragung der Sensordaten an eine Auswerteeinheit außerhalb des mobilen Endgerätes ist die Auswertung beziehungsweise Kategorisierung unabhängig von dem mobilen Endgerät, beispielsweise von dessen Hardware- oder Software, bspw. Softwareupdates. Bei der Auswerteeinheit kann es sich insbesondere um eine zentrale Verarbeitungseinheit handeln, die bspw. Sensordaten verschiedener mobiler Endgeräte empfängt und Sensordaten zentral auswertet. Es müssen somit nur bezüglich der zentralen Auswerteeinheit software- und/oder hardwarebedingte Anforderungen zur Auswertung und Kategorisierung erfüllt sein. Insbesondere kann die Auswerteeinheit Teil einer Cloud sein, an die die Sensordaten übertragen werden. Ferner können die Daten an eine Festplatte „Outsourcen" der Auswertung wird eine zuverlässige Kategorisierung ermöglicht, auch wenn die Sensordaten standortunabhängig von unterschiedlichen Endgeräten ermittelt werden.
Die zentrale Auswerteeinheit kann unterschiedliche Schnittstellen aufweisen, beispielsweise zu einer Verarbeitungseinheit eines Dritten und/oder zu einem manuellen Auswertemodul, bei dem die Kategorisierung nicht automatisiert, sondern durch eine Person erfolgt, die die Sensordaten sichtet. Ferner kann die Auswerteeinheit ein Modul zur automatisierten Auswertung, vor allem mithilfe von künstlicher Intelligenz, umfassen.
Vor allem umfasst die Auswertung ein Extrahieren von Merkmalen des Lebensmittels aus den Sensordaten und ein Vergleich dieser Merkmale mit abgespeicherten Daten zuvor definierter Klassen, wobei aufgrund des Vergleichs eine Zuordnung zu einer Klasse erfolgt. Bei der Auswertung von Bilddaten können die Bilder bspw. mit zuvor abgespeicherten Bilddaten verglichen werden.
Vor allem erfolgt die Auswertung und/oder Kategorisierung automatisiert und somit nicht auf Basis einer Person, die die Sensordaten sichtet. Die Auswerteeinheit kann vor allem künstliche Intelligenz zur Auswertung und/oder Kategorisierung verwenden.
Die Auswerteeinheit kann insbesondere eine Merkmalsextraktoreinheit pro Sensorart der entsprechenden Sensordaten umfassen. Beispielsweise kann die Auswerteeinheit eine Merkmalsextraktoreinheit für Sensordaten eines Lidar-Sensors und eine weitere Merkmalsextraktoreinheit für Bilddaten, also Sensordaten einer Kamera, umfassen. Die Merkmalsextraktoreinheiten dienen dazu, aus den Messdaten Merkmale zu extrahieren.
Jede Merkmalsextraktionseinheit kann mindestens ein neuronales Netzwerk zur Auswertung umfassen. Insbesondere handelt es sich bei den Merkmalsextraktoreneinheiten um neuronale Netzwerke. Beispielsweise kann die Merkmalsextraktoreinheit für Bilddaten ein Convolutional Neural (CNN) Netzwerk, das mindestens ein Convolutional Schicht umfasst, aufweisen. Ein Convolutional Neural Network ist in der Lage, Input in Form eines Bildes zu verarbeiten. Beispielsweise kann beispielsweise gerade Striche und in tieferen Schichten komplexere Merkmale wie beispielsweise L-Features, Kreisfeatures, etc. extrahieren. Eine entsprechende Merkmalsextraktoreinheit für Lidar-Daten, das heißt Sensordaten eines Lidar-Sensors, kann beispielsweise als Multilayer Perceptron (MLP) - Netzwerk ausgebildet sein, wobei das MLP-Netzwerk eine Vielzahl von MLP-Schichten aufweisen kann. Das MLP- Netzwerk ist in der Lage, Input in Form von Punktwolken zu verarbeiten.
Ferner kann die Auswerteeinheit eine Merkmalsvergleichseinheit umfassen, die entsprechend extrahierte Merkmale mit abgespeicherten Daten zuvor definierter Klassen vergleichen kann. Insbesondere sind sowohl die Merkmalsextraktionseinheit als auch die Merkmalsvergleichseinheit mittels unüberwachten Lernen angelernt. In anderen Worten umfassen die entsprechenden neuronalen Netzwerke Gewichte, die durch entsprechend unüberwachtes Lernen festgelegt wurden. Das Anlernen umfasst Bereitstellen eines Inputs, wobei der Output des entsprechenden Netzwerkes mit dem Input verglichen wird, um entsprechende Gewichte des Netzwerkes festzulegen.
Insbesondere erfolgt die Kategorisierung, indem extrahierte Merkmale mit abgespeicherten Daten zuvor definierter Klassen mindestens einer Kategorie verglichen werden. Es kann durch das Anlernen der entsprechenden neuronalen Netzwerke beispielsweise jeder Klasse jeder Kategorie ein Durchschnittsvektor zugewiesen werden. Aus Lidar-Daten extrahierte Merkmale, die typischerweise als Vektoren vorliegen, können mit den entsprechenden Durchschnittsvektoren der entsprechenden Klassen verglichen werden, beispielsweise durch Ermitteln der Cosinus-Ähnlichkeit. Das Merkmal kann dann bspw. der Klasse mit der größten Cosinus- Ähnlichkeit zugewiesen werden und somit die Kategorisierung erfolgen.
Beispielsweise können verschiedene Fischarten abgespeichert werden. Diese kennzeichnen sich insbesondere durch deren dreidimensionale Form aus. So kann bestimmten dreidimensionalen Formen eine bestimmte Fischart zugewiesen werden. Aus entsprechenden Bild- oder Lidar-Daten kann auf die dreidimensionale Form eines Fisches geschlossen werden, wobei die dreidimensionale Form mit den abgespeicherten dreidimensionalen Formen zuvor definierter Klassen verglichen werden kann. Eine Zuordnung kann bei der größten Übereinstimmung im Vergleich zu allen Klassen erfolgen. Der Kategorisierung, insbesondere bezüglich jeglicher Kategorie, kann mittels des Verfahrens ferner eine Konfidenz zugeordnet werden. Die Konfidenz kann einem Nutzer angezeigt werden, sodass transparent ist, mit welcher Sicherheit das entsprechende Lebensmittel kategorisiert wurde.
Zur Kategorisierung des Lebensmittels kann beispielsweise auf Basis der Sensordaten des ersten Sensors und/oder des zweiten Sensors eine Farbe und/oder eine Temperatur, vor allem eine Außentemperatur, des Lebensmittels ermittelt werden. Beispielsweise kann die Farbe mittels Sensordaten einer Kamera bestimmt werden, während die Temperatur vorzugsweise mittels Sensordaten einer Infrarotkamera bestimmt werden. Bei der Farbe und/oder der Temperatur kann es sich somit um jeweilige Merkmale des Lebensmittels handeln, das zur Kategorisierung herangezogen werden. Beispielsweise kann mittels der Temperatur darauf geschlossen werden, ob das Lebensmittel im tiefgefrorenen Zustand vorliegt. Eine Kategorie kann somit der Zustand, bspw. tiefgefroren oder nicht tiefgefroren, sein, wobei als Merkmal die Temperatur extrahiert und mit zuvor abgespeicherten Temperaturdaten verglichen wird. Ferner können auf Basis der Temperatur Rückschlüsse über die Härte des Lebensmittels getroffen werden. Handelt es sich insbesondere um ein tiefgefrorenes Lebensmittel, ist dieses typischerweise härter im Vergleich zu nicht tiefgefrorenen Lebensmitteln. Beispielsweise können in der Kategorie Härte verschiedene Härtegrade definiert sein, wobei beispielsweise tiefgefrorene Lebensmittel einer Klasse mit höherem Härtegrad zugeordnet werden.
Zur Kategorisierung des Lebensmittels kann ferner auf Basis der Sensordaten eine dreidimensionale Form und/oder eine Oberfläche, vor allem eine Oberflächenbeschaffenheit, ermittelt werden. Eine dreidimensionale Form des Lebensmittels kann beispielsweise aus Sensordaten einer Kamera und/oder eines Lid a r- Sensors ermittelt werden. Anhand der dreidimensionalen Form kann vor allem die Lebensmittelart und/oder die Lebensmittelsubart, bspw. Fischart, bestimmt werden. Hierzu erfolgt ein Vergleich der Form mit zuvor abgespeicherten Formen bezüglich der einzelnen Kategorien bzw. derer Klassen.
Die Oberfläche wird insbesondere auf Basis der Sensordaten eines Lidar-Sensors ermittelt, da diese die entsprechenden notwendigen Tiefeninformationen beinhalten. beispielsweise glatt ausgebildet ist oder ob die Oberfläche bemerkenswerte Unebenheiten aufweist.
Auf Basis der Oberfläche können Rückschlüsse über die Qualität des Lebensmittels gezogen werden. Insbesondere wird hierzu ermittelt, wie glatt die Oberfläche ist. Einige Lebensmittel zeichnen sich durch eine sehr glatte Oberfläche aus, sodass Unebenheiten dieser Oberfläche einen Rückschluss darüber zulassen, dass die Qualität degradiert ist. In der Kategorie Qualität kann es somit unterschiedliche Klassen geben, die eine Einstufung der Qualität auf Basis der Oberfläche erlauben.
Ferner kann auf Basis der Oberfläche, insbesondere für bestimmte Lebensmittel, auf Zusätze oder Inhaltsstoffe des Lebensmittels geschlossen werden, da bspw. bekannt ist, dass insbesondere diese Zusätze beziehungsweise Inhaltsstoffe für entsprechende Beschädigungen der Oberfläche verantwortlich sind. Ein Beispiel wäre Phosphat. Eine degradierte Oberflächenbeschaffenheit und somit auch eine degradierte Qualität ist bei einigen Lebensmitteln, wie beispielsweise Fisch, typischerweise durch Phosphat verursacht, sodass beim Feststellen einer Degradierung der Glätte indirekt festgestellt werden kann, dass Phosphat vorliegt.
Ferner kann festgestellt werden, ob das Lebensmittel glasiert vorliegt. Glasiert bedeutet, dass das Lebensmittel mit einer Eisschicht (der Glasur) zumindest teilweise ummantelt, vorzugsweise gänzlich ummantelt ist. Dies kann vor allem mittels der Sensordaten basierend auf dem Lidar-Scanner erfolgen. Zur Kategorisierung des Lebensmittels kann insbesondere auf Basis der Sensordaten ein Anteil (vorzugsweise prozentual) einer Eisschicht am Gesamtgewicht des Lebensmittels ermittelt werden. Insbesondere wird auf Basis der Sensordaten ein Gewicht des Lebensmittels abgeschätzt. In der Kategorie Gewicht kann es somit verschiedene Abstufungen geben, wobei beispielsweise auf Basis der erkannten Lebensmittelart, vorzugsweise der Lebensmittelsubart, und der dreidimensionalen Form ein Gewicht abgeschätzt werden kann. Hierzu kann vor allem aus der Form eine Länge und/oder Breite und/oder ein Durchmesser und/oder ein Volumen des Lebensmittels abgeschätzt werden. Daraus kann somit ein geschätztes Gesamtgewicht des Lebensmittels ermittelt und vorzugsweise einer Kalibrierung zugeordnet werden. Insbesondere bei Fischprodukten, Krusten-, Schalentieren und Mollusken ermöglicht dies eine Zuordnung zu den marktüblichen Kalibrierungen mit Angabe vom Gewicht inklusive oder exklusive dem Glasuranteil.
Bei Einsatz eines Lidar-Sensors kann ferner eine Dicke einer Eisschicht auf dem tiefgefrorenen Lebensmittel ermittelt werden. Bspw. kann festgestellt werden, ob nur eine minimale Schutzglasur (und somit eine nicht deklarierungspflichtige Glasur laut Lebensmittelinformations-Verordnung (LMIV)) vorliegt. Messpulse eines entsprechenden Lidar-Messverfahrens werden sowohl an der äußeren Eisschicht als auch an dem Übergang der Eisschicht zum Lebensmittel reflektiert, sodass auf Basis der Sensordaten eines Lidar-Sensors die Dicke der Eisschicht ermittelt werden kann. Aus der Dicke der Eisschicht kann wiederum auf den Anteil der Eisschicht am Gesamtgewicht geschlossen werden und somit das Abtropfgewicht (ATG) / Drained net weight (net weight) ermittelt werden. Eine entsprechende Angabe ist insbesondere bei den Lebensmitteln Fisch, Schalen-, Krustentiere oder Mollusken von besonderer Bedeutung, da diese oft tiefgefroren vorliegen und sich deren Preise oft nach deren Gewicht ableiten, wobei ein maximaler Eisanteil nicht überschritten werden darf. Das Vorliegen dieses maximalen Eisanteils kann somit mittels des vorliegenden Verfahrens auf einfache Weise überwacht werden. Insbesondere wird von dem Lidar-Sensor infrarotes Licht und/oder grünes Licht eingesetzt. Vor allem können im Rahmen der Lidarmessungen Messpulse im grünen Wellenlängenbereich, vor allem mit einer Wellenlänge zwischen 522 nm und 542 nm, eingesetzt werden. Die empfangenden Messpulse im Infrarotbereich können mit denen im grünen Wellenlängenbereich verglichen werden. Insbesondere basierend auf den grünen Messpulsen kann der Übergang zwischen der Fischaußenhaut und des Eises sehr präzise bestimmt werden.
Ferner kann auf Basis der Sensordaten der Ursprung des Lebensmittels festgestellt werden. Bspw. kann bei einem Fisch festgestellt werden, aus welcher Wasserart (Süßwasser oder Salzwasser) und/oder von welchem Standort, bspw. aus welchem Meer, dieser stammt. Somit kann der Ursprung bspw. verifiziert werden. Hierfür können vor allem die Sensordaten des Quantensensors verwendet werden. Mittels des Quantensensors kann die chemische, insbesondere mineralische, Zusammensetzung der noch im Lebensmittel befindlichen Reste des Wassers bestimmt werden. Die ermittelte Zusammensetzung kann mit einer zuvor abgespeicherten Zusammensetzung bestimmter Standorte, bspw. Meeren, verglichen und somit ein Standort festgestellt (Süßwasser oder Salzwasser) und/oder der Standort kann mit der Lebensmittelsubart, bspw. Fischart, abgeglichen werden, was die Gewissheit über den Herkunftsort des Lebensmittels erhöhen kann. Somit kann Betrug vorgebeugt werden und die Einhaltung von Standard, bspw. in Bezug auf Nachhaltigkeit, kontrolliert werden.
Handelt es sich bei dem Lebensmittel um eine Flüssigkeit, kann mittels der Sensordaten ferner die Gaszusammensetzung ermittelt werden. Auch die Gaszusammensetzung kann basierend auf Sensordaten eines Quantensensors ermittelt werden.
Auch kann festgestellt werden, ob das Lebensmittel noch lebt. Vor allem basierend auf den Sensordaten von grünem Licht kann ein Blutfluss im Nahbereich bestimmt werden, um zu sehen, ob ein Objekt lebt bzw. deren Blutviskosität festgestellt werden.
Das Verfahren kann das Durchführen mehrerer Aufnahmen des Lebensmittels über eine gewisse Zeitspanne umfassen, um eine Entwicklung des Lebensmittels zu überwachen. So können beispielsweise mehrere Aufnahmen erstellt werden, auf Basis dieser eine Videosequenz erstellt werden kann. So kann die zeitliche Entwicklung von Merkmalen bzw. Kategorisierungsergebnissen über die Zeit beobachtet werden.
Die Ergebnisse der Kategorisierung können insbesondere mittels einer Speichereinheit abgespeichert werden. Ferner können die Sensordaten und/oder bereits ermittelte Merkmale und/oder die Ergebnisse der Kategorisierung an Dritte, bspw. Lieferanten, Transportunternehmen, Kunden etc., übermittelt werden. Ferner können die Daten über mindestens ein Zahlungssystem, ein E-Commerce-Plattform, einer Logistikplattform, einer Distributed-Ledger-Technologieplattform oder eines Blockchain-Setups verarbeitet werden, um eine vollständige Transparenz hinsichtlich der gesamten Lieferkette zu ermöglichen. Auch kann die entsprechende dreidimensionale Darstellung entsprechend weitergegeben werden. Beispielsweise auf einem E-Commerce-Marktplatz kann somit das Lebensmittel dreidimensional dargestellt werden, insbesondere zusammen mit den ermittelten Kategorien. Dabei kann die Kategorisierung bspw. herangezogen werden, um Mängel bei der Einhaltung von Anforderungen der Lieferkette festzustellen. Dies kann sich bspw. aus einer Abweichung der festgestellten Klasse bezüglich der Kategorie Qualität ergeben. Durch Lieferkette aufgrund der maximalen Transparenz leicht ermittelt und somit behoben werden.
Dritte können die zur Verfügung gestellten Daten insbesondere für die Kalkulation und die Verarbeitung hinsichtlich einer Bezahlung verwenden. Ferner kann die Information dafür verwendet werden, den Transport zu erleichtern, indem die Informationen beispielsweise im Vorweg an Logistikunternehmen weitergeleitet werden. In diesem Kontext ist insbesondere die dreidimensionale Form, das abgeschätzte Gewicht und die Dimension relevant.
Ferner können die entsprechenden Sensordaten beziehungsweise Ergebnisse der Auswertung und Kategorisierung für eine Überprüfung der Aufrechterhaltung der internationalen Qualität hinsichtlich Produktionsstandards, beispielsweise für lokale Fischerei oder Fleischproduzenten, verwendet werden.
Die entsprechenden aufgenommenen Sensordaten beziehungsweise die Ergebnisse der Auswertung beziehungsweise Kategorisierung können jeweils einem Nutzerprofil zugeordnet sein, beispielsweise im Rahmen einer Apple-ID oder eines Google-Play- Accounts. Dabei kann das Verfahren insbesondere ein Anpassen der zur Verfügung gestellten Kategorien beziehungsweise Klassen bei bestimmten Kategorien umfassen hinsichtlich eines jeweiligen Nutzers umfassen. Wird ein Benutzerprofil beispielsweise ausschließlich für Fisch benutzt, können andere Klassen der Lebensmittelkategorie ausgeschlossen werden. Dies erleichtert die Kategorisierung. Diese dynamische Anpassung kann beispielsweise anhand von zuvor aufgenommenen Sensordaten beziehungsweise Ergebnisse von Auswertung und Kategorisierung vorgenommen werden.
Sensordaten und/oder Merkmale und/oder Ergebnisse der Kategorisierung des Lebensmittels können in eine virtuelle oder erweiterte Realität transformiert werden und somit das Lebensmittel visuell in der virtuellen oder der erweiterten Realität dargestellt werden. Ferner können ermittelte Merkmale des Lebensmittels zur Aktualisierung einer virtuellen Inventarliste genutzt werden.
Eine weitere Anwendung des vorliegenden Verfahrens ist die Erkennung von Fischen feststellen, um bspw. zu überprüfen, ob sie für den Fang rechtlich zulässig sind. Ein Fischer kann somit feststellen, dass Fische bspw. zu klein oder gefährdet sind und sie somit wieder in die Freiheit entlassen.
In einem weiteren Aspekt betrifft die vorliegende Erfindung eine Vorrichtung, die mindestens einen ersten Sensor eines mobilen Endgerätes zur Aufnahme eines Lebensmittels und mindestens eine Auswerteeinheit zur Auswertung von Sensordaten des ersten Sensors und zur Kategorisierung des Lebensmittels umfasst. Dabei ist die Auswerteeinheit insbesondere nicht Teil des mobilen Endgerätes. Die Vorrichtung kann ferner eine Übertragungseinheit des mobilen Endgerätes umfassen zur Übertragung von Sensordaten an die externe Auswerteeinheit. Die Vorrichtung ist insbesondere zur Durchführung des oben beschriebenen Verfahrens ausgebildet. Dazu kann die Vorrichtung insbesondere mindestens einen zweiten Sensor umfassen.
Kurze Beschreibung der Figuren
Es zeigen in rein schematischer Darstellung:
Figur 1 ein Ablaufschema eines erfindungsgemäßen Verfahrens und
Figur 2 eine erfindungsgemäße Vorrichtung.
Ausführliche Beschreibung der Figuren
Figur 1 zeigt ein Verfahrensschema eines erfindungsgemäßen Verfahrens 100 zur Kategorisierung von Lebensmitteln, wobei das Verfahren 100 die Aufnahme 101 des Lebensmittels mittels mindestens eines ersten Sensors eines mobilen Endgerätes und/oder mittels eines dem mobilen Endgerät zugeordneten ersten Sensors umfasst. Das Verfahren 100 umfasst ferner die Auswertung 103 der Sensordaten und die Kategorisierung 109 des Lebensmittels.
Neben den Sensordaten des ersten Sensors können zur Auswertung auch Sensordaten mindestens eines zweiten Sensors verwendet werden 104. In einem solchen Fall wird das Lebensmittel auch mittels des zweiten Sensors aufgenommen. Bei der Auswerteeinheit handelt es sich insbesondere um eine externe Auswerteeinheit, sodass die Sensordaten an die Auswerteeinheit übertragen 102 werden. Eine drei-dimensionale Form des Lebensmittels wird erstellt 105.
Bei der Auswertung und zur Kategorisierung des Lebensmittels werden eine Farbe und/oder eine Temperatur des Lebensmittels ermittelt 106 und/oder eine dreidimensionale Form und/oder eine Oberfläche ermittelt 107 und/oder ein Anteil einer Eisschicht am Gesamtgewicht des Lebensmittels ermittelt 108. All die vorgenannten Merkmale dienen zur Kategorisierung 109 des Lebensmittels. Das Verfahren 100 kann die Durchführung 110 mehrerer Aufnahmen des Lebensmittels über eine gewisse Zeitspanne umfassen, um die oben genannten Merkmale über die Zeit hinweg zu beobachten.
Die Sensordaten und/oder bereits ermittelte Merkmale des Lebensmittels können an einen Dritten übertragen werden 111. Dies geschieht insbesondere über eine Schnittstelle. Merkmale des Lebensmittels können in eine virtuelle oder erweiterte Realität transformiert werden 112 und somit das Lebensmittel visuell in der virtuellen oder der erweiterten Realität dargestellt werden 113. Ferner können ermittelte Merkmale des Lebensmittels zur Aktualisierung 114 einer virtuellen Inventarliste genutzt werden.
In Figur 2 ist eine erfindungsgemäße Vorrichtung 10 zur Kategorisierung eines Lebensmittels 30 dargestellt. Die Vorrichtung 10 umfasst einen ersten Sensor 11 eines mobilen Endgerätes 20. Ferner kann der erste Sensor 11 dem mobilen Endgerät 20 zugeordnet sein. Der erste Sensor 11 ist dazu ausgebildet, Aufnahmen des Lebensmittels 30, das im vorliegenden Fall ein Fisch ist, aufzunehmen. Insbesondere kann der erste Sensor 11 das Lebensmittel scannen. Ferner weist die Vorrichtung 10 einen zweiten Sensor 12 auf, der auch zur Aufnahme des Lebensmittels ausgebildet ist.
Die ermittelten Sensordaten können mittels einer Übertragungseinheit 13 des mobilen Endgerätes 20 an eine externe Auswerteeinheit 14 gesandt werden. Bei der externen Auswerteeinheit 14 handelt es sich insbesondere um eine zentrale Verarbeitungseinheit. Diese wiederum kann unterschiedliche Schnittstellen 15 aufweisen, beispielsweise zu einer Verarbeitungseinheit eines Dritten. Beispielsweise gestellt werden, damit die Person das Lebensmittel manuell kategorisiert. Zuvor kann insbesondere die Auswerteeinheit 14 das Lebensmittel in einer dreidimensionalen Form anzeigen.
Bezugszeichenliste
100 Verfahren
101 Aufnahme des Lebensmittels mittels mindestens eines ersten Sensors eines mobilen Endgerätes und/oder mittels mindestens einem dem mobilen Endgerät (20) zugeordneten ersten Sensor (11)
102 Übertragung von Sensordaten an eine Auswerteeinheit außerhalb des mobilen Endgerätes
103 Auswertung der Sensordaten des ersten Sensors
104 Verwendung von Sensordaten mindestens eines zweiten Sensors
105 Erstellen einer drei-dimensionalen Darstellung
106 Ermitteln einer Farbe und/oder einer Temperatur des Lebensmittels
107 Ermitteln einer dreidimensionalen Form und/oder einer Oberfläche
108 Ermitteln eines Anteils einer Eisschicht am Gesamtgewicht des Lebensmittels
109 Kategorisierung des Lebensmittels
110 Durchführen mehrerer Aufnahmen des Lebensmittels über eine gewisse Zeitspanne umfassen
111 Übertragung von Sensordaten und/oder ermittelten Merkmalen des Lebensmittels an einen Dritten
112 Transformieren von Merkmalen des Lebensmittels in einer virtuellen oder einer erweiterten Realität
113 Visuelle Darstellung des Lebensmittels in einer virtuellen oder einer erweiterten Realität
114 Aktualisierung einer virtuellen Inventarliste
10 Vorrichtung
11 erster Sensor
12 zweiter Sensor
13 Übertragungseinheit
14 Auswerteeinheit
15 Schnittstelle
20 mobiles Endgerät
30 Lebensmittel

Claims

Patentansprüche
1. Verfahren (100) zur Kategorisierung von Lebensrnitteln, dadurch gekennzeichnet, dass das Verfahren (100) die folgenden Schritte umfasst: a) Aufnahme (101) des Lebensmittels mittels mindestens eines ersten Sensors (11) eines mobilen Endgerätes (20) und/oder mittels mindestens einem dem mobilen Endgerät (20) zugeordneten ersten Sensor (11), b) Auswertung (103) von Sensordaten des ersten Sensors (11) und c) Kategorisierung (109) des Lebensmittels.
2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass der erste Sensor (11) als Laserscanner, vor allem Lidar-Scanner, ausgebildet ist.
3. Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verfahren (100) ein Erstellen (105) einer dreidimensionalen Darstellung des Lebensmittels zur Kategorisierung umfasst.
4. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Kategorisierung (109) des Lebensmittels ferner Sensordaten mindestens eines zweiten Sensors (12), nämlich eines Infrarot-Sensors oder einer Kamera oder eines Radarsensors, verwendet werden (104).
5. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass
Sensordaten des ersten Sensors (11) und vorzugsweise Sensordaten des zweiten Sensors (12) an eine Auswerteeinheit (14) außerhalb des mobilen Endgerätes (20) zur Auswertung und Kategorisierung übertragen werden (102).
6. Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Kategorisierung (109) des Lebensmittels auf Basis von Sensordaten des ersten Sensors (11) und/oder des zweiten Sensors (12) eine Farbe und/oder eine Temperatur des Lebensmittels ermittelt wird (106). Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Kategorisierung (109) des Lebensmittels auf Basis von Sensordaten des ersten Sensors (11) und/oder des zweiten Sensors (12) eine dreidimensionale Form und/oder eine Oberfläche ermittelt wird (107). Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Kategorisierung (109) des Lebensmittels auf Basis von Sensordaten des ersten Sensors (11) und/oder des zweiten Sensors (12) ein Anteil einer Eisschicht am Gesamtgewicht des Lebensmittels ermittelt wird (110). Verfahren (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) kann das Durchführen (110) mehrerer Aufnahmen des Lebensmittels über eine gewisse Zeitspanne umfassen um eine Entwicklung des Lebensmittels zu überwachen. Vorrichtung (10) zur Kategorisierung von Lebensmitteln, dadurch gekennzeichnet, dass die Vorrichtung (10) einen ersten Sensor (11) eines mobilen Endgerätes (20) und/oder einen dem mobilen Endgerät (20) zugeordneten ersten Sensor (11) und eine Auswerteeinheit (14) zur Auswertung (103) von Sensordaten des ersten Sensors (11) und zur Kategorisierung (109) des Lebensmittels umfasst.
PCT/EP2023/067771 2022-06-30 2023-06-29 Verfahren und vorrichtung zur kategorisierung von lebensmitteln WO2024003217A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022116302.4 2022-06-30
DE102022116302.4A DE102022116302A1 (de) 2022-06-30 2022-06-30 Verfahren und Vorrichtung zur Kategorisierung von Lebensmitteln

Publications (1)

Publication Number Publication Date
WO2024003217A1 true WO2024003217A1 (de) 2024-01-04

Family

ID=87136086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/067771 WO2024003217A1 (de) 2022-06-30 2023-06-29 Verfahren und vorrichtung zur kategorisierung von lebensmitteln

Country Status (2)

Country Link
DE (1) DE102022116302A1 (de)
WO (1) WO2024003217A1 (de)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102175775A (zh) * 2011-01-14 2011-09-07 河南工业大学 基于激光超声融蚀机制的粮食品质检测系统及方法
CN106770194A (zh) * 2017-01-20 2017-05-31 华中科技大学 基于小波变换激光诱导击穿光谱的谷类作物产地鉴别方法
CN110169583A (zh) * 2019-06-14 2019-08-27 无锡旭洲智能科技有限公司 一种多功能多品种食品加工处理设备
US20190311230A1 (en) * 2018-04-10 2019-10-10 International Business Machines Corporation Generating hyperspectral image database by machine learning and mapping of color images to hyperspectral domain
CN211268560U (zh) * 2019-06-14 2020-08-18 无锡旭洲智能科技有限公司 一种多功能多品种食品加工处理设备
WO2021033012A1 (en) * 2019-08-20 2021-02-25 P & P Optica Inc. Devices, systems and methods for sorting and labelling food products
CN112611745A (zh) * 2020-12-11 2021-04-06 华中科技大学 一种水果可溶性固形物间接无损检测方法及系统
WO2021112762A1 (en) * 2019-12-04 2021-06-10 Teapasar Pte. Ltd. System and method for non-destructive rapid food profiling using artificial intelligence
US20210366590A1 (en) * 2020-05-21 2021-11-25 Annie Mafotsing Soh Rapid wearable data-driven bioelectronics device and platform for food freshness monitoring
CN113772200A (zh) * 2021-09-08 2021-12-10 回头客食品集团股份有限公司 一种食品安全溯源智能生产系统及生产方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021055230A1 (en) 2019-09-19 2021-03-25 Akalana Management Llc Optical systems with low resolution peripheral displays

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102175775A (zh) * 2011-01-14 2011-09-07 河南工业大学 基于激光超声融蚀机制的粮食品质检测系统及方法
CN106770194A (zh) * 2017-01-20 2017-05-31 华中科技大学 基于小波变换激光诱导击穿光谱的谷类作物产地鉴别方法
US20190311230A1 (en) * 2018-04-10 2019-10-10 International Business Machines Corporation Generating hyperspectral image database by machine learning and mapping of color images to hyperspectral domain
CN110169583A (zh) * 2019-06-14 2019-08-27 无锡旭洲智能科技有限公司 一种多功能多品种食品加工处理设备
CN211268560U (zh) * 2019-06-14 2020-08-18 无锡旭洲智能科技有限公司 一种多功能多品种食品加工处理设备
WO2021033012A1 (en) * 2019-08-20 2021-02-25 P & P Optica Inc. Devices, systems and methods for sorting and labelling food products
WO2021112762A1 (en) * 2019-12-04 2021-06-10 Teapasar Pte. Ltd. System and method for non-destructive rapid food profiling using artificial intelligence
US20210366590A1 (en) * 2020-05-21 2021-11-25 Annie Mafotsing Soh Rapid wearable data-driven bioelectronics device and platform for food freshness monitoring
CN112611745A (zh) * 2020-12-11 2021-04-06 华中科技大学 一种水果可溶性固形物间接无损检测方法及系统
CN113772200A (zh) * 2021-09-08 2021-12-10 回头客食品集团股份有限公司 一种食品安全溯源智能生产系统及生产方法

Also Published As

Publication number Publication date
DE102022116302A1 (de) 2024-01-04

Similar Documents

Publication Publication Date Title
EP3275313B1 (de) Vorrichtung zum erfassen und auswerten von produktspezifischen informationen von produkten der nahrungsmittel verarbeitenden industrie sowie system mit einer solchen vorrichtung und verfahren zum verarbeiten von produkten der nahrungsmittel verarbeitenden industrie
Vadivambal et al. Bio-imaging: principles, techniques, and applications
Stoddard et al. Pattern mimicry of host eggs by the common cuckoo, as seen through a bird's eye
EP3299995A1 (de) Bildanalysesystem für landwirtschaftliche arbeitsmaschinen
Davies The application of machine vision to food and agriculture: a review
DE102016115051A1 (de) Verfahren, system und nicht flüchtiges, auf einem computer lesbares medium für die videotechnische lokalisation von kreisrunden objekten
Porter et al. Feasibility of the use of deep learning classification of teat-end condition in Holstein cattle
DE102019127282A1 (de) System und Verfahren zum Analysieren einer dreidimensionalen Umgebung durch tiefes Lernen
Xu et al. Recognition method for apple fruit based on SUSAN and PCNN
DE112020007300T5 (de) Hautkrankheitsmesssystem und Haukrankheits-Verwaltungsverfahren unter Verwendung eines tragbaren Endgeräts
CN108491807B (zh) 一种奶牛发情行为实时监测方法及系统
CN108460370B (zh) 一种固定式家禽生命信息报警装置
DE112008001839T5 (de) Prüfvorrichtung und Prüfverfahren, welches durchdringende Strahlung verwendet
CN115861721B (zh) 基于图像数据的畜禽养殖喷雾设备状态识别方法
CN104537273A (zh) 一种溺水模式智能推理系统及方法
EP3610241B1 (de) System und verfahren zum detektieren von nichtmetallischen, nicht-wasserhaltigen substanzen in einer wasserhaltigen probe
WO2024003217A1 (de) Verfahren und vorrichtung zur kategorisierung von lebensmitteln
Mark et al. Camouflage in lichen moths: Field predation experiments and avian vision modelling demonstrate the importance of wing pattern elements and background for survival
DE102009048739B3 (de) Verfahren und Vorrichtung zur automatischen Waldbranderkennung
DE102019131858A1 (de) System zur automatischen Erfassung und Bestimmung von sich bewegenden Objekten
EP3075348A1 (de) Verfahren und einrichtung zum anzeigen einer als wahrscheinlich lahmend aus einem bestand zu selektierenden milchkuh
EP2992295B1 (de) Vorrichtung und verfahren zur klassifikation eines lebensmittelobjekts gewachsener oder unregelmässiger struktur
DE102022209789A1 (de) Rückmeldung unter verwendung von abdeckung für die objektabtastung
JP6738075B1 (ja) ミカン評価装置、及びミカン評価システム
Abdelbasset et al. Application of neural networks in predicting the qualitative characteristics of fruits

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23737930

Country of ref document: EP

Kind code of ref document: A1