WO2011038980A1 - Method for object identification - Google Patents

Method for object identification Download PDF

Info

Publication number
WO2011038980A1
WO2011038980A1 PCT/EP2010/061928 EP2010061928W WO2011038980A1 WO 2011038980 A1 WO2011038980 A1 WO 2011038980A1 EP 2010061928 W EP2010061928 W EP 2010061928W WO 2011038980 A1 WO2011038980 A1 WO 2011038980A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
user
unit
data
image
Prior art date
Application number
PCT/EP2010/061928
Other languages
German (de)
French (fr)
Inventor
Stefan Pühringer
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2011038980A1 publication Critical patent/WO2011038980A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments

Definitions

  • the invention relates to the identification of an object with the assignment to a known product.
  • any object shows up in any situation, it will arouse the interest of the observer.
  • This can be for example a vase in a restaurant, a lamp in a hotel or a decorative object in an apartment of acquaintances. If such an object only discovered the interest in details that are associated with this Whether ⁇ ject growing. Here are z. For example: manufacturer, price or potential dealer. If one can determine the owner, with a little luck a relatively accurate information about the object can be determined. However, if the owner does not find out or has no information about it, it will not be possible to acquire such an object.
  • a known product identification can take place by means of the following measures or devices:
  • a product ID is stored in an RFID (Radio Frequency ID) tag attached to the object,
  • the product search is carried out by means of a keyword search in a corresponding product database.
  • intermediate data stores with product data such as barcodes, are generally in use, resulting in additional costs.
  • the invention has for its object to significantly simplify identification of objects by the assignment to known products.
  • the invention is based on the knowledge that a product identification can be made visually.
  • the difference with previous systems is that example ⁇ , an optical barcode to be read or Funkidenti ⁇ fication through the use of RFID tags as a means eliminated.
  • a product search by means of keywords on site in a product database is bypassed.
  • the visual product identification simplified the search for information glovege ⁇ basis that it produces only the image or video data of an object with a digital camera or digital camera mobile and can thus uniquely identify the product. This is done through the use of a product identification unit be ⁇ standing of a product pattern recognition unit and a product recognition database.
  • an external information system can be queried in an advantageous manner.
  • This has the advantage that a relatively large for a mobile, elekt ⁇ ronisches device display is available.
  • a Farmidentifi ⁇ cation interface is used for organizing the data transmission between the user device and product recognition unit.
  • the incoming data is transmitted from the user unit, in particular by the user software, and outgoing data is transmitted to the pro ⁇ dukterkennungsaku and to the external information system.
  • the data of a detected object are returned from the product recognition unit to the product identification interface in accordance with the data of the product which could be assigned. The same applies to
  • Special instructions for the user of a user unit may also be information about a product such as warnings, such as the warning about plagiarism.
  • An advantageous service is offered by product-related comments can be sent by products from the user unit or from Endverbrau ⁇ cher, for example, to manufacturers or suppliers.
  • Figure 1 shows a graph showing the flow of a visual
  • Figure 2 shows a view corresponding to Figure 1 with real objects are illustrated and will be used as user intervention ⁇ standardize a mobile telephone
  • Figure 3 shows a view corresponding to Figure 1 with real objects are shown and the user intervention ⁇ integral is divided, in a digital camera and a PDA / P_ersön Anlagen digital assistant.
  • the visual product identification can be used for example in Su ⁇ permärkten.
  • Another application is the industrial sector, where, for example, in the assembly of industrial parts or in medical facilities, the unique identification of individual components is desired.
  • the automatic request for product information can be carried out on stands.
  • the visual product identification concrete information about the object can be obtained regularly.
  • the object is easily identified via a photo or via a video, which is recorded in a special way with a mobile phone camera. This is done by looking through the photo ⁇ means of product identification a product ID Totge- is, with the further information can be found in terms of production, price or dealer.
  • the recognition of an object as a certain known product takes place via a recorded photo or video of the object. This medium is adjusted by means of a pattern recognition unit 6 in conjunction with a product recognition database 11. Object 1 is identified as a specific product. The recognized object is either immediately transferred to the user unit or optionally an inquiry is made to an external information system 7 to obtain further information about the product.
  • the essential components to be used for carrying out a method for identifying an object are on the one hand the user unit 10, the product recognition unit 5 and the external information systems 7.
  • the user unit 10 is in principle a terminal of a user.
  • the product ⁇ recognition unit 5 assumes the visual recognition of Obwalden 1 with the aid of a pattern recognition unit 6 and a product recognition database 11. This database is initially filled with product photos and linked to the product ID.
  • the application to external information systems 7 allows access to further information about the product. These can be ready to play, be available information systems, as with ⁇ the manufacturer's product database as well as specially developed for this system. Furthermore, a buyer of a product for this product may convey his opinion or experience through a particular service.
  • the camera 2 takes a photo, video or other visual
  • the camera is in particular ⁇ sondere an optoelectronic converter, converted into optical signals into electrical or electronic image data. Photo or video data represent special data forms. These recorded data are transferred from the user software 3 to the product identification interface 4.
  • Interface transmits the video to the product recognition ⁇ unit 5 consisting of a pattern recognition unit 6, which detects the object 1, wherein subsequently with a product recognition database 11, the data are adjusted.
  • the result is again sent back to the Artsidentifikati ⁇ onsterrorismstelle fourth
  • This may be the result di ⁇ rectly return to the application software.
  • the data of the detected object or the product can be zusharm ⁇ Lich compared with external information systems. 7 From this, further information about the detected product can be retrieved from the corresponding database and forwarded to the user software 3.
  • the user soft- ware outputs the determined product ID information in a suitable manner to the user via the user interface 8 or forwards it via the interface 9 to external programs for processing.
  • the user unit 10 may consist of one or more devices. It may therefore be a mobile phone with integrated camera, with Internet access is advantageous. Alternatively, however, the tasks can also be divided into individual devices.
  • the appli ⁇ SOFTWARE An example 3 is installed on a laptop and gets the media through a wired or wireless connection leaked.
  • a wireless connection such as Bluetooth or WiFi for example, can be used a short ⁇ spark gap.
  • the product identification interface or the Marinerken ⁇ voltage unit 5 including product recognition database 11 can be implemented either as a standalone server or integrated into the user unit.
  • the visual recognition takes place via a video or a video stream, it is also possible to produce several products at once; be identified simultaneously or continuously.
  • Advantages of the method are thus that no product ID must be present on the product. There is no need to search for a product ID.
  • the product can also be identified in case of loss and coverage of the product ID. For example, the identification also succeeds through a glass pane.
  • the identification can be carried out by means of widely used terminals such as a mobile phone and does not require a new device. It allows the user to instantly see which product it needs to be and to get more information about the product. User interactions can be minimized. In particular, however, warnings of, for example, plagiarism may be issued when it is immediately apparent that by a high level of compliance with a known product, but not sufficient to identify the product, the user may be faced with an illegal copy of the product.
  • the representation selected in FIG. 2 shows objects 1 to be identified from left to right, such as a hair dryer, a data stick, a computer part or a DVD case.
  • a mobile phone is shown, which has a camera 2 integrated.
  • the product identification section ⁇ point 4 In the right part of the figure 2 are shown schematically, the product identification section ⁇ point 4, and the product detection unit 5 and one or more external information systems 7.
  • the product recognition ⁇ unit 5 consists of the pattern recognition unit 6 and the product recognition database. 11
  • the data streams indicated by the arrows relate excluded from the objects 1, the opto-electronic image or Vi ⁇ deofact with subsequent transfer to the product identification interface 4.
  • the product detection unit 5 receives the electronic image data and recognizes the ge Service ⁇ th object, wherein an allocation to a known product is performed.
  • the product recognition unit 5 can request further information relating to the product from an external information system 7.
  • the result obtained is transmitted to the user unit 10 or to the mobile phone and displayed.
  • the embodiment according to FIG. 3 is based on an unchanged fundus of objects 1, as in FIG. 2.
  • the recording is done by a digital camera 2 transmits to optically to / electronic conversion, the image or video data to a PDA 13 that the data is still transmitted to the product ⁇ recognition unit.
  • the product recognition unit 5 recognizes the product is Darge ⁇ presented on the basis of image or video data. Again, you can get more information external information systems 7 are requested. The result is transmitted to the PDA and displayed to the user.

Abstract

The invention relates to a method for identification of an object (1) comprising the steps: capturing images of the object (1) by means of at least one digital camera (2) to generate image or video data, transmitting the image or video data to an object recognition unit (5), identifying the object (1) by comparing the image or video data by means of a pattern recognition unit (6) and a product recognition database (11) as a specific product, and transmitting the product data to a user unit (10) having a display of the product data.

Description

Beschreibung description
Verfahren zur Objektidentifikation Die Erfindung betrifft die Identifikation eines Objektes mit der Zuordnung zu einem bekannten Produkt. The invention relates to the identification of an object with the assignment to a known product.
Fällt bei einer beliebigen Situation irgendein Objekt besonders auf, so erweckt dies das Interesse des Beobachters. Dies kann beispielsweise eine Vase in einem Restaurant, eine Lampe in einem Hotel oder ein Dekorobjekt in einer Wohnung von Bekannten sein. Ist ein solches Objekt erst entdeckt, wächst das Interesse für Details, die in Verbindung mit diesem Ob¬ jekt stehen. Hier sind z. B. zu nennen: Hersteller, Preis oder möglicher Händler. Wenn man den Besitzer eruieren kann, so ist mit etwas Glück eine relativ genaue Information über das Objekt ermittelbar. Ist der Besitzer jedoch nicht herauszufinden oder hat dieser keine Informationen darüber, so bleibt ein eventueller Erwerb eines derartigen Objektes un- möglich. If any object shows up in any situation, it will arouse the interest of the observer. This can be for example a vase in a restaurant, a lamp in a hotel or a decorative object in an apartment of acquaintances. If such an object only discovered the interest in details that are associated with this Whether ¬ ject growing. Here are z. For example: manufacturer, price or potential dealer. If one can determine the owner, with a little luck a relatively accurate information about the object can be determined. However, if the owner does not find out or has no information about it, it will not be possible to acquire such an object.
In Supermärkten kann sich für Kunden ein Problem ergeben, falls Produkte unzureichende Angaben auf der Verpackung auf¬ weisen. Um mehr über das Produkt in Erfahrung zu bringen, kann bereits heute mittels mobiler Geräte anhand von Barco¬ des, Stichwortsuche etc. im Internet weitere Information über ein Produkt eingeholt werden. In supermarkets, a problem may arise if products have insufficient information on the packaging to ¬ for customers. In order to learn more about the product, more information about a product can already be obtained on the Internet today by means of mobile devices based on barcoding , keywords, etc.
Im Wesentlichen kann eine bekannte Produktidentifikation mit- tels folgender Maßnahmen oder Einrichtungen erfolgen: Essentially, a known product identification can take place by means of the following measures or devices:
- eine Produkt-ID wird mittels eines Barcodes, der zwei- oder dreidimensional aufgebaut sein kann, an dem Objekt ange¬ bracht, - a product ID, by means of a bar code, which can be constructed two or three dimensions, is introduced ¬ on the object,
- eine Produkt-ID wird in einem RFID (Radio Frequency-ID) -Tag gespeichert, der am Objekt angebracht ist,  a product ID is stored in an RFID (Radio Frequency ID) tag attached to the object,
- mittels einer Stichwortsuche in einer entsprechenden Produktdatenbank wird die Produktsuche durchgeführt. Somit sind in der Regel zwischengeschaltete Datenspeicher mit Produktdaten, wie Barcodes, im Einsatz, wodurch zusätzliche Kosten entstehen. Der Erfindung liegt die Aufgabe zugrunde, eine Identifikation von Objekten durch die Zuordnung zu bekannten Produkten wesentlich zu vereinfachen. - The product search is carried out by means of a keyword search in a corresponding product database. As a result, intermediate data stores with product data, such as barcodes, are generally in use, resulting in additional costs. The invention has for its object to significantly simplify identification of objects by the assignment to known products.
Die Lösung dieser Aufgabe geschieht durch die Merkmalskombi- nation des unabhängig formulierten Patentanspruchs. Vorteil¬ hafte Ausgestaltungen ergeben sich aus den Merkmalskombinationen der entsprechenden Unteransprüche. The solution to this problem is achieved by the feature combination of the independently formulated patent claim. ¬ advantageous embodiments result from the combinations of features of the corresponding subclaims.
Der Erfindung liegt die Erkenntnis zugrunde, dass eine Pro- dukt-Identifikation visuell vorgenommen werden kann. Der Unterschied zu bisherigen Systemen liegt darin, dass beispiels¬ weise ein optisch auszulesender Barcode oder eine Funkidenti¬ fikation durch den Einsatz von RFID-Tags als Hilfsmittel, entfällt. Weiterhin wird eine Produktsuche mittels Suchwörter vor Ort in einer Produktdatenbank umgangen. Die visuelle Produktidentifikation vereinfacht die Informationssuche dahinge¬ hend, dass man lediglich Bild- oder Videodaten eines Objektes mit einer Digitalkamera oder Digitalkamera mobil erzeugt und damit das Produkt eindeutig identifizieren kann. Dies ge- schieht durch den Einsatz einer Produkterkennungseinheit be¬ stehend aus einer Produktmustererkennungseinheit und einer Produkterkennungsdatenbank . The invention is based on the knowledge that a product identification can be made visually. The difference with previous systems is that example ¬, an optical barcode to be read or Funkidenti ¬ fication through the use of RFID tags as a means eliminated. Furthermore, a product search by means of keywords on site in a product database is bypassed. The visual product identification simplified the search for information dahinge ¬ basis that it produces only the image or video data of an object with a digital camera or digital camera mobile and can thus uniquely identify the product. This is done through the use of a product identification unit be ¬ standing of a product pattern recognition unit and a product recognition database.
Um zusätzliche Informationen zu einem bestimmten Produkt an- zeigen zu lassen, kann in vorteilhafter Weise ein externes Informationssystem abgefragt werden. In order to have additional information on a specific product displayed, an external information system can be queried in an advantageous manner.
Zur vorteilhaften Handhabung von Bild- oder Videodaten und zurück übermittelter Produktdaten kann ein so genannter For the advantageous handling of image or video data and returned product data, a so-called
PDA/ ' personeller digitaler Assistent' zwischengeschaltet wer¬ den. Dies hat den Vorteil, dass eine für ein mobiles, elekt¬ ronisches Gerät relativ große Anzeige vorhanden ist. Zur Organisation der Datenübertragung zwischen Benutzereinheit und Produkterkennungseinheit wird eine Produktidentifi¬ kationsschnittstelle verwendet. Die eingehenden Daten werden von der Benutzereinheit, insbesondere von der Anwender- Software übermittelt, und ausgehende Daten werden an die Pro¬ dukterkennungseinheit und an das externe Informationssystem übertragen. Die Daten eines erkannten Objektes werden, entsprechend der Daten des Produktes, welches zugeordnet werden konnte, von der Produkterkennungseinheit auf die Produktiden- tifikations-Schnittstelle zurückgeführt. Gleiches gilt fürPDA / 'personal digital assistant' interposed ¬ the. This has the advantage that a relatively large for a mobile, elekt ¬ ronisches device display is available. For organizing the data transmission between the user device and product recognition unit a Produktidentifi ¬ cation interface is used. The incoming data is transmitted from the user unit, in particular by the user software, and outgoing data is transmitted to the pro ¬ dukterkennungseinheit and to the external information system. The data of a detected object are returned from the product recognition unit to the product identification interface in accordance with the data of the product which could be assigned. The same applies to
Daten, die vom externen Informationssystem geliefert werden, wobei beide Datenströme zumindest durch die Produktidentifi- kations-Schnittstelle durchgeleitet werden in Richtung auf die Anwender-Software. Data supplied by the external information system, wherein both data streams are passed through at least the product identification interface towards the user software.
Zur Datenausgabe entweder an einen Benutzer oder an externe Programme sind in vorteilhafter Weise entsprechende Schnitt¬ stellen vorhanden. Besondere Hinweise für den Benutzer einer Benutzereinheit können auch Informationen über ein Produkt wie Warnhinweise sein, wie beispielsweise die Warnung vor Plagiaten. For data output to either a user or to external programs are advantageously provide corresponding cut ¬ available. Special instructions for the user of a user unit may also be information about a product such as warnings, such as the warning about plagiarism.
Ein vorteilhafter Service wird angeboten, indem produktbezo- gene Kommentare von der Benutzereinheit bzw. vom Endverbrau¬ cher beispielsweise an Hersteller oder Lieferanten von Produkten versandt werden können. An advantageous service is offered by product-related comments can be sent by products from the user unit or from Endverbrau ¬ cher, for example, to manufacturers or suppliers.
Im Folgenden werden anhand von schematischen Zeichnungen die begleitenden die Erfindung nicht einschränkenden Figuren als Ausführungsbeispiele beschrieben . In the following, the accompanying non-limiting figures are described as exemplary embodiments with reference to schematic drawings.
Figur 1 zeigt eine Grafik, die den Ablauf einer visuellen Figure 1 shows a graph showing the flow of a visual
Identifikation wiedergibt.  Identification reflects.
Figur 2 zeigt eine Darstellung entsprechend Figur 1, wobei reale Objekte dargestellt sind und als Benutzerein¬ heit ein Mobiltelefon eingesetzt wird, Figur 3 zeigt eine Darstellung entsprechend Figur 1, wobei reale Objekte dargestellt sind und die Benutzerein¬ heit geteilt ist, in eine Digitalkamera und einen PDA/P_ersönlicher Digitaler Assistent. Figure 2 shows a view corresponding to Figure 1 with real objects are illustrated and will be used as user intervention ¬ standardize a mobile telephone, Figure 3 shows a view corresponding to Figure 1 with real objects are shown and the user intervention ¬ integral is divided, in a digital camera and a PDA / P_ersönlicher digital assistant.
Die visuelle Produktidentifikation kann beispielsweise in Su¬ permärkten eingesetzt werden. Ein anderer Anwendungsfall ist der Industriebereich, wobei beispielsweise beim Zusammenbau von Industrieteilen oder auch bei medizinischen Anlagen die eindeutige Identifikation von einzelnen Bauteilen gewünscht wird. Weiterhin kann auf Messeständen die automatische Anforderung von Produktinformationen durchgeführt werden. The visual product identification can be used for example in Su ¬ permärkten. Another application is the industrial sector, where, for example, in the assembly of industrial parts or in medical facilities, the unique identification of individual components is desired. Furthermore, the automatic request for product information can be carried out on stands.
Mit der visuellen Produktidentifikation können regelmäßig konkrete Informationen zum Objekt erhalten werden. Das Objekt wird in einfacher Weise über ein Foto bzw. über ein Video, welches in spezieller Weise mit einer Handykamera aufgenommen ist, identifiziert. Dies geschieht, indem über das Foto mit¬ tels einer Produktidentifikation eine Produkt-ID herausge- sucht wird, mit der die weitere Information hinsichtlich Hersteller, Preis oder Händler zu finden ist. With the visual product identification concrete information about the object can be obtained regularly. The object is easily identified via a photo or via a video, which is recorded in a special way with a mobile phone camera. This is done by looking through the photo ¬ means of product identification a product ID herausge- is, with the further information can be found in terms of production, price or dealer.
Die Erkennung eines Objektes als ein bestimmtes bekanntes Produkt erfolgt über ein aufgenommenes Foto oder Video des Objektes. Dieses Medium wird mittels einer Mustererkennungs¬ einheit 6 in Verbindung mit einer Produkterkennungsdatenbank 11 abgeglichen. Das Objekt 1 wird als ein bestimmtes Produkt identifiziert. Das erkannte Objekt wird entweder sofort an die Benutzereinheit übergeben oder es erfolgt optional eine Abfrage an ein externes Informationssystem 7 um weitere Informationen über das Produkt zu erhalten. The recognition of an object as a certain known product takes place via a recorded photo or video of the object. This medium is adjusted by means of a pattern recognition unit 6 in conjunction with a product recognition database 11. Object 1 is identified as a specific product. The recognized object is either immediately transferred to the user unit or optionally an inquiry is made to an external information system 7 to obtain further information about the product.
Die wesentlichen einzusetzenden Komponenten zur Durchführung eines Verfahrens zur Identifikation eines Objektes sind zum einen die Benutzereinheit 10, die Produkterkennungseinheit 5 und die externen Informationssysteme 7. Die Benutzereinheit 10 ist im Prinzip ein Endgerät eines Benutzers. Die Produkt¬ erkennungseinheit 5 übernimmt die visuelle Erkennung des Ob- jektes 1 mit Hilfe einer Mustererkennungseinheit 6 und einer Produkterkennungsdatenbank 11. Diese Datenbank wird anfangs mit Hilfe von Produktfotos befüllt und mit der Produkt-ID verknüpft . The essential components to be used for carrying out a method for identifying an object are on the one hand the user unit 10, the product recognition unit 5 and the external information systems 7. The user unit 10 is in principle a terminal of a user. The product ¬ recognition unit 5 assumes the visual recognition of Obwalden 1 with the aid of a pattern recognition unit 6 and a product recognition database 11. This database is initially filled with product photos and linked to the product ID.
Die Anwendung an externe Informationssysteme 7 ermöglicht den Zugriff auf weitere Informationen zum Produkt. Dabei kann es sich bereits um verfügbare Informationssysteme, wie bei¬ spielsweise die Produktdatenbank des Herstellers oder auch extra dafür entwickelte Systeme handeln. Weiterhin kann ein Käufer eines Produktes zu diesem Produkt seine Meinung oder Erfahrung durch einen bestimmten Service übermitteln. The application to external information systems 7 allows access to further information about the product. These can be ready to play, be available information systems, as with ¬ the manufacturer's product database as well as specially developed for this system. Furthermore, a buyer of a product for this product may convey his opinion or experience through a particular service.
Zu Figur 2 ist insbesondere anzumerken: With regard to FIG. 2, it should be noted in particular:
Die Kamera 2 nimmt ein Foto, Video oder sonstiges visuellesThe camera 2 takes a photo, video or other visual
Medium vom zu erkennenden Objekt 1 auf. Die Kamera ist insbe¬ sondere ein optoelektronischer Wandler, in der optische Signale in elektrische bzw. elektronische Bilddaten überführt. Foto oder Videodaten stellen spezielle Datenformen dar. Diese aufgenommenen Daten werden von der Anwendersoftware 3 an die Produktidentifikationsschnittstelle 4 übergeben. Diese Medium from the object 1 to be recognized. The camera is in particular ¬ sondere an optoelectronic converter, converted into optical signals into electrical or electronic image data. Photo or video data represent special data forms. These recorded data are transferred from the user software 3 to the product identification interface 4. These
Schnittstelle übermittelt das Video an die Produkterkennungs¬ einheit 5 bestehend aus einer Mustererkennungseinheit 6, die das Objekt 1 erkennt, wobei anschließend mit einer Produkter- kennungsdatenbank 11 die Daten abgeglichen werden. Interface transmits the video to the product recognition ¬ unit 5 consisting of a pattern recognition unit 6, which detects the object 1, wherein subsequently with a product recognition database 11, the data are adjusted.
Das Ergebnis wird wieder zurück an die Produktidentifikati¬ onsschnittstelle 4 übermittelt. Diese kann das Ergebnis di¬ rekt an die Anwendersoftware 3 zurückgeben. Alternativ können die Daten des erkannten Objektes bzw. des Produktes zusätz¬ lich mit externen Informationssystemen 7 abgeglichen werden. Daraus können weitere Informationen über das erkannte Produkt aus dem entsprechenden Datenbestand herausgeholt und an die Anwendersoftware 3 weitergeleitet werden. Die Anwendersoft- wäre gibt die ermittelte Produkt-ID-Information in geeigneter Weise an den Benutzer über die Benutzerschnittstelle 8 aus bzw. gibt es über die Schnittstelle 9 an externe Programme weiter zur Verarbeitung. Die Benutzereinheit 10 kann aus einem oder mehreren Geräten bestehen. Es kann sich daher um ein Mobiltelefon mit integrierter Kamera handeln, wobei ein Internetzugriff vorteilhaft ist. Alternativ können jedoch die Aufgaben auch auf einzelne Geräte aufgeteilt werden. So ist zum Beispiel ein Fotoapparat für die Aufnahme des Bildes bzw. Videos vorhanden. Die Anwen¬ dersoftware 3 ist beispielsweise auf einem Laptop installiert und bekommt das Medium über eine Kabel- oder Funkverbindung zugespielt. Als Funkverbindung kann beispielsweise eine Kurz¬ funkstrecke verwendet werden, wie Bluetooth oder Wifi. Die Produktidentifikationsschnittstelle bzw. die Produkterken¬ nungseinheit 5 inklusive der Produkterkennungsdatenbank 11 kann sowohl als eigenständiger Server implementiert oder in die Benutzereinheit integriert werden. The result is again sent back to the Produktidentifikati ¬ onsschnittstelle fourth This may be the result di ¬ rectly return to the application software. 3 Alternatively, the data of the detected object or the product can be zusätz ¬ Lich compared with external information systems. 7 From this, further information about the detected product can be retrieved from the corresponding database and forwarded to the user software 3. The user soft- ware outputs the determined product ID information in a suitable manner to the user via the user interface 8 or forwards it via the interface 9 to external programs for processing. The user unit 10 may consist of one or more devices. It may therefore be a mobile phone with integrated camera, with Internet access is advantageous. Alternatively, however, the tasks can also be divided into individual devices. For example, there is a camera for taking the picture or video. The appli ¬ SOFTWARE An example 3 is installed on a laptop and gets the media through a wired or wireless connection leaked. As a wireless connection such as Bluetooth or WiFi for example, can be used a short ¬ spark gap. The product identification interface or the Produkterken ¬ voltage unit 5 including product recognition database 11 can be implemented either as a standalone server or integrated into the user unit.
Findet die visuelle Erkennung über ein Video oder einen Vi- deo-Stream statt, so können auch mehrere Produkte auf einmal d.h. gleichzeitig bzw. kontinuierlich identifiziert werden. If the visual recognition takes place via a video or a video stream, it is also possible to produce several products at once; be identified simultaneously or continuously.
Wesentlich ist, dass die Identifikation von Objekten direkt visuell erfolgt, d.h. ohne dass das Objekt mit visuellen Hilfsmitteln, wie beispielsweise Barcode, ausgestattet werden muss. Es wird lediglich durch das eigene Aussehen identifi- ziert. It is essential that the identification of objects be done directly visually, i. without the object having to be equipped with visual aids, such as barcode. It is only identified by its own appearance.
Vorteile des Verfahrens sind somit, dass keine Produkt-ID am Produkt vorhanden sein muss. Die Suche nach einer Produkt-ID entfällt. Das Produkt kann auch bei Verlust und Abdeckung der Produkt-ID identifiziert werden. Beispielsweise gelingt auch die Identifikation durch eine Glasscheibe hindurch. Advantages of the method are thus that no product ID must be present on the product. There is no need to search for a product ID. The product can also be identified in case of loss and coverage of the product ID. For example, the identification also succeeds through a glass pane.
Die Identifikation kann mittels weit verbreiteter Endgeräte wie beispielsweise einem Mobiltelefon durchgeführt werden und erfordert kein neues Gerät. Der Benutzer kann damit sofort erkennen, um welches Produkt es sich handeln muss und kann sich weitere Informationen zu dem Produkt übermitteln lassen. Benutzerinteraktionen können minimiert werden. Insbesondere können jedoch Warnungen vor beispielsweise Plagiaten dann ausgegeben werden, wenn sofort erkennbar ist, dass durch eine hohe Übereinstimmung mit einem bekannten Produkt, aber nicht ausreichend zur Identifikation des Produktes, der Benutzer vor einer illegalen Kopie des Produktes kann. The identification can be carried out by means of widely used terminals such as a mobile phone and does not require a new device. It allows the user to instantly see which product it needs to be and to get more information about the product. User interactions can be minimized. In particular, however, warnings of, for example, plagiarism may be issued when it is immediately apparent that by a high level of compliance with a known product, but not sufficient to identify the product, the user may be faced with an illegal copy of the product.
Die in Figur 2 gewählte Darstellung zeigt von links nach rechts zu identifizierende Objekte 1, wie beispielsweise ei- nen Fön, einen Datenstick, ein Computerteil oder eine DVD- Hülle. Mittig ist ein Mobiltelefon dargestellt, welches eine Kamera 2 integriert hat. Im rechten Teil der Figur 2 sind schematisch dargestellt die Produktidentifikationsschnitt¬ stelle 4, sowie die Produkterkennungseinheit 5 und eine oder mehrere externe Informationssysteme 7. Die Produkterkennungs¬ einheit 5 besteht aus der Mustererkennungseinheit 6 und der Produkterkennungsdatenbank 11. The representation selected in FIG. 2 shows objects 1 to be identified from left to right, such as a hair dryer, a data stick, a computer part or a DVD case. In the middle, a mobile phone is shown, which has a camera 2 integrated. In the right part of the figure 2 are shown schematically, the product identification section ¬ point 4, and the product detection unit 5 and one or more external information systems 7. The product recognition ¬ unit 5 consists of the pattern recognition unit 6 and the product recognition database. 11
Die mit Pfeilen gekennzeichneten Datenströme betreffen ausge- hend von den Objekten 1 die opto-elektronische Bild bzw. Vi¬ deoaufnahme mit anschließender Übertragung an die Produktidentifikationsschnittstelle 4. Die Produkterkennungseinheit 5 erhält die elektronischen Bilddaten und erkennt das gezeig¬ te Objekt, wobei eine Zuordnung zu einem bekannten Produkt durchgeführt wird. Die Produkterkennungseinheit 5 kann weite¬ re zum Produkt zugehörige Informationen von einem externen Informationssystem 7 anfordern. Das erhaltene Ergebnis wird an die Benutzereinheit 10 bzw. an das Mobiltelefon übertragen und angezeigt. The data streams indicated by the arrows relate excluded from the objects 1, the opto-electronic image or Vi ¬ deoaufnahme with subsequent transfer to the product identification interface 4. The product detection unit 5 receives the electronic image data and recognizes the gezeig ¬ th object, wherein an allocation to a known product is performed. The product recognition unit 5 can request further information relating to the product from an external information system 7. The result obtained is transmitted to the user unit 10 or to the mobile phone and displayed.
Das Ausführungsbeispiel entsprechend Figur 3 geht von einem unveränderten Fundus von Objekten 1, wie in Fig 2, aus. Die Aufnahme geschieht durch eine Digitalkamera 2, die nach op- to/elektronischer Wandlung die Bild- oder Videodaten an einen PDA 13 überträgt, welcher die Daten weiterhin an die Produkt¬ erkennungseinheit 5 übermittelt. Die Produkterkennungseinheit 5 erkennt anhand der Bild- oder Videodaten das darin darge¬ stellte Produkt. Auch hier können weitere Informationen aus externen Informationssystemen 7 angefordert werden. Das Ergebnis wird an den PDA übertragen und dem Benutzer angezeigt. The embodiment according to FIG. 3 is based on an unchanged fundus of objects 1, as in FIG. 2. The recording is done by a digital camera 2 transmits to optically to / electronic conversion, the image or video data to a PDA 13 that the data is still transmitted to the product ¬ recognition unit. 5 The product recognition unit 5 recognizes the product is Darge ¬ presented on the basis of image or video data. Again, you can get more information external information systems 7 are requested. The result is transmitted to the PDA and displayed to the user.

Claims

Patentansprüche claims
1. Verfahren zur Identifikation eines Objektes (1) umfassend folgende Schritte: A method for identifying an object (1) comprising the following steps:
- Aufnahme des Objektes (1) mittels mindestens einer Digital¬ kamera (2) zur Generierung von Bild- oder Videodaten,- Recording of the object (1) by means of at least one digital camera ¬ (2) for generating image or video data,
- Übermittlung der Bild- oder Videodaten an eine Objekterkennungseinheit (5) , Transmission of the image or video data to an object recognition unit (5),
- Identifikation des Objektes (1) durch Abgleich der Bild- oder Videodaten mittels einer Musterkennungseinheit (6) und einer Produkterkennungs-Datenbank (11) als ein bestimmtes Produkt,  Identification of the object (1) by matching the image or video data by means of a pattern recognition unit (6) and a product recognition database (11) as a specific product,
- Übermittlung von Daten des Produktes an eine Benutzereinheit (10) mit einer Anzeige der Daten des Produktes.  - Transmission of data of the product to a user unit (10) with an indication of the data of the product.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass nach der Identifikation des Objektes (1) als ein bestimmtes Produkt durch Abfrage eines externen Informationssystems (7) weitere Informationen über das Produkt erhalten werden, die ebenfalls an die Benutzereinheit (10) übermittelt werden kön¬ nen . 2. The method according to claim 1, characterized in that after the identification of the object (1) as a particular product by querying an external information system (7) further information about the product are obtained, which can also be transmitted to the user unit (10) ¬ nen.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 3. The method according to any one of the preceding claims, characterized in that
die Bild- oder Videodaten von der mindestens einen Digitalka¬ mera (2) an einen PDA/Personal-Digital-Assistent (13) über¬ mittelt werden und von dort an die Objekterkennungseinheit (5) übermittelt werden. the image or video data of the at least one Digitalka ¬ ra (2) to a PDA / personal digital assistant (13) are ¬ averages and are transmitted from there to the object detection unit (5).
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 4. The method according to any one of the preceding claims, characterized in that
die Benutzereinheit (10) zur Übermittlung von Bild- oder Vi¬ deodaten an die Produkterkennungseinheit (5) die Bild- oder Videodaten über eine Produktidentifikations-Schnittstelle (4) ausgibt. the user unit (10) for the transmission of image or Vi ¬ deodaten to the product recognition unit (5), the image or video data on a product identification interface (4) outputs.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als mindestens eine Digitalkamera (2) eine in einem Handy eingebaute Kamera verwendet wird. 5. The method according to any one of the preceding claims, characterized in that as at least one digital camera (2) a camera built into a cell phone is used.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 6. The method according to any one of the preceding claims, characterized in that
eine Datenausgabe einer Benutzereinheit (10) über eine integ¬ rierte Benutzerschnittstelle (8) geschieht. a data output of a user unit (10) via a integ ¬ tured user interface (8) takes place.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 7. The method according to any one of the preceding claims, characterized in that
eine Datenausgabe an externe Programme über eine Export¬ schnittstelle (9) geschieht. a data output to external programs via an export ¬ interface (9) is done.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 8. The method according to any one of the preceding claims, characterized in that
eine Benutzereinheit (10) derart ausgelegt ist, dass ein pro¬ duktbezogener Kommentar von der Benutzereinheit (10) versandt wird . a user unit (10) is designed such that a per ¬ duktbezogener comment from the user unit (10) will be sent.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 9. The method according to any one of the preceding claims, characterized in that
an der Benutzereinheit (10) Warenhinweise an einen Benutzer ausgegeben werden, insbesondere Warnungen vor Plagiaten. at the user unit (10) goods instructions are issued to a user, in particular warnings of plagiarism.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 10. The method according to any one of the preceding claims, characterized in that
Bei der Aufnahme des Objektes (1) im Wesentlichen dessen Frontansicht erfasst wird.  When recording the object (1) essentially its front view is detected.
PCT/EP2010/061928 2009-09-30 2010-08-17 Method for object identification WO2011038980A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009047797A DE102009047797A1 (en) 2009-09-30 2009-09-30 Method for object identification
DE102009047797.7 2009-09-30

Publications (1)

Publication Number Publication Date
WO2011038980A1 true WO2011038980A1 (en) 2011-04-07

Family

ID=43244730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/061928 WO2011038980A1 (en) 2009-09-30 2010-08-17 Method for object identification

Country Status (2)

Country Link
DE (1) DE102009047797A1 (en)
WO (1) WO2011038980A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012214450A1 (en) * 2012-08-14 2014-02-20 Siemens Aktiengesellschaft Method for monitoring the operating state of a turbine system and computer program product, electronic mobile radio terminal and system for carrying out the method
DE102019210581A1 (en) 2019-07-18 2021-01-21 Robert Bosch Gmbh Method for analyzing a sample and apparatus for analyzing a sample
CN111178980B (en) * 2019-12-31 2023-06-13 秒针信息技术有限公司 Behavior recognition method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040079800A1 (en) * 2002-10-29 2004-04-29 Fuji Xerox Co., Ltd. Document verification system
WO2005103980A2 (en) * 2004-04-16 2005-11-03 Mobot, Inc. Mobile query system and method based on visual cues
US20060227992A1 (en) * 2005-04-08 2006-10-12 Rathus Spencer A System and method for accessing electronic data via an image search engine
US20060240862A1 (en) * 2004-02-20 2006-10-26 Hartmut Neven Mobile image-based information retrieval system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899243B2 (en) * 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
DE102004001595A1 (en) * 2004-01-09 2005-08-11 Vodafone Holding Gmbh Method for informative description of picture objects
EP1965344B1 (en) * 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040079800A1 (en) * 2002-10-29 2004-04-29 Fuji Xerox Co., Ltd. Document verification system
US20060240862A1 (en) * 2004-02-20 2006-10-26 Hartmut Neven Mobile image-based information retrieval system
WO2005103980A2 (en) * 2004-04-16 2005-11-03 Mobot, Inc. Mobile query system and method based on visual cues
US20060227992A1 (en) * 2005-04-08 2006-10-12 Rathus Spencer A System and method for accessing electronic data via an image search engine

Also Published As

Publication number Publication date
DE102009047797A1 (en) 2011-03-31

Similar Documents

Publication Publication Date Title
DE102013213841B4 (en) Intelligent POS system
EP1770607B1 (en) System and method for displaying user information, in particular of augmented reality information, using tracking information stored in RFID data storage means
CN105069644A (en) Shopping client based on augmented reality, server and system
CN110942055A (en) State identification method, device and equipment for display area and storage medium
EP3465568B1 (en) Method and apparatus for capturing the content of a storage space
DE102017009505A1 (en) Create a compact video feature representation in a digital media environment
CN101685535A (en) Image processing method
DE112008000017T5 (en) Imaging images with designators
DE102014117413A1 (en) Record context to perform searches
CN106462615A (en) Information processing device, information presentation method, program, and system
DE112020000004T5 (en) Information delivery system and information delivery process
DE112018004108T5 (en) IMAGE COLLECTION SYSTEM, IMAGE COLLECTION METHOD, IMAGE COLLECTING DEVICE, RECORDING MEDIUM AND VEHICLE COMMUNICATION DEVICE
WO2011038980A1 (en) Method for object identification
DE112020000003T5 (en) Information delivery system and information delivery process
DE102015121098A1 (en) Multimodal answer to a multimodal search
US10803353B2 (en) Method and apparatus for acquiring information
EP2897093A1 (en) Personal information management system
DE112015003801T5 (en) SYSTEM AND METHOD FOR AUTOMATIC PUSHING OF LOCALLY SPECIFIC CONTENTS TO USERS
WO2012150244A1 (en) System for providing information to customers in a sales room for domestic appliances in an enhanced manner, corresponding method, and computer program product
CN117274759A (en) Infrared and visible light image fusion system based on distillation-fusion-semantic joint driving
DE102020126353A1 (en) METHODS AND SYSTEMS FOR DETECTION OF ARTICLES LEAVED IN PRODUCTS CARRIERS
CN109166057A (en) A kind of scenic spot guidance method and device
EP2287753A1 (en) Method for informative description of image objects
DE102012101916A1 (en) Method for displaying current operating parameters of element of solar system for e.g. wind turbine, on mobile data processing device e.g. smart phone, involves processing image of element of solar system using identification code
Aigner et al. The importance of loss functions for increasing the generalization abilities of a deep learning-based next frame prediction model for traffic scenes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10744696

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10744696

Country of ref document: EP

Kind code of ref document: A1