WO2020025523A1 - Verfahren und vorrichtung zur analyse eines bildes - Google Patents

Verfahren und vorrichtung zur analyse eines bildes Download PDF

Info

Publication number
WO2020025523A1
WO2020025523A1 PCT/EP2019/070325 EP2019070325W WO2020025523A1 WO 2020025523 A1 WO2020025523 A1 WO 2020025523A1 EP 2019070325 W EP2019070325 W EP 2019070325W WO 2020025523 A1 WO2020025523 A1 WO 2020025523A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
partial images
analysis
computer
analysis result
Prior art date
Application number
PCT/EP2019/070325
Other languages
English (en)
French (fr)
Inventor
Darno Alexander KETTERER
Tamara PIEK
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to EP19752955.5A priority Critical patent/EP3830745A1/de
Publication of WO2020025523A1 publication Critical patent/WO2020025523A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting

Definitions

  • the invention notification relates to a method and a device for analyzing an image.
  • WO 2015175736 A1 discloses a method for analyzing an image. Characteristics are recognized in the image and the characteristics automatically
  • DE 102012109096 A1 discloses a method for the sequential provision of data representing personalized information, in particular in the form of videos.
  • the method for analyzing an image provides the following steps: providing an image on a user computer; Splitting the provided image into at least two partial images on the user computer; Transferring the partial images from the user computer to at least one analysis computer in order to determine an analysis result of the partial images to be analyzed by means of the analysis computer; and receiving the analysis result by means of the analysis computer of the user computer.
  • the image itself cannot therefore be directly analyzed on the analysis computer.
  • a computer can be understood to mean a local or a remote computer.
  • the local computer can be a computer, a notebook, a smartphone or an alternative wearable with image processing means.
  • the remote computer can be a cloud or a server, for example. The is preferred
  • User computer is a local computer and the analysis computer is a remote computer.
  • the image is divided or cut into partial images by uniform or uneven division.
  • the image is preferably divided into at least two partial images that have no overlap area. It is conceivable that the image is halved horizontally or vertically or diagonally into two partial images.
  • the image can be divided or rasterized into 4, 9, 16, 25, 36, ... same-sized partial images. It is also conceivable that the image is divided into one or more outer edge areas of the image and into one or more inner areas of the image in order to generate the partial images.
  • Analysis computer provided to determine the analysis result of the partial images to be analyzed. This can also be numerically complex
  • Image analysis methods are used to analyze the partial images, which cannot be carried out efficiently on the user computer.
  • a step of transferring the analysis result from the analysis computer to the user computer is advantageously provided.
  • the transmission can take place by means of a wireless or a wired communication connection.
  • the transmission takes place via mobile radio.
  • the analysis result can be made available to a user of the user computer.
  • an image recognition process can an image recognition software known from the prior art can be understood, which is set up to recognize an object in an image and to assign a keyword or a key word or a keyword to the recognized object. This enables the recognition of image objects or parts of image objects that are shown in the partial image.
  • Sub-images comprises a step of recognizing at least one image object in the respective sub-image in order to determine the analysis result of the sub-images based on the recognized image objects. This makes it possible to link recognized image objects from partial images in the analysis result or on the user computer.
  • Sub-images comprises a step of generating at least one keyword for the image object recognized in the respective sub-image in order to determine the analysis result of the sub-images based on the generated keywords. This provides keywords for an interpretation of the image.
  • the method advantageously comprises a step of determining an overall analysis result of the image, in particular a semantic description of the image, on the user computer based on the
  • the description of the picture can be, for example, a linguistic description of the picture. This improves data protection when using commercial image processing service providers.
  • the method advantageously includes a step of determining a weight of each of the partial images in order to determine the overall analysis result of the image, in particular the semantic description of the image, using the determined weights of the partial images.
  • a weight of a partial image of an image can be understood as a quantitative measure for a meaning or importance of a partial image relative to the image or further partial images of the image. It is thus possible not to use all picture objects for the
  • the received analysis result is only taken into account for the partial images whose determined weight is greater than or equal to a predetermined and / or predefinable threshold value. This enables keywords for an interpretation of the image to be divided into important and unimportant ones.
  • the weights of the partial images are determined based on a color analysis of the individual partial images and / or a color analysis of the image and / or on a position of the partial images in the image.
  • the weights of the partial images can also be based on
  • Color analysis improves the analysis result because correlations are recognizable based on the same or similar colors.
  • the partial images of the image are transmitted to the same analysis computer or to different analysis computers at predetermined and / or predefinable time intervals. This improves the
  • a computer program comprising instructions that cause the device to carry out the method steps and a computer program product that does the
  • Computer program includes are also the subject of the invention.
  • FIG. 3 schematically shows steps in a method for analyzing an image.
  • a first image 100 to be analyzed is shown schematically in FIG.
  • the image 100 is displayed, for example, on a user computer which is designed to divide the image 100 into partial images.
  • FIG. 1 shows a grid with columns A to E and lines 1 to 3, in which the resulting rectangular partial images T as grid fields A1, A2, A3,
  • FIG. 1 shows a vehicle 101 in the middle of the first image 100 to be analyzed.
  • a second image 200 to be analyzed is shown schematically in FIG.
  • an animal 201 is shown in a first area 202.
  • the image 200 is divided according to the golden ratio, the first region 202 occupying one third of the entire width of the second image 200 and a second region 203 occupying two thirds of the entire width of the second image 200.
  • a division can also be made based on the picture circumstances.
  • contrasting colors of different picture objects or picture objects that do not match or differ massively from other picture objects in the picture can be used for dividing an image into
  • Drawing files can be used. A different focus can be set for the division based on age, culture, gender and personal experience / knowledge.
  • the content focus of an image can lie in different areas and thus lead to different statements about an entire scene or different context for an interpretation of an entire scene.
  • an image can be interpreted differently if the focus or a main scene of an image is clearly understood and the background or the environment is correctly interpreted, as the following examples show: Example 1: picture with crying child.
  • the child can cry from pain. This would be recognizable from a bicycle that lies on a street in the background in the same picture. In the overall context it is understandable that the child must have fallen off his bike.
  • the child can cry for joy. This would be evident from a birthday cake in the foreground of the picture. In the overall context, it is understandable that the child is moved to tears by the birthday cake.
  • This living room contains, for example, a television, a sofa, a carpet, a cat, a fireplace and a red wine glass.
  • a television for example, a television, a sofa, a carpet, a cat, a fireplace and a red wine glass.
  • different picture objects in this room should be emphasized for different people and as the main message in the picture
  • a child would be the first or mainly the cat, a woman would see the red wine glass, or a man would watch the television.
  • the following describes a solution that is able to analyze separately analyzed image objects of an image to such an extent that a logical relationship is recognized.
  • the focused object becomes more concrete or the focused image objects of the image are highlighted on the basis of an algorithm developed for this.
  • keywords are used to describe partial images of the image and to describe the image.
  • conventional image recognition software provides the following description as a result of recognition of the image from FIG. 1:
  • the keywords are called tags.
  • An exemplary detailing of the description also includes individual trust values or
  • a device in particular the user computer 300, is designed to divide a provided image, in the example the image from FIG. 1, into at least two partial images T.
  • the user computer 300 is designed to transmit the partial images T to at least one analysis computer 304, 306, in particular by commands according to the hypertext transfer protocol for secure communication (HTTPS).
  • User computer 300 is configured to locate and control analysis computer 304, 306 on the Internet.
  • the user computer 300 is designed to receive an analysis result of the partial images T determined on the analysis computer 304, 306 by analyzing the partial images T. For example, HTTPS responses are received.
  • the user computer 300 is designed to determine an overall analysis result of the image, in particular a semantic description of the image, based on the received analysis result of the partial images T.
  • the user computer 300 is designed, for example, to determine a weight of each of the partial images T in order to determine the overall analysis result of the image, in particular the semantic description of the image, using the determined weights of the partial images T.
  • the weights of the partial images T are preferably determined based on a color analysis of the individual partial images T and / or a color analysis of the image and / or on a position of the partial images T in the image.
  • a computer program comprising instructions that cause the device to carry out the method steps described below is also provided.
  • a computer program product that
  • Computer program includes, provided.
  • an image in the example of the image 100 from FIG. 1, is provided on the user computer 300.
  • the provision of an image 100 on the user computer 300 also includes the possibility that the image is generated by the user computer 300 itself, for example by Taking a picture.
  • an image is divided into at least two partial images T on the user computer 300. In the example, the grid fields are used for this.
  • the number and size of the grid fields in the example depends on the number of pixels and the format (portrait or landscape) of the image 100. The finer a grid of the grid, the more details can be determined later. The division is advantageously symmetrical, odd and all grid fields are of equal size.
  • a first partial image A1 is sent to a first analysis computer 304.
  • a second partial image A2 is sent to a second analysis computer 306.
  • the second partial image A2 can alternatively or additionally be sent to the first analysis computer 304.
  • the partial images T are transmitted from the user computer 300 to at least one analysis computer.
  • the partial images T are analyzed on the analysis computer in order to determine an analysis result of the partial images T to be analyzed.
  • the first analysis computer 304 analyzes the first partial image A1 in a step 307 using a first image recognition software.
  • the second analysis computer 306 analyzes the second partial image A2 in step 308 using a second image recognition software.
  • Image recognition software can also be the same as the first one
  • the remaining partial images are likewise sent to one of the two analysis computers 304, 306 or to other remote analysis computers for analysis.
  • Fields T which are sent to the same analysis computer, can all or partially in specifiable Time intervals are sent to the same analysis computer.
  • Partial images T of the same image 100 can be partially or all sent to different remote analysis computers. As a result, the same analysis computer does not get the complete picture, or at least not at the same time.
  • the first analysis computer 304 sends a first result of an analysis of the first partial image A1 to the user computer 300 in a step 309.
  • the second analysis computer 306 sends a second result of an analysis of the second partial image A2 in a step 310 to the user computer 300.
  • the remaining results of the remaining analyzes of the remaining partial images are sent to the user computer 300.
  • the partial images T are, for example, each sent individually to as many commercial recognition providers or analysis computers as possible. These analysis computers then give back to the user computer as feedback of their partial image analysis carried out.
  • the partial images T of the image are preferably transmitted to the same analysis computer or to different analysis computers at predetermined and / or predefinable time intervals.
  • the partial images are analyzed using a method for image recognition in order to determine the respective analysis result.
  • the format of the results corresponds, for example, to the format specified above for the overall image analysis. Other formats can also be used.
  • the step of analyzing the partial images T preferably comprises a step of recognizing at least one image object in the respective partial image T in order to generate the analysis result of the partial images T based on the recognized image objects.
  • the step of analyzing the partial images T preferably comprises a step of generating at least one keyword of the image object recognized in the respective partial image T in order to generate based on the
  • the user computer 300 receives, for example, for each of the sub-images T sent, a sub-image analysis containing keywords that are assigned to the image objects that were acquired by the sub-image analysis in the sub-image.
  • the data of the drawing file analysis can also be more extensive, for example a position in the drawing file or a relative position of
  • the user computer 300 is designed, for example, the received ones
  • the user computer 300 is designed to determine the weights of the corresponding partial images in a step 311, preferably after all partial image analyzes have been obtained. Furthermore, a description of the image can be generated depending on a result for the weights.
  • the user computer 300 can be designed to create its own analysis of the partial images T and to compare its results with the received partial image analyzes.
  • Overall analysis result of the image in particular a semantic description of the image, is provided on the user computer 300 based on the transmitted analysis result of the partial images T, in particular based on the generated keywords of the recognized image objects.
  • a step of determining a weight of each of the partial images T is preferably provided in order to determine the overall analysis result of the image, in particular the semantic description of the image, using the determined weights of the partial images T.
  • the transmitted analysis result is preferably only for the partial images T considered, the determined weight is greater than or equal to one
  • predetermined and / or predeterminable threshold value predetermined and / or predeterminable threshold value.
  • the weights of the partial images T are preferably determined based on a color analysis of the individual partial images T and / or a color analysis of the image and / or on a position of the partial images T in the image.
  • the user computer 300 is designed to divide the image 100 into a plurality of partial images T. Each of the partial images T is analyzed for object recognition. The user computer 300 is designed to assign a weight to each keyword identified by the object recognition, and to generate the description of the image 100 from the keywords, the assigned weight of which exceeds a threshold value.
  • the determination of the weights includes the question of when the algorithm perceives one object more important than another with regard to the meaning of the partial image for the contribution to the description of the overall image. This can be determined based on several criteria.
  • Image interpretation weighted higher in relation to partial images in the image edge areas. Criteria can also be assessed on the basis of an in-depth study with different weights. With the help of a scoring model (also called ranking model or utility value analysis), 100 weights can be assigned to the drawing files in the picture, on the basis of which a prioritization can be determined.
  • a scoring model also called ranking model or utility value analysis
  • a content-related statement about the recognition of the individual image objects in the image is created by a size of the proportions or number of partial images of an image object in the overall image.
  • Scenario 1 Weights: drawing with palm tree (40%), drawing with sea (35%), drawing with beach (15%), drawing with bus (10%)
  • the overall statement in this example depends on the weights of the drawing files with the individual picture objects, for example the weights of the drawing file or the drawing files with the picture object "Bus".
  • the history of an image is based on the correctly determined one
  • Weights of the partial images are correctly told, since images which contain several image objects are correctly analyzed. This is done by directing the focus to the relevant drawing files and thus to the relevant object (bus or palm tree).
  • User computer 300 can be designed to weight partial images in the center of the image (bus) more strongly than partial images at the edge.
  • the user computer 300 can be designed to weight partial images (animal 201 in FIG. 2) more heavily in the first region 202 of the golden section than partial images in the second region of the golden section.
  • Sub-images can not only receive their weight depending on a position of an image object in sub-image T or image 100, but also depending on a position relative to another object from the same sub-image T or image 100, 200.
  • Color detection can also be carried out. This identifies the most important parts of a photo, for example. Here is a
  • the analysis computers 304, 306 described can be servers or a distributed computer architecture.
  • the user computer 300 can be a workstation computer. Alternatively, the user computer can be activated by a
  • the Device can be formed with a camera, for example by a mobile device such as a smartphone. In this way, the user computer can record an image to be analyzed.
  • the computers comprise at least one microprocessor and working memory which are designed to carry out the computer program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren und Vorrichtung zur Analyse eines Bildes wobei das Verfahren folgende Schritte aufweist -Bereitstellen (301) eines Bildes auf einem Nutzerrechner (300); -Aufteilen (302) des bereitgestellten Bildes in mindestens zwei Teilbilder auf dem Nutzerrechner (300); -Übertragen (303, 305) der Teilbilder von dem Nutzerrechner (300) an mindestens einen Analyserechner (304, 306), um mittels des Analyserechners (304, 306) ein Analyseergebnis der zu analysierenden Teilbilder (T) zu ermitteln; und-Empfangen des Analyseergebnisses des Analyserechners (304, 306) mittels des Nutzerrechners (300).

Description

Beschreibung
Titel
Verfahren und Vorrichtung zur Analyse eines Bildes
Stand der Technik
Die Erfindungsmeldung betrifft ein Verfahren und eine Vorrichtung zur Analyse eines Bildes.
WO 2015175736 A1 offenbart ein Verfahren zur Analyse eines Bildes. Hierbei werden in dem Bild Merkmale erkannt und den Merkmalen automatisch
Schlagworte zugeordnet.
DE 102012109096 A1 offenbart ein Verfahren zur sequenziellen Bereitstellung von personalisierte Informationen repräsentierenden Daten, insbesondere in Form von Videos.
Demgegenüber ist es wünschenswert, die Analyse eines Bildes zu verbessern. Offenbarung der Erfindung
Dies wird durch das Verfahren und die Vorrichtung nach den unabhängigen Ansprüchen erreicht.
Das Verfahren zur Analyse eines Bildes sieht folgende Schritte vor: Bereitstellen eines Bildes auf einem Nutzerrechner; Aufteilen des bereitgestellten Bildes in mindestens zwei Teilbilder auf dem Nutzerrechner; Übertragen der Teilbilder von dem Nutzerrechner an mindestens einen Analyserechner, um mittels des Analyserechners ein Analyseergebnis der zu analysierenden Teilbilder zu ermitteln; und Empfangen des Analyseergebnisses des Analyserechners mittels des Nutzerrechners. Das Bild selbst ist auf dem Analyserechner damit nicht unmittelbar analysierbar.
Unter einem Rechner kann ein lokaler oder ein entfernter Rechner verstanden werden. Der lokale Rechner kann ein Computer, ein Notebook, ein Smartphone oder ein alternatives Wearable mit Bildverarbeitungsmittel sein. Der entfernte Rechner kann bspw. eine Cloud oder ein Server sein. Bevorzugt ist der
Nutzerrechner ein lokaler Rechner und der Analyserechner ein entfernter Rechner.
Unter einem Teilbild kann ein Teil eines Bildes, insbesondere ein
zusammenhängender Teil eines Bildes verstanden werden. Denkbar ist, dass das Bild durch gleichmäßige oder ungleichmäßige Teilung in Teilbilder geteilt bzw. zerschnitten wird. Das Aufteilen des Bildes erfolgt bevorzugt in mindestens zwei Teilbilder, die keinen Überlappungsbereich aufweisen. Denkbar ist, dass das Bild horizontal oder vertikal oder diagonal in zwei Teilbilder halbiert wird. Alternativ, kann das Bild in 4, 9, 16, 25, 36, ... gleiche große Teilbilder geteilt bzw. gerastert werden. Denkbar ist auch, dass das Bild in ein oder mehrere äußere Randbereiche des Bildes und in ein oder mehrere innenliegende Innenbereiche des Bildes geteilt wird, um die Teilbilder zu erzeugen.
Vorteilhafterweise ist ein Schritt des Analysierens der Teilbilder auf dem
Analyserechner vorgesehen, um das Analyseergebnis der zu analysierenden Teilbilder zu ermitteln. Dadurch können auch numerisch aufwändige
Bildanalyseverfahren zur Analyse der Teilbilder verwendet werden, die auf dem Nutzerrechner nicht effizient durchgeführt werden können.
Vorteilhafterweise ist ein Schritt des Übertragens des Analyseergebnisses von dem Analyserechner an den Nutzerrechner vorgesehen. Das Übertragen kann mittels einer drahtlosen oder einer drahtgebundenen Kommunikationsverbindung erfolgen. Beispielsweise erfolgt das Übertragen mittels Mobilfunk. Dadurch kann das Analyseergebnis für einen Nutzer des Nutzerrechners bereitgestellt werden.
Vorteilhafterweise ist vorgesehen, dass die Teilbilder auf dem Analyserechner mittels eines Verfahrens zur Bilderkennung analysiert werden, um das
Analyseergebnis zu ermitteln. Unter einem Verfahren zur Bilderkennung kann eine aus dem Stand der Technik bekannte Bilderkennungssoftware verstanden werden, die eingerichtet ist, ein Objekt in einem Bild zu erkennen und dem erkannten Objekt ein Schlüsselwort bzw. ein Schlagwort bzw. ein Stichwort zuzuordnen. Dies ermöglicht das Erkennen von Bildobjekten oder Teilen von Bildobjekten, die im Teilbild dargestellt sind.
Vorteilhafterweise ist vorgesehen, dass der Schritt des Analysierens der
Teilbilder einen Schritt des Erkennens von je mindestens einem Bildobjekt in dem jeweiligen Teilbild umfasst, um basierend auf den erkannten Bildobjekten das Analyseergebnis der Teilbilder zu ermitteln. Dies ermöglicht es, erkannte Bildobjekte aus Teilbildern im Analyseergebnis oder auf dem Nutzerrechner zu verknüpfen.
Vorteilhafterweise ist vorgesehen, dass der Schritt des Analysierens der
Teilbilder einen Schritt des Erzeugens mindestens je eines Schlüsselwortes für das in dem jeweiligen Teilbild erkannte Bildobjekt umfasst, um basierend auf den erzeugten Schlüsselworten das Analyseergebnis der Teilbilder zu ermitteln. Dadurch werden Schlüsselworte für eine Interpretation des Bildes bereitgestellt.
Vorteilhafterweise umfasst das Verfahren einen Schritt des Ermittelns eines Analysegesamtergebnisses des Bildes, insbesondere einer semantischen Beschreibung des Bildes, auf dem Nutzerrechner basierend auf dem
empfangenen Analyseergebnis der Teilbilder, insbesondere basierend auf den erzeugten Schlüsselworten der erkannten Bildobjekte. Die semantische
Beschreibung des Bildes kann zum Beispiel eine sprachliche Beschreibung des Bildes sein. Dies verbessert den Datenschutz bei der Verwendung kommerzieller Bildverarbeitungsdienstleister.
Vorteilhafterweise umfasst das Verfahren einen Schritt des Ermittelns je eines Gewichts der Teilbilder, um unter Verwendung der ermittelten Gewichte der Teilbilder das Analysegesamtergebnis des Bildes, insbesondere die semantische Beschreibung des Bildes, zu ermitteln. Unter einem Gewicht eines Teilbildes eines Bildes kann ein quantitatives Maß für eine Bedeutung bzw. Wichtigkeit eines Teilbildes relativ zu dem Bild bzw. weiteren Teilbildern des Bildes verstanden werden. Damit ist es möglich, nicht alle Bildobjekte für die
Beschreibung des Bildes zu verwenden. Vorteilhafterweise ist vorgesehen, dass beim Ermitteln des
Analysegesamtergebnisses des Bildes, insbesondere der semantischen
Beschreibung des Bildes, das empfangene Analyseergebnis nur für die Teilbilder berücksichtigt wird, deren ermitteltes Gewicht größer oder gleich einem vorgegebenen und/oder vorgebbaren Schwellenwert ist. Dies ermöglicht es Schlüsselworte für eine Interpretation des Bildes in wichtige und unwichtige zu unterteilen.
Vorteilhafterweise ist vorgesehen, dass die Gewichte der Teilbilder basierend auf einer Farbanalyse der einzelnen Teilbilder und/oder einer Farbanalyse des Bildes und/oder auf einer Position der Teilbilder in dem Bild ermittelt werden.
Alternativ oder zusätzlich können die Gewichte der Teilbilder auch auf
Flächeninhalten bzw. Größen der Teilbilder basieren. Die Farbanalyse verbessert das Analyseergebnis, da Zusammenhänge basierend auf derselben oder ähnlichen Farben erkennbar sind.
Vorteilhafterweise ist vorgesehen, dass die Teilbilder des Bildes in vorgegebenen und/oder vorgebbaren Zeitabständen an denselben Analyserechner oder an verschiedene Analyserechner übertragen werden. Dies verbessert den
Datenschutz, da Teilbilder nicht oder nicht zeitgleich beim gleichen
Analyserechner analysiert werden.
Eine Vorrichtung, die ausgebildet ist dieses Verfahren auszuführen, ein
Computerprogramm, umfassend Befehle, die bewirken, dass die Vorrichtung die Verfahrensschritte ausführt und ein Computerprogrammprodukt, das das
Computerprogramm umfasst, sind ebenfalls Gegenstand der Erfindung.
Weitere vorteilhafte Ausgestaltungen ergeben sich aus der folgenden
Beschreibung und der Zeichnung. In der Zeichnung zeigt
Fig. 1 schematisch ein erstes Bild,
Fig. 2 schematisch ein zweites Bild,
Fig. 3 schematisch Schritte in einem Verfahren zur Analyse eines Bildes. In Figur 1 ist schematisch ein zu analysierendes erstes Bild 100 dargestellt.
Das Bild 100 wird beispielsweise auf einem Nutzerrechner dargestellt, der ausgebildet ist das Bild 100 in Teilbilder aufzuteilen.
In Figur 1 ist ein Gitternetz mit Spalten A bis E und Zeilen 1 bis 3 dargestellt, in dem die resultierenden rechteckförmigen Teilbilder T als Gitterfelder A1 , A2, A3,
B 1 , B2, B3, C1 , C2, C3, D1 , D2, D3, E1 , E2, E3 identifiziert sind.
In Figur 1 ist ein Fahrzeug 101 in der Mitte des zu analysierenden ersten Bildes 100 dargestellt.
In Figur 2 ist schematisch ein zu analysierendes zweites Bild 200 dargestellt. Im zweiten Bild ist ein Tier 201 in einem ersten Bereich 202 dargestellt. Das Bild 200 ist im Beispiel nach dem goldenen Schnitt aufgeteilt, wobei der erste Bereich 202 ein Drittel der gesamten Breite des zweiten Bildes 200 einnimmt und ein zweiter Bereich 203 zwei Drittel der gesamten Breite des zweiten Bildes 200 einnimmt.
Außer der Aufteilung nach geometrischen Verhältnissen wie Breite oder Länge einer Bildseite, kann eine Aufteilung durch die Bildumstände erfolgen.
Beispielsweise können sich voneinander absetzende Farben verschiedener Bildobjekte oder Bildobjekte, die nicht zu anderen Bildobjekte im Bild passen oder sich massiv davon unterscheiden, für die Aufteilung eines Bildes in
Teilbilder verwendet werden. Dabei kann ein unterschiedlicher Fokus für die Aufteilung auch auf Grund von Alter, Kultur, Geschlecht und persönlichen Erfahrungen/Wissen gesetzt werden.
Der inhaltliche Fokus eines Bildes kann in unterschiedlichen Bereichen liegen und somit zu unterschiedlichen Aussagen über eine gesamte Szene oder unterschiedlichen Kontext für eine Interpretation einer gesamten Szene führen.
Allgemein kann ein Bild unterschiedlich Interpretiert werden, wenn der inhaltliche Fokus oder eine Hauptszene eines Bildes eindeutig verstanden und auch der Hintergrund oder die Umgebung richtig interpretiert wird, wie die folgenden Beispiele zeigen: Bsp. 1 : Bild mit weinendem Kind.
Das Kind kann vor Schmerz weinen. Dies wäre an einem Fahrrad erkennbar, das im selben Bild auf einer Straße im Hintergrund liegt. Im Gesamtkontext ist dann verständlich, dass das Kind von seinem Fahrrad gestürzt sein muss.
Alternativ kann das Kind vor Freude weinen. Dies wäre an einer Geburtstagstorte im Vordergrund des Bildes erkennbar. Im Gesamtkontext ist dann verständlich, dass das Kind von der Geburtstagstorte zu Tränen gerührt ist.
Bsp. 2: Bild eines Wohnzimmers.
Dieses Wohnzimmer enthält beispielsweise einen Fernseher, ein Sofa, einen Teppich, eine Katze, einen Kamin und ein Rotweinglas. Je nach Persönlichkeit oder Umständen sind für verschiedene Menschen verschiedene Bildobjekte in diesem Zimmer hervorzuheben und als die Hauptaussage im Bild zu
beschreiben.
Personen unterschiedlichen Geschlechtes und Alters sehen auf diesem Bild als erstes unterschiedliche Bildobjekte. Beispielsweise würde ein Kind als erstes bzw. hauptsächlich die Katze, eine Frau würde das Rotweinglas oder ein Mann den Fernseher sehen.
Das bedeutet, dass der inhaltliche Fokus desselben Bildes je nach Betrachter und Situation variabel sein kann.
Durch die separate Analyse von Teilbildern des Bildes statt einer
zusammenhängenden Analyse aller Bildobjekten im (Gesamt-) Bild sind
Zusammenhänge zwischen den einzelnen Bildobjekten nicht erkennbar. Dadurch ist eine zusammenhängende, einheitliche Aussage über die eigentliche Intention des Bildes nicht automatisiert möglich. Mit anderen Worten: Wird ein Objekt isoliert vom Rest des Bildes betrachtet und analysiert, besteht die Gefahr, dass die Intention des Gesamtbildes nicht erfasst wird und somit verloren geht. Daher wird eine Situationsanalyse in der automatischen Bilderkennung vorgeschlagen, durch die eine zuverlässigere Gesamtbildaussage erfolgt.
Im Folgenden wird ein Lösungsansatz beschrieben, der in der Lage ist, separat analysierten Bildobjekte eines Bildes so weitgehend zu analysieren, dass ein logischer Zusammenhang erkannt wird. Konkreter wird das fokussierte Objekt oder werden die fokussierten Bildobjekte des Bildes auf der Grundlage eines hierfür entwickelten Algorithmus herausgestellt.
In der folgenden Beschreibung werden Schlüsselworte für die Beschreibung von Teilbildern des Bildes und die Beschreibung des Bildes verwendet.
Beispielhaft liefert eine herkömmliche Bilderkennungssoftware als Ergebnis einer Erkennung des Bildes aus Figur 1 die folgende Beschreibung:
{ "tags": [ "palm", "outdoor", "truck", "road", "car", "front", "street", "green", "light", "parked", "decorated", "tree", "driving", "beach", "board", "yellow", "white", "blue", "standing", "traffic", "surfing", "red", "riding", "ocean" ], "captions":
[ { "text": "a truck is parked in front of a palm tree",
"confidence": 0.936380148 } ] }
Mit Tags werden die Schlüsselwörter bezeichnet. Eine beispielhafte Detaillierung der Beschreibung beinhaltet zudem einzelne Vertrauenswerte bzw.
Konfidenzwerte für bestimmte Tags:
[ { "name": "tree", "confidence": 0.999907732 }, { "name":
"palm", "confidence": 0.9944944 }, { "name": "sky",
"confidence": 0.988993347 }, { "name": "outdoor",
"confidence": 0.9762288 }, { "name": "truck", "confidence":
0.9679184 }, { "name": "road", "confidence": 0.966806054 }]
Diese Gesamtbildanalyse wird, wie im Folgenden anhand der Figur 1 und der Figur 3 beschrieben, weiter verbessert. Dasselbe Vorgehen kann auch auf das Bild aus Figur 2 angewendet werden. Eine Vorrichtung, insbesondere der Nutzerrechner 300, ist ausgebildet, ein bereitgestelltes Bild, im Beispiel das Bild aus Figur 1 , in mindestens zwei Teilbilder T aufzuteilen.
Der Nutzerrechner 300 ist ausgebildet, die Teilbilder T an mindestens einen Analyserechner 304, 306 insbesondere durch Befehle nach dem Hypertext Transfer Protokoll for secure communication (HTTPS) zu übertragen. Der Nutzerrechner 300 ist konfiguriert den Analyserechner 304, 306 im Internet zu lokalisieren und anzusteuern.
Der Nutzerrechner 300 ist ausgebildet, ein auf dem Analyserechner 304, 306 mittels Analysieren der Teilbilder T ermitteltes Analyseergebnis der Teilbilder T zu empfangen. Dazu werden beispielsweise HTTPS Antworten empfangen.
Der Nutzerrechner 300 ist ausgebildet ein Analysegesamtergebnis des Bildes, insbesondere eine semantische Beschreibung des Bildes, basierend auf dem empfangenen Analyseergebnis der Teilbilder T zu ermitteln.
Der Nutzerrechner 300 ist dazu beispielsweise ausgebildet, je ein Gewicht der Teilbilder T zu ermitteln, um unter Verwendung der ermittelten Gewichte der Teilbilder T das Analysegesamtergebnis des Bildes, insbesondere die semantische Beschreibung des Bildes, zu ermitteln. Vorzugsweise werden die Gewichte der Teilbilder T basierend auf einer Farbanalyse der einzelnen Teilbilder T und/oder einer Farbanalyse des Bildes und/oder auf einer Position der Teilbilder T in dem Bild ermittelt.
Ein Computerprogramm, umfassend Befehle, die bewirken, dass die Vorrichtung die im Folgenden beschriebenen Verfahrensschritte ausführt, ist ebenfalls vorgesehen. Vorzugsweise ist ein Computerprogrammprodukt, das das
Computerprogramm umfasst, vorgesehen.
In einem Schritt 301 erfolgt ein Bereitstellen eines Bildes, im Beispiel des Bildes 100 aus Figur 1 , auf dem Nutzerrechner 300. Das Bereitstellen eines Bildes 100 auf dem Nutzerrechner 300 umfasst auch die Möglichkeit, dass das Bild vom Nutzerrechner 300 selbst erzeugt wird, z.B. durch Aufnahme eines Bildes. In einem anschließenden Schritt 302 erfolgt auf dem Nutzerrechner 300 eine Bildaufteilung in mindestens zwei Teilbilder T. Im Beispiel werden dazu die Gitterfelder verwendet.
Die Anzahl und Größe der Gitterfelder ist dabei im Beispiel abhängig von der Pixelanzahl und dem Format (Hoch- oder Querformat) des Bildes 100. Je feiner ein Raster des Gitternetzes, desto mehr Details können später ermittelt werden. Vorteilhafterweise ist die Einteilung symmetrisch, ungerade und alle Gitterfelder sind gleich groß.
In einem anschließenden Schritt 303 wird ein erstes Teilbild A1 an einen ersten Analyserechner 304 gesendet.
In einem anschließenden vierten Schritt 305 wird ein zweites Teilbild A2 an einen zweiten Analyserechner 306 gesendet. Das zweite Teilbild A2 kann auch alternativ oder zusätzlich an den ersten Analyserechner 304 gesendet werden.
Allgemein erfolgt ein Übertragen der Teilbilder T von dem Nutzerrechner 300 an mindestens einen Analyserechner.
In einem anschließenden Schritt erfolgt ein Analysieren der Teilbilder T auf dem Analyserechner, um ein Analyseergebnis der zu analyiserenden Teilbilder T zu ermitteln.
Der erste Analyserechner 304 analysiert im Beispiel das erste Teilbild A1 in einem Schritt 307 durch eine erste Bilderkennungssoftware.
Der zweite Analyserechner 306 analysiert das zweite Teilbild A2 in dem Schritt 308 durch eine zweite Bilderkennungssoftware. Die zweite
Bilderkennungssoftware kann auch dieselbe sein, wie die erste
Bilderkennungssoftware.
In weiteren Schritten, die in Figur 3 nicht dargestellt sind, werden die übrigen Teilbilder ebenfalls an einen der beiden Analyserechner 304, 306 oder an andere entfernte Analyserechner zur Analyse gesendet. Teilbilder T, die an denselben Analyserechner gesendet werden, können alle oder teilweise in vorgebbaren Zeitabständen an denselben Analyserechner versendet werden. Teilbilder T desselben Bildes 100 können teilweise oder alle auch an verschiedene entfernte Analyserechner gesendet werden. Dadurch erhält derselbe Analyserechner nicht oder zumindest nicht zeitgleich das vollständige Bild.
Der erste Analyserechner 304 sendet ein erstes Ergebnis einer Analyse des ersten Teilbilds A1 in einem Schritt 309 an den Nutzerrechner 300.
Der zweite Analyserechner 306 sendet ein zweites Ergebnis einer Analyse des zweiten Teilbilds A2 in einem Schritt 310 an den Nutzerrechner 300.
Allgemein erfolgt ein Übertragen des Analyseergebnisses von dem
Analyserechner an den Nutzerrechner 300.
In weiteren Schritten, die in Figur 3 nicht dargestellt sind, werden die übrigen Ergebnisse der übrigen Analysen der übrigen Teilbilder an den Nutzerrechner 300 gesendet.
Die Teilbilder T werden beispielsweise jeweils einzeln an möglichst viele kommerzielle Recognition-Anbieter bzw. Analyserechner gesendet. Diese Analyserechner geben anschließend als Rückmeldung ihrer durchgeführten Teilbildanalyse an den Nutzerrechner zurück.
Vorzugweise werden die Teilbilder T des Bildes in vorgegebenen und/oder vorgebbaren Zeitabständen an denselben Analyserechner oder an verschiedene Analyserechner übertragen.
Allgemein werden die Teilbilder mittels eines Verfahrens zur Bilderkennung analysiert, um das jeweilige Analyseergebnis zu ermitteln. Das Format der Ergebnisse entspricht beispielsweise dem oben für die Gesamtbildanalyse angegebenen Format. Es können auch andere Formate verwendet werden.
Der Schritt des Analysierens der Teilbilder T umfasst vorzugsweise einen Schritt des Erkennens von je mindestens einem Bildobjekt in dem jeweiligen Teilbild T, um basierend auf den erkannten Bildobjekten das Analyseergebnis der Teilbilder T zu erzeugen. Der Schritt des Analysierens der Teilbilder T umfasst vorzugsweise einen Schritt des Erzeugens mindestens je eines Schlüsselwortes des in dem jeweiligen Teilbild T erkannten Bildobjektes, um basierend auf den erzeugen
Schlüsselworten das Analyseergebnis der Teilbilder T zu erzeugen.
Der Nutzerrechner 300 empfängt beispielsweise für jedes der versendeten Teilbilder T eine Teilbildanalyse, in der Schlüsselwörter enthalten sind, die den Bildobjekten zugeordnet sind, die durch die Teilbildanalyse im Teilbild erfasst wurden. Die Daten der Teilbildanalyse können auch umfangreicher sein und beispielsweise eine Position im Teilbild oder eine relative Position von
Bildobjekten zueinander darstellen.
Der Nutzerrechner 300 ist beispielsweise ausgebildet, die empfangenen
Teilbildanalysen zu speichern bis alle Teilbildanalysen vorliegen.
Der Nutzerrechner 300 ist ausgebildet, in einem Schritt 311 , vorzugsweise nach dem Erhalt aller Teilbildanalysen, Gewichte der entsprechenden Teilbilder zu ermitteln. Weiter kann abhängig von einem Ergebnis für die Gewichte eine Beschreibung des Bildes erzeugt werden. Der Nutzerrechner 300 kann ausgebildet sein, eine eigene Analyse zu den Teilbildern T zu erstellen und seine Ergebnisse mit den empfangenen Teilbildanalysen abzugleichen.
Hierbei ist vorzugsweise ein Schritt des Ermittelns eines
Analysegesamtergebnisses des Bildes, insbesondere einer semantischen Beschreibung des Bildes, auf dem Nutzerrechner 300 basierend auf dem übertragenen Analyseergebnis der Teilbilder T, insbesondere basierend auf den erzeugten Schlüsselworten der erkannten Bildobjekte, vorgesehen.
Vorzugsweise ist ein Schritt des Ermittelns je eines Gewichts der Teilbilder T vorgesehen, um unter Verwendung der ermittelten Gewichte der Teilbilder T das Analysegesamtergebnis des Bildes, insbesondere die semantische Beschreibung des Bildes, zu ermitteln. Beim Ermitteln des Analysegesamtergebnisses des Bildes, insbesondere der semantischen Beschreibung des Bildes, wird vorzugsweise das übertragene Analyseergebnis nur für die Teilbilder T berücksichtigt, deren ermitteltes Gewicht größer oder gleich einem
vorgegebenen und/oder vorgebbaren Schwellenwert ist.
Vorzugsweise werden die Gewichte der Teilbilder T basierend auf einer Farbanalyse der einzelnen Teilbilder T und/oder einer Farbanalyse des Bildes und/oder auf einer Position der Teilbilder T in dem Bild ermittelt.
In einem Beispiel ist der Nutzerrechner 300 ausgebildet, das Bild 100 in eine Vielzahl Teilbilder T aufzuteilen. Jedes der Teilbilder T wird zur Objekt- Erkennung analysiert. Der Nutzerrechner 300 ist ausgebildet, jedem durch die Objekt-Erkennung erkannten Schlüsselwort ein Gewicht zuzuordnen, und die Beschreibung des Bildes 100 aus den Schlüsselworten zu erzeugen, deren zugeordnetes Gewicht einen Schwellwert überschreitet.
Das Ermitteln der Gewichte umfasst die Frage, wann der Algorithmus ein Objekt wichtiger empfindet als ein anderes bezüglich der Bedeutung des Teilbildes zum Beitrag zur Beschreibung des Gesamtbildes. Dies kann abhängig von mehreren Kriterien festgelegt werden.
Beispielsweise werden Teilbilder in der Mitte des Bildes 100 für die
Bildinterpretation, im Verhältnis zu Teilbilder in den Bildrandbereichen höher gewichtet. Kriterien können auch auf Basis einer tiefgehenden Studie mit verschiedenen Gewichten bewertet werden. Mit Hilfe eines Scoring Modelles (auch Rangfolge-Modell oder Nutzwertanalyse genannt) können den Teilbildern im Bild 100 Gewichte zugeteilt werden, aufgrund derer sich eine Priorisierung feststellen lässt.
Beispielsweise wird durch eine Größe der Anteile bzw. Anzahl von Teilbildern eines Bildobjektes am Gesamtbild eine inhaltliche Aussage über die Erkennung der einzelnen Bildobjekte im Bild hinaus erstellt.
Am Beispiel aus Figur 1 :
Teilbilder mit Bildobjekten: Strand, Meer, Palme, Bus
Szenario 1 : Gewichte: Teilbild mit Palme (40%), Teilbild mit Meer (35%), Teilbild mit Strand (15%), Teilbild mit Bus (10%)
Gesamtaussage: Bild mit Palme im Urlaub (eventuell Werbung für ein
Urlaubsziel)
Szenario 2:
Gewichte: Teilbild mit Bus (40%), Teilbild mit Strand (35%), Teilbild mit Palme (15%), Teilbild mit Meer (10%)
Gesamtaussage: Bild von Bus am Strand (eventuell Werbung für ein Auto)
Die Gesamtaussage in diesem Beispiel hängt von den Gewichten der Teilbilder mit den einzelnen Bildobjekten ab, zum Beispiel der Gewichte des Teilbildes bzw. der Teilbilder mit dem Bildobjekt„Bus“.
Die Geschichte eines Bildes wird basierend auf den korrekt ermittelten
Gewichten der Teilbilder richtig erzählt, da Bilder, die mehrere Bildobjekte enthalten, richtig analysiert werden. Dies erfolgt durch die Lenkung des Fokus auf die relevanten Teilbilder und somit auf das relevante Objekt (Bus oder Palme).
Der Nutzerrechner 300 kann ausgebildet sein, Teilbilder in der Bildmitte (Bus) stärker zu gewichten als Teilbilder am Rand. Alternativ kann der Nutzrechner 300 ausgebildet sein, Teilbilder (Tier 201 in Figur 2) im ersten Bereich 202 des goldenen Schnitts stärker zu gewichten als Teilbilder im zweiten Bereich des goldenen Schnitts.
Teilbilder können ihr Gewicht nicht nur abhängig von einer Position eines Bildobjektes im Teilbild T oder Bild 100 erhalten, sondern auch abhängig von einer Position relativ zu einem anderen Objekt aus demselben Teilbild T oder Bild 100, 200.
Zudem kann eine Farberkennung erfolgen. Damit werden die wichtigsten Bestandteile beispielsweise eines Fotos identifiziert. Hierbei wird eine
Änderungsrate der Bildpunkte betrachtet. Dazu werden Pixel des Fotos mit Abweichungstoleranzwerten analysiert, die je nach Skalenwerten von Farben anzugeben sind. Entdeckt die Bilderkennungssoftware in einem gewissen Teilbild T eine starke farbliche Änderung der Bildpunkte, so wird im Beispiel davon ausgegangen, dass sich hier ein wichtiger Bestandteil des Fotos befindet. Ein entsprechendes Teilbild wird höher gewichtet. Bei den beschriebenen Analyserechnern 304, 306 kann es sich um Server oder eine verteilte Rechnerarchitektur handeln. Der Nutzerrechner 300 kann ein Arbeitsplatzrechner sein. Alternativ kann der Nutzerrechner durch eine
Vorrichtung mit einer Kamera ausgebildet sein, zum Beispiel durch ein mobiles Endgerät wie ein Smartphone. So kann der Nutzerrechner ein zu analysierendes Bild selbst aufnehmen. Die Rechner umfassen wenigstens einen Mikroprozessor und Arbeitsspeicher, die ausgebildet sind, das Computerprogramm zur
Durchführung von Schritten des beschriebenen Verfahrens auszuführen.

Claims

Ansprüche
1. Verfahren zur Analyse eines Bildes (100) mit folgenden Schritten:
Bereitstellen (301 ) eines Bildes (100) auf einem Nutzerrechner (300); Aufteilen (302) des bereitgestellten Bildes (100) in mindestens zwei Teilbilder (T) auf dem Nutzerrechner (300);
Übertragen (303, 305) der Teilbilder (T) von dem Nutzerrechner (300) an mindestens einen Analyserechner (304, 306), um mittels des Analyserechners (304, 306) ein Analyseergebnis der zu analysierenden Teilbilder (T) zu ermitteln; und
Empfangen des Analyseergebnisses des Analyserechners (304,
306) mittels des Nutzerrechners (300).
2. Verfahren nach Anspruch 1 , gekennzeichnet durch einen Schritt des Analysierens (307, 308) der Teilbilder (T) auf dem Analyserechner (304, 306), um das Analyseergebnis der zu analysierenden Teilbilder (T) zu ermitteln.
3. Verfahren nach Anspruch 1 oder 2, gekennzeichnet durch einen Schritt des Übertragens (309, 310) des Analyseergebnisses von dem
Analyserechner (304, 306) an den Nutzerrechner (300).
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Teilbilder (T) auf dem Analyserechner (304, 306) mittels eines
Verfahrens zur Bilderkennung analysiert werden, um das
Analyseergebnis zu ermitteln.
5. Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass der Schritt des Analysierens der Teilbilder (T) einen Schritt des Erkennens von je mindestens einem Bildobjekt in dem jeweiligen Teilbild (T) umfasst, um basierend auf den erkannten Bildobjekten das
Analyseergebnis der Teilbilder (T) zu ermitteln.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Schritt des Analysierens der Teilbilder (T) einen Schritt des Erzeugens mindestens je eines Schlüsselwortes für das in dem jeweiligen Teilbild (T) erkannte Bildobjekt umfasst, um basierend auf den erzeugten Schlüsselworten das Analyseergebnis der Teilbilder (T) zu ermitteln.
7. Verfahren nach einem der vorherigen Ansprüche, gekennzeichnet durch einen Schritt (311 ) des Ermittelns eines Analysegesamtergebnisses des Bildes, insbesondere einer semantischen Beschreibung des Bildes, auf dem Nutzerrechner (300) basierend auf dem empfangenen
Analyseergebnis der Teilbilder (T), insbesondere basierend auf den erzeugten Schlüsselworten der erkannten Bildobjekte.
8. Verfahren nach Anspruch 7, gekennzeichnet durch einen Schritt des Ermittelns je eines Gewichts der Teilbilder (T), um unter Verwendung der ermittelten Gewichte der Teilbilder (T) das Analysegesamtergebnis des Bildes, insbesondere die semantische Beschreibung des Bildes, zu ermitteln.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass beim
Ermitteln des Analysegesamtergebnisses des Bildes, insbesondere der semantischen Beschreibung des Bildes, das empfangene
Analyseergebnis nur für die Teilbilder (T) berücksichtigt wird, deren ermitteltes Gewicht größer oder gleich einem vorgegebenen und/oder vorgebbaren Schwellenwert ist.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Gewichte der Teilbilder (T) basierend
auf einer Farbanalyse der einzelnen Teilbilder (T) und/oder einer
Farbanalyse des Bildes und/oder
auf einer Position der Teilbilder (T) in dem Bild ermittelt werden.
1 1. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, dass die Teilbilder (T) des Bildes
in vorgegebenen und/oder vorgebbaren Zeitabständen an denselben
Analyserechner (304, 306) oder an verschiedene Analyserechner (304, 306) übertragen werden.
12. Vorrichtung, insbesondere Nutzerrechner (300), zur Analyse eines
Bildes, die ausgebildet ist,
ein bereitgestelltes Bild in mindestens zwei Teilbilder (T) aufzuteilen, die Teilbilder (T) an mindestens einen Analyserechner (304, 306) zu übertragen, und
ein auf dem Analyserechner (304, 306) mittels Analysieren der Teilbilder (T) ermitteltes Analyseergebnis der Teilbilder (T) zu empfangen.
13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass die
Vorrichtung ausgebildet ist, ein Analysegesamtergebnis des Bildes, insbesondere eine semantische Beschreibung des Bildes, basierend auf dem empfangenen Analyseergebnis der Teilbilder (T) zu ermitteln.
14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die
Vorrichtung ausgebildet ist, je ein Gewicht der Teilbilder (T) zu ermitteln, um unter Verwendung der ermittelten Gewichte der Teilbilder (T) das Analysegesamtergebnis des Bildes, insbesondere die semantische Beschreibung des Bildes, zu ermitteln.
15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass die
Vorrichtung ausgebildet ist, die Gewichte der Teilbilder (T) basierend auf einer Farbanalyse der einzelnen Teilbilder (T) und/oder einer Farbanalyse des Bildes und/oder
auf einer Position der Teilbilder (T) in dem Bild zu ermitteln.
16. System zur Analyse eines Bildes mit einer ersten Vorrichtung,
insbesondere einem Nutzerrechner (300), nach einem der Ansprüche 12 bis 15 und einer zweiten Vorrichtung, insbesondere einem
Analyserechner (304, 306), die ausgebildet ist,
von der ersten Vorrichtung übertragene Teilbilder (T) zu empfangen, die empfangenen Teilbilder (T) zu analysieren, um das Analyseergebnis der zu analysierenden Teilbilder (T) zu ermitteln, und das Analyseergebnis an die erste Vorrichtung zu übertragen.
17. Computerprogramm, umfassend Befehle, die bewirken, dass die
Vorrichtung nach einem der Ansprüche 12 bis 15 und/oder das System nach Anspruch 16 die Verfahrensschritte nach einem der Ansprüche 1 bis 11 ausführt.
18. Computerprogrammprodukt, dadurch gekennzeichnet, dass das
Computerprogrammprodukt ein Computerprogramm nach Anspruch 17 umfasst.
PCT/EP2019/070325 2018-08-02 2019-07-29 Verfahren und vorrichtung zur analyse eines bildes WO2020025523A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19752955.5A EP3830745A1 (de) 2018-08-02 2019-07-29 Verfahren und vorrichtung zur analyse eines bildes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018212961.4 2018-08-02
DE102018212961.4A DE102018212961A1 (de) 2018-08-02 2018-08-02 Verfahren und Vorrichtung zur Analyse eines Bildes

Publications (1)

Publication Number Publication Date
WO2020025523A1 true WO2020025523A1 (de) 2020-02-06

Family

ID=67620390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/070325 WO2020025523A1 (de) 2018-08-02 2019-07-29 Verfahren und vorrichtung zur analyse eines bildes

Country Status (3)

Country Link
EP (1) EP3830745A1 (de)
DE (1) DE102018212961A1 (de)
WO (1) WO2020025523A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004061807A1 (de) * 2004-12-22 2006-07-06 Robert Bosch Gmbh Bilderfassungssystem
US20090016616A1 (en) * 2007-02-19 2009-01-15 Seiko Epson Corporation Category Classification Apparatus, Category Classification Method, and Storage Medium Storing a Program
US20090136125A1 (en) * 2005-06-27 2009-05-28 Pioneer Corporation Image analysis device and image analysis method
DE102012109096A1 (de) 2012-09-26 2014-03-27 Iqser Ip Ag Verfahren zur sequenziellen Bereitstellung von personalisierte Informationen repräsentierenden Daten, insbesondere in Form von Videos und dergleichen, insbesondere für ein personalisiertes Fernsehprogramm
WO2015175736A1 (en) 2014-05-16 2015-11-19 Microsoft Technology Licensing, Llc Natural language image search
US20180113997A1 (en) * 2016-10-25 2018-04-26 Panasonic Intellectual Property Corporation Of America Image processing method, image processing system, recording medium storing program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US8532390B2 (en) * 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004061807A1 (de) * 2004-12-22 2006-07-06 Robert Bosch Gmbh Bilderfassungssystem
US20090136125A1 (en) * 2005-06-27 2009-05-28 Pioneer Corporation Image analysis device and image analysis method
US20090016616A1 (en) * 2007-02-19 2009-01-15 Seiko Epson Corporation Category Classification Apparatus, Category Classification Method, and Storage Medium Storing a Program
DE102012109096A1 (de) 2012-09-26 2014-03-27 Iqser Ip Ag Verfahren zur sequenziellen Bereitstellung von personalisierte Informationen repräsentierenden Daten, insbesondere in Form von Videos und dergleichen, insbesondere für ein personalisiertes Fernsehprogramm
WO2015175736A1 (en) 2014-05-16 2015-11-19 Microsoft Technology Licensing, Llc Natural language image search
US20180113997A1 (en) * 2016-10-25 2018-04-26 Panasonic Intellectual Property Corporation Of America Image processing method, image processing system, recording medium storing program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAODAN ZHANG ET AL: "Rich Image Description Based on Regions", MULTIMEDIA, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, 13 October 2015 (2015-10-13), pages 1315 - 1318, XP058076529, ISBN: 978-1-4503-3459-4, DOI: 10.1145/2733373.2806338 *

Also Published As

Publication number Publication date
DE102018212961A1 (de) 2020-02-06
EP3830745A1 (de) 2021-06-09

Similar Documents

Publication Publication Date Title
DE102018007937A1 (de) Entfernen und Ersetzen von Objekten in Bildern entsprechend einem geführten Nutzerdialog
DE102018121808A1 (de) Verfeinern von synthetischen daten mit einem generative adversarial network unter verwendung von hilfseingaben
DE102018008161A1 (de) Detektieren von Objekten unter Nutzung eines schwach überwachten Modells
DE102020001790A1 (de) Auf maschinellem Lernen basierende Text-in-Bild-Einbettungstechniken
DE102012102797B4 (de) Kamerabasiertes Mobilfunkgerät zur Konvertierung eines Dokuments anhand von aufgenommenen Bildern in ein Format zur optimierten Anzeige auf dem kamerabasierten Mobilfunkgerät
DE102016125783A1 (de) Bereitstellen von Vorschlägen für die Interaktion mit einem automatisierten Assistenten in einem Multi-User-Nachrichtenaustausch-Thread
DE102018130821A1 (de) Verfahren zum Beurteilen einer Umgebung eines Kraftfahrzeugs durch ein künstliches neuronales Netz mit einer Aggregationseinheit; Steuereinheit, Fahrerassistenzsystem sowie Computerprogrammprodukt
DE112016001830T5 (de) Das Entdecken von Unternehmen aus Bildern
DE112018005089T5 (de) Inferenzvorrichtung, Inferenzverfahren, Programm und nicht transitorisches greifbares computerlesbares Medium
DE102012218966A1 (de) Verfahren und System zum Kennzeichnen von durch Dinge im Internet der Dinge erzeugten Originaldaten
DE102017220307A1 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE112008000017T5 (de) Abbilden von Bildern mit Gestaltbeschreibern
DE102017005964A1 (de) Techniken zum Auswählen von Objekten in Bildern
DE102021004561A1 (de) Text verfeinerndes Netzwerk
DE102014113817A1 (de) Vorrichtung und Verfahren zur Erkennung eines Objekts in Einem Bild
DE202017105866U1 (de) Wahlweises dynamisches Farbmanagement für Anwenderschnittstellenkomponenten eines Media Players
DE102021203020A1 (de) Generative-adversarial-network-modelle zur detektion kleiner strassenobjekte
DE112016006921T5 (de) Schätzung der menschlichen Ausrichtung in Bildern unter Verwendung von Tiefeninformationen
DE102018113621A1 (de) Verfahren zum Trainieren eines konvolutionellen neuronalen Netzwerks zum Verarbeiten von Bilddaten zur Anwendung in einem Fahrunterstützungssystem
DE102018110828A1 (de) System zur Objekterkennung mittels verteilter Neuronaler Netze
DE112015003801T5 (de) System und verfahren zum automatischen pushen von standortspezifischem inhalt an benutzer
WO2020025523A1 (de) Verfahren und vorrichtung zur analyse eines bildes
DE102018132627A1 (de) Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels zeitlicher Fusion von Bildern durch ein künstliches neuronales Netz; Steuereinheit, Fahrerassistenzsystem; Computerprogrammprodukt
DE102021109465A1 (de) Hierarchie-erkennung für blockschaltbilder
DE102009060687A1 (de) Verfahren und Vorrichtung zum rechnergestützten Annotieren von Multimediadaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19752955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019752955

Country of ref document: EP

Effective date: 20210302