WO2011054858A1 - Verfahren und vorrichtung zum rechnergestützten annotieren von multimediadaten - Google Patents

Verfahren und vorrichtung zum rechnergestützten annotieren von multimediadaten Download PDF

Info

Publication number
WO2011054858A1
WO2011054858A1 PCT/EP2010/066727 EP2010066727W WO2011054858A1 WO 2011054858 A1 WO2011054858 A1 WO 2011054858A1 EP 2010066727 W EP2010066727 W EP 2010066727W WO 2011054858 A1 WO2011054858 A1 WO 2011054858A1
Authority
WO
WIPO (PCT)
Prior art keywords
multimedia data
objects
context information
determined
role
Prior art date
Application number
PCT/EP2010/066727
Other languages
English (en)
French (fr)
Inventor
Tobias Schwarze
Andreas Hutter
Thomas Riegel
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to EP10776338A priority Critical patent/EP2497037A1/de
Priority to CN201080050024.8A priority patent/CN102667770B/zh
Priority to US13/508,312 priority patent/US9020268B2/en
Publication of WO2011054858A1 publication Critical patent/WO2011054858A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the invention relates to a method and a device for computer-aided annotation of multimedia data.
  • the problem is to automatically detect what is shown on each screen to annotate multimedia ⁇ data based on the content.
  • the multimedia data should be annotated as to which persons (ie their identity) are represented in these.
  • the annotation may further relate to a context of the displayed objects, such as when the multimedia data was created, in what context were they created, are outside or inside shots shown, etc.
  • the multimedia data first in individual scenes, ie Logically or semantically related images to disassemble. People are automatically detected by facial recognition software. The distinction of persons is also possible because the language of the people is analyzed in order to distinguish people based un ⁇ ter Kunststoffmaschinen, etc.
  • An identification of recognized persons usually takes place by means of a comparison with information stored in a database in which reference information regarding phonetics and / or visual features is stored for respective persons. However, if a person represented in the multimedia data is not stored in the database, identification in this way is not possible.
  • Other methods use an Internet search to annotate the multimedia data. Here anno ⁇ oriented images for annotated to end people are searched manually first. subse- The properties determined for the images found are compared with those of the persons represented in the multimedia data. In the case of a match, the manual annotation can be annotated from the image by annotating the multimedia data with a particular person.
  • the invention provides a method for computer-aided annotation of multimedia data comprising a sequence of digitized images.
  • the inventive method comprises the following steps: performing an analysis of the multimedia data for the detection of one or more objects in the multimedia data. Assigning the or each of the objects to a roller, the roller is made possible by assigning processing of contextual information representing a model of Mul ⁇ timediartz.
  • a role in the following description will be understood to be, in particular, the function of a person in the multimedia data Understood.
  • the function of the person is measured, for example, according to a text which is assigned to the person.
  • an object is understood to be, in particular, a person represented in the multimedia data.
  • an object can also be a different object.
  • the advantage of the method according to the invention is that the method for annotating the multimedia data can be computer-aided and automated. Between the analysis of the multimedia data and the allocation of the objects identified in the analysis to form a roll no mechanical ⁇ len work steps are required, whereby the erfindungsgemä- SSE method operates quickly and efficiently.
  • the context information is determined from an information source different from the multimedia data. In other words, this means that the context information does not come from or be taken from the multimedia data.
  • the context information includes, for example, background information on the analyzed multimedia data provided by a service provider or otherwise.
  • the objects are assigned to object classes as a further step, wherein an object class comprises objects identified as being similar, so that it can be assumed that the object is highly likely to be the same.
  • An object class ⁇ thus comprises a grouping similar objects.
  • an object-specific similarity measure for the two objec- determined which takes into account visual and / or phonetic and / or geometric properties of the objects.
  • Is objective ⁇ te can be detected for example by a facial tracking or similar test based on visual Merkmaelen as similar.
  • Phonetic similarities of the objects determined in the multimedia data are found, for example, by a speech analysis.
  • an identity is ermit ⁇ telt as of further step for a respective roll.
  • the identity of an object especially a person who is the object characteristic and distinctive from other Whether ⁇ projects peculiarity of his being. Due to the multistage nature of the method according to the invention, object observation for the detection of the objects, the assignment of the objects to at least one object class, the assignment of the object class or classes to a role, and the assignment of a respective role to an identity, the computational effort of the invention can be reduced Minimized process and the reliability of the assignment of identities are increased to the objects. In particular, convergence is achieved in a fast time.
  • the determination of the identity takes place on the basis of the determined role while processing the context information. It is also expedient if a determined identity is assigned to the relevant object and / or the relevant object class.
  • the context information comprises information about identities involved in the multimedia data. These represent roles to which the observed, unknown objects are to be assigned. It is possible that an identity in the course of
  • Multimedia data can also assume multiple roles. If the role changes over time, the identification becomes only through the combination of role and a time stamp clearly.
  • the context information includes optionally further Stat Vietnameses or procedural knowledge about a context of multi-media data ⁇ .
  • the latter may, for example, be the usual sequence of a telecast program, which may include, for example, a preamble, a subsequent interview with a guest, a well-rehearsed report on the guest or a product promoted by the guest, etc.
  • the context information may include logical constraints. Occur, for example, two unidentified objects in an image sequence simultaneously, the ⁇ se can not have the same identity. This exclusion criterion can reduce the number of possible assignments of objects to roles or identities. This can also speed up the convergence of the method.
  • the context information comprises data of other data sources, in particular databases with information about the multimedia data. These data sources can, for example, electronic program guide ⁇ regulations or summaries of a consignment be WEL surface typically is in databases available.
  • the invention further provides an apparatus for computer-aided annotation of multimedia data comprising a sequence of digitized images.
  • the apparatus comprises first means for performing an analysis of the multimedia data ⁇ for detecting one or more objects in the multimedia data.
  • the device comprises a second means for assigning the object or objects to a respective role, by means of which the role assignment can be determined by processing context information, the context information representing a model of the multimedia data.
  • the model can include several submodels.
  • the device according to the invention has the same advantages as have been described in connection with the method according to the invention.
  • the device according to the invention has further means for carrying out the method described above.
  • FIG. 1 shows the basic pre ⁇ hen shows in schematic form for computer-aided annotating multimedia data MD.
  • the multimedia data MD comprise a sequence of digitized images, eg a television program.
  • a number of logically related images form a video sequence, of which three video sequences VS1, VS2, VS3 are shown by way of example in FIG.
  • VS1, VS2, VS3 a number of initially unknown objects Ol, 02, 03 are included.
  • the three objects Ol, 02, 03 shown by way of example in video sequence VS1 are, for example, persons appearing in a broadcast.
  • a contextual knowledge KW assigned to the multimedia data MD is used.
  • the contextual knowledge KW it is expedient for the contextual knowledge KW to contain information about the identities involved in the multimedia data.
  • the identities involved represent roles to which the observed, unknown objects are to be assigned.
  • interview situation for example, there is an interviewer and an interviewee.
  • the assignment of an object to a role ultimately identifies the object with respect to its respective identity.
  • the contextual knowledge KW comprises statistical knowledge of the context.
  • This statistical Wis ⁇ sen describes a generally observable Frequently ⁇ ftechniksverotti of occurrence of main and Mauakteu ⁇ ren in coverage. It is known, for example, that in interview situations the interviewee is relatively easily seen in a picture sequence.
  • An image sequence can correspond, for example, to a video sequence of the analyzed multimedia data.
  • the contextual knowledge KW may also contain information about logical constraints. Logical restrictions give an example, exclusive reference to the roles ⁇ affiliation of an object. If two objects occur at the same time, they can not have the same identity, unless a reflection of an object is shown in the video sequence.
  • the contextual knowledge KW preferably also comprises additional sources of information regarding the identities to be determined of the objects contained in the multimedia data.
  • sources of information can be, for example, a program guide or a textual short summary, which are provided in databases.
  • the arbitrary combination of these types of contextual knowledge allows the assignment of the objects Ol, 02, 03 contained in the multimedia data MD to identities.
  • identities refers to him characteristic and distinctive as an individual of ande ren ⁇ human peculiarity of his being.
  • a cluster method is ⁇ applies, with the grouping of similar objects in the Multimedia data or respective video sequences VS1, VS2, VS3 detected objects Ol, 02, 03 takes place in object classes.
  • the degree of similarity between two objects Ol, 02, 03 is whether ⁇ jektspezifisch.
  • the degree of similarity may be described by geometric factors, for example.
  • the objects determined in the multimedia data MD or the video sequences VS1, VS2, VS3 are processed chronologically in order to be able to ensure that two objects determined at the same time are not assigned to the same object class OK.
  • Result of the processing step TAI is the assignment of the objects Ol, 02, 03 to the object classes OK. It should be noted in this context that the object classes OK do not have to be given, but are generated during the analysis of the multimedia data MD or respective video sequences VS1, VS2, VS3.
  • the found object classes OK are first assigned roles and then these identities.
  • Statistical background knowledge from the context of the multimedia data MD or a respective video sequence VS1, VS2, VS3 forms a strong evidence in connection with the found object class assignment and the properties of the object classes.
  • the respondent is much more often and longer in the video material available. This results in a significantly higher presence of the guest in the multimedia data or individual scenes in the video sequences in comparison to the moderator or the interviewer. In the case of an interview between two people, therefore only the frequency of each occurrence is sufficient to the roles of the two parties (objects) to iden ⁇ ren. The role assignment can be made without any form of knowledge of the parties themselves.
  • An already determined assignment of an identity to an object class and thus all objects contained therein can facilitate the assignment of further unidentified identities in the multimedia data or respective video sequences VS1, VS2, VS3. For example, if determined that the object Ol of the object class, and these OKI the Identi ty ⁇ A was assigned, so a different Ol object can not be contained in the object class OKI and thus correspond to the identity of A. On the other hand found that an initially unknown object due to its Similarly ⁇ ness also included in the object class OKI, this must also match the identity A. The consideration of already known knowledge facilitates thereby the further assignment of identities to object classes as well as objects.
  • FIG. 2 shows a device R according to the invention for the computer-aided annotation of multimedia data, which comprises a sequence of digitized images.
  • the device R comprises a first means Ml for carrying out the analysis of the multimedia ⁇ data for identification of the object or objects represented in the multimedia data.
  • the computer R further comprises a second means M2 for assigning the object or objects Ol, 02, 03 to a respective role, by means of which the role assignment can be determined by processing context information, context information representing the model of the multimedia data.
  • the device R, the first means Ml and the second means M2 can be implemented and executed in hardware, software or in a combination of hardware and software.
  • a processor may be provided with memory in the device, the individual method steps of the first and / or second means, which are stored, for example, as program code in the memory, executes and stores results in the memory orga ⁇ nized.
  • the first means and the second means may be implementable and executable as dedicated hardware components, for example as an electrical circuit.
  • the device can have interfaces in order to be able to acquire parameters for the control and processing, for example of the multimedia data, and to be able to transmit them to other processing units.

Abstract

Die Erfindung beschreibt ein Verfahren zum rechnergestützten Annotieren von Multimediadaten (MD), die eine Sequenz digitalisierter Bilder umfasst. Das erfindungsgemäße Verfahren umfasst die Schritte des Durchführens einer Analyse der Multimediadaten (MD) zur Identifikation eines oder mehrerer Objekte (01, 02, 03) in den Multimediadaten (MD) sowie der Zuordnung des oder der Objekte (01, 02, 03) zu jeweils einer Rolle. Die Rollenzuordnung wird unter Verarbeitung von Kontextinformationen (KW) ermittelt, die ein Modell der Multimediadaten (MD) repräsentieren.

Description

Beschreibung
Verfahren und Vorrichtung zum rechnergestützten Annotieren von Multimediadaten
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum rechnergestützten Annotieren von Multimediadaten.
Bei Multimediadaten, die eine Sequenz digitalisierter Bilder umfassen, besteht das Problem, automatisch zu erkennen, was auf den einzelnen Bildern dargestellt ist, um die Multimedia¬ daten anhand des Inhalts annotieren zu können. Insbesondere sollen die Multimediadaten dahingehend annotiert werden, welche Personen (d.h. deren Identität) in diesen dargestellt sind. Die Annotation kann weiterhin einen Kontext der dargestellten Objekte betreffen, wie z.B. wann wurden die Multimediadaten erstellt, in welchem Zusammenhang wurden diese erstellt, sind Außen- oder Innenaufnahmen dargestellt, usw. In diesem Zusammenhang ist es bekannt, die Multimediadaten zunächst in einzelne Szenen, d.h. logisch oder semantisch zusammengehörige Bilder, zu zerlegen. Personen werden anhand von Gesichtserkennungssoftware automatisch detektiert. Die Unterscheidung von Personen wird auch dadurch ermöglicht, dass die Sprache der Personen analysiert wird, um anhand un¬ terschiedlicher Sprachprofile Personen unterscheiden zu können. Eine Identifikation erkannter Personen erfolgt üblicherweise durch einen Vergleich mit in einer Datenbank gespeicherten Informationen, in welcher Referenzinformationen be- züglich Phonetik und/oder visueller Merkmale für jeweilige Personen hinterlegt sind. Ist eine in den Multimediadaten dargestellte Person in der Datenbank jedoch nicht hinterlegt, so ist eine Identifikation auf diese Weise nicht möglich. Andere Verfahren nutzen zur Annotation der Multimediadaten eine Internet-Suche. Hierbei werden zunächst manuell anno¬ tierte Bilder für zu annotierende Personen gesucht. Anschlie- ßend werden die für die aufgefundenen Bilder ermittelten Eigenschaften mit denen der in den Multimediadaten dargestellten Personen verglichen. Im Falle einer Übereinstimmung kann durch Übertragung der manuellen Annotation aus dem Bild eine Annotierung der Multimediadaten mit einer bestimmten Person erfolgen .
Die aus dem Stand der Technik bekannten Vorgehensweisen erfordern in praktisch allen Fällen die Vornahme manueller Ein- griffe, so dass die Annotation von Multimediadaten nicht automatisiert erfolgen kann.
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren anzugeben, mit dem die Annotation von Multimediadaten rechner- gestützt, d.h. automatisch, erfolgen kann. Eine weitere Aufgabe der Erfindung besteht darin, eine Vorrichtung anzugeben, welche die automatisierte, rechnergestützte Annotation von Multimediadaten ermöglicht. Diese Aufgaben werden gelöst durch ein Verfahren gemäß den
Merkmalen des Patentanspruchs 1 sowie eine Vorrichtung gemäß den Merkmalen des Patentanspruchs 13. Vorteilhafte Ausgestal¬ tungen ergeben sich jeweils aus den abhängigen Patentansprüchen .
Die Erfindung schafft ein Verfahren zum rechnergestützten Annotieren von Multimediadaten, die eine Sequenz digitalisierter Bilder umfasst. Das erfindungsgemäße Verfahren umfasst die folgenden Schritte: Durchführen einer Analyse der Multi- mediadaten zur Detektion eines oder mehrerer Objekte in den Multimediadaten. Zuordnung des oder der Objekte zu jeweils einer Rolle, wobei die Rollenzuordnung unter Verarbeitung von Kontextinformationen ermöglicht wird, die ein Modell der Mul¬ timediadaten repräsentieren.
Unter einer Rolle wird in der nachfolgenden Beschreibung insbesondere die Funktion einer Person in den Multimediadaten verstanden. Die Funktion der Person bemisst sich z.B. nach einem Text, welcher der Person zugeordnet ist.
Unter einem Objekt wird in der vorliegenden Beschreibung ins- besondere eine in den Multimediadaten dargestellte Person verstanden. Ein Objekt kann jedoch auch ein davon unterschiedlicher Gegenstand sein.
Der Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass das Verfahren zum Annotieren der Multimediadaten rechnergestützt und automatisiert erfolgen kann. Zwischen der Analyse der Multimediadaten und der Zuordnung der bei der Analyse ermittelten Objekte zu einer Rolle sind keine manuel¬ len Arbeitsschritte erforderlich, wodurch das erfindungsgemä- ße Verfahren schnell und effizient arbeitet.
Insbesondere werden die Kontextinformationen aus einer, von den Multimediadaten unterschiedlichen, Informationsquelle ermittelt. Mit anderen Worten bedeutet dies, dass die Kontext- Informationen nicht aus den Multimediadaten stammen oder diesen entnommen werden. Die Kontextinformationen umfassen beispielsweise Hintergrundinformationen zu den analysierten Multimediadaten, welche durch einen Dienstbetreiber oder auf andere Weise bereitgestellt werden.
Gemäß einer zweckmäßigen Ausgestaltung erfolgt als weiterer Schritt eine Zuordnung der Objekte zu Objektklassen, wobei eine Objektklasse als ähnlich identifizierte Objekte umfasst, so dass davon ausgegangen werden kann, dass es sich mit hoher Wahrscheinlichkeit um dasselbe Objekt handelt. Eine Objekt¬ klasse umfasst somit eine Gruppierung ähnlicher Objekte.
Durch diesen Zwischenschritt kann die Zuordnung der Objekte zu einer Rolle auf einfachere und schnellere Weise vorgenom¬ men werden.
Zur Kategorisierung zweier Objekte als ähnlich wird insbesondere ein Objekt-spezifisches Ähnlichkeitsmaß für die zwei Ob- jekte ermittelt, das visuelle und/oder phonetische und/oder geometrische Eigenschaften der Objekte berücksichtigt. Objek¬ te können beispielsweise durch ein Gesichts-Tracking oder eine Ähnlichkeitsprüfung basierend auf visuellen Merkmaelen als ähnlich erfasst werden. Phonetische Ähnlichkeiten der in den Multimediadaten ermittelten Objekte werden beispielsweise durch eine Sprachanalyse ausfindig gemacht.
Gemäß einer weiteren zweckmäßigen Ausgestaltung wird als wei- terer Schritt für eine jeweilige Rolle eine Identität ermit¬ telt. Die Identität eines Objekts, insbesondere einer Person, bezeichnet die das Objekt kennzeichnende und von anderen Ob¬ jekten unterscheidende Eigentümlichkeit seines Wesens. Durch die Mehrstufigkeit des erfindungsgemäßen Verfahrens, der Ob- j ektbeobachtung zur Detektion der Objekte, der Zuordnung der Objekte zu wenigstens einer Objektklasse, der Zuordnung der Objektklasse oder -klassen zu einer Rolle und der Zuordnung einer jeweiligen Rolle zu einer Identität kann der Rechenaufwand des erfindungsgemäßen Verfahrens gering gehalten werden und die Zuverlässigkeit der Zuweisung der Identitäten zu den Objekten gesteigert werden. Insbesondere wird eine Konvergenz in schneller Zeit erreicht.
Gemäß einer weiteren bevorzugten Ausgestaltung erfolgt die Ermittlung der Identität auf Basis der ermittelten Rolle unter Verarbeitung der Kontextinformationen. Es ist ferner zweckmäßig, wenn eine ermittelte Identität dem betreffenden Objekt und/oder der betreffenden Objektklasse zugeordnet wird .
In einer weiteren zweckmäßigen Ausgestaltung umfassen die Kontextinformationen eine Information über in den Multimediadaten involvierte Identitäten. Diese stellen Rollen dar, zu denen die beobachteten, unbekannten Objekte zugeordnet werden sollen. Es ist möglich, dass eine Identität im Verlauf der
Multimediadaten auch mehrere Rollen annehmen kann. Wenn sich die Rolle über die Zeit ändert, so wird die Identifikation erst über die Kombination aus Rolle und einem Zeitstempel eindeutig .
Die Kontextinformationen umfassen optional weiter statisti- sches oder prozedurales Wissen über einen Kontext der Multi¬ mediadaten. Letzteres kann beispielsweise der übliche Ablauf einer im Fernsehen ausgestrahlten Sendung sein, der z.B. einen Vorspann, ein darauffolgendes Interview mit einem Gast, einen eingespielten Bericht über den Gast oder ein von dem Gast beworbenes Produkt sein, usw., umfasst. Statistisches
Wissen liegt beispielsweise vor, wenn die Häufigkeit des Auf¬ tretens eines Objekts in den Multimediadaten ermittelt wird. Aus dieser Information kann - bei entsprechendem Kontext - auf die Rolle bzw. Identität des Objekts geschlossen werden.
Weiterhin können die Kontextinformationen logische Einschränkungen umfassen. Treten beispielsweise zwei identifizierte Objekte in einer Bildsequenz gleichzeitig auf, so können die¬ se nicht die gleiche Identität besitzen. Durch dieses Aus- schlusskriterium kann die Anzahl möglicher Zuordnungen von Objekten zu Rollen bzw. Identitäten reduziert werden. Auch hierdurch kann die Konvergenz des Verfahrens beschleunigt werden . In einer weiteren Ausgestaltung umfassen die Kontextinformationen Daten anderer Datenquellen, insbesondere von Datenbanken mit Informationen über die Multimediadaten. Diese Datenquellen können beispielsweise elektronische Programmzeit¬ schriften oder Zusammenfassungen über eine Sendung sein, wel- che typischerweise in Datenbanken verfügbar ist.
Die Erfindung schafft weiter eine Vorrichtung zum rechnergestützten Annotieren von Multimediadaten, die eine Sequenz digitalisierter Bilder umfasst. Die Vorrichtung umfasst ein erstes Mittel zur Durchführung einer Analyse der Multimedia¬ daten zur Detektion eines oder mehrerer Objekte in den Multimediadaten. Ferner umfasst die Vorrichtung ein zweites Mittel zur Zuordnung des oder der Objekte zu jeweils einer Rolle, durch das die Rollenzuordnung unter Verarbeitung von Kontextinformationen ermittelbar ist, wobei die Kontextinformationen ein Modell der Multimediadaten repräsentieren. Das Modell kann mehrere Teilmodelle umfassen.
Die erfindungsgemäße Vorrichtung weist die gleichen Vorteile auf, wie diese in Verbindung mit dem erfindungsgemäßen Verfahren beschrieben wurden.
In einer zweckmäßigen Ausgestaltung weist die erfindungsgemäße Vorrichtung weitere Mittel zur Durchführung des oben beschriebenen Verfahrens auf.
Die Erfindung wird nachfolgend näher anhand eines Ausfüh rungsbeispiels in der Zeichnung erläutert. Es zeigen: den schematischen Ablauf des erfindungsgemäßen Ver fahrens, und eine schematische Darstellung einer erfindungsgemä ßen Vorrichtung zum rechnergestützten Annotieren von Multimediadaten. Fig. 1 zeigt in schematischer Form das grundsätzliche Vorge¬ hen zum rechnergestützten Annotieren von Multimediadaten MD. Die Multimediadaten MD umfassen eine Sequenz digitalisierter Bilder, z.B. einer Fernsehsendung. Eine Anzahl an logisch zusammengehörigen Bildern bildet eine Videosequenz aus, von de- nen in Fig. 1 beispielhaft drei Videosequenzen VS1, VS2, VS3 dargestellt sind. In jeder der Videosequenzen VS1, VS2, VS3 ist eine Anzahl an zunächst unbekannten Objekten Ol, 02, 03 enthalten. Bei den beispielhaft in Videosequenz VS1 dargestellten drei Objekten Ol, 02, 03 handelt es sich z.B. um in einer Sendung auftretende Personen. Um eine Rollenverteilung der unbekannten Objekte Ol, 02, 03 in einem bekannten semantischen Kontext ausfindig zu machen, wird ein, den Multimediadaten MD zugeordnetes Kontextwissen KW genutzt. Zunächst ist es zweckmäßig, wenn das Kontextwis- sen KW eine Information über die involvierten Identitäten in den Multimediadaten umfasst. Die involvierten Identitäten stellen Rollen dar, zu denen die beobachteten, unbekannten Objekte zugeordnet werden sollen. In einer Interview- Situation gibt es beispielsweise einen Interviewer und einen Interviewten. Die Zuordnung eines Objekts zu einer Rolle identifiziert das Objekt schlussendlich hinsichtlich seiner jeweiligen Identität.
Es ist ferner zweckmäßig, wenn das Kontextwissen KW statisti- sches Wissen des Kontextes umfasst. Dieses statistische Wis¬ sen beschreibt beispielsweise eine generell beobachtbare Häu¬ figkeitsverteilung des Auftretens von Haupt- und Nebenakteu¬ ren in Berichterstattungen. So ist beispielsweise bekannt, dass in Interview-Situationen der Interviewte relativ am Häu- figsten in einer Bildsequenz zu sehen ist. Eine Bildsequenz kann dabei z.B. einer Videosequenz der analysierten Multimediadaten entsprechen.
Das Kontextwissen KW kann ferner Informationen über logische Einschränkungen enthalten. Logische Einschränkungen geben beispielsweise einen ausschließenden Hinweis auf die Rollen¬ zugehörigkeit eines Objekts. Treten zwei Objekte zeitgleich auf, so können diese nicht die gleiche Identität besitzen, sofern in der Videosequenz keine Spiegelung eines Objekts dargestellt ist.
Das Kontextwissen KW umfasst ferner vorzugsweise zusätzliche Informationsquellen hinsichtlich der zu ermittelnden Identitäten der in den Multimediadaten enthaltenen Objekte. Derar- tige Informationsquellen können beispielsweise eine Programmzeitschrift oder eine textuelle Kurzzusammenfassung sein, welche in Datenbanken bereitgestellt werden. Die beliebige Kombination dieser Arten von Kontextwissen erlaubt die Zuordnung der in den Multimediadaten MD enthaltenen Objekte Ol, 02, 03 zu Identitäten. Bei Personen bezeichnet Identität die ihn kennzeichnende und als Individuum von ande¬ ren Menschen unterscheidende Eigentümlichkeit seines Wesens. Insbesondere soll durch das Verfahren ausfindig gemacht wer¬ den, welche Person oder Personen in den Multimediadaten dargestellt sind.
Die Objektbeobachtung, d.h. die Durchführung einer Analyse der Multimediadaten in ihrer Gesamtheit oder bevorzugt jeweiliger einzelner Videosequenzen VS1, VS2, VS3, lässt alleine keine Ermittlung zu, zu welcher Rolle die in den Multimedia- daten MD bzw. den jeweiligen Videosequenzen VS1, VS2, VS3 ermittelten Objekte Ol, 02, 03 im Kontext gehört. Die Rollenzu¬ ordnung vereinfacht sich jedoch mit zunehmendem Wissen über die Objekte Ol, 02, 03. Eine hierbei relevante Information ist z.B. die Häufigkeit, mit der die einzelnen Objekte Ol, 02, 03 in den Multimediadaten MD bzw. den jeweiligen Videosequenzen VS1, VS2, VS3 auftreten.
Um die Rollenzuordnung zu ermöglichen, ist vorgesehen, einzelne Objekte Ol, 02, 03 durch Beobachtung in einen geeigne- ten Zusammenhang zu bringen. Dies ist beispielsweise bei ei¬ ner visuellen Ähnlichkeit der Objekte Ol, 02, 03 in unterschiedlichen Videosequenzen VS1, VS2, VS3 möglich. Indem Objekte Ol, 02, 03, die aufgrund ihrer visuellen Ähnlichkeiten die gleichen Objekte repräsentieren, in einem Verarbeitungs- schritt TAI zu Objektklassen OK, die unbekannten Identitäten eines Objekts entsprechen, zusammengefasst werden, wird die Zuordnung vorgenommen: Statt vielen einzelnen in einer Videosequenz VS1, VS2, VS3 detektierten Objekten Ol, 02, 03 werden nur noch wenige Objektklassen OK einer Rolle zugeordnet.
Im Verarbeitungsschritt TAI wird ein Clusterverfahren ange¬ wendet, mit dem eine Gruppierung ähnlicher Objekte der in den Multimediadaten oder jeweiligen Videosequenzen VS1, VS2, VS3 ermittelten Objekte Ol, 02, 03 in Objektklassen erfolgt. Das Maß der Ähnlichkeit zweier Objekte Ol, 02, 03 ist dabei ob¬ jektspezifisch. Neben visuellen Eigenschaften kann das Maß der Ähnlichkeit beispielsweise durch geometrische Faktoren beschrieben sein. Vorzugsweise werden die in den Multimediadaten MD bzw. den Videosequenzen VS1, VS2, VS3 ermittelten Objekte chronologisch verarbeitet, um gewährleisten zu können, dass zwei zeitgleich ermittelte Objekte nicht der glei- chen Objektklasse OK zugeordnet werden.
Ergebnis des Verarbeitungsschritts TAI ist die Zuordnung der Objekte Ol, 02, 03 zu den Objektklassen OK. Es ist in diesem Zusammenhang anzumerken, dass die Objektklassen OK nicht ge- geben sein müssen, sondern während der Analyse der Multimediadaten MD bzw. jeweiliger Videosequenzen VS1, VS2, VS3 erzeugt werden.
In einem weiteren Verarbeitungsschritt TA2 werden den gefun- denen Objektklassen OK zunächst Rollen und dann diesen Identitäten zugewiesen. Statistisches Hintergrundwissen aus dem Kontext der Multimediadaten MD bzw. einer jeweiligen Videosequenz VS1, VS2, VS3 bildet hierbei im Zusammenhang mit der gefundenen Objektklassenzuordnung und den Eigenschaften der Objektklassen eine starke Evidenz.
Dies soll am Beispiel des Szenarios eines Interviews verdeut¬ licht werden. Der Fokus von Interviews in Fernsehberichterstattungen in Talkshows liegt deutlich auf der Seite des Be- fragten (Interviewter oder Gast) . Im Falle eines Interviews hat dies vor allem den Grund, dass der Zuschauer am Befragten interessiert ist, weniger jedoch am Interviewer. Folglich wird der Befragte bei der Einblendung im Videomaterial bevor¬ zugt. Ferner ist die Fragestellung des Interviewers zeitlich gesehen im Schnitt kürzer als die Antwort des Befragten.
Folglich ist der Befragte deutlich öfter und länger im Videomaterial vorhanden. Hieraus erfolgt eine deutlich höhere Prä- senz des Gastes in den Multimediadaten bzw. einzelner Szenen in den Videosequenzen im Vergleich zu dem Moderator oder dem Interviewer . Im Falle eines Interviews zwischen zwei Personen ist demnach allein die Häufigkeit des jeweiligen Auftretens ausreichend, um die Rollen der beiden Parteien (Objekte) zu identifizie¬ ren. Die Rollenzuordnung kann ohne jegliche Form von Wissen über die Parteien selber vorgenommen werden.
Welche Rollen (Interviewer oder Gast/Gäste) in den Multimediadaten MD vorhanden sind und welche Identitäten welche Rolle ausüben, kann aus den Kontextinformationen KW entnommen werden. Durch die Verarbeitung sämtlicher Informationen kann beispielsweise ausfindig gemacht werden, dass in der Videose¬ quenz VS1 das Objekt Ol der Interviewte, das Objekt 02 der Interviewer und das Objekt 03 ein weiterer Gast der Sendung ist. In Verbindung mit dem Kontextwissen, welches beispielsweise den Moderator einer Sendung sowie die eingeladenen Gäs- te (Interviewte) ausweist, kann diesen Rollen eine Identität zugewiesen werden.
Eine bereits ermittelte Zuordnung einer Identität zu einer Objektklasse und damit allen darin enthaltenen Objekten kann die Zuordnung weiterer, noch nicht identifizierter Identitäten in den Multimediadaten oder jeweiligen Videosequenzen VS1, VS2, VS3 erleichtern. Wurde beispielsweise festgestellt, dass das Objekt Ol der Objektklasse OKI und diese der Identi¬ tät A zugeordnet wurde, so kann ein von Ol unterschiedliches Objekt nicht in der Objektklasse OKI enthalten sein und damit der Identität A entsprechen. Wurde andererseits festgestellt, dass ein zunächst unbekanntes Objekt aufgrund seiner Ähnlich¬ keit ebenfalls in der Objektklasse OKI enthalten ist, so muss dieses auch der Identität A entsprechen. Die Berücksichtigung bereits bekannten Wissens erleichtert hierdurch die weitere Zuordnung von Identitäten zu Objektklassen sowie Objekten. Durch eine fortlaufende Verarbeitung der Multimediadaten bzw. der einzelnen Videosequenzen VS1, VS2, VS3 können dadurch rechnergestützt Multimediadaten annotiert werden. Es hat sich in Versuchen herausgestellt, dass die Zuordnung unbekannter Objekte zu Objektklassen umso besser realisiert werden kann, wenn kleinere Abschnitte, d.h. einzelne Videose¬ quenzen, der Multimediadaten getrennt untersucht werden. Beispielsweise werden aus einer Videoaufzeichnung des Interviews Szenen ausgesucht, welche anhand der vorhandenen Kontextinformationen verarbeitet werden. Hierbei lässt sich auf ver¬ hältnismäßig einfache Weise eine Zuordnung der Objekte zu den Rollen bzw. Identitäten vornehmen. Eine zusätzliche Erweiterung des Verfahrens kann darin beste¬ hen, dass auf Basis des (zeitlich lokalen) Clusterings in Kombination mit einem statistischen Modell der Häufigkeitsverteilungen in einer Videosequenz eine Klassifikation der Szenen in der Videosequenz (z.B. Interviewsituation) durchge- führt wird.
Fig. 2 zeigt eine erfindungsgemäße Vorrichtung R zur rechnergestützten Annotation von Multimediadaten, die eine Sequenz digitalisierter Bilder umfasst. Die Vorrichtung R umfasst ein erstes Mittel Ml zur Durchführung der Analyse der Multimedia¬ daten zur Identifikation des oder der in den Multimediadaten dargestellten Objekte. Der Rechner R umfasst weiter ein zweites Mittel M2 zur Zuordnung des oder der Objekte Ol, 02, 03 zu jeweils einer Rolle, durch das die Rollenzuordnung unter Verarbeitung von Kontextinformationen ermittelbar ist, wobei Kontextinformationen das Modell der Multimediadaten repräsentieren .
Die Vorrichtung R, das erste Mittel Ml und das zweite Mittel M2 sind in Hardware, Software oder in einer Kombination aus Hard- und Software realisierbar und ausführbar. So kann ein Prozessor mit Speicher in der Vorrichtung vorgesehen sein, der einzelne Verfahrensschritte des ersten und/oder zweiten Mittels, die beispielweise als Programmcode in dem Speicher abgelegt sind, ausführt und Ergebnisse in dem Speicher orga¬ nisiert ablegt. Daneben können das erste Mittel und das zwei- te Mittel als dedizierte Hardwarekomponenten, beispielsweise als elektrische Schaltung, implementierbar und ausführbar sein. Ferner kann die Vorrichtung über Schnittstellen verfügen, um Parameter zur Steuerung und zur Verarbeitung, z.B. der Multimediadaten, erfassen und an andere Verarbeitungsein- heiten übertragen zu können.

Claims

Patentansprüche
1. Verfahren zum rechnergestützten Annotieren von Multimediadaten (MD) , die eine Sequenz digitalisierter Bilder umfasst, mit den folgenden Schritten:
Durchführung einer Analyse der Multimediadaten (MD) zur Detektion eines oder mehrerer Objekte (Ol, 02, 03) in den Multimediadaten (MD) , und
Zuordnung des oder der Objekte (Ol, 02, 03) zu jeweils einer Rolle, wobei die Rollenzuordnung unter Verarbei¬ tung von Kontextinformationen (KW) ermittelt wird, die ein Modell oder eine Menge von Modellen der Multimedia¬ daten (MD) repräsentieren.
2. Verfahren nach Anspruch 1, bei dem die Kontextinformationen (KW) aus einer, von den Multimediadaten (MD) unterschiedlichen, Informationsquelle ermittelt werden.
3. Verfahren nach Anspruch 1 oder 2, bei dem als weiterer Schritt eine Zuordnung der Objekte (Ol, 02, 03) zu Objekt¬ klassen (OK) erfolgt, wobei eine Objektklasse (OK) als ähn¬ lich identifizierte Objekte (Ol, 02, 03) umfasst.
4. Verfahren nach Anspruch 3, bei dem zur Kategorisierung zweier Objekte (Ol, 02, 03) als ähnlich ein Objekt¬ spezifisches Ähnlichkeitsmaß für die zwei Objekte (Ol, 02, 03) ermittelt wird, das visuelle und/oder phonetische
und/oder geometrische Eigenschaften der Objekte (Ol, 02, 03) berücksichtigt .
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als weiterer Schritt für eine jeweilige Rolle eine Identität ermittelt wird.
6. Verfahren nach Anspruch 5, bei dem die Ermittlung der I- dentität einer ermittelten Rolle unter Verarbeitung der Kontextinformationen (KW) erfolgt.
7. Verfahren nach Anspruch 5 oder 6, bei dem eine ermittelte Identität dem betreffenden Objekt (Ol, 02, 03) und/oder der betreffenden Objektklasse (OK) zugeordnet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Kontextinformationen (KW) eine Information über in den Multimediadaten (MD) involvierte Identitäten umfassen.
9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Kontextinformationen (KW) statistisches Wissen über einen Kontext der Multimediadaten (MD) umfassen.
10. Verfahren nach Anspruch 9, bei dem die Häufigkeit des Auftretens eines Objekts (Ol, 02, 03) in den Multimediadaten (MD) ermittelt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Kontextinformationen (KW) logische Einschränkungen umfassen.
12. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Kontextinformationen (KW) Daten anderer Datenquellen, insbesondere von Datenbanken mit Informationen über die Mul- timediadaten (MD), umfassen.
13. Vorrichtung zum rechnergestützten Annotieren von Multimediadaten (MD) , die eine Sequenz digitalisierter Bilder um- fasst, umfassend:
ein erstes Mittel (Ml) zur Durchführung einer Analyse der Multimediadaten (MD) zur Identifikation eines oder mehrerer Objekte (Ol, 02, 03) in den Multimediadaten (MD) ,
ein zweites Mittel (M2) zur Zuordnung des oder der Objekte (Ol, 02, 03) zu jeweils einer Rolle, durch das die Rollenzuordnung unter Verarbeitung von Kontextinformati- onen (KW) ermittelbar ist, wobei Kontextinformationen (KW) ein Modell der Multimediadaten (MD) repräsentieren.
14. Vorrichtung nach Anspruch 13, die weitere Mittel zur Durchführung des Verfahrens nach einem der Ansprüche 2 bis 12 aufweist .
PCT/EP2010/066727 2009-11-04 2010-11-03 Verfahren und vorrichtung zum rechnergestützten annotieren von multimediadaten WO2011054858A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10776338A EP2497037A1 (de) 2009-11-04 2010-11-03 Verfahren und vorrichtung zum rechnergestützten annotieren von multimediadaten
CN201080050024.8A CN102667770B (zh) 2009-11-04 2010-11-03 用于计算机辅助地注解多媒体数据的方法和设备
US13/508,312 US9020268B2 (en) 2009-11-04 2010-11-03 Method and apparatus for annotating multimedia data in a computer-aided manner

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102009051895 2009-11-04
DE102009051895.9 2009-11-04
DE102009060687.4 2009-12-29
DE102009060687A DE102009060687A1 (de) 2009-11-04 2009-12-29 Verfahren und Vorrichtung zum rechnergestützten Annotieren von Multimediadaten

Publications (1)

Publication Number Publication Date
WO2011054858A1 true WO2011054858A1 (de) 2011-05-12

Family

ID=43828931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/066727 WO2011054858A1 (de) 2009-11-04 2010-11-03 Verfahren und vorrichtung zum rechnergestützten annotieren von multimediadaten

Country Status (5)

Country Link
US (1) US9020268B2 (de)
EP (1) EP2497037A1 (de)
CN (1) CN102667770B (de)
DE (1) DE102009060687A1 (de)
WO (1) WO2011054858A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009060687A1 (de) 2009-11-04 2011-05-05 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum rechnergestützten Annotieren von Multimediadaten
EP2602739A1 (de) * 2011-12-07 2013-06-12 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur automatischen Detektion eines Ereignisses in Sensordaten
US10387729B2 (en) 2013-07-09 2019-08-20 Outward, Inc. Tagging virtualized content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080088698A1 (en) * 2006-10-11 2008-04-17 Cisco Technology, Inc. Interaction based on facial recognition of conference participants
US20080235724A1 (en) * 2005-09-30 2008-09-25 Koninklijke Philips Electronics, N.V. Face Annotation In Streaming Video
US20090103887A1 (en) * 2007-10-22 2009-04-23 Samsung Electronics Co., Ltd. Video tagging method and video apparatus using the same
US20090116815A1 (en) * 2007-10-18 2009-05-07 Olaworks, Inc. Method and system for replaying a movie from a wanted point by searching specific person included in the movie

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961954B1 (en) * 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
US20040123231A1 (en) * 2002-12-20 2004-06-24 Adams Hugh W. System and method for annotating multi-modal characteristics in multimedia documents
US6906643B2 (en) * 2003-04-30 2005-06-14 Hewlett-Packard Development Company, L.P. Systems and methods of viewing, modifying, and interacting with “path-enhanced” multimedia
US20070061352A1 (en) 2003-12-03 2007-03-15 Koninklijke Philips Electronic, N.V. System & method for integrative analysis of intrinsic and extrinsic audio-visual
CN100538696C (zh) * 2003-12-05 2009-09-09 皇家飞利浦电子股份有限公司 用于本征与非本征视听数据的综合分析的系统和方法
US7554576B2 (en) * 2005-06-20 2009-06-30 Ricoh Company, Ltd. Information capture and recording system for controlling capture devices
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
DE102009060687A1 (de) 2009-11-04 2011-05-05 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum rechnergestützten Annotieren von Multimediadaten

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080235724A1 (en) * 2005-09-30 2008-09-25 Koninklijke Philips Electronics, N.V. Face Annotation In Streaming Video
US20080088698A1 (en) * 2006-10-11 2008-04-17 Cisco Technology, Inc. Interaction based on facial recognition of conference participants
US20090116815A1 (en) * 2007-10-18 2009-05-07 Olaworks, Inc. Method and system for replaying a movie from a wanted point by searching specific person included in the movie
US20090103887A1 (en) * 2007-10-22 2009-04-23 Samsung Electronics Co., Ltd. Video tagging method and video apparatus using the same

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Internet Movie Database", 6 October 2009 (2009-10-06), pages 1 - 4, XP002617379, Retrieved from the Internet <URL:http://de.wikipedia.org/w/index.php?title=Internet_Movie_Database&oldid=65297992> [retrieved on 20110119] *
MING LI ET AL: "Synopsis Alignment: Importing External TextInformation for Multi-Model Movie Analysis", 2008, ADVANCES IN MULTIMEDIA INFORMATION PROCESSING - PCM 2008. PROCEEDINGS 9TH PACIFIC RIM CONFERENCE ON MULTIMEDIA SPRINGER-VERLAG BERLIN, GERMANY, PAGE(S) 287 - 295, ISBN: 3-540-89795-X, XP002617345 *
VENDRIG J ET AL, 2002, IMAGE AND VIDEO RETRIEVAL INTERNATIONAL CONFERENCE, CIVR 2002. PROCEEDINGS (LECTURE NOTES IN COMPUTER SCIENCE VOL.2383) SPRINGER-VERLAG BERLIN, GERMANY, PAGE(S) 175 - 185, ISBN: 3-540-43899-8, pages: 175 - 185, XP002617440 *

Also Published As

Publication number Publication date
US9020268B2 (en) 2015-04-28
DE102009060687A1 (de) 2011-05-05
CN102667770B (zh) 2016-08-24
EP2497037A1 (de) 2012-09-12
CN102667770A (zh) 2012-09-12
US20120219223A1 (en) 2012-08-30

Similar Documents

Publication Publication Date Title
DE102004023436B4 (de) Vorrichtung und Verfahren zum Analysieren eines Informationssignals
DE60037485T2 (de) Signalverarbeitungsverfahren und Videosignalprozessor zum Ermitteln und Analysieren eines Bild- und/oder Audiomusters
DE102017008430A1 (de) Verfahren und Systeme zum Erzeugen von virtuelle Realität-Umgebungen aus elektronischen Dokumenten
DE102012102797B4 (de) Kamerabasiertes Mobilfunkgerät zur Konvertierung eines Dokuments anhand von aufgenommenen Bildern in ein Format zur optimierten Anzeige auf dem kamerabasierten Mobilfunkgerät
DE102007063635A1 (de) Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
DE10300545A1 (de) Vorrichtung, Verfahren, Speichermedium und Datenstruktur zur Kennzeichnung und Speicherung von Daten
WO2017153354A1 (de) Verfahren und vorrichtung zum bewerten von blickabbildungen
EP2756458A1 (de) Maschinelles lernverfahren zum maschinellen erlernen von erscheinungsformen von objekten in bildern
DE102014113817A1 (de) Vorrichtung und Verfahren zur Erkennung eines Objekts in Einem Bild
WO2011054858A1 (de) Verfahren und vorrichtung zum rechnergestützten annotieren von multimediadaten
WO2005050175A1 (de) Verfahren und vorrichtung zur erfassung von verschiedenen zelltypen von zellen in einer biologischen probe
DE102018113621A1 (de) Verfahren zum Trainieren eines konvolutionellen neuronalen Netzwerks zum Verarbeiten von Bilddaten zur Anwendung in einem Fahrunterstützungssystem
DE112012003818T5 (de) Verfahren und ein System für die medizinische Bildgebung
DE112018007277T5 (de) Vorrichtung und verfahren zur automatischen fehlerschwellenwerterkennung für bilder
EP2273383A1 (de) Verfahren und Vorrichtung zur automatischen Suche nach Dokumenten in einem Datenspeicher
EP1983450B1 (de) Verfahren und Vorrichtung zur Ermittlung und Bereitstellung von Information zu einem Bild
DE102019203372B4 (de) Verfahren, Speichervorrichtung mit einem Programmcode und System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs
EP2315159A2 (de) Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Dokumentteilen eines rechnerverfügbaren Dokuments durch schrittweises Lernen aus mehreren Trainingsmengen
EP2602739A1 (de) Vorrichtung und Verfahren zur automatischen Detektion eines Ereignisses in Sensordaten
DE102020205394A1 (de) Computerimplementiertes Verfahren und Vorrichtung zum Erstellen eines Knowledge Graph
DE102014214851A1 (de) Computerimplementiertes Verfahren und Computersystem zur Durchführung einer Ähnlichkeitsanalyse
DE60309191T2 (de) System zum fuzzy-assoziativen beschreiben von multimedia-gegenständen
DE102011075335A1 (de) Verfahren zur rechnergestützten Lageschätzung eines Objekts
DE102022201161A1 (de) Objektklassifizierung mit einem einstufigen metabasierten Objektdetektor unter Verwendung von Klassenprototypen
DE102021202566A1 (de) Vorrichtung und insbesondere computerimplementiertes Verfahren zur Bestimmung einer Ähnlichkeit zwischen Datensätzen

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080050024.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10776338

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2010776338

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010776338

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13508312

Country of ref document: US