WO2018220076A1 - System and method for detecting the perception or reproduction of identified objects in a video signal - Google Patents

System and method for detecting the perception or reproduction of identified objects in a video signal Download PDF

Info

Publication number
WO2018220076A1
WO2018220076A1 PCT/EP2018/064290 EP2018064290W WO2018220076A1 WO 2018220076 A1 WO2018220076 A1 WO 2018220076A1 EP 2018064290 W EP2018064290 W EP 2018064290W WO 2018220076 A1 WO2018220076 A1 WO 2018220076A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
perception
user
video signal
identified objects
Prior art date
Application number
PCT/EP2018/064290
Other languages
German (de)
French (fr)
Inventor
Juri Sidorenko
Michael Arens
Norbert Scherer-Negenborn
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Publication of WO2018220076A1 publication Critical patent/WO2018220076A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity

Definitions

  • Embodiments of the invention relate to systems and methods for detecting perception or reproduction of identified objects in a video signal.
  • An embodiment according to the invention provides a system having a video analysis device adapted to analyze a video signal to identify objects in a video signal. Furthermore, the video analysis device is designed to store information regarding the identified objects in a database. The identification may, for example, provide the following information: the type of object, times at which the object is visible, mood information at the times when the object is visible, or a link to an object purchase page on the Internet. Furthermore, the system comprises a detection device which is designed to detect a perception of the identified objects by a user or to detect a reproduction of the identified objects on a device associated with the user, or to detect a reproduction with respect to the user. Detection may include, for example, a recording of the duration of the perception and / or mood in the perception.
  • the detection may be performed in the video signal or in a plurality of video signals.
  • the capture can further include weighting, for example, with a mood in the movie / video signal and / or the mood of the user.
  • the detection device is designed to store information about the perception or the reproduction, for example in a database.
  • the described embodiment may determine how long an object has been presented to a user or viewer based on the information about the rendering, thereby estimating a perception of the object by the user. Furthermore, the embodiment can also directly determine the perception of the user about the information about the perception and based on this determine how long a viewer or user perceives an object.
  • the system may, for example, store the information about perception or playback in a database and thus provide a database of a user that documents which objects he has perceived or presumably perceived, based on the information about the perception or the information about the reproduction , Thus, for example, individual records can be created for users, thus obtaining profiles for users regarding perceived objects. This perceptual information can be helpful, for example, to obtain psychological information about the user or to provide individualized additional information for the user, such as advertising.
  • This exemplary embodiment is thus based on the knowledge that has been reproduced by analyzing which sections of a video signal a user has perceived, or which sections of the video signal have been reproduced on a device assigned to the user, in conjunction with information about objects contained in the video signal meaningful information can be obtained on which objects may have relevance to the user, which in turn enables the provision of additional information, for example with regard to these objects, to the user.
  • the detection device is designed to deposit the information about the perception or the reproduction in the database linked to the information about the identified objects.
  • the embodiment described can advantageously use a common database in which both the identified objects and (for example user-specific) information about the perception or reproduction of the identified objects are stored.
  • the video analysis device is designed to provide information about periods of occurrence of the identified objects in the video signal.
  • the detection device is designed to provide information about periods of perception or reproduction of the identified objects.
  • the system is configured to determine perceptual durations of the identified objects based on information about periods of occurrence and information about periods of perception or reproduction.
  • the system is designed to store the periods of perception linked to the stored information about the identified objects in the database.
  • the described embodiment may allow an analysis of the observer by means of the duration of the perception.
  • periods of occurrence of identified objects may be associated with periods of perception or playback.
  • a statement can be made as to whether identified objects are perceived by the user or are perceptible.
  • a total viewing time or duration of perception for individual objects may be obtained, for example, to determine how long a user has seen a particular object.
  • the detection means is adapted to adjust the information over periods of reproduction based on a pausing of the reproduction, depending on whether an identified object is visible on a display during the paused reproduction.
  • the described embodiment may advantageously adjust the information about periods and playback based on the pausing of the playback.
  • an identified object may be visible for a longer duration, which may be viewed longer by a user.
  • the embodiment described can use this information to adjust the information over the period of playback and deduce therefrom, for example, periods of perception.
  • the system is configured to determine the periods of perception over periods of occurrence of the identified objects in the video signal and the information about periods of perception or playback of the identified objects in the video signal.
  • the detection device is designed to perform a visual detection of the user or to obtain information about a visual detection of the user in order to provide the information about the perception of the identified objects based on the detection.
  • the visual capture may be via a camera, which can be used to determine if a user is watching a video.
  • the described embodiment can obtain precise information about the perception.
  • the detection device is designed to detect whether the user is present and to provide the information about the perception of the identified objects depending on the presence of the user. For example, it can be determined via a camera whether a user is currently in front of a screen on which the video signal is reproduced. Based on the presence, there may be an increased likelihood that the user will perceive currently playing objects within the video signal.
  • the detection device is designed to detect a perception of an identified object based on detection of a viewing direction of a user when the viewing direction of the user falls on the identified object or the identified object is within the field of vision of the user.
  • the detection of the viewing direction can be done by an external device or by the detection device.
  • the exemplary embodiment described can determine, for example by means of tracking the viewing direction, for example by determining the orientation of the pupils of the user's eyes, which region of the video signal or which object it is currently viewing. Furthermore, it can also be determined whether the user generally looks at a screen on which the video signal is reproduced or he looks in a different direction and thus may not perceive the screen. Based on the view direction information, the embodiment can provide accurate information about the perception of identified objects.
  • the detection device is designed to obtain information about an emotional state of the user based on a facial recognition of the user, wherein the detection device can determine the emotional state itself or receive it from the outside.
  • the system is designed to provide the information about the emotional state with information about To link the identified object of a database, or to weight the information about the perception depending on the information about the emotional state of the user.
  • the described embodiment provides weighted information about the perception depending on the information about the emotional state of the user, or allows linking the information about the emotional state linked to information about an identified object to a database.
  • emotional information such as joy or sadness
  • facial recognition for example based on laugh lines in the face of a user, can determine a positive emotional state or, for example by detecting tears, determine a possibly negative emotional state.
  • the system includes a display, wherein the system is configured to receive the information about the perception in response to a positioning of the display relative to the user.
  • a laptop display may be part of the system. If it is collapsed, the system may determine, using information indicating that the laptop display is collapsed, that user perception of the video signal is not possible.
  • the system comprises a position sensor, the system being designed to detect, based on positional information of the position sensor, whether a display on which an identified object is displayed faces the user. Furthermore, the system is designed to obtain the information about the perception of the identified object based on the detection.
  • a display device of the system may be equipped with an Inertia Measurement Unit (IMU), which provides a signal on the basis of which the position information is generated.
  • IMU Inertia Measurement Unit
  • the position information can be used to determine the orientation of the screen relative to the user so that, for example, it can be detected that the display is being perceived by the user when the display points upward.
  • the system is designed to find visually similar objects in another database based on the identified objects and to provide links to purchase information for the visually similar objects.
  • the described embodiment may be used to generate individualized advertisements for users based on the object entries. A user can The objects identified in this way are familiar and later offered for sale.
  • the video analysis device is designed to determine an emotional state of a content of the video signal based on a scene analysis of the video signal and to describe it by one or more numerical values, for example. Further, the system is designed to associate the particular emotional state with the identified objects and deposit them in a database or to weight the information about the perception in dependence on the information about the emotional state of the content of the video signal.
  • the described embodiment may advantageously use emotions associated with a scene or object to provide appropriate information. For example, objects that are connoted with positive emotions may later be used to successfully advertise later. Alternatively, the information about the perceptions may also be weighted according to the information about the emotional state, so that the perceptual information of the user is adjusted accordingly.
  • the video analysis device is designed to perform the scene analysis and to determine the emotional state based on face recognition.
  • the described embodiment may analyze faces in a movie and determine therefrom an emotional state of the content of the video signal.
  • the information thus obtained can be used, for example, to correspondingly weight the perception of the identified objects that occur in this context.
  • the video analysis device is configured to perform the scene analysis and determine the emotional state based on an analysis of a sound signal associated with the video signal.
  • the exemplary embodiment described can determine information about the emotional state of the video signal, for example on the basis of recognized happy music or sad music. Use of audio information in the context of the analysis of the sound signal allows a precise determination of the emotional state.
  • the system is designed to be based on a weighting of the user's emotional state, or one or more ren numerical values, and the emotional state of the content of the video signal, or of one or more numerical values, a weighted emotional state, for example, a numerical value to determine.
  • the system is designed to store the weighted emotional state associated with the information about the identified objects in a database or to weight the information about the perception in dependence on the information about the emotional state of the content of the video signal.
  • the described embodiment may combine an emotional state of the user and an emotional state of the content of the video signal to determine a combined emotional state.
  • the weighted or combined emotional state may be more meaningful or more precise than the individual emotional state information used to generate the weighted emotional state.
  • the system is designed to provide separate information about perception and playback of identified objects for different users.
  • the described embodiment may provide various databases for different users or create database entries for respective users.
  • user-specific profiles for the perception of objects can be created, which are then used to generate tailor-made advertising for the objects for the respective users.
  • the system is configured to allow selection of the identified objects by the user via an input device.
  • the user may select objects identified on a touch screen on which the video signal is displayed or select them on a computer screen with a mouse.
  • the system is configured to detect, for example, including weights, a perception of the identified objects by a user, for example a duration of perception and / or mood in the perception, across a plurality of video signals reproduced separately from each other. for example, with mood in the movie and / or mood of the user, or to capture a playback of the identified objects on a device associated with the user, or a replay to the user, across multiple video signals reproduced separately from each other.
  • exemplary embodiments may identify objects or determine their perception from a plurality of films or series viewed by a user.
  • An embodiment according to the invention provides a method comprising the following features, analyzing a video signal to identify objects in the video signal, depositing information regarding the identified objects in a database, detecting a perception of the identified objects by a user, o - Detecting a reproduction of the identified objects on a device associated with the user, and storing the information about the perception or the reproduction.
  • the described method may be extended to include all features and functionalities described herein with respect to the system.
  • Fig. 1 shows a schematic representation of a system according to an embodiment of the present invention
  • Fig. 2 shows a schematic representation of a system according to an embodiment of the present invention.
  • FIG. 1 shows a schematic representation of a system 100 according to an embodiment of the present invention.
  • the system 100 includes a video analyzer 110 and a detector 140.
  • the video analysis device 110 is configured to analyze a video signal 112 to identify objects in the video signal 112. Furthermore, the video analysis device 110 is designed to store information 114 with regard to the identified objects, for example in a database 116.
  • the detection device 140 is designed to detect a perception of the identified objects by a user or a reproduction of the identified objects To capture objects on a device associated with the user. This can be done, for example, by means of the information 142, which makes it possible to detect the perception or reproduction of the identified objects.
  • the information 142 may be video signal or audio signals, whereby the perception of a user can be determined. Furthermore, the information 142 may also provide information directly about the detection or monitoring of a user.
  • the detection device 140 is designed to store information about the perception or the reproduction, for example in the database 16 or, for example, in a separate database 144.
  • the system 100 may advantageously associate identified objects in the video signal 112 with a user's perception (recognized or estimated based on the playback information).
  • the perception of a user may be determined, for example, by means of the information about the reproduction such that when an object is visible in the reproduced video signal, the system 100 assumes that the user also perceives the object.
  • the system 100 may also provide specified information about the perception, determined, for example, via user detection.
  • the described system 100 may thus provide information about objects perceived by a user. In particular, this information can be stored individually for a user, so that it is available for later evaluation. Based on the evaluation, user-related information can be obtained, for example, to present the user with targeted advertising that is based on the identified objects.
  • the system 100 may optionally be supplemented with all of the features and functionalities described herein, individually or in combination.
  • FIG. 2 shows a schematic representation of a system 200 according to an embodiment of the present invention.
  • the system 200 includes a video analyzer 20, a capture device 240, and a terminal 270. Further, the system 200 may include a video signal output device 220.
  • the video analysis device 210 has a video analysis for objects 210a and a video analysis for moods 210b.
  • the object analysis unit 210a analyzes the video signal 212 for occurrences of objects, for example, using an object database 217 containing known objects to be identified.
  • the object analyzer 210a of the video analyzer 210 deposits information 214 regarding identified objects in the database 216.
  • the mood analyzer 210b may perform image analysis or sound analysis of the video signal 212 to obtain information 213 on the emotional state of the content of the video Provide video signals and store in a database 215.
  • the image analysis may determine the emotional state of the video signal 212 based on face recognition.
  • the video analyzer 210b may determine an emotional state of the video signal based on an audio analysis, for example, based on a particular timbre of the audio signal associated with the video signal.
  • the terminal 270 may be, for example, a mobile phone, laptop or a tablet.
  • the terminal 270 has a user interface and / or display 272, a camera 274 and a position sensor 276. Further, the terminal 270 may also include a microphone.
  • the terminal may perform an image analysis 275.
  • the image analysis 275 may detect the presence of a user prior to a display of the terminal, determine a user's emotional state, and / or have an analysis of the user's line of sight.
  • the terminal 270 may perform a visibility analysis of the display 277, that is, determine or estimate whether a user can see the screen. Based on this, in turn, information about the perception can be obtained from the system 200.
  • the image analysis 275 may provide information about the user's presence 275a, provide information about the user's gaze or about objects viewed by the user 275b, and / or provide information about an emotional state of the user 275c.
  • the visibility analysis 277 may provide information 277a about the visibility of the screen of the terminal 270.
  • the detection device 240 may, based on the information 216 regarding identified objects, information about the emotional state of the video signal, information 275a on a presence of the user, information 275b on a direction of the user, information 275c on the emotional state of the user and information 277a on the visibility of the display, a perception of the identified objects by a user, and / or a reproduction of the identified objects on a device associated with the user.
  • the information about the perception or the reproduction can be stored by the detection device 240 in the database 244.
  • the information 275a, 275b, and 277a may be combined in the detection means by a processing unit 241 to obtain the information 242 about reproduction and perception. Further, the information 275c and 215 may be utilized in the processor 243 to obtain combined emotional information 246. The information 242 and 246 may be combined in the processing device 247 and assigned to objects based on the information 216 regarding identified objects. Here, too, a weighting may be performed depending on the emotional information 246. Based on this, weighted information about playback and perception of the identified objects can be stored in the database 244.
  • the system 200 may include a video signal output 220 to provide the video signal 212 to the terminal 270.
  • the video signal output 220 may serve to provide a desired video signal or to control a provision.
  • the method 300 includes analyzing 310 a video signal to identify objects in the video signal. Furthermore, the method 300 includes storing 320 information regarding the identified objects in a database. Further, the method 300 includes detecting 330 a perception of the identified objects by a user. Furthermore, the method 300 includes detecting 340 a representation of the identified objects on a device associated with the user. Furthermore, the method 300 includes storing 350 information about the perception or the reproduction. Other aspects
  • a viewer is to have the ability to selectively select and purchase the identified objects.
  • use of object recognition in movies and series may determine use of emotional bonding and a feeling of familiarity with a product.
  • one aspect of the invention is an evaluation of subconsciously perceived objects for targeted advertising.
  • objects can be automatically classified. This can be done by previously trained recognition algorithms, for example, "deep learning” algorithms ("deep learning” algorithms) or classification algorithms can be applied.
  • the algorithms can be trained to recognize, for example, mobile phones, furniture, etc. (any commodity).
  • a library may search for a product of the greatest similarity (color, texture, etc.). This mapping can happen in advance and be repeated when the library is expanded for the series and movies. This functionality can be done, for example, by the video analyzer 110 or by the video analysis objects 210a.
  • Subconscious aspect According to the subconscious aspect, a personalized assignment takes place after all or most of the commodities have been pre-identified and marked. In the assignment, the frequency and presence of the utensils can be determined which the observer perceives subconsciously. This can be done for example by the detection device 140 or 240. The scene's mood can also be included in the assessment, such as through the video analysis Mood 210b. This information can be used for individualized advertising.
  • a viewer may select a product that pleases him in a series or a movie and purchase it in a shop (online).
  • Another aspect that finds application in the invention is a sense of familiarity that arises when an object is viewed repeatedly.
  • knowing what objects are seen by a viewer may be used for targeted advertising.
  • conclusions can be drawn about the coupling between an object and an emotional state.
  • additional information about an emotional mood image of a scene for example, by having it previously marked (gelabeied) or automatically determined by scene analysis, such as video analytics mood 210b), in a much broader sense than previously known, creating a scene may personalized advertising.
  • the individual database may contain personal data such as name, gender, age, Residence etc. Core information of the individual database can be a statistical evaluation of the viewed objects with a weighting factor.
  • a statistical evaluation according to the invention may be made, for example, by block 240 and may include, for example, one or more of the following aspects:
  • the perception time of an object can be stopped. It may be helpful to know if the video is stopped or if the person is in front of a media player, such as a display device.
  • the location of the cell phone in space may indicate whether the user is viewing the screen (eg, display 272).
  • a weighting factor may determine an emotional coupling.
  • a mood may be assigned to a single scene, for example, by video analysis mood 210b.
  • the visual information of the scene can be analyzed.
  • emotions of persons in films can provide information about the emotional situation of the scene.
  • acoustic information such as film music
  • Other possibilities for the scene analysis can be, for example, a recognition of a kiss scene or in general motives or actions with known emotional associations.
  • embodiments of the invention provide an identification of objects in video signals adapted to a perception of the viewer.
  • distance can be analyzed by means of a camera (for example camera 274), an emotional position of a viewer (for example by image analysis 275) and incorporated into the weighting factor.
  • a camera for example camera 274
  • an emotional position of a viewer for example by image analysis 275
  • incorporated into the weighting factor can be analyzed by means of a camera (for example camera 274), an emotional position of a viewer (for example by image analysis 275) and incorporated into the weighting factor.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals, which can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
  • some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored, for example, on a machine-readable carrier.
  • Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
  • an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.
  • the data carrier, the digital storage medium or the computer-readable medium are typically representational and / or non-transitory or non-transient.
  • a further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein.
  • the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
  • a processing device such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver.
  • the transmission can be done for example electronically or optically.
  • the receiver may be, for example, a computer, a mobile device, a storage device, or a similar device. be direction.
  • the device or system may include a file server for transmitting the computer program to the recipient.
  • a programmable logic device eg, a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein.
  • the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
  • the devices described herein may be implemented, for example, using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
  • the devices described herein, or any components of the devices described herein, may be implemented at least in part in hardware and / or software (computer program).
  • the methods described herein may be implemented using a hardware device, or using a computer, or using a combination of a hardware device and a computer.

Abstract

The invention relates to a system having the following features: a video analysis device which is designed to analyse a video signal in order to identify objects in the video signal, wherein the video analysis device is designed to store information in respect of the identified objects in a database; and a detection device, which is designed to detect a perception of the identified objects by a user or to detect reproduction of the identified objects on a device assigned to the user, and to store information regarding the perception or the reproduction.

Description

System und Verfahren zur Erfassung von Wahrnehmung oder Wiedergabe identifizierter Objekte in einem Videosignal  System and method for detecting perception or reproduction of identified objects in a video signal
Beschreibung description
Technischer Hintergrund Ausführungsbeispiele gemäß der Erfindung betreffen Systeme und Verfahren zur Erfassung von Wahrnehmung oder Wiedergabe identifizierter Objekte in einem Videosignal. Background Art Embodiments of the invention relate to systems and methods for detecting perception or reproduction of identified objects in a video signal.
Hintergrund der Erfindung In Filmen, Serien und anderen visuellen Medien begegnen dem Zuschauer unterschiedliche Gebrauchsgegenstände wie Mobiltelefone, Möbel, Kleider etc. Background of the Invention In movies, series and other visual media, the viewer encounters different commodities such as cell phones, furniture, clothes, etc.
In Anbetracht dessen besteht ein Bedarf nach einem Konzept, das eine für einen Benutzer individualisierte Bereitstellung von Zusatzinformationen ermöglicht. In view of this, there is a need for a concept that allows individualized provision of additional information to a user.
Zusammenfassung der Erfindung Summary of the invention
Ein Ausführungsbeispiel gemäß der Erfindung schafft ein System mit einer Videoanalyseeinrichtung, die ausgelegt ist, um ein Videosignal zu analysieren, um Objekte in einem Videosignal zu identifizieren. Ferner ist die Videoanalyseeinrichtung ausgelegt um Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank zu hinterlegen. Die Identifikation kann beispielsweise folgende Informationen bereitstellen: den Typ des Objekts, Zeiten, zu denen das Objekt sichtbar ist, Stimmungsinformation zu den Zeitpunkten, zu denen das Objekt sichtbar ist oder einen Link auf einen Objekt-Kauf-Seite im Internet. Des Weiteren weist das System eine Erfassungseinrichtung auf, die ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen, beziehungsweise eine Wiedergabe gegenüber dem Benutzer zu erfassen. Erfassung kann hierbei beispielsweise eine Erfassung der Dauer der Wahrnehmung und/oder Stimmung bei der Wahrnehmung umfassen. Ferner kann die Erfassung in dem Videosignal oder in mehreren Videosignalen durchgeführt werden. Die Erfassung kann des Weiteren auch eine Gewichtung einschließen, zum Beispiel mit einer Stimmung in dem Film/Videosignal und/oder der Stimmung des Nutzers. Ferner ist die Erfassungseinrichtung ausgelegt, um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern, beispielsweise in einer Datenbank. An embodiment according to the invention provides a system having a video analysis device adapted to analyze a video signal to identify objects in a video signal. Furthermore, the video analysis device is designed to store information regarding the identified objects in a database. The identification may, for example, provide the following information: the type of object, times at which the object is visible, mood information at the times when the object is visible, or a link to an object purchase page on the Internet. Furthermore, the system comprises a detection device which is designed to detect a perception of the identified objects by a user or to detect a reproduction of the identified objects on a device associated with the user, or to detect a reproduction with respect to the user. Detection may include, for example, a recording of the duration of the perception and / or mood in the perception. Further, the detection may be performed in the video signal or in a plurality of video signals. The capture can further include weighting, for example, with a mood in the movie / video signal and / or the mood of the user. Furthermore, the detection device is designed to store information about the perception or the reproduction, for example in a database.
Das beschriebene Ausführungsbeispiel kann beispielsweise basierend auf der Information über die Wiedergabe bestimmen, wie lange ein Objekt einem Benutzer oder Zuschauer präsentiert wurde und dadurch eine Wahrnehmung des Objekts durch den Benutzer schätzen. Ferner kann das Ausführungsbeispiel auch direkt die Wahrnehmung des Be- nutzers über die Information über die Wahrnehmung bestimmen und basierend hierauf bestimmen, wie lange ein Zuschauer oder Benutzer ein Objekt wahrnimmt. Das System kann beispielsweise die Information über Wahrnehmung oder Wiedergabe in eine Datenbank abspeichern und somit eine Datenbank über einen Nutzer bereitstellen, in der dokumentiert ist, welche Objekte er wahrgenommen oder vermutlich wahrgenommen hat, basierend auf der Information über die Wahrnehmung oder der Information über die Wiedergabe. Somit können beispielsweise individuelle Datensätze für Benutzer erzeugt werden, um somit Profile für Nutzer bezüglich wahrgenommener Objekte zu erhalten. Diese Wahrnehmungsinformation können hilfreich sein, beispielsweise, um psychologische Information über den Benutzer zu erhalten oder um für den Benutzer individualisierte Zu- satzinformation, wie beispielsweise Werbung, bereitzustellen. For example, the described embodiment may determine how long an object has been presented to a user or viewer based on the information about the rendering, thereby estimating a perception of the object by the user. Furthermore, the embodiment can also directly determine the perception of the user about the information about the perception and based on this determine how long a viewer or user perceives an object. The system may, for example, store the information about perception or playback in a database and thus provide a database of a user that documents which objects he has perceived or presumably perceived, based on the information about the perception or the information about the reproduction , Thus, for example, individual records can be created for users, thus obtaining profiles for users regarding perceived objects. This perceptual information can be helpful, for example, to obtain psychological information about the user or to provide individualized additional information for the user, such as advertising.
Diese Ausführungsbeispiel beruht somit auf der Erkenntnis, das durch eine Analyse, welche Ausschnitte eines Videosignals ein Benutzer wahrgenommen hat, beziehungsweise welche Ausschnitte des Videosignals auf ein dem Benutzer zugeordnetem Gerät wieder- gegeben worden, in Verbindung mit einer Information über in dem Videosignal enthaltenen Objekte eine aussagekräftige Information darüber gewonnen werden kann, welche Objekte für den Benutzer eine Relevanz haben können, was wiederum die Bereitstellung einer Zusatzinformation, beispielsweise im Hinblick auf diese Objekte, gegenüber dem Benutzer ermöglicht. This exemplary embodiment is thus based on the knowledge that has been reproduced by analyzing which sections of a video signal a user has perceived, or which sections of the video signal have been reproduced on a device assigned to the user, in conjunction with information about objects contained in the video signal meaningful information can be obtained on which objects may have relevance to the user, which in turn enables the provision of additional information, for example with regard to these objects, to the user.
Gemäß Ausführungsbeispielen ist die Erfassungseinrichtung ausgelegt, um die Information über die Wahrnehmung oder über die Wiedergabe in der Datenbank verknüpft mit der Information über die identifizierten Objekte zu hinterlegen. Das beschriebene Ausführungsbeispiel kann vorteilhaft eine gemeinsame Datenbank nutzen, in der sowohl die identifizierten Objekte, als auch (beispielsweise Benutzer-individuelle) Informationen über die Wahrnehmung oder über die Wiedergabe der identifizierten Objekte hinterlegt sind. Gemäß Ausführungsbeispielen ist die Videoanalyseeinrichtung ausgelegt, um Informationen über Zeiträume des Auftretens der identifizierten Objekte in dem Videosignal bereitzustellen. Ferner ist die Erfassungseinrichtung ausgelegt, um Informationen über Zeit- räume der Wahrnehmung oder Wiedergabe der identifizierten Objekte bereitzustellen. Des Weiteren ist das System ausgelegt, um basierend auf der Information über Zeiträume des Auftretens und der Information über Zeiträume der Wahrnehmung oder Wiedergabe Wahrnehmungsdauern der identifizierten Objekte zu bestimmen. Weiterhin ist das System ausgelegt, um die Wahrnehmungsdauern verknüpft mit den hinterlegten Informationen über die identifizierten Objekte in der Datenbank zu hinterlegen. Das beschrieben Ausführungsbeispiel kann mittels der Wahmehmungsdauern eine Analyse des Beobachters ermöglichen. Insbesondere können Zeiträume des Auftretens von identifizierten Objekten mit Zeiträumen der Wahrnehmung oder Wiedergabe verknüpft werden. Somit kann mittels des Ausführungsbeispiels eine Aussage darüber getroffen werden, ob identifizierte Objek- te vom Benutzer wahrgenommen werden oder wahrnehmbar sind. Ferner kann eine Ge- samtbetrachtungsdauer oder Wahrnehmungsdauer für individuelle Objekte erhalten werden, um beispielsweise damit zu bestimmen, wie lange ein Benutzer ein bestimmtes Objekt gesehen hat. Gemäß Ausführungsbeispielen ist die Erfassungseinrichtung ausgelegt, um basierend auf einem Pausieren der Wiedergabe die Information über Zeiträume der Wiedergabe anzupassen, in Abhängigkeit davon, ob ein identifiziertes Objekt auf einer Anzeige während der pausierten Wiedergabe sichtbar ist. Das beschriebene Ausführungsbeispiel kann vorteilhaft die Information über Zeiträume und Wiedergabe anpassen basierend auf dem Pausieren der Wiedergabe. Beispielsweise kann während einer pausierten Wiedergabe auf einer Anzeige ein identifiziertes Objekt für eine längere Dauer sichtbar sein, weshalb dieses länger von einem Benutzer betrachtet werden kann. Das beschriebene Ausführungsbeispiel kann mittels dieser Information die Information über den Zeitraum der Wiedergabe anpassen und davon beispielsweise Wahrnehmungsdauern ableiten. According to embodiments, the detection device is designed to deposit the information about the perception or the reproduction in the database linked to the information about the identified objects. The embodiment described can advantageously use a common database in which both the identified objects and (for example user-specific) information about the perception or reproduction of the identified objects are stored. According to embodiments, the video analysis device is designed to provide information about periods of occurrence of the identified objects in the video signal. Furthermore, the detection device is designed to provide information about periods of perception or reproduction of the identified objects. Further, the system is configured to determine perceptual durations of the identified objects based on information about periods of occurrence and information about periods of perception or reproduction. Furthermore, the system is designed to store the periods of perception linked to the stored information about the identified objects in the database. The described embodiment may allow an analysis of the observer by means of the duration of the perception. In particular, periods of occurrence of identified objects may be associated with periods of perception or playback. Thus, by means of the exemplary embodiment, a statement can be made as to whether identified objects are perceived by the user or are perceptible. Furthermore, a total viewing time or duration of perception for individual objects may be obtained, for example, to determine how long a user has seen a particular object. According to embodiments, the detection means is adapted to adjust the information over periods of reproduction based on a pausing of the reproduction, depending on whether an identified object is visible on a display during the paused reproduction. The described embodiment may advantageously adjust the information about periods and playback based on the pausing of the playback. For example, during a paused playback on a display, an identified object may be visible for a longer duration, which may be viewed longer by a user. The embodiment described can use this information to adjust the information over the period of playback and deduce therefrom, for example, periods of perception.
Gemäß Ausführungsbeispielen ist das System ausgelegt, um die Wahrnehmungsdauern über Zeiträume des Auftretens der identifizierten Objekte in dem Videosignal und der Information über Zeiträume der Wahrnehmung oder Wiedergabe der identifizierten Objekte in dem Videosignal zu bestimmen. Gemäß Ausführungsbeispielen ist die Erfassungseinrichtung ausgelegt, um eine visuelle Erfassung des Benutzers durchzuführen oder um eine Information über eine visuelle Erfassung des Benutzers zu erhalten, um die Information über die Wahrnehmung der identifizierten Objekte basierend auf der Erfassung bereitzustellen. Die visuelle Erfassung kann beispielsweise über eine Kamera erfolgen, womit festgestellt werden kann, ob ein Benutzer ein Video gerade betrachtet. Mittels der visuellen Erfassung kann das beschrieben Ausführungsbeispiel eine präzise Information über die Wahrnehmung erhalten. According to embodiments, the system is configured to determine the periods of perception over periods of occurrence of the identified objects in the video signal and the information about periods of perception or playback of the identified objects in the video signal. According to exemplary embodiments, the detection device is designed to perform a visual detection of the user or to obtain information about a visual detection of the user in order to provide the information about the perception of the identified objects based on the detection. For example, the visual capture may be via a camera, which can be used to determine if a user is watching a video. By means of the visual detection, the described embodiment can obtain precise information about the perception.
Gemäß Ausführungsbeispielen ist die Erfassungseinrichtung ausgelegt, um zu detektie- ren, ob der Benutzer anwesend ist, und um abhängig von der Anwesenheit des Benutzers die Information über die Wahrnehmung der identifizierten Objekte bereitzustellen. Beispielsweise kann über eine Kamera festgestellt werden, ob ein Nutzer sich gerade vor einem Bildschirm befindet, auf dem das Videosignal wiedergegeben wird. Basierend auf der Anwesenheit kann eine erhöhte Wahrscheinlichkeit zugrunde gelegt werden, dass der Benutzer aktuell wiedergegebene Objekte innerhalb des Videosignals wahrnimmt. According to embodiments, the detection device is designed to detect whether the user is present and to provide the information about the perception of the identified objects depending on the presence of the user. For example, it can be determined via a camera whether a user is currently in front of a screen on which the video signal is reproduced. Based on the presence, there may be an increased likelihood that the user will perceive currently playing objects within the video signal.
Gemäß Ausführungsbeispielen ist die Erfassungseinrichtung ausgelegt, um basierend auf einer Erfassung einer Blickrichtung eines Benutzers eine Wahrnehmung eines identifizierten Objekts zu erkennen, wenn die Blickrichtung des Benutzers auf das identifizierte Ob- jekt fällt oder das identifizierte Objekt in einem Blickfeld des Benutzers ist. Im Allgemeinen kann die Erfassung der Blickrichtung durch ein externes Gerät oder durch die Erfassungseinrichtung erfolgen. Das beschriebene Ausführungsbeispiel kann beispielsweise mittels Verfolgung der Blickrichtung, beispielsweise durch Bestimmung der Orientierung der Pupillen der Augen des Benutzers, feststellen, welche Region des Videosignals bzw. welches Objekt er gerade betrachtet. Des Weiteren kann auch festgestellt werden, ob der Benutzer im Allgemeinen auf einen Bildschirm schaut, auf dem das Videosignal wiedergegeben wird oder er in eine andere Richtung schaut und somit den Bildschirm womöglich nicht wahrnimmt. Basierend auf den Blickrichtungsinformationen, kann das Ausführungsbeispiel eine präzise Information über die Wahrnehmung von identifizierten Objekten bereitstellen. According to exemplary embodiments, the detection device is designed to detect a perception of an identified object based on detection of a viewing direction of a user when the viewing direction of the user falls on the identified object or the identified object is within the field of vision of the user. In general, the detection of the viewing direction can be done by an external device or by the detection device. The exemplary embodiment described can determine, for example by means of tracking the viewing direction, for example by determining the orientation of the pupils of the user's eyes, which region of the video signal or which object it is currently viewing. Furthermore, it can also be determined whether the user generally looks at a screen on which the video signal is reproduced or he looks in a different direction and thus may not perceive the screen. Based on the view direction information, the embodiment can provide accurate information about the perception of identified objects.
Gemäß Ausführungsbeispielen ist die Erfassungseinrichtung ausgelegt, um basierend auf einer Gesichtserkennung des Benutzers eine Information über einen emotionalen Zustand des Benutzers zu erhalten, wobei die Erfassungseinrichtung den emotionalen Zustand selbst bestimmen kann oder von extern empfangen kann. Ferner ist das System ausgelegt, um die Information über den emotionalen Zustand mit einer Information über ein identifiziertes Objekt einer Datenbank zu verknüpfen, oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Benutzers zu gewichten. Das beschriebene Ausführungsbeispiel bietet eine gewichtete Information über die Wahrnehmung in Abhängigkeit von der Information über den emotio- nalen Zustand des Benutzers oder erlaubt es, die Information über den emotionalen Zustand verknüpft mit einer Information über ein identifiziertes Objekt mit einer Datenbank zu verknüpfen. Somit können emotionale Informationen, beispielsweise Freude oder Trauer, mit den identifizierten Objekten verknüpft werden. Ferner kann die Gesichtserkennung, beispielsweise anhand von Lachfalten im Gesicht eines Benutzers, einen positi- ven emotionalen Zustand bestimmen oder, beispielsweise durch Erkennung von Tränen, einen möglicherweise negativen emotionalen Zustand bestimmen. According to exemplary embodiments, the detection device is designed to obtain information about an emotional state of the user based on a facial recognition of the user, wherein the detection device can determine the emotional state itself or receive it from the outside. Further, the system is designed to provide the information about the emotional state with information about To link the identified object of a database, or to weight the information about the perception depending on the information about the emotional state of the user. The described embodiment provides weighted information about the perception depending on the information about the emotional state of the user, or allows linking the information about the emotional state linked to information about an identified object to a database. Thus, emotional information, such as joy or sadness, can be linked to the identified objects. Furthermore, facial recognition, for example based on laugh lines in the face of a user, can determine a positive emotional state or, for example by detecting tears, determine a possibly negative emotional state.
Gemäß Ausführungsbeispielen weist das System eine Anzeige auf, wobei das System ausgelegt ist, um in Abhängigkeit einer Positionierung der Anzeige relativ zu dem Benut- zer die Information über die Wahrnehmung zu erhalten. Beispielsweise kann ein Laptop- Display Teil des Systems sein. Wenn dieser eingeklappt ist, kann das System, unter Verwendung einer Information, die anzeigt dass das Laptop-Display eingeklappt ist, feststellen, dass eine Wahrnehmung des Videosignals durch einen Benutzer nicht möglich ist. Gemäß Ausführungsbeispielen weist das System einen Lagesensor auf, wobei das System ausgelegt ist, um basierend auf Lageinformationen des Lagesensors zu detektieren, ob eine Anzeige, auf der ein identifiziertes Objekt dargestellt wird, dem Benutzer zugewandt ist. Ferner ist das System ausgelegt, um basierend auf der Detektion die Information über die Wahrnehmung des identifizierten Objekts zu erhalten. Beispielsweise kann ein Anzeigegerät des Systems mit einem Trägheitssensor (Inertia Measurement Unit IMU) ausgestattet sein, der ein Signal zur Verfügung stellt, auf dessen Basis die Lageinformation erzeugt wird. Beispielsweise kann durch die Lageinformation die Orientierung des Bildschirms relativ zu dem Benutzer bestimmt werden, so dass beispielsweise detektiert werden kann, dass die Anzeige von dem Benutzer wahrgenommen wird, wenn die Anzei- ge nach oben deutet. According to embodiments, the system includes a display, wherein the system is configured to receive the information about the perception in response to a positioning of the display relative to the user. For example, a laptop display may be part of the system. If it is collapsed, the system may determine, using information indicating that the laptop display is collapsed, that user perception of the video signal is not possible. According to embodiments, the system comprises a position sensor, the system being designed to detect, based on positional information of the position sensor, whether a display on which an identified object is displayed faces the user. Furthermore, the system is designed to obtain the information about the perception of the identified object based on the detection. For example, a display device of the system may be equipped with an Inertia Measurement Unit (IMU), which provides a signal on the basis of which the position information is generated. For example, the position information can be used to determine the orientation of the screen relative to the user so that, for example, it can be detected that the display is being perceived by the user when the display points upward.
Gemäß Ausführungsbeispielen ist das System ausgelegt, um basierend auf den identifizierten Objekten visuell ähnliche Objekte in einer weiteren Datenbank zu finden und Verknüpfungen mit Kaufinformationen zu den visuell ähnlichen Objekten bereitzustellen. Das beschriebene Ausführungsbeispiel kann dazu genutzt werden, um individualisierte Werbung für Benutzer zu erzeugen, basierend auf den Objekteinträgen. Einem Benutzer kön- nen so identifizierte Objekte, die im vertraut sind, später gezielt zum Kauf angeboten werden. According to exemplary embodiments, the system is designed to find visually similar objects in another database based on the identified objects and to provide links to purchase information for the visually similar objects. The described embodiment may be used to generate individualized advertisements for users based on the object entries. A user can The objects identified in this way are familiar and later offered for sale.
Gemäß Ausführungsbeispielen ist die Videoanalyseeinrichtung ausgelegt, um einen emo- tionalen Zustand eines Inhalts des Videosignals basierend auf einer Szenenanalyse des Videosignals zu bestimmen und beispielsweise durch einen oder mehrere Zahlenwerte zu beschreiben. Ferner ist das System ausgelegt, um den bestimmten emotionalen Zustand mit den identifizierten Objekten zu verknüpfen und in einer Datenbank zu hinterlegen oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Inhalts des Videosignals zu gewichten. Das beschriebene Ausführungsbeispiel kann vorteilhaft Emotionen, die mit einer Szene oder einem Objekt verknüpft werden, nutzen, um entsprechende Informationen bereitzustellen. Beispielsweise können Objekte, die mit positiven Emotionen konnotiert sind, später eher genutzt werden, um dafür erfolgreich später zu werben. Alternativ können auch die die Informationen über die Wahrnehmungen in Abhängigkeit von der Information über den emotionalen Zustand gewichtet werden, so dass die Wahrnehmungsinformation des Benutzers entsprechend angepasst wird. According to exemplary embodiments, the video analysis device is designed to determine an emotional state of a content of the video signal based on a scene analysis of the video signal and to describe it by one or more numerical values, for example. Further, the system is designed to associate the particular emotional state with the identified objects and deposit them in a database or to weight the information about the perception in dependence on the information about the emotional state of the content of the video signal. The described embodiment may advantageously use emotions associated with a scene or object to provide appropriate information. For example, objects that are connoted with positive emotions may later be used to successfully advertise later. Alternatively, the information about the perceptions may also be weighted according to the information about the emotional state, so that the perceptual information of the user is adjusted accordingly.
Gemäß Ausführungsbeispielen ist die Videoanalyseeinrichtung ausgelegt, um basierend auf einer Gesichtserkennung die Szenenanalyse durchzuführen und den emotionalen Zustand zu bestimmen. Das beschriebene Ausführungsbeispiel kann beispielsweise Gesichter in einem Film analysieren und daraus einen emotionalen Zustand des Inhalts des Videosignals bestimmen. Die so erhaltene Information kann genutzt werden, um beispielsweise die Wahrnehmung der identifizierten Objekte, die in diesem Zusammenhang auftreten, entsprechend zu gewichten. According to exemplary embodiments, the video analysis device is designed to perform the scene analysis and to determine the emotional state based on face recognition. For example, the described embodiment may analyze faces in a movie and determine therefrom an emotional state of the content of the video signal. The information thus obtained can be used, for example, to correspondingly weight the perception of the identified objects that occur in this context.
Gemäß Ausführungsbeispielen ist die Videoanalyseeinrichtung ausgelegt, um basierend auf einer Analyse eines Tonsignals, das dem Videosignal zugeordnet ist, die Szenenanalyse durchzuführen und den emotionalen Zustand zu bestimmen. Das beschriebene Aus- führungsbeispiel kann beispielsweise anhand von erkannter fröhlicher Musik oder trauriger Musik, eine Information über den emotionalen Zustand des Videosignals bestimmen. Nutzung von Audioinformation im Rahme der Analyse des Tonsignals, ermöglicht ein präzise Bestimmung des emotionalen Zustands. Gemäß Ausführungsbeispielen ist das System ausgelegt, um basierend auf einer Gewichtung des emotionalen Zustands des Benutzers, beziehungsweise von einem oder mehre- ren Zahlenwerten, und des emotionalen Zustande des Inhalts des Videosignals, beziehungsweise von einem oder mehreren Zahlenwerten, einen gewichteten emotionalen Zustand, zum Beispiel einen Zahlenwert, zu bestimmen. Ferner ist das System ausgelegt, um den gewichteten emotionalen Zustand verknüpft mit den Informationen über die identi- fizierten Objekte in einer Datenbank zu hinterlegen oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Inhalts des Videosignals zu gewichten. Das beschriebene Ausführungsbeispiel kann einen emotionalen Zustand des Benutzers und einen emotionalen Zustand des Inhalts des Videosignals kombinieren, um einen kombinierten emotionalen Zustand zu bestimmen. Der gewichtete oder kombinierte emotionale Zustand kann aussagekräftiger oder präziser sein als die individuellen emotionalen Zustandsinformationen, die zur Erzeugung des gewichteten emotionalen Zustande genutzt werden. According to embodiments, the video analysis device is configured to perform the scene analysis and determine the emotional state based on an analysis of a sound signal associated with the video signal. The exemplary embodiment described can determine information about the emotional state of the video signal, for example on the basis of recognized happy music or sad music. Use of audio information in the context of the analysis of the sound signal allows a precise determination of the emotional state. According to embodiments, the system is designed to be based on a weighting of the user's emotional state, or one or more ren numerical values, and the emotional state of the content of the video signal, or of one or more numerical values, a weighted emotional state, for example, a numerical value to determine. Furthermore, the system is designed to store the weighted emotional state associated with the information about the identified objects in a database or to weight the information about the perception in dependence on the information about the emotional state of the content of the video signal. The described embodiment may combine an emotional state of the user and an emotional state of the content of the video signal to determine a combined emotional state. The weighted or combined emotional state may be more meaningful or more precise than the individual emotional state information used to generate the weighted emotional state.
Gemäß Ausführungsbeispielen ist das System ausgelegt, um separate Informationen über Wahrnehmung und Wiedergabe von identifizierten Objekten für verschiedene Benutzer bereitzustellen. Das beschriebene Ausführungsbeispiel kann verschiedene Datenbanken für verschiedene Benutzer bereitstellen oder Datenbankeinträge für jeweilige Nutzer erzeugen. Somit können nutzerspezifische Profile für die Wahrnehmung von Objekten erstellt werden, worauf basierend im Anschluss eine maßgeschneiderte Werbung für die Objekte für die jeweiligen Benutzer erzeugt werden. According to embodiments, the system is designed to provide separate information about perception and playback of identified objects for different users. The described embodiment may provide various databases for different users or create database entries for respective users. Thus, user-specific profiles for the perception of objects can be created, which are then used to generate tailor-made advertising for the objects for the respective users.
Gemäß Ausführungsbeispielen ist das System ausgelegt, um eine Auswahl der identifizierten Objekte durch den Benutzer über ein Eingabegerät zu ermöglichen. Der Benutzer kann beispielsweise auf ein Touchscreen, auf dem das Videosignal wiedergegeben wird, identifizierte Objekte auswählen oder an einem Computerbildschirm mit einer Maus auswählen. According to embodiments, the system is configured to allow selection of the identified objects by the user via an input device. For example, the user may select objects identified on a touch screen on which the video signal is displayed or select them on a computer screen with a mouse.
Gemäß Ausführungsbeispielen ist das System ausgelegt, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer, beispielsweise eine Dauer der Wahrneh- mung und/oder Stimmung bei der Wahrnehmung, über mehrere Videosignale hinweg, die separat voneinander wiedergegeben werden, zu erfassen, beispielsweise einschließlich gewichten, z.B. mit Stimmung in dem Film und/oder Stimmung des Nutzers, oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät, beziehungsweise eine Wiedergabe gegenüber dem Benutzer, über mehrere Videosignale hinweg, die separat voneinander wiedergegeben werden, zu erfassen. Das beschriebene Ausführungsbeispiel kann beispielsweise aus mehreren Filmen oder Serien, die ein Benutzer betrachtet, Objekte identifizieren bzw. deren Wahrnehmung bestimmen. According to embodiments, the system is configured to detect, for example, including weights, a perception of the identified objects by a user, for example a duration of perception and / or mood in the perception, across a plurality of video signals reproduced separately from each other. for example, with mood in the movie and / or mood of the user, or to capture a playback of the identified objects on a device associated with the user, or a replay to the user, across multiple video signals reproduced separately from each other. The described By way of example, exemplary embodiments may identify objects or determine their perception from a plurality of films or series viewed by a user.
Ein Ausführungsbeispiel gemäß der Erfindung schafft ein Verfahren mit folgenden Merk- malen, Analysieren eines Videosignals, um Objekte in dem Videosignal zu identifizieren, Hinterlegen von Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank, Erfassen einer Wahrnehmung der identifizierten Objekte durch einen Benutzer, o- der Erfassen einer Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät, und Abspeichern der Informationen über die Wahrnehmung oder über die Wiedergabe. Das beschrieben Verfahren kann um alle Merkmale und Funktionalitäten, die hierin in Bezug auf das System beschrieben sind, erweitert werden. An embodiment according to the invention provides a method comprising the following features, analyzing a video signal to identify objects in the video signal, depositing information regarding the identified objects in a database, detecting a perception of the identified objects by a user, o - Detecting a reproduction of the identified objects on a device associated with the user, and storing the information about the perception or the reproduction. The described method may be extended to include all features and functionalities described herein with respect to the system.
Fiqurenkurzbeschreibunq Ausführungsbeispiele gemäß der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen: Embodiments according to the present invention will be explained in more detail below with reference to the attached figures. Show it:
Fig. 1 zeigt eine schematische Darstellung eines Systems, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; Fig. 1 shows a schematic representation of a system according to an embodiment of the present invention;
Fig. 2 zeigt eine schematische Darstellung eines Systems, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und ein Flussdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung. Fig. 2 shows a schematic representation of a system according to an embodiment of the present invention; and a flowchart of a method according to an embodiment of the invention.
Detaillierte Beschreibung der Ausführungsbeispiele Fig. 1 zeigt eine schematische Darstellung eines Systems 100, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. DETAILED DESCRIPTION OF THE EMBODIMENTS FIG. 1 shows a schematic representation of a system 100 according to an embodiment of the present invention.
Das System 100 umfasst eine Videoanalyseeinrichtung 110 und eine Erfassungseinrichtung 140. Die Videoanalyseeinrichtung 110 ist ausgelegt, ein Videosignal 112 zu analysieren, um Objekte in dem Videosignal 112 zu identifizieren. Ferner ist die Videoanalyseeinrichtung 110 ausgelegt, um Informationen 114 im Hinblick auf die identifizierten Objekte zu hinterlegen, beispielsweise in einer Datenbank 116. Die Erfassungseinrichtung 140 ist ausge- legt, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen. Dies kann beispielsweise mittels der Information 142, die eine Erfassung der Wahrnehmung oder Wiedergabe der identifizierten Objekte ermöglicht, durchgeführt werden. Die Information 142 können Videosignal oder Audiosignale sein, womit die Wahrnehmung eines Nutzers bestimmt werden können. Des Weiteren können die Informationen 142 auch direkt Informationen über die Erkennung oder Überwachung eines Nutzers bereitstellen. Ferner ist die Erfassungseinrichtung 140 ausgelegt, um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern, beispielsweise in der Datenbank 1 16 oder beispielsweise in einer separaten Datenbank 144. The system 100 includes a video analyzer 110 and a detector 140. The video analysis device 110 is configured to analyze a video signal 112 to identify objects in the video signal 112. Furthermore, the video analysis device 110 is designed to store information 114 with regard to the identified objects, for example in a database 116. The detection device 140 is designed to detect a perception of the identified objects by a user or a reproduction of the identified objects To capture objects on a device associated with the user. This can be done, for example, by means of the information 142, which makes it possible to detect the perception or reproduction of the identified objects. The information 142 may be video signal or audio signals, whereby the perception of a user can be determined. Furthermore, the information 142 may also provide information directly about the detection or monitoring of a user. Furthermore, the detection device 140 is designed to store information about the perception or the reproduction, for example in the database 16 or, for example, in a separate database 144.
Das System 100 kann vorteilhaft identifizierte Objekte in dem Videosignal 112 einer (erkannten oder anhand der Wiedergabeinformation geschätzten) Wahrnehmung durch einen Benutzer zuordnen. Die Wahrnehmung eines Benutzers kann beispielsweise mittels der Information über die Wiedergabe so bestimmt werden, dass wenn ein Objekt in dem wiedergegebenen Videosignal sichtbar ist, das System 100 annimmt, dass der Benutzer das Objekt auch wahrnimmt. Alternativ kann das System 100 aber auch eine spezifizierte Information über die Wahrnehmung bereitstellen, die beispielsweise über eine Erfassung des Benutzers bestimmt wird. Das beschriebene System 100 kann so Informationen über von einem Benutzer wahrgenommene Objekte bereitstellen. Insbesondere können diese Informationen individualisiert für einen Benutzer abgespeichert werden, so dass sie für spätere Auswertung verfügbar ist. Basierend auf der Auswertung können Nutzerbezogene Informationen erhalten werden, um dem Nutzer beispielsweise gezielt Werbung zu präsentieren, die auf den identifizierten Objekten beruht. Das System 100 kann optional um alle Merkmale und Funktionalitäten ergänzt werden, die hierin beschrieben sind, und zwar einzeln oder in Kombination. The system 100 may advantageously associate identified objects in the video signal 112 with a user's perception (recognized or estimated based on the playback information). The perception of a user may be determined, for example, by means of the information about the reproduction such that when an object is visible in the reproduced video signal, the system 100 assumes that the user also perceives the object. Alternatively, however, the system 100 may also provide specified information about the perception, determined, for example, via user detection. The described system 100 may thus provide information about objects perceived by a user. In particular, this information can be stored individually for a user, so that it is available for later evaluation. Based on the evaluation, user-related information can be obtained, for example, to present the user with targeted advertising that is based on the identified objects. The system 100 may optionally be supplemented with all of the features and functionalities described herein, individually or in combination.
Fig. 2 zeigt eine schematische Darstellung eines Systems 200, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das System 200 weist eine Videoanalyseeinrichtung 2 0, eine Erfassungseinrichtung 240 und ein Endgerät 270 auf. Ferner kann das System 200 eine Videosignalausgabeeinrichtung 220 aufweisen. Die Videoanalyseeinrichtung 210 weist eine Videoanalyse für Objekte 210a und eine Videoanalyse für Stimmungen 210b auf. Die Objektanalyseeinheit 210a analysiert das Videosignal 212 hinsichtlich auftretender Objekte, beispielsweise mit Hilfe einer Objektdatenbank 217, die bekannte Objekte beinhaltet, die zu identifizieren sind. Die Objektanalyseeinrichtung 210a der Videoanalyseeinrichtung 210 hinterlegt Informationen 214 im Hin- blick auf identifizierte Objekte in der Datenbank 216. Des Weiteren kann der Stimmungs- analysator 210b eine Bildanalyse oder eine Tonanalyse des Videosignals 212 durchführen, um eine Information 213 über den emotionalen Zustand des Inhalts des Videosignals bereitzustellen und in eine Datenbank 215 abzuspeichern. Die Bildanalyse kann beispielsweise basierend auf einer Gesichtserkennung den emotionalen Zustand des Video- Signals 212 bestimmen. Ferner kann die Videoanalyseeinrichtung 210b basierend auf einer Tonanalyse, beispielsweise basierend auf einer bestimmten Klangfarbe des Tonsignals, das dem Videosignal zugeordnet ist, einen emotionalen Zustand des Videosignals bestimmen. Das Endgerät 270 kann beispielsweise ein Mobiltelefon, Laptop oder ein Tablet sein. Das Endgerät 270 weist eine Benutzerschnittstelle und/oder Anzeige 272, eine Kamera 274 und einen Positionssensor 276 auf. Ferner kann das Endgerät 270 auch ein Mikrofon aufweisen. Basierend auf einem Signal 274a der Kamera 274 kann das Endgerät eine Bildanalyse 275 durchführen. Die Bildanalyse 275 kann beispielsweise die Anwesenheit eines Benutzers vor einer Anzeige des Endgeräts feststellen, einen emotionalen Zustand eines Benutzers bestimmen und/oder eine Analyse der Blickrichtung des Benutzers aufweisen. Basierend auf einem Signal 276a des Positionssensors 276 kann das Endgerät 270 eine Sichtbarkeitsanalyse der Anzeige 277 durchführen, also feststellen oder abschätzen, ob ein Benutzer den Bildschirm sehen kann. Basierend hierauf kann wiederum von dem System 200 eine Information über die Wahrnehmung gewonnen werden. Die Bildanalyse 275 kann eine Information 275a über die Anwesenheit des Benutzers bereitstellen, eine Information 275b über die Blickrichtung des Benutzers oder über von dem Benutzer betrachtete Objekte bereitstellen, und/oder eine Information 275c über einen emotionalen Zustand des Benutzers bereitstellen. Ferner kann die Sichtbarkeitsanalyse 277 eine Information 277a über die Sichtbarkeit des Bildschirms des Endgeräts 270 bereitstellen. Die Erfassungseinrichtung 240 kann basierend auf den Informationen 216 im Hinblick auf identifizierte Objekte, Information 215 über den emotionalen Zustand des Videosignals, Information 275a über eine Anwesenheit des Benutzers, Information 275b über eine Blick- richtung des Benutzers, Information 275c über den emotionalen Zustand des Benutzers und Information 277a über die Sichtbarkeit der Anzeige, eine Wahrnehmung der identifizierten Objekte durch einen Benutzer erfassen und/oder eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät erfassen. Die Information über die Wahrnehmung oder über die Wiedergabe kann von der Erfassungseinrichtung 240 in der Datenbank 244 abgespeichert werden. Die Informationen 275a, 275b und 277a können in der Erfassungseinrichtung mittels einer Verarbeitungseinheit 241 kombiniert werden, um die Information 242 über Wiedergabe und Wahrnehmung zu erhalten. Ferner kann die Information 275c und 215 in der Verarbeitungseinrichtung 243 genutzt werden, um eine kombinierte emotionale Information 246 zu erhalten. Die Informationen 242 und 246 können in der Verarbeitungseinrichtung 247 kombiniert werden und Objekten, basierend auf den Informationen 216 im Hinblick auf identifizierte Objekte, zugeordnet werden. Hier kann ebenfalls eine Gewichtung abhängig von den emotionalen Informationen 246 durchgeführt werden. Basierend hieraus kann eine gewichtete Information über Wiedergabe und Wahrnehmung der identifizierten Objekte in der Datenbank 244 abgespeichert werden. FIG. 2 shows a schematic representation of a system 200 according to an embodiment of the present invention. The system 200 includes a video analyzer 20, a capture device 240, and a terminal 270. Further, the system 200 may include a video signal output device 220. The video analysis device 210 has a video analysis for objects 210a and a video analysis for moods 210b. The object analysis unit 210a analyzes the video signal 212 for occurrences of objects, for example, using an object database 217 containing known objects to be identified. The object analyzer 210a of the video analyzer 210 deposits information 214 regarding identified objects in the database 216. Further, the mood analyzer 210b may perform image analysis or sound analysis of the video signal 212 to obtain information 213 on the emotional state of the content of the video Provide video signals and store in a database 215. For example, the image analysis may determine the emotional state of the video signal 212 based on face recognition. Further, the video analyzer 210b may determine an emotional state of the video signal based on an audio analysis, for example, based on a particular timbre of the audio signal associated with the video signal. The terminal 270 may be, for example, a mobile phone, laptop or a tablet. The terminal 270 has a user interface and / or display 272, a camera 274 and a position sensor 276. Further, the terminal 270 may also include a microphone. Based on a signal 274a of the camera 274, the terminal may perform an image analysis 275. For example, the image analysis 275 may detect the presence of a user prior to a display of the terminal, determine a user's emotional state, and / or have an analysis of the user's line of sight. Based on a signal 276a of the position sensor 276, the terminal 270 may perform a visibility analysis of the display 277, that is, determine or estimate whether a user can see the screen. Based on this, in turn, information about the perception can be obtained from the system 200. The image analysis 275 may provide information about the user's presence 275a, provide information about the user's gaze or about objects viewed by the user 275b, and / or provide information about an emotional state of the user 275c. Furthermore, the visibility analysis 277 may provide information 277a about the visibility of the screen of the terminal 270. The detection device 240 may, based on the information 216 regarding identified objects, information about the emotional state of the video signal, information 275a on a presence of the user, information 275b on a direction of the user, information 275c on the emotional state of the user and information 277a on the visibility of the display, a perception of the identified objects by a user, and / or a reproduction of the identified objects on a device associated with the user. The information about the perception or the reproduction can be stored by the detection device 240 in the database 244. The information 275a, 275b, and 277a may be combined in the detection means by a processing unit 241 to obtain the information 242 about reproduction and perception. Further, the information 275c and 215 may be utilized in the processor 243 to obtain combined emotional information 246. The information 242 and 246 may be combined in the processing device 247 and assigned to objects based on the information 216 regarding identified objects. Here, too, a weighting may be performed depending on the emotional information 246. Based on this, weighted information about playback and perception of the identified objects can be stored in the database 244.
Ferner kann das System 200 eine Videosignalausgabe 220 aufweisen, um das Videosignal 212 dem Endgerät 270 bereitzustellen. Des Weiteren kann die Videosignalausgabe 220 dazu dienen, um ein gewünschtes Videosignal bereitzustellen oder eine Bereitstel- lung zu steuern. Further, the system 200 may include a video signal output 220 to provide the video signal 212 to the terminal 270. Furthermore, the video signal output 220 may serve to provide a desired video signal or to control a provision.
Fig. 3 zeigt ein Flussdiagramm eines Verfahrens 300 gemäß einem Ausführungsbeispiel der Erfindung. Das Verfahren 300 umfasst ein Analysieren 310 eines Videosignals, um Objekte in dem Videosignal zu identifizieren. Des Weiteren umfasst das Verfahren 300 ein Hinterlegen 320 von Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank. Ferner umfasst das Verfahren 300 ein Erfassen 330 einer Wahrnehmung der identifizierten Objekte durch einen Benutzer. Weiterhin umfasst das Verfahren 300 ein Erfassen 340 einer Wiedergabe der identifizierten Objekte, auf einem dem Benutzer zugeordneten Gerät. Des Weiteren umfasst das Verfahren 300 ein Abspeichern 350 einer Information über die Wahrnehmung oder über die Wiedergabe. Weitere Aspekte 3 shows a flowchart of a method 300 according to an embodiment of the invention. The method 300 includes analyzing 310 a video signal to identify objects in the video signal. Furthermore, the method 300 includes storing 320 information regarding the identified objects in a database. Further, the method 300 includes detecting 330 a perception of the identified objects by a user. Furthermore, the method 300 includes detecting 340 a representation of the identified objects on a device associated with the user. Furthermore, the method 300 includes storing 350 information about the perception or the reproduction. Other aspects
Im Folgenden werden Aspekte gemäß der Erfindung beschrieben, die für sich genommen, oder in Kombination mit den hierin beschriebenen Vorrichtungen, Systemen und Verfah- ren eingesetzt werden können, und zwar einzeln oder in Kombination. Aspects according to the invention will be described below which, taken alone or in combination with the devices, systems and methods described herein, may be used singly or in combination.
Gemäß Aspekten der Erfindung soll ein Zuschauer die Möglichkeit haben, die identifizierten Objekte gezielt auszuwählen und zu erwerben. Gemäß einem weiteren Aspekt der Erfindung kann mittels der Objekterkennung in Filmen und Serien eine Nutzung von emo- tionaler Bindung und einem Gefühl der Vertrautheit zu einem Produkt bestimmt werden. Femer ist ein Aspekt der Erfindung eine Auswertung der unterbewusst wahrgenommenen Objekte, zur gezielten Werbung. In accordance with aspects of the invention, a viewer is to have the ability to selectively select and purchase the identified objects. According to another aspect of the invention, use of object recognition in movies and series may determine use of emotional bonding and a feeling of familiarity with a product. Furthermore, one aspect of the invention is an evaluation of subconsciously perceived objects for targeted advertising.
Bewusster Aspekt: Conscious aspect:
Gemäß dem bewussten Aspekt können in einem ersten Schritt Objekte automatisch klassifiziert werden. Dies kann durch zuvor trainierte Erkennungsalgorithmen erfolgen, dabei können beispielsweise „deep learning"-Algorithmen (,,tiefes-lernen"-Algorithmen) oder Klassifizierungsalgorithmen angewandt werden. Die Algorithmen können trainiert werden, um beispielsweise Mobiltelefone, Möbel etc. (jeden Gebrauchsgegenstand) zu erkennen. Gemäß einem weiteren Aspekt kann nachdem ein Objekt in eine Klasse eingeordnet wurde, in einer Bibliothek nach einem Produkt mit der größten Gemeinsamkeit gesucht werden (Farbe, Oberflächenbeschaffenheit, etc.). Diese Zuordnung kann vorab passieren und bei einer Erweiterung der Bibliothek für die Serien und Filme wiederholt werden. Diese Funktionalität kann zum Beispiel durch die Videoanalyseeinrichtung 110 oder durch die Videoanalyse-Objekte 210a erfolgen. According to the conscious aspect, in a first step objects can be automatically classified. This can be done by previously trained recognition algorithms, for example, "deep learning" algorithms ("deep learning" algorithms) or classification algorithms can be applied. The algorithms can be trained to recognize, for example, mobile phones, furniture, etc. (any commodity). In another aspect, after an object has been classified into a class, a library may search for a product of the greatest similarity (color, texture, etc.). This mapping can happen in advance and be repeated when the library is expanded for the series and movies. This functionality can be done, for example, by the video analyzer 110 or by the video analysis objects 210a.
Unterbewusster Aspekt: Gemäß dem unterbewussten Aspekt findet eine personalisierte Zuordnung statt, nachdem alle oder die meisten Gebrauchsgegenstände vorab erkannt und markiert wurden. In der Zuordnung kann die Häufigkeit und Präsenz der Gebrauchsgegenstände bestimmt werden die der Beobachter unterbewusst wahrnimmt. Dies kann beispielsweise durch die Erfassungseinrichtung 140 oder 240 durchgeführt werden. In die Beurteilung kann auch das Stimmungsbild der Szene eingehen, wie beispielsweise durch die Videoanalyse- Stimmung 210b. Diese Informationen können für eine individualisierte Werbung genutzt werden. Subconscious aspect: According to the subconscious aspect, a personalized assignment takes place after all or most of the commodities have been pre-identified and marked. In the assignment, the frequency and presence of the utensils can be determined which the observer perceives subconsciously. This can be done for example by the detection device 140 or 240. The scene's mood can also be included in the assessment, such as through the video analysis Mood 210b. This information can be used for individualized advertising.
Gemäß einem Aspekt kann ein Zuschauer ein Produkt, das ihm gefällt, in einer Serie oder einem Film auswählen und in einem Geschäft (online) erwerben. Ein weiterer Aspekt, der in der Erfindung Anwendung findet, ist ein Vertrautheitsgefühl, welches sich ergibt, wenn ein Objekt wiederholt betrachtet wird. Gemäß einem weiteren Aspekt kann eine Kenntnis darüber, welche Objekte von einem Zuschauer gesehen werden (zum Beispiel aus der Datenbank 244), für eine gezielte Werbung genutzt werden. Im weiteren Verlauf können Rückschlüsse auf Kopplungen zwischen einem Objekt und einem emotionalen Zustand geschlossen werden. Mit zusätzlichen Informationen über ein emotionales Stimmungsbild einer Szene (zum Beispiel dadurch dass diese zuvor gekennzeichnet (gelabeied) oder automatisch mit Szenenanalyse, beispielsweise mit der Videoanalyse-Stimmung 210b, bestimmt wurde), kann in viel weiterem Sinne, als bisher bekannt, eine Erstellung von personalisierter Werbung durchgeführt werden. According to one aspect, a viewer may select a product that pleases him in a series or a movie and purchase it in a shop (online). Another aspect that finds application in the invention is a sense of familiarity that arises when an object is viewed repeatedly. According to another aspect, knowing what objects are seen by a viewer (for example, from database 244) may be used for targeted advertising. In the further course, conclusions can be drawn about the coupling between an object and an emotional state. With additional information about an emotional mood image of a scene (for example, by having it previously marked (gelabeied) or automatically determined by scene analysis, such as video analytics mood 210b), in a much broader sense than previously known, creating a scene may personalized advertising.
Sind Sequenzen in Filmen oder Serien eher traurig, könnte der Zuschauer auch die Umgebung negativ deuten. Viele Filme und Serien werden auf Medien mit Kameras betrachtet, wie zum Beispiel Laptops, und somit in das erfindungsgemäße System eingebunden werden. Ein Analysieren einer emotionalen Lage über eine Gesichtserkennung (zum Beispiel in der Bildanalyse 275) in Kombination mit allen oder vielen vorkommenden Objekten in einer Szene, kann einen weiteren Vorteil für eine individualisierte Werbung bringen. If sequences in films or series are rather sad, the viewer could also interpret the environment negatively. Many films and series are viewed on media with cameras, such as laptops, and thus incorporated into the system of the invention. Analyzing an emotional location via facial recognition (e.g., in image analysis 275) in combination with all or many of the incidental objects in a scene may provide a further benefit to individualized advertising.
Aspekte der Erfindung sind ferner: Aspects of the invention are further:
- Automatisches Kennzeichnen (beziehungsweise Labein) von Objekten in Videomaterial und Abgleich mit einer vorhandenen Datenbank (z.B. Datenbank 217), Erstellen einer individuellen Datenbank (z.B. Datenbank 216) bezogen auf die wahrgenommenen Objekte Die individuelle Datenbank kann Personendaten enthalten wie Name, Geschlecht, Alter, Wohnort etc. Eine Kerninformation der individuellen Datenbank kann eine statistische Auswertung der gesehenen Objekte mit einem Gewichtungsfaktor sein. - Automatic labeling (or Labein) of objects in video material and comparison with an existing database (eg database 217), creating an individual database (eg database 216) related to the perceived objects The individual database may contain personal data such as name, gender, age, Residence etc. Core information of the individual database can be a statistical evaluation of the viewed objects with a weighting factor.
Eine statistische Auswertung gemäß der Erfindung kann beispielsweise durch Block 240 erfolgen und kann beispielsweise einen oder mehrere der folgenden Aspekte umfassen: Für die statistische Auswertung kann die Wahrnehmungszeit eines Objekts gestoppt werden. Hierbei kann es hilfreich sein, zu erkennen ob das Video gestoppt ist oder sich die Person vor einem Abspielmedium, beispielsweise Anzeigegerät, befindet. A statistical evaluation according to the invention may be made, for example, by block 240 and may include, for example, one or more of the following aspects: For the statistical evaluation, the perception time of an object can be stopped. It may be helpful to know if the video is stopped or if the person is in front of a media player, such as a display device.
Falls das Wiedergabegerät ein Mobiltelefon ist kann die Lage des Handys im Raum (Rotationswinkel etc. mittels auslesen der IMU Daten 276a) Aufschluss darüber geben ob der Benutzer den Bildschirm (zum Beispiel Anzeige 272) betrachtet. If the player is a mobile phone, the location of the cell phone in space (rotation angle, etc., by reading out the IMU data 276a) may indicate whether the user is viewing the screen (eg, display 272).
In Kombination mit einer Kamera (zum Beispiel Kamera 274) kann erfasst werden ob eine Person sich gerade vor dem Abspielmedium befindet und ferner auf welches Objekt seine Blicke gerichtet sind. Gemäß Ausführungsbeispielen kann ein Gewichtungsfaktor eine emotionale Kopplung ermitteln. In combination with a camera (for example camera 274) it can be detected whether a person is currently in front of the playback medium and also on which object his eyes are directed. According to embodiments, a weighting factor may determine an emotional coupling.
Gemäß Ausführungsbeispielen kann einer einzelnen Szene eine Stimmung zugeordnet werden, beispielsweise durch Videoanalyse-Stimmung 210b. Hierbei können die visuellen Informationen der Szene analysiert werden. According to embodiments, a mood may be assigned to a single scene, for example, by video analysis mood 210b. Here, the visual information of the scene can be analyzed.
Gemäß Ausführungsbeispielen können Emotionen von Personen in Filmen (beispielsweise erkannt über eine automatische Gesichtserkennung) in Kombination mit akustischen Informationen, wie Filmmusik, Aufschluss über die emotionale Lage der Szene geben. Weitere Möglichkeiten für die Szenenanalyse kann zum Beispiel ein Erkennen einer Kuss- Szene sein oder im Allgemeinen Motive oder Aktionen mit bekannten emotionalen Assoziationen. According to embodiments, emotions of persons in films (for example, detected by an automatic face recognition) in combination with acoustic information, such as film music, can provide information about the emotional situation of the scene. Other possibilities for the scene analysis can be, for example, a recognition of a kiss scene or in general motives or actions with known emotional associations.
Im Gegensatz zu bisherigen Lösungen bieten Ausführungsbeispiele der Erfindung eine an eine Wahrnehmung des Zuschauers angepasste Identifikation von Objekten in Videosignalen. In contrast to previous solutions, embodiments of the invention provide an identification of objects in video signals adapted to a perception of the viewer.
Ferne kann gemäß Ausführungsbeispielen, mittels einer Kamera (beispielsweise Kamera 274), eine emotionale Lage eines Betrachters analysiert (beispielsweise durch Bildanaly- se 275) werden und in den Gewichtungsfaktor mit einfließen. Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu ver- stehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen program- mierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. According to embodiments, distance can be analyzed by means of a camera (for example camera 274), an emotional position of a viewer (for example by image analysis 275) and incorporated into the weighting factor. Although some aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps may be performed by a hardware device (or using a hardware device). Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steu- ersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals, which can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Thus, some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerpro- grammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger ge- speichert sein. Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Medium sind typischerweise gegenständlich und/oder nicht-vergänglich bzw. nicht- vorübergehend. The program code can also be stored, for example, on a machine-readable carrier. Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium. In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer. A further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein. The data carrier, the digital storage medium or the computer-readable medium are typically representational and / or non-transitory or non-transient.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Da- tenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. A further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vor- richtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen. Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver. The transmission can be done for example electronically or optically. The receiver may be, for example, a computer, a mobile device, a storage device, or a similar device. be direction. For example, the device or system may include a file server for transmitting the computer program to the recipient.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (bei- spielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. The devices described herein may be implemented, for example, using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschriebenen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Computerprogramm) implementiert sein. The devices described herein, or any components of the devices described herein, may be implemented at least in part in hardware and / or software (computer program).
Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. For example, the methods described herein may be implemented using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebenen Verfahren können zumindest teilweise durch Hardware und/oder durch Software ausgeführt werden. Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Ein- zelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. The methods described herein, or any components of the methods described herein, may be performed at least in part by hardware and / or by software. The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented with the description and explanation of the embodiments herein.

Claims

Patentansprüche  claims
System (100; 200) mit folgenden Merkmalen: einer Videoanalyseeinrichtung (110; 210), die ausgelegt ist, um ein Videosignal (112; 212) zu analysieren, um Objekte in dem Videosignal zu identifizieren, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank (116; 216) zu hinterlegen, und einer Erfassungseinrichtung (140; 240), die ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen, und um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern. A system (100; 200) comprising: video analysis means (110; 210) adapted to analyze a video signal (112; 212) to identify objects in the video signal, the video analysis means being adapted to provide information in the video signal With respect to the identified objects in a database (116; 216), and detection means (140; 240) adapted to detect a perception of the identified objects by a user or to render the identified objects on a computer Capture user associated device, and to store information about the perception or the playback.
System gemäß Anspruch 1 , wobei die Erfassungseinrichtung ausgelegt ist, um die Information über die Wahrnehmung oder über die Wiedergabe in der Datenbank verknüpft mit der Information über die identifizierten Objekte zu hinterlegen. A system according to claim 1, wherein the detecting means is arranged to deposit the information about the perception or the reproduction in the database linked to the information about the identified objects.
System gemäß einem der Ansprüche 1 oder 2, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen über Zeiträume des Auftretens der identifizierten Objekte in dem Videosignal bereitzustellen, und wobei die Erfassungseinrichtung ausgelegt ist, um Informationen über Zeiträume der Wahrnehmung oder der Wiedergabe der identifizierten Objekte bereitzustellen, und wobei das System ausgelegt ist, um basierend auf der Information über Zeiträume des Auftretens und der Information über Zeiträume der Wahrnehmung oder Wiedergabe, Wahrnehmungsdauern der identifizierten Objekte zu bestimmen, und wobei das System ausgelegt ist, um die Wahrnehmungsdauern verknüpft mit den hinterlegten Informationen über die identifizierten Objekte in der Datenbank zu hinterlegen. System gemäß Anspruch 3, wobei die Erfassungseinrichtung ausgelegt ist, um basierend auf einem Pausieren der Wiedergabe die Information über Zeiträume der Wiedergabe anzupassen, in Abhängigkeit davon, ob ein identifiziertes Objekt auf einer Anzeige während der pausierten Wiedergabe sichtbar ist. The system according to one of claims 1 or 2, wherein the video analysis means is arranged to provide information about periods of occurrence of the identified objects in the video signal, and wherein the detection means is arranged to provide information about periods of perception or reproduction of the identified objects, and wherein the system is configured to determine perceptual durations of the identified objects based on the information about periods of occurrence and information about periods of perception or reproduction, and wherein the system is adapted to associate the perpenses with the deposited information about the perceptions to deposit identified objects in the database. The system of claim 3, wherein the detecting means is adapted to adjust the information over periods of playback based on pausing of the playback, depending on whether an identified object is visible on a display during the paused playback.
System gemäß Anspruch 3 oder 4, wobei das System ausgelegt ist, um die Wahr- nehmungsdauem basierend auf einer Korrelation der Information über Zeiträume des Auftretens der identifizierten Objekte in dem Videosignal und der Information über Zeiträume der Wahrnehmung oder Wiedergabe der identifizierten Objekte in dem Videosignal zu bestimmen. The system of claim 3, wherein the system is configured to increase the duration of the perception based on a correlation of the information over periods of occurrence of the identified objects in the video signal and the information about periods of perception or reproduction of the identified objects in the video signal determine.
System gemäß einem der Ansprüche 1 bis 5, wobei die Erfassungseinrichtung ausgelegt ist, um eine visuelle Erfassung des Benutzers durchzuführen oder um eine Information über eine visuelle Erfassung des Benutzers zu erhalten, um die Information über die Wahrnehmung der identifizierten Objekte basierend auf der Erfassung bereitzustellen. A system according to any one of claims 1 to 5, wherein the detection means is arranged to perform a visual detection of the user or to obtain information about a visual detection of the user to provide the information about the perception of the identified objects based on the detection.
System gemäß Anspruch 6, wobei die Erfassungseinrichtung ausgelegt ist, um zu detektieren ob der Benutzer anwesend ist, und abhängig von der Anwesenheit des Benutzers die Information über die Wahrnehmung der identifizierten Objekte bereitzustellen. A system according to claim 6, wherein the detecting means is arranged to detect whether the user is present and to provide the information about the perception of the identified objects depending on the presence of the user.
System gemäß Anspruch 6 oder 7, wobei die Erfassungseinrichtung ausgelegt ist, um basierend auf einer Erfassung einer Blickrichtung des Benutzers eine Wahrnehmung eines identifizierten Objekts zu erkennen, wenn die Blickrichtung des Benutzers auf das identifizierte Objekt fällt oder das identifizierte Objekt in einem Blickfeld des Benutzers ist. A system according to claim 6 or 7, wherein the detection means is arranged to detect a perception of an identified object based on detection of a viewing direction of the user when the viewing direction of the user falls on the identified object or the identified object is in a field of view of the user ,
System gemäß einem der Ansprüche 6 bis 8, wobei die Erfassungseinrichtung ausgelegt ist, um basierend auf einer Gesichtserkennung des Benutzers eine Information über einen emotionalen Zustand des Benutzers zu erhalten, und wobei das System ausgelegt ist, um die Information über den emotionalen Zustand mit einer Information über ein identifiziertes Objekt in der Datenbank zu verknüpfen, oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Benutzers zu gewichten. A system according to any one of claims 6 to 8, wherein the detecting means is adapted to obtain information about an emotional state of the user based on facial recognition of the user, and wherein the system is adapted to provide the information about the emotional state with information to link via an identified object in the database, or to weight the information about the perception depending on the information about the emotional state of the user.
10. System gemäß einem der Ansprüche 1 bis 9, wobei das System eine Anzeige aufweist, und wobei das System ausgelegt ist, um in Abhängigkeit einer Positionierung der Anzeige relativ zu dem Benutzer die Information über die Wahrnehmung zu erhalten. 10. The system of claim 1, wherein the system includes a display, and wherein the system is configured to obtain the information about the perception in response to positioning the display relative to the user.
System gemäß einem der Ansprüche 1 bis 10, wobei das System einen Lagesensor aufweist, und wobei das System ausgelegt ist, um basierend auf Lageinformationen des Lagesensors, zu detektieren ob eine Anzeige, auf der ein identifiziertes Objekt dargestellt wird, dem Benutzer zugewandt ist, und um basierend auf der Detektion die Information über die Wahrnehmung des identifizierten Objekts zu erhalten. The system of claim 1, wherein the system comprises a position sensor, and wherein the system is configured to detect, based on positional information of the position sensor, whether a display on which an identified object is displayed faces the user, and to obtain, based on the detection, the information about the perception of the identified object.
System gemäß einem der Ansprüche 1 bis 1 1 , wobei das System ausgelegt ist, um basierend auf den identifizierten Objekten visuell ähnliche Objekte in einer weiteren Datenbank zu finden, und Verknüpfungen mit Kaufinformation zu den visuell ähnlichen Objekten bereitzustellen. A system according to any one of claims 1 to 11, wherein the system is arranged to find visually similar objects in another database based on the identified objects, and to provide links to purchase information to the visually similar objects.
System gemäß einem der Ansprüche 1 bis 12, wobei die Videoanalyseeinrichtung ausgelegt ist, um einen emotionalen Zustand eines Inhalts des Videosignals basierend auf einer Szenenanalyse des Videosignals zu bestimmen, und wobei das System ausgelegt ist, um den bestimmten emotionalen Zustand mit den identifizierten Objekten zu verknüpfen und in der Datenbank zu hinterlegen, oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Inhalts des Videosignals zu gewichten. The system of claim 1, wherein the video analysis device is configured to determine an emotional state of a content of the video signal based on a scene analysis of the video signal, and wherein the system is configured to associate the determined emotional state with the identified objects and to deposit in the database, or to weight the information about the perception depending on the information about the emotional state of the content of the video signal.
System gemäß Anspruch 13, wobei die Videoanalyseeinrichtung ausgelegt ist, basierend auf einer Gesichtserkennung die Szenenanalyse durchzuführen den emotionalen Zustand zu bestimmen. The system of claim 13, wherein the video analysis device is configured to perform scene analysis based on face recognition to determine the emotional state.
System gemäß Anspruch 13 oder 14, wobei die Videoanalyseeinrichtung ausgelegt ist, um basierend auf einer Analyse eines Tonsignals, das dem Videosignal zugeordnet ist, die Szenenanalyse durchzuführen und den emotionalen Zustand zu bestimmen. System gemäß einem der Ansprüche 13 bis 15, wobei das System ausgelegt ist, um basierend auf einer Gewichtung des emotionalen Zustands des Benutzers und des emotionalen Zustand des Inhalts des Videosignals einen gewichteten emotionalen Zustand zu bestimmen, und wobei das System ausgelegt ist, um den gewichteten emotionalen Zustand verknüpft mit den Informationen über die identifizierten Objekte in der Datenbank zu hinterlegen, oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Inhalts des Videosignals zu gewichten. The system of claim 13 or 14, wherein the video analysis device is configured to perform the scene analysis and determine the emotional state based on an analysis of a sound signal associated with the video signal. The system of claim 13, wherein the system is configured to determine a weighted emotional state based on a weighting of the user's emotional state and the emotional state of the content of the video signal, and wherein the system is configured to provide the weighted one Emphasizing emotional state associated with the information about the identified objects in the database, or to weight the information about the perception depending on the information about the emotional state of the content of the video signal.
System gemäß einem der Ansprüche 1 bis 16,wobei das System ausgelegt ist, um separate Informationen über Wahrnehmung und Wiedergabe von identifizierten Objekten für verschiedene Benutzer bereitzustellen. The system of any one of claims 1 to 16, wherein the system is configured to provide separate information about perception and reproduction of identified objects for different users.
System gemäß einem der Ansprüche 1 bis 17, wobei das System ausgelegt ist, um eine Auswahl der identifizierten Objekte durch den Benutzer über ein Eingabegerät zu ermöglichen. A system according to any one of claims 1 to 17, wherein the system is arranged to allow selection of the identified objects by the user via an input device.
System gemäß einem der Ansprüche 1 bis 18, wobei das System ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer über mehrere Videosignale hinweg, die separat voneinander wiedergegeben werden, zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät über mehrere Videosignale hinweg, die separat voneinander wiedergegeben werden, zu erfassen. A system according to any one of claims 1 to 18, wherein the system is arranged to detect a user perceiving the identified objects across a plurality of video signals reproduced separately from each other or reproducing the identified objects on a device associated with the user across multiple video signals that are reproduced separately from each other.
Verfahren mit folgenden Merkmalen: Method with the following features:
Analysieren eines Videosignals, um Objekte in dem Videosignal zu identifizieren; Hinterlegen von Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank; Analyzing a video signal to identify objects in the video signal; Depositing information regarding the identified objects in a database;
Erfassen einer Wahrnehmung der identifizierten Objekte durch einen Benutzer, oder Erfassen einer Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät; und Detecting a perception of the identified objects by a user, or Detecting a replay of the identified objects on a device associated with the user; and
Abspeichern einer Information über die Wahrnehmung oder über die Wiedergabe. Storing information about the perception or the reproduction.
21 Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 20, wenn das Programm auf einem Computer abläuft A computer program comprising program code for carrying out the method of claim 20 when the program is run on a computer
22. System (100; 200) mit folgenden Merkmalen: einer Videoanalyseeinrichtung (1 10; 210), die ausgelegt ist, um ein Videosignal (112; 212) zu analysieren, um Objekte in dem Videosignal zu identifizieren, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank (116; 216) zu hinterlegen, und einer Erfassungseinrichtung (140; 240), die ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen, und um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen über Zeiträume des Auftretens der identifizierten Objekte in dem Videosignal bereitzustellen, und wobei die Erfassungseinrichtung ausgelegt ist, um Informationen über Zeiträume der Wahrnehmung oder der Wiedergabe der identifizierten Objekte bereitzustellen, und wobei das System ausgelegt ist, um basierend auf der Information über Zeiträume des Auftretens und der Information über Zeiträume der Wahrnehmung oder Wiedergabe, Wahrnehmungsdauern der identifizierten Objekte zu bestimmen, und wobei das System ausgelegt ist, um die Wahrnehmungsdauern verknüpft mit den hinterlegten Informationen über die identifizierten Objekte in der Datenbank zu hinterlegen, und wobei die Erfassungseinrichtung ausgelegt ist, um basierend auf einem Pausieren der Wiedergabe die Information über Zeiträume der Wiedergabe anzupassen, in Abhängigkeit davon, ob ein identifiziertes Objekt auf einer Anzeige während der pausierten Wiedergabe sichtbar ist. A system (100; 200) comprising: video analysis means (110; 210) adapted to analyze a video signal (112; 212) to identify objects in the video signal, the video analysis means being arranged; to deposit information regarding the identified objects in a database (116; 216), and detecting means (140; 240) adapted to detect a perception of the identified objects by a user or a reproduction of the identified objects on a user-assigned device, and to store information about the perception or the reproduction, wherein the video analysis device is adapted to provide information about periods of occurrence of the identified objects in the video signal, and wherein the detection means is adapted to Information about periods of perception or reproduction of the identified n provide objects, and wherein the system is adapted to determine perceptual durations of the identified objects based on the information about periods of occurrence and the information over periods of perception or reproduction, and wherein the system is adapted to associate the perceptual durations with the perceptual periods stored information about the identified objects in the database, and wherein the detecting means is adapted to adjust the information over periods of reproduction based on pausing the reproduction, depending on whether an identified object is visible on a display during the paused reproduction.
System (100; 200) mit folgenden Merkmalen: einer Videoanalyseeinrichtung (1 10; 210), die ausgelegt ist, um ein Videosignal (112; 212) zu analysieren, um Objekte in dem Videosignal zu identifizieren, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank (1 16; 216) zu hinterlegen, und einer Erfassungseinrichtung (140; 240), die ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen, und um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen über Zeiträume des Auftretens der identifizierten Objekte in dem Videosignal bereitzustellen, und wobei die Erfassungseinrichtung ausgelegt ist, um Informationen über Zeiträume der Wahrnehmung oder der Wiedergabe der identifizierten Objekte bereitzustellen, und wobei das System ausgelegt ist, um basierend auf der Information über Zeiträume des Auftretens und der Information über Zeiträume der Wahrnehmung oder Wiedergabe, Wahrnehmungsdauern der identifizierten Objekte zu bestimmen, und wobei das System ausgelegt ist, um die Wahrnehmungsdauern verknüpft mit den hinterlegten Informationen über die identifizierten Objekte in der Datenbank zu hinterlegen, und wobei das System ausgelegt ist, um die Wahrnehmungsdauern basierend auf einer Korrelation der Information über Zeiträume des Auftretens der identifizierten Objekte in dem Videosignal und der Information über Zeiträume der Wahrnehmung oder Wiedergabe der identifizierten Objekte in dem Videosignal zu bestimmen. A system (100; 200) comprising: a video analysis device (110; 210) adapted to analyze a video signal (112; 212) to identify objects in the video signal, the video analysis device being adapted to receive information with respect to the identified objects in a database (1 16; 216), and detection means (140; 240) adapted to detect a perception of the identified objects by a user or to display the identified objects a user-assigned device, and to store information about the perception or the reproduction, wherein the video analysis device is adapted to provide information about periods of occurrence of the identified objects in the video signal, and wherein the detection means is adapted to information over periods of perception or reproduction of the identified O and the system is arranged to determine perceptual durations of the identified objects based on the information about periods of occurrence and information about periods of perception or reproduction, and wherein the system is arranged to associate the perceptual durations with the deposited ones To store information about the identified objects in the database, and the system being arranged to determine the periods of perception based on a correlation of the information over periods of occurrence of the identified objects in the video signal and the information about periods of perception or reproduction of the identified objects in the video signal.
System (100; 200) mit folgenden Merkmalen: einer Videoanalyseeinrichtung (110; 210), die ausgelegt ist, um ein Videosignal (112; 212) zu analysieren, um Objekte in dem Videosignal zu identifizieren, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank (116; 216) zu hinterlegen, und einer Erfassungseinrichtung (140; 240), die ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen, und um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern, wobei die Erfassungseinrichtung ausgelegt ist, um eine visuelle Erfassung des Benutzers durchzuführen oder um eine Information über eine visuelle Erfassung des Benutzers zu erhalten, um die Information über die Wahrnehmung der identifizierten Objekte basierend auf der Erfassung bereitzustellen, wobei die Erfassungseinrichtung ausgelegt ist, um basierend auf einer Gesichtserkennung des Benutzers eine Information über einen emotionalen Zustand des Benutzers zu erhalten, und wobei das System ausgelegt ist, um die Information über den emotionalen Zustand mit einer Information über ein identifiziertes Objekt in der Datenbank zu verknüpfen, oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Benutzers zu gewichten. A system (100; 200) comprising: video analysis means (110; 210) adapted to analyze a video signal (112; 212) to identify objects in the video signal, the video analysis means being adapted to provide information in the video signal With respect to the identified objects in a database (116; 216), and detection means (140; 240) adapted to detect a perception of the identified objects by a user or to render the identified objects on a computer User recorded device, and to store information about the perception or the playback, wherein the detection device is designed to perform a visual detection of the user or to obtain information about a visual detection of the user to the information about the To provide perception of the identified objects based on the detection, where d The detection device is designed to obtain information about an emotional state of the user based on a facial recognition of the user, and wherein the system is designed to link the information about the emotional state to information about an identified object in the database. or to weight the information about the perception depending on the information about the emotional state of the user.
System (100; 200) mit folgenden Merkmalen: einer Videoanalyseeinrichtung (110; 210), die ausgelegt ist, um ein Videosignal (1 12; 212) zu analysieren, um Objekte in dem Videosignal zu identifizieren, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank (1 16: 216) zu hinterlegen, und einer Erfassungseinrichtung (140; 240), die ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wieder- gäbe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen, und um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern, wobei das System eine Anzeige aufweist, und wobei das System ausgelegt ist, um in Abhängigkeit einer Positionierung der Anzeige relativ zu dem Benutzer die Information über die Wahrnehmung zu erhalten. System (100; 200) with the following features: a video analysis device (110; 210) adapted to analyze a video signal (1 12; 212) to identify objects in the video signal, the video analysis device being adapted to provide information regarding the identified objects in a database ( 1 16:16) and detection means (140; 240) adapted to detect a perception of the identified objects by a user or to detect a re-occurrence of the identified objects on a device associated with the user, and to store information about the perception or the reproduction, the system having an indication, and wherein the system is adapted to receive the information about the perception in response to a positioning of the display relative to the user.
System (100; 200) mit folgenden Merkmalen: einer Videoanalyseeinrichtung (1 10; 210), die ausgelegt ist, um ein Videosignal (112; 212) zu analysieren, um Objekte in dem Videosignal zu identifizieren, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank (116; 2 6) zu hinterlegen, und einer Erfassungseinrichtung (140; 240), die ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen, und um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern, wobei das System ausgelegt ist, um basierend auf den identifizierten Objekten visuell ähnliche Objekte in einer weiteren Datenbank zu finden, und Verknüpfungen mit Kaufinformation zu den visuell ähnlichen Objekten bereitzustellen. A system (100; 200) comprising: a video analysis device (110; 210) adapted to analyze a video signal (112; 212) to identify objects in the video signal, the video analysis device being adapted to receive information with respect to the identified objects in a database (116; 2 6), and detection means (140; 240) adapted to detect a perception of the identified objects by a user or to display the identified objects a device associated with the user, and to store information about the perception or the reproduction, wherein the system is designed to find visually similar objects in another database based on the identified objects, and links to purchase information to the visually to provide similar objects.
27. System (100; 200) mit folgenden Merkmalen: einer Videoanalyseeinrichtung (1 10; 210), die ausgelegt ist, um ein Videosignal (112; 212) zu analysieren, um Objekte in dem Videosignal zu identifizieren, wobei die Videoanalyseeinrichtung ausgelegt ist, um Informationen im Hinblick auf die identifizierten Objekte in einer Datenbank (1 6; 216) zu hinterlegen, und einer Erfassungseinrichtung (140; 240), die ausgelegt ist, um eine Wahrnehmung der identifizierten Objekte durch einen Benutzer zu erfassen oder um eine Wiedergabe der identifizierten Objekte auf einem dem Benutzer zugeordneten Gerät zu erfassen, und um eine Information über die Wahrnehmung oder über die Wiedergabe abzuspeichern, wobei die Videoanalyseeinrichtung ausgelegt ist, um einen emotionalen Zustand eines Inhalts des Videosignals basierend auf einer Szenenanalyse des Videosignals zu bestimmen, wobei das System ausgelegt ist, um den bestimmten emotionalen Zustand mit den identifizierten Objekten zu verknüpfen und in der Datenbank zu hinterlegen, oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Inhalts des Videosignals zu gewichten, wobei das System ausgelegt ist, um basierend auf einer Gewichtung des emotionalen Zustands des Benutzers und des emotionalen Zustand des Inhalts des Videosignals einen gewichteten emotionalen Zustand zu bestimmen, und wobei das System ausgelegt ist, um den gewichteten emotionalen Zustand verknüpft mit den Informationen über die identifizierten Objekte in der Datenbank zu hinterlegen, oder um die Information über die Wahrnehmung in Abhängigkeit von der Information über den emotionalen Zustand des Inhalts des Videosignals zu gewichten. A system (100; 200) comprising: video analysis means (110; 210) adapted to analyze a video signal (112; 212) to identify objects in the video signal, the video analysis means being arranged to: to store information regarding the identified objects in a database (16; 216), and detection means (140; 240) adapted to detect a perception of the identified objects by a user or to render the identified one Detecting objects on a device associated with the user, and storing information about the perception or the reproduction, wherein the video analysis device is adapted to determine an emotional state of a content of the video signal based on a scene analysis of the video signal, the system designed is to link the particular emotional state with the identified objects and in de r database or to weight the information about the perception depending on the information about the emotional state of the content of the video signal, the system is designed to be based on a weighting of the emotional state of the user and the emotional state of the content the video signal to determine a weighted emotional state, and wherein the system is adapted to deposit the weighted emotional state associated with the information about the identified objects in the database, or the information about the perception depending on the information about the emotional Weight the state of the content of the video signal.
PCT/EP2018/064290 2017-05-30 2018-05-30 System and method for detecting the perception or reproduction of identified objects in a video signal WO2018220076A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017209079.0 2017-05-30
DE102017209079.0A DE102017209079A1 (en) 2017-05-30 2017-05-30 System and method for detecting perception or reproduction of identified objects in a video signal

Publications (1)

Publication Number Publication Date
WO2018220076A1 true WO2018220076A1 (en) 2018-12-06

Family

ID=62486591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/064290 WO2018220076A1 (en) 2017-05-30 2018-05-30 System and method for detecting the perception or reproduction of identified objects in a video signal

Country Status (2)

Country Link
DE (1) DE102017209079A1 (en)
WO (1) WO2018220076A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100211966A1 (en) * 2007-02-20 2010-08-19 Panasonic Corporation View quality judging device, view quality judging method, view quality judging program, and recording medium
US20150220841A1 (en) * 2011-10-20 2015-08-06 Gil Thieberger Utilizing eye-tracking to estimate affective response to a token instance of interest
US20150271570A1 (en) * 2014-03-18 2015-09-24 Vixs Systems, Inc. Audio/video system with interest-based ad selection and methods for use therewith
US20150271548A1 (en) * 2014-03-18 2015-09-24 Vixs Systems, Inc. Video system with viewer analysis and methods for use therewith
US20160232561A1 (en) * 2013-10-17 2016-08-11 Natsume Research Institute, Co., Ltd. Visual object efficacy measuring device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
US20140130076A1 (en) * 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100211966A1 (en) * 2007-02-20 2010-08-19 Panasonic Corporation View quality judging device, view quality judging method, view quality judging program, and recording medium
US20150220841A1 (en) * 2011-10-20 2015-08-06 Gil Thieberger Utilizing eye-tracking to estimate affective response to a token instance of interest
US20160232561A1 (en) * 2013-10-17 2016-08-11 Natsume Research Institute, Co., Ltd. Visual object efficacy measuring device
US20150271570A1 (en) * 2014-03-18 2015-09-24 Vixs Systems, Inc. Audio/video system with interest-based ad selection and methods for use therewith
US20150271548A1 (en) * 2014-03-18 2015-09-24 Vixs Systems, Inc. Video system with viewer analysis and methods for use therewith

Also Published As

Publication number Publication date
DE102017209079A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
JP6282769B2 (en) Engagement value processing system and engagement value processing device
US10078909B1 (en) Video stream customization using graphics
US10185869B2 (en) Filter and shutter based on image emotion content
CN106605218A (en) Method of collecting and processing computer user data during interaction with web-based content
JP6661036B2 (en) How to benchmark media content based on viewer behavior
WO2017153354A1 (en) Method and device for evaluating view images
WO2017153355A1 (en) Method and device for carrying out eye gaze mapping
DE102016200047A1 (en) Multimodal physical activity monitoring systems
DE102021125184A1 (en) PERSONAL TALK RECOMMENDATIONS USING LISTENER RESPONSES
DE102019107064A1 (en) Display method, electronic device and storage medium therewith
US11699162B2 (en) System and method for generating a modified design creative
Miniakhmetova et al. An approach to personalized video summarization based on user preferences analysis
WO2018220076A1 (en) System and method for detecting the perception or reproduction of identified objects in a video signal
WO2022168185A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
WO2022168180A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
JP2022135476A (en) Information processing apparatus and program
WO2022168174A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
WO2022168175A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
WO2022168179A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
WO2022168182A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
WO2022168178A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
WO2022168177A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
WO2022168176A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program
JP7465013B2 (en) Video meeting evaluation terminal, video meeting evaluation system and video meeting evaluation program
WO2022168183A1 (en) Video session evaluation terminal, video session evaluation system, and video session evaluation program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18728376

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18728376

Country of ref document: EP

Kind code of ref document: A1