WO2024099608A1 - Verfahren und system zum steuern einer funktion eines fahrzeugs mittels eines endgeräts eines benutzers - Google Patents

Verfahren und system zum steuern einer funktion eines fahrzeugs mittels eines endgeräts eines benutzers Download PDF

Info

Publication number
WO2024099608A1
WO2024099608A1 PCT/EP2023/072504 EP2023072504W WO2024099608A1 WO 2024099608 A1 WO2024099608 A1 WO 2024099608A1 EP 2023072504 W EP2023072504 W EP 2023072504W WO 2024099608 A1 WO2024099608 A1 WO 2024099608A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
content
vehicle
image data
user
Prior art date
Application number
PCT/EP2023/072504
Other languages
English (en)
French (fr)
Inventor
Thomas Ewender
Johannes Feldmaier
Simone CAMBERG
Artur HUBERT
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2024099608A1 publication Critical patent/WO2024099608A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Definitions

  • the present invention relates to a method and a system for controlling a function of a vehicle.
  • a function is controlled by means of a user's terminal device, which is captured by means of an image capture device, such as a camera, in the interior of the vehicle, wherein the function is controlled based on a recognition of content on the user's terminal device.
  • Modern vehicles have a variety of functions that can be controlled by a user, i.e., called up, started, stopped, configured, etc. This can include functions of the infotainment system, such as entering a navigation destination, playing a piece of music, calling a contact, or the like. These functions of the infotainment system are usually controlled by the user interacting directly with the vehicle, for example by pressing buttons or touching a touchscreen, or by voice control or gesture control.
  • Methods for controlling vehicle functions using a user's terminal device are known.
  • these require the terminal device to be coupled to the vehicle.
  • a smartphone can be wirelessly coupled to the vehicle via Bluetooth or a WiFi hotspot in the vehicle.
  • It is also known to transfer data from a terminal device to a vehicle via a cloud service. Although this saves input in the vehicle, it requires a corresponding coupling or setup of a specific service beforehand (at least once). While this may still be a viable approach for a vehicle owner, it is annoying in a rental car, for example, or for occasional passengers.
  • the present invention is based on the object of simplifying the control of a function of a vehicle. In particular, a simplified control of a vehicle function by means of a user's terminal device is to be provided.
  • a first aspect of the invention relates to a method, in particular a computer-implemented method, for controlling a function of a vehicle by means of a user's terminal.
  • the method comprises capturing image data by means of at least one image capture device in the interior of a vehicle, wherein the image data contain at least one view of a user's terminal, recognizing content on the user's terminal by evaluating the image data, assigning the recognized content to a function of the vehicle and controlling the function of the vehicle depending on the recognized content.
  • the aforementioned method according to the first aspect is therefore based in particular on evaluating image data that is captured by an image capture device, such as a camera.
  • the image capture device records a view of the user's terminal device so that content on the terminal device, in particular content that is shown on a display of the terminal device, can be recognized from this.
  • the recognized content is assigned to a function of the vehicle, in other words, the type of content is recognized so that the content can be assigned to a vehicle function so that this function can then be controlled, in particular called up or configured, depending on the recognized content, for example with the recognized content.
  • a vehicle function can also be controlled by users who do not need to connect their end device to the vehicle beforehand.
  • the control can be carried out, for example, simply by holding a smartphone to a camera in the interior of the vehicle.
  • An associated vehicle function with the appropriate content can be called up quickly and easily from the image recorded by the smartphone, or more precisely the display with the content shown on it.
  • vehicle refers in particular to a passenger car, including all types of motor vehicles, hybrid and battery-powered electric vehicles, as well as vehicles such as vans, buses, trucks, delivery vans and the like.
  • function of a vehicle (synonymous with the term “vehicle function”), as used herein, is to be understood in particular as a function of an infotainment system of a vehicle. This can include proprietary applications of the vehicle manufacturer and/or applications implemented by third-party providers. Controlling a vehicle function can in particular include calling up or starting a vehicle function associated with a recognised content depending on the recognised content. However, controlling a vehicle function can also merely include displaying data on a recognised content or the associated vehicle function (if necessary together with the recognised content), for example on a screen of the vehicle, in particular a display of the infotainment system.
  • end device of a user, as used herein, is to be understood in particular as a device such as a mobile device which is not part of the vehicle but is in the possession of a user.
  • the end device is not necessary for the end device to be or become electronically coupled to the vehicle in any way, directly or indirectly. However, it is not excluded that the end device can be coupled to the vehicle for other purposes.
  • the end device is in particular designed to display content, in particular to show it on a display.
  • the end device can be, for example, a smartphone or a smartwatch, a tablet, a laptop and the like.
  • the user of a end device can in particular be the driver of the vehicle. It is understood, however, that a passenger and in principle any vehicle occupant who reaches a suitable position in a suitable manner with a end device can also be a user of the end device within the meaning of the invention.
  • the term "content" of a terminal device refers in particular to information shown on a display device, such as a display, of a terminal device.
  • the content does not necessarily have to be shown on the terminal device in an app that corresponds to the type of vehicle function.
  • the content can only consist of, for example, unformatted text or a machine-readable code. Nevertheless, the content can also be presented in a different way, such as Font format, colors, shapes, logos or the like can be examined, which can be used to identify the vehicle function.
  • a code can also contain more than just text, such as additionally specifying the type of content or even a corresponding control code for the vehicle function.
  • image capture device refers in particular to a camera, in particular a digital camera.
  • the camera can capture still images (photos) or moving images (videos).
  • the image capture device can capture or record such an image and output corresponding image data.
  • a condition A or B is satisfied by one of the following conditions: A is true (or exists) and B is false (or absent), A is false (or absent) and B is true (or exists), and both A and B are true (or exists).
  • the term “configured” or “set up” to perform a specific function (and respective modifications thereof) is to be understood in the sense of the invention that the corresponding device already exists in a configuration or setting in which it can perform the function or it is at least adjustable - ie configurable - so that it can perform the function after the corresponding setting.
  • the configuration can be made, for example, via a corresponding setting of parameters of a process sequence or of switches or similar for activating or deactivating functionalities or settings.
  • the device can have several predetermined configurations or operating modes, so that configuration can be carried out by selecting one of these configurations or operating modes.
  • the method further comprises the following before capturing the image data by means of the image capture device: capturing monitoring data for at least part of the interior of the vehicle by means of at least one monitoring device and determining (i.e. checking) whether the user's terminal is at least partially located in a predetermined area of the monitoring data, wherein the capturing of the image data by means of the image capture device is only carried out if it is determined that the user's terminal is at least partially located in the predetermined section.
  • This measure which precedes the actual recognition of content on the end device, allows the method to be designed with increased reliability.
  • Image analysis is not carried out continuously, which would require additional computing power and could also lead to undesirable results, for example, if a user does not intend to control a vehicle function.
  • the image data for the possible recognition of content on the end device is only recorded if a user actually holds a device in a detection area (the specified area).
  • a monitoring device can be used for this, which may already be present in the vehicle, e.g. to monitor the driver for other purposes. However, the monitoring data as such may not be suitable for recognizing content displayed on a device, which is why, if it is positively determined that a device is in the specified area, image data is recorded as explained above.
  • the method further comprises the following: detecting a state of the terminal by evaluating the monitoring data and determining (i.e. checking) whether the detected state is suitable for detecting content on the user's terminal, wherein the detection of content on the user's terminal by evaluating the image data is only carried out if it is determined that the state of the terminal is suitable for detecting content on the terminal.
  • This measure increases the reliability of the method, since before the actual image recognition, it is checked whether the terminal is in a "suitable state", i.e., for example, is held in the correct orientation, is not covered, and the like, as explained in more detail below.
  • a state of the terminal does not necessarily refer to an operating state of the terminal itself, but in particular to a relationship between the terminal and the vehicle.
  • the state is considered suitable if no negative determination (i.e. "not suitable") is made in any of the following embodiments. Even a negative determination can lead to content on a terminal not being able to be recognized, for example because the user considers their terminal to be unsuitable. Therefore, all determinations should preferably be positive before image recognition is triggered. It is understood, however, that there may be cases in which, despite a negative determination in one case (or several cases), recognition of content on a terminal could still be carried out successfully.
  • the state includes an orientation (the position) of the terminal in the interior of the vehicle, wherein it is determined that the detected State is not suitable for recognizing content on the terminal if the viewing angle of the image capture device on the terminal is outside a predetermined range.
  • recognizing content on the terminal may not be possible or at least be made more difficult if the terminal is held at an angle, twisted or the like to the image capture device.
  • the orientation of the terminal in space can also be easily determined if the surveillance data is image data. For example, if an angle between two edges of a terminal (assumed to be rectangular), which should be parallel to each other, is too large in the image, this is an indication that the terminal is being held at too great an angle (twisted). Even if the distance between two parallel edges, which are also parallel in the image, is too small, this can also indicate an unsuitable orientation (twisting) of the terminal relative to the camera.
  • the distance between the edges can also be used to determine a distance between the terminal and the image capture device. If this is outside a specified range, it may not be possible or at least it may be difficult to recognize content on the terminal, i.e. if the terminal is too close to or too far away from the image capture device.
  • the state includes a portion of the terminal device that is visible through the image capture device, wherein it is determined that the recognized state is not suitable for recognizing content on the terminal device if the visible portion is smaller than a predetermined limit.
  • it can be determined in particular whether fingers or even a large part of the hand are in front of the terminal device, which may indicate that the terminal device is not facing the image capture device with the displayed content or is not facing it sufficiently. It is also highly unlikely that activating image recognition will make sense if only a small part of the front of the terminal device is visible, e.g. because the user is covering part of the display with their hand.
  • the state comprises a movement of the terminal, wherein the detected state is determined to be unsuitable for detecting content on the terminal if the movement is greater than a predetermined threshold.
  • a predetermined threshold For reliable detection of content on a terminal, it is advantageous if the terminal does not move too much. It should be noted that this does not necessarily mean that a user has to keep his terminal absolutely still. However, too fast a movement may be an indication that the terminal is only moving fleetingly or is moved unintentionally through the detection area and no control of a vehicle function is desired or intended.
  • a movement can be determined by deriving the coordinates of the end device, for example from the recorded monitoring data. Since a user usually holds his end device in his hand, the coordinates of a user's hand can also be used for this purpose. This data may already be available from a skeleton model of the user, which is created anyway for other purposes.
  • the method further comprises the following before recognizing content on the user's terminal by evaluating the image data: determining a section of the image data that represents the terminal from the monitoring data (in particular the predetermined area described above), and determining whether the section contains image data that is suitable for recognizing content on the user's terminal, wherein the recognition of content on the terminal is only carried out if it is determined that the section contains image data that is suitable for recognizing content on the terminal.
  • the monitoring data can be used to determine the section of the image data that is relevant for recognition. In this case, it can be determined based on coordinates where, for example, a display of the terminal is located.
  • the image data may, for example, not be suitable for recognizing content if the display of the terminal is not switched on at all, which can be determined, for example, via differences in brightness in the image data.
  • the lighting conditions may also be unsuitable for recognizing content on the device, for example because the display appears too dark. This can be done, for example, by determining pixels and their saturation, for example if the number of pixels with a certain (minimum saturation) is less than a specified value.
  • the image data is captured by the image capture device in the visible range of light. This can be done by means of an RGB camera. This method is most suitable for recognizing content appropriated on a display of a terminal device.
  • the monitoring data is acquired by means of the monitoring device, which is configured to acquire monitoring data for at least a portion of the interior of the vehicle, wherein the monitoring data preferably comprises image data in the infrared light range (IR) and/or three-dimensional model data.
  • IR infrared light range
  • Driver monitoring systems usually work with such IR cameras.
  • This method is suitable for monitoring a vehicle interior because image data captured in the IR range is robust to different lighting conditions. In other words, this method delivers reliable results both in strong sunlight and in the dark (especially compared to image data in the visible range of light). Data on a three-dimensional model, recorded with a time-of-flight camera, for example, allows a detailed three-dimensional view of the vehicle interior.
  • the recognition of content includes the recognition of text and/or the recognition of a machine-readable code.
  • recognition can rely on known methods, for example text recognition from the image data using OCR. Classification or parsing can then be carried out to assign the recognized text (or code) to a vehicle function. For example, it can be determined from a recognized text whether it is a title of a piece of music or an address. Depending on this, an app from a streaming provider can then be called up to play the recognized piece of music, or the navigation system can be started with appropriate route guidance to the recognized address.
  • a second aspect of the invention relates to a system for data processing, comprising at least one processor configured to carry out the method according to the first aspect of the invention.
  • the system further comprises at least one image capture device which is configured to capture image data in the visible range (RGB) of light.
  • RGB visible range
  • the system further comprises at least one monitoring device which is configured to capture image data in the infrared light range (IR) and/or three-dimensional model data.
  • IR infrared light range
  • a third aspect of the invention relates to a computer program with instructions which, when executed on a system according to the second aspect, cause the system to carry out the method according to the first aspect.
  • the computer program can in particular be stored on a non-volatile data carrier.
  • a non-volatile data carrier is preferably a data carrier in the form of an optical data carrier or a flash memory module.
  • the computer program can be present as a file on a data processing unit, in particular on a server, and can be downloaded via a data connection, for example the Internet or a dedicated data connection, such as a proprietary or local network.
  • the computer program can have a plurality of interacting individual program modules.
  • the system according to the second aspect can accordingly have a program memory in which the computer program is stored.
  • the system can also be set up to access an external computer program, for example on one or more servers or other data processing units, via a communication connection, in particular to exchange data with it that are used during the execution of the method or computer program or represent outputs of the computer program.
  • Fig. 1 is a flow chart of a method according to an embodiment
  • Fig. 2 is a view of a vehicle interior with a terminal held by a user in a detection area;
  • Fig. 3 a view of a terminal with a displayed content.
  • Fig. 1 shows a method 100 for controlling a vehicle function.
  • the method 100 can be carried out in particular in a data processing system of the vehicle (not shown).
  • the method 100 is also explained below with reference to Fig. 2 and Fig. 3.
  • Fig. 2 shows a section of a vehicle interior 1 with a driver as user 10 of a smartphone as an exemplary terminal device 2.
  • Fig. 3 shows a smartphone 2 in the hand of a user with content 22 shown on the display 21 (schematically indicated as a box).
  • a step S1 monitoring data for at least part of the vehicle interior 1 is recorded.
  • the vehicle can be equipped with a driver monitoring system (DMS), which monitors the driver and possibly also other parts of the vehicle interior 1.
  • DMS driver monitoring system
  • This monitoring can be permanently active during the journey (i.e. in particular starting and ending with switching the ignition on or off).
  • a monitoring device 3 can be arranged in the vehicle interior 2, for example in the base 5 of the interior mirror 6. From this position, the driver 10 and large parts of the vehicle interior 1 can be clearly seen.
  • An infrared (IR) camera e.g. a near-infrared (NIR) camera
  • NIR near-infrared
  • An IR image is well suited for monitoring because it is robust against changing light conditions, for example even in strong sunlight. Images can also be taken in the dark. It goes without saying that a corresponding IR light source can be present.
  • TOF time-of-flight
  • a step S2 it can be determined in a step S2 whether the terminal 2 is located in a predetermined area 7 (indicated by dashed lines in Fig. 2).
  • This area 7 is an excerpt from the monitoring data; in the case of (IR) image data, this can simply be a two-dimensional area that has been determined to be suitable for recognizing content displayed on a terminal. In the vehicle interior, this can correspond to an area near the camera 3 (or the camera 4, see below).
  • the arrangement in the base 5 of the interior mirror 6 in the middle of the vehicle is also easily accessible for a user in order to position a terminal 2 in the area 7 in a suitable manner for carrying out the method. It is understood that the area 7 indicated in Fig. 2 is merely an example. The position, size and shape of the area 7 can be adjusted according to desired requirements.
  • the following steps of the method 100 are advantageously only carried out when the terminal 2 enters the area 7.
  • the method can be carried out more reliably in this way, since no evaluation of all monitoring data takes place, even if the terminal 2 is not in the field of view of the camera 3 (or the camera 4, see below).
  • an unintentional execution of the method 100 can also be largely prevented, since the user 10 does not usually enter the area 7 with his terminal 2, since he has to raise his arm with the terminal 2 in his hand, for example, as shown in Fig. 2.
  • the monitoring data is checked in a step S3, advantageously only the monitoring data from the area 7. If not, the method 100 starts again from the beginning at step S1. The check is carried out in particular on the basis of the criteria explained below.
  • the terminal device 2 In order to reliably recognize the content displayed, the terminal device 2 must be held in an orientation that is neither too tilted nor too twisted. This can be done by comparing opposite edges of the terminal device 2 in the monitoring data, which are ideally parallel to each other with a certain distance (which would correspond to a straight orientation of the terminal device 2 relative to the camera 3 (or camera 4)). However, if an angle between opposite edges is too large or a distance is too small, this can be concluded that the terminal device 2 is too tilted or twisted. In both cases, monitoring data are then classified as unsuitable.
  • the terminal device 2 must also not be covered, for example, by the hand of the user 10, which may be an indication that the display 21 of the terminal device 2 is not in the field of vision or at least that large parts of the display 21 are covered by fingers or parts of the hand of the user 10. In both cases, the monitoring data are then classified as unsuitable.
  • a movement of the terminal device 2 can lead to the monitoring data being classified as unsuitable.
  • a content 22 can be recognized more reliably if the terminal device 2 is not moved too much.
  • a fast movement of the terminal device 2 in the area 7 can be an indication that it has entered the area 7 unintentionally.
  • a movement can be determined, for example, via the coordinates of the terminal device 2 from the monitoring data or from the coordinates of the user's hand 10, in each case via the derivation of the corresponding position coordinates.
  • step S4 If the monitoring data has been classified as suitable, i.e. if all of the criteria explained above have been classified as suitable, image data is now captured using an image capture device 4 in a step S4. Otherwise, the method 100 starts again from the beginning at step S1. Before capturing the image data, it is advantageous to wait until a corresponding image processor (Image Signal Processor; ISP) has completed an adjustment in order to be able to adapt the exposure control with which the image data is captured accordingly.
  • ISP Image Signal Processor
  • the image capture device 4 can in particular be a camera 4 which captures image data in the visible range of light and can therefore be referred to as an RGB camera. While an IR camera or TOF camera as a monitoring device 3 does indeed provide a suitable image in very different lighting conditions, the monitoring data 3 then does not contain any (RGB) colors. However, these are necessary for the recognition of content 22 displayed (in the visible range of light) on a terminal device 2, such as on a display 21 of a smartphone (see Fig. 3). In an IR image, a terminal device 2, such as a smartphone, can only be recognized as a (usually) essentially rectangular object on which the display 21 can at best be distinguished as a rectangular monochrome surface. While in Fig. 2 the monitoring device 3 and the image capture device 4 are shown as separate units, they can also be combined in one unit, which in particular can be an RGB-IR camera, ie a camera which delivers image data in both the RGB and IR ranges.
  • RGB-IR camera ie a camera which delivers image data in both the
  • the image capture device 4 can in particular also be arranged in the base 5 of the interior mirror 6. Therefore, the fields of view of the monitoring device 3 and the image capture device 4 can be assumed to be largely congruent, at least in the area 7 (or even essentially congruent if the monitoring device 3 and the image capture device 4 are designed as a unit). Therefore, in particular, image data located in the area 7 are captured.
  • a section of the area 7 can be determined which corresponds to the display 21 (or at most the entire terminal 2).
  • the corresponding 2D coordinates, in particular four corner coordinates, can be determined from the monitoring data.
  • the further image processing can use this information about this section of the image data, which is defined by the exact position and location of the terminal 2 or its display 21, for the subsequent checking of the image data (step S5).
  • the subsequent image analysis (step S6) can then advantageously be limited to this section, since all areas outside the display 21 (or at least outside the terminal 2) are not relevant for the actual recognition of content anyway.
  • the captured image data are now checked in a step S5 before further processing.
  • it is checked whether the display 21 of the terminal 2 is even switched on. This can be done by comparing the brightness of pixels within the section of the image data that defines the display 21 as described above and pixels outside.
  • the lighting conditions are also checked, whereby the image can be classified as too dark, for example, if more than a certain number of pixels have a saturation value less than a limit value. If both criteria are assessed as positive, the image data are classified as suitable for recognizing content. Otherwise, the method 100 starts again at step S1.
  • a content 22 displayed on the terminal device 2 is recognized (step S6).
  • OCR text recognition
  • the recognized content is then assigned to a vehicle function in a step S7, for example using known parsing or classification methods.
  • a recognized address can be assigned to the vehicle function "navigation system”
  • a recognized piece of music can be assigned to the vehicle function "music player”, etc.
  • other optical features such as formatting, color, etc., for example to call up a specific streaming provider, or data from a code can also be used.
  • a step S8 the correspondingly assigned vehicle function is then controlled depending on the recognized content.
  • Controlling a vehicle function can in particular include calling or starting a vehicle function assigned to a recognized content, in particular depending on the recognized content, i.e. the vehicle function is configured with the recognized content. For example, if the content 22 is an address, the vehicle function 9 “navigation system” can be called directly with the address as the set destination address, so that the manual entry of the address in the navigation system in the vehicle is not necessary. If the recognized piece of music is a streaming provider with the recognized piece of music can be called directly, etc.
  • controlling a vehicle function can also simply involve displaying data associated with recognized content, for example on a screen 8 of the vehicle, in particular a display of the infotainment system. It can then be provided, if necessary, to offer a query for confirmation by the user, for example whether the recognized content is correct and/or whether a function associated with the recognized content should be executed. For example: "The following address was recognized. Should route guidance be started?", "The following piece of music was recognized. Should it be played?", etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Ein Verfahren zum Steuern einer Funktion eines Fahrzeugs mittels eines Endgeräts eines Benutzers umfasst ein Erfassen von Bilddaten mittels zumindest einer Bilderfassungseinrichtung, wie einer RGB-Kamera, im Innenraum eines Fahrzeugs, wobei die Bilddaten zumindest eine Ansicht eines Endgeräts des Benutzers enthalten, ein Erkennen eines Inhalts auf dem Endgerät des Benutzers durch Auswerten der Bilddaten, ein Zuordnen des erkannten Inhalts zu einer Funktion des Fahrzeugs und ein Steuern der Funktion des Fahrzeugs in Abhängigkeit von dem erkannten Inhalt. Vor dem Erfassen der Bilddaten mittels der Bilderfassungseinrichtung können Überwachungsdaten für zumindest einen Teil des Innenraums des Fahrzeugs mittels zumindest einer Überwachungseinrichtung, wie einer IR-Kamera, erfasst werden.

Description

VERFAHREN UND SYSTEM ZUM STEUERN EINER FUNKTION EINES FAHRZEUGS MITTELS EINES ENDGERÄTS EINES BENUTZERS
Die vorliegende Erfindung betrifft ein Verfahren sowie ein System zum Steuern einer Funktion eines Fahrzeugs. Insbesondere wird eine Funktion mittels eines Endgerätes eines Benutzers gesteuert, das mittels einer Bilderfassungseinrichtung, wie einer Kamera, im Innenraum des Fahrzeugs erfasst wird, wobei die Funktion basierend auf einer Erkennung eines Inhalts auf dem Endgerät des Benutzers gesteuert wird.
Moderne Fahrzeuge weisen eine Vielzahl von Funktionen auf, welche durch einen Benutzer gesteuert, d.h. z.B. aufgerufen, gestartet, gestoppt, konfiguriert, usw. werden können. Dies kann insbesondere Funktionen des Infotainmentsystems beinhalten, wie die Eingabe eines Navigationsziels, Abspielen eines Musikstücks, das Anrufen eines Kontakts oder dergleichen. Diese Funktionen des Infotainmentsystems werden üblicherweise durch Interaktion des Benutzers direkt mit dem Fahrzeug gesteuert, beispielsweise durch Betätigen von Tasten oder Berühren eines Touchscreens oder auch durch Sprachsteuerung oder Gestensteuerung.
Die Bedienung im Fahrzeug selbst kann jedoch mitunter mühsam sein, beispielsweise wenn Daten, wie ein Navigationsziel oder ein Titel eines Musikstücks über eine Tastatur auf einem Touchscreen eingetippt oder mit einem Controller ausgewählt werden müssen. Oft ist eine derartige Eingabe auf einem Endgerät eines Benutzers, wie einem Smartphone einfacher. In einigen Fällen liegen die Daten sogar schon auf dem Smartphone vor, wenn ein Benutzer beispielsweise bereits ein bestimmtes Lied auf seinem Smartphone gehört hat, welches er nun auch im Fahrzeug hören möchte.
Es sind Verfahren zur Steuerung von Fahrzeugfunktionen mittels eines Endgeräts eines Benutzers bekannt. Diese erfordern jedoch zur Datenübertragung von dem Endgerät des Benutzers an das Fahrzeug eine Kopplung des Endgeräts mit dem Fahrzeug. Beispielsweise kann ein Smartphone drahtlos mit dem Fahrzeug über Bluetooth oder einen WLAN-Hotspot im Fahrzeug gekoppelt werden. Es ist auch bekannt, Daten von einem Endgerät über einen Cloud-Dienst an ein Fahrzeug zu übertragen. Dies erspart zwar jeweils die Eingabe im Fahrzeug, erfordert jedoch zuvor (zumindest einmalig) eine entsprechende Kopplung oder Einrichtung eines bestimmten Dienstes. Während dies für einen Fahrzeuginhaber noch eine gangbare Vorgehensweise darstellen kann, ist dies jedoch beispielsweise in einem Mietwagen oder für gelegentliche Passagiere lästig. Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Steuerung einer Funktion eines Fahrzeugs zu vereinfachen. Insbesondere soll eine vereinfachte Steuerung einer Fahrzeugfunktion mittels eines Endgeräts eines Benutzers bereitgestellt werden.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Steuern einer Funktion eines Fahrzeugs mittels eines Endgeräts eines Benutzers. Das Verfahren umfasst ein Erfassen von Bilddaten mittels zumindest einer Bilderfassungseinrichtung im Innenraum eines Fahrzeugs, wobei die Bilddaten zumindest eine Ansicht eines Endgeräts des Benutzers enthalten, ein Erkennen eines Inhalts auf dem Endgerät des Benutzers durch Auswerten der Bilddaten, ein Zuordnen des erkannten Inhalts zu einer Funktion des Fahrzeugs und ein Steuern der Funktion des Fahrzeugs in Abhängigkeit von dem erkannten Inhalt.
Das vorgenannte Verfahren nach dem ersten Aspekt beruht folglich insbesondere darauf, dass Bilddaten ausgewertet werden, die mittels einer Bilderfassungseinrichtung, wie einer Kamera erfasst werden. Die Bilderfassungseinrichtung nimmt eine Ansicht des Endgeräts des Benutzers auf, so dass daraus Inhalte auf dem Endgerät, insbesondere Inhalte, die auf einem Display des Endgeräts angezeigt werden, erkannt werden können. Der erkannte Inhalt wird einer Funktion des Fahrzeugs zugeordnet, mit anderen Worten wird die Art des Inhalts erkannt, so dass der Inhalt einer Fahrzeugfunktion zugeordnet werden kann, sodass diese Funktion dann in Abhängigkeit von dem erkannten Inhalt, beispielsweise mit dem erkannten Inhalt gesteuert, insbesondere aufgerufen oder konfiguriert werden kann.
Durch diese Vorgehensweise wird das Steuern einer Fahrzeugfunktion maßgeblich vereinfacht, da keine Kopplung, Verbindung oder andere elektronische Verbindung des Endgeräts mit dem Fahrzeug notwendig ist. Daher kann eine Fahrzeugfunktion auch beispielsweise von Benutzern gesteuert werden, die ihr Endgerät nicht zuvor mit dem Fahrzeug verbinden müssen. Die Steuerung kann z.B. einfach durch Halten eines Smartphones in eine Kamera im Innenraum des Fahrzeugs erfolgen. Aus dem aufgenommenen Bild des Smartphones, bzw. genauer gesagt dem Display mit einem darauf dargestellten Inhalt, kann schnell und einfach eine zugehörige Fahrzeugfunktion mit dem passenden Inhalt aufgerufen werden. Der hier verwendete Begriff „Fahrzeug“ bezieht sich insbesondere auf einen Pkw, einschließlich aller Arten von Kraftfahrzeugen, Hybrid- und batteriebetriebenen Elektrofahrzeugen sowie Fahrzeuge wie Vans, Busse, Lkw, Lieferwagen und dergleichen.
Unter dem Begriff „Funktion eines Fahrzeugs“ (gleichbedeutend mit dem Begriff „Fahrzeugfunktion“), wie hierin verwendet, ist insbesondere eine Funktion eines Infotainmentsystems eines Fahrzeugs zu verstehen. Dies kann proprietäre Anwendungen des Fahrzeugherstellers und/oder durch Fremdanbieter implementierte Anwendungen umfassen. Das Steuern einer Fahrzeugfunktion kann insbesondere ein Aufrufen oder Starten einer einem erkannten Inhalt zugeordneten Fahrzeugfunktion in Abhängigkeit von dem erkannten Inhalt umfassen. Das Steuern einer Fahrzeugfunktion kann jedoch auch lediglich ein Anzeigen von Daten zu einem erkannten Inhalt bzw. der zugeordneten Fahrzeugfunktion (gegebenenfalls zusammen mit dem erkannten Inhalt) umfassen, beispielsweise auf einem Bildschirm des Fahrzeugs, insbesondere einem Display des Infotainmentsystems.
Unter dem Begriff „Endgerät“ eines Benutzers, wie hierin verwendet, ist insbesondere ein Gerät, wie ein mobiles Gerät zu verstehen, welches nicht Teil des Fahrzeugs ist, sondern im Besitz eines Benutzers ist. Im Sinne der vorliegenden Erfindung ist es nicht notwendig, dass das Endgerät auf irgendeine Weise direkt oder indirekt elektronisch mit dem Fahrzeug gekoppelt ist oder wird. Es ist jedoch nicht ausgeschlossen, dass das Endgerät zu anderen Zwecken mit dem Fahrzeug gekoppelt sein kann. Das Endgerät ist insbesondere eingerichtet, Inhalte darzustellen, insbesondere auf einem Display anzuzeigen. Bei dem Endgerät kann es sich beispielsweise um ein Smartphone handeln oder auch eine Smartwatch, ein Tablet, ein Laptop und dergleichen. Der Benutzer eines Endgeräts kann insbesondere der Fahrer des Fahrzeugs sein. Es versteht sich jedoch, dass auch ein Beifahrer und prinzipiell jeder Fahrzeuginsasse, der mit einem Endgerät eine geeignete Position auf geeignete Weise erreicht, ein Benutzer des Endgeräts im Sinne der Erfindung sein kann.
Unter dem Begriff „Inhalt“ eines Endgeräts, wie hierin verwendet, ist insbesondere eine auf einer Anzeigevorrichtung, wie einem Display, eines Endgeräts dargestellte Information. Der Inhalt muss auf dem Endgerät nicht notwendigerweise in einer App angezeigt werden, die von Ihrer Art der Fahrzeugfunktion entspricht. Der Inhalt kann lediglich z.B. aus einem unformatierten Text oder einem maschinenlesbaren Code bestehen. Gleichwohl kann der Inhalt auch hinsichtlich seiner Darstellung, wie Schriftformat, Farben, Formen, Logos oder dergleichen untersucht werden, was zur Identifizierung der Fahrzeugfunktion genutzt werden kann. Auch kann ein Code mehr als nur einen Text enthalten, wie z.B. zusätzlich die Angabe der Art des Inhalts oder sogar einen entsprechenden Steuercode für die Fahrzeugfunktion.
Der hier verwendete Begriff „Bilderfassungseinrichtung“ bezieht sich insbesondere auf eine Kamera, insbesondere eine digitale Kamera. Die Kamera kann Standbilder (Fotos) oder bewegte Bilder (Videos) aufnehmen. Die Bilderfassungseinrichtung kann ein derartiges Bild erfassen oder aufnehmen und entsprechende Bilddaten ausgeben.
Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.
Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).
Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe „ein anderer“ und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.
Der Begriff „Mehrzahl“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.
Unter dem Begriff „konfiguriert“ oder „eingerichtet“, eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.
Bei einigen Ausführungsformen umfasst das Verfahren vor dem Erfassen der Bilddaten mittels der Bilderfassungseinrichtung des Weiteren folgendes: ein Erfassen von Überwachungsdaten für zumindest einen Teil des Innenraum des Fahrzeugs mittels zumindest einer Überwachungseinrichtung und ein Feststellen (d.h. Prüfen), ob sich das Endgerät des Benutzers zumindest teilweise in einem vorgegebenen Bereich der Überwachungsdaten befindet, wobei das Erfassen der Bilddaten mittels der Bilderfassungseinrichtung nur durchgeführt wird, wenn festgestellt wird, dass sich das Endgerät des Benutzers zumindest teilweise in dem vorgegebenen Ausschnitt befindet.
Durch diese Maßnahme, welche der eigentlichen Erkennung eines Inhalts auf dem Endgerät vorausgeht, kann das Verfahren mit erhöhter Zuverlässigkeit gestaltet werden. Eine Bildanalyse wird nicht permanent durchgeführt wird, was zum einen zusätzliche Rechenleistung erfordert würde und zum anderen auch z.B. zu unerwünschten Ergebnissen führen könnte, wenn ein Benutzer möglicherweise gar nicht beabsichtigt, eine Fahrzeugfunktion zu steuern. Die Bilddaten werden zur möglichen Erkennung eines Inhalts auf dem Endgerät nur dann erfasst, wenn ein Benutzer ein Endgerät auch tatsächlich in einen Erfassungsbereich (den vorgegebenen Bereich) hält. Dazu kann eine Überwachungseinrichtung genutzt werden, welche möglicherweise ohnehin im Fahrzeug vorhanden ist, z.B. zur Überwachung des Fahrers zu anderen Zwecken. Die Überwachungsdaten als solche sind jedoch möglicherweise nicht für eine Erkennung eines auf einem Endgerät dargestellten Inhalts geeignet, weshalb dann bei positiver Feststellung, dass sich ein Endgerät in dem vorgegebenen Bereich befindet, Bilddaten erfasst werden wie oben erläutert. Bei der Überwachungseinrichtung kann es sich dennoch auch um eine Bilderfassungseinrichtung handeln, wie unten näher erläutert. Bei einigen Ausführungsformen umfasst das Verfahren des Weiteren folgendes: ein Erkennen eines Zustands des Endgeräts durch Auswerten der Überwachungsdaten und ein Feststellen (d.h. Prüfen), ob der erkannte Zustand geeignet ist, einen Inhalt auf dem Endgerät des Benutzers zu erkennen, wobei das Erkennen eines Inhalts auf dem Endgerät des Benutzers durch Auswerten der Bilddaten nur durchgeführt wird, wenn festgestellt wird, dass der Zustand des Endgeräts zum Erkennen eines Inhalts auf dem Endgerät geeignet ist. Diese Maßnahme erhöht die Zuverlässigkeit des Verfahrens, da vor der eigentlichen Bilderkennung geprüft wird, ob sich das Endgerät es sich in einem „geeigneten Zustand“ befindet, also z.B. in einer richtigen Orientierung gehalten wird, nicht verdeckt wird und dergleichen, wie unten näher erläutert. Dadurch können unnötige Bildauswertungen vermieden werden, welche ohnehin mit hoher Wahrscheinlichkeit kein gültiges Resultat liefern würden. Zudem kann es vorkommen, dass ein Benutzer sein Endgerät zwar (möglicherweise unbeabsichtigt) in dem vorgegebenen Ausschnitt hält, aber gar keine Steuerung einer Fahrzeugfunktion beabsichtigt, insbesondere mit der zuvor erläuterten Prüfung der Überwachungsdaten. Insbesondere in Kombination mit der zuvor beschrieben Prüfung der Überwachungsdaten, ob sich das Endgerät in dem vorgegebenen Bereich befindet, kann die Zuverlässigkeit des Verfahrens weiter gesteigert werden. Mit anderen Worten, ist vorteilhaft, wenn zunächst festgestellt wird, ob sich ein Endgerät in dem vorgegebenen Bereich befindet, und erst bei positiver Feststellung weiter festgestellt, ob es sich in einem „geeigneten Zustand“ befindet,
Die nachfolgenden Ausführungsformen beschreiben mögliche Zustände des Endgeräts, welche zunächst überprüft werden, bevor die eigentliche Bilderkennung aktiviert wird. Ein Zustand des Endgeräts bezieht sich dabei nicht unbedingt auf einen Betriebszustand des Endgeräts selbst, sondern insbesondere auf eine Beziehung zwischen Endgerät und Fahrzeug. Der Zustand gilt als geeignet, wenn bei keiner der im folgenden Ausführungsformen eine negative Feststellung (also „nicht geeignet“) getroffen wird. Schon bei einer negativen Feststellung kann dies dazu führen, dass ein Inhalt auf einem Endgerät nicht erkannt werden kann, beispielsweise weil der Benutzer sein Endgerät ungeeignet hält. Daher sollen vorzugsweise alle Feststellungen positiv ausfallen, bevor die Bilderkennung getriggert wird. Es versteht sich jedoch, dass es Fälle geben kann, in denen trotz negativer Feststellung in einem Fall (oder auch mehreren Fällen) eine Erkennung eines Inhalts auf einem Endgerät dennoch erfolgreich durchgeführt werden könnte.
Bei einigen Ausführungsformen umfasst der Zustand eine Orientierung (die Lage) des Endgeräts im Innenraum des Fahrzeugs, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt auf dem Endgerät zu erkennen, wenn ein Blickwinkel der Bilderfassungseinrichtung auf das Endgerät außerhalb eines vorgegebenen Bereichs liegt. Insbesondere kann eine Erkennung eines Inhalts auf dem Endgerät nicht möglich oder zumindest erschwert sein, wenn das Endgerät zu schräg, verdreht oder dergleichen der Bilderfassungseinrichtung gehalten wird.
Die Orientierung des Endgeräts im Raum kann dabei auch einfach festgestellt werden, wenn es sich bei den Überwachungsdaten um Bilddaten handelt. Ist beispielsweise ein Winkel zwischen zwei Kanten eines (als rechteckig angenommenen) Endgeräts, welche parallel zueinander sein sollten, im Bild zu groß, ist dies ein Hinweise darauf, dass das Endgerät zu schräg (verdreht) gehalten wird. Auch wenn der Abstand zwischen zwei parallelen Kanten, welche auch im Bild parallel sind, zu klein ist, kann daraus ebenfalls auf eine ungeeignete Orientierung (Verdrehung) des Endgeräts relativ zur Kamera geschlossen werden. Über die Entfernung der Kanten kann auch ein Abstand zwischen dem Endgerät und der Bilderfassungseinrichtung festgestellt werden. Wenn dieser außerhalb eines vorgegebenen Bereichs liegt, kann eine Erkennung eines Inhalts auf dem Endgerät nicht möglich oder zumindest erschwert sein, d.h. wenn sich das Endgerät zu nah an bzw. zu weit weg von der Bilderfassungseinrichtung befindet.
Bei einigen Ausführungsformen umfasst der Zustand einen durch die Bilderfassungseinrichtung sichtbaren Anteil des Endgeräts, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt auf dem Endgerät zu erkennen, wenn der sichtbare Anteil kleiner als ein vorgegebener Grenzwert ist. Hier kann insbesondere festgestellt werden, ob sich Finger vor dem Endgerät befinden oder gar ein Großteil der Hand, was darauf hindeuten kann, dass das Endgerät der Bilderfassungseinrichtung mit dem angezeigten Inhalt nicht oder nicht ausreichend zugewandt ist. Auch ist die Aktivierung der Bilderkennung mit hoher Wahrscheinlichkeit nicht sinnvoll, wenn nur ein zu kleiner Teil der Vorderseite des Endgeräts sichtbar ist, z.B. weil der Benutzer einen Teil des Displays mit seiner Hand verdeckt.
Bei einigen Ausführungsformen umfasst der Zustand eine Bewegung des Endgeräts, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt auf dem Endgerät zu erkennen, wenn die Bewegung größer als ein vorgegebener Grenzwert ist. Für eine zuverlässige Erkennung eines Inhalts auf einem Endgerät ist es vorteilhaft, wenn sich das Endgerät nicht zu sehr bewegt. Es sei bemerkt, dass dies nicht unbedingt bedeutet, dass ein Benutzer sein Endgerät absolut stillhalten muss. Eine zu schnelle Bewegung kann jedoch ein Hinweis darauf sein, dass das Endgerät nur flüchtig oder unbeabsichtigt durch den Erfassungsbereich bewegt wird, und keine Steuerung einer Fahrzeugfunktion gewünscht oder beabsichtigt ist. Eine Bewegung kann über die Ableitung der Koordinaten des Endgeräts ermittelt werden, beispielsweise aus den erfassten Überwachungsdaten. Da ein Benutzer sein Endgerät üblicherweise in der Hand hält, können dazu auch die Koordinaten einer Hand des Benutzers genutzt werden. Diese Daten können möglicherwiese bereits aus einem Skelettmodell des Benutzers vorliegen, welches für andere Zwecken ohnehin erstellt wird.
Bei einigen Ausführungsformen umfasst das Verfahren vor dem Erkennen eines Inhalts auf dem Endgerät des Benutzers durch Auswerten der Bilddaten des Weiteren folgendes: ein Bestimmen eines Ausschnitts der Bilddaten, welcher das Endgerät repräsentiert, aus den Überwachungsdaten (insbesondere dem oben beschriebenen vorgegebenen Bereich), und ein Feststellen, ob der Ausschnitt Bilddaten enthält, die geeignet sind, einen Inhalt auf dem Endgerät des Benutzers zu erkennen, wobei das Erkennen eines Inhalts auf dem Endgerät nur durchgeführt wird, wenn festgestellt wird, dass der Ausschnitt Bilddaten enthält, die geeignet sind, einen Inhalt auf dem Endgerät zu erkennen. Mit anderen Worten, die Überwachungsdaten können genutzt werden, um den Ausschnitt der Bilddaten zu bestimmen, der für die Erkennung relevant ist. Dabei kann anhand von Koordinaten bestimmt werden, wo sich z.B. ein Display des Endgeräts befindet. Die Bilddaten können beispielsweise nicht zur Erkennung eines Inhalts geeignet sein, wenn das Display des Endgeräts gar nicht eingeschaltet ist, was z.B. über Helligkeitsunterschiede in den Bilddaten ermittelt werden kann. Auch können die Lichtverhältnisse zur Erkennung von Inhalten auf dem Endgerät ungeeignet sein, beispielsweise weil das Display zu dunkel erscheint. Dies kann z.B. über die Ermittlung von Pixeln und deren Sättigung erfolgen, beispielsweise wenn die Anzahl von Pixeln mit einer bestimmten (Mindest-Sättigung) kleiner als ein vorgegebener Wert ist.
Bei einigen Ausführungsformen werden die Bilddaten mittels der Bilderfassungseinrichtung im sichtbaren Bereich des Lichts erfasst. Dies kann mittels einer RGB-Kamera erfolgen. Diese Methode ist am geeignetsten, um einen auf einem Display eines Endgeräts angeeigneten Inhalt zu erkennen.
Bei einigen Ausführungsformen werden die Überwachungsdaten mittels der Überwachungseinrichtung, welche eingerichtet ist, Überwachungsdaten für zumindest einen Teil des Innenraums des Fahrzeugs zu erfassen, wobei die Überwachungsdaten vorzugsweise als Bilddaten im Infrarotlichtbereich (IR) und/oder als dreidimensionale Modelldaten umfassen. Fahrerüberwachungssysteme arbeiten üblicherweise mit solchen IR-Kameras. Diese Methode eignet sich zur Überwachung eines Fahrzeuginnenraums, da Bilddaten, die im IR-Bereich erfasst werden, robust gegenüber unterschiedlichen Lichtverhältnissen sind. Mit anderen Worten, diese Methode liefert sowohl bei starker Sonneneinstrahlung als auch bei Dunkelheit zuverlässige Ergebnisse (insb. im Vergleich zu Bilddaten im sichtbaren Bereich des Lichts). Daten zu einem dreidimensionalen Modell, die beispielsweise mit einer Time-of-Flight-Kamera aufgenommen werden, erlauben eine detaillierte dreidimensionale Ansicht des Fahrzeuginnenraums.
Bei einigen Ausführungsformen das Erkennen eines Inhalts das Erkennen eines Textes und/oder das Erkennen eines maschinenlesbaren Codes umfasst. Eine solche Erkennung kann hierbei auf bekannte Verfahren zurückgreife, beispielsweise Texterkennung aus den Bilddaten mittels OCR. Zur Zuordnung des erkannten Textes (oder Codes) zu einer Fahrzeugfunktion kann dann eine Klassifizierung bzw. ein Parsing erfolgen. Beispielsweise kann aus einem erkannten Text ermittelt werden, ob es sich um einen Titel eines Musikstücks oder eine Adresse handelt. Abhängig davon kann dann entsprechend z.B. eine App eines Streaming-Anbieters aufgerufen werden, um das erkannte Musikstück abzuspielen, oder das Navigationssystem mit einer entsprechenden Zielführung zur erkannten Adresse gestartet werden.
Ein zweiter Aspekt der Erfindung betrifft ein System zur Datenverarbeitung, aufweisend zumindest einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach dem ersten Aspekt der Erfindung ausführt.
Bei einigen Ausführungsformen umfasst das System des Weiteren zumindest eine Bilderfassungseinrichtung, welche eingerichtet ist, Bilddaten im sichtbaren Bereich (RGB) des Lichts zu erfassen. Wie oben erläutert, kann auf diese Weise ein Inhalt eines Endgeräts, insbesondere ein auf einem Display eines Endgeräts angezeigter Inhalt, erkannt werden.
Bei einigen Ausführungsformen umfasst das System des Weiteren zumindest eine Überwachungseinrichtung, welche eingerichtet ist, Bilddaten im Infrarotlichtbereich (IR) und/oder dreidimensionale Modelldaten zu erfassen. Wie oben erläutert, ist es vorteilhaft, den Innenraum eines Fahrzeugs mittels einer Infrarot-Kamera oder einer Time-of-Flight-Kamera zu überwachen. Ein dritter Aspekt der Erfindung betrifft ein Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach dem zweiten Aspekt dieses veranlassen, das Verfahren nach dem ersten Aspekt auszuführen.
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen.
Das System nach dem zweiten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung. Dies gilt ebenso für die in Bezug auf den zweiten Aspekt der Erfindung erläuterten Merkmale und Vorteile.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Zeichnungen.
Dabei zeigt:
Fig. 1 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform; Fig. 2 eine Ansicht eines Fahrzeuginnenraums mit einem durch einen Benutzer in einen Erkennungsbereich gehaltenen Endgerät; und
Fig. 3 eine Ansicht eines Endgeräts mit einem angezeigten Inhalt.
In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente der Erfindung verwendet.
In Fig. 1 ist ein Verfahren 100 zur Steuerung einer Fahrzeugfunktion dargestellt. Das Verfahren 100 kann insbesondere in einem Datenverarbeitungssystem des Fahrzeugs ausgeführt werden (nicht dargestellt). Nachfolgend wird das Verfahren 100 auch unter Bezugnahme auf Fig. 2 und Fig. 3 erläutert. Fig. 2 zeigt einen Ausschnitt eines Fahrzeuginnenraums 1 mit einem Fahrer als Benutzer 10 eines Smartphones als beispielhaftes Endgerät 2. In Fig. 3 ist ein Smartphone 2 in der Hand eines Benutzers mit einem auf dem Display 21 angezeigten Inhalt 22 (schematisch als Box angedeutet) dargestellt.
In einem Schritt S1 werden Überwachungsdaten für zumindest einen Teil des Fahrzeuginnenraums 1 erfasst. Das Fahrzeug kann mit einem Fahrerüberwachungs- system (Driver Monitoring System; DMS) ausgestattet sein, welches den Fahrer und möglicherweise auch andere Teile des Fahrzeuginnenraums 1 überwacht. Diese Überwachung kann permanent während der Fahrt (d.h. insbesondere beginnend und endend mit dem Einschalten bzw. Ausschalten der Zündung) aktiv sein. Zu diesem Zweck kann eine Überwachungseinrichtung 3 im Fahrzeuginnenraum 2 beispielsweise im Fuß 5 des Innenspiegels 6 angeordnet sein. Von dieser Position ist der Fahrer 10 bzw. sind auch weite Teile des Fahrzeuginnenraums 1 gut einsehbar.
Es kann eine Infrarot (IR)-Kamera (z.B. eine Nahinfrarot (NIR)-Kamera) zum Einsatz kommen. Ein IR-Bild eignet sich gut für die Überwachung, da es robust gegen veränderliche Lichtverhältnisse ist, beispielsweise auch bei starker Sonneneinstrahlung. Gleichermaßen sind Aufnahmen bei Dunkelheit möglich. Es versteht sich, dass eine entsprechende IR-Lichtquelle vorhanden sein kann. Es ist ebenso denkbar, ein dreidimensionales Modell des Fahrers 10 bzw. des Fahrzeuginnenraums 1 zu erstellen, beispielsweise mittels einer Time-of-Flight (TOF)-Kamera. Mittels des dreidimensionalen Modells können Abstände zur Kamera, und somit Entfernungen zwischen Objekten und deren Bewegungen berechnet werden. Mit Hilfe der erfassten Überwachungsdaten kann in einem Schritt S2 festgestellt werden, ob sich das Endgerät 2 in einem vorgegebenen Bereich 7 (angedeutet durch gestrichelte Linien in Fig. 2) befindet. Dieser Bereich 7 ist ein Ausschnitt aus den Überwachungsdaten, bei (IR-)Bilddaten kann dies einfach ein zweidimensionaler Bereich sein, der als geeignet für die Erkennung eines auf einem Endgerät dargestellten Inhalts bestimmt wurde. Im Fahrzeuginnenraum kann dies einem Bereich in der Nähe der Kamera 3 entsprechen (bzw. der Kamera 4, siehe unten). Die Anordnung im Fuß 5 des Innenspiegels 6 der Mitte des Fahrzeugs ist zudem für einen Benutzer gut erreichbar, um ein Endgerät 2 zur Durchführung des Verfahrens in geeigneter Weise im Bereich 7 in Position zu bringen. Es versteht sich, dass der in Fig. 2 angedeutete Bereich 7 lediglich beispielhaft ist. Position, Größe und Form des Bereichs 7 können entsprechend gewünschten Anforderungen einstellbar sein.
Die folgenden Schritte des Verfahrens 100 werden vorteilhaft nur dann ausgeführt, wenn das Endgerät 2 in den Bereich 7 gelangt. Einerseits kann das Verfahren so zuverlässiger ausgeführt werden, da keine Auswertung sämtlicher Überwachungsdaten erfolgt, auch wenn das Endgerät 2 beispielsweise gar nicht im Blickfeld der Kamera 3 ist (bzw. der Kamera 4, siehe unten). Auch kann so eine unbeabsichtigte Ausführung des Verfahrens 100 weitgehend verhindert werden, da der Benutzer 10 mit seinem Endgerät 2 üblicherweise nicht in den Bereich 7 gelangt, da er beispielsweise dazu, wie in Fig. 2 dargestellt, seinen Arm mit dem Endgerät 2 in seiner Hand heben muss.
Wird festgestellt, dass sich das Endgerät 2 in dem Bereich 7 befindet, erfolgt in einem Schritt S3 die Prüfung der Überwachungsdaten, vorteilhaft nur derjenigen Überwachungsdaten aus dem Bereich 7. Falls nicht, beginnt das Verfahren 100 von vorne bei Schritt S1. Die Prüfung erfolgt insbesondere auf die nachfolgend erläuterten Kriterien.
Das Endgerät 2 muss für eine zuverlässige Erkennung eines dargestellten Inhalts in einer Orientierung gehalten werden, welche weder zu sehr geneigt noch zu sehr verdreht ist. Dies kann über den Vergleich von gegenüberliegenden Kanten des Endgeräts 2 in den Überwachungsdaten erfolgen, welche im Idealfall parallel zueinander mit einem bestimmten Abstand vorliegen (was einer geraden Orientierung des Endgeräts 2 relativ zur Kamera 3 (bzw. Kamera 4) entsprechend würde). Ist ein Winkel zwischen gegenüberliegenden Kanten jedoch zu groß oder ein Abstand zu klein, kann daraus auf eine zu große Neigung bzw. Verdrehung des Endgeräts 2 geschlossen werden. Die Überwachungsdaten werden in beiden Fällen dann dementsprechend als ungeeignet eingestuft.
Auch darf das Endgerät 2 nicht z.B. durch die Hand des Benutzers 10 verdeckt sein, was ein Indiz dafür sein kann, dass das Display 21 des Endgeräts 2 nicht im Sichtbereich ist oder zumindest, dass weite Teile des Displays 21 durch Finger oder Teile der Hand des Benutzers 10 verdeckt sind. Die Überwachungsdaten werden in beiden Fällen dann dementsprechend als ungeeignet eingestuft.
Ferner kann auch eine zu schnelle Bewegung des Endgeräts 2 dazu führen, dass die Überwachungsdaten als ungeeignet eingestuft werden. Zum einen funktioniert eine Erkennung eines Inhalts 22 zuverlässiger, wenn das Endgerät 2 nicht zu sehr bewegt wird. Zum anderen kann eine schnelle Bewegung des Endgeräts 2 im Bereich 7 ein Hinweis darauf sein, es unbeabsichtigt in den Bereich 7 gelangt ist. Eine Bewegung kann beispielsweise über die Koordinaten des Endgeräts 2 aus den Überwachungsdaten oder auch aus den Koordinaten der Hand des Benutzers 10 jeweils über die Ableitung der entsprechenden Positionskoordinaten bestimmt werden.
Wurden die Überwachungsdaten als geeignet eingestuft, d.h. sind alle Kriterien der oben erläuterten Kriterien als geeignet eingestuft worden, werden in einem Schritt S4 nun Bilddaten mittels einer Bilderfassungseinrichtung 4 erfasst. Andernfalls beginnt das Verfahren 100 von vorne bei Schritt S1. Vor der Erfassung der Bilddaten wird vorteilhaft abgewartet, bis ein entsprechender Bildprozessor (Image Signal Processor; ISP) eine Anpassung abgeschlossen, um so die Belichtungssteuerung entsprechend geeignet anpassen zu können, mit welcher die Bilddaten erfasst werden.
Die Bilderfassungseinrichtung 4 kann insbesondere eine Kamera 4 sein, welche Bilddaten im sichtbaren Bereich des Lichts erfasst und kann daher als RGB-Kamera bezeichnet werden. Während eine IR-Kamera oder TOF-Kamera als Überwachungseinrichtung 3 zwar ein geeignetes Bild bei sehr unterschiedlichen Lichtverhältnissen liefert, enthalten die Überwachungsdaten 3 dann jedoch keine (RGB)- Farben. Diese sind jedoch für die Erkennung eines (im sichtbaren Bereich des Lichts) dargestellten Inhalts 22 auf einem Endgerät 2, wie auf einem Display 21 eines Smartphones (vgl. Fig. 3) notwendig. Auf einem IR-Bild ist ein Endgerät 2, wie ein Smartphone lediglich als (üblicherweise) im Wesentlichen rechteckiges Objekt zu erkennen, auf dem bestenfalls das Display 21 als rechteckige monochrome Fläche unterscheidbar ist. Während in Fig. 2 die Überwachungseinrichtung 3 und die Bilderfassungseinrichtung 4 als separate Einheiten dargestellt sind, können diese auch kombiniert in einer Einheit vorliegen, welche insbesondere eine RGB-IR-Kamera sein kein, d.h. eine Kamera, welche sowohl im RGB- als auch im IR-Bereich Bilddaten liefert.
Die Bilderfassungseinrichtung 4 kann insbesondere auch im Fuß 5 des Innenspiegels 6 angeordnet sein. Daher können die Sichtbereiche der Überwachungseinrichtung 3 und der Bilderfassungseinrichtung 4 zumindest im Bereich 7 als weitgehend deckungsgleich angenommen werden (oder sogar im Wesentlichen deckungsgleich, wenn die Überwachungseinrichtung 3 und die Bilderfassungseinrichtung 4 als eine Einheit ausgebildet sind). Es werden daher insbesondere Bilddaten erfasst, welche sich im Bereich 7 befinden.
In den Bilddaten kann ein Ausschnitt aus dem Bereich 7 bestimmt werden, welcher dem Display 21 (oder maximal dem ganzen Endgerät 2) entspricht. Die entsprechenden 2D- Koordinaten, insbesondere vier Eckkoordinaten, können aus den Überwachungsdaten bestimmt werden. Die weitere Bildverarbeitung kann diese Information über diesen Ausschnitt der Bilddaten, der durch die genaue Position und Lage des Endgeräts 2 bzw. dessen Display 21 definiert ist, zur folgenden Prüfung der Bilddaten (Schritt S5) nutzen. Die dann folgende Bildanalyse (Schritt S6) kann dann vorteilhaft auf diesen Ausschnitt beschränkt werden, da alle Bereiche außerhalb des Displays 21 (bzw. zumindest außerhalb des Endgeräts 2) für die eigentliche Erkennung eines Inhalts ohnehin nicht relevant sind.
Die erfassten Bilddaten werden nun in einem Schritt S5 vor der weiteren Verarbeitung geprüft. Insbesondere wird geprüft, ob das Display 21 des Endgeräts 2 überhaupt eingeschaltet ist. Dies kann durch einen Helligkeitsvergleich von Pixeln innerhalb des Ausschnitts der Bilddaten, welcher das Display 21 definiert wie oben beschrieben, und Pixeln außerhalb erfolgen. Ferner werden die Lichtverhältnisse geprüft, wobei das Bild beispielsweise als zu dunkel eingestuft werden kann, wenn mehr als eine bestimmte Anzahl von Pixeln einen Sättigungswert kleiner als ein Grenzwert aufweist. Sind werden beide Kriterien als positiv bewertet, werden die Bilddaten als geeignet für die Erkennung eines Inhalts eingestuft. Andernfalls beginnt das Verfahren 100 bei Schritt S1 von vorne.
Wurden die Bilddaten als geeignet eingestuft, werden diese nun mittels Bildanalyse ausgewertet. Zunächst wird ein auf dem Endgerät 2 dargestellter Inhalt 22 erkannt (Schritt S6). Insbesondere können dazu bekannte Verfahren zur Texterkennung (OCR), wenn der Inhalt ein Text ist, oder zum Auslesen von maschinenlesbaren Codes, beispielsweise wenn der Inhalt ein Code, wie ein QR-Code ist, zum Einsatz kommen. Der erkannte Inhalt wird in einem Schritt S7 dann einer Fahrzeugfunktion zugeordnet, beispielsweise mittels bekannter Parsing- oder Klassifizierungsverfahren. Beispielsweise kann so eine erkannte Adresse der Fahrzeugfunktion „Navigationssystem“, ein erkanntes Musikstück der Fahrzeugfunktion „Musik-Player“ usw. zugeordnet werden. Zur Zuordnung können dazu gegebenenfalls auch weitere optische Merkmale, wie die Formatierung, Farbe usw., beispielsweise um einen bestimmten Streaming-Anbieter aufzurufen, oder auch Daten aus einem Code herangezogen werden.
In einem Schritt S8 wird dann die entsprechend zugeordnete Fahrzeugfunktion abhängig von dem erkannten Inhalt angesteuert werden. Das Steuern einer Fahrzeugfunktion kann insbesondere ein Aufrufen oder Starten einer einem erkannten Inhalt zugeordneten Fahrzeugfunktion umfassen, insbesondere in Abhängigkeit von dem erkannten Inhalt, d.h. die Fahrzeugfunktion wird mit dem erkannten Inhalt konfiguriert. Beispielsweise, wenn es sich bei dem Inhalt 22 um eine Adresse handelt, kann die Fahrzeugfunktion 9 „Navigationssystem“ direkt mit der Adresse als eingestellte Zieladresse aufgerufen werden, so dass die manuelle Eingabe der Adresse im Navigationssystem im Fahrzeug entfällt. Handelt es sich bei dem erkannten Musikstück, kann direkt ein Streaming- Anbieter mit dem erkannten Musikstück aufgerufen werden, usw.
Das Steuern einer Fahrzeugfunktion kann jedoch auch lediglich ein Anzeigen von einem erkannten Inhalt zugeordneten Daten umfassen, beispielsweise auf einem Bildschirm 8 des Fahrzeugs, insbesondere einem Display des Infotainmentsystems. Dann kann gegebenenfalls vorgesehen sei, eine Abfrage zur Bestätigung durch den Benutzer anzubieten, beispielsweise ob der erkannte Inhalt korrekt ist und/oder ob eine zu dem erkannten Inhalt zugeordnete Funktion ausgeführt werden soll. Zum Beispiel: „Es wurde folgende Adresse erkannt. Soll die Zielführung gestartet werden?“, „Es wurde folgendes Musikstück erkannt. Soll es abgespielt werden?“, usw.
Während vorhergehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorhergehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
BEZUGSZEICHENLISTE
100 Verfahren zum Steuern einer Fahrzeugfunktion
1 Fahrzeuginnenraum 2 Endgerät (Smartphone)
3 Überwachungseinrichtung (IR-Kamera)
4 Bilderfassungseinrichtung (RGB-Kamera)
5 Innenspiegelfuß
6 Innenspriegel 7 Bereich
8 Display Infotainmentsystem
9 Fahrzeugfunktion
10 Benutzer (Fahrer)
21 Display Endgerät (Smartphone) 22 angezeigter Inhalt

Claims

ANSPRÜCHE Verfahren (100) zum Steuern einer Funktion eines Fahrzeugs mittels eines Endgeräts (2) eines Benutzers (10), wobei das Verfahren folgendes umfasst: Erfassen von Bilddaten mittels zumindest einer Bilderfassungseinrichtung (4) im Innenraum (1) eines Fahrzeugs, wobei die Bilddaten zumindest eine Ansicht eines Endgeräts (2) des Benutzers (10) enthalten;
Erkennen eines Inhalts auf dem Endgerät (2) des Benutzers (10) durch Auswerten der Bilddaten;
Zuordnen des erkannten Inhalts zu einer Funktion (9) des Fahrzeugs; und Steuern der Funktion (9) des Fahrzeugs in Abhängigkeit von dem erkannten Inhalt (22). Verfahren nach Anspruch 1 , wobei das Verfahren vor dem Erfassen der Bilddaten mittels der Bilderfassungseinrichtung (4) des Weiteren folgendes umfasst:
Erfassen von Überwachungsdaten für zumindest einen Teil des Innenraums (1) des Fahrzeugs mittels zumindest einer Überwachungseinrichtung (3);
Feststellen, ob sich das Endgerät (2) des Benutzers (10) zumindest teilweise in einem vorgegebenen Bereich (7) der Überwachungsdaten befindet; wobei das Erfassen der Bilddaten mittels der Bilderfassungseinrichtung (4) nur durchgeführt wird, wenn festgestellt wird, dass sich das Endgerät (2) des Benutzers (10) zumindest teilweise in dem vorgegebenen Bereich (7) befindet. Verfahren nach Anspruch 1 oder 2, wobei das Verfahren des Weiteren folgendes umfasst:
Erkennen eines Zustands des Endgeräts (2) durch Auswerten der Überwachungsdaten; und
Feststellen, ob der erkannte Zustand geeignet ist, einen Inhalt (22) auf dem Endgerät (2) des Benutzers (10) zu erkennen; wobei das Erkennen eines Inhalts auf dem Endgerät (2) des Benutzers (10) durch Auswerten der Bilddaten nur durchgeführt wird, wenn festgestellt wird, dass der Zustand des Endgeräts (2) zum Erkennen eines Inhalts auf dem Endgerät (2) geeignet ist. Verfahren nach Anspruch 3, wobei der Zustand eine Position des Endgeräts (2) im Innenraum (1) des Fahrzeugs umfasst, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt (22) auf dem Endgerät (2) zu erkennen, wenn ein Abstand zwischen dem Endgerät (2) und der Bilderfassungseinrichtung (4) außerhalb eines vorgegebenen Bereichs liegt. Verfahren nach Anspruch 4, wobei der Zustand eine Orientierung des Endgeräts (2) im Innenraum (1) des Fahrzeugs umfasst, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt (22) auf dem Endgerät (2) zu erkennen, wenn ein Blickwinkel der Bilderfassungseinrichtung (4) auf das Endgerät (2) außerhalb eines vorgegebenen Bereichs liegt. Verfahren nach einem der Ansprüche 3 bis 5, wobei der Zustand einen durch die Bilderfassungseinrichtung (4) sichtbaren Anteil des Endgeräts (2) umfasst, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt (22) auf dem Endgerät (2) zu erkennen, wenn der sichtbare Anteil kleiner als ein vorgegebener Grenzwert ist. Verfahren nach einem der Ansprüche 3 bis 6, wobei der Zustand eine Bewegung des Endgeräts (2) umfasst, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt (22) auf dem Endgerät (2) zu erkennen, wenn die Bewegung größer als ein vorgegebener Grenzwert ist. Verfahren einem der Ansprüche 2 bis 7, wobei das Verfahren vor dem Erkennen eines Inhalts (22) auf dem Endgerät (2) des Benutzers (10) durch Auswerten der Bilddaten des Weiteren folgendes umfasst:
Bestimmen eines Ausschnitts der Bilddaten, welcher das Endgerät (2) repräsentiert, aus den Überwachungsdaten; und
Feststellen, ob der Ausschnitt Bilddaten enthält, die geeignet sind, einen Inhalt (22) auf dem Endgerät (2) des Benutzers (10) zu erkennen; wobei das Erkennen eines Inhalts (22) auf dem Endgerät (2) nur durchgeführt wird, wenn festgestellt wird, dass der Ausschnitt Bilddaten enthält, die geeignet sind, einen Inhalt (22) auf dem Endgerät (2) zu erkennen. Verfahren einem der vorhergehenden Ansprüche, wobei die Bilddaten mittels der Bilderfassungseinrichtung (4) im sichtbaren Bereich des Lichts erfasst werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Überwachungsdaten mittels der Überwachungseinrichtung (3) als Bilddaten im Infrarotlichtbereich und/oder als dreidimensionale Modelldaten erfasst werden.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erkennen eines Inhalts (22) das Erkennen eines Textes und/oder das Erkennen eines maschinenlesbaren Codes umfasst.
12. System zur Datenverarbeitung, aufweisend zumindest einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach einem der vorhergehenden Ansprüche ausführt.
13. System nach Anspruch 12, des Weiteren aufweisend zumindest eine Bilderfassungseinrichtung (4), Bilddaten im sichtbaren Bereich des Lichts zu erfassen.
14. System nach Anspruch 12 oder 13, des Weiteren aufweisend zumindest eine Überwachungseinrichtung (3), welche eingerichtet ist, Überwachungsdaten für zumindest einen Teil des Innenraums (1) des Fahrzeugs zu erfassen.
15. Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach einem der Ansprüche 12 bis 14 dieses veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
PCT/EP2023/072504 2022-11-11 2023-08-16 Verfahren und system zum steuern einer funktion eines fahrzeugs mittels eines endgeräts eines benutzers WO2024099608A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022129841.8 2022-11-11
DE102022129841.8A DE102022129841A1 (de) 2022-11-11 2022-11-11 Verfahren und system zum steuern einer funktion eines fahrzeugs mittels eines endgeräts eines benutzers

Publications (1)

Publication Number Publication Date
WO2024099608A1 true WO2024099608A1 (de) 2024-05-16

Family

ID=87748103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/072504 WO2024099608A1 (de) 2022-11-11 2023-08-16 Verfahren und system zum steuern einer funktion eines fahrzeugs mittels eines endgeräts eines benutzers

Country Status (2)

Country Link
DE (1) DE102022129841A1 (de)
WO (1) WO2024099608A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213098A1 (en) * 2016-01-26 2017-07-27 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Information entry via in-vehicle camera
US20210382969A1 (en) * 2019-07-01 2021-12-09 Lg Electronics Inc. Biometrics authentication method and apparatus using in-vehicle multi camera

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494439B2 (en) 2010-05-04 2013-07-23 Robert Bosch Gmbh Application state and activity transfer between devices
DE102011112445A1 (de) 2011-03-12 2012-09-13 Volkswagen Aktiengesellschaft Multifunktionsbedieneinrichtung
DE102019131897A1 (de) 2019-11-26 2021-05-27 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur softwareunabhängigen Integration mobiler Endgeräte ins Fahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213098A1 (en) * 2016-01-26 2017-07-27 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Information entry via in-vehicle camera
US20210382969A1 (en) * 2019-07-01 2021-12-09 Lg Electronics Inc. Biometrics authentication method and apparatus using in-vehicle multi camera

Also Published As

Publication number Publication date
DE102022129841A1 (de) 2024-05-16

Similar Documents

Publication Publication Date Title
DE102008016215B4 (de) Informationsvorrichtungsbediengerät
DE102012223730B4 (de) Vorrichtung und verfahren zum einstellen einer parkposition auf basis eines av-bildes
DE102018105951B4 (de) Verfahren zum dynamischen anzeigen von bildern auf einer elektronischen anzeigevorrichtung eines fahrzeugs
DE112017000816T5 (de) Fahrerassistenzsystem mit variabler Bildauflösung
DE102017115318A1 (de) Heads-Up-Anzeige zum Beobachten von Fahrzeugwahrnehmungsaktivität
DE102014116362B3 (de) Rundumsicht-Überwachungsvorrichtung und Verfahren dafür
DE112017007471B4 (de) Mitteilungssteuereinrichtung
DE102017223160B4 (de) Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
DE102013221668A1 (de) System und Verfahren für das Bereitstellen einer Benutzerschnittstelle im Fahrzeug, wobei das Erkennen einer Handformspur benutzt wird
DE102019106520B4 (de) Parkunterstützungsvorrichtung, Parkunterstützungsverfahren und Parkunterstützungsprogramm
DE102017122432A1 (de) Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017217027A1 (de) Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
DE102019133320A1 (de) Programm zur Bedienung eines Fahrzeugs von außerhalb des Fahrzeugs
DE102019118604A1 (de) Systeme und verfahren zur steuerung von fahrzeugfunktionen über fahrer- und fahrgast-hud
DE102018127819A1 (de) Steuerungsvorrichtung und Programm
DE102015119556A1 (de) Anpassen einer anzeige auf einer transparenten elektronischen anzeige
DE102021212088A1 (de) Rückfahrkamerasystem für ein anhängerkupplungssystem
WO2016124278A1 (de) Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
DE102015115362A1 (de) Erfassungsvorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
DE102020106003A1 (de) Verfahren und system zum auslösen einer bildaufnahme des innenraums eines fahrzeugs basierend auf dem erfassen einer freiraumgeste
DE112021002519T5 (de) Referenzoberflächenerkennung zur mobilen bemessung
DE102011010315A1 (de) Erkennung von Objekten
WO2024099608A1 (de) Verfahren und system zum steuern einer funktion eines fahrzeugs mittels eines endgeräts eines benutzers
DE102012008986A1 (de) Kamerasystem mit angepasster ROI, Kraftfahrzeug und entsprechendes Verfahren
WO2019072466A1 (de) Verfahren zur darstellung von bildern eines kamerasystems eines fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23757603

Country of ref document: EP

Kind code of ref document: A1