WO2023104367A1 - Verfahren, computerprogramm, vorrichtung und fahrzeug zur verbesserung einer performance eines bilderkennungssystems - Google Patents

Verfahren, computerprogramm, vorrichtung und fahrzeug zur verbesserung einer performance eines bilderkennungssystems Download PDF

Info

Publication number
WO2023104367A1
WO2023104367A1 PCT/EP2022/076906 EP2022076906W WO2023104367A1 WO 2023104367 A1 WO2023104367 A1 WO 2023104367A1 EP 2022076906 W EP2022076906 W EP 2022076906W WO 2023104367 A1 WO2023104367 A1 WO 2023104367A1
Authority
WO
WIPO (PCT)
Prior art keywords
image recognition
recognition system
information
data carrier
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2022/076906
Other languages
English (en)
French (fr)
Inventor
Johannes Feldmaier
Vincent Karas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to US18/712,139 priority Critical patent/US20250022281A1/en
Priority to CN202280074883.3A priority patent/CN118235169A/zh
Publication of WO2023104367A1 publication Critical patent/WO2023104367A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Definitions

  • Embodiments of the present invention relate to a method, a computer program, a device and a vehicle for improving the performance of an image recognition system, in particular but not exclusively to a concept for activating an RGB function of an image recognition system after receiving information about the use of a data carrier by a user.
  • RGB camera systems use either infrared or RGB camera systems to detect people or objects, e.g. B. data carriers, for example in a vehicle.
  • Certain objects or image content can sometimes only be recognized with the infrared camera system or with the RGB camera system.
  • the infrared camera system is used in the vehicle, even in poor lighting, e.g. B. at night to recognize people and objects inside the vehicle.
  • a detection of a screen content, z. B. a smartphone, using the infrared camera system is not possible.
  • the RGB camera system can be used for this.
  • the RGB camera system e.g. an RGB function for determining the screen content
  • the RGB camera system is permanently in operation, e.g. B.
  • Exemplary embodiments are based on the core idea that a performance of an image recognition system can be improved by activating an RGB function of an image recognition system.
  • the activation is dependent on the receipt of information about the use of a data carrier by a user.
  • a user can hold a smartphone in one hand and open an application on the smartphone, e.g. B. an e-mail program, in particular a calendar with appointment data.
  • the smartphone can then Transmit information about a use to the image recognition system, e.g. B. by means of a Bluetooth connection, wireless area network connection connection, etc.
  • the image recognition system can then activate an RGB function, e.g. B. an RGB camera of the image recognition system, and read the information on the display of the smartphone, such as an address from a calendar.
  • a measure can then be taken on the basis of this information, e.g. B.
  • a navigation software can be started, for example by sending a message from the image recognition system to a control unit (ECU) of the vehicle, which then opens a navigation software on a display of the vehicle.
  • Energy consumption and/or required computing power of the image recognition system can be reduced by the targeted activation of the RGB function.
  • Embodiments relate to a method for improving performance of an image recognition system.
  • the method includes receiving information about a use of a data carrier by a user and activating an RGB function of the image recognition system.
  • the method also includes determining information that is presented on the data carrier and evaluating the determined information.
  • the information is determined and/or the information determined is evaluated by means of the activated RGB function of the image recognition system.
  • the method also includes carrying out a measure based on the evaluated information. This allows the RGB function of the image recognition system to be used only when needed, thereby reducing power consumption.
  • obtaining information about a usage may include determining using an infrared camera. In this way, information about the use can be advantageously determined, since an infrared camera can also be used for other functions in a vehicle, e.g. B. to monitor a driver, and can therefore be switched on by default.
  • obtaining information about a usage may include determining a position of the data carrier relative to the image recognition system.
  • determination of use of the data carrier by a user can be improved.
  • the data carrier can be held by the user in a position that is well suited for determining the information on the data carrier (e.g. the user knows this from previous applications), so that based on the position of the data carrier it can be assumed that the user has a Recognition of the information on the data carrier wants.
  • the activation of the RGB function can be improved by determining the position of the data carrier.
  • the image recognition system may include a plurality of RGB cameras.
  • an RGB camera of the image recognition system when activating the RGB function of the image recognition system, can be activated and the method can also include determining an RGB camera of the image recognition system to be activated on the basis of the determined position of the data carrier. As a result, an RGB camera, which improves the determination of the information, can be determined and activated.
  • the data carrier can be an electronic device. Furthermore, obtaining information about usage may include receiving information about a status of the electronic device. As a result, the electronic device can communicate a use directly to the image recognition system, as a result of which a use can be determined particularly advantageously.
  • obtaining information about a usage may include determining an orientation of the data carrier relative to the image recognition system.
  • determining an orientation of the data carrier relative to the image recognition system For example, detection of use by a user with the intention of reading out information from the data carrier by the image recognition system can be improved.
  • the user can show the data carrier to another person in a vehicle, so that an orientation of the data carrier cannot be suitable for reading out the information using the image recognition system.
  • determining the orientation z In such a case, for example, unnecessary activation of the RGB function can be prevented.
  • performing an action may include outputting information about a required position and/or orientation of the data carrier for improved determination of the information of the data carrier.
  • the user can be given feedback about a position of the data carrier, as a result of which he can, for example, hold the data carrier at a position at which the information on the data carrier can be better recorded.
  • deactivating the RGB function of the image recognition system after determining the information represented on the data carrier may also be included. As a result, the energy consumption or the required computing power can be reduced again after the information on the data carrier has been recorded.
  • Embodiments also provide a computer program for performing one of the methods described herein when the computer program runs on a computer, a processor, or a programmable hardware component.
  • a further exemplary embodiment is a device for an image recognition system for improving the performance of the image recognition system.
  • the device comprises one or more interfaces for communication with other communication devices (e.g. the data carrier, an ECU of a vehicle, etc.) and a control module which is designed to carry out at least one of the methods described herein.
  • Embodiments also provide a vehicle with an image recognition system as described herein.
  • FIG. 1 shows a schematic representation of a method for improving the performance of an image recognition system
  • Fig. 2 shows a block diagram of an embodiment of an apparatus for an image recognition system
  • FIG. 3 shows a schematic representation of a vehicle which includes an image recognition system with a device according to FIG. 2 for improving a performance of the image recognition system.
  • the method 100 includes receiving 110 information about the use of a data carrier by a user and activating 120 an RGB function of the image recognition system (based on the information received).
  • the method 100 includes determining 130 information that is presented on the data carrier and evaluating 140 the information determined. The information is determined and/or the information determined is evaluated by means of the activated RGB function of the image recognition system.
  • the method 100 includes carrying out 150 a measure based on the evaluated information.
  • the data carrier can be an analog data carrier, e.g. B. a book, a business card, a concert ticket, etc. or a digital data carrier, in particular a digital data carrier with a display, z. B. a user terminal, a tablet, etc. be. Any object that is suitable for displaying information or contains a display of information, e.g. B. a written/printed sheet of paper, a display device such as a display of a user terminal, etc.
  • the information about the use of the data carrier can include determining the information or receiving the information.
  • the data carrier can be a user terminal, which sends a signal about use to the image recognition system.
  • This signal can be sent, for example, by means of Bluetooth, wireless local area network, Universal Mobile Telecommunications System, 3GPP Long Term Evolution, etc. and received by the image recognition system.
  • the image recognition system can have an interface, for example, which is designed to receive signals from a user terminal. As a result, the image recognition system can advantageously be informed about the use of the data carrier.
  • the image recognition system can also receive signals from another electronic device, e.g. B. an ECU of a vehicle received.
  • the user terminal can send information about usage to the vehicle's ECU and this forwards the information to the image recognition system.
  • the image recognition system can receive information from a charging cradle for a smartphone via the ECU and when the smartphone is removed from the charging cradle this can indicate use and the ECU can send information to the image recognition system about use.
  • the information about a use can be determined, for example, by means of a sensor of the image recognition system, e.g. B. by means of an infrared camera, an RGB camera, a sound converter, etc.
  • the data carrier can cause a noise during use, which is detected by a sound converter of the image recognition system.
  • the disk can be a smartphone, which z. B. can be called / receives a message, and through the call / message a noise, z. B. emits a ringtone, a vibration, etc., which can be detected by the sound transducer of the image recognition system.
  • a use of the data carrier can also be a probable future "active" use by the user, e.g. B. because this accepts a call.
  • the RGB function could already be activated 120 when a noise caused by data carriers is received/determined by the image recognition system (e.g. the sound transducer).
  • a use can also exist if the user den data carrier, e.g. B. an end-user device, wants to use / activated by voice input. This voice input can be captured/processed by the sound transducer of the image recognition system and indicate use of the user terminal.
  • the data carrier can be a piece of paper, e.g. B. a concert ticket, business card, etc., which by the use of a user (z. B. getting it out of a pocket) causes a noise that can be received / determined by the image recognition system (the sound transducer).
  • the image recognition system the sound transducer
  • information about a received signal can also be sent from the ECU of a vehicle to the image recognition system.
  • use of a data carrier can be determined via a correlation with an action by the user.
  • a use can exist in particular if the user holds the data carrier in his hand.
  • the image recognition system can determine that a user has a data carrier, e.g. B. holds a user terminal, a business card, etc. in his hand, for example. This can then represent use of the data carrier since the user is holding it in his hand.
  • Activating 120 an RGB function can e.g. B. activating 120 an RGB camera (specifically an RGB path), a QR code recognition algorithm, a Global Positioning System data recognition algorithm, a text recognition algorithm, etc.
  • RGB functions require RGB images/videos for recognition, which is why they are also referred to as RGB functions.
  • a control device of an RGB camera can be activated, which enables the image recognition system to record an RGB image/video using an RGB camera.
  • a corresponding detection algorithm can also be activated.
  • an RGB camera can be permanently activated and an algorithm can be activated when the data carrier is used by the user. As long as the algorithm is deactivated, energy consumption and/or computing resources of the image recognition system can also advantageously be reduced
  • Determining 130 the information can include, for example, recording RGB images using an RGB camera.
  • a camera's RGB path may have been activated 120 as an RGB function of the image recognition system.
  • RGB images generally mean images that are in the spectral range that is visible to the human eye.
  • sensors for recording RGB images are suitable for a sufficient accuracy of a To ensure that the information on the data carrier is displayed so that it can be evaluated using algorithms known from other systems.
  • the information on the data carrier cannot be sufficiently accurate with an infrared camera.
  • a determination 130 of the information can be improved with an RGB camera, ie in particular by means of sensors which work in the visible range, so that an evaluation 140 of the information is made possible.
  • Evaluation 140 of the specific information can include a recognition/evaluation of a QR code, GPS coordinates, a business card, etc.
  • a corresponding algorithm can have been activated 120 as an RGB function of the image recognition system.
  • Carrying out 150 a measure can include sending information to the data carrier (eg a smartphone), outputting an acoustic signal, sending information to an ECU of a vehicle, etc.
  • a QR code can be read and information stored in the QR code can be sent by the ECU to the data carrier/ECU of a vehicle for display on the data carrier (e.g. a display of a user terminal) or on a display of a vehicle.
  • the measure can in particular improve a user experience when using the data carrier.
  • obtaining 110 the information about a use may include determining using an infrared camera.
  • the infrared camera can be included in the image recognition system.
  • the image recognition system can include two paths, an infrared path and an RGB path.
  • Software in the image recognition system can implement object recognition for the data carrier.
  • the implementation of the object recognition can serve to increase the security of a user. For example, a user can be distracted by the data carrier, which can reduce concentration on other tasks, e.g. B. a user can be distracted from driving a vehicle.
  • Object recognition can take place in particular in the infrared range.
  • the infrared range is suitable for monitoring a user, e.g. B. in the context of driver assistance systems, which is why it can be permanently switched on.
  • energy consumption of an infrared camera can be reduced in comparison to an RGB camera.
  • use of a data carrier can be determined using the infrared camera with less energy consumption.
  • the RGB path of the image recognition system can be activated 120 in order to store information on the Disk to determine 130. Furthermore, an algorithm for evaluating 140 the specific
  • the infrared path can be used to determine 110 the information that a data carrier is in the hands of a user.
  • This information can be interpreted as usage of the data carrier and the RGB path of the image recognition system can be activated 120 .
  • the RGB path of the image recognition system there can then be the possibility of determining 130 the information on the data carrier, e.g. B. an activity of a display of a smartphone. With an active display, further images can now be recorded in the RGB range (or an RGB video can be recorded).
  • the RGB images/RGB video recorded in this way can then be evaluated using an algorithm, for example a QR code algorithm, OCR algorithm, etc.
  • the RGB functions, RGB path and algorithm detection are only activated 120 if there is a possibility that the user would like to scan a code/text, for which use of the data carrier by the user is essential. For example, should the display of a user terminal be inactive, the RGB functions will not be activated and no unnecessary analysis will be attempted.
  • obtaining 110 the information about a use can include determining a position of the data carrier relative to the image recognition system. For example, a user can hold the data carrier in a particularly suitable position for determining 130 information on the data carrier. This position can be known to the user, e.g. B. by previous uses.
  • the position of the data carrier can be determined, for example, using an infrared camera of the image recognition system, using triangulation of radio signals (e.g. based on Bluetooth signals exchanged between image recognition system and user terminal), etc. As a result, a determination 110 of use of the data carrier can be improved.
  • the image recognition system may include a plurality of RGB cameras.
  • an RGB camera of the image recognition system can be activated.
  • the method 100 can include determining an RGB camera of the image recognition system to be activated based on the determined position of the data carrier.
  • a particularly suitable RGB camera can be selected for determining 130 the information on the data carrier.
  • each RGB camera of the plurality of RGB cameras may have a specific coverage area. Accordingly, a specific RGB camera can be activated 120 depending on a position of the data carrier.
  • the data carrier may be an electronic device, and receiving information about a use includes receiving information about a status of the electronic device.
  • the electronic device can be connected to the image recognition system by means of a wireless connection.
  • the image recognition system can have an antenna device.
  • the electronic device can actively inform the image recognition system about a use of the electronic device, for example about the use of an application.
  • obtaining the information about a usage may include determining an orientation of the data carrier relative to the image recognition system.
  • a user can hold a data carrier in one hand in order to show it to another person (e.g. a passenger).
  • the orientation of the data carrier can be used to more precisely determine a use by the user which is intended to result in activation of an RGB function.
  • touching a data medium by the user which does not represent use, for example if the user hands the data medium to another person, shows the data medium to another person, etc.
  • use of the data medium can be determined more precisely by determining an orientation , so that erroneous activations of the RGB function can be reduced.
  • not every interaction of the user with the data carrier can represent use.
  • performing a measure can include outputting information about a required position and/or orientation of the data carrier for improved determination of the information on the data carrier.
  • the data carrier can be a user terminal and can receive information about the position/orientation of the user terminal from the image recognition system.
  • this information can be shown on a display of the user terminal, which makes it easier for a user to position/align the user terminal.
  • this information can also be shown on another display, for example a display of a vehicle.
  • a visualization of the camera field of view in particular with a highlighting of an area in which the data carrier is to be positioned for recognizing the content of the data carrier, can be shown on the display of the vehicle.
  • the vehicle's display can be a head-up display, a dashboard display, etc., for example.
  • acoustic feedback about a position/orientation of the Data carrier done by the image recognition system or the ECU of a vehicle, for example in the form of beeps for an upcoming approach to a required position / orientation of the data carrier. This allows a user to position/align the data carrier without having to look at the data carrier.
  • the method 100 may further include disabling the RGB capability of the image recognition system after determining the information represented on the data carrier.
  • a control unit of an RGB camera, an algorithm for QR code recognition, etc. of the image recognition system can be deactivated. As a result, energy consumption by the image recognition system after the measure for enhancing a user experience has been carried out can be reduced.
  • FIG. 1 may include one or more optional additional features corresponding to one or more aspects mentioned in connection with the proposed concept or one or more embodiments described below (e.g. Figures 2-3). .
  • FIG. 2 shows a block diagram of an embodiment of a device 30 for an image recognition system.
  • the device 30 for improving the performance of an image recognition system comprises one or more interfaces 32 for communication with other components of the image recognition system, e.g. B. an RGB camera.
  • the device 30 also includes a control module 34 which is designed to carry out at least one of the methods described herein, for example the method which is described with reference to FIG. 1 .
  • Further exemplary embodiments are a vehicle with an image recognition system with a device 30.
  • the one or more interfaces 32 may correspond, for example, to one or more inputs and/or one or more outputs for receiving and/or transmitting information, such as in digital bit values, based on code, within a module, between modules, or between modules of different ones entities.
  • the at least one interface 32 can be designed, for example, to communicate with other network components via a (radio) network or a local connection network.
  • control module 34 may correspond to any controller or processor or programmable hardware component.
  • the control module 34 can also be implemented as software for a corresponding hardware component is programmed.
  • the control module 34 can be implemented as programmable hardware with appropriately adapted software.
  • Any processors, such as digital signal processors (DSPs) can be used. Exemplary embodiments are not limited to a specific type of processor. Any processors or also several processors for the implementation of the control module 34 are conceivable.
  • the vehicle may correspond, for example, to a land vehicle, a watercraft, an aircraft, a rail vehicle, a road vehicle, a car, a bus, a motorcycle, an all-terrain vehicle, an automobile, or a truck.
  • FIG. 2 may include one or more optional additional features corresponding to one or more aspects discussed in connection with the proposed concept or one or more embodiments described above (e.g. FIG. 1 ) and/or below (e.g. Fig. 3) have been mentioned.
  • FIG. 3 shows a schematic representation of a vehicle 300 which includes a device 30 (eg the device 30 described with reference to FIG. 2 ) of an image recognition system for improving a performance of the image recognition system.
  • the image recognition system can in particular include an interior camera system (ICS) with an infrared camera, an IR LED and an RGB camera. All of these components can be configured to monitor an interior of vehicle 300 .
  • ICS interior camera system
  • one IR path of the IR camera can be active.
  • the IR camera and the RGB camera can detect the driver, front passenger, passengers in the rear row of seats and objects in the vehicle from their position.
  • a plurality of IR cameras and/or RGB cameras can be used.
  • a first RGB camera 328 of the image recognition system can capture the front area of the driver and front passenger and a second RGB camera 330 of the image recognition system can capture a rear area of the vehicle for other passengers.
  • the IR camera's IR path can be active as it can be used for general driver monitoring. This is particularly robust with respect to exposure changes, so that a data carrier can be reliably identified or used.
  • a control device e.g. B. the control module of the device 30, processes the data stream of the IR camera to frames and can these different provide functions. These include safety-relevant functions as well as convenience functions.
  • a mobile phone identification can be used.
  • Cell phone detection retrieves frames from the IR camera and examines them to determine whether a smartphone 310 is indoors or a user is holding the smartphone 310. If the mobile phone detection detects that a smartphone 310 is being used, this information can be used to activate an RGB function.
  • cell phone recognition can also determine a position and/or an orientation of smartphone 310 in the interior of vehicle 30, as a result of which determination of use of smartphone 310 can be improved.
  • the cell phone detector could determine (e.g., based on information from the IR camera) that the smartphone 310 is being held toward the first RGB camera 328 of the vision system.
  • the RGB camera of the image recognition system can then be activated so that information presented on a display of the smartphone 310 can be captured.
  • a QR code/text recognition algorithm can be started.
  • the algorithm can request RGB images, which first activates an RGB path of the IKS. After that, RGB frames can be created and forwarded to QR/text recognition, which analyzes the images for the presence of QR codes/texts/addresses on the smartphone display.
  • the data is decrypted and processed using a standard algorithm known from other systems.
  • the information obtained can then be analyzed and used by the device 30, e.g. B. as an access code to provide information for the smartphone 310 to transfer information to a display 320 of the vehicle 300, etc.
  • the device 30 can recognize a user's intention to move the smartphone 310 to an area optimally recognized by the first RGB camera 328 .
  • information about an RGB recording by the first RGB camera 328 could be sent to the smartphone 310 when the RGB path is activated. This information can then be shown on the display of the smartphone 310 and the user can visualize an area in which the smartphone 310 can be used to determine the information, e.g. B. to be moved to QR scanning / text recognition.
  • the detection can also be used to detect another modality e.g. B. to activate an audio detection to detect audio signals of the To receive smartphones 310 (or also radio signals, for example Bluetooth).
  • another modality e.g. B.
  • an audio detection to detect audio signals of the To receive smartphones 310 (or also radio signals, for example Bluetooth).
  • Use of the smartphone 310 could be received by the device, e.g. For example, an application for playing music could be opened on the smartphone 310 , about which the smartphone can send information to the device 30 .
  • the RGB path of the first camera 328 can then be activated in order to read out information on the smartphone 310 display.
  • the detection can be used to determine information about a user's destination.
  • the user can hold a business card with an address or a concert ticket in front of the camera.
  • the information can then be determined by device 30 .
  • the measure based on the evaluated information can consist in the device sending information about a specific destination of the user to an ECU of vehicle 300 .
  • the vehicle 300 can then start a navigation program, for example, and provide route information for the user on a display 320 . This enables the user to plan a route in a particularly simple manner.
  • the detection can be used to warn the user.
  • the device can determine that a user is using a smartphone 310, e.g. B. for streaming. The device could then issue an audible warning or send information to the vehicle's 300 ECU, causing the vehicle 300, e.g. B. a driver assistance system can issue a warning or the driver assistance systems can be adjusted.
  • FIG. 3 may include one or more optional additional features corresponding to one or more aspects mentioned in connection with the proposed concept or one or more embodiments described above (e.g. Figures 1-2). .
  • FIG. 1 For exemplary embodiments, are computer programs for carrying out one of the methods described herein when the computer program runs on a computer, a processor or a programmable hardware component.
  • embodiments of the invention may be implemented in hardware or in software. Implementation may be performed using a digital storage medium such as a floppy disk, DVD, Blu-ray Disc, CD, ROM, PROM, EPROM, EEPROM or FLASH memory, hard disk or other magnetic or optical memory are performed on the electronically readable control signals are stored with a programmable Hardware components can interact in such a way or interact that the respective method is carried out.
  • CPU central processing unit
  • GPU graphics processing unit
  • ASIC application-specific integrated circuit
  • IC integrated Circuit
  • SOC System on Chip
  • FPGA Field Programmable Gate Array
  • the digital storage medium can therefore be machine or computer readable.
  • Some embodiments thus include a data carrier that has electronically readable control signals that are able to interact with a programmable computer system or a programmable hardware component in such a way that one of the methods described herein is carried out.
  • An embodiment is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the program for performing one of the methods described herein is recorded.
  • embodiments of the present invention can be implemented as a program, firmware, computer program or computer program product with a program code or as data, the program code or the data being effective to carry out one of the methods when the program runs on a processor or a programmable hardware component expires.
  • the program code or the data can also be stored, for example, on a machine-readable carrier or data carrier.
  • the program code or data may be in the form of source code, machine code or byte code, as well as other intermediate code, among others.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ausführungsbeispiele der vorliegenden Erfindung schaffen ein Verfahren (100) zur Verbesserung einer Performance eines Bilderkennungssystems. Das Verfahren (100) umfasst Erhalten (110) einer Information über eine Verwendung eines Datenträgers durch einen Nutzer und Aktivieren (120) einer RGB-Funktion des Bilderkennungssystems. Darüber hinaus umfasst das Verfahren (100) Bestimmen (130) einer Information, welche auf dem Datenträger dargestellt ist und Auswerten (140) der bestimmten Information. Das Bestimmen der Information und/oder das Auswerten der bestimmten Information wird mittels der aktivierten RGB-Funktion des Bilderkennungssystems durchgeführt. Ferner umfasst das Verfahren (100) Durchführen (150) einer Maßnahme auf Basis der ausgewerteten Information.

Description

Verfahren, Computerprogramm, Vorrichtung und Fahrzeug zur Verbesserung einer Performance eines Bilderkennungssystems
Beschreibung
Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein Verfahren, ein Computerprogramm, eine Vorrichtung und ein Fahrzeug zur Verbesserung einer Performance eines Bilderkennungssystems, insbesondere aber nicht ausschließlich auf ein Konzept zur Aktivierung einer RGB-Funktion eines Bilderkennungssystems nach Erhalt einer Information einer Verwendung eines Datenträgers durch einen Nutzer.
Bestehende Kamerasysteme nutzen entweder Infrarot- oder RGB -Kamerasysteme zur Erkennung von Personen oder Objekten, z. B. Datenträgern, beispielsweise in einem Fahrzeug. Bestimmte Objekte oder Bildinhalte können hierbei teilweise nur mit dem Infrarot-Kamerasystem oder mit dem RGB -Kamerasystem erkannt werden. Beispielsweise wird das Infrarot-Kamerasystem im Fahrzeug eingesetzt, um auch bei schlechter Beleuchtung, z. B. in der Nacht, Personen und Objekte im Fahrzeuginneren zu erkennen. Eine Erkennung eines Bildschirm-Inhalts, z. B. eines Smartphones, mittel des Infrarot-Kamerasystems ist hingegen nicht möglich. Hierzu kann beispielsweise das RGB- Kamerasystem verwendet werden. Nachteilig daran ist, dass das RGB-Kamerasystem (bspw. eine RGB-Funktion zur Bestimmung des Bildschirm-Inhalts) permanent in Betrieb ist, z. B. ein Algorithmus laufen muss, der nach QR-Codes oder Text-Elementen im Bild sucht und diese bei Detektion analysiert, wofür RGB-Bilder Voraussetzung sein können. Dadurch entsteht ein erhöhter Energiebedarf und/oder eine erhöhte Rechenleistung, wodurch eine Performance eines Bilderkennungssystems negativ beeinflusst werden kann.
Es besteht daher ein Bedarf daran, ein Konzept zur Verbesserung einer Performance eines Bilderkennungssystems, bereitzustellen. Diesem Bedarf tragen das Verfahren, das Computerprogramm, die Vorrichtung sowie das Fahrzeug nach den unabhängigen Ansprüchen Rechnung.
Ausführungsbeispiele basieren auf dem Kemgedanken, dass eine Performance eines Bilderkennungssystems verbessert werden kann, indem eine RGB-Funktion eines Bilderkennungssystems aktiviert wird. Die Aktivierung ist hierbei vom Erhalt einer Information über eine Verwendung eines Datenträgers durch einen Nutzer abhängig. Beispielsweise kann ein Nutzer ein Smartphone in einer Hand halten und eine Applikation auf dem Smartphone öffnen, z. B. ein E- Mail-Programm, insbesondere einen Kalender mit Termindaten. Das Smartphone kann dann eine Information über eine Verwendung an das Bilderkennungssystem übertragen, z. B. mittels einer Bluetooth-Verbindung, wireless area network connection Verbindung, etc. Das Bilderkennungssystem kann daraufhin eine RGB-Funktion aktivieren, z. B. eine RGB-Kamera des Bilderkennungssystems, und die Information auf dem Display des Smartphones auslesen, beispielsweise eine Adresse aus einem Kalender. Auf Grundlage dieser Information kann dann eine Maßnahme durchgeführt werden, z. B. kann eine Navigationssoftware gestartet werden, beispielsweise durch Senden einer Nachricht vom Bilderkennungssystem zu einem Steuergerät (ECU) des Fahrzeugs, welches daraufhin eine Navigationssoftware auf einem Display des Fahrzeugs öffnet. Durch die gezielte Aktivierung der RGB-Funktion kann ein Energieverbrauch und/oder eine benötigte Rechenleistung des Bilderkennungssystems reduziert werden.
Ausführungsbeispiele betreffen ein Verfahren zur Verbesserung einer Performance eines Bilderkennungssystems. Das Verfahren umfasst Erhalten einer Information über eine Verwendung eines Datenträgers durch einen Nutzer und Aktivieren einer RGB-Funktion des Bilderkennungssystems. Ferner umfasst das Verfahren Bestimmen einer Information, welche auf dem Datenträger dargestellt ist und Auswerten der bestimmten Information. Das Bestimmen der Information und/oder das Auswerten der bestimmten Information wird mittels der aktivierten RGB- Funktion des Bilderkennungssystems durchgeführt. Ferner umfasst das Verfahren Durchführen einer Maßnahme auf Basis der ausgewerteten Information. Dadurch wird ermöglicht, dass die RGB- Funktion des Bilderkennungssystems nur dann verwendet wird, wenn diese benötigt wird, wodurch ein Energieverbrauch verringert wird.
In einigen Ausführungsbeispielen kann das Erhalten der Information über eine Verwendung ein Bestimmen mittels einer Infrarot-Kamera umfassen. Dadurch kann eine Information über die Verwendung vorteilhaft bestimmt werden, da eine Infrarotkamera auch für andere Funktionen in einem Fahrzeug verwendet werden kann, z. B. zur Überwachung eines Fahrers, und deshalb standardmäßig eingeschaltet sein kann.
In einigen Ausführungsbeispielen kann das Erhalten der Information über eine Verwendung ein Bestimmen einer Position des Datenträgers relativ zu dem Bilderkennungssystem umfassen. Dadurch kann eine Bestimmung einer Verwendung des Datenträgers durch einen Nutzer verbessert werden. Beispielsweise kann der Datenträger durch den Nutzer an eine Position gehalten werden, welche gut geeignet ist zum Bestimmen der Information des Datenträgers (bspw. weiß der Nutzer dies aus vorherigen Anwendungen), sodass anhand der Position des Datenträgers davon auszugehen sein kann, dass der Nutzer eine Erkennung der Information des Datenträgers wünscht. Dementsprechend kann durch die Positionsbestimmung des Datenträgers die Aktivierung der RGB- Funktion verbessert werden. In einigen Ausführungsbeispielen kann das Bilderkennungssystem eine Mehrzahl von RGB- Kameras umfassen. Ferner kann beim Aktivieren der RGB-Funktion des Bilderkennungssystems eine RGB-Kamera des Bilderkennungssystems aktiviert werden und das Verfahren kann ferner umfassen Bestimmen einer zu aktivierenden RGB-Kamera des Bilderkennungssystems auf Grundlage der bestimmten Position des Datenträgers. Dadurch kann eine RGB-Kamera, welche eine verbesserte Ermittlung der Information bestimmt und aktiviert werden.
In einigen Ausfuhrungsbeispielen kann der Datenträger eine elektronische Vorrichtung sein. Ferner kann das Erhalten der Information über eine Verwendung ein Empfangen einer Information über einen Status der elektronischen Vorrichtung umfassen. Dadurch kann die elektronische Vorrichtung dem Bilderkennungssystem eine Verwendung direkt mitteilen, wodurch eine Bestimmung einer Verwendung besonders vorteilhaft erfolgen kann.
In einigen Ausführungsbeispielen kann das Erhalten der Information über eine Verwendung ein Bestimmen einer Ausrichtung des Datenträgers relativ zum Bilderkennungssystem umfassen. Dadurch kann bspw. eine Erkennung einer Verwendung durch einen Nutzer mit der Intention des Auslesens einer Information des Datenträgers durch das Bilderkennungssystem verbessert werden. Beispielsweise kann der Nutzer den Datenträger zu einer weiteren Person in einem Fahrzeug zeigen, sodass eine Ausrichtung des Datenträgers nicht geeignet sein kann zum Auslesen der Information mittels des Bilderkennungssystem. Durch das Bestimmen der Ausrichtung kann z. B. in solch einem Fall eine unnötige Aktivierung der RGB-Funktion verhindert werden.
In einigen Ausführungsbeispielen kann das Durchführen einer Maßnahme ein Ausgeben einer Information über eine benötigte Position und/oder Ausrichtung des Datenträgers für eine verbesserte Bestimmung der Information des Datenträgers umfassen. Dadurch kann dem Nutzer ein Feedback über eine Position des Datenträgers gegeben werden, wodurch dieser beispielsweise den Datenträger an eine Position halten kann, an der die Information des Datenträgers besser erfasst werden kann.
In einigen Ausführungsbeispielen kann ferner Deaktivieren der RGB-Funktion des Bilderkennungssystems nach dem Bestimmen der Information, welche auf dem Datenträger dargestellt ist, umfasst sein. Dadurch kann der Energieverbrauch bzw. die benötigte Rechenleistung nach dem Erfassen der Information des Datenträgers wieder verringert werden.
Ausführungsbeispiele schaffen auch ein Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft. Ein weiteres Ausführungsbeispiel ist eine Vorrichtung für ein Bilderkennungssystem zur Verbesserung einer Performance des Bilderkennungssystem. Die Vorrichtung umfasst ein oder mehreren Schnittstellen zur Kommunikation mit anderen Kommunikationseinrichtungen (z. B. dem Datenträger, einer ECU eines Fahrzeugs, etc.) und ein Kontrollmodul, das zur Durchführung zumindest eines der hierin beschriebenen Verfahren ausgebildet ist. Ausführungsbeispiele schaffen darüber hinaus ein Fahrzeug mit einem Bilderkennungssystem wie hierin beschrieben.
Ausführungsbeispiele werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung eines Verfahrens zur Verbesserung einer Performance eines Bilderkennungssystems;
Fig. 2 zeigt ein Blockdiagram eines Ausführungsbeispiels einer Vorrichtung für ein Bilderkennungssystem; und
Fig. 3 zeigt eine schematische Darstellung eines Fahrzeugs, welches ein Bilderkennungssystem mit einer Vorrichtung nach Fig. 2 zur Verbesserung einer Performance des Bilderkennungssystem umfasst.
Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein.
Fig. 1 zeigt eine schematische Darstellung eines Verfahrens 100 zur Verbesserung einer Performance eines Bilderkennungssystems. Das Verfahren 100 umfasst Erhalten 110 einer Information über eine Verwendung eines Datenträgers durch einen Nutzer und Aktivieren 120 einer RGB-Funktion des Bilderkennungssystems (auf Basis der erhaltenen Information). Darüber hinaus umfasst das Verfahren 100 Bestimmen 130 einer Information, welche auf dem Datenträger dargestellt ist, und Auswerten 140 der bestimmten Information. Das Bestimmen der Information und/oder das Auswerten der bestimmten Information wird mittels der aktivierten RGB-Funktion des Bilderkennungssystems durchgeführt. Ferner umfasst das Verfahren 100 Durchführen 150 einer Maßnahme auf Basis der ausgewerteten Information. Der Datenträger kann ein analoger Datenträger, z. B. ein Buch, eine Visitenkarte, eine Konzertkarte, etc. oder ein digitaler Datenträger, insbesondere ein digitaler Datenträger mit einem Display, z. B. ein Nutzerendgerät, ein Tablet, etc. sein. Als Datenträger kann insbesondere jedes Objekt verstanden werden, welches zur Darstellung von Information geeignet ist, bzw. eine Darstellung von Information enthält, z. B. ein beschriebenes/bedrucktes Blatt Papier, eine Anzeigeeinrichtung wie ein Display eines Nutzerendgeräts, etc.
Erhalten 110 der Information über die Verwendung des Datenträgers kann ein Bestimmen der Information oder ein Empfangen der Information umfassen. Beispielsweise kann der Datenträger ein Nutzerendgerät sein, welches ein Signal über eine Verwendung an das Bilderkennungssystem sendet. Dieses Signal kann beispielsweise mittels Bluetooth, wirless local area network, Universal Mobile Telecommunications System, 3GPP Long Term Evolution, etc. gesendet werden und durch das Bilderkennungssystem Empfangen werden. Das Bilderkennungssystem kann beispielsweise über ein Interface verfügen, welches dazu ausgebildet ist Signale von einem Nutzerendgerät zu empfangen. Dadurch kann das Bilderkennungssystem vorteilhaft über eine Verwendung des Datenträgers informiert werden.
Optional oder alternativ kann das Bilderkennungssystem auch Signale von einer anderen elektronischen Vorrichtung, z. B. einem ECU eines Fahrzeugs, empfangen. Beispielsweise kann das Nutzerendgerät Informationen über eine Verwendung an das ECU des Fahrzeugs senden und dieses leitet die Information an das Bilderkennungssystem weiter. Beispielsweise kann das Bilderkennungssystem über das ECU Information von einer Ladeschale für ein Smartphone erhalten und wenn das Smartphone aus der Ladeschale entfernt kann dies eine Verwendung indizieren und das ECU kann eine Information an das Bilderkennungssystem über eine Verwendung senden.
Bestimmen der Information über eine Verwendung kann beispielsweise mittels eines Sensors des Bilderkennungssystem erfolgen, z. B. mittels einer Infrarot-Kamera, einer RGB-Kamera, einem Schallwandler, etc. Beispielsweise kann der Datenträger während der Verwendung ein Geräusch verursachen, welches durch einen Schallwandler des Bilderkennungssystem erfasst wird. Der Datenträger kann ein Smartphone sein, welches z. B. angerufen werden kann/eine Nachricht empfängt, und durch den Anruf/Nachricht ein Geräusch, z. B. ein Klingelton, eine Vibration, etc. aussendet, welches durch den Schallwandler des Bilderkennungssystem erfasst werden kann. Eine Verwendung des Datenträgers kann also insbesondere auch eine wahrscheinliche zukünftige „aktive“ Verwendung durch den Nutzer sein, z. B. weil dieser einen Anruf annimmt. Dementsprechend könnte die RGB-Funktion bereits aktiviert 120 werden, wenn ein Geräusch verursacht durch Datenträger durch das Bilderkennungssystems (z. B. den Schallwandler) empfangen/bestimmt wird. Eine Verwendung kann auch vorliegen, wenn der Nutzer den Datenträger, z. B. ein Endnutzergerät, durch eine Spracheingabe verwenden möchte/akti viert. Diese Spracheingabe kann durch den Schallwandler des Bilderkennungssystems erfasst/verarbeitet werden und eine Verwendung des Nutzerendgeräts indizieren.
Beispielsweise kann der Datenträger ein Stück Papier, z. B. ein Konzertkarte, Visitenkarte, etc. sein, welches durch die Verwendung eines Nutzers (z. B. ein Herausholen aus einer Tasche) ein Geräusch verursacht, welches durch das Bilderkennungssystems (den Schallwandler) empfangen/be stimmt werden kann. Alternativ kann eine Information über ein empfangenes Signal auch von dem ECU eines Fahrzeugs an des Bilderkennungssystem gesendet werden.
Beispielsweise kann eine Verwendung eines Datenträgers über eine Korrelation mit einer Handlung des Nutzers ermittelt werden. Eine Verwendung kann insbesondere dann Vorliegen, wenn der Nutzer den Datenträger in der Hand hält. Mittels einer Infrarot-Kamera kann das Bilderkennungssystem bestimmen das ein Nutzer einen Datenträger, z. B. ein Nutzerendgerät, eine Visitenkarte, etc. in der Hand hält, beispielsweise. Dies kann dann eine Verwendung des Datenträgers darstellen, da der Nutzer diesen in der Hand hält.
Aktivieren 120 einer RGB-Funktion kann z. B. das Aktivieren 120 einer RGB-Kamera (im Speziellen eines RGB-Pfads), eines Algorithmus zur QR-Code-Erkennung, einen Algorithmus zur Global Positioning System-Daten-Erkennung, einen Algorithmus zur Text-Erkennung etc. umfassen. Insbesondere benötigen entsprechende Algorithmen RGB-Bilder/Videos zur Erkennung, weshalb diese auch als RGB-Funktion bezeichnet werden. Beispielsweise kann eine Steuervorrichtung einer RGB-Kamera aktiviert werden, wodurch eine Aufnahme eines RGB-Bilds/Videos mittels einer RGB-Kamera durch das Bilderkennungssystem ermöglicht wird. Solange das Steuergerät oder Algorithmen zur Auswertung von RGB-Bildem/Videos deaktiviert sind, kann ein Energieverbrauch des Bilderkennungssystems vorteilhaft reduziert werden. Optional kann dann mit dem Aktivieren der RGB-Kamera auch ein entsprechender Algorithmus zur Erkennung aktiviert werden. Alternativ kann eine RGB-Kamera permanent aktiviert und ein Algorithmus bei Verwendung des Datenträgers durch den Nutzer aktiviert werden. Solange der Algorithmus deaktiviert ist, kann ebenfalls ein Energieverbrauch und/oder Rechenressourcen des Bilderkennungssystems vorteilhaft reduziert werden
Bestimmen 130 der Information kann beispielsweise ein Aufhehmen von RGB-Bildem mittels einer RGB-Kamera umfassen. Beispielsweise kann ein RGB-Pfad einer Kamera als RGB-Funktion des Bilderkennungssystems aktiviert 120 worden sein. Mit RGB-Bildem sind im allgemeinen Bilder gemeint, welche im für das menschliche Auge sichtbaren spektral Bereich liegen. Insbesondere sind Sensoren zur Aufnahmen von RGB-Bildem dazu geeignet, eine hinreichende Genauigkeit einer Darstellung der Information des Datenträger zu gewährleisten, damit diese mit Algorithmen, welche von anderen Systemen bekannt sind, ausgewertet werden können. Beispielsweise kann mit einer Infrarot-Kamera keine hinreichende Genauigkeit der Information des Datenträgers ermöglicht werden. Mit einer RGB-Kamera, also insbesondere mittels Sensoren, welche im sichtbaren Bereich arbeiten, kann eine Bestimmung 130 der Information verbessert werden, sodass eine Auswertung 140 der Information ermöglicht wird.
Auswerten 140 der bestimmten Information kann eine Erkennung/Auswertung eines QR-Codes, von GPS -Koordinaten, einer Visitenkarte, etc. umfassen. Beispielweise kann ein entsprechender Algorithmus als RGB-Funktion des Bilderkennungssystems aktiviert 120 worden sein.
Durchfuhren 150 einer Maßnahme kann ein Senden einer Information an den Datenträger (z. B. ein Smartphone), ein Ausgeben eines akustischen Signals, ein Senden einer Information an eine ECU eines Fahrzeugs, etc. umfassen. Beispielsweise kann ein QR-Code ausgelesen werden und eine dem QR-Code hinterlegte Information an den Datenträger/ECU eines Fahrzeugs zur Darstellung auf dem Datenträger (z. B. einem Display eines Nutzerendgeräts) oder auf einem Display eines Fahrzeugs durch die ECU gesendet werden. Durch die Maßnahme kann insbesondere eine Nutzererfahrung bei der Verwendung des Datenträgers verbessert werden.
In einem Ausführungsbeispiel kann das Erhalten 110 der Information über eine Verwendung ein Bestimmen mittels einer Infrarot-Kamera umfassen. Die Infrarot-Kamera kann von dem Bilderkennungssystem umfasst sein. Beispielsweise kann das Bilderkennungssystem zwei Pfade umfassen, einen Infrarot-Pfad und einen RGB-Pfad. Eine Software des Bilderkennungssystems kann eine Objekterkennung für den Datenträger implementieren. Die Implementierung der Objekterkennung kann zur Erhöhung einer Sicherheit eines Nutzer dienen. Beispielsweise kann ein Nutzer durch den Datenträger abgelenkt werden, wodurch eine Konzentration auf andere Aufgaben verringert werden kann, z. B. kann eine Nutzer vom Lenken eines Fahrzeugs abgelenkt werden.
Die Objekterkennung kann insbesondere im Infrarot-Bereich erfolgen. Der Infrarot-Bereich ist geeignet, um einen Nutzer zu überwachen, z. B. im Rahmen von Fahrerassistenzsystemen, weshalb dieser permanent eingeschaltet sein kann. Ferner kann ein Energieverbrauch einer Infrarot -Kamera im Vergleich zu einer RGB-Kamera reduziert werden. Dadurch kann eine Verwendung eines Datenträgers mittels des Infrarot-Kamera mit geringerem Energieverbrauch bestimmt werden.
Sofern mittels des Infrarot-Pfads eine Verwendung eines Datenträgers bestimmt wurde, kann der RGB-Pfad des Bilderkennungssystems aktiviert 120 werden, um eine Information auf dem Datenträger zu Bestimmen 130. Ferner kann ein Algorithmus zum Auswerten 140 der bestimmten
Information aktiviert 120 werden.
Beispielsweise kann mittels des Infrarot-Pfads die Information bestimmt 110 werden, dass sich ein Datenträger in der Hand eines Nutzer befindet. Diese Information kann als Verwendung des Datenträgers interpretiert werden , und der RGB-Pfad des Bilderkennungssystems kann aktiviert 120 werden. Im RGB-Pfad des Bilderkennungssystem kann dann die Möglichkeit der Bestimmung 130 der Information des Datenträgers bestehen, z. B. eine Aktivität eines Displays eines Smartphones. Bei einem aktivem Display können nun weitere Bilder im RGB Bereich aufgezeichnet werden (bzw. ein RGB-Video aufgezeichnet werden). Die so aufgezeichneten RGB -Bilder/RGB -Video können/kann dann mittels eines Algorithmus, beispielsweise eines QR-Code-Algorithmus, OCR- Algorithmus, etc. ausgewertet werden.
Dementsprechend werden die RGB-Funktionen, RGB-Pfad und Algorithmus-Erkennung, nur dann aktiviert 120, wenn eine Möglichkeit besteht, dass der Nutzer einen Code/Text scannen möchte, wozu eine Verwendung des Datenträgers durch den Nutzer wesentlich. Sollte beispielsweise das Display eines Nutzerendgeräts inaktiv sein, werden die RGB-Funktionen nicht aktiviert und es wird keine unnötige Analyse versucht.
In einem Ausfiihrungsbeispiel kann das Erhalten 110 der Information über eine Verwendung ein Bestimmen einer Position des Datenträgers relativ zu dem Bilderkennungssystem umfassen. Beispielsweise kann ein Nutzer den Datenträger an eine besonders geeignete Position zur Bestimmung 130 einer Information des Datenträger halten. Diese Position kann dem Nutzer bekannt sein, z. B. durch vorherige Benutzungen. Die Position des Datenträgers kann beispielsweise mittels einer Infrarot-Kamera des Bilderkennungssystems, mittels Triangulation von Funksignalen (z. B. auf Basis von ausgetauschten Bluetooth-Signalen zwischen Bilderkennungssystems und Nutzerendgerät), etc. bestimmt werden. Dadurch kann eine Bestimmung 110 einer Verwendung des Datenträgers verbessert werden.
In einem Ausführungsbeispiels kann das Bilderkennungssystem eine Mehrzahl von RGB-Kameras umfassen. Beim Aktivieren 120 der RGB-Funktion des Bilderkennungssystems kann eine RGB- Kamera des Bilderkennungssystems aktiviert werden. Ferner kann das Verfahren 100 Bestimmen einer zu aktivierenden RGB-Kamera des Bilderkennungssystems auf Grundlage der bestimmten Position des Datenträgers umfassen. Dadurch kann eine besonders geeignete RGB-Kamera zur Bestimmung 130 der Information des Datenträgers ausgewählt werden. Beispielsweise kann jede RGB-Kamera der Mehrzahl von RGB-Kameras einen bestimmten Abdeckungsbereich aufweisen. Dementsprechend kann eine bestimmte RGB-Kamera abhängig von einer Position des Datenträgers aktiviert 120 werden.
In einem Ausführungsbeispiel kann der Datenträger eine elektronische Vorrichtung sein und wobei das Erhalten der Information über eine Verwendung ein Empfangen einer Information über einen Status der elektronischen Vorrichtung umfasst. Insbesondere kann die elektronische Vorrichtung mittels einer drahtlosen Verbindung mit dem Bilderkennungssystem verbunden sein. Hierzu kann das Bilderkennungssystem über einen Antennenvorrichtung verfügen. Dadurch kann die elektronische Vorrichtung das Bilderkennungssystem aktiv über eine Verwendung der elektronischen Vorrichtung informieren, beispielsweise über die Verwendung einer Applikation.
In einem Ausführungsbeispiel kann das Erhalten der Information über eine Verwendung ein Bestimmen einer Ausrichtung des Datenträgers relativ zum Bilderkennungssystem umfassen. Beispielsweise kann ein Nutzer einen Datenträger in einer Hand halten um ihn einer anderen Person (z. B. einen Beifahrer) zu zeigen. Dementsprechend kann anhand der Ausrichtung des Datenträgers eine Verwendung des Nutzer, welche ein Aktivieren einer RGB-Funktion zur Folge haben soll, genauer bestimmt werden. Insbesondere kann eine Berührung eines Datenträgers durch den Nutzer, welche keine Verwendung darstellen, beispielsweise sofern der Nutzer den Datenträger zu einer anderen Person übergibt, einer anderen Person den Datenträger zeigt, etc. Dementsprechend kann durch die Bestimmung einer Ausrichtung eine Verwendung des Datenträgers genauer bestimmt werden, sodass fehlerhafte Aktivierungen der RGB-Funktion reduziert werden können. Insbesondere kann also nicht jede Interaktion des Nutzer mit dem Datenträger (abhängig von der Ausrichtung des Datenträgers) eine Verwendung darstellen.
In einem Ausführungsbeispiel kann das Durchführen einer Maßnahme ein Ausgeben einer Information über eine benötigte Position und/oder Ausrichtung des Datenträgers für eine verbesserte Bestimmung der Information des Datenträgers umfassen. Beispielsweise kann der Datenträger ein Nutzerendgerät sein und eine Information zur Position/Ausrichtung des Nutzerendgeräts von dem Bilderkennungssystem erhalten. Beispielsweise kann diese Information auf einem Display des Nutzerendgeräts dargestellt werden, wodurch einem Nutzer eine Positionierung/Ausrichtung des Nutzerendgeräts erleichtert werden kann. Optional oder alternativ kann diese Information auch auf einem anderen Display, zum Beispiel einem Display eines Fahrzeugs dargestellt werden. Beispielsweise kann eine Visualisierung des Kamerasichtfelds, insbesondere mit einer Hervorhebung eines Bereiches, in welchem der Datenträger zur Erkennung des Inhalts des Datenträgers positioniert werden soll, auf dem Display des Fahrzeugs dargestellt werden. Das Display des Fahrzeugs kann beispielsweise ein Head-up-Display, ein Dashboard-Display, etc. sein. Beispielsweise kann auch eine akustische Rückkopplung über eine Position/Ausrichtung des Datenträgers durch das Bilderkennungssystem oder das ECU eines Fahrzeugs erfolgen, beispielsweise in Form von Piep-Tönen für eine erfolgende Annäherung an eine benötigte Position/Ausrichtung des Datenträgers. Dadurch kann ein Nutzer den Datenträger Positionieren/Ausrichten, ohne auf den Datenträger blicken zu müssen.
In einem Ausführungsbeispiel kann das Verfahren 100 ferner Deaktivieren der RGB-Funktion des Bilderkennungssystems nach dem Bestimmen der Information, welche auf dem Datenträger dargestellt ist, umfassen. Beispielsweise kann ein Steuergerät einer RGB-Kamera, ein Algorithmus zur QR-Code-Erkennung, etc. des Bilderkennungssystems deaktiviert werden. Dadurch kann ein Energieverbrauch des Bilderkennungssystems nach Durchführen der Maßnahme zur Erhöhung einer Nutzererfahrung verringert werden.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den unten beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 1 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren unten beschriebenen Ausführungsbeispielen (z. B. Fig. 2 - 3) erwähnt wurden.
Fig. 2 zeigt ein Blockdiagram eines Ausführungsbeispiels einer Vorrichtung 30 für ein Bilderkennungssystem. Die Vorrichtung 30 zur Verbesserung einer Performance eines Bilderkennungssystem umfasst ein oder mehreren Schnittstellen 32 zur Kommunikation mit anderen Komponenten des Bilderkennungssystems, z. B. einer RGB-Kamera. Die Vorrichtung 30 umfasst ferner ein Kontrollmodul 34, das zur Durchführung zumindest eines der hierin beschriebenen Verfahren ausgebildet ist, beispielsweise das Verfahren, welches mit Bezug zu Fig. 1 beschreiben ist. Weitere Ausführungsbeispiele sind ein Fahrzeug mit einem Bilderkennungssystem mit einer Vorrichtung 30.
Die ein oder mehreren Schnittstellen 32 können beispielsweise einem oder mehreren Eingängen und/oder einem oder mehreren Ausgängen zum Empfangen und/oder Übertragen von Informationen entsprechen, etwa in digitalen Bitwerten, basierend auf einem Code, innerhalb eines Moduls, zwischen Modulen, oder zwischen Modulen verschiedener Entitäten. Die zumindest eine Schnittstelle 32 kann beispielsweise ausgebildet sein, um über ein (Funk)-Netzwerk oder ein lokales Verbindungsnetzwerk mit anderen Netzwerkkomponenten zu kommunizieren.
In Ausführungsbeispielen kann das Kontrollmodul 34 einem beliebigen Controller oder Prozessor oder einer programmierbaren Hardwarekomponente entsprechen. Beispielsweise kann das Kontrollmodul 34 auch als Software realisiert sein, die für eine entsprechende Hardwarekomponente programmiert ist. Insofern kann das Kontrollmodul 34 als programmierbare Hardware mit entsprechend angepasster Software implementiert sein. Dabei können beliebige Prozessoren, wie Digitale Signalprozessoren (DSPs) zum Einsatz kommen. Ausführungsbeispiele sind dabei nicht auf einen bestimmten Typ von Prozessor eingeschränkt. Es sind beliebige Prozessoren oder auch mehrere Prozessoren zur Implementierung des Kontrollmoduls 34 denkbar.
In zumindest manchen Ausführungsbeispielen kann das Fahrzeug beispielsweise einem Landfahrzeug, einem Wasserfahrzeug, einem Luftfahrzeug, einem Schienenfahrzeug, einem Straßenfahrzeug, einem Auto, einem Bus, einem Motorrad, einem Geländefahrzeug, einem Kraftfahrzeug, oder einem Lastkraftfahrzeug entsprechen.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den unten und/oder oben beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 2 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren oben (z. B. Fig. 1) und/oder unten beschriebenen Ausführungsbeispielen (z. B. Fig. 3) erwähnt wurden.
Fig. 3 zeigt eine schematische Darstellung eines Fahrzeugs 300, welches eine Vorrichtung 30 (z. B. die mit Bezug zu Fig. 2 beschrieben Vorrichtung 30) eines Bilderkennungssystems zur Verbesserung einer Performance des Bilderkennungssystem umfasst. Das Bilderkennungssystem kann insbesondere ein Innenraumkamerasystem (IKS) mit Infrarot-Kamera, eine IR-LED und eine RGB-Kamera umfassen. Alle diese Komponenten können dazu ausgebildet sein einen Innenraum des Fahrzeugs 300 zu beobachten.
Standardmäßig kann ein IR-Pfad der IR-Kamera aktiv sein. Die IR-Kamera und die RGB-Kamera können aus ihrer Position Fahrer, Beifahrer, Passagiere auf der hinteren Sitzreihe sowie Gegenstände im Fahrzeug detektieren. Optional kann ein Mehrzahl von IR-Kameras und/oder RGB-Kameras verwendet werden. Beispielsweise kann eine erste RGB-Kamera 328 des Bilderkennungssystem den vorderen Bereich von Fahrer und Beifahrer und eine zweite RGB-Kamera 330 des Bilderkennungssystem einen hinteren Bereich des Fahrzeugs für weitere Passagiere erfassen.
Standardmäßig kann der IR-Pfad der IR-Kamera aktiv sein, da dieser allgemein zur Überwachung des Fahrers eingesetzt werden kann. Dieser ist insbesondere robust gegenüber Belichtungsänderungen, sodass eine zuverlässige Erkennung eines Datenträgers bzw. einer Verwendung dieses betrieben werden kann. Ein Steuergerät, z. B. das Kontrollmodul der Vorrichtung 30, verarbeitet den Datenstrom der IR-Kamera zu Frames und kann diese verschiedenen Funktionen zur Verfügung stellen. Hierzu zählen sicherheitsrelevante Funktionen ebenso wie Komfortfunktionen .
Beispielsweise kann eine Handyerkennung verwendet werden. Die Handyerkennung ruft Frames von der IR-Kamera ab und untersucht sie darauf, ob ein Smartphone 310 im Innenraum liegt bzw. ein Nutzer das Smartphone 310 in der Hand hält. Erkennt die Handyerkennung, dass ein Smartphone 310 verwendet wird, kann diese Information verwendet werden, um eine RGB-Funktion zu aktivieren. Die Handyerkennung kann insbesondere auch eine Position und/oder eine Ausrichtung des Smartphones 310 im Innenraum des Fahrzeugs 30 bestimmen, wodurch eine Bestimmung einer Verwendung des Smartphones 310 verbessert werden kann.
Beispielsweise könnte die Handyerkennung bestimmen (beispielsweise auf Basis der Information von der IR-Kamera), dass das Smartphone 310 in Richtung der ersten RGB-Kamera 328 des Bilderkennungssystems gehalten wird. Dann kann die RGB-Kamera des Bilderkennungssystems aktiviert werden, damit eine auf einem Display des Smartphones 310 dargestellte Information erfasst werden kann. Optional oder alternativ kann ein QR-Code-/Text-Erkennung Algorithmus gestartet werden. Beispielsweise kann der Algorithmus RGB-Bilder anfordem, wodurch erst ein RGB-Pfad des IKS aktiviert wird. Danach können RGB-Frames erstellt werden und an die QR-/Text- Erkennung weitergeleitet werden, welche die Bilder auf Präsenz von QR-Codes/Texte/Adressen auf dem Smartphone-Display analysiert.
Wird ein Code/Text gefunden, läuft die Entschlüsselung und Verarbeitung der Daten mittels eines üblichen Algorithmus wie er aus anderen Systemen bekannt ist ab. Die gewonnenen Informationen können dann von der Vorrichtung 30 analysiert und eingesetzt werden, z. B. als Zugangscode, um Information für das Smartphone 310 zur Verfügung zu stellen, um Information auf ein Display 320 des Fahrzeugs 300 zu übertragen, etc.
Beispielsweise kann die Vorrichtung 30 die Absicht eines Nutzer erkennen, das Smartphone 310 in einen Bereich zu bewegen, der von der ersten RGB-Kamera 328 optimal erkannt wird. Hierzu könnte beim Aktivieren des RGB-Pfads eine Information einer RGB-Aufhahme der ersten RGB- Kamera 328 zu dem Smartphone 310 gesendet werden. Diese Information kann dann auf dem Display des Smartphones 310 dargestellt werden und den Nutzer einen Bereich visualisieren, in den das Smartphone 310 zum Bestimmen der Information, z. B. zum QR-Scanning/Text-Erkennung bewegt werden soll.
Beispielsweise kann die Erkennung (basierend auf den RGB-Funktionen) auch verwendet werden, um eine andere Modalität z. B. eine Audio-Erkennung zu aktivieren, um Audio-Signale des Smartphones 310 zu empfangen (oder auch Funksignale z. B. Bluetooth). Eine Verwendung des Smartphones 310 könnte durch die Vorrichtung empfangen werden, z. B. könnte auf dem Smartphone 310 eine Applikation zum Abspielen von Musik geöffnet werden, worüber das Smartphone Information an die Vorrichtung 30 senden kann. Daraufhin kann der RGB -Pfad der ersten Kamera 328 aktiviert werden, um einen Information auf dem Display des Smartphone 310 auszulesen.
Beispielsweise kann die Erkennung verwendet werden, um Informationen über ein Ziel eines Nutzer zu bestimmen. Der Nutzer kann eine Visitenkarte mit einer Adresse oder eine Konzertkarte in die Kamera halten. Die Information kann dann durch die Vorrichtung 30 bestimmt werden. Insbesondere kann die Maßnahme auf Basis der ausgewerteten Information dann darin bestehen, dass die Vorrichtung eine Information über ein bestimmtes Ziel des Nutzer an eine ECU des Fahrzeugs 300 sendet. Das Fahrzeug 300 kann dann beispielsweise ein Navigationsprogramm starten und auf einem Display 320 ein Routeninformation für den Nutzer zur Verfügung stellen. Dadurch kann dem Nutzer eine besonders einfache Routenplanung ermöglicht werden.
Beispielsweise kann die Erkennung dazu benutzt werden, den Nutzer zu warnen. Die Vorrichtung kann ermitteln, dass ein Nutzer gerade ein Smartphone 310 verwendet, z. B. zum Streamen. Daraufhin könnte die Vorrichtung eine akustische Warnung ausgeben oder eine Information an das ECU des Fahrzeugs 300 senden, wodurch das Fahrzeug 300, z. B. ein Fahrerassistenzsystem eine Warnung ausgeben kann oder die Fahrerassistenzsysteme angepasst werden können.
Weitere Einzelheiten und Aspekte werden im Zusammenhang mit den oben beschriebenen Ausführungsbeispielen erwähnt. Das in Fig. 3 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale umfassen, die einem oder mehreren Aspekten entsprechen, die im Zusammenhang mit dem vorgeschlagenen Konzept oder einem oder mehreren oben (z. B. Fig. 1 - 2) beschriebenen Ausführungsbeispielen erwähnt wurden.
Weitere Ausführungsbeispiele sind Computerprogramme zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft. Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-Ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einer programmierbaren Hardwarekomponente derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird.
Eine programmierbare Hardwarekomponente kann durch einen Prozessor, einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip -System (SOC = System on Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (FPGA = Field Programmable Gate Array) gebildet sein.
Das digitale Speichermedium kann daher maschinen- oder computerlesbar sein. Manche Ausführungsbeispiele umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem oder einer programmierbare Hardwarekomponente derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Ein Ausführungsbeispiel ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Programm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Programm, Firmware, Computerprogramm oder Computerprogrammprodukt mit einem Programmcode oder als Daten implementiert sein, wobei der Programmcode oder die Daten dahin gehend wirksam ist bzw. sind, eines der Verfahren durchzuführen, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardwarekomponente abläuft. Der Programmcode oder die Daten kann bzw. können beispielsweise auch auf einem maschinenlesbaren Träger oder Datenträger gespeichert sein. Der Programmcode oder die Daten können unter anderem als Quellcode, Maschinencode oder Bytecode sowie als anderer Zwischencode vorliegen.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. Bezugszeichenliste Vorrichtung zur Verbesserung einer Performance eines Bilderkennungssystems Schnittstelle Kontrollmodul Verfahren Erhalten einer Information Aktivieren einer RGB-Funktion Bestimmen einer Information Auswerten der bestimmten Information Durchfuhren einer Maßnahme Fahrzeug Datenträger Display erste RGB -Kamera zweite RGB -Kamera

Claims

Patentansprüche
1. Ein Verfahren (100) zur Verbesserung einer Performance eines Bilderkennungssystems, umfassend
Erhalten (110) einer Information über eine Verwendung eines Datenträgers durch einen Nutzer;
Aktivieren (120) einer RGB-Funktion des Bilderkennungssystems;
Bestimmen (130) einer Information, welche auf dem Datenträger dargestellt ist;
Auswerten (140) der bestimmten Information, wobei das Bestimmen (130) der Information und/oder das Auswerten (140) der bestimmten Information mittels der aktivierten RGB-Funktion des Bilderkennungssystems durchgeführt wird; und
Durchfuhren einer Maßnahme auf Basis der ausgewerteten Information.
2. Das Verfahren (100) nach Anspruch 1, wobei das Erhalten der Information über eine Verwendung ein Bestimmen mittels einer Infrarot-Kamera umfasst.
3. Das Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Erhalten der Information über eine Verwendung ein Bestimmen einer Position des Datenträgers relativ zu dem Bilderkennungssystem umfasst.
4. Das Verfahren (100) nach Anspruch 3, wobei das Bilderkennungssystem eine Mehrzahl von RGB -Kameras umfasst und wobei beim Aktivieren der RGB-Funktion des Bilderkennungssystems eine RGB-Kamera des Bilderkennungssystems aktiviert wird, ferner umfassend
Bestimmen einer zu aktivierenden RGB-Kamera des Bilderkennungssystems auf Grundlage der bestimmten Position des Datenträgers.
5. Das Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Erhalten der Information über eine Verwendung ein Bestimmen einer Ausrichtung des Datenträgers relativ zum Bilderkennungssystem umfasst.
6. Das Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Durchfuhren einer Maßnahme ein Ausgeben einer Information über eine benötigte Position und/oder Ausrichtung des Datenträgers für eine verbesserte Bestimmung der Information des Datenträgers umfasst.
7. Das Verfahren (100) nach einem der vorhergehenden Ansprüche, ferner umfassend
Deaktivieren der RGB-Funktion des Bilderkennungssystems nach dem Bestimmen der Information, welche auf dem Datenträger dargestellt ist.
8. Ein Computerprogramm zur Durchführung eines der Verfahren (100) nach einem der vorhergehenden Ansprüche, wenn das Computerprogramm auf einem Computer, einem Prozessor, oder einer programmierbaren Hardwarekomponente abläuft.
9. Eine Vorrichtung (30) für ein Bilderkennungssystem zur Verbesserung einer Performance des
Bilderkennungssystem, umfassend eine oder mehrere Schnittstellen (32) zur Kommunikation mit anderen Kommunikationseinrichtungen; und ein Kontrollmodul (34), das zur Durchführung zumindest eines der Verfahren (100) nach einem der Ansprüche 1 - 7 ausgebildet ist.
10. Fahrzeug (300) mit einem Bilderkennungssystem gemäß Anspruch 9.
PCT/EP2022/076906 2021-12-07 2022-09-28 Verfahren, computerprogramm, vorrichtung und fahrzeug zur verbesserung einer performance eines bilderkennungssystems Ceased WO2023104367A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/712,139 US20250022281A1 (en) 2021-12-07 2022-09-28 Method and apparatus for improving the performance of a vehicle image recognition system
CN202280074883.3A CN118235169A (zh) 2021-12-07 2022-09-28 用于改善图像识别系统的性能的方法、计算机程序、装置和车辆

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021132102.6A DE102021132102A1 (de) 2021-12-07 2021-12-07 Verfahren, Computerprogramm, Vorrichtung und Fahrzeug zur Verbesserung einer Performance eines Bilderkennungssystems
DE102021132102.6 2021-12-07

Publications (1)

Publication Number Publication Date
WO2023104367A1 true WO2023104367A1 (de) 2023-06-15

Family

ID=83994995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/076906 Ceased WO2023104367A1 (de) 2021-12-07 2022-09-28 Verfahren, computerprogramm, vorrichtung und fahrzeug zur verbesserung einer performance eines bilderkennungssystems

Country Status (4)

Country Link
US (1) US20250022281A1 (de)
CN (1) CN118235169A (de)
DE (1) DE102021132102A1 (de)
WO (1) WO2023104367A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025232996A1 (de) * 2024-05-07 2025-11-13 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und verfahren zum plausibilisieren einer auf den bilddaten einer im innenraum eines fahrzeugs angeordneten innenraumkamera basierenden position mindestens eines objektes

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3126275B1 (fr) * 2021-08-23 2023-11-03 Sagemcom Broadband Sas Procede de gestion d’une fonction controleur par un equipement d’un reseau d’acheminement
DE102023116338A1 (de) * 2023-06-21 2024-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum erkennen eines mobilen endgeräts in einem fahrzeug
DE102024113480A1 (de) * 2024-05-14 2025-11-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und system zur interaktion mit einem fahrzeug, fahrzeug und computerprogrammprodukt

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3154257A1 (de) * 2015-10-07 2017-04-12 Sensors Unlimited, Inc. Multispektrale abbildung

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150054639A1 (en) * 2006-08-11 2015-02-26 Michael Rosen Method and apparatus for detecting mobile phone usage
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
US9838573B2 (en) * 2012-09-18 2017-12-05 Samsung Electronics Co., Ltd Method for guiding controller to move to within recognizable range of multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof
CN108473109B (zh) * 2015-10-13 2021-03-12 法拉第未来公司 无缝车辆访问系统
US20170213098A1 (en) * 2016-01-26 2017-07-27 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Information entry via in-vehicle camera
DE102016206367A1 (de) 2016-04-15 2017-10-19 Robert Bosch Gmbh Kameraeinrichtung für den Außenbereich eines Gebäudes
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
DE102017205383A1 (de) 2017-03-30 2018-10-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines Umfelds eines Kraftfahrzeugs
CA3087506A1 (en) * 2018-01-31 2019-08-08 Xirgo Technologies, Llc Enhanced vehicle sharing system
DE102018111239A1 (de) * 2018-05-09 2019-11-14 Motherson Innovations Company Limited Vorrichtung und Verfahren zum Betreiben einer Objekterkennung für den Innenraum eines Kraftfahrzeugs sowie ein Kraftfahrzeug
DE102019214221A1 (de) 2019-09-18 2021-03-18 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Autorisierung einer Nutzung eines Fahrzeugs
US11217080B2 (en) * 2019-11-13 2022-01-04 Sarathi Thasan Balakrishnan Artificial intelligence driven smart child safety system
US11590933B2 (en) * 2020-09-03 2023-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for controlling operating conditions of vehicle components

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3154257A1 (de) * 2015-10-07 2017-04-12 Sensors Unlimited, Inc. Multispektrale abbildung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KATUK NORLIZA ET AL: "Mobile Phone Sensing using the Built-in Camera", INTERNATIONAL JOURNAL OF INTERACTIVE MOBILE TECHNOLOGIES (IJIM), vol. 13, no. 02, 22 February 2019 (2019-02-22), pages 102, XP093015286, Retrieved from the Internet <URL:https://online-journals.org/index.php/i-jim/article/viewFile/10166/5484> [retrieved on 20230119], DOI: 10.3991/ijim.v13i02.10166 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025232996A1 (de) * 2024-05-07 2025-11-13 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und verfahren zum plausibilisieren einer auf den bilddaten einer im innenraum eines fahrzeugs angeordneten innenraumkamera basierenden position mindestens eines objektes

Also Published As

Publication number Publication date
DE102021132102A1 (de) 2023-06-07
CN118235169A (zh) 2024-06-21
US20250022281A1 (en) 2025-01-16

Similar Documents

Publication Publication Date Title
WO2023104367A1 (de) Verfahren, computerprogramm, vorrichtung und fahrzeug zur verbesserung einer performance eines bilderkennungssystems
US20190126932A1 (en) Information processing system, information processing device, information processing method, and non-transitory computer readable storage medium storing program
DE102019118595A1 (de) Beifahrer-frontanzeigen für fahrzeuge
DE112012004785T5 (de) Merkmalerkennung zum Konfigurieren einer Fahrzeugkonsole und zugeordnete Vorrichtungen
KR20210121015A (ko) 남겨진 객체의 검출
DE102017115317A1 (de) Insassen-wachsamkeitsbasierte navigation
DE102017111843A1 (de) Systeme, um einen Nutzer mittels Gehanweisungen in erweiterter Realität dynamisch zu einem Abholungsort eines autonom fahrenden Fahrzeugs zu führen
DE112016001364T5 (de) Automatische fahrtsteuervorrichtung und automatisches fahrtsteuersystem
DE102013211474A1 (de) Warnsysteme und Warnverfahren für ein Fahrzeug
EP3853681B1 (de) Verfahren zum klassifizieren einer fahraufgabenfremden aktivität eines fahrers hinsichtlich einer unterbrechbarkeit der fahraufgabenfremden aktivität bei einer übernahmeaufforderung der fahraufgabe und verfahren zur wiederfreigabe einer fahraufgabenfremden aktivität nach einer unterbrechung der fahraufgabenfremden aktivität aufgrund einer übernahmeaufforderung der fahraufgabe
DE102019133559A1 (de) Bestimmen der Benutzung eines Mobilgeräts
DE102013211025A1 (de) Warnsysteme und Warnverfahren für ein Fahrzeug
DE112016007010T5 (de) Bordvorrichtung, Kontrollrechtemanagementverfahren und Kontrollrechtemanagementprogramm
US11999368B2 (en) Systems and methods for automated vehicle fleet management according to dynamic pedagogical behavior reinforcement
DE102013210964A1 (de) Warnsysteme und Warnverfahren für ein Fahrzeug
US10286781B2 (en) Method for the automatic execution of at least one driving function of a motor vehicle
US10475001B1 (en) Technology for automatically identifying and scheduling provider appointments in response to accident events
DE112019000475T5 (de) Überwachung der aufmerksamkeit von fahrzeuginsassen für autonome fahrzeuge
DE112016007479T5 (de) Werbetafeloberflächen für fahrzeuganzeigen
JP2024026499A (ja) 情報提供装置、制御方法、及びプログラム
DE112017004942T5 (de) Informationsbeschaffungsvorrichtung und beweglicher Körper
US9886638B1 (en) Systems and methods for associating vehicle operators with driving misses indicated in vehicle operation data
DE102016121279A1 (de) Auf konnektivität einer tragbaren vorrichtung basierende fahrzeugsteuerung
DE102018106552A1 (de) Vorrichtung und verfahren zur insassenerfassung
DE112016007095T5 (de) Verfahren und vorrichtung für externe fahrzeugbeleuchtungsverwaltung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22793551

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280074883.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18712139

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22793551

Country of ref document: EP

Kind code of ref document: A1