WO2016034441A1 - Method and apparatus for central control of networked electrical appliances in a building - Google Patents

Method and apparatus for central control of networked electrical appliances in a building Download PDF

Info

Publication number
WO2016034441A1
WO2016034441A1 PCT/EP2015/069270 EP2015069270W WO2016034441A1 WO 2016034441 A1 WO2016034441 A1 WO 2016034441A1 EP 2015069270 W EP2015069270 W EP 2015069270W WO 2016034441 A1 WO2016034441 A1 WO 2016034441A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
controlled device
image
physical
control panel
Prior art date
Application number
PCT/EP2015/069270
Other languages
German (de)
French (fr)
Inventor
Duc Hanh Bui Tran
Kay-Uwe CLEMENS
Original Assignee
BSH Hausgeräte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeräte GmbH filed Critical BSH Hausgeräte GmbH
Publication of WO2016034441A1 publication Critical patent/WO2016034441A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless

Definitions

  • the invention relates to a method and a corresponding device, by means of which networked electrical devices in a house can be operated efficiently.
  • Settings on electrical devices in a house are typically made by users today directly to the respective electrical device. For example, heaters in the basement of the house, thermostats on radiators, shading and blinds on windows and home appliances are set to the respective home appliances.
  • control systems are typically created completely new. This requires, in particular, a new programming of a user interface. Furthermore, the control systems typically require user familiarization, as the systems are typically far away from actual physical device operation.
  • the present document deals with the technical task of enabling a simplified remote control of one or more electrical appliances in a household.
  • the effort for the provision of a control system should be reduced.
  • the operation should be simplified for a user.
  • a method for remote control of a controlled device by means of a controller is described.
  • the controller is connected to the controlled device via a network.
  • the method includes determining an image of a control interface for the controlled device, wherein the image at a first position comprises a graphical representation of a physical control to change a setting of the controlled device.
  • the method comprises outputting the image on an input / output unit of the control device.
  • the method further comprises overlaying the output image at the first position with a physical control panel, the control panel being associated with a control command for changing the setting of the controlled device.
  • the method includes detecting actuation of the control panel from the input / output unit and, in response to the confirmation of the control panel, sending the control command to the controlled device.
  • a controller configured to operate a controlled device.
  • the controller includes a communication unit configured to communicate with the controlled device via a network, and an input / output unit configured to output an image and detect an operation of a control panel overlaid with the image.
  • the control device comprises a processor that is configured to determine an image of a control interface for the controlled device, the image comprising at a first position a graphical representation of a physical control element of the control interface.
  • the processor is further configured to output the image on the input / output unit.
  • the processor is configured to overlay the output image at the first position with a physical control panel, the control panel being associated with a controlled device control command.
  • the processor is arranged to detect actuation of the control panel from the input / output unit and to send the control command to the controlled apparatus in response to the confirmation of the control panel.
  • a software (SW) program is described.
  • the SW program may be set up to run on a processor (eg, on an electronic control unit processor) and thereby perform the method described in this document.
  • a storage medium is described.
  • the storage medium may include a SW program that is set up to run on a processor and thereby perform the method described in this document.
  • Figure 1 shows an exemplary network with a plurality of controlled electrical devices
  • Figure 2 shows an exemplary system for providing a virtual control interface for a controlled electrical device
  • FIG. 3 a shows an exemplary user interface of a controlled device
  • FIG. 3b shows an exemplary virtual control interface for a controlled device
  • FIG. 4 shows a flowchart of an exemplary method for the remote control of a controlled electrical device.
  • the present document is concerned with the efficient provision of a user interface for remote control of one or more networked electrical devices in a home. These devices are also referred to in this document as "controlled devices”.
  • 1 shows a plurality of electrical devices 103, in particular household appliances, in a house (eg one or more stoves, in particular baking ovens, one or more washing machines, one or more dryers, one or more dishwashers, etc.), preferably via a network 102 are connected to an electronic control unit 101.
  • the network 102 may include a wireless and / or a wired network.
  • Exemplary wireless networks include a WLAN, a UMTS and / or an LTE network.
  • the electronic control unit 101 may include a tablet PC, a smartphone or a laptop PC.
  • the electronic control unit 101 includes an input / output unit 104 (eg, a touch-sensitive screen) configured to output visual information and to detect inputs by a user.
  • the electronic control unit 101 includes a processor configured to execute one or more software programs and / or instructions.
  • the electronic control unit 101 may be set up to operate the plurality of controlled devices 103 via the network 102 and / or to obtain status information regarding the plurality of home appliances 103 via the network 102 based on an operating program executed by the processor.
  • the electronic control unit 101 may be configured to access an external computer (eg a server) 110 by means of the operating program.
  • the computer 1 10 may include a memory unit 1 1 1 on which information regarding one or more of the plurality of controlled devices 103 are stored.
  • the electronic controller 101 illustrated in FIG. 1 may be used to control one or more of the controlled devices 103 and / or to obtain status information regarding the one or more controlled devices 103.
  • the electronic control unit 101 may access the computer 1 10 in order to obtain information regarding the one or more controlled devices 103. Alternatively or additionally, such information may be provided at least partially on the electronic control unit 101.
  • the provision of a uniform operating program for a multiplicity of different controlled devices 103 is complicated.
  • the user interface of the operating program significantly different from a physical user interface of the controlled devices 103, resulting in difficult operation for a user.
  • FIG. 2 illustrates a system that enables efficient provision of a virtual user interface for a controlled device 103.
  • the system includes an optical sensor 200 (e.g., a camera) configured to capture an image of a controlled device 103.
  • a physical user interface 203 of the controlled device 103 can be imaged.
  • the image information can be transmitted via the network 102 to the control unit 101.
  • the transmitted image may be provided in a particular data format (e.g., bitmap or PNG, JPEG or livestream).
  • the controller 101 may be configured to identify the controlled device 103.
  • the control unit 101 may, for example, evaluate the image information captured by the optical sensor 200 (eg by means of suitable image analysis methods).
  • an identifier for the one or more controlled devices 103 can be stored in the control device 101, which can be remotely controlled by the control device 101.
  • the controlled device 103 may be identified by a user.
  • the controlled device 103 may be identified based on an ID of the optical sensor 200 through which the image of the physical user interface 203 is provided. In this case, also a position (eg an angle and a direction) of the controlled device 103 relative to the optical sensor 200 can be taken into account.
  • the controller 1 can be set up 10, eg on the basis of the ID of the optical sensor 200 and / or the position information to learn which controlled device 103 is present.
  • the one or more panels and their locations within the virtual user interface 204 may be determined based on the identified controlled device 103.
  • the one or more control fields for different controlled devices 103 can be stored on the central computer 1 10 and queried by the control unit 101 if necessary.
  • the one or more control fields typically do not (or not completely) define the graphical representation of the individual control elements of the virtual
  • setting options are defined for the one or more control fields which can be made by a user at the virtual user interface 204.
  • a virtual user interface 204 also known as
  • User interface 203 of the controlled device 103 corresponds.
  • FIG. 3a shows exemplary physical controls 303 of a physical user interface 203.
  • FIG. 3a shows a knob 303 that can be rotated by a user to change settings of the controlled device 103 directly on the controlled device 103.
  • different programs of a domestic appliance 103 can be selected via the rotary knob 303.
  • Fig. 3a shows a plurality of push buttons or keys 303, which can be switched on or off by the user.
  • 303 options can be activated or deactivated via the push buttons 303.
  • a domestic appliance 103 can typically be activated or deactivated via a pushbutton 303.
  • FIG. 3b shows corresponding control fields 304 for the physical control panels 303 from FIG. 3a.
  • FIG. 3b shows corresponding control fields 304 for the physical control panels 303 from FIG. 3a.
  • FIG. 3b shows corresponding control fields 304 for the physical control panels 303 from FIG. 3a.
  • FIG. 3b shows corresponding control fields 304 for the physical control panels
  • 3 b shows an image 305 of the physical user interface 203, which is displayed within the virtual user interface 204.
  • the control panels 304 are located at the positions of the corresponding physical controls 303.
  • the control panels 304 have no or only rudimentary graphical representations (eg, only hinted borders) so that the physical controls 303 are still visible in the image 305 and so that the virtual control interface 204 has substantially the same visual appearance as the physical Operator interface 203.
  • a circular motion of the user within the control panel 304 results in a change in the settings of the controlled apparatus 103.
  • a circular motion of the user within the circular control field 304 may be interpreted as a corresponding rotational movement of the corresponding physical rotary knob 303.
  • a push movement of the user within the control panel 304 results in a change in the setting of the controlled device 103.
  • a push movement of the user within the rectangular control panel 304 may be interpreted as a push movement to the corresponding physical push button 303.
  • control fields 304 are defined and stored.
  • An exact virtual graphical representation of the physical user interface 203 is not required because the pictorial information is provided by the image 305 of the physical user interface 203. This allows a significant reduction in the effort for providing a virtual user interface 204. In addition, it can be ensured that the virtual user interface 204 with the physical user interface 203 matches, and thus a remote control of the controlled device 103 for a user is facilitated.
  • the controller 101 is further configured to detect an operation of a control panel 304 within the virtual operator interface 204 by a user. Such an operation can be detected via the input / output unit.
  • the actuation of the control field 304 may be translated into a control command for the controlled device 103.
  • a circular motion in a circular control field 304 may correspond to a control command that causes a program change of a controlled home appliance 103.
  • a pushing movement in a rectangular Control panel 304 may correspond to a control command that enables or disables an option of a controlled home appliance 103.
  • the control command may be communicated to the controlled device 103 via the network 102 and then implemented by the controlled device 103.
  • the control device 101 efficiently enables remote operation of the controlled device 103.
  • the controller 101 may be configured to generate in the one or more control fields 304 a graphical output representing a changed setting of the controlled device 103.
  • the controller 101 may be configured to generate in the one or more control fields 304 a graphical output representing a changed setting of the controlled device 103.
  • the system shown in FIG. 2 makes it possible to control and operate one or more electrically controllable devices 103 (eg a domestic appliance or an entertainment system) from a central point (ie from the control device 101).
  • the physical control panel 203 of the controlled device 103 or an exact visualization of the control panel 203 is displayed in real time on the control unit 101 and the settings are displayed on the control unit 101 via augmented reality. Augmented reality technologies can also be used to visualize the input and display it on the control unit 101.
  • control commands can be transmitted to the controller of the controlled device 103 and used there.
  • the controller 101 may be used as a hub for individual controlled devices 103 to provide increased security.
  • the control unit 101 may also be equipped with integrated security modifications (eg firewalls, etc.).
  • the individual controlled devices 103 are then not directly connected to the Internet (but via the central control unit 101).
  • the image 305 of a physical control interface 203 may be stored on a memory unit (for example, on a memory unit 1 1 1 of a central computer 1 10).
  • This pre-stored image 305 can then be used (without using an optical sensor 200) for the generation of a virtual user interface 204.
  • the controlled device 103 may in particular be a domestic appliance, e.g. an oven, a dishwasher, a washing machine, or a dryer.
  • the controller 101 may include a smartphone, a tablet PC or a laptop PC.
  • the controller 101 is connected to the controlled device 103 via a network 102.
  • the network 102 may in particular comprise a wireless network.
  • the controller 101 and the controlled device 103 may thus be spatially separated, e.g. in different rooms of a house.
  • the method 400 comprises determining 401 an image 305 of a control interface 203 for the controlled device 103.
  • the image 305 can be loaded, for example, from a memory unit and identified via an identifier of the controlled device 103.
  • a pre-stored image 305 of a physical control interface 203 of the controlled device 103 can be retrieved from the memory unit.
  • the image 305 comprises at a first position a graphic representation of a physical operating element 303 for changing a setting of the controlled device 103.
  • the method 400 further comprises outputting 402 the image 305 on an input / output unit 104 of the control device 101.
  • the input / output unit 104 may in particular comprise a touch-sensitive screen.
  • the method 400 may include determining that a user is approaching the controller 101 (this may be determined, for example, by an IR sensor and / or by a motion sensor).
  • the image 305 of the user interface 203 may then be output only in response to a user determining that the controller 101 is approaching.
  • power consumption of the control unit 101 can be reduced and / or ease of operation can be increased.
  • the method 400 includes overlaying 403 the output image 305 at the first position with a control panel 304 for the physical control 303.
  • the output image 305 may be activated at the first position for inputs via the input / output unit 104.
  • the control panel 304 for the physical control 303 may be stored on a storage unit.
  • an identifier of the controlled device 103 may be determined, and the control field 304 may then be determined (e.g., loaded from the storage device) based on the identifier of the controlled device 103.
  • the physical control panel 304 is typically associated with a control command for changing the setting of the controlled device 103 (ie, the control panel 304 may be used to change the same setting that may also be changed by the corresponding physical control 303) ,
  • the method 400 further comprises detecting 404 an actuation of the control panel 304 based on the input / output unit 104.
  • the actuation of the control panel 304 may include touching a touch-sensitive screen of the controller 101 at the first position of the output image 305.
  • the Control command to the controlled device 103 are sent (step 405).
  • remote control by the controller 101 can be enabled.
  • such an efficient and flexible remote control is made possible because a virtual user interface 204 can be provided in a cost-effective and flexible manner by overlaying the image 305 of the user interface 203 with one or more control panels 304.
  • the determining 401 of the image 305 of the user interface 203 may include capturing an image 305 of a physical control interface 203 of the controlled device 103 with an optical sensor 200 (e.g., with an image camera). The captured image 305 may then be communicated to the controller 101 (e.g., in a passive data format such as bitmap, PNG, or JPEG). Thus, it can be ensured that the visual appearance of the virtual user interface 204 matches the visual appearance of the physical user interface 203. Thus, the remote control can be made easy for a user.
  • a passive data format such as bitmap, PNG, or JPEG
  • the physical control 303 of the control interface 203 may enable one or more settings of the controlled device 103.
  • the physical control panel 304 may be associated with one or more control commands that effect the one or more same settings of the controlled device 103.
  • the physical control 303 of the control interface 203 may typically be actuated by a particular movement of a user to effect a corresponding particular adjustment of the controlled device 103.
  • the physical control panel 304 may be actuated with the same or a corresponding particular user movement to effect the transmission of a control command that effects the corresponding particular setting of the controlled device 103.
  • the physical control element 303 may include a rotary control and the corresponding control panel 304 may be actuated by a circular motion on the input / output unit 104.
  • the physical operating element 303 may include a button and the corresponding control panel 304 may be actuated by a push on the input / output unit 104.
  • the physical control element 303 may include a slider, and the corresponding control panel 304 may be actuated by a rectilinear motion on the input / output unit 104. This ensures that a user can operate the controlled device 103 in the same way via the physical user interface 203 and via the virtual user interface 204.
  • a control panel may be provided for confirmation on the virtual control interface 204.
  • Such additional control money may confirm a change in settings made to the virtual control interface 204 before sending appropriate control commands to the controlled device 103. This may be useful, in particular in the case of safety-relevant settings (for example, when blocking a gas supply).
  • the controlled device 103 may include a plurality of physical controls 303 at different locations of the physical control interface 203.
  • the output image 305 then includes, for each of the plurality of physical controls 303, a graphical representation at the respective different positions.
  • Each of the graphical representations may be overlaid with a corresponding control panel 304 for the corresponding control element 303.
  • presettings can be offered and saved.
  • a stored presetting can automatically make a combination of settings on the virtual user interface 204 and / or send corresponding control commands to the controlled device 103. This can simplify time-consuming adjustments.
  • the method 400 may further include outputting a graphical representation at the first position of the output image 305, wherein the graphic representation indicates a setting change of the controlled device 103 caused by the control command. This ensures that the user changes the ones Adjustment on the virtual operator interface 204, even if the changed setting is not displayed on the physical user interface 203. Alternatively or additionally, it can be effected that the changed setting is converted to one or more physical operating elements 303 by one or more actuators on the controlled device 103.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

The description relates to a method (400) for remote control of a controlled appliance (103) by means of a controller (101). The controller (101) is connected to the controlled appliance (103) via a network (102). The method (400) comprises the ascertainment (401) of an image (305) of a user interface (203) for the controlled appliance (103), wherein the image (305) comprises, at a first position, a graphical representation of a physical operator control element (303) for changing a setting for the controlled appliance (103). The method (400) additionally comprises the output (402) of the image (305) on an input/output unit (104) of the controller (101). Furthermore, the method (400) comprises the superimposition (403) of the output image (305), at the first position, with a control panel (304) for the physical operator control element (303). In this case, the control panel (304) is associated with a control command for changing the setting of the controlled appliance (103). Moreover, the method (400) comprises the detection (404) of operation of the control panel (304) using the input/output unit (104) and, in response to the operation of the control panel (304), the sending (405) of the control command to the controlled appliance (103).

Description

Verfahren und Vorrichtung zur zentralen Bedienung von vernetzten elektrischen Geräten in einem Haus  Method and device for central operation of networked electrical devices in a house
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, durch die vernetzte elektrische Geräte in einem Haus in effizienter Weise bedient werden können. The invention relates to a method and a corresponding device, by means of which networked electrical devices in a house can be operated efficiently.
Einstellungen an elektrischen Geräten in einem Haus werden heute typischerweise von Nutzern direkt an dem jeweiligen elektrischen Gerät vorgenommen. Beispielsweise werden Heizungen im Keller des Hauses, Thermostate an Heizkörpern, Beschattungen und Rollos an Fenstern und Hausgeräte an den jeweiligen Hausgeräten eingestellt. Settings on electrical devices in a house are typically made by users today directly to the respective electrical device. For example, heaters in the basement of the house, thermostats on radiators, shading and blinds on windows and home appliances are set to the respective home appliances.
Zur Fernbedienung derartiger elektrischer Geräte wurden zentrale Bedienelemente von Haussteuerungssystemen beschrieben, mit denen über ein elektronisches Steuergerät (z.B. über ein Smartphone / Tablet PC mit einer App und einem berührungsempfindlichen Bildschirm oder über einen PC) Steuerungsbefehle an die einzelnen elektrischen Geräte eines Hauses abgesetzt werden können. For remote control of such electrical devices central controls of home control systems have been described, with which via an electronic control unit (for example, via a smartphone / tablet PC with an app and a touch screen or via a PC) control commands to the individual electrical devices of a house can be discontinued.
Diese Steuerungssysteme werden typischerweise komplett neu geschaffen. Dafür ist insbesondere eine neue Programmierung eines User Interfaces erforderlich. Desweiteren erfordern die Steuersysteme typischerweise eine Eingewöhnung der Nutzer, da die Systeme grafisch meist weit von der tatsächlichen, physikalischen Gerätebedienung entfernt sind. These control systems are typically created completely new. This requires, in particular, a new programming of a user interface. Furthermore, the control systems typically require user familiarization, as the systems are typically far away from actual physical device operation.
Das vorliegende Dokument befasst sich mit der technischen Aufgabe eine vereinfachte Fernbedienung von ein oder mehreren elektrischen Geräten in einem Haushalt zu ermöglichen. Insbesondere soll dabei der Aufwand für die Bereitstellung eines Steuerungssystems reduziert werden. Desweiteren soll die Bedienung für einen Nutzer vereinfacht werden. The present document deals with the technical task of enabling a simplified remote control of one or more electrical appliances in a household. In particular, the effort for the provision of a control system should be reduced. Furthermore, the operation should be simplified for a user.
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Gemäß einem Aspekt wird ein Verfahren zur Fernbedienung eines gesteuerten Geräts mittels eines Steuergeräts beschrieben. Das Steuergerät ist über ein Netzwerk mit dem gesteuerten Gerät verbunden. Das Verfahren umfasst das Ermitteln eines Bildes einer Bedienschnittstelle für das gesteuerte Gerät, wobei das Bild an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements zur Änderung einer Einstellung des gesteuerten Geräts umfasst. Desweiteren umfasst das Verfahren das Ausgeben des Bildes auf einer Eingabe/Ausgabeeinheit des Steuergeräts. Desweiteren umfasst das Verfahren das Überlagern des ausgegebenen Bildes an der ersten Position mit einen Steuerfeld für das physikalische Bedienelement, wobei das Steuerfeld mit einem Steuerbefehl zur Änderung der Einstellung des gesteuerten Geräts assoziiert ist. Außerdem umfasst das Verfahren das Erfassen einer Betätigung des Steuerfeldes anhand der Eingabe/Ausgabeeinheit und in Reaktion auf die Bestätigung des Steuerfeldes, das Senden des Steuerbefehls an das gesteuerte Gerät. The object is solved by the independent claims. Advantageous embodiments are described, inter alia, in the dependent claims. In one aspect, a method for remote control of a controlled device by means of a controller is described. The controller is connected to the controlled device via a network. The method includes determining an image of a control interface for the controlled device, wherein the image at a first position comprises a graphical representation of a physical control to change a setting of the controlled device. Furthermore, the method comprises outputting the image on an input / output unit of the control device. The method further comprises overlaying the output image at the first position with a physical control panel, the control panel being associated with a control command for changing the setting of the controlled device. In addition, the method includes detecting actuation of the control panel from the input / output unit and, in response to the confirmation of the control panel, sending the control command to the controlled device.
Gemäß einem weiteren Aspekt wird ein Steuergerät beschrieben, das eingerichtet ist, ein gesteuertes Gerät zu bedienen. Das Steuergerät umfasst eine Kommunikationseinheit, die eingerichtet ist, über ein Netzwerk mit dem gesteuerten Gerät zu kommunizieren, und eine Eingabe/Ausgabeeinheit, die eingerichtet ist, ein Bild auszugeben und eine Betätigung eines mit dem Bild überlagerten Steuerfeldes zu erfassen. Außerdem umfasst das Steuergerät einen Prozessor, der eingerichtet ist, ein Bild einer Bedienschnittstelle für das gesteuerte Gerät zu ermitteln, wobei das Bild an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements der Bedienschnittstelle umfasst. Der Prozessor ist weiter eingerichtet, das Bild auf der Eingabe/Ausgabeeinheit auszugeben. Außerdem ist der Prozessor eingerichtet, das ausgegebene Bild an der ersten Position mit einen Steuerfeld für das physikalische Bedienelement zu überlagern, wobei das Steuerfeld mit einem Steuerbefehl für das gesteuerte Gerät assoziiert ist. Desweiteren ist der Prozessor eingerichtet, eine Betätigung des Steuerfeldes anhand der Eingabe/Ausgabeeinheit zu erfassen und in Reaktion auf die Bestätigung des Steuerfeldes, den Steuerbefehl an das gesteuerte Gerät zu senden. Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Prozessor eines elektronischen Steuergeräts) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen. Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen. In another aspect, a controller is described that is configured to operate a controlled device. The controller includes a communication unit configured to communicate with the controlled device via a network, and an input / output unit configured to output an image and detect an operation of a control panel overlaid with the image. In addition, the control device comprises a processor that is configured to determine an image of a control interface for the controlled device, the image comprising at a first position a graphical representation of a physical control element of the control interface. The processor is further configured to output the image on the input / output unit. In addition, the processor is configured to overlay the output image at the first position with a physical control panel, the control panel being associated with a controlled device control command. Furthermore, the processor is arranged to detect actuation of the control panel from the input / output unit and to send the control command to the controlled apparatus in response to the confirmation of the control panel. In another aspect, a software (SW) program is described. The SW program may be set up to run on a processor (eg, on an electronic control unit processor) and thereby perform the method described in this document. In another aspect, a storage medium is described. The storage medium may include a SW program that is set up to run on a processor and thereby perform the method described in this document.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Desweiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtung und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. It should be understood that the methods, devices and systems described herein may be used alone as well as in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, apparatus, and systems described herein may be combined in a variety of ways. In particular, the features of the claims can be combined in a variety of ways.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen Furthermore, the invention will be described in more detail with reference to exemplary embodiments. Show
Figur 1 ein beispielhaftes Netzwerk mit einer Vielzahl von gesteuerten elektrischen Geräten; Figur 2 ein beispielhaftes System zur Bereitstellung einer virtuellen Bedienschnittstelle für ein gesteuertes elektrisches Gerät; Figure 1 shows an exemplary network with a plurality of controlled electrical devices; Figure 2 shows an exemplary system for providing a virtual control interface for a controlled electrical device;
Figur 3a eine beispielhafte Bedienschnittstelle eines gesteuerten Geräts; Figur 3b eine beispielhafte virtuelle Bedienschnittstelle für ein gesteuertes Gerät; und FIG. 3 a shows an exemplary user interface of a controlled device; FIG. 3b shows an exemplary virtual control interface for a controlled device; and
Figur 4 ein Flussdiagramm eines beispielhaften Verfahrens zur Fernbedienung eines gesteuerten elektrischen Geräts. Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der effizienten Bereitstellung einer Benutzerschnittstelle für die Fernbedienung von ein oder mehreren vernetzten elektrischen Geräten in einem Haus. Diese Geräte werden in diesem Dokument auch als„gesteuerte Geräte" bezeichnet. Fig. 1 zeigt eine Vielzahl von elektrischen Geräten 103 insbesondere Haushaltsgeräten, in einem Haus (z.B. ein oder mehrere Herde, insbesondere Backherde, ein oder mehrere Waschmaschinen, ein oder mehrere Trockner, ein oder mehrere Spülmaschinen, etc.), die bevorzugt über ein Netzwerk 102 mit einem elektronischen Steuergerät 101 verbunden sind. Das Netzwerk 102 kann ein drahtloses und/oder ein drahtgebundenes Netzwerk umfassen. Beispielhafte drahtlose Netzwerke umfassen ein WLAN, ein UMTS und/oder ein LTE Netzwerk. Das elektronische Steuergerät 101 kann einen Tablet PC, ein Smartphone oder einen Laptop PC umfassen. Das elektronische Steuergerät 101 umfasst eine Eingabe/Ausgabeeinheit 104 (z.B. einen berührungsempfindlichen Bildschirm), die eingerichtet ist, bildliche Informationen auszugeben und Eingaben durch einen Nutzer zu erfassen. Desweiteren umfasst das elektronische Steuergerät 101 einen Prozessor, der eingerichtet ist, ein oder mehrere Softwareprogramme und/oder Instruktionen auszuführen. Insbesondere kann das elektronische Steuergerät 101 eingerichtet sein, anhand eines von dem Prozessor ausgeführten Bedienprogramms die Vielzahl von gesteuerten Geräten 103 über das Netzwerk 102 zu bedienen und/oder Statusinformationen bzgl. der Vielzahl von Hausgeräten 103 über das Netzwerk 102 zu beziehen. Desweiteren kann das elektronische Steuergerät 101 eingerichtet sein, mittels des Bedienprogramms auf einen externen Rechner (z.B. einen Server) 1 10 zuzugreifen. Der Rechner 1 10 kann eine Speichereinheit 1 1 1 umfassen, auf der Informationen bzgl. ein oder mehrerer der Vielzahl von gesteuerten Geräten 103 gespeichert sind. FIG. 4 shows a flowchart of an exemplary method for the remote control of a controlled electrical device. As set forth above, the present document is concerned with the efficient provision of a user interface for remote control of one or more networked electrical devices in a home. These devices are also referred to in this document as "controlled devices". 1 shows a plurality of electrical devices 103, in particular household appliances, in a house (eg one or more stoves, in particular baking ovens, one or more washing machines, one or more dryers, one or more dishwashers, etc.), preferably via a network 102 are connected to an electronic control unit 101. The network 102 may include a wireless and / or a wired network. Exemplary wireless networks include a WLAN, a UMTS and / or an LTE network. The electronic control unit 101 may include a tablet PC, a smartphone or a laptop PC. The electronic control unit 101 includes an input / output unit 104 (eg, a touch-sensitive screen) configured to output visual information and to detect inputs by a user. Furthermore, the electronic control unit 101 includes a processor configured to execute one or more software programs and / or instructions. In particular, the electronic control unit 101 may be set up to operate the plurality of controlled devices 103 via the network 102 and / or to obtain status information regarding the plurality of home appliances 103 via the network 102 based on an operating program executed by the processor. Furthermore, the electronic control unit 101 may be configured to access an external computer (eg a server) 110 by means of the operating program. The computer 1 10 may include a memory unit 1 1 1 on which information regarding one or more of the plurality of controlled devices 103 are stored.
Somit kann das in Fig. 1 dargestellte elektronische Steuergerät 101 dazu verwendet werden, ein oder mehrere der gesteuerten Geräte 103 zu steuern und/oder Statusinformationen bzgl. der ein oder mehreren gesteuerten Geräte 103 zu beziehen. Dazu kann das elektronische Steuergerät 101 ggf. auf den Rechner 1 10 zugreifen, um Informationen bzgl. der ein oder mehreren gesteuerten Geräte 103 zu beziehen. Alternativ oder ergänzend können derartige Informationen zumindest teilweise auf dem elektronischen Steuergerät 101 bereitgestellt werden. Wie bereits oben dargelegt, ist die Bereitstellung von einem einheitlichen Bedienprogramm für einen Vielzahl von unterschiedlichen gesteuerten Geräten 103 aufwändig. Desweiteren kann sich die Benutzerschnittstelle des Bedienprogramms erheblich von einer physikalischen Benutzerschnittstelle der gesteuerten Geräte 103 unterscheiden, was zu einer erschwerten Bedienung für einen Nutzer führt. Thus, the electronic controller 101 illustrated in FIG. 1 may be used to control one or more of the controlled devices 103 and / or to obtain status information regarding the one or more controlled devices 103. For this purpose, the electronic control unit 101 may access the computer 1 10 in order to obtain information regarding the one or more controlled devices 103. Alternatively or additionally, such information may be provided at least partially on the electronic control unit 101. As already stated above, the provision of a uniform operating program for a multiplicity of different controlled devices 103 is complicated. Furthermore, the user interface of the operating program significantly different from a physical user interface of the controlled devices 103, resulting in difficult operation for a user.
Fig. 2 veranschaulicht ein System, welches eine effiziente Bereitstellung einer virtuellen Benutzerschnittstelle für ein gesteuertes Gerät 103 ermöglicht. Das System umfasst einen optischen Sensor 200 (z.B. eine Kamera), der eingerichtet ist, ein Bild eines gesteuerten Geräts 103 zu erfassen. Insbesondere kann eine physikalische Benutzerschnittstelle 203 des gesteuerten Geräts 103 bildlich erfasst werden. Die Bildinformationen können über das Netzwerk 102 an das Steuergerät 101 übermittelt werden. Das übermittelte Bild kann in einem bestimmten Datenformat (z.B. Bitmap oder PNG, JPEG oder Livestream) bereitgestellt werden. FIG. 2 illustrates a system that enables efficient provision of a virtual user interface for a controlled device 103. The system includes an optical sensor 200 (e.g., a camera) configured to capture an image of a controlled device 103. In particular, a physical user interface 203 of the controlled device 103 can be imaged. The image information can be transmitted via the network 102 to the control unit 101. The transmitted image may be provided in a particular data format (e.g., bitmap or PNG, JPEG or livestream).
Das Steuergerät 101 kann eingerichtet sein, auf Basis der empfangenen Bildinformationen ein Bild der physikalischen Benutzerschnittstelle 203 über die Eingabe/Ausgabeeinheit 104 des Steuergeräts 101 auszugeben. Desweiteren kann das Steuergerät 101 eingerichtet sein, das Bild der physikalischen Benutzerschnittstelle 203 mit ein oder mehreren Steuerfeldern zu überlagern, um so eine virtuelle Benutzerschnittstelle 204 bereitzustellen, wobei eine Steuerung des gesteuerten Geräts 103 durch Eingaben an den ein oder mehreren Steuerfeldern ermöglicht wird. Mit anderen Worten, das Bild der physikalischen Benutzerschnittstelle 203 kann mit ein oder mehreren Augmented Reality Anwendungen überlagert werden, durch die eine Veränderung der Einstellungen des gesteuerten Geräts 103 ermöglicht wird. The controller 101 may be configured to output an image of the physical user interface 203 via the input / output unit 104 of the controller 101 based on the received image information. Furthermore, the controller 101 may be configured to overlay the image of the physical user interface 203 with one or more control fields so as to provide a virtual user interface 204, allowing control of the controlled device 103 through inputs to the one or more control fields. In other words, the image of the physical user interface 203 may be overlaid with one or more augmented reality applications that allow a change in the settings of the controlled device 103.
Das Steuergerät 101 kann eingerichtet sein, das gesteuerte Gerät 103 zu identifizieren. Zu diesem Zweck kann das Steuergerät 101 z.B. die von dem optischen Sensor 200 erfassten Bildinformationen auswerten (z.B. durch geeignete Bildanalyseverfahren). Alternativ oder ergänzend kann in dem Steuergerät 101 ein Identifier für die ein oder mehreren gesteuerten Geräte 103 hinterlegt werden, welche durch das Steuergerät 101 ferngesteuert werden können. Desweiteren kann das gesteuerte Gerät 103 durch einen Nutzer identifiziert werden. Außerdem kann das gesteuerte Gerät 103 auf Basis einer ID des optischen Sensors 200 identifiziert werden, durch den das Bild der physikalischen Benutzerschnittstelle 203 bereitgestellt wird. Dabei kann auch eine Stellung (z.B. ein Winkel und eine Richtung) des gesteuerten Geräts 103 relativ zu dem optischen Sensor 200 berücksichtigt werden. Desweiteren kann das Steuergerät 1 10 eingerichtet sein, z.B. auf Basis der ID des optischen Sensors 200 und/oder der Stellungsinformationen zu erlernen, welches gesteuerte Gerät 103 vorliegt. The controller 101 may be configured to identify the controlled device 103. For this purpose, the control unit 101 may, for example, evaluate the image information captured by the optical sensor 200 (eg by means of suitable image analysis methods). Alternatively or additionally, an identifier for the one or more controlled devices 103 can be stored in the control device 101, which can be remotely controlled by the control device 101. Furthermore, the controlled device 103 may be identified by a user. In addition, the controlled device 103 may be identified based on an ID of the optical sensor 200 through which the image of the physical user interface 203 is provided. In this case, also a position (eg an angle and a direction) of the controlled device 103 relative to the optical sensor 200 can be taken into account. Furthermore, the controller 1 can be set up 10, eg on the basis of the ID of the optical sensor 200 and / or the position information to learn which controlled device 103 is present.
Die ein oder mehreren Steuerfelder und deren Positionen innerhalb der virtuellen Benutzerschnittstelle 204 können auf Basis des identifizierten gesteuerten Geräts 103 ermittelt werden. Beispielsweise können die ein oder mehreren Steuerfelder für unterschiedliche gesteuerte Geräte 103 auf dem zentralen Rechner 1 10 hinterlegt werden und von dem Steuergerät 101 bei Bedarf abgefragt werden. The one or more panels and their locations within the virtual user interface 204 may be determined based on the identified controlled device 103. For example, the one or more control fields for different controlled devices 103 can be stored on the central computer 1 10 and queried by the control unit 101 if necessary.
Die ein oder mehreren Steuerfelder definierten dabei typischerweise nicht (oder nicht vollständig) die graphische Darstellung der einzelnen Bedienelemente der virtuellenThe one or more control fields typically do not (or not completely) define the graphical representation of the individual control elements of the virtual
Benutzerschnittstelle 204. Dies ist auch nicht erforderlich, da die graphische Darstellung durch das Bild der physikalischen Benutzerschnittstelle 203 bereitgestellt wird.User interface 204. This is also not necessary since the graphical representation is provided by the physical user interface image 203.
Andererseits sind für die ein oder mehreren Steuerfelder Einstellmöglichkeiten definiert, die durch einen Nutzer an der virtuellen Benutzerschnittstelle 204 vorgenommen werden können. So kann in effizienter Weise eine virtuelle Benutzerschnittstelle 204 (auch alsOn the other hand, setting options are defined for the one or more control fields which can be made by a user at the virtual user interface 204. Thus, a virtual user interface 204 (also known as
Bedienschnittstelle bezeichnet) bereitgestellt werden, die optisch der physikalischenOperator interface) which are optically physical
Benutzerschnittstelle 203 des gesteuerten Geräts 103 entspricht. User interface 203 of the controlled device 103 corresponds.
Fig. 3a zeigt beispielhafte physikalischen Bedienelemente 303 einer physikalischen Benutzerschnittstelle 203. Insbesondere zeigt Fig. 3a einen Drehknopf bzw. Drehregler 303, der durch einen Nutzer gedreht werden kann, um Einstellungen des gesteuerten Geräts 103 direkt am gesteuerten Gerät 103 zu verändern. Beispielsweise können über den Drehknopf 303 unterschiedliche Programme eines Hausgeräts 103 ausgewählt werden. Desweiteren zeigt Fig. 3a eine Vielzahl von Druckknöpfen bzw. Tasten 303, die von dem Nutzer ein- bzw. ausgeschaltet werden können. Beispielsweise können über die Druckknöpfe 303 Optionen aktiviert bzw. deaktiviert werde. Desweiteren kann typischerweise über einen Druckknopf 303 ein Hausgerät 103 aktiviert bzw. deaktiviert werden. Fig. 3b zeigt entsprechende Steuerfelder 304 für die physikalischen Bedienfelder 303 aus Fig. 3a. Desweiteren zeigt Fig. 3b ein Bild 305 der physikalischen Bedienschnittstelle 203, welches innerhalb der virtuellen Bedienschnittstelle 204 angezeigt wird. Die Steuerfelder 304 befinden sich an den Positionen der entsprechenden physikalischen Bedienelemente 303. Typischerweise weisen die Steuerfelder 304 keine oder nur rudimentäre graphische Darstellungen auf (z.B. nur angedeutete Umrandungen), so dass die physikalischen Bedienelemente 303 weiterhin im Bild 305 sichtbar sind, und so dass die virtuelle Bedienschnittstelle 204 weitestgehend die gleiche optische Erscheinungsform aufweist wie die physikalische Bedienschnittstelle 203. 3a shows exemplary physical controls 303 of a physical user interface 203. In particular, FIG. 3a shows a knob 303 that can be rotated by a user to change settings of the controlled device 103 directly on the controlled device 103. For example, different programs of a domestic appliance 103 can be selected via the rotary knob 303. Furthermore, Fig. 3a shows a plurality of push buttons or keys 303, which can be switched on or off by the user. For example, 303 options can be activated or deactivated via the push buttons 303. Furthermore, a domestic appliance 103 can typically be activated or deactivated via a pushbutton 303. FIG. 3b shows corresponding control fields 304 for the physical control panels 303 from FIG. 3a. Furthermore, FIG. 3 b shows an image 305 of the physical user interface 203, which is displayed within the virtual user interface 204. The control panels 304 are located at the positions of the corresponding physical controls 303. Typically, the control panels 304 have no or only rudimentary graphical representations (eg, only hinted borders) so that the physical controls 303 are still visible in the image 305 and so that the virtual control interface 204 has substantially the same visual appearance as the physical Operator interface 203.
Für das in Fig. 3b dargestellte runde Steuerfeld 304 kann festgelegt sein, dass eine Kreisbewegung des Nutzers innerhalb des Steuerfeldes 304 zu einer Veränderung der Einstellungen des gesteuerten Geräts 103 führt. Insbesondere kann eine Kreisbewegung des Nutzers innerhalb des runden Steuerfeldes 304 wie eine entsprechende Drehbewegung des entsprechenden physikalischen Drehknopfes 303 interpretiert werden. Für die rechteckigen Steuerfelder 304 kann festgelegt sein, dass eine Drückbewegung des Nutzers innerhalb des Steuerfeldes 304 zu einer Veränderung der Einstellung des gesteuerten Geräts 103 führt. Insbesondere kann eine Drückbewegung des Nutzers innerhalb des rechteckigen Steuerfeldes 304 wie eine Drückbewegung auf den entsprechenden physikalischen Druckknopf 303 interpretiert werden. For the round control panel 304 illustrated in FIG. 3b, it may be determined that a circular motion of the user within the control panel 304 results in a change in the settings of the controlled apparatus 103. In particular, a circular motion of the user within the circular control field 304 may be interpreted as a corresponding rotational movement of the corresponding physical rotary knob 303. For the rectangular panels 304, it may be determined that a push movement of the user within the control panel 304 results in a change in the setting of the controlled device 103. In particular, a push movement of the user within the rectangular control panel 304 may be interpreted as a push movement to the corresponding physical push button 303.
Für ein gesteuertes Gerät 103 werden somit nur ein oder mehrere Steuerfelder 304 definiert und hinterlegt. Eine exakte virtuelle graphische Abbildung der physikalischen Benutzerschnittstelle 203 ist nicht erforderlich, da die bildlichen Informationen durch das Bild 305 der physikalischen Benutzerschnittstelle 203 bereitgestellt werden. Dies ermöglicht eine signifikante Reduzierung des Aufwands für die Bereitstellung einer virtuellen Benutzerschnittstelle 204. Außerdem kann so gewährleistet werden, dass die virtuelle Benutzerschnittstelle 204 mit der physikalischen Benutzerschnittstelle 203 übereinstimmt, und somit eine Fernbedienung des gesteuerten Geräts 103 für einen Nutzer erleichtert wird. For a controlled device 103, therefore, only one or more control fields 304 are defined and stored. An exact virtual graphical representation of the physical user interface 203 is not required because the pictorial information is provided by the image 305 of the physical user interface 203. This allows a significant reduction in the effort for providing a virtual user interface 204. In addition, it can be ensured that the virtual user interface 204 with the physical user interface 203 matches, and thus a remote control of the controlled device 103 for a user is facilitated.
Das Steuergerät 101 ist weiter eingerichtet, eine Betätigung eines Steuerfeldes 304 innerhalb der virtuellen Bedienschnittstelle 204 durch einen Nutzer zu erfassen. Eine derartige Betätigung kann über die Eingabe/Ausgabeeinheit erfasst werden. Die Betätigung des Steuerfeldes 304 kann in einen Steuerbefehl für das gesteuerte Gerät 103 übersetzt werden. Beispielsweise kann eine Kreisbewegung in einem runden Steuerfeld 304 einem Steuerbefehl entsprechen, durch den eine Programmänderung eines gesteuerten Hausgeräts 103 bewirkt wird. Eine Drückbewegung in einem rechteckigen Steuerfeld 304 kann einem Steuerbefehl entsprechen, durch den eine Option eines gesteuerten Hausgeräts 103 aktiviert bzw. deaktiviert wird. The controller 101 is further configured to detect an operation of a control panel 304 within the virtual operator interface 204 by a user. Such an operation can be detected via the input / output unit. The actuation of the control field 304 may be translated into a control command for the controlled device 103. For example, a circular motion in a circular control field 304 may correspond to a control command that causes a program change of a controlled home appliance 103. A pushing movement in a rectangular Control panel 304 may correspond to a control command that enables or disables an option of a controlled home appliance 103.
Der Steuerbefehl kann über das Netzwerk 102 an das gesteuerte Gerät 103 übermittelt werden und dann durch das gesteuerte Gerät 103 umgesetzt werden. So wird über das Steuergerät 101 in effizienter Weise eine Fernbedienung des gesteuerten Geräts 103 ermöglicht. The control command may be communicated to the controlled device 103 via the network 102 and then implemented by the controlled device 103. Thus, the control device 101 efficiently enables remote operation of the controlled device 103.
Die physikalischen Bedienelemente 303 des gesteuerten Gerätes 103 können Aktuatoren umfassen, durch die die Bedienelemente 303 bewegt werden können. Insbesondere kann mittels der Aktuatoren eine dem Steuerbefehl entsprechende Veränderung der Einstellung von ein oder mehreren Bedienelementen 303 durchgeführt werden. Diese Änderung der physikalischen Bedienschnittstelle 203 kann durch den optischen Sensor 200 erfasst werden, so dass der Nutzer die geänderten Einstellungen auf der virtuellen Bedienschnittstelle 204 sehen kann. The physical controls 303 of the controlled device 103 may include actuators by which the controls 303 may be moved. In particular, by means of the actuators, a change of the setting of one or more operating elements 303 corresponding to the control command can be carried out. This change in the physical user interface 203 may be detected by the optical sensor 200, so that the user can see the changed settings on the virtual user interface 204.
Alternativ oder ergänzend kann das Steuergerät 101 eingerichtet sein, in den ein oder mehreren Steuerfeldern 304 eine graphische Ausgabe zu erzeugen, durch die eine geänderte Einstellung des gesteuerten Geräts 103 dargestellt wird. So können auch bei Nichtvorhandensein von Aktuatoren an den physikalischen Bedienelementen 303 die geänderten Einstellungen auf der virtuellen Bedienschnittstelle 204 sichtbar gemacht werden. Alternatively or additionally, the controller 101 may be configured to generate in the one or more control fields 304 a graphical output representing a changed setting of the controlled device 103. Thus, even in the absence of actuators on the physical control elements 303, the changed settings on the virtual user interface 204 can be made visible.
Das in Fig. 2 dargestellte System ermöglicht es, ein oder mehrere elektrisch ansteuerbare Geräte 103 (z.B. ein Hausgerät oder ein Unterhaltungssystem) von einem zentralen Punkt aus (d.h. von dem Steuergerät 101 aus) anzusteuern und zu bedienen. Dabei wird das physikalische Bedienfeld 203 des gesteuerten Geräts 103 oder eine exakte Visualisierung des Bedienfelds 203 in Echtzeit auf dem Steuergerät 101 angezeigt und die Einstellungen über Augmented Reality auf dem Steuergerät 101 dargestellt. Über Augmented Reality Technologien kann auch eine Visualisierung der Eingabe vorgenommen und am Steuergerät 101 dargestellt werden. Nach einer Eingabe über das Steuergerät 101 können Steuerbefehle an die Steuerung des gesteuerten Gerätes 103 übermittelt und dort angewendet werden. Das Steuergerät 101 kann als Hub für einzelne gesteuerte Geräte 103 verwendet werden, um ein erhöhte Sicherheit bereitzustellen. Dabei kann das Steuergerät 101 auch mit integrierten Sicherheitsmodifikationen (z.B. Firewalls, etc.) ausgestattet sein. Die einzelnen gesteuerten Geräte 103 sind dann nicht direkt mit dem Internet verbunden (sondern über das zentrale Steuergerät 101 ). The system shown in FIG. 2 makes it possible to control and operate one or more electrically controllable devices 103 (eg a domestic appliance or an entertainment system) from a central point (ie from the control device 101). In this case, the physical control panel 203 of the controlled device 103 or an exact visualization of the control panel 203 is displayed in real time on the control unit 101 and the settings are displayed on the control unit 101 via augmented reality. Augmented reality technologies can also be used to visualize the input and display it on the control unit 101. After an input via the control unit 101, control commands can be transmitted to the controller of the controlled device 103 and used there. The controller 101 may be used as a hub for individual controlled devices 103 to provide increased security. In this case, the control unit 101 may also be equipped with integrated security modifications (eg firewalls, etc.). The individual controlled devices 103 are then not directly connected to the Internet (but via the central control unit 101).
Wie oben dargelegt, kann über ein Bild 305 der physikalischen Bedienschnittstelle 203 eines gesteuerten Geräts 103 eine ggf. unsichtbare Bedienmatrix (mit ein oder mehreren Steuerfeldern 304) für eine Touchfunktion gelegt werden, die die Interaktion für die einzelnen Funktionen gewährleistet. Sobald ein Nutzer auf einem Touchscreen 104 des Steuergeräts 101 eine entsprechende Aktion ausführt, wird diese auf das gesteuerte Gerät 103 übertragen und von diesem umgesetzt. As outlined above, via an image 305 of the physical operating interface 203 of a controlled device 103, an optionally invisible operating matrix (with one or more control fields 304) for a touch function can be created, which ensures the interaction for the individual functions. As soon as a user performs a corresponding action on a touch screen 104 of the control device 101, this is transmitted to the controlled device 103 and converted by the latter.
Ggf. kann das Bild 305 einer physikalischen Bedienschnittstelle 203 auf einer Speichereinheit hinterlegt sein (z.B. auf einer Speichereinheit 1 1 1 eines zentralen Rechners 1 10). Dieses vorgespeicherte Bild 305 kann dann (ohne Verwendung eines optischen Sensors 200) für die Erzeugung einer virtuellen Bedienschnittstelle 204 verwendet werden. Dies ermöglicht ggf. auch die Bereitstellung von gesteuerten Geräten 103, welche keine eigene physikalische Bedienschnittstelle 303 aufweisen. So können die Kosten von gesteuerten Geräten 103 reduziert werden. Possibly. For example, the image 305 of a physical control interface 203 may be stored on a memory unit (for example, on a memory unit 1 1 1 of a central computer 1 10). This pre-stored image 305 can then be used (without using an optical sensor 200) for the generation of a virtual user interface 204. This possibly also makes it possible to provide controlled devices 103 which do not have their own physical user interface 303. Thus, the cost of controlled devices 103 can be reduced.
Fig. 4 zeigt ein Flussdiagramm eines beispielhaften Verfahrens 400 zur Fernbedienung eines gesteuerten Geräts 103 mittels eines Steuergeräts 101. Das gesteuerte Gerät 103 kann insbesondere ein Hausgerät, z.B. einen Ofen, eine Spülmaschine, eine Waschmaschine, oder einen Trockner, umfassen. Das Steuergerät 101 kann ein Smartphone, ein Tablet PC oder einen Laptop PC umfassen. Das Steuergerät 101 ist über ein Netzwerk 102 mit dem gesteuerten Gerät 103 verbunden. Dabei kann das Netzwerk 102 insbesondere ein drahtloses Netzwerk umfassen. Das Steuergerät 101 und das gesteuerte Gerät 103 können somit örtlich voneinander getrennt sein, z.B. in unterschiedlichen Räumen eines Hauses. 4 shows a flowchart of an exemplary method 400 for remote control of a controlled device 103 by means of a control device 101. The controlled device 103 may in particular be a domestic appliance, e.g. an oven, a dishwasher, a washing machine, or a dryer. The controller 101 may include a smartphone, a tablet PC or a laptop PC. The controller 101 is connected to the controlled device 103 via a network 102. In this case, the network 102 may in particular comprise a wireless network. The controller 101 and the controlled device 103 may thus be spatially separated, e.g. in different rooms of a house.
Das Verfahren 400 umfasst das Ermitteln 401 eines Bildes 305 einer Bedienschnittstelle 203 für das gesteuerte Gerät 103. Das Bild 305 kann z.B. von einer Speichereinheit geladen werden und über einen Identifier des gesteuerten Geräts 103 identifiziert werden. Beispielsweise kann ein vorab gespeichertes Bild 305 einer physikalischen Bedienschnittstelle 203 des gesteuerten Geräts 103 von der Speichereinheit abgerufen werden. Dabei umfasst das Bild 305 an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements 303 zur Änderung einer Einstellung des gesteuerten Geräts 103. The method 400 comprises determining 401 an image 305 of a control interface 203 for the controlled device 103. The image 305 can be loaded, for example, from a memory unit and identified via an identifier of the controlled device 103. For example, a pre-stored image 305 of a physical control interface 203 of the controlled device 103 can be retrieved from the memory unit. In this case, the image 305 comprises at a first position a graphic representation of a physical operating element 303 for changing a setting of the controlled device 103.
Das Verfahren 400 umfasst weiter das Ausgeben 402 des Bildes 305 auf einer Eingabe/Ausgabeeinheit 104 des Steuergeräts 101 . Die Eingabe/Ausgabeeinheit 104 kann dabei insbesondere einen berührungsempfindlichen Bildschirm umfassen. Das Verfahren 400 kann umfassen, das Ermitteln, dass ein Nutzer an das Steuergerät 101 herantritt (dies kann z.B. durch einen IR Sensor und/oder durch einen Bewegungssensor ermittelt werden). Das Bild 305 der Bedienschnittstelle 203 kann dann erst in Reaktion darauf ausgegeben wird, dass ermittelt wird, dass ein Nutzer an das Steuergerät 101 herantritt. So kann ein Energieverbrauch des Steuergeräts 101 reduziert werden und/oder ein Bedienkomfort erhöht werden. The method 400 further comprises outputting 402 the image 305 on an input / output unit 104 of the control device 101. The input / output unit 104 may in particular comprise a touch-sensitive screen. The method 400 may include determining that a user is approaching the controller 101 (this may be determined, for example, by an IR sensor and / or by a motion sensor). The image 305 of the user interface 203 may then be output only in response to a user determining that the controller 101 is approaching. Thus, power consumption of the control unit 101 can be reduced and / or ease of operation can be increased.
Außerdem umfasst das Verfahren 400 das Überlagern 403 des ausgegebenen Bildes 305 an der ersten Position mit einen Steuerfeld 304 für das physikalische Bedienelement 303. Mit anderen Worten, das ausgegebene Bild 305 kann an der ersten Position für Eingaben über die Eingabe/Ausgabeeinheit 104 aktiviert werden. Das Steuerfeld 304 für das physikalische Bedienelement 303 kann auf einer Speichereinheit gespeichert sein. Insbesondere kann ein Identifier des gesteuerten Geräts 103 ermittelt werden, und das Steuerfeld 304 kann dann auf Basis von dem Identifier des gesteuerten Geräts 103 ermittelt werden (z.B. von der Speichereinheit geladen werden). Das Steuerfeld 304 für das physikalische Bedienelement 303 ist dabei typischerweise mit einem Steuerbefehl zur Änderung der Einstellung des gesteuerten Geräts 103 assoziiert (d.h. das Steuerfeld 304 kann dazu verwendet werden, die gleiche Einstellung zu verändern, die auch durch das entsprechende physikalische Bedienelement 303 geändert werden kann. In addition, the method 400 includes overlaying 403 the output image 305 at the first position with a control panel 304 for the physical control 303. In other words, the output image 305 may be activated at the first position for inputs via the input / output unit 104. The control panel 304 for the physical control 303 may be stored on a storage unit. In particular, an identifier of the controlled device 103 may be determined, and the control field 304 may then be determined (e.g., loaded from the storage device) based on the identifier of the controlled device 103. The physical control panel 304 is typically associated with a control command for changing the setting of the controlled device 103 (ie, the control panel 304 may be used to change the same setting that may also be changed by the corresponding physical control 303) ,
Desweiteren umfasst das Verfahren 400 das Erfassen 404 einer Betätigung des Steuerfeldes 304 anhand der Eingabe/Ausgabeeinheit 104. Insbesondere kann dabei die Betätigung des Steuerfeldes 304 eine Berührung eines berührungsempfindlichen Bildschirms des Steuergeräts 101 an der ersten Position des ausgegeben Bildes 305 umfassen. Desweiteren kann in Reaktion auf die Bestätigung des Steuerfeldes 304, der Steuerbefehls an das gesteuerte Gerät 103 gesendet werden (Schritt 405). Somit kann eine Fernbedienung durch das Steuergerät 101 ermöglicht werden. Insbesondere wird so eine effiziente und flexible Fernbedienung ermöglicht, da durch die Überlagerung des Bildes 305 der Bedienschnittstelle 203 mit ein oder mehreren Steuerfeldern 304 in kosteneffektiver und flexibler Weise eine virtuelle Bedienschnittstelle 204 bereitgestellt werden kann. The method 400 further comprises detecting 404 an actuation of the control panel 304 based on the input / output unit 104. In particular, the actuation of the control panel 304 may include touching a touch-sensitive screen of the controller 101 at the first position of the output image 305. Furthermore, in response to the confirmation of the control panel 304, the Control command to the controlled device 103 are sent (step 405). Thus, remote control by the controller 101 can be enabled. In particular, such an efficient and flexible remote control is made possible because a virtual user interface 204 can be provided in a cost-effective and flexible manner by overlaying the image 305 of the user interface 203 with one or more control panels 304.
Das Ermitteln 401 des Bildes 305 der Bedienschnittstelle 203 kann das Erfassen eines Bildes 305 einer physikalischen Bedienschnittstelle 203 des gesteuerten Geräts 103 mit einem optischen Sensor 200 (z.B. mit einer Bildkamera) umfassen. Das erfasste Bild 305 kann dann an das Steuergerät 101 übermittelt werden (z.B. in einem passiven Datenformat wie Bitmap, PNG oder JPEG). So kann gewährleistet werden, dass die optische Erscheinungsform der virtuellen Bedienschnittstelle 204 mit der optischen Erscheinungsform der physikalischen Bedienschnittstelle 203 übereinstimmt. Es kann somit die Fernbedienung für einen Nutzer erleichtet werden. The determining 401 of the image 305 of the user interface 203 may include capturing an image 305 of a physical control interface 203 of the controlled device 103 with an optical sensor 200 (e.g., with an image camera). The captured image 305 may then be communicated to the controller 101 (e.g., in a passive data format such as bitmap, PNG, or JPEG). Thus, it can be ensured that the visual appearance of the virtual user interface 204 matches the visual appearance of the physical user interface 203. Thus, the remote control can be made easy for a user.
Das physikalische Bedienelement 303 der Bedienschnittstelle 203 kann ein oder mehrere Einstellungen des gesteuerten Geräts 103 ermöglichten. In entsprechender Weise kann typischerweise auch das Steuerfeld 304 für das physikalische Bedienelement 303 mit ein oder mehreren Steuerbefehlen assoziiert sein, die die ein oder mehreren gleichen Einstellungen des gesteuerten Geräts 103 bewirken. So kann eine Konsistenz zwischen physikalischer Bedienschnittstelle 203 und virtueller Bedienschnittstelle 204 gewährleistet werden. The physical control 303 of the control interface 203 may enable one or more settings of the controlled device 103. Likewise, typically, the physical control panel 304 may be associated with one or more control commands that effect the one or more same settings of the controlled device 103. Thus, a consistency between the physical user interface 203 and the virtual user interface 204 can be ensured.
Das physikalische Bedienelement 303 der Bedienschnittstelle 203 kann typischerweise durch eine bestimmte Bewegung eines Nutzers betätigt werden, um eine entsprechende bestimmte Einstellung des gesteuerten Geräts 103 zu bewirken. In entsprechender Weise kann das Steuerfeld 304 für das physikalische Bedienelement 303 mit der gleichen oder einer entsprechenden bestimmten Bewegung des Nutzers betätigt werden, um das Aussenden eines Steuerbefehls zu bewirken, durch den die entsprechende bestimmte Einstellung des gesteuerten Geräts 103 bewirkt wird. Beispielsweise kann das physikalische Bedienelement 303 einen Drehregler umfassen und das entsprechende Steuerfeld 304 kann durch eine kreisförmige Bewegung auf der Eingabe/Ausgabeeinheit 104 betätigt werden. Alternativ oder ergänzend kann das physikalische Bedienelement 303 eine Taste umfassen und das entsprechende Steuerfeld 304 kann durch eine Drückbewegung auf der Eingabe/Ausgabeeinheit 104 betätigt werden kann. Alternativ oder ergänzend kann das physikalische Bedienelement 303 einen Schieberegler umfassen und das entsprechende Steuerfeld 304 kann durch eine geradlinige Bewegung auf der Eingabe/Ausgabeeinheit 104 betätigt werden. So kann gewährleistet werden, dass ein Nutzer das gesteuerte Geräts 103 in gleicher Weise über die physikalische Bedienschnittstelle 203 und über die virtuelle Bedienschnittstelle 204 bedienen kann. The physical control 303 of the control interface 203 may typically be actuated by a particular movement of a user to effect a corresponding particular adjustment of the controlled device 103. Similarly, the physical control panel 304 may be actuated with the same or a corresponding particular user movement to effect the transmission of a control command that effects the corresponding particular setting of the controlled device 103. For example, the physical control element 303 may include a rotary control and the corresponding control panel 304 may be actuated by a circular motion on the input / output unit 104. Alternatively or additionally, the physical operating element 303 may include a button and the corresponding control panel 304 may be actuated by a push on the input / output unit 104. Alternatively or additionally, the physical control element 303 may include a slider, and the corresponding control panel 304 may be actuated by a rectilinear motion on the input / output unit 104. This ensures that a user can operate the controlled device 103 in the same way via the physical user interface 203 and via the virtual user interface 204.
Ggf. kann auf der virtuellen Bedienschnittstelle 204 ein Steuerfeld für eine Bestätigung bereitgestellt werden. Durch ein derartiges zusätzliches Steuergeld kann eine vorgenommene Änderung von Einstellungen an der virtuellen Bedienschnittstelle 204 bestätigt werden, bevor entsprechende Steuerbefehle an das gesteuerte Gerät 103 gesendet werden. Dies kann insbesondere bei sicherheitsrelevanten Einstellungen (z.B. bei dem Blockieren einer Gaszufuhr) sinnvoll sein. Das gesteuerte Gerät 103 kann eine Vielzahl von physikalischen Bedienelementen 303 an unterschiedlichen Positionen der physikalischen Bedienschnittstelle 203 umfassen. Das ausgegebene Bild 305 umfasst dann für jede der Vielzahl von physikalischen Bedienelementen 303 eine graphische Darstellung an den entsprechenden unterschiedlichen Positionen. Jede der graphischen Darstellungen kann mit einem entsprechenden Steuerfeld 304 für das entsprechende Bedienelement 303 überlagert werden. So kann eine vollständige Abbildung der physikalischen Bedienschnittstelle 203 durch eine virtuelle Bedienschnittstelle 204 bewirkt werden. Possibly. For example, a control panel may be provided for confirmation on the virtual control interface 204. Such additional control money may confirm a change in settings made to the virtual control interface 204 before sending appropriate control commands to the controlled device 103. This may be useful, in particular in the case of safety-relevant settings (for example, when blocking a gas supply). The controlled device 103 may include a plurality of physical controls 303 at different locations of the physical control interface 203. The output image 305 then includes, for each of the plurality of physical controls 303, a graphical representation at the respective different positions. Each of the graphical representations may be overlaid with a corresponding control panel 304 for the corresponding control element 303. Thus, a complete mapping of the physical user interface 203 can be effected by a virtual user interface 204.
Alternativ oder ergänzend können Voreinstellungen (z.B. Profile) angeboten und gespeichert werden. Durch eine gespeicherte Voreinstellung kann automatisch eine Kombination von Einstellungen an der virtuellen Bedienschnittstelle 204 vorgenommen werden und/oder entsprechende Steuerbefehle an das gesteuerte Gerät 103 gesendet werden. So können zeitaufwändige Einstellungen vereinfacht werden. Das Verfahren 400 kann weiter das Ausgeben einer graphischen Darstellung an der ersten Position des ausgegebenen Bildes 305 umfassen, wobei durch die graphische Darstellung eine durch den Steuerbefehl bewirkte Einstellungsänderung des gesteuerten Geräts 103 angezeigt wird. So kann gewährleistet werden, dass der Nutzer die geänderte Einstellung auf der virtuellen Bedienschnittstelle 204 wahrnehmen kann, auch wenn die geänderte Einstelllung nicht auf der physikalischen Bedienschnittstelle 203 angezeigt wird. Alternativ oder ergänzend kann bewirkt werden, dass durch ein oder mehreren Aktuatoren an dem gesteuerten Gerät 103 die geänderte Einstellung an ein oder mehreren physikalischen Bedienelementen 303 umgesetzt wird. Alternatively or additionally, presettings (eg profiles) can be offered and saved. A stored presetting can automatically make a combination of settings on the virtual user interface 204 and / or send corresponding control commands to the controlled device 103. This can simplify time-consuming adjustments. The method 400 may further include outputting a graphical representation at the first position of the output image 305, wherein the graphic representation indicates a setting change of the controlled device 103 caused by the control command. This ensures that the user changes the ones Adjustment on the virtual operator interface 204, even if the changed setting is not displayed on the physical user interface 203. Alternatively or additionally, it can be effected that the changed setting is converted to one or more physical operating elements 303 by one or more actuators on the controlled device 103.
Das in diesem Dokument beschrieben Verfahren und System ermöglichen eine Vielzahl von Vorteilen. Insbesondere kann auf einem Steuergerät 101 die gleiche Bedienlogik wie auf einem gesteuerten Originalgerät 103 bereitgestellt werden. Dadurch muss sich ein Nutzer nicht umgewöhnen. Außerdem ist für die Bedienung keine zusätzliche App erforderlich. Desweiteren ist die beschriebene Lösung offen für eine Vielzahl von unterschiedlichen gesteuerten Geräten 103. Insbesondere können auch ältere Geräte 103 in einem vernetzten Haushalt verwendet und ferngesteuert werden. Das zentrale Steuergerät 101 kann als zentraler Bedienhub für alle Geräte 103 eines Haushalts verwendet werden, und so zu einer erhöhten Sicherheit beitragen. Beispielsweise kann das Steuergerät 101 auf einem Kühlschrank angeordnet sein. The method and system described in this document provide a number of advantages. In particular, the same operating logic as on a controlled original device 103 can be provided on a control device 101. As a result, a user does not have to get used to it. In addition, no additional app is required for the operation. Furthermore, the solution described is open to a variety of different controlled devices 103. In particular, older devices 103 can be used in a networked household and remotely controlled. The central control unit 101 can be used as a central operating stroke for all appliances 103 of a household, and thus contribute to increased safety. For example, the controller 101 may be disposed on a refrigerator.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen. The present invention is not limited to the embodiments shown. In particular, it should be noted that the description and figures are intended to illustrate only the principle of the proposed methods, apparatus and systems.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
101 Steuergerät 101 control unit
102 (ggf. drahtloses) Netzwerk  102 (possibly wireless) network
103 gesteuertes Gerät  103 controlled device
104 Eingabe/Ausgabeeinheit des Steuergeräts 101  104 input / output unit of the control unit 101
1 10 externer Rechner  1 10 external computer
1 1 1 Speichereinheit des Rechners 1 10  1 1 1 Memory unit of the computer 1 10
200 optischer Sensor  200 optical sensor
203 physikalische Bedienschnittstelle  203 physical user interface
204 virtuelle Bedienschnittstelle  204 virtual user interface
303 physikalisches Bedienelement  303 physical control
304 Steuerfeld  304 control panel
305 Bild einer physikalischen Bedienschnittstelle  305 Picture of a physical user interface
400 Verfahren zur Fernbedienung eines gesteuerten Geräts 103 400 Method for remote control of a controlled device 103
401 , 402, 403, 404, 405 401, 402, 403, 404, 405
Schritte des Verfahrens 400  Steps of the method 400

Claims

PATENTANSPRÜCHE
Verfahren (400) zur Fernbedienung eines gesteuerten Geräts (103) mittels eines Steuergeräts (101 ), welches über ein Netzwerk (102) mit dem gesteuerten Gerät (103) verbunden ist; wobei das Verfahren (400) umfasst, A method (400) for remote control of a controlled device (103) by means of a control device (101) which is connected to the controlled device (103) via a network (102); the method comprising (400)
- Ermitteln (401 ) eines Bildes (305) einer Bedienschnittstelle (203) für das gesteuerte Gerät (103); wobei das Bild (305) an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements (303) zur Änderung einer Einstellung des gesteuerten Geräts (103) umfasst; - determining (401) an image (305) of a control interface (203) for the controlled device (103); wherein the image (305) at a first position comprises a graphical representation of a physical operating element (303) for changing a setting of the controlled device (103);
- Ausgeben (402) des Bildes (305) auf einer Eingabe/Ausgabeeinheit (104) des Steuergeräts (101 ); - outputting (402) the image (305) on an input / output unit (104) of the controller (101);
- Überlagern (403) des ausgegebenen Bildes (305) an der ersten Position mit einem Steuerfeld (304) für das physikalische Bedienelement (303); wobei das Steuerfeld (304) mit einem Steuerbefehl zur Änderung der Einstellung des gesteuerten Geräts (103) assoziiert ist; - overlaying (403) the output image (305) at the first position with a control panel (304) for the physical control (303); the control panel (304) being associated with a control command for changing the setting of the controlled device (103);
- Erfassen (404) einer Betätigung des Steuerfeldes (304) anhand der Eingabe/Ausgabeeinheit (104); und - detecting (404) an operation of the control panel (304) based on the input / output unit (104); and
- in Reaktion auf die Bestätigung des Steuerfeldes (304), Senden (405) des Steuerbefehls an das gesteuerte Gerät (103). in response to the acknowledgment of the control field (304), sending (405) the control command to the controlled device (103).
Verfahren (400) gemäß Anspruch 1 , wobei das Ermitteln (401 ) des Bildes (305) der Bedienschnittstelle (203) umfasst, The method (400) of claim 1, wherein determining (401) the image (305) comprises the operator interface (203).
- Erfassen eines Bildes (305) einer physikalischen Bedienschnittstelle (203) des gesteuerten Geräts (103) mit einem optischen Sensor (200); und - capturing an image (305) of a physical control interface (203) of the controlled device (103) with an optical sensor (200); and
- Übermitteln des erfassten Bildes (305) an das Steuergerät (101 ). 3) Verfahren (400) gemäß Anspruch 2, wobei der optische Sensor (200) eine Kamera umfasst. - Transmission of the captured image (305) to the control unit (101). 3) The method (400) of claim 2, wherein the optical sensor (200) comprises a camera.
4) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei 4) Method (400) according to one of the preceding claims, wherein
- das physikalische Bedienelement (303) ein oder mehreren Einstellungen des gesteuerten Geräts (103) ermöglicht; und - the physical operating element (303) enables one or more settings of the controlled device (103); and
- das Steuerfeld (304) für das physikalische Bedienelement (303) mit ein oder mehreren Steuerbefehlen assoziiert ist, die die ein oder mehreren Einstellungen des gesteuerten Geräts (103) bewirken. - The control panel (304) for the physical control (303) is associated with one or more control commands that effect the one or more settings of the controlled device (103).
5) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei 5) Method (400) according to one of the preceding claims, wherein
- das physikalische Bedienelement (303) durch eine bestimmte Bewegung eines Nutzers betätigt werden kann, um eine entsprechende bestimmte Einstellung des gesteuerten Geräts (103) zu bewirken; und das Steuerfeld (304) für das physikalische Bedienelement (303) mit der gleichen oder einer entsprechenden bestimmten Bewegung des Nutzers betätigt werden kann, um das Aussenden eines Steuerbefehls zu bewirken, durch den die entsprechende bestimmte Einstellung des gesteuerten Geräts (103) bewirkt wird. 6) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei - the physical operating element (303) can be actuated by a specific movement of a user to effect a corresponding specific setting of the controlled device (103); and the control panel (304) for the physical control (303) can be operated with the same or a corresponding particular movement of the user to cause the transmission of a control command that effects the corresponding particular setting of the controlled device (103). 6) Method (400) according to one of the preceding claims, wherein
- das physikalische Bedienelement (303) einen Drehregler umfasst und das entsprechende Steuerfeld (304) durch eine kreisförmige Bewegung auf der Eingabe/Ausgabeeinheit (104) betätigt werden kann; und/oder - the physical control element (303) comprises a rotary control and the corresponding control panel (304) can be actuated by a circular movement on the input / output unit (104); and or
- das physikalische Bedienelement (303) eine Taste umfasst und das entsprechende Steuerfeld (304) durch eine Drückbewegung auf der Eingabe/Ausgabeeinheit (104) betätigt werden kann; und/oder - das physikalische Bedienelement (303) einen Schieberegler umfasst und das entsprechende Steuerfeld (304) durch eine geradlinige Bewegung auf der Eingabe/Ausgabeeinheit (104) betätigt werden kann. 7) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei - the physical control element (303) comprises a button and the corresponding control panel (304) can be actuated by a pushing movement on the input / output unit (104); and or - The physical control element (303) comprises a slider and the corresponding control panel (304) by a rectilinear movement on the input / output unit (104) can be actuated. 7) Method (400) according to one of the preceding claims, wherein
- die Eingabe/Ausgabeeinheit (104) einen berührungsempfindlichen Bildschirm umfasst; und - die Betätigung des Steuerfeldes (304) eine Berührung des berührungsempfindlichen Bildschirms an der ersten Position des ausgegeben Bildes (305) umfasst. the input / output unit (104) comprises a touch-sensitive screen; and - the actuation of the control panel (304) comprises touching the touch-sensitive screen at the first position of the output image (305).
Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei Method (400) according to one of the preceding claims, wherein
- das gesteuerte Gerät (103) eine Vielzahl von physikalischen Bedienelementen- The controlled device (103) a variety of physical controls
(303) an unterschiedlichen Positionen einer physikalischen Bedienschnittstelle (203) umfasst; - das ausgegebene Bild (305) für jede der Vielzahl von physikalischen(303) at different positions of a physical operator interface (203); the output image (305) for each of the plurality of physical
Bedienelementen (303) eine graphische Darstellung umfasst; und Operating elements (303) comprises a graphical representation; and
- jede der graphischen Darstellungen mit einem entsprechenden Steuerfeld- Each of the graphs with a corresponding control field
(304) für das entsprechende Bedienelement (303) überlagert wird. (304) for the corresponding control element (303) is superimposed.
9) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei das gesteuerte Gerät (103) ein Hausgerät, z.B. einen Ofen, eine Spülmaschine, eine Waschmaschine, oder einen Trockner, umfasst. 10) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, weiter umfassend, 9) Method (400) according to one of the preceding claims, wherein the controlled device (103) has a domestic appliance, e.g. an oven, a dishwasher, a washing machine, or a dryer. 10) Method (400) according to one of the preceding claims, further comprising
- Ermitteln von einem Identifier des gesteuerten Geräts (103); und - Ermitteln des Steuerfeldes (304) auf Basis von dem Identifier. - determining an identifier of the controlled device (103); and - Determining the control field (304) based on the identifier.
1 1 ) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, weiter umfassend, - Ausgeben einer graphischen Darstellung an der ersten Position des ausgegebenen Bildes (305), durch die eine durch den Steuerbefehl bewirkte Einstellungsänderung des gesteuerten Geräts (103) angezeigt wird. 1 1) The method (400) according to one of the preceding claims, further comprising - outputting a graphical representation at the first position of the output image (305), by which an adjustment change of the controlled device (103) caused by the control command is indicated.
12) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei 12) Method (400) according to one of the preceding claims, wherein
- das Verfahren (400) weiter umfasst, das Ermitteln, dass ein Nutzer an das Steuergerät (101 ) herantritt; und - the method (400) further comprises determining that a user approaches the controller (101); and
- das Bild (305) der Bedienschnittstelle (203) erst in Reaktion darauf ausgegeben wird, dass ermittelt wird, dass ein Nutzer an das Steuergerät- The image (305) of the user interface (203) is issued only in response to the fact that it is determined that a user to the control unit
(101 ) herantritt. (101) approach.
13) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei das Netzwerk (102) ein drahtloses Netzwerk umfasst. The method of claim 1, wherein the network comprises a wireless network.
14) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei das gesteuerte Gerät (103) und das Steuergerät (101 ) örtlich voneinander getrennt sind. 14) Method (400) according to one of the preceding claims, wherein the controlled device (103) and the control device (101) are spatially separated from each other.
15) Steuergerät (101 ), das eingerichtet ist, ein gesteuertes Gerät (103) zu bedienen, wobei das Steuergerät (101 ) umfasst, 15) control unit (101), which is set up to operate a controlled device (103), wherein the control device (101) comprises
- eine Kommunikationseinheit, die eingerichtet ist, über ein Netzwerk (102) mit dem gesteuerten Gerät (103) zu kommunizieren; - eine Eingabe/Ausgabeeinheit (104), die eingerichtet ist, ein Bild (305) auszugeben und eine Betätigung eines mit dem Bild (305) überlagerten Steuerfeldes (304) zu erfassen; und - einen Prozessor, der eingerichtet ist, a communication unit configured to communicate with the controlled device (103) via a network (102); - an input / output unit (104) arranged to output an image (305) and to detect an operation of a control field (304) superimposed on the image (305); and a processor that is set up
- ein Bild (305) einer Bedienschnittstelle (203) für das gesteuerte Gerät (103) zu ermitteln; wobei das Bild (305) an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements (303) der Bedienschnittstelle (203) umfasst; - to determine an image (305) of a control interface (203) for the controlled device (103); wherein the image (305) at a first position comprises a graphical representation of a physical control (303) of the operator interface (203);
- das Bild (305) auf der Eingabe/Ausgabeeinheit (104) auszugeben; - output the image (305) on the input / output unit (104);
- das ausgegebene Bild an der ersten Position mit einen Steuerfeld (304) für das physikalische Bedienelement (303) zu überlagern; wobei dasto overlay the output image at the first position with a control panel (304) for the physical control (303); the
Steuerfeld (304) mit einem Steuerbefehl für das gesteuerte Gerät (103) assoziiert ist; Control field (304) associated with a control command for the controlled device (103);
- eine Betätigung des Steuerfeldes (304) anhand der Eingabe/Ausgabeeinheit (104) zu erfassen; und to detect an operation of the control panel (304) on the input / output unit (104); and
- in Reaktion auf die Bestätigung des Steuerfeldes (304), den Steuerbefehl an das gesteuerte Gerät (103) zu senden. to send the control command to the controlled device (103) in response to the acknowledgment of the control field (304).
PCT/EP2015/069270 2014-09-03 2015-08-21 Method and apparatus for central control of networked electrical appliances in a building WO2016034441A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014217615.8 2014-09-03
DE102014217615.8A DE102014217615A1 (en) 2014-09-03 2014-09-03 Method and device for central operation of networked electrical devices in a house

Publications (1)

Publication Number Publication Date
WO2016034441A1 true WO2016034441A1 (en) 2016-03-10

Family

ID=54014800

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/069270 WO2016034441A1 (en) 2014-09-03 2015-08-21 Method and apparatus for central control of networked electrical appliances in a building

Country Status (2)

Country Link
DE (1) DE102014217615A1 (en)
WO (1) WO2016034441A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017219260A1 (en) * 2017-10-26 2019-05-02 BSH Hausgeräte GmbH Control of a household appliance
DE102022213646B3 (en) 2022-12-14 2024-05-23 BSH Hausgeräte GmbH Demonstration of a household appliance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004203A (en) * 2009-07-07 2011-01-13 삼성전자주식회사 Apparatus for controlling remote device and method for providing user interface thereof
US20110037609A1 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US20110138317A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Augmented remote controller, method for operating the augmented remote controller, and system for the same
US20120293551A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated User interface elements augmented with force detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004203A (en) * 2009-07-07 2011-01-13 삼성전자주식회사 Apparatus for controlling remote device and method for providing user interface thereof
US20110037609A1 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US20110138317A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Augmented remote controller, method for operating the augmented remote controller, and system for the same
US20120293551A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated User interface elements augmented with force detection

Also Published As

Publication number Publication date
DE102014217615A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
EP2710777B1 (en) Home automation control system and method for controlling a device in a home automation system
EP3058427B1 (en) Method and system for remotely operating a machine tool by means of a mobile communication device
EP3084742B1 (en) Portable control apparatus for remote control of a plurality of domestic appliances, system, corresponding method and computer program product
EP3189383B1 (en) Generic operating element for networked domestic appliances
DE102011077572A1 (en) Method for operating a program-controlled household appliance, household appliance and system with a household appliance
DE102014007177A1 (en) System for controlling at least one domestic appliance
WO2017093234A1 (en) Manipulator system and method for identifying operating devices
WO2016034441A1 (en) Method and apparatus for central control of networked electrical appliances in a building
US20160117086A1 (en) Method of setting user interface of remote control system
DE102013219053B4 (en) Method for providing a graphical user interface for a user of a household appliance by means of a portable communication terminal, computer program product and portable communication terminal
EP3116167B1 (en) Room control using smart phone sensors
DE102014210000A1 (en) Local operation of devices of an installation bus
DE102013210525A1 (en) Building automation system
EP3456005B1 (en) Mobile communication device having a user interface depiction on the basis of a parameter captured on an interface
DE102014117117B3 (en) Method for controlling at least one actuator with a portable control unit
EP2634969A2 (en) Method for operating a system for home automation and a home automation control system
DE102016124894A1 (en) Method and device for creating a user interface for operating a building automation system by means of a cleaning robot, cleaning robot and building automation system
WO2016134935A1 (en) Method and system for projecting information in a room
WO2015075031A1 (en) Method for allowing a user to remotely operate and/or monitor household appliances via operating inputs on a communication device of the user, and corresponding system
DE102015220830A1 (en) household appliance
EP3701847A1 (en) Kitchen appliance and method for operating same
AT515724B1 (en) User configurable automation installation
DE102019207840A1 (en) Procedure and system for the authorization of a process execution
DE202021105053U1 (en) Control system with reliable input
DE102015107143A1 (en) Method and device for controlling at least one domestic appliance in a household and system for building automation for a household

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15756883

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15756883

Country of ref document: EP

Kind code of ref document: A1