WO2014098477A1 - 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치 - Google Patents

홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치 Download PDF

Info

Publication number
WO2014098477A1
WO2014098477A1 PCT/KR2013/011821 KR2013011821W WO2014098477A1 WO 2014098477 A1 WO2014098477 A1 WO 2014098477A1 KR 2013011821 W KR2013011821 W KR 2013011821W WO 2014098477 A1 WO2014098477 A1 WO 2014098477A1
Authority
WO
WIPO (PCT)
Prior art keywords
home
user
control command
control
information
Prior art date
Application number
PCT/KR2013/011821
Other languages
English (en)
French (fr)
Inventor
이근철
권지현
김경재
최재원
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP13865350.6A priority Critical patent/EP2938022A4/en
Priority to CN201380066448.7A priority patent/CN104885406B/zh
Priority to EP20164448.1A priority patent/EP3691179A1/en
Publication of WO2014098477A1 publication Critical patent/WO2014098477A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/41—Remote control of gateways
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment

Definitions

  • the present invention relates to a home network system, and more particularly to a method and apparatus for remotely controlling the operation of a home device.
  • the home network system refers to a system that enables communication between home devices by connecting various home devices installed in a home through a wired or wireless network.
  • An advanced home network system integrates home devices through a home gateway (HGW or H-GW) to connect to the public data network, for example, an Internet Protocol (IP) network (ie, the Internet).
  • IP Internet Protocol
  • home devices may be controlled according to a user's request to provide a service desired by the user.
  • the present invention provides a method and apparatus for remotely controlling the operation of a home device in a home network system.
  • the present invention provides a method and apparatus for remotely controlling the operation of a home device using a voice command in a home network system.
  • the present invention provides a method and apparatus for remotely controlling the operation of a home device for each room in a home network system.
  • the present invention provides a method and apparatus for controlling the operation of a home device based on a user profile in a home network system.
  • a remote control method includes: receiving operation status information from each of the plurality of home devices, and among the plurality of home devices from a user device; Receiving a control command for controlling the operation of at least one home device, determining a control target home device based on the control command, transmitting the control command to the determined controlled home device, Receiving processing result information according to the execution of the control command from the control target home device; and transmitting the processing result information to the user device.
  • the gateway device for remote control in a home network system including a plurality of home devices at least one communication for performing a wired / wireless communication with the plurality of home devices and the user device Receives operation status information from the module and the plurality of home devices, respectively, and receives a control command for controlling the operation of at least one home device of the plurality of home devices from the user device, based on the control command Determine a control target home device, transmit the control command to the determined control target home device, receive processing result information according to the execution of the control command from the control target home device, and transmit the processing result information to the user.
  • Control unit for controlling the operation to send to the device It includes.
  • the remote control method in a home network system including a plurality of home devices collects the operation state information of the plurality of home devices and the home gateway for controlling the operation of the plurality of home devices Transmitting a control command for controlling the operation of at least one home device of the home devices, and receiving processing result information according to the execution of the control command from the home gateway in response to the transmission of the control command; And a control command is generated by recognizing a voice command of the user.
  • the user device for remote control in a home network system including a plurality of home devices according to an embodiment of the present invention, at least one communication module for performing communication with a home gateway for controlling the operation of the plurality of home devices; Transmitting a control command for controlling an operation of at least one of the plurality of home devices to the home gateway that collects operation state information of the plurality of home devices and controls operations of the plurality of home devices; And a control unit for controlling an operation of receiving processing result information according to the execution of the control command from the home gateway in response to the transmission of the control command, wherein the control command is generated by recognizing a voice command of the user.
  • FIG. 1 is a block diagram showing the structure of a home network system according to an embodiment of the present invention
  • FIG. 2A is a block diagram illustrating a configuration of a home network system connectable with a mobile terminal according to an embodiment of the present invention
  • 2B is a block diagram illustrating a configuration of a home network system remotely controlled through a mobile terminal recognizing a voice command according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing the configuration of a home gateway according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing a configuration of a mobile terminal according to an embodiment of the present invention.
  • FIG. 5 is a block diagram showing a configuration of a home network system for remotely controlling the operation of a home device according to an embodiment of the present invention
  • FIG. 6 is a block diagram illustrating a configuration of a home network system for remotely controlling an operation of a home device by recognizing a voice command according to an embodiment of the present invention
  • FIG. 7 is a flowchart illustrating a registration procedure of a home device according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a registration procedure of a mobile terminal according to an embodiment of the present invention.
  • FIG. 9 is a view for explaining a remote control procedure performed in a home network system according to an embodiment of the present invention.
  • 10A to 12 are examples of various user interface screens displayed on a mobile terminal when performing remote control according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a remote control procedure performed in a home network system according to an embodiment of the present invention
  • FIG. 14 is a flowchart illustrating a procedure of providing an operation state of a home device as image information when performing remote control in a home network system according to an embodiment of the present invention
  • 15 is a flowchart illustrating a remote control procedure performed in a home network system according to an embodiment of the present invention
  • 16 is a flowchart illustrating a user profile based remote control procedure in a home network system according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a structure of a home network system according to an exemplary embodiment of the present invention.
  • a home network system includes home devices 110 and a home gateway (HGW) 120 having control and communication functions.
  • the home devices 110 are smart appliances 112, security devices 114, lighting devices 116, and energy devices 118 located in the home. ), And the like.
  • the smart home appliance 112 may be a refrigerator, a washing machine, a robot cleaner, and the like
  • the security device 114 may be a door lock, a security camera, a security sensor, and the like.
  • Light Emitting Diode may be a luminaire
  • the energy device 118 may be a power meter, a power socket, an electrical outlet, a power strip, or the like.
  • the home devices 110 may include a personal computer (PC), an Internet Protocol (IP) camera, an internet phone, a wired / wireless phone, a mobile phone in the home.
  • PC personal computer
  • IP Internet Protocol
  • the home devices 110 may communicate with the home gateway 110 according to a wired or wireless communication scheme, and receive the control command from the home gateway 120 and transmit the requested information to the home gateway 120.
  • the home gateway 120 includes corresponding communication modules for communicating with the home devices 110 according to a wired or wireless communication scheme, and includes a storage unit for registering and storing information of the home devices 110 and home devices. It may include a control unit for controlling the operation and state of the 110, and collect and manage necessary information from the home devices (110).
  • the home gateway 120 allows a connection by an external communication terminal (not shown) through the communication network 130, and the control signal received from the external communication terminal through the home gateway 120.
  • the communication network 130 includes at least one of an Internet Protocol (IP) network such as the Internet and a wireless network to which a mobile terminal can connect.
  • IP Internet Protocol
  • home entertainment services such as Internet TV (IPTV), Video on Demand (VoD), and the like, data sharing, Voice over IP (VoIP), and video over communication network 130
  • IPTV Internet TV
  • VoD Video on Demand
  • VoIP Voice over IP
  • video over communication network 130 Home data communication services such as telephones, home automation services such as remote control of home appliances, remote meter reading, crime prevention, and disaster prevention can be provided. That is, the home network system of FIG. 1 connects and controls all types of home devices used in the home / outside home as one network. Therefore, in the present specification, the term "household” may be understood as meaning including inside / outside the home.
  • a user connects to a home gateway 120 provided in a home network system using a wireless communication device such as an external communication terminal, for example, a mobile terminal, or each home device 110 through the home gateway 120.
  • a wireless communication device such as an external communication terminal, for example, a mobile terminal, or each home device 110 through the home gateway 120.
  • the mobile terminal may be, for example, a personal digital assistant (PDA) having a communication function, a smart phone, a mobile phone, a tablet computer, a laptop, and the like, and may be a home network system through an operator network and the Internet. Can be accessed.
  • PDA personal digital assistant
  • FIG. 2A is a block diagram illustrating a configuration of a home network system that can be connected to a mobile terminal according to an embodiment of the present invention.
  • home devices 110-1 to 110-n: 110 in a home network system are connected to the home gateway 120 by a wired or wireless communication method.
  • Home gateway 120 connects to a wired network 130a, such as the Internet.
  • the registered mobile terminal 200 accesses the wireless network 130b including the radio access network and the operator core network, and accesses the home gateway 120 via the wired network 130a connected to the wireless network 130b.
  • the wireless network 130b may be a generation (2G) or 3G cellular communication system, a 3rd generation partnership project (3GPP), a 4G communication system, a long-term evolution (LTE), a world interoperability for microwave access (WiMAX), or the like.
  • the mobile terminal 200 is provided with a remote control application for controlling the operation of the home devices 140 connected to the home gateway 120 individually, in common or in part.
  • a control command for controlling the operation of the corresponding home device 140 according to a user's key input, touch input, or gesture input is transmitted from the mobile terminal 200 to the wireless network 130b and the wired.
  • the home gateway 120 is transmitted to the home gateway 120 via the network 130a, and the home gateway 120 controls the operation of the corresponding home device 140 according to the control command.
  • FIG. 2B is a block diagram illustrating a configuration of a home network system remotely controlled through a mobile terminal recognizing a voice command according to an exemplary embodiment of the present invention.
  • At least one voice recognition sensor 115-1 to 115-m: 115 that recognizes a voice command of a user for controlling the operations of the home devices 110 by voice is described with reference to FIG. 2A.
  • the home gateway 120 is connected by wire or wirelessly.
  • the voice recognition sensor 115 may be installed in the home by being coupled to the home device 110 (that is, when the voice recognition sensor 115 is mounted on the home device 110) or separately from the home device 110. Can be. In another embodiment, the voice recognition sensor 115 may be installed in a room for each room. The voice command of the user recognized by the voice recognition sensor 115 is transferred to the home gateway 120, and the home gateway 120 reads the voice command using a voice recognition algorithm to read the corresponding home device 110. To control the operation.
  • the speech recognition algorithm may use various known speech recognition algorithms.
  • the mobile terminal 200 may access the home gateway 120 through the wireless network 130b and the wired network 130a as in the embodiment of FIG. 2A.
  • the mobile terminal 200 may recognize a voice command of the user 10 input through a microphone (not shown), and convert the voice command into a control command that can be recognized by the home gateway 120.
  • the control command may be configured in the form of a packet including identification information and control content of the home device 110.
  • the control content may include a specific operation control command as well as power on / off of the corresponding home device 110.
  • the packet transmitting the control command may include user authentication information of the corresponding mobile terminal 200.
  • FIG. 3 is a block diagram illustrating a configuration of a home gateway according to an exemplary embodiment of the present invention.
  • the home gateway 120 of FIG. 3 may include at least one or more of the illustrated components.
  • the home gateway 120 may be connected to a plurality of home devices 110-1 through 110-n using at least one communication module 122 through 126 and 132.
  • the communication modules 122 to 126 and 132 may include a wireless LAN module 122 such as WiFi, a ZigBee module 123, a Bluetooth module 124, a near-field communication (NFC) module 125, And at least one of various wireless or wired communication protocol based modules such as the Z-WAVE module 132 and the wired communication module 126.
  • the Z-WAVE module 122-6 is one of RF (Radio Frequency) technologies widely used to control a device such as home automation.
  • the home gateway 120 includes a controller 121, a network interface module 127, a user interface (UI) 128, and a storage 129.
  • UI user interface
  • the controller 121 includes a read-only memory (ROM) 121-2 and a home gateway 120 in which a CPU (Central Processing Unit) 121-1 and a control program for controlling the home gateway 120 are stored.
  • Random Access Memory (RAM) 121-3 which is used as a storage area for operations performed in the system.
  • the control unit 121 is a home device through the communication modules 122 to 126 by executing programs stored in the ROM 121-2 or the RAM 121-3 or application programs that may be stored in the storage unit 129. To communicate with the devices 110-1 to 110-n, generate a control command, transmit the information to the home devices 110-1 to 110-n, or collect information from the home devices 110-1 to 110-n. Store in the storage unit 129.
  • the user interface 128 includes an output module such as a display, a speaker, a notification lamp, and an input module (not shown) such as a touch screen, a keypad, a microphone, and the user directly controls the home gateway 120,
  • the home devices 110-1 through 110-n may be registered or deleted in the gateway 120 or may be used to control the home devices 110-1 through 110-n through the home gateway 120.
  • the network interface 127 may be an internet communication module as an example, and connects the home gateway 120 to an external network.
  • the storage unit 129 is configured to store program codes, data, or information necessary for the operation of the home gateway 120 under the control of the controller 121, and external devices or home devices 110-1 to 110, if necessary. -n) can store large amounts of data.
  • the home gateway 120 includes a voice recognition module 131 that reads the voice command transmitted from the voice recognition sensor 115 of FIG. 2B and transmits the voice command to the controller 121.
  • the voice recognition module 131 recognizes "clean” and “living room”, respectively, and "clean” is a cleaner (a cleaner) among the home devices 110. (Not shown), and read that the cleaning position is "living room.”
  • the control unit 121 transmits a control command to the cleaner among the home devices 110 to "clean" the living room through the communication modules 122 to 126.
  • the mobile terminal 200 when the user's voice command is transmitted to the home gateway 120 through the mobile terminal 200 instead of the home voice recognition sensor 115, the mobile terminal 200 is in the packet form described in the embodiment of FIG. 2B. Since the generated control command is generated and the control command is transmitted to the home gateway 120, the voice recognition module 131 of FIG. 3 may be omitted.
  • the home gateway 120 when there are a plurality of users, stores user profiles for the plurality of users, and performs voice recognition for each user through the voice recognition module 131 to recognize the corresponding user. It is also possible to control the home devices 110-1 through 110-n based on the user profile.
  • the user profile includes voice information for each user for recognizing a voice of each user, and authority information for performing control in a predetermined authority range for each user.
  • the user-specific voice information may be registered and stored to distinguish each user through the mobile terminal 200 having a voice recognition function or the home gateway 120 having the voice recognition module 131.
  • user A may have control rights to all of the home devices 110-1 to 110-n, and user B
  • the user profile may be registered and stored to have control rights only for some home devices among the home devices 110-1 to 110-n.
  • the user profile may be registered and stored through the home gateway 120 or the mobile terminal 200. It would also be possible for a user with administrator rights to adjust the control rights of another user. Control based on the user profile may be performed through the home gateway 120 or the mobile terminal 200.
  • the mobile terminal 200 may be installed with a management program for registering and storing the user profile.
  • the mobile terminal may include at least one or more of the components shown in FIG. 4.
  • the mobile terminal 200 includes a control unit 210, a cellular mobile communication module 220, a sub communication module 222, a multimedia module 228, a camera module 236, and a global positioning system (GPS).
  • the module 238 includes an input / output module 244, a sensor module 242, a storage unit 258, a power supply unit 240, and at least one display module 260.
  • the camera module 236 and the GPS module 238 may be optionally included.
  • the sub communication module 130 includes at least one of a wireless LAN module 224 and a short range communication module 226, and the multimedia module 228 includes a broadcast communication module 230, an audio play module 232, and a video play. At least one of the modules 234.
  • the camera module 236 includes at least one camera, and the input / output module 244 includes a button set 246, a microphone 248, a speaker 250, a vibration motor 252, and a connector. 254, and at least one of keypad 256.
  • the controller 210 may store a signal or data input from the CPU 210-1, a ROM 210-2 storing the control program for controlling the mobile terminal 200, and an external signal of the mobile terminal 200. And a RAM 210-3 used as a storage area for a task performed in the mobile terminal 200, and controls other components of the mobile terminal 200.
  • the cellular communication module 220 uses a radio access technology according to a cellular communication protocol under the control of the control unit 210, so that the mobile terminal 200 uses at least one or a plurality of antennas (not shown).
  • the base station of the cellular system The cellular communication module 220 transmits / receives a wireless signal including a voice call, a video call, a Short Messaging Service (SMS) message or a Multimedia Messaging Service (MMS) message with another device capable of communication.
  • SMS Short Messaging Service
  • MMS Multimedia Messaging Service
  • the cellular communication module 220 may transmit / receive a radio signal including short data for controlling an application.
  • the WLAN module 224 may connect to the Internet at a place where a wireless access point (AP) (not shown) is installed under the control of the controller 210.
  • the short range communication module 226 may wirelessly perform short range communication between the mobile terminal 200 and an external device under the control of the controller 210.
  • the short range communication method may include Bluetooth, Zigbee, infrared data association (IrDA), Z-WAVE, and the like.
  • the display 260 may be configured as a touch screen that displays information of various applications (eg, a call, data transmission, broadcast, camera, etc.) that may be executed by the controller 210 and provides a user interface configured to be adapted thereto. .
  • the controller 210 may allow a soft key displayed on the touch screen 260 to be selected or execute an application or function corresponding to the soft key in response to a user gesture detected on the touch screen.
  • the user gesture includes a touch by a finger or an instrument, a motion recognition by a human body, and the like.
  • a control command for controlling the operation of the corresponding home device 140 is generated according to an input or a gesture input using an acceleration sensor, a gyro sensor, and the like, and is transmitted to the home gateway 120.
  • the control command may be transmitted to the home gateway 120 through a communication network 130 or a communication means such as Power Line Communications (PLC), Wi-Fi, Zigbee, or the like.
  • PLC Power Line Communications
  • the storage unit 258 stores various applications, contents and data for use of the user device, and operation state information and processing result information of the home devices 140 provided from the home gateway 120 according to the remote control of the present invention. And so on.
  • the remote control application includes a voice recognition function
  • the user's voice command input through the microphone 250 is a control unit ( 210).
  • the controller 210 performs a function of the remote control application, converts the voice command into a control command that can be recognized by the home gateway 120, and transmits the voice command.
  • the control command may be configured in the form of a packet including identification information and control content of the home device 110.
  • the home device 140 performs an operation according to a control command and then feedback information indicating the processing result to the home gateway 120. Then, the home gateway 120 transmits information indicating the processing result (hereinafter, referred to as processing result information) to the user's mobile terminal 200, and the remote control application of the mobile terminal 200 displays a user interface indicating the processing result. to provide.
  • the user interface may be provided in various forms such as a sound effect, a voice message, a text message, an icon display, and an animation.
  • the user located outside may perform monitoring on the premises of the home device 110 through the mobile terminal 200.
  • the user connects to the home gateway 120 using the mobile terminal 200 or the computing device, and at least one of the home devices 110-1 to 110-n registered through the home gateway 120.
  • One can be controlled to monitor the home situation.
  • at least one of the home devices 110-1 to 110-n includes a digital camera capable of capturing an indoor situation with a still image or a video.
  • the control command of the user for controlling the home devices 140 has been described as an example of being transmitted to the home gateway 120 through the mobile terminal 200.
  • the same function can be performed using a variety of smart devices (hereinafter referred to as "user devices")-in which the remote control application can be installed-such as a bullet PC, an IP-based wired / wireless telephone, a multi-function remote control, or a smart TV.
  • the remote control application may be provided in the form of a widget.
  • the operation state of the home device 140 may be expressed in real time or periodically or by request through the widget.
  • FIG. 5 is a block diagram illustrating a configuration of a home network system for remotely controlling an operation of a home device according to an exemplary embodiment of the present disclosure. Detailed description of the same components described with reference to FIGS. 1 to 4 will be omitted.
  • the home gateway 120 registers information of the plurality of home devices 140, and collects operation state information according to the operation of the home devices 140 periodically or by request. Check the operation state of the device 140.
  • the plurality of home devices 140 register their locations for each indoor room.
  • reference numerals 140-1 to 140-n represent at least one home device located in the corresponding room, respectively.
  • the home devices 140 of FIG. 5 correspond to the home devices 110 of FIG. 1.
  • the home gateway 120 communicates with a user device such as a mobile terminal 200, a tablet PC, or a smart TV to provide operation state information of the home devices 140 to the user device.
  • a user device such as a mobile terminal 200, a tablet PC, or a smart TV to provide operation state information of the home devices 140 to the user device.
  • the mobile terminal 200 is used as the user device for convenience of description.
  • the operation state information transmitted from each home device 140 to the home gateway 120 and the processing result information according to the execution of the control command are, for example, power line communications (PLC), Wi-Fi, Zigbee ( Zigbee) may be transmitted to the home gateway 120 using a communication means.
  • the home gateway 120 may variably set the collection period of the operation state information transmitted from the home devices 140.
  • the home gateway 120 may store the floor plan information indicating the location of each indoor room, and register and manage the location of the home devices 140 for each room.
  • the floor plan information is provided to the home gateway 120 from a server (not shown) of an operator constructing a home network system, or a user directly inputs the home gateway 120 using a personal computer 210 or the like. can do.
  • the floor plan information may be provided in a form including plan views of various designs that are selective or editable when a user's home address is input through a portal site provided by the operator. In this case, the user can select or edit the floor plan design according to taste.
  • the mobile terminal 200 provides a user interface for modifying an indoor floor plan according to a user's request (eg, tearing down walls between rooms or increasing a room size).
  • a plan design desired by the user may be selected using the portal site, or may be selected through various user devices such as the mobile terminal 200 connected to the home gateway 120.
  • the current locations of the home devices 140 may be registered directly with the home gateway 120 or may be detected by using a radio frequency (RF) tag, a sensor, or the like provided in each home device 140.
  • the location information of the home devices 140 may be mapped to names of rooms where the home devices 140 are located, such as a refrigerator in a kitchen and a TV in a living room.
  • the location information may have a location that is generally installed for each home device 140 as a default value.
  • the user may drag and drop an icon of the corresponding home device 140 from one room to another room using a user interface of the indoor floor plan displayed through the mobile terminal 200, or gesture a touch.
  • the voice command may change the location of each room or in-room home device 140 on the floor plan.
  • the mobile terminal 200 receives the room-specific location information and the floor plan information of the home devices 140 from the home gateway 120 to control the operation state or control command of the entire home, room or device of the home devices 140.
  • a user interface may be provided that visually displays the results of the processing on an indoor floor plan.
  • the result of the processing of the operation state or the control command may be represented by an icon or the like separated by operation state on the user interface.
  • the voice recognition sensor 115 of FIG. 5 may be installed to correspond to the room-specific home device 140.
  • the voice command of the user recognized by the voice recognition sensor 115 installed in the specific room may be limited to be applied only to a control command for controlling the operation of the home device 140 in the room through the home gateway 120.
  • a control command according to the voice command may be applied to the corresponding home device 140.
  • the home gateway 120 may provide usage fee information by calculating a usage fee based on power consumption and power unit price information of the home devices 140.
  • the home gateway 120 transmits the calculated usage fee information to the mobile terminal 200 when the usage fee information request is received from the mobile terminal 200.
  • the mobile terminal 200 configures a bill layout, for example, and displays the usage fee through the configured bill layout.
  • the home gateway 120 registers information of home devices 140 installed in the home, and controls and manages the registered home devices 140. For example, when a new home device is installed, the home gateway 120 collects and stores information about the new home device, for example, an identifier of the home device, capacity information, and operation state information.
  • the information about the home device is obtained directly from the home device through a service discovery procedure between the home gateway 120 and the home device, or from the server on the Internet based on identification information provided from the home device. It may be received at 120, or may be input directly to the home gateway 120 from a user or a system administrator.
  • the home gateway 120 may access the manufacturer server on the Internet based on the identification information of the home device to obtain information about the home device.
  • FIG. 6 is a block diagram illustrating a configuration of a home network system that remotely controls an operation of a home device by recognizing a voice command according to an embodiment of the present invention, and for example, inputs a voice command through the mobile terminal 200.
  • a washing machine located in a room eg, a laundry room
  • a robot cleaner located in another room eg, a living room.
  • a washing machine 141 a closed circuit television (CCTV) 143, and a light 145 are installed as a fixed home device 140a in a room (eg, a laundry room).
  • the fixed home device 140a may be connected to the home gateway 120 through a wired interface or to the home gateway 120 through a wireless interface.
  • a robot cleaner 147 having a function of moving to a mobile home device is located.
  • the robot cleaner 147 may be connected to the home gateway 120 through a wireless interface.
  • the voice command of the user 10 for controlling the operation of the washing machine 141 is generated as a control command through the mobile terminal 200 and transmitted to the home gateway 120.
  • the operation of the washing machine 141 is controlled according to the control command.
  • the closed circuit television (CCTV) 143 and the lamp 145 together in the same manner.
  • the video information including the operating state of the washing machine 141 that is turned on and is transmitted through the closed circuit television (CCTV) 143 may be received through the mobile terminal 200.
  • FIG. 7 is a flowchart illustrating a registration procedure of a home device according to an embodiment of the present invention.
  • the home device 140 is installed and operating power is supplied.
  • the user determines to register with the home gateway 120 with respect to the pre-installed home device 140.
  • the home gateway 120 performs a search procedure for the home device 140.
  • the home gateway 120 performs a discovery procedure for a new home device in the vicinity periodically or at the request of the user. .
  • the home gateway 120 receives home device information from the home device 140.
  • the home device information includes at least one of identification information of the home device 140 and performance information.
  • the identification information may include a product code indicating a product type (air conditioner, refrigerator, LED light, etc.) of the corresponding home device 140.
  • the home gateway 120 registers a registration request for the home device 140 to be registered through its user interface or an external interface or through a computer on the Internet in step 705. Directly received from the user, and receives information about the home device 140 from the user. In another embodiment, the home gateway 120 obtains identification information about the home device 140 from the home device 140 or from the user, and accesses the manufacturer server of the corresponding home device 140 based on the identification information. By doing so, performance information on the home device 140 may be obtained.
  • the home gateway 120 stores information about the home device 140 and manages it as a registered home device 140.
  • the home gateway 120 may receive additional information about the home device 140 directly from the user or from a remote terminal through the Internet or Wi-Fi.
  • the additional information may include at least one of a name or an alias of the home device 140 and a location where the home device 140 is installed.
  • the home gateway 120 may receive additional information on the operation mode and / or authority of the home device 140 directly from the user, from the remote terminal through the Internet or Wi-Fi.
  • the additional information includes, for example, the level of access authority for the home device 140.
  • the level of access authority may be, for example, allowing only access through the home gateway 120, allowing access by a registered remote terminal, or allowing access by a remote terminal registered with the home gateway 120. Include.
  • the home gateway 120 establishes a connection with the home device 140.
  • the connection setting is performed according to a procedure determined according to a WiFi, Zigbee, Bluetooth, NFC, or wired communication method according to a communication method between the home gateway 120 and the home device 140.
  • the home device 140 may transmit data to the home gateway 120 through the set connection.
  • the home device 140 transmits the operation state information to the home gateway 120 periodically or at the request of the home gateway 120.
  • the home gateway 120 may transmit a control command to the home device 140.
  • the control command may be transmitted from the mobile terminal 200 to the home device 140 through the home gateway 120 as in the embodiment of the present invention.
  • control command may be set to match the characteristics of each product in consideration of the product type of the home device 140.
  • the control command may also be set to maintain the current operating condition or to change the operating condition step by step.
  • control command may be set in common to the plurality of home devices 140 or different control commands may be set for each of the plurality of home devices 140.
  • the control command is transmitted from the user device to the home gateway 120 through a user's key input or touch input, gesture or voice command, and the home gateway 120 transmits the transferred control command to the corresponding home device 140. do.
  • FIG. 8 is a flowchart illustrating a registration procedure of a mobile terminal according to an embodiment of the present invention.
  • the mobile terminal 200 installs a remote control application that supports remote control of the home gateway 120.
  • the remote control application may be limited to be installed only in the mobile terminal 200 of the user who has passed a predetermined authentication procedure.
  • the home gateway 120 provides an authentication number
  • the home gateway 120, a manufacturer server managing the home gateway 120, or an external server providing a remote control application moves the user who inputs the authentication number. Only the terminal 200 may allow downloading of the remote control application.
  • the remote control application may provide a limited function according to the permission level of the mobile terminal 200.
  • the remote control application may allow a function for at least one of querying information through the home gateway 120, receiving alarm information from the home gateway 120, partial control or complete control of the home devices 140. It can be provided selectively depending on the privilege level.
  • the permission level may be set through the home gateway 120 or through an external server providing a manufacturer server or a remote control application managing the home gateway 120.
  • the mobile terminal 200 executes the remote control application and transmits a registration request message to the home gateway 120 through the remote control application.
  • the remote control application may be delivered to the home gateway 120 via the Internet or directly to the home gateway 120 via WiFi.
  • the registration request message includes at least one of an identifier (eg, MSID (MSID) or International Mobile Subscriber Identify (IMSI)), login ID and password, authorization information, and operation mode information of the mobile terminal 200.
  • MSID MSID
  • IMSI International Mobile Subscriber Identify
  • the home gateway 120 requests a registration request for the mobile terminal 200 to be registered through its user interface or through a control console connected by an external interface or through a computer on the Internet.
  • information about the mobile terminal 200 for example, authority information and / or operation mode information may be input from the user.
  • the home gateway 120 manages subscriber information of a corresponding mobile communication system based on identification information obtained from the mobile terminal 200 or identification information of the mobile terminal 200 obtained from a user.
  • the mobile terminal 200 may be authenticated by accessing the server.
  • the home gateway 120 may generate the authority information of the mobile terminal 200 according to the authentication result.
  • the home gateway 120 stores information about the mobile terminal 200 and manages it as a registered mobile terminal 200.
  • the home gateway 120 transmits a registration approval message indicating that the information on the mobile terminal 200 has been successfully registered to the mobile terminal 200.
  • the home gateway 120 may transmit data required for remote control of the home devices 140 to the mobile terminal 200.
  • the data includes, for example, operating state information of the home devices 140.
  • step 815 the user of the mobile terminal 200 having received the operation state information sends a control command to the home gateway 120 to control the operation of the home device 140 using a user interface provided through the remote control application.
  • Can transmit The control command is transmitted from the mobile terminal 200 of FIG. 4 to the home gateway 120 through a gesture or voice command such as a user's key input or touch input, and the home gateway 120 corresponds to the transmitted control command. It may be delivered to the home device 140.
  • processing result information of the home device 140 that performs the operation according to the control command may be provided to the mobile terminal 200 as feedback information.
  • FIG. 9 is a diagram illustrating a remote control procedure performed in a home network system according to an embodiment of the present invention.
  • the mobile terminal 200 is used as a user device as in the example of FIG. 6, and among the home devices through voice commands, home devices 140a located in a laundry room and robot cleaners located in a living room ( Assume a case of controlling the operation of 147).
  • the mobile terminal 200 executes a remote control application for remote control of the home device.
  • the mobile terminal 200 provides an icon 1001 for executing an installed remote control application.
  • the mobile terminal 200 detects a user gesture 1003, for example, a touch on the icon 1001, the mobile terminal 200. 200 executes a remote control application.
  • the mobile terminal 200 When the remote control application is executed as described above, the mobile terminal 200 provides a guidance message 1005 and an icon 1007 for inputting a voice command as shown in FIG.
  • a voice command such as "washing machine driving” or “starting washing” is input
  • the voice command of the user 10 is transmitted through the mobile terminal 200 to control information corresponding to the identification information of the washing machine 141 and the washing machine driving command, and the user.
  • a control command in the form of a packet including authentication information is generated and transmitted to the home gateway 120 through the communication network 130.
  • the home gateway 120 After receiving the control command in step 903, the home gateway 120 confirms that the corresponding user 10 is an authenticated user through user authentication information, and then confirms that the control target home device is the washing machine 141 through the identification information. Then, the control command for starting washing is transmitted to the washing machine 141.
  • the washing machine 141 when the power of the washing machine 141 is turned off, the washing machine 141 is first driven on, and then a control command for starting washing is transmitted.
  • the home gateway 120 receiving the control command may check the power on / off state and the operation state of the corresponding home device.
  • the home gateway 120 stops the execution of the control command and inoperates or malfunctions of the home device. Sends a message informing to the mobile terminal 200.
  • the washing machine 141 when the washing machine 141 is being driven, when the user inputs a voice command of the user through a remote control application, for example, a voice cleaner such as "cleaner driving” or “cleaning ⁇ " as described above, the user 10
  • the voice command of is generated as a control command in the form of a packet including identification information of the robot cleaner 147, control contents corresponding to the cleaner driving command, and user authentication information through the mobile terminal 200, thereby communicating the communication network 130. It is delivered to the home gateway 120 through.
  • step 905 the home gateway 120 transmits a control command to start cleaning in the same manner as the washing machine operation control in step 903 and to the robot cleaner 147 located in another room (eg, a living room).
  • the operation state information of the robot cleaner 147 may be delivered to the home gateway 120 periodically or by request, and the operation state information may be provided to the mobile terminal 200 in step 909. Then, when the washing machine 141 and the robot cleaner 147 complete the execution of the corresponding control command, the processing result information is transmitted to the home gateway 120, respectively, and the home gateway 120 moves the received processing result information. Transmit to the terminal 200.
  • step 901 when the control target home device is selected or the overall operation state of the in-home home devices is to be checked, the user 10 informs the home gateway 120 of the home floor plan information including the operation state information of the home devices. You can request the transmission of.
  • FIG. 11 is a diagram illustrating an example of plan view information transmitted to a mobile terminal in a home network system according to an exemplary embodiment of the present invention.
  • FIG. 11 illustrates that only a robot cleaner among premises home devices is driven according to the procedure of FIG. 9. Assume
  • the indoor floor plan 1100 displayed by the mobile terminal 200 includes icons 1101a and 1101b indicating whether home devices are operated for each room. 11, when only the robot cleaner 1111 located in the living room is in a driving state, an icon 1101b of the corresponding room (living room) and icons of other rooms (room 1, room 2, room 3, kitchen, etc.) ( 1101a is distinguished by other shapes or colors.
  • an icon 1101b of the corresponding room (living room) and icons of other rooms (room 1, room 2, room 3, kitchen, etc.) 1101a is distinguished by other shapes or colors.
  • a voice command such as “show the operation state of the living room”, for example, a plurality of the plurality of rooms located in the corresponding room (living room), for example, the display window of reference number 1110.
  • the operating states of the home devices are displayed in different forms or different colors.
  • the home devices eg, cleaners, lights, air conditioners, TVs
  • FIG. 11 since only the robot cleaner 1111 is in a driving state, home devices (lights, air conditioners, TVs) that have different "cleaners" are displayed on the display window 1110.
  • operation state information of the robot cleaner 1111 received from the home gateway 120 is displayed.
  • the driving operation of the home device is described as an example for convenience. However, the detailed / stepped control of the home device or the position movement (in the case of a mobile home device) may be possible through detailed designation of the control command.
  • the mobile terminal 200 of the user requests the home gateway 120 to display a video or an operation state of the home devices through at least one closed circuit television (CCTV) (hereinafter, referred to as a camera) installed in each room in the home. It can be received as a still image.
  • the mobile terminal 200 transmits a home monitoring request message to the home gateway 120.
  • the home gateway 120 controls at least one home device including a camera to collect image data, and transmits the image information collected by the room to the mobile terminal 200.
  • a camera is installed in each room. As shown in FIG. 12, the name of the room 1201 and the image 1203 captured in the room are displayed on each room-specific image.
  • the home gateway 120 may receive the operation state information from the in-home home device 140 periodically or by request, and the home gateway 120 may determine the home device 140 based on the received operation state information. It is assumed that the operation state of is confirmed.
  • step 1301 of FIG. 13 when the user wants to drive the home device 140 remotely, the user executes a remote control application for remote control of the home device in the mobile terminal 200 through touch input, gesture, or voice command. do.
  • the remote control application when executed, in step 1303, the mobile terminal 200 transmits a control command to the home gateway 120 in the manner described in the embodiments of FIGS. 10A and 10B.
  • the control command of step 1303 may be, for example, a control command for controlling the operation of the home device 140 or a control command for requesting transmission of the plan view information.
  • the home gateway 120 determines whether the control command received from the mobile terminal 200 is a control command for requesting the plan view information or a control command for operation control of the home device 140. If it is determined that the control command requests the floor plan information, in step 1307, the home gateway 120 transmits floor plan information for controlling the room-specific home device as shown in FIG. 11 to the mobile terminal 200. Then, when the user who checks the plan information in step 1309 enters / selects the control target home device 140 and its control contents through the mobile terminal 200, the mobile terminal 200 controls the control contents and the control target home device ( A control command including the identification information of the 140 and the user authentication information is generated and transmitted to the home gateway 120.
  • step 1305 if it is determined in step 1305 that the control command for the operation control of the home device 140, the home gateway 120 omits step 1307.
  • the information configuration of the control command received at this time is the same as the control command received in step 1309.
  • step 1311 the home gateway 120 determines the home device 140 to be controlled by checking the identification information included in the control command, and in step 1313, the control command including the control information to the corresponding home device 140. Send it.
  • an inoperable state or a malfunction may be performed (for example, using a rated power above a reference value or an operating temperature exceeding a reference value, that is, operating state of the home device.
  • the home device (which may have a malfunction due to a value exceeding a reference value) may be excluded from the control target home device 140 even if a control command for operation control is received from the mobile terminal 200.
  • the home device 140 receiving the control command performs an operation corresponding to the control content, and transmits processing result information according to the operation in operation 1315 to the home gateway 120.
  • the home gateway 120 transmits the processing result information to the mobile terminal 200, and the mobile terminal 200 provides the processing result through a user interface provided by a remote control application.
  • Tables 1 and 2 below illustrate examples of various control modes and control methods that may be performed in the home gateway 120 through the control command according to an embodiment of the present invention.
  • Control mode Silent mode Control energy use of all home devices in the house collectively Ex) Out mode, Ready mode, Economy mode, etc.
  • Room-specific auto mode Control ON / OFF only for the specific room you select Economy Mode by Home Device Control by Home Device Selected by User AI mode
  • Artificially collective control by comprehensively judging temperature, illuminance, humidity, and people in the room
  • Power off Ex Turn off the power of the home device and switch the operation of the home device to the sleep mode.
  • Power on Ex Turn on the power of the home device, and perform detailed control of the home device such as raising the air conditioner setting temperature, decreasing the electric heater setting temperature, and adjusting the brightness of the lamp.
  • Detail control Ex Detailed control such as brightness of lamp, TV channel, program recording, washing mode control when washing machine operation, air conditioner temperature control
  • Identification information (eg, serial number) of the controlled home device Processing result Home device status information after performing the operation ex) On / Off status, temperature setting status, light brightness Safety control Included when an abnormal condition occurs Ex) over current, over power, high temperature, dust status, etc.
  • the information structure of the processing result information transmitted from the home gateway 120 to the mobile terminal 200 in step 1317 is the same as the information structure of the ⁇ Table 3> or the identification information, for example, in the home gateway 120.
  • the identification can be used as unique identification information.
  • the unique identification information may include information identifying at least one of the home gateway 120 or the home device 140.
  • Table 4 An example of a method in which the mobile terminal 200 displays the processing result information in step 1317 is shown in Table 4 below.
  • Table 4 Processing result display Screen Layout Display of home device icon, processing result, control command again when control command fails Processing result Animation effects, sound effects, etc. according to the control content example)
  • the icon brightness is changed according to the brightness.
  • the speed or amount of the wind is animated. Sound from the turbo mode on the actual air conditioner is reproduced in the mobile terminal.
  • CCTV merge Displays the control command processing results in a small screen with CCTV images per room
  • FIG. 14 is a flowchart illustrating a procedure of providing an operation state of a home device as image information when performing remote control in a home network system according to an exemplary embodiment of the present invention.
  • step 1401 it is assumed that an operation of step 1401 is the same procedure as that of FIG. 13. However, in the embodiment of FIG. 14, the transmission of the processing result information in step 1317 of FIG. 13 may be selectively performed.
  • the mobile terminal 200 transmits a message for requesting transmission of image information of a control target home device 140 or a room where the home device 140 is located to the home gateway 120. .
  • the home gateway 120 transmits a camera driving command to control the at least one home device 140 including the camera in response to the request message, and in step 1407, the control target home device 140 or the corresponding home device 140.
  • the home device 140 collects the image data where the home device 140 is located, and in step 1409, the home gateway 120 transmits the image information including the image data collected by the home device or the room to the mobile terminal 200. .
  • step 1411 the mobile terminal 200 displays the received image information as shown in the example of FIG. 12.
  • FIG. 15 is a flowchart illustrating a remote control procedure performed in a home network system according to an exemplary embodiment of the present invention, which illustrates a remote control procedure through a voice recognition sensor 115 installed in a house as in the embodiments of FIGS. 2B and 5. will be.
  • step 1501 the indoor voice recognition sensor 115 recognizes a voice command of a user and transmits the voice command to the home gateway 120 in step 1503.
  • step 1505 the home gateway 120 reads the voice command using a voice recognition algorithm, and in step 1507, determines the home device to be controlled based on the read voice command. For example, if the voice command "washing start”, the word “washing” is recognized to determine that the controlled home device is a washing machine, and the control content recognizes the word “starting” and starts the washing operation by turning on the washing machine. Decide to
  • step 1509 the home gateway 120 transmits a control command to the corresponding home device 140 based on the content determined in step 1507, and the home device 140 that performs the control command returns the processing result information to the home gateway. Feedback is sent to 120.
  • step 1513 the home gateway 120 transmits the processing result information to various predetermined user devices (for example, smart TV, mobile terminal, tablet PC, etc.). Step 1513 may be optionally performed.
  • FIG. 16 is a flowchart illustrating a remote control procedure based on a user profile in a home network system according to an exemplary embodiment of the present invention, which is a remote control procedure using a voice recognition sensor 115 installed at home as in the embodiments of FIGS. 2B and 5. It is shown.
  • the home gateway 120 receives voice information for each user for recognizing a voice of each user and permission information for controlling the operation of a home device in a predetermined privilege range for each user. Register and save.
  • the input of the user profile may be performed through the mobile terminal 200 of each user or through the home gateway 120.
  • the voice information for each user may be registered and stored in the home gateway 120 using the voice recognition sensor 115.
  • the home gateway 120 performs a voice command (ie, a control command) of a registered user, but does not perform a voice command of an unregistered user.
  • the home voice recognition device 120 After the user profile is registered and stored for the at least one user in step 1601, when the home voice recognition sensor 115 recognizes the user's voice command in step 1603, the home voice recognition device 120 is recognized as the home gateway 120 in step 1605. Deliver voice commands.
  • the home gateway 120 reads the voice command using a voice recognition algorithm.
  • the home gateway 120 determines whether the user who inputs the voice command is a registered user based on the user profile. . In this case, when it is determined that the user is not a registered user, in step 1611, the home gateway 120 displays / transmits a notification message indicating that the user is not a registered user.
  • the notification message may be in the form of a text or voice message that is output through the user interface 128 of the home gateway 120.
  • the notification message may be transmitted to the mobile terminal 200 of a registered user to inform that an unregistered user attempts to control using a voice command.
  • the home gateway 120 determines whether the corresponding (voice) command is within the scope of the user's authority based on the user profile. Check if it is granted. If the user authority is not granted as a result of the check, the home gateway 120 proceeds to step 1611 and displays / transmits a notification message indicating that the user authority is not granted to the corresponding (voice) command.
  • the notification message may be in the form of a text or voice message output through the user interface 128 of the home gateway 120.
  • the notification message may be transmitted to the mobile terminal 200.
  • step 1613 if it is determined in step 1613 that the user authority is granted to the corresponding (voice) command, the control target home device is determined based on the read voice command in step 1615. For example, if the voice command "washing start”, the word “washing” is recognized to determine that the controlled home device is a washing machine, and the control content recognizes the word “starting” and starts the washing operation by turning on the washing machine. Decide to Steps 1613 and 1615 may be performed together.
  • step 1619 the home gateway 120 transmits a control command to the corresponding home device 140 based on the content determined in step 1615, and the home device 140 that performs the control command returns the processing result information to the home gateway. Feedback is sent to 120.
  • step 1621 the home gateway 120 transmits the processing result information to various predetermined user devices (for example, smart TV, mobile terminal, tablet PC, etc.). Step 1621 may be optionally performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어 방법 및 장치에 대한 것으로서, 본 발명의 방법은, 상기 다수의 홈 디바이스들로부터 각각 동작 상태 정보를 수신하는 과정과, 사용자 디바이스로부터 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 수신하는 과정과, 상기 제어 명령을 근거로 제어 대상 홈 디바이스를 결정하는 과정과, 상기 결정된 제어 대상 홈 디바이스로 상기 제어 명령을 전송하는 과정과, 상기 제어 대상 홈 디바이스로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하는 과정과, 상기 처리 결과 정보를 상기 사용자 디바이스로 전송하는 과정을 포함한다.

Description

홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
본 발명은 홈 네트워크 시스템에 관한 것으로서, 특히 홈 디바이스의 동작을 원격으로 제어하는 방법 및 장치에 대한 것이다.
홈 네트워크 시스템은 댁 내에 설치된 각종 홈 디바이스(device)들을 유선 또는 무선 네트워크로 연결함으로써 홈 디바이스들 간의 통신을 가능하도록 하는 시스템을 의미한다. 발전된 홈 네트워크 시스템은 홈 디바이스들을 홈 게이트웨이(Home Gateway: HGW 또는 H-GW)를 통해 통합하여 외부의 공용 데이터 네트워크, 일 예로 인터넷 프로토콜(Internet Protocol: IP) 네트워크(즉 인터넷)로 연결함으로써 인터넷과 연계된 보다 다양한 서비스를 제공한다. 이러한 홈 네트워크 시스템에서는 사용자의 요구에 따라 홈 디바이스들을 제어하여 사용자가 원하는 서비스를 제공할 수 있다.
최근 홈 디바이스들의 종류가 점차 다양해지고 이에 대한 사용자 요구 또한 점차 다양해짐에 따라, 다양한 사용자 요구를 수용하여 최선의 서비스를 제공하기 위한 노력을 필요로 하게 되었다.
본 발명은 홈 네트워크 시스템에서 홈 디바이스의 동작을 원격으로 제어하는 방법 및 장치를 제공한다.
본 발명은 홈 네트워크 시스템에서 음성 명령을 이용하여 홈 디바이스의 동작을 원격으로 제어하는 방법 및 장치를 제공한다.
본 발명은 홈 네트워크 시스템에서 홈 디바이스의 동작을 룸별로 구분하여 원격으로 제어하는 방법 및 장치를 제공한다.
본 발명은 홈 네트워크 시스템에서 홈 디바이스의 동작을 사용자 프로파일 기반으로 제어하는 방법 및 장치를 제공한다.
본 발명의 실시 예에 따른 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어 방법은, 상기 다수의 홈 디바이스들로부터 각각 동작 상태 정보를 수신하는 과정과, 사용자 디바이스로부터 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 수신하는 과정과, 상기 제어 명령을 근거로 제어 대상 홈 디바이스를 결정하는 과정과, 상기 결정된 제어 대상 홈 디바이스로 상기 제어 명령을 전송하는 과정과, 상기 제어 대상 홈 디바이스로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하는 과정과, 상기 처리 결과 정보를 상기 사용자 디바이스로 전송하는 과정을 포함한다.
또한 본 발명의 실시 예에 따른 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어를 위한 게이트웨이 장치는, 상기 다수의 홈 디바이스들 및 사용자 디바이스와 유선/무선으로 통신을 수행하기 위한 적어도 하나의 통신 모듈과, 상기 다수의 홈 디바이스들로부터 각각 동작 상태 정보를 수신하고, 상기 사용자 디바이스로부터 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 수신하며, 상기 제어 명령을 근거로 제어 대상 홈 디바이스를 결정하고, 상기 결정된 제어 대상 홈 디바이스로 상기 제어 명령을 전송하며, 상기 제어 대상 홈 디바이스로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하고, 상기 처리 결과 정보를 상기 사용자 디바이스로 전송하는 동작을 제어하는 제어부를 포함한다.
또한 본 발명의 실시 예에 따른 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어 방법은 상기 다수의 홈 디바이스들의 동작 상태 정보를 수집하며 상기 다수의 홈 디바이스들의 동작을 제어하는 홈 게이트웨이로 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 전송하는 과정과, 상기 제어 명령의 전송에 대한 응답으로, 상기 홈 게이트웨이로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하는 과정을 포함하며, 상기 제어 명령은 사용자의 음성 명령을 인식하여 생성된다.
또한 본 발명의 실시 예에 따른 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어를 위한 사용자 디바이스는, 다수의 홈 디바이스들의 동작을 제어하는 홈 게이트웨이와 통신을 수행하기 위한 적어도 하나의 통신 모듈과, 상기 다수의 홈 디바이스들의 동작 상태 정보를 수집하며 상기 다수의 홈 디바이스들의 동작을 제어하는 상기 홈 게이트웨이로 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 전송하고, 상기 제어 명령의 전송에 대한 응답으로, 상기 홈 게이트웨이로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하는 동작을 제어하는 제어부를 포함하며, 상기 제어 명령은 사용자의 음성 명령을 인식하여 생성된다.
도 1은 본 발명의 실시 예에 따른 홈 네트워크 시스템의 구조를 도시한 블록도,
도 2a는 본 발명의 실시 예에 따라 이동 단말과 접속 가능한 홈 네트워크 시스템의 구성을 도시한 블록도,
도 2b는 본 발명의 실시 예에 따라 음성 명령을 인식하는 이동 단말을 통해 원격으로 제어되는 홈 네트워크 시스템의 구성을 도시한 블록도,
도 3은 본 발명의 실시 예에 따른 홈 게이트웨이의 구성을 나타낸 블록도,
도 4은 본 발명의 실시 예에 따른 이동 단말의 구성을 나타내는 블록도,
도 5는 본 발명의 실시 예에 따라 홈 디바이스의 동작을 원격으로 제어하는 홈 네트워크 시스템의 구성을 나타낸 블록도,
도 6은 본 발명의 실시 예에 따라 음성 명령을 인식하여 홈 디바이스의 동작을 원격으로 제어하는 홈 네트워크 시스템의 구성을 나타낸 블록도,
도 7은 본 발명의 실시 예에 따른 홈 디바이스의 등록 절차를 나타낸 흐름도,
도 8은 본 발명의 실시 예에 따른 이동 단말의 등록 절차를 나타낸 흐름도,
도 9는 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 수행되는 원격 제어 절차를 설명하기 위한 도면,
도 10a 내지 도 12는 본 발명의 실시 예에 따른 원격 제어 수행 시 이동 단말에서 표시되는 다양한 사용자 인터페이스 화면 예,
도 13은 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 수행되는 원격 제어 절차를 나타낸 흐름도,
도 14는 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 원격 제어 수행 시 홈 디바이스의 동작 상태를 영상 정보로 제공하는 절차를 나타낸 흐름도,
도 15는 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 수행되는 원격 제어 절차를 나타낸 흐름도,
도 16은 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 사용자 프로파일 기반의 원격 제어 절차를 나타낸 흐름도.
하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 상기한 본 발명의 실시 예를 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 홈 네트워크 시스템의 구조를 도시한 블록도이다.
도 1을 참조하면, 홈 네트워크 시스템은 제어 및 통신 기능을 가지는 홈 디바이스들(110) 및 홈 게이트웨이(HGW)(120)를 포함한다. 홈 디바이스들(110)은 댁내에 위치하는 스마트 가전기기(Smart Appliance)(112), 보안기기(security devices)(114), 조명기구(Lighting devices)(116), 에너지기기(Energy devices)(118) 등을 포함한다. 일 예로 스마트 가전기기(112)는 냉장고, 세탁기, 로봇청소기 등이 될 수 있으며, 보안기기(114)는 도어락, 보안 카메라, 보안 센서 등이 될 수 있고, 조명기기(116)는 형광등, LED(Light Emitting Diode) 조명기구 등이 될 수 있고, 에너지기기(118)은 전력측정기, 전력 소켓, 전기 콘센트, 멀티탭 등이 될 수 있다. 추가적으로 홈 디바이스들(110)은 개인 컴퓨터(Personal Computer: PC), IP(Internet Protocol) 카메라, 인터넷 전화, 유/무선 전화, 가정 내의 이동 전화를 포함할 수 있다.
상기 홈 디바이스들(110)은 유선 또는 무선 통신 방식에 따라 홈 게이트웨이(110)와 통신 가능하며, 홈 게이트웨이(120)로부터 제어 명령을 수신하고 요구된 정보를 홈 게이트웨이(120)에게 전송 가능하도록 구성될 수 있다. 홈 게이트웨이(120)는 홈 디바이스들(110)과 유선 또는 무선 통신 방식에 따라 통신하기 위한 해당 통신 모듈들을 포함하며, 홈 디바이스들(110)의 정보를 등록하여 저장하는 저장부와, 홈 디바이스들(110)의 동작 및 상태를 제어하고, 홈 디바이스들(110)로부터 필요한 정보를 수집하여 관리하는 제어부를 포함할 수 있다. 특히, 홈 게이트웨이(120)는 통신 네트워크(130)를 통해 외부 통신 단말(도시되지 않음)에 의한 접속을 허용하며, 상기 외부 통신 단말로부터 수신되는 제어 신호를 홈 게이트웨이(120)를 통해 해당하는 홈 디바이스에게 전달할 수 있다. 상기 통신 네트워크(130)는 인터넷(internet)과 같은 IP(Internet Protocol) 네트워크와 이동 단말이 접속할 수 있는 무선 네트워크 중 적어도 하나를 포함한다.
도 1과 같은 홈 네트워크 시스템에서는 통신 네트워크(130)를 통한 인터넷 TV(IPTV), 주문형 비디오(Video on Demand: VoD) 등과 같은 홈 엔터테인먼트 서비스, 데이터 공유, 인터넷 전화(Voice over IP: VoIP) 및 영상 전화와 같은 홈 데이터 통신 서비스, 가전 기기의 원격제어, 원격 검침, 방범, 방재와 같은 홈 오토메이션 서비스를 제공할 수 있다. 즉 도 1의 홈 네트워크 시스템은 가정 내부/외부에서 사용되는 모든 형태의 홈 디바이스들을 하나의 네트워크로 연결하여 통제한다. 따라서 본 명세서에 댁내라 함은 가정 내부/외부를 포함하는 의미로 이해할 수 있다.
한편 사용자는 외부 통신 단말, 예를 들어 이동 단말과 같은 무선 통신 장비를 이용하여, 홈 네트워크 시스템에 구비된 홈 게이트웨이(120)에 접속하거나, 또는 홈 게이트웨이(120)를 통해 각 홈 디바이스(110)에 원격으로 접속할 수 있다. 이동 단말은 일 예로서 통신 기능을 구비하는 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 휴대폰, 태블릿 컴퓨터, 노트북 등이 될 수 있으며, 사업자 네트워크와 인터넷을 통해 홈 네트워크 시스템에 접근할 수 있다.
도 2a는 본 발명의 실시 예에 따라 이동 단말과 접속 가능한 홈 네트워크 시스템의 구성을 도시한 블록도이다.
도 2a를 참조하면, 홈 네트워크 시스템 내의 홈 디바이스들(110-1 ~ 110-n : 110)은 유선 또는 무선 통신 방식에 의해 홈 게이트웨이(120)에 접속된다. 홈 게이트웨이(120)는 인터넷과 같은 유선 네트워크(130a)에 접속한다.
한편 등록된 이동 단말(200)은 무선 액세스 네트워크 및 사업자 코어 네트워크를 포함하는 무선 네트워크(130b)에 접속하며, 무선 네트워크(130b)와 연결된 유선 네트워크(130a)를 경유하여 홈 게이트웨이(120)에 접근할 수 있다. 무선 네트워크(130b)는 2G(Generation) 또는 3G 셀룰러 통신 시스템, 3GPP(3rd Generation Partnership Project), 4G 통신 시스템, LTE(Long-Term Evolution), WiMAX(World Interoperability for Microwave Access) 등이 될 수 있다. 이동 단말(200)은 홈 게이트웨이(120)와 연결된 홈 디바이스들(140)의 동작을 개별적으로 또는 공통으로 또는 일부를 지정하여 제어하기 위한 원격 제어 어플리케이션이 설치된다. 상기 원격 제어 어플리케이션이 실행되면, 사용자의 키 입력, 터치 입력, 또는 제스쳐 입력에 따라 해당되는 홈 디바이스(140)의 동작을 제어하기 위한 제어 명령이 이동 단말(200)로부터 무선 네트워크(130b) 및 유선 네트워크(130a)를 경유하여 홈 게이트웨이(120)로 전달되고, 홈 게이트웨이(120)는 그 제어 명령에 따라 해당되는 홈 디바이스(140)의 동작을 제어한다.
도 2b는 본 발명의 실시 예에 따라 음성 명령을 인식하는 이동 단말을 통해 원격으로 제어되는 홈 네트워크 시스템의 구성을 도시한 블록도이다.
도 2b를 참조하면, 상기 홈 디바이스들(110)의 동작을 음성으로 제어하기 위한 사용자의 음성 명령을 인식하는 적어도 하나의 음성 인식 센서(115-1 ~ 115-m : 115)가 도 2a에서 설명한 홈 게이트웨이(120)에 유선 또는 무선으로 연결된다.
상기 음성 인식 센서(115)는 댁내에서 상기 홈 디바이스(110)에 결합되어 설치되거나(즉 홈 디바이스(110)에 음성 인식 센서(115)가 탑재되는 경우) 또는 홈 디바이스(110)와 분리되어 설치될 수 있다. 다른 실시 예로 상기 음성 인식 센서(115)는 댁내에 룸별로 설치될 수도 있다. 상기 음성 인식 센서(115)를 통해 인식된 사용자의 음성 명령은 상기 홈 게이트웨이(120)로 전달되고, 홈 게이트웨이(120)는 음성 인식 알고리즘을 이용하여 그 음성 명령을 판독하여 해당 홈 디바이스(110)의 동작을 제어한다. 상기 음성 인식 알고리즘은 공지된 각종 음성 인식 알고리즘을 이용할 수 있다.
한편 이동 단말(200)은 도 2a의 실시 예와 같이 무선 네트워크(130b)와 유선 네트워크(130a)를 통해 홈 게이트웨이(120)에 접근할 수 있다. 이동 단말(200)은 마이크(도시되지 않음)를 통해 입력된 사용자(10)의 음성 명령을 인식할 수 있으며, 그 음성 명령을 홈 게이트웨이(120)가 인식할 수 있는 제어 명령으로 변환하여 전달한다. 상기 제어 명령은 해당 홈 디바이스(110)의 식별 정보와 제어 내용을 포함하는 패킷 형태로 구성될 수 있다. 상기 제어 내용은 해당 홈 디바이스(110)의 전원 온/오프는 물론 구체적인 동작 제어 명령을 포함할 수 있다. 또한 상기 제어 명령을 전달하는 패킷은 해당 이동 단말(200)의 사용자 인증 정보를 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 홈 게이트웨이의 구성을 나타낸 블록도이다. 도 3의 홈 게이트웨이(120)는 도시된 구성요소들 중 적어도 하나 이상을 포함하여 구성될 수 있다.
도 3을 참조하면, 홈 게이트웨이(120)는 적어도 하나의 통신 모듈(122 내지 126, 132)을 사용하여 다수의 홈 디바이스들(110-1 내지 110-n)과 연결될 수 있다. 통신 모듈(122 내지 126, 132)은 WiFi와 같은 무선 랜 모듈(122), 지그비(ZigBee) 모듈(123), 블루투스 모듈(124), 근거리통신(Near-Field Communication: NFC) 모듈(125), Z-WAVE 모듈(132) 그리고 유선 통신 모듈(126) 등과 같은 각종 무선 또는 유선 통신 프로토콜 기반의 모듈 중 적어도 하나를 포함한다. 상기 Z-WAVE 모듈(122-6)은 홈 오토메이션과 같이 장치를 제어하기 위해 폭넓게 사용되는 RF(Radio Frequency) 기술 중 하나이다. 또한 홈 게이트웨이(120)는 제어부(121)와 네트워크 인터페이스 모듈(127)과 사용자 인터페이스(User Interface: UI)(128) 및 저장부(Storage)(129)를 포함한다.
제어부(121)는 CPU(Central Processing Unit)(121-1)와 홈 게이트웨이(120)의 제어를 위한 제어 프로그램이 저장된 롬(Read-Only Memory: ROM)(121-2) 및 홈 게이트웨이(120)에서 수행되는 작업들을 위한 기억 영역으로 사용되는 램(Random Access Memory: RAM)(121-3)을 포함한다. 제어부(121)는 롬(121-2)이나 램(121-3)에 저장된 프로그램들 또는 저장부(129)에 저장될 수 있는 응용 프로그램들의 실행에 의해 통신 모듈(122 내지 126)을 통해 홈 디바이스들(110-1 내지 110-n)과 통신하며, 제어 명령을 생성하여 홈 디바이스들(110-1 내지 110-n)로 전송하거나 홈 디바이스들(110-1 내지 110-n)로부터 수집된 정보를 저장부(129)에 저장한다.
사용자 인터페이스(128)는 디스플레이, 스피커, 알림 램프와 같은 출력 모듈과, 터치스크린, 키패드, 마이크와 같은 입력 모듈(도시되지 않음)을 포함하며, 사용자가 직접 홈 게이트웨이(120)를 제어하거나, 홈 게이트웨이(120)에 홈 디바이스들(110-1 내지 110-n)을 등록 또는 삭제하거나, 홈 게이트웨이(120)를 통해 홈 디바이스들(110-1 내지 110-n)을 제어하기 위해 사용될 수 있다.
네트워크 인터페이스(127)는 일 예로서 인터넷 통신 모듈이 될 수 있으며, 홈 게이트웨이(120)를 외부의 네트워크에 연결한다.
저장부(129)는 제어부(121)의 제어 하에 홈 게이트웨이(120)의 동작에 필요한 프로그램 코드, 데이터 또는 정보를 저장할 수 있도록 구성되며, 필요 시 외부의 디바이스들이나 홈 디바이스들(110-1 내지 110-n)로부터 전달되는 대용량의 데이터를 저장할 수 있다.
또한 상기 홈 게이트웨이(120)는 도 2b의 음성 인식 센서(115)로부터 전달된 음성 명령을 판독하여 제어부(121)로 전달하는 음성 인식 모듈(131)을 포함한다. 예를 들어 상기 음성 명령이 "거실을 청소해~"인 경우 음성 인식 모듈(131)은 "청소해"와 "거실"을 각각 인식하고, "청소해"는 홈 디바이스들(110) 중에서 청소기(도시되지 않음)에게 전달되어야 할 명령이고, 그 청소 위치가 "거실"임을 판독한다. 상기 판독 결과에 따라 제어부(121)는 통신 모듈(122 내지 126)을 통해 홈 디바이스들(110) 중에서 청소기에게 "거실"을 "청소"할 것을 지시하는 제어 명령을 전송한다.
다른 실시 예로 사용자의 음성 명령이 댁내 음성 인식 센서(115)가 아니라 이동 단말(200)을 통해 홈 게이트웨이(120)로 전달되는 경우, 이동 단말(200)이 도 2b의 실시 예에서 설명한 패킷 형태로 구성된 제어 명령을 생성하고, 그 제어 명령을 홈 게이트웨이(120)로 전달하므로 도 3의 음성 인식 모듈(131)은 생략될 수 있다.
또 다른 실시 예로 사용자가 다수인 경우, 상기 홈 게이트웨이(120)가 상기 다수의 사용자들에 대한 사용자 프로파일을 저장하고, 음성 인식 모듈(131)을 통해 사용자별 음성 인식을 수행하여 인식된 해당 사용자의 사용자 프로파일을 기반으로 홈 디바이스들(110-1 내지 110-n)을 제어하는 것도 가능하다. 이때 상기 사용자 프로파일은 각 사용자의 음성을 인식하기 위한 사용자별 음성 정보와, 사용자별로 미리 정해진 권한 범위에서 제어를 수행하기 위한 권한 정보를 포함한다. 상기 사용자별 음성 정보는 음성 인식 기능을 갖춘 이동 단말(200) 또는 음성 인식 모듈(131)을 구비한 상기 홈 게이트웨이(120)를 통해 각 사용자를 구분하도록 등록 및 저장될 수 있다.
그리고 상기 사용자 프로파일과 관련하여, 서로 다른 권한을 가진 사용자 A, B를 가정하면, 사용자 A는 댁내 홈 디바이스들(110-1 내지 110-n) 모두에 대한 제어 권한을 가질 수 있고, 사용자 B는 댁내 홈 디바이스들(110-1 내지 110-n) 중 일부 홈 디바이스들에 대해서만 제어 권한을 가지도록 사용자 프로파일을 등록 및 저장할 수 있다. 상기 사용자 프로파일은 상기 홈 게이트웨이(120) 또는 이동 단말(200)을 통해 등록 및 저장할 수 있다. 그리고 관리자 권한을 가진 사용자가 다른 사용자의 제어 권한을 조정하는 것도 가능할 것이다. 상기 사용자 프로파일을 기반으로 하는 제어는 홈 게이트웨이(120) 또는 이동 단말(200)을 통해 수행될 수 있다. 상기 이동 단말(200)에는 상기 사용자 프로파일의 등록 및 저장을 위한 관리 프로그램이 설치될 수 있다.
도 4는 본 발명의 실시 예에 따른 이동 단말의 구성을 나타내는 블록도이다. 이동 단말은 도 4에 도시된 구성요소들 중 적어도 하나 이상을 포함하여 구성될 수 있다.
도 4를 참조하면, 이동 단말(200)은 제어부(210), 셀룰러 이동 통신 모듈(220), 서브통신 모듈(222), 멀티미디어 모듈(228), 카메라 모듈(236), GPS(Global Positioning System) 모듈(238), 입/출력 모듈(244), 센서 모듈(242), 저장부(258), 전원공급부(240) 및 적어도 하나의 디스플레이 모듈(260)을 포함한다. 상기 카메라 모듈(236), GPS 모듈(238)은 선택적으로 포함될 수 있다. 상기 서브통신 모듈(130)은 무선랜 모듈(224) 및 근거리통신 모듈(226) 중 적어도 하나를 포함하고, 멀티미디어 모듈(228)은 방송통신 모듈(230), 오디오재생 모듈(232) 및 동영상재생 모듈(234) 중 적어도 하나를 포함한다. 상기 카메라 모듈(236)은 적어도 하나의 카메라를 포함하고, 입/출력 모듈(244)은 버튼 셋(button set)(246), 마이크(248), 스피커(250), 진동모터(252), 커넥터(254), 및 키패드(256) 중 적어도 하나를 포함한다.
상기 제어부(210)는 CPU(210-1)와, 이동 단말(200)의 제어를 위한 제어 프로그램이 저장된 ROM(210-2) 및 이동 단말(200)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 이동 단말(200)에서 수행되는 작업을 위한 기억영역으로 사용되는 RAM(210-3)을 포함하며, 이동 단말(200)의 다른 구성요소들을 제어한다.
셀룰러 통신 모듈(220)은 제어부(210)의 제어에 따라 셀룰러 통신 프로토콜에 따른 무선 액세스 기술을 사용하여, 이동 단말(200)이 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 통해 외부 장치(특히 셀룰러 시스템의 기지국)와 연결되도록 한다. 셀룰러 통신 모듈(220)은 통신 가능한 다른 기기와, 음성 통화, 화상 통화, 단문(Short Messaging Service: SMS) 메시지 또는 멀티미디어(Multimedia Messaging Service: MMS) 메시지를 담은 무선 신호를 송/수신한다. 또한 상기 셀룰러 통신 모듈(220)은 어플리케이션 등의 제어를 위한 작은 데이터(short data)를 포함한 무선 신호를 송/수신할 수 있다.
무선랜 모듈(224)은 제어부(210)의 제어에 따라 무선 AP(access point)(도시되지 않음)가 설치된 장소에서 인터넷에 연결할 수 있다. 근거리통신 모듈(226)은 제어부(210)의 제어에 따라 이동 단말(200)과 외부 기기 사이에 무선으로 근거리 통신을 수행할 수 있다. 근거리 통신방식은 블루투스, 지그비(Zigbee), 적외선 통신(IrDA, infrared data association), Z-WAVE 등을 포함할 수 있다.
디스플레이(260)은 제어부(210)에 의해 실행될 수 있는 다양한 어플리케이션(예, 통화, 데이터 전송, 방송, 카메라 등)의 정보를 표시하고 그에 적응되게 구성된 사용자 인터페이스를 제공하는 터치스크린으로 구성될 수 있다. 제어부(210)는 터치스크린 상에서 감지되는 사용자 제스처에 응답하여 터치스크린(260)에 표시된 소프트 키가 선택되게 하거나 또는 소프트 키에 대응하는 어플리케이션 또는 기능을 실행할 수 있다. 상기 사용자 제스처는 손가락 또는 기구에 의한 터치, 인체에 의한 모션 인식 등을 포함한다.
그리고 도 4의 이동 단말은 도 2a의 실시 예에서 설명한 상기 원격 제어 어플리케이션이 ROM(210-2) 또는 저장부(258)에 설치되고, 상기 원격 제어 어플리케이션이 실행된 경우, 사용자의 키 입력, 터치 입력, 또는 가속도 센서, 자이로 센서 등을 이용한 제스쳐 입력에 따라 해당되는 홈 디바이스(140)의 동작을 제어하기 위한 제어 명령을 생성하여 홈 게이트웨이(120)로 전달한다. 상기 제어 명령은 통신 네트워크(130) 또는 전력선 통신(Power Line Communications : PLC), 와이파이, 지그비(Zigbee) 등의 통신 수단을 통해 홈 게이트웨이(120)로 전송될 수 있다.
상기 저장부(258)는 사용자 디바이스의 이용을 위한 각종 어플리케이션과 컨텐츠 및 데이터들과 본 발명의 원격 제어에 따라 홈 게이트웨이(120)로부터 제공된 홈 디바이스들(140)의 동작 상태 정보와 그 처리 결과 정보 등을 저장한다.
또한 도 2b의 실시 예와 같이 음성 인식을 이용하는 경우, 상기 원격 제어 어플리케이션은 음성 인식 기능을 포함하고, 상기 원격 제어 어플리케이션이 실행된 후, 마이크(250)를 통해 입력되는 사용자의 음성 명령은 제어부(210)로 전달된다. 제어부(210)는 상기 원격 제어 어플리케이션의 기능을 수행하여 그 음성 명령을 홈 게이트웨이(120)가 인식할 수 있는 제어 명령으로 변환하여 전달한다. 상기 제어 명령은 해당 홈 디바이스(110)의 식별 정보와 제어 내용을 포함하는 패킷 형태로 구성될 수 있다.
도 2a 및 도 2b의 실시 예에서 해당 홈 디바이스(140)는 제어 명령에 따른 동작을 수행한 후, 그 처리 결과를 나타내는 정보를 홈 게이트웨이(120)로 피드백 전송한다. 그러면 홈 게이트웨이(120)는 그 처리 결과를 나타내는 정보(이하, 처리 결과 정보)를 사용자의 이동 단말(200)로 전송하고, 이동 단말(200)의 원격 제어 어플리케이션은 그 처리 결과를 나타내는 사용자 인터페이스를 제공한다. 상기 사용자 인터페이스는 음향 효과, 음성 메시지, 문자 메시지, 아이콘 표시, 애니메이션 등 다양한 형태로 제공될 수 있다.
상기한 실시 예들과 같이 구현되는 홈 네트워크 시스템에서 외부에 위치하는 사용자는 이동 단말(200)을 통해 홈 디바이스(110)의 댁내 상황에 대한 모니터링을 수행할 수 있다. 이 경우 사용자는 소지하고 있는 이동 단말(200) 또는 컴퓨팅 장치를 사용하여 홈 게이트웨이(120)에 접속하고, 홈 게이트웨이(120)를 통해 등록된 홈 디바이스들(110-1 내지 110-n) 중 적어도 하나를 제어하여 댁내 상황을 모니터링할 수 있다. 이를 위해 상기 홈 디바이스들(110-1 내지 110-n) 중 적어도 하나는 댁내 상황을 정지 영상 또는 동영상으로 촬영할 수 있는 디지털 카메라를 구비한다.
상기한 실시 예들에서 홈 디바이스들(140)의 제어를 위한 사용자의 제어 명령은 이동 단말(200)을 통해 홈 게이트웨이(120)로 전달되는 예를 설명하였으나, 이동 단말(200)은 물론 사용자의 테블릿 PC, IP 기반 유무선 전화기, 다기능 리모콘, 스마트 TV 등의 - 상기 원격 제어 어플리케이션이 설치될 수 있는 - 각종 스마트 기기(이하, "사용자 디바이스")를 이용하여 동일한 기능을 수행할 수 있다. 그리고 상기 원격 제어 어플케이션은 위젯 등의 형태로 제공될 수 있다. 이 경우 홈 디바이스(140)의 동작 상태는 그 위젯을 통해 실시간으로 또는 주기적으로 또는 요청에 의해 표현될 수 있다.
도 5는 본 발명의 실시 예에 따라 홈 디바이스의 동작을 원격으로 제어하는 홈 네트워크 시스템의 구성을 나타낸 블록도로서, 도 1 내지 도 4에서 설명한 동일한 구성에 대해서는 구체적인 설명은 생략하기로 한다.
도 5의 실시 예에서 홈 게이트웨이(120)는 다수의 홈 디바이스들(140)의 정보를 등록하고, 그 홈 디바이스들(140)의 동작에 따른 동작 상태 정보를 주기적 또는 요청에 의해 수집하여 각 홈 디바이스(140)의 동작 상태를 확인한다. 다수의 홈 디바이스들(140)은 댁내 룸 별로 그 위치가 등록된다. 도 5에서 참조 번호 140-1 내지 140-n은 각각 해당 룸에 위치하는 적어도 하나의 홈 디바이스를 나타낸 것이다. 도 5의 홈 디바이스들(140)은 도 1의 홈 디바이스들(110)에 대응된다.
상기 홈 게이트웨이(120)는 이동 단말(200), 테블릿 PC, 또는 스마트 TV 등의 사용자 디바이스와 통신하여 홈 디바이스들(140)의 동작 상태 정보를 사용자 디바이스에게 제공한다. 이하 본 발명의 실시 예에서는 설명의 편의상 상기 사용자 디바이스로 이동 단말(200)을 이용하는 경우를 가정한다.
도 5에서 각 홈 디바이스(140)로부터 홈 게이트웨이(120)로 전송되는 동작 상태 정보 그리고 제어 명령의 수행에 따른 상기 처리 결과 정보는 예를 들어 전력선 통신(Power Line Communications : PLC), 와이파이, 지그비(Zigbee) 등의 통신 수단을 이용하여 홈 게이트웨이(120)로 전송될 수 있다. 상기 홈 게이트웨이(120)는 홈 디바이스들(140)로부터 전송되는 상기 동작 상태 정보의 수집 주기를 가변적으로 설정할 수 있다.
또한 상기 홈 게이트웨이(120)는 댁내 룸별 위치를 나타내는 평면도 정보를 저장하고, 룸별로 홈 디바이스들(140)의 위치를 등록하여 관리할 수 있다. 여기서 상기 평면도 정보는 홈 네트워크 시스템을 구축하는 사업자의 서버(도시되지 않음)로부터 상기 홈 게이트웨이(120)로 제공되거나 또는 사용자가 개인용 컴퓨터(210) 등을 이용하여 상기 홈 게이트웨이(120)에 직접 입력할 수 있다. 또한 상기 평면도 정보는 상기 사업자가 제공하는 포탈 사이트 등을 통해 사용자의 집 주소를 입력하면, 선택적인 또는 편집 가능한 다양한 디자인의 평면도들을 포함하는 형태로 제공될 수 있다. 이 경우 사용자는 평면도 디자인을 취향에 따라 선택 또는 편집할 수 있다. 예를 들어 이동 단말(200)은 댁내 평면도를 사용자 요구에 따라 수정할 수 있도록(예컨대, 룸 간 벽을 허물거나 룸 사이즈를 늘리는 등) 사용자 인터페이스를 제공한다. 또한 사용자가 원하는 평면도 디자인은 상기 포탈 사이트를 이용하여 선택하거나 또는 홈 게이트웨이(120)와 통신 연결된 이동 단말(200) 등 각종 사용자 디바이스를 통해 선택될 수 있다.
또한 상기 홈 디바이스들(140)의 현재 위치는 홈 게이트웨이(120)에 직접 등록하거나 또는 각 홈 디바이스(140)에 구비된 RF(Radio Frequency) 태그, 센서 등을 이용하여 검출할 수 있다. 상기 홈 디바이스들(140)의 위치 정보는 예컨대, 냉장고는 주방(kitchen), TV는 거실(Living room)과 같이 홈 디바이스(140)가 위치된 룸의 명칭에 맵핑된다. 그 위치 정보는 홈 디바이스들(140) 마다 일반적으로 설치되는 위치를 디폴트 값으로 가질 수 있다. 그리고 이동 단말(200)을 통해 디스플레이되는 상기 댁내 평면도의 사용자 인터페이스를 이용하여 해당 홈 디바이스(140)의 아이콘을 하나의 룸에서 다른 룸으로 드래그 앤 드롭(drag and drop)하거나 또는 터치 등의 제스쳐 동작 또는 음성 명령을 통해 평면도 상에서 룸별 또는 룸내 홈 디바이스(140)의 위치를 변경할 수 있다.
상기 이동 단말(200)은 홈 게이트웨이(120)로부터 홈 디바이스들(140)의 룸별 위치 정보와 상기 평면도 정보를 제공 받아 홈 디바이스들(140)의 댁내 전체, 룸별 또는 디바이스별 동작 상태 또는 제어 명령의 처리 결과를 댁내 평면도에 시각적으로 디스플레이하는 사용자 인터페이스(UI)를 제공할 수 있다. 상기 동작 상태 또는 제어 명령의 처리 결과는 사용자 인터페이스 상에서 동작 상태별로 구분되는 아이콘 등으로 표현될 수 있다.
도 5의 음성 인식 센서(115)는 예컨대, 룸별 홈 디바이스(140)에 대응되게 설치될 수 있다. 특정 룸에 설치된 음성 인식 센서(115)에서 인식된 사용자의 음성 명령은 홈 게이트웨이(120)를 통해 해당 룸내 홈 디바이스(140)의 동작을 제어하는 제어 명령으로만 적용되도록 제한하는 것도 가능하다. 다른 실시 예로 음성 인식 센서(115)가 위치된 룸과 홈 디바이스(140)가 위치된 룸이 서로 다른 경우에도 음성 명령에 따른 제어 명령이 해당 홈 디바이스(140)에게 적용되도록 하는 것도 가능하다.
또한 상기 홈 게이트웨이(120)는 홈 디바이스들(140)의 전력 소비량과 전력 단가 정보를 근거로 사용 요금을 산출하여 사용 요금 정보를 제공할 수 있다. 상기 홈 게이트웨이(120)는 이동 단말(200)로부터 사용 요금 정보 요청이 접수된 경우, 산출된 사용 요금 정보를 이동 단말(200)로 전송한다. 상기 이동 단말(200)은 상기 사용 요금 정보를 수신하면, 예컨대 청구서(bill) 레이아웃을 구성하고, 상기 구성된 청구서 레이아웃을 통해 사용 요금을 디스플레이한다.
한편 도 5의 홈 네트워크 시스템에서, 홈 게이트웨이(120)는 댁내에 설치된 홈 디바이스들(140)의 정보를 등록하고, 상기 등록된 홈 디바이스들(140)을 제어 및 관리한다. 일 예로 홈 게이트웨이(120)는 새로운 홈 디바이스가 설치되면, 그 새로운 홈 디바이스에 대한 정보, 예컨대 홈 디바이스의 식별자와, 성능(capacity) 정보와, 동작 상태 정보를 수집하여 저장한다. 상기 홈 디바이스에 대한 정보는 홈 게이트웨이(120)와 홈 디바이스 간의 서비스 탐색(Service Discovery) 절차를 통해 해당 홈 디바이스로부터 직접 획득되거나, 또는 홈 디바이스로부터 제공되는 식별 정보를 기반으로 인터넷 상의 서버로부터 홈 게이트웨이(120)로 수신되거나, 또는 사용자 또는 시스템 관리자(administrator)로부터 홈 게이트웨이(120)에 직접 입력될 수 있다. 사용자가 새로운 홈 디바이스를 구입하여 설치하고, 홈 디바이스 또는 그 사용 설명서를 통해 제공되는 식별 정보, 일 예로 일련번호, 모델번호, QR(Quick Response) 코드를 홈 게이트웨이(120)에 입력하면, 홈 게이트웨이(120)는 해당 홈 디바이스의 식별 정보를 기반으로 인터넷 상의 제조사 서버에 접속하여 해당 홈 디바이스에 대한 정보를 획득할 수 있다.
도 6은 본 발명의 실시 예에 따라 음성 명령을 인식하여 홈 디바이스의 동작을 원격으로 제어하는 홈 네트워크 시스템의 구성을 나타낸 블록도로서, 이는 예를 들어 이동 단말(200)을 통해 음성 명령을 입력하여 룸(예컨대, 세탁실)에 위치된 세탁기의 동작을 제어하고, 또한 다른 룸(예컨대, 거실)에 위치된 로봇 청소기의 동작을 제어하는 실시 예를 나타낸 것이다.
도 6에서 룸(예컨대, 세탁실)에는 고정식 홈 디바이스(140a)로 세탁기(141), 폐쇄회로 텔레비전(CCTV)(143), 전등(145)이 설치되어 있음을 가정한다. 상기 고정식 홈 디바이스(140a)는 유선 인터페이스를 통해 홈 게이트웨이(120)와 연결되거나 혹은 무선 인터페이스를 통해 홈 게이트웨이(120)와 연결될 수 있다. 다른 룸(예컨대, 거실)에는 이동식 홈 디바이스로 이동 기능을 구비하는 로봇 청소기(147)가 위치되어 있음을 가정한다. 상기 로봇 청소기(147)는 무선 인터페이스를 통해 홈 게이트웨이(120)와 연결될 수 있다.
도 6의 예에서 세탁기(141)의 동작 제어를 위한 사용자(10)의 음성 명령은 이동 단말(200)을 통해 제어 명령으로 생성되어 홈 게이트웨이(120)로 전달되고, 홈 게이트웨이(200)는 그 제어 명령에 따라 세탁기(141)의 동작을 제어한다. 동일한 방식으로 로봇 청소기(147)의 동작을 또한 제어할 수 있다.
만약 도 6의 예에서 사용자(10)는 이동 단말(200)을 통해 세탁기(141)의 동작 상태를 확인하기를 원하면, 동일한 방식으로 폐쇄회로 텔레비전(CCTV)(143), 전등(145)을 함께 온 구동시키고, 폐쇄회로 텔레비전(CCTV)(143)을 통해 송출되는 세탁기(141)의 동작 상태가 포함된 영상 정보를 이동 단말(200)을 통해 수신할 수 있다.
도 7은 본 발명의 실시 예에 따른 홈 디바이스의 등록 절차를 나타낸 흐름도이다.
도 7을 참조하면, 701 단계에서 홈 디바이스(140)가 설치되고, 동작 전원이 공급된다. 또는 기 설치된 홈 디바이스(140)에 대해 홈 게이트웨이(120)에 등록할 것으로 사용자가 결정한다. 703 단계에서 홈 게이트웨이(120)는 홈 디바이스(140)에 대한 탐색 절차를 수행한다. 일 예로서 홈 디바이스(140)가 홈 게이트웨이(120)에 와이파이(WiFi)로 연결되는 경우, 홈 게이트웨이(120)는 주기적으로 또는 사용자의 요청에 의해 주변의 새로운 홈 디바이스에 대한 탐색 절차를 수행한다. 상기 탐색 절차를 통해 홈 디바이스(140)가 검출되면, 홈 게이트웨이(120)는 홈 디바이스 정보를 홈 디바이스(140)로부터 수신한다. 상기 홈 디바이스 정보는, 상기 홈 디바이스(140)의 식별 정보와, 성능 정보 중 적어도 하나를 포함한다. 선택적인 실시 예로 상기 식별 정보는 해당 홈 디바이스(140)의 제품 종류(에어컨, 냉장고, LED 전등 등)을 나타내는 제품 코드를 포함할 수 있다.
선택적인 실시 예로, 705 단계에서 홈 게이트웨이(120)는 등록하고자 하는 홈 디바이스(140)에 대한 등록 요청을 자신의 사용자 인터페이스를 통해 또는 외부 인터페이스에 의해 접속된 제어 콘솔을 통해 또는 인터넷 상의 컴퓨터를 통해, 사용자로부터 직접 수신하며, 상기 홈 디바이스(140)에 대한 정보를 사용자로부터 입력 받는다. 또 다른 실시 예로서 홈 게이트웨이(120)는 홈 디바이스(140)로부터 또는 사용자로부터 홈 디바이스(140)에 대한 식별 정보를 획득하며, 상기 식별 정보를 기반으로 해당 홈 디바이스(140)의 제조사 서버에 접속하여 상기 홈 디바이스(140)에 대한 성능 정보를 획득할 수 있다.
한편 707 단계에서 홈 게이트웨이(120)는 홈 디바이스(140)에 대한 정보를 저장하고, 등록된 홈 디바이스(140)로서 관리한다. 선택적인 실시 예로서 홈 게이트웨이(120)는 사용자로부터 직접, 또는 인터넷이나 와이파이 등을 통해 원격 단말로부터 홈 디바이스(140)에 대한 추가 정보를 입력 받을 수 있다. 상기 추가 정보는 일 예로 홈 디바이스(140)의 이름 또는 별명, 홈 디바이스(140)가 설치된 위치 중 적어도 하나를 포함할 수 있다.
선택적인 실시 예로서, 홈 게이트웨이(120)는 사용자로부터 직접, 인터넷이나 와이파이 등을 통해 원격 단말로부터, 홈 디바이스(140)의 동작 모드 및/또는 권한에 대한 추가 정보를 입력 받을 수 있다. 상기 추가 정보는 일 예로서 상기 홈 디바이스(140)에 대한 접근 권한의 레벨을 포함한다. 상기 접근 권한의 레벨은 일 예로서, 홈 게이트웨이(120)를 통한 접근만을 허용, 또는 등록된 원격 단말에 의한 접근을 허용, 또는 홈 게이트웨이(120)에 등록된 원격 단말에 의한 접근을 허용 등을 포함한다.
709 단계에서 홈 게이트웨이(120)는 홈 디바이스(140)와 접속을 설정한다. 상기 접속의 설정은, 홈 게이트웨이(120)와 홈 디바이스(140)간의 통신 방식에 따라 WiFi, 지그비, 블루투스, NFC, 또는 유선 통신 방식에 따라 정해진 절차에 따라 수행된다. 홈 게이트웨이(120)와 홈 디바이스(140)간에 접속이 설정되면, 711 단계에서 홈 디바이스(140)는 상기 설정된 접속을 통해 홈 게이트웨이(120)에게 데이터를 전송할 수 있다. 일 실시 예로서 홈 디바이스(140)는 동작 상태 정보를 주기적으로 또는 홈 게이트웨이(120)의 요청이 있는 경우 홈 게이트웨이(120)로 전송한다.
또한 713 단계에서 홈 게이트웨이(120)는 홈 디바이스(140)에게 제어 명령을 전송할 수 있다. 또한 상기 제어 명령은 본 발명의 실시 예와 같이 이동 단말(200)로부터 홈 게이트웨이(120)를 통해 홈 디바이스(140)에게 전달될 수 있다.
선택적인 실시 예로 상기 제어 명령은 홈 디바이스(140)의 제품 종류를 고려하여 그 제품 별 특성에 부합되도록 설정될 수 있다. 그리고 상기 제어 명령은 또한 현재 동작 조건을 유지하도록 설정하거나 단계적으로 동작 조건을 변경하도록 하는 것도 가능하다. 또한 상기 제어 명령은 다수의 홈 디바이스들(140)에게 공통으로 설정하거나 또는 다수의 홈 디바이스들(140)마다 서로 다른 제어 명령을 설정하는 것도 가능하다. 상기 제어 명령은 사용자 디바이스에서 사용자의 키 입력 또는 터치 입력, 제스쳐 또는 음성 명령을 통해 홈 게이트웨이(120)로 전달되고, 홈 게이트웨이(120)가 그 전달된 제어 명령을 해당 홈 디바이스(140)로 전달한다.
도 8은 본 발명의 실시 예에 따른 이동 단말의 등록 절차를 나타낸 흐름도이다.
도 8을 참조하면, 801 단계에서 이동 단말(200)은 홈 게이트웨이(120)의 원격 제어를 지원하는 원격 제어 어플리케이션을 설치한다. 선택적인 실시 예로서 상기 원격 제어 어플리케이션은 정해진 인증 절차를 거친 사용자의 이동 단말(200)에만 설치되도록 제한될 수 있다. 일 예로서 홈 게이트웨이(120)는 인증 번호를 제공하며, 홈 게이트웨이(120), 홈 게이트웨이(120)를 관리하는 제조사 서버 또는 원격 제어 어플리케이션을 제공하는 외부 서버는 상기 인증 번호를 입력하는 사용자의 이동 단말(200)에게만 상기 원격 제어 어플리케이션의 다운로드를 허용할 수 있다.
선택적인 실시 예로서 상기 원격 제어 어플리케이션은 이동 단말(200)의 허용된 권한 레벨에 따라 제한적인 기능을 제공할 수 있다. 일 예로서 원격 제어 어플리케이션은 홈 게이트웨이(120)를 통한 정보 조회, 홈 게이트웨이(120)로부터의 알람 정보 수신, 홈 디바이스(140)들의 부분적인 제어 또는 완전한 제어 중 적어도 하나에 대한 기능을, 상기 허용된 권한 레벨에 따라 선택적으로 제공할 수 있다. 상기 허용된 권한 레벨은 홈 게이트웨이(120)를 통해 설정하거나 또는 상기 홈 게이트웨이(120)를 관리하는 제조사 서버 또는 원격 제어 어플리케이션을 제공하는 외부 서버를 통해 설정할 수 있다.
803 단계에서 이동 단말(200)은 상기 원격 제어 어플리케이션을 실행하고 상기 원격 제어 어플리케이션을 통해 홈 게이트웨이(120)에게 등록 요청 메시지를 전송한다. 상기 원격 제어 어플리케이션은 인터넷을 통해 홈 게이트웨이(120)에게 전달되거나 직접 WiFi를 통해 홈 게이트웨이(120)에 전달될 수 있다. 상기 등록 요청 메시지는, 상기 이동 단말(200)의 식별자(일 예로 MSID(MS Identifier) 또는 IMSI(International Mobile Subscriber Identify)), 로그인 아이디 및 비밀번호, 권한 정보, 동작 모드 정보 중 적어도 하나를 포함한다.
선택적인 실시 예로서, 805 단계에서 홈 게이트웨이(120)는 등록하고자 하는 이동 단말(200)에 대한 등록 요청을 자신의 사용자 인터페이스를 통해 또는 외부 인터페이스에 의해 접속된 제어 콘솔을 통해 또는 인터넷 상의 컴퓨터를 통해, 사용자로부터 수신하며, 상기 이동 단말(200)에 대한 정보, 일 예로서 권한 정보 및/또는 동작 모드 정보를 사용자로부터 입력 받을 수 있다.
선택적인 실시 예로 과정 809 단계에서 홈 게이트웨이(120)는 이동 단말(200)로부터 획득한 식별 정보 또는 사용자로부터 획득한 이동 단말(200)의 식별 정보를 기반으로 해당 이동 통신 시스템의 가입자 정보를 관리하는 서버에 접속하여 이동 단말(200)을 인증할 수 있다. 이동 단말(200)의 권한 정보가 홈 게이트웨이(120)에 입력되지 않은 경우, 홈 게이트웨이(120)는 상기 인증 결과에 따라 이동 단말(200)의 권한 정보를 생성할 수 있다.
811 단계에서 홈 게이트웨이(120)는 이동 단말(200)에 대한 정보를 저장하고, 등록된 이동 단말(200)로서 관리한다. 813 단계에서 홈 게이트웨이(120)는 이동 단말(200)에 대한 정보가 성공적으로 등록되었음을 나타내는 등록 승인 메시지를 이동 단말(200)에게 전송한다. 이후 813 단계에서 홈 게이트웨이(120)는 이동 단말(200)에게 홈 디바이스들(140)의 원격 제어를 위해 요구되는 데이터를 전송할 수 있다. 상기 데이터는 예컨대, 홈 디바이스들(140)의 동작 상태 정보를 포함한다.
815 단계에서 상기 동작 상태 정보를 수신한 이동 단말(200)의 사용자는 상기 원격 제어 어플리케이션을 통해 제공되는 사용자 인터페이스를 이용하여 홈 디바이스(140)의 동작을 제어하는 제어 명령을 홈 게이트웨이(120)에게 전송할 수 있다. 상기 제어 명령은 도 4의 이동 단말(200)에서 사용자의 키 입력 또는 터치 입력 등의 제스쳐 또는 음성 명령을 통해 홈 게이트웨이(120)로 전달되고, 홈 게이트웨이(120)가 그 전달된 제어 명령을 해당 홈 디바이스(140)로 전달할 수 있다. 그리고 도시되지는 않았으나, 그 제어 명령에 따라 해당 동작을 수행한 홈 디바이스(140)의 처리 결과 정보가 피드백 정보로 이동 단말(200)에게 제공될 수 있다.
도 9는 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 수행되는 원격 제어 절차를 설명하기 위한 도면이다.
도 9의 실시 예에서는 도 6의 예와 같이 사용자 디바이스로 이동 단말(200)을 이용하고, 음성 명령을 통해 홈 디바이스들 중에서 세탁실에 위치된 홈 디바이스들(140a)와 거실에 위치된 로봇 청소기(147)의 동작을 제어하는 경우를 가정한다.
도 9를 참조하면, 901 단계에서 사용자(10)가 원격지에서 댁내 세탁기(141)를 구동시키고자 하는 경우, 이동 단말(200)에서 홈 디바이스의 원격 제어를 위한 원격 제어 어플리케이션을 실행한다. 이를 위해 도 10a와 같이 이동 단말(200)은 설치된 원격 제어 어플리케이션의 실행을 위한 아이콘(1001)을 제공하며, 그 아이콘(1001) 상에서 사용자 제스처(1003), 일 예로서 터치를 감지할 경우 이동 단말(200)은 원격 제어 어플리케이션을 실행한다. 다른 예로 상기 원격 제어 어플리케이션을 음성으로 실행시키는 것도 가능할 것이다.
상기와 같이 원격 제어 어플리케이션이 실행된 경우, 이동 단말(200)은 도 10b와 같이 음성 명령의 입력을 위한 안내 메시지(1005)와 아이콘(1007)을 제공하며, 사용자의 음성 명령, 일 예로서 "세탁기 구동" 혹은 "세탁 시작" 등의 음성 명령이 입력되면, 사용자(10)의 음성 명령은 이동 단말(200)을 통해 세탁기(141)의 식별 정보와 세탁기 구동 명령에 대응되는 제어 내용, 그리고 사용자 인증 정보를 포함하는 패킷 형태의 제어 명령으로 생성되어 통신 네트워크(130)를 통해 홈 게이트웨이(120)로 전달된다.
903 단계에서 상기 제어 명령을 수신한 홈 게이트웨이(120)는 사용자 인증 정보를 통해 해당 사용자(10)가 인증된 사용자임을 확인한 후, 식별 정보를 통해 제어 대상 홈 디바이스가 세탁기(141)임을 확인한다. 그리고 세탁을 시작하도록 하는 제어 명령을 세탁기(141)에게 전달한다. 이때 세탁기(141)의 전원이 오프된 상태인 경우 먼저 세탁기(141)를 온 구동 시킨 후, 세탁을 시작하도록 하는 제어 명령을 전달한다. 이때 세탁기(141)의 동작 상태 정보는 주기적으로 또는 요청에 의해 홈 게이트웨이(120)로 전달될 수 있으며, 그 동작 상태 정보는 909 단계에서 이동 단말(200)에게 제공될 수 있다. 따라서 세탁 시작 => 세탁 진행 중=> 탈수 중 => 건조 중 등과 같은 세탁 진행 상황을 이동 단말(200)을 통해 실시간으로 확인할 수 있다. 상기한 실시 예와 같이 제어 명령을 수신한 홈 게이트웨이(120)는 해당 홈 디바이스의 전원 온/오프 상태와, 동작 상태를 확인할 수 있다.
또한 다른 실시 예로 홈 게이트웨이(120)는 홈 디바이스가 사용자의 제어 명령을 수행할 수 없는 상태이거나 또는 오동작 상태인 경우로 판단되면, 제어 명령의 수행을 중단하고, 해당 홈 디바이스의 동작 불능 또는 오동작 상태를 알리는 메시지를 이동 단말(200)로 전송한다.
한편 상기와 같이 세탁기(141)가 구동 중에 901 단계에서 사용자가 원격 제어 어플리케이션을 통해 사용자의 음성 명령, 일 예로서 "청소기 구동" 혹은 "청소해~" 등의 음성 명령이 입력되면, 사용자(10)의 음성 명령은 이동 단말(200)을 통해 로봇 청소기(147)의 식별 정보와 청소기 구동 명령에 대응되는 제어 내용, 그리고 사용자 인증 정보를 포함하는 패킷 형태의 제어 명령으로 생성되어 통신 네트워크(130)를 통해 홈 게이트웨이(120)로 전달된다.
그러면 905 단계에서 홈 게이트웨이(120)는 상기 903 단계의 세탁기 동작 제어와 동일한 방식으로 그리고 다른 룸(예컨대, 거실)에 위치된 로봇 청소기(147)에게 청소를 시작하도록 하는 제어 명령을 전달한다. 마찬가지로 로봇 청소기(147)의 동작 상태 정보는 주기적으로 또는 요청에 의해 홈 게이트웨이(120)로 전달될 수 있으며, 그 동작 상태 정보는 909 단계에서 이동 단말(200)에게 제공될 수 있다. 이후 세탁기(141)와 로봇 청소기(147)는 해당 제어 명령의 수행을 완료한 경우, 그 처리 결과 정보를 홈 게이트웨이(120)로 각각 전송하고, 홈 게이트웨이(120)는 수신한 처리 결과 정보를 이동 단말(200)로 전송한다.
다른 실시 예로 상기 901 단계에서 제어 대상 홈 디바이스의 선택 또는 댁내 홈 디바이스들의 전체적인 동작 상태를 확인하고자 하는 경우, 사용자(10)는 홈 게이트웨이(120)에게 홈 디바이스들의 동작 상태 정보가 포함된 댁내 평면도 정보의 전송을 요청할 수 있다.
도 11은 본 발명의 실시 예에 따른 홈 네트워크 시스템에서 이동 단말로 전송되는 평면도 정보의 일 예를 나타낸 도면으로서, 도 11은 댁내 홈 디바이스들 중에서 로봇 청소기만 도 9의 절차에 따라 구동된 상태임을 가정한다.
도 11을 참조하면, 이동 단말(200)에서 디스플레이되는 댁내 평면도(1100)는 룸별로 홈 디바이스들의 동작 여부를 나타내는 아이콘들(1101a, 1101b)를 포함한다. 도 11의 예와 같이 거실에 위치된 로봇 청소기(1111)만 구동 상태인 경우, 해당 룸(거실)의 아이콘(1101b)과 다른 룸들(방1, 방2, 방3, 주방 등)의 아이콘(1101a)은 다른 형태 또는 다른 색상으로 구별되게 표시된다. 그리고 사용자가 해당 룸(거실)의 영역을 터치하거나 또는 "거실의 동작 상태를 보여줘~"등과 같은 음성 명령을 입력하면, 예컨대, 참조 번호 1110의 표시 창과 같이 해당 룸(거실)에 위치된 다수의 홈 디바이스들(예컨대, 청소기, 전등, 에어컨, TV)의 동작 상태가 다른 형태 또는 다른 색상으로 구별되게 표시된다. 도 11의 경우 로봇 청소기(1111)만 구동 상태이므로 표시 창(1110)에는"청소기"가 다른 홈 디바이스들(전등, 에어컨, TV)가 구별되게 표시된다. 또한 다른 표시 창(1130)에는 홈 게이트웨이(120)로부터 수신된 로봇 청소기(1111)의 동작 상태 정보가 표시된다. 그리고 상기한 실시 예에서는 편의상 홈 디바이스의 구동 동작을 예로 들어 설명하였으나, 제어 명령의 세부적인 지정을 통해 홈 디바이스의 구체적인/단계적인 동작 제어 또는 위치 이동(이동형 홈 디바이스인 경우) 등이 가능할 것이다.
다른 실시 예로 사용자의 이동 단말(200)는 홈 게이트웨이(120)에 요청하여 댁내에서 예컨대, 룸별로 설치된 적어도 하나의 폐쇄회로 텔레비전(CCTV)(이하, 카메라)를 통해 홈 디바이스들의 동작 상태를 동영상 또는 정지 영상으로 수신할 수 있다. 이 경우 이동 단말(200)은 홈 게이트웨이(120)에게 홈 모니터링의 요청 메시지를 전송한다. 홈 게이트웨이(120)는 상기 요청 메시지에 응답하여 카메라를 구비하는 적어도 하나의 홈 디바이스를 제어하여 영상 데이터를 수집하고, 이동 단말(200)에게 룸별로 구분되어 수집된 영상 정보를 전송한다. 도 12의 예는 각 룸별로 카메라 설치된 경우임을 가정한다. 각 룸별 영상에는 도 12와 같이 룸의 명칭(1201)과 룸내 촬영된 영상(1203)이 함께 표시된다.
이하 도 13 내지 도 15를 참조하여 본 발명의 실시 예에 따른 홈 디바이스의 원격 제어 절차를 설명하기로 한다.
도 13 내지 도 16에서 홈 디바이스(140)는 편의상 하나만 도시하였으나, 실제로는 다수의 홈 디바이스들(140)이 홈 게이트웨이(120)와 연결된다. 그리고 원격 제어를 위한 스마트 기기로서 사용자 디바이스는 편의상 이동 단말(200)의 예를 들어 설명하기로 한다.
도 13은 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 수행되는 원격 제어 절차를 나타낸 흐름도이다. 도시되지는 않았으나 홈 게이트웨이(120)는 댁내 홈 디바이스(140)로부터 동작 상태 정보를 주기적으로 또는 요청에 의해 수신할 수 있으며, 홈 게이트웨이(120)는 수신된 동작 상태 정보를 토대로 홈 디바이스(140)의 동작 상태를 확인한 상태임을 가정한다.
도 13의 1301 단계에서 원격지에서 홈 디바이스(140)를 구동시키고자 하는 경우, 사용자는 터치 입력, 제스쳐, 또는 음성 명령을 통해 이동 단말(200)에서 홈 디바이스의 원격 제어를 위한 원격 제어 어플리케이션을 실행한다. 상기 원격 제어 어플리케이션이 실행되면, 1303 단계에서 이동 단말(200)은 도 10a, 도 10b의 실시 예에서 설명한 방식으로 홈 게이트웨이(120)로 제어 명령을 전송한다. 이때 상기 1303 단계의 제어 명령은 예컨대, 홈 디바이스(140)의 동작 제어를 위한 제어 명령 또는 상기 평면도 정보의 전송을 요청하는 제어 명령일 수 있다.
1305 단계에서 홈 게이트웨이(120)는 이동 단말(200)로부터 수신한 제어 명령이 상기 평면도 정보를 요청하는 제어 명령인지 또는 홈 디바이스(140)의 동작 제어를 위한 제어 명령인지 판단한다. 판단 결과 상기 평면도 정보를 요청하는 제어 명령인 경우, 1307 단계에서 홈 게이트웨이(120)는 예컨대, 도 11과 같은 룸별 홈 디바이스의 제어를 위한 평면도 정보를 이동 단말(200)에게 전송한다. 그러면 1309 단계에서 상기 평면도 정보를 확인한 사용자가 이동 단말(200)을 통해 제어 대상 홈 디바이스(140)와 그 제어 내용을 입력/선택하면, 이동 단말(200)은 그 제어 내용과 제어 대상 홈 디바이스(140)의 식별 정보, 그리고 사용자 인증 정보가 포함된 제어 명령을 생성하여 홈 게이트웨이(120)로 전송한다.
한편 상기 1305 단계에서 판단 결과 홈 디바이스(140)의 동작 제어를 위한 제어 명령인 경우 홈 게이트웨이(120)는 1307 단계를 생략한다. 이때 수시한 제어 명령의 정보 구성은 상기 1309 단계에서 수신한 제어 명령과 동일하다. 이후 1311 단계에서 홈 게이트웨이(120)는 제어 명령에 포함된 식별 정보를 확인하여 제어 대상 홈 디바이스(140)를 결정하고, 1313 단계에서 해당되는 홈 디바이스(140)에게 그 제어 내용이 포함된 제어 명령을 전송한다. 상기 제어 대상 홈 디바이스(140)를 결정하는 과정에서 동작 불능 상태이거나 오동작을 수행할 수 있는(예컨대, 정격 전력을 기준치를 초과하여 사용하거나 동작 온도가 기준치를 초과하여, 즉 홈 디바이스의 동작 상태를 나타내는 값이 기준치를 초과하여 오동작의 가능성이 있는) 홈 디바이스는 이동 단말(200)로부터 동작 제어를 위한 제어 명령이 수신되었더라도 제어 대상 홈 디바이스(140)에서 제외될 수 있다. 상기 제어 명령을 수신한 홈 디바이스(140)는 그 제어 내용에 상응하는 동작을 수행하고, 1315 단계에서 그 동작 수행에 따른 처리 결과 정보를 홈 게이트웨이(120)로 전송한다.
그리고 1317 단계에서 홈 게이트웨이(120)는 상기 처리 결과 정보를 이동 단말(200)에게 전송하고, 이동 단말(200)는 원격 제어 어플리케이션에서 제공되는 사용자 인터페이스를 통해 그 처리 결과를 제공한다.
아래 <표 1>, <표 2>은 본 발명의 실시 예에 따른 상기 제어 명령을 통해 홈 게이트웨이(120)에서 수행될 수 있는 다양한 제어 모드와 제어 방식의 일 예를 예시한 것이다.
표 1
제어 모드 자동 모드 댁내 전체 홈 디바이스들의 에너지 사용을 일괄적으로 제어 예) 외출모드, 준비모드, 절약모드 등
룸별 자동 모드 사용자가 선택한 특정 룸에 대해서만 온/오프 제어
홈 디바이스별 절약 모드 사용자가 선택한 홈 디바이스별로 제어
인공지능 모드 룸내의 온도, 조도, 습도, 사람 유무 등을 종합적으로 판단하여 인공지능적으로 일괄 제어
표 2
제어 방식 전원 오프 예) 홈 디바이스의 전원을 오프 시키고, sleep mode 상태로 홈 디바이스의 동작을 전환
전원 온 예) 홈 디바이스의 전원을 온 시키고, 에어컨 설정 온도 상승, 전기히터 설정온도 하강, 전등 밝기 조정 등의 홈 디바이스의 세부 제어를 수행 가능
세부 제어 예) 전등의 밝기, TV의 채널, 프로그램 녹화, 세탁기 가동 시 세탁모드 조절, 에어컨 온도 조절 등의 세부 제어
그리고 상기 1315 단계에서 홈 디바이스(140)로부터 홈 게이트웨이(120)으로 전달되는 처리 결과 정보의 정보 구성의 일 예는 아래 <표 3>과 같다.
표 3
처리 결과 정보 식별 정보 제어 대상 홈 디바이스의 식별 정보(예컨대, serial number)
처리 결과 동작 수행 후 홈 디바이스의 상태 정보 예) 온/오프 상태, 온도 설정 상태, 전등 밝기 단계 등
안전 제어 이상 상태 발생 시 포함됨예) 과전류, 과전력, 고온, 먼지 상태 등
그리고 상기 1317 단계에서 홈 게이트웨이(120)로부터 이동 단말(200)로 전송되는 처리 결과 정보의 정보 구성은 상기 <표 3>의 정보 구성과 동일하거나 또는 상기 식별 정보를 예컨대, 홈 게이트웨이(120)에서 정하는 고유 식별 정보로 이용할 수 있다. 상기 고유 식별 정보는 홈 게이트웨이(120) 또는 홈 디바이스(140) 중 적어도 하나를 식별하는 정보로 구성될 수 있다. 그리고 상기 1317 단계에서 이동 단말(200)이 상기 처리 결과 정보를 표시하는 방식의 일 예는 아래 <표 4>와 같다.
표 4
처리결과 디스플레이 화면 구성 홈 디바이스의 아이콘, 처리 결과 표시, 제어 명령 수행 실패 시 다시 제어 명령 지시 등
처리 결과 제어 내용에 맞는 애니메이션 효과, 음향효과 등 예) 전등 제어의 경우 밝기에 따라 아이콘 밝기 변화시키고, 에어컨 제어의 경우 바람이 불어나오는 속도나 양을 애니메이션 효과 처리함, 에어컨을 터보 모드로 구동할 경우, 실제 에어컨에서 터보 모드 시 나오는 사운드를 이동 단말에서 그대로 재현함.
CCTV 병합 룸별 CCTV 영상으로 제어 명령 처리 결과를 작은 화면으로 함께 디스플레이함
도 14는 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 원격 제어 수행 시 홈 디바이스의 동작 상태를 영상 정보로 제공하는 절차를 나타낸 흐름도이다.
도 14에서 1401 단계의 동작은 도 13의 원격 제어 절차와 동일한 절차임을 가정한다. 다만 도 14의 실시 예에서 도 13의 1317 단계의 처리 결과 정보 전송은 선택적으로 수행될 수 있다.
도 14를 참조하면, 1403 단계에서 이동 단말(200)은 홈 게이트웨이(120)로 제어 대상 홈 디바이스(140) 또는 해당 홈 디바이스(140)가 위치된 룸의 영상 정보 전송을 요청하는 메시지를 전송한다. 그러면 1405 단계에서 홈 게이트웨이(120)는 상기 요청 메시지에 응답하여 카메라를 구비하는 적어도 하나의 홈 디바이스(140)를 제어하는 카메라 구동 명령을 전송하고, 1407 단계에서 제어 대상 홈 디바이스(140) 또는 해당 홈 디바이스(140)가 위치된 영상 데이터를 수집하고, 1409 단계에서 홈 게이트웨이(120)는 이동 단말(200)에게 홈 디바이스별로 또는 룸별로 구분되어 수집된 상기 영상 데이터가 포함된 영상 정보를 전송한다.
이후 1411 단계에서 이동 단말(200)는 상기 수신된 영상 정보를 예컨대 도 12의 예와 같이 디스플레이한다.
도 15는 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 수행되는 원격 제어 절차를 나타낸 흐름도로서, 이는 도 2b, 도 5의 실시 예와 같이 댁내 설치된 음성 인식 센서(115)를 통한 원격 제어 절차를 나타낸 것이다.
도 15를 참조하면, 1501 단계에서 댁내 음성 인식 센서(115)는 사용자의 음성 명령을 인식하여 1503 단계에서 홈 게이트웨이(120)으로 전달한다. 1505 단계에서 홈 게이트웨이(120)는 음성 인식 알고리즘을 이용하여 그 음성 명령을 판독하고, 1507 단계에서 상기 판독된 음성 명령을 근거로 제어 대상 홈 디바이스를 결정한다. 예를 들어 음성 명령 "세탁 시작"이면, "세탁"이라는 단어를 인식하여 제어 대상 홈 디바이스가 세탁기인 것으로 결정하고, 제어 내용은"시작"이라는 단어를 인식하여 세탁기를 온 구동시켜 세탁 동작을 시작하는 것임을 결정한다.
이후 1509 단계에서 홈 게이트웨이(120)는 상기 1507 단계에서 결정된 내용을 근거로 해당 홈 디바이스(140)에게 제어 명령을 전달하고, 그 제어 명령을 수행한 홈 디바이스(140)는 처리 결과 정보를 홈 게이트웨이(120)에게 피드백 전송한다. 그러면 1513 단계에서 홈 게이트웨이(120)는 그 처리 결과 정보를 미리 지정된 각종 사용자 디바이스(예를 들어, 스마트 TV, 이동 단말, 태블릿 PC 등)로 전송한다. 상기 1513 단계는 선택적으로 수행될 수 있다.
도 16은 본 발명의 실시 예에 따라 홈 네트워크 시스템에서 사용자 프로파일 기반의 원격 제어 절차를 나타낸 흐름도로서, 이는 도 2b, 도 5의 실시 예와 같이 댁내 설치된 음성 인식 센서(115)를 통한 원격 제어 절차를 나타낸 것이다.
도 16을 참조하면, 1601 단계에서 홈 게이트웨이(120)는 각 사용자의 음성을 인식하기 위한 사용자별 음성 정보와, 사용자별로 미리 정해진 권한 범위에서 홈 디바이스의 동작 제어를 수행하기 위한 권한 정보를 입력 받아 등록 및 저장한다. 사용자 프로파일의 입력은 각 사용자의 이동 단말(200)을 통해 수행되거나 또는 홈 게이트웨이(120)를 통해 수행될 수 있다. 그리고 상기 사용자별 음성 정보는 음성 인식 센서(115)를 이용하여 홈 게이트웨이(120)에 등록 및 저장될 수 있다. 사용자별 음성 정보를 등록하는 경우, 홈 게이트웨이(120)는 등록된 사용자의 음성 명령(즉 제어 명령)은 수행하고, 등록되지 않은 사용자의 음성 명령은 수행하지 않게 된다.
상기 1601 단계에서 적어도 하나의 사용자에 대한, 사용자 프로파일이 등록 및 저장된 후, 1603 단계에서 댁내 음성 인식 센서(115)는 사용자의 음성 명령을 인식한 경우, 1605 단계에서 홈 게이트웨이(120)으로 인식된 음성 명령을 전달한다. 1607 단계에서 홈 게이트웨이(120)는 음성 인식 알고리즘을 이용하여 그 음성 명령을 판독하고, 1609 단계에서 홈 게이트웨이(120)는 사용자 프로파일을 근거로 해당 음성 명령을 입력한 사용자가 등록된 사용자인지 확인한다. 이때 등록된 사용자가 아닌 것으로 확인된 경우, 1611 단계에서 홈 게이트웨이(120)는 등록된 사용자가 아님을 알리는 알림 메시지를 표시/전송한다. 상기 알림 메시지는 홈 게이트웨이(120)의 사용자 인터페이스(128)를 통해 출력되는 문자 or 음성 메시지 형태가 될 수 있다. 또한 상기 알림 메시지는 등록된 사용자의 이동 단말(200)로 전송하여 등록되지 않은 사용자가 음성 명령을 이용한 제어를 시도하였음을 알릴 수도 있다.
한편 상기 1609 단계에서 등록된 사용자로 확인된 경우, 1613 단계에서 홈 게이트웨이(120)는 사용자 프로파일을 근거로 해당 (음성) 명령이 사용자 권한의 범위 내인지 즉, 해당 (음성) 명령에 사용자 권한이 부여되어 있는 지 확인한다. 확인 결과 사용자 권한이 부여되어 있지 않은 경우, 홈 게이트웨이(120)는 상기 1611 단계로 진행하여 해당 (음성) 명령에 사용자 권한이 부여되어 있지 않음을 알리는 알림 메시지를 표시/전송한다. 이 경우 마찬가지로 상기 알림 메시지는 홈 게이트웨이(120)의 사용자 인터페이스(128)를 통해 출력되는 문자 or 음성 메시지 형태가 될 수 있다. 또한 해당 사용자가 이동 단말(200)을 통해 음성 명령을 전달한 경우, 그 이동 단말(200)로 상기 알림 메시지를 전송할 수 있다. 한편 상기 1613 단계에서 해당 (음성) 명령에 사용자 권한이 부여되어 있는 것으로 확인된 경우, 1615 단계에서 상기 판독된 음성 명령을 근거로 제어 대상 홈 디바이스를 결정한다. 예를 들어 음성 명령 "세탁 시작"이면, "세탁"이라는 단어를 인식하여 제어 대상 홈 디바이스가 세탁기인 것으로 결정하고, 제어 내용은"시작"이라는 단어를 인식하여 세탁기를 온 구동시켜 세탁 동작을 시작하는 것임을 결정한다. 상기 1613 단계와 1615 단계는 함께 수행될 수 있다.
이후 1619 단계에서 홈 게이트웨이(120)는 상기 1615 단계에서 결정된 내용을 근거로 해당 홈 디바이스(140)에게 제어 명령을 전달하고, 그 제어 명령을 수행한 홈 디바이스(140)는 처리 결과 정보를 홈 게이트웨이(120)에게 피드백 전송한다. 그러면 1621 단계에서 홈 게이트웨이(120)는 그 처리 결과 정보를 미리 지정된 각종 사용자 디바이스(예를 들어, 스마트 TV, 이동 단말, 태블릿 PC 등)로 전송한다. 상기 1621 단계는 선택적으로 수행될 수 있다.

Claims (21)

  1. 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어 방법에 있어서,
    상기 다수의 홈 디바이스들로부터 각각 동작 상태 정보를 수신하는 과정;
    사용자 디바이스로부터 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 수신하는 과정;
    상기 제어 명령을 근거로 제어 대상 홈 디바이스를 결정하는 과정;
    상기 결정된 제어 대상 홈 디바이스로 상기 제어 명령을 전송하는 과정;
    상기 제어 대상 홈 디바이스로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하는 과정; 및
    상기 처리 결과 정보를 상기 사용자 디바이스로 전송하는 과정을 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  2. 제 1 항에 있어서,
    상기 사용자 디바이스로부터 수신된 상기 제어 명령은 음성 명령을 인식하여 생성된 것인 홈 네트워크 시스템에서 원격 제어 방법.
  3. 제 1 항에 있어서,
    상기 제어 명령은 해당되는 홈 디바이스의 식별 정보와 상기 동작 제어를 위한 제어 내용, 및 상기 사용자 디바이스의 인증 정보 중 적어도 하나를 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  4. 제 1 항에 있어서,
    상기 제어 대상 홈 디바이스를 결정하는 과정은, 상기 적어도 하나의 홈 디바이스 중에서 동작 상태를 나타내는 값이 기준치를 초과하여 오동작의 가능성이 있는 홈 디바이스를 상기 제어 대상 홈 디바이스에서 제외하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  5. 제 1 항에 있어서,
    상기 사용자 디바이스로부터 수신된 상기 제어 명령이 평면도 정보의 제공 요청을 포함하는 경우, 상기 사용자 디바이스로 상기 다수의 홈 디바이스들의 룸별 배치와 동작 상태를 나타내는 상기 평면도 정보를 제공하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  6. 제 1 항에 있어서,
    상기 사용자 디바이스로부터 상기 제어 대상 홈 디바이스에 대한 영상 정보 요청이 수신된 경우, 상기 다수의 홈 디바이스들 중에서 카메라를 포함하는 적어도 하나의 홈 디바이스를 제어하여 촬영된 영상 데이터를 포함하는 영상 정보를 상기 이동 단말로 전송하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  7. 제 1 항에 있어서,
    적어도 하나의 음성 인식 센서로부터 인식된 음성 명령이 수신된 경우, 상기 수신된 음성 명령을 판독하여 상기 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 생성하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  8. 제 7 항에 있어서,
    상기 음성 인식 센서는 상기 적어도 하나의 홈 디바이스 중 적어도 하나에 탑재되는 홈 네트워크 시스템에서 원격 제어 방법.
  9. 제 1 항에 있어서,
    음성 인식을 위한 사용자별 음성 정보와 상기 적어도 하나의 홈 디바이스의 동작 제어를 위한 사용자별 권한 정보를 포함하는 사용자 프로파일을 등록하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  10. 제 9 항에 있어서,
    상기 제어 명령이 수신된 경우, 상기 사용자 프로파일을 근거로 상기 제어 명령의 수행 여부를 판단하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  11. 제 1 항에 있어서,
    상기 사용자 디바이스는 스마트 TV, 이동 단말, 태블릿 PC, 리모콘, IP 기반 유무선 전화기 중 적어도 하나인 홈 네트워크 시스템에서 원격 제어 방법.
  12. 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어를 위한 게이트웨이 장치에 있어서,
    상기 다수의 홈 디바이스들 및 사용자 디바이스와 유선/무선으로 통신을 수행하기 위한 적어도 하나의 통신 모듈; 및
    상기 다수의 홈 디바이스들로부터 각각 동작 상태 정보를 수신하고, 상기 사용자 디바이스로부터 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 수신하며, 상기 제어 명령을 근거로 제어 대상 홈 디바이스를 결정하고, 상기 결정된 제어 대상 홈 디바이스로 상기 제어 명령을 전송하며, 상기 제어 대상 홈 디바이스로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하고, 상기 처리 결과 정보를 상기 사용자 디바이스로 전송하는 동작을 제어하는 제어부를 포함하는 게이트웨이 장치.
  13. 제 2 항 내지 제 11 항 중 어느 한 항에 따라 동작하도록 적용된 제 12 항의 게이트웨이 장치.
  14. 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어 방법에 있어서,
    상기 다수의 홈 디바이스들의 동작 상태 정보를 수집하며 상기 다수의 홈 디바이스들의 동작을 제어하는 홈 게이트웨이로 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 전송하는 과정; 및
    상기 제어 명령의 전송에 대한 응답으로, 상기 홈 게이트웨이로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하는 과정을 포함하며,
    상기 제어 명령은 사용자의 음성 명령을 인식하여 생성되는 홈 네트워크 시스템에서 원격 제어 방법.
  15. 제 14 항에 있어서,
    상기 제어 명령은 해당되는 홈 디바이스의 식별 정보와 상기 동작 제어를 위한 제어 내용, 및 상기 사용자 디바이스의 인증 정보 중 적어도 하나를 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  16. 제 14 항에 있어서,
    상기 제어 명령이 평면도 정보의 제공 요청을 포함하는 경우, 상기 다수의 홈 디바이스들의 룸별 배치와 동작 상태를 나타내는 평면도 정보를 상기 홈 게이트웨이로부터 수신하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  17. 제 14 항에 있어서,
    상기 사용자의 음성 정보와 상기 적어도 하나의 홈 디바이스의 동작 제어를 위한 사용자별 권한 정보를 포함하는 사용자 프로파일을 상기 홈 게이트웨이에 등록하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  18. 제 17 항에 있어서,
    상기 홈 게이트웨이로부터 상기 사용자 프로파일을 근거로 상기 사용자가 등록된 사용자인지 여부 알리는 알림 메시지를 수신하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  19. 제 17 항에 있어서,
    상기 홈 게이트웨이로부터 상기 사용자 프로파일을 근거로 상기 제어 명령에 대한 상기 사용자의 권한 부여 여부를 알리는 알림 메시지를 수신하는 과정을 더 포함하는 홈 네트워크 시스템에서 원격 제어 방법.
  20. 다수의 홈 디바이스들을 포함하는 홈 네트워크 시스템에서 원격 제어를 위한 사용자 디바이스에 있어서,
    다수의 홈 디바이스들의 동작을 제어하는 홈 게이트웨이와 통신을 수행하기 위한 적어도 하나의 통신 모듈; 및
    상기 다수의 홈 디바이스들의 동작 상태 정보를 수집하며 상기 다수의 홈 디바이스들의 동작을 제어하는 상기 홈 게이트웨이로 상기 다수의 홈 디바이스들 중 적어도 하나의 홈 디바이스의 동작 제어를 위한 제어 명령을 전송하고, 상기 제어 명령의 전송에 대한 응답으로, 상기 홈 게이트웨이로부터 상기 제어 명령의 수행에 따른 처리 결과 정보를 수신하는 동작을 제어하는 제어부를 포함하며,
    상기 제어 명령은 사용자의 음성 명령을 인식하여 생성되는 사용자 디바이스.
  21. 제 15 항 내지 제 19 항 중 어느 한 항에 따라 동작하도록 적용된 제 20 항의 사용자 디바이스.
PCT/KR2013/011821 2012-12-18 2013-12-18 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치 WO2014098477A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13865350.6A EP2938022A4 (en) 2012-12-18 2013-12-18 METHOD AND DEVICE FOR REMOTE CONTROL OF A HOME DEVICE IN A HOME NETWORK SYSTEM
CN201380066448.7A CN104885406B (zh) 2012-12-18 2013-12-18 用于在家庭网络系统中远程控制家庭设备的方法和设备
EP20164448.1A EP3691179A1 (en) 2012-12-18 2013-12-18 Method and device for controlling home device remotely in home network system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120148738 2012-12-18
KR10-2012-0148738 2012-12-18

Publications (1)

Publication Number Publication Date
WO2014098477A1 true WO2014098477A1 (ko) 2014-06-26

Family

ID=50930220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011821 WO2014098477A1 (ko) 2012-12-18 2013-12-18 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치

Country Status (5)

Country Link
US (2) US9978260B2 (ko)
EP (2) EP2938022A4 (ko)
KR (2) KR102102246B1 (ko)
CN (2) CN110223495A (ko)
WO (1) WO2014098477A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047983A1 (ko) * 2014-09-24 2016-03-31 삼성전자 주식회사 통신 단말들간 무선 통신을 위한 방법 및 장치
WO2017010812A1 (ko) * 2015-07-13 2017-01-19 엘지전자(주) 무선 통신 시스템에서 데이터를 송수신하는 방법 및 장치
WO2017126740A1 (ko) * 2016-01-22 2017-07-27 삼성전자 주식회사 단말 장치, 원격 제어 시스템 및 제어 방법
US11533191B2 (en) * 2018-04-17 2022-12-20 Mitsubishi Electric Corporation Apparatus control system and apparatus control method

Families Citing this family (441)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10149005B2 (en) * 2011-06-20 2018-12-04 Enseo, Inc. Set-top box with enhanced content and system and method for use of same
CN102411840B (zh) * 2011-12-15 2013-06-05 鸿富锦精密工业（深圳）有限公司 遥控装置
JP2013169122A (ja) 2012-02-17 2013-08-29 Panasonic Corp 非接触充電モジュール及びそれを備えた携帯端末
US9531174B2 (en) 2012-02-28 2016-12-27 Centurylink Intellectual Property Llc Apical conduit and methods of using same
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
WO2014033055A1 (en) 2012-08-27 2014-03-06 Aktiebolaget Electrolux Robot positioning system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR20140088449A (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 중앙 제어 장치 및 그것의 제어 방법
US9640174B2 (en) * 2013-01-02 2017-05-02 Lg Electronics Inc. Home appliance and operation method thereof
US9375847B2 (en) 2013-01-18 2016-06-28 Irobot Corporation Environmental management systems including mobile robots and methods using same
JP6409003B2 (ja) 2013-01-18 2018-10-17 アイロボット コーポレイション ロボットを用いる方法及びそのコンピュータ可読記憶媒体
US9233472B2 (en) 2013-01-18 2016-01-12 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
CN104247445B (zh) 2013-02-20 2018-10-12 松下电器（美国）知识产权公司 便携信息终端的控制方法
MY181880A (en) 2013-02-20 2021-01-12 Panasonic Ip Corp America Method for controlling information apparatus and program
CN104285502B (zh) * 2013-02-20 2016-12-28 松下电器（美国）知识产权公司 便携信息终端的控制方法和程序
EP2961189B1 (en) * 2013-02-20 2019-01-30 Panasonic Intellectual Property Corporation of America Methode for controlling information apparatus and program
JP5529358B1 (ja) 2013-02-20 2014-06-25 パナソニック株式会社 携帯情報端末の制御方法及びプログラム
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014155428A1 (ja) * 2013-03-29 2014-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 携帯情報端末の制御方法、プログラム及び情報提供方法
JP6198234B2 (ja) 2013-04-15 2017-09-20 アクティエボラゲット エレクトロラックス 突出サイドブラシを備えたロボット真空掃除機
KR102118769B1 (ko) 2013-04-15 2020-06-03 에이비 엘렉트로룩스 로봇 진공 청소기
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US20180343141A1 (en) 2015-09-22 2018-11-29 SkyBell Technologies, Inc. Doorbell communication systems and methods
US10672238B2 (en) 2015-06-23 2020-06-02 SkyBell Technologies, Inc. Doorbell communities
US10440165B2 (en) 2013-07-26 2019-10-08 SkyBell Technologies, Inc. Doorbell communication and electrical systems
US11651665B2 (en) 2013-07-26 2023-05-16 Skybell Technologies Ip, Llc Doorbell communities
US10733823B2 (en) 2013-07-26 2020-08-04 Skybell Technologies Ip, Llc Garage door communication systems and methods
US11889009B2 (en) 2013-07-26 2024-01-30 Skybell Technologies Ip, Llc Doorbell communication and electrical systems
US11004312B2 (en) 2015-06-23 2021-05-11 Skybell Technologies Ip, Llc Doorbell communities
US20170263067A1 (en) 2014-08-27 2017-09-14 SkyBell Technologies, Inc. Smart lock systems and methods
US10708404B2 (en) 2014-09-01 2020-07-07 Skybell Technologies Ip, Llc Doorbell communication and electrical systems
US9786997B2 (en) 2013-08-01 2017-10-10 Centurylink Intellectual Property Llc Wireless access point in pedestal or hand hole
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
KR102231092B1 (ko) 2013-09-05 2021-03-24 삼성전자주식회사 제어 장치
US10276921B2 (en) 2013-09-06 2019-04-30 Centurylink Intellectual Property Llc Radiating closures
US10154325B2 (en) 2014-02-12 2018-12-11 Centurylink Intellectual Property Llc Point-to-point fiber insertion
US9780433B2 (en) 2013-09-06 2017-10-03 Centurylink Intellectual Property Llc Wireless distribution using cabinets, pedestals, and hand holes
CN105960829B (zh) * 2013-11-29 2020-02-28 飞利浦灯具控股公司 Zigbee光链路网络调试
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
WO2015085237A1 (en) 2013-12-06 2015-06-11 Adt Us Holdings, Inc. Voice activated application for mobile devices
EP3082541B1 (en) 2013-12-19 2018-04-04 Aktiebolaget Electrolux Adaptive speed control of rotating side brush
KR102116596B1 (ko) 2013-12-19 2020-05-28 에이비 엘렉트로룩스 나선형 패턴으로 이동하는 사이드 브러시를 구비한 로봇 진공 청소기
US10617271B2 (en) 2013-12-19 2020-04-14 Aktiebolaget Electrolux Robotic cleaning device and method for landmark recognition
CN105793790B (zh) 2013-12-19 2022-03-04 伊莱克斯公司 优先化清洁区域
CN105849660B (zh) 2013-12-19 2020-05-08 伊莱克斯公司 机器人清扫装置
JP6494118B2 (ja) 2013-12-19 2019-04-03 アクチエボラゲット エレクトロルックス 障害物の乗り上げの検出に伴うロボット掃除機の制御方法、並びに、当該方法を有するロボット掃除機、プログラム、及びコンピュータ製品
JP6455737B2 (ja) 2013-12-19 2019-01-23 アクチエボラゲット エレクトロルックス 方法、ロボット掃除機、コンピュータプログラムおよびコンピュータプログラム製品
WO2015090439A1 (en) 2013-12-20 2015-06-25 Aktiebolaget Electrolux Dust container
US10225347B2 (en) * 2013-12-24 2019-03-05 Verizon Patent And Licensing Inc. Message controlled appliances
KR20150079106A (ko) * 2013-12-31 2015-07-08 삼성전자주식회사 디스플레이 장치, 단말 장치 및 그 제어 방법
USD754172S1 (en) * 2014-01-03 2016-04-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US9814084B2 (en) * 2014-08-07 2017-11-07 Belkin International Inc. Location and pairing of devices on a local area network using a unique identifier
US9918351B2 (en) 2014-04-01 2018-03-13 Belkin International Inc. Setup of multiple IOT networks devices
US20150283703A1 (en) * 2014-04-03 2015-10-08 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US9641885B2 (en) * 2014-05-07 2017-05-02 Vivint, Inc. Voice control component installation
US9633547B2 (en) 2014-05-20 2017-04-25 Ooma, Inc. Security monitoring and control
US10553098B2 (en) 2014-05-20 2020-02-04 Ooma, Inc. Appliance device integration with alarm systems
JP6225073B2 (ja) * 2014-05-26 2017-11-01 株式会社マキタ 無線通信装置及び電動工具用装置
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US11184589B2 (en) 2014-06-23 2021-11-23 Skybell Technologies Ip, Llc Doorbell communication systems and methods
US9888216B2 (en) 2015-09-22 2018-02-06 SkyBell Technologies, Inc. Doorbell communication systems and methods
US10687029B2 (en) 2015-09-22 2020-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20170085843A1 (en) 2015-09-22 2017-03-23 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US11330100B2 (en) 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
JP6513709B2 (ja) 2014-07-10 2019-05-15 アクチエボラゲット エレクトロルックス ロボット型清掃装置における計測誤差を検出する方法、ロボット型清掃装置、コンピュータプログラムおよびコンピュータプログラムプロダクト
US9629227B2 (en) * 2014-07-11 2017-04-18 Ideal Industries, Inc. Systems and methods for pre-commissioning a wireless lighting control system
KR20160010785A (ko) * 2014-07-18 2016-01-28 삼성전자주식회사 가전기기 및 그 제어 방법
KR101575597B1 (ko) * 2014-07-30 2015-12-08 엘지전자 주식회사 로봇 청소 시스템 및 로봇 청소기의 제어방법
US9389831B2 (en) * 2014-08-06 2016-07-12 Toyota Jidosha Kabushiki Kaisha Sharing speech dialog capabilities of a vehicle
KR101631435B1 (ko) 2014-09-05 2016-06-24 엘지전자 주식회사 이동 단말기, 홈 어플라이언스, 및 그 동작 방법
KR102271785B1 (ko) 2014-09-08 2021-06-30 에이비 엘렉트로룩스 로봇 진공 청소기
US10729297B2 (en) 2014-09-08 2020-08-04 Aktiebolaget Electrolux Robotic vacuum cleaner
US10073990B1 (en) * 2014-09-10 2018-09-11 Maxim Integrated Products, Inc. System and method for monitoring network devices incorporating authentication capable power supply modules
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
CN104301526B (zh) * 2014-09-26 2017-04-12 小米科技有限责任公司 终端遥控方法、装置及设备
WO2016052888A1 (en) * 2014-09-29 2016-04-07 Lg Electronics Inc. Mobile terminal and method of controlling the same
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9942229B2 (en) * 2014-10-03 2018-04-10 Gopro, Inc. Authenticating a limited input device via an authenticated application
US10354467B2 (en) * 2014-10-13 2019-07-16 Automatic Technology (Australia) Pty Ltd Remote monitoring and control system for a barrier operator
PT108027A (pt) * 2014-11-11 2016-05-11 Pinheiro Pedro José De Araújo Comando universal controlado remotamente
CN104407592B (zh) * 2014-11-27 2018-11-23 小米科技有限责任公司 一种调整智能家居设备运行状态的方法及装置
KR102302686B1 (ko) 2014-12-05 2021-09-16 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2016091291A1 (en) 2014-12-10 2016-06-16 Aktiebolaget Electrolux Using laser sensor for floor type detection
US10874271B2 (en) 2014-12-12 2020-12-29 Aktiebolaget Electrolux Side brush and robotic cleaner
KR101573785B1 (ko) * 2014-12-12 2015-12-14 주식회사 경동원 Z-Wave 네트워크를 이용한 홈네트워크 시스템 및 그 시스템을 이용한 홈오토메이션 기기 연결 방법
KR102339531B1 (ko) 2014-12-16 2021-12-16 에이비 엘렉트로룩스 로봇 청소 장치를 위한 경험-기반의 로드맵
KR101634295B1 (ko) 2014-12-16 2016-06-30 주식회사 윈스 IoT 보안을 위한 인증 서비스 제공 시스템 및 방법
JP6532530B2 (ja) 2014-12-16 2019-06-19 アクチエボラゲット エレクトロルックス ロボット掃除機の掃除方法
CN104504887B (zh) * 2015-01-06 2018-09-04 连宁 一种无线遥控的控制方法及系统
US20170048495A1 (en) * 2015-02-17 2017-02-16 SkyBell Technologies, Inc. Power outlet cameras
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10742938B2 (en) 2015-03-07 2020-08-11 Skybell Technologies Ip, Llc Garage door communication systems and methods
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
KR102342117B1 (ko) * 2015-03-13 2021-12-21 엘지전자 주식회사 단말기, 및 이를 구비하는 홈 어플라이언스 시스템
US11575537B2 (en) 2015-03-27 2023-02-07 Skybell Technologies Ip, Llc Doorbell communication systems and methods
FR3034217B1 (fr) * 2015-03-27 2017-03-24 Delta Dore Procede et systeme de commande de dispositifs domotiques d'une habitation
US11381686B2 (en) 2015-04-13 2022-07-05 Skybell Technologies Ip, Llc Power outlet cameras
EP3282912B1 (en) 2015-04-17 2020-06-10 Aktiebolaget Electrolux Robotic cleaning device and a method of controlling the robotic cleaning device
US10009286B2 (en) 2015-05-08 2018-06-26 Ooma, Inc. Communications hub
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US9451388B1 (en) * 2015-06-10 2016-09-20 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. Framework and method for processing commands for controlling electronic devices
KR102410903B1 (ko) * 2015-06-12 2022-06-21 삼성전자 주식회사 객실 관리 시스템 및 서비스 설정 방법
KR101678606B1 (ko) * 2015-06-15 2016-12-06 (주)엔텔스 IoT 디바이스를 이용한 서비스 제공 방법 및 IoT 디바이스를 이용한 서비스 제공 시스템
US20180047269A1 (en) 2015-06-23 2018-02-15 SkyBell Technologies, Inc. Doorbell communities
KR102373719B1 (ko) * 2015-06-29 2022-03-14 삼성전자 주식회사 복수의 구역들 중 일 구역의 기기를 제어하는 방법 및 이를 위한 장치
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3113140A1 (en) * 2015-06-30 2017-01-04 Orange User input processing for controlling remote devices
EP3113138A1 (en) * 2015-06-30 2017-01-04 Orange Remote control of an electronic device with a selectable element
US10623162B2 (en) 2015-07-23 2020-04-14 Centurylink Intellectual Property Llc Customer based internet of things (IoT)
US10375172B2 (en) 2015-07-23 2019-08-06 Centurylink Intellectual Property Llc Customer based internet of things (IOT)—transparent privacy functionality
US10706702B2 (en) 2015-07-30 2020-07-07 Skybell Technologies Ip, Llc Doorbell package detection systems and methods
WO2017036532A1 (en) 2015-09-03 2017-03-09 Aktiebolaget Electrolux System of robotic cleaning devices
WO2017044409A1 (en) 2015-09-07 2017-03-16 Voicebox Technologies Corporation System and method of annotating utterances based on tags assigned by unmanaged crowds
US9448993B1 (en) 2015-09-07 2016-09-20 Voicebox Technologies Corporation System and method of recording utterances using unmanaged crowds for natural language processing
US9401142B1 (en) 2015-09-07 2016-07-26 Voicebox Technologies Corporation System and method for validating natural language content using crowdsourced validation jobs
US9519766B1 (en) 2015-09-07 2016-12-13 Voicebox Technologies Corporation System and method of providing and validating enhanced CAPTCHAs
WO2017044415A1 (en) * 2015-09-07 2017-03-16 Voicebox Technologies Corporation System and method for eliciting open-ended natural language responses to questions to train natural language processors
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
CN105204354A (zh) 2015-09-09 2015-12-30 北京百度网讯科技有限公司 智能家居设备的控制方法及装置
FR3041198B1 (fr) * 2015-09-16 2018-08-17 Overkiz Procede de configuration et procede de controle d’une installation domotique
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
WO2017060138A1 (en) * 2015-10-06 2017-04-13 Philips Lighting Holding B.V. Control application for automatized maintenance device
CN106653008B (zh) * 2015-10-28 2021-02-02 中兴通讯股份有限公司 一种语音控制方法、装置及系统
CN105405442B (zh) * 2015-10-28 2019-12-13 小米科技有限责任公司 语音的识别方法、装置和设备
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
FR3043828A1 (fr) * 2015-11-12 2017-05-19 Orange Procede de gestion d'acces a des equipements domotiques par un terminal de controle distant
CN105487389B (zh) 2015-11-17 2020-02-07 小米科技有限责任公司 控制智能设备的方法和装置
CN106782522A (zh) * 2015-11-23 2017-05-31 宏碁股份有限公司 语音控制方法及语音控制系统
WO2017091021A1 (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 스마트 홈 서비스 서버 및 그 제어방법
KR20170060598A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 스마트 홈 서비스 서버 및 그 제어방법
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
KR102433533B1 (ko) * 2015-12-09 2022-08-18 한국전자기술연구원 모션 학습을 통한 인지 기반 제어 방법 및 시스템
US10331155B1 (en) * 2015-12-11 2019-06-25 Amazon Technologies, Inc. Network addressable power socket automation
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10026401B1 (en) * 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
KR101786290B1 (ko) * 2016-01-08 2017-10-18 디노플러스 (주) 스마트 홈 구현을 위한 통합 게이트웨이장치
US9633659B1 (en) * 2016-01-20 2017-04-25 Motorola Mobility Llc Method and apparatus for voice enrolling an electronic computing device
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US9965247B2 (en) * 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
TWM523925U (zh) * 2016-02-25 2016-06-11 蕭如宣 物聯網整合平台
US20190057703A1 (en) * 2016-02-29 2019-02-21 Faraday&Future Inc. Voice assistance system for devices of an ecosystem
KR101668289B1 (ko) * 2016-03-10 2016-10-21 주식회사 삼진엘앤디 이동 통신 단말기를 이용한 무선 메쉬 네트워크 기반의 조명 장치 제어 방법 및 이를 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2017157421A1 (en) 2016-03-15 2017-09-21 Aktiebolaget Electrolux Robotic cleaning device and a method at the robotic cleaning device of performing cliff detection
CN105975540A (zh) 2016-04-29 2016-09-28 北京小米移动软件有限公司 信息显示方法及装置
TWI571748B (zh) * 2016-05-05 2017-02-21 群暉科技股份有限公司 遠端控制伺服器的方法及相關的電腦程式產品
US11122953B2 (en) 2016-05-11 2021-09-21 Aktiebolaget Electrolux Robotic cleaning device
US10832665B2 (en) * 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
DK179588B1 (en) * 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
EP3471924A4 (en) * 2016-06-15 2020-07-29 iRobot Corporation SYSTEMS AND METHODS OF CONTROL OF AN AUTONOMOUS MOBILE ROBOT
US10152969B2 (en) * 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
DE102016213174A1 (de) * 2016-07-19 2018-01-25 BSH Hausgeräte GmbH Erstellung einer semantischen Karte
JP6707414B2 (ja) * 2016-07-26 2020-06-10 サン電子株式会社 サーバ、及び、サーバのためのコンピュータプログラム
US10249103B2 (en) 2016-08-02 2019-04-02 Centurylink Intellectual Property Llc System and method for implementing added services for OBD2 smart vehicle connection
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US10798548B2 (en) 2016-08-22 2020-10-06 Lg Electronics Inc. Method for controlling device by using Bluetooth technology, and apparatus
US10110272B2 (en) 2016-08-24 2018-10-23 Centurylink Intellectual Property Llc Wearable gesture control device and method
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10687377B2 (en) 2016-09-20 2020-06-16 Centurylink Intellectual Property Llc Universal wireless station for multiple simultaneous wireless services
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10955838B2 (en) * 2016-09-26 2021-03-23 Dji Technology, Inc. System and method for movable object control
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
KR20180036169A (ko) * 2016-09-30 2018-04-09 엘지전자 주식회사 디지털 디바이스 및 그 데이터 처리 방법
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
JP2018063537A (ja) * 2016-10-12 2018-04-19 株式会社東芝 ホームネットワーク、電子機器、処理装置および表示方法
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN108063701B (zh) * 2016-11-08 2020-12-08 华为技术有限公司 一种控制智能设备的方法及装置
US9867112B1 (en) 2016-11-23 2018-01-09 Centurylink Intellectual Property Llc System and method for implementing combined broadband and wireless self-organizing network (SON)
DE102016014479A1 (de) * 2016-12-06 2018-06-07 Tobias Rückert Verfahren zur Kommunikation eines Users mit einem ersten und einem zweiten Zielgerät
KR102496793B1 (ko) * 2016-12-13 2023-02-06 현대자동차 주식회사 통합 원격 제어 시스템 및 이를 이용한 원격 제어 방법이 구현된 컴퓨터로 판독 가능한 기록매체
KR102661645B1 (ko) * 2016-12-15 2024-05-02 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10426358B2 (en) 2016-12-20 2019-10-01 Centurylink Intellectual Property Llc Internet of things (IoT) personal tracking apparatus, system, and method
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10637683B2 (en) 2016-12-23 2020-04-28 Centurylink Intellectual Property Llc Smart city apparatus, system, and method
US10735220B2 (en) 2016-12-23 2020-08-04 Centurylink Intellectual Property Llc Shared devices with private and public instances
US10193981B2 (en) 2016-12-23 2019-01-29 Centurylink Intellectual Property Llc Internet of things (IoT) self-organizing network
US10150471B2 (en) 2016-12-23 2018-12-11 Centurylink Intellectual Property Llc Smart vehicle apparatus, system, and method
US10222773B2 (en) 2016-12-23 2019-03-05 Centurylink Intellectual Property Llc System, apparatus, and method for implementing one or more internet of things (IoT) capable devices embedded within a roadway structure for performing various tasks
US10580405B1 (en) * 2016-12-27 2020-03-03 Amazon Technologies, Inc. Voice control of remote device
US10593328B1 (en) * 2016-12-27 2020-03-17 Amazon Technologies, Inc. Voice control of remote device
JP6848426B2 (ja) * 2016-12-27 2021-03-24 富士通株式会社 通信装置，通信システム，プログラム及び通信制御方法
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10146024B2 (en) 2017-01-10 2018-12-04 Centurylink Intellectual Property Llc Apical conduit method and system
KR102004221B1 (ko) * 2017-02-07 2019-07-29 남서울대학교 산학협력단 멀티미디어 채팅을 통한 IoT 기반의 전원 릴레이 제어시스템 및 그 방법
CN110574389B (zh) * 2017-02-22 2022-05-27 圣思实验室公司 使用功率数据和网络数据来识别设备状态改变
US10750252B2 (en) 2017-02-22 2020-08-18 Sense Labs, Inc. Identifying device state changes using power data and network data
CN106843179A (zh) * 2017-02-28 2017-06-13 绵阳职业技术学院 家电控制系统及方法
DE102017204569A1 (de) * 2017-03-20 2018-09-20 Audi Ag Verfahren und Vorrichtung zum Steuern eines Endgeräts
KR102398390B1 (ko) 2017-03-22 2022-05-16 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
DE102017106290A1 (de) * 2017-03-23 2018-09-27 Miele & Cie. Kg Verfahren zur Auswahl wenigstens einer ersten Slave-Einheit innerhalb einer vorbestimmten räumlichen Nähe zu einer Master-Einheit
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN107015781B (zh) * 2017-03-28 2021-02-19 联想(北京)有限公司 语音识别方法和系统
CN108667773B (zh) * 2017-03-30 2021-03-12 阿里巴巴集团控股有限公司 网络防护系统、方法、装置及服务器
KR20180110974A (ko) * 2017-03-30 2018-10-11 엘지전자 주식회사 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR20180110979A (ko) * 2017-03-30 2018-10-11 엘지전자 주식회사 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
CN106963288A (zh) * 2017-04-29 2017-07-21 杭州扮家网络科技有限公司 一种基于物联网控制的智能吸尘器及其远程控制方法
FR3066037A1 (fr) * 2017-05-03 2018-11-09 Pilotme Procede de commande d'une zone d'affichage d'un client web par un terminal portable distant de ladite zone d'affichage
US10742940B2 (en) 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
US11044445B2 (en) 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN110621208A (zh) 2017-06-02 2019-12-27 伊莱克斯公司 检测机器人清洁设备前方的表面的高度差的方法
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
CN107146616B (zh) * 2017-06-13 2020-05-08 Oppo广东移动通信有限公司 设备控制方法及相关产品
CN107293101A (zh) * 2017-06-23 2017-10-24 珠海优特物联科技有限公司 热水回水系统的控制系统和方法
CN107393528B (zh) * 2017-06-30 2021-01-15 北京小米移动软件有限公司 语音控制方法及装置
KR102546643B1 (ko) * 2017-07-06 2023-06-21 주식회사 케이티 지능형 단말 관리 시스템 및 방법
KR102419374B1 (ko) * 2017-07-21 2022-07-11 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
KR102426123B1 (ko) * 2017-08-17 2022-07-28 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 서버
KR102396147B1 (ko) * 2017-08-22 2022-05-10 삼성전자 주식회사 음성 명령을 이용한 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법
KR102347208B1 (ko) 2017-09-07 2022-01-05 삼성전자주식회사 외부 장치를 이용한 태스크 수행 방법 및 이를 지원하는 전자 장치, 서버 및 저장 매체
US10438594B2 (en) * 2017-09-08 2019-10-08 Amazon Technologies, Inc. Administration of privileges by speech for voice assistant system
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
KR102087202B1 (ko) * 2017-09-13 2020-03-10 (주)파워보이스 인공 지능 비서 서비스 제공 방법, 및 이에 사용되는 음성 인식 장비
US10909825B2 (en) 2017-09-18 2021-02-02 Skybell Technologies Ip, Llc Outdoor security systems and methods
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
WO2019063066A1 (en) 2017-09-26 2019-04-04 Aktiebolaget Electrolux CONTROL FOR MOVING A ROBOTIC CLEANING DEVICE
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10885077B2 (en) * 2017-09-28 2021-01-05 Google Llc Subquery generation from a query
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
CN107622771A (zh) * 2017-09-30 2018-01-23 广东美的制冷设备有限公司 家电设备及其控制方法、系统及计算机可读存储介质
CN109658937A (zh) * 2017-10-10 2019-04-19 苏州宝时得电动工具有限公司 智能割草机的语音控制方法、装置、系统和智能割草机
US11133000B2 (en) * 2017-10-13 2021-09-28 Johnson Controls Tyco IP Holdings LLP Systems and methods for voice control of BMS devices
CN111279291A (zh) * 2017-10-31 2020-06-12 惠普发展公司，有限责任合伙企业 用于控制感测模块何时对事件响应的致动模块
US10748533B2 (en) * 2017-11-08 2020-08-18 Harman International Industries, Incorporated Proximity aware voice agent
US11039084B2 (en) 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
EP3488751B1 (en) * 2017-11-22 2023-06-07 Guido Valentini Vacuum cleaner
CN107995279A (zh) * 2017-11-28 2018-05-04 宁波高新区锦众信息科技有限公司 一种远程遥控打扫卫生的智能机器人及遥控方法
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10627794B2 (en) 2017-12-19 2020-04-21 Centurylink Intellectual Property Llc Controlling IOT devices via public safety answering point
WO2019132896A1 (en) 2017-12-27 2019-07-04 Rovi Guides, Inc. Systems and methods for identifying users based on voice data and media consumption data
KR102385263B1 (ko) * 2018-01-04 2022-04-12 삼성전자주식회사 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10778674B2 (en) 2018-01-30 2020-09-15 D&M Holdings, Inc. Voice authentication and setup for wireless media rendering system
CN108197304A (zh) * 2018-01-30 2018-06-22 深圳绿米联创科技有限公司 实现智能门锁语音自定义的方法及装置
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
KR102710808B1 (ko) 2018-03-23 2024-09-27 삼성전자주식회사 전자 장치 및 전자 장치의 음성 인식 제어 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
WO2019198187A1 (ja) * 2018-04-11 2019-10-17 東芝映像ソリューション株式会社 ホームネットワーク、電子機器、処理装置および表示方法
KR101960740B1 (ko) * 2018-04-26 2019-03-21 (주)에이투유정보통신 무선 네트워크를 이용하는 원격 에어컨 제어기 및 원격 에어컨 제어 시스템
DE102018110423A1 (de) 2018-05-01 2019-11-07 Tobias Rückert Verfahren zum Anmelden eines Zielgeräts an ein Netzwerk
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
CN112313924B (zh) 2018-05-07 2024-09-10 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面
CN118605832A (zh) * 2018-05-07 2024-09-06 谷歌有限责任公司 提供用于控制连接设备的复合图形助理界面的方法和系统
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
KR102458336B1 (ko) * 2018-05-18 2022-10-25 삼성전자주식회사 공기 조화 장치 및 이의 제어 방법
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
CN108806680A (zh) * 2018-05-21 2018-11-13 济南聪啸信息科技发展有限公司 一种多区域全覆盖语音通讯控制系统与方法
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11185207B2 (en) * 2018-07-24 2021-11-30 Qualcomm Incorporated Managing cleaning robot behavior
CN109040220B (zh) * 2018-07-26 2021-09-21 北京小米移动软件有限公司 智能设备的远程控制方法、装置和可读存储介质
JP6621506B2 (ja) * 2018-08-23 2019-12-18 京セラ株式会社 操作端末、プログラム、及び方法
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US20200097012A1 (en) * 2018-09-20 2020-03-26 Samsung Electronics Co., Ltd. Cleaning robot and method for performing task thereof
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
CN110944028A (zh) * 2018-09-21 2020-03-31 阿里巴巴集团控股有限公司 一种客房管理方法、服务器、系统及存储介质
CN109388603A (zh) * 2018-09-25 2019-02-26 珠海格力电器股份有限公司 状态信息获取和反馈方法、装置、介质、终端及示教器
US10811015B2 (en) * 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US10878343B2 (en) 2018-10-02 2020-12-29 Sense Labs, Inc. Determining a power main of a smart plug
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
KR102250421B1 (ko) * 2018-11-09 2021-05-11 주식회사 포스코아이씨티 Ai 음성인식 스피커 및 세대 내 설치된 네트워크 장치를 이용한 홈 네트워킹 방법, 이를 운용하기 위한 장치 및 시스템
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
KR102478631B1 (ko) * 2018-11-19 2022-12-19 주식회사 케이티 기기 원격 제어 시스템
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
KR102590914B1 (ko) 2018-12-14 2023-10-19 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
KR20200094843A (ko) * 2019-01-23 2020-08-10 삼성전자주식회사 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치
CN111508483B (zh) * 2019-01-31 2023-04-18 北京小米智能科技有限公司 设备控制方法及装置
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
AU2020241843B2 (en) 2019-03-15 2023-09-28 VergeSense, Inc. Arrival detection for battery-powered optical sensors
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
JP2020188404A (ja) * 2019-05-16 2020-11-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法及び表示制御装置
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
WO2021002493A1 (ko) * 2019-07-01 2021-01-07 엘지전자 주식회사 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템
US11536747B2 (en) 2019-07-11 2022-12-27 Sense Labs, Inc. Current transformer with self-adjusting cores
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11074790B2 (en) 2019-08-24 2021-07-27 Skybell Technologies Ip, Llc Doorbell communication systems and methods
KR20190109337A (ko) * 2019-09-06 2019-09-25 엘지전자 주식회사 증강현실 기반의 기기 제어 장치 및 그 방법
US11620808B2 (en) 2019-09-25 2023-04-04 VergeSense, Inc. Method for detecting human occupancy and activity in a work area
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
JP7472461B2 (ja) * 2019-10-08 2024-04-23 株式会社リコー 情報処理システム及び情報処理方法
JP7114722B2 (ja) * 2019-10-15 2022-08-08 グーグル エルエルシー スマートデバイスの、効率的で低レイテンシである自動アシスタント制御
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
EP4049257A1 (en) * 2019-10-23 2022-08-31 Carrier Corporation A method and an apparatus for executing operation/s on device/s
JP7401269B2 (ja) * 2019-11-19 2023-12-19 ファナック株式会社 制御装置
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN110912789B (zh) * 2019-12-27 2021-06-25 无锡青起长升智能科技有限公司 一种基于阿里云IoT Hub平台的智能家居物联网通信方法
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
CN111240217B (zh) * 2020-01-08 2024-02-23 深圳绿米联创科技有限公司 状态检测方法、装置、电子设备及存储介质
CN111240222A (zh) * 2020-01-23 2020-06-05 珠海荣邦电子科技有限公司 一种智能家居控制系统、方法及装置
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
CN111312250A (zh) * 2020-02-21 2020-06-19 珠海荣邦电子科技有限公司 基于语音的多设备适配控制方法、装置及系统
CN113495487A (zh) * 2020-03-18 2021-10-12 海信集团有限公司 一种调节目标设备运行参数的终端和方法
JP7508836B2 (ja) * 2020-03-31 2024-07-02 ブラザー工業株式会社 情報処理装置、情報処理方法、電子機器及び情報処理システム
KR102378908B1 (ko) * 2020-04-28 2022-03-24 동명대학교산학협력단 인공지능 홈오토메이션 시스템
EP4145840A4 (en) * 2020-04-29 2023-12-20 LG Electronics, Inc. IMAGE DISPLAY DEVICE AND SYSTEM AND OPERATING METHOD THEREOF
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
CN111654420A (zh) * 2020-05-18 2020-09-11 珠海格力电器股份有限公司 一种控制家居设备的方法、装置、计算机设备及存储介质
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
CN111739532B (zh) * 2020-07-16 2021-02-19 展讯通信（上海）有限公司 语音控制方法及装置、存储介质、智能终端、语音控制系统
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11615795B2 (en) 2020-08-03 2023-03-28 HCL America Inc. Method and system for providing secured access to services rendered by a digital voice assistant
KR102190190B1 (ko) 2020-08-19 2020-12-14 탑이앤지 주식회사 인공지능을 활용한 공동주택 정보통신 통합 관리 시스템
KR102226476B1 (ko) 2020-08-24 2021-03-11 (주)구방엔지니어링건축사사무소 공동주택의 초고속 인터넷과 연결한 정보통신 작동 시스템
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
TWI759065B (zh) * 2021-01-11 2022-03-21 禾聯碩股份有限公司 物聯網的語音控制系統及其方法
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN112992139A (zh) * 2021-02-07 2021-06-18 北京紫光展锐通信技术有限公司 设备控制方法、装置和设备
CN113851124A (zh) * 2021-09-09 2021-12-28 青岛海尔空调器有限总公司 用于控制家电设备的方法及装置、存储介质
KR102542623B1 (ko) * 2021-09-13 2023-06-14 주식회사 동영엠텍 비접촉 비대면 자동출입 IoT 제어용 푸시풀 개폐문락 및 그 제어 방법
CN115942282A (zh) * 2021-11-25 2023-04-07 中兴通讯股份有限公司 通信方法、节点、设备、通信系统及存储介质
KR102528165B1 (ko) 2022-01-19 2023-05-04 (주)한동엔지니어링 인공지능을 활용한 공동주택 정보통신 통합관리 시스템
WO2023163254A1 (ko) * 2022-02-28 2023-08-31 엘지전자 주식회사 Tv와 리모컨을 포함하는 시스템 및 그 제어 방법
WO2023249359A1 (ko) * 2022-06-22 2023-12-28 삼성전자주식회사 전자 장치 및 오프라인 장치 등록 방법
KR20240062475A (ko) * 2022-11-01 2024-05-09 삼성전자주식회사 가구에 포함되는 장치의 사용 및 관리를 위한 사용자 인터페이스를 표시하기 위한 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006477A1 (en) * 2002-07-05 2004-01-08 Craner Michael L. Voice-controllable communication gateway for controlling multiple electronic and information appliances
KR20080096239A (ko) * 2007-04-27 2008-10-30 정장오 주방tv 및 홈네트워크시스템 및 가전기기를 음성으로제어하는 음성인식 네트워크주방tv시스템.
KR20110047764A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 이동 단말을 이용하여 홈 네트워크 시스템을 제어하기 위한 방법 및 장치
US20110138327A1 (en) * 2001-11-20 2011-06-09 Universal Electronics Inc. User interface for a remote control application
WO2012036475A2 (ko) * 2010-09-17 2012-03-22 주식회사 디지엔스 스마트폰을 이용한 디지털기기 제어 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020002039A1 (en) * 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
US7415410B2 (en) 2002-12-26 2008-08-19 Motorola, Inc. Identification apparatus and method for receiving and processing audible commands
WO2005008914A1 (en) * 2003-07-10 2005-01-27 University Of Florida Research Foundation, Inc. Mobile care-giving and intelligent assistance device
US7155305B2 (en) * 2003-11-04 2006-12-26 Universal Electronics Inc. System and methods for home appliance identification and control in a networked environment
KR20070089119A (ko) * 2004-07-23 2007-08-30 와이어리스 밸리 커뮤니케이션 인크 무선 네트워크 향상을 위해 무선 장치 또는 기반 구조의 위치를 결정하고 이용하는 방법
CN100446469C (zh) * 2005-09-09 2008-12-24 广东省电信有限公司研究院 一种对软交换网实现分权分域管理的网管系统和方法
EP1786222B1 (en) * 2005-11-15 2010-09-08 Alcatel Lucent Access network, gateway and management server for a cellular wireless communication system
US8207936B2 (en) 2006-06-30 2012-06-26 Sony Ericsson Mobile Communications Ab Voice remote control
KR20080011581A (ko) * 2006-07-31 2008-02-05 삼성전자주식회사 원격제어를 위한 중계 장치 및 상기 장치를 이용한원격제어방법
KR100769156B1 (ko) * 2007-04-20 2007-10-22 주식회사 서비전자 홈 네트워크 시스템 및 그것의 제어방법
US9521453B2 (en) * 2009-09-14 2016-12-13 Tivo Inc. Multifunction multimedia device
CN101848173A (zh) * 2010-03-17 2010-09-29 南京理工大学 家庭网关
CN101827327A (zh) * 2010-03-22 2010-09-08 中兴通讯股份有限公司 一种基于ussd的智能家电远程控制方法、装置及系统
US8792419B2 (en) * 2010-04-08 2014-07-29 At&T Intellectual Property I, L.P. Presence-based communication routing service and regulation of same
CN101917530B (zh) 2010-06-30 2013-04-24 浙江工业大学 电话远程按键语音双模式控制器
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
CN102760433A (zh) * 2012-07-06 2012-10-31 广东美的制冷设备有限公司 联网家电用声控遥控器及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110138327A1 (en) * 2001-11-20 2011-06-09 Universal Electronics Inc. User interface for a remote control application
US20040006477A1 (en) * 2002-07-05 2004-01-08 Craner Michael L. Voice-controllable communication gateway for controlling multiple electronic and information appliances
KR20080096239A (ko) * 2007-04-27 2008-10-30 정장오 주방tv 및 홈네트워크시스템 및 가전기기를 음성으로제어하는 음성인식 네트워크주방tv시스템.
KR20110047764A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 이동 단말을 이용하여 홈 네트워크 시스템을 제어하기 위한 방법 및 장치
WO2012036475A2 (ko) * 2010-09-17 2012-03-22 주식회사 디지엔스 스마트폰을 이용한 디지털기기 제어 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047983A1 (ko) * 2014-09-24 2016-03-31 삼성전자 주식회사 통신 단말들간 무선 통신을 위한 방법 및 장치
KR20160035987A (ko) * 2014-09-24 2016-04-01 삼성전자주식회사 통신 단말들간 무선 통신을 위한 방법 및 장치
US10334436B2 (en) 2014-09-24 2019-06-25 Samsung Electronics Co., Ltd. Method and device for wireless communication between communication terminals
KR102373463B1 (ko) 2014-09-24 2022-03-11 삼성전자주식회사 통신 단말들간 무선 통신을 위한 방법 및 장치
WO2017010812A1 (ko) * 2015-07-13 2017-01-19 엘지전자(주) 무선 통신 시스템에서 데이터를 송수신하는 방법 및 장치
US10492060B2 (en) 2015-07-13 2019-11-26 Lg Electronics Inc. Method and device for transmitting/receiving data in wireless communication system
WO2017126740A1 (ko) * 2016-01-22 2017-07-27 삼성전자 주식회사 단말 장치, 원격 제어 시스템 및 제어 방법
US11533191B2 (en) * 2018-04-17 2022-12-20 Mitsubishi Electric Corporation Apparatus control system and apparatus control method

Also Published As

Publication number Publication date
CN104885406A (zh) 2015-09-02
CN104885406B (zh) 2019-06-21
KR102102246B1 (ko) 2020-04-22
EP2938022A1 (en) 2015-10-28
US20180240331A1 (en) 2018-08-23
US20140167931A1 (en) 2014-06-19
EP2938022A4 (en) 2016-08-24
KR20140079328A (ko) 2014-06-26
EP3691179A1 (en) 2020-08-05
KR102146738B1 (ko) 2020-08-28
US9978260B2 (en) 2018-05-22
CN110223495A (zh) 2019-09-10
US10943470B2 (en) 2021-03-09
KR20200042449A (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
WO2014098477A1 (ko) 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
WO2014098481A1 (ko) 홈 네트워크 시스템에서 에너지 소비를 관리하는 방법 및 장치
KR102215569B1 (ko) 홈 모니터링 방법 및 장치
WO2015076609A1 (en) Method and apparatus for controlling home devices on group basis in a home network system
KR102252258B1 (ko) 홈 네트워크 시스템에서 홈 디바이스들의 그룹 제어 방법 및 장치
WO2014092486A1 (ko) 홈 네트워크 시스템에서 컨텐츠 재생 장치 및 방법
KR102084507B1 (ko) 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
WO2014092503A1 (en) Method and apparatus for controlling devices in home network system
US20140118120A1 (en) Smart gateway, smart home system and smart controlling method thereof
WO2017111556A1 (ko) 디바이스를 제어하는 방법 및 장치
TW201419797A (zh) 智慧閘道、智慧家居系統及家電設備的智慧控制方法
JP5866551B1 (ja) 監視システム及び監視システムにおける監視方法
JP5866543B1 (ja) 宅内監視システム及び宅内監視システムにおける監視方法
WO2015102467A1 (ko) 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
WO2016167575A1 (ko) 원격 난방 제어 시스템 및 방법
WO2016093676A9 (ko) 무선통신을 이용한 홈네트워크 시스템 및 이를 이용한 알람방법과 제어방법
KR20200024813A (ko) 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
KR102569400B1 (ko) 허브 장치 및 이의 서비스 제공 방법
CN110115004A (zh) 设备控制系统
WO2020017679A1 (ko) 에어컨을 제어하는 장치 및 방법
WO2022145695A1 (ko) Iot 기반 가전기기의 제어방법
JP2010119101A (ja) 統合式セキュリティコンソール

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13865350

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013865350

Country of ref document: EP