WO2017126740A1 - 단말 장치, 원격 제어 시스템 및 제어 방법 - Google Patents

단말 장치, 원격 제어 시스템 및 제어 방법 Download PDF

Info

Publication number
WO2017126740A1
WO2017126740A1 PCT/KR2016/002711 KR2016002711W WO2017126740A1 WO 2017126740 A1 WO2017126740 A1 WO 2017126740A1 KR 2016002711 W KR2016002711 W KR 2016002711W WO 2017126740 A1 WO2017126740 A1 WO 2017126740A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal device
chat window
event
external device
preset
Prior art date
Application number
PCT/KR2016/002711
Other languages
English (en)
French (fr)
Inventor
한준규
박성제
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2017126740A1 publication Critical patent/WO2017126740A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0417—Feedback systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0417—Feedback systems
    • H04B7/0421—Feedback systems utilizing implicit feedback, e.g. steered pilot signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/0001—Arrangements for dividing the transmission path
    • H04L5/0003—Two-dimensional division
    • H04L5/0005—Time-frequency
    • H04L5/0007—Time-frequency the frequencies being orthogonal, e.g. OFDM(A), DMT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/22—Arrangements affording multiple use of the transmission path using time-division multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/14—Spectrum sharing arrangements between different networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0602—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using antenna switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless

Definitions

  • the present invention relates to a terminal device, a remote control system, and a control method, and more particularly, to a terminal device, a remote control system, and a control method for remote control using the terminal device.
  • the device performs an operation only when a user's command is input.
  • a user enters a command by pressing a device physical input button.
  • the device displays an input button on the display, and the user touches the displayed input button to input a command.
  • the device performs an operation corresponding to the input user command.
  • remote controls users can use the remote control to input commands to devices at a certain distance.
  • wireless communication technology a technology for controlling a device using a terminal device at a long distance has been developed. For example, a user who goes out may turn on or off a boiler in a house by using a terminal device, and turn on or off a lamp of a house.
  • the device is manually controlled at the user's will.
  • the user is inconvenient to control various devices individually. Therefore, there is a need for a technique capable of actively controlling devices and collectively controlling a plurality of devices.
  • An object of the present invention is to provide a terminal device, a remote control system and a control method which can be actively controlled and collectively controlled.
  • the terminal device for communicating with a plurality of external devices, when receiving a generation signal of a predetermined event from a first external device of the plurality of external devices, chat window And a processor configured to control the communication unit to connect to at least one second external device related to the preset event, wherein the processor displays the at least one second external device in the chat window.
  • the display is controlled to display a message inquiring whether to perform a preset task corresponding to the preset event and a button for selecting whether to perform the preset task in the chat window.
  • the processor may control the communication unit to receive a message for inquiring whether to perform a preset task corresponding to the preset event from the at least one second external device.
  • the processor may control the communication unit to automatically transmit a command to perform the preset task to the at least one second external device if it is not selected whether to perform the preset task within a preset time.
  • the processor may remove the selected one device from the chat window when a command of selecting one of the at least one second external device displayed on the chat window is selected and removed.
  • the processor may add and display a third external device that is not displayed in the chat window according to an additional command.
  • the display may display a message inquiring whether to perform at least one of a task related to the generated event or a preset main task of the third external device.
  • the terminal device may further include a memory configured to store an event profile set by the at least one second external device related to the preset event and the preset event.
  • the at least one second external device may be a device registered to the same user account.
  • the processor may group the at least one second external device based on a time or distance associated with the preset task, and when the preset event occurs and satisfies a time or distance condition associated with the preset task.
  • the display may be controlled to display the grouped at least one second external device in the chat window.
  • a method of controlling a terminal device includes receiving a generation signal of a preset event from a first external device among a plurality of external devices, generating a chat window, and generating the chat window. Displaying and displaying at least one second external device related to the preset event in the chat window, a message inquiring whether to perform a preset task corresponding to the preset event, and whether to perform the preset task. And displaying a button to select the chat window.
  • control method of the terminal device may be configured to connect to at least one second external device related to the preset event and to inquire whether to perform a preset task corresponding to the preset event from the at least one second external device.
  • the method may further include receiving a message.
  • the control method of the terminal apparatus may further include automatically transmitting a command to perform the preset task to the at least one second external device when it is not selected whether to perform the preset task within a preset time. can do.
  • the control method of the terminal device may further include removing the selected one device from the chat window when a command of selecting one of the at least one second external device displayed on the chat window is selected and removed. It may include.
  • the control method of the terminal device may further include adding and displaying a third external device, which is not displayed in the chat window, according to an additional command.
  • the control method of the terminal device may further include displaying a message on the chat window inquiring whether to perform at least one of a task related to the generated event or a preset main task of the third external device. It may include.
  • the at least one second external device may be a device registered to the same user account.
  • the control method of the terminal device may further include grouping the at least one second external device based on a time or distance associated with the preset task, and the at least one second external device is connected to the chat window.
  • the displaying may include displaying the grouped at least one second external device in the chat window when the preset event occurs and satisfies a time or distance condition associated with the preset task.
  • the call control system may include at least one associated with the preset event when the first external device transmitting the occurrence signal of the preset event to the terminal device and the occurrence signal of the preset event are received. And a terminal device for connecting to a second external device of the terminal and at least one second external device for transmitting a message for inquiring whether to perform a predetermined task corresponding to the preset event to the terminal device.
  • a chat window is generated to display the connected at least one second external device and the received message in the created chat window.
  • the terminal device may automatically transmit a command to perform the preset task to the at least one second external device if it is not selected whether to perform the preset task within a preset time.
  • the terminal device groups the at least one second external device based on a time or distance associated with the preset task, and the preset event occurs and satisfies a time or distance condition associated with the preset task.
  • the grouped at least one second external device may be displayed on the chat window.
  • the terminal device, the remote system, and the control method may establish a more effective remote control environment, and actively control the device, thereby increasing user convenience.
  • FIG. 1A and 1B illustrate a remote control system according to an embodiment of the present invention.
  • FIG. 2A is a block diagram of a terminal device according to an exemplary embodiment.
  • 2B is a block diagram of a terminal device according to another embodiment of the present invention.
  • FIG. 3 is a block diagram of a terminal device for transmitting an event signal according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a screen on which a terminal device registered to the same account is displayed according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating a control screen of a terminal device according to a first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a control screen of a terminal device according to a second embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an event profile according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a grouped event profile according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a control screen of a terminal device according to a third embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a control screen of a terminal device according to a fourth embodiment of the present invention.
  • FIG. 11 is a timing diagram illustrating a control process according to a fifth embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a control screen of a terminal device according to a fifth embodiment of the present disclosure.
  • FIG. 13 is a timing diagram illustrating a control process according to a sixth embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a control screen of a terminal device according to a sixth embodiment of the present invention.
  • 15 is a timing diagram illustrating a control process according to a seventh embodiment of the present invention.
  • 16 is a diagram illustrating a control screen of a terminal device according to a seventh embodiment of the present invention.
  • 17 is a flowchart illustrating a method for controlling a terminal device according to an embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating a process of registering a terminal device according to an embodiment of the present invention.
  • 19 is a flowchart illustrating a process of creating a chat room according to an embodiment of the present invention.
  • 20 is a view for explaining a process of a control operation according to an embodiment of the present invention.
  • 21 is a diagram illustrating a process of modifying a registered terminal device according to an embodiment of the present invention.
  • the terms "comprises” or “having” are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
  • a component When a component is referred to as being “connected” or “connected” to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be.
  • a component is said to be “directly connected” or “directly connected” to another component, it should be understood that there is no other component in between.
  • module or “unit” for the components used in the present specification performs at least one function or operation.
  • the module or unit may perform a function or an operation by hardware, software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “parts” other than “modules” or “parts” to be executed in specific hardware or executed in at least one processor may be integrated into at least one module.
  • FIG. 1A is a diagram illustrating a remote control system according to an embodiment of the present invention.
  • the remote control system 1000 may include a terminal device 100, a plurality of external devices 200-1, 200-2, 200-3, and a server 300. Although the remote control system 1000 illustrated in FIG. 1A includes a plurality of external devices 200-1, 200-2, and 200-3, the remote control system 1000 may include one external device. .
  • the terminal device 100 may receive a command from a user and transmit a command input to the corresponding external device 200-1, 200-2, 200-3 through the server 300.
  • the terminal device 100 may receive a user's command and generate a chat window including an external device related to the input command.
  • the chat window is an area where a user can input a command, a space for interacting with an external device, and a history area for recording whether to send a command and perform an operation.
  • the terminal device 100 may store an event profile including a list of external devices related to the input command.
  • the event profile refers to a descriptor that sets an external device corresponding to the generated event and a task to be performed in the external device.
  • An event profile can be called an action descriptor.
  • the terminal device 100 may determine an associated external device using an event profile (or an operation descriptor). Therefore, when the user's command is input, the terminal device 100 may display the chat window and the external device related to the command in the chat window based on the stored event profile.
  • the event profile may be stored in the server 300.
  • the terminal device 100 may receive an event profile stored in the server 300 and determine a related external device.
  • the terminal device 100 generates a chat window and displays a related external device, and then requests status information or transmits an operation performance signal to the external devices 200-1, 200-2, and 200-3 through the server 300.
  • the state information may be information about a current state of the external devices 200-1, 200-2, and 200-3.
  • the operation execution signal may be a signal related to an operation corresponding to the input command.
  • the external devices 200-1, 200-2, and 200-3 may transmit a message inquiring whether to perform an operation corresponding to the input command to the terminal device 100 through the server 300.
  • the terminal device 100 may display the received message in the chat window.
  • the terminal device 100 When the terminal device 100 receives an approval command from the user or does not receive any input for a predetermined time or more, the external device 200-1, 200-2, or 200-3 receives an operation command signal through the server 300. Can be sent to. Alternatively, the terminal device 100 may receive an event generation signal from one external device of the plurality of external devices 200-1, 200-2, and 200-3. Even when the terminal device 100 receives an event occurrence signal from one external device, the same process as the example of receiving a user command may be performed.
  • one external device among the plurality of external devices 200-1, 200-2, and 200-3 may perform a function of a terminal device.
  • the terminal device 100 may operate as one of the external devices.
  • the external devices (or external devices) 200-1, 200-2, and 200-3 may be one independent device or may be attached parts installed in the service space to manage or control the service space.
  • the terminal device 100 or the external device 200-1, 200-2, 200-3 may be a mobile phone, a smart phone, a notebook computer, a desktop computer, a personal digital assistant (PDA), a portable multimedia player (PMP). It may be implemented as an independent device such as navigation, tablet PC, wearable device, TV, refrigerator, washing machine, monitor, DVD player, smartphone, digital camera, electronic photo frame, kiosk and the like.
  • the external devices 200-1, 200-2, and 200-3 include lighting-related devices such as lights, blinds, illuminance sensors, heating-related devices such as air conditioners, radiators, boilers, temperature sensors, air cleaners, humidifiers, humidity sensors, and the like. It may be implemented as an air-related device.
  • the external devices 200-1, 200-2, and 200-3 may be accessory parts installed in a service space such as a car, a home, an office, a car repair shop, a mart, and the like. That is, the external devices 200-1, 200-2, and 200-3 may be implemented as servers managing offices, marts, and the like, or may be implemented as a vehicle control module included in a vehicle.
  • the external devices 200-1, 200-2, and 200-3 transmit status information and operation inquiry messages to the terminal device 100, receive commands from the terminal device 100, and perform the received commands. It may include any device or accessory module that can be included.
  • the external devices 200-1, 200-2, and 200-3 may perform an operation according to the transmitted command.
  • the server 300 may receive a message for inquiring whether to perform status information or an operation from the external devices 200-1, 200-2, and 200-3 and transmit the received message to the terminal device 100.
  • the server 300 may receive a command from the terminal device 100 and transmit the command to the corresponding external device.
  • the server 300 may generate an event profile by storing an account of the terminal device 100 and registering an external device registered by the user with the stored account.
  • the server 300 may share the user's event profile with other users according to the user's permission. Meanwhile, the server 300 may not be used in the control operation process.
  • FIG. 1B is a view for explaining a remote control system according to another embodiment of the present invention.
  • the remote control system 1000a may include a terminal device 100 and external devices 200-1, 200-2, and 200-3.
  • the terminal device 100 may receive a user command or receive an event generation signal from one of the plurality of external devices 200-1, 200-2, and 200-3.
  • the terminal device 100 may generate a chat window according to an input command or a received event occurrence signal and display an associated external device.
  • the terminal device 100 may determine the related external device based on the event profile.
  • the event profile may be stored in the terminal device 100 or may be stored in a server (not shown). However, the terminal device 100 may receive an event profile or data included in the event profile from the server at the beginning of the chat window generation, and may directly communicate with an external device.
  • the external devices 200-1, 200-2, and 200-3 may transmit a message to the terminal device 100 inquiring whether to perform an operation corresponding to a user's command or an event generated.
  • the terminal device 100 may connect with an external device that is not related to a user's command or an event generated.
  • the unrelated external device connected to the terminal device 100 may transmit a message to the terminal device 100 inquiring whether to perform a main operation or a preset operation. For example, when the living room light is excluded from the home appliance event profile, the user may add the living room light to the chat window after executing the home appliance event profile. Since the hanging lamp is excluded from the home appliance event profile, an operation corresponding to the home appliance event profile may not be set.
  • the living room lamp may transmit a message for inquiring whether to perform the turn-on operation, which is the main operation, to the terminal device 100. Since the operation of the remote control system 1000a is the same as described with reference to FIG. 1A, a detailed description thereof will be omitted. Hereinafter, a block diagram of the terminal device 100 will be described.
  • FIG. 2A is a block diagram of a terminal device according to an exemplary embodiment.
  • the terminal device 100 includes a communication unit 110, a display 120, and a processor 130.
  • the communication unit 110 communicates with a plurality of external devices.
  • the communication unit 110 may receive an event generation signal from an external device where an event occurs.
  • the communication unit 110 may receive a message inquiring whether to perform a predetermined task corresponding to an event generated from an external device related to the generated event.
  • the communication unit 110 may include a mobile communication module (not shown) to transmit / receive a radio signal to a base station, an external terminal, a server, and the like based on a communication method for mobile communication.
  • the wireless signal may include various types of data such as voice, image, text or multimedia data.
  • the communication unit 110 may include a wireless internet module (not shown) to transmit and receive wireless signals in a communication network according to wireless internet technologies.
  • the wireless Internet module for performing a wireless Internet access through the mobile communication network may be understood as a kind of mobile communication module.
  • the communication unit 110 may include a short range communication module (not shown) for short range communication.
  • the short range communication module may communicate with a wireless communication system, another terminal device, an external device, or a server using a short range wireless communication network.
  • the display unit 120 generates and displays a chat window and displays an external device related to the generated event in the chat window.
  • the display 120 may display a message inquiring whether to perform a preset task received from an external device and a button for selecting whether to perform the preset task in a chat window.
  • the processor 130 controls the communication unit 110 and the display unit 120.
  • the processor 130 controls the communication unit 110 to connect with an external device related to the event.
  • the processor 130 generates a chat window and controls the display 120 to display a message received from an external device and an external device related to the event in the chat window.
  • the processor 130 controls the display 120 to display a button for selecting whether to perform a task set by the external device.
  • the processor 130 may display the input user's command in a chat window.
  • the processor 130 may control the communication unit 11 to transmit the input user's command to a related external device.
  • the processor 130 may display a button for selecting whether or not to perform the operation set in the external device, and if the user's command is not input for a predetermined time, the processor 130 may transmit a command to automatically perform the operation to the external device.
  • 2B is a block diagram of a terminal device according to another embodiment of the present invention.
  • FIG. 2B is a block diagram illustrating a detailed configuration of the terminal device illustrated in FIG. 2A.
  • the terminal device 100a includes a communication unit 110, a display 120, a processor 130, a first speaker 141, a second speaker 142, a storage 150, and an audio processor 160. ) And a video processor 170, and the like. A detailed description of parts overlapping with those shown in FIG. 2A among those shown in FIG. 2B will be omitted.
  • the display 120 displays various UI screens.
  • the UI screen may be implemented in various forms such as an image, a video, and a text.
  • the display 120 may be implemented as a liquid crystal display panel (LCD), organic light emitting diodes (OLED), or the like, but is not limited thereto.
  • the display 120 may be implemented as a flexible display, a transparent display, or the like in some cases.
  • the processor 130 controls the overall operation of the terminal device 100a.
  • the processor 130 may access the RAM 131, the ROM 132, the main CPU 133, the graphics processor 134, the first to n interfaces 135-1 to 135-n, and the bus 136. Include.
  • the RAM 131, the ROM 132, the main CPU 133, the graphics processor 134, the first to nth interfaces 135-1 to 135-n, and the like may be connected to each other through the bus 136.
  • the first to n interfaces 135-1 to 135-n are connected to the aforementioned various components.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the main CPU 133 accesses the storage 150 and performs booting using the operating system stored in the storage 150. Then, various operations are performed using various programs, contents, data, etc. stored in the storage 150.
  • the ROM 132 stores a command set for system booting.
  • the main CPU 133 copies the O / S stored in the storage unit 150 to the RAM 131 according to the command stored in the ROM 132, and executes O / S.
  • Boot the system When the booting is completed, the main CPU 133 copies various application programs stored in the storage unit 150 to the RAM 131 and executes the application programs copied to the RAM 131 to perform various operations.
  • the graphic processor 134 generates a screen including various objects such as an icon, an image, a text, and the like by using a calculator (not shown) and a renderer (not shown), for example, a screen including a pointing object.
  • An operation unit (not shown) calculates attribute values such as coordinate values, shapes, sizes, colors, and the like in which each object is to be displayed according to the layout of the screen based on the received control command.
  • the renderer generates a screen having various layouts including objects based on the attribute value calculated by the calculator.
  • the screen generated by the renderer (not shown) is displayed in the user interface area of the display 120.
  • the storage unit 150 stores various data such as an operating system (O / S) software module for driving the terminal device 100a and various multimedia contents.
  • the storage unit 150 may store a program such as a communication module, a signal processing module, or the like for providing a function according to an embodiment of the present invention.
  • the processor 130 may receive a signal from an external device using a communication module and transmit a signal to the external device.
  • the terminal device 100a may further include an input unit (not shown) for receiving a user's command.
  • the input unit may be implemented in the form of a keypad, a keyboard, a mouse, a touch pad, a touch screen, a microphone, a camera, and the like.
  • the terminal device 100a may include an audio processor 160 that performs sound data and a video processor 170 that performs video data.
  • the processor 130 may convert the received message or the displayed message into voice.
  • the processor 130 may control the audio processor 160 to process a voice signal output through the first and second speakers 141 and 142.
  • the user may input a command to the terminal device 100a by voice.
  • the audio processor 160 may process the input voice signal, and may convert the processor 130 into binary data to recognize the input command.
  • FIG. 3 is a block diagram of a terminal device according to an exemplary embodiment.
  • the remote control system includes an external device that transmits an event occurrence signal, an external device that performs an operation corresponding to the generated event, and a terminal device that receives a user's command and transmits the command to the external device.
  • the external device of the remote control system may play a role of a terminal device, and the terminal device may play a role of an external device.
  • the terminal device 200 illustrated in FIG. 3 refers to an external device. Referring to FIG. 3, the terminal device 200 includes an input unit 210, a sensor 220, a communication unit 230, and a processor 240.
  • the input unit 210 and the sensor 220 may receive an event generation signal.
  • the terminal device 200 may directly recognize the event generation signal through the sensor 220.
  • the terminal device 200 may receive an externally generated event generation signal through the input unit 210.
  • the terminal device 200 may be implemented in the form of an independent electronic device, a sensor device or a server for managing and controlling a system of a building, a control module of a building or a vehicle, and the like. Accordingly, the terminal device 200 may receive an event generation signal through the input unit 210 or detect an event generation signal through the sensor 220. Meanwhile, the terminal device 200 may include only one module of the input unit 210 or the sensor 220.
  • the sensor 220 may detect state information.
  • the terminal device 200 may need to determine a current state before performing an operation. For example, when the terminal device 200 is a boiler, it is possible to determine whether to turn on or not operate by sensing the current temperature.
  • the terminal device 200 may be used as a device for transmitting a command. Therefore, the input unit 210 may receive a user's command.
  • the communicator 230 may transmit an event generation signal to a main device (eg, a terminal device of the remote control system of FIG. 1A). In addition, the communicator 230 may receive a user's command or transmit status information.
  • the processor 240 may control the communicator 230 to transmit an event generation signal to the main device when an event occurs. When an event occurs, the processor 240 may perform an operation corresponding to the generated event. Alternatively, when an event occurs, the processor 240 may transmit a message to the main device inquiring whether to perform an operation corresponding to the generated event.
  • the processor 240 may receive a user command from the main device and perform an operation.
  • FIG. 4 is a diagram illustrating a screen on which a terminal device registered to the same account is displayed according to an exemplary embodiment.
  • Each terminal device may be registered in the same account.
  • Terminal devices registered to the same account may be registered as friends of the messenger application of each terminal device.
  • a plurality of terminal devices registered as friends may be displayed as a list type.
  • the terminal device When the terminal device is registered to an account, it may be registered under an alias according to a user's selection. If the terminal device is not registered with an alias, it may be registered with a unique identification number or identification name.
  • the user may register under the nickname of Bung Bung while registering the car, register under the nickname TV, while registering the TV, and register the nickname while registering the smart phone.
  • Cars, TVs, and smartphones registered with the same account may be automatically registered as friends in the same messenger application.
  • the terminal device registered under the registered nickname may be displayed.
  • Terminal devices registered to the same account may display an inquiry message and transmit an operation command to each other through a messenger chat format.
  • FIG. 5 is a diagram illustrating a control screen of a terminal device according to a first embodiment of the present invention.
  • a terminal device in which a chat window is generated according to a user's command is illustrated.
  • the terminal device may receive a user's command and transmit the command to an external device.
  • the terminal device may display a list of external devices registered in the same account.
  • the terminal device may generate a chat window including the external device selected by the user. A plurality of external devices may be selected.
  • the user can enter a message in the chat window.
  • the terminal device may receive a message from a user through a physical key such as a keypad, a keyboard, or a soft key displayed on a display.
  • the terminal device may receive a message through a user's handwriting input on a predetermined area of the display.
  • the terminal device can display the input message in the chat window.
  • the terminal device may receive a voice of a user through a microphone and display a message in a chat window.
  • the terminal device can transmit the input message to the selected external device.
  • the terminal device may transmit a message to the server, and after receiving the message, the server may determine the chat window and the information of the external device and transmit the message to the selected external device.
  • the external device receiving the message may analyze the message to determine the meaning of the message.
  • the terminal device may directly connect with the selected external device and transmit a message directly to the selected external device.
  • the external device receiving the message may analyze the message, analyze the meaning of the message, and make a corresponding response or perform an action.
  • the terminal device may generate a chat window according to the user's selection, and display a car having a nickname in the chat window.
  • the user can enter a message to inquire of the car.
  • the message associated with the vehicle may be a message for inquiring about the fuel.
  • the terminal device can transmit the input message to the vehicle.
  • the message may be sent to the car via a server or directly to the car.
  • the car can receive the message, analyze it and recognize its meaning. If the vehicle clearly recognizes the meaning of the message, the vehicle may transmit a corresponding response message or perform an operation. However, if the meaning of the message is unclear or comprehensive, the vehicle may transmit a message requesting re-inquiry to the terminal device. The vehicle may transmit an action item associated with a message received from the terminal device and which may be performed by the vehicle. In other words, the vehicle can increase the likelihood of executing the user's command quickly and clearly by transmitting the action item.
  • the terminal device can display the inquiry request message received from the vehicle in the chat window. If there is an action item received from the vehicle, the terminal device may display the received action item together in a chat window. The user may select one of the plurality of operation items. The terminal device can transmit information about the selected item to the vehicle.
  • the vehicle may perform an operation corresponding to the transmitted command and transmit a result message to the terminal device.
  • the terminal device can display a result message received from the vehicle.
  • the external device may perform a command through interaction with the user instead of performing an operation by the user's one-way command.
  • the terminal device may generate a chat window and control the external device.
  • FIG. 6 is a diagram illustrating a control screen of a terminal device according to a second embodiment of the present invention.
  • a screen in which a terminal device generates a chat window and invites an external device is illustrated.
  • the terminal device may generate a chat window and display an external device related to the generated event in the chat window.
  • the terminal device may display an external device related to the event in the chat window based on the event profile.
  • the event profile may mean a profile in which an event, an external device corresponding to the event, and an operation of the external device are set.
  • An event profile may be called an action descriptor.
  • the event profile may be generated when the terminal device is manufactured and stored in the terminal device. Alternatively, the event profile may be stored on the server. Event profiles can be created, deleted or edited by the user.
  • the event profile may include a plurality of external devices.
  • the terminal device can perform a chat window generation and display operation of the external device without being connected to the external device.
  • the terminal device receives an initial message and a transmission command is input, the terminal device can connect with an external device and transmit the message.
  • the terminal device may perform a connection operation with the external device when generating a chat window and displaying the external device.
  • the type of event and the selection of an external device related to the event may be variously set.
  • the event generation signal may be transmitted to the terminal device.
  • the boiler of the house can be set up as an external device associated with an external temperature event.
  • the vehicle may transmit an event generation signal to the terminal device when an event departs home.
  • the boiler can be set up as an external device associated with the event leaving home.
  • the boiler may be set to perform a temperature check operation. The user can leave home by car.
  • the car may determine a destination by receiving a voice command to depart to the user's home.
  • the vehicle may determine the destination based on the destination information input to the navigation.
  • the car may inquire of the user and receive a response from the user to determine the destination. After determining the destination, the vehicle may determine that an event for departing home has occurred. The vehicle may transmit a generation signal of an event departing from the home to the terminal device.
  • the terminal device may receive an event occurrence signal from the vehicle, generate a chat window, and invite the boiler of the vehicle and the home based on the event profile. Alternatively, all terminal devices included in the same account may share an event profile. Therefore, the vehicle may invite the boiler after requesting that the terminal device generates a chat window by transmitting an event occurrence signal to the terminal device.
  • the boiler may perform a preset operation. The boiler may perform an operation of checking the current temperature with a preset operation. If the boiler determines that the current temperature is low, the boiler may transmit a message to the terminal device asking whether to raise the temperature.
  • the terminal device may invite a boiler after generating a chat window according to an event occurrence signal from a vehicle. The boiler may transmit a message related to the result of performing the operation, and the terminal device may display the transmitted message. When the message sent by the boiler is a message for inquiring the user, the terminal device may display a button for selecting whether to perform a task.
  • a terminal device for automatically transmitting a turn-on command to a boiler.
  • the user can enter a command for confirming or canceling a message asking whether the boiler is to be performed.
  • the terminal device transmits a user's command to the boiler, and the boiler may perform a turn-on operation according to the user's command.
  • the terminal device may transmit an operation execution command to the boiler.
  • the boiler may perform an operation according to the command sent.
  • the external device may automatically perform an operation.
  • the external device may transmit a message informing that the operation is performed to the terminal device.
  • the terminal device can display a message received from an external device.
  • the terminal device and the external device may generate a chat window, chat, and perform a preset operation according to a preset event profile. However, the user can instruct the operation of a new external device not set in the event profile.
  • the terminal device can display a list of registered external devices according to a user's command while the current chat window is displayed.
  • the terminal device can select a new external device according to the user's selection.
  • the terminal device can invite a new external device to the current chat window. That is, the terminal device may add and display a new external device that is not displayed in the chat window according to a user's additional command.
  • the added external device may transmit a message inquiring whether to perform a related task by referring to a current occurrence event.
  • the added external device may transmit a message inquiring whether to perform its main task regardless of the event.
  • the user may transmit a performance command message for a specific task to the added external device while adding the external device.
  • the added external device may perform a task by receiving a confirmation command for an inquiry message or a command input from a user.
  • the message transmitted and received with the chat window and the external device may be continuously displayed or stored. Therefore, the user can check the message or the task content later.
  • FIG. 7 is a diagram illustrating an event profile according to an embodiment of the present invention.
  • an event profile is shown that includes events, external devices, and tasks.
  • the event profile may be generated and stored at the time of manufacture of the terminal device. Alternatively, the event profile can be created or edited by the user.
  • an event selected as the destination home may be set in the car.
  • the external device related to the event where the destination is the house may include a rice cooker, a boiler, a living room light, a washing machine, and a TV.
  • the rice cooker turns on the cooking function
  • the boiler checks the temperature, sets the preset temperature
  • the living room lamp turns on 1 minute before arrival
  • the washing machine turns on the washing function
  • the TV sets 1 minute before arrival.
  • the event profile may be stored in each terminal device and may be stored in a server. In addition, the event profile may be shared among users.
  • the vehicle may transmit an event generation signal to the terminal device.
  • the terminal device may generate a chat window according to the received event occurrence signal and invite an external device related to the generated event.
  • the vehicle may invite the related external device. Accordingly, the terminal device may actively generate a chat window and perform related tasks according to the event profile.
  • event profiles may be grouped in detail.
  • FIG. 8 is a diagram illustrating a grouped event profile according to an embodiment of the present invention.
  • an event profile in which an external device is grouped in detail is shown.
  • the terminal device may invite a plurality of external devices to the chat window and transmit a work command.
  • the user can only work on some external devices.
  • the external devices included in the event profile are grouped temporally or spatially, the user may conveniently work with only some external devices.
  • the rice cooker, the boiler, and the washing machine may immediately perform an operation when an event occurs.
  • the living room lamp and the TV can perform a task 1 minute before arrival. Therefore, the first and second groups may be classified based on the task execution time.
  • the first group may include a rice cooker, a boiler and a washing machine
  • the second group may include a living room lamp and a TV. Therefore, when an event occurs, the terminal device (or car) may first invite a cooker, a boiler, and a washing machine to a chat window, and perform or cancel a task according to a user's command. Then, one minute before the car arrives at home, the terminal device (or the car) may additionally invite the living room lamp and the TV to the chat window and perform or cancel the operation according to a user's command.
  • the event profile may be classified based on the operation time. For example, an event profile may be classified as a task performing group immediately after an event occurs, a task performing group within 1 hour after the event occurs, or may be classified as a task performing group within 1 hour of arrival.
  • event profiles may be classified based on distance. For example, the event profile may be classified as a task execution group when the distance is less than 1 km from the event generating device or the terminal device, and a task execution group when the distance is 10 km or more.
  • FIG. 9 is a diagram illustrating a control screen of a terminal device according to a third embodiment of the present disclosure.
  • the event generating device may transmit an event generating signal to the terminal device.
  • the event generating device may invite an event-related external device to the chat window based on the event profile.
  • the terminal device may generate a chat window when receiving the event occurrence signal.
  • the terminal device can display the external device related to the event in the chat window based on the event profile.
  • the terminal device may connect with the event-related external device based on the event profile and display the event-related external device in the chat window.
  • Each event-related external device may transmit a message for inquiring whether to perform a preset task to the terminal device.
  • the terminal device can display the received message.
  • the terminal device may also display a button for selecting whether to perform each task.
  • the terminal device may further display a button for collectively performing or canceling a task.
  • a chat window in which one external device is selected is shown.
  • the user can remove external devices displayed in the chat window.
  • the user can select the nominal portion of the external device displayed in the chat window.
  • a chat window in which a selected external device is removed is shown. If the name portion of the external device is selected, the terminal device can remove the selected external device from the chat window. Alternatively, the terminal device may further display a notification window for confirming whether to remove the selected external device.
  • the terminal device When the terminal device receives a batch of job execution commands or receives a separate job execution command, the terminal device may transmit the command input to each external device. Therefore, the terminal device can control the plurality of external devices collectively or individually.
  • FIG. 10 is a diagram illustrating a control screen of a terminal device according to a fourth embodiment of the present invention.
  • the terminal device (or an external device) is not limited to an independent electronic device.
  • the terminal device may include a server or a control module for managing and controlling a car, a building, and the like. Therefore, a building (or a company, a market) such as a car repair shop may be a terminal device (or an external device) if it can be connected to a network and manages or controls a building or manages data.
  • the vehicle may transmit an event occurrence signal to the terminal device.
  • the car may invite a car repair shop related to the generated event to the chat window.
  • the terminal device receiving the event generation signal may generate a chat window to invite the car and the car repair station.
  • the vehicle may transmit a message to inquire to the terminal device.
  • the terminal device can display the transmitted message.
  • the vehicle maintenance station may transmit a request message for the work to the terminal device.
  • the user can choose to confirm or cancel the request of the car repair shop.
  • the terminal device may receive the state information from the vehicle and transmit the received state information to the vehicle maintenance station.
  • the vehicle maintenance station may transmit a message to the terminal device as a result of checking the status information.
  • the car and the car repair station can directly send and receive messages.
  • the terminal device may only display the message so that the user can check the message.
  • a car having an event may generate a chat window and invite a terminal device and a car repair shop.
  • the terminal device, the car, and the car repair shop may all display a chat window. Processing of messages related to the actual chat window may be performed by the server.
  • the car and the car repair station may appear to send and receive messages directly, and the terminal device may display the message of the car and the car repair station.
  • the terminal device may also display its own message in the chat window and transmit the message to the server, and the server may display the message of the terminal device in the chat window of the car and the maintenance station.
  • the above-described method can be equally applied to other embodiments.
  • FIG. 11 is a timing diagram illustrating a control process according to a fifth embodiment of the present invention.
  • the remote control system may include a vehicle 100-1, a home server 200-1, and a TV 200-2.
  • the car may receive a departure command from the user at home (S1110).
  • the vehicle 100-1 may determine the destination based on the destination information set in the navigation. Alternatively, in the case of an autonomous vehicle, the vehicle 100-1 may inquire the destination to the user and determine the destination based on the destination information input from the user.
  • the event profile for the event leaving home may include a home server 200-1 and a TV 200-2.
  • the vehicle 100-1 may perform a corresponding operation according to an event for leaving home.
  • the vehicle 100-1 may turn on the vehicle, set a destination of the navigation home, and set a temperature of a heater in the vehicle to maintain an appropriate temperature (S1120).
  • the vehicle 100-1 may generate a chat window and invite the home server 200-1 and the TV 200-2. If there is no separate terminal device, the vehicle 100-1 may perform a function of the terminal device of the remote control system.
  • the creation of the chat window and the invitation of the external device may be performed in various ways.
  • the vehicle 100-1 transmits an event occurrence signal to a separate terminal device
  • the separate terminal device generates a chat window and invites the vehicle 100-1 and the event-related external device to send and receive messages and commands. Can be.
  • the vehicle 100-1 may generate a chat window and invite a separate terminal device and an external device related to an event.
  • the vehicle 100-1 may create a chat window and invite only an external device related to an event.
  • each device may display a chat window by executing a messenger application when generating a chat window or when invited to the chat window.
  • the vehicle 100-1 may be connected to the home server 200-1 (S1130-1) and may be connected to a TV (S1130-2). That is, the vehicle 100-1 may generate a chat window and invite the home server 200-1 and the TV 200-2 to the chat window.
  • the home server 200-1 may perform a task when it inquires whether a preset task is performed in relation to a departure event at home and receives a task execution command. For example, the home server 200-1 may turn on the heater (or boiler) to maintain the room temperature at an appropriate temperature, turn on the living room lamp, operate the washing machine, and cook the cooker.
  • the TV may perform a preset operation according to a user's command. That is, the TV may search for major news, prepare for news briefing, download a movie, and connect with CCTV (S1150).
  • FIG. 12 is a diagram illustrating a control screen of a terminal device according to a fifth embodiment of the present disclosure.
  • the remote control system described in FIG. 12 may further include a terminal device. That is, when the terminal device receives the event occurrence signal from the vehicle, the terminal device may generate a chat window and invite the car and related external devices to display the chat window. Alternatively, the car may create a chat window and invite the terminal device and the related external device. The external device may transmit a message to the terminal device inquiring whether to perform a preset task related to the event. Alternatively, a message inquiring whether to perform a preset operation may be transmitted to the chat window generated in the server.
  • the terminal device can display a message received directly or indirectly from an external device in a chat window.
  • the terminal device can also display a selection button for confirming whether or not to perform a preset task. According to the user's selection, the terminal device may transmit a job execution command to each external device, and the external device may perform a preset job.
  • FIG. 13 is a timing diagram illustrating a control process according to a sixth embodiment of the present invention.
  • the remote control system may include a terminal device 100-2 and a home server 200-3.
  • An event in which the doorbell of the house rings may occur (S1310).
  • the home server 200-3 may detect the occurrence of an event when the doorbell rings.
  • the home server 200-3 may perform a preset task.
  • the home server 200-3 may track the target of the CCTV and turn on the lamp of the front door (S1320).
  • the external device may inquire whether the user performs a preset task and perform the preset task when the user confirms.
  • exceptional cases such as an event ringing the doorbell, the external device may perform a preset task without confirmation of the user.
  • the home server 200-3 connects to the terminal device 100-2 (S1330). For example, the home server 200-3 may transmit an event occurrence signal to the terminal device 100-2.
  • the terminal device 100-2 may generate a chat window in response to the received event occurrence signal, and invite an external device related to the generated event to display the chat window.
  • the home server 200-3 may generate a chat window and invite the terminal device 100-2.
  • the terminal device 100-2 may execute the messenger application to display the invited chat window.
  • the terminal device 100-2 may check the visit reservation schedule in response to the generated event (S1340). If the visit reservation schedule is confirmed, the terminal device 100-2 may transmit visit schedule information (S1350). The home server 200-3 may check whether the visitor information matches based on the visit schedule information received from the terminal device 100-2. If the visitor information matches the visitor information, the home server 200-3 may open the front door (S1360). The home server 200-3 may transmit visit confirmation information to the terminal device 100-2 (S1370). The terminal device 100-2 may store the received visit record and notify the user (S1380). That is, the terminal device 100-2 and the home server 200-3 may transmit and receive scheduled visit information without user's involvement, open the front door, and leave a visit record. In addition, the terminal device 100-2 and the home server 200-3 may conveniently check a user later by displaying a process of performing a message in a chat window using a messenger application.
  • FIG. 14 is a diagram illustrating a control screen of a terminal device according to a sixth embodiment of the present invention.
  • a chat window generated according to an event of ringing the doorbell is shown.
  • the home server may connect with the terminal device.
  • the home server may execute a messenger application to generate a chat window and invite a terminal device.
  • the home server may display the chat window and the invited terminal device in the chat window.
  • the home server may transmit an event generation signal to the terminal device.
  • the terminal device receives the event occurrence signal, the terminal device may generate a chat window and invite an external device related to the event.
  • the terminal device can display the invited external device in the chat window.
  • the home server may perform a preset task and transmit the performed task as a message.
  • the sent message can be displayed in the chat window.
  • the terminal device may transmit information related to the generated event in a message.
  • the sent message can be displayed in the chat window.
  • the home server may open the front door when the information received from the terminal device and the visitor information match.
  • the home server may transmit information that the information matches and that the front door is opened.
  • the terminal device can store the information transmitted by the home server.
  • 15 is a timing diagram illustrating a control process according to a seventh embodiment of the present invention.
  • a terminal device control process corresponding to a meeting reservation event is illustrated.
  • the user may input a meeting reservation command to the terminal device 100-3 (S1505).
  • the user is located at a different location. You can enter Hong and the meeting scheduling command.
  • the terminal device 100-3 of the user is referred to as Mr.
  • the portable device 200-4 of Hong may be connected (S1510).
  • the terminal device 100-3 of the user generates a chat window, Hong's portable device 200-4 may be invited.
  • the user terminal device 100-3 is Mr. Hong's mobile device 200-4 may be displayed in a chat window.
  • Mr. Hong's portable device (200-4) is Mr. Hong. Hong's schedule can be checked (S1515). Mr.
  • Hong's portable device 200-4 may check the stored schedule. Mr. Hong's mobile device 200-4 is registered with the same account. You can also see the schedules stored on Hong's computer, laptops and other devices. Mr. The portable device 200-4 of Hong may transmit time information capable of meeting in a message (S1520). As described above, the terminal device 100-3 and Mr. Hong's portable device 200-4 may be directly connected. Therefore, Mr. The message transmitted by Hong's mobile device 200-4 may be transmitted to the user's terminal device 100-3 and displayed in a chat window. In addition, the terminal device 100-3 and Mr. Hong's portable device 200-4 may be indirectly connected. Therefore, Mr. The message transmitted by Hong's mobile device 200-4 may be transmitted to the server.
  • the server may display the chat window and transmit the same to the terminal device 100-3 of the user.
  • the terminal device 100-3 of the user may check the received schedule (S1525).
  • the terminal device 100-3 of the user receives a confirmation signal. It can transmit to Hong's portable device 200-4.
  • the user's terminal device (100-3) is Mr. located in another area. Transportation reservations can be made for meetings with Hong.
  • the user terminal device 100-3 may access the train ticket reservation server 200-5 (S1530). That is, the user terminal device 100-3 may generate a new chat window to invite the train ticket reservation server 200-5.
  • the user terminal device 100-3 may display the train ticket reservation server 200-5 in a chat window and transmit a train schedule inquiry message.
  • the train ticket reservation server 200-5 may check the train schedule requested by the user terminal device 100-3 and reserve a train ticket (S1535).
  • the train ticket reservation server 200-5 may transmit the reservation information to the terminal device 100-3 of the user (S1540).
  • the reservation information may be displayed in a chat window of the user terminal device 100-3.
  • Mr. The portable device 200-4 of Hong may access the conference room management server 200-6 to reserve a meeting place (S1545).
  • Mr. Hong's mobile device 200-4 may generate a new chat window to display the conference room reservation server 200-6 in the chat window and transmit a possible conference room search message of the scheduled time of the meeting.
  • the conference room management server 200-6 The portable device 200-4 of Hong may search for a possible room requested by the user and reserve a room (S1550).
  • the meeting room management server 200-6 receives Mr. In operation S1555, the portable device 200-4 may be transmitted to the Hong portable device 200-4.
  • Mr. Hong's portable device 200-4 may transmit reserved conference room information to the user's portable device 100-3.
  • the reserved conference room information may be displayed in a chat window of the user terminal device 100-3.
  • the user's terminal device 100-3 may perform a user's command through interaction with the external devices 200-4 and 200-5. If necessary, the user 200-5 may perform a user's command through interaction with another external device 200-6.
  • 16 is a diagram illustrating a control screen of a terminal device according to a seventh embodiment of the present invention.
  • a chat window generated according to a meeting scheduling event is illustrated.
  • the user's terminal device is Mr. Connect with Hong's mobile device.
  • the user's terminal device executes a messenger application to create a chat window.
  • Hong's mobile device can be invited.
  • the terminal device of the user displays a chat window, Hong's mobile device can be displayed in the chat window.
  • Mr. Hong's portable device can interact with the user's terminal device.
  • the user's terminal device is The meeting request message may be transmitted to Hong's mobile device.
  • Mr. Hong's portable device can retrieve the stored schedule.
  • Mr. Hong's mobile device Schedules stored in other terminal devices registered to Hong's account can also be retrieved.
  • Mr. Hong's portable device can transmit the possible time information to the user's terminal device.
  • the terminal device of the user searches the stored schedule, retrieves the schedule stored in another terminal device registered in the user's account, or obtains confirmation information according to the input of the user's approval command. It can transmit to Hong's portable device.
  • Mr. Hong's mobile device may reserve a conference room in a scheduled time zone and transmit the reserved conference room information to a user's terminal device.
  • 17 is a flowchart illustrating a method for controlling a terminal device according to an embodiment of the present invention.
  • the terminal device receives a generation signal of a preset event from a first external device among a plurality of external devices (S1710).
  • the terminal device generates a chat window (S1720).
  • the terminal device displays the generated chat window and displays at least one second external device related to the preset event in the chat window (S1730).
  • the terminal device can determine the second external device related to the event based on the event profile.
  • the event profile may include the second external device corresponding to the event and preset job information of the second external device.
  • An event profile may be called an action descriptor.
  • the terminal device may display a chat window before connecting to the second external device and display the second external device in the chat window.
  • the terminal device may connect with the second external device.
  • the terminal device may access the server, receive the event profile, generate a chat window, and display the second external device in the chat window.
  • the terminal device may connect with the second external device and generate a chat window to display the second external device in the chat window.
  • the first external device may generate a chat window and invite a terminal device and a second external device related to the event based on the event profile.
  • the terminal device and the external device may display a chat window and display all related devices in the chat window.
  • the terminal device displays a message inquiring whether to perform the preset task corresponding to the preset event and a button for selecting whether to perform the preset task in the chat window (S1740).
  • the second external device related to the event may transmit a message to the terminal device inquiring whether to perform a preset task corresponding to the preset event.
  • a chat window may be created in the server so that the server manages the chat window.
  • the second external device related to the event may transmit a message to the server inquiring whether to perform a preset task.
  • the server can display the sent message in a chat window and send it to any device.
  • the terminal device may transmit a command to perform a preset job according to a user's command.
  • the terminal device can automatically transmit a command for performing the preset task to the second external device.
  • the second external device may perform the preset task.
  • FIG. 18 is a flowchart illustrating a process of registering a terminal device according to an embodiment of the present invention.
  • the terminal device may check a user account (S1810).
  • the user may own multiple accounts.
  • the user account may be registered in the server, and the terminal device may check the user account to be registered.
  • the terminal device can transmit the device ID to the server (S1820).
  • the device ID is unique identification information of the terminal device.
  • the terminal device can be distinguished from other terminal devices by using the device ID.
  • the server may check whether the terminal device which requested the registration using the device ID is a previously registered terminal device (S1830).
  • the server may register the terminal device.
  • the user may input an alias of the terminal device. That is, the server may receive an alias of the terminal device (S1840).
  • the server may register the terminal device (S1850).
  • the server may register the terminal device by mapping the input alias name, the device ID, and various information of the terminal device. If the user does not input the nickname, the server may register the terminal device with the preset name.
  • the terminal device or the server may apply an event profile (operation descriptor) related to the registered terminal device (S1860). As described above, the event profile may be created or modified by the user.
  • each terminal device may store a basic event profile. For example, the TV may store an event profile that performs an operation that turns on regardless of the event.
  • the server may check whether the registration information is updated (S1870). In one embodiment, the manufacturer may update the firmware after the terminal device is released. In this case, the unique information such as the device ID may not be changed, but other information may be changed. If the registration information has not been updated, the server may end the registration procedure. If the registration information is updated, the server may update the registration information of the terminal device (S1880).
  • 19 is a flowchart illustrating a process of creating a chat room according to an embodiment of the present invention.
  • an event occurs first (S1910).
  • Events can be set in various ways.
  • the event may include an event in which the car leaves the home, an event in which the doorbell rings, an event in which an abnormal symptom of the vehicle is detected, or an event in which the temperature falls below a preset temperature.
  • the terminal device may check an operation to be performed by the terminal device (S1920).
  • the performing operation may be determined based on the preset event profile. A detailed procedure for confirming the performing operation will be described later. If there is no operation to be performed by the terminal device, the procedure may be terminated.
  • the terminal device may determine whether it is necessary to search for another terminal device (S1940). If it is not necessary to search for another terminal device, the terminal device may generate a chat window and display a message to the user (S1950). That is, the terminal device can start a chat with the user. If it is necessary to search for another terminal device, the terminal device can search for a terminal device related to an event generated from a friend list included in the same account (S1960). The terminal device may generate a chat window and include the searched terminal device in the chat window to start a group chat (S1970).
  • the remote control system may include a terminal device (main device), an external device where an event is generated, and an external device that executes a command.
  • the terminal device may perform the role of an external device, and the external device may also play the role of the terminal device (main device).
  • the process of generating the chat window described with reference to FIG. 19 may be a process performed by a terminal device (main device) or an external device. That is, the process of executing a command by generating a chat window according to an event may be somewhat different, and the process of performing a command by generating a chat window according to an embodiment may be slightly different.
  • 20 is a view for explaining a process of a control operation according to an embodiment of the present invention.
  • the terminal device can check whether the terminal device is connected to the server (S2005).
  • the server may be a service cloud. If the terminal device is connected to the server, the terminal device can fetch the event profile (S2010). An event profile may be called an action descriptor.
  • the terminal device can determine whether it is necessary to search for another terminal device (device) based on the fetched event profile (S2015). If the terminal device does not need to search for another terminal device, it may generate a chat window (S2020). If the terminal device is not the user's main device (eg, a personal portable device), the terminal device may include the user's main device in the chat window.
  • the user's main device can always be included in the chat window even if it is not associated with the event.
  • the terminal device may generate a chat window and display a message related to an operation to be performed (S2025). Or, the terminal device can transmit a message.
  • the message related to the operation to be performed may include a message inquiring whether to perform a predetermined operation.
  • the terminal device can determine whether the user commands confirmation or cancellation within a preset time (S2030). According to an exemplary embodiment, the terminal device may directly receive a user's command or receive a user's command from another terminal device. If the user commands cancellation within a preset time, the terminal device may not perform an operation. If the user does not command cancellation within the preset time, the terminal device can perform an operation (S2035). That is, when the user selects confirmation within a preset time, the terminal device can perform a preset operation. Alternatively, if the user does not perform any command within a preset time, the terminal device may perform a preset operation.
  • the terminal device may not be connected to the server.
  • the terminal device can determine whether there is a stored event profile (S2040). If the terminal device determines that the event profile is not stored, the generated event may be recorded in the event history (S2045). Event history includes the history of events that occurred, so users can refer to the event history when creating or modifying an event profile. If the terminal device determines that the event profile is stored, it may be determined whether a search of another terminal device is necessary according to the stored event profile (S2015).
  • the terminal device may generate a chat window (S2020). If the terminal device needs to search for another terminal device, the terminal device may search for the terminal device related to the event generated in the friend list (S2050). The terminal device may generate a chat window including the found terminal device in operation S2055. If the terminal device is not the user's main device (eg, a personal portable device), the terminal device may also include the user's main device in the chat window. The user's main device can always be included in the chat window even if it is not associated with the event. The terminal device included in the chat window may be added or removed. The procedure of adding or removing the terminal device will be described later. The terminal device may generate a chat window and display a message related to an operation to be performed (S2025). Or, the terminal device can transmit a message.
  • S2025 the terminal device can transmit a message.
  • the terminal device can determine whether the user commands confirmation or cancellation within a preset time (S2030). According to an exemplary embodiment, the terminal device may directly receive a user's command or receive a user's command from another terminal device. If the user commands cancellation within a preset time, the terminal device may not perform an operation. If the user does not command cancellation within the preset time, the terminal device can perform an operation (S2035). That is, when the user selects confirmation within a preset time, the terminal device can perform a preset operation. Alternatively, if the user does not perform any command within a preset time, the terminal device may perform a preset operation.
  • 21 is a diagram illustrating a process of modifying a registered terminal device according to an embodiment of the present invention.
  • the terminal device may generate a chat window including the found terminal device in operation S2110. If the terminal device is not the user's main device (eg, a personal portable device), the terminal device may also include the user's main device in the chat window. The user's main device can always be included in the chat window even if it is not associated with the event.
  • the terminal device may generate a chat window and display a message related to an operation to be performed (S2120). Or, the terminal device can transmit a message.
  • the message related to the operation to be performed may include a message inquiring whether to perform a predetermined operation.
  • the user can delete the device included in the chat window. Alternatively, the user may add a device not included in the chat window.
  • the terminal device may determine whether the device included in the chat window has been deleted or a new device has been added (S2130). If there is a change of the device in the chat window, the terminal device can modify the event profile (operation descriptor) (S2140).
  • the terminal device can store the modified event profile. When the modified event profile is stored in the terminal device, the device included in the chat window may also store the modified event profile. When the modified event profile is stored in the server, the terminal device may transmit the modified event profile to the server, and the server may store the transmitted event profile. If there is no change of the device in the chat window, the terminal device can perform a preset operation (S2150).
  • control method of the terminal apparatus may be implemented as a program and provided to a processor.
  • receiving a generation signal of a predetermined event from a first external device of a plurality of external devices generating a chat window, displaying the generated chat window, at least one second external associated with the preset event
  • a non-transitory computer readable medium may be provided.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

단말 장치, 원격 제어 시스템 및 제어 방법이 개시된다. 단말 장치는 복수의 외부 장치와 통신하는 통신부, 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하면, 채팅 창을 생성하여 표시하는 디스플레이 및 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하도록 통신부를 제어하는 프로세서를 포함하고, 프로세서는 적어도 하나의 제2 외부 장치를 채팅 창에 표시하고, 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 채팅 창에 표시하도록 디스플레이를 제어한다.

Description

단말 장치, 원격 제어 시스템 및 제어 방법
본 발명은 단말 장치, 원격 제어 시스템 및 제어 방법에 관한 것으로, 보다 상세하게는 단말 장치를 이용하여 원격으로 제어하는 단말 장치, 원격 제어 시스템 및 제어 방법에 관한 것이다.
전자 기술의 발전에 따라 다양한 디바이스가 개발되고 있다. 디바이스는 사용자의 명령이 입력되어야 동작을 수행한다. 일반적으로 사용자는 디바이스의 물리적 입력 버튼을 눌러서 명령을 입력한다. 또는, 디바이스는 디스플레이 상에 입력 버튼을 표시하고, 사용자는 표시된 입력 버튼을 터치하여 명령을 입력한다. 디바이스는 입력된 사용자의 명령에 대응되는 동작을 수행한다. 리모콘이 개발되면서 사용자는 리모콘을 이용하여 일정한 거리에서 디바이스에 명령을 입력할 수 있다. 또한, 최근에는 무선 통신 기술의 발전에 따라 원거리에서도 단말 장치를 이용하여 디바이스를 제어할 수 있는 기술이 개발되고 있다. 예를 들어, 외출한 사용자는 단말 장치를 이용하여 집안의 보일러를 온-오프할 수 있고, 집안의 전등을 온-오프할 수 있다.
그러나, 디바이스는 사용자의 의사에 따라 수동적으로 제어된다. 또한, 사용자는 여러가지 디바이스를 개별적으로 제어해야하는 불편함이 있다. 따라서, 능동적으로 디바이스를 제어하고, 복수의 디바이스를 일괄적으로 제어할 수 있는 기술에 대한 필요성이 있다.
본 발명의 목적은 능동적으로 제어되고 일괄적으로 제어될 수 있는 단말 장치, 원격 제어 시스템 및 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위해 본 발명의 일 실시 예에 따른 단말 장치는 복수의 외부 장치와 통신하는 통신부, 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하면, 채팅 창을 생성하여 표시하는 디스플레이 및 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하도록 상기 통신부를 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하고, 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 상기 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 상기 채팅 창에 표시하도록 상기 디스플레이를 제어한다.
그리고, 상기 프로세서는 상기 적어도 하나의 제2 외부 장치로부터 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 수신하도록 상기 통신부를 제어할 수 있다.
또한, 상기 프로세서는 기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하도록 상기 통신부를 제어할 수 있다.
또한, 상기 프로세서는 상기 채팅 창에 표시된 상기 적어도 하나의 제2 외부 장치 중 하나의 장치가 선택되고 제거되는 명령을 입력받으면, 상기 선택된 하나의 장치를 상기 채팅 창에서 제거할 수 있다.
그리고, 상기 프로세서는 추가 명령에 따라 상기 채팅 창에 표시되지 않은 제3 외부 장치를 상기 채팅 창에 추가하여 표시할 수 있다.
또한, 상기 디스플레이는 상기 발생된 기 설정된 이벤트와 관련된 작업 또는 상기 제3 외부 장치의 기 설정된 메인 작업 중 적어도 하나의 작업의 수행 여부를 문의하는 메시지를 상기 채팅 창에 표시할 수 있다.
한편, 단말 장치는 상기 기 설정된 이벤트 및 상기 기 설정된 이벤트와 관련된 상기 적어도 하나의 제2 외부 장치가 설정된 이벤트 프로파일을 저장하는 메모리를 더 포함할 수 있다.
그리고, 상기 적어도 하나의 제2 외부 장치는 동일한 사용자 계정에 등록된 장치일 수 있다.
그리고, 상기 프로세서는 상기 적어도 하나의 제2 외부 장치를 상기 기 설정된 작업과 관련된 시간 또는 거리를 기초로 그룹핑하고, 상기 기 설정된 이벤트가 발생하고 상기 기 설정된 작업과 관련된 시간 또는 거리 조건을 만족하는 경우 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 다른 단말 장치의 제어 방법은 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하는 단계, 채팅 창을 생성하는 단계, 상기 생성된 채팅 창을 표시하고, 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 단계, 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 상기 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 상기 채팅 창에 표시하는 단계를 포함한다.
그리고, 단말 장치의 제어 방법은 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하는 단계 및 상기 적어도 하나의 제2 외부 장치로부터 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 수신하는 단계를 더 포함할 수 있다.
또한, 단말 장치의 제어 방법은 기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하는 단계를 더 포함할 수 있다.
또한, 단말 장치의 제어 방법은 상기 채팅 창에 표시된 상기 적어도 하나의 제2 외부 장치 중 하나의 장치가 선택되고 제거되는 명령을 입력받으면, 상기 선택된 하나의 장치를 상기 채팅 창에서 제거하는 단계를 더 포함할 수 있다.
그리고, 단말 장치의 제어 방법은 추가 명령에 따라 상기 채팅 창에 표시되지 않은 제3 외부 장치를 상기 채팅 창에 추가하여 표시하는 단계를 더 포함할 수 있다.
또한, 단말 장치의 제어 방법은 상기 발생된 기 설정된 이벤트와 관련된 작업 또는 상기 제3 외부 장치의 기 설정된 메인 작업 중 적어도 하나의 작업의 수행 여부를 문의하는 메시지를 상기 채팅 창에 표시하는 단계를 더 포함할 수 있다.
한편, 상기 적어도 하나의 제2 외부 장치는 동일한 사용자 계정에 등록된 장치일 수 있다.
그리고, 단말 장치의 제어 방법은 상기 적어도 하나의 제2 외부 장치를 상기 기 설정된 작업과 관련된 시간 또는 거리를 기초로 그룹핑하는 단계를 더 포함하고, 상기 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 단계는 상기 기 설정된 이벤트가 발생하고 상기 기 설정된 작업과 관련된 시간 또는 거리 조건을 만족하는 경우 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시할 수 있다.
한편, 본 발명의 일 실시 예에 따른 원결 제어 시스템은 기 설정된 이벤트의 발생 신호를 단말 장치로 전송하는 제1 외부 장치, 상기 기 설정된 이벤트의 발생 신호를 수신하면, 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하는 단말 장치 및 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 상기 단말 장치로 전송하는 적어도 하나의 제2 외부 장치를 포함하고, 상기 단말 장치는 채팅 창을 생성하여 상기 생성된 채팅 창에 상기 연결된 적어도 하나의 제2 외부 장치 및 상기 수신된 메시지를 표시한다.
그리고, 상기 단말 장치는 기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송할 수 있다.
그리고, 상기 단말 장치는 상기 적어도 하나의 제2 외부 장치를 상기 기 설정된 작업과 관련된 시간 또는 거리를 기초로 그룹핑하고, 상기 기 설정된 이벤트가 발생하고 상기 기 설정된 작업과 관련된 시간 또는 거리 조건을 만족하는 경우 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시할 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면 단말 장치, 원격 시스템 및 제어 방법은 보다 효과적인 원격 제어 환경을 구축할 수 있고, 디바이스의 능동적인 제어를 할 수 있어 사용자 편의성을 높일 수 있다.
도 1a 및 도 1b는 본 발명의 일 실시 예에 따른 원격 제어 시스템을 설명하는 도면이다.
도 2a는 본 발명의 일 실시 예에 따른 단말 장치의 블록도이다.
도 2b는 본 발명의 다른 실시 예에 따른 단말 장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 이벤트 신호를 전송하는 단말 장치의 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 동일한 계정에 등록된 단말 장치가 표시된 화면을 설명하는 도면이다.
도 5는 본 발명의 제1 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 6은 본 발명의 제2 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 이벤트 프로파일을 설명하는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 그룹핑된 이벤트 프로파일을 설명하는 도면이다.
도 9는 본 발명의 제3 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 10은 본 발명의 제4 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 11은 본 발명의 제5 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 12는 본 발명의 제5 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 13은 본 발명의 제6 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 14는 본 발명의 제6 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 15는 본 발명의 제7 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 16은 본 발명의 제7 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 17은 본 발명의 일 실시 예에 따른 단말 장치 제어 방법의 흐름도이다.
도 18은 본 발명의 일 실시 예에 따른 단말 장치를 등록하는 과정을 설명하는 흐름도이다.
도 19는 본 발명의 일 실시 예에 따른 채팅 방을 생성하는 과정을 설명하는 흐름도이다.
도 20은 본 발명의 일 실시 예에 따른 제어 작업이 진행되는 과정을 설명하는 도면이다.
도 21은 본 발명의 일 실시 예에 따른 등록된 단말 장치를 수정하는 과정을 설명하는 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 본 발명의 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 본 발명의 기술적 사상이 제한되는 것은 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다. 다만, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1a는 본 발명의 일 실시 예에 따른 원격 제어 시스템을 설명하는 도면이다.
도 1a를 참조하면, 원격 제어 시스템(1000)은 단말 장치(100), 복수의 외부 장치(200-1, 200-2, 200-3) 및 서버(300)를 포함할 수 있다. 도 1a에 도시된 원격 제어 시스템(1000)은 복수 개의 외부 장치(200-1, 200-2, 200-3)를 포함하고 있지만, 원격 제어 시스템(1000)은 하나의 외부 장치를 포함할 수도 있다.
일 실시 예로서, 단말 장치(100)는 사용자로부터 명령을 입력받고 서버(300)를 통해 해당 외부 장치(200-1, 200-2, 200-3)로 입력된 명령을 전송할 수 있다. 단말 장치(100)는 사용자의 명령을 입력받고 입력된 명령과 관련된 외부 장치와 포함하는 채팅 창을 생성할 수 있다. 채팅 창은 사용자가 명령을 입력할 수 있는 영역이고, 외부 장치와 인터랙션하는 공간이며, 명령의 전송 및 동작의 수행 여부를 기록하는 히스토리 영역이다. 단말 장치(100)는 입력된 명령과 관련된 외부 장치 리스트를 포함하는 이벤트 프로파일을 저장할 수 있다. 이벤트 프로파일은 발생된 이벤트에 대응하는 외부 장치와 외부 장치에서 수행될 작업을 설정한 디스크립터를 의미한다. 이벤트 프로파일은 동작 디스크립터라고 부를 수 있다.
단말 장치(100)는 이벤트 프로파일(또는, 동작 디스크립터)을 이용하여 관련된 외부 장치를 판단할 수 있다. 따라서, 단말 장치(100)는 사용자의 명령이 입력되는 경우, 저장된 이벤트 프로파일에 기초하여 채팅 창 및 명령과 관련된 외부 장치를 채팅 창에 표시할 수 있다. 또는, 이벤트 프로파일은 서버(300)에 저장될 수 있다. 단말 장치(100)는 명령이 입력되면 서버(300)에 저장된 이벤트 프로파일을 수신하여 관련된 외부 장치를 판단할 수 있다.
단말 장치(100)는 채팅 창을 생성하고 관련된 외부 장치를 표시한 후 서버(300)를 통해 외부 장치(200-1, 200-2, 200-3)로 상태 정보를 요청하거나 동작 수행 신호를 전송할 수 있다. 상태 정보는 외부 장치(200-1, 200-2, 200-3)의 현재 상태에 대한 정보일 수 있다. 그리고, 동작 수행 신호는 입력된 명령에 대응되는 동작과 관련된 신호일 수 있다. 외부 장치(200-1, 200-2, 200-3)는 입력된 명령에 대응되는 동작의 수행 여부를 문의하는 메시지를 서버(300)를 통해 단말 장치(100)로 전송할 수 있다. 단말 장치(100)는 채팅 창에 수신한 메시지를 표시할 수 있다. 단말 장치(100)는 사용자로부터 승인 명령을 입력받거나 기 설정된 시간 이상 어떠한 입력도 받지 못하는 경우, 동작 수행 명령 신호를 서버(300)를 통해 외부 장치(200-1, 200-2, 200-3)로 전송할 수 있다. 또는, 단말 장치(100)는 복수의 외부 장치(200-1, 200-2, 200-3) 중 하나의 외부 장치로부터 이벤트 발생 신호를 수신할 수 있다. 단말 장치(100)가 하나의 외부 장치로부터 이벤트 발생 신호를 수신한 경우에도 사용자 명령을 입력받은 예와 동일한 과정을 수행할 수 있다.
한편, 복수의 외부 장치(200-1, 200-2, 200-3) 중 하나의 외부 장치가 단말 장치의 기능을 수행할 수도 있다. 또한, 단말 장치(100)가 외부 장치 중 하나의 장치로 동작할 수도 있다.
외부 장치(또는 외부 디바이스)(200-1, 200-2, 200-3)는 하나의 독립적인 장치일 수 있고, 서비스 공간에 설치되어 서비스 공간을 관리 또는 제어하는 부속 부분일 수도 있다. 예를 들어, 단말 장치(100) 또는 외부 장치(200-1, 200-2, 200-3)는 휴대폰, 스마트 폰, 노트북 컴퓨터, 데스크탑 컴퓨터, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스, TV, 냉장고, 세탁기, 모니터, DVD 플레이어, 스마트 폰, 디지털 카메라, 전자 액자, 키오스크 등과 같은 독립적인 장치로 구현될 수 있다. 그리고, 외부 장치(200-1, 200-2, 200-3)는 전등, 블라인드, 조도 센서 등 조명 관련 장치, 에어컨, 난방기, 보일러, 온도 센서 등 난방 관련 장치, 공기 청정기, 가습기, 습도 센서 등 대기 관련 장치 등으로 구현될 수 있다. 또한, 외부 장치(200-1, 200-2, 200-3)는 자동차, 집, 사무실, 자동차 정비소, 마트 등과 같은 서비스 공간에 설치된 부속 부분일 수 있다. 즉, 외부 장치(200-1, 200-2, 200-3)는 사무실, 마트 등을 관리하는 서버로 구현될 수 있으며, 자동차에 포함된 자동차 제어모듈로 구현될 수도 있다. 즉, 외부 장치(200-1, 200-2, 200-3)는 단말 장치(100)로 상태 정보 및 동작 문의 메시지를 전송하고, 단말 장치(100)로부터 명령을 수신하여 수신된 명령을 수행할 수 있는 모든 장치 또는 부속 모듈을 포함할 수 있다. 외부 장치(200-1, 200-2, 200-3)는 전송된 명령에 따라 동작을 수행할 수 있다.
서버(300)는 외부 장치(200-1, 200-2, 200-3)로부터 상태 정보 또는 동작 수행 여부를 문의하는 메시지를 수신하여 단말 장치(100)로 전송할 수 있다. 그리고, 서버(300)는 단말 장치(100)로부터 명령을 수신하여 해당 외부 장치로 전송할 수 있다. 경우에 따라, 서버(300)는 단말 장치(100)의 계정을 저장하고, 사용자가 등록하는 외부 장치를 저장된 계정에 등록하여 이벤트 프로파일을 생성할 수 있다. 서버(300)는 사용자의 허락에 따라 사용자의 이벤트 프로파일을 타 사용자와 공유할 수 있다. 한편, 서버(300)는 제어 동작 과정에서 사용되지 않을 수도 있다.
도 1b는 본 발명의 다른 실시 예에 따른 원격 제어 시스템을 설명하는 도면이다.
도 1b를 참조하면, 원격 제어 시스템(1000a)은 단말 장치(100) 및 외부 장치(200-1, 200-2, 200-3)를 포함할 수 있다. 단말 장치(100)는 사용자의 명령을 입력받거나 복수의 외부 장치(200-1, 200-2, 200-3) 중 하나의 외부 장치로부터 이벤트 발생 신호를 수신할 수 있다. 단말 장치(100)는 입력된 명령 또는 수신된 이벤트 발생 신호에 따라 채팅 창을 생성하고 관련된 외부 장치를 표시할 수 있다. 단말 장치(100)는 이벤트 프로파일을 기초로 관련된 외부 장치를 판단할 수 있다. 이벤트 프로파일은 단말 장치(100)에 저장되어 있을 수 있고, 서버(미도시)에 저장되어 있을 수 있다. 다만, 단말 장치(100)는 채팅 창 생성 초기에 서버로부터 이벤트 프로파일 또는 이벤트 프로파일에 포함된 데이터를 수신하고, 외부 장치와 직접 통신할 수도 있다.
외부 장치(200-1, 200-2, 200-3)는 사용자의 명령 또는 발생된 이벤트에 대응되는 동작의 수행 여부를 문의하는 메시지를 단말 장치(100)로 전송할 수 있다. 경우에 따라, 단말 장치(100)는 사용자의 명령 또는 발생된 이벤트와 관련없는 외부 장치와 연결할 수 있다. 단말 장치(100)와 연결된 관련없는 외부 장치는 메인 동작 또는 기 설정된 동작의 수행 여부를 문의하는 메시지를 단말 장치(100)로 전송할 수 있다. 예를 들어, 가전기기 이벤트 프로파일에 거실전등이 배제되어 있다고 할 때, 사용자는 가전기기 이벤트 프로파일을 실행한 후 사용자의 의사에 기해 거실전등을 채팅창에 추가할 수 있다. 거설전등은 가전기기 이벤트 프로파일에서 배제되어 있기 때문에 가전기기 이벤트 프로파일에 대응되는 동작은 설정되지 않을 수 있다. 따라서, 거실전등은 메인 동작인 턴-온 동작 수행여부를 문의하는 메시지를 단말 장치(100)로 전송할 수 있다. 원격 제어 시스템(1000a)의 동작은 도 1a에서 설명한 바와 동일하므로 자세한 설명은 생략한다. 이하에서는 단말 장치(100)의 블록도를 설명한다.
도 2a는 본 발명의 일 실시 예에 따른 단말 장치의 블록도이다.
도 2a를 참조하면, 단말 장치(100)는 통신부(110), 디스플레이(120), 프로세서(130)를 포함한다. 통신부(110)는 복수의 외부 장치와 통신한다. 통신부(110)는 이벤트가 발생한 외부 장치로부터 이벤트 발생 신호를 수신할 수 있다. 그리고, 통신부(110)는 발생된 이벤트와 관련된 외부 장치로부터 발생된 이벤트에 대응되는 기 설정된 작업으 수행 여부를 문의하는 메시지를 수신할 수 있다.
통신부(110)는 이동통신 모듈(미도시)을 포함하여 이동통신을 위한 통신방식에 기초하여 기지국, 외부의 단말, 서버 등과 무선 신호를 송수신할 수 있다. 무선 신호는 음성, 화상, 문자 또는 멀티미디어 데이터 등과 같은 다양한 형태의 데이터를 포함할 수 있다. 또는, 통신부(110)는 무선 인터넷 모듈(미도시)을 포함하여 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신할 수 있다. 한편, 이동통신망을 통해 무선인터넷 접속을 수행하는 무선 인터넷 모듈은 이동통신 모듈의 일종으로 이해될 수도 있다. 또는, 통신부(110)는 근거리 통신을 위한 근거리 통신 모듈(미도시)을 포함할 수도 있다. 근거리 통신 모듈은 근거리 무선 통신망을 이용하여 무선 통신 시스템, 다른 단말 장치, 외부 장치 또는 서버 등과 통신을 수행할 수 있다.
디스플레이부(120)는 채팅 창을 생성하여 표시하고, 발생된 이벤트와 관련된 외부 장치를 채팅 창에 표시한다. 그리고, 디스플레이(120)는 외부 장치로부터 수신한 기 설정된 작업의 수행 여부를 문의하는 메시지와 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 채팅 창에 표시할 수 있다.
프로세서(130)는 통신부(110)와 디스플레이부(120)를 제어한다. 프로세서(130)는 이벤트가 발생하면 이벤트와 관련된 외부 장치와 연결하도록 통신부(110)를 제어한다. 그리고, 프로세서(130)는 채팅 창을 생성하고, 채팅 창에 이벤트와 관련된 외부 장치 및 외부 장치로부터 수신한 메시지를 표시하도록 디스플레이(120)를 제어한다. 또한, 프로세서(130)는 외부 장치에서 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 표시하도록 디스플레이(120)를 제어한다. 프로세서(130)는 사용자의 명령을 입력받으면 입력된 사용자의 명령을 채팅 창에 표시할 수 있다. 그리고, 프로세서(130)는 입력된 사용자의 명령을 관련된 외부 장치로 전송하도록 통신부(11)를 제어할 수 있다. 한편, 프로세서(130)는 외부 장치에서 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 표시한 후 일정시간 동안 사용자의 명령이 입력되지 않으면 자동으로 작업을 수행하는 명령을 외부 장치로 전송할 수 있다.
도 2b는 본 발명의 다른 실시 예에 따른 단말 장치의 블록도이다.
도 2b는 도 2a에 도시된 단말 장치의 세부 구성을 나타내는 블록도이다. 도 2b에 따르면, 단말 장치(100a)는 통신부(110), 디스플레이(120), 프로세서(130), 제1 스피커(141), 제2 스피커(142), 저장부(150), 오디오 처리부(160) 및 비디오 처리부(170) 등을 포함할 수 있다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
디스플레이(120)는 다양한 UI 화면을 디스플레이한다. UI 화면은 이미지, 동영상, 텍스트 등과 같은 다양한 형태로 구현될 수 있다. 한편, 디스플레이(120)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(120)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
프로세서(130)는 단말 장치(100a)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(150)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 오브젝트를 포함하는 화면, 예를 들어, 포인팅 오브젝트를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 오브젝트들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 오브젝트를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(120)의 사용자 인터페이스 영역 내에 표시된다.
한편, 상술한 프로세서(130)의 동작은 저장부(150)에 저장된 프로그램에 의해 이루어질 수 있다. 저장부(150)는 단말 장치(100a)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다. 특히, 저장부(150)는 본 발명의 일 실시 예에 따른 기능을 제공하기 위한 통신 모듈, 신호 처리 모듈 등의 프로그램이 저장되어 있을 수 있다. 프로세서(130)는 통신 모듈을 이용하여 외부 장치로부터 신호를 수신하고, 외부 장치로 신호를 전송할 수 있다.
한편, 단말 장치(100a)는 사용자의 명령을 입력받기 위한 입력부(미도시)를 더 포함할 수도 있다. 예를 들어, 입력부는 키패드, 키보드, 마우스, 터치 패드, 터치 스크린, 마이크, 카메라 등의 형태로 구현될 수도 있다.
그 밖에 단말 장치(100a)는 음향 데이터에 대한 수행하는 오디오 처리부(160), 비디오 데이터에 대한 처리를 수행하는 비디오 처리부(170)를 포함할 수도 있다. 예를 들어, 프로세서(130)는 수신되는 메시지 또는 표시되는 메시지를 음성으로 변환할 수 있다. 그리고, 프로세서(130)는 제1 및 제2 스피커(141, 142)를 통해 출력되는 음성 신호를 처리하도록 오디오 처리부(160)를 제어할 수 있다. 또는, 사용자는 음성으로 단말 장치(100a)에 명령을 입력할 수 있다. 오디오 처리부(160)는 입력되는 음성 신호를 처리하고, 프로세서(130)가 이진 데이터로 변환하여 입력된 명령을 인식할 수 있다. 사용자의 명령이 입력된 단
도 3은 본 발명의 일 실시 예에 따른 단말 장치의 블록도이다.
상술한 바와 같이, 원격 제어 시스템은 이벤트 발생 신호를 전송하는 외부 장치, 발생된 이벤트에 대응되는 동작을 수행하는 외부 장치 및 사용자의 명령을 입력받고 외부 장치로 전송하는 단말 장치를 포함한다. 원격 제어 시스템의 외부 장치는 단말 장치의 역할을 수행할 수 있고, 단말 장치는 외부 장치의 역할을 수행할 수 있다. 도 3에 도시된 단말 장치(200)는 외부 장치를 의미한다. 도 3을 참조하면, 단말 장치(200)는 입력부(210), 센서(220), 통신부(230) 및 프로세서(240)를 포함한다.
단말 장치(200)가 이벤트 발생 신호를 전송하는 외부 장치인 경우, 입력부(210) 및 센서(220)는 이벤트 발생 신호를 입력받을 수 있다. 단말 장치(200)는 이벤트 발생 신호를 센서(220)를 통해 직접 인식할 수 있다. 또는, 단말 장치(200)는 외부에서 센싱된 이벤트 발생 신호를 입력부(210)를 통해 입력받을 수도 있다. 상술한 바와 같이, 단말 장치(200)는 독립적인 전자 장치, 센서 장치 또는 건물의 시스템을 관리하고 제어하는 서버, 건물이나 자동차의 제어 모듈 등의 형태로 구현될 수 있다. 따라서, 단말 장치(200)는 입력부(210)를 통해 이벤트 발생 신호를 입력받거나 센서(220)를 통해 이벤트 발생 신호를 감지할 수 있다. 한편, 단말 장치(200)는 입력부(210) 또는 센서(220) 중 하나의 모듈만을 포함할 수도 있다.
한편, 단말 장치(200)가 기 설정된 작업을 수행하는 외부 장치인 경우, 센서(220)는 상태 정보를 감지할 수 있다. 단말 장치(200)는 동작의 수행 전에 현재 상태를 판단해야 하는 경우도 있다. 예를 들어, 단말 장치(200)가 보일러인 경우, 현재 온도를 감지해야 턴-온 해야 하는지 아니면 작동을 하지 않아도 되는지 판단할 수 있기 때문이다. 또한, 단말 장치(200)가 기 설정된 작업을 수행하는 외부 장치인 경우라도, 명령을 전송하는 장치로 사용될 수도 있다. 따라서, 입력부(210)는 사용자의 명령을 입력받을 수 있다.
통신부(230)는 이벤트 발생 신호를 메인 장치(예, 도 1a의 원격 제어 시스템의 단말 장치)로 전송할 수 있다. 또한, 통신부(230)는 사용자의 명령을 수신하거나 상태 정보를 전송할 수도 있다. 그리고, 프로세서(240)는 이벤트가 발생하면 이벤트 발생 신호를 메인 장치로 전송하도록 통신부(230)를 제어할 수 있다. 프로세서(240)는 이벤트가 발생하면 발생된 이벤트에 대응하는 동작을 수행할 수 있다. 또는, 프로세서(240)는 이벤트가 발생하면 발생된 이벤트에 대응하는 동작 수행 여부를 문의하는 메시지를 메인 장치로 전송할 수 있다. 그리고, 프로세서(240)는 메인 장치로부터 사용자 명령을 수신하여 동작을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 동일한 계정에 등록된 단말 장치가 표시된 화면을 설명하는 도면이다.
도 4를 참조하면, 등록된 단말 장치가 표시된 화면이 도시되어 있다. 각각의 단말 장치는 동일한 계정에 등록될 수 있다. 동일한 계정에 등록된 단말 장치는 각 단말 장치의 메신저 어플리케이션의 친구로 등록될 수 있다. 친구로 등록된 복수의 단말 장치는 리스트 타입으로 표시될 수 있다. 단말 장치는 계정에 등록될 때, 사용자의 선택에 따라 별명으로 등록될 수 있다. 단말 장치가 별명으로 등록되지 않은 경우, 고유의 식별 번호 또는 식별 명칭으로 등록될 수 있다. 일 실시 예로서, 사용자는 자동차를 등록하면서 붕붕이라는 별명으로 등록하고, TV를 등록하면서 테레비라는 별명으로 등록하고, 스마트폰을 등록하면서 갤식이라는 별명으로 등록할 수 있다. 동일한 계정에 등록된 자동차, TV, 스마트폰은 동일한 메신저 어플리케이션에서 친구로 자동으로 등록될 수 있다. 그리고, 각 장치가 친구 목록을 표시하는 경우, 등록된 별명으로 등록된 단말 장치를 표시할 수 있다.
동일한 계정에 등록된 단말 장치는 서로 간에 메신저 채팅 형식을 통해 문의 메시지를 표시하고 동작 명령을 전송할 수 있다.
도 5는 본 발명의 제1 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 5를 참조하면, 사용자의 명령에 따라 채팅 창이 생성된 단말 장치가 도시되어 있다. 단말 장치는 이벤트 발생 신호의 수신 이외에도 사용자의 명령을 입력받아 외부 장치로 명령을 전송할 수 있다.
메신저 어플리케이션이 실행되면 단말 장치는 동일한 계정에 등록된 외부 장치 리스트를 표시할 수 있다. 단말 장치는 사용자에 의해 선택된 외부 장치를 포함하는 채팅 창을 생성할 수 있다. 외부 장치는 복수 개가 선택될 수도 있다. 사용자는 채팅 창에 메시지를 입력할 수 있다. 단말 장치는 키패드, 키보드와 같은 물리적인 키 또는 디스플레이상에 표시된 소프트 키를 통해 사용자로부터 메시지를 입력받을 수 있다. 또는, 단말 장치는 디스플레이의 일정한 영역 상에서 사용자의 필기 입력을 통해 메시지를 입력받을 수 있다. 단말 장치는 입력된 메시지를 채팅 창에 표시할 수 있다. 또는, 단말 장치는 마이크를 통해 사용자의 음성을 입력받고 채팅 창에 메시지를 표시할 수 있다. 단말 장치는 입력된 메시지를 선택된 외부 장치로 전송할 수 있다.
일 실시 예로서, 단말 장치는 서버로 메시지를 전송하고, 서버는 메시지를 수신한 후 채팅 창 및 외부 장치의 정보를 판단하여 선택된 외부 장치로 메시지를 전송할 수 있다. 메시지를 수신한 외부 장치는 메시지를 분석하여 메시지의 의미를 판단할 수 있다. 다른 실시 예로서, 단말 장치는 선택된 외부 장치와 직접 연결하고, 선택된 외부 장치로 직접 메시지를 전송할 수도 있다. 메시지를 수신한 외부 장치는 메시지를 분석하여 메시지 의미를 분석하고 대응되는 응답을 하거나 동작을 수행할 수 있다.
도 5에 도시된 바와 같이, 사용자의 선택에 따라 단말 장치는 채팅 창을 생성하고, 별명이 붕붕이인 자동차를 채팅 창에 표시할 수 있다. 사용자는 자동차에게 문의하는 메시지를 입력할 수 있다. 일 실시 예로서, 자동차와 관련된 메시지는 연료에 대해 문의하는 메시지일 수 있다. 단말 장치는 입력된 메시지를 자동차에게 전송할 수 있다. 상술한 바와 같이, 메시지는 서버를 통해 자동차로 전송되거나 자동차로 직접 전송될 수 있다.
자동차는 메시지를 수신하여 분석하고 의미를 인식할 수 있다. 자동차가 메시지의 의미를 명확히 인식한 경우에는 대응되는 응답 메시지를 전송하거나 동작을 수행할 수 있다. 그러나, 메시지 의미가 불분명하거나 포괄적인 경우, 자동차는 재문의를 요청하는 메시지를 단말 장치로 전송할 수 있다. 자동차는 단말 장치로부터 수신한 메시지와 관련되고 자신이 수행할 수 있는 동작 아이템을 함께 전송할 수 있다. 즉, 자동차는 동작 아이템을 전송함으로써 빠르고 명확하게 사용자의 명령을 수행할 가능성을 높일 수 있다.
단말 장치는 자동차로부터 수신한 재문의 요청 메시지를 채팅 창에 표시할 수 있다. 단말 장치는 자동차로부터 수신한 동작 아이템이 존재하는 경우, 수신한 동작 아이템을 함께 채팅 창에 표시할 수 있다. 사용자는 복수의 동작 아이템 중 하나의 아이템을 선택할 수 있다. 단말 장치는 선택된 아이템에 대한 정보를 자동차로 전송할 수 있다.
자동차는 전송된 명령에 대응하는 동작을 수행하고 결과 메시지를 단말 장치로 전송할 수 있다. 단말 장치는 자동차로부터 수신한 결과 메시지를 표시할 수 있다. 도 5에서 설명한 바와 같이, 외부 장치는 사용자의 일방적인 명령에 의해 동작을 수행하는 것이 아니라 사용자와 인터랙션을 통해 명령을 수행할 수 있다.
한편, 하나의 외부 장치에서 이벤트를 감지하여 단말 장치로 이벤트 발생 신호를 전송하면 단말 장치는 채팅 창을 생성하고 외부 장치를 제어할 수 있다.
도 6은 본 발명의 제2 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 6(a)를 참조하면, 단말 장치가 채팅 창을 생성하여 외부 장치를 초대한 화면이 도시되어 있다. 단말 장치는 이벤트 발생 신호를 수신하면 채팅 창을 생성하고 발생된 이벤트와 관련된 외부 장치를 채팅 창에 표시할 수 있다.
일 실시 예로서, 단말 장치는 이벤트 프로파일에 기초하여 이벤트와 관련된 외부 장치를 채팅 창에 표시할 수 있다. 상술한 바와 같이, 이벤트 프로파일은 이벤트, 이벤트에 대응되는 외부 장치 및 외부 장치의 동작이 설정된 프로파일을 의미할 수 있다. 이벤트 프로파일은 동작 디스크립터라고 부를 수도 있다. 이벤트 프로파일은 단말 장치의 제작시 생성되어 단말 장치에 저장될 수 있다. 또는, 이벤트 프로파일은 서버에 저장될 수 있다. 이벤트 프로파일은 사용자에 의해 생성, 삭제, 편집될 수 있다. 이벤트 프로파일은 복수의 외부 장치를 포함할 수도 있다.
단말 장치가 이벤트 프로파일을 저장하고 있는 경우, 단말 장치는 외부 장치와 연결없이 채팅 창 생성 및 외부 장치의 표시 동작을 수행할 수 있다. 단말 장치는 최초 메시지를 입력받고 전송 명령이 입력되는 경우, 외부 장치와 연결하여 메시지를 전송할 수 있다. 또는, 단말 장치는 채팅 창을 생성하고 외부 장치를 표시할 때, 외부 장치와 연결 동작을 수행할 수도 있다.
이벤트의 종류 및 이벤트와 관련된 외부 장치의 선택은 다양하게 설정될 수 있다. 일 실시 예로서, 자동차가 외부 온도가 낮다고 판단한 경우 이벤트 발생 신호를 단말 장치로 전송할 수 있다. 외부 온도 이벤트와 관련된 외부 장치로서 집의 보일러가 설정될 수 있다. 또는, 자동차는 집으로 출발하는 이벤트 발생시 단말 장치로 이벤트 발생 신호를 전송할 수 있다. 집으로 출발하는 이벤트와 관련된 외부 장치로서 보일러가 설정될 수 있다. 그리고, 보일러는 온도 체크 동작을 수행하도록 설정될 수 있다. 사용자는 자동차를 이용하여 집으로 출발할 수 있다.
예를 들어, 자동차는 사용자의 집으로 출발하라는 음성 명령을 입력받아 목적지를 판단할 수 있다. 또는, 자동차는 네비게이션에 입력된 목적지 정보를 기초로 목적지를 판단할 수 있다. 또는, 자동차는 사용자에게 문의하고 사용자의 응답을 받아 목적지를 판단할 수도 있다. 자동차는 목적지를 판단한 후 집으로 출발하는 이벤트가 발생한 것을 판단할 수 있다. 자동차는 단말 장치로 집으로 출발하는 이벤트의 발생 신호를 전송할 수 있다.
단말 장치는 자동차로부터 이벤트 발생 신호를 수신하고 채팅 창을 생성하고, 이벤트 프로파일에 기초하여 자동차와 집의 보일러를 초대할 수 있다. 또는, 동일한 계정에 포함된 모든 단말 장치는 이벤트 프로파일을 공유할 수 있다. 따라서, 자동차는 단말 장치로 이벤트 발생 신호를 전송하여 단말 장치가 채팅 창을 생성하도록 요청한 후 보일러를 초대할 수 있다. 보일러는 기 설정된 동작을 수행할 수 있다. 보일러는 기 설정된 동작으로 현재 온도를 체크하는 동작을 수행할 수 있다. 보일러는 현재 온도가 낮다고 판단하면 온도를 올릴 것인지 여부를 문의하는 메시지를 단말 장치로 전송할 수 있다. 단말 장치는 자동차로부터 이벤트 발생 신호에 따라 채팅 창을 생성한 후 보일러를 초대할 수 있다. 보일러는 동작 수행 결과와 관련된 메시지를 전송하고, 단말 장치는 전송된 메시지를 표시할 수 있다. 보일러가 전송한 메시지가 사용자에게 문의하는 메시지인 경우, 단말 장치는 작업의 수행 여부를 선택할 수 있는 버튼을 함께 표시할 수 있다.
도 6(b)를 참조하면, 자동으로 보일러에게 턴온 명령을 전송하는 단말 장치가 도시되어 있다. 사용자는 보일러의 작업 수행 여부 문의 메시지에 대해 확인 또는 취소의 명령을 입력할 수 있다. 단말 장치는 보일러에게 사용자의 명령을 전송하고, 보일러는 사용자의 명령에 따라 턴온 동작을 수행할 수 있다.
그러나, 사용자로부터 기 설정된 시간 이상 명령이 입력되지 않으면, 단말 장치는 보일러에게 동작 수행 명령을 전송할 수 있다. 보일러는 전송된 명령에 따라 동작을 수행할 수 있다. 또는, 외부 장치는 기 설정된 시간 이상 명령을 수신하지 않으면 자동으로 동작을 수행할 수 있다. 그리고, 외부 장치는 동작 수행을 알리는 메시지를 단말 장치로 전송할 수 있다. 단말 장치는 외부 장치로부터 수신한 메시지를 표시할 수 있다.
도 6(c)를 참조하면, 새로운 외부 장치가 추가된 단말 장치가 도시되어 있다. 단말 장치 및 외부 장치는 기 설정된 이벤트 프로파일에 따라 채팅 창을 생성하고 채팅을 하며 기 설정된 동작을 수행할 수 있다. 그러나, 사용자는 이벤트 프로파일에 설정되지 않은 새로운 외부 장치에게 작동을 명령할 수 있다. 단말 장치는 현재 채팅 창이 표시된 상태에서 사용자의 명령에 따라 등록된 외부 장치 목록을 표시할 수 있다. 단말 장치는 사용자의 선택에 따라 새로운 외부 장치를 선택할 수 있다. 단말 장치는 현재 채팅 창에 새로운 외부 장치를 초대할 수 있다. 즉, 단말 장치는 사용자의 추가 명령에 따라 채팅 창에 표시되지 않은 새로운 외부 장치를 채팅 창에 추가하여 표시할 수 있다.
추가된 외부 장치는 현재 발생 이벤트를 참고하여 관련된 작업 수행 여부를 문의하는 메시지를 전송할 수 있다. 또는, 추가된 외부 장치는 이벤트와 관련없이 자신의 메인 작업의 수행 여부를 문의하는 메시지를 전송할 수 있다. 또는, 사용자는 외부 장치를 추가하면서 특정 작업에 대한 수행 명령 메시지를 추가된 외부 장치로 전송할 수 있다. 추가된 외부 장치는 문의 메시지에 대한 확인 명령 또는 사용자로부터 입력된 명령을 수신하여 작업을 수행할 수 있다.
한편, 채팅 창 및 외부장치와 송수신한 메시지는 계속 표시되거나 저장될 수 있다. 따라서, 사용자는 추후 메시지 또는 작업 내용을 확인할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 이벤트 프로파일을 설명하는 도면이다.
도 7을 참조하면, 이벤트, 외부 장치 및 작업을 포함하는 이벤트 프로파일이 도시되어 있다. 이벤트 프로파일은 단말 장치의 제조시에 생성되어 저장될 수 있다. 또는, 이벤트 프로파일은 사용자에 의해 생성되거나 편집될 수 있다.
일 실시 예로서, 목적지 집으로 선택되는 이벤트가 자동차에서 설정될 수 있다. 그리고, 목적지가 집인 이벤트와 관련된 외부 장치는 밥솥, 보일러, 거실전등, 세탁기, TV를 포함할 수 있다. 그리고, 이벤트 발생시 밥솥은 취사 기능 턴온, 보일러는 온도를 체크하고 기 설정된 온도 설정, 거실전등은 도착 1분전에 턴온, 세탁기는 세탁 기능 턴온, TV는 도착 1분전에 설정된 채널 선택의 작업을 하도록 설정될 수 있다. 이벤트 프로파일은 각 단말 장치에 저장될 수 있고, 서버에 저장될 수 있다. 그리고, 이벤트 프로파일은 사용자들끼리 공유될 수도 있다.
이벤트 프로파일이 설정된 후 목적지가 집으로 선택되는 이벤트가 자동차에서 발생되는 경우, 자동차는 이벤트 발생 신호를 단말 장치로 전송할 수 있다. 단말 장치는 수신된 이벤트 발생 신호에 따라 채팅 창을 생성하고, 발생된 이벤트와 관련된 외부 장치를 초대할 수 있다. 또는, 자동차는 이벤트 발생 신호를 단말 장치로 전송한 후 단말 장치가 채팅 창을 생성하면, 관련된 외부 장치를 초대할 수 있다. 따라서, 이벤트 프로파일에 따라 단말 장치가 능동적으로 채팅 창을 생성하고 관련된 작업을 수행할 수 있다. 한편, 이벤트 프로파일은 세부적으로 그룹핑될 수도 있다.
도 8은 본 발명의 일 실시 예에 따른 그룹핑된 이벤트 프로파일을 설명하는 도면이다.
도 8을 참조하면, 외부 장치를 세부적으로 그룹핑한 이벤트 프로파일이 도시되어 있다. 상술한 바와 같이, 이벤트가 발생한 경우, 단말 장치는 복수의 외부 장치를 채팅 창에 초대하고 작업 명령을 전송할 수 있다. 복수의 외부 장치가 채팅 창에 포함되었을 때 사용자는 일부 외부 장치에 대해서만 작업을 시킬 수 있다. 그런데, 사용자가 일부 외부 장치에 대해서만 작업을 시키는 경우, 개별적으로 명령을 전송해야 하므로 불편함이 있다. 따라서, 이벤트 프로파일에 포함된 외부 장치가 시간적 또는 공간적으로 그룹핑되는 경우 사용자는 편리하게 일부 외부 장치에 대해서만 작업을 시킬 수 있다.
도 8에 도시된 바와 같이, 밥솥, 보일러, 세탁기는 이벤트가 발생되면 바로 작업을 수행할 수 있다. 그리고, 거실전등, TV는 도착 1분전에 작업을 수행할 수 있다. 따라서, 작업 수행 시간을 기초로 제1 그룹, 제2 그룹으로 분류할 수 있다. 그리고, 제1 그룹은 밥솥, 보일러, 세탁기를 포함할 수 있고, 제2 그룹은 거실전등, TV를 포함할 수 있다. 따라서, 이벤트가 발생하면 단말 장치(또는, 자동차)는 먼저 밥솥, 보일러, 세탁기를 채팅 창에 초대하고, 사용자의 명령에 따라 작업을 수행 또는 취소할 수 있다. 그리고, 자동차가 집에 도착하기 1분 전에 단말 장치(또는, 자동차)는 거실전등, TV를 추가적으로 채팅 창에 초대하고, 사용자의 명령에 따라 작업을 수행 또는 취소할 수 있다.
일 실시 예로서, 이벤트 프로파일은 동작 시간을 기초로 분류될 수 있다. 예를 들어, 이벤트 프로파일은 이벤트 발생 즉시 작업 수행 그룹, 이벤트 발생 후 1시간 이내 작업 수행 그룹 등과 같이 분류될 수 있고, 도착 1시간 이내 작업 수행 그룹 등과 같이 분류될 수도 있다. 또는, 이벤트 프로파일은 거리를 기초로 분류될 수도 있다. 예를 들어, 이벤트 프로파일은 이벤트 발생 장치 또는 단말 장치로부터 거리가 1km 이내인 경우 작업 수행 그룹, 거리가 10km 이상 떨어진 경우 작업 수행 그룹 등과 같이 분류될 수도 있다.
도 9는 본 발명의 제3 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 9(a)를 참조하면, 복수의 외부 장치가 채팅 창에 표시된 단말 장치가 도시되어 있다. 상술한 바와 같이, 이벤트가 발생하면 이벤트 발생 장치가 단말 장치로 이벤트 발생 신호를 전송할 수 있다. 그리고, 이벤트 발생 장치는 이벤트 프로파일에 기초하여 이벤트 관련 외부 장치를 채팅 창에 초대할 수 있다. 또는, 단말 장치는 이벤트 발생 신호를 수신하면 채팅 창을 생성할 수 있다. 그리고, 단말 장치는 이벤트 프로파일에 기초하여 이벤트 관련된 외부 장치를 채팅 창에 표시할 수 있다. 또는, 단말 장치는 이벤트 프로파일에 기초하여 이벤트 관련 외부 장치와 연결하고 이벤트 관련 외부 장치를 채팅 창에 표시할 수 있다.
이벤트 관련 외부 장치는 복수 개 존재할 수 있다. 각각의 이벤트 관련 외부 장치는 기 설정된 작업의 수행 여부를 문의하는 메시지를 단말 장치로 전송할 수 있다. 단말 장치는 수신된 메시지를 표시할 수 있다. 그리고, 단말 장치는 각각의 작업의 수행 여부를 선택할 수 있는 버튼을 함께 표시할 수 있다. 한편, 도 9에는 도시되지 않았으나 단말 장치는 일괄적으로 작업 수행 또는 취소할 수 있는 버튼을 더 표시할 수도 있다.
도 9(b)를 참조하면, 하나의 외부 장치가 선택되는 채팅 창이 도시되어 있다. 사용자는 채팅 창에 표시된 외부 장치를 제거할 수 있다. 사용자는 채팅 창에 표시된 외부 장치의 명치 부분을 선택할 수 있다.
도 9(c)를 참조하면, 선택된 외부 장치가 제거된 채팅 창이 도시되어 있다. 단말 장치는 외부 장치의 명칭 부분이 선택되면 선택된 외부 장치를 채팅 창에서 제거할 수 있다. 또는, 단말 장치는 선택된 외부 장치를 제거하기 전에 제거 여부를 확인하는 알림 창을 더 표시할 수 있다.
단말 장치는 일괄적인 작업 수행 명령을 입력받거나 개별적인 작업 수행 명령을 입력받으면, 각각의 외부 장치에 입력된 명령을 전송할 수 있다. 따라서, 단말 장치는 복수의 외부 장치를 일괄적으로 또는 개별적으로 제어할 수 있다.
도 10은 본 발명의 제4 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 10을 참조하면, ABC자동차 정비소와 메시지를 송수신하는 채팅 창이 도시되어 있다. 상술한 바와 같이, 단말 장치(또는, 외부 장치)는 독립적인 전자 장치에 국한되지 않는다. 단말 장치(또는, 외부 장치)는 자동차, 건물 등을 관리하고 제어하는 서버 또는 제어 모듈 등을 포함할 수 있다. 따라서, 자동차 정비소와 같은 건물(또는, 회사, 시장)도 네트워크에 연결 가능하고, 건물을 관리 또는 제어하거나 데이터를 관리할 수 있다면 단말 장치(또는, 외부 장치)일 수 있다.
도 10에 도시된 바와 같이, 자동차는 정비 시점 또는 이상 증상이 감지되는 경우, 단말 장치에 이벤트 발생 신호를 전송할 수 있다. 그리고, 자동차는 발생된 이벤트와 관련된 자동차정비소를 채팅 창에 초대할 수 있다. 또는, 이벤트 발생 신호를 수신한 단말 장치는 채팅 창을 생성하여 자동차와 자동차정비소를 초대할 수 있다. 자동차는 문의하고자 하는 메시지를 단말 장치로 전송할 수 있다. 단말 장치는 전송된 메시지를 표시할 수 있다. 자동차정비소는 작업을 위한 요청 메시지를 단말 장치로 전송할 수 있다. 사용자는 자동차정비소의 요청에 대해 확인 또는 취소를 선택할 수 있다. 사용자가 확인 버튼을 선택하면, 단말 장치는 자동차로부터 상태 정보를 수신하여 자동차정비소로 수신된 상태 정보를 전송할 수 있다. 자동차정비소는 상태 정보를 체크한 결과 메시지를 단말 장치로 전송할 수 있다.
한편, 자동차와 자동차정비소는 직접 메시지를 송수신할 수 있다. 그러나, 사용자가 메시지를 확인할 필요가 있다. 따라서, 단말 장치는 사용자가 메시지를 확인할 수 있도록 메시지 표시만 할 수도 있다. 예를 들어, 이벤트가 발생된 자동차가 채팅 창을 생성하고 단말 장치와 자동차정비소를 초대할 수 있다. 단말 장치, 자동차, 자동차정비소 모두는 채팅 창을 표시할 수 있다. 실제 채팅 창과 관련된 메시지의 처리는 서버가 수행할 수 있다. 따라서, 자동차와 자동차정비소는 직접 메시지를 송수신하는 것처럼 보일 수 있고, 단말 장치는 자동차와 자동차정비소의 메시지를 표시할 수 있다. 그러나, 단말 장치도 자신의 메시지를 채팅 창에 표시하고 서버로 전송할 수 있으며, 서버는 단말 장치의 메시지를 자동차와 자동차정비소의 채팅 창에 표시해 줄 수도 있다. 한편, 상술한 방식은 다른 실시 예에서도 동일하게 적용될 수 있다.
도 11은 본 발명의 제5 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 11을 참조하면 집으로 출발 이벤트에 대응하는 단말 장치 제어 과정이 도시되어 있다. 원격 제어 시스템은 자동차(100-1), 홈 서버(200-1), TV(200-2)를 포함할 수 있다. 자동차는 사용자로부터 집으로 출발 명령을 입력받을 수 있다(S1110). 자동차(100-1)는 네비게이션에 설정된 목적지 정보를 기초로 목적지를 판단할 수 있다. 또는, 자율 주행 자동차인 경우, 자동차(100-1)는 사용자에게 목적지를 문의하고 사용자로부터 입력된 목적지 정보를 기초로 목적지를 판단할 수 있다. 집으로 출발하는 이벤트에 대한 이벤트 프로파일은 홈 서버(200-1) 및 TV(200-2)를 포함할 수 있다. 자동차(100-1)는 집으로 출발하는 이벤트에 따라 대응되는 동작을 수행할 수 있다. 예를 들어, 자율 주행 자동차인 경우, 자동차(100-1)는 시동을 켜고, 네비게이션의 목적지를 집으로 설정하고 차량 내 히터의 온도를 설정하여 적정 온도를 유지할 수 있다(S1120). 자동차(100-1)는 채팅 창을 생성하고, 홈 서버(200-1) 및 TV(200-2)를 초대할 수 있다. 별도의 단말 장치가 없는 경우, 자동차(100-1)가 원격 제어 시스템의 단말 장치의 기능을 수행할 수 있다. 채팅 창 생성 및 외부 장치의 초대는 다양한 방법으로 수행될 수 있다. 자동차(100-1)가 별도의 단말 장치로 이벤트 발생 신호를 전송하면, 별도의 단말 장치는 채팅 창을 생성하고, 자동차(100-1) 및 이벤트 관련 외부 장치를 초대하여 메시지 및 명령을 송수신할 수 있다. 또는, 자동차(100-1)가 채팅 창을 생성하고 별도의 단말 장치 및 이벤트 관련 외부 장치를 초대할 수 있다. 또는, 자동차(100-1)가 채팅 창을 생성하고 이벤트 관련 외부 장치만을 초대할 수도 있다. 또한, 각 장치는 채팅 창을 생성하거나 채팅 창에 초대될 때 메신저 어플리케이션을 실행하여 채팅 창을 표시할 수 있다.
자동차(100-1)는 홈 서버(200-1)와 연결하고(S1130-1), TV와 연결할 수 있다(S1130-2). 즉, 자동차(100-1)는 채팅 창을 생성하고, 홈 서버(200-1) 및 TV(200-2)를 채팅 창으로 초대할 수 있다. 홈 서버(200-1)은 집으로 출발 이벤트와 관련하여 기 설정된 작업의 수행 여부를 문의하고 작업 수행 명령을 수신하면 작업을 수행할 수 있다. 예를 들어, 홈 서버(200-1)는 실내 온도를 적정 온도로 유지하기 위해 히터(또는 보일러)를 턴온할 수 있고, 거실전등을 턴온할 수 있으며, 세탁기를 가동하고 밥솥에게 취사를 시킬 수 있다(S1140). 또한, TV도 사용자의 명령에 따라 기 설정된 작업을 수행할 수 있다. 즉, TV는 주요 뉴스를 검색하고, 뉴스 브리핑 준비를 하며, 영화를 다운로드받고, CCTV와 연결할 수 있다(S1150).
도 12는 본 발명의 제5 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 12를 참조하면, 집으로 출발하는 이벤트에 따라 생성된 채팅 창이 도시되어 있다. 도 12에서 설명된 원격 제어 시스템은 단말 장치를 더 포함할 수 있다. 즉, 단말 장치는 자동차로부터 이벤트 발생 신호를 수신하면 채팅 창을 생성하고, 자동차 및 관련된 외부 장치를 초대하여 채팅 창에 표시할 수 있다. 또는, 자동차가 채팅 창을 생성하고, 단말 장치 및 관련된 외부 장치를 초대할 수도 있다. 외부 장치는 이벤트와 관련된 기 설정된 작업의 수행 여부를 문의하는 메시지를 단말 장치로 전송할 수 있다. 또는, 서버에 생성된 채팅 창으로 기 설정된 작업의 수행 여부를 문의하는 메시지를 전송할 수 있다. 단말 장치는 외부 장치로부터 직접 또는 간접적으로 수신된 메시지를 채팅 창에 표시할 수 있다. 단말 장치는 기 설정된 작업의 수행 여부를 확인하는 선택 버튼을 함께 표시할 수 있다. 사용자의 선택에 따라 단말 장치는 작업 수행 명령을 각각의 외부 장치로 전송하고, 외부 장치는 기 설정된 작업을 수행할 수 있다.
도 13은 본 발명의 제6 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 13을 참조하면, 초인종이 울리는 이벤트에 대응하는 단말 장치 제어 과정이 도시되어 있다. 원격 제어 시스템은 단말 장치(100-2) 및 홈 서버(200-3)를 포함할 수 있다. 집의 초인종이 울리는 이벤트가 발생될 수 있다(S1310). 홈 서버(200-3)는 초인종이 울리면 이벤트의 발생을 감지할 수 있다. 초인종이 울리는 이벤트가 발생되면, 홈 서버(200-3)는 기 설정된 작업을 수행할 수 있다. 예를 들어, 홈 서버(200-3)는 CCTV의 목표를 추적하고, 현관의 전등을 켤 수 있다(S1320). 일반적으로 이벤트가 발생된 경우, 외부 장치는 사용자에게 기 설정된 작업의 수행 여부를 문의하고, 사용자가 확인하면 기 설정된 작업을 수행할 수 있다. 그러나, 초인종을 울리는 이벤트와 같이 예외적인 경우, 외부 장치는 사용자의 확인없이 기 설정된 작업을 수행할 수도 있다.
홈 서버(200-3)는 단말 장치(100-2)와 연결한다(S1330). 예를 들어, 홈 서버200-3)는 이벤트 발생 신호를 단말 장치(100-2)로 전송할 수 있다. 단말 장치(100-2)는 수신된 이벤트 발생 신호에 대응하여 채팅 창을 생성하고, 발생된 이벤트와 관련된 외부 장치를 초대하여 채팅 창에 표시할 수 있다. 또는, 홈 서버(200-3)는 채팅 창을 생성하고, 단말 장치(100-2)를 초대할 수 있다. 단말 장치(100-2)는 채팅 창에 초대되면, 메신저 어플리케이션을 실행하여 초대된 채팅 창을 표시할 수 있다.
단말 장치(100-2)는 발생된 이벤트에 대응하여 방문 예약 스케쥴을 확인할 수 있다(S1340). 방문 예약 스케쥴이 확인되면, 단말 장치(100-2)는 방문 예정자 정보를 전송할 수 있다(S1350). 홈 서버(200-3)는 단말 장치(100-2)로부터 수신한 방문 예정자 정보를 기초로 방문자 정보가 일치하는지 확인할 수 있다. 그리고, 방문자의 정보가 방문 예정자 정보와 일치하면, 홈 서버(200-3)는 현관문을 열 수 있다(S1360). 그리고, 홈 서버(200-3)는 방문 확인 정보를 단말 장치(100-2)로 전송할 수 있다(S1370). 단말 장치(100-2)는 수신된 방문 기록을 저장하고 사용자에게 알릴 수 있다(S1380). 즉, 단말 장치(100-2)와 홈 서버(200-3)는 사용자의 관여없이 예정된 방문 정보를 송수신하여 현관문을 오픈하고, 방문 기록까지 남길 수 있다. 또한, 단말 장치(100-2) 및 홈 서버(200-3)는 메신저 어플리케이션을 이용하여 채팅 창에 메시지로 작업 수행 과정을 표시함으로써 나중에 사용자가 편리하게 확인할 수도 있다.
도 14는 본 발명의 제6 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 14를 참조하면, 초인종이 울리는 이벤트에 따라 생성된 채팅 창이 도시되어 있다. 초인종이 울리는 이벤트가 발생되면, 홈 서버는 단말 장치와 연결할 수 있다. 홈 서버는 메신저 어플리케이션을 실행하여 채팅 창을 생성하고, 단말 장치를 초대할 수 있다. 홈 서버는 채팅 창 및 초대된 단말 장치를 채팅 창에 표시할 수 있다. 또는, 초인종이 울리는 이벤트가 발생되면, 홈 서버는 단말 장치로 이벤트 발생 신호를 전송할 수 있다. 단말 장치는 이벤트 발생 신호를 수신하면, 채팅 창을 생성하고 이벤트와 관련된 외부 장치를 초대할 수 있다. 단말 장치는 초대된 외부 장치를 채팅 창에 표시할 수 있다.
홈 서버는 기 설정된 작업을 수행하고 수행된 작업 내용을 메시지로 전송할 수 있다. 전송된 메시지는 채팅 창에 표시될 수 있다. 또한, 단말 장치는 발생된 이벤트와 관련된 정보를 메시지로 전송할 수 있다. 전송된 메시지는 채팅 창에 표시될 수 있다. 홈 서버는 단말 장치로부터 수신된 정보와 방문자의 정보가 일치하면 현관문을 열 수 있다. 그리고, 홈 서버는 정보의 일치 여부 및 현관문을 열었다는 정보를 전송할 수 있다. 단말 장치는 홈 서버가 전송한 정보를 저장할 수 있다.
도 15는 본 발명의 제7 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 15를 참조하면, 미팅 예약 이벤트에 대응하는 단말 장치 제어 과정이 도시되어 있다. 사용자는 단말 장치(100-3)에 미팅 예약 명령을 입력할 수 있다(S1505). 일 실시 예로서, 사용자는 다른 지역에 위치한 Mr. 홍과 미팅 예약 명령을 입력할 수 있다. 사용자의 단말 장치(100-3)는 Mr. 홍의 휴대 장치(200-4)와 연결할 수 있다(S1510). 사용자의 단말 장치(100-3)는 채팅 창을 생성하고, Mr. 홍의 휴대 장치(200-4)를 초대할 수 있다. 그리고, 사용자의 단말 장치(100-3)는 Mr. 홍의 휴대 장치(200-4)를 채팅 창에 표시할 수 있다. Mr. 홍의 휴대 장치(200-4)는 Mr. 홍의 스케쥴을 확인할 수 있다(S1515). Mr. 홍의 휴대 장치(200-4)는 저장된 스케쥴을 확인할 수 있다. 또한, Mr. 홍의 휴대 장치(200-4)는 동일한 계정에 등록된 Mr. 홍의 컴퓨터, 노트북 등의 다른 장치에 저장된 스케쥴도 함께 확인할 수 있다. Mr. 홍의 휴대 장치(200-4)는 미팅이 가능한 시간 정보를 메시지로 전송할 수 있다(S1520). 상술한 바와 같이, 사용자의 단말 장치(100-3)와 Mr. 홍의 휴대 장치(200-4)는 직접적으로 연결될 수 있다. 따라서, Mr. 홍의 휴대 장치(200-4)가 전송한 메시지는 사용자의 단말 장치(100-3)로 전송되고, 채팅 창에 표시될 수 있다. 또한, 사용자의 단말 장치(100-3)와 Mr. 홍의 휴대 장치(200-4)는 간접적으로 연결될 수 있다. 따라서, Mr. 홍의 휴대 장치(200-4)가 전송한 메시지는 서버로 전송될 수 있다. 그리고, 서버는 채팅 창에 표시하고, 사용자의 단말 장치(100-3)로 전송할 수 있다. 사용자의 단말 장치(100-3)는 전송받은 스케쥴을 확인할 수 있다(S1525). 그리고, 사용자의 단말 장치(100-3)는 확인 신호를 Mr. 홍의 휴대 장치(200-4)로 전송할 수 있다.
한편, 사용자의 단말 장치(100-3)는 다른 지역에 위치한 Mr. 홍과 미팅을 위해 교통편의 예약을 수행할 수 있다. 사용자의 단말 장치(100-3)는 기차표 예약 서버(200-5)에 접속할 수 있다(S1530). 즉, 사용자의 단말 장치(100-3)는 새로운 채팅 창을 생성하여 기차표 예약 서버(200-5)를 초대할 수 있다. 사용자의 단말 장치(100-3)는 기차표 예약 서버(200-5)를 채팅 창에 표시하고 기차 스케쥴 문의 메시지를 전송할 수 있다. 기차표 예약 서버(200-5)는 사용자의 단말 장치(100-3)가 요청한 기차 스케쥴을 확인하고 기차표를 예매할 수 있다(S1535). 기차표 예약 서버(200-5)는 예매 정보를 사용자의 단말 장치(100-3)로 전송할 수 있다(S1540). 예매 정보는 사용자의 단말 장치(100-3)의 채팅 창에 표시될 수 있다.
또한, Mr. 홍의 휴대 장치(200-4)는 미팅 장소의 예약을 위해 회의실 관리 서버(200-6)에 접속할 수 있다(S1545). 즉, Mr. 홍의 휴대 장치(200-4)는 새로운 채팅 창을 생성하여 회의실 예약 서버(200-6)를 채팅 창에 표시하고 미팅 예정 시간의 가능한 회의실 검색 메시지를 전송할 수 있다. 회의실 관리 서버(200-6)는 Mr. 홍의 휴대 장치(200-4)가 요청한 가능한 회의실을 검색하고 회의실을 예약할 수 있다(S1550). 회의실 관리 서버(200-6)는 예약 회의실 정보를 Mr. 홍의 휴대 장치(200-4)로 전송할 수 있다(S1555). Mr. 홍의 휴대 장치(200-4)는 예약 회의실 정보를 사용자의 휴대 장치(100-3)로 전송할 수 있다. 예약 회의실 정보는 사용자의 단말 장치(100-3)의 채팅 창에 표시될 수 있다. 즉, 사용자는 미팅 예약 명령만을 입력한 경우에도 사용자의 단말 장치(100-3)는 외부 장치들(200-4, 200-5)들과 인터랙션을 통해 사용자의 명령을 수행할 수 있고, 외부 장치(200-5)는 필요한 경우 또 다른 외부 장치(200-6)과 인터랙션을 통해 사용자의 명령을 수행할 수 있다.
도 16은 본 발명의 제7 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 16을 참조하면, 미팅 예약 이벤트에 따라 생성된 채팅 창이 도시되어 있다. 사용자의 명령에 따라 미팅 예약 이벤트가 발생되면, 사용자의 단말 장치는 Mr. 홍의 휴대 장치와 연결할 수 있다. 사용자의 단말 장치는 메신저 어플리케이션을 실행하여 채팅 창을 생성하고 Mr. 홍의 휴대 장치를 초대할 수 있다. 사용자의 단말 장치는 채팅 창을 표시하고, Mr. 홍의 휴대 장치를 채팅 창에 표시할 수 있다.
Mr. 홍의 휴대 장치는 사용자의 단말 장치와 인터랙션할 수 있다. 사용자의 단말 장치는 Mr. 홍의 휴대 장치로 미팅 요청 메시지를 전송할 수 있다. Mr. 홍의 휴대 장치는 저장된 스케쥴을 검색할 수 있다. 그리고, Mr. 홍의 휴대 장치는 Mr. 홍의 계정에 등록된 타 단말 장치에 저장된 스케쥴도 검색할 수 있다. Mr. 홍의 휴대 장치는 가능한 시간 정보를 사용자의 단말 장치로 전송할 수 있다. 사용자의 단말 장치는 저장된 스케쥴을 검색, 사용자의 계정에 등록된 타 단말 장치에 저장된 스케쥴 검색 또는 사용자의 승인 명령의 입력에 따라 확인 정보를 Mr. 홍의 휴대 장치로 전송할 수 있다. Mr. 홍의 휴대 장치는 미팅 예정 시간대의 회의실을 예약하고 예약된 회의실 정보를 사용자의 단말 장치로 전송할 수 있다.
지금까지 다양한 실시 예를 설명하였다. 아래에서는 단말 장치 제어 방법의 흐름도를 설명한다.
도 17은 본 발명의 일 실시 예에 따른 단말 장치 제어 방법의 흐름도이다.
단말 장치는 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신한다(S1710). 단말 장치는 채팅 창을 생성한다(S1720). 단말 장치는 생성된 채팅 창을 표시하고, 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치를 채팅 창에 표시한다(S1730). 단말 장치는 이벤트 프로파일에 기초하여 이벤트와 관련된 제2 외부 장치를 판단할 수 있다. 이벤트 프로파일은 이벤트에 대응되는 제2 외부 장치 및 제2 외부 장치의 기 설정된 작업 정보를 포함할 수 있다. 이벤트 프로파일은 동작 디스크립터라고 부를 수도 있다.
이벤트 프로파일이 단말 장치에 저장된 경우, 단말 장치는 제2 외부 장치와 연결 전에 채팅 창을 표시하고, 제2 외부 장치를 채팅 창에 표시할 수 있다. 단말 장치는 채팅 창에 제2 외부 장치를 표시할 때, 제2 외부 장치와 연결할 수 있다. 또는, 이벤트 프로파일이 서버에 저장된 경우, 단말 장치는 서버에 접속하여 이벤트 프로파일을 수신한 후 채팅 창을 생성하고 제2 외부 장치를 채팅 창에 표시할 수 있다. 또는, 단말 장치는 제2 외부 장치와 연결하고 채팅 창을 생성하여 제2 외부 장치를 채팅 창에 표시할 수도 있다.
또는, 제1 외부 장치에서 기 설정된 이벤트가 발생되면, 이벤트 프로파일에 기초하여 제1 외부 장치는 채팅 창을 생성하고 단말 장치 및 이벤트와 관련된 제2 외부 장치를 초대할 수 있다. 단말 장치 및 외부 장치는 채팅 창을 표시하고 모든 관련된 장치를 채팅 창에 표시할 수 있다.
단말 장치는 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 채팅 창에 표시한다(S1740). 이벤트와 관련된 제2 외부 장치는 단말 장치로 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 전송할 수 있다. 또는, 채팅 창은 서버에 생성되어 서버가 채팅 창을 관리할 수 있다. 이벤트와 관련된 제2 외부 장치는 기 설정된 작업의 수행 여부를 문의하는 메시지를 서버로 전송할 수 있다. 서버는 전송된 메시지를 채팅 창에 표시하고 모든 장치로 전송할 수 있다. 단말 장치는 사용자의 명령에 따라 기 설정된 작업의 수행 명령을 전송할 수 있다. 한편, 단말 장치는 기 설정된 시간 이내에 기 설정된 작업의 수행 여부가 선택되지 않으면, 기 설정된 작업을 수행하는 명령을 제2 외부 장치로 자동으로 전송할 수 있다. 또는, 제2 외부 장치는 기 설정된 시간 이내에 기 설정된 작업의 수행 여부를 결정하는 명령을 수신하지 않으면, 기 설정된 작업을 수행할 수 있다.
도 18은 본 발명의 일 실시 예에 따른 단말 장치를 등록하는 과정을 설명하는 흐름도이다.
도 18을 참조하면, 단말 장치(또는 디바이스)는 사용자 계정을 확인할 수 있다(S1810). 사용자는 복수의 계정을 소유하고 있을 수 있다. 사용자 계정은 서버에 등록되어 있을 수 있고, 단말 장치는 등록될 사용자 계정을 확인할 수 있다. 단말 장치는 서버로 디바이스 ID를 전송할 수 있다(S1820). 디바이스 ID는 단말 장치의 고유 식별 정보이다. 단말 장치는 디바이스 ID를 이용하여 다른 단말 장치와 구별될 수 있다. 서버는 디바이스 ID를 이용하여 등록을 요청한 단말 장치가 기 등록 단말 장치인지 확인할 수 있다(S1830).
기 등록 단말 장치가 아닌 경우, 서버는 단말 장치를 등록할 수 있다. 사용자는 단말 장치의 별명을 입력할 수 있다. 즉, 서버는 단말 장치의 별명을 입력받을 수 있다(S1840). 서버는 단말 장치를 등록할 수 있다(S1850). 서버는 입력된 별명, 디바이스 ID 및 단말 장치의 다양한 정보를 매핑하여 단말 장치를 등록할 수 있다. 만일, 사용자가 별명을 입력하지 않으면 서버는 기 설정된 명칭으로 단말 장치를 등록할 수 있다. 단말 장치 또는 서버는 등록된 단말 장치와 관련된 이벤트 프로파일(동작 디스크립터)를 적용할 수 있다(S1860). 상술한 바와 같이, 이벤트 프로파일은 사용자에 의해 생성 또는 수정될 수 있다. 또한, 각 단말 장치는 기본적인 이벤트 프로파일을 저장할 수도 있다. 예를 들어, TV는 이벤트와 상관없이 턴온하는 동작을 수행하는 이벤트 프로파일을 저장할 수 있다.
한편, 등록하려는 단말 장치가 기 등록 단말 장치인 경우, 서버는 등록 정보가 갱신되었는지 여부를 확인할 수 있다(S1870). 일 실시 예로서, 제조사는 단말 장치를 출시한 후에 펌웨어 등을 업데이트할 수 있다. 이 경우, 디바이스 ID와 같은 고유 정보는 변경되지 않을 수 있지만, 다른 정보는 변경될 수도 있다. 등록 정보가 갱신되지 않았으면, 서버는 등록 절차를 종료할 수 있다. 등록 정보가 갱신되었으면, 서버는 단말 장치의 등록 정보를 갱신할 수 있다(S1880). 상술한 과정을 통해 새로운 단말 장치가 사용자 계정에 등록되고, 단말 장치의 등록 정보가 갱신될 수 있다.
도 19는 본 발명의 일 실시 예에 따른 채팅 방을 생성하는 과정을 설명하는 흐름도이다.
도 19를 참조하면, 먼저 이벤트가 발생한다(S1910). 이벤트는 다양하게 설정될 수 있다. 예를 들어, 자동차가 집으로 출발하는 이벤트, 초인종이 울리는 이벤트, 자동차의 이상 증상이 감지되는 이벤트 또는 기온이 기 설정된 온도 이하로 떨어지는 이벤트 등이 포함될 수 있다. 단말 장치는 자신이 수행할 동작을 확인할 수 있다(S1920). 수행 동작은 기 설정된 이벤트 프로파일을 기초로 판단될 수 있다. 수행 동작을 확인하는 구체적인 절차는 후술한다. 단말 장치가 수행할 동작이 존재하지 않으면 절차를 종료할 수 있다.
만일, 단말 장치가 수행할 동작이 존재하면, 다른 단말 장치를 검색할 필요가 있는지 판단할 수 있다(S1940). 다른 단말 장치를 검색할 필요가 없으면, 단말 장치는 채팅 창을 생성하고 사용자에게 메시지를 표시할 수 있다(S1950). 즉, 단말 장치는 사용자와 채팅을 시작할 수 있다. 만일, 다른 단말 장치를 검색할 필요가 있으면, 단말 장치는 동일 계정에 포함된 친구 목록에서 발생된 이벤트와 관련된 단말 장치를 검색할 수 있다(S1960). 단말 장치는 채팅 창을 생성하고, 검색된 단말 장치를 채팅 창에 포함시켜 그룹 채팅을 시작할 수 있다(S1970).
상술한 바와 같이, 원격 제어 시스템은 단말 장치(메인 장치), 이벤트가 발생된 외부 장치, 명령을 수행하는 외부 장치를 포함할 수 있다. 그리고, 발생된 이벤트에 따라, 단말 장치(메인 장치)가 외부 장치의 역할을 수행할 수 있고, 외부 장치가 단말 장치(메인 장치)의 역할을 수행할 수도 있다. 도 19에서 설명한 채팅 창을 생성하는 과정은 단말 장치(메인 장치) 또는 외부 장치에서 수행되는 과정일 수 있다. 즉, 이벤트에 따라 채팅 창을 생성하여 명령을 수행하는 과정은 다소 차이가 있을 수 있고, 실시 예에 따라 채팅 창을 생성하여 명령을 수행하는 과정은 다소 차이가 있을 수 있다.
도 20은 본 발명의 일 실시 예에 따른 제어 작업이 진행되는 과정을 설명하는 도면이다.
도 20을 참조하면, 단말 장치가 수행 동작을 확인하는 구체적인 과정이 도시되어 있다. 일 실시 예로서, 단말 장치는 서버와 연결되어 있는지 확인할 수 있다(S2005). 예를 들어, 서버는 서비스 클라우드일 수 있다. 단말 장치가 서버와 연결되어 있으면, 단말 장치는 이벤트 프로파일을 페치할 수 있다(S2010). 이벤트 프로파일은 동작 디스크립터라고 칭할 수도 있다. 단말 장치는 페치된 이벤트 프로파일을 기초로 다른 단말 장치(디바이스)를 검색할 필요가 있는지 판단할 수 있다(S2015). 단말 장치가 다른 단말 장치를 검색할 필요가 없으면 채팅 창을 생성할 수 있다(S2020). 단말 장치가 사용자의 메인 장치(예, 개인 휴대 장치)가 아닌 경우, 단말 장치는 사용자의 메인 장치를 채팅 창에 포함시킬 수 있다. 사용자의 메인 장치는 이벤트와 관련되지 않아도 항상 채팅 창에 포함될 수 있다. 단말 장치는 채팅 창을 생성하여 수행할 동작과 관련된 메시지를 표시할 수 있다(S2025). 또는, 단말 장치는 메시지를 전송할 수 있다. 예를 들어, 수행할 동작과 관련된 메시지는 기 설정된 동작을 수행할지 여부를 문의하는 메시지를 포함할 수 있다.
단말 장치는 기 설정된 시간 안에 사용자가 확인 또는 취소를 명령하는지 판단할 수 있다(S2030). 실시 예에 따라 단말 장치는 사용자의 명령을 직접 입력받거나 타 단말 장치로부터 사용자의 명령을 수신할 수 있다. 만일, 기 설정된 시간 안에 사용자가 취소를 명령하면, 단말 장치는 동작을 수행하지 않을 수 있다. 만일, 기 설정된 시간 안에 사용자가 취소를 명령하지 않으면, 단말 장치는 동작을 수행할 수 있다(S2035). 즉, 사용자가 기 설정된 시간 안에 확인을 선택하면, 단말 장치는 기 설정된 동작을 수행할 수 있다. 또는, 사용자가 기 설정된 시간 안에 어떤 명령도 하지 않으면, 단말 장치는 기 설정된 동작을 수행할 수 있다.
한편, 단말 장치는 서버와 연결되지 않을 수 있다. 단말 장치는 저장된 이벤트 프로파일이 있는지 판단할 수 있다(S2040). 만일, 단말 장치가 이벤트 프로파일이 저장되지 않았다고 판단하는 경우, 발생된 이벤트를 이벤트 히스토리에 기록할 수 있다(S2045). 이벤트 히스토리는 발생된 이벤트의 이력을 포함하기 때문에 사용자가 이벤트 프로파일을 생성, 수정할 때 이벤트 히스토리를 참고할 수 있다. 만일, 단말 장치가 이벤트 프로파일이 저장되어 있다고 판단하는 경우, 저장된 이벤트 프로파일에 따라 다른 단말 장치의 검색이 필요한지 판단할 수 있다(S2015).
단말 장치가 다른 단말 장치를 검색할 필요가 없으면 채팅 창을 생성할 수 있다(S2020). 단말 장치가 다른 단말 장치를 검색할 필요가 있으면 친구 목록에서 발생된 이벤트와 관련된 단말 장치를 검색할 수 있다(S2050). 단말 장치는 검색된 단말 장치를 포함하는 채팅 창을 생성할 수 있다(S2055). 단말 장치가 사용자의 메인 장치(예, 개인 휴대 장치)가 아닌 경우, 단말 장치는 사용자의 메인 장치도 채팅 창에 포함시킬 수 있다. 사용자의 메인 장치는 이벤트와 관련되지 않아도 항상 채팅 창에 포함될 수 있다. 채팅 창에 포함된 단말 장치는 추가 또는 제거될 수 있다. 단말 장치의 추가 또는 제거하는 절차는 후술한다. 단말 장치는 채팅 창을 생성하여 수행할 동작과 관련된 메시지를 표시할 수 있다(S2025). 또는, 단말 장치는 메시지를 전송할 수 있다.
단말 장치는 기 설정된 시간 안에 사용자가 확인 또는 취소를 명령하는지 판단할 수 있다(S2030). 실시 예에 따라 단말 장치는 사용자의 명령을 직접 입력받거나 타 단말 장치로부터 사용자의 명령을 수신할 수 있다. 만일, 기 설정된 시간 안에 사용자가 취소를 명령하면, 단말 장치는 동작을 수행하지 않을 수 있다. 만일, 기 설정된 시간 안에 사용자가 취소를 명령하지 않으면, 단말 장치는 동작을 수행할 수 있다(S2035). 즉, 사용자가 기 설정된 시간 안에 확인을 선택하면, 단말 장치는 기 설정된 동작을 수행할 수 있다. 또는, 사용자가 기 설정된 시간 안에 어떤 명령도 하지 않으면, 단말 장치는 기 설정된 동작을 수행할 수 있다.
도 21은 본 발명의 일 실시 예에 따른 등록된 단말 장치를 수정하는 과정을 설명하는 도면이다.
도 21을 참조하면, 단말 장치는 검색된 단말 장치를 포함하는 채팅 창을 생성할 수 있다(S2110). 단말 장치가 사용자의 메인 장치(예, 개인 휴대 장치)가 아닌 경우, 단말 장치는 사용자의 메인 장치도 채팅 창에 포함시킬 수 있다. 사용자의 메인 장치는 이벤트와 관련되지 않아도 항상 채팅 창에 포함될 수 있다. 단말 장치는 채팅 창을 생성하여 수행할 동작과 관련된 메시지를 표시할 수 있다(S2120). 또는, 단말 장치는 메시지를 전송할 수 있다. 예를 들어, 수행할 동작과 관련된 메시지는 기 설정된 동작을 수행할지 여부를 문의하는 메시지를 포함할 수 있다.
사용자는 채팅 창에 포함된 디바이스를 삭제할 수 있다. 또는, 사용자는 채팅 창에 포함되지 않은 디바이스를 추가할 수 있다. 단말 장치는 채팅 창에 포함된 디바이스가 삭제되거나 새로운 디비이스가 추가되었는지 판단할 수 있다(S2130). 만일, 채팅 창 내의 디바이스의 변경이 있으면, 단말 장치는 이벤트 프로파일(동작 디스크립터)을 수정할 수 있다(S2140). 단말 장치는 수정된 이벤트 프로파일을 저장할 수 있다. 수정된 이벤트 프로파일이 단말 장치에 저장되는 경우, 채팅 창에 포함된 디바이스도 수정된 이벤트 프로파일을 저장할 수 있다. 수정된 이벤트 프로파일이 서버에 저장되는 경우, 단말 장치는 수정된 이벤트 프로파일을 서버로 전송하고, 서버는 전송된 이벤트 프로파일을 저장할 수 있다. 만일, 채팅 창 내의 디바이스의 변경이 없으면, 단말 장치는 기 설정된 동작을 수행할 수 있다(S2150).
상술한 다양한 실시 예에 따른 단말 장치의 제어 방법은 프로그램으로 구현되어 프로세서에 제공될 수 있다.
일 예로, 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하는 단계, 채팅 창을 생성하는 단계, 생성된 채팅 창을 표시하고, 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치를 채팅 창에 표시하는 단계, 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 채팅 창에 표시하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 복수의 외부 장치와 통신하는 통신부;
    복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하면, 채팅 창을 생성하여 표시하는 디스플레이; 및
    상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하도록 상기 통신부를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하고, 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 상기 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 상기 채팅 창에 표시하도록 상기 디스플레이를 제어하는, 단말 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 제2 외부 장치로부터 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 단말 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 단말 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 채팅 창에 표시된 상기 적어도 하나의 제2 외부 장치 중 하나의 장치가 선택되고 제거되는 명령을 입력받으면, 상기 선택된 하나의 장치를 상기 채팅 창에서 제거하는 것을 특징으로 하는 단말 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    추가 명령에 따라 상기 채팅 창에 표시되지 않은 제3 외부 장치를 상기 채팅 창에 추가하여 표시하는 것을 특징으로 하는 단말 장치.
  6. 제5항에 있어서,
    상기 디스플레이는,
    상기 발생된 기 설정된 이벤트와 관련된 작업 또는 상기 제3 외부 장치의 기 설정된 메인 작업 중 적어도 하나의 작업의 수행 여부를 문의하는 메시지를 상기 채팅 창에 표시하는 것을 특징으로 하는 단말 장치.
  7. 제1항에 있어서,
    상기 기 설정된 이벤트 및 상기 기 설정된 이벤트와 관련된 상기 적어도 하나의 제2 외부 장치가 설정된 이벤트 프로파일을 저장하는 메모리;를 더 포함하는 단말 장치.
  8. 제1항에 있어서,
    상기 적어도 하나의 제2 외부 장치는,
    동일한 사용자 계정에 등록된 장치인 것을 특징으로 하는 단말 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 제2 외부 장치를 상기 기 설정된 작업과 관련된 시간 또는 거리를 기초로 그룹핑하고, 상기 기 설정된 이벤트가 발생하고 상기 기 설정된 작업과 관련된 시간 또는 거리 조건을 만족하는 경우 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 단말 장치.
  10. 단말 장치의 제어 방법에 있어서,
    복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하는 단계;
    채팅 창을 생성하는 단계;
    상기 생성된 채팅 창을 표시하고, 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 단계;
    상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 상기 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 상기 채팅 창에 표시하는 단계;를 포함하는 단말 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하는 단계; 및
    상기 적어도 하나의 제2 외부 장치로부터 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 수신하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  12. 제10항에 있어서,
    기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  13. 제10항에 있어서,
    상기 채팅 창에 표시된 상기 적어도 하나의 제2 외부 장치 중 하나의 장치가 선택되고 제거되는 명령을 입력받으면, 상기 선택된 하나의 장치를 상기 채팅 창에서 제거하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  14. 제10항에 있어서,
    추가 명령에 따라 상기 채팅 창에 표시되지 않은 제3 외부 장치를 상기 채팅 창에 추가하여 표시하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 발생된 기 설정된 이벤트와 관련된 작업 또는 상기 제3 외부 장치의 기 설정된 메인 작업 중 적어도 하나의 작업의 수행 여부를 문의하는 메시지를 상기 채팅 창에 표시하는 단계;를 더 포함하는 단말 장치의 제어 방법.
PCT/KR2016/002711 2016-01-22 2016-03-17 단말 장치, 원격 제어 시스템 및 제어 방법 WO2017126740A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160008212 2016-01-22
KR10-2016-0008212 2016-01-22

Publications (1)

Publication Number Publication Date
WO2017126740A1 true WO2017126740A1 (ko) 2017-07-27

Family

ID=59361941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/002711 WO2017126740A1 (ko) 2016-01-22 2016-03-17 단말 장치, 원격 제어 시스템 및 제어 방법

Country Status (5)

Country Link
US (1) US20190037066A1 (ko)
EP (1) EP3389335B1 (ko)
KR (1) KR20170088272A (ko)
CN (1) CN108496343A (ko)
WO (1) WO2017126740A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109507895A (zh) * 2018-08-28 2019-03-22 中国银联股份有限公司 基于交互的控制设备与交互控制方法
CN110572428A (zh) * 2019-07-29 2019-12-13 深圳五洲无线股份有限公司 一种远程控制穿戴设备的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087213A (zh) * 2018-01-25 2019-08-02 福特全球技术公司 跨群组消息传输
US11042345B2 (en) * 2018-08-31 2021-06-22 Google Llc Systems, devices, and methods for interactive visual displays
US20220224556A1 (en) * 2019-05-30 2022-07-14 Mitsubishi Electric Corporation Connection management device, connection management system, connection management method, and program
JP7383460B2 (ja) * 2019-11-21 2023-11-20 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
CN111711558B (zh) * 2020-05-28 2023-06-09 腾讯科技（深圳）有限公司 一种消息控制方法及装置
GB2613779A (en) * 2021-12-07 2023-06-21 Mercedes Benz Group Ag A method for communicating with multiple smart home devices by a motor vehicle as well as a smart home integration service

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060069147A (ko) * 2004-12-17 2006-06-21 한국전자통신연구원 유비쿼터스 시스템 구현을 위한 센싱 장치 및 이를 이용한휴대 단말 장치
WO2012081777A1 (ko) * 2010-12-17 2012-06-21 (주)케이티 스마트 로봇 장치 및 스마트 로봇 장치를 이용한 동적 서비스 제공 방법
WO2014021605A1 (ko) * 2012-07-31 2014-02-06 인텔렉추얼디스커버리 주식회사 원격 제어 장치 및 방법
WO2014098477A1 (ko) * 2012-12-18 2014-06-26 삼성전자 주식회사 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
KR20150045206A (ko) * 2013-10-18 2015-04-28 엘지전자 주식회사 원격 제어 시스템, 모바일 디바이스 및 디지털 디바이스 제어 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150527A (ja) * 2001-11-05 2003-05-23 Internatl Business Mach Corp <Ibm> チャットシステム、その端末装置及びチャットサーバ並びにプログラム
JP4455171B2 (ja) * 2004-05-31 2010-04-21 株式会社東芝 家電機器情報通信システム
US9712486B2 (en) * 2006-09-25 2017-07-18 Weaved, Inc. Techniques for the deployment and management of network connected devices
KR101673187B1 (ko) * 2009-10-30 2016-11-08 삼성전자주식회사 통신 시스템에서 레인징 요청 메시지 전송을 위한 상향링크 자원 요구 방법 및 장치
KR20120088008A (ko) * 2010-09-13 2012-08-08 현대자동차주식회사 콘텐츠 연동 기능을 갖는 단말기 및 그 연동 방법
CN102891866A (zh) * 2011-07-18 2013-01-23 中兴通讯股份有限公司 一种物联网设备远程监控方法、设备及系统
KR101410416B1 (ko) * 2011-12-21 2014-06-27 주식회사 케이티 원격 제어 방법, 시스템 및 원격 제어 사용자 인터페이스
KR101952682B1 (ko) * 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
AU2013276983B2 (en) * 2012-12-26 2017-05-18 Samsung Electronics Co., Ltd. Terminal device and method for controlling thereof
CN103051865B (zh) * 2012-12-28 2016-03-30 华为技术有限公司 画面控制的方法及终端、视频会议装置
EP2800406B1 (en) * 2013-04-29 2018-03-21 LG Electronics, Inc. Mobile terminal and control method for the mobile terminal
JP5649696B1 (ja) * 2013-07-12 2015-01-07 三菱電機株式会社 エネルギーマネジメントシステム、端末装置、端末装置の制御方法、及び、プログラム
US10235638B2 (en) * 2014-10-09 2019-03-19 Splunk Inc. Adaptive key performance indicator thresholds
US9774497B2 (en) * 2015-01-06 2017-09-26 Afero, Inc. System and method for implementing internet of things (IOT) remote control applications
CN105005201A (zh) * 2015-06-04 2015-10-28 广东康宝电器股份有限公司 智能家居多移动终端数据同步与推送系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060069147A (ko) * 2004-12-17 2006-06-21 한국전자통신연구원 유비쿼터스 시스템 구현을 위한 센싱 장치 및 이를 이용한휴대 단말 장치
WO2012081777A1 (ko) * 2010-12-17 2012-06-21 (주)케이티 스마트 로봇 장치 및 스마트 로봇 장치를 이용한 동적 서비스 제공 방법
WO2014021605A1 (ko) * 2012-07-31 2014-02-06 인텔렉추얼디스커버리 주식회사 원격 제어 장치 및 방법
WO2014098477A1 (ko) * 2012-12-18 2014-06-26 삼성전자 주식회사 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
KR20150045206A (ko) * 2013-10-18 2015-04-28 엘지전자 주식회사 원격 제어 시스템, 모바일 디바이스 및 디지털 디바이스 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109507895A (zh) * 2018-08-28 2019-03-22 中国银联股份有限公司 基于交互的控制设备与交互控制方法
CN110572428A (zh) * 2019-07-29 2019-12-13 深圳五洲无线股份有限公司 一种远程控制穿戴设备的方法

Also Published As

Publication number Publication date
EP3389335A1 (en) 2018-10-17
EP3389335A4 (en) 2018-10-31
CN108496343A (zh) 2018-09-04
US20190037066A1 (en) 2019-01-31
KR20170088272A (ko) 2017-08-01
EP3389335B1 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
WO2017126740A1 (ko) 단말 장치, 원격 제어 시스템 및 제어 방법
WO2016060370A1 (en) Terminal for internet of things and operation method of the same
WO2013069893A1 (ko) 인스턴트 메시징 서비스 및 인스턴트 메시징 서비스로부터 확장된 복수의 서비스들을 제공하는 방법
WO2013048154A2 (en) Group-wise device management system and method
WO2015012449A1 (en) Electronic device and control method thereof
WO2015041436A1 (en) Method of managing control right, client device therefor, and master device therefor
WO2016052875A1 (en) Display apparatus and control method thereof
WO2014209078A1 (en) Method and apparatus for updating application
WO2017043906A1 (en) Method and apparatus for managing guest room
EP3304942A1 (en) Method and apparatus for sharing application
WO2018088660A1 (en) Digital signage and method of controlling the same
WO2015108330A1 (en) Electronic device for controlling an external device using a number and method thereof
WO2014104733A1 (en) Method of receiving connection information from mobile communication device, computer-readable storage medium having recorded thereon the method, and digital image-capturing apparatus
WO2016200018A1 (en) Method and apparatus for sharing application
WO2015167180A1 (en) Electronic device and method for communication with a contact thereof
WO2016052849A1 (en) Display apparatus and system for providing ui, and method for providing ui of display apparatus
EP3097743A1 (en) Electronic device for controlling an external device using a number and method thereof
WO2019135553A1 (en) Electronic device, control method thereof, and computer readable recording medium
WO2012022215A1 (zh) 一种互联网中互动信息的交互方法、装置及系统
WO2021107297A2 (ko) 서비스 요청 디바이스
WO2019203502A1 (ko) 기준 영역에 의해 배너 광고별 우선순위가 결정되어 제공되는 메신저앱에서의 배너 광고 서비스 시스템
WO2021182761A1 (ko) 적어도 하나의 장치를 관리하는 방법 및 전자 장치
WO2019093743A1 (en) Electronic device and control method thereof
WO2017126827A1 (ko) 단말 장치, 원격 제어 시스템 및 제어 방법
WO2023042950A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886583

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16886583

Country of ref document: EP

Kind code of ref document: A1