WO2016208984A1 - 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기 - Google Patents

복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기 Download PDF

Info

Publication number
WO2016208984A1
WO2016208984A1 PCT/KR2016/006674 KR2016006674W WO2016208984A1 WO 2016208984 A1 WO2016208984 A1 WO 2016208984A1 KR 2016006674 W KR2016006674 W KR 2016006674W WO 2016208984 A1 WO2016208984 A1 WO 2016208984A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
remote control
signal
identification signal
control
Prior art date
Application number
PCT/KR2016/006674
Other languages
English (en)
French (fr)
Inventor
함준석
김재영
신윤호
김윤성
허희정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/739,985 priority Critical patent/US10218834B2/en
Publication of WO2016208984A1 publication Critical patent/WO2016208984A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a mobile terminal capable of identifying a plurality of devices and performing remote control of the identified device.
  • a mobile terminal is a portable device that is portable and has one or more functions of making voice and video calls, inputting and outputting information, and storing data.
  • the functions of the mobile terminals are diversified, they are equipped with complex functions such as taking pictures or videos, playing music files or video files, receiving games, broadcasting, wireless Internet, and sending and receiving messages. multimedia player).
  • new attempts have been variously applied in terms of hardware or software to implement complex functions.
  • An object of the present invention is to provide a mobile terminal capable of identifying a plurality of devices and performing remote control of the identified device.
  • a mobile terminal for achieving the above object, a display, a receiving unit for receiving at least one device identification signal from at least one device or a transmission apparatus corresponding to the device, and at least one received Detecting an identification signal of the remotely controllable device from the device identification signal of the device, extracting control command information for remote control of the device based on the detected identification signal, and remotely controlling the device based on the extracted control command information And a control unit for controlling to display a remote control object for the display, and a transmission unit for transmitting a remote control signal corresponding to the selected item when a predetermined item in the remote control object is selected.
  • a mobile terminal includes a display, a receiving unit for receiving at least one device identification signal from at least one device or a transmission apparatus corresponding to the device, and at least one device identification signal received. Detects an identification signal of the remotely controllable device, extracts control command information for remote control of the device based on the detected identification signal, and remotely controls the remote control of the device based on the extracted control command information
  • a control unit for controlling to display the object and a transmission unit for transmitting a remote control signal corresponding to the selected item when a predetermined item in the remote control object is selected, remote control of the plurality of devices can be performed.
  • the device when directed in the device direction, the device can be identified or identified based on the identification signal transmitted from the device or the transmission apparatus around the device, and accordingly, control to a predetermined item in the remote control object corresponding to the device.
  • the command it is possible to easily perform remote control for a plurality of devices.
  • FIG. 1 is a view showing a device remote control system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a mobile terminal or a remote control screen for each device.
  • 3A to 3F are diagrams illustrating that types of devices controlled according to the direction of orientation of the mobile terminal of FIG. 1 vary.
  • 4A to 4C are diagrams illustrating a mobile terminal case mounted on the mobile terminal of FIG. 1.
  • 5A and 5B are diagrams illustrating a case where the front case of the mobile terminal is closed and opened.
  • FIG. 6 is an internal block diagram of the mobile terminal of FIG. 1.
  • FIG. 7 is an example of an internal block diagram of the transmitter of FIG. 1.
  • FIG. 8 is a flowchart illustrating an example of an operating method of a mobile terminal according to an embodiment of the present invention.
  • 9A to 9L are views referred to for describing an operating method of the mobile terminal of FIG. 8.
  • FIG. 10 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention.
  • 11A to 11P are diagrams for describing an operating method of the mobile terminal of FIG. 10.
  • 12A to 12C are flowcharts illustrating various examples of a method of operating a mobile terminal according to another embodiment of the present invention.
  • FIGS. 12A to 12C are views referred to for describing the operating method of FIGS. 12A to 12C.
  • FIG. 14 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention.
  • 15A to 15B are views referred to for describing an operating method of the mobile terminal of FIG. 14.
  • 16 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention.
  • 17A to 27E are views referred to for describing an operating method of the mobile terminal of FIG. 16.
  • FIG. 28 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention.
  • 29A to 30C are views referred to for describing an operating method of the mobile terminal of FIG. 28.
  • 31 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention.
  • 32A to 32C are views referred to for describing an operating method of the mobile terminal of FIG. 31.
  • FIG 33 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention.
  • module and “unit” for components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not impart any particular meaning or role by themselves. Therefore, the “module” and “unit” may be used interchangeably.
  • FIG. 1 is a view showing a device remote control system according to an embodiment of the present invention.
  • the device remote control system 10 according to an embodiment of the present invention, the mobile terminal 600, a plurality of devices (100a, 100b, 100c, 100d, 100e, 100f, 100g, 100h) ) And transmission apparatuses 101a, 101b, 101c, 101d, 101e, 101f, 101g, and 101h that are mounted in each device or disposed around the device.
  • the device remote control system 10 may further include a gateway 400, servers 700a,..., 700n, and the like.
  • an image display device 100a such as a TV, a set top box 100b, an air conditioner 100c, a lighting device 100d, a robot cleaner 100e, a refrigerator 100f, an air purifier 100g, the temperature control device (100h) and the like, but various other examples are possible.
  • the device shown in the figure may be referred to as a home device (home device).
  • a washing machine for example, as a device, a washing machine, an optical disk player, a game device, a gas valve, a security device such as a security camera, an electronic door, an electronic door, an audio output device, a game device
  • a security device such as a security camera
  • an electronic door for example, an electronic door, an electronic door, an audio output device, a game device
  • An electronic picture frame, an energy storage device (ESS), a digital camera, a fragrance generating device, a vehicle, a drone, and the like may be further illustrated.
  • Each transmitting apparatus 101a, 101b, 101c, 101d, 101e, 101f, 101g, 101h can transmit a device identification (ID) signal for identification with other devices.
  • ID device identification
  • the device identification signal may include at least one of device type information, manufacturer information, device model name information, device status information, and device control command for each device.
  • the device state information may include an on / off state of the device, an operation value state during device operation, and the like.
  • the device identification signal may be a specific signal set to enable identification of each device.
  • it may be a time based pattern signal or a space based pattern signal.
  • the device identification signal may be a time based infrared pattern signal or a space based infrared pattern signal.
  • each of the transmitting apparatuses 101a, 101b, 101c, 101d, 101e, 101f, 101g, 101h reflects an output signal output from the directed mobile terminal 600, and transmits a device identification (ID) signal to the mobile terminal. It may also transmit in the (600) direction.
  • ID device identification
  • the device identification signal is a signal having a high directivity, such as an Infra Red signal, an RF (Radio Frequency) signal, a Wi-Fi signal, a ZigBee signal, a Bluetooth signal, a laser signal, It may be one of ultra wideband (UWB) signals.
  • a high directivity such as an Infra Red signal, an RF (Radio Frequency) signal, a Wi-Fi signal, a ZigBee signal, a Bluetooth signal, a laser signal, It may be one of ultra wideband (UWB) signals.
  • UWB ultra wideband
  • the mobile terminal 600 can receive a plurality of identification signals from the respective transmission devices 101a, 101b, 101c, 101d, 101e, 101f, 101g, and 101h.
  • the mobile terminal 600 is any one of a plurality of devices (100a, 100b, 100c, 100d, 100e, 100f, 100g, 100h), or a plurality of transmission devices (101a, 101b, 101c, 101d, 101e)
  • the mobile terminal 600 may detect one of the at least one received identification signal as the representative identification signal.
  • the mobile terminal 600 performs signal processing on the detected identification signal or the representative identification signal, and includes device type information, manufacturer information, device model name information, device status information, and device control command included in the detected identification signal. Based on at least one of the information associated with, the device may be identified or identified, corresponding to the identification signal.
  • the mobile terminal 600 may identify or identify the device by comparing the detected identification signal or the representative identification signal with data related to the identification signal previously stored in the mobile terminal 600.
  • the mobile terminal 600 may control to display the remote control object for the confirmed device remote control.
  • the mobile terminal 600 After the remote control object is displayed for device control, when any one of the remote control objects is selected by the user, the mobile terminal 600 outputs and transmits a signal corresponding to the selected item, that is, a remote control signal. can do.
  • the mobile terminal 600 displays the first item of the remote control object by the remote control object for adjusting the wind strength for the air conditioner.
  • Control and output and transmit a remote control signal related to wind strength adjustment for the air conditioner during operation of the first item.
  • the mobile terminal 600 when directed toward the first device, detects the received first identification signal from the first device and, based on the detected first identification signal, performs remote control of the first device.
  • the first remote control object when directed toward the second device, detecting the received second identification signal, and based on the detected second identification signal, for remote control of the second device.
  • the second remote control object may be controlled to be displayed.
  • one mobile terminal 600 it is possible to remotely control a variety of devices.
  • an image display device 100a such as a TV, a set top box 100b, an air conditioner 100c, a lighting device 100d, a robot cleaner 100e, and a refrigerator 100f.
  • the air cleaner (100g), the temperature control device (100h) and the like are each possible to remote control.
  • the remote control signal output from the mobile terminal 600 an infrared (Infra Red) signal, RF (Radio Frequency) signal, Wi-Fi (Wi-Fi) signal, ZigBee signal, Bluetooth (bluetooth) signal, laser
  • the signal may be any one of a UWB (Ultra Wideband) signal.
  • the mobile terminal 600 may receive, from the gateway 400, control command information for at least some of the remote control objects for remote control of each device.
  • the mobile terminal 600 may transmit, to the gateway 400, control command information for at least some of the remote control objects for remote control of each device.
  • the gateway 400 controls, via the network 550, at least some of the remote control objects for remote control of each device from external servers 700a, ..., 700n, and the like.
  • the command information can be received.
  • the external servers 700a, ..., 700n may be servers operated by each device manufacturer or servers storing information on each device.
  • FIG. 2 is a diagram illustrating a mobile terminal or a remote control screen for each device.
  • FIG. 2 illustrates a mobile terminal 201a for an image display apparatus, a mobile terminal 201b for an optical disk player, a mobile terminal 201c for an air conditioner, and a mobile terminal 201d for a robot cleaner.
  • a mobile terminal capable of remote control of a plurality of devices is presented more simply.
  • 3A to 3F are diagrams illustrating that types of devices controlled according to the direction of orientation of the mobile terminal of FIG. 1 vary.
  • 3A illustrates a case in which the mobile terminal 600 is directed toward the air conditioner 100c among various devices 100a, 100b, 100c, 100d, and 100e in the home.
  • the mobile terminal 600 receives at least one identification signal including the identification signal from the transmitting device 101c corresponding to the air conditioner 100c.
  • the mobile terminal 600 may detect the identification signal from the received at least one identification signal, and identify or identify that the remotely controllable device is the air conditioner 100c based on the detected identification signal. .
  • the mobile terminal 600 when the mobile terminal 600 includes at least one of device type information, manufacturer information, and device model name information in the detected identification signal, the mobile terminal 600 performs signal processing on the identification signal, thereby providing device type information and manufacturer. At least one of the information and the device model name information may be extracted, and the device corresponding to the identification signal may be identified or identified based on at least one of the extracted device type information, the manufacturer information, and the device model name information.
  • the mobile terminal 600 is associated with the identification signal received and detected, and the identification signal stored in the memory 660 when the identification signal received and detected is a specific signal set to enable identification of each device. Compared to the data, the device can be identified or identified.
  • the mobile terminal 600 compares the time-based pattern signal related data stored in the memory 660 with the received pattern signal, The device can be identified or identified.
  • the mobile terminal 600 compares the space-based pattern signal related data stored in the memory 660 with the received pattern signal and selects a device. Can be identified or identified
  • the mobile terminal 600 may control that the remote control object for the air conditioner 100c is displayed after identifying the device oriented as the air conditioner 100c.
  • the mobile terminal 600 outputs the device controllable message 311a as a sound or outputs the sound to the mobile terminal 600 when the device identification is completed or the remote control object display is completed based on the detection of the identification signal.
  • the included LED may emit light for a predetermined time, or may output vibration.
  • FIG. 3A illustrates outputting an air conditioner controllable message 311a such as "control air conditioner" as a sound.
  • a device that can be identified or controlled by the mobile terminal 600 emits LEDs included in the device or the transmission apparatus for a predetermined time or is included in the device or the transmission apparatus. It is also possible to make a specific sound in the sound device, or to display a remote control capable message of the mobile terminal 600 on the display included in the device or the transmission device.
  • the mobile terminal 600 may transmit a remote control signal corresponding to the control command of the predetermined item to the air conditioner 100c.
  • the air conditioner 100c may emit the LED built in the air conditioner 100c for a predetermined time. Thereby, the user can recognize that the air conditioner control is being performed.
  • FIG. 3B illustrates a case in which the mobile terminal 600 is directed toward the image display apparatus 100a among various devices 100a, 100b, 100c, 100d and 100e in the home.
  • the mobile terminal 600 receives an identification signal from the transmitting device 101a corresponding to the video display device 100a.
  • the mobile terminal 600 detects an identification signal from at least one identification signal including the identification signal received from the image display apparatus 100a, and based on the detected identification signal, the device capable of remote control is an image.
  • the display device 100a can be confirmed or identified.
  • the method for confirming the video display device 100a is omitted with reference to the description of FIG. 3A.
  • the mobile terminal 600 may control the remote control object for the image display apparatus 100a to be displayed.
  • FIG. 3C illustrates a case in which the mobile terminal 600 is directed in the direction of the lighting device 100d among various devices 100a, 100b, 100c, 100d and 100e in the home.
  • the mobile terminal 600 receives an identification signal, for example, an infrared (IR) signal, from the transmission device 101d corresponding to the lighting device 100d.
  • an identification signal for example, an infrared (IR) signal
  • the mobile terminal 600 can confirm that the device to be directed is the illumination device 100d based on the infrared (IR) signal.
  • the method of confirming the lighting apparatus 100d is omitted with reference to the description of FIG. 3A.
  • the mobile terminal 600 may control the remote control object for the lighting device 100d to be displayed.
  • FIG. 3D illustrates a case in which the mobile terminal 600 is oriented in the direction of the robot cleaner 100e among various devices 100a, 100b, 100c, 100d and 100e in the house.
  • the mobile terminal 600 receives an identification signal from the transmitting device 101e corresponding to the robot cleaner 100e.
  • the mobile terminal 600 detects an identification signal from at least one identification signal including the identification signal received from the robot cleaner 100e, and based on the detected identification signal, the device capable of remote control is a robot cleaner. It can be confirmed or identified that it is (100e).
  • the robot cleaner 100e confirmation method is omitted with reference to the description of FIG. 3A.
  • the mobile terminal 600 may control the remote control object for the robot cleaner 100e to be displayed.
  • FIG. 3E illustrates that when the setting for remote control of the air conditioner 100c is completed, the remote control enable signal Skeystc is transmitted from the mobile terminal 600 to the air conditioner 100c and to the air conditioner 100c. Illustrate that.
  • the air conditioner 100c may display the air conditioner remote control enable message 311ac on the display 180c or output the air conditioner remote control enable message 311ab as a sound. .
  • the remote controllable signal Skeystc is the air conditioner 100c.
  • the air conditioner remote control possible messages 311ab and 311ac may be output from the air conditioner 100c.
  • the video display device 100a After receiving the remote control signal Skeysta, the video display device 100a displays the video display device remote control enable message 311bc on the display 180a or displays the video display device remote control enable message 311bb. You can also output sound.
  • 4A to 4C are diagrams illustrating a mobile terminal case mounted on the mobile terminal of FIG. 1.
  • FIG. 4A is a partial perspective view of a mobile terminal case 700 according to an embodiment of the present invention
  • FIG. 4B is a side view of the mobile terminal case of FIG. 4A
  • FIG. 4C is a receiver and a mobile terminal case of the mobile terminal. It is a side view which shows the mirror part of this.
  • the mobile terminal case 700 includes a front case 701 covering at least a portion of the display area of the mobile terminal 600 and a rear case 702 coupled or attached to the rear of the mobile terminal 600. ) May be provided.
  • an opening 720 may be formed in an upper region of the front case 701 to check an image displayed on the display 680.
  • the front case 701 is disposed on the upper side of the receiving unit 423 disposed on one side around the display 680 of the mobile terminal 600, the incident identification signal, for example, IR (Infra Red) signal It may include a mirror unit 710 to change the path of the direction toward the receiving unit 423.
  • the incident identification signal for example, IR (Infra Red) signal
  • It may include a mirror unit 710 to change the path of the direction toward the receiving unit 423.
  • the mirror unit 710 varies the path of the identification signal incident to the mobile terminal in the upward direction of the mobile terminal 600, and is disposed in the front of the mobile terminal 600.
  • the path variable identification signal may be induced to be incident.
  • the identification signal output in the direction in which the mobile terminal 600 is directed can be stably incident to the receiver 423.
  • the mobile terminal 600 may display a remote control object for remotely controlling the device in the display area corresponding to the area where the opening 720 is formed in the front case 701 of the mobile terminal front case even in the standby mode state. It becomes possible.
  • the controller 680 of the mobile terminal 600 temporarily cancels the standby mode, and when there is a touch input for a predetermined item in the remote control object, the remote control signal corresponding to the item. Can be controlled to be output.
  • the remote control of various devices can be easily performed while changing the orientation direction of the mobile terminal 600.
  • 5A and 5B are diagrams illustrating a case where the front case of the mobile terminal is closed and opened.
  • FIG. 5A is a front view when the front case 701 of the case of the mobile terminal is closed
  • FIG. 5B is a front view when the front case 701 of the case of the mobile terminal is opened.
  • a conductive material different from the peripheral area may be applied to some areas of the front case 701.
  • a conductive material different from the peripheral region is applied to the first region 730a and the second region 730b below the opening of the front case 701.
  • the touch sensor of the mobile terminal 600 can detect this.
  • the controller 680 of the mobile terminal 600 sets the first item to be selected when the first case 730a is touched when the front case 701 is covered, and the second region 730b. If) is touched, the second item may be set to be selected.
  • the first item may be a menu item
  • the second item may be a multi-device operation item, but is not limited thereto and may be variously modified.
  • the controller 680 of the mobile terminal 600 may allocate a menu item to the first area 730a and allocate a multi-device operation item to the second area 730b.
  • the controller 680 of the mobile terminal 600 controls the specific device for remote control.
  • the remote control object can be controlled to be displayed.
  • the controller 680 of the mobile terminal 600 when directed in the direction of the first device, based on the received first identification signal, for the remote control of the first device, the first remote control object May be controlled to display a second remote control object for remote control of the second device based on the received second identification signal when directed toward the second device.
  • the control unit 680 of the mobile terminal 600 may further display remote control items of other items in the peripheral area besides the displayed remote control object.
  • the screen may be switched to control the display of a remote control object different from the displayed remote control object.
  • FIG. 6 is an example of an internal block diagram of the mobile terminal of FIG. 1.
  • the mobile terminal 600 may include a movable mobile terminal.
  • the mobile terminal 600 includes a wireless communication unit 610, an audio / video input unit 620, a user input unit 630, a sensing unit 640, an output unit 650, a memory 660, and an interface.
  • the unit 625, the controller 670, and the power supply unit 690 may be included.
  • the wireless communication unit 610 may include a broadcast receiving module 611, a mobile communication module 613, a wireless communication module 615, an acoustic communication unit 617, a GPS module 619, and the like.
  • the broadcast receiving module 611 may receive at least one of a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel, a terrestrial channel, and the like.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 611 may be stored in the memory 660.
  • the mobile communication module 613 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to voice call signal, video call signal, or text / multimedia message transmission and reception.
  • the wireless communication module 615 refers to a module for wireless Internet access, and the wireless communication module 615 may be embedded or external to the mobile terminal 600.
  • the wireless communication module 615 may perform WFii based wireless communication or WiFi Direct based wireless communication.
  • the wireless communication module 615 may include a receiver 423 for receiving an identification signal and a transmitter 423 for transmitting a remote control signal.
  • the receiver 423 transmits a device identification signal of any one of an IR (Infra Red) signal, an RF (Radio Frequency) signal, a ZigBee signal, a Bluetooth signal, and a laser signal from the transmitter 101. Can be received.
  • IR Infra Red
  • RF Radio Frequency
  • the receiver 423 may include an IR receiver (not shown), an RF receiver (not shown), and the like.
  • the transmitter 421 may output a remote control signal of any one of an IR (Infra Red) signal, an RF (Radio Frequency) signal, a ZigBee signal, a Bluetooth signal, and a laser signal.
  • IR Infra Red
  • RF Radio Frequency
  • the transmitter 421 may include an IR transmitter (not shown), an RF transmitter (not shown), and the like.
  • the transmitter 421 may output different remote control signals for each of a plurality of devices. For example, when outputting a remote control signal as an IR signal, IR signals of different patterns or different frequency bands may be output.
  • the transmitter 421 may output the output signal Sout corresponding to the case of FIG. 4B.
  • the output signal Sout may be any one of an infrared (IR) signal, a radio frequency (RF) signal, a ZigBee signal, a Bluetooth signal, and a laser signal.
  • the mobile terminal 600 transmits a signal containing pointing information of the mobile terminal 600, for example, information on movement, and the like. (Not shown).
  • the acoustic communicator 617 may perform acoustic communication.
  • the acoustic communication unit 617 may output sound by adding predetermined information data to the audio data to be output in the acoustic communication mode.
  • the acoustic communication unit 617 may extract predetermined information data from sound received from the outside.
  • Bluetooth Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the global position system (GPS) module 619 may receive location information from a plurality of GPS satellites.
  • the A / V input unit 620 is for inputting an audio signal or a video signal, and may include a camera 621 and a microphone 623.
  • the user input unit 630 generates key input data input by the user for controlling the operation of the terminal.
  • the user input unit 630 may include a key pad, a dome switch, a touch pad (constant voltage / capacitance), and the like.
  • the touch pad forms a mutual layer structure with the display 680, this may be referred to as a touch screen.
  • the sensing unit 640 is configured to control the operation of the mobile terminal 600 by detecting a current state of the mobile terminal 600 such as an open / closed state of the mobile terminal 600, a location of the mobile terminal 600, a presence or absence of a user contact, and the like.
  • the sensing signal may be generated.
  • the sensing unit 640 may include a detection sensor 641, a pressure sensor 643, a motion sensor 645, and the like.
  • the motion sensor 645 may detect a movement or position of the mobile terminal 600 using an acceleration sensor, a gyro sensor, a gravity sensor, or the like.
  • the gyro sensor is a sensor for measuring the angular velocity, and may sense a direction (angle) returned with respect to the reference direction.
  • the output unit 650 may include a display 680, an audio output unit 653, an alarm unit 655, and a haptic module 657.
  • the display 680 displays and outputs information processed by the mobile terminal 600.
  • the display 680 and the touch pad form a mutual layer structure and constitute a touch screen
  • the display 680 may also be used as an input device capable of inputting information by a user's touch in addition to the output device. Can be.
  • the audio output unit 653 outputs audio data received from the wireless communication unit 610 or stored in the memory 660.
  • the audio output unit 653 may include a speaker, a buzzer, and the like.
  • the alarm unit 655 outputs a signal for notifying occurrence of an event of the mobile terminal 600.
  • the signal may be output in the form of vibration. .
  • the haptic module 657 generates various tactile effects that a user can feel.
  • a representative example of the haptic effect generated by the haptic module 657 is a vibration effect.
  • the memory 660 may store a program and application data for processing and control of the controller 670, and temporarily store input or output data (for example, a phone book, a message, a still image, a video, etc.). It can also perform a function for.
  • the memory 660 may store patterns of a plurality of IR signals received from a plurality of devices. Data for setting operation items for each device can be stored. In addition, an IR signal pattern for each device and an operation item may be stored.
  • the interface unit 625 serves as an interface with all external devices connected to the mobile terminal 600.
  • the interface unit 625 may receive data or power from the external device and transmit the data to each component in the mobile terminal 600, and may transmit the data in the mobile terminal 600 to the external device. .
  • the controller 670 typically controls the operations of each unit to control the overall operation of the mobile terminal 600. For example, related control and processing for voice calls, data communications, video calls, and the like can be performed.
  • the controller 670 may include a multimedia playback module 681 for multimedia playback.
  • the multimedia playback module 681 may be configured in hardware in the controller 670 or may be configured in software separately from the controller 670.
  • the control unit 670 upon receiving the device identification signal from the at least one device or the transmission apparatus corresponding to the device through the receiving unit 423, based on the received device identification signal, the remote for remote control
  • the transmitter 421 may be controlled to display the control object and to transmit a remote control signal corresponding to the selected item when a predetermined item is selected from the remote control objects.
  • the controller 670 may identify the device based on the identification signal received from the device or the transmission apparatus corresponding to the device.
  • the controller 670 controls to display the first remote control object for remote control of the first device based on the received first identification signal when the mobile terminal 600 is directed toward the first device.
  • the mobile terminal 600 may control to display the second remote control object for remote control of the second device based on the received second identification signal.
  • the controller 670 may control to transmit a remote control signal corresponding to the selected item when any one item of the first remote control object or the second remote control object is selected.
  • the controller 670 may output a signal or a pointing signal corresponding to the movement of the mobile terminal 600 sensed by the sensing unit 640.
  • the wireless communication module 615 may be controlled to be transmitted to the image display apparatus 100a through the transmitter 421.
  • the user input interface unit (not shown) of the image display apparatus 100a corresponds to a wireless communication unit (not shown) capable of transmitting and receiving a signal wirelessly with the mobile terminal 600 and an operation of the mobile terminal 600.
  • a coordinate value calculation unit (not shown) capable of calculating the coordinate value of the pointer may be provided.
  • the user input interface unit may transmit / receive a signal wirelessly with the mobile terminal 600 through an RF module (not shown).
  • an IR module (not shown) may receive a signal transmitted by the mobile terminal 600 according to an IR communication standard.
  • the coordinate value calculator may calculate a coordinate value (x, y) of a pointer to be displayed on a display (not shown) by correcting a hand shake or an error from a signal corresponding to the operation of the received mobile terminal 600. have.
  • the mobile terminal 600 transmission signal input to the image display apparatus 100a through the user input interface unit (not shown) is transmitted to the controller (not shown) of the image display apparatus 100a.
  • a controller may determine information on an operation and an item operation of the mobile terminal 600 from a signal transmitted from the mobile terminal 600, and control the image display apparatus 100a correspondingly.
  • the power supply unit 690 receives an external power source and an internal power source under the control of the controller 670 to supply power for operation of each component.
  • the camera 621 may capture an image.
  • an image including the user's face may be captured.
  • the controller 670 may identify the user based on the captured user face image and the pre-stored user image.
  • the camera 621 may capture an image including the user's finger fingerprint.
  • the controller 670 may identify the user based on the captured user finger fingerprint image and the pre-stored user finger fingerprint image.
  • the controller 670 may perform user authentication based on the image captured by the camera 621, and control the device to remotely control the device when the user authentication is successful.
  • the controller 670 may control to transmit the user information to the device to be directed, and when receiving the user authentication confirmation information from the device, it may control to enable remote control of the device.
  • a block diagram of the mobile terminal 600 shown in FIG. 6 is a block diagram for one embodiment of the present invention.
  • Each component of the block diagram may be integrated, added, or omitted according to the specifications of the mobile terminal 600 that is actually implemented. That is, two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • FIG. 7 is an example of an internal block diagram of the transmitter of FIG. 1.
  • the transmission device 101 may include a sensor unit 103, a memory 104, a processor 107, a transmission unit 106, an LED module 108, a communication unit 109, and the like.
  • the sensor unit 103 may sense power on / off of a corresponding device in the vicinity. To this end, the sensor unit 103 may include an EMF (electromagnetic field) sensor.
  • EMF electromagnétique field
  • the processor 107 may check the type of the device or the device model name information based on the information related to the corresponding device stored in the memory 104 or the data related to the identification signal of the specific pattern corresponding to the device.
  • the processor 107 may control the transmitter 106 to transmit an identification signal corresponding to the confirmed device type or device model.
  • the process 107 may check the power on / off state information of the device based on the power on / off sensing information of the device sensed by the sensor unit 103. In addition, the process 107 may control the transmitter 106 to transmit an identification signal or device state information corresponding to the identified device power on / off state information.
  • the process 107 may check the power on / off state information of the device by the power on / off sensing information of the device sensed by the sensor unit 103. In addition, the process 107 may confirm the device type information or the device model name information based on the confirmed device power on / off state information. In addition, the process 107 may control the transmitter 106 to transmit an identification signal or device state information corresponding to the confirmed device type information or device model name information.
  • the memory 104 may store information relating to information relating to a corresponding device or a specific pattern of identification signal corresponding to the device.
  • the transmitter 106 transmits an identification signal.
  • the identification signal may include power on / off state information of the device. In particular, it is possible to transmit an identification signal of a specific pattern corresponding to the device. In addition, the transmitter 106 may transmit power on / off status information of the device.
  • the LED module 108 can emit light according to the operating state of the transmitting device 101. For example, in the mobile terminal 600, when the remote control signal is transmitted, the LED module 108 may blink.
  • the communication unit 109 can exchange data with the device. For example, an identification signal can be received from the device. That is, the communication unit 109 may receive at least one of device type information, manufacturer information, device model name information, device state information, and device control command information for each device from the device.
  • the device state information may include an on / off state of the device, an operation value state during device operation, and the like.
  • the communication unit 109 may transmit and receive data with the gateway 400.
  • the communication unit 109 may receive, from the gateway 400, control command information about at least some of the remote control objects for remote control of each device.
  • the communication unit 109 may transmit, to the gateway 400, control command information for at least some of the remote control objects for remote control of each device.
  • the power supply unit may convert a commercial AC current into a DC power supply and supply it to each unit, or supply DC power to each unit through a separate battery.
  • a display unit and a sound output unit may be further provided.
  • the display unit may display whether the mobile terminal can be remotely controlled or paired with the mobile terminal, and the sound output unit may output whether the mobile terminal can be remotely controlled or whether the mobile terminal is paired with the mobile terminal.
  • FIG. 8 is a flowchart illustrating an example of an operating method of a mobile terminal according to an embodiment of the present invention
  • FIGS. 9A to 9L are views for explaining an operating method of the mobile terminal of FIG. 8.
  • the receiver 423 of the mobile terminal 600 receives an identification signal (S810).
  • the reception unit 423 of the mobile terminal 600 corresponds to the air conditioner 100c or the air conditioner 100c.
  • the identification signal of the pattern corresponding to the air conditioner from 101c can be received.
  • the controller 670 of the mobile terminal 600 may detect the identification signal from the received at least one identification signal (S811).
  • control unit 670 of the mobile terminal 600 identifies the device on the basis of the detected identification signal (S813).
  • the device identification method extracts information from the received identification signal to identify the device, or receives the received identification signal and data associated with the plurality of device information or the plurality of device identification signals stored in the memory 660. In comparison, a method of identifying a device is possible.
  • the controller 670 of the mobile terminal 600 controls to display an object for remote control of the device (S815).
  • the controller 670 of the mobile terminal 600 determines whether the first item in the remote control object is selected (S820), and if applicable, controls to transmit a remote control signal corresponding to the first item. (S825) Accordingly, the device can be easily controlled remotely.
  • the plurality of transmission devices 101a, 101b, 101c, 101d, 101e, 101f, 101g, and 101h are active transmission devices, have separate power sources, and can output device identification signals, respectively. have.
  • the mobile terminal 600 when the mobile terminal 600 is directed to the air conditioner 100c, it illustrates that the transmitter 101c corresponding to the air conditioner 100c outputs the identification signal Sidc.
  • the mobile terminal 600 receives at least one identification signal including the identification signal Sidc through the receiver 423, detects the identification signal Sidc from the received identification signal, and detects the detected identification.
  • the mobile terminal 600 receives at least one identification signal including the identification signal Sidc through the receiver 423, detects the identification signal Sidc from the received identification signal, and detects the detected identification.
  • At least some of the remote control objects may be set to operate as an air conditioner operation key.
  • the infrared camera 423aa of the mobile terminal 600 may capture an infrared image including the transmission device 101c corresponding to the air conditioner 100c.
  • FIG. 9B (b) illustrates that the first infrared identification signal IRc has a constant low level LVL and a high level LVH, and the duty is variable. That is, the first infrared identification signal IRc having the duty of the time-based first pattern is illustrated.
  • the controller 670 may detect the first infrared identification signal IRc having a duty of the first pattern, as shown in the figure, based on the plurality of infrared images captured during the predetermined frame period.
  • the controller 670 may compare the pattern data pre-stored in the memory 660 with the first pattern of the detected first infrared ray identification signal IRc to identify that the directed device is the air conditioner 100c. .
  • 9C illustrates that when the mobile terminal 600 is directed to the video display device 100a, the transmission device 101a corresponding to the video display device 100a outputs the identification signal Sida.
  • the mobile terminal 600 receives at least one identification signal including the identification signal Sida through the receiver 423, detects the identification signal Sida from the received identification signal, and detects the detected identification signal.
  • the mobile terminal 600 receives at least one identification signal including the identification signal Sida through the receiver 423, detects the identification signal Sida from the received identification signal, and detects the detected identification signal.
  • signal processing on Sida it is possible to confirm or identify that the current image display apparatus 100a is capable of remote control.
  • At least a part of the remote control object may be set to operate as an image display device operation key.
  • FIG. 9D illustrates that the transmitting unit 106a of the transmitting device 101a corresponding to the video display device 100a outputs the second infrared identification signal IRa.
  • the infrared camera 423aa of the mobile terminal 600 may capture an infrared image including the transmitting device 101a corresponding to the image display device 100a.
  • FIG. 9D illustrates that the infrared identification signal IRa has a constant low level LVL and a high level LVH, and the duty is variable. That is, the second infrared identification signal IRa having the duty of the time-based second pattern is illustrated.
  • the controller 670 may detect the second infrared identification signal IRa having a duty of the second pattern, as shown in the figure, based on the plurality of infrared images captured during the predetermined frame period.
  • the controller 670 compares the pattern data pre-stored in the memory 660 with the second pattern of the detected second infrared ray identification signal IRa, so that the oriented device is the video display device 100a. Can be identified.
  • FIG. 10 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention, and FIGS. 11A to 11P are views referred to for describing the method of operating the mobile terminal of FIG. 10.
  • the operation method of FIG. 10 is similar to the operation method of FIG. 8, but an output signal output step S906 and receiving an identification signal reflected in response to the output signal S910 are different from those of FIG. 8. have.
  • the step 905 (S905), the step 913 (S913) to the step 925 (S925), the step 805 (S805), the step 811 (S811), the step 813 (S813) to the step (S813) of FIG. It corresponds to step 825 (S825).
  • the transmitters 101aa, 101bb, 101cc, 101dd, 101ee, 101ff, 101gg, and 101hh are passive transmitters and include a reflective member that reflects an output signal from the outside without a separate power source. can do.
  • different devices when reflecting, different devices may be provided with different reflective pattern members for device identification.
  • the mobile terminal 600 can output the output signal Sout in the direction of the directed device via the transmitter 421.
  • the output signal Sout output from the mobile terminal 600 enters the transmitting device 101cc corresponding to the air conditioner 100c.
  • the transmission apparatus 101cc may output the reflection signal, that is, the identification signal Sidcc, toward the mobile terminal 600 by reflection or total reflection using the formed specific pattern.
  • the mobile terminal 600 receives at least one identification signal including the identification signal Sidcc through the receiving unit 423, performs signal processing on the identification signal Sidcc, and currently provides the air conditioner 100c. ) Can confirm or identify that remote control is possible.
  • 11B illustrates a transmitting device 101cc of the air conditioner 100c having a spatially based first infrared reflection pattern.
  • FIG. 11B shows that the transmitting unit 421 of the mobile terminal 600 outputs the infrared output signal Sout to the transmitting device 101cc of the air conditioner 100c directed to the apparatus. It illustrates that the reflected infrared signal Sidcc is received by the infrared camera 423aa by the 1st infrared reflection pattern formed in the transmission apparatus 101cc.
  • the infrared camera 423aa may capture at least one infrared image 1011a including the first infrared reflection pattern 1012a, as illustrated in FIG. 11B (b).
  • the control unit 670 compares the first infrared reflection pattern 1012a in the captured infrared image 1011a with infrared pattern data previously stored in the memory 660 or the like, so that the oriented device is the air conditioner 100c. It can be identified as.
  • the infrared pattern is illustrated as being 3 ⁇ 3, various modifications are possible.
  • FIG. 11C illustrates that a transmission device 101cc having a spatially-based first infrared reflection pattern is formed on a logo 101lgc formed on the front surface of the air conditioner 100c.
  • the transmitting apparatus 101cc having the spatially-based first infrared reflecting pattern is formed on the logo 101lgc formed on the front of the air conditioner 100c, the infrared reflecting pattern does not need to be installed in a separate space. Therefore, design freedom can be improved.
  • 11D illustrates a case where control command information is received from the transmitting device 101c corresponding to the air conditioner 100c.
  • FIG. 11E illustrates a case where control command information is received from the server 700.
  • the drawing illustrates that the control command information reception completion message 387cb is output as sound.
  • control command information request (Sproc) to the server 700 is output from the mobile terminal 600
  • control command information (Scomc) from the server 700 illustrates that the mobile terminal 600 is received.
  • FIG. 11F illustrates a case where control command information is received from the gateway 400.
  • the drawing illustrates that the control command information reception completion message 387cc is output as sound.
  • control command information request Sproc to the gateway 400 is output from the mobile terminal 600, and the control command information Scomc from the gateway 400 is received from the mobile terminal 600. do.
  • the mobile terminal 600 can output the device control message 311a, as shown in FIG. 11G.
  • the transmitting device 101aa outputs a reflection signal, that is, an identification signal Sidaa, toward the mobile terminal 600 by reflection or total reflection, using the formed specific pattern.
  • the mobile terminal 600 receives at least one identification signal including the identification signal Sidaa through the receiver 423, detects the identification signal Sidaa among them, and detects the detected identification signal Sidaa. By performing the signal processing for), it is possible to confirm or identify that the current image display apparatus 100a can be remotely controlled.
  • FIG. 11I illustrates a transmitting device 101aa of the image display device 100a having a spatially based second infrared reflection pattern.
  • the transmitting unit 421 of the mobile terminal 600 outputs the infrared output signal Sout to the transmitting device 101aa of the video display device 100a directed to the video display device. It illustrates that the reflected infrared signal Sidaa is received by the infrared camera 423aa by the 2nd infrared reflection pattern formed in the transmission apparatus 101aa of 100a.
  • the infrared camera 423aa may capture the infrared image 1011b including the second infrared reflection pattern 1012b, as shown in FIG. 11E (b).
  • the controller 670 compares the second infrared reflecting pattern 1012b in the captured infrared image 1011b with infrared pattern data previously stored in the memory 660 or the like, so that the oriented device is the image display apparatus 100a. ) Can be identified or identified.
  • FIG. 11J illustrates that a transmitting device 101aa having a spatially-based second infrared reflection pattern is formed in the bezel area 101lgc of the image display device 100a.
  • the transmitting apparatus 101aa having the spatially-based second infrared reflecting pattern is formed in the bezel area 101lgc of the image display apparatus 100a, the infrared reflecting pattern may not be provided in a separate space. Therefore, design freedom can be improved.
  • 11K exemplifies a case where control command information is received from the transmitting device 101a corresponding to the video display device 100a.
  • 11L illustrates a case where control command information is received from the server 700.
  • control command information request Sproa to the server 700 is output from the mobile terminal 600, and the control command information Scoma from the server 700 is received from the mobile terminal 600.
  • FIG. 11M illustrates a case where control command information is received from the gateway 400.
  • the drawing illustrates that the control command information reception completion message 387ac is output as sound.
  • control command information request Sproa to the gateway 400 is output from the mobile terminal 600, and the control command information Scoma from the gateway 400 is received from the mobile terminal 600. do.
  • the mobile terminal 600 may output the device control message 311b, as shown in FIG. 11N.
  • FIG. 11O is similar to FIG. 11B, the infrared output signal Sout is not output from the transmitting unit 421 of the mobile terminal 600, and the transmitting device 101cb of the air conditioner 100c is one of nine infrared light emitting units. For example, only a part of LPc3, LPc6, LPc7, and LPc9 emits light.
  • the infrared image 1011a acquired by the infrared camera 423aa may be the same as that of FIG. 11B, and accordingly, the controller 670 compares the infrared pattern data previously stored in the memory 660 or the like to the directed device. Can be identified as being the air conditioner 100c.
  • 11P is similar to FIG. 11I, except that the infrared output signal Sout is not output from the transmitting unit 421 of the mobile terminal 600, and the transmitting apparatus 101ab of the image display apparatus 100a receives nine infrared light emission. Among them, only part of the light sources LPa2, LPa3, and LPa7 emit light.
  • the infrared image 1011b acquired by the infrared camera 423aa may be the same as that of FIG. 11E, and accordingly, the controller 670 may compare the infrared pattern data pre-stored in the memory 660 with the directed device. Can be identified as the image display apparatus 100a.
  • FIGS. 12A to 12C are flowcharts illustrating various examples of an operation method of a mobile terminal according to another embodiment of the present invention
  • FIGS. 13A to 13G are views for explaining the operation method of FIGS. 12A to 12C.
  • the transmitter 421 of the mobile terminal 600 transmits a call signal Scall in the direction of the device in which the mobile terminal 600 is directed ( S960).
  • the call signal Scall may include a pairing request signal.
  • the device 100 to which the mobile terminal 600 is directed may receive a call signal Scall (S961) and recognize a call signal Scall (S962).
  • the device 100 may recognize a pairing request signal according to the call signal recognition, and transmit a pairing response signal corresponding to the pairing request signal (see FIG. S968).
  • the mobile terminal 600 may receive a pairing response signal (S969). Accordingly, pairing may be completed between the mobile terminal 600 and the device 100.
  • the device 100 may transmit an identification signal after completing pairing (S974).
  • the mobile terminal 600 may receive an identification signal (S975).
  • the processor 170 of the mobile terminal 600 may identify a device based on the identification signal (S980).
  • the device identification method is as described above.
  • the controller 670 of the mobile terminal 600 controls to display an object for remote control of the device (S985).
  • the controller 670 of the mobile terminal 600 determines whether the first item in the remote control object is selected (S990), and if applicable, controls to transmit a remote control signal corresponding to the first item. (S995). Accordingly, the device can be easily controlled remotely.
  • Fig. 12B is similar to Fig. 12A, but there is a difference between the call signal output step S960 and the identification step S980.
  • the transmitter 421 of the mobile terminal 600 transmits a call signal Scall in the direction of the directed device (S960).
  • the device 100 to which the mobile terminal 600 is directed may receive a call signal Scall (S961) and recognize a call signal Scall (S962).
  • the device 100 may transmit a pairing request signal according to the call signal recognition (S963).
  • the receiver 423 of the mobile terminal 600 may receive a pairing request signal (S964).
  • the transmitter 421 of the mobile terminal 600 may transmit a pairing response signal corresponding to the pairing request signal (S968b).
  • the device 100 may receive a pairing response signal (S969b). Accordingly, pairing may be completed between the mobile terminal 600 and the device 100.
  • the device 100 may transmit an identification signal after completing pairing (S974).
  • the receiver 423 of the mobile terminal 600 may receive an identification signal (S975).
  • Fig. 12C is similar to Fig. 12A except that there is a difference between the call signal output step S960 and the matching step S985.
  • the transmitter 421 of the mobile terminal 600 transmits a call signal Scall in the direction of the directed device (S960).
  • the device 100 to which the mobile terminal 600 is directed may receive a call signal Scall (S961) and recognize a call signal Scall (S962).
  • the device 100 may transmit an identification signal according to the call signal recognition (S974).
  • the receiver 423 of the mobile terminal 600 may receive an identification signal (S975).
  • the controller 670 of the mobile terminal 600 identifies the device based on the received identification signal (S980). Then, it controls to display the object for remote control of the device (S985).
  • the transmitter 421 of the mobile terminal 600 may transmit a pairing request signal (S986).
  • the device 100 may receive a pairing request signal (S987).
  • the device 100 may transmit a pairing response signal corresponding to the pairing request signal (S988).
  • the receiver 423 of the mobile terminal 600 may receive a pairing response signal (S989). Accordingly, pairing may be completed between the mobile terminal 600 and the device 100.
  • FIG. 13A is a diagram referred to describe an example of a method in which the mobile terminal 600 identifies the air conditioner 101c in relation to FIG. 12A.
  • the air conditioner 101c When the mobile terminal 600 transmits a call signal Scall to the air conditioner 101c, the air conditioner 101c receives the call signal Scall and recognizes it. The air conditioner 101c then recognizes the pairing request signal Sprq in the call signal Scall.
  • the air conditioner 101c transmits a pairing response signal Sprsc according to the recognition of the pairing request signal Sprq.
  • the mobile terminal 600 receives the pairing response signal Sprsc, thereby completing the pairing.
  • the air conditioner 101c outputs identification signal Sidc after pairing is complete.
  • the mobile terminal 600 receives the identification signal Sidc and identifies the air conditioner 101c based on the identification signal Sidc.
  • FIG. 13B is a diagram referred to describe another example of a method in which the mobile terminal 600 identifies the image display apparatus 100a in relation to FIG. 12A.
  • the image display apparatus 100a When the mobile terminal 600 transmits a call signal Scall to the image display apparatus 100a, the image display apparatus 100a receives the call signal Scall and recognizes the call signal. Then, the video display device 100a recognizes the pairing request signal Sprq in the call signal Scall.
  • the video display device 100a transmits a pairing response signal Sprsa according to the pairing request signal Sprq.
  • the mobile terminal 600 receives the pairing response signal Sprsa, thereby completing the pairing.
  • the mobile terminal 600 through the pairing between the image display device 100a and the mobile terminal 600, the mobile terminal 600, RF (Radio Frequency) signal, Wi-Fi (Wi-Fi) signal, ZigBee (ZigBee) from the image display device 100a
  • the identification signal may be received from any one of a) signal, a Bluetooth signal, a laser signal, and an ultra wideband (UWB) signal.
  • the video display device 100a outputs an identification signal Sida after pairing is completed.
  • the mobile terminal 600 receives the identification signal Sida and identifies the image display apparatus 100a based on the identification signal Sida.
  • FIG. 13C is a diagram referred to describe another example of a method in which the mobile terminal 600 identifies the image display apparatus 100a in relation to FIG. 12B.
  • the image display apparatus 100a receives the call signal Scall and recognizes the call signal.
  • the video display device 100a transmits the pairing request signal Sprq in response to the call signal recognition.
  • the mobile terminal 600 receives the pairing request signal Sprq and transmits a pairing response signal Sprs in response to the pairing request signal Sprq.
  • the video display device 100a receives the pairing response signal Sprs, thereby completing pairing.
  • the video display device 100a outputs an identification signal Sida after pairing is completed.
  • the mobile terminal 600 receives the identification signal Sida and identifies the image display apparatus 100a based on the identification signal Sida.
  • FIG. 13D is a diagram referred to describe another example of a method in which the mobile terminal 600 identifies the image display apparatus 100a in relation to FIG. 12C.
  • the image display apparatus 100a When the mobile terminal 600 transmits a call signal Scall to the image display apparatus 100a, the image display apparatus 100a receives the call signal Scall and recognizes the call signal.
  • the video display device 100a outputs the identification signal Sida in accordance with the recognition of the call signal Scall.
  • the mobile terminal 600 receives the identification signal Sida and identifies the image display apparatus 100a based on the identification signal Sida.
  • the mobile terminal 600 transmits a pairing request signal Sprq after device identification is completed.
  • the video display device 100a receives the pairing request signal Sprq and transmits a pairing response signal Sprsa in response to the pairing request signal Sprq.
  • the mobile terminal 600, the image display device 100a receives a pairing response signal (Sprsa), thereby completing the pairing.
  • 13E-13G illustrate various examples of extracting control command information after receiving an identification signal.
  • 13E illustrates the case where control command information is received from the transmitting device 101a.
  • a message 387aa indicating reception of control command information from a transmitting device is output as sound.
  • FIG. 13F illustrates a case where control command information is received from the server 700.
  • a message 387ab indicating reception of control command information from a server is output as sound.
  • FIG. 13G illustrates a case where control command information is received from the gateway 400.
  • a message 387ab indicating that control command information is received from the gateway 400 is output as sound.
  • the controller 670 of the mobile terminal 600 may control to display a remote control object for remote control of the device, based on control command information received from the outside, as shown in FIG. 13E or 13G. .
  • FIG. 14 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention
  • FIGS. 15A to 15B are diagrams for describing an operating method of the mobile terminal of FIG. 14.
  • the receiver 423 of the mobile terminal 600 may capture an infrared image (S1011).
  • the receiver 423 of the mobile terminal 600 may include an infrared camera 423aa to detect the infrared identification signal. .
  • the infrared camera 423aa may capture the infrared image from the received at least one infrared identification signal.
  • the infrared camera 423aa may capture an infrared image including the device 100 or the transmission apparatus 101 corresponding to the device according to the direction of the mobile terminal 600.
  • the controller 670 may detect an infrared pattern from the device 100 or the transmission apparatus 101 corresponding to the device in the captured infrared image (S1013).
  • the controller 670 outputs an infrared (IR) signal from at least one device or at least one transmitting device corresponding to the at least one device, and determines whether an infrared pattern is detected based on the at least one infrared signal. Determine (S1015).
  • IR infrared
  • the controller 670 may detect the infrared pattern positioned at the center of the infrared image as the representative infrared pattern (S1017), and identify the device based on the representative infrared pattern (S1019).
  • the controller 670 may identify the device based on a single infrared pattern.
  • 15A to 15B are diagrams illustrating a method of selecting a device based on any one of the infrared (IR) signals when the plurality of infrared (IR) signals are received by the mobile terminal.
  • IR infrared
  • the mobile terminal 600 includes a receiver 423 that receives an infrared (IR) signal, and the receiver 423 includes an infrared camera 423aa.
  • IR infrared
  • the infrared camera 423aa may capture the infrared image 1010a as shown in the drawing. have.
  • the controller 670 detects an IR signal located at the center of the infrared image captured by the infrared camera as a representative IR signal, and identifies a device corresponding to the detected representative IR signal. And control to perform remote control on the identified device.
  • the controller 670 detects the infrared pattern located at the center of the infrared image as the representative infrared pattern, identifies or identifies a device corresponding to the detected infrared pattern, and remotely controls the identified or identified device. Can be controlled to perform.
  • the air conditioner 100c and the transmission device 101c corresponding to the air conditioner are located at the center of the infrared image 1010a, and on the left side thereof, the illumination device 100d, and the corresponding transmission device 101d,
  • the set top box 100b and the corresponding transmitting apparatus 101b, and the leftmost image display apparatus 100a and the corresponding transmitting apparatus 101a are disposed.
  • the controller 670 may detect an infrared pattern region in which an infrared signal is output in the infrared image 1010a.
  • control unit 670 includes an area Arca including the transmission device 101c corresponding to the air conditioner, an area Arda including the transmission device 101d corresponding to the lighting device 100d, and a set-top box 100b. Transmission corresponding to the air conditioner located at the center of the area Arba including the transmission device 101b corresponding to the above) and the area Araa including the transmission device 101a corresponding to the video display device 100a.
  • the area Arca including the device 101c can be selected.
  • control unit 670 can extract the area Arca including the transmission device 101c corresponding to the air conditioner located at the center of the plurality of areas, and detect the infrared pattern in the area Arca. have.
  • control unit 670 detects the infrared (IR) signal from the transmission device 101c corresponding to the air conditioner 100c as the representative infrared (IR) signal, and corresponds to the detected representative infrared (IR) signal.
  • the air conditioner 100c may be checked or identified, and the remote control object for remote control of the air conditioner 100c may be displayed in response to the checked or identified air conditioner 100c.
  • the infrared camera 423aa captures the infrared image 1010b as shown in FIG. 3C. can do.
  • the controller 670 detects the infrared (IR) signal located at the center of the infrared (IR) image captured by the infrared camera as a representative infrared (IR) signal.
  • the apparatus may identify or identify a device corresponding to the detected representative infrared (IR) signal, and control to perform remote control on the identified or identified device.
  • the image display apparatus 100a and the corresponding transmitting apparatus 101a are located at the center of the image 1010b, and on the right side thereof, the set top box 100b and the corresponding transmitting apparatus 101b and the lighting apparatus are located on the right side.
  • 100d and a corresponding transmission apparatus 101d are disposed, and on the rightmost side, an air conditioner 100c and a corresponding transmission apparatus 101c are disposed, and on the left side of the image display apparatus 100a,
  • the robot cleaner 100e and the transmission apparatus 101e corresponding thereto are arranged.
  • the controller 670 may detect an infrared (IR) pattern region in which an infrared signal is output in the infrared image 1010b.
  • IR infrared
  • the controller 670 includes an area Arab including the transmission device 101a corresponding to the video display device 100a and an area Arbb including the transmission device 101b corresponding to the set-top box 100b. , Area Ardb including the transmission device 101d corresponding to the lighting device 100d, area Arcb including the transmission device 101c corresponding to the air conditioner, and transmission device 101c corresponding to the air conditioner 100c. And a transmitting apparatus 101a corresponding to the image display apparatus 100a, which is located at the center of the region Arcb including the region Arcb and the transmitting apparatus 101e corresponding to the robot cleaner 100e. Arab can be selected.
  • control unit 670 extracts an area Arab including the transmission device 101a corresponding to the video display device 100a located at the center of the plurality of areas, and extracts the area Arab from the area Arab.
  • An infrared (IR) pattern can be detected.
  • control unit 670 detects the infrared (IR) signal from the transmission device 101a corresponding to the video display device 100a as the representative infrared (IR) signal, and applies the detected representative infrared (IR) signal.
  • the image display apparatus 100a may be identified or identified, and the remote control object for remote control of the image display apparatus 100a may be displayed in correspondence with the image display apparatus 100a.
  • the above-described infrared ray pattern may be a concept including a time-based infrared ray pattern or a space-based infrared ray pattern.
  • the time-based infrared pattern may be a concept including a pattern of varying levels or varying duty for a predetermined time when the transmitting apparatus 101 transmits a level variable or duty-variable based infrared signal. have.
  • the controller 670 detects the level variable or duty variable based infrared pattern based on the plurality of captured infrared images.
  • the device can be identified based on the detected infrared pattern.
  • the space-based infrared pattern when the transmitting device 101 does not output the infrared signal itself, but the infrared reflection pattern is formed, the transmitting device 101 in the transmitting unit 421 of the mobile terminal 600. Since the infrared output signal Sout is output, and the infrared output signal Sout is selectively reflected by the infrared reflection pattern in the transmission apparatus 101, it may be a concept including the shape of the reflection pattern.
  • the controller 670 may be connected to the device 100a or the device in the infrared image in which at least one reflection pattern including the infrared reflection pattern reflected from the device 100a or the transmission apparatus 101a corresponding to the device is captured.
  • the infrared pattern reflected by the infrared reflecting pattern formed in the corresponding transmitting apparatus 101a can be detected, and the device 100a can be identified or identified based on the detected infrared pattern.
  • the controller 670 may include an infrared reflection pattern and an infrared absorption pattern formed in the device or the transmission apparatus corresponding to the device in the captured infrared image. Based on the detected infrared pattern, and based on the detected infrared pattern, the device can be identified.
  • FIG. 9B to FIG. 9D See FIG. 9B to FIG. 9D for time-based infrared pattern detection and FIG. 11B to FIG. 11F for space-based infrared pattern detection.
  • FIG. 9B illustrates that the transmission unit 106c of the transmission device 101c corresponding to the air conditioner 100c outputs the infrared identification signal IRc.
  • the infrared camera 423aa of the mobile terminal 600 may capture an infrared image including the transmission device 101c corresponding to the air conditioner 100c.
  • controller 670 may control the displayed remote control object to be changed when the device to be directed is changed. This will be described with reference to FIG. 16 and below.
  • FIG. 16 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention
  • FIGS. 17A to 27E are diagrams for describing an operating method of the mobile terminal of FIG. 16.
  • the receiver 423 of the mobile terminal 600 receives at least one identification signal (S1110).
  • control unit 670 of the mobile terminal 600 detects the first identification signal from at least one identification signal including the first identification signal (S1111). Then, the first device is identified based on the detected first identification signal (S1113).
  • the receiver 423 of the mobile terminal 600 receives at least one identification signal and at least one identification signal. From this, the first identification signal corresponding to the air conditioner from the air conditioner 100c or the transmission device 101c corresponding to the air conditioner 100c can be detected.
  • any one of the identification signals can be detected.
  • the control unit 670 of the mobile terminal 600 identifies or confirms whether it is an identification signal of the first device based on the detected first identification signal. For example, it may be confirmed that the identification signal of the first device is the identification signal pattern data stored in the memory 660.
  • the control unit 670 of the mobile terminal 600 controls to display the first remote control object for remote control of the first device (S1115).
  • the controller 670 of the mobile terminal 600 determines whether the first item is selected from the first remote control object (S1120), and if applicable, the first remote control signal corresponding to the first item. Control to transmit (S1125). Accordingly, the first device can be easily controlled remotely.
  • the receiving unit 423 of the mobile terminal 600 receives the at least one identification signal from the receiving unit 423 of the mobile terminal 600. (S1135).
  • the controller 670 of the mobile terminal 600 detects the second identification signal from at least one identification signal including the second identification signal (S1136). Then, the second device is identified based on the detected second identification signal (S1138).
  • the receiver 423 of the mobile terminal 600 receives at least one identification signal and at least one From the identification signal, the second identification signal corresponding to the video display device 100a from the video display device 100a or the transmission device 101a corresponding to the video display device 100a can be detected.
  • the control unit 670 of the mobile terminal 600 confirms or identifies whether it is an identification signal of the second device, based on the detected second identification signal.
  • the identification signal may be identified or identified as being the identification signal of the second device in comparison with the identification signal pattern data stored in the memory 660.
  • the control unit 670 of the mobile terminal 600 controls to display the second remote control object for remote control of the second device (S1140).
  • control unit 670 of the mobile terminal 600 determines whether the first item is selected from the second remote control object (S1145), and if applicable, the second remote control signal corresponding to the first item. Control to transmit (S1150). Accordingly, the second device can be easily controlled remotely.
  • FIG. 17A illustrates a case in which the mobile terminal 600 is directed toward the air conditioner 100c among various devices 100a, 100b, 100c, 100d, and 100e in the home.
  • the mobile terminal 600 receives the identification signal Sidc from the transmitter 101c corresponding to the air conditioner 100c. And, detecting the identification signal (Sidc) in at least one identification signal containing the identification signal (Sidc), based on the detected identification signal (Sidc), to confirm or identify that the target device is the air conditioner (100c)
  • the remote control object for the air conditioner 100c may be controlled to be displayed.
  • FIG. 17B illustrates a case where a menu item 203 is selected among remote control objects of the mobile terminal 600. Accordingly, the remote control signal Sremc corresponding to the menu item 203 is transmitted to the air conditioner 100c.
  • the mobile terminal 600 may match the menu item 203 to a wind intensity adjustment command for controlling the air conditioner.
  • the air conditioner 100c may output the cold wind 1103 in response to the wind intensity set according to the selection of the menu item 203.
  • FIG. 18A illustrates a case in which the mobile terminal 600 is directed toward the image display apparatus 100a among various devices 100a, 100b, 100c, 100d and 100e in the home.
  • the mobile terminal 600 receives the identification signal Sida from the transmitting device 101a corresponding to the video display device 100a. Then, the identification signal Sida is detected from at least one identification signal including the identification signal Sida, and based on the detected identification signal Sida, it is confirmed that the directed device is the image display apparatus 100a. It can be identified and controlled so that the remote control object for the image display apparatus 100a is displayed.
  • FIG. 18B illustrates a case where the menu item 203 is selected among the remote control objects of the mobile terminal 600. Accordingly, the remote control signal Srema corresponding to the menu item 203 is transmitted to the video display device 100a.
  • the menu object may be displayed at the bottom of the screen according to the selection of the menu item 203.
  • 19A illustrates a case in which the mobile terminal 600 is directed in the direction of the set top box 100b among various devices 100a, 100b, 100c, 100d and 100e in the home.
  • the mobile terminal 600 receives the identification signal Sidb from the transmitting device 101b corresponding to the set top box 100b. Then, the identification signal Sidb is detected from at least one identification signal including the identification signal Sidb, and based on the detected identification signal Sidb, the identification or identification of the directed device as the set-top box 100b is performed. And, the remote control object for the set-top box 100b can be controlled to be displayed.
  • FIG. 19B illustrates a case where a menu item 203 is selected among remote control objects of the mobile terminal 600.
  • the mobile terminal 600 may output an inoperable message 1311 as a sound. Accordingly, the user can recognize that the menu item is not operated.
  • FIG. 19C illustrates a case where a channel item 203a is selected among remote control objects of the mobile terminal 600.
  • the mobile terminal 600 may transmit a remote control signal (Sremb) related to the channel change to the set-top box 100b according to the selection of the channel item 203a.
  • a remote control signal Remb
  • the set-top box 100b may perform channel change and provide the channel-changed broadcast video image to the video display device 100a.
  • the broadcast video 1310 of CH36-1 displayed in FIG. 19B is changed, and the broadcast video 1315 of CH37-1 is displayed on the video display device 100a.
  • the controller 680 recognizes a difference in electrical conductivity formed on the display 680 and recognizes that the front case is open. Can be.
  • the remote control object 1301 different from the remote control object 750c of FIG. 19B can be controlled to be displayed.
  • the number of items of the remote control object 1301 displayed according to the opening of the front case is larger than the number of the remote control objects 750c displayed when the front case is closed as shown in FIG. 19B.
  • the remote control object 1301 is provided with air conditioner state information (current temperature information, target temperature information), a temperature setting item, a wind strength setting item, an operating time setting item, and the like.
  • the transmitting unit 432b of the mobile terminal 600 may output the remote control signal Sremcc to the air conditioner 100c.
  • the air conditioner 100c operates for a set driving time, and as illustrated in FIG. 19E, the cold air 1102 may be output.
  • 20A illustrates a case in which the mobile terminal 600 is directed toward the air conditioner 100c among various devices 100a, 100b, 100c, 100d and 100e in the home.
  • the mobile terminal 600 receives the identification signal Sidc from the transmitter 101c corresponding to the air conditioner 100c. And, detecting the identification signal (Sidc) in at least one identification signal containing the identification signal (Sidc), based on the detected identification signal (Sidc), to confirm or identify that the target device is the air conditioner (100c)
  • the remote control object for the air conditioner 100c may be controlled to be displayed.
  • the mobile terminal 600 when the device confirmation is completed, or the remote control object display is completed in the state that the mobile terminal 600 is directed toward the air conditioner (100c), as shown in the figure, "control the air conditioner
  • the air conditioner controllable message 311a such as ", may be output as a sound.
  • the user can recognize that the air conditioner control is possible.
  • FIG. 20B illustrates a case where the multi-device operation item 204 is selected from the remote control objects of the mobile terminal 600.
  • the multi-device operation item 204 may be called an IFTTT (If This, Then That) item.
  • the multi-device operation item 204 may be set to power on the air conditioner 100c and power on the image display apparatus 100a.
  • the mobile terminal 600 transmits a power-on signal as the first remote control signal Sremc1 to the air conditioner 100c, and the video display device 100a.
  • the power-on signal may be transmitted as the second remote control signal Srema1.
  • the air conditioner 100c may be turned on to output the cold wind 1103, and the image display apparatus 100a may be turned on to display the predetermined image 1315. Will be.
  • the multi-device function setting for the multi-device operation item 204 can be variously set by the user's selection.
  • the mobile terminal 600 supplies power to the air conditioner 100c as the first remote control signal Sremc1 and the second remote control signal Srema11. May be transmitted.
  • the air conditioner 100c may transmit a power-on signal, which is the second remote control signal Srema11, to the video display device 100a.
  • the directed device may receive a predetermined remote control signal and transmit a remote control signal corresponding to the multi-device operation item 204 to another device.
  • FIG. 21A illustrates a case in which the mobile terminal 600 is directed toward the image display apparatus 100a among various devices 100a, 100b, 100c, 100d and 100e in the home.
  • the mobile terminal 600 receives the identification signal Sida from the transmitting device 101a corresponding to the video display device 100a.
  • the identification signal Sida is detected from the at least one expression signal including the identification signal Sida, and the remotely controllable device is determined to be the image display apparatus 100a based on the detected identification signal Sida. Or, it may be identified and controlled to display a remote control object for the image display apparatus 100a.
  • FIG. 21B illustrates a case where the multi-device operation item 204 is selected from the remote control objects of the mobile terminal 600.
  • the multi-device operation item 204 may be set to power on the image display apparatus 100a and power on the lighting apparatus 100d. Can be.
  • the mobile terminal 600 transmits a power-on signal as the first remote control signal Srema2 to the video display device 100a and transmits the power-on signal to the lighting device 100d.
  • the power-on signal may be transmitted as the second remote control signal Sremd2.
  • the power of the image display apparatus 100a is turned on to display the predetermined image 1315, and the power of the lighting apparatus 100d is provided.
  • the light 1511 of the first color can be output.
  • 22A to 22C illustrate a method of remotely controlling a device corresponding to a user voice when a user voice is received through a microphone.
  • FIG. 22A shows a specific device, such as “two-story room lighting,” with the mobile terminal 600 not being directed to any of the devices 100a, 100b, 100c, 100d, 100r in front of it. It illustrates that a sound 1611 that refers to is received.
  • the microphone 623 of the mobile terminal 600 acquires a user voice including a predetermined device, and the controller 670 performs signal processing on the obtained user voice to extract and extract device information in the voice. It may be controlled to display an object for remote control of the device corresponding to the device information.
  • the controller 670 may perform a signal processing on the user's voice through a voice recognition algorithm to recognize a sound such as "room lighting on the second floor”.
  • the second-floor room lighting control such as "control the second-floor room lighting” can be performed as shown in the drawing.
  • Message 1612 may be output as sound. As a result, the user can recognize that the second floor room lighting control is possible.
  • FIG. 22C illustrates a case where a power item 202 is selected among remote control objects of the mobile terminal 600.
  • the controller 670 outputs a remote control signal Srem2 for turning on the second floor lighting device toward the AP device 300 according to the selection of the power item 202.
  • the AP device 300 may transmit a remote control signal Srem2 to the second-floor room lighting device 1605 connected to the wireless network.
  • the two-story room lighting device 1605 is turned on to output light 1606 of a predetermined color.
  • control unit 670 based on the reception of the infrared (IR) signal, the remote control signal output when the selection of the item set for the device remote control, and based on the voice recognition, of the item set for the device remote control
  • the type of remote control signal outputted at the time of selection can be set to be different.
  • the controller 670 may transmit the remote control signal output when the item set for the device remote control is selected based on the reception of the infrared (IR) signal so that the remote control signal is output based on the infrared (IR) signal.
  • the control unit 421 may control the transmitter 421 to output a remote control signal output upon selection of an item set for device remote control based on various communication protocols based on voice recognition.
  • the controller 670 when outputting the infrared (IR) -based remote control signal, for controlling a specific device, it is possible to control to output an infrared (IR) based remote control signal of a different pattern.
  • IR infrared
  • the mobile terminal 600 may further perform remote control by using various input methods such as voice recognition and gesture, in addition to the remote control object.
  • the mobile terminal 600 when the mobile terminal 600 is directed to a specific device, the mobile terminal 600 receives an identification signal through the receiver 423 and displays a remote control object for controlling the corresponding device so as to enable remote control of the corresponding device.
  • the remote control signal corresponding to the user voice may be transmitted to the device.
  • the controller 670 of the mobile terminal 600 may acquire a user voice through the microphone 623 within a predetermined time while the device identification is completed or the remote control object for remote control of the device is displayed. In this case, it may be controlled to transmit a remote control signal corresponding to the user voice to the device.
  • the controller 670 of the mobile terminal 600 when a user voice is obtained through the microphone 623 within a predetermined time in a state capable of remote control of the first device, the remote control signal corresponding to the user voice Can be controlled to send to the device. This will be described with reference to FIGS. 23A to 23C.
  • FIG. 23A illustrates a case in which the air conditioner 100c of the various devices 100a, 100b, 100c, 100d and 100e in the home can be remotely controlled by the mobile terminal 600 as shown in FIG. 20a.
  • Fig. 23B illustrates the case where there is a user voice, such as "23 ° C driving".
  • the microphone 623 of the mobile terminal 600 recognizes the user voice 1711, such as “operating at 23 ° C.”, and the controller 670 performs signal processing on the obtained user voice.
  • the controller 670 may control the remote control signal Sremcc corresponding to the “23 ° C. operation” 1711 to be output after the voice recognition signal processing.
  • the air conditioner 100c operates and the target temperature is set to 23 degreeC, and can operate.
  • the cold wind 1104 by driving is illustrated.
  • the control unit 670 of the mobile terminal 600 when the mobile terminal 600 receives the identification signal (Sid) from the device 100, the identification signal in at least one identification signal containing the identification signal (Sid) (Sid) can be detected, and when the detection of the identification signal (Sid) is completed, it can be controlled to output an identification signal detection completion message.
  • an identification signal detection completion message 1701 is output as sound.
  • the controller 670 of the mobile terminal 600 may perform device identification or identification based on the detected device identification signal Sidc. And, for remote control of the identified or identified device, the control command may be controlled to match at least one of the remote control objects.
  • controller 670 of the mobile terminal 600 may control to output a message 1702 indicating performing or performing item setting in the remote control object.
  • FIG. 24B illustrates that after the device identification signal Sidc, a message 1702 indicating performing or performing item setting in the remote control object is output as sound.
  • the controller 670 of the mobile terminal 600 may control to output the controllable message 1703 as illustrated in FIG. 24C.
  • the air conditioner controllable message 1703 is output as a sound.
  • an identification signal detection completion message 1704 is output as sound.
  • the controller 670 of the mobile terminal 600 may perform device identification or identification based on the detected device identification signal Side. And, for remote control of the identified or identified device, the control command may be controlled to match at least one of the remote control objects.
  • controller 670 of the mobile terminal 600 may control to output a message 1702 indicating performing or performing item setting in the remote control object.
  • FIG. 24E illustrates that after the device identification signal Side, a message 1705 indicating performing or performing item setting in the remote control object is output as sound.
  • the controller 670 of the mobile terminal 600 may control to output the controllable message 1706 as illustrated in FIG. 24F.
  • the robot cleaner controllable message 1706 is output as a sound.
  • control unit 670 controls the first control item to match a plurality of control commands to match the first item, and the gesture operation performed while selecting the first item according to the number of times of selection, the selection time, or the like.
  • a remote control signal corresponding to the corresponding control command among the plurality of control commands may be transmitted to the device according to the user's voice input while selecting the first item. This will be described with reference to FIGS. 25A to 25D.
  • 25A shows that when the menu item 203 is pressed for a Tx period while the mobile terminal 600 is capable of remotely controlling the air conditioner 100c, the menu item 203 is matched with a wind strength setting command, and the menu item ( According to the selection of 203, the air conditioner 100c illustrates that the wind intensity setting is performed. In the figure, cold wind 1103 corresponding to the set wind strength is output.
  • FIG. 25B illustrates that when the menu item 203 is pressed for a Ty period longer than the Tx period while the mobile terminal 600 is capable of remotely controlling the air conditioner 100c, the menu item 203 is set as an operation time setting command.
  • the air conditioner 100c illustrates that operation time setting is performed.
  • the controller 670 of the mobile terminal 600 controls the menu item 203 to match the air conditioner operation time setting command when the menu item 203 is pressed for a long time, such as during the Ty period, and operates the operation time setting message 1707. Can be controlled to be output.
  • FIG. 25C illustrates that the menu item 203 is selected while the mobile terminal 600 can remotely control the air conditioner 100c, and the mobile terminal 600 rotates clockwise.
  • the controller 670 of the mobile terminal 600 may extract a movement of the mobile terminal 600 based on a motion sensor 645 such as a gyro sensor or an acceleration sensor and match a control command corresponding to the movement. Can be.
  • a motion sensor 645 such as a gyro sensor or an acceleration sensor
  • the controller 670 of the mobile terminal 600 may control the control command corresponding to the target temperature increase to match according to the clockwise movement of the mobile terminal 600, and the target temperature increase message 1708 may sound. You can control the output to.
  • control command corresponding to the target temperature decrease is matched according to the counterclockwise movement of the mobile terminal 600.
  • the controller 670 of the mobile terminal 600 may control to match a control command corresponding to the target temperature decrease according to the counterclockwise movement of the mobile terminal 600, and the target temperature decrease message 1709 sounds. You can control the output to.
  • the control unit 670 of the mobile terminal 600 when the mobile terminal 600 receives the identification signal (Sid) from the device 100, the identification signal in at least one identification signal containing the identification signal (Sid) (Sid) can be detected, and when the detection of the identification signal (Sid) is completed, it can be controlled to output an identification signal detection completion message.
  • an identification signal detection completion message 1701 is output as sound.
  • the mobile terminal 600 may include a camera 621 which captures an image, and the controller 670 performs user authentication based on the image captured by the camera 621 and performs user authentication. If successful, it can be controlled to enable remote control of the device.
  • FIG. 26B illustrates that the camera 621 of the mobile terminal 600 is positioned in the direction of the face of the user 51.
  • the camera 621 may capture an image including a user face, and the controller 670 may perform user authentication based on the image captured by the camera 621.
  • the controller 670 compares the image captured by the camera 621 with the user face image data stored in the memory 660 to perform user authentication. Can be done.
  • FIG. 26C illustrates performing user authentication using a fingerprint recognition unit (not shown) of the mobile terminal 600.
  • the fingerprint recognition unit may capture the fingerprint of the finger 52. have.
  • the controller 670 may perform user authentication by comparing the fingerprint image data stored in the memory 660 with the captured fingerprint image data.
  • the controller 670 of the mobile terminal 600 may control the user authentication success message 1711 to be output as a sound, as shown in FIG. 26D.
  • the controller 670 of the mobile terminal 600 extracts user information based on the image captured by the camera 621 and directs the user information Suser to the device 100c as illustrated in FIG. 26E.
  • the control may be controlled to enable remote control of the device.
  • the controller 670 of the mobile terminal 600 may control the authentication completion message 1712 to be output as a sound from the device.
  • the controller 670 of the mobile terminal 600 may control the remote control of the device to be possible. As shown in FIG. 26F, the device control execution message 1713 for the authenticated user is performed. ) Can be controlled.
  • the controller 670 of the mobile terminal 600 may control to output an item setting guide message 1714 in the remote control object to at least some of the remote control objects, as shown in FIG. 26G.
  • the user can simply select the corresponding item for the desired operation.
  • the controller 670 of the mobile terminal 600 may perform setting of items in the customized driving remote control object according to user authentication, thereby increasing user convenience.
  • the controller 670 controls to enter the standby mode when there is no selection of a predetermined item for a predetermined time, and when the standby mode ends, for remote control of the immediately directed device, the remote control of the device It can be controlled to display a remote control object for control. This will be described with reference to FIGS. 27A to 27E.
  • FIG. 27A illustrates a case in which the mobile terminal 600 operates for controlling the air conditioner 100c.
  • the controller 670 of the mobile terminal 600 controls to enter a standby mode by limiting power in each unit.
  • only the sensing unit 640 and the wireless communication unit 610 may be controlled to operate.
  • the controller 670 of the mobile terminal 600 may control a message 1716 indicating the entry of the standby mode to be output as a sound as shown in the figure.
  • the controller 670 of the mobile terminal 600 may control the standby mode to end when the mobile terminal 600 moves, as shown in FIG. 27C, in the standby mode state.
  • the controller 670 of the mobile terminal 600 may control the standby mode end message 1917 to be output as a sound, as shown in the figure.
  • the controller 670 of the mobile terminal 600 may control the mobile terminal 600 to operate in order to control the air conditioner 100c immediately directed when the standby mode ends.
  • the controller 670 of the mobile terminal 600 may control the air conditioner controllable message 1917 to be output as sound, as shown in the figure.
  • the controller 670 of the mobile terminal 600 may initialize the standby mode at the end of the standby mode.
  • the controller 670 of the mobile terminal 600 may control the initialization message 1718 to be output as a sound, as illustrated in FIG. 27D.
  • the controller 670 of the mobile terminal 600 when the user authentication through the camera 621 of the mobile terminal 600 is performed, as shown in FIG. In addition, it may be controlled to perform remote control of the device. In addition, as illustrated in FIG. 27E, the controller 670 of the mobile terminal 600 may control the device controllable message 1725 based on user authentication to be output as sound.
  • FIG. 28 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention
  • FIGS. 29A to 30C are diagrams for describing a method of operating a mobile terminal of FIG. 28.
  • the receiver 423 of the mobile terminal 600 receives the first identification signal (S1710).
  • the reception unit 423 of the mobile terminal 600 corresponds to the air conditioner 100c or the air conditioner 100c.
  • the identification signal of the pattern corresponding to the air conditioner from 101c can be received.
  • the controller 670 of the mobile terminal 600 checks whether or not the identification signal of the first device is based on the first identification signal. For example, it may be confirmed that the identification signal of the first device is compared with the IR signal pattern stored in the memory 660.
  • the controller 670 of the mobile terminal 600 controls to display the first remote control object for remote control of the first device (S1715).
  • control unit 670 of the mobile terminal 600 is moved to the second device while the first item in the displayed remote control object is selected, or in a state directed toward the first device direction, within a predetermined time, Whether it is directed toward the second device direction is determined (S1720), and if applicable, the receiver 423 of the mobile terminal 600 receives the second identification signal (S1735).
  • the receiver 423 of the mobile terminal 600 may be the image display apparatus 100a or the image display apparatus 100a.
  • An identification signal of a pattern corresponding to the video display device 100a can be received from the transmission device 101a.
  • the controller 670 of the mobile terminal 600 checks whether or not the identification signal of the second device is based on the second identification signal. For example, it may be confirmed as being an identification signal of the second device, compared to the identification signal pattern stored in the memory 660.
  • the controller 670 of the mobile terminal 600 controls to display the second remote control object for remote control of the second device (S1740).
  • step 1720 the controller 670 of the mobile terminal 600 moves to the second device while the first item in the second remote control object is selected, or is directed toward the first device.
  • the first device information may be controlled to be transmitted to the second device (S1750).
  • the first device information may be transmitted as an IR signal or an RF signal.
  • the second device finally directed may use the first device information to perform a related operation.
  • one mobile terminal 600 as well as remotely controlling a plurality of devices, it is possible to perform the associated operation, it is possible to increase the user's ease of use.
  • control unit 670 of the mobile terminal 600 is moved to the second device while the first item is selected from the set items, or in a state directed toward the first device direction, within a predetermined time, the second device When directed in the direction, it may be controlled to transmit the pointing information of the mobile terminal 600 as an RF signal.
  • FIG. 29A illustrates a case in which the mobile terminal 600 is directed toward the air conditioner 100c among various devices 100a, 100b, 100c, 100d and 100e in the home.
  • the mobile terminal 600 receives an IR signal that is an identification signal Sidec from the transmitting device 101c corresponding to the air conditioner 100c.
  • the device information on the air conditioner 100c may be extracted based on the IR signal as the identification signal Sidec. Then, the remote control object for the air conditioner 100c may be displayed based on the extracted device information.
  • the mobile terminal 600 in the state where the mobile terminal 600 is directed toward the air conditioner 100c, when the device check is completed or the item setting is completed, as shown in the figure, an air conditioner such as "control the air conditioner"
  • the controllable message 311a may be output as a sound. As a result, the user can recognize that the air conditioner control is possible.
  • FIG. 29B illustrates the direction in which the mobile terminal 600 is directed while the confirmation item 207 is selected in the remote control object 750c displayed on the mobile terminal 600 in the air conditioner 100c. Example of moving to).
  • the mobile terminal 600 receives an IR signal from the transmitting device 101a corresponding to the video display device 100a. Then, the device information on the image display device 100a can be extracted based on the IR signal. Based on the extracted device information, the remote control object for the image display apparatus 100a may be displayed.
  • the controller 670 of the mobile terminal 600 is directed toward the mobile terminal 600 while the confirmation item 207 of the mobile terminal 600 is selected while the image display apparatus 100a is turned off.
  • the power-on signal Spon may be controlled to be transmitted to the image display apparatus 100a. Accordingly, when the directing direction of the mobile terminal 600 moves from the air conditioner 100c to the video display device 100a, the power of the video display device 100a may be automatically turned on.
  • the control unit 670 of the mobile terminal 600 while the confirmation item 207 of the mobile terminal 600 is selected, the directing direction of the mobile terminal 600, the image display device 100a in the air conditioner (100c)
  • the information Shd1 of the air conditioner 200c may be controlled to be transmitted as an IR signal or an RF signal.
  • the memory 660 of the mobile terminal 600 may store usage history information of the mobile terminal 600, and the controller 670 of the mobile terminal 600 may store information on the air conditioner 100c identified in FIG. 29A. May be controlled to be transmitted to the image display apparatus 100a.
  • the controller 670 of the mobile terminal 600 may control to transmit state information, device information, and the like for the air conditioner 100c to the image display apparatus 100a.
  • the video display device 100a can check state information, device information, and the like for the air conditioner 100c.
  • the control unit 670 of the mobile terminal 600 while the confirmation item 207 of the mobile terminal 600 is selected, the directing direction of the mobile terminal 600, the image display device 100a in the air conditioner (100c) When moving to, as shown in FIG. 29D, the mobile terminal 600 may control to transmit the pointing information Spot as an RF signal.
  • control unit 670 of the mobile terminal 600 receives IR signals from a plurality of devices or transmission apparatuses corresponding to the devices, x, y, You can calculate absolute coordinates, such as the z axis.
  • control unit 670 of the mobile terminal 600 uses the IR signal, the gyro sensor information and the acceleration sensor information in the sensing unit 640 from a transmission device corresponding to a plurality of devices or devices. According to the movement of 600, absolute coordinates such as the x, y, and z axes may be calculated.
  • the controller 670 of the mobile terminal 600 moves toward the video display device 100a while pointing to another device and selecting the confirmation item 207 in the displayed remote control object 750c.
  • the pointing information Spot which has been calculated inside, is transferred to the video display device 100a as an RF signal. Can be controlled to transmit.
  • the interface unit (not shown) of the image display apparatus 100a receives the pointing information Spot from the mobile terminal 600, and the control unit 170 of the image display apparatus 100a receives the pointing information. Based on the spot, the pointer 205 indicating the movement direction of the mobile terminal may be controlled to be displayed on the display 180.
  • FIG. 29E illustrates that an arrow-shaped pointer 205 is moved and displayed on the display 180 as the air conditioner 100c of the mobile terminal 600 moves toward the video display device 100a.
  • remote control of the image display apparatus 100a can be performed immediately.
  • the user can move the pointer 205 through the mobile terminal 600, so that various input operations can be easily performed.
  • FIG. 29F illustrates that the air conditioner-shaped pointer 1805 is moved and displayed on the display 180 as the air conditioner 100c of the mobile terminal 600 moves toward the image display device 100a.
  • the mobile terminal 600 transmits information Shd1 related to the air conditioner, and as shown in FIG. 29D, the mobile terminal 600 transmits pointing information Spot, so that the controller of the image display apparatus 100a is controlled.
  • the control unit 170 may control the display 180 to display an air conditioner-shaped pointer 1805 indicating a movement direction of the mobile terminal using the pointing information Spot and the information Shd1 related to the air conditioner.
  • the user can intuitively recognize that the device previously remotely controlled is an air conditioner.
  • the video display device It is also possible to display the remote control object 1820 for controlling the air conditioner remotely in 100a.
  • the controller 170 of the image display apparatus 100a may control the remote control object 1820 for remote control of the air conditioner. ) May be generated and controlled to be displayed as shown in FIG. 29G.
  • the air conditioner operation state information (for example, the current temperature, target temperature information, etc.) is included in the information Shd1 related to the air conditioner, the remote control object 1820, the state information, and the remote Control items and the like.
  • the present temperature and the target temperature are displayed in the remote control object 1820, the temperature setting item (+,-), the wind intensity setting item (strong, medium, or weak), and the operation time setting item (30 minutes, 1). Hours, 2 hours), and the like.
  • the remote control object 1820 may be displayed when the user's touch on the confirmation item 207 in the remote control object 750c displayed on the mobile terminal 600 ends.
  • the pointers 205 and 1805 are displayed.
  • the remote control object 1820 as illustrated in FIG. 29G, may be further displayed.
  • the control unit 670 of the mobile terminal 600 when the user's touch to the confirmation item 207 is terminated while the mobile terminal is directed to the image display apparatus 100a, the confirmation item operation termination information May be transmitted to the image display apparatus 100a.
  • the controller 170 of the image display apparatus 100a may control the remote control object 1820 to be displayed based on the confirmation item operation termination information. Although not shown in the drawing, the pointer 205 of FIG. 29E or the pointer 1805 of FIG. 29F may also be displayed.
  • FIG. 29H illustrates a case where an operation time setting item 1821 in the remote control object 1820 is selected.
  • the operation time setting item 1821 may be selected by the pointer 205 or 1805 and the confirmation item 207.
  • the predetermined item is preferably selected based on the pointing information of the mobile terminal 600 and the operation of the confirmation item 207.
  • the mobile terminal 600 transmits a related remote control signal to the video display device 100a, and thus, among the wheel items 206.
  • the channel may be changed according to the up and down direction operation, or the volume may be changed according to the left and right direction operation among the wheel items 206.
  • the video display device 100a outputs an IR signal based remote control signal Srema for controlling the air conditioner 101c as shown in FIG. 29I. can do. Accordingly, the operation time setting in the air conditioner 101c is performed.
  • the video display device 100a may display the first remote control signal rem1 based on an IR signal for controlling the air conditioner 101c as shown in FIG. 29J. May be output to the mobile terminal 600.
  • the mobile terminal 600 may receive this and output a second remote control signal rem2 based on an IR signal for controlling the air conditioner 101c.
  • the air conditioner 101c may perform the operation time setting based on the second remote control signal rem2.
  • 30A to 30C are diagrams for explaining that the mobile terminal 600 is directed toward the illumination device 100d while moving toward the video display device 100a and operating the confirmation item 207.
  • a broadcast image 1315 is displayed on the image display apparatus 100a.
  • the mobile terminal 600 faces the image display apparatus 100a and then faces the illumination apparatus 100d. If so, the mobile terminal 600 receives the IR signal from the transmitting device 101d corresponding to the lighting device 100d. And, based on the IR signal, it is possible to extract the device information for the lighting device (100d). Then, the remote control object for the lighting apparatus 100d may be displayed based on the extracted device information.
  • the control unit 670 of the mobile terminal 600 while the confirmation item 207 of the mobile terminal 600 is selected, the directing direction of the mobile terminal 600 is the illumination device 100d in the image display apparatus 100a. ),
  • the information Shd2 of the video display device 100a may be transmitted as an IR signal or an RF signal as shown in FIG. 30B.
  • the memory 660 of the mobile terminal 600 may store usage history information of the mobile terminal 600, and the control unit 670 of the mobile terminal 600 may be connected to the image display apparatus 100a identified in FIG. 30A. Information may be controlled to be transmitted to the lighting apparatus 100d.
  • the controller 670 of the mobile terminal 600 may control to transmit channel information, program information, mood information, and the like for the broadcast image currently being broadcast to the lighting apparatus 100d.
  • the illumination device 100d can check the channel information, the program information, the mood information, and the like.
  • the lighting apparatus 100d may output light 1511 having a predetermined color based on the received information Shd2, in particular, mood information about the image display apparatus 100a. Accordingly, the lighting suitable for the broadcast video can be easily set.
  • weather information may be displayed on the image display device 100a.
  • the weather information is information received from an external server, and the mobile terminal 600 may transmit the image display apparatus 100a or the image display apparatus 100a may be connected to the server and received.
  • the transmission device when the transmission device is attached to the window, when the mobile terminal 600 is directed toward the window and then directed to the air conditioner 100c, the temperature control device 100h, or the air cleaner 101e, the air conditioner 100c. , The temperature control device 100h or the air cleaner 101e may automatically perform the operation corresponding to the weather information.
  • the transmission device when the transmission device is attached to the window, when the mobile terminal 600 is directed toward the window and then directed to the lighting device 100d, light of a color corresponding to weather information is transmitted from the lighting device 100d. Can be output.
  • the robot cleaner 100e may automatically move near the other device or near the directed ground. You can clean it.
  • the mobile terminal 600 faces the robot cleaner 100e and then the image display device 100a, cleaning history information of the robot cleaner 100e, home guide information during the home guide operation, and the like, It may be displayed on the image display apparatus 100a.
  • the image display apparatus may include filter replacement cycle information, power consumption information, power price information, and the like as state information. It may be displayed at 100a.
  • the filter information may include filter replacement period information, power consumption information, and power price information as image information. It may be displayed on the device 100a.
  • the mobile terminal 600 when the mobile terminal 600 is directed toward the refrigerator 100f and then toward the image display device 100a, as the status information, food list information in the refrigerator, operation state information of the refrigerator, power consumption information, and the like may be used. It may be displayed on the image display apparatus 100a.
  • a transmitting device when attached to a telephone (not shown), when the mobile terminal 600 faces the telephone (not shown) and then the image display apparatus 100a, recently received call list information and a call Time information or the like may be displayed on the image display apparatus 100a.
  • FIG. 31 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention
  • FIGS. 32A to 32C are diagrams for describing an operating method of the mobile terminal of FIG. 31.
  • 31 illustrates a case in which the mobile terminal 600 wakes up and sets a control command for the mobile terminal to which the mobile terminal 600 is directed.
  • the controller 670 of the mobile terminal 600 determines whether the mobile terminal 600 moves (S3010).
  • the controller 670 of the mobile terminal 600 may determine whether the mobile terminal 600 moves based on sensor information from a motion sensor 645 such as a gyro sensor or an acceleration sensor in the sensing unit 640. Can be.
  • a motion sensor 645 such as a gyro sensor or an acceleration sensor in the sensing unit 640. Can be.
  • the controller 670 of the mobile terminal 600 may control each unit of the mobile terminal 600 to wake up (S3015). For example, it can be controlled to supply power to each unit.
  • the controller 670 of the mobile terminal 600 may control each unit of the mobile terminal 600 to wake up.
  • the receiver 423 of the mobile terminal 600 receives at least one identification signal (S3020).
  • the control unit 670 of the mobile terminal 600 detects the identification signal from the corresponding device 100 or the transmission apparatus 101 corresponding to the device from the received at least one identification signal (S3023).
  • the controller 670 of the mobile terminal 600 may search a database in the memory 660 for comparison with the detected identification signal (S3025).
  • the device may be identified or confirmed by comparing the received identification signal with pre-stored identification signal data.
  • the controller 670 of the mobile terminal 600 determines whether the identified device is an infrared (IR) -based device (S3035), and if applicable, controls to display an infrared (IR) signal-based object. It may be (S3040).
  • IR infrared
  • the controller 670 of the mobile terminal 600 may control to display an object based on a communication protocol other than the infrared (IR) (S3045).
  • the signal other than infrared (IR) may be any one of a radio frequency (RF) signal, a Wi-Fi signal, a ZigBee signal, a Bluetooth signal, a laser signal, and a UWB (Ultra Wideband) signal. Can be.
  • RF radio frequency
  • Wi-Fi Wireless Fidelity
  • ZigBee Wireless Fidelity
  • Bluetooth Wireless Fidelity
  • laser a laser
  • UWB Ultra Wideband
  • 32A to 32C illustrate a mobile terminal 600, an image display apparatus 100a which is an infrared (IR) based device, and a smart plug 100i that is a signal based device other than infrared (IR), and a smart light bulb.
  • IR infrared
  • a smart plug 100i that is a signal based device other than infrared (IR)
  • a smart light bulb 100d and the gate 400 are illustrated.
  • 32A illustrates that the mobile terminal 600 faces the video display device 100a.
  • the controller 670 of the mobile terminal 600 may perform device identification based on the identification signal Sida from the transmission apparatus 101a corresponding to the image display apparatus 100a.
  • at least one of the remote control objects may be controlled to display an infrared (IR) signal-based object. Accordingly, when any one item of the remote control object is selected, an infrared (IR) based remote control signal Srema may be output.
  • IR infrared
  • the remote control signal Srema from the mobile terminal 600 may be directly transmitted to the image display apparatus 100a or may be transmitted to the image display apparatus 100a via the gateway 400.
  • the mobile terminal 600 when the mobile terminal 600 is directed to the smart light bulb 100d or the smart plug 100i, the mobile terminal 600 is based on the received identification signal Sidd or Sidi.
  • the controller 670 of the 600 may control at least one of the remote control objects to display an object based on a signal other than infrared (IR). Accordingly, when any one item of the remote control object is selected, a remote control signal (Sremd or Sremi) based on a signal other than infrared (IR) may be output.
  • the remote control signal Sremd or Sremi based on a signal other than the output IR may be transmitted to the smart plug 100i or the smart light bulb 100d via the gateway 400.
  • FIG 33 is a flowchart illustrating an example of a method of operating a mobile terminal according to another embodiment of the present invention.
  • the controller 670 of the mobile terminal 600 may identify a device based on the received identification signal (S3310).
  • control unit 670 of the mobile terminal 600 determines whether a control command for the identified device exists in the memory 660 (S3315). If present, the control command may be matched to at least one of the remote control objects based on the control command stored in the memory 660.
  • control unit 670 of the mobile terminal 600 may control to transmit a device control command request (S3320).
  • the gateway 400 may receive a device control command request (S3325) and may transmit a device control command request to the server 700 via the network 550 (S3330).
  • the device control command request may be transmitted to a server related to the infrared (IR) based device.
  • a device control command request may be transmitted to a server related to the RF based device.
  • the device control command request may be transmitted to a server associated with the smart device.
  • the gateway 400 may receive a device control command from the server 700 (S3335).
  • the device control command may be updated. That is, it may be stored in the server 700.
  • the gateway 400 may transmit a device control command (S3345).
  • the mobile terminal 600 may receive a device control command from the gateway 400 (S3350).
  • the device control command may be updated. That is, it may be stored in the memory 660 in the mobile terminal 600.
  • the mobile terminal 600 may match the control command to at least one of the remote control objects immediately after receiving the device control command from the gateway 400 and updating the device control command.
  • the operating method of the mobile terminal of the present invention it is possible to implement as a processor-readable code on a processor-readable recording medium provided in the mobile terminal.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기에 관한 것이다. 본 발명의 실시예에 따른 이동 단말기는, 디스플레이와, 적어도 하나의 디바이스 또는 디바이스에 대응하는 송신 장치로부터의, 적어도 하나의 디바이스 식별 신호를 수신하는 수신부와, 수신된 적어도 하나의 디바이스 식별 신호에서 원격 제어 가능한 디바이스의 식별 신호를 검출하고, 검출된 식별 신호에 기초하여, 디바이스의 원격 제어를 위한 제어 명령 정보를 추출하고, 추출된 제어 명령 정보에 기초하여, 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 제어부와, 원격제어 오브젝트 내의 소정 항목이 선택되는 경우, 선택된 항목에 대응하는 원격제어신호를 송신하는 송신부를 포함한다.이에 의해, 복수의 디바이스에 대한 원격제어를 수행할 수 있게 된다.

Description

복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
본 발명은, 복수의 디바이스들을 식별하고, 식별된 디바이스의 원격제어를 수행할 수 있는 이동 단말기에 관한 것이다.
이동 단말기는 휴대가 가능하면서 음성 및 영상 통화를 수행할 수 있는 기능, 정보를 입·출력할 수 있는 기능 및 데이터를 저장할 수 있는 기능 등을 하나 이상 갖춘 휴대용 기기이다. 이러한 이동 단말기는 그 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷, 메시지 송수신 등과 같은 복잡한 기능들을 갖추게 되었으며, 종합적인 멀티미디어 기기(multimedia player) 형태로 구현되고 있다. 이러한 멀티미디어 기기의 형태로 구현된 이동 단말기는, 복잡한 기능을 구현하기 위해 하드웨어나 소프트웨어적 측면에서 새로운 시도들이 다양하게 적용되고 있다.
본 발명의 목적은, 복수의 디바이스들을 식별하고, 식별된 디바이스의 원격제어를 수행할 수 있는 이동 단말기를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 이동 단말기는, 디스플레이와, 적어도 하나의 디바이스 또는 디바이스에 대응하는 송신 장치로부터의, 적어도 하나의 디바이스 식별 신호를 수신하는 수신부와, 수신된 적어도 하나의 디바이스 식별 신호에서 원격 제어 가능한 디바이스의 식별 신호를 검출하고, 검출된 식별 신호에 기초하여, 디바이스의 원격 제어를 위한 제어 명령 정보를 추출하고, 추출된 제어 명령 정보에 기초하여, 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 제어부와, 원격제어 오브젝트 내의 소정 항목이 선택되는 경우, 선택된 항목에 대응하는 원격제어신호를 송신하는 송신부를 포함한다.
본 발명의 일실시예에 따르면, 이동 단말기는, 디스플레이와, 적어도 하나의 디바이스 또는 디바이스에 대응하는 송신 장치로부터의, 적어도 하나의 디바이스 식별 신호를 수신하는 수신부와, 수신된 적어도 하나의 디바이스 식별 신호에서 원격 제어 가능한 디바이스의 식별 신호를 검출하고, 검출된 식별 신호에 기초하여, 디바이스의 원격 제어를 위한 제어 명령 정보를 추출하고, 추출된 제어 명령 정보에 기초하여, 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 제어부와, 원격제어 오브젝트 내의 소정 항목이 선택되는 경우, 선택된 항목에 대응하는 원격제어신호를 송신하는 송신부를 포함함으로써, 복수의 디바이스에 대한 원격제어를 수행할 수 있게 된다.
특히, 디바이스 방향으로 지향되는 경우, 디바이스 또는 디바이스 주변의 송신 장치로부터 송신되는 식별 신호에 기초하여, 디바이스를 확인 또는 식별할 수 있으며, 그에 따라, 해당 디바이스에 대응하는 원격제어 오브젝트 내의 소정 항목에 제어 명령을 설정함으로써, 간편하게, 복수의 디바이스에 대한 원격제어를 수행할 수 있게 된다.
도 1은 본 발명의 실시예에 따른 디바이스 원격제어시스템을 도시한 도면이다.
도 2는 디바이스 별 이동 단말기 또는 원격제어화면을 예시하는 도면이다.
도 3a 내지 도 3f는 도 1의 이동 단말기의 지향 방향에 따라 제어되는 디바이스의 종류가 가변되는 것을 예시하는 도면이다.
도 4a 내지 도 4c는 도 1의 이동 단말기에 장착되는 이동 단말기 케이스를 도시한 도면이다.
도 5a 내지 도 5b는 이동 단말기의 전면 케이스가 닫힌 경우와 열린 경우를 도시한 도면이다.
도 6은 도 1의 이동 단말기의 내부 블록도이다.
도 7은 도 1의 송신 장치의 내부 블록도의 일예이다.
도 8은 본 발명의 일 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이다
도 9a 내지 도 9l은 도 8의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
도 10은 본 발명의 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이다.
도 11a 내지 도 11p는 도 10의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
도 12a 내지 도 12c는 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 다양한 예를 보여주는 순서도이다.
도 13a 내지 도 13g는 도 12a 내지 도 12c의 동작방법의 설명에 참조되는 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이다.
도 15a 내지 도 15b는 도 14의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
도 16은 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이다.
도 17a 내지 도 27e는 도 16의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
도 28은 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이다.
도 29a 내지 도 30c는 도 28의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
도 31은 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이다.
도 32a 내지 도 32c는 도 31의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
도 33은 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 실시예에 따른 디바이스 원격제어시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 의한, 디바이스 원격제어시스템(10)은, 이동 단말기(600), 복수의 디바이스들(100a,100b,100c,100d,100e,100f,100g,100h), 및 각 디바이스 내에 장착되거나, 디바이스 주변에 배치되는 송신 장치(101a,101b,101c,101d,101e,101f,101g,101h)를 포함할 수 있다.
한편, 디바이스 원격제어시스템(10)은, 게이트 웨이(400), 서버(700a,...,700n) 등을 더 포함할 수 있다.
도면에서는, 디바이스(device)의 예로, TV와 같은 영상표시장치(100a), 셋탑 박스(100b), 에어컨(100c), 조명 장치(100d), 로봇 청소기(100e), 냉장고(100f), 공기 청정기(100g), 온도조절장치(100h) 등을 예시하나, 그 외 다양한 예가 가능하다. 한편, 도면에 도시된 디바이스는, 홈 디바이스(home device)라고 명명할 수도 있다.
예를 들어, 디바이스(device)로, 세탁기, 광디스크 재생장치, 게임 기기, 가스 밸브, 보안 카메라 등의 보안 장치, 전자식으로 개폐되는 도어(door), 전자식으로 개폐되는 창문, 음향출력기기, 게임 기기, 전자 액자, 에너지 저장장치(ESS), 디지털 카메라, 향기 발생 장치, 차량(vehicle), 드론(drone) 등이 더 예시될 수 있다.
이하에서는, 도면에 도시된 디바이스들 위주로 설명한다.
각 송신 장치(101a,101b,101c,101d,101e,101f,101g,101h)는, 다른 디바이스와의 식별을 위해, 디바이스 식별(ID) 신호를 송신할 수 있다.
디바이스 식별 신호는, 각 디바이스에 대한, 디바이스 종류 정보, 제조사 정보, 디바이스 모델명 정보, 디바이스 상태 정보, 디바이스 제어 명령과 관련된 정보 중 적어도 하나를 포함할 수 있다.
한편, 디바이스 상태 정보는 디바이스의 온/오프 상태, 디바이스 동작 시의 동작 값 상태 등을 포함할 수 있다.
또는, 디바이스 식별 신호는, 각 디바이스의 식별이 가능하도록, 설정된 특정 신호일 수 있다. 예를 들어, 시간 기반의 패턴 신호, 또는 공간 기반의 패턴 신호일 수 있다. 보다 구체적으로, 디바이스 식별 신호는, 시간 기반의 적외선 패턴 신호, 또는 공간 기반의 적외선 패턴 신호일 수 있다.
한편, 각 송신 장치(101a,101b,101c,101d,101e,101f,101g,101h)는, 지향되는 이동 단말기(600)에서 출력되는 출력 신호를 반사하여, 디바이스 식별(ID) 신호를, 이동 단말기(600) 방향으로 송신할 수도 있다.
한편, 디바이스 식별 신호는, 지향성이 좋은 신호로서, 적외선(Infra Red) 신호, RF(Radio Frequency) 신호, 와이파이 (Wi-Fi)신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호, UWB(Ultra Wideband) 신호 중 어느 하나일 수 있다.
이동 단말기(600)는, 각 송신 장치(101a,101b,101c,101d,101e,101f,101g,101h)로부터의, 복수의 식별 신호를 수신할 수 있다.
이때, 이동 단말기(600)가, 복수의 디바이스들(100a,100b,100c,100d,100e,100f,100g,100h) 중 어느 하나, 또는, 복수의 송신 장치(101a,101b,101c,101d,101e,101f,101g,101h) 중 어느 하나에 지향되는 경우, 이동 단말기(600)는, 수신되는 적어도 하나의 식별 신호 중 하나의 식별 신호를, 대표 식별 신호로서 검출할 수 있다.
그리고, 이동 단말기(600)는, 검출된 식별 신호 또는 대표 식별 신호에 대한 신호 처리를 수행하고, 검출된 식별신호 내에 포함되는 디바이스 종류 정보, 제조사 정보, 디바이스 모델명 정보, 디바이스 상태 정보, 디바이스 제어 명령과 관련된 정보 중 적어도 하나에 기초하여, 식별 신호에 대응하는, 디바이스를 확인 또는 식별할 수 있다.
또는, 이동 단말기(600)는, 검출된 식별 신호 또는 대표 식별 신호와, 이동 단말기(600)에 기 저장된 식별 신호와 관련된 데이터를 비교하여, 디바이스를 확인 또는 식별할 수 있다.
그리고, 이동 단말기(600)는, 확인된 디바이스 원격 제어를 위한, 원격제어 오브젝트를 표시하도록 제어할 수 있다.
그리고, 디바이스 제어를 위한, 원격제어 오브젝트 표시 이후, 원격제어 오브젝트 중 어느 한 항목이 사용자에 의해 선택되는 경우, 이동 단말기(600)는, 선택된 항목에 대응하는 신호, 즉 원격제어신호를 출력, 송신할 수 있다.
예를 들어, 이동 단말기(600)가, 에어컨(100c)을 지향하는 경우, 이동 단말기(600)는, 원격제어 오브젝트 중 제1 항목을, 에어컨에 대한 바람 세기 조정을 위한, 원격제어 오브젝트가 표시되도록 제어하고, 제1 항목의 동작시, 에어컨에 대한 바람 세기 조정과 관련된 원격제어신호를 출력, 송신할 수 있다.
결국, 이동 단말기(600)는, 제1 디바이스 방향으로 지향되는 경우, 제1 디바이스로부터의 수신된 제1 식별 신호를 검출하고, 검출된 제1 식별 신호에 기초하여, 제1 디바이스의 원격 제어를 위한, 제1 원격제어 오브젝트를 표시하도록 제어하고, 제2 디바이스 방향으로 지향되는 경우, 수신된 제2 식별 신호를 검출하고, 검출된 제2 식별 신호에 기초하여, 제2 디바이스의 원격 제어를 위한, 제2 원격제어 오브젝트를 표시하도록 제어할 수 있다.
이에 따라, 하나의 이동 단말기(600)로, 다양한 디바이스에 대한 원격제어가 가능하게 된다.
즉, 이동 단말기(600)의 지향 방향에 따라, TV와 같은 영상표시장치(100a), 셋탑 박스(100b), 에어컨(100c), 조명 장치(100d), 로봇 청소기(100e), 냉장고(100f), 공기 청정기(100g), 온도조절장치(100h) 등이 각각 원격제어가 가능하게 된다.
한편, 이동 단말기(600)에서 출력되는 원격제어신호는, 적외선(Infra Red) 신호, RF(Radio Frequency) 신호, 와이파이 (Wi-Fi)신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호, UWB(Ultra Wideband) 신호 중 어느 하나일 수 있다.
한편, 이동 단말기(600)는, 각 디바이스에 대한 원격 제어를 위해, 원격제어 오브젝트 중 적어도 일부에 대한, 제어 명령 정보를, 게이트 웨이(400)로부터, 수신할 수 있다.
또는, 이동 단말기(600)는 각 디바이스에 대한 원격 제어를 위해, 원격제어 오브젝트 중 적어도 일부에 대한, 제어 명령 정보를, 게이트 웨이(400)로, 송신할 수도 있다.
특히, 게이트 웨이(400)는, 네트워크(550)를 통해, 외부 서버(700a,...,700n) 등으로 부터, 각 디바이스에 대한 원격 제어를 위해, 원격제어 오브젝트 중 적어도 일부에 대한, 제어 명령 정보를, 수신할 수 있다.
이때의 외부 서버(700a,...,700n)는, 각 디바이스 제조사가 운영하는 서버, 또는 각 디바이스에 대한 정보를 저장하는 서버 등일 수 있다.
도 2는 디바이스 별 이동 단말기 또는 원격제어화면을 예시하는 도면이다.
도면을 참조하면, 도 2는, 영상표시장치용 이동 단말기(201a), 광디스크 플레이어용 이동 단말기(201b), 에어컨용 이동 단말기(201c), 로봇 청소기용 이동 단말기(201d)를 예시한다.
도 2와 같이, 각각의 전자 기기를 원격제어하기 위해, 서로 다른 코드가 할당된, 이동 단말기 등이 사용되는 경우, 이동 단말기의 개수가 많아져, 사용자가 사용하기 불편함이 있다.
본 발명에서는, 보다 간편하게, 복수의 디바이스 들에 대한 원격제어가 가능한, 이동 단말기를 제시한다.
도 3a 내지 도 3f는 도 1의 이동 단말기의 지향 방향에 따라 제어되는 디바이스의 종류가 가변되는 것을 예시하는 도면이다.
도 3a는, 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 에어컨(100c) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 에어컨(100c)에 대응하는 송신 장치(101c)로부터의 식별 신호를 포함한 적어도 하나의 식별 신호를 수신한다. 그리고, 이동 단말기(600)는, 수신된 적어도 하나의 식별 신호에서, 식별 신호를 검출하고, 검출된 식별 신호에 기초하여, 원격 제어 가능한 디바이스가, 에어컨(100c)인 것을 확인 또는 식별할 수 있다.
예를 들어, 이동 단말기(600)는, 검출된 식별 신호 내에, 디바이스 종류 정보, 제조사 정보, 디바이스 모델명 정보 중 적어도 하나가 포함되는 경우, 식별 신호에 대한 신호 처리를 수행하여, 디바이스 종류 정보, 제조사 정보, 디바이스 모델명 정보 중 적어도 하나를 추출하고, 추출된 디바이스 종류 정보, 제조사 정보, 디바이스 모델명 정보 중 적어도 하나에 기초하여, 식별 신호에 대응하는, 디바이스를 확인 또는 식별할 수 있다.
다른 예로, 이동 단말기(600)는, 수신, 검출되는 식별 신호가, 각 디바이스의 식별이 가능하도록, 설정된 특정 신호인 경우, 수신, 검출되는 식별 신호와, 메모리(660)에 저장된 식별 신호와 관련된 데이터와 비교하여, 디바이스를 확인 또는 식별할 수 있다.
보다 구체적으로, 수신, 검출되는 식별 신호가, 시간 기반의 패턴 신호인 경우, 이동 단말기(600)는, 메모리(660)에 저장된 시간 기반의 패턴 신호 관련 데이터와, 수신된 패턴 신호를 비교하여, 디바이스를 확인 또는 식별할 수 있다.
또는, 수신, 검출되는 식별 신호가, 공간 기반의 패턴 신호인 경우, 이동 단말기(600)는, 메모리(660)에 저장된 공간 기반의 패턴 신호 관련 데이터와, 수신된 패턴 신호를 비교하여, 디바이스를 확인 또는 식별할 수 있다.
그리고, 이동 단말기(600)는, 지향되는 디바이스가 에어컨(100c)인 것으로 식별한 이후, 에어컨(100c)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
한편, 이동 단말기(600)는, 식별 신호 검출에 기초하여, 디바이스 식별이 완료되거나, 원격제어 오브젝트 표시가 완료되는 경우, 디바이스 제어 가능 메시지(311a)를 사운드로 출력하거나, 이동 단말기(600)에 포함된 LED를 소정 시간 동안 발광하거나, 진동 출력 등을 할 수 있다. 이에 의해, 사용자는, 에어컨 제어가 가능함을 인식할 수 있게 된다. 한편, 도면 3a에서는 "에어컨을 제어합니다"와 같은 에어컨 제어 가능 메시지(311a)를 사운드로 출력하는 것을 도시한다.
또는, 사용자의 이용 편의를 위해, 이동 단말기(600)에 의해 식별이 완료거나, 제어가 가능한 디바이스는, 디바이스 또는 송신장치에 포함되어 있는 LED를 소정시간 동안 발광하거나, 디바이스 또는 송신장치에 포함되어 있는 음향장치에서 특정한 소리를 내거나, 디바이스 또는 송신장치에 포함되어 있는 디스플레이에서 이동 단말기(600)의 원격 제어 가능 메세지 등을 표시하는 것도 가능하다.
특히, 원격제어 오브젝트 표시가 완료 후, 원격제어 오브젝트 내의 소정 항목이 선택되는 경우, 이동 단말기(600)는, 소정 항목의 제어명령에 대응하는 원격제어신호를, 에어컨(100c)으로 전송할 수 있다.
한편, 에어컨(100c)은, 원격제어신호 수신 이후, 에어컨(100c)에 내장된 LED 를 소정 시간 동안 발광할 수도 있다. 이에 의해, 사용자는, 에어컨 제어가 수행되고 있음을 인식할 수 있게 된다.
다음, 도 3b는, 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 영상표시장치(100a) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터의 식별 신호를 수신한다.
그리고, 이동 단말기(600)는, 영상표시장치(100a)로부터 수신된 식별신호를 포함한 적어도 하나의 식별 신호에서 식별 신호를 검출하고, 검출된 식별 신호에 기초하여, 원격 제어가 가능한 디바이스가, 영상표시장치(100a)인 것을 확인 또는 식별할 수 있다. 영상표시장치(100a) 확인 방법은, 도 3a의 설명을 참조하여 생략한다.
그리고, 이동 단말기(600)는, 지향되는 디바이스가 영상표시장치(100a)인 것으로 확인한 이후, 영상표시장치(100a)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
다음, 도 3c는, 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 조명 장치(100d) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 조명 장치(100d)에 대응하는 송신 장치(101d)로부터의 식별 신호, 예를 들어, 적외선(IR) 신호를 수신한다.
그리고, 이동 단말기(600)는, 적외선(IR) 신호에 기초하여, 지향되는 디바이스가, 조명 장치(100d)인 것을 확인할 수 있다. 조명 장치(100d) 확인 방법은, 도 3a의 설명을 참조하여 생략한다.
그리고, 이동 단말기(600)는, 지향되는 디바이스가 조명 장치(100d)인 것으로 확인한 이후, 조명 장치(100d)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
다음, 도 3d는, 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 로봇 청소기(100e) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 로봇 청소기(100e)에 대응하는 송신 장치(101e)로부터의 식별 신호를 수신한다.
그리고, 이동 단말기(600)는, 로봇 청소기(100e)로부터 수신된 식별신호를 포함한 적어도 하나의 식별 신호에서 식별 신호를 검출하고, 검출된 식별 신호에 기초하여, 원격 제어가 가능한 디바이스가, 로봇 청소기(100e)인 것을 확인 또는 식별할 수 있다. 로봇 청소기(100e) 확인 방법은, 도 3a의 설명을 참조하여 생략한다.
그리고, 이동 단말기(600)는, 지향되는 디바이스가 로봇 청소기(100e)인 것으로 확인한 이후, 로봇 청소기(100e)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
한편, 도 3e는, 에어컨(100c)에 대한 원격 제어를 위한 설정이 완료된 경우, 이동 단말기(600)에서, 에어컨(100c)으로, 원격 제어 가능 신호(Skeystc)가, 에어컨(100c)으로 전송되는 것을 예시한다.
에어컨(100c)은, 원격 제어 가능 신호(Skeystc)를 수신한 후, 에어컨 원격 제어 가능 메시지(311ac)를 디스플레이(180c)에 표시하거나, 에어컨 원격 제어 가능 메시지(311ab)를 사운드로 출력할 수도 있다.
즉, 도 3a와 달리, 이동 단말기(600)에서, 에어컨을 제어합니다"와 같은 에어컨 제어 가능 메시지(311a) 출력 대신에, 에어컨(100c)으로, 원격 제어 가능 신호(Skeystc)가, 에어컨(100c)으로 전송되어, 에어컨(100c)에서, 에어컨 원격 제어 가능 메시지(311ab,311ac)가 출력되는 것도 가능하다.
한편, 도 3f는, 영상표시장치(100a)에 대한 원격 제어를 위한 설정이 완료된 경우, 이동 단말기(600)에서, 영상표시장치(100a)로, 원격 제어 가능 신호(Skeysta)가, 영상표시장치(100a)로 전송되는 것을 예시한다.
영상표시장치(100a)는, 원격 제어 가능 신호(Skeysta)를 수신한 후, 영상표시장치 원격 제어 가능 메시지(311bc)를 디스플레이(180a)에 표시하거나, 영상표시장치 원격 제어 가능 메시지(311bb)를 사운드로 출력할 수도 있다.
도 4a 내지 도 4c는 도 1의 이동 단말기에 장착되는 이동 단말기 케이스를 도시한 도면이다.
먼저, 도 4a는, 본 발명의 일 실시예에 따른 이동 단말기 케이스(700)의 부분 사시도이고, 도 4b는 도 4a의 이동 단말기 케이스의 측면도이며, 도 4c는 이동 단말기의 수신부와, 이동 단말기 케이스의 미러부를 도시한 측면도이다.
도면을 참조하면, 이동 단말기 케이스(700)는, 이동 단말기(600)의 디스플레이 영역 중 적어도 일부를 덮는 전면 케이스(701)와, 이동 단말기(600)의 후면에 결합되거나 부착되되는 후면 케이스(702)를 구비할 수 있다.
한편, 전면 케이스(701)의 상측 영역에는, 디스플레이(680)에서 표시되는 이미지 확인을 위해, 개구부(720)가 형성될 수 있다.
한편, 전면 케이스(701)는, 이동 단말기(600)의 디스플레이(680) 주변의 일측에 배치되는 수신부(423)의 상측에 배치되며, 입사되는 식별신호, 예를 들어, IR(Infra Red) 신호의 경로를 수신부(423) 방향으로 가변하는 미러부(710)를 포함할 수 있다.
즉, 미러부(710)는, 도 4c와 같이, 이동 단말기(600)의 상측 방향에서 이동 단말기로 입사되는 식별 신호를, 경로 가변하여, 이동 단말기(600)의 전면에 배치되는, 수신부(423) 방향으로, 경로 가변된 식별 신호가 입사되도록 유도할 수 있다.
이에 의해, 이동 단말기(600)의 전면 케이스(701)가 덮힌 경우에도, 이동 단말기(600)가 지향되는 방향에서 출력되는 식별 신호가, 수신부(423)로 안정적으로 입사될 수 있게 된다.
따라서, 이동 단말기(600)는, 대기 모드 상태에서도, 이동 단말기 전면 케이스(701) 중 개구부(720)가 형성되는 영역에 대응하는 디스플레이 영역에, 해당 디바이스를 원격제어하기 위한 원격제어 오브젝트를 표시할 수 있게 된다.
그리고, 이동 단말기(600)의 제어부(680)는, 원격제어 오브젝트가 표시된 경우, 대기 모드를 일시 해제하여, 원격제어 오브젝트 내의 소정 항목에 대한 터치 입력이 있는 경우, 해당 항목에 대응하는 원격제어신호가 출력되도록 제어할 수 있다.
이에 따라, 이동 단말기의 케이스(700)가 덮혀 있는 상태에서도, 이동 단말기(600)의 지향 방향을 변경해가면서, 다양한 디바이스에 대한, 원격제어를 간편하게 수행할 수 있게 된다.
도 5a 내지 도 5b는 이동 단말기의 전면 케이스가 닫힌 경우와 열린 경우를 도시한 도면이다.
도 5a는, 이동 단말기의 케이스 중 전면 케이스(701)가 닫힌 경우의 정면도이며, 도 5b는 이동 단말기의 케이스 중 전면 케이스(701)가 열린 경우의 정면도이다.
도 5a를 참조하면, 전면 케이스(701) 중 일부 영역에, 주변 영역과 다른 전도성 물질이 도포될 수 있다.
도면에서는, 전면 케이스(701)의 개구부 하부의 제1 영역(730a)과 제2 영역(730b)에, 주변 영역과 다른 전도성 물질이 도포되는 것을 예시한다.
예를 들어, 주변 영역 보다 높은 전도율의 전도성 물질이 도포되는 것이 바람직하다.
이에 따라, 전면 케이스(701)가 덮힌 경우라도, 제1 영역(730a) 또는 제2 영역(730b)에 대한 터치 입력이 있는 경우, 이동 단말기(600)의 터치 센서가 이를 감지할 수 있게 된다.
이에 따라, 이동 단말기(600)의 제어부(680)는, 전면 케이스(701)가 덮힌 경우, 제1 영역(730a)이 터치 되는 경우, 제1 항목이 선택되는 것으로 설정하고, 제2 영역(730b)이 터치되는 경우, 제2 항목이 선택되는 것으로 설정할 수 있다.
여기서, 제1 항목은 메뉴 항목이고, 제2 항목은 멀티 디바이스 동작 항목일 수 있으나, 이에 한정되지 않으며, 다양한 변형이 가능하다.
즉, 이동 단말기(600)의 제어부(680)는, 제1 영역(730a)에 메뉴 항목를 할당하고, 제2 영역(730b)에, 멀티 디바이스 동작 항목을 할당할 수 있다.
한편, 도 5a와 같이, 전면 케이스(701)가 닫힌 상태에서, 이동 단말기(600)가, 특정 디바이스에 대해 지향되는 경우, 이동 단말기(600)의 제어부(680)는, 특정 디바이스 원격제어를 위한, 원격제어 오브젝트가 표시되도록 제어할 수 있다.
예를 들어, 이동 단말기(600)의 제어부(680)는, 제1 디바이스 방향으로 지향되는 경우, 수신된 제1 식별 신호에 기초하여, 제1 디바이스에 대한 원격 제어를 위한, 제1 원격제어 오브젝트를 표시하도록 제어하고, 제2 디바이스 방향으로 지향되는 경우, 수신된 제2 식별 신호에 기초하여, 제2 디바이스에 대한 원격 제어를 위한, 제2 원격제어 오브젝트를 표시하도록 제어할 수 있다.
다음, 도 5b와 같이, 전면 케이스(701)가 열린 경우, 이동 단말기(600)의 제어부(680)는, 표시되던 원격제어 오브젝트 외에, 그 주변 영역에, 다른 항목의 원격제어 항목들이 더 표시되거나, 또는, 화면 전환하여, 표시되던 원격제어 오브젝트와 다른 원격제어 화면이 표시되록 제어할 수도 있다.
이에 따라, 보다 더 다양한 항목을 확인 및 선택할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있게 된다.
도 6은 도 1의 이동 단말기의 내부 블록도의 일예이다.
도면을 참조하면, 이동 단말기(600)는, 이동 가능한 이동 단말기를 포함할 수 있다.
이동 단말기(600)는, 무선 통신부(610), A/V(Audio/Video) 입력부(620), 사용자 입력부(630), 센싱부(640), 출력부(650), 메모리(660), 인터페이스부(625), 제어부(670), 및 전원 공급부(690)를 포함할 수 있다.
한편, 무선 통신부(610)는, 방송수신 모듈(611), 이동통신 모듈(613), 무선 통신 모듈(615), 음향 통신부(617), 및 GPS 모듈(619) 등을 포함할 수 있다.
방송수신 모듈(611)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다.
방송수신 모듈(611)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(660)에 저장될 수 있다.
이동통신 모듈(613)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 통신 모듈(615)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 통신 모듈(615)은 이동 단말기(600)에 내장되거나 외장될 수 있다. 예를 들어, 무선 통신 모듈(615)은, WFii 기반의 무선 통신 또는 WiFi Direct 기반의 무선 통신을 수행할 수 있다.
한편, 무선 통신 모듈(615)은, 식별 신호 수신을 위한 수신부(423)와, 원격제어신호 송신을 위한 송신부(423)를 구비할 수 있다.
수신부(423)는, IR(Infra Red) 신호, RF(Radio Frequency) 신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호 중 어느 하나의, 디바이스 식별 신호를, 송신 장치(101)로부터 수신할 수 있다.
이에 따라, 수신부(423)는, IR 수신부(미도시), RF 수신부(미도시) 등을 구비할 수 있다.
한편, 송신부(421)는, IR(Infra Red) 신호, RF(Radio Frequency) 신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호 중 어느 하나의, 원격제어신호를, 출력할 수 있다.
이에 따라, 송신부(421)는, IR 송신부(미도시), RF 송신부(미도시) 등을 구비할 수 있다.
한편, 송신부(421)는, 복수의 디바이스 별로, 서로 다른 원격제어신호를 출력할 수 있다. 예를 들어, IR 신호로서, 원격제어신호를 출력하는 경우, 서로 다른 패턴 또는 다른 주파수 대역의 IR 신호를 출력할 수 있다.
한편, 송신부(421)는, 도 4b의 경우에 대응하여, 출력 신호(Sout)를 출력할 수도 있다. 이때의 출력 신호(Sout)는, IR(Infra Red) 신호, RF(Radio Frequency) 신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호 중 어느 하나일 수 있다.
한편, 이동 단말기(600)는, 디바이스가 영상표시장치(100a)인 경우, 이동 단말기(600)의 포인팅 정보, 예를 둘어, 움직임 등에 관한 정보가 담긴 신호를, 송신부(421) 중 RF 송신부(미도시)를 통하여 전송할 수 있다.
음향 통신부(617)는 음향 통신을 수행할 수 있다. 음향 통신부(617)는, 음향 통신 모드에서, 출력할 오디오 데이터에, 소정의 정보 데이터를 부가하여, 사운드를 출력할 수 있다. 또한, 음향 통신부(617)는, 음향 통신 모드에서, 외부로부터 수신되는 사운드로부터 소정의 정보 데이터를 추출할 수 있다.
그 외, 근거리 통신 기술로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
GPS(Global Position System) 모듈(619)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신할 수 있다.
A/V(Audio/Video) 입력부(620)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(621)와 마이크(623) 등이 포함될 수 있다.
사용자 입력부(630)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 이를 위해, 사용자 입력부(630)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이(680)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
센싱부(640)는 이동 단말기(600)의 개폐 상태, 이동 단말기(600)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(600)의 현 상태를 감지하여 이동 단말기(600)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.
센싱부(640)는, 감지센서(641), 압력센서(643), 및 모션 센서(645) 등을 포함할 수 있다. 모션 센서(645)는 가속도 센서, 자이로 센서, 중력 센서 등을 이용하여 이동 단말기(600)의 움직임이나 위치 등을 감지할 수 있다. 특히, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향(각도)을 감지할 수 있다.
출력부(650)는 디스플레이(680), 오디오 출력부(653), 알람부(655), 및 햅틱 모듈(657) 등을 포함할 수 있다.
디스플레이(680)는 이동 단말기(600)에서 처리되는 정보를 표시 출력한다.
한편, 전술한 바와 같이, 디스플레이(680)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(680)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
오디오 출력부(653)는 무선 통신부(610)로부터 수신되거나 메모리(660)에 저장된 오디오 데이터를 출력한다. 이러한 오디오 출력부(653)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(655)는 이동 단말기(600)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. .
햅틱 모듈(haptic module)(657)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(657)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다.
메모리(660)는 제어부(670)의 처리 및 제어를 위한 프로그램, 애플리케이션 데이터 등이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
특히, 메모리(660)는, 복수의 디바이스로부터 수신되는 복수의 IR 신호의 패턴을 저장할 수 있다. 그리고, 각 디바이스 별, 동작항목 설정을 위한, 데이터를 저장할 수 있다. 그리고, 각 디바이스 별, 동작항목에 대한 IR 신호 패턴을 저장할 수도 있다.
인터페이스부(625)는 이동 단말기(600)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(625)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(600) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(600) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(670)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(600)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 제어부(670)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(681)을 구비할 수도 있다. 멀티미디어 재생 모듈(681)은 제어부(670) 내에 하드웨어로 구성될 수도 있고, 제어부(670)와 별도로 소프트웨어로 구성될 수도 있다.
제어부(670)는, 적어도 하나의 디바이스 또는 디바이스에 대응하는 송신 장치로부터의, 디바이스 식별 신호를, 수신부(423)를 통해, 수신하는 경우, 수신된 디바이스 식별 신호에 기초하여, 원격 제어를 위한 원격 제어 오브젝트를 표시하도록 제어하고, 원격 제어 오브젝트 중 소정 항목이 선택되는 경우, 선택된 항목에 대응하는 원격제어신호를 송신하도록, 송신부(421)를 제어할 수 있다.
한편, 제어부(670)는, 이동 단말기가, 디바이스 방향으로 지향되는 경우, 디바이스 또는 디바이스에 대응하는 송신 장치로부터 수신되는 식별 신호에 기초하여, 디바이스를 식별할 수 있다.
제어부(670)는, 이동 단말기(600)가 제1 디바이스 방향으로 지향되는 경우, 수신된 제1 식별 신호에 기초하여, 제1 디바이스에 대한 원격 제어를 위한, 제1 원격제어 오브젝트를 표시하도록 제어하고, 이동 단말기(600)가 제2 디바이스 방향으로 지향되는 경우, 수신된 제2 식별 신호에 기초하여, 제2 디바이스에 대한 원격 제어를 위한, 제2 원격제어 오브젝트를 표시하도록 제어할 수 있다.
한편, 제어부(670)는, 제1 원격제어 오브젝트 또는 제2 원격제어 오브젝트 중 어느 한 항목이 선택되는 경우, 선택된 항목에 대응하는 원격제어신호를 전송하도록 제어할 수 있다.
한편, 제어부(670)는, 이동 단말기(600)가 영상표시장치(100a) 방향으로 지향되는 경우, 센싱부(640)에서 센싱한 이동 단말기(600)의 움직임에 대응하는 신호, 또는 포인팅 신호를 무선 통신모듈(615), 특히 송신부(421)를 통하여, 영상표시장치(100a)로 전송하도록 제어할 수 있다.
한편, 영상표시장치(100a)의 사용자 입력 인터페이스부(미도시)는, 이동 단말기(600)와 무선으로 신호를 송수신할 수 있는 무선통신부(미도시)와, 이동 단말기(600)의 동작에 대응하는 포인터의 좌표값을 산출할 수 있는 좌표값 산출부(미도시)를 구비할 수 있다.
사용자 입력 인터페이스부(미도시)는, RF 모듈(미도시)을 통하여 이동 단말기(600)와 무선으로 신호를 송수신할 수 있다. 또한 IR 모듈(미도시)을 통하여 이동 단말기(600가 IR 통신 규격에 따라 전송한 신호를 수신할 수 있다.
좌표값 산출부(미도시)는 수신된 이동 단말기(600)의 동작에 대응하는 신호로부터 손떨림이나 오차를 수정하여 디스플레이(미도시)에 표시할 포인터의 좌표값(x,y)을 산출할 수 있다.
사용자 입력 인터페이스부(미도시)를 통하여 영상표시장치(100a)로 입력된 이동 단말기(600) 전송 신호는 영상표시장치(100a)의 제어부(미도시)로 전송된다. 제어부(미도시는 이동 단말기(600)에서 전송한 신호로부터 이동 단말기(600)의 동작 및 항목 조작에 관한 정보를 판별하고, 그에 대응하여 영상표시장치(100a)를 제어할 수 있다.
전원 공급부(690)는, 제어부(670)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
한편, 카메라(621)는, 이미지를 캡쳐할 수 있다. 특히, 카메라(621)가 사용자 얼굴 방향으로 향하는 경우, 사용자 얼굴을 포함하는 이미지를 캡쳐할 수 있다.
제어부(670)는, 캡쳐된 사용자 얼굴 이미지와 기 저장된 사용자 이미지에 기초하여, 사용자를 확인할 수 있다.
한편, 카메라(621)는, 사용자의 손가락 지문을 포함하는 이미지를 캡쳐할 수도 있다. 이러한 경우, 제어부(670)는, 캡쳐된 사용자 손가락 지문 이미지와 기 저장된 사용자 손가락 지문 이미지에 기초하여, 사용자를 확인할 수도 있다.
한편, 제어부(670)는, 카메라(621)에서 캡쳐된 이미지에 기초하여, 사용자 인증을 수행하고, 사용자 인증에 성공하는 경우, 디바이스에 대한 원격제어가 가능하도록 제어할 수 있다.
한편, 제어부(670)는, 사용자 정보를, 지향되는 디바이스에 전송하도록 제어하고, 디바이스로부터 사용자 인증 확인 정보를 수신하는 경우, 디바이스에 대한 원격제어가 가능하도록 제어할 수 있다.
한편, 도 6에 도시된 이동 단말기(600)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 이동 단말기(600)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 7은 도 1의 송신 장치의 내부 블록도의 일예이다.
도면을 참조하면, 송신 장치(101)는, 센서부(103), 메모리(104), 프로세서(107), 송신부(106), LED 모듈(108), 통신부(109) 등을 구비할 수 있다.
센서부(103)는, 주변의 해당하는 디바이스의 전원 온/ 오프를 센싱할 수 있다. 이를 위해, 센서부(103)는, EMF(electromagnetic field) 센서를 구비할 수 있다.
프로세서(107)는, 메모리(104)에 저장된 대응하는 디바이스와 관련한 정보 또는 디바이스에 대응하는 특정 패턴의 식별 신호와 관련된 데이터를 기초로 하여, 디바이스의 종류 또는 디바이스 모델명 정보를 확인할 수 있다. 그리고, 프로세서(107)는, 확인된 디바이스 종류 또는 디바이스 모델에 대응하는 식별 신호가 송신되도록, 송신부(106)를 제어할 수 있다.
한편, 프로세스(107)는, 센서부(103)에서 감지되는 디바이스의 전원 온/오프 센싱 정보에 의해, 디바이스의 전원 온/오프 상태 정보를 확인할 수도 있다. 그리고, 프로세스(107)는, 확인된 디바이스 전원 온/오프 상태 정보에 대응하는 식별 신호 또는 디바이스 상태 정보가 송신되도록, 송신부(106)를 제어할 수 있다.
또는, 프로세스(107)는, 센서부(103)에서 감지되는 디바이스의 전원 온/오프 센싱 정보에 의해, 디바이스의 전원 온/오프 상태 정보를 확인할 수도 있다. 그리고, 프로세스(107)는, 확인된 디바이스 전원 온/오프 상태 정보에 기초하여, 디바이스의 종류 정보 또는 디바이스 모델명 정보를 확인할 수도 있다. 그리고, 프로세스(107)는, 확인된 디바이스의 종류 정보 또는 디바이스 모델명 정보에 대응하는 식별 신호 또는 디바이스 상태 정보가 송신되도록, 송신부(106)를 제어할 수 있다.
메모리(104)는, 대응하는 디바이스와 관련한 정보 또는 디바이스에 대응하는 특정 패턴의 식별 신호와 관련된 데이터를 저장할 수 있다.
송신부(106)는, 식별 신호를 송신한다. 한편, 식별 신호에는 디바이스의 전원 온/오프 상태 정보가 포함될 수 있다. 특히, 디바이스에 대응하는 특정 패턴의 식별 신호를 송신할 수 있다. 또한, 송신부(106)는 디바이스의 전원 온/오프 상태 정보를 송신할 수 있다
LED 모듈(108)은, 송신 장치(101)의 동작 상태에 따라, 발광할 수 있다. 예를 들어, 이동 단말기(600)에서, 원격제어신호가 전송되는 경우, LED 모듈(108)이 깜박일 수 있다.
통신부(109)는, 디바이스와 데이터를 교환할 수 있다. 예를 들어, 디바이스로부터 식별 신호를 수신할 수 있다. 즉, 통신부(109)는, 각 디바이스에 대한, 디바이스 종류 정보, 제조사 정보, 디바이스 모델명 정보, 디바이스 상태 정보, 디바이스 제어 명령과 관련된 정보 중 적어도 하나를, 디바이스로부터 수신할 수 있다.
한편, 디바이스 상태 정보는 디바이스의 온/오프 상태, 디바이스 동작 시의 동작 값 상태 등을 포함할 수 있다.
또는, 통신부(109)는, 게이트 웨이(400)와 데이터를 송수신할 수 있다.
예를 들어, 통신부(109)는, 각 디바이스에 대한 원격 제어를 위해, 원격제어 오브젝트 중 적어도 일부에 대한, 제어 명령 정보를, 게이트 웨이(400)로부터, 수신할 수 있다.
한편, 통신부(109)는, 각 디바이스에 대한 원격 제어를 위해, 원격제어 오브젝트 중 적어도 일부에 대한, 제어 명령 정보를, 게이트웨이(400)로, 송신할 수도 있다.
한편, 도면에서는 도시하지 않았지만, 전원 공급부가 더 구비될 수 있다. 전원 공급부는, 상용 교류 전류를 직류 전원으로 변환하여, 각 유닛에 공급하거나, 별도의 배터리를 통해 직류 전원을 각 유닛으로 공급할 수 있다.
한편, 도면에는 도시하지 않았지만 디스플레이부와 음향 출력부가 더 구비될 수 있다. 디스플레이부는 이동 단말기의 원격제어 가능 여부나, 이동 단말기와의 페어링 여부를 표시 할 수 있으며, 음향 출력부에서는 이동 단말기의 원격제어 가능 여부나, 이동 단말기와의 페어링 여부를 사운드로 출력할 수 있다.
도 8은 본 발명의 일 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이고 도 9a 내지 도 9l은 도 8의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
먼저, 도 8을 참조하면, 이동 단말기(600)가 디바이스 방향으로 지향되는 경우(S805), 이동 단말기(600)의 수신부(423)는, 식별 신호를 수신한다(S810).
예를 들어, 도 3a와 같이, 에어컨(100c)에 이동 단말기(600)가 지향되는 경우, 이동 단말기(600)의 수신부(423)는, 에어컨(100c) 또는 에어컨(100c)에 대응하는 송신 장치(101c)로부터의 에어컨에 대응하는 패턴의 식별 신호를 수신할 수 있다.
다음, 이동 단말기(600)의 제어부(670)는, 수신된 적어도 하나의 식별 신호에서 식별 신호를 검출할 수 있다(S811).
다음, 이동 단말기(600)의 제어부(670)는, 검출된 식별 신호에 기초하여, 디바이스를 식별한다(S813).
디바이스 식별 방법은, 상술한 바와 같이, 수신된 식별 신호로부터의 정보를 추출하여 디바이스를 식별하거나, 수신된 식별 신호와 메모리(660)에 저장된 복수의 디바이스 정보 또는 복수의 디바이스 식별 신호와 관련된 데이터를 비교하여, 디바이스를 식별하는 방법 등이 가능하다.
다음, 이동 단말기(600)의 제어부(670)는, 디바이스의 원격 제어를 위한, 오브젝트를 표시하도록 제어한다(S815).
다음, 이동 단말기(600)의 제어부(670)는, 원격제어 오브젝트 내의 제1 항목이 선택되는 지 여부를 판단하고(S820), 해당하는 경우, 제1 항목에 대응하는 원격제어신호를 전송하도록 제어한다(S825). 이에 따라, 해당 디바이스를 간편하게 원격제어할 수 있게 된다.
도 9a를 참조하면, 복수의 송신 장치(101a,101b,101c,101d,101e,101f,101g,101h)는, 능동형 송신 장치로서, 별도의 전원을 구비하고, 디바이스 식별 신호를, 각각 출력할 수 있다.
도면에서는, 이동 단말기(600)가, 에어컨(100c)에 지향되는 경우, 에어컨(100c)에 대응하는 송신 장치(101c)가, 식별 신호(Sidc)를 출력하는 것을 예시한다.
이에 따라, 이동 단말기(600)는, 수신부(423)를 통해, 식별 신호(Sidc)를 포함한 적어도 하나의 식별 신호를 수신하고, 수신된 식별 신호에서 식별 신호(Sidc)를 검출하고, 검출된 식별 신호(Sidc)에 대한 신호 처리를 수행하여, 현재 에어컨(100c)을 원격 제어가 가능하다는 것을 확인, 또는 식별할 수 있게 된다.
그리고, 원격제어 오브젝트 중 적어도 일부에 대해, 에어컨 동작키로 동작하도록 설정할 수 있다.
도 9b는, 에어컨(100c)에 대응하는 송신 장치(101c)의 송신부(106c)가 제1 적외선 식별 신호(IRc)를 출력하는 것을 예시한다.
도 9b의 (a)와 같이, 이동 단말기(600)의 적외선 카메라(423aa)는, 에어컨(100c)에 대응하는 송신 장치(101c)를 포함하는 적외선 이미지를 캡쳐할 수 있다.
한편, 도 9b의 (b)는, 제1 적외선 식별 신호(IRc)가, 일정한 로우 레벨(LVL)과 하이 레벨(LVH)를 가지며, 듀티가 가변되는 것을 예시한다. 즉, 시간 기반의 제1 패턴의 듀티를 가지는, 제1 적외선 식별 신호(IRc)를 예시한다.
제어부(670)는, 소정 프레임 기간 동안, 캡쳐되는 복수의 적외선 이미지를 기반으로, 도면과 같은, 제1 패턴의 듀티를 가지는, 제1 적외선 식별 신호(IRc)를 검출할 수 있다.
제어부(670)는, 메모리(660) 등에 기 저장된 패턴 데이터와, 검출된 제1 적외선 식별 신호(IRc)의 제1 패턴을 비교하여, 지향된 디바이스가, 에어컨(100c)인 것으로 식별할 수 있다.
도 9c는, 이동 단말기(600)가, 영상표시장치(100a)에 지향되는 경우, 영상표시장치(100a)에 대응하는 송신 장치(101a)가, 식별 신호(Sida)를 출력하는 것을 예시한다.
이에 따라, 이동 단말기(600)는, 수신부(423)를 통해, 식별 신호(Sida)를 포함한 적어도 하나의 식별 신호 수신하고, 수신된 식별 신호에서 식별 신호(Sida)를 검출하고, 검출된 식별 신호(Sida)에 대한 신호 처리를 수행하여, 현재 영상표시장치(100a)가 원격제어가 가능하다는 것을 확인, 또는 식별할 수 있게 된다.
그리고, 원격제어 오브젝트 중 적어도 일부에 대해, 영상표시장치 동작키로 동작하도록 설정할 수 있다.
다음, 도 9d는, 영상표시장치(100a)에 대응하는 송신 장치(101a)의 송신부(106a)가 제2 적외선 식별 신호(IRa)를 출력하는 것을 예시한다.
도 9d의 (a)와 같이, 이동 단말기(600)의 적외선 카메라(423aa)는, 영상표시장치(100a)에 대응하는 송신 장치(101a)를 포함하는 적외선 이미지를 캡쳐할 수 있다.
한편, 도 9d의 (b)는, 적외선 식별 신호(IRa)가, 일정한 로우 레벨(LVL)과 하이 레벨(LVH)를 가지며, 듀티가 가변되는 것을 예시한다. 즉, 시간 기반의 제2 패턴의 듀티를 가지는, 제2 적외선 식별 신호(IRa)를 예시한다.
제어부(670)는, 소정 프레임 기간 동안, 캡쳐되는 복수의 적외선 이미지를 기반으로, 도면과 같은, 제2 패턴의 듀티를 가지는, 제2 적외선 식별 신호(IRa)를 검출할 수 있다.
그리고, 제어부(670)는, 메모리(660) 등에 기 저장된 패턴 데이터와, 검출된 제2 적외선 식별 신호(IRa)의 제2 패턴을 비교하여, 지향된 디바이스가, 영상표시장치(100a)인 것으로 식별할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이고, 도 11a 내지 도 11p는 도 10의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
먼저, 도 10의 동작방법은, 도 8의 동작방법과 유사하나, 출력 신호 출력 단계(S906), 및 출력 신호에 대응하여 반사된 식별 신호를 수신하는 단계(S910)가, 도 8과 차이가 있다. 그 외의, 제905 단계(S905), 제913 단계(S913) 내지 제925 단계(S925)는, 도 8의 제805 단계(S805), 제811 단계(S811), 제813 단계(S813) 내지 제825 단계(S825)에 대응한다.
도 11a를 참조하면, 송신 장치(101aa,101bb,101cc,101dd,101ee,101ff,101gg,101hh)는, 수동형 송신 장치로서, 별도의 전원을 없이, 외부로부터의 출력 신호를 반사하는 반사 부재를 구비할 수 있다.
한편, 반사시, 디바이스 식별을 위해, 각 디바이스 별로, 서로 다른 반사 패턴 부재를 구비할 수 있다.
한편, 이동 단말기(600)는, 송신부(421)를 통해, 출력 신호(Sout)를, 지향되는 디바이스 방향으로, 출력할 수 있다.
도 11a와 같이, 이동 단말기(600)가, 에어컨(100c)에 지향되는 경우, 이동 단말기(600)에서 출력되는 출력 신호(Sout)는, 에어컨(100c)에 대응하는 송신 장치(101cc)에 입사되며, 송신 장치(101cc)는, 형성된 특정 패턴을 이용하여, 반사, 또는 전반사 등으로, 반사 신호, 즉, 식별 신호(Sidcc)를 이동 단말기(600) 방향으로 출력할 수 있다.
이에 따라, 이동 단말기(600)는, 수신부(423)를 통해, 식별 신호(Sidcc)를 포함한 적어도 하나의 식별 신호를 수신하고, 식별 신호(Sidcc)에 대한 신호 처리를 수행하여, 현재 에어컨(100c)을 원격 제어가 가능하다는 것을 확인, 또는 식별할 수 있게 된다.
도 11b는, 공간적 기반의 제1 적외선 반사 패턴을 구비하는, 에어컨(100c)의 송신 장치(101cc)를 예시한다.
특히, 도 11b의 (a)는, 이동 단말기(600)의 송신부(421)가, 적외선 출력 신호(Sout)를 지향되는 에어컨(100c)의 송신 장치(101cc)로 출력하며, 에어컨(100c)의 송신 장치(101cc)에 형성된, 제1 적외선 반사 패턴에 의해, 반사 적외선 신호(Sidcc)가 적외선 카메라(423aa)로 수신되는 것을 예시한다.
이에 따라, 적외선 카메라(423aa)는, 도 11b의 (b)와 같은, 제1 적외선 반사 패턴(1012a)을 포함하는 적어도 하나의 적외선 이미지(1011a)를 캡쳐할 수 있다.
제어부(670)는, 캡쳐된 적외선 이미지(1011a) 내의, 제1 적외선 반사 패턴(1012a)을, 메모리(660) 등에 기 저장된 적외선 패턴 데이터와, 비교하여, 지향된 디바이스가, 에어컨(100c)인 것으로 식별할 수 있다.
한편, 도면에서는, 적외선 패턴이 3X3인 것으로 예시하나, 다양한 변형이 가능하다.
도 11c는, 에어컨(100c)의 전면에 형성된 로고(101lgc)에, 공간적 기반의 제1 적외선 반사 패턴을 구비하는 송신 장치(101cc)가 형성되는 것을 예시한다.
도면과 같이, 에어컨(100c)의 전면에 형성된 로고(101lgc)에, 공간적 기반의 제1 적외선 반사 패턴을 구비하는 송신 장치(101cc)가 형성되는 경우, 별도의 공간에 적외선 반사 패턴을 설치하지 않아도 되므로, 설계 자유도가 향상될 수 있게 된다.
도 11d는, 에어컨(100c)에 대응하는 송신 장치(101c)로부터 제어 명령정보가 수신된 경우를 예시한다.
다음, 도 11e는, 서버(700)로부터 제어 명령 정보가 수신된 경우를 예시한다. 특히, 도면에서는, 제어 명령 정보 수신 완료 메시지(387cb)가 사운드로 출력되는 것을 예시한다.
도면에서는, 서버(700)로의 제어 명령 정보 요청(Sproc)이 이동 단말기(600)에서 출력되며, 서버(700)로부터의 제어 명령 정보(Scomc)가 이동 단말기(600)로 수신되는 것을 예시한다.
다음, 도 11f는, 게이트 웨이(400)로부터 제어 명령 정보가 수신된 경우를 예시한다. 특히, 도면에서는, 제어 명령 정보 수신 완료 메시지(387cc)가 사운드로 출력되는 것을 예시한다.
도면에서는, 게이트 웨이(400)로의 제어 명령 정보 요청(Sproc)이 이동 단말기(600)에서 출력되며, 게이트 웨이(400)로부터의 제어 명령 정보(Scomc)가 이동 단말기(600)로 수신되는 것을 예시한다.
한편, 송신 장치(101c) 또는 서버(700) 또는 게이트 웨이(400)를 통해, 수신된 제어 명령 정보에 기초하여, 원격제어 오브젝트가 표시되거나, 원격제어 오브젝트 내의 소정 항목에 수신되는 제어 명령 설정이 완료되는 경우, 이동 단말기(600)는, 도 11g와 같이, 디바이스 제어 가능 메시지(311a)를 출력할 수 수 있다.
도 11h는, 이동 단말기(600)가, 영상표시장치(100a)에 지향되는 경우, 이동 단말기(600)에서 출력되는 출력 신호(Sout)는, 영상표시장치(100a)에 대응하는 송신 장치(101aa)에 입사되며, 송신 장치(101aa)는, 형성된 특정 패턴을 이용하여, 반사, 또는 전반사 등으로, 반사 신호, 즉, 식별 신호(Sidaa)를 이동 단말기(600) 방향으로 출력하는 것을 예시한다.
이에 따라, 이동 단말기(600)는, 수신부(423)를 통해, 식별 신호(Sidaa)를 포함한 적어도 하나의 식별 신호를 수신하고, 그 중 식별 신호(Sidaa)를 검출하며, 검출된 식별 신호(Sidaa)에 대한 신호 처리를 수행하여, 현재 영상표시장치(100a)를 원격 제어가 가능하다는 것을 확인, 또는 식별할 수 있게 된다.
도 11i는, 공간적 기반의 제2 적외선 반사 패턴을 구비하는, 영상표시장치(100a)의 송신 장치(101aa)를 예시한다.
특히, 도 11e의 (a)는, 이동 단말기(600)의 송신부(421)가, 적외선 출력 신호(Sout)를 지향되는 영상표시장치(100a)의 송신 장치(101aa)로 출력하며, 영상표시장치(100a)의 송신 장치(101aa)에 형성된, 제2 적외선 반사 패턴에 의해, 반사 적외선 신호(Sidaa)가 적외선 카메라(423aa)로 수신되는 것을 예시한다.
이에 따라, 적외선 카메라(423aa)는, 도 11e의 (b)와 같은, 제2 적외선 반사 패턴(1012b)을 포함하는 적외선 이미지(1011b)를 캡쳐할 수 있다.
제어부(670)는, 캡쳐된 적외선 이미지(1011b) 내의, 제2 적외선 반사 패턴(1012b)을, 메모리(660) 등에 기 저장된 적외선 패턴 데이터와, 비교하여, 지향된 디바이스가, 영상표시장치(100a)인 것으로 확인 또는 식별할 수 있다.
도 11j는, 영상표시장치(100a)의 베젤 영역(101lgc)에, 공간적 기반의 제2 적외선 반사 패턴을 구비하는 송신 장치(101aa)가 형성되는 것을 예시한다.
도면과 같이, 영상표시장치(100a)의 베젤 영역(101lgc)에, 공간적 기반의 제2 적외선 반사 패턴을 구비하는 송신 장치(101aa)가 형성되는 경우, 별도의 공간에 적외선 반사 패턴을 설치하지 않아도 되므로, 설계 자유도가 향상될 수 있게 된다.
도 11k는, 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터 제어 명령정보가 수신된 경우를 예시한다.
도 11l는, 서버(700)로부터 제어 명령 정보가 수신된 경우를 예시한다.
도면에서는, 서버(700)로의 제어 명령 정보 요청(Sproa)이 이동 단말기(600)에서 출력되며, 서버(700)로부터의 제어 명령 정보(Scoma)가 이동 단말기(600)로 수신되는 것을 예시한다.
다음, 도 11m은, 게이트 웨이(400)로부터 제어 명령 정보가 수신된 경우를 예시한다. 특히, 도면에서는, 제어 명령 정보 수신 완료 메시지(387ac)가 사운드로 출력되는 것을 예시한다.
도면에서는, 게이트 웨이(400)로의 제어 명령 정보 요청(Sproa)이 이동 단말기(600)에서 출력되며, 게이트 웨이(400)로부터의 제어 명령 정보(Scoma)가 이동 단말기(600)로 수신되는 것을 예시한다.
한편, 송신 장치(101a) 또는 서버(700) 또는 게이트 웨이(400)를 통해, 수신된 제어 명령 정보에 기초하여, 원격제어 오브젝트가 표시되거나, 원격제어 오브젝트 내의 소정 항목에 수신되는 제어 명령 설정이 완료되는 경우, 이동 단말기(600)는, 도 11n와 같이, 디바이스 제어 가능 메시지(311b)를 출력할 수 수 있다.
도 11o는, 도 11b와 유사하나, 이동 단말기(600)의 송신부(421)에서 적외선 출력 신호(Sout)가 출력되지 않으며, 에어컨(100c)의 송신 장치(101cb)가, 9개의 적외선 발광부 중, 일부(LPc3,LPc6,LPc7,LPc9)만 발광하는 것을 예시한다.
적외선 카메라(423aa)에서 획득되는 적외선 이미지(1011a)는, 도 11b와 동일할 수 있으며, 이에 따라, 제어부(670)는, 메모리(660) 등에 기 저장된 적외선 패턴 데이터와, 비교하여, 지향된 디바이스가, 에어컨(100c)인 것으로 식별할 수 있다.
도 11p는, 도 11i와 유사하나, 이동 단말기(600)의 송신부(421)에서 적외선 출력 신호(Sout)가 출력되지 않으며, 영상표시장치(100a)의 송신 장치(101ab)가, 9개의 적외선 발광부 중, 일부(LPa2,LPa3,LPa7)만 발광하는 것을 예시한다.
적외선 카메라(423aa)에서 획득되는 적외선 이미지(1011b)는, 도 11e와 동일할 수 있으며, 이에 따라, 제어부(670)는, 메모리(660) 등에 기 저장된 적외선 패턴 데이터와, 비교하여, 지향된 디바이스가, 영상표시장치(100a)인 것으로 식별할 수 있다.
도 12a 내지 도 12c는 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 다양한 예를 보여주는 순서도이고, 도 13a 내지 도 13g는 도 12a 내지 도 12c의 동작방법의 설명에 참조되는 도면이다.
먼저, 도 12a를 참조하면, 이동 단말기(600)가 디바이스 방향으로 지향되는 경우(S955), 이동 단말기(600)의 송신부(421)는, 지향되는 디바이스 방향으로 호출 신호(Scall)를 전송한다(S960).
한편, 호출 신호(Scall)는, 페어링 요청 신호(pairing request signal)를 포함할 수 있다.
이동 단말기(600)가 지향된 디바이스(100)는, 호출 신호(Scall)를 수신하고(S961), 호출 신호(Scall)를 인식할 수 있다(S962).
디바이스(100)는, 호출 신호 인식에 따라, 페어링 요청 신호(pairing request signal)를 인식할 수 있으며, 페어링 요청 신호(pairing request signal)에 대응하는 페어링 응답 신호(pairing response signal)를 전송할 수 있다(S968).
이동 단말기(600)는, 페어링 응답 신호(pairing response signal)를 수신할 수 있다(S969). 이에 따라, 이동 단말기(600)와 디바이스(100) 간에 페어링이 완료될 수 있다.
한편, 디바이스(100)는, 페어링 완료 후, 식별 신호를 전송할 수 있다(S974).
그리고, 이동 단말기(600)는, 식별 신호를 수신할 수 있다(S975).
이동 단말기(600)의 프로세서(170)는, 식별 신호에 기초하여, 디바이스를 식별할 수 있다(S980). 디바이스 식별 방법은, 상술한 바와 같다.
다음, 이동 단말기(600)의 제어부(670)는, 디바이스의 원격 제어를 위한, 오브젝트를 표시하도록 제어한다(S985).
다음, 이동 단말기(600)의 제어부(670)는, 원격제어 오브젝트 내의 제1 항목이 선택되는 지 여부를 판단하고(S990), 해당하는 경우, 제1 항목에 대응하는 원격제어신호를 전송하도록 제어한다(S995). 이에 따라, 해당 디바이스를 간편하게 원격제어할 수 있게 된다.
다음, 도 12b는, 도 12a와 유사하나, 호출 신호 출력 단계(S960) 내지 식별 단계(S980) 사이에서 그 차이가 있다.
도 12b에 따르면, 이동 단말기(600)의 송신부(421)는, 지향되는 디바이스 방향으로 호출 신호(Scall)를 전송한다(S960).
이동 단말기(600)가 지향된 디바이스(100)는, 호출 신호(Scall)를 수신하고(S961), 호출 신호(Scall)를 인식할 수 있다(S962).
디바이스(100)는, 호출 신호 인식에 따라, 페어링 요청 신호(pairing request signal)를 전송할 수 있다(S963).
이동 단말기(600)의 수신부(423)는, 페어링 요청 신호(pairing request signal)를 수신할 수 있다(S964).
그리고, 이동 단말기(600)의 송신부(421)는, 페어링 요청 신호(pairing request signal)에 대응하는 페어링 응답 신호(pairing response signal)를 전송할 수 있다(S968b).
디바이스(100)는, 페어링 응답 신호(pairing response signal)를 수신할 수 있다(S969b). 이에 따라, 이동 단말기(600)와 디바이스(100) 간에 페어링이 완료될 수 있다.
한편, 디바이스(100)는, 페어링 완료 후, 식별 신호를 전송할 수 있다(S974). 그리고,이동 단말기(600)의 수신부(423)는, 식별 신호를 수신할 수 있다(S975).
다음, 도 12c는, 도 12a와 유사하나, 호출 신호 출력 단계(S960) 내지 매칭 단계(S985) 사이에서 그 차이가 있다.
도 12c에 따르면, 이동 단말기(600)의 송신부(421)는, 지향되는 디바이스 방향으로 호출 신호(Scall)를 전송한다(S960).
이동 단말기(600)가 지향된 디바이스(100)는, 호출 신호(Scall)를 수신하고(S961), 호출 신호(Scall)를 인식할 수 있다(S962).
디바이스(100)는, 호출 신호 인식에 따라, 식별 신호를 전송할 수 있다(S974). 그리고,이동 단말기(600)의 수신부(423)는, 식별 신호를 수신할 수 있다(S975).
다음, 이동 단말기(600)의 제어부(670)는, 수신된 식별 신호에 기초하여, 디바이스를 식별한다(S980). 그리고, 디바이스의 원격 제어를 위한, 오브젝트를 표시하도록 제어한다(S985).
다음, 이동 단말기(600)의 송신부(421)는, 페어링 요청 신호(pairing request signal)를 전송할 수 있다(S986). 디바이스(100)는, 페어링 요청 신호(pairing request signal)를 수신할 수 있다(S987).
다음, 디바이스(100)는, 페어링 요청 신호(pairing request signal)에 대응하는 페어링 응답 신호(pairing response signal)를 전송할 수 있다(S988).
이동 단말기(600)의 수신부(423)는, 페어링 응답 신호(pairing response signal)를 수신할 수 있다(S989). 이에 따라, 이동 단말기(600)와 디바이스(100) 간에 페어링이 완료될 수 있다.
도 13a는, 도 12a와 관련하여, 이동 단말기(600)가 에어컨(101c)을 식별하는 방법의 일예를 설명하기 위해 참조되는 도면이다.
이동 단말기(600)가, 에어컨(101c)으로, 호출 신호(Scall)를 송신하면, 에어컨(101c)은 호출 신호(Scall)를 수신하고, 이를 인식한다. 그리고, 에어컨(101c)은, 호출 신호(Scall) 내의 페어링 요청 신호(Sprq)를 인식한다.
에어컨(101c)은, 페어링 요청 신호(Sprq) 인식에 따라, 페어링 응답 신호(Sprsc)를 전송한다. 이동 단말기(600)는, 페어링 응답 신호(Sprsc)를 수신하고, 이로써 페어링이 완료된다.
한편, 에어컨(101c)은, 페어링 완료 후, 식별 신호(Sidc)를 출력한다. 이동 단말기(600)는, 식별 신호(Sidc)를 수신하고, 식별 신호(Sidc)에 기초하여, 에어컨(101c)임을 식별한다.
도 13b는, 도 12a와 관련하여, 이동 단말기(600)가 영상표시장치(100a)를 식별하는 방법의 다른 예를 설명하기 위해 참조되는 도면이다.
이동 단말기(600)가, 영상표시장치(100a)로, 호출 신호(Scall)를 송신하면, 영상표시장치(100a)는 호출 신호(Scall)를 수신하고, 이를 인식한다. 그리고, 영상표시장치(100a)는, 호출 신호(Scall) 내의 페어링 요청 신호(Sprq)를 인식한다.
영상표시장치(100a)는, 페어링 요청 신호(Sprq) 인식에 따라, 페어링 응답 신호(Sprsa)를 전송한다. 이동 단말기(600)는, 페어링 응답 신호(Sprsa)를 수신하고, 이로써 페어링이 완료된다.
한편, 영상표시장치(100a)와 이동 단말기(600) 간의 페어링을 통하여 이동 단말기(600)는, 영상표시장치(100a)로부터 RF(Radio Frequency) 신호, 와이파이 (Wi-Fi)신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호, UWB(Ultra Wideband) 신호들 중 어느 하나의 신호로부터 식별 신호를 수신할 수 있다.
한편, 영상표시장치(100a)는, 페어링 완료 후, 식별 신호(Sida)를 출력한다. 이동 단말기(600)는, 식별 신호(Sida)를 수신하고, 식별 신호(Sida)에 기초하여, 영상표시장치(100a)임을 식별한다.
도 13c는, 도 12b와 관련하여, 이동 단말기(600)가 영상표시장치(100a)를 식별하는 방법의 또 다른 예를 설명하기 위해 참조되는 도면이다.
이동 단말기(600)가, 영상표시장치(100a)로, 호출 신호(Scall)를 송신하면, 영상표시장치(100a)는 호출 신호(Scall)를 수신하고, 이를 인식한다. 그리고, 영상표시장치(100a)는, 호출 신호(Scall) 인식에 따라, 페어링 요청 신호(Sprq)를 전송한다.
이동 단말기(600)는, 페어링 요청 신호(Sprq)를 수신하고, 페어링 요청 신호(Sprq)를에 대응하여, 페어링 응답 신호(Sprs)를 전송한다.
영상표시장치(100a)는, 페어링 응답 신호(Sprs)를 수신하고, 이로써 페어링이 완료된다.
한편, 영상표시장치(100a)는, 페어링 완료 후, 식별 신호(Sida)를 출력한다. 이동 단말기(600)는, 식별 신호(Sida)를 수신하고, 식별 신호(Sida)에 기초하여, 영상표시장치(100a)임을 식별한다.
도 13d는, 도 12c와 관련하여, 이동 단말기(600)가 영상표시장치(100a)를 식별하는 방법의 또 다른 예를 설명하기 위해 참조되는 도면이다.
이동 단말기(600)가, 영상표시장치(100a)로, 호출 신호(Scall)를 송신하면, 영상표시장치(100a)는 호출 신호(Scall)를 수신하고, 이를 인식한다. 그리고, 영상표시장치(100a)는, 호출 신호(Scall) 인식에 따라, 식별 신호(Sida)를 출력한다. 이동 단말기(600)는, 식별 신호(Sida)를 수신하고, 식별 신호(Sida)에 기초하여, 영상표시장치(100a)임을 식별한다.
한편, 이동 단말기(600)는, 디바이스 식별 완료 후, 페어링 요청 신호(Sprq)를 전송한다. 영상표시장치(100a)는, 페어링 요청 신호(Sprq)를 수신하고, 페어링 요청 신호(Sprq)를에 대응하여, 페어링 응답 신호(Sprsa)를 전송한다.
이동 단말기(600)는, 영상표시장치(100a)는, 페어링 응답 신호(Sprsa)를 수신하고, 이로써 페어링이 완료된다.
도 13e 내지 도 13g는, 식별 신호 수신 이후, 제어 명령 정보 추출의 다양한 예를 예시한다.
도 13e는, 송신 장치(101a)로부터 제어 명령 정보가 수신되는 경우를 예시한다. 도면에서는, 송신 장치로부터의 제어 명령 정보 수신을 나타내는 메시지(387aa)가 사운드로서 출력되는 것을 예시한다.
다음, 도 13f는, 서버(700)로부터 제어 명령 정보가 수신되는 경우를 예시한다. 도면에서는, 서버로부터의 제어 명령 정보 수신을 나타내는 메시지(387ab)가 사운드로서 출력되는 것을 예시한다.
다음, 도 13g는, 게이트 웨이(400)로부터 제어 명령 정보가 수신되는 경우를 예시한다. 도면에서는, 게이트 웨이(400)로부터의 제어 명령 정보 수신을 나타내는 메시지(387ab)가 사운드로서 출력되는 것을 예시한다.
결국, 이동 단말기(600)의 제어부(670)는, 도 13e 또는 도 13g와 같이, 외부로부터 수신된 제어 명령 정보에 기초하여, 디바이스의 원격 제어를 위한, 원격제어 오브젝트를 표시하도록 제어할 수 있다.
도 14는 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이고, 도 15a 내지 도 15b는 도 14의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
먼저, 도 14를 참조하면, 이동 단말기(600)의 수신부(423)는, 적외선 이미지를 캡쳐할 수 있다(S1011).
예를 들어, 송신 장치(101)가 적외선(IR) 식별 신호를 출력하는 경우, 이동 단말기(600)의 수신부(423)는, 적외선 식별 신호 검출을 위해, 적외선 카메라(423aa)를 구비할 수 있다.
그리고, 적외선 카메라(423aa)는, 적어도 하나의 적외선 식별 신호를 수신하면, 수신한 적어도 하나의 적외선 식별 신호로부터 적외선 이미지를 캡쳐할 수 있다.
특히, 적외선 카메라(423aa)는, 이동 단말기(600)의 지향 방향에 따라, 디바이스(100) 또는 디바이스에 대응하는 송신 장치(101)를 포함하는 적외선 이미지를 캡쳐할 수 있다.
다음, 제어부(670)는, 캡쳐된 적외선 이미지 내의, 디바이스(100) 또는 디바이스에 대응하는 송신 장치(101)로부터의, 적외선 패턴을 검출할 수 있다(S1013).
다음, 제어부(670)는, 적어도 하나의 디바이스 또는 적어도 하나의 디바이스에 대응하는 적어도 하나의 송신 장치로부터 적외선(IR) 신호가 출력되어, 적어도 하나의 적외선 신호에 기초한, 적외선 패턴이 검출되는 지 여부를 판단한다(S1015).
그리고, 해당하는 경우, 제어부(670)는, 적외선 이미지 중 가장 중앙 영역에 위치하는 적외선 패턴을 대표 적외선 패턴으로 검출하고(S1017), 대표 적외선 패턴에 기초하여 디바이스를 식별할 수 있다(S1019).
한편, 제1015 단계(S1015)에서, 적외선 패턴이 하나인 경우, 제1019 단계(S1019)와 같이, 제어부(670)는, 단일의 적외선 패턴에 기초하여 디바이스를 식별할 수 있다.
도 15a 내지 도 15b는, 이동 단말기에서의 복수의 적외선(IR) 신호 수신시의 어느 하나의 적외선(IR) 신호를 기준으로, 디바이스를 선택하는 방법을 예시하는 도면이다.
일단, 이동 단말기(600)는, 적외선(IR) 신호를 수신하는 수신부(423)를 구비하며, 수신부(423)는, 적외선 카메라(423aa)를 구비하는 것으로 한다.
도 15a를 살펴보면, 도 3a와 같이, 복수의 디바이스들 중 에어컨(100c)에, 이동 단말기(600)가 지향되는 경우, 적외선 카메라(423aa)는, 도면과 같은 적외선 이미지(1010a)를 캡쳐할 수 있다.
제어부(670)는, 복수의 IR 신호를 수신하는 경우, 적외선 카메라에서 캡쳐되는 적외선 이미지 내의 가장 중앙 영역에 위치하는 IR 신호를 대표 IR 신호로 검출하고, 검출된 대표 IR 신호에 대응하는 디바이스를 식별하며, 식별된 디바이스에 대한 원격제어를 수행가능하도록 제어할 수 있다.
즉, 제어부(670)는, 적외선 이미지 내의 가장 중앙 영역에 위치하는 적외선 패턴을 대표 적외선 패턴으로 검출하고, 검출되는 적외선 패턴에 대응하는 디바이스를 확인 또는 식별하며, 확인 또는 식별된 디바이스에 대한 원격제어를 수행가능하도록 제어할 수 있다.
즉, 도면에서는, 에어컨(100c)과 에어컨에 대응하는 송신 장치(101c)가 적외선 이미지(1010a) 중앙에 위치하며, 그 좌측에, 조명 장치(100d), 및 그에 대응하는 송신 장치(101d), 셋탑 박스(100b) 및 그에 대응하는 송신 장치(101b), 그리고 가장 좌측에, 영상표시장치(100a), 및 그에 대응하는 송신 장치(101a)가 배치되는 것을 예시한다.
한편, 제어부(670)는, 적외선 이미지(1010a) 내에서, 적외선 신호가 출력되는 적외선 패턴 영역을 검출할 수 있다.
한편, 제어부(670)는, 에어컨에 대응하는 송신 장치(101c)를 포함하는 영역(Arca), 조명 장치(100d)에 대응하는 송신 장치(101d)를 포함하는 영역(Arda), 셋탑 박스(100b)에 대응하는 송신 장치(101b)를 포함하는 영역(Arba), 영상표시장치(100a)에 대응하는 송신 장치(101a)를 포함하는 영역(Araa) 중, 가장 중앙에 위치하는 에어컨에 대응하는 송신 장치(101c)를 포함하는 영역(Arca)을 선택할 수 있다.
그리고, 제어부(670)는, 복수의 영역 중, 가장 중앙에 위치하는 에어컨에 대응하는 송신 장치(101c)를 포함하는 영역(Arca)을, 추출하고, 영역(Arca) 내의 적외선 패턴을 검출할 수 있다.
예를 들어, 제어부(670)는, 에어컨(100c)에 대응하는 송신 장치(101c)로부터의 적외선(IR) 신호를 대표 적외선(IR) 신호로 검출하고, 검출된 대표 적외선(IR) 신호에 대응하는 에어컨(100c)을 확인 또는 식별하고, 확인 또는 식별된 에어컨(100c)에 대응하여, 에어컨(100c) 원격 제어를 위한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
도 15b를 살펴보면, 도 3c와 같이, 복수의 디바이스들 중 영상표시장치(100a)에, 이동 단말기(600)가 지향되는 경우, 적외선 카메라(423aa)는, 도면과 같은 적외선 이미지(1010b)를 캡쳐할 수 있다.
제어부(670)는, 복수의 적외선(IR) 신호를 수신하는 경우, 적외선 카메라에서 캡쳐되는 적외선(IR) 이미지 내의 가장 중앙 영역에 위치하는 적외선(IR) 신호를 대표 적외선(IR) 신호로 검출하고, 검출된 대표 적외선(IR) 신호에 대응하는 디바이스를 확인 또는 식별하며, 확인 또는 식별된 디바이스에 대한 원격제어를 수행가능하도록 제어할 수 있다.
도면에서는, 영상표시장치(100a), 및 그에 대응하는 송신 장치(101a)가 이미지(1010b) 중앙에 위치하며, 그 우측에, 셋탑 박스(100b) 및 그에 대응하는 송신 장치(101b), 조명 장치(100d), 및 그에 대응하는 송신 장치(101d)가 배치되며, 그리고 가장 우측에, 에어컨(100c), 및 그에 대응하는 송신 장치(101c)가 배치되며, 영상표시장치(100a)의 좌측에, 로봇 청소기(100e), 및 그에 대응하는 송신 장치(101e)가 배치는 것을 예시한다.
한편, 제어부(670)는, 적외선 이미지(1010b) 내에서, 적외선 신호가 출력되는 적외선(IR) 패턴 영역을 검출할 수 있다.
한편, 제어부(670)는, 영상표시장치(100a)에 대응하는 송신 장치(101a)를 포함하는 영역(Arab), 셋탑 박스(100b)에 대응하는 송신 장치(101b)를 포함하는 영역(Arbb), 조명 장치(100d)에 대응하는 송신 장치(101d)를 포함하는 영역(Ardb), 에어컨에 대응하는 송신 장치(101c)를 포함하는 영역(Arcb), 에어컨(100c)에 대응하는 송신 장치(101c)를 포함하는 영역(Arcb), 로봇 청소기(100e)에 대응하는 송신 장치(101e) 영역(Areb) 중, 가장 중앙에 위치하는, 영상표시장치(100a)에 대응하는 송신 장치(101a)를 포함하는 영역(Arab)을 선택할 수 있다.
그리고, 제어부(670)는, 복수의 영역 중, 가장 중앙에 위치하는, 영상표시장치(100a)에 대응하는 송신 장치(101a)를 포함하는 영역(Arab)을, 추출하고, 영역(Arab) 내의 적외선(IR) 패턴을 검출할 수 있다.
이에 따라, 제어부(670)는, 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터의 적외선(IR) 신호를 대표 적외선(IR) 신호로 검출하고, 검출된 대표 적외선(IR) 신호에 대응하는 영상표시장치(100a)를 확인 또는 식별하고, 영상표시장치(100a)에 대응하여, 영상표시장치(100a) 원격 제어를 위한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
한편, 상술한 적외선 패턴은, 시간 기반의 적외선 패턴, 또는 공간 기반의 적외선 패턴을 포함하는 개념일 수 있다.
시간 기반의 적외선 패턴은, 송신 장치(101)가, 레벨 가변 또는 듀티 가변 기반의 적외선 신호를 송신하는 경우, 소정 시간 동안, 가변되는 레벨 또는 가변되는 듀티(duty)의 패턴을 포함하는 개념일 수 있다.
이때, 제어부(670)는, 송신 장치(101)가, 레벨 가변 또는 듀티 가변 기반의 적외선 신호를 송신하는 경우, 캡쳐된 복수의 적외선 이미지에 기초하여, 레벨 가변 또는 듀티 가변 기반의 적외선 패턴을 검출하고, 검출된 적외선 패턴에 기초하여, 디바이스를 식별할 수 있다.
한편, 공간 기반의 적외선 패턴은, 송신 장치(101)가, 적외선 신호를 자체 출력하는 것이 아닌, 적외선 반사 패턴이 형성된 경우에, 이동 단말기(600)의 송신부(421)에서, 송신 장치(101)로 적외선 출력 신호(Sout)가 출력되어, 송신 장치(101)에서 적외선 출력 신호(Sout)가, 적외선 반사 패턴에 의해, 선택적으로 반사되므로, 반사 패턴의 형상을 포함하는 개념일 수 있다.
이때, 제어부(670)는, 디바이스(100a) 또는 디바이스에 대응하는 송신장치(101a)로부터 반사된 적외선 반사 패턴을 포함한 적어도 하나의 반사 패턴이 캡쳐된 적외선 이미지 내에서, 디바이스(100a) 또는 디바이스에 대응하는 송신 장치(101a)에 형성된 적외선 반사 패턴에 의해 반사된, 적외선 패턴을 검출하고, 검출된 적외선 패턴에 기초하여, 디바이스(100a)를 확인 또는 식별할 수 있다.
한편, 제어부(670)는, 송신 장치(101)에 일부 반사 패턴과 일부 흡수 패턴이 형성된 경우, 캡쳐된 적외선 이미지 내의, 디바이스 또는 디바이스에 대응하는 송신 장치에 형성된, 적외선 반사 패턴, 및 적외선 흡수 패턴에 기초하여, 적외선 패턴을 검출하고, 검출된 적외선 패턴에 기초하여, 디바이스를 식별할 수 있다.
시간 기반의 적외선 패턴 검출에 대해서는, 도 9b 내지 도 9d를 참조하며, 공간 기반의 적외선 패턴 검출에 대해서는, 도 11b 내지 도 11f를 참조한다.
먼저, 도 9b는, 에어컨(100c)에 대응하는 송신 장치(101c)의 송신부(106c)가 적외선 식별 신호(IRc)를 출력하는 것을 예시한다.
도 9b의 (a)와 같이, 이동 단말기(600)의 적외선 카메라(423aa)는, 에어컨(100c)에 대응하는 송신 장치(101c)를 포함하는 적외선 이미지를 캡쳐할 수 있다.
한편, 제어부(670)는, 지향되는 디바이스가 변경되는 경우, 표시되는 원격제어 오브젝트가 가변되도록 제어할 수 있다. 이에 대해서는, 도 16 이하를 참조하여 기술한다.
도 16은 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이고, 도 17a 내지 도 27e는 도 16의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
먼저, 도 16을 참조하면, 이동 단말기(600)가 제1 디바이스로 지향되는 경우(S1105), 이동 단말기(600)의 수신부(423)는, 적어도 하나의 식별 신호를 수신한다(S1110).
다음, 이동 단말기(600)의 제어부(670)는, 제1 식별 신호를 포함한 적어도 하나의 식별 신호에서 제1 식별 신호를 검출한다(S1111). 그리고, 검출된 제1 식별 신호에 기초하여, 제1 디바이스를 식별한다(S1113).
예를 들어, 도 3a와 같이, 에어컨(100c)에 이동 단말기(600)가 지향되는 경우, 이동 단말기(600)의 수신부(423)는, 적어도 하나의 식별 신호를 수신하고, 적어도 하나의 식별 신호로부터, 에어컨(100c) 또는 에어컨(100c)에 대응하는 송신 장치(101c)로부터의 에어컨에 대응하는 제1 식별 신호를 검출할 수 있다.
도 14 내지 도 15b에서 기술한 방법에 의해, 어느 하나의 식별 신호를 검출할 수 있다.
그리고, 이동 단말기(600)의 제어부(670)는, 검출된 제1 식별 신호에 기초하여, 제1 디바이스의 식별 신호인 지를 식별 또는 확인한다. 예를 들어, 메모리(660)에 저장된 식별 신호 패턴 데이터와 비교하여, 제1 디바이스의 식별 신호인 것으로 확인할 수 있다.
그리고, 이동 단말기(600)의 제어부(670)는, 제1 디바이스의 원격 제어를 위한, 제1 원격제어 오브젝트를 표시하도록 제어한다(S1115).
다음, 이동 단말기(600)의 제어부(670)는, 제1 원격제어 오브젝트 중 제1 항목이 선택되는 지 여부를 판단하고(S1120), 해당하는 경우, 제1 항목에 대응하는 제1 원격제어신호를 전송하도록 제어한다(S1125). 이에 따라, 제1 디바이스를 간편하게 원격제어할 수 있게 된다.
다음, 이동 단말기(600)가 제2 디바이스로 지향되는 경우(S1130), 이동 단말기(600)의 수신부(423)는, 이동 단말기(600)의 수신부(423)는, 적어도 하나의 식별 신호를 수신한다(S1135).
다음, 이동 단말기(600)의 제어부(670)는, 제2 식별 신호를 포함한 적어도 하나의 식별 신호에서 제2 식별 신호를 검출한다(S1136). 그리고, 검출된 제2 식별 신호에 기초하여, 제2 디바이스를 식별한다(S1138).
예를 들어, 도 3b와 같이, 영상표시장치(100a)에 이동 단말기(600)가 지향되는 경우, 이동 단말기(600)의 수신부(423)는, 어도 하나의 식별 신호를 수신하고, 적어도 하나의 식별 신호로부터, 영상표시장치(100a) 또는 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터의 영상표시장치(100a)에 대응하는 제2 식별 신호를 검출할 수 있다.
다음, 이동 단말기(600)의 제어부(670)는, 검출된 제2 식별 신호에 기초하여, 제2 디바이스의 식별 신호인 지를 확인 또는 식별한다. 예를 들어, 메모리(660)에 저장된 식별 신호 패턴 데이터와 비교하여, 제2 디바이스의 식별 신호인 것으로 확인 또는 식별할 수 있다.
그리고, 이동 단말기(600)의 제어부(670)는, 제2 디바이스의 원격 제어를 위한, 제2 원격제어 오브젝트를 표시하도록 제어한다(S1140).
다음, 이동 단말기(600)의 제어부(670)는, 제2 원격제어 오브젝트 중 제1 항목이 선택되는 지 여부를 판단하고(S1145), 해당하는 경우, 제1 항목에 대응하는 제2 원격제어신호를 전송하도록 제어한다(S1150). 이에 따라, 제2 디바이스를 간편하게 원격제어할 수 있게 된다.
도 17a는 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 에어컨(100c) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 에어컨(100c)에 대응하는 송신 장치(101c)로부터, 식별 신호(Sidc)를 수신한다. 그리고, 식별 신호(Sidc)가 포함된 적어도 하나의 식별 신호에서 식별 신호(Sidc)를 검출하고, 검출된 식별 신호(Sidc)에 기초하여, 지향되는 디바이스가 에어컨(100c)인 것으로 확인 또는 식별하고, 에어컨(100c)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
다음, 도 17b는, 이동 단말기(600)의 원격제어 오브젝트 중 메뉴 항목(203)이 선택된 경우를 예시한다. 이에 따라, 메뉴 항목(203)에 대응하는 원격제어신호(Sremc)가, 에어컨(100c)으로 전송되게 된다.
예를 들어, 이동 단말기(600)는, 에어컨 제어를 위해, 메뉴 항목(203)을 바람 세기 조정 명령에 매칭할 수 있다.
이에 따라, 도 17c와 같이, 에어컨(100c)이, 메뉴 항목(203)의 선택에 따라 설정된 바람의 세기에 대응하여, 찬 바람(1103)을 출력할 수 있게 된다.
도 18a는 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 영상표시장치(100a) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터 식별 신호(Sida)를 수신한다. 그리고, 식별 신호(Sida)가 포함된 적어도 하나의 식별 신호에서 식별 신호(Sida)를 검출하고, 검출된 식별 신호(Sida)에 기초하여, 지향되는 디바이스가 영상표시장치(100a)인 것으로 확인 또는 식별하고, 영상표시장치(100a)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
다음, 도 18b는, 이동 단말기(600)의 원격제어 오브젝트 중 메뉴 항목(203)이 선택된 경우를 예시한다. 이에 따라, 메뉴 항목(203)에 대응하는 원격제어신호(Srema)가, 영상표시장치(100a)로 전송되게 된다.
이에 따라, 도 18c와 같이, 영상표시장치(100a)에 소정 영상(1210)이 표시된 상태에서, 메뉴 항목(203)의 선택에 따라, 화면 하단에 메뉴 오브젝트가 표시될 수 있게 된다.
도 17a 내지 도 18c와 같이, 서로 다른 디바이스 제어를 위해, 메뉴 항목에 서로 다른 동작을 설정함으로써, 간편하게 서로 다른 디바이스를 원격제어할 수 있게 된다.
도 19a는 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 셋탑 박스(100b) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 셋탑 박스(100b)에 대응하는 송신 장치(101b)로부터 식별 신호(Sidb)를 수신한다. 그리고, 식별 신호(Sidb)가 포함된 적어도 하나의 식별 신호에서 식별 신호(Sidb)를 검출하고, 검출된 식별 신호(Sidb)에 기초하여, 지향되는 디바이스가 셋탑 박스(100b)인 것으로 확인 또는 식별하고, 셋탑 박스(100b)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
다음, 도 19b는, 이동 단말기(600)의 원격제어 오브젝트 중 메뉴 항목(203)이 선택된 경우를 예시한다.
예를 들어, 셋탑 박스 제어시에, 메뉴 항목(203)에 특정 동작이 설정되지 않는 경우, 도면과 같이, 이동 단말기(600)는, 동작 불능 메시지(1311)를 사운드로 출력할 수 있다. 이에 따라, 사용자는 메뉴 항목의 동작이 안되는 것을 인식할 수 있게 된다.
다음, 도 19c는, 이동 단말기(600)의 원격제어 오브젝트 중 채널 항목(203a)이 선택된 경우를 예시한다.
이동 단말기(600)는, 채널 항목(203a)의 선택에 따라, 채널 변경과 관련된 원격제어신호(Sremb)를, 셋탑 박스(100b)로 전송할 수 있다.
이에 따라, 셋탑 박스(100b)는, 채널 변경을 수행하며, 채널 변경된 방송 영상 이미지를 영상표시장치(100a)로 제공할 수 있다.
도면에서는, 도 19b에 표시되던 CH36-1의 방송 영상(1310)이 변경되어, CH37-1의 방송 영상(1315)이, 영상표시장치(100a)에 표시되는 것을 예시한다.
한편, 도 19d와 같이, 이동 단말기(600)의 전면 케이스(701)가 열린 경우, 제어부(680)는, 디스플레이(680) 상에 형성된 전기적 전도도의 차이를 인식하고, 전면 케이스가 열린 것으로 인식할 수 있다.
그리고, 전면 케이스 개방에 따라, 도 19b의 원격제어 오브젝트(750c)와 다른, 원격제어 오브젝트(1301)가 표시되도록 제어할 수 있다.
바람직하게는, 전면 케이스 개방에 따라 표시되는 원격제어 오브젝트(1301)의 항목의 개수가, 도 19b와 같이, 전면 케이스가 닫힌 경우에 표시되는 원격제어 오브젝트(750c)의 개수 보다 많은 것이 바람직하다.
도면에서는, 원격제어 오브젝트(1301) 내에, 에어컨 상태 정보(현재 온도 정보, 목표 온도 정보), 온도 설정 항목, 바람 세기 설정 항목, 운전 시간 설정 항목 등이 구비되는 것을 예시한다.
이 중, 운전 시간 설정 항목(1302)이 선택되는 경우, 이동 단말기(600)의 송신부(432b)는, 원격제어신호(Sremcc)를 에어컨(100c)으로 출력할 수 있다.
그리고, 에어컨(100c)은, 설정된 운전 시간 동안 동작하며, 도 19e와 같이, 찬 바람(1102)을 출력할 수 있게 된다.
도 20a는 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 에어컨(100c) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 에어컨(100c)에 대응하는 송신 장치(101c)로부터 식별 신호(Sidc)를 수신한다. 그리고, 식별 신호(Sidc)가 포함된 적어도 하나의 식별 신호에서 식별 신호(Sidc)를 검출하고, 검출된 식별 신호(Sidc)에 기초하여, 지향되는 디바이스가 에어컨(100c)인 것으로 확인 또는 식별하고, 에어컨(100c)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
한편, 이동 단말기(600)는, 에어컨(100c) 방향으로 이동 단말기(600)가 지향된 상태에서, 기기 확인이 완료되거나, 원격제어 오브젝트 표시가 완료되는 경우, 도면과 같이, "에어컨을 제어합니다"와 같은 에어컨 제어 가능 메시지(311a)를 사운드로 출력할 수 있다. 이에 의해, 사용자는, 에어컨 제어가 가능함을 인식할 수 있게 된다.
다음, 도 20b는, 이동 단말기(600)의 원격제어 오브젝트 중 멀티 디바이스 동작 항목(204)가 선택된 경우를 예시한다.
멀티 디바이스 동작 항목(204)는, IFTTT(If This, Then That) 항목(item)이라 명명할 수도 있다.
이동 단말기(600)가 에어컨(100c)을 원격제어하도록 설정된 상태에서, 멀티 디바이스 동작 항목(204)에는, 에어컨(100c) 전원 온, 및 영상표시장치(100a)의 전원 온 기능이 설정될 수 있다.
예를 들어, 이동 단말기(600)는, 멀티 디바이스 동작 항목(204)가 선택되는 경우, 에어컨(100c)으로 제1 원격제어신호(Sremc1)로서 전원 온 신호를 전송하며, 영상표시장치(100a)로 제2 원격제어신호(Srema1)로서 전원 온 신호를 전송할 수 있다.
이에 따라, 도 20c와 같이, 에어컨(100c)이, 전원 온 되어, 찬 바람(1103)을 출력할 수 있으며, 영상표시장치(100a)의 전원이 온 되어, 소정 영상(1315)을 표시할 수 있게 된다.
한편, 멀티 디바이스 동작 항목(204)에 대한 멀티 디바이스 기능 설정은, 사용자의 선택에 의해 다양한 설정이 가능하다.
예를 들어, 이동 단말기(600)는, 멀티 디바이스 동작 항목(204)가 선택되는 경우, 에어컨(100c)으로 제1 원격제어신호(Sremc1)로서 전원 온 신호와, 제2 원격제어신호(Srema11)를, 전송할 수도 있다.
이러한 경우, 에어컨(100c)은, 도 20d와 같이, 영상표시장치(100a)로 제2 원격제어신호(Srema11)인 전원 온 신호를 전송할 수도 있다.
즉, 멀티 디바이스 동작 항목(204)의 선택에 따라, 지향되는 디바이스가, 소정 원격제어신호를 수신하고, 다른 디바이스로, 멀티 디바이스 동작 항목(204)에 대응하는 원격제어신호를 전송할 수도 있다.
도 21a는 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 영상표시장치(100a) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터 식별 신호(Sida)를 수신한다. 그리고, 식별 신호(Sida)가 포함된 적어도 하나의 식빌 신호에서 식별 신호(Sida)를 검출하고, 검출된 식별 신호(Sida)에 기초하여, 원격 제어 가능한 디바이스가 영상표시장치(100a)인 것으로 확인 또는 식별하고, 영상표시장치(100a)에 대한 원격제어 오브젝트가 표시되도록 제어할 수 있다.
다음, 도 21b는, 이동 단말기(600)의 원격제어 오브젝트 중 멀티 디바이스 동작 항목(204)가 선택된 경우를 예시한다.
이동 단말기(600)가 영상표시장치(100a)를 원격제어하도록 설정된 상태에서, 멀티 디바이스 동작 항목(204)에는, 영상표시장치(100a) 전원 온, 및 조명 장치(100d) 전원 온 기능이 설정될 수 있다.
즉, 멀티 디바이스 동작 항목(204)의 선택에 따라, 이동 단말기(600)는, 영상표시장치(100a)로 제1 원격제어신호(Srema2)로서 전원 온 신호를 전송하며, 조명 장치(100d)로 제2 원격제어신호(Sremd2)로서 전원 온 신호를 전송할 수 있다.
이에 따라, 도 21c와 같이, 멀티 디바이스 동작 항목(204)의 선택에 따라, 영상표시장치(100a)의 전원이 온 되어, 소정 영상(1315)을 표시할 수 있으며, 조명 장치(100d)의 전원이 온 되어, 제1 색상의 광(1511)을 출력할 수 있게 된다.
도 22a 내지 도 22c는, 마이크를 통해 사용자 음성이 수신된 경우, 사용자 음성에 대응하는 디바이스를 원격제어하는 방법을 예시한다.
먼저, 도 22a는, 이동 단말기(600)가, 전방의 디바이스들(100a,100b,100c,100d,100r) 중 어느 하나에 대해서도 지향이 되지 않는 상태에서, "2층 방 조명"과 같은 특정 디바이스를 지칭하는 사운드(1611)가 수신되는 것을 예시한다.
이동 단말기(600)의 마이크(623)는, 소정 디바이스를 포함하는 사용자 음성을 획득하고, 제어부(670)는, 획득되는 사용자 음성에 대한 신호 처리를 수행하여, 음성 내의 디바이스 정보를 추출하고, 추출된 디바이스 정보에 대응하는 디바이스의 원격 제어를 위한, 오브젝트를 표시하도록 제어할 수 있다.
즉, 제어부(670)는, 음성 인식 알고리즘을 통해, 사용자 음성에 대한 신호 처리를 수행하여, "2층 방 조명"과 같은 사운드를 인식할 수 있다.
그리고, 2층 방 조명 장치(미도시)에 대한 원격제어 오브젝트 설정을 수행하고, 원격제어 오브젝트 표시가 완료되는 경우, 도면과 같이, "2층 방 조명 제어합니다"와 같은 2층 방 조명 제어 가능 메시지(1612)를 사운드로 출력할 수 있다. 이에 의해, 사용자는, 2층 방 조명 제어가 가능함을 인식할 수 있게 된다.
다음, 도 22c는, 이동 단말기(600)의 원격제어 오브젝트 중 전원 항목(202)이 선택된 경우를 예시한다.
제어부(670)는, 전원 항목(202)의 선택에 따라, 2층 방 조명 장치의 전원 온을 위한 원격제어신호(Srem2)를 AP 장치(300) 방향으로 출력한다. 그리고, AP 장치(300)는, 무선 네트워크 연결 중인, 2층 방 조명 장치(1605)로 원격제어신호(Srem2)를 전송할 수 있다.
이에 따라, 2층 방 조명 장치(1605)는 전원이 온(on) 되어, 소정 색의 광(1606)을 출력할 수 있게 된다.
한편, 제어부(670)는, 적외선(IR) 신호 수신에 기반하여, 디바이스 원격 제어를 위해 설정된 항목의 선택시에 출력되는 원격제어신호와, 음성 인식에 기반하여, 디바이스 원격 제어를 위해 설정된 항목의 선택시에 출력되는 원격제어신호의 종류가 다르도록 설정할 수 있다.
즉, 제어부(670)는, 적외선(IR) 신호 수신에 기반하여, 디바이스 원격 제어를 위해 설정된 항목의 선택시에 출력되는 원격제어신호가, 적외선(IR) 신호 기반으로 출력되도록, 송신부(421)를 제어할 수 있으며, 음성 인식에 기반하여, 디바이스 원격 제어를 위해 설정된 항목의 선택시에 출력되는 원격제어신호가, 다양한 통신 프로토콜 기반으로 출력되도록 송신부(421)를 제어할 수 있다.
한편, 제어부(670)는, 적외선(IR) 기반의 원격제어신호 출력시, 특정 디바이스 제어를 위해, 다른 패턴의 적외선(IR) 기반의 원격제어 신호가 출력되도록 제어할 수 있다.
한편, 이동 단말기(600)는, 특정 디바이스 원격 제어를 위해, 원격제어 오브젝트 외에, 음성 인식, 제스쳐 등의 다양한 입력 방법을 더 이용하여, 원격제어를 수행할 수도 있다.
예를 들어, 이동 단말기(600)는, 특정 디바이스를 지향하는 경우, 수신부(423)를 통해 식별 신호를 수신하여, 해당 디바이스에 대한 원격제어가 가능하도록, 해당 디바이스 제어를 위한 원격제어 오브젝트를 표시한 상태에서, 마이크(623)를 통해 사용자 음성이 획득되는 경우, 사용자 음성에 대응하는 원격제어신호를 디바이스로 전송하도록 제어할 수 있다.
또는, 이동 단말기(600)의 제어부(670)는, 디바이스 식별이 완료된 상태 또는, 디바이스의 원격 제어를 위한 원격제어 오브젝트가 표시된 상태에서, 소정 시간 이내에, 마이크(623)를 통해 사용자 음성이 획득되는 경우, 사용자 음성에 대응하는 원격제어신호를 디바이스로 전송하도록 제어할 수 있다.
구체적으로, 이동 단말기(600)의 제어부(670)는, 제1 디바이스의 원격 제어 가능한 상태에서, 소정 시간 이내에, 마이크(623)를 통해 사용자 음성이 획득되는 경우, 사용자 음성에 대응하는 원격제어신호를 디바이스로 전송하도록 제어할 수 있다. 이에 대해서는 도 23a 내지 도 23c를 참조하여 기술한다.
도 23a는 도 20a와 같이, 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 에어컨(100c)을, 이동 단말기(600)가 원격 제어 가능한 경우를 예시한다.
다음, 도 23b는, "23℃ 운전"과 같은, 사용자 음성이 있는 경우를 예시한다.
이동 단말기(600)의 마이크(623)는, "23℃ 운전"과 같은, 사용자 음성(1711)를 인식하며, 제어부(670)는, 획득되는 사용자 음성에 대한 신호 처리를 수행한다.
제어부(670)는, 음성 인식 신호 처리 이후, "23℃ 운전"(1711)에 대응하는 원격제어신호(Sremcc)가 출력되도록 제어할 수 있다.
이에 따라, 도 23c와 같이, 에어컨(100c)이, 동작하며, 목표 온도가, 23℃로 설정되어 운전할 수 있게 된다. 도면에서는, 운전에 의한, 찬 바람(1104)이 출력되는 것을 예시한다.
이와 같이, 이동 단말기가 특정 디바이스의 원격 제어 가능 이후에, 원격제어 오브젝트 내의 소정 항목 선택이 아닌, 사용자 음성을 통해, 간편하게, 디바이스를 원격제어할 수도 있게 된다.
한편, 이동 단말기(600)의 제어부(670)는, 이동 단말기(600)가 디바이스(100)로부터의 식별 신호(Sid) 수신시, 식별 신호(Sid)가 포함된 적어도 하나의 식별 신호에서 식별 신호(Sid)를 검출하고, 식별 신호(Sid)의 검출이 완료되면 식별 신호 검출 완료 메시지를 출력하도록 제어할 수 있다.
도 24a에서는, 식별 신호 검출 완료 메시지(1701)가 사운드로 출력되는 것을 예시한다.
이동 단말기(600)의 제어부(670)는, 검출된 디바이스 식별 신호(Sidc)에 기초하여, 디바이스 확인 또는 식별을 수행할 수 있다. 그리고, 확인 또는 식별된 디바이스의 원격제어를 위해, 원격제어 오브젝트 중 적어도 하나에, 제어 명령이 매칭되도록 제어할 수 있다.
한편, 이동 단말기(600)의 제어부(670)는, 원격제어 오브젝트 내의 항목 설정 수행 중 또는 수행할 것을 나타내는 메시지(1702)가 출력되도록 제어할 수 있다.
도 24b는, 디바이스 식별 신호(Sidc) 이후, 원격제어 오브젝트 내의 항목 설정 수행 중 또는 수행할 것을 나타내는 메시지(1702)가, 사운드로 출력되는 것을 예시한다.
한편, 이동 단말기(600)의 제어부(670)는, 디바이스의 원격 제어를 위하여 원격제어 오브젝트 표시완료시, 도 24c와 같이, 제어 가능 메시지(1703)를 출력하도록 제어할 수 있다. 도면에서는, 에어컨 제어 가능 메시지(1703)가 사운드로 출력되는 것을 예시한다.
도 24d에서는, 식별 신호 검출 완료 메시지(1704)가 사운드로 출력되는 것을 예시한다.
이동 단말기(600)의 제어부(670)는, 검출된 디바이스 식별 신호(Side)에 기초하여, 디바이스 확인 또는 식별을 수행할 수 있다. 그리고, 확인 또는 식별된 디바이스의 원격제어를 위해, 원격제어 오브젝트 중 적어도 하나에, 제어 명령이 매칭되도록 제어할 수 있다.
한편, 이동 단말기(600)의 제어부(670)는, 원격제어 오브젝트 내의 항목 설정 수행 중 또는 수행할 것을 나타내는 메시지(1702)가 출력되도록 제어할 수 있다.
도 24e는, 디바이스 식별 신호(Side) 이후, 원격제어 오브젝트 내의 항목 설정 수행 중 또는 수행할 것을 나타내는 메시지(1705)가, 사운드로 출력되는 것을 예시한다.
한편, 이동 단말기(600)의 제어부(670)는, 디바이스의 원격 제어를 위하여 원격제어 오브젝트 표시완료시, 도 24f와 같이, 제어 가능 메시지(1706)를 출력하도록 제어할 수 있다. 도면에서는, 로봇 청소기 제어 가능 메시지(1706)가 사운드로 출력되는 것을 예시한다.
한편, 제어부(670)는, 원격제어 오브젝트 중 제1 항목에, 복수의 제어 명령이 매칭되도록 제어하고, 제1 항목의 선택 횟수, 선택 시간에 따라, 또는 제1 항목을 선택하면서 수행되는 제스쳐 동작에 따라, 또는 제1 항목을 선택하면서 입력되는 사용자 음성에 따라, 복수의 제어 명령 중 해당하는 제어 명령에 대응하는 원격제어신호가, 디바이스에 전송되도록 제어할 수 있다. 이에 대해서는, 도 25a 내지 도 25d를 참조하여 기술한다.
도 25a는, 이동 단말기(600)가 에어컨(100c)을 원격 제어 가능한 상태에서, 메뉴 항목(203)이 Tx 기간 동안 눌려진 경우, 메뉴 항목(203)이 바람 세기 설정 명령으로 매칭되며, 메뉴 항목(203)의 선택에 따라, 에어컨(100c)에, 바람 세기 설정이 수행되는 것을 예시한다. 도면에서는, 설정된 바람 세기에 대응하는, 찬 바람(1103)이 출력되는 것을 예시한다.
다음, 도 25b는, 이동 단말기(600)가 에어컨(100c)을 원격 제어 가능한 상태에서, 메뉴 항목(203)이 Tx 기간 보다 긴 Ty 기간 동안 눌려진 경우, 메뉴 항목(203)이 운전 시간 설정 명령으로 매칭되어, 메뉴 항목(203)의 선택에 따라, 에어컨(100c)에, 운전 시간 설정이 수행되는 것을 예시한다.
한편, 이동 단말기(600)의 제어부(670)는, 메뉴 항목(203)이, Ty 기간 동안과 같이, 길게 눌려지는 경우, 에어컨 운전 시간 설정 명령에 매칭하도록 제어하고, 운전 시간 설정 메시지(1707)가 출력되도록 제어할 수 있다.
다음, 도 25c는, 이동 단말기(600)가 에어컨(100c)을 원격 제어 가능한 상태에서, 메뉴 항목(203)이 선택되며, 이동 단말기(600)가 시계 방향으로 회전하는 것을 예시한다.
이동 단말기(600)의 제어부(670)는, 자이로 센서 또는 가속도 센서등의 모션 센서(645)에 기초하여, 이동 단말기(600)의 움직임을 추출할 수 있으며, 움직임에 대응하는 제어 명령을 매칭할 수 있다.
도면에서는, 이동 단말기(600)의 시계 방향 움직임에 따라, 목표 온도 증가에 대응하는 제어 명령이 매칭되는 것을 예시한다.
이동 단말기(600)의 제어부(670)는, 이동 단말기(600)의 시계 방향 움직임에 따라, 목표 온도 증가에 대응하는 제어 명령이 매칭되도록 제어할 수 있으며, 목표 온도 증가 메시지(1708)가, 사운드로 출력되도록 제어할 수 있다.
한편, 도 25d는, 도 25c와 달리, 이동 단말기(600)의 반시계 방향 움직임에 따라, 목표 온도 감소에 대응하는 제어 명령이 매칭되는 것을 예시한다.
이동 단말기(600)의 제어부(670)는, 이동 단말기(600)의 반시계 방향 움직임에 따라, 목표 온도 감소에 대응하는 제어 명령이 매칭되도록 제어할 수 있으며, 목표 온도 감소 메시지(1709)가 사운드로 출력되도록 제어할 수 있다.
한편, 이동 단말기(600)의 제어부(670)는, 이동 단말기(600)가 디바이스(100)로부터의 식별 신호(Sid) 수신시, 식별 신호(Sid)가 포함된 적어도 하나의 식별 신호에서 식별 신호(Sid)를 검출하고, 식별 신호(Sid)의 검출이 완료되면 식별 신호 검출 완료 메시지를 출력하도록 제어할 수 있다.
도 26a에서는, 식별 신호 검출 완료 메시지(1701)가 사운드로 출력되는 것을 예시한다.
한편, 이동 단말기(600)는, 이미지를 캡쳐하는 카메라(621)를 포함할 수 있으며, 제어부(670)는, 카메라(621)에서 캡쳐된 이미지에 기초하여, 사용자 인증을 수행하고, 사용자 인증에 성공하는 경우, 디바이스에 대한 원격제어가 가능하도록 제어할 수 있다.
도 26b는, 사용자(51)의 얼굴 방향으로, 이동 단말기(600)의 카메라(621)가 위치하는 것을 예시한다.
카메라(621)는, 사용자 얼굴을 포함하는 이미지를 캡쳐할 수 있으며, 제어부(670)는, 카메라(621)에서 캡쳐된 이미지에 기초하여, 사용자 인증을 수행할 수 있다.
예를 들어, 메모리(660) 내에, 사용자 얼굴 이미지가 저장된 경우, 제어부(670)는, 카메라(621)에서 캡쳐된 이미지와, 메모리(660)에 저장된 사용자 얼굴 이미지 데이터와 비교하여, 사용자 인증을 수행할 수 있다.
도 26c는, 이동 단말기(600)의 지문 인식부(미도시)를 이용하여, 사용자 인증을 수행하는 것을 예시한다.
사용자(51)가, 이동 단말기(600)의 지문 인식부(미도시)에 자신의 손가락(52)을 위치시키는 경우, 지문 인식부(미도시)는, 손가락(52)의 지문을 캡쳐할 수 있다.
제어부(670)는, 메모리(660) 내에, 저장된 지문 이미지 데이터와, 캡쳐된 지문 이미지 데이터를 비교하여, 사용자 인증을 수행할 수 있다.
이동 단말기(600)의 제어부(670)는, 사용자 인증에 성공한 경우, 도 26d와 같이, 사용자 인증 성공 메시지(1711)가 사운드로서 출력되도록 제어할 수 있다.
또는, 이동 단말기(600)의 제어부(670)는, 카메라(621)에서 캡쳐된 이미지에 기초하여, 사용자 정보를 추출하고, 사용자 정보(Suser)를, 도 26e와 같이, 지향되는 디바이스(100c)에 전송하도록 제어하고, 디바이스(100c)로부터 사용자 인증 확인 정보(Sok)를 수신하는 경우, 디바이스에 대한 원격제어가 가능하도록 제어할 수 있다.
특히, 이동 단말기(600)의 제어부(670)는, 디바이스(100c)로부터 사용자 인증 확인 정보(Sok)를 수신하는 경우, 디바이스로부터 인증 완료 메시지(1712)가, 사운드로서 출력되도록 제어할 수 있다.
한편, 이동 단말기(600)의 제어부(670)는, 사용자 인증에 성공하는 경우, 디바이스에 대한 원격제어가 가능하도록 제어할 수 있으며, 도 26f와 같이, 인증된 사용자를 위한 디바이스 제어 수행 메시지(1713)를 출력하도록 제어할 수 있다.
예를 들어, 이동 단말기(600)의 제어부(670)는, 원격제어 오브젝트 중 적어도 일부에 대한, 원격제어 오브젝트 내의 항목 설정 안내 메시지(1714)를, 도 26g와 같이, 출력하도록 제어할 수 있다.
이에 따라, 사용자는, 간편하게, 원하는 동작에 대한 해당 항목을 선택할 수 있게 된다.
특히, 이동 단말기(600)의 제어부(670)는, 사용자 인증에 따라, 맞춤형 운전 원격제어 오브젝트 내의 항목 설정을 수행할 수 있으며, 이에 따라, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 제어부(670)는, 소정 시간 동안, 소정 항목 선택이 없는 경우, 대기 모드 상태로 진입하도록 제어하고, 대기 모드가 종료되는 경우, 직전에 지향하던 디바이스에 대한 원격제어를 위해, 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어할 수 있다. 이에 대해서는, 도 27a 내지 도 27e를 참조하여 기술한다.
도 27a는, 이동 단말기(600)가, 에어컨(100c) 제어를 위해 동작하는 경우를 예시한다.
한편, 도 27b와 같이, 이동 단말기(600)가, 소정 시간 동안, 동작하지 않는 경우, 이동 단말기(600)의 제어부(670)는, 각 유닛 내의 전원을 제한하고, 대기 모드로 진입하도록 제어할 수 있다. 예를 들어, 센싱부(640)와 무선 통신부(610)만이 동작하도록 제어할 수 있다.
한편, 이동 단말기(600)의 제어부(670)는, 대기 모드 진입시, 도면과 같이, 대기 모드 진입을 나타내는 메시지(1716)가 사운드로서 출력되도록 제어할 수 있다.
다음, 이동 단말기(600)의 제어부(670)는, 대기 모드 상태에서, 도 27c와 와 같이, 이동 단말기(600)가 움직이는 경우, 대기 모드가 종료되도록 제어할 수 있다.
한편, 이동 단말기(600)의 제어부(670)는, 도면과 같이, 대기 모드 종료 메시지(1717)가 사운드로서 출력되도록 제어할 수도 있다.
이때, 이동 단말기(600)의 제어부(670)는, 대기 모드 종료시, 직전 지향된 에어컨(100c) 제어를 위해, 이동 단말기(600)가 동작하도록 제어할 수 있다.
이동 단말기(600)의 제어부(670)는, 도면과 같이, 에어컨 제어 가능 메시지(1717)가, 사운드로서 출력되도록 제어할 수도 있다.
한편, 이동 단말기(600)의 제어부(670)는, 대기 모드 종료시, 초기화시킬 수도 있다. 그리고, 이동 단말기(600)의 제어부(670)는, 도 27d와 같이, 초기화 메시지(1718)가 사운드로서 출력되도록 제어할 수도 있다.
한편, 이동 단말기(600)의 제어부(670)는, 대기 모드 종료시, 도 27e와 같이, 이동 단말기(600)의 카메라(621)를 통한 사용자 인증이 수행되는 경우, 사용자 인증에 따라, 디폴트로 설정된, 디바이스에 대한 원격제어가 수행되도록 제어할 수도 있다. 그리고, 이동 단말기(600)의 제어부(670)는, 도 27e와 같이, 사용자 인증에 따른 디바이스 제어 가능 메시지(1719)가 사운드로서 출력되도록 제어할 수도 있다.
도 28은 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이고, 도 29a 내지 도 30c는 도 28의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
먼저, 도 28을 참조하면, 이동 단말기(600)가 제1 디바이스로 지향되는 경우(S1705), 이동 단말기(600)의 수신부(423)는, 제1 식별 신호를 수신한다(S1710).
예를 들어, 도 3a와 같이, 에어컨(100c)에 이동 단말기(600)가 지향되는 경우, 이동 단말기(600)의 수신부(423)는, 에어컨(100c) 또는 에어컨(100c)에 대응하는 송신 장치(101c)로부터의 에어컨에 대응하는 패턴의 식별 신호를 수신할 수 있다.
다음, 이동 단말기(600)의 제어부(670)는, 제1 식별 신호에 기초하여, 제1 디바이스의 식별 신호인 지 여부를 확인한다. 예를 들어, 메모리(660)에 저장된 IR 신호 패턴과 비교하여, 제1 디바이스의 식별 신호인 것으로 확인할 수 있다.
그리고, 이동 단말기(600)의 제어부(670)는, 제1 디바이스에 대한 원격 제어를 위한, 제1 원격제어 오브젝트를 표시하도록 제어한다(S1715).
다음, 이동 단말기(600)의 제어부(670)는, 표시되는 원격제어 오브젝트 내의 제1 항목이 선택되면서 제2 디바이스로 이동되는 지, 또는, 제1 디바이스 방향으로 지향된 상태에서, 소정 시간 이내에, 제2 디바이스 방향으로 지향되는 지 여부를 판단하고(S1720), 해당하는 경우, 이동 단말기(600)의 수신부(423)는, 제2 식별 신호를 수신한다(S1735).
예를 들어, 도 3b와 같이, 영상표시장치(100a)에 이동 단말기(600)가 지향되는 경우, 이동 단말기(600)의 수신부(423)는, 영상표시장치(100a) 또는 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터의 영상표시장치(100a)에 대응하는 패턴의 식별 신호를 수신할 수 있다.
다음, 이동 단말기(600)의 제어부(670)는, 제2 식별 신호에 기초하여, 제2 디바이스의 식별 신호인 지 여부를 확인한다. 예를 들어, 메모리(660)에 저장된 식별 신호 패턴과 비교하여, 제2 디바이스의 식별 신호인 것으로 확인할 수 있다.
그리고, 이동 단말기(600)의 제어부(670)는, 제2 디바이스에 대한 원격 제어를 위한, 제2 원격제어 오브젝트를 표시하도록 제어한다(S1740).
다음, 이동 단말기(600)의 제어부(670)는, 제1720 단계에서, 제2 원격제어 오브젝트 내의 제1 항목이 선택되면서 제2 디바이스로 이동되는 되거나, 또는, 제1 디바이스 방향으로 지향된 상태에서, 소정 시간 이내에, 제2 디바이스 방향으로 지향되는 경우, 제1 디바이스 정보를, 제2 디바이스로 전송하도록 제어할 수 있다(S1750). 이때의 제1 디바이스 정보는, IR 신호 또는 RF 신호로서 전송될 수 있다.
이에 따라, 최종적으로 지향된 제2 디바이스는, 제1 디바이스 정보를 이용하여, 관련 동작을 수행할 수 있게 된다.
따라서, 하나의 이동 단말기(600)를 이용하여, 복수의 디바이스를 원격제어하는 것은 물론, 연관되는 동작을 수행할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 이동 단말기(600)의 제어부(670)는, 설정된 항목 중 제1 항목이 선택되면서 제2 디바이스로 이동되는 되거나, 또는, 제1 디바이스 방향으로 지향된 상태에서, 소정 시간 이내에, 제2 디바이스 방향으로 지향되는 경우, 이동 단말기(600)의 포인팅 정보를 RF 신호로서 전송하도록 제어할 수 있다.
이하에서는, 복수의 디바이스 사이의 다양한 연관 동작 수행에 대해 기술한다.
도 29a는 집안 내의 다양한 디바이스들(100a,100b,100c,100d,100e) 중 에어컨(100c) 방향으로 이동 단말기(600)가 지향되는 경우를 예시한다.
이동 단말기(600)는, 에어컨(100c)에 대응하는 송신 장치(101c)로부터 식별 신호(Sidec)인 IR 신호를 수신한다. 그리고, 식별 신호(Sidec)인 IR 신호에 기초하여, 에어컨(100c)에 대한 기기 정보를 추출할 수 있다. 그리고, 추출된 기기 정보에 기초하여, 에어컨(100c)에 대한 원격제어 오브젝트를 표시할 수 있다.
이동 단말기(600)는, 에어컨(100c) 방향으로 이동 단말기(600)가 지향된 상태에서, 기기 확인이 완료되거나, 항목 설정이 완료되는 경우, 도면과 같이, "에어컨을 제어합니다"와 같은 에어컨 제어 가능 메시지(311a)를 사운드로 출력할 수 있다. 이에 의해, 사용자는, 에어컨 제어가 가능함을 인식할 수 있게 된다.
다음, 도 29b는, 이동 단말기(600)에 표시되는 원격제어 오브젝트(750c) 내의 확인 항목(207)이 선택되면서, 이동 단말기(600)의 지향 방향이, 에어컨(100c)에서 영상표시장치(100a)로 이동하는 것을 예시한다.
이동 단말기(600)는, 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터의 IR 신호를 수신한다. 그리고, IR 신호에 기초하여, 영상표시장치(100a)에 대한 기기 정보를 추출할 수 있다. 그리고, 추출된 기기 정보에 기초하여, 영상표시장치(100a)에 대한 원격제어 오브젝트를 표시할 수 있다.
한편, 이동 단말기(600)의 제어부(670)는, 영상표시장치(100a)의 전원이 오프된 상태에서, 이동 단말기(600)의 확인 항목(207)이 선택되면서, 이동 단말기(600)의 지향 방향이, 에어컨(100c)에서 영상표시장치(100a)로 이동하는 경우, 전원 온 신호(Spon)가, 영상표시장치(100a)로 전송되도록 제어할 수 있다. 이에 따라, 이동 단말기(600)의 지향 방향이, 에어컨(100c)에서 영상표시장치(100a)로 이동하는 경우, 자동으로, 영상표시장치(100a)의 전원이 온 될 수 있게 된다.
한편, 이동 단말기(600)의 제어부(670)는, 이동 단말기(600)의 확인 항목(207)이 선택되면서, 이동 단말기(600)의 지향 방향이, 에어컨(100c)에서 영상표시장치(100a)로 이동하는 경우, 도 29c와 같이, 에어컨(200c)에 대한 정보(Shd1)를, IR 신호 또는 RF 신호로서, 전송하도록 제어할 수 있다.
이동 단말기(600)의 메모리(660)는, 이동 단말기(600)의 사용 히스토리 정보를 저장할 수 있으며, 이동 단말기(600)의 제어부(670)는, 도 29a에서 확인된 에어컨(100c)에 대한 정보를, 영상표시장치(100a)로 전송하도록 제어할 수 있다.
예를 들어, 이동 단말기(600)의 제어부(670)는, 에어컨(100c)에 대한 상태 정보, 기기 정보 등을 영상표시장치(100a)로 전송하도록 제어할 수 있다.
이에 따라, 영상표시장치(100a)는, 에어컨(100c)에 대한 상태 정보, 기기 정보 등을 확인할 수 있게 된다.
한편, 이동 단말기(600)의 제어부(670)는, 이동 단말기(600)의 확인 항목(207)이 선택되면서, 이동 단말기(600)의 지향 방향이, 에어컨(100c)에서 영상표시장치(100a)로 이동하는 경우, 도 29d와 같이, 이동 단말기(600)의 포인팅 정보(Spot)를, RF 신호로서, 전송하도록 제어할 수 있다.
이동 단말기(600)의 제어부(670)는, 복수의 디바이스 또는 디바이스에 대응하는 송신 장치로부터, IR 신호를 수신하므로, 삼각법 등을 이용하여, 이동 단말기(600)의 이동에 따른, x,y,z 축과 같은 절대 좌표를 연산할 수 있다.
또는, 이동 단말기(600)의 제어부(670)는, 복수의 디바이스 또는 디바이스에 대응하는 송신 장치로부터, IR 신호와, 센싱부(640) 내의 자이로 센서 정보, 가속도 센서 정보를 이용하여, 이동 단말기(600)의 이동에 따른, x,y,z 축과 같은 절대 좌표를 연산할 수 있다.
그리고, 이동 단말기(600)의 제어부(670)는, 다른 디바이스를 지향하였다가, 표시되는 원격제어 오브젝트(750c) 내의 확인 항목(207)이 선택되면서, 영상표시장치(100a) 방향으로 이동하거나, 다른 홈 디비아스를 지향하였다가, 소정 시간 내에, 영상표시장치(100a) 방향으로 이동하는 경우, 내부에서 연산되고 있던, 포인팅 정보(Spot)를, 영상표시장치(100a)로, RF 신호로서, 전송하도록 제어할 수 있다.
이에 따라, 영상표시장치(100a)의 인터페이스부(미도시)는, 이동 단말기(600)로부터 포인팅 정보(Spot)를 수신하며, 영상표시장치(100a)의 제어부(170)는, 수신되는 포인팅 정보(Spot)에 기초하여, 이동 단말기의 움직임 방향을 나타내는 포인터(205)가 디스플레이(180)에 표시되도록 제어할 수 있다.
도 29e는, 이동 단말기(600)의 에어컨(100c)에서 영상표시장치(100a) 방향으로의 이동에 따라, 화살표 형상의 포인터(205)가 디스플레이(180)에 이동 표시되는 것을 예시한다.
이에 따라, 복수의 디바이스 간의 원격제어 기능이 전환되면서, 바로 영상표시장치(100a)에 대한 원격제어가 가능하게 된다.
또한, 사용자는, 이동 단말기(600)를 통해, 포인터(205)를 이동시킬 수 있게 되어, 다양한 입력 동작을 간편하게 수행할 수 있게 된다.
도 29f는, 이동 단말기(600)의 에어컨(100c)에서 영상표시장치(100a) 방향으로의 이동에 따라, 에어컨 형상의 포인터(1805)가 디스플레이(180)에 이동 표시되는 것을 예시한다.
도 29c와 같이, 이동 단말기(600)가 에어컨과 관련된 정보(Shd1)를 전송하며, 도 29d와 같이, 이동 단말기(600)가 포인팅 정보(Spot)를 전송하므로, 영상표시장치(100a)의 제어부(170)는, 포인팅 정보(Spot)와 에어컨와 관련된 정보(Shd1)를 이용하여, 이동 단말기의 움직임 방향을 나타내는 에어컨 형상의 포인터(1805))가 디스플레이(180)에 표시되도록 제어할 수 있다.
이에 따라, 사용자는, 이전에 원격제어되던 디바이스가, 에어컨임을 직관적으로 인식할 수 있게 된다.
한편, 이동 단말기(600)의 확인 항목(207)이 동작하면서, 이동 단말기(600)의 에어컨(100c)에서 영상표시장치(100a) 방향으로의 이동하는 경우, 도 29g와 같이, 영상표시장치(100a)에 에어컨 원격제어를 위한 원격제어 오브젝트(1820)가 표시되는 것도 가능하다.
예를 들어, 도 29c에서와 같이, 이동 단말기(600)가 에어컨과 관련된 정보(Shd1)를 전송하므로, 영상표시장치(100a)의 제어부(170)는, 에어컨 원격제어를 위한 원격제어 오브젝트(1820)를 생성하고, 도 29g와 같이, 표시되도록 제어할 수 있다.
한편, 에어컨과 관련된 정보(Shd1) 내에 에어컨 동작 상태 정보(예를 들어, 현재 온도, 목표 온도 정보 등)가 포함되는 경우, 원격제어 오브젝트(1820) 내에, 상태 정보, 및 에어컨 원격제어를 위한 원격제어 항목 등이 구비될 수 있다.
도면에서는, 원격제어 오브젝트(1820) 내에, 현재 온도, 목표 온도가 표시되며, 온도 설정 항목(+,-), 바람 세기 설정 항목(강,중,약), 운전 시간 설정 항목(30분, 1시간, 2시간) 등이 예시된다.
한편, 도 29g와 같은, 원격제어 오브젝트(1820)는, 이동 단말기(600)에 표시되는 원격제어 오브젝트(750c) 내의 확인 항목(207)에 대한 사용자의 터치가 종료되는 경우에 표시될 수 있다.
예를 들어, 확인 항목(207)에 대한 사용자의 터치가 계속되면서, 이동 단말기(600)가, 에어컨(100c)에서, 영상표시장치 방향으로 이동하는 경우, 포인터(205,1805) 등이 표시되며, 영상표시장치(100a)를 지향한 경우에, 확인 항목(207)에 대한 사용자의 터치가 종료되는 경우, 도 29g와 같은, 원격제어 오브젝트(1820)가 더 표시될 수 있다.
이를 위해, 이동 단말기(600)의 제어부(670)는, 영상표시장치(100a)로 이동 단말기가 지향된 상태에서, 확인 항목(207)에 대한 사용자의 터치가 종료되는 경우, 확인 항목 동작 종료 정보를, 영상표시장치(100a)로 전송할 수 있다.
영상표시장치(100a)의 제어부(170)는, 확인 항목 동작 종료 정보에 기초하여, 원격제어 오브젝트(1820)가 표시되도록 제어할 수 있다. 한편, 도면에서는 도시하지 않았지만, 도 29e의 포인터(205), 또는 도 29f의 포인터(1805)도 함께 표시될 수 있다.
도 29h는 원격제어 오브젝트(1820) 내의 운전 시간 설정 항목(1821)이 선택되는 경우를 예시한다.
포인터(205 또는 1805) 및 확인 항목(207) 등에 의해, 운전 시간 설정 항목(1821)이 선택될 수 있다.
도 29h에서는, 이동 단말기(600)가 영상표시장치(100a)를 지향하고 있으므로, 복수의 항목들 중 적어도 일부가 영상표시장치(100a) 제어를 위해 동작하게 된다.
이에 따라, 냉장고 제어를 위한 원격제어 오브젝트(1820) 내의 소정 항목 선택시에는, 이동 단말기(600)의 포인팅 정보, 및 확인 항목(207) 동작에 기초하여, 소정 항목이 선택되는 것이 바람직하다.
다른 예로, 이동 단말기(600)는, 사 방향항목를 구비하는 휠 항목((206)가 동작하는 경우, 관련 원격제어신호를 영상표시장치(100a)로 전송하며, 이에 따라, 휠 항목(206) 중 상,하 방향항목 동작에 따라, 채널이 변경되거나, 휠 항목(206) 중 좌,우 방향항목 동작에 따라, 볼륨이 변경될 수 있다.
한편, 도 29h에서, 운전 시간 설정 항목(1821)이 선택되는 경우, 영상표시장치(100a)는, 도 29i와 같이, 에어컨(101c) 제어를 위한 IR 신호 기반의 원격제어신호(Srema)를 출력할 수 있다. 이에 따라, 에어컨(101c)에서의 운전 시간 설정이 수행되게 된다.
또는, 도 29h에서, 운전 시간 설정 항목(1821)이 선택되는 경우, 영상표시장치(100a)는, 도 29j와 같이, 에어컨(101c) 제어를 위한 IR 신호 기반의 제1 원격제어신호(rem1)를 이동 단말기(600)로 출력할 수 있다. 이동 단말기(600)는, 이를 수신하여, 에어컨(101c) 제어를 위한 IR 신호 기반의 제2 원격제어신호(rem2)를 출력할 수 있다. 이에 따라, 에어컨(101c)은 제2 원격제어신호(rem2)에 기초하여, 운전 시간 설정을 수행할 수 있게 된다.
도 30a 내지 도 30c는, 이동 단말기(600)가, 영상표시장치(100a)를 지향하다가, 확인 항목(207) 동작하면서, 조명장치(100d) 방향으로 지향되는 것을 설명하는 도면이다.
도 30a와 같이, 이동 단말기(600)는, 영상표시장치(100a) 방향으로 이동 단말기(600)가 지향된 상태에서, 기기 확인이 완료되거나, 항목 설정이 완료되는 경우, 도면과 같이, "TV 제어합니다"와 같은 영상표시장치 제어 가능 메시지(311b)를 사운드로 출력할 수 있다.
도면에서는, 영상표시장치(100a)에 방송 영상(1315)이 표시되는 것을 예시한다.
다음, 도 30b와 같이, 표시되는 원격제어 오브젝트(750d) 내의 확인 항목(207)이 선택되면서, 이동 단말기(600)가, 영상표시장치(100a)를 지향하다가, 조명장치(100d) 방향으로 지향되는 경우, 이동 단말기(600)는, 조명장치(100d)에 대응하는 송신 장치(101d)로부터의 IR 신호를 수신한다. 그리고, IR 신호에 기초하여, 조명장치(100d)에 대한 기기 정보를 추출할 수 있다. 그리고, 추출된 기기 정보에 기초하여, 조명장치(100d)에 대한 원격제어 오브젝트를 표시할 수 있다.
한편, 이동 단말기(600)의 제어부(670)는, 이동 단말기(600)의 확인 항목(207)이 선택되면서, 이동 단말기(600)의 지향 방향이, 영상표시장치(100a)에서 조명장치(100d)로 이동하는 경우, 도 30b와 같이, 영상표시장치(100a)에 대한 정보(Shd2)를, IR 신호 또는 RF 신호로서, 전송하도록 제어할 수 있다.
이동 단말기(600)의 메모리(660)는, 이동 단말기(600)의 사용 히스토리 정보를 저장할 수 있으며, 이동 단말기(600)의 제어부(670)는, 도 30a에서 확인된 영상표시장치(100a)에 대한 정보를, 조명장치(100d)로 전송하도록 제어할 수 있다.
예를 들어, 이동 단말기(600)의 제어부(670)는, 현재 방송되고 있는 방송 영상에 대한 채널 정보, 프로그램 정보, 무드 정보 등을 조명장치(100d)로 전송하도록 제어할 수 있다.
이에 따라, 조명장치(100d)는, 채널 정보, 프로그램 정보, 무드 정보 등을 확인할 수 있게 된다.
그리고, 도 30c와 같이, 조명 장치(100d)는, 수신되는 영상표시장치(100a)에 대한 정보(Shd2), 특히 무드 정보에 기초하여, 소정 색상의 광(1511)을 출력할 수 있다. 이에 따라, 방송 영상에 적합한, 조명이 간편하게 설정될 수 있게 된다.
한편, 이러한 복수의 디바이스 간의 정보 이동에 따라, 다양한 실시예가 가능하다.
예를 들어, 창문에 송신 장치가 부착되는 경우, 이동 단말기(600)가 창문을 지향하다가, 영상표시장치(100a)로 지향되는 경우, 영상표시장치(100a)에 날씨 정보가 표시될 수 있다.
이때의 날씨 정보는, 외부의 서버로부터 수신된 정보로서, 이동 단말기(600)가 영상표시장치(100a)로 전송하던가, 영상표시장치(100a)가, 서버에 접속하여 수신될 수 있다.
다른 예로, 창문에 송신 장치가 부착되는 경우, 이동 단말기(600)가 창문을 지향하다가, 에어컨(100c), 온도 조절 장치(100h), 또는 공기 청정기(101e)로 지향되는 경우, 에어컨(100c), 온도 조절 장치(100h), 또는 공기 청정기(101e)가 날씨 정보에 대응하는 운전을 자동을 수행할 수도 있다.
또 다른 예로, 창문에 송신 장치가 부착되는 경우, 이동 단말기(600)가 창문을 지향하다가, 조명 장치(100d)로 지향되는 경우, 날씨 정보에 대응하는 색상의 광이, 조명 장치(100d)에서 출력될 수 있다.
또 다른 예로, 이동 단말기(600)가 로봇 청소기(100e)를 지향하다가, 다른 디바이스 근처로 지향하던가, 지면을 지향하는 경우, 로봇 청소기(100e)는, 다른 디바이스 근처 또는 지향된 지면 부근을, 자동으로 청소할 수 있다.
또 다른 예로, 이동 단말기(600)가 로봇 청소기(100e)를 지향하다가, 영상표시장치(100a)를 지향하는 경우, 로봇 청소기(100e)의 청소 이력 정보, 홈 가이드 동작 중의 홈 가이드 정보 등이, 영상표시장치(100a)에 표시될 수도 있다.
또 다른 예로, 이동 단말기(600)가 에어컨(100c)을 지향하다가, 영상표시장치(100a)를 지향하는 경우, 상태 정보로서, 필터 교체 주기 정보, 전력 소비 정보, 전력 가격 정보 등이 영상표시장치(100a)에 표시될 수도 있다.
또 다른 예로, 이동 단말기(600)가 정수기(미도시)를 지향하다가, 영상표시장치(100a)를 지향하는 경우, 상태 정보로서, 필터 교체 주기 정보, 전력 소비 정보, 전력 가격 정보 등이 영상표시장치(100a)에 표시될 수도 있다.
또 다른 예로, 이동 단말기(600)가 냉장고(100f)를 지향하다가, 영상표시장치(100a)를 지향하는 경우, 상태 정보로서, 냉장고 내의 푸드 리스트 정보, 냉장고의 동작 상태 정보, 전력 소비 정보 등이 영상표시장치(100a)에 표시될 수도 있다.
또 다른 예로, 전화기(미도시)에 송신 장치가 부착되는 경우, 이동 단말기(600)가 전화기(미도시)를 지향하다가, 영상표시장치(100a)를 지향하는 경우, 최근 걸려온 전화 리스트 정보, 통화 시간 정보 등이 영상표시장치(100a)에 표시될 수도 있다.
도 31은 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이고 도 32a 내지 도 32c는 도 31의 이동 단말기의 동작방법의 설명에 참조되는 도면이다.
도 31은 이동 단말기(600)가 대기모드 상태인 경우, 웨이크 업하여, 지향되는 이동 단말기에 대한 제어 명령을 설정하는 것을 예시한다.
도 31을 참조하면, 이동 단말기(600)의 제어부(670)는, 이동 단말기(600)가 움직이는 지 여부를 판단한다(S3010).
이동 단말기(600)의 제어부(670)는, 센싱부(640) 내의 자이로 센서 또는 가속도 센서 등의 모션 센서(645)으로부터의 센서 정보에 기초하여, 이동 단말기(600)가 움직이는 지 여부를 판단할 수 있다.
이동 단말기(600)가 움직이는 경우, 이동 단말기(600)의 제어부(670)는, 이동 단말기(600)의 각 유닛들이 웨이크 업(wake up)되도록 제어할 수 있다(S3015). 예를 들어, 각 유닛에 전원 공급이 되도록 제어할 수 있다.
다른 예로, 이동 단말기(600)의 소정키가 선택되는 경우, 이동 단말기(600)의 제어부(670)는, 이동 단말기(600)의 각 유닛들이 웨이크 업(wake up)되도록 제어할 수 있다.
다음, 이동 단말기(600)가 특정 디바이스 방향으로 지향되는 경우, 이동 단말기(600)의 수신부(423)는, 적어도 하나의 식별 신호를 수신한다(S3020).
그리고, 이동 단말기(600)의 제어부(670)는, 수신된 적어도 하나의 식별 신호에서 해당 디바이스(100) 또는 디바이스에 대응하는 송신 장치(101)로부터의 식별신호를 검출한다.(S3023),
그리고, 이동 단말기(600)의 제어부(670)는, 검출된 식별 신호와의 비교를 위해, 메모리(660) 내의 데이터베이스를 검색할 수 있다(S3025). 그리고, 수신된 식별 신호와 기 저장된 식별 신호 데이터를 비교하여, 디바이스를 식별 또는 확인할 수 있다(S3030).
한편, 이동 단말기(600)의 제어부(670)는, 확인된 디바이스가 적외선(IR) 기반 디바이스인지 여부를 판단하고(S3035), 해당하는 경우, 적외선(IR) 신호 기반의 오브젝트를 표시하도록 제어할 수 있다(S3040).
또는, 적외선(IR) 기반의 디바이스가 아닌 경우, 이동 단말기(600)의 제어부(670)는, 적외선(IR) 이 외 통신 프로토콜 기반의 오브젝트를 표시하도록 제어할 수 있다(S3045).
한편, 적외선(IR) 이 외 신호는, RF(Radio Frequency) 신호, 와이파이 (Wi-Fi)신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호, UWB(Ultra Wideband) 신호 중 어느 하나일 수 있다.
도 32a 내지 도 32c는, 이동 단말기(600)와, 적외선(IR) 기반의 디바이스인 영상표시장치(100a)와, 적외선(IR) 이 외 신호 기반의 디바이스인, 스마트 플러그(100i), 스마트 전구(100d), 및 게이트 웨이(400)를 예시한다.
도 32a는, 이동 단말기(600)가, 영상표시장치(100a)를 지향하는 것을 예시한다.
이동 단말기(600)의 제어부(670)는, 영상표시장치(100a)에 대응하는 송신 장치(101a)로부터의 식별 신호(Sida)에 기초하여, 디바이스 식별을 수행할 수 있다. 그리고, 원격제어 오브젝트 중 적어도 하나를 적외선(IR)신호 기반의 오브젝트를 표시하도록 제어할 수 있다. 이에 따라, 원격제어 오브젝트 중 어느 하나의 항목이 선택되는 경우, 적외선(IR) 기반의 원격제어신호(Srema)가 출력될 수 있다.
한편, 이동 단말기(600)로부터의 원격제어신호(Srema)는, 영상표시장치(100a)로 직접 전송되거나, 게이트 웨이(400)를 경유하여 영상표시장치(100a)로 전송되는 것이 가능하다.
한편, 도 32b 또는 도 32c와 같이, 이동 단말기(600)가, 스마트 전구(100d)나, 스마트 플러그(100i)를 지향하는 경우, 수신되는 식별 신호(Sidd 또는 Sidi)에 기초하여, 이동 단말기(600)의 제어부(670)는, 원격제어 오브젝트 중 적어도 하나를 적외선(IR) 이 외 신호 기반의 오브젝트를 표시하도록 제어할 수 있다. 이에 따라, 원격제어 오브젝트 중 어느 하나의 항목이 선택되는 경우, 적외선(IR) 이 외 신호 기반의 원격제어신호(Sremd 또는 Sremi)가 출력될 수 있다. 특히, 게이트 웨이(400)를 경유하여, 출력된 적외선(IR) 이 외 신호 기반의 원격제어신호(Sremd 또는 Sremi)가 스마트 플러그(100i)나, 스마트 전구(100d)로 전달될 수도 있다.
도 33는 본 발명의 또 다른 실시예에 따른 이동 단말기의 동작방법의 일예를 보여주는 순서도이다.
도 33를 참조하면, 이동 단말기(600)의 제어부(670)는, 수신되는 식별 신호에 기초하여, 디바이스를 식별할 수 있다(S3310).
한편, 이동 단말기(600)의 제어부(670)는, 메모리(660) 내에, 식별된 디바이스에 대한 제어 명령이 존재하는 지 여부를 판단한다(S3315). 그리고, 존재하는 경우, 메모리(660)에 저장된 제어 명령에 기초하여, 원격제어 오브젝트 중 적어도 하나에, 제어 명령을 매칭할 수 있다.
한편, 제어 명령이 존재하지 않는 경우, 이동 단말기(600)의 제어부(670)는, 디바이스 제어 명령 요청을 전송하도록 제어할 수 있다(S3320).
게이트 웨이(400)는, 디바이스 제어 명령 요청을 수신할 수 있으며(S3325), 네트워크(550) 등을 경유하여, 서버(700)로, 디바이스 제어 명령 요청을 전송할 수 있다(S3330).
이때, 적외선(IR) 기반의 디바이스인 경우, 적외선(IR) 기반의 디바이스와 관련된 서버에, 디바이스 제어 명령 요청을 전송할 수 있다.
한편, RF 기반의 디바이스인 경우, RF 기반의 디바이스와 관련된 서버에, 디바이스 제어 명령 요청을 전송할 수 있다.
힌편, 스마트 디바이스인 경우, 스마트 디바이스와 관련된 서버에, 디바이스 제어 명령 요청을 전송할 수 있다.
게이트 웨이(400)는, 서버(700)로부터 디바이스 제어 명령을 수신할 수 있다(S3335). 그리고, 디바이스 제어 명령을 업데이트 할 수 있다(S3040). 즉, 서버(700) 내부에 저장할 수 있다.
그리고, 게이트 웨이(400)는, 디바이스 제어 명령을 전송할 수 있다(S3345).
이동 단말기(600)는, 디바이스 제어 명령을 게이트 웨이(400)로부터 수신할 수 있다(S3350). 그리고, 디바이스 제어 명령을 업데이트 할 수 있다(S3340). 즉, 이동 단말기(600) 내의 메모리(660)에 저장할 수 있다.
또는, 이동 단말기(600)는, 디바이스 제어 명령을 게이트 웨이(400)로부터 수신한 이후, 디바이스 제어 명령을 업데이트로서, 바로, 원격제어 오브젝트 중 적어도 하나에, 제어 명령을 매칭할 수도 있다.
한편, 본 발명의 이동 단말기의 동작방법은, 이동 단말기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (28)

  1. 디스플레이;
    적어도 하나의 디바이스 또는 상기 디바이스에 대응하는 송신 장치로부터의, 적어도 하나의 디바이스 식별 신호를 수신하는 수신부;
    수신된 상기 적어도 하나의 디바이스 식별 신호에서 원격 제어 가능한 디바이스의 식별 신호를 검출하고, 상기 검출된 식별 신호에 기초하여, 상기 디바이스의 원격 제어를 위한 제어 명령 정보를 추출하고, 상기 추출된 제어 명령 정보에 기초하여, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 제어부; 및
    상기 원격제어 오브젝트 내의 소정 항목이 선택되는 경우, 상기 선택된 항목에 대응하는 원격제어신호를 송신하는 송신부;를 포함하는 이동 단말기.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 이동 단말기가, 상기 적어도 하나의 디바이스 식별 신호를 수신하는 경우, 상기 수신된 적어도 하나의 디바이스 식별 신호에서 원격 제어 가능한 디바이스의 식별 신호를 검출하고, 상기 검출된 식별 신호에 기초하여, 상기 디바이스를 식별하고,
    상기 식별된 디바이스의 원격 제어를 위한 제어 명령 정보를 추출하고, 상기 추출된 제어 명령 정보에 기초하여, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  3. 제2항에 있어서,
    상기 식별 신호는, 적외선 식별 신호를 포함하고,
    상기 수신부는,
    적어도 하나의 적외선 식별 신호를 수신하는 경우, 수신한 적어도 하나의 적외선 식별 신호로부터 적외선 이미지를 캡쳐하는 것을 특징으로 하는 이동 단말기.
  4. 제3항에 있어서,
    상기 제어부는,
    캡쳐되는 적어도 하나의 적외선 이미지를 기초로, 가장 중앙 영역에 위치하는 적외선 패턴을 대표 적외선 패턴으로 검출하고, 상기 검출된 대표 적외선 패턴에 기초하여, 상기 디바이스를 식별하는 것을 특징으로 하는 이동 단말기.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 수신부가, 레벨 가변 또는 듀티 가변 기반의 적외선 식별 신호를 수신하는 경우, 캡쳐된 복수의 적외선 이미지에 기초하여, 레벨 가변 또는 듀티 가변 기반의 적외선 패턴을 검출하고, 검출된 상기 적외선 패턴에 기초하여, 상기 디바이스를 식별하는 것을 특징으로 하는 이동 단말기.
  6. 제3항에 있어서,
    상기 제어부는,
    상기 디바이스 또는 상기 디바이스에 대응하는 송신 장치로, 적외선 출력 신호를 송신하며,
    상기 수신부는,
    상기 캡쳐된 적외선 이미지 내의, 상기 디바이스 또는 상기 디바이스에 대응하는 송신 장치에 형성된 적외선 반사 패턴에 의해 반사된, 적외선 패턴을 검출하고, 검출된 상기 적외선 패턴에 기초하여, 상기 디바이스를 식별하는 것을 특징으로 하는 이동 단말기.
  7. 제3항에 있어서,
    상기 제어부는,
    상기 캡쳐된 적외선 이미지 내의, 상기 디바이스 또는 상기 디바이스에 대응하는 송신 장치에서 발광하는 적외선 패턴을 검출하고, 검출된 상기 적외선 패턴에 기초하여, 상기 디바이스를 식별하는 것을 특징으로 하는 이동 단말기.
  8. 제1항에 있어서,
    상기 적어도 하나의 식별 신호 중 제1 식별 신호를 검출하고, 상기 검출된 제1 식별 신호에 기초하여, 상기 제1 디바이스의 원격 제어를 위한, 제1 원격제어 오브젝트를 표시하도록 제어하고,
    상기 적어도 하나의 식별 신호 중 제2 식별 신호를 검출하고, 상기 검출된 제2 식별 신호에 기초하여, 상기 제2 디바이스의 원격 제어를 위한, 제2 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  9. 제1항에 있어서,
    사용자 음성을 획득하는 마이크;를 더 포함하고,
    상기 제어부는,
    상기 디바이스 식별이 완료된 상태 또는, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트가 표시된 상태에서, 소정 시간 이내에 상기 마이크를 통해 사용자 음성이 획득되는 경우, 상기 사용자 음성에 대응하는 원격제어신호를 상기 디바이스로 전송하도록 제어하는 것을 특징으로 하는 이동 단말기.
  10. 제8항에 있어서,
    상기 제어부는,
    상기 제1 디바이스의 원격 제어를 위한, 제1 원격제어 오브젝트가 표시된 상태에서, 상기 제1 원격제어 오브젝트 내의 멀티 디바이스 동작 항목이 선택되는 경우,
    상기 제1 디바이스의 원격 제어를 위한 제1 원격제어신호와, 상기 제2 디바이스의 원격제어를 위한 제2 원격제어신호를 전송하도록 제어하는 것을 특징으로 하는 이동 단말기.
  11. 제8항에 있어서,
    오디오 출력부;를 더 구비하고,
    상기 제어부는,
    상기 제1 식별 신호 검출에 기초하여, 제1 디바이스에 대한 원격 제어를 나타내는 제1 사운드를 출력하도록 제어하고,
    상기 제2 식별 신호 검출에 기초하여, 제2 디바이스에 대한 원격 제어를 나타내는 제2 사운드를 출력하도록 제어하는 것을 특징으로 하는 이동 단말기.
  12. 제1항에 있어서,
    사용자 음성을 획득하는 마이크;를 더 구비하며,
    상기 제어부는,
    획득되는 상기 사용자 음성에 대한 신호 처리를 수행하여, 상기 음성 내에 포함되는 디바이스 정보를 추출하고, 추출된 디바이스 정보에 대응하는 디바이스의 원격 제어를 위한, 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  13. 제1항에 있어서,
    상기 송신부는,
    상기 원격제어 오브젝트 중 어느 하나의 항목이 선택되는 경우, 상기 선택된 항목의 제어명령에 대응하는 원격제어신호를 RF(Radio Frequency) 신호로서 상기 디바이스로 전송하는 것을 특징으로 하는 이동 단말기.
  14. 제1항에 있어서,
    상기 디바이스 식별 신호는,
    적외선(Infra Red) 신호, RF(Radio Frequency) 신호, 와이파이 (Wi-Fi)신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호, UWB(Ultra Wideband) 신호 중 어느 하나이며,
    상기 제어 명령에 대응하는 신호는,
    적외선(Infra Red) 신호, RF(Radio Frequency) 신호, 와이파이 (Wi-Fi)신호, 지그비(ZigBee) 신호, 블루투스(bluetooth) 신호, 레이저 신호, UWB(Ultra Wideband) 신호 중 어느 하나인 것을 특징으로 하는 이동 단말기.
  15. 제1항에 있어서,
    상기 디바이스 식별 신호는,
    디바이스 종류 정보, 제조사 정보, 디바이스 모델명 정보, 디바이스 상태 정보, 디바이스 제어 명령과 관련된 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 단말기.
  16. 제1항에 있어서,
    상기 제어부는,
    상기 디바이스 식별 신호 중 디바이스 제어 명령과 관련된 정보를 추출하고, 상기 디바이스 제어 명령과 관련된 정보에 기초하여, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  17. 제1항에 있어서,
    상기 제어부는,
    상기 디바이스 또는 상기 디바이스에 대응하는 송신 장치로부터, 상기 디바이스를 제어하기 위한, 디바이스 제어 명령 정보를 수신하고, 수신된 상기 디바이스 제어 명령 정보에 기초하여, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  18. 제17항에 있어서,
    상기 제어부는,
    상기 검출된 디바이스 식별 신호에 기초하여 디바이스를 식별하고, 식별된 디바이스 정보를 상기 디바이스 또는 상기 디바이스에 대응하는 송신 장치로 전송한 후에, 상기 디바이스 또는 상기 디바이스에 대응하는 송신 장치로부터, 상기 디바이스를 제어하기 위한, 디바이스 제어 명령 정보를 수신하고, 수신된 상기 디바이스 제어 명령 정보에 기초하여, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  19. 제17항에 있어서,
    상기 제어부는,
    상기 디바이스 또는 상기 디바이스에 대응하는 송신 장치로, 디바이스 제어 명령 요청을 전송한 후,
    상기 디바이스 또는 상기 디바이스에 대응하는 송신 장치로부터, 상기 디바이스를 제어하기 위한, 디바이스 제어 명령 정보를 수신하고, 수신된 상기 디바이스 제어 명령 정보에 기초하여, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  20. 제1항에 있어서,
    상기 제어부는,
    상기 검출된 디바이스 식별 신호에 기초하여 디바이스를 식별하고, 식별된 디바이스 정보를, 게이트 웨이 또는 서버로 전송한 후에,
    상기 게이트 웨이 또는 서버로부터, 상기 디바이스를 제어하기 위한, 디바이스 제어 명령 정보를 수신하고, 수신된 상기 디바이스 제어 명령 정보에 기초하여, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  21. 제1항에 있어서,
    상기 제어부는,
    게이트 웨이 또는 서버로, 디바이스 제어 명령 요청을 전송한 후,
    상기 게이트 웨이 또는 서버로부터, 상기 디바이스를 제어하기 위한, 디바이스 제어 명령 정보를 수신하고, 수신된 상기 디바이스 제어 명령 정보에 기초하여, 상기 디바이스의 원격 제어를 위한 원격제어 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.
  22. 제21항에있어서,
    상기 게이트 웨이 또는 서버로, 디바이스 제어 명령 요청은, 디바이스 식별을 위한 정보와 함께 전송되는 것을 특징으로 하는 이동 단말기.
  23. 제1항에 있어서,
    상기 제어부는,
    게이트 웨이 또는 서버로, 저장부에 저장된 제어 명령 프로파일 정보에 기초하여, 상기 게이트 웨이 또는 서버로부터, 적어도 하나의 디바이스의 원격제어를 위한, 디바이스 제어 명령 정보를 수신하는 것을 특징으로 하는 이동 단말기.
  24. 제1항에 있어서,
    상기 제어 명령 프로파일 정보는,
    제어 명령 프로파일 정보는, 히스토리 정보, 버젼 정보 중 적어도 하나 포함하는 것을 특징으로 하는 이동 단말기.
  25. 제1항에 있어서,
    이미지를 캡쳐하는 카메라; 또는
    지문 인식부; 중 적어도 하나를 더 포함하며,
    상기 제어부는,
    상기 카메라 또는 상기 지문 인식부에서 캡쳐된 이미지에 기초하여, 사용자 인증을 수행하고, 상기 사용자 인증에 성공하는 경우, 상기 디바이스에 대한 원격제어가 가능하도록 제어하는 것을 특징으로 하는 이동 단말기.
  26. 제1항에 있어서,
    상기 제어부는,
    사용자 정보를, 상기 디바이스에 전송하도록 제어하고, 상기 디바이스로부터 사용자 인증 확인 정보를 수신하는 경우, 상기 디바이스에 대한 원격제어가 가능하도록 제어하는 것을 특징으로 하는 이동 단말기.
  27. 제1항에 있어서,
    상기 제어부는,
    상기 원격제어 오브젝트 중 제1 항목에, 복수의 제어 명령이 매칭되도록 제어하고,
    상기 제1 항목의 선택 횟수, 선택 시간에 따라, 또는 상기 제1 항목를 선택하면서 수행되는 제스쳐 동작에 따라, 또는 상기 제1 항목를 선택하면서 입력되는 사용자 음성에 따라, 상기 복수의 제어 명령 중 해당하는 제어 명령에 대응하는 원격제어신호가, 상기 디바이스에 전송되도록 제어하는 것을 특징으로 하는 이동 단말기.
  28. 제1항에 있어서,
    상기 제어부는,
    소정 시간 동안, 상기 원격제어 오브젝트 내의 소정 항목에 대한 입력이 없는 경우, 대기 모드 상태로 진입하도록 제어하고, 상기 대기 모드가 종료되는 경우, 상기 원격제어 오브젝트를 초기화시키는 것을 특징으로 하는 이동 단말기.
PCT/KR2016/006674 2015-06-26 2016-06-23 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기 WO2016208984A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/739,985 US10218834B2 (en) 2015-06-26 2016-06-23 Mobile terminal capable of performing remote control of plurality of devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0091419 2015-06-26
KR1020150091419A KR102398488B1 (ko) 2015-06-26 2015-06-26 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기

Publications (1)

Publication Number Publication Date
WO2016208984A1 true WO2016208984A1 (ko) 2016-12-29

Family

ID=57585799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006674 WO2016208984A1 (ko) 2015-06-26 2016-06-23 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기

Country Status (3)

Country Link
US (1) US10218834B2 (ko)
KR (1) KR102398488B1 (ko)
WO (1) WO2016208984A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109243168A (zh) * 2018-10-25 2019-01-18 天津众智创新科技有限公司 一种具有红外通信功能的断路器系统的连接调试方法
CN109391677A (zh) * 2017-08-10 2019-02-26 夏普株式会社 网络系统、信息处理方法以及服务器

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11424601B2 (en) * 2015-11-02 2022-08-23 Milwaukee Electric Tool Corporation Externally configurable worksite power distribution box
EP3345379B1 (en) * 2015-12-23 2022-01-26 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device
US10535996B2 (en) * 2016-04-25 2020-01-14 Lutron Technology Company Llc Controllable electrical outlet having a resonant loop antenna
JP2018167339A (ja) * 2017-03-29 2018-11-01 富士通株式会社 発話制御プログラム、情報処理装置及び発話制御方法
KR102045385B1 (ko) * 2017-09-26 2019-11-15 엘지전자 주식회사 센서 장치
TWI662808B (zh) * 2018-03-16 2019-06-11 中強光電股份有限公司 遠端管理系統及方法
US10683083B1 (en) * 2018-10-25 2020-06-16 Survice Engineering Company Satcom based messaging and locator system
KR102137194B1 (ko) * 2018-10-31 2020-07-24 엘지전자 주식회사 이동 단말기
US20200204673A1 (en) * 2018-12-20 2020-06-25 Arris Enterprises Llc Internet of things user interface simplification
KR20200076897A (ko) 2018-12-20 2020-06-30 조희준 블루투스 기반 전자기기 시스템 관리제어 디바이스
US11308793B2 (en) * 2019-04-16 2022-04-19 Distech Controls Inc. Remote control device and method for interacting with a controlled appliance via the BLE standard
US11294341B2 (en) 2019-04-16 2022-04-05 Distech Controls Inc. Controlled appliance and method for interacting with a remote control device via the BLE standard
US11357010B2 (en) * 2019-06-24 2022-06-07 Qualcomm Incorporated Sensor assisted beam management
US11445107B2 (en) * 2019-08-08 2022-09-13 Qorvo Us, Inc. Supervised setup for control device with imager
CN111917972B (zh) * 2019-12-31 2021-07-30 宁波大学 一种移动网络摄像机控制方法
CN112073800B (zh) * 2020-08-26 2023-04-18 北京小米移动软件有限公司 设备功能调用方法、设备功能调用装置及存储介质
CA210895S (en) * 2021-07-14 2022-12-29 Sky Cp Ltd Remote control [wireless]
WO2023027411A1 (ko) * 2021-08-23 2023-03-02 삼성전자주식회사 외부 전자 장치를 제어하는 전자 장치 및 그의 동작 방법
EP4290266A1 (en) 2021-08-23 2023-12-13 Samsung Electronics Co., Ltd. Electronic device for controlling external electronic device and operation method thereof
KR20230042959A (ko) * 2021-09-23 2023-03-30 삼성전자주식회사 근거리 무선 통신을 이용하여 데이터를 전송하는 전자 장치 및 이의 동작 방법
USD984970S1 (en) * 2021-12-07 2023-05-02 Brain & Beyonds Co., Ltd. Remote control
WO2023163570A1 (ko) * 2022-02-28 2023-08-31 삼성전자 주식회사 기기의 등록 관리 및 제어를 위한 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208588A1 (en) * 2001-12-28 2004-10-21 Koninklijke Philips Electronics N.V. Universal remote control unit with automatic appliance identification and programming
US20110170787A1 (en) * 2010-01-12 2011-07-14 Qualcomm Incorporated Using a display to select a target object for communication
KR20120079208A (ko) * 2011-01-04 2012-07-12 삼성전자주식회사 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법
KR20140061060A (ko) * 2012-11-13 2014-05-21 서정환 스마트폰 기반의 원격 제어 방법 및 스마트폰 기반의 원격 제어 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US20140266639A1 (en) * 2013-03-15 2014-09-18 Ebay Inc. Automated mobile device configuration for remote control of electronic devices

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0626635B1 (en) * 1993-05-24 2003-03-05 Sun Microsystems, Inc. Improved graphical user interface with method for interfacing to remote devices
US20060168644A1 (en) * 2000-02-29 2006-07-27 Intermec Ip Corp. RFID tag with embedded Internet address
JP3338825B2 (ja) * 2000-08-22 2002-10-28 エヌイーシービューテクノロジー株式会社 電子プレゼンテーション方法並びにシステム
JP2004199205A (ja) * 2002-12-16 2004-07-15 Aruze Corp リモコン端末
KR20050023941A (ko) * 2003-09-03 2005-03-10 삼성전자주식회사 음성 인식 및 화자 인식을 통한 개별화된 서비스를제공하는 ａ/ｖ 장치 및 그 방법
US9754480B2 (en) * 2003-11-04 2017-09-05 Universal Electronics Inc. System and method for controlling device location determination
US20100081375A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices
TWI334703B (en) * 2004-09-02 2010-12-11 Inventec Multimedia & Telecom Voice-activated remote control system
TW200618644A (en) * 2004-11-18 2006-06-01 Benq Corp Remote controller capable of controlling a plurality of electric appliances selectively
TW200725494A (en) * 2005-12-23 2007-07-01 Ind Tech Res Inst Wireless remote control method
TW200743010A (en) * 2006-05-10 2007-11-16 Compal Communications Inc Portable communication device with a projection function and control method thereof
JP2011044103A (ja) * 2009-08-24 2011-03-03 Sony Corp 遠隔制御装置、遠隔制御システム、遠隔制御方法およびプログラム
US20110191516A1 (en) * 2010-02-04 2011-08-04 True Xiong Universal touch-screen remote controller
US20120280948A1 (en) * 2011-05-06 2012-11-08 Ricoh Company, Ltd. Interactive whiteboard using disappearing writing medium
US8897897B2 (en) * 2011-05-25 2014-11-25 Remote Technologies, Inc. Companion control interface for smart devices
US9449500B2 (en) * 2012-08-08 2016-09-20 Universal Electronics Inc. System and method for optimized appliance control
US9204291B2 (en) * 2012-10-12 2015-12-01 Crestron Electronics, Inc. User identification and location determination in control applications
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
KR102075464B1 (ko) * 2014-09-25 2020-02-10 엘지전자 주식회사 기기 식별 장치 및 그 기기의 제어 방법
CN104639966A (zh) * 2015-01-29 2015-05-20 小米科技有限责任公司 遥控方法及装置
CN104714414B (zh) * 2015-03-25 2018-11-02 小米科技有限责任公司 智能家居设备的控制方法及装置、电子设备
CN105608861B (zh) * 2015-10-29 2019-08-30 小米科技有限责任公司 电子设备控制方法及装置
US9812006B1 (en) * 2016-05-06 2017-11-07 Nxcontrol System Co., Ltd. System and method for integrating infrared remote controls of home appliances

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208588A1 (en) * 2001-12-28 2004-10-21 Koninklijke Philips Electronics N.V. Universal remote control unit with automatic appliance identification and programming
US20110170787A1 (en) * 2010-01-12 2011-07-14 Qualcomm Incorporated Using a display to select a target object for communication
KR20120079208A (ko) * 2011-01-04 2012-07-12 삼성전자주식회사 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법
KR20140061060A (ko) * 2012-11-13 2014-05-21 서정환 스마트폰 기반의 원격 제어 방법 및 스마트폰 기반의 원격 제어 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US20140266639A1 (en) * 2013-03-15 2014-09-18 Ebay Inc. Automated mobile device configuration for remote control of electronic devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391677A (zh) * 2017-08-10 2019-02-26 夏普株式会社 网络系统、信息处理方法以及服务器
CN109243168A (zh) * 2018-10-25 2019-01-18 天津众智创新科技有限公司 一种具有红外通信功能的断路器系统的连接调试方法
CN109243168B (zh) * 2018-10-25 2020-12-04 天津众智创新科技有限公司 一种具有红外通信功能的断路器系统的连接调试方法

Also Published As

Publication number Publication date
KR20170001435A (ko) 2017-01-04
US10218834B2 (en) 2019-02-26
US20180191890A1 (en) 2018-07-05
KR102398488B1 (ko) 2022-05-13

Similar Documents

Publication Publication Date Title
WO2016208984A1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
WO2016171506A1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
WO2016171512A1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
WO2019168383A1 (en) Electronic device
WO2019168380A1 (en) Electronic device
WO2017039223A1 (en) Display apparatus and control method thereof
WO2015142002A1 (en) Method and device for sharing functions of smart key
WO2017119611A1 (en) Ear wearable type wireless device and system supporting the same
WO2015102469A1 (ko) 제어 장치 및 그 제어 방법
WO2016017945A1 (en) Mobile device and method of pairing the same with electronic device
WO2016018057A1 (en) Method and device for providing function of mobile terminal
WO2017003043A1 (ko) 이동 단말기 및 그 제어 방법
WO2017003055A1 (ko) 디스플레이 장치 및 제어 방법
WO2017105130A1 (ko) 통신 장치 및 이를 구비하는 전자기기
WO2017069324A1 (ko) 이동단말기 및 그 제어방법
WO2014185712A1 (en) Communication method and device
WO2016111556A1 (en) Method of wirelessly connecting devices, and device thereof
WO2020060368A2 (en) Method and apparatus for providing notification by interworking plurality of electronic devices
WO2016195156A1 (ko) 이동 단말기 및 그 제어방법
WO2011105695A2 (ko) 전자기기 및 전자기기의 동작 방법
WO2020091215A1 (en) Terminal and method for connecting to target devices
WO2019172565A1 (ko) 외부 장치와의 연결을 위한 전자 장치 및 방법
WO2018048098A1 (en) Portable camera and controlling method therefor
WO2017080403A1 (zh) 投影设备控制方法、投影设备及智能终端
EP3243359A1 (en) Method of wirelessly connecting devices, and device thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16814697

Country of ref document: EP

Kind code of ref document: A1