KR20170088272A - 단말 장치, 원격 제어 시스템 및 제어 방법 - Google Patents

단말 장치, 원격 제어 시스템 및 제어 방법 Download PDF

Info

Publication number
KR20170088272A
KR20170088272A KR1020160125584A KR20160125584A KR20170088272A KR 20170088272 A KR20170088272 A KR 20170088272A KR 1020160125584 A KR1020160125584 A KR 1020160125584A KR 20160125584 A KR20160125584 A KR 20160125584A KR 20170088272 A KR20170088272 A KR 20170088272A
Authority
KR
South Korea
Prior art keywords
terminal device
external device
event
chat window
external
Prior art date
Application number
KR1020160125584A
Other languages
English (en)
Inventor
한준규
박성제
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2017/000133 priority Critical patent/WO2017126827A1/ko
Priority to CN201780007872.2A priority patent/CN108496343A/zh
Priority to EP17741593.2A priority patent/EP3389335B1/en
Priority to US16/071,764 priority patent/US20190037066A1/en
Publication of KR20170088272A publication Critical patent/KR20170088272A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0417—Feedback systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0417—Feedback systems
    • H04B7/0421—Feedback systems utilizing implicit feedback, e.g. steered pilot signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/0001—Arrangements for dividing the transmission path
    • H04L5/0003—Two-dimensional division
    • H04L5/0005—Time-frequency
    • H04L5/0007—Time-frequency the frequencies being orthogonal, e.g. OFDM(A), DMT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/22—Arrangements affording multiple use of the transmission path using time-division multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H04M1/72533—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/14—Spectrum sharing arrangements between different networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/005—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0602—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using antenna switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

단말 장치, 원격 제어 시스템 및 제어 방법이 개시된다. 단말 장치는 복수의 외부 장치와 통신하는 통신부, 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하면, 채팅 창을 생성하여 표시하는 디스플레이 및 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하도록 통신부를 제어하는 프로세서를 포함하고, 프로세서는 적어도 하나의 제2 외부 장치를 채팅 창에 표시하고, 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 기 설정된 작업의 수행 여부를 선택할 수 있는 GUI를 채팅 창에 표시하도록 디스플레이를 제어한다.

Description

단말 장치, 원격 제어 시스템 및 제어 방법{TERMINAL DEVICE, REMOTE CONTROL SYSTEM AND CONTROLLING METHDO THEREOF}
본 개시는 단말 장치, 원격 제어 시스템 및 제어 방법에 관한 것으로, 보다 상세하게는 단말 장치를 이용하여 원격으로 제어하는 단말 장치, 원격 제어 시스템 및 제어 방법에 관한 것이다.
전자 기술의 발전에 따라 다양한 디바이스가 개발되고 있다. 디바이스는 사용자의 명령이 입력되어야 동작을 수행한다. 일반적으로 사용자는 디바이스의 물리적 입력 버튼을 눌러서 명령을 입력한다. 또는, 디바이스는 디스플레이 상에 입력 버튼을 표시하고, 사용자는 표시된 입력 버튼을 터치하여 명령을 입력한다. 디바이스는 입력된 사용자의 명령에 대응되는 동작을 수행한다. 리모콘이 개발되면서 사용자는 리모콘을 이용하여 일정한 거리에서 디바이스에 명령을 입력할 수 있다. 또한, 최근에는 무선 통신 기술의 발전에 따라 원거리에서도 단말 장치를 이용하여 디바이스를 제어할 수 있는 기술이 개발되고 있다. 예를 들어, 외출한 사용자는 단말 장치를 이용하여 집안의 보일러를 온-오프할 수 있고, 집안의 전등을 온-오프할 수 있다.
그러나, 디바이스는 사용자의 의사에 따라 수동적으로 제어된다. 또한, 사용자는 여러가지 디바이스를 개별적으로 제어해야하는 불편함이 있다. 따라서, 능동적으로 디바이스를 제어하고, 복수의 디바이스를 일괄적으로 제어할 수 있는 기술에 대한 필요성이 있다.
본 개시의 목적은 사용자에게 익숙한 단말 환경을 통해 원격 제어 시스템 내에 포함된 복수의 디바이스들을 제어하는 단말 장치, 원격 제어 시스템 및 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위해 본 개시의 일 실시 예에 따른 단말 장치는 복수의 외부 장치와 통신하는 통신부, 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하면, 채팅 창을 생성하여 표시하는 디스플레이 및 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하도록 상기 통신부를 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하고, 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 상기 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 상기 채팅 창에 표시하도록 상기 디스플레이를 제어한다.
그리고, 상기 프로세서는 상기 적어도 하나의 제2 외부 장치로부터 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 수신하도록 상기 통신부를 제어할 수 있다.
또한, 상기 프로세서는 기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하도록 상기 통신부를 제어할 수 있다.
또한, 상기 프로세서는 상기 채팅 창에 표시된 상기 적어도 하나의 제2 외부 장치 중 하나의 장치가 선택되고 제거되는 명령을 입력받으면, 상기 선택된 하나의 장치를 상기 채팅 창에서 제거할 수 있다.
그리고, 상기 프로세서는 추가 명령에 따라 상기 채팅 창에 표시되지 않은 제3 외부 장치를 상기 채팅 창에 추가하여 표시할 수 있다.
또한, 상기 디스플레이는 상기 발생된 기 설정된 이벤트와 관련된 작업 또는 상기 제3 외부 장치의 기 설정된 메인 작업 중 적어도 하나의 작업의 수행 여부를 문의하는 메시지를 상기 채팅 창에 표시할 수 있다.
한편, 단말 장치는 상기 기 설정된 이벤트 및 상기 기 설정된 이벤트와 관련된 상기 적어도 하나의 제2 외부 장치가 설정된 이벤트 프로파일을 저장하는 메모리를 더 포함할 수 있다.
그리고, 상기 적어도 하나의 제2 외부 장치는 동일한 사용자 계정에 등록된 장치일 수 있다.
그리고, 상기 프로세서는 상기 적어도 하나의 제2 외부 장치를 상기 기 설정된 작업과 관련된 시간 또는 거리를 기초로 그룹핑하고, 상기 기 설정된 이벤트가 발생하고 상기 기 설정된 작업과 관련된 시간 또는 거리 조건을 만족하는 경우 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 다른 단말 장치의 제어 방법은 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하는 단계, 채팅 창을 생성하는 단계, 상기 생성된 채팅 창을 표시하고, 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 단계, 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 상기 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 상기 채팅 창에 표시하는 단계를 포함한다.
그리고, 단말 장치의 제어 방법은 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하는 단계 및 상기 적어도 하나의 제2 외부 장치로부터 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 수신하는 단계를 더 포함할 수 있다.
또한, 단말 장치의 제어 방법은 기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하는 단계를 더 포함할 수 있다.
또한, 단말 장치의 제어 방법은 상기 채팅 창에 표시된 상기 적어도 하나의 제2 외부 장치 중 하나의 장치가 선택되고 제거되는 명령을 입력받으면, 상기 선택된 하나의 장치를 상기 채팅 창에서 제거하는 단계를 더 포함할 수 있다.
그리고, 단말 장치의 제어 방법은 추가 명령에 따라 상기 채팅 창에 표시되지 않은 제3 외부 장치를 상기 채팅 창에 추가하여 표시하는 단계를 더 포함할 수 있다.
또한, 단말 장치의 제어 방법은 상기 발생된 기 설정된 이벤트와 관련된 작업 또는 상기 제3 외부 장치의 기 설정된 메인 작업 중 적어도 하나의 작업의 수행 여부를 문의하는 메시지를 상기 채팅 창에 표시하는 단계를 더 포함할 수 있다.
한편, 상기 적어도 하나의 제2 외부 장치는 동일한 사용자 계정에 등록된 장치일 수 있다.
그리고, 단말 장치의 제어 방법은 상기 적어도 하나의 제2 외부 장치를 상기 기 설정된 작업과 관련된 시간 또는 거리를 기초로 그룹핑하는 단계를 더 포함하고, 상기 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 단계는 상기 기 설정된 이벤트가 발생하고 상기 기 설정된 작업과 관련된 시간 또는 거리 조건을 만족하는 경우 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시할 수 있다.
한편, 본 개시의 일 실시 예에 따른 원격 제어 시스템은 기 설정된 이벤트의 발생 신호를 단말 장치로 전송하는 제1 외부 장치, 상기 기 설정된 이벤트의 발생 신호를 수신하면, 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하는 단말 장치 및 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 상기 단말 장치로 전송하는 적어도 하나의 제2 외부 장치를 포함하고, 상기 단말 장치는 채팅 창을 생성하여 상기 생성된 채팅 창에 상기 연결된 적어도 하나의 제2 외부 장치 및 상기 수신된 메시지를 표시한다.
그리고, 상기 단말 장치는 기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송할 수 있다.
그리고, 상기 단말 장치는 상기 적어도 하나의 제2 외부 장치를 상기 기 설정된 작업과 관련된 시간 또는 거리를 기초로 그룹핑하고, 상기 기 설정된 이벤트가 발생하고 상기 기 설정된 작업과 관련된 시간 또는 거리 조건을 만족하는 경우 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시할 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면 단말 장치, 원격 시스템 및 제어 방법은 보다 효과적인 원격 제어 환경을 구축할 수 있고, 디바이스의 능동적인 제어를 할 수 있어 사용자 편의성을 높일 수 있다.
도 1a 및 도 1b는 본 발명의 일 실시 예에 따른 원격 제어 시스템을 설명하는 도면이다.
도 2a는 본 발명의 일 실시 예에 따른 단말 장치의 블록도이다.
도 2b는 본 발명의 다른 실시 예에 따른 단말 장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 이벤트 신호를 전송하는 단말 장치의 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 동일한 계정에 등록된 단말 장치가 표시된 화면을 설명하는 도면이다.
도 5는 본 발명의 제1 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 6은 본 발명의 제2 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 이벤트 프로파일을 설명하는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 그룹핑된 이벤트 프로파일을 설명하는 도면이다.
도 9는 본 발명의 제3 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 10은 본 발명의 제4 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 11은 본 발명의 제5 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 12는 본 발명의 제5 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 13은 본 발명의 제6 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 14는 본 발명의 제6 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 15는 본 발명의 제7 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 16은 본 발명의 제7 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 17은 본 발명의 일 실시 예에 따른 단말 장치 제어 방법의 흐름도이다.
도 18은 본 발명의 일 실시 예에 따른 단말 장치를 등록하는 과정을 설명하는 흐름도이다.
도 19는 본 발명의 일 실시 예에 따른 채팅 방을 생성하는 과정을 설명하는 흐름도이다.
도 20은 본 발명의 일 실시 예에 따른 제어 작업이 진행되는 과정을 설명하는 도면이다.
도 21은 본 발명의 일 실시 예에 따른 등록된 단말 장치를 수정하는 과정을 설명하는 도면이다.
도 22는 본 발명의 다른 실시 예에 따른 단말 장치의 블록도이다.
도 23은 본 발명의 다른 실시예에 따른 단말 장치가 QR 코드를 통해 외부 장치를 연결하는 예를 도시한다.
도 24는 본 발명의 다른 실시예에 따른 단말 장치에서 QR 코드를 통해 외부 장치와 연결되는 방법에 대한 흐름도이다.
도 25는 본 발명의 다른 실시예에 따른 단말 장치가 외부 장치를 연락처(contact)에 등록하는 예를 도시한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 본 발명의 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 본 발명의 기술적 사상이 제한되는 것은 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다. 다만, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1a는 본 발명의 일 실시 예에 따른 원격 제어 시스템을 설명하는 도면이다.
도 1a를 참조하면, 원격 제어 시스템(1000)은 단말 장치(100), 복수의 외부 장치(200-1, 200-2, 200-3) 및 서버(300)를 포함할 수 있다. 도 1a에 도시된 원격 제어 시스템(1000)은 복수 개의 외부 장치(200-1, 200-2, 200-3)를 포함하고 있지만, 원격 제어 시스템(1000)은 하나의 외부 장치를 포함할 수도 있다.
일 실시 예로서, 단말 장치(100)는 사용자로부터 명령을 입력받고, 입력된 명령을 서버(300)를 통해 입력된 명령과 관련된 적어도 하나의 외부 장치(200-1, 200-2 및/또는 200-3)로 전송할 수 있다. 단말 장치(100)는 사용자의 명령을 입력받고, 입력된 명령과 관련된 외부 장치와 포함하는 채팅 창을 생성할 수 있다. 채팅 창은 사용자가 명령을 입력할 수 있는 영역이고, 외부 장치와 인터랙션하는 공간이며, 명령의 전송 및 동작의 수행 여부를 기록하는 히스토리 영역이다. 단말 장치(100)는 입력된 명령과 관련된 외부 장치 리스트를 포함하는 이벤트 프로파일을 저장할 수 있다. 이벤트 프로파일은 발생된 이벤트에 대응하는 외부 장치의 식별 정보와 외부 장치에서 수행될 작업을 설정한 디스크립터를 의미한다. 이벤트 프로파일은 동작 디스크립터라고 부를 수 있다.
단말 장치(100)는 이벤트 프로파일(또는, 동작 디스크립터)을 이용하여 단말 장치(100)에 입력된 명령과 관련된 외부 장치를 판단할 수 있다. 따라서, 단말 장치(100)는 사용자의 명령이 입력되는 경우, 저장된 이벤트 프로파일에 기초하여 사용자 명령과 관련된 외부 장치를 채팅 창에 표시할 수 있다.
또는, 이벤트 프로파일은 서버(300)에 저장될 수 있다. 이 경우, 단말 장치(100)는 명령이 입력되면 서버(300)에 저장된 이벤트 프로파일을 수신하여 사용자 명령과 관련된 외부 장치를 판단할 수 있다.
예를 들어, 단말 장치(100)는 채팅 창을 생성하고, 단말 장치(100)에 입력된 사용자 명령과 관련된 외부 장치의 식별 정보를 표시할 수 있다. 또한, 단말 장치(100)는 서버(300)를 통해 외부 장치(200-1, 200-2, 200-3)로 상태 정보를 요청하거나 동작 수행 신호를 전송할 수 있다. 상태 정보는 외부 장치(200-1, 200-2, 200-3)의 현재 상태에 대한 정보일 수 있다. 그리고, 동작 수행 신호는 입력된 명령에 대응되는 외부 장치(200-1, 200-2, 200-3)의 동작과 관련된 신호일 수 있다. 외부 장치(200-1, 200-2, 200-3)는 입력된 명령에 대응되는 동작의 수행 여부를 문의하는 메시지를 서버(300)를 통해 단말 장치(100)로 전송할 수 있다. 단말 장치(100)는 채팅 창에 수신한 메시지를 표시할 수 있다. 단말 장치(100)는 사용자로부터 승인 명령을 입력받거나 기 설정된 시간 이상 어떠한 입력도 받지 못하는 경우, 동작 수행 명령 신호를 서버(300)를 통해 외부 장치(200-1, 200-2, 200-3)로 전송할 수 있다. 또는, 단말 장치(100)는 복수의 외부 장치(200-1, 200-2, 200-3) 중 하나의 외부 장치로부터 이벤트 발생 신호를 수신할 수 있다. 단말 장치(100)가 하나의 외부 장치로부터 이벤트 발생 신호를 수신한 경우에도 사용자 명령을 입력받은 예와 동일한 과정을 수행할 수 있다.
한편, 복수의 외부 장치(200-1, 200-2, 200-3) 중 하나의 외부 장치가 단말 장치(100)의 기능을 수행할 수도 있다. 또한, 단말 장치(100)가 외부 장치 중 하나의 장치로서 동작할 수도 있다.
외부 장치(또는 외부 디바이스)(200-1, 200-2, 200-3)는 하나의 독립적인 장치일 수 있고, 서비스 공간에 설치되어 서비스 공간을 관리 또는 제어하는 부속 부분일 수도 있다. 예를 들어, 단말 장치(100) 또는 외부 장치(200-1, 200-2, 200-3)는 휴대폰, 스마트 폰, 노트북 컴퓨터, 데스크탑 컴퓨터, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스, TV, 냉장고, 세탁기, 모니터, DVD 플레이어, 스마트 폰, 디지털 카메라, 전자 액자, 키오스크 등과 같은 독립적인 장치로 구현될 수 있다. 그리고, 외부 장치(200-1, 200-2, 200-3)는 전등, 블라인드, 조도 센서 등 조명 관련 장치, 에어컨, 난방기, 보일러, 온도 센서 등 난방 관련 장치, 공기 청정기, 가습기, 습도 센서 등 대기 관련 장치 등으로 구현될 수 있다. 또한, 외부 장치(200-1, 200-2, 200-3)는 자동차, 집, 사무실, 자동차 정비소, 마트 등과 같은 서비스 공간에 설치된 부속 부분일 수 있다. 즉, 외부 장치(200-1, 200-2, 200-3)는 사무실, 마트 등을 관리하는 서버로 구현될 수 있으며, 자동차에 포함된 자동차 제어모듈로 구현될 수도 있다. 즉, 외부 장치(200-1, 200-2, 200-3)는 단말 장치(100)로 상태 정보 및 동작 문의 메시지를 전송하고, 단말 장치(100)로부터 명령을 수신하여 수신된 명령을 수행할 수 있는 모든 장치 또는 부속 모듈을 포함할 수 있다. 외부 장치(200-1, 200-2, 200-3)는 전송된 명령에 따라 동작을 수행할 수 있다.
서버(300)는 외부 장치(200-1, 200-2, 200-3)로부터 상태 정보 또는 동작 수행 여부를 문의하는 메시지를 수신하여 단말 장치(100)로 전송할 수 있다. 그리고, 서버(300)는 단말 장치(100)로부터 명령을 수신하여 해당 외부 장치로 전송할 수 있다. 경우에 따라, 서버(300)는 단말 장치(100)의 계정을 저장하고, 사용자가 등록하는 외부 장치를 저장된 계정에 등록하여 이벤트 프로파일을 생성할 수 있다. 서버(300)는 사용자의 허락에 따라 사용자의 이벤트 프로파일을 타 사용자와 공유할 수 있다. 한편, 서버(300)는 제어 동작 과정에서 사용되지 않을 수도 있다.
도 1b는 본 발명의 다른 실시 예에 따른 원격 제어 시스템을 설명하는 도면이다.
도 1b를 참조하면, 원격 제어 시스템(1000a)은 단말 장치(100) 및 외부 장치(200-1, 200-2, 200-3)를 포함할 수 있다. 단말 장치(100)는 사용자의 명령을 입력받거나 복수의 외부 장치(200-1, 200-2, 200-3) 중 하나의 외부 장치로부터 이벤트 발생 신호를 수신할 수 있다. 단말 장치(100)는 입력된 명령 또는 수신된 이벤트 발생 신호에 따라 채팅 창을 생성하고, 입력된 명령 또는 수신된 이벤트와 관련된 외부 장치를 표시할 수 있다. 단말 장치(100)는 이벤트 프로파일을 기초로 이벤트와 관련된 외부 장치를 판단할 수 있다. 이벤트 프로파일은 단말 장치(100)에 저장되어 있을 수 있고, 서버(미도시)에 저장되어 있을 수 있다. 다만, 단말 장치(100)는 채팅 창이 생성되면, 서버로부터 이벤트 프로파일 또는 이벤트 프로파일에 포함된 데이터를 수신하고, 외부 장치와 직접 통신할 수도 있다.
외부 장치(200-1, 200-2, 200-3)는 사용자의 명령 또는 발생된 이벤트에 대응되는 동작의 수행 여부를 문의하는 메시지를 단말 장치(100)로 전송할 수 있다. 경우에 따라, 단말 장치(100)는 사용자의 명령 또는 발생된 이벤트와 관련없는 외부 장치와 연결할 수 있다. 여기서, 단말 장치(100)와 연결된 외부 장치는, 메인 동작 또는 기 설정된 동작의 수행 여부를 문의하는 메시지를 단말 장치(100)로 전송할 수 있다. 예를 들어, 가전기기 이벤트 프로파일에 거실전등이 배제되어 있다고 할 때, 사용자는 가전기기 이벤트 프로파일을 실행한 후 사용자의 의사에 기해 거실전등을 채팅 창에 추가할 수 있다. 거설전등은 가전기기 이벤트 프로파일에서 배제되어 있기 때문에, 가전기기 이벤트 프로파일은 거실전등에 대응되는 동작 설정을 포함하지 않을 수 있다. 따라서, 거실전등은 거실전등의 메인 동작(예를 들어, 턴-온 동작) 수행 여부를 문의하는 메시지를 단말 장치(100)로 전송할 수 있다. 원격 제어 시스템(1000a)의 동작은 도 1a에서 설명한 바와 동일하므로 자세한 설명은 생략한다. 이하에서는 단말 장치(100)의 블록도를 설명한다.
도 2a는 본 발명의 일 실시 예에 따른 단말 장치의 블록도이다.
도 2a를 참조하면, 단말 장치(100)는 통신부(110), 디스플레이(120), 프로세서(130)를 포함한다. 통신부(110)는 복수의 외부 장치와 통신한다. 통신부(110)는 이벤트가 발생한 외부 장치로부터 이벤트 발생 신호를 수신할 수 있다. 그리고, 통신부(110)는 이벤트와 관련된 외부 장치로부터, 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 수신할 수 있다.
통신부(110)는 이동통신 모듈(미도시)을 포함하여 이동통신을 위한 통신방식에 기초하여 기지국, 외부의 단말, 서버 등과 무선 신호를 송수신할 수 있다. 무선 신호는 음성, 화상, 문자 또는 멀티미디어 데이터 등과 같은 다양한 형태의 데이터를 포함할 수 있다. 또는, 통신부(110)는 무선 인터넷 모듈(미도시)을 포함하여 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신할 수 있다. 한편, 이동통신망을 통해 무선인터넷 접속을 수행하는 무선 인터넷 모듈은 이동통신 모듈의 일종으로 이해될 수도 있다. 또는, 통신부(110)는 근거리 통신을 위한 근거리 통신 모듈(미도시)을 포함할 수도 있다. 근거리 통신 모듈은 근거리 무선 통신망을 이용하여 무선 통신 시스템, 다른 단말 장치, 외부 장치 또는 서버 등과 통신을 수행할 수 있다.
디스플레이부(120)는 채팅 창을 생성하여 표시하고, 이벤트와 관련된 외부 장치를 채팅 창에 표시한다. 그리고, 디스플레이(120)는 외부 장치로부터 수신한 기 설정된 작업의 수행 여부를 문의하는 메시지와, 기 설정된 작업의 수행 여부를 선택할 수 있는 GUI(graphic user interface)(예를 들어, 버튼 이미지)를 채팅 창에 표시할 수 있다.
프로세서(130)는 통신부(110)와 디스플레이부(120)를 제어한다. 프로세서(130)는 통신부(110)를 통해 이벤트 발생 신호가 수신되면,이벤트 프로파일을 이용하여, 단말 장치(100)가 이벤트와 관련된 외부 장치와 연결하도록 통신부(110)를 제어한다. 그리고, 프로세서(130)는 채팅 창을 생성하고, 채팅 창에 이벤트와 관련된 외부 장치 및 외부 장치로부터 수신한 메시지를 표시하도록 디스플레이(120)를 제어한다. 또한, 프로세서(130)는 외부 장치에서 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 표시하도록 디스플레이(120)를 제어한다. 프로세서(130)는 사용자의 명령을 입력받으면 입력된 사용자의 명령을 채팅 창에 표시할 수 있다. 그리고, 프로세서(130)는 입력된 사용자의 명령(예를 들어, 기 설정된 작업에 대한 수행 명령)을, 이벤트와 관련된 외부 장치로 전송하도록 통신부(11)를 제어할 수 있다. 한편, 프로세서(130)는 외부 장치에서 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 표시한 후 일정시간 동안 사용자의 명령이 입력되지 않으면 자동으로 기 설정된 작업에 대한 수행 명령을 외부 장치로 전송할 수 있다.
도 2b는 본 발명의 다른 실시 예에 따른 단말 장치의 블록도이다.
도 2b는 도 2a에 도시된 단말 장치의 세부 구성을 나타내는 블록도이다. 도 2b에 따르면, 단말 장치(100a)는 통신부(110), 디스플레이(120), 프로세서(130), 제1 스피커(141), 제2 스피커(142), 저장부(150), 오디오 처리부(160) 및 비디오 처리부(170) 등을 포함할 수 있다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
디스플레이(120)는 다양한 UI 화면을 디스플레이한다. UI 화면은 이미지, 동영상, 텍스트 등과 같은 다양한 형태로 구현될 수 있다. 한편, 디스플레이(120)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(120)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
프로세서(130)는 단말 장치(100a)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(150)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 오브젝트를 포함하는 화면, 예를 들어, 포인팅 오브젝트를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 오브젝트들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 오브젝트를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(120)의 사용자 인터페이스 영역 내에 표시된다.
한편, 상술한 프로세서(130)의 동작은 저장부(150)에 저장된 프로그램에 의해 이루어질 수 있다. 저장부(150)는 단말 장치(100a)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다. 특히, 저장부(150)는 본 발명의 일 실시 예에 따른 기능을 제공하기 위한 통신 모듈, 신호 처리 모듈 등의 프로그램이 저장되어 있을 수 있다. 프로세서(130)는 통신 모듈을 이용하여 외부 장치로부터 신호를 수신하고, 외부 장치로 신호를 전송할 수 있다.
한편, 단말 장치(100a)는 사용자의 명령을 입력받기 위한 입력부(미도시)를 더 포함할 수도 있다. 예를 들어, 입력부는 키패드, 키보드, 마우스, 터치 패드, 터치 스크린, 마이크, 카메라 등의 형태로 구현될 수도 있다.
그 밖에 단말 장치(100a)는 음향 데이터에 대한 수행하는 오디오 처리부(160), 비디오 데이터에 대한 처리를 수행하는 비디오 처리부(170)를 포함할 수도 있다. 예를 들어, 프로세서(130)는 수신되는 메시지 또는 표시되는 메시지를 음성으로 변환할 수 있다. 그리고, 프로세서(130)는 제1 및 제2 스피커(141, 142)를 통해 출력되는 음성 신호를 처리하도록 오디오 처리부(160)를 제어할 수 있다. 또는, 사용자는 음성으로 단말 장치(100a)에 명령을 입력할 수 있다. 오디오 처리부(160)는 입력되는 음성 신호를 처리하고, 프로세서(130)가 이진 데이터로 변환하여 입력된 명령을 인식할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 단말 장치의 블록도이다.
상술한 바와 같이, 원격 제어 시스템은 외부 장치와 통신하는 단말 장치, 이벤트 발생 신호를 단말 장치로 전송하는 제1 외부 장치, 및 단말 장치로부터 제공되는 명령에 따라 이벤트에 대응되는 동작을 수행하는 제2 외부 장치를 포함한다. 그러나, 이에 제한되는 것은 아니며, 원격 제어 시스템의 제1 외부 장치 및/또는 제2 외부 장치는 단말 장치의 역할을 수행할 수 있고, 단말 장치는 제1 외부 장치 및/또는 제2 외부 장치의 역할을 수행할 수 있다. 한편, 설명의 편의를 위하여, 위에서는 외부 장치의 기능에 따라 제1 외부 장치와 제2 별개로 설명하였으나, 제1 및 제2 외부 장치는 하나의 장치일 수 있다.
도 3에 도시된 단말 장치(200)는 제1 외부 장치 및/또는 제2 외부 장치의 기능을 수행할 수 있다. 이 경우, 도 3에 도시된 바와 같이, 단말 장치(200)는 입력부(210), 센서(220), 통신부(230) 및 프로세서(240)를 포함한다.
단말 장치(200)가 이벤트 발생 신호를 전송하는 제1 외부 장치의 기능을 수행하는 경우, 입력부(210) 및 센서(220)는 이벤트 발생 신호를 입력받을 수 있다. 예를 들어, 단말 장치(200)는 이벤트 발생 신호를 센서(220)를 통해 직접 인식할 수 있다. 또는, 단말 장치(200)는 외부에서 센싱된 이벤트 발생 신호를 입력부(210)를 통해 입력받을 수도 있다. 상술한 바와 같이, 단말 장치(200)는 독립적인 전자 장치, 센서 장치 또는 건물의 시스템을 관리하고 제어하는 서버, 건물이나 자동차의 제어 모듈 등의 형태로 구현될 수 있다. 따라서, 단말 장치(200)는 입력부(210)를 통해 이벤트 발생 신호를 입력받거나 센서(220)를 통해 이벤트 발생 신호를 감지할 수 있다. 한편, 단말 장치(200)는 입력부(210) 또는 센서(220) 중 하나의 모듈만을 포함할 수도 있다.
한편, 단말 장치(200)가 기 설정된 작업을 수행하는 제2 외부 장치의 기능을 더 수행하는 경우, 센서(220)는 상태 정보를 감지할 수 있다. 이때, 단말 장치(200)는 동작의 수행 전에 현재 상태를 판단할 수 있다. 예를 들어, 단말 장치(200)가 보일러인 경우, 현재 온도를 감지함으로써, 보일러의 작동을 턴-온 해야 하는지 아니면 작동을 하지 않아도 되는지 판단할 수 있다. 또한, 단말 장치(200)가 기 설정된 작업을 수행하는 경우라도, 명령을 전송하는 제1 외부 장치로서 기능할 수 있으므로, 입력부(210)는 사용자의 명령을 입력받을 수 있다.
통신부(230)는 이벤트 발생 신호를 메인 장치(예, 도 1a의 원격 제어 시스템의 단말 장치)로 전송할 수 있다. 또한, 통신부(230)는 메인 장치로부터 사용자 명령을 수신하거나 상태 정보를 메인 장치로 전송할 수도 있다. 그리고, 프로세서(240)는 단말 장치(200)에서 이벤트가 발생하면 이벤트 발생 신호를 메인 장치로 전송하도록 통신부(230)를 제어할 수 있다. 프로세서(240)는 이벤트가 발생하면 발생된 이벤트에 대응하는 동작을 수행할 수 있다. 또는, 프로세서(240)는 이벤트가 발생하면 발생된 이벤트에 대응하는 동작 수행 여부를 문의하는 메시지를 메인 장치로 전송할 수 있다. 그리고, 프로세서(240)는 메인 장치로부터 사용자 명령을 수신함으로써, 이벤트에 대응하는 동작을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 동일한 계정에 등록된 단말 장치가 표시된 화면을 설명하는 도면이다.
도 4를 참조하면, 메인 장치(예를 들어, 도 1a의 원격 제어 시스템의 단말 장치)는 메인 장치(또는, 서버)에 등록된 복수의 단말 장치(예를 들어, 도 1a의 원격 제어 시스템의 외부 장치들)의 식별 정보를 표시할 수 있다. 각각의 단말 장치는, 메인 장치의 사용자에 의해 생성된 하나의 계정에 등록될 수 있다. 동일한 계정에 등록된 단말 장치들은, 메인 장치 또는 단말 장치에 실행될 수 있는 소정 메신저 어플리케이션에서 친구로 등록될 수 있다. 메신저 어플리케이션이 실행되면, 친구로 등록된 복수의 단말 장치는 각 단말 장치의 식별 정보를 포함하는 리스트 타입으로 표시될 수 있다. 단말 장치의 식별 정보는, 단말 장치가 계정에 등록될 때, 사용자의 선택에 따라 별명으로 등록될 수 있다. 한편, 단말 장치의 식별 정보가 별명으로 등록되지 않은 경우, 단말 장치의 식별 정보는, 고유의 식별 번호(예를 들어, 단말 장치의 맥(mac) 어드레스 등) 또는 식별 명칭(예를 들어, 단말 장치의 종류 등)으로 등록될 수 있다.
일 실시 예로서, 사용자는 사용자의 제1 계정으로 자동차를 등록하면서 ‘붕붕이’라는 별명으로 자동차의 식별 정보를 등록하고, 제1 계정으로 TV를 등록하면서 ‘테레비’라는 별명으로 TV 의 식별 정보를 등록하고, 동일한 제1 계정으로 스마트폰을 등록하면서 ‘갤식이’라는 별명으로 스마트폰의 식별 정보를 등록할 수 있다. 한편, 동일한 제1 계정에 등록된 자동차, TV, 스마트폰은, 메신저 어플리케이션에서 친구로 자동으로 등록될 수 있다. 그리고, 메인 장치의 메신저 어플리케이션이 실행되면, 메인 장치는 친구 목록을 표시하면서, 사용자의 제1 계정에 별명으로 등록된 단말 장치의 식별 정보들을 표시할 수 있다. 만약, 복수의 단말 장치들 각각에 설치된 메신저 어플리케이션이 실행되면, 각 단말 장치가 제1 계정에 등록된 단말 장치들의 별명을 포함하는 친구 목록을 표시할 수 있음은, 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 메인 장치는 메인 장치와 동일한 계정에 등록된 단말 장치들과의 메신저 채팅을 통해, 소정 단말 장치에서 발생된 이벤트에 대응하는 동작 수행 여부를 문의 메시지를 표시하고, 동작 명령을 소정 단말 장치로 전송할 수 있다.
도 5는 본 발명의 제1 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 5를 참조하면, 사용자의 명령에 따라 채팅 창이 생성된 단말 장치(예를 들어, 도 4의 메신저 어플리케이션이 설치된 메인 장치 또는 단말 장치)가 도시되어 있다. 단말 장치는 이벤트 발생 신호의 수신 이외에도 사용자의 명령을 입력받아 외부 장치로 명령을 전송할 수 있다.
메신저 어플리케이션이 실행되면 단말 장치는 동일한 계정에 등록된 외부 장치의 식별 정보 리스트를 표시할 수 있다. 단말 장치는 사용자에 의해 선택된 외부 장치를 포함하는 채팅 창을 생성할 수 있다. 이때, 단말 장치는 복수 개의 외부 장치를 선택할 수도 있다. 사용자는 채팅 창에 메시지를 입력할 수 있다. 단말 장치는 키패드, 키보드와 같은 물리적인 키 또는 디스플레이상에 표시된 소프트 키를 통해 사용자로부터 메시지를 입력받을 수 있다. 또는, 단말 장치는 디스플레이의 일정한 영역 상에서 사용자의 필기 입력을 통해 메시지를 입력받을 수 있다. 단말 장치는 입력된 메시지를 채팅 창에 표시할 수 있다. 또는, 단말 장치는 마이크를 통해 사용자의 음성을 입력받고 채팅 창에 메시지를 표시할 수 있다. 단말 장치는 입력된 메시지를 선택된 외부 장치로 전송할 수 있다.
일 실시 예로서, 단말 장치는 서버로 메시지를 전송하고, 서버는 메시지를 수신한 후 채팅 창 및 외부 장치의 정보를 판단하여 선택된 외부 장치로 메시지를 전송할 수 있다. 메시지를 수신한 외부 장치는 메시지를 분석할 수 있다. 예를 들어, 외부 장치는, 메시지 내에서 기 설정된 동작 수행 명령을 추출할 수 있다. 또는, 외부 장치는, 메시지 내에서, 외부 장치의 상태 정보 제공 요청을 추출할 수 있다. 다른 실시 예로서, 단말 장치는 선택된 외부 장치와 직접 연결하고, 선택된 외부 장치로 직접 메시지를 전송할 수도 있다. 메시지를 수신한 외부 장치는, 메시지를 분석할 수 있다. 한편, 외부 장치는, 메시지 분석 결과에 기초하여, 기 설정된 동작을 수행하거나, 외부 장치의 상태 정보를 서버(또는, 단말 장치)로 전송할 수 있다.
도 5에 도시된 바와 같이, 사용자의 선택에 따라 단말 장치는 채팅 창을 생성하고, 별명이 ‘붕붕이’인 자동차를 채팅 창에 표시할 수 있다. 사용자는 채팅 창을 통해 자동차와 관련된 메시지를 입력할 수 있다. 일 실시 예로서, 자동차와 관련된 메시지는, 연료에 대해 문의하는 메시지일 수 있다. 단말 장치는 입력된 메시지를 자동차에게 전송할 수 있다. 상술한 바와 같이, 메시지는 서버를 통해 자동차로 전송되거나, 자동차로 직접 전송될 수 있다.
자동차는 메시지를 수신하여 분석할 수 있다. 자동차는 메시지 내에서 동작 수행 명령 또는 상태 정보 제공 요청에 대응되는 기 설정된 단어 또는 문장을 추출할 수 있다. 자동차가 메시지로부터 동작 수행 명령 또는 상태 정보 제공 요청을 명확히 인식한 경우에는, 대응되는 동작을 수행하거나 응답 메시지를 전송할 수 있다. 그러나, 메시지로부터 동작 수행 명령 또는 상태 정보 제공 요청이 추출되지 않는 경우, 자동차는 재문의를 요청하는 메시지를 단말 장치로 전송할 수 있다. 이 경우, 자동차는 단말 장치로부터 기 수신된 메시지를 이용하여, 자동차가 수행할 수 있는 동작 아이템을 함께 전송할 수 있다. 예를 들어, 단말 장치로부터 기 수신된 메시지가 ‘연료(fuel)’라는 단어를 포함하는 경우, 자동차는 자동차의 연료 상태 정보 제공, 에코(eco) 모드 수행 등의 동작 아이템을 단말 장치로 전송할 수 있다. 즉, 자동차는 동작 아이템을 전송함으로써 빠르고 명확하게 사용자의 명령을 수행할 가능성을 높일 수 있다.
한편, 단말 장치는 자동차로부터 수신한 재문의 요청에 대응되는 메시지(예를 들어, “무엇을 의미합니까(What do you mean)?”)를 채팅 창에 표시할 수 있다. 또한, 단말 장치는 자동차로부터 수신한 동작 아이템이 존재하는 경우, 수신한 동작 아이템을 나타내는 메시지를 채팅 창에 표시할 수 있다. 사용자는 복수의 동작 아이템 중 하나의 아이템을 선택할 수 있다. 단말 장치는 선택된 아이템에 대한 정보를 자동차로 전송할 수 있다.
자동차는 전송된 명령에 대응하는 동작을 수행하고 결과 메시지를 단말 장치로 전송할 수 있다. 예를 들어, 자동차는 연료 상태 정보를 요청하는 메시지를 단말 장치로부터 수신하고, 자동차의 연료 상태를 나타내는 이미지, 텍스트 등을 포함하는 메시지를 단말 장치로 전송할 수 있다. 단말 장치는 자동차로부터 수신한 메시지를 표시할 수 있다. 도 5에서 설명한 바와 같이, 외부 장치는 사용자의 일방적인 명령에 의해 동작을 수행하는 것이 아니라 사용자와 인터랙션을 통해 명령을 수행할 수 있다.
한편, 단말 장치는, 외부 장치로부터 이벤트 발생 신호가 수신됨에 따라, 채팅 창을 생성하고 외부 장치를 제어할 수 있다.
도 6은 본 발명의 제2 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 6(a)를 참조하면, 단말 장치가 채팅 창을 생성하여 외부 장치를 초대한 화면이 도시되어 있다. 단말 장치는 이벤트 발생 신호를 수신하면 채팅 창을 생성하고 발생된 이벤트와 관련된 외부 장치를 채팅 창에 표시할 수 있다.
일 실시 예로서, 단말 장치는 이벤트 발생 신호가 수신되면, 이벤트 프로파일에 기초하여 이벤트와 관련된 외부 장치를 채팅 창에 표시할 수 있다. 상술한 바와 같이, 이벤트 프로파일은 이벤트, 이벤트에 대응되는 외부 장치 및 외부 장치의 동작이 설정된 프로파일을 의미할 수 있다. 이벤트 프로파일은 동작 디스크립터라고 부를 수도 있다. 이벤트 프로파일은 단말 장치의 제작시 생성되어 단말 장치에 저장될 수 있다. 또는, 이벤트 프로파일은 서버에 저장될 수 있다. 이벤트 프로파일은 사용자에 의해 생성, 삭제, 편집될 수 있다. 이벤트 프로파일은 복수의 외부 장치를 포함할 수도 있다.
단말 장치가 이벤트 프로파일을 저장하고 있는 경우, 단말 장치는 외부 장치와 연결되기 전에, 채팅 창을 생성하고, 채팅 창 내에 외부 장치의 식별 정보를 표시할 수 있다. 단말 장치는 채팅 창을 통해 최초 메시지를 입력받고 메시지 전송 명령이 입력되면, 외부 장치와 연결하여 메시지를 전송할 수 있다. 또는, 단말 장치는 채팅 창을 생성되면, 외부 장치와 연결 동작을 수행할 수도 있다.
한편, 단말 장치가 수신하는 이벤트 발생 신호는 다양할 수 있으며, 단말 장치는 이벤트 프로파일 및 이벤트 발생 신호에 기초하여, 이벤트와 관련된 외부 장치를 선택할 수 있다. 일 실시 예로서, 자동차가 외부 온도가 낮다고 판단한 경우 이벤트 발생 신호를 단말 장치로 전송할 수 있다. 이 경우, 단말 장치는 이벤트 프로파일을 이용하여, 외부 온도 이벤트와 관련된 외부 장치로서 집의 보일러를 선택할 수 있다. 또는, 자동차는 집으로 출발하는 이벤트 발생시 단말 장치로 이벤트 발생 신호를 전송할 수 있다. 이 경우, 단말 장치는 이벤트 프로파일을 이용하여, 집으로 출발하는 이벤트와 관련된 외부 장치로서 보일러를 선택할 수 있다. 그리고, 이벤트 프로파일은 보일러의 동작으로써, 온도 체크 동작을 설정할 수 있다.
예를 들어, 자동차는 사용자의 집으로 출발하라는 음성 명령을 입력받아 목적지를 판단할 수 있다. 또는, 자동차는 네비게이션에 입력된 목적지 정보를 기초로 목적지를 판단할 수 있다. 또는, 자동차는 사용자에게 문의하고 사용자의 응답을 받아 목적지를 판단할 수도 있다. 자동차는 목적지를 판단한 후 집으로 출발하는 이벤트가 발생한 것을 판단할 수 있다. 자동차는 단말 장치로 집으로 출발하는 이벤트의 발생 신호를 전송할 수 있다.
단말 장치는 자동차로부터 이벤트 발생 신호를 수신하고 채팅 창을 생성하고, 이벤트 프로파일에 기초하여 자동차와 집의 보일러를 초대할 수 있다. 또는, 동일한 계정에 포함된 모든 단말 장치는 이벤트 프로파일을 공유할 수 있다. 따라서, 자동차는 단말 장치로 이벤트 발생 신호를 전송하여 단말 장치가 채팅 창을 생성하도록 요청한 후 보일러를 초대할 수 있다. 단말 장치는 이벤트 프로파일에 기 설정된 보일러의 동작을 이용하여, 보일러로 동작 수행 명령을 전송할 수 있다. 보일러는 단말 장치로부터 동작 수행 명령을 수신하여 기 설정된 동작을 수행할 수 있다. 예를 들어, 보일러는 기 설정된 동작으로 현재 온도를 체크하는 동작을 수행할 수 있다. 보일러는 현재 온도가 낮다고 판단하면 온도를 올릴 것인지 여부를 문의하는 메시지를 단말 장치로 전송할 수 있다.
또는, 단말 장치는 자동차로부터 이벤트 발생 신호에 따라 채팅 창을 생성한 후 보일러를 초대할 수 있다. 보일러는 단말 장치로부터 수신한 명령에 따라 동작을 수행하고, 동작 수행 결과와 관련된 메시지를 단말 장치로 전송할 수 있다. 이 경우, 단말 장치는 전송된 메시지를 채팅 창에 표시할 수 있다. 만약, 보일러가 전송한 메시지가 사용자에게 문의하는 메시지이면, 단말 장치는 작업의 수행 여부를 선택할 수 있는 버튼을 함께 표시할 수 있다.
도 6(b)를 참조하면, 자동으로 보일러에게 턴온 명령을 전송하는 단말 장치가 도시되어 있다. 사용자는 보일러의 작업 수행 여부를 문의하는 메시지에 대해 확인 또는 취소의 명령을 입력할 수 있다. 단말 장치는 보일러에게 사용자의 명령을 전송하고, 보일러는 사용자의 명령에 따라 턴온 동작을 수행할 수 있다.
그러나, 사용자로부터 기 설정된 시간 이상 명령이 입력되지 않으면, 단말 장치는 보일러에게 동작 수행 명령을 전송할 수 있다. 보일러는 전송된 명령에 따라 동작을 수행할 수 있다. 또는, 외부 장치는 기 설정된 시간 이상 명령을 수신하지 않으면 자동으로 동작을 수행할 수 있다. 그리고, 외부 장치는 동작 수행의 결과와 관련된 메시지(예를 들어, “턴온됨 & 설정 온도 26도” 등)를 단말 장치로 전송할 수 있다. 단말 장치는 외부 장치로부터 수신한 메시지를 표시할 수 있다.
도 6(c)를 참조하면, 새로운 외부 장치가 추가된 단말 장치가 도시되어 있다. 단말 장치 및 외부 장치는 기 설정된 이벤트 프로파일에 따라 채팅 창을 생성하고 채팅을 하며 기 설정된 동작을 수행할 수 있다. 그러나, 사용자는 채팅 창을 통해 이벤트 프로파일에 설정되지 않은 새로운 외부 장치(즉, 이벤트에 대응되는 것으로 기 설정되지 않은 외부 장치)에게 작동을 명령할 수 있다. 단말 장치는 현재 채팅 창이 표시된 상태에서 사용자의 명령에 따라 단말 장치와 동일한 계정으로 등록된 외부 장치 목록을 표시할 수 있다. 단말 장치는 사용자의 선택에 따라 새로운 외부 장치를 선택할 수 있다. 단말 장치는 현재 채팅 창에 새로운 외부 장치를 초대할 수 있다. 즉, 단말 장치는 사용자의 추가 명령에 따라 채팅 창에 표시되지 않은 새로운 외부 장치를 채팅 창에 추가하여 표시할 수 있다.
추가된 외부 장치는 현재 이벤트를 참고하여 관련된 작업 수행 여부를 문의하는 메시지를 전송할 수 있다. 또는, 추가된 외부 장치는 이벤트와 관련없이 자신의 메인 작업의 수행 여부를 문의하는 메시지를 전송할 수 있다. 이 경우, 단말 장치는 작업 수행을 명령을 추가된 외부 장치로 전송할 수 있다. 또는, 단말 장치는 외부 장치가 추가되면, 특정 작업에 대한 수행 명령을 추가된 외부 장치로 전송할 수 있다. 추가된 외부 장치는 단말 장치로부터 명령을 수신하여 작업을 수행할 수 있다.
한편, 채팅 창을 통해 외부장치와 송수신한 메시지는 계속 표시되거나 저장될 수 있다. 따라서, 사용자는 추후 메시지 또는 작업 내용을 확인할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 이벤트 프로파일을 설명하는 도면이다.
도 7을 참조하면, 이벤트, 외부 장치 및 작업을 포함하는 이벤트 프로파일이 도시되어 있다. 이벤트 프로파일은 단말 장치의 제조시에 생성되어 저장될 수 있다. 또는, 이벤트 프로파일은 사용자에 의해 생성되거나 편집될 수 있다.
일 실시 예로서, 목적지 집으로 선택되는 이벤트가 자동차에서 설정될 수 있다. 그리고, 목적지가 집인 이벤트와 관련된 외부 장치는 밥솥, 보일러, 거실전등, 세탁기, TV를 포함할 수 있다. 그리고, 이벤트 발생시 밥솥은 취사 기능 턴온, 보일러는 온도를 체크하고 기 설정된 온도 설정, 거실전등은 도착 1분전에 턴온, 세탁기는 세탁 기능 턴온, TV는 도착 1분전에 설정된 채널 선택의 작업을 하도록 설정될 수 있다. 이벤트 프로파일은 각 단말 장치에 저장될 수 있고, 서버에 저장될 수 있다. 그리고, 이벤트 프로파일은 단말 장치들 간에 공유될 수도 있다.
이벤트 프로파일이 설정된 후 목적지가 집으로 선택되는 이벤트가 자동차에서 발생되는 경우, 자동차는 이벤트 발생 신호를 단말 장치로 전송할 수 있다. 단말 장치는 수신된 이벤트 발생 신호에 따라 채팅 창을 생성하고, 발생된 이벤트와 관련된 외부 장치들(예를 들어, 밥솥, 보일러, 거실전등, 세탁기, TV 등)을 초대할 수 있다. 또는, 자동차는 이벤트 발생 신호를 단말 장치로 전송한 후 단말 장치가 채팅 창을 생성하면, 관련된 외부 장치를 초대할 수 있다. 따라서, 이벤트 프로파일에 따라 단말 장치가 능동적으로 채팅 창을 생성하고 관련된 작업을 수행할 수 있다. 한편, 이벤트 프로파일은 세부적으로 그룹핑될 수도 있다.
도 8은 본 발명의 일 실시 예에 따른 그룹핑된 이벤트 프로파일을 설명하는 도면이다.
도 8을 참조하면, 외부 장치를 세부적으로 그룹핑한 이벤트 프로파일이 도시되어 있다. 상술한 바와 같이, 이벤트가 발생한 경우, 단말 장치는 복수의 외부 장치를 채팅 창에 초대하고 작업 명령을 전송할 수 있다. 복수의 외부 장치가 채팅 창에 포함되었을 때, 단말 장치는 사용자 입력에 따라 복수의 외부 장치 중 일부 외부 장치로 동작 수행 명령을 전송할 수 있다. 그런데, 단말 장치가 일부 외부 장치로만 동작 수행 명령을 전송하는 경우, 단말 장치의 사용자는 각 외부 장치를 선택(또는, 비선택)해야 하므로, 사용자의 불편함이 발생될 수 있다. 따라서, 이벤트 프로파일에 포함된 외부 장치가 시간적 또는 공간적으로 그룹핑되는 경우, 단말 장치는 사용자 입력을 필요로하지 않고, 일부 외부 장치에 대해서만 동작 수행 명령을 전송할 수 있다.
도 8에 도시된 바와 같이, 이벤트 프로파일은 외부 장치의 동작 수행 시간을 기초로 외부 장치들을 그룹핑할 수 있다. 예를 들어, 제1 그룹에 포함된 외부 장치(예를 들어, 밥솥, 보일러, 세탁기)는, 이벤트가 발생되면 바로 동작을 수행할 수 있다. 그리고, 제2 그룹에 포함된 외부 장치(예를 들어, 거실전등, TV)는 소정 시점(예를 들어, 자동차가 도착하기 1분 전)에 동작을 수행할 수 있다. 단말 장치는 이벤트 발생 신호를 수신하면, 먼저 밥솥, 보일러, 세탁기를 채팅 창에 초대하고, 사용자의 명령에 따라 작업을 수행 또는 취소할 수 있다. 그리고, 자동차가 집에 도착하기 1분 전에 단말 장치(또는, 자동차)는 거실전등, TV를 추가적으로 채팅 창에 초대하고, 사용자의 명령에 따라 작업을 수행 또는 취소할 수 있다.
일 실시 예로서, 이벤트 프로파일은 동작 시간을 기초로 분류될 수 있다. 예를 들어, 이벤트 프로파일은 이벤트 발생 즉시 작업을 수행하는 그룹, 이벤트 발생 후 1시간 이내 작업을 수행하는 그룹 등과 같이 분류될 수 있고, 사용자가 집에 도착하기 1시간 이내 작업을 수행하는 그룹 등과 같이 분류될 수도 있다. 또는, 이벤트 프로파일은 단말 장치(또는, 이벤트 발생 장치)와 외부 장치 간의 거리를 기초로 분류될 수도 있다. 예를 들어, 이벤트 프로파일은 이벤트 발생 장치 또는 단말 장치로부터 거리가 1km 이내인 경우 작업 수행 그룹, 거리가 10km 이상 떨어진 경우 작업 수행 그룹 등과 같이 분류될 수도 있다.
도 9는 본 발명의 제3 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 9(a)를 참조하면, 복수의 외부 장치가 채팅 창에 표시된 단말 장치가 도시되어 있다. 상술한 바와 같이, 이벤트가 발생하면 이벤트 발생 장치(즉, 이벤트가 발생한 외부 장치)가 단말 장치로 이벤트 발생 신호를 전송할 수 있다. 그리고, 이벤트 발생 장치는 이벤트 프로파일에 기초하여 이벤트에 관련된 외부 장치를 채팅 창에 초대할 수 있다. 또는, 단말 장치는 이벤트 발생 신호를 수신하면 채팅 창을 생성할 수 있다. 그리고, 단말 장치는 이벤트 프로파일에 기초하여 이벤트 관련된 외부 장치를 채팅 창에 표시할 수 있다. 또는, 단말 장치는 이벤트 프로파일에 기초하여 이벤트 관련 외부 장치와 연결하고 이벤트 관련 외부 장치를 채팅 창에 표시할 수 있다.
이벤트 관련 외부 장치는 복수 개 존재할 수 있다. 각각의 이벤트 관련 외부 장치는 기 설정된 작업의 수행 여부를 문의하는 메시지를 단말 장치로 전송할 수 있다. 단말 장치는 채팅 창에서 수신된 메시지를 표시할 수 있다. 그리고, 단말 장치는 각각의 작업의 수행 여부를 선택할 수 있는 버튼을 함께 표시할 수 있다. 한편, 도 9에는 도시되지 않았으나 단말 장치는 일괄적으로 작업 수행 또는 취소할 수 있는 버튼을 더 표시할 수도 있다.
도 9(b)를 참조하면, 하나의 외부 장치가 선택되는 채팅 창이 도시되어 있다. 단말 장치는 이벤트 관련 외부 장치들 중에서 하나의 외부 장치를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 채팅 창에 표시된 외부 장치의 명치 부분을 선택할 수 있다.
도 9(c)를 참조하면, 사용자에 의해 선택된 외부 장치가 제거된 채팅 창이 도시되어 있다. 단말 장치는 외부 장치의 명칭 부분이 선택되면 선택된 외부 장치를 채팅 창에서 제거할 수 있다. 또는, 단말 장치는 선택된 외부 장치를 제거하기 전에 제거 여부를 확인하는 알림 창을 더 표시할 수 있다.
단말 장치는 일괄적인 작업 수행 명령을 입력받거나 개별적인 작업 수행 명령을 입력받으면, 각각의 외부 장치에 입력된 명령을 전송할 수 있다. 따라서, 단말 장치는 복수의 외부 장치를 일괄적으로 또는 개별적으로 제어할 수 있다.
도 10은 본 발명의 제4 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 10을 참조하면, ABC자동차 정비소와 메시지를 송수신하는 채팅 창이 도시되어 있다. 상술한 바와 같이, 단말 장치(또는, 외부 장치)는 독립적인 전자 장치에 국한되지 않는다. 단말 장치(또는, 외부 장치)는 자동차, 건물 등을 관리하고 제어하는 서버 또는 제어 모듈 등을 포함할 수 있다. 따라서, 자동차 정비소와 같은 건물(또는, 회사, 시장)도 네트워크에 연결 가능하고, 건물을 관리 또는 제어하거나 데이터를 관리할 수 있다면 단말 장치(또는, 외부 장치)일 수 있다.
도 10에 도시된 바와 같이, 자동차는 정비 시점 또는 이상 증상이 감지되는 경우, 단말 장치에 이벤트 발생 신호를 전송할 수 있다. 그리고, 자동차는 발생된 이벤트와 관련된 자동차정비소를 채팅 창에 초대할 수 있다. 또는, 이벤트 발생 신호를 수신한 단말 장치는 채팅 창을 생성하여 자동차와 자동차정비소를 초대할 수 있다. 자동차는 문의하고자 하는 메시지를 단말 장치로 전송할 수 있다. 단말 장치는 전송된 메시지를 표시할 수 있다. 자동차정비소는 작업을 위한 요청 메시지를 단말 장치로 전송할 수 있다. 사용자는 자동차정비소의 요청에 대해 확인 또는 취소를 선택할 수 있다. 사용자가 확인 버튼을 선택하면, 단말 장치는 자동차로부터 상태 정보를 수신하여 자동차정비소로 수신된 상태 정보를 전송할 수 있다. 자동차정비소는 상태 정보를 체크한 결과 메시지를 단말 장치로 전송할 수 있다.
한편, 자동차와 자동차정비소는 직접 메시지를 송수신할 수 있다. 그러나, 사용자가 메시지를 확인할 필요가 있다. 따라서, 단말 장치는 사용자가 메시지를 확인할 수 있도록 메시지 표시만 할 수도 있다. 예를 들어, 이벤트가 발생된 자동차가 채팅 창을 생성하고 단말 장치와 자동차정비소를 초대할 수 있다. 단말 장치, 자동차, 자동차정비소 모두는 채팅 창을 표시할 수 있다. 실제 채팅 창과 관련된 메시지의 처리는 서버가 수행할 수 있다. 따라서, 자동차와 자동차정비소는 직접 메시지를 송수신하는 것처럼 보일 수 있고, 단말 장치는 자동차와 자동차정비소의 메시지를 표시할 수 있다. 그러나, 단말 장치도 자신의 메시지를 채팅 창에 표시하고 서버로 전송할 수 있으며, 서버는 단말 장치의 메시지를 자동차와 자동차정비소의 채팅 창에 표시해 줄 수도 있다. 한편, 상술한 방식은 다른 실시 예에서도 동일하게 적용될 수 있다.
도 11은 본 발명의 제5 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 11을 참조하면 집으로 출발 이벤트에 대응하는 단말 장치 제어 과정이 도시되어 있다. 원격 제어 시스템은 자동차(100-1), 홈 서버(200-1), TV(200-2)를 포함할 수 있다. 자동차는 사용자로부터 집으로 출발 명령을 입력받을 수 있다(S1110). 자동차(100-1)는 네비게이션에 설정된 목적지 정보를 기초로 목적지를 판단할 수 있다. 또는, 자율 주행 자동차인 경우, 자동차(100-1)는 사용자에게 목적지를 문의하고 사용자로부터 입력된 목적지 정보를 기초로 목적지를 판단할 수 있다. 집으로 출발하는 이벤트에 대한 이벤트 프로파일은 홈 서버(200-1) 및 TV(200-2)를 포함할 수 있다. 자동차(100-1)는 집으로 출발하는 이벤트에 따라 대응되는 동작을 수행할 수 있다. 예를 들어, 자율 주행 자동차인 경우, 자동차(100-1)는 시동을 켜고, 네비게이션의 목적지를 집으로 설정하고 차량 내 히터의 온도를 설정하여 적정 온도를 유지할 수 있다(S1120). 자동차(100-1)는 채팅 창을 생성하고, 홈 서버(200-1) 및 TV(200-2)를 초대할 수 있다. 별도의 단말 장치가 없는 경우, 자동차(100-1)가 원격 제어 시스템의 단말 장치의 기능을 수행할 수 있다. 채팅 창 생성 및 외부 장치의 초대는 다양한 방법으로 수행될 수 있다. 자동차(100-1)가 별도의 단말 장치로 이벤트 발생 신호를 전송하면, 별도의 단말 장치는 채팅 창을 생성하고, 자동차(100-1) 및 이벤트 관련 외부 장치를 초대하여 메시지 및 명령을 송수신할 수 있다. 또는, 자동차(100-1)가 채팅 창을 생성하고 별도의 단말 장치 및 이벤트 관련 외부 장치를 초대할 수 있다. 또는, 자동차(100-1)가 채팅 창을 생성하고 이벤트 관련 외부 장치만을 초대할 수도 있다. 또한, 각 장치는 채팅 창을 생성하거나 채팅 창에 초대될 때 메신저 어플리케이션을 실행하여 채팅 창을 표시할 수 있다.
자동차(100-1)는 홈 서버(200-1)와 연결하고(S1130-1), TV와 연결할 수 있다(S1130-2). 즉, 자동차(100-1)는 채팅 창을 생성하고, 홈 서버(200-1) 및 TV(200-2)를 채팅 창으로 초대할 수 있다. 홈 서버(200-1)는 집으로 출발 이벤트와 관련하여 기 설정된 작업의 수행 여부를 문의하고 작업 수행 명령을 수신하면 작업을 수행할 수 있다. 예를 들어, 홈 서버(200-1)는 실내 온도를 적정 온도로 유지하기 위해 히터(또는 보일러)를 턴온할 수 있고, 거실전등을 턴온할 수 있으며, 세탁기를 가동하고 밥솥에게 취사를 시킬 수 있다(S1140). 또한, TV도 사용자의 명령에 따라 기 설정된 작업을 수행할 수 있다. 즉, TV는 주요 뉴스를 검색하고, 뉴스 브리핑 준비를 하며, 영화를 다운로드받고, CCTV와 연결할 수 있다(S1150).
도 12는 본 발명의 제5 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 12를 참조하면, 집으로 출발하는 이벤트에 따라 생성된 채팅 창이 도시되어 있다. 도 12에서 설명된 원격 제어 시스템은 단말 장치를 더 포함할 수 있다. 즉, 단말 장치는 자동차로부터 이벤트 발생 신호를 수신하면 채팅 창을 생성하고, 자동차 및 관련된 외부 장치를 초대하여 채팅 창에 표시할 수 있다. 또는, 자동차가 채팅 창을 생성하고, 단말 장치 및 관련된 외부 장치를 초대할 수도 있다. 외부 장치는 이벤트와 관련된 기 설정된 작업의 수행 여부를 문의하는 메시지를 단말 장치로 전송할 수 있다. 또는, 서버에 생성된 채팅 창으로 기 설정된 작업의 수행 여부를 문의하는 메시지를 전송할 수 있다. 단말 장치는 외부 장치로부터 직접 또는 간접적으로 수신된 메시지를 채팅 창에 표시할 수 있다. 단말 장치는 기 설정된 작업의 수행 여부를 확인하는 선택 버튼을 함께 표시할 수 있다. 사용자의 선택에 따라 단말 장치는 작업 수행 명령을 각각의 외부 장치로 전송하고, 외부 장치는 기 설정된 작업을 수행할 수 있다.
도 13은 본 발명의 제6 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 13을 참조하면, 초인종이 울리는 이벤트에 대응하는 단말 장치 제어 과정이 도시되어 있다. 원격 제어 시스템은 단말 장치(100-2) 및 홈 서버(200-3)를 포함할 수 있다. 집의 초인종이 울리는 이벤트가 발생될 수 있다(S1310). 홈 서버(200-3)는 초인종이 울리면 이벤트의 발생을 감지할 수 있다. 초인종이 울리는 이벤트가 발생되면, 홈 서버(200-3)는 기 설정된 작업을 수행할 수 있다. 예를 들어, 홈 서버(200-3)는 CCTV의 목표를 추적하고, 현관의 전등을 켤 수 있다(S1320). 일반적으로 이벤트가 발생된 경우, 외부 장치는 사용자에게 기 설정된 작업의 수행 여부를 문의하고, 사용자 입력에 따라 기 설정된 작업을 수행할 수 있다. 그러나, 초인종을 울리는 이벤트와 같이 예외적인 경우, 외부 장치는 사용자 입력없이 기 설정된 작업을 수행할 수도 있다.
홈 서버(200-3)는 단말 장치(100-2)와 연결한다(S1330). 예를 들어, 홈 서버200-3)는 이벤트 발생 신호를 단말 장치(100-2)로 전송할 수 있다. 단말 장치(100-2)는 수신된 이벤트 발생 신호에 대응하여 채팅 창을 생성하고, 발생된 이벤트와 관련된 외부 장치를 초대하여 채팅 창에 표시할 수 있다. 또는, 홈 서버(200-3)는 채팅 창을 생성하고, 단말 장치(100-2)를 초대할 수 있다. 단말 장치(100-2)는 채팅 창에 초대되면, 메신저 어플리케이션을 실행하여 초대된 채팅 창을 표시할 수 있다.
단말 장치(100-2)는 발생된 이벤트에 대응하여 방문 예약 스케쥴을 확인할 수 있다(S1340). 방문 예약 스케쥴이 확인되면, 단말 장치(100-2)는 방문 예정자 정보를 전송할 수 있다(S1350). 홈 서버(200-3)는 단말 장치(100-2)로부터 수신한 방문 예정자 정보를 기초로 방문자 정보가 일치하는지 확인할 수 있다. 그리고, 방문자의 정보가 방문 예정자 정보와 일치하면, 홈 서버(200-3)는 현관문을 오픈할 수 있다(S1360). 그리고, 홈 서버(200-3)는 방문 확인 정보를 단말 장치(100-2)로 전송할 수 있다(S1370). 단말 장치(100-2)는 수신된 방문 기록을 저장하고 사용자에게 알릴 수 있다(S1380). 즉, 단말 장치(100-2)와 홈 서버(200-3)는 사용자의 관여없이 예정된 방문 정보를 송수신하여 현관문을 오픈하고, 방문 기록까지 남길 수 있다. 또한, 단말 장치(100-2) 및 홈 서버(200-3)는 메신저 어플리케이션을 이용하여 채팅 창에 메시지로 작업 수행 과정을 표시함으로써 나중에 사용자가 편리하게 확인할 수도 있다.
도 14는 본 발명의 제6 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 14를 참조하면, 초인종이 울리는 이벤트에 따라 생성된 채팅 창이 도시되어 있다. 초인종이 울리는 이벤트가 발생되면, 홈 서버는 단말 장치와 연결할 수 있다. 홈 서버는 메신저 어플리케이션을 실행하여 채팅 창을 생성하고, 단말 장치를 초대할 수 있다. 홈 서버는 채팅 창 및 초대된 단말 장치를 채팅 창에 표시할 수 있다. 또는, 초인종이 울리는 이벤트가 발생되면, 홈 서버는 단말 장치로 이벤트 발생 신호를 전송할 수 있다. 단말 장치는 이벤트 발생 신호를 수신하면, 채팅 창을 생성하고 이벤트와 관련된 외부 장치를 초대할 수 있다. 단말 장치는 초대된 외부 장치를 채팅 창에 표시할 수 있다.
홈 서버는 기 설정된 작업을 수행하고 수행된 작업 결과 내용을 포함하는 메시지를 단말 장치로 전송할 수 있다. 전송된 메시지(예를 들어, CCTV 턴온 등)는 단말 장치의 채팅 창에 표시될 수 있다. 또한, 단말 장치는 발생된 이벤트와 관련된 정보를 포함하는 메시지(예를 들어, 방문 예약 스케줄 확인 정보 등)를 홈 서버로 전송할 수 있다. 전송된 메시지는 단말 장치의 채팅 창에 표시될 수 있다. 홈 서버는 단말 장치로부터 수신된 정보와 방문자의 정보가 일치하면 현관문을 열 수 있다. 그리고, 홈 서버는 정보의 일치 여부 및 현관문을 열었다는 정보를 단말 장치로 전송할 수 있다. 한편, 단말 장치는 홈 서버가 전송한 정보를 저장할 수 있다.
도 15는 본 발명의 제7 실시 예에 따른 제어 과정을 설명하는 타이밍도이다.
도 15를 참조하면, 미팅 예약 이벤트에 대응하는 단말 장치 제어 과정이 도시되어 있다. 사용자는 단말 장치(100-3)에 미팅 예약 명령을 입력할 수 있다(S1505). 일 실시 예로서, 단말 장치(100-3)는 Mr. 홍과 미팅을 예약하는 사용자 명령을 입력받을 수 있다. 단말 장치(100-3)는 Mr. 홍의 휴대 장치(200-4)와 연결할 수 있다(S1510). 단말 장치(100-3)는 채팅 창을 생성하고, Mr. 홍의 휴대 장치(200-4)를 초대할 수 있다. 그리고, 단말 장치(100-3)는 Mr. 홍의 휴대 장치(200-4)를 채팅 창에 표시할 수 있다. Mr. 홍의 휴대 장치(200-4)는 Mr. 홍의 스케쥴을 확인할 수 있다(S1515). Mr. 홍의 휴대 장치(200-4)는 저장된 스케쥴을 확인할 수 있다. 또한, Mr. 홍의 휴대 장치(200-4)는 동일한 계정에 등록된 Mr. 홍의 컴퓨터, 노트북 등과 같은 다른 장치에 저장된 Mr. 홍의 스케쥴도 함께 확인할 수 있다. Mr. 홍의 휴대 장치(200-4)는 미팅이 가능한 시간 정보를 포함하는 메시지를 단말 장치(100-3)로 전송할 수 있다(S1520). 상술한 바와 같이, 단말 장치(100-3)와 Mr. 홍의 휴대 장치(200-4)는 직접적으로 연결될 수 있다. 따라서, Mr. 홍의 휴대 장치(200-4)가 전송한 메시지는 단말 장치(100-3)에 의해 생성된 채팅 창에 표시될 수 있다. 또한, 사용자의 단말 장치(100-3)와 Mr. 홍의 휴대 장치(200-4)는 간접적으로 연결될 수 있다. 따라서, Mr. 홍의 휴대 장치(200-4)가 전송한 메시지는 서버로 전송될 수 있다. 그리고, 서버는 채팅 창을 생성하여, 메시지가 표시된 채팅 창을 사용자의 단말 장치(100-3)로 전송할 수 있다. 단말 장치(100-3)는 Mr. 홍의 휴대 장치(200-4)로부터 전송받은 스케쥴을 확인할 수 있다(S1525). 그리고, 단말 장치(100-3)는 미팅 확인 신호를 Mr. 홍의 휴대 장치(200-4)로 전송할 수 있다.
한편, 단말 장치(100-3)는 Mr. 홍이 위치하는 지역을 판단하여, Mr. 홍과 미팅을 위해 교통편의 예약을 위한 동작을 수행할 수 있다. 단말 장치(100-3)는 기차표 예약 서버(200-5)에 접속할 수 있다(S1530). 즉, 단말 장치(100-3)는 새로운 채팅 창을 생성하여 기차표 예약 서버(200-5)를 초대할 수 있다. 단말 장치(100-3)는 기차표 예약 서버(200-5)를 채팅 창에 표시하고 기차 스케쥴 문의 메시지를 기차표 예약 서버(200-5)로 전송할 수 있다. 기차표 예약 서버(200-5)는 단말 장치(100-3)가 요청한 기차 스케쥴을 확인하고 기차표를 예매할 수 있다(S1535). 기차표 예약 서버(200-5)는 예매 정보를 단말 장치(100-3)로 전송할 수 있다(S1540). 예매 정보는 단말 장치(100-3)의 채팅 창에 표시될 수 있다.
또한, Mr. 홍의 휴대 장치(200-4)는 미팅 장소의 예약을 위해 회의실 관리 서버(200-6)에 접속할 수 있다(S1545). 즉, Mr. 홍의 휴대 장치(200-4)는 새로운 채팅 창을 생성하여 회의실 예약 서버(200-6)를 채팅 창에 표시하고 미팅 예정 시간의 가능한 회의실 검색 요청을 회의실 예약 서버(200-6)로 전송할 수 있다. 회의실 관리 서버(200-6)는 Mr. 홍의 휴대 장치(200-4)로부터의 요청에 응답하여, 사용 가능한 회의실을 검색하고, 검색된 회의실을 예약할 수 있다(S1550). 회의실 관리 서버(200-6)는 예약된 회의실에 대한 정보를 Mr. 홍의 휴대 장치(200-4)로 전송할 수 있다(S1555). Mr. 홍의 휴대 장치(200-4)는 예약된 회의실에 대한 정보를 휴대 장치(100-3)로 전송할 수 있다. 이때, 예약된 회의실에 대한 정보는 단말 장치(100-3)와 Mr. 홍의 휴대 장치(200-4) 간에 생성된 채팅 창을 통해 표시될 수 있다. 즉, 개시된 실시예는, 사용자의 미팅 예약 명령에 따라, 단말 장치(100-3)가 외부 장치들(200-4, 200-5)들과 인터랙션하여 사용자의 명령(즉, 미팅 예약)을 수행하도록 할 수 있으며, 외부 장치(200-5)또는 또 다른 외부 장치(200-6)들이 사용자 명령에 따른 부수적인 동작들(예를 들어, 차편 예약, 미팅 장소 예약 등)을 더 수행하도록 할 수 있다.
도 16은 본 발명의 제7 실시 예에 따른 단말 장치의 제어 화면을 설명하는 도면이다.
도 16을 참조하면, 미팅 예약 이벤트에 따라 생성된 채팅 창이 도시되어 있다. 사용자의 명령에 따라 미팅 예약 이벤트가 발생되면, 사용자의 단말 장치는 Mr. 홍의 휴대 장치와 연결할 수 있다. 사용자의 단말 장치는 메신저 어플리케이션을 실행하여 채팅 창을 생성하고 Mr. 홍의 휴대 장치를 초대할 수 있다. 사용자의 단말 장치는 채팅 창을 표시하고, Mr. 홍의 휴대 장치를 채팅 창에 표시할 수 있다.
Mr. 홍의 휴대 장치는 사용자의 단말 장치와 인터랙션할 수 있다. 사용자의 단말 장치는 Mr. 홍의 휴대 장치로 미팅 요청 메시지를 전송할 수 있다. Mr. 홍의 휴대 장치는 저장된 스케쥴을 검색할 수 있다. 그리고, Mr. 홍의 휴대 장치는 Mr. 홍의 계정에 등록된 타 단말 장치에 저장된 스케쥴도 검색할 수 있다. Mr. 홍의 휴대 장치는 미팅 가능한 시간 정보를 사용자의 단말 장치로 전송할 수 있다. 사용자의 단말 장치는 저장된 스케쥴을 검색, 사용자의 계정에 등록된 타 단말 장치에 저장된 스케쥴 검색 또는 사용자의 승인 명령의 입력에 따라 미팅 확인 정보를 Mr. 홍의 휴대 장치로 전송할 수 있다. Mr. 홍의 휴대 장치는 미팅 예정 시간에 사용 가능한 회의실을 예약하고 예약된 회의실 정보를 사용자의 단말 장치로 전송할 수 있다.
지금까지 다양한 실시 예를 설명하였다. 아래에서는 단말 장치 제어 방법의 흐름도를 설명한다.
도 17은 본 발명의 일 실시 예에 따른 단말 장치 제어 방법의 흐름도이다.
단말 장치는 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신한다(S1710). 단말 장치는 채팅 창을 생성한다(S1720). 단말 장치는 생성된 채팅 창을 표시하고, 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치를 채팅 창에 표시한다(S1730). 단말 장치는 이벤트 프로파일에 기초하여 이벤트와 관련된 제2 외부 장치를 판단할 수 있다. 이벤트 프로파일은 기 설정된 이벤트, 기 설정된 이벤트에 대응되는 제2 외부 장치 및 제2 외부 장치의 기 설정된 작업 정보를 포함할 수 있다. 이벤트 프로파일은 동작 디스크립터라고 부를 수도 있다.
이벤트 프로파일이 단말 장치에 저장된 경우, 단말 장치는 제2 외부 장치와 연결 전에 채팅 창을 표시하고, 제2 외부 장치를 채팅 창에 표시할 수 있다. 단말 장치는 채팅 창에 제2 외부 장치를 표시할 때, 제2 외부 장치와 연결할 수 있다. 또는, 이벤트 프로파일이 서버에 저장된 경우, 단말 장치는 서버에 접속하여 이벤트 프로파일을 수신한 후 채팅 창을 생성하고 제2 외부 장치를 채팅 창에 표시할 수 있다. 또는, 단말 장치는 제2 외부 장치와 연결하고 채팅 창을 생성하여 제2 외부 장치를 채팅 창에 표시할 수도 있다.
또는, 제1 외부 장치에서 기 설정된 이벤트가 발생되면, 이벤트 프로파일에 기초하여 제1 외부 장치는 채팅 창을 생성하고 단말 장치 및 이벤트와 관련된 제2 외부 장치를 초대할 수 있다. 단말 장치 및 외부 장치는 채팅 창을 표시하고 모든 관련된 장치를 채팅 창에 표시할 수 있다.
단말 장치는 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 채팅 창에 표시한다(S1740). 이벤트와 관련된 제2 외부 장치는 단말 장치로 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 단말 장치로 전송할 수 있다. 또는, 채팅 창은 서버에 생성되어 서버가 채팅 창을 관리할 수 있다. 이벤트와 관련된 제2 외부 장치는 기 설정된 작업의 수행 여부를 문의하는 메시지를 서버로 전송할 수 있다. 서버는 전송된 메시지를 채팅 창에 표시하고, 채팅 중인 장치들로 전송할 수 있다. 단말 장치는 사용자의 명령에 따라 기 설정된 작업의 수행 명령을 제2 외부 장치로 전송할 수 있다. 한편, 단말 장치는 기 설정된 시간 이내에 기 설정된 작업의 수행 여부가 선택되지 않으면, 기 설정된 작업을 수행하는 명령을 제2 외부 장치로 자동으로 전송할 수 있다. 또는, 제2 외부 장치는 기 설정된 시간 이내에 기 설정된 작업의 수행 여부를 결정하는 명령을 수신하지 않으면, 기 설정된 작업을 수행할 수 있다. 그러나, 이에 제한되는 것은 아니며, 단말 장치는 기 설정된 시간 이내에 기 설정된 작업의 수행 여부가 선택되지 않으면, 기 설정된 작업을 수행하지 말라는 명령을 제2 외부 장치로 자동으로 전송할 수도 있다.
도 18은 본 발명의 일 실시 예에 따른 단말 장치를 등록하는 과정을 설명하는 흐름도이다.
도 18을 참조하면, 단말 장치(또는 디바이스)는 단말 장치의 등록을 위해 사용자 계정을 확인할 수 있다(S1810). 사용자는 복수의 계정을 소유하고 있을 수 있다. 사용자 계정은 서버에 등록되어 있을 수 있고, 단말 장치는 단말 장치에 미리 저장되거나 사용자로부터 입력된 사용자 계정을 확인할 수 있다. 단말 장치는 서버로 디바이스 ID를 전송할 수 있다(S1820). 디바이스 ID는 단말 장치의 고유 식별 정보(예를 들어, MAC 어드레스, 제조 번호 등)이다. 단말 장치는 디바이스 ID를 이용하여 다른 단말 장치와 구별될 수 있다. 서버는 디바이스 ID를 이용하여 등록을 요청한 단말 장치가 기 등록 단말 장치인지 확인할 수 있다(S1830).
기 등록 단말 장치가 아닌 경우, 서버는 단말 장치를 등록할 수 있다. 사용자는 단말 장치의 별명을 입력할 수 있다. 즉, 서버는 단말 장치의 식별 정보로서 단말 장치의 별명을 입력받을 수 있다(S1840). 서버는 단말 장치를 등록할 수 있다(S1850). 서버는 입력된 별명, 디바이스 ID 및 단말 장치의 다양한 정보를 매핑하여 단말 장치를 등록할 수 있다. 만일, 사용자가 별명을 입력하지 않으면 서버는 기 설정된 명칭으로 단말 장치를 등록할 수 있다. 단말 장치 또는 서버는 등록된 단말 장치와 관련된 이벤트 프로파일(동작 디스크립터)를 적용할 수 있다(S1860). 상술한 바와 같이, 이벤트 프로파일은 사용자에 의해 생성 또는 수정될 수 있다. 또한, 각 단말 장치는 기본적인 이벤트 프로파일을 저장할 수도 있다. 예를 들어, TV는 이벤트와 상관없이 턴온하는 동작을 수행하는 이벤트 프로파일을 저장할 수 있다.
한편, 등록하려는 단말 장치가 기 등록 단말 장치인 경우, 서버는 등록 정보가 갱신되었는지 여부를 확인할 수 있다(S1870). 일 실시 예로서, 단말 장치는, 제조사가 제공하는 소프트웨어를 통해 단말 장치의 펌웨어 등을 업데이트할 수 있다. 이 경우, 단말 장치의 등록 정보 내에 디바이스 ID와 같은 고유 정보는 변경되지 않을 수 있지만, 다른 정보는 변경될 수도 있다. 따라서, 서버는 단말 장치의 등록 정보에 최신 업데이트가 반영되어 있는지 여부를 확인하고, 반영되어 있지 않으면, 등록 절차를 종료할 수 있다. 단말 장치의 등록 정보에 최신 업데이트가 반영되어 있으면, 서버는 서버에 저장된 단말 장치의 등록 정보를 갱신할 수 있다(S1880). 상술한 과정을 통해 새로운 단말 장치가 사용자 계정에 등록되고, 서버에 저장된 단말 장치의 등록 정보가 갱신될 수 있다.
도 19는 본 발명의 일 실시 예에 따른 채팅 방을 생성하는 과정을 설명하는 흐름도이다.
도 19를 참조하면, 제1 외부 장치(또는, 단말 장치)에서 이벤트가 발생한다(S1910). 이벤트는 다양하게 설정될 수 있다. 예를 들어, 자동차가 집으로 출발하는 이벤트, 초인종이 울리는 이벤트, 자동차의 이상 증상이 감지되는 이벤트 또는 기온이 기 설정된 온도 이하로 떨어지는 이벤트 등이 포함될 수 있다. 또한, 제1 외부 장치는 발생된 이벤트를 단말 장치로 알리기 위해 이벤트 발생 신호를 단말 장치로 전송할 수 있다.
단말 장치는 자신이 수행할 동작을 확인할 수 있다(S1920). 수행 동작은 기 설정된 이벤트 프로파일을 기초로 판단될 수 있다. 수행 동작을 확인하는 구체적인 절차는 후술한다. 단말 장치가 수행할 동작이 존재하지 않으면 절차를 종료할 수 있다.
만일, 단말 장치가 수행할 동작이 존재하면, 제2 외부 장치를 검색할 필요가 있는지 판단할 수 있다(S1940). 제2 외부 장치를 검색할 필요가 없으면, 단말 장치는 채팅 창을 생성하고 사용자에게 메시지를 표시할 수 있다(S1950). 즉, 단말 장치는 사용자와 채팅을 시작할 수 있다. 만일, 제2 외부 장치를 검색할 필요가 있으면, 단말 장치는 단말 장치의 계정으로 접속하여, 친구 목록에서 이벤트와 관련된 제2 외부 장치를 검색할 수 있다(S1960). 단말 장치는 채팅 창을 생성하고, 검색된 제2 외부 장치를 채팅 창에 포함시켜 그룹 채팅을 시작할 수 있다(S1970).
상술한 바와 같이, 원격 제어 시스템은 단말 장치(메인 장치), 이벤트가 발생된 제1 외부 장치, 명령을 수행하는 제2 외부 장치를 포함할 수 있다. 그리고, 발생된 이벤트에 따라, 단말 장치(메인 장치)가 제1 외부 장치 또는 제2 외부 장치의 역할을 수행할 수 있고, 제1 외부 장치 또는 제2 외부 장치가 단말 장치(메인 장치)의 역할을 수행할 수도 있다. 한편, 도 19 에서는 설명의 편의를 위하여, 제1 외부 장치와 제2 외부 장치를 별개의 장치로 구분하였으나, 제1 외부 장치 및 제2 외부 장치는 동일한 장치일 수 있다.
도 19에서 설명한 채팅 창을 생성하는 과정은 단말 장치(메인 장치), 제1 외부 장치 또는 제2 외부 장치에서 수행되는 과정일 수 있다. 즉, 이벤트에 따라 채팅 창을 생성하여 명령을 수행하는 과정은 다소 차이가 있을 수 있고, 실시 예에 따라 채팅 창을 생성하여 명령을 수행하는 과정은 다소 차이가 있을 수 있다.
도 20은 본 발명의 일 실시 예에 따른 제어 작업이 진행되는 과정을 설명하는 도면이다.
도 20을 참조하면, 단말 장치가 수행 동작을 확인하는 구체적인 과정이 도시되어 있다. 일 실시 예로서, 단말 장치는 서버와 연결되어 있는지 확인할 수 있다(S2005). 예를 들어, 서버는 서비스 클라우드일 수 있다. 단말 장치가 서버와 연결되어 있으면, 단말 장치는 이벤트 프로파일을 페치(patch)할 수 있다(S2010). 이벤트 프로파일은 동작 디스크립터라고 칭할 수도 있다. 단말 장치는 페치된 이벤트 프로파일을 기초로 제2 외부 장치(디바이스)를 검색할 필요가 있는지 판단할 수 있다(S2015). 단말 장치가 제2 외부 장치를 검색할 필요가 없으면 채팅 창을 생성할 수 있다(S2020). 한편, 단말 장치가 사용자의 메인 장치(예, 개인 휴대 장치)가 아닌 경우, 단말 장치는 사용자의 메인 장치를 채팅 창에 포함시킬 수 있다. 이와 같이, 사용자의 메인 장치는 이벤트와 관련되지 않아도 항상 채팅 창에 포함될 수 있다. 단말 장치는 채팅 창을 생성하여 수행할 동작과 관련된 메시지를 표시할 수 있다(S2025). 또는, 단말 장치는 메시지를 전송할 수 있다. 예를 들어, 수행할 동작과 관련된 메시지는 기 설정된 동작을 수행할지 여부를 문의하는 메시지를 포함할 수 있다.
단말 장치는 기 설정된 시간 안에 사용자가 확인 또는 취소를 명령하는지 판단할 수 있다(S2030). 실시 예에 따라 단말 장치는 사용자의 명령을 직접 입력 받거나 타 단말 장치로부터 사용자의 명령을 수신할 수 있다. 만일, 기 설정된 시간 안에 사용자가 취소를 명령하면, 단말 장치는 동작을 수행하지 않을 수 있다. 만일, 기 설정된 시간 안에 사용자가 취소를 명령하지 않으면, 단말 장치는 동작을 수행할 수 있다(S2035). 즉, 사용자가 기 설정된 시간 안에 확인을 선택하면, 단말 장치는 기 설정된 동작을 수행할 수 있다. 또는, 사용자가 기 설정된 시간 안에 어떤 명령도 하지 않으면, 단말 장치는 기 설정된 동작을 수행할 수 있다.
한편, 단말 장치는 서버와 연결되지 않을 수 있다. 단말 장치는 저장된 이벤트 프로파일이 있는지 판단할 수 있다(S2040). 만일, 단말 장치가 이벤트 프로파일이 저장되지 않았다고 판단하는 경우, 발생된 이벤트를 이벤트 히스토리에 기록할 수 있다(S2045). 이벤트 히스토리는 이전에 발생된 이벤트의 이력을 포함하기 때문에 단말 장치는 이벤트 프로파일을 생성, 수정하기 위해 이벤트 히스토리를 참고할 수 있다. 만일, 단말 장치가 이벤트 프로파일이 저장되어 있다고 판단하는 경우, 저장된 이벤트 프로파일에 따라 제2 외부 장치의 검색이 필요한지 판단할 수 있다(S2015).
단말 장치가 제2 외부 장치를 검색할 필요가 없으면 채팅 창을 생성할 수 있다(S2020). 단말 장치가 제2 외부 장치를 검색할 필요가 있으면, 단말 장치는 단말 장치가 등록된 계정에 접속하여, 친구 목록에서 이벤트와 관련된 제2 외부 장치를 검색할 수 있다(S2050). 단말 장치는 검색된 제2 외부 장치를 포함하는 채팅 창을 생성할 수 있다(S2055). 단말 장치가 사용자의 메인 장치(예, 개인 휴대 장치)가 아닌 경우, 단말 장치는 사용자의 메인 장치도 채팅 창에 포함시킬 수 있다. 사용자의 메인 장치는 이벤트와 관련되지 않아도 항상 채팅 창에 포함될 수 있다. 채팅 창에 포함된 단말 장치는 추가 또는 제거될 수 있다. 단말 장치의 추가 또는 제거하는 절차는 후술한다. 단말 장치는 채팅 창을 생성하여 수행할 동작과 관련된 메시지를 표시할 수 있다(S2025). 또는, 단말 장치는 메시지를 전송할 수 있다.
단말 장치는 기 설정된 시간 안에 사용자가 확인 또는 취소를 명령하는지 판단할 수 있다(S2030). 실시 예에 따라 단말 장치는 사용자의 명령을 직접 입력받거나 타 단말 장치로부터 사용자의 명령을 수신할 수 있다. 만일, 기 설정된 시간 안에 사용자가 취소를 명령하면, 단말 장치는 동작을 수행하지 않을 수 있다. 만일, 기 설정된 시간 안에 사용자가 취소를 명령하지 않으면, 단말 장치는 동작을 수행할 수 있다(S2035). 즉, 사용자가 기 설정된 시간 안에 확인을 선택하면, 단말 장치는 기 설정된 동작을 수행할 수 있다. 또는, 사용자가 기 설정된 시간 안에 어떤 명령도 하지 않으면, 단말 장치는 기 설정된 동작을 수행할 수 있다.
도 21은 본 발명의 일 실시 예에 따른 등록된 단말 장치를 수정하는 과정을 설명하는 도면이다.
도 21을 참조하면, 단말 장치는 검색된 단말 장치를 포함하는 채팅 창을 생성할 수 있다(S2110). 단말 장치가 사용자의 메인 장치(예, 개인 휴대 장치)가 아닌 경우, 단말 장치는 사용자의 메인 장치도 채팅 창에 포함시킬 수 있다. 사용자의 메인 장치는 이벤트와 관련되지 않아도 항상 채팅 창에 포함될 수 있다. 단말 장치는 채팅 창을 생성하여 수행할 동작과 관련된 메시지를 표시할 수 있다(S2120). 또는, 단말 장치는 메시지를 메인 장치로 전송할 수 있다. 예를 들어, 수행할 동작과 관련된 메시지는 기 설정된 동작을 수행할지 여부를 문의하는 메시지를 포함할 수 있다.
사용자는 채팅 창에 포함된 디바이스를 삭제할 수 있다. 또는, 사용자는 채팅 창에 포함되지 않은 디바이스를 추가할 수 있다. 단말 장치는 채팅 창에 포함된 디바이스가 삭제되거나 새로운 디비이스가 추가되었는지 판단할 수 있다(S2130). 만일, 채팅 중인 디바이스의 변경이 있으면, 단말 장치는 이벤트 프로파일(동작 디스크립터)을 수정할 수 있다(S2140). 단말 장치는 수정된 이벤트 프로파일을 저장할 수 있다. 수정된 이벤트 프로파일이 단말 장치에 저장되는 경우, 채팅 중인 디바이스들도 수정된 이벤트 프로파일을 공유 및/또는 저장할 수 있다. 한편, 수정된 이벤트 프로파일이 서버에 저장되는 경우, 단말 장치는 수정된 이벤트 프로파일을 서버로 전송하고, 서버는 전송된 이벤트 프로파일을 저장할 수 있다. 만일, 채팅 중에 디바이스의 변경이 없으면, 단말 장치는 기 설정된 동작을 수행할 수 있다(S2150).
도 22는 본 발명의 다른 실시 예에 따른 단말 장치의 블록도이다.
도 22를 참조하면, 단말 장치(2200)는 입력부(2210), 센서(2220), 통신부(2230), 프로세서(2240) 및 카메라(2250)를 포함한다. 본 실시 예에서 단말 장치(2200)는 예컨대 스마트폰 일 수 있으며, 외부 장치와 무선으로 연결되며 상술한 바와 같이 화면에 표시된 채팅창을 통해 외부 장치를 제어할 수 있다.
입력부(2210), 센서(2220) 및 통신부(2230)는 도 3에서 설명한 바와 유사하므로 자세한 설명을 생략한다.
카메라(2250)는 정지 영상 및 동영상을 촬영할 수 있으며, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 카메라(2250)는 피사체를 촬영하여 피사체 이미지를 획득할 수 있다. 또한 본 실시 예에서 카메라(2250)는 외부 장치에 부착된 QR 코드를 촬영하여, QR 코드 이미지를 획득하여 프로세서(2240)로 제공할 수 있다. 프로세서(2240)는 제공받은 QR 코드로부터 외부 장치와 연결하기 위한 통신 설정 정보 및 외부 장치를 제어하는데 필요한 데이터를 획득할 수 있다.
도 23은 본 발명의 다른 실시예에 따른 단말 장치가 QR 코드를 통해 외부 장치를 연결하는 예를 도시하며, 도 24는 본 발명의 다른 실시예에 따른 단말 장치에서 QR 코드를 통해 외부 장치와 연결되는 방법에 대한 흐름도이다. 이하에서는, 도 24에 도시된 단말 장치의 동작 방법을 도 23에 도시된 예와 함께 설명한다.
도 23을 참조하면 단말 장치(2301)는 다양한 외부 장치(2304, 2306, 2308, 2310)와 연결될 수 있다. 단말 장치(2301)와 외부 장치 외부 장치(2304, 2306, 2308, 2310)를 연결하기 위해서는 외부 장치(2304, 2306, 2308, 2310) 각각을 단말 장치(2301)에 등록하는 과정이 필요하다. 본 발명의 다른 실시 예에 따른 단말 장치(2301)에 외부 장치(2304, 2306, 2308, 2310)를 등록하기 위해 단말 장치(2301)에 포함된 카메라를 이용할 수 있다.
외부 장치(2304, 2306, 2308, 2310)는 다양한 제조업체에서 생산한 것으로 각각 다른 포맷의 명령어 체계를 가지고 있다. 그리고, 외부 장치를 제어하는데 필요한 제어 명령에 대한 정보는 외부 장치에 저장되거나 또는 각 제조업체에서 운용하는 서버(2303)에 저장될 수 있다. 본 발명의 실시 예에서는 외부 장치를 제어 하기 위한 제어 명령에 대한 정보가 제조 업체의 서버(2303)에 저장되어 있는 것으로 가정하여 설명한다. 그러나, 서버(2303)는 제 3자의 서버일 수도 있다.
또한, 단말 장치(2301)는 외부 장치를 제어하기 위한 제어 명령에 대한 정보를 제조 업체의 서버에 접속하여 획득하는 것으로 가정하여 설명한다. 그러나 이에 한정되지 않으며 단말 장치(2301)가 직접 외부 장치(2304, 2306, 2308, 2310)로부터 제어 명령에 대한 정보를 획득하는 것도 가능하다. 단말 장치는 카메라를 이용하여 외부 장치(2304, 2306, 2308, 2310)의 QR 코드를 스캔하고(S2401), 외부 장치에 대한 기본 정보를 획득할 수 있다. 예를 들어, QR 코드는, 외부 장치의 IP 어드레스, 맥(mac) 어드레스, 외부 장치의 이름 및 외부 장치를 제어하기 위한 제어 명령에 대한 정보가 저장되어 있는 서버(2303) 주소를 포함할 수 있다. 외부 장치의 이름은 제조 업체가 외부 장치 제조시 임의로 부여할 수 있다.
단말 장치(2303)는 QR 코드에 포함된 정보에 기초하여 외부 장치를 제어하기 위한 제어 명령에 대한 정보가 저장된 서버에 접속한다(S2403).
예를 들면, 세탁기(2304)는 A 제조업체에서 제조한 것이며 세탁기에 부착된 QR 코드(2305)에는 세탁기(2304)의 IP 어드레스, 세탁기의 이름 및 세탁기(2304)에 대한 제어 명령에 대한 정보가 저장되어 있는 서버(2303)의 주소가 포함될 수 있다. 사용자가 단말 장치(2301)를 이용하여 세탁기(2304)의 QR 코드(2305)를 스캔하면, QR 코드 이미지(2305)가 단말 장치(2301)에서 생성되며 단말 장치(2301)는 QR 코드 이미지로부터 세탁기(2304)의 IP 어드레스, 세탁기의 이름 및 제어 명령에 대한 정보가 저장되어 있는 서버(2303)의 주소를 획득할 수 있다.
단말 장치(2301)는 서버(2303)로부터 외부 장치를 제어하기 위한 제어 명령에 대한 정보를 획득할 수 있다. 구체적으로, 제어 명령에 대한 정보는, 단말 장치에서 외부 장치를 제어하기 위한 정보로서, 예를 들어, 단말 장치에서 외부 장치를 초기 설정(또는, 등록)하는데 이용되는 설정 정보, 제어 명령 데이터, 외부 장치가 지원하는 데이터 포맷 정보 등을 포함할 수 있다. 단말 장치(2301)는 서버(2303)로부터 외부 장치의 설정 정보를 수신하고(S2405), 상기 수신된 외부 장치 설정 정보에 기초하여 상기 외부 장치를 제어할 수 있다(S2407). 그러나, 이에 제한되는 것은 아니며, 단말 장치(2301)는 외부 장치의 설정 정보를 별개의 통신을 통해 서버(2303)로 요청하여 수신할 수도 있다.
예를 들면, 단말 장치(2301)는 세탁기(23040)의 IP 어드레스를 이용하여 세탁기와 통신할 수 있다. 또한 단말 장치(2301)는 서버(2303)에 접속하여 세탁기를 제어하기 위한 설정 정보 및 제어 명령 데이터를 다운로드 받고 세탁기를 제어할 수 있다.
초음파 진단기(2306)는 B 제조업체에서 제조한 것이며 초음파 진단기에 부착된 QR 코드(2307)에는 초음파 진단기(2306)의 IP 어드레스, 초음파 진단기(2306)의 이름 및 초음파 진단기(2306)를 제어하기 위한 제어 명령에 대한 정보가 저장되어 있는 서버(2303)의 주소가 포함될 수 있다. 사용자가 단말 장치(2301)를 이용하여 초음파 진단기(2306)의 QR 코드(2307)를 스캔하면 단말 장치(2301)는 QR 코드 이미지(2307)로부터 초음파 진단기(2306)의 IP 어드레스, 초음파 진단기(2306)의 이름 및 초음파 진단기(2306)를 제어하기 위한 제어 명령에 대한 정보가 저장되어 있는 서버(2303)의 주소를 획득할 수 있다. 단말 장치(2301)는 초음파 진단기(2306)의 IP 어드레스를 이용하여 초음파 진단기(2306)와 통신할 수 있다. 또한, 단말 장치(2301)는 서버(2303)에 접속하여 초음파 진단기(2306)의 제어 명령 데이터를 다운로드 받고 초음파 진단기(2306)를 제어할 수 있다.
전기밥솥(2308)는 C 제조업체에서 제조한 것이며 전기밥솥(2308)에 부착된 QR 코드(2309)에는 전기밥솥(2308)의 IP 어드레스, 전기밥솥(2308)의 이름 및 전기밥솥(2308)을 제어하기 위한 제어 명령에 대한 정보가 저장되어 있는 서버(2303)의 주소가 포함될 수 있다. 단말 장치(2301)는 상술한 바와 같이 전기밥솥(2308)의 IP 어드레스를 이용하여 전기밥솥(2308)과 통신할 수 있다. 또한, 단말 장치(2301)는 서버(2303)에 접속하여, 전기밥솥(2308)에 대한 제어 명령 데이터를 획득하고 전기밥솥(2308)를 제어할 수 있다.
에어컨(2310)는 C 제조업체에서 제조한 것이며 에어컨(2310)에 부착된 QR 코드(2311)에는 에어컨(2310)의 IP 어드레스, 에어컨(2310)의 이름 및 에어컨(2310)을 제어하기 위한 제어 명령에 대한 정보가 저장되어 있는 서버(2303)의 주소가 포함될 수 있다. 단말 장치(2301)는 상술한 바와 같이 에어컨(2310)의 IP 어드레스를 이용하여 에어컨(2310)과 통신할 수 있다. 또한, 단말 장치(2301)는 서버(2303)에 접속하여 에어컨(2310)에 대한 제어 명령 데이터를 획득하고 에어컨(2310)를 제어할 수 있다.
단말 장치(2301)는 서버(2303)로부터 획득한 제어 명령 데이터를 이용하여, 메신저 어플리케이션의 채팅 창에서 입력된 자연어를 해석하고, 해석한 결과에 기초하여 외부 장치를 제어할 수 있다. 구체적으로 단말 장치(2301)에는 사용자가 입력한 자연어 메시지를 외부 장치를 제어하기 위한 명령어로 변환시켜 주는 에이전트 프로그램이 저장될 수 있다.
예를 들면, 사용자가 메시지 채팅 창에서 세탁기를 호출하고 “빨래 시작” 이라는 메시지를 입력하면, 단말 장치는 사용자가 입력한 메시지를 분석하여, 서버(2303)로부터 획득한 제어 명령 데이터에 대응되는 문자(또는, 문장)이 존재하는지 판단할 수 있다. 세탁기의 제어 명령 데이터에 대응되는 문장이 존재하면, 단말 장치는 세탁기의 전원을 “온” 시키는 명령을 세탁기로 전송할 수 있다.
한편, 위에서는 메시지를 구성하는 문자 또는 문장을 이용하여, 메시지로부터 외부 장치의 제어 명령 데이터에 대응되는 문자 또는 문장을 추출하는 것으로 설명하였으나, 이에 제한되지 않는다. 단말 장치는, 메시지가 이미지 또는 음성을 포함하는 경우, 메시지로부터 외부 장치의 제어 명령 데이터에 대응되는 이미지 또는 음성을 추출할 수도 있다. 또한, 단말장치는 메시지가 동영상을 포함하는 경우, 메시지로부터 외부 장치의 제어 명령 데이터에 대응되는 동영상을 추출할 수도 있다.
도 25는 본 발명의 다른 실시예에 따른 단말 장치가 외부 장치를 연락처(contact)에 등록하는 예를 도시한다.
도 25를 참조하면 연락처(2501) 리스트에 제 3 자의 연락처(2503) 및 외부 장치(2505, 2507, 2509, 2511, 2513)와 통신하기 위한 연락처가 도시되어 있다. 외부 장치는, 외부 장치의 식별 정보를 이용하여 연락처에 등록될 수 있다. 예를 들면 연락처에 등록된 외부 장치의 식별 정보는 냉장고(2505), 전기밥솥(2507), 에어컨(2509), 초음파 진단기(2511) 및 세탁기(2513) 등이 될 수 있다. 외부 장치의 식별 정보는 제조 업체에서 제공되는 외부 장치의 종류로 결정되거나, 사용자 입력에 의해 결정될 수 있다.
단말 장치는, 카메라를 통해 외부 장치에 저장된(또는, 부착된) QR 코드를 스캔하고, QR 코드로부터 외부 장치의 IP 어드레스, 외부 장치 이름 및 외부 장치를 제어하기 위한 제어 명령에 대한 정보가 저장된 서버의 주소 정보를 연락처 리스트에 등록할 수 있다. 단말 장치는, 연락처에 등록된 외부 장치의 리스트를 하나의 그룹으로 그룹핑하고 사용자에게 그룹 이름을 입력 받을 수 있다.
사용자가 연락처 어플리케이션을 실행시키면 단말 장치는 연락처 리스트가 표시된 연락처 어플리케이션의 실행 창을 표시하고 연락처 리스트에 포함된 복수의 외부 장치 중 하나를 선택하는 사용자 입력을 수신할 수 있다. 이 경우, 단말 장치는 선택된 외부 장치로 메시지를 전송하기 위한 문자(SMS) 어플리케이션을 실행할 수 있다.
예를 들어 사용자가 연락처 리스트에 표시된 외부 장치 중에서 전기 밥솥(2507)을 선택하고, 단말 장치의 문자 어플리케이션의 실행 창에서 “밥 좀 해”라고 문자 메시지를 입력하면, 단말 장치는 문자 메시지를 분석하고, 문자 메시지 내에서 전기 밥솥(2507)의 제어 명령 데이터에 대응되는 문자를 추출할 수 있다. 단말 장치는 전기 밥솥(2507)이 지원하는 데이터 포맷(format)에 기초하여, 제어 명령 데이터를 생성할 수 있다. 단말 장치는 전기 밥솥(2507)의 IP 어드레스로 상기 제어 명령 데이터를 전송할 수 있다. 전기 밥솥은 상기 제어 명령 데이터를 수신하여 밥을 할 수 있다.
또한, 단말 장치는 사용자 입력에 따라 연락처 어플리케이션에서 하나의 외부 장치가 선택되면, 음성 인식 어플리케이션을 실행할 수 있다. 이 경우, 사용자는 음성 입력으로 전기 밥솥에게 “밥 좀 해”라고 음성 명령할 수 있으며, 단말 장치는 사용자의 음성을 분석하여, 전기 밥솥(2507)을 제어하기 위한 제어 명령 데이터를 생성하여 전기 밥솥(2507)의 IP 어드레스로 상기 제어 명령 데이터를 전송할 수 있다.
또한, 단말 장치는 연락처 어플리케이션의 실행 창에서 사용자 입력을 수신하고, 연락처에 표시된 디바이스와의 통화를 연결하는 통화 어플리케이션을 실행하거나 연락처에 표시된 디바이스와의 화상 채팅을 연결하는 화상 채팅 어플리케이션을 실행할 수도 있다.
상술한 다양한 실시 예에 따른 단말 장치의 제어 방법은 프로그램으로 구현되어 프로세서에 제공될 수 있다.
일 예로, 복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하는 단계, 채팅 창을 생성하는 단계, 생성된 채팅 창을 표시하고, 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치를 채팅 창에 표시하는 단계, 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 기 설정된 작업의 수행 여부를 선택할 수 있는 버튼을 채팅 창에 표시하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 복수의 외부 장치와 통신하는 통신부;
    복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하면, 채팅 창을 생성하여 표시하는 디스플레이; 및
    상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하도록 상기 통신부를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하고, 상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 상기 기 설정된 작업의 수행 여부를 선택할 수 있는 GUI(graphic user interface)를 상기 채팅 창에 표시하도록 상기 디스플레이를 제어하는, 단말 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 제2 외부 장치로부터 상기 기 설정된 이벤트에 대응되는 상기 기 설정된 작업의 수행 여부를 문의하는 상기 메시지를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 단말 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 단말 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 채팅 창에 표시된 상기 적어도 하나의 제2 외부 장치 중 하나의 장치를 선택하는 명령을 입력받으면, 상기 선택된 하나의 장치를 상기 채팅 창에서 제거하는 것을 특징으로 하는 단말 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 채팅 창에 표시되지 않은 제3 외부 장치를 상기 채팅 창에 추가하는 명령에 응답하여, 상기 제3 외부 장치를 상기 채팅 창에 표시하는 것을 특징으로 하는 단말 장치.
  6. 제5항에 있어서,
    상기 디스플레이는,
    상기 발생된 기 설정된 이벤트와 관련된 작업 또는 상기 제3 외부 장치의 기 설정된 메인 작업 중 적어도 하나의 작업의 수행 여부를 문의하는 메시지를 상기 채팅 창에 표시하는 것을 특징으로 하는 단말 장치.
  7. 제1항에 있어서,
    상기 기 설정된 이벤트 및 상기 기 설정된 이벤트와 관련된 상기 적어도 하나의 제2 외부 장치가 설정된 이벤트 프로파일을 저장하는 메모리;를 더 포함하는 단말 장치.
  8. 제1항에 있어서,
    상기 적어도 하나의 제2 외부 장치는,
    동일한 사용자 계정에 등록된 장치인 것을 특징으로 하는 단말 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 제2 외부 장치를, 상기 기 설정된 작업이 상기 기 설정된 이벤트에 대응하여 수행될 시간 또는 상기 단말 장치와 상기 적어도 하나의 제2 외부 장치 간의 거리를 기초로 그룹핑하고,
    상기 기 설정된 이벤트가 발생하고 상기 시간 또는 상기 거리 조건을 만족하는 경우, 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 단말 장치.
  10. 단말 장치의 제어 방법에 있어서,
    복수의 외부 장치 중 제1 외부 장치로부터 기 설정된 이벤트의 발생 신호를 수신하는 단계;
    채팅 창을 생성하는 단계;
    상기 생성된 채팅 창을 표시하고, 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 단계;
    상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지 및 상기 기 설정된 작업의 수행 여부를 선택할 수 있는 GUI(graphic user interface)를 상기 채팅 창에 표시하는 단계;를 포함하는 단말 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 기 설정된 이벤트와 관련된 상기 적어도 하나의 제2 외부 장치와 연결하는 단계; 및
    상기 적어도 하나의 제2 외부 장치로부터 상기 기 설정된 이벤트에 대응되는 상기 기 설정된 작업의 수행 여부를 문의하는 상기 메시지를 수신하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  12. 제10항에 있어서,
    기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  13. 제10항에 있어서,
    상기 채팅 창에 표시된 상기 적어도 하나의 제2 외부 장치 중 하나의 장치를 선택하는 명령을 입력받으면, 상기 선택된 하나의 장치를 상기 채팅 창에서 제거하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  14. 제10항에 있어서,
    상기 채팅 창에 표시되지 않은 제3 외부 장치를 상기 채팅 창에 추가하는 명령에 응답하여, 상기 제3 외부 장치를 상기 채팅 창에 표시하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 발생된 기 설정된 이벤트와 관련된 작업 또는 상기 제3 외부 장치의 기 설정된 메인 작업 중 적어도 하나의 작업의 수행 여부를 문의하는 메시지를 상기 채팅 창에 표시하는 단계;를 더 포함하는 단말 장치의 제어 방법.
  16. 제10항에 있어서,
    상기 적어도 하나의 제2 외부 장치는,
    동일한 사용자 계정에 등록된 장치인 것을 특징으로 하는 단말 장치의 제어 방법.
  17. 제10항에 있어서,
    상기 적어도 하나의 제2 외부 장치를, 상기 기 설정된 작업이 상기 기 설정된 이벤트에 대응하여 수행될 시간 또는 상기 단말 장치와 상기 적어도 하나의 제2 외부 장치 간의 거리를 기초로 그룹핑하는 단계;를 더 포함하고,
    상기 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 단계는,
    상기 기 설정된 이벤트가 발생하고, 상기 시간 또는 상기 거리 조건을 만족하는 경우, 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 것을 특징으로 하는 단말 장치의 제어 방법.
  18. 기 설정된 이벤트의 발생 신호를 단말 장치로 전송하는 제1 외부 장치;
    상기 기 설정된 이벤트의 발생 신호를 수신하면, 상기 기 설정된 이벤트와 관련된 적어도 하나의 제2 외부 장치와 연결하는 단말 장치; 및
    상기 기 설정된 이벤트에 대응되는 기 설정된 작업의 수행 여부를 문의하는 메시지를 상기 단말 장치로 전송하는 적어도 하나의 제2 외부 장치;를 포함하고,
    상기 단말 장치는,
    채팅 창을 생성하여 상기 생성된 채팅 창에 상기 연결된 적어도 하나의 제2 외부 장치 및 상기 수신된 메시지를 표시하는, 원격 제어 시스템.
  19. 제18항에 있어서,
    상기 단말 장치는,
    기 설정된 시간 이내에 상기 기 설정된 작업의 수행 여부가 선택되지 않으면, 상기 기 설정된 작업을 수행하는 명령을 상기 적어도 하나의 제2 외부 장치로 자동으로 전송하는 것을 특징으로 하는 원격 제어 시스템.
  20. 제18항에 있어서,
    상기 단말 장치는,
    상기 적어도 하나의 제2 외부 장치를, 상기 기 설정된 작업이 상기 기 설정된 이벤트에 대응하여 수행될 시간 또는 상기 단말 장치와 상기 적어도 하나의 제2 외부 장치 간의 거리를 기초로 그룹핑하고, 상기 기 설정된 이벤트가 발생하고 상기 시간 또는 상기 거리 조건을 만족하는 경우 상기 그룹핑된 적어도 하나의 제2 외부 장치를 상기 채팅 창에 표시하는 것을 특징으로 하는 원격 제어 시스템.
KR1020160125584A 2016-01-22 2016-09-29 단말 장치, 원격 제어 시스템 및 제어 방법 KR20170088272A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2017/000133 WO2017126827A1 (ko) 2016-01-22 2017-01-05 단말 장치, 원격 제어 시스템 및 제어 방법
CN201780007872.2A CN108496343A (zh) 2016-01-22 2017-01-05 终端装置、远程控制系统以及控制方法
EP17741593.2A EP3389335B1 (en) 2016-01-22 2017-01-05 Terminal device, remote control system and control method
US16/071,764 US20190037066A1 (en) 2016-01-22 2017-01-05 Terminal device, remote control system and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160008212 2016-01-22
KR1020160008212 2016-01-22

Publications (1)

Publication Number Publication Date
KR20170088272A true KR20170088272A (ko) 2017-08-01

Family

ID=59361941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160125584A KR20170088272A (ko) 2016-01-22 2016-09-29 단말 장치, 원격 제어 시스템 및 제어 방법

Country Status (5)

Country Link
US (1) US20190037066A1 (ko)
EP (1) EP3389335B1 (ko)
KR (1) KR20170088272A (ko)
CN (1) CN108496343A (ko)
WO (1) WO2017126740A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087213A (zh) * 2018-01-25 2019-08-02 福特全球技术公司 跨群组消息传输
CN109507895B (zh) * 2018-08-28 2022-04-19 中国银联股份有限公司 基于交互的控制设备与交互控制方法
US11042345B2 (en) * 2018-08-31 2021-06-22 Google Llc Systems, devices, and methods for interactive visual displays
JP7258131B2 (ja) * 2019-05-30 2023-04-14 三菱電機株式会社 接続管理装置、接続管理システム、接続管理方法及びプログラム
CN110572428A (zh) * 2019-07-29 2019-12-13 深圳五洲无线股份有限公司 一种远程控制穿戴设备的方法
JP7383460B2 (ja) * 2019-11-21 2023-11-20 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
CN111711558B (zh) * 2020-05-28 2023-06-09 腾讯科技（深圳）有限公司 一种消息控制方法及装置
GB2613779A (en) * 2021-12-07 2023-06-21 Mercedes Benz Group Ag A method for communicating with multiple smart home devices by a motor vehicle as well as a smart home integration service

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150527A (ja) * 2001-11-05 2003-05-23 Internatl Business Mach Corp <Ibm> チャットシステム、その端末装置及びチャットサーバ並びにプログラム
JP4455171B2 (ja) * 2004-05-31 2010-04-21 株式会社東芝 家電機器情報通信システム
KR100628380B1 (ko) * 2004-12-17 2006-09-27 한국전자통신연구원 유비쿼터스 시스템 구현을 위한 센싱 장치 및 이를 이용한휴대 단말 장치
US9712486B2 (en) * 2006-09-25 2017-07-18 Weaved, Inc. Techniques for the deployment and management of network connected devices
KR101673187B1 (ko) * 2009-10-30 2016-11-08 삼성전자주식회사 통신 시스템에서 레인징 요청 메시지 전송을 위한 상향링크 자원 요구 방법 및 장치
KR20120088008A (ko) * 2010-09-13 2012-08-08 현대자동차주식회사 콘텐츠 연동 기능을 갖는 단말기 및 그 연동 방법
KR101310881B1 (ko) * 2010-12-17 2013-09-25 주식회사 케이티 스마트 로봇 장치 및 스마트 로봇 장치를 이용한 동적 서비스 제공 방법
CN102891866A (zh) * 2011-07-18 2013-01-23 中兴通讯股份有限公司 一种物联网设备远程监控方法、设备及系统
KR101410416B1 (ko) * 2011-12-21 2014-06-27 주식회사 케이티 원격 제어 방법, 시스템 및 원격 제어 사용자 인터페이스
KR101952682B1 (ko) * 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9478123B2 (en) * 2012-07-31 2016-10-25 Intellectual Discovery Co., Ltd. Remote control device and method
WO2014098477A1 (ko) * 2012-12-18 2014-06-26 삼성전자 주식회사 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
AU2013276983B2 (en) * 2012-12-26 2017-05-18 Samsung Electronics Co., Ltd. Terminal device and method for controlling thereof
CN103051865B (zh) * 2012-12-28 2016-03-30 华为技术有限公司 画面控制的方法及终端、视频会议装置
EP2800406B1 (en) * 2013-04-29 2018-03-21 LG Electronics, Inc. Mobile terminal and control method for the mobile terminal
JP5649696B1 (ja) * 2013-07-12 2015-01-07 三菱電機株式会社 エネルギーマネジメントシステム、端末装置、端末装置の制御方法、及び、プログラム
KR102086512B1 (ko) * 2013-10-18 2020-03-09 엘지전자 주식회사 원격 제어 시스템, 모바일 디바이스 및 디지털 디바이스 제어 방법
US10235638B2 (en) * 2014-10-09 2019-03-19 Splunk Inc. Adaptive key performance indicator thresholds
US9774497B2 (en) * 2015-01-06 2017-09-26 Afero, Inc. System and method for implementing internet of things (IOT) remote control applications
CN105005201A (zh) * 2015-06-04 2015-10-28 广东康宝电器股份有限公司 智能家居多移动终端数据同步与推送系统

Also Published As

Publication number Publication date
CN108496343A (zh) 2018-09-04
EP3389335B1 (en) 2019-07-03
EP3389335A4 (en) 2018-10-31
EP3389335A1 (en) 2018-10-17
US20190037066A1 (en) 2019-01-31
WO2017126740A1 (ko) 2017-07-27

Similar Documents

Publication Publication Date Title
EP3389335B1 (en) Terminal device, remote control system and control method
JP6240758B2 (ja) Ｗｉｆｉリスト表示方法及び装置
US10783459B2 (en) Method and device for providing ticket information
US10298881B2 (en) Communication terminal, communication system, communication method, and recording medium
CN110266877B (zh) 用户终端装置、服务器及其控制方法
CN111667328B (zh) 页面内容展示方法、装置及电子设备
JP7346857B2 (ja) 会議情報管理システム、情報処理装置、制御方法、およびプログラム
US20180053331A1 (en) Device identifying method and apparatus, and storage medium
US10327121B2 (en) Instrument and system
US11416202B2 (en) Communication terminal, communication system, method of sharing data, and recording medium
US11394757B2 (en) Communication terminal, communication system, and method of sharing data
US20220019472A1 (en) Method of storing electronic data, resource reservation system, and terminal apparatus
US20210144697A1 (en) Resource reservation system and resource usage method
US20200272514A1 (en) Information processing terminal, non-transitory recording medium, and control method
US20180041553A1 (en) Transmission system, transmission terminal, method, and program
KR102664701B1 (ko) 이미지와 관련된 콘텐트를 어플리케이션에 제공하는 전자 장치 및 방법
WO2017061081A1 (en) Communication apparatus and control method for the same
KR102480264B1 (ko) 서비스 요청 디바이스
KR102661263B1 (ko) 상점 정보를 수신하는 방법 및 이를 사용하는 전자 장치
US20130254673A1 (en) Agent service method, and electronic device, server, and computer-readable recording medium thereof
US20220286309A1 (en) Event management system, event management apparatus, and event management method
TWI641969B (zh) 電子裝置與其操作方法以及伺服器主機
JP6026703B2 (ja) ルータアクセス制御方法、装置、ルータ、プログラム、及び記録媒体
KR102036075B1 (ko) 명함 정보 전달 방법 및 그 사용자 단말
KR102370585B1 (ko) 배달 주문 서비스 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application