KR102638911B1 - 복수의 IoT 장치들을 제어하기 위한 방법 및 장치 - Google Patents

복수의 IoT 장치들을 제어하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102638911B1
KR102638911B1 KR1020170024852A KR20170024852A KR102638911B1 KR 102638911 B1 KR102638911 B1 KR 102638911B1 KR 1020170024852 A KR1020170024852 A KR 1020170024852A KR 20170024852 A KR20170024852 A KR 20170024852A KR 102638911 B1 KR102638911 B1 KR 102638911B1
Authority
KR
South Korea
Prior art keywords
electronic device
information
external electronic
selection area
control
Prior art date
Application number
KR1020170024852A
Other languages
English (en)
Other versions
KR20180097977A (ko
Inventor
한만집
김재홍
라진
조혜정
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020170024852A priority Critical patent/KR102638911B1/ko
Priority to US15/903,297 priority patent/US10732827B2/en
Publication of KR20180097977A publication Critical patent/KR20180097977A/ko
Priority to US16/983,030 priority patent/US11157168B2/en
Application granted granted Critical
Publication of KR102638911B1 publication Critical patent/KR102638911B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Abstract

본 개시는 센서 네트워크(Sensor Network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication) 및 사물 인터넷(Internet of Things, IoT)을 위한 기술과 관련된 것이다. 본 개시는 상기 기술을 기반으로 하는 지능형 서비스(스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 활용될 수 있다.
본 발명의 실시예에 따른 터치스크린을 구비한 휴대형 전자장치에서 외부 전자장치를 선택하여 제어하는 방법은, 적어도 하나 이상의 외부 전자장치의 위치정보를 포함하는 공간정보, 및 선택 영역을 상기 터치스크린에 표시하는 단계와, 상기 위치 정보를 선택하기 위해 상기 선택영역에 대한 제1 터치입력을 수신하는 단계와, 상기 제1 터치입력에 의해 선택된 상기 위치 정보에 상응하는 상기 적어도 하나 이상의 외부 전자장치를 제어하기 위한 제2 터치입력을 수신하는 단계와, 상기 제2 터치입력에 상응하는 제어 메시지를 전송하는 단계를 포함하는 것을 특징으로 한다.

Description

복수의 IoT 장치들을 제어하기 위한 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING A PLURALITY OF INTERNET OF THINGS DEVICES}
본 발명은 IoT(Internet of Things) 환경에서 특정 영역에 위치하는 적어도 하나 이상의 IoT 기기 또는 외부 전자 장치들을 휴대형 전자장치 또는 착용형 전자장치를 이용하여 원격으로 편리하게 제어하기 위한 것이다.
인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망으로 진화하고 있다. 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 IoE (Internet of Everything) 기술도 대두되고 있다. IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT(information technology)기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
최근 IoT 기술 및 시장의 성장에 따라, IoT 기기의 수는 지속적으로 급격히 증가하고 있으며, 이에 따라 사용자가 스마트 폰, 태블릿 PC등과 같은 휴대형 전자장치 또는 스마트 왓치, 스마트 밴드 등과 같은 착용형 전자장치를 이용하여 특정 영역에 위치한 복수의 IoT기기 또는 외부 전자장치들을 선택하여 일괄적으로 동작하도록 제어해야 하는 경우가 점차 많아지고 있다. 이 경우, 상기 특정 영역에 위치한 복수의 IoT 기기 또는 외부 전자장치들을 선택하고 동작을 제어하기 위해 복수의 IoT 장치들 각각을 개별적으로 사용자가 선택 및 제어해야 하는 불편함이 있다. 이는 동시에 제어해야하는 IoT 기기 또는 외부 전자장치의 수가 증가 할수록, 해당 기기들을 제어하기 위해 많은 시간이 소요되거나, 같은 작업을 여러 번 반복해야 되는 사용자의 불편함을 초래하게 된다.
본 발명에서는 IoT(Internet of Things) 환경에서 특정 영역에 위치한 복수의 IoT 기기 또는 외부전자장치들을 휴대형 전자장치 또는 착용형 전자장치를 이용하여 일괄적으로 제어하거나 그룹화하여 제어하는 방법 및 장치를 제공할 수 있다.
본 발명의 실시예에 따른 터치스크린을 구비한 휴대형 전자장치에서 외부 전자장치를 선택하여 제어하는 방법은, 적어도 하나 이상의 외부 전자장치의 위치정보를 포함하는 공간정보, 및 선택 영역을 상기 터치스크린에 표시하는 단계와, 상기 위치 정보를 선택하기 위해 상기 선택영역에 대한 제1 터치입력을 수신하는 단계와, 상기 제1 터치입력에 의해 선택된 상기 위치 정보에 상응하는 상기 적어도 하나 이상의 외부 전자장치를 제어하기 위한 제2 터치입력을 수신하는 단계와, 상기 제2 터치입력에 상응하는 제어 메시지를 전송하는 단계를 포함하는 것을 특징으로 한다.
상기 공간정보는 상기 적어도 하나 이상의 외부 전자장치를 관리하는 서버로부터 수신되고, 상기 제2 터치 입력에 의해 생성된 상기 제어 메시지는 상기 서버 또는 상기 적어도 하나 이상의 외부 전자장치로 전송될 수 있다.
상기 휴대형 전자장치에서 외부 전자장치를 선택하여 제어하는 방법은, 상기 제1 터치입력에 의해, 상기 선택 영역의 크기, 형태, 및 위치 중에서 적어도 하나가 변경되는 단계와, 상기 변경된 선택 영역에 표시된 상기 적어도 하나 이상의 외부 전자장치의 위치 정보가 선택되는 단계를 더 포함할 수 있다.
상기 제1 터치입력은 상기 선택 영역에 대한 핀치 투 줌 멀티터치(pinch-to-zoom multi-touch) 입력일 수 있다.
실시예에 따라, 상기 제1 터치입력에 의해 상기 선택영역의 크기, 형태, 및 위치 중에서 적어도 하나가 변경된 후에 상기 터치스크린에 대한 제1 터치입력의 수신이 중단(release)되면, 상기 변경된 선택 영역이 최초에 표시되었던 선택영역에 상응하는 위치 및 크기로 표시되도록 상기 공간정보를 확대 또는 축소하여 표시할 수 있다.
상기 적어도 하나 이상의 외부 전자장치의 위치 정보가 선택됨에 따라, 상기 적어도 하나의 외부 전자장치에 대한 외부 전자장치 타입정보, 제어기능 정보, 제어기능 속성정보 및 현재 제어상태 정보 중에서 적어도 하나를 상기 터치스크린에 표시할 수 있다.
상기 제2 터치 입력에 따라 상기 터치스크린에 표시된 제어기능 속성정보에 대한 현재 제어상태 정보가 변경되고, 변경된 제어상태 정보에 대응되는 상기 적어도 하나 이상의 외부 전자장치에 대한 제어 메시지를 생성할 수 있다.
상기 제2 터치입력은, 상기 선택영역에 대한 로테이트(rotate) 터치 입력일 수 있다.
상기 적어도 하나 이상의 외부 전자장치의 위치정보가 복수의 이종 전자장치들의 위치정보인 경우, 상기 복수의 이종 전자장치들에 대한 공통 제어기능 속성정보를 상기 터치스크린에 표시할 수 있다.
상기 공통 제어기능 속성정보는 상기 적어도 하나 이상의 외부 전자장치에 대해 일괄적으로 전원을 온(on) 또는 오프(off)하기 위한 정보이고, 상기 제2 터치입력에 의해 상기 적어도 하나 이상의 외부 전자장치의 전원이 일괄적으로 온 또는 오프 상태로 변경되어 표시될 수 있다.
본 발명의 실시예에 따른 디스플레이 및 적어도 하나 이상의 물리키 입력부를 구비한 착용형 전자장치에서 외부 전자장치를 선택하여 제어하는 방법은, 적어도 하나 이상의 외부 전자장치의 위치정보를 포함하는 공간정보, 및 선택 영역을 상기 디스플레이에 표시하는 단계와, 상기 위치정보를 선택하기 위해 상기 선택영역에 대한 제1 입력을 수신하는 단계와, 상기 제1 입력에 의해 선택된 상기 위치정보에 상응하는 상기 적어도 하나의 외부 전자장치의 제어를 위한 제2 입력을 수신하는 단계와, 상기 제2 입력에 상응하는 제어 메시지를 전송하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 외부 전자장치를 선택하여 제어할 수 있는 휴대형 전자장치는, 적어도 하나 이상의 외부 전자장치의 위치정보를 포함하는 공간정보 및 선택영역을 표시하고, 사용자의 터치입력을 수신하는 터치스크린, 상기 터치스크린으로부터 수신된 제1 터치입력에 응답하여 상기 선택영역의 크기, 형태, 및 위치 중에서 적어도 하나를 변경하여 상기 터치스크린에 표시하도록 제어하고, 상기 터치스크린으로부터 수신된 제2 터치입력에 응답하여 상기 선택영역에 표시된 상기 적어도 하나 이상의 외부 전자장치에 대한 제어 메시지를 생성하는 제어부, 상기 제어 메시지를 상기 적어도 하나 이상의 외부 전자장치 또는 서버로 전송하는 통신부, 및 상기 공간정보 및 상기 위치 정보, 외부 전자장치 타입 정보 및 상기 적어도 하나 이상의 외부 전자장치에 대한 제어기능 정보, 제어기능 속성 정보, 제어 상태 정보를 저장하는 저장부를 포함할 수 있다.
본 발명의 실시예에 따른 외부 전자장치를 선택하여 제어할 수 있는 착용형 전자장치는, 적어도 하나 이상의 외부 전자장치의 위치정보를 포함하는 공간정보 및 선택영역을 표시하는 디스플레이, 사용자 입력을 수신하기 위한 적어도 하나 이상의 물리키 입력부, 상기 디스플레이 또는 상기 물리키 입력부를 통해 수신된 제1 입력에 응답하여 상기 선택영역의 크기, 형태, 및 위치 중 적어도 하나를 변경하여 상기 디스플레이에 표시하도록 제어하고, 상기 디스플레이 또는 상기 물리키 입력부를 통해 수신된 제2 입력에 의해 상기 선택 영역에 표시된 상기 적어도 하나 이상의 외부 전자장치에 대한 제어 메시지를 생성하는 제어부, 상기 제어 메시지를 상기 적어도 하나 이상의 외부 전자장치 또는 서버로 전송하는 통신부, 및 상기 공간정보, 상기 적어도 하나 이상의 외부전자장치에 대한 외부 전자장치 타입 정보, 제어기능 정보, 제어기능 속성 정보, 및 제어 상태 정보 중에서 적어도 하나를 저장하는 저장부를 포함할 수 있다.
본 발명의 실시예에 따른 방법 및 장치는 휴대형 전자장치 또는 착용형 전자장치에 구비된 터치 스크린 또는 적어도 하나 이상의 물리 키에 대한 사용자 입력에 기반하여 IoT(Internet of Things) 환경에서 특정 영역에 위치한 복수의 IoT 기기 또는 외부 전자장치들을 원격으로 휴대형 전자장치 또는 착용형 전자장치에 구비된 터치스크린 또는 적어도 하나 이상의 물리키를 이용하여 직관적으로 선택하고, 일괄적으로 제어하거나 그룹화하여 간편하게 제어할 수 있다.
도 1은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 핀치 투 줌(Pinch-to-Zoom) 터치입력을 수신하여 적어도 하나 이상의 외부 전자장치를 선택하는 과정을 설명하는 도면이다.
도 2는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 로테이트(Rotate) 터치입력을 수신하여 동종의 적어도 하나 이상의 외부 전자장치를 제어하는 과정을 설명하는 도면이다.
도 3은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 로테이트(Rotate) 터치입력을 수신하여 이종의 외부 전자장치를 제어하는 과정을 설명하는 도면이다.
도 4a 및 도 4b는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 핀치 투 줌(Pinch-to-Zoom) 터치 입력을 수신받아 선택영역을 대칭 확장하거나 대칭 축소하여 적어도 하나 이상의 외부 전자장치를 선택하는 과정을 설명하는 도면이다.
도 5a 및 도 5b는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 핀치 투 줌(Pinch-to-Zoom) 터치 입력을 수신받아 선택영역을 비대칭 확장하거나 비대칭 축소하여 적어도 하나 이상의 외부 전자장치를 선택하는 과정을 설명하는 도면이다.
도 6은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 드래그(Drag) 터치 입력을 수신받아 선택 영역을 드래그하여 이동하는 과정을 설명하는 도면이다.
도 7은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 더블 탭(double-tap) 터치 입력을 수신받아 선택 영역을 확대하거나 축소하는 과정을 설명하는 도면이다.
도 8은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 터치 앤 홀드(Touch & hold) 터치 입력을 수신받아 선택 영역을 반전하는 과정을 설명하는 도면이다.
도 9는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 터치 앤 플릭(Touch & Flick) 터치 입력을 수신받아 선택 영역의 형태를 변경하는 과정을 설명하는 도면이다.
도 10은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 펜 터치 입력을 수신받아 펜 모드에서 선택 영역의 형태를 변경하거나 추가하는 과정을 설명하는 도면이다.
도 11은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 표시된 외부 전자장치 이미지에 대한 사용자의 터치 앤 홀드(Touch & hold) 터치 입력을 수신받아 선택 영역에서 외부 전자장치를 선택을 해제하거나 선택되지 않은 외부 전자장치를 선택하는 과정을 설명하는 도면이다.
도 12는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택영역에 대한 사용자의 터치입력을 수신받아 동종의 외부 전자장치가 선택되거나 또는 이종의 외부 전자장치를 선택된 경우에 따라 각각에 경우에 대응되는 외부 전자장치 타입 정보가 터치스크린에 표시되는 과정을 설명하는 도면이다.
도 13은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 외부 전자장치 타입 정보에 대한 사용자 터치 입력 수신에 따라 표시되는 외부 전자장치에 대한 제어상태 정보 및 제어 기능 정보가 표시되는 과정을 설명하는 도면이다.
도 14a 내지 도 14d는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택영역에 대한 사용자 터치 입력 수신에 따라 제어할 외부 전자장치를 선택하기 위한 선택 모드 및 선택 모드에서 선택된 외부 전자장치를 제어하기 위한 제어 모드로 변경 또는 제어 모드에서 다시 선택 모드로 변경되는 과정을 설명하기 위한 도면이다.
도 15a 내지 도 15e는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 수신한 사용자 터치입력에 따라 선택 모드에서 제어 모드로 변경되고 제어 모드에서 제어기기 타입정보, 제어기능 정보, 제어상태 정보 및 제어기능 속성 정보를 표시하는 과정 및 해당 정보에 관한 사용자 터치입력을 수신하여 외부 전자장치를 제어하는 과정을 설명하기 위한 도면이다.
도 16a 내지 도 16f는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 수신한 사용자 터치입력에 따라 선택된 복수의 이종의 외부 전자장치들을 공통 제어기능 속성 정보에 따라 일괄적으로 공통 제어를 수행하는 세부 과정을 설명하기 위한 도면이다.
도 17a 내지 도 17e는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 수신한 사용자 터치입력에 따라 동종의 외부 전자장치를 제어하거나 이종의 외부 전자장치를 제어하는 과정을 설명하는 도면이다.
도 18은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 적어도 하나 이상의 외부 전자장치를 선택하기 위한 선택 영역을 나타내는 도면이다.
도 19는 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 터치 입력에 응답하여 선택 영역을 이동, 반전, 확대, 축소, 및 변경하는 과정을 설명하기 위한 도면이다.
도 20은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 사용자의 물리 키(용두 로테이트, 용두 더블 클릭) 입력에 응답하여 선택 영역을 확대하거나 축소하는 과정을 설명하는 도면이다.
도 21은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 물리 키(용두 로테이트)입력에 응답하여 선택 영역의 형태를 변경하는 과정을 설명하는 도면이다.
도 22는 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 물리 키(용두 롱 푸시) 입력에 응답하여 선택 영역을 반전하는 과정을 설명하는 도면이다.
도 23a 및 도 23b는 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 동종의 외부 전자장치를 선택하거나 이종의 외부 전자장치를 선택한 경우의 터치스크린에 외부 전자장치 타입 정보가 표시되는 과정을 설명하는 도면이다.
도 24a 및 도 24b는 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 터치 입력에 응답하여 외부 전자장치 선택 시 터치스크린에 선택된 외부 전자장치에 대한 제어기능 정보를 표시하는 과정을 설명하는 도면이다.
도 25a 내지 도 25d는 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 입력에 응답하여 외부 전자장치 타입 정보, 외부 전자장치별 제어기능 정보, 제어기능 속성 정보 및 현재 제어상태 정보를 표시하고 사용자의 터치 입력에 따라 제어하는 과정을 설명하기 위한 도면이다.
도 26a 및 도 26b는 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 터치 입력에 응답하여 복수의 이종 외부 전자장치들을 공통 제어기능 속성 정보에 따라 일괄 공통 제어하는 과정을 설명하기 위한 도면이다.
도 27은 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 물리 키(베젤 로테이트) 입력에 응답하여 외부 전자장치의 제어 상태를 변경하는 과정을 설명하기 위한 도면이다.
도 28a 내지 도 28g는 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 물리 키(용두 클릭) 입력을 이용하여 제어할 외부 전자장치 타입정보를 선택할 수 있는 모드로 전환하고, 수신한 물리 키(용두 로테이트 앤 클릭) 입력을 이용하여 화면에 표시된 외부 전자장치 타입 정보로부터 제어할 외부 전자장치를 선택하고, 선택된 외부 전자장치에 대응하여 표시된 제어기능 정보 중 제어할 세부 제어기능 속성 정보를 수신한 물리 키 입력(용두 로테이트 앤 클릭)을 통해 선택하고 선택된 세부기능에 따라 현재 제어상태 정보를 표시하고 수신한 물리 키 입력(용두 로테이트)에 응답하여 제어상태를 변경하는 과정을 설명하기 위한 도면이다.
도 29는 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 터치입력을 통해 제어할 외부 전자장치를 선택하고, 수신한 물리 키(용두 로테이트) 입력을 통해, 선택된 외부 전자장치의 전원을 제어하는 과정을 설명하기 위한 도면이다.
도 30은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 터치입력을 통해 제어할 외부 전자장치에 대한 제어기능을 선택하고, 물리 키(용두 로테이트) 입력을 통해 선택된 외부 전자장치의 선택된 제어기능에 대한 세부 제어를 수행하는 과정을 설명하기 위한 도면이다.
도 31은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 터치스크린에서 수신한 터치입력(멀티터치 로테이트)입력을 통해 복수의 이종의 외부 전자장치들을 공통 제어기능 속성 정보에 따라 일괄적으로 공통 제어를 수행하는 세부 과정을 설명하기 위한 도면이다..
도 32는 본 발명의 실시예에 따라 적어도 하나 이상의 외부 전자장치를 선택하는 경우 휴대형 전자장치 또는 착용형 전자장치에 설치된 모바일 애플리케이션과 서버 간에 통신을 통해 주고받는 메시지 패킷의 흐름에 대해 설명하는 도면이다.
도 33은 본 발명의 실시예에 따라 적어도 하나 이상의 외부 전자장치를 제어하는 경우 휴대형 전자장치 또는 착용형 전자장치에 설치된 모바일 애플리케이션과 서버 간에 통신을 통해 주고받는 메시지 패킷의 흐름에 대해 동작을 설명하는 도면이다.
도 34는 본 발명의 실시예에 따른 휴대형 전자장치 또는 착용형 전자장치의 구성을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
본 명세서에서 실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하 본 발명의 실시 예를 첨부한 도면과 함께 상세히 설명한다. 또한 본 발명을 설명함에 있어서 관련된 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 제시되는 다양한 발명의 설명 및 실시예에서 사용되는 하기의 용어는 다음과 같이 정의될 수 있다.
1. 공간정보: 외부 전자장치의 위치정보를 포함하는 지상, 지하, 수상, 수중 등에 존재하는 자연적, 인공적인 물체에 대한 위치정보 및 속성정보를 디지털 이미지 형태로 가공하여 나타낸 정보로 정의할 수 있다. 예를 들어, 전자지도(Map), 가구배치도(Layout), 건축물 설계도(Blueprint), 건물 평면도가 될 수 있으며 이에 한정되지 않는다.
2. 휴대형 전자장치: 사용자가 휴대하며 사용가능한, 무선 통신 기능 및 사용자 입력을 수신받기 위한 터치스크린을 구비한 전자장치로 정의할 수 있다. 예를 들어, 스마트폰, 태블릿PC 등이 될 수 있으며 이에 한정되지 않는다. 여기서, 휴대용 전자 장치는 터치스크린, 제어부, 통신부, 및 저장부를 포함할 수 있으며, 상기 저장부는 공간정보 DB(database), 외부 전자장치 정보 DB(위치, 타입, 디바이스 정보, 제어 기능, 제어기능 속성, 제어상태) 등을 저장할 수 있다.
3. 착용형 전자장치: 사용자 몸의 일부에 착용되어 무선 통신 기능 및 사용자 입력을 수신받기 위한 터치스크린과 적어도 하나 이상의 물리키 입력부를 구비한 전자장치로 정의할 수 있다. 예를 들어, 웨어러블(wearable), 스마트 왓치(smart watch), 스마트 목걸이, 스마트 링, 스마트 밴드, 스마트 안경, HMD (head mounted display), 스마트 헬멧 등이 될 수 있으며 이에 한정되지 않는다. 여기서, 착용형 전자 장치는 디스플레이, 물리 키 입력부(버튼, 베젤, 용두 등), 제어부, 통신부, 및 저장부를 포함할 수 있으며, 상기 저장부는 공간정보 DB, 외부 전자장치 정보 DB, 제어정보 DB 등을 저장할 수 있다.
4. 외부 전자장치: 사용자 전자장치로부터 수신된 사용자 입력에 의해 제어 가능한 유선 또는 무선 통신기능을 구비한 전자장치로 정의할 수 있다. 예를 들어, 조명, 공조기기, 프로젝터, 데스크탑, 로봇 청소기, 공기청정기, TV, 드론(drone), 로봇 등이 될 수 있으며 이에 한정되지 않는다.
5. 외부 전자장치 타입정보: 선택영역 변경을 통해 선택된 외부 전자장치의 종류 또는 타입에 관한 정보로 정의할 수 있다. 예를 들어, 선택영역 내에 포함된 외부 전자장치(에어컨, TV, 조명, 온도계 등)의 정보를 터치스크린 하단에 아이콘 형태로 표시할 수 있으며 이에 한정되지 않는다.
6. 제어기능 정보: 외부 전자장치의 종류에 따른 제어 가능한 기능에 관한 정보로 정의할 수 있다. 예를 들어, 에어컨의 경우 온도, 풍량, 모드가 될 수 있고, 조명의 경우 밝기, 색온도, 모드가 될 수 있고, TV의 경우 음량, 채널, 화면모드가 될 수 있으며, 이에 한정되지 않는다.
7. 제어기능 속성 정보: 선택된 외부 전자장치의 제어기능 정보에 관한 제어동작의 범주(Category) 또는 변경 가능 범위(e.g. 상한, 하한, 조절 가능 범위)와 입력에 의한 조절 단위 대한 정보로 정의할 수 있다. 예를 들어, 전원 On/Off, 온도 조절 10도~ 40도(1도씩 조절 가능), 풍량 강/중/약이 될 수 있으며 이에 한정되지 않는다.
8. 제어상태 정보: 선택된 제어기능 정보의 제어기능 속성 정보에 관한 현재 제어상태를 나타내는 정보로 정의할 수 있다. 예를 들어, 현재 실내 에어컨 설정 온도(또는 평균 온도), 복수개의 조명 중 켜짐/꺼짐 상태(e.g. 켜진 조명수, 꺼진 조명수)가 될 수 있으며 이에 한정되지 않는다.
9. 공통 제어기능 속성 정보: 선택된 이종의 전자장치에 대해서 공통으로 일괄적으로 제어가 가능한 제어기능 정보에 관한 제어동작의 속성에 관한 정보로 정의할 수 있다. 예를 들어, 이종의 전자 장치에 대한 일괄 전원 On/Off, 절전모드 설정이 될 수 있으며 이에 한정되지 않는다.
10. 선택영역: 휴대용 전자장치 또는 착용형 전자장치에서 디스플레이되는 공간정보 내에서 사용자 입력에 응답하여 적어도 하나 이상의 외부 전자장치가 선택될 수 있도록 설정된 영역으로 정의할 수 있다. 즉, 사용자 입력에 의해 위치, 크기, 또는 형태가 변경된 선택영역 내에 외부 전자장치에 대응되는 위치 정보가 포함되면 해당 외부 전자장치가 선택된 것으로 판단할 수 있다. 예를 들어, 선택영역은 원형, 타원형, 삼각형, 사각형, 다각형 등으로 설정되고 사용자 입력에 응답하여 크기 또는 형태가 변경될 수 있으며, 이에 한정되지 않는다.
11. 선택모드: 선택영역의 크기 또는 형태를 변경하여 제어할 외부 전자장치를 선택하기 위한 모드로 정의할 수 있다.
12. 제어모드: 선택영역 내에 포함된 외부 전자장치에 관한 외부 전자장치 정보, 제어기능 정보 및 제어상태 정보를 제공하고 외부 전자장치에 대한 제어를 수행하기 위한 모드로 정의할 수 있다.
13. 물리 키: 착용형 전자장치에 물리적으로(physically) 구비되어 사용자 입력을 수신할 수 있는 입력부로 정의할 수 있다. 예를 들어, 스마트 왓치에 구비된 버튼, 베젤, 용두 등일 수 있으며, 이에 한정되지 않는다.
14. 제어 메시지: 적어도 하나 이상의 외부 전자장치를 제어하기 위해 사용자 입력에 응답하여 휴대형 전자 장치 또는 착용형 전자 장치에서 생성되는 메시지로 정의할 수 있다. 휴대형 전자 장치 또는 착용형 전자 장치는 제어 대상인 적어도 하나 이상의 외부 전자장치로 제어 메시지를 전송하거나, 적어도 하나 이상의 외부 전자장치를 관리하는 서버로 제어 메시지를 전송할 수 있다. 이때, 적어도 하나 이상의 외부 전자장치는 제어 메시지에 응답하여 특정 제어기능 정보(예컨대, 에어컨의 경우 온도, 풍량, 모드)를 변경할 수 있다. 또한, 서버는 제어 메시지에 응답하여 적어도 하나 이상의 외부 전자장치로의 특정 제어기능 정보(예컨대, 에어컨의 경우 온도, 풍량, 모드)가 변경되도록 처리(또는 명령)할 수 있다.
도 1은 본 발명의 제1 실시예에 따라 선택 영역을 이용하여 적어도 하나 이상의 외부 전자장치를 선택하는 과정을 설명하는 도면이다.
도 1을 참조하면, 휴대형 전자장치(100)는 터치 스크린(110)을 통해 미리 설정된 형태의 선택 영역(120)을 표시할 수 있다. 선택 영역(120)은 터치 스크린(110)을 통해 디스플레이되는 공간정보 내에서 사용자의 터치 입력에 응답하여 적어도 하나 이상의 외부 전자장치(또는 IoT 장치)가 선택될 수 있도록 설정된 영역을 의미한다.
본 명세서에서는 설명의 편의를 위해 선택 영역(120)이 원형으로 도시되어 있으나, 본 발명의 실시예들은 이에 제한되지 않고 선택 영역(120)은 다양한 형태(예컨대, 타원형, 삼각형, 사각형, 다각형, 자유형 등)로 설정될 수 있다.
휴대형 전자장치(100)는 복수의 외부 전자장치들의 위치정보를 상기 복수의 외부 전자장치들을 관리하는 서버로부터 수신할 수 있다. 휴대형 전자장치(100)는 상기 위치 정보에 기반하여 상기 복수의 외부 전자장치들의 위치정보와 관련된 공간정보(예컨대, 맵(mpa)의 형태)을 설정할 수 있다.
휴대형 전자장치(100)는 공간정보 내에 선택 영역(120)을 표시할 수 있다. 휴대형 전자장치(100)는 상기 복수의 외부 전자장치들의 위치정보에서 적어도 하나 이상의 외부 전자장치의 위치정보를 선택하기 위해 선택 영역(120)에 대한 사용자의 제1 터치 입력을 수신할 수 있다. 예컨대, 상기 제1 터치 입력은 도 1에서와 같이 멀티 터치 입력 및 핀치 투 줌 입력일 수 있으며 이에 한정되진 않는다.
휴대형 전자장치(100)는 사용자의 제1 터치 입력에 응답하여 선택 영역(120)을 확장된 선택 영역(130)으로 표시할 수 있다. 휴대형 전자장치(100)는 공간정보 내에서 확장된 선택 영역(130)에 포함되는 적어도 하나 이상의 외부 전자장치의 위치정보를 선택할 수 있다.
도 1의 도시와 달리, 휴대형 전자장치(100)는 사용자의 제1 터치 입력에 응답하여 선택 영역(120)을 축소된 선택 영역으로 표시할 수도 있다. 휴대형 전자장치(100)는 상기 공간정보 내에서 축소된 선택 영역에 포함되는 적어도 하나 이상의 외부 전자장치의 위치정보를 선택할 수도 있다.
즉, 휴대형 전자장치(100)는 사용자의 제1 터치 입력에 응답하여 선택 영역(120)의 크기를 변경함으로써 공간정보 내에서 선택 영역(120)에 포함되는 적어도 하나 이상의 외부 전자장치의 위치정보를 선택할 수 있다.
또한 일부 실시예로, 휴대형 전자장치(100)는 확장된 선택 영역(130)을 본래의 크기로 축소하여 상기 공간정보 내에서 최종 선택 영역(140)을 표시할 수 있다.
도 2는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 로테이트(Rotate) 터치입력을 수신하여 동종의 적어도 하나 이상의 외부 전자장치를 제어하는 과정을 설명하는 도면이다.
도 1 및 도 2를 참조하면, 휴대형 전자장치(100)는 터치 스크린(200) 상에 도 1에 도시된 방법에 의해 선택된 적어도 하나 이상의 외부 전자장치를 제어하기 위한 제어기능 정보(210, 211, 212)를 표시할 수 있다. 예컨대, 제어기능 정보(210, 211, 212)는 온도, 팬 속도, 모드로 구성될 수 있다. 다만, 본 발명의 실시예들은 도 2에 도시된 제어기능 정보(210, 211, 212)로 한정되지 않고 제어기능 정보(210, 211, 212)는 사용자의 편의를 위해 다양한 항목으로 구성될 수 있다.
휴대형 전자장치(200)는 도 1에 도시된 방법에 의해 선택된 적어도 하나 이상의 외부 전자장치를 제어하기 위해 선택 영역에 대한 사용자의 제2 터치 입력을 수신할 수 있다. 예컨대, 사용자의 제2 터치 입력은 도 2에 도시된 바와 같이 선택 영역에 대한 로테이트(Rotate) 터치 입력일 수 있으며 이에 한정되진 않는다.
휴대형 전자장치(200)는 사용자의 제2 터치 입력에 응답하여 제어기능 정보(210, 211, 212) 중에서 어느 하나에 대한 제어기능을 수행하고 이에 따른 변경된 제어상태 정보(220 -> 240)를 표시할 수 있다.
제어상태 정보(220, 240)는 선택 영역의 상단에 디스플레이될 수 있으나, 이에 제한되지 않고 설계 사양에 따라 터치 스크린(200) 상의 다양한 위치에 설정될 수 있음은 당업자에게 자명하다.
예컨대, 제어상태 정보(220, 240)는 선택된 적어도 하나 이상의 외부 전자장치에 대한 설정 온도일 수 있다. 예컨대, 휴대형 전자장치(100)는 사용자의 제2 터치 입력에 응답하여 선택된 적어도 하나 이상의 외부 전자장치(e.g. 에어컨)에 대한 설정 온도를 21도에서 18도로 변경할 수 있다.
도 3은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 로테이트(Rotate) 터치입력을 수신하여 이종의 외부 전자장치를 공통 제어기능 속성 정보에 대해 제어하는 과정을 설명하는 도면이다.
도 2에서 선택 영역에 포함된(즉, 선택된) 적어도 하나 이상의 외부 전자장치가 동종의 외부 전자장치인 반면, 도 3에서는 선택 영역에 포함된 적어도 하나 이상의 외부 전자장치가 이종의 외부 전자장치인 경우를 나타낸다.
도 1 및 도 3을 참조하면, 휴대형 전자장치(100)는 사용자의 제1 입력에 응답하여 선택 영역(320)에 이종의 외부전자장치의 위치정보를 포함한다. 이때, 휴대형 전자장치(100)는 상기 이종의 외부 전자장치들의 위치정보에 대응되는 외부 전자장치들 각각을 식별하고, 식별된 이종의 외부 전자장치들 각각에 대한 외부 전자장치 타입정보(310~313)을 터치 스크린(300) 하단에 표시할 수 있다. 예컨대, 외부 전자장치 타입정보(310~313)은 에어컨, TV, 조명, 온도계를 포함할 수 있으며 이에 한정되진 않는다.
휴대형 전자장치(100)는 도 1에 도시된 방법에 의해 선택된 이종의 외부 전자장치들을 제어하기 위해 선택 영역(340)에 대한 사용자의 제2 터치 입력을 수신할 수 있다. 예컨대, 사용자의 제2 터치 입력은 도 3에 도시된 바와 같이 선택 영역(340)에 대한 로테이트 터치 입력일 수 있다.
휴대형 전자장치(100)는 사용자의 제2 터치 입력에 응답하여 상기 이종의 외부 전자장치들 전체를 포괄하는 공통 제어기능 속성 정보(330)를 변경할 수 있다. 예컨대, 공통 제어기능 속성 정보(330)는 전원 온/오프일 수 있다. 예컨대, 휴대형 전자장치(100)는 사용자의 제2 터치 입력에 응답하여 상기 이종의 외부 전자장치들 전체에 대한 전원을 동시에 온/오프할 수 있다.
이후, 휴대형 전자장치(100)는 선택 영역(350)에 변경된 공통 제어기능 속성 정보를 표시할 수 있다.
도 4a 및 도 4b는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 핀치 투 줌(Pinch-to-Zoom) 터치 입력을 수신받아 선택영역을 대칭 확장하거나 대칭 축소하여 적어도 하나 이상의 외부 전자장치를 선택하는 과정을 설명하는 도면이다.
도 4a를 참조하면, 휴대형 전자장치(400)는 터치 스크린(410) 내 고정된 위치에 고정된 크기의 선택 영역(411)을 표시할 수 있다.
휴대형 전자장치(400)는 선택 영역(421)에 대한 사용자의 핀치 투 줌 인(pinch to zoom in) 입력에 응답하여 선택 영역(421)을 대칭적으로 확장할 수 있다. 이때, 확장된 선택 영역(422)은 선택 영역(421)보다 더 많은 외부 전자장치의 위치정보를 포함할 수 있다. 즉, 휴대형 전자장치(400)는 선택 영역(421)을 대칭적으로 확장함으로써 더 많은 외부 전자장치의 위치정보를 선택할 수 있다.
이후, 휴대형 전자장치(400)는 사용자의 터치 릴리즈(release)에 응답하여 자동으로 터치스크린 상에 표시된 공간정보를 축소하고, 확장된 선택 영역(431) 역시 축소되면서 고정된 위치 및 크기의 선택 영역(441)과 유사한 위치와 크기로 선택 영역(432 -> 441)을 표시할 수 있다. 이를 통해, 사용자의 터치입력을 수신함에 있어 고정된 위치 및 고정된 크기로 선택영역(441)로 유지함으로써, 사용자의 터치입력 수신시 사용자에게 유사한 위치에서 유사한 동작으로 일관적인 터치입력을 가능케 하여, 사용자의 터치입력 편의성을 향상시킬 수 있다.
도 4b를 참조하면, 휴대형 전자장치(400)는 사용자의 선택 영역(451)에 대한 핀치 투 줌 아웃(pinch to zoom out) 입력에 응답하여 대칭적으로 축소된 선택 영역(452)을 표시할 수 있다.
이후, 휴대형 전자장치(400)는 사용자의 터치 릴리즈(release)에 응답하여 자동으로 터치스크린상에 표시된 공간정보를 확대하고, 대칭적으로 축소된 선택 영역(461) 역시 확대되면서 고정된 위치에 고정된 크기의 선택 영역(471)과 유사한 위치와 크기로 선택 영역(461 -> 471)을 표시할 수 있다.
도 5a 및 도 5b는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 핀치 투 줌(Pinch-to-Zoom) 터치 입력을 수신받아 선택영역을 비대칭 확장하거나 비대칭 축소하여 적어도 하나 이상의 외부 전자장치를 선택하는 과정을 설명하는 도면이다.
도 5a 및 도 5b에서 선택영역에 대한 비대칭 확장 및 비대칭 축소 과정은 도 4a 및 도 4b에서 선택영역에 대한 대칭 확장 및 대칭 축소 과정과 거의 유사하나, 핀치 투 줌(Pinch to Zoom) 입력시 터치스크린에서 수신한 두개의 터치 입력 중 하나의 터치 입력은 고정된 위치에서 일관되게 수신받고, 다른 하나의 터치 입력만 최초 터치입력 지점에서 선택영역의 중심부에 가까워지거나 멀어지는 위치로 이동하도록 하여 선택영역을 비대칭으로 확대하거나 축소하는 차이가 있다.
예를 들어 도 5a와 같이 하나의 터치입력은 고정된 위치에서 수신되는 상태에서 다른 하나의 터치입력은 선택영역의 중심에서 멀어지도록 터치입력이 이동되어 선택영역을 비대칭으로 확대할 수 있으며, 도 5b와 같이 선택영역의 중심에 가까워지도록 터치입력이 이동되어 선택영역을 비대칭으로 축소시킬 수 있다.
도 6은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 드래그(Drag) 터치 입력을 수신받아 선택 영역을 드래그하여 이동하는 과정을 설명하는 도면이다.
도 6을 참조하면, 휴대형 전자장치(600)는 터치 스크린(610) 상의 고정된 위치에 고정된 크기로 선택 영역(611)을 표시할 수 있다. 휴대형 전자장치(600)는 사용자의 터치 앤 드래그(touch and drag) 입력에 응답하여 선택 영역(621)을 이동시킬 수 있다.
이후, 휴대형 전자장치(600)는 사용자의 터치 릴리즈에 응답하여 터치스크린에 표시된 선택 영역(631)을 포함한 공간정보를 이동시켜, 터치 스크린(640) 상에서 기존의 선택영역(611)과 유사한 위치에 유사한 크기로 이동된 선택 영역(641)을 표시할 수 있다.
도 7은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 더블 탭(double-tap) 터치 입력을 수신받아 선택 영역을 확대하거나 축소하는 과정을 설명하는 도면이다.
도 7을 참조하면, 휴대형 전자장치(700)는 터치 스크린(710) 내 고정된 위치에 고정된 크기로 선택 영역(711)을 표시할 수 있다. 휴대형 전자장치(700)는 선택 영역(721)에 대한 사용자의 더블 탭(double tap) 터치 입력(722)에 응답하여 확대된 선택 영역(731)을 표시할 수 있다.
이때, 휴대형 전자장치(700)는 확대된 선택 영역(741)에서 사용자의 터치 앤 드래그(touch and drag) 터치입력에 응답하여 공간정보를 이동시킬 수 있다. 휴대형 전자장치(700)는 확대된 선택 영역(751)에서 사용자의 핀치 줌 인/아웃 터치입력에 응답하여 확대된 선택 영역(751)의 확대 배율을 조정할 수 있다.
휴대형 전자장치(700)는 선택 영역(761)에 대한 사용자의 더블 탭(double tap) 터치입력(762)에 응답하여 축소된 선택 영역(771)을 표시할 수 있다. 이때, 휴대형 전자장치(700)는 자동으로 고정된 위치에 고정된 크기로 축소된 선택 영역(771)을 표시할 수 있다.
도 8은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 터치 앤 홀드(Touch & hold) 터치 입력을 수신받아 선택 영역을 반전하는 과정을 설명하는 도면이다.
도 8을 참조하면, 휴대형 전자장치(800)는 터치 스크린(810) 내 고정된 위치에 고정된 크기로 선택 영역(811)을 표시할 수 있다. 휴대형 전자장치(800)는 선택 영역(821)의 외부 영역(822)에 대한 사용자의 터치 앤 홀드(touch and hold) 입력에 응답하여 선택 영역(831)을 반전시킬 수 있다. 예컨대, 상기 터치 앤 홀드 입력은 수 초(second) 동안 입력될 수 있다.
휴대형 전자장치(800)는 반전된 선택 영역(832)를 터치 스크린(830) 상에 표시할 수 있다. 휴대형 전자장치(800)는 선택 영역(841)에 대한 사용자의 핀치 줌 인/아웃 터치입력에 응답하여 선택 영역(841)을 확장하거나 축소할 수 있다. 이때, 휴대형 전자장치(800)는 자동으로 공간정보를 축소/확대하고 선택 영역(841)을 터치 스크린(840) 내 고정된 위치에 고정된 크기로 표시할 수 있다. 이 경우에도 휴대형 전자장치(800)는 반전된 선택 영역(843)에 포함되는 적어도 하나 이상의 외부 전자장치의 위치정보를 선택할 수 있다.
또한 일부 실시예에 따라, 휴대형 전자장치(800)는 반전된 선택 영역(853)의 외부 영역에 대한 사용자의 터치 앤 홀드 터치입력(852)에 응답하여 다시 재반전된 선택 영역(861)을 표시할 수 있다.
도 9는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 터치 앤 플릭(Touch & Flick) 터치 입력을 수신받아 선택 영역의 형태를 변경하는 과정을 설명하는 도면이다.
도 9를 참조하면, 휴대형 전자장치(900)는 터치 스크린(910) 내 고정된 위치에 고정된 크기로 선택 영역(911)을 표시할 수 있다. 휴대형 전자장치(900)는 선택 영역(921, 931, 941)에 대한 사용자의 듀얼 터치 앤 플릭(dual touch and flick) 입력(922, 932, 942)에 응답하여 선택 영역(921, 931, 941)의 형태를 예를 들어, 사각형, 삼각형, 다각형 등의 형태로 변경할 수 있으며 이에 한정되지는 않는다.
또한 일부 실시예에 따라, 휴대형 전자장치(900)는 선택영역을 여러 개의 점(Point)를 연결한 자유형 형태로 선택영역을 표시할 수 있는 점 편집모드를 제공할 수 있으며, 점 편집 모드에서 사용자의 자유형 도형을 구성하는 임의의 하나의 점에 대한 터치 앤 드래그 입력(952)에 응답하여 선택 영역(951)의 형태를 변경하여 표시할 수 있다.
또한 일부 실시예에 따라, 휴대형 전자장치(900)는, 사용자의 터치 펜 입력에 따라 자유형 형태로 선택영역을 그릴 수 있는 펜 모드(961)를 제공할 수 있다. 펜 모드(961)에서 사용자의 터치 펜 입력에 응답하여 선택 영역(962)을 자유형으로 표시할 수 있다. 또한 일부 실시예에 따라, 휴대형 전자장치(900)는 펜 모드(971)에서 터치펜 외에, 사용자의 손가락 터치 입력에 응답하여 선택 영역(972)을 자유형으로 표시할 수도 있다. 이후, 휴대형 전자장치(900)는 사용자로부터 수신한 펜 모드 아이콘(981)을 탭하는 터치입력에 응답하여, 선택 영역(982)의 선택을 완료할 수 있다.
일부 실시예에 따라, 상기 펜 모드 아이콘(981)을 탭하는 터치입력에 의해, 선택영역에 대한 선택이 완료된 후, 휴대형 전자장치(900)는 터치 스크린(990) 내 공간정보를 확대/축소하고, 선택 영역(991)을 확대/축소하면서 선택 영역(991)을 터치 스크린(990) 내 고정된 위치에 고정된 크기로 표시할 수 있다. 이때 선택영역의 형태는 도면상의 선택영역(991)과 같이 자유형으로 표시될 수 있으며, 이에 한정되지는 않는다.
도 10은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 대한 사용자의 펜 터치 입력을 수신받아 펜 모드에서 선택 영역의 형태를 변경하거나 추가하는 과정을 설명하는 도면이다.
도 10을 참조하면, 휴대형 전자장치(1000)는 사용자의 펜 터치 입력을 수신받아 선택영역의 크기 및 형태를 결정하는 펜 모드(1011)를 제공할 수 있다. 휴대형 전자장치(1000)는 펜 모드에서 사용자의 터치 펜 입력에 응답하여 선택 영역(1021, 1031, 1041)을 자유롭게 생성하거나, 복수의 선택영역을 추가할 수 있다. 이후, 휴대형 전자장치(1000)는 사용자의 펜 모드 아이콘(1051) 탭 입력에 응답하여 선택 영역에 대한 선택을 완료할 수 있고, 선택이 완료됨에 따라, 휴대형 전자장치(1000)는 터치 스크린(1060, 1070) 내 공간정보를 확대/축소하고, 선택 영역(1061, 1071)을 확대/축소하면서 선택 영역(1061, 1071)을 터치 스크린(990) 내 고정된 위치에 고정된 크기로 표시할 수 있다. 이때 선택영역의 형태는 도면상의 선택영역(1071)과 같이 자유형으로 표시될 수 있으며, 이에 한정되지는 않는다.
도 11은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택 영역에 표시된 외부 전자장치 이미지에 대한 사용자의 터치 앤 홀드(Touch & hold) 터치 입력을 수신받아 선택 영역에서 외부 전자장치 선택을 해제하거나 선택되지 않은 외부 전자장치를 선택하는 과정을 설명하는 도면이다.
도 11을 참조하면, 휴대형 전자장치(1100)는 선택 영역(1111)에 대한 사용자의 더블 탭(double tap) 입력에 응답하여 확대된 선택 영역(1121)을 표시할 수 있다.
휴대형 전자장치(1100)는 확대된 선택 영역(1131) 내에서 사용자의 선택된 외부 전자장치 위치정보(1132)에 대한 터치 앤 홀드(Touch & hold) 입력에 응답하여 상기 선택된 외부 전자장치 위치정보를 선택 해제할 수 있다. 또한, 휴대형 전자장치(1100)는 확대된 선택 영역(1131) 내에서 사용자의 선택되지 않은 외부 전자장치 위치정보에 대한 터치 앤 홀드(Touch & hold) 입력에 응답하여 상기 선택되지 않은 외부 전자장치 위치정보를 선택할 수도 있다.
일부 실시예에 따라, 휴대형 전자장치(1100)는 확대된 선택 영역(1141)의 모양을 유지한 채 확대된 선택 영역(1141)을 확장하거나 축소할 수 있다. 다른 실시예에 따라, 휴대형 전자장치(1100)는 외부 전자장치 위치정보의 선택 또는 선택 해제 여부에 따라 선택 영역을 타원형(1151)으로 변경할 수도 있으며, 선택 해제와 상관없이 기존 형태인 원형(1171)을 유지할수도 있으며, 그 형태는 이에 한정되진 않는다.
이후, 휴대형 전자장치(1100)는 확대된 선택 영역(1161, 1171)에 대한 사용자의 더블 탭 입력(1162, 1172)에 응답하여, 터치 스크린(1180, 1190) 내 공간정보를 축소하고 이에 상응하여 축소된 선택 영역(1181, 1191)을 터치 스크린(1180, 1190) 내 고정된 위치에 고정된 크기로 표시할 수 있다.
도 12는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택영역에 대한 사용자의 터치입력을 수신받아 동종의 외부 전자장치가 선택되거나 또는 이종의 외부 전자장치를 선택된 경우에 따라 각각에 경우에 대응되는 외부 전자장치 타입 정보가 터치스크린에 표시되는 과정을 설명하는 도면이다.
도 12를 참조하면, 휴대형 전자장치는 선택 영역(1210)에 동종의 외부 전자장치의 위치정보를 포함하는 경우 상기 동종의 외부 전자장치에 대한 외부 전자장치 타입 정보(1220)을 표시할 수 있다.
또한, 휴대형 전자장치는 선택 영역(1240)에 이종의 외부 전자장치의 위치정보를 포함하는 경우 상기 이종의 외부 전자장치의 외부 전자장치 타입 정보(1250~1253)을 표시할 수 있다.
도 13은 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 외부 전자장치 타입 정보에 대한 사용자 터치 입력 수신에 따라 표시되는 외부 전자장치에 대한 제어기능 속성 정보 및 제어상태 정보가 표시되는 과정을 설명하는 도면이다.
도 13을 참조하면, 휴대형 전자장치는 이종의 외부 전자장치의 외부 전자장치 타입정보(1330~1333)에서 사용자의 입력(예컨대, 터치 입력)에 응답하여 에어컨(1330)을 선택하고, 디폴트(default)로 설정된 제어기능 속성 정보 및 현재 제어 상태정보(1310) 및 에어컨(1330)에 상응하는 제어기능 정보(1320~1322)을 표시할 수 있다. 예컨대, 디폴트로 설정된 제어기능 속성 정보 및 현재 제어 상태정보 (1310)는 전원의 온/오프일 수 있으며 이에 한정되진 않는다.
또 다른 일부 실시예에 따라, 전자 장치는 이종의 외부 전자장치의 외부 전자장치 타입정보(1330~1333)에서 사용자의 입력(예컨대, 터치 입력)에 응답하여 조명(1332)이 선택된 경우, 디폴트(default)로 설정된 제어기능 속성 정보 및 현재 제어 상태정보(1350) 및 조명(1332)에 상응하는 제어기능 정보(1340~1342)을 표시할 수 있다. 예컨대, 디폴트로 설정된 제어 정보(1350)는 전원의 온/오프일 수 있으며 이에 한정되진 않는다.
또한, 휴대형 전자장치는 에어컨(1330)에 상응하는 제어기능 정보(1320~1322)에서 수신한 사용자의 입력(예컨대, 터치 입력)에 응답하여 온도(1320)가 선택된 경우, 온도(1320)에 상응하는 제어기능 속성 정보 및 현재 제어 상태정보(1360)를 기존의 제어기능 속성 정보 및 현재 제어상태 정보(1310,1350)에서 변경하여 표시할 수 있다.
도 14a 내지 도 14d는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 선택영역에 대한 사용자 터치 입력 수신에 따라 제어할 외부 전자장치를 선택하기 위한 선택 모드 및 선택 모드에서 선택된 외부 전자장치를 제어하기 위한 제어 모드로 변경, 또는 제어모드에서 다시 선택모드로 변경되는 과정을 설명하기 위한 도면이다.
도 14a를 참조하면, 휴대형 전자장치(1400)는 터치 스크린(1410) 내 고정된 위치 및 고정된 크기로 선택 영역(1420)과 외부 전자장치 타입정보(1430)을 표시하는 선택모드를 제공할 수 있다.
도 14a 및 도 14b를 참조하면, 휴대형 전자장치(1400)는 사용자의 터치 입력(1440)에 응답하여 외부 전자장치 타입정보(1430)가 선택된 경우, 제어할 외부 전자장치로서 에어컨이 선택되고, 기존의 선택모드에서, 선택 영역(1420)을 에어컨에 대해 디폴트(default)로 설정된 제어기능 속성 정보 및 현재 제어 상태정보 (1421)를 표시하는 제어모드로 변경하여 표시할 수 있다. 예컨대, 디폴트로 설정된 에어컨에 대한 제어기능 속성 정보 및 현재 제어 상태정보 (1421)는 전원 온/오프에 관한 것일 수 있으며 이에 한정되진 않는다.
도 14a 내지 14d를 참조하면, 휴대형 전자장치(1400)는 제어모드에서 디폴트로 설정된 제어기능 속성 정보 및 현재 제어 상태정보(1422)에 대한 사용자의 로테이트(Rotate) 입력에 응답하여 변경된 제어기능 속성 정보 및 현재 제어 상태정보(1423)를 표시할 수 있다. 이때, 사용자의 로테이트(Rotate) 입력 입력은 도 14c와 같이 동시에 최소 두 지점 이상에서 터치입력을 수신하는 멀티 터치(Multi touch)일 수도 있고, 한 지점에서만 터치입력을 수신하는 원 터치(one touch)일 수 도 있다. 또한 로테이트 터치입력 방향은 변경하고자 하는 제어기능에 대한 제어상태에 따라 시계 방향 또는 반시계 방향으로 수신될 수 있다.
휴대형 전자장치(1400)는 로테이트 터치 입력에 응답하여 적어도 하나 이상의 외부 전자 장치를 제어하기 위한 제어 메시지를 생성할 수 있다. 휴대형 전자장치(1400)는 상기 제어 메시지를 상기 적어도 하나 이상의 외부 전자 장치로 전송하거나, 상기 적어도 하나 이상의 외부 전자 장치를 관리하는 서버로 전송할 수 있다.
일부 실시예로, 휴대형 전자장치(1400)는 사용자의 듀얼 터치 로테이트 입력에 응답하여 선택 영역(1420)에 포함된 적어도 하나 이상의 에어컨의 전원을 오프할 수 있다. 상기 적어도 하나 이상의 에어컨의 전원이 오프되면, 휴대형 전자장치(1400)는 에어컨에 상응하는 제어기능 정보를 비활성화하여 터치스크린에 표시할 수 있다.
또한 실시예에 따라, 상기 제어기능 정보가 비활성화된 이후, 휴대형 전자장치(1400)는 사용자의 터치 입력(1460)에 응답하여 선택된 외부 전자장치(예컨대, 에어컨)에 대한 제어모드에서 선택 모드로 변경 될 수 있다. 또 다른 실시예에 따라, 상기 제어기능 정보가 비활성화된 이후, 휴대형 전자장치(1400)는 변경된 제어 값에 대한 사용자의 터치 앤 홀드 입력(1470)에 응답하여 선택된 외부 전자장치(예컨대, 에어컨)에 대한 제어모드를 해제하고 선택 모드로 변경할 수 있다.
도 15a 내지 도 15e는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 수신한 사용자 터치입력에 따라 선택모드에서 제어모드로 변경되고 제어모드에서 제어기기 타입 정보, 제어기기 정보, 제어기능 속성 정보 및 제어상태 정보를 표시하는 과정 및 해당 정보에 관한 사용자 터치입력을 수신하여 외부 전자장치를 제어하는 과정을 설명하기 위한 도면이다.
도 15a를 참조하면, 휴대형 전자장치(1500)는 터치 스크린(1510) 내 고정된 위치 및 고정된 크기로 선택 영역(1520)과 외부 전자장치 타입정보(1530)을 표시할 수 있다.
도 15a 및 도 15b를 참조하면, 휴대형 전자장치(1500)는 사용자의 입력(1540)에 응답하여 외부 전자장치 타입정보(1530)을 선택함으로써 제어할 외부 전자장치로서 에어컨을 선택하고, 선택 영역(1520)을 디폴트(default)로 설정된 제어기능 속성 정보 및 현재 제어 상태정보(1521)로 변경할 수 있다. 예컨대, 디폴트로 설정된 제어기능 속성 정보 및 현재 제어 상태정보(1521)는 전원 온/오프에 관한 것일 수 있다. 휴대형 전자장치(1500)는 디폴트로 설정된 제어기능 속성 정보 및 현재 제어 상태정보 (1521)와 함께 에어컨에 상응하는 제어기능 정보(1550~1552)을 표시할 수 있다.
도 15a 내지 도 15c를 참조하면, 휴대형 전자장치(1500)는 사용자의 입력(1560)에 응답하여 제어기능 정보(1550~1552) 중에서 온도(1550)를 선택하고, 온도(1550)를 조정하기 위한 제어기능 속성 정보 및 현재 제어 상태정보(1522)를 표시할 수 있다.
도 15a 내지 15d를 참조하면, 일부 실시예에 따라, 휴대형 전자장치(1500)는 온도(1550)를 조정하기 위한 제어기능 속성 정보(1522)에 대한 사용자의 로테이트(Rotate) 터치입력에 응답하여 제어기능 속성 정보에 관한 변경된 제어상태 정보(1523)를 표시할 수 있다. 이때, 사용자의 로테이트 터치 입력은 멀티터치 또는 원터치 입력일 수 있으며, 변경하고자 하는 제어기능에 대한 제어상태에 따라 시계 방향 또는 반시계 방향으로 설정될 수 있다. 예컨대, 휴대형 전자장치(1500)는 사용자의 로테이트 터치입력에 응답하여 에어컨의 설정 온도를 22도에서 19도로 낮출 수 있다.
휴대형 전자장치(1500)는 사용자의 로테이트 터치입력에 응답하여 제어 메시지를 생성하고, 예컨대, 에어컨의 설정 온도를 22도에서 19도로 낮추기 위한 제어 메시지를 에어컨으로 전송할 수 있다. 또한, 휴대형 전자장치(1500)는 에어컨의 설정 온도를 22도에서 19도로 낮추기 위한 제어 메시지를 에어컨을 관리하는 서버로 전송할 수도 있다.
도 15a 내지 15e를 참조하면, 에어컨에 대한 제어기능 속성정보에 관한 제어상태 정보가 변경된 이후, 휴대형 전자장치(1500)는 사용자의 터치입력(1570)에 응답하여 선택된 제어기능 정보(예컨대, 온도)을 선택 해제하고 디폴트로 설정된 제어 정보(예컨대, 전원 온/오프)를 설정(또는 복귀)할 수 있다.
다른 실시예에 따라, 에어컨에 대한 제어 정보가 변경된 이후, 휴대형 전자장치(1500)는 사용자의 터치 입력(1580)에 응답하여 선택된 외부 전자장치(예컨대, 에어컨)의 선택 해제하고 제어모드에서 선택 모드로 변경할 수 있다.
또 다른 실시예에 따라, 에어컨에 대한 제어 정보가 변경된 이후, 휴대형 전자장치(1500)는 변경된 제어 값에 대한 사용자의 터치 앤 홀드 입력(1590)에 응답하여 선택된 외부 전자장치(예컨대, 에어컨)을 선택 해제하고 제어모드에서 선택 모드로 변경할 수 있다.
도 16a 내지 도 16f는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 수신한 사용자 터치입력에 따라 선택된 복수의 이종의 외부 전자장치들을 공통 제어기능 속성정보에 따라 일괄적으로 공통 제어를 수행하는 세부 과정을 설명하기 위한 도면이다.
도 16a를 참조하면, 휴대형 전자장치(1600)는 터치 스크린(1610) 내 고정된 위치 및 고정된 크기로 선택 영역(1620)과 외부 전자장치 타입정보(1630~1633)을 표시할 수 있다.
도 16a 및 도 16b를 참조하면, 휴대형 전자장치(1600)는 사용자의 터치입력에 응답하여 외부 전자장치 타입정보(1630)을 선택함으로써 제어할 외부 전자장치로서 에어컨을 선택하고, 선택 영역(1620)을 디폴트(default)로 설정된 제어 기능 정보에 대한 제어기능 속성 정보 및 제어상태 정보(1621)로 변경할 수 있다. 예컨대, 디폴트로 설정된 제어기능 속성 정보(1621)는 전원 온/오프일 수 있다. 휴대형 전자장치(1600)는 디폴트로 설정된 제어기능 속성 정보 및 제어상태 정보(1621)와 함께 에어컨에 상응하는 제어기능 정보(1640~1642)을 표시할 수 있다.
도 16a 내지 도 16c를 참조하면, 휴대형 전자장치(1600)는 사용자의 터치 입력에 응답하여 외부 전자장치 타입정보(1631~1633)을 추가로 선택함으로써 제어할 외부 전자장치로서 TV, 조명, 온도계를 추가할 수 있다. 휴대형 전자장치(1600)는 선택된 외부 전자장치 타입정보(1630~1633)에 대한 공통 제어기능 속성 정보(1622)를 디스플레이하고, 이종의 외부전자장치가 선택된 경우 각 전자장치에 대한 제어기능 정보는 디스플레이되지 않을 수 있다.
도 16a 내지 16d를 참조하면, 휴대형 전자장치(1600)는 공통 제어기능 속성 정보(1622)를 조정하기 위한 사용자의 로테이트(rotate) 터치입력에 응답하여 공통 제어기능 속성정보에 대한 변경된 제어상태 정보(1623)를 표시할 수 있다. 이때, 사용자의 로테이트 입력은 멀티터치 입력 또는 원터치 입력일 수 있으며, 변경하고자 하는 제어기능 속성에 대한 제어상태에 따라, 시계 방향 또는 반시계 방향으로 수신될 수 있다. 예컨대, 휴대형전자장치(1600)는 사용자의 듀얼 터치 로테이트 입력에 응답하여 이종의 외부 전자장치(e.g. 에어컨, TV, 조명, 온도계)들에 대한 전원을 온(On) 상태로 변경 하거나 오프(Off)상태로 변경 할 수 있다.
휴대형전자장치(1600)는 사용자의 듀얼 터치 로테이트 입력에 응답하여 이종의 외부 전자장치들의 전원 상태를 일괄적으로 변경하는 제어 메시지를 생성할 수 있다. 휴대형전자장치(1600)는 상기 이종의 외부 전자장치들 각각으로 상기 제어 메시지를 전송하거나, 상기 이종의 외부 전자장치들을 관리하는 서버로 상기 제어 메시지를 전송할 수 있다.
도 17a 내지 도 17e는 본 발명의 제1 실시예에 따라 터치스크린을 구비한 휴대형 전자장치에서 수신한 사용자 터치입력에 따라 동종의 외부 전자장치를 제어하거나 이종의 외부 전자장치를 제어하는 과정을 설명하는 도면이다.
도 17a 내지 도 17c를 참조하면, 휴대형 전자장치(1700)는 사용자의 제1 터치입력(1730)에 응답하여 외부 전자장치 타입정보(1730~1733)에서 제어할 외부 전자장치로서 에어컨을 선택하고, 에어컨에 대한 제어기능 정보(1740~1742)를 표시할 수 있다. 휴대형 전자장치(1700)는 사용자의 제2 터치입력(1740)에 응답하여 에어컨에 대한 제어기능 정보(1740~1742) 중에서 온도를 선택하고, 사용자의 제3 터치입력(e.g. 로테이트)에 응답하여 에어컨의 온도에 대한 제어속성 정보에 관한 제어상태 정보를 조정할 수 있다.
휴대형전자장치(1700)는 사용자의 제3 터치입력에 응답하여 에어컨의 온도에 대한 제어상태 정보를 조정하기 위한 제어 메시지를 생성할 수 있다. 이후, 휴대형전자장치(1700)는 상기 에어컨으로 상기 제어 메시지를 전송하거나, 상기 에어컨을 관리하는 서버로 상기 제어 메시지를 전송할 수 있다.
도 17d 내지 도 17e를 참조하면, 휴대형 전자장치(1700)는 사용자의 제1 터치입력(1730,1731)에 응답하여 외부 전자장치 타입정보(1730~1733)에서 제어할 외부 전자장치로서 에어컨 및 TV를 선택하고, 에어컨 및 TV에 대한 공통 제어기능 속성 정보(1723)를 표시할 수 있다. 휴대형 전자장치(1700)는 사용자의 제2 터치 입력(e.g. 로테이트)에 응답하여 에어컨 및 TV에 대한 공통 제어기능 속성 정보에 관한 제어상태 정보(1723,1724)를 조정할 수 있다.
도 18은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 적어도 하나 이상의 외부 전자장치를 선택하기 위한 선택 영역을 나타내는 도면이다.
본 발명의 제2 실시예에서 착용형 전자장치(1800)는 워치 타입(watch type)의 웨어러블 장치로 구현될 수 있다. 실시예들에 따라, 착용형 전자장치(1800)의 디스플레이는 터치 스크린으로 구현될 수 있고, 터치 스크린으로 구현되지 않을 수도 있다.
착용형 전자장치(1800)는 착용형 전자장치(1800)에 구비된 터치 스크린에 대한 사용자의 터치입력에 응답하여 본 발명의 제2 실시예에 따른 동작들을 수행할 수 있다. 또한, 착용형 전자장치(1800)는 착용형 전자장치(1800)에 구비된 물리 키(예컨대, 용두, 베젤 등)에 대한 사용자의 입력에 응답하여 본 발명의 제2 실시예에 따른 동작들을 수행할 수 있다.
도 18을 참조하면, 착용형 전자장치(1800)는 디스플레이를 통해 미리 설정된 형태의 선택 영역(1810)을 표시할 수 있다. 제2 실시예에서, 선택 영역(1810)은 제1 실시예에서 설명한 것과 동일하게 설정된 공간정보(e.g. map) 내에서 사용자의 입력에 응답하여 적어도 하나 이상의 외부 전자장치(또는 IoT 장치)가 선택될 수 있도록 설정된 영역을 의미한다.
본 명세서에서는 설명의 편의를 위해 선택 영역(1810)이 원형으로 도시되어 있으나, 본 발명의 실시예들은 이에 제한되지 않고 선택 영역(1810)은 다양한 형태(예컨대, 원형, 타원형, 삼각형, 사각형, 다각형, 자유형 등)로 설정될 수 있다.
착용형 전자장치(1800)는 복수의 외부 전자장치들에 관련된 위치 정보를 서버로부터 수신할 수 있다. 착용형 전자장치(1800)는 상기 위치 정보에 기반하여 상기 복수의 전자장치들의 위치정보와 함께 관련된 공간정보(e.g. map)를 표시할 수 있다. 착용형 전자장치(1800)는 설정된 공간정보 내 고정된 위치에 고정된 크기의 선택 영역(1810)을 표시할 수 있다.
도 19는 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 터치 입력에 응답하여 선택 영역을 이동, 반전, 확대, 축소, 및 변경하는 과정을 설명하기 위한 도면이다.
도 18 및 도 19를 참조하면, 착용형 전자장치(1800)는 도 1 내지 도 11에서 설명된 바와 유사하거나 동일한 방식으로 선택 영역(1810)을 이동, 반전, 확대, 축소, 및 변경할 수 있다.
즉, 착용형 전자장치(1800)는 도 1 내지 도 11에서 설명된 바와 유사하게 착용형 전자장치(1800)에 대한 사용자의 터치 입력에 응답하여 선택 영역(1810)을 이동, 반전, 확대, 축소, 및 변경할 수 있다.
제1 디스플레이(1910)에서 착용형 전자장치(1800)는 미리 설정된 사용자의 제1 터치 입력(예컨대, 터치 앤 드래그)에 응답하여 선택 영역(1810)을 이동시킬 수 있다. 제2 디스플레이(1920)에서 착용형 전자장치(1800)는 미리 설정된 사용자의 제2 터치 입력(예컨대, 터치 앤 홀드)에 응답하여 선택 영역(1810)을 반전시킬 수 있다. 제3 디스플레이(1930)에서 착용형 전자장치(1800)는 미리 설정된 사용자의 제3 터치 입력(예컨대, 더블 탭)에 응답하여 선택 영역(1810)을 확대시킬 수 있다.
제4 디스플레이(1940, 1941)에서 착용형 전자장치(1800)는 미리 설정된 사용자의 제4 터치 입력(예컨대, 핀치 투 줌)에 응답하여 선택 영역(1810)을 대칭적으로 확장 또는 축소시킬 수 있다. 제5 디스플레이(1950, 1951)에서 착용형 전자장치(1800)는 미리 설정된 사용자의 제5 터치 입력(예컨대, 단방향 핀치 투 줌)에 응답하여 선택 영역(1810)을 비대칭적으로 확장 또는 축소시킬 수 있다.
제6 디스플레이(1960, 1961)에서 착용형 전자장치(1800)는 미리 설정된 사용자의 제6 터치 입력(예컨대, 터치 앤 플릭)에 응답하여 선택 영역(1810)의 형태를 변경할 수 있다. 제7 디스플레이(1970, 1971)에서 착용형 전자장치(1800)는 미리 설정된 사용자의 제7 터치입력(예컨대, 펜 모드 아이콘 탭)에 응답하여 자유형 점 편집 모드 또는 자유형 펜 모드로 변경하여 선택 영역(1810)의 형태를 변경할 수 있도록 선택모드를 제공할 수 있다.
도 19에 도시된 바와 달리, 도 20 내지 도 23에서 착용형 전자장치(2000~2300)는 착용형 전자장치(2000~2300)에 구비된 물리 키(예컨대, 용두, 베젤, 버튼 등)에 대한 사용자 입력에 응답하여 선택 영역(2010~2310)을 이동, 반전, 확대, 축소, 및 변경할 수도 있다.
도 20은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 사용자의 물리 키(용두 로테이트, 용두 더블 클릭) 입력에 응답하여 선택 영역을 확대하거나 축소하는 과정을 설명하는 도면이다.
도 20을 참조하면, 착용형 전자장치(2000)는 착용형 전자장치(2000)에 구비된 제1 용두에 대한 사용자 입력(2020)에 응답하여 선택 영역(2110)을 대칭적으로 확대하거나 축소할 수 있다. 예컨대, 제1 용두에 대한 사용자 입력(2020)은 용두 로테이트(rotate) 입력 일 수 있으나 이에 한정되지 않는다.
또한, 착용형 전자장치(2000)는 착용형 전자장치(2000)에 구비된 제1 용두에 대한 사용자 입력(2030)에 응답하여 선택 영역(2013)을 대칭적으로 확대하거나 축소할 수 있다. 예컨대, 제1 용두에 대한 사용자 입력(2030)은 더블 클릭(double click)일 수 있으나 이에 한정되지 않는다.
도 21은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 물리 키(용두 로테이트)입력에 응답하여 선택 영역의 형태를 변경하는 과정을 설명하는 도면이다.
도 21을 참조하면, 착용형 전자장치(2100)는 착용형 전자장치(2100)에 구비된 제2 용두에 대한 사용자 입력(2110)에 응답하여 선택 영역(2110)의 형태를 변경할 수 있다. 예컨대, 제2 용두에 대한 사용자 입력(2110)은 용두 로테이트(rotate) 입력 일 수 있으나 이에 한정되지 않는다.
도 22는 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 물리 키(용두 롱 푸시) 입력에 응답하여 선택 영역을 반전하는 과정을 설명하는 도면이다.
도 22를 참조하면, 착용형 전자장치(2200)는 착용형 전자장치(2200)에 구비된 제1 용두에 대한 사용자 입력(2220)에 응답하여 선택 영역을 반전시키고, 반전된 선택 영역(2210)을 표시할 수 있다. 예컨대, 제1 용두에 대한 사용자 입력(2220)은 롱 푸시(long push)일 수 있으나 이에 한정되지 않는다.
도 23 내지 도 26에서, 착용형 전자장치는 도 12 내지 도 17에서 설명된 바와 유사하게 상기 착용형 전자장치에 대한 사용자의 터치 입력에 응답하여 선택 영역에 포함되는 적어도 하나 이상의 외부 전자장치를 제어할 수 있다.
도 23a 및 도 23b는 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 동종의 외부 전자장치를 선택하거나 이종의 외부 전자장치를 선택한 경우의 터치스크린에 외부 전자장치 타입 정보가 표시되는 과정을 설명하는 도면이다.
도 23a를 참조하면, 착용형 전자장치는 터치스크린 상에 선택 영역(2310) 및 선택 영역(2310)에 포함되는 외부 전자장치의 타입정보(2320)을 표시할 수 있다. 이때, 선택 영역(2310)에는 동종의 외부 전자장치인 에어컨만이 포함되므로 외부 전자장치의 타입정보(2320) 로 에어컨만이 디스플레이될 수 있다.
다른 일부 실시예에 따라, 도 23b를 참조하면, 착용형 전자장치는 터치스크린 상에 선택 영역(2310) 및 선택 영역(2310)에 포함되는 외부 전자장치의 타입정보(2320~2322)를 표시할 수 있다. 이때, 선택 영역(2310)에는 이종의 외부 전자장치인 에어컨, TV, 조명이 포함되므로 외부 전자장치의 타입정보(2320~2322)로 에어컨, TV, 조명이 디스플레이될 수 있다.
도 24a 및 도 24b는 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 입력(또는 터치 입력)에 응답하여 외부 전자장치 선택 시 터치스크린에 선택된 외부 전자장치에 대한 제어기능 정보를 표시하는 과정을 설명하는 도면이다.
도 24a를 참조하면, 착용형 전자장치는 외부 전자장치 타입정보(2420)를 선택하는 사용자 터치 입력에 응답하여 터치스크린(2400) 상에 디폴트(default)로 설정된 제어기능 속성 정보(2410)와 제어가능한 제어기능 정보(e.g. 온도, 팬속도, 모드)를 표시할 수 있다. 이때, 디폴트(default)로 설정된 제어기능 속성 정보(2410)는 외부 전자장치 타입정보(2420)에 해당하는 외부 전자장치(예컨대, 에어컨)에 대한 전원 온/오프일 수 있다.
도 24b를 참조하면, 착용형 전자장치는 외부 전자장치 타입정보(2422)을 선택하는 사용자 터치 입력에 응답하여 터치스크린(2400) 상에 디폴트(default)로 설정된 제어기능 속성 정보(2411)와 제어가능한 제어기능 정보(e.g. 밝기, 색온도, 모드)를 표시할 수 있다. 이때, 디폴트(default)로 설정된 제어기능 속성 정보(2411)는 외부 전자장치 타입정보(2422)에 해당하는 외부 전자장치(예컨대, 조명)에 대한 전원 온/오프일 수 있다.
도 25a 내지 도 25d는 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 입력에 응답하여 외부 전자장치정보, 외부 전자장치별 제어기능 정보, 제어기능 속성 정보 및 현재 제어상태 정보를 표시하고 사용자의 터치 입력에 따라 제어하는 과정을 설명하기 위한 도면이다.
도 25a 및 도 25b를 참조하면, 착용형 전자장치는 외부 전자장치 타입정보 중에서 어느 하나 이상의 외부 전자장치(예컨대, 에어컨)를 선택하는 사용자 입력에 응답하여 디폴트(default)로 설정된 제어기능 속성 정보(2510)를 디스플레이하고, 디폴트(default)로 설정된 제어기능 속성 정보(2510)에 대한 사용자 입력에 응답하여 디폴트(default)로 설정된 제어기능 속성 정보에 관한 제어상태 정보(2510)를 변경하고, 변경된 제어상태 정보(2511)를 표시할 수 있다. 예컨대, 착용형 전자장치는 외부 전자장치 타입정보에 대한 사용자 입력(e.g. 에어컨 아이콘 탭, 용두 로테이트 앤 클릭)에 응답하여 에어컨에 대해 디폴트(default)로 설정된 제어기능 속성 정보(2510)인 전원 온/오프(On/Off)에 대한 제어 상태 정보를 표시하고, 사용자의 입력(e.g. 로테이트 터치입력 또는 베젤 로테이드)에 응답하여 선택 영역에 포함된 에어컨들의 전원을 켜거나, 끌 수 있다.
도 25c 및 도 25d를 참조하면, 착용형 전자장치는 선택된 외부 전자장치(예컨대, 에어컨)에 대한 제어기능 정보(2530~2532) 중에서 어느 하나(예컨대, 온도)를 선택하는 사용자 입력에 응답하여 선택된 제어기능 정보(2530)에 상응하는 제어기능 속성 정보와 제어상태 정보(2512)를 표시할 수 있다. 착용형 전자장치는 제어기능 속성 정보(2512)에 대한 사용자 입력에 응답하여 변경된 제어기능 속성 정보에 관한 제어상태 정보(2513)를 표시할 수 있다. 예컨대, 착용형 전자장치는 사용자 입력에 응답하여 선택 영역에 포함된 에어컨들의 온도를 22도에서 19도로 설정할 수 있다.
착용형 전자장치는 사용자 입력에 응답하여 선택 영역에 포함된 에어컨들의 온도를 조정하기 위한 제어 메시지를 생성할 수 있다. 이후, 착용형 전자장치는 상기 에어컨들로 상기 제어 메시지를 전송하거나, 상기 에어컨들을 관리하는 서버로 상기 제어 메시지를 전송함으로써 상기 에어컨들의 온도가 19도로 설정되도록 할 수 있다.도 26a 및 도 26b는 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 사용자의 터치 입력에 응답하여 복수의 이종 외부 전자장치들을 공통 제어기능 정보에 따라 일괄 공통 제어하는 과정을 설명하기 위한 도면이다.
도 26a 및 도 26b를 참조하면, 착용형 전자장치는 외부 전자장치 타입정보(2620~2622)에 포함된 이종의 외부전자장치들(예컨대, 에어컨, TV, 조명)를 선택하는 사용자 입력에 응답하여 공통 제어기능 속성 정보(2610)를 디스플레이하고, 공통 제어기능 속성 정보(2610)에 대한 사용자 입력에 응답하여 공통 제어기능 속성 정보에 관한 제어상태 정보(2610)를 변경하고, 변경된 제어상태 정보(2611)를 표시할 수 있다. 예컨대, 착용형 전자장치는 사용자 입력에 응답하여 선택 영역에 포함된 에어컨, TV, 조명의 전원을 일괄적으로 오프시킬 수 있다.
착용형 전자장치는 사용자 입력에 응답하여 선택 영역에 포함된 에어컨, TV, 조명의 전원을 일괄적으로 조정하기 위한 제어 메시지를 생성할 수 있다. 이후, 착용형 전자장치는 상기 에어컨, TV, 조명으로 상기 제어 메시지를 전송하거나, 상기 에어컨, TV, 조명을 관리하는 서버로 상기 제어 메시지를 전송함으로써 상기 전원이 일괄적으로 제어되도록 설정할 수 있다.
도 27 내지 도 31에서, 착용형 전자장치는 도 12 내지 도 17에서 설명된 바와 달리 상기 착용형 전자장치(2700)에 구비된 물리 키(예컨대, 용두, 베젤, 버튼 등)에 대한 사용자 입력에 응답하여 선택 영역에 포함되는 적어도 하나 이상의 외부 전자장치를 제어할 수 있다. 다만, 도 27 내지 도 31에서 사용자 입력 수단이 달라지는 점을 제외한 나머지 동작들은 도 12 내지 도 17에서 수행된 동작들과 유사하거나 실질적으로 동일하다.
도 27은 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 물리 키(베젤 로테이트) 입력에 응답하여 외부 전자장치의 제어 상태를 변경하는 과정을 설명하기 위한 도면이다.
도 27을 참조하면, 착용형 전자장치는 선택 영역을 확대/축소하며 적어도 하나 이상의 외부 전자장치를 선택하고, 착용형 전자장치(2700)에 구비된 베젤(2710)에 대한 사용자의 로테이트(rotate) 입력(2720)에 응답하여 변경된 제어 정보(2731)를 표시할 수 있다. 예컨대, 착용형 전자장치(2700)는 베젤(2710)에 대한 사용자의 로테이트(rotate) 입력에 응답하여 선택 영역에 포함된 에어컨들의 전원을 오프할 수 있다.
착용형 전자장치(2700)는 사용자의 로테이트 입력에 응답하여 선택 영역에 포함된 에어컨들의 전원을 일괄적으로 조정하기 위한 제어 메시지를 생성할 수 있다. 이후, 착용형 전자장치(2700)는 상기 에어컨들로 상기 제어 메시지를 전송하거나, 상기 에어컨들을 관리하는 서버로 상기 제어 메시지를 전송함으로써 상기 에어컨들의 전원이 일괄적으로 제어되도록 설정할 수 있다.도 28a 내지 도 28g는 본 발명의 제2 실시예에 따른 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 물리 키(용두 클릭) 입력을 이용하여 제어할 외부 전자장치 타입정보를 선택할 수 있는 모드로 전환하고, 수신한 물리 키(용두 로테이트 앤 클릭) 입력을 이용하여 화면에 표시된 외부 전자장치 타입 정보로부터 제어할 외부 전자장치를 선택하고, 선택된 외부 전자장치에 대응하여 표시된 제어기능 정보 중 제어할 세부 제어기능 속성 정보를 수신한 물리 키 입력(용두 로테이트 앤 클릭)을 통해 선택하고 선택된 세부기능에 따라 현재 제어상태 정보를 표시하고 수신한 물리 키 입력(용두 로테이트)에 응답하여 제어상태를 변경하는 과정을 설명하기 위한 도면이다.
도 28a를 참조하면, 착용형 전자장치(2800)는 착용형 전자장치(2800)에 구비된 제1 용두(2830)에 대한 사용자의 입력(예컨대, 용두 클릭)에 응답하여 제어하고자 하는 외부 전자장치의 타입정보(2820~2822)를 선택할 수 있는 모드로 진입할 수 있다.
도 28b를 참조하면, 착용형 전자장치(2800)는 착용형 전자장치(2800)에 구비된 제1 용두(2830)에 대한 사용자의 입력(예컨대, 용두 로테이트)에 응답하여 제어하고자 하는 외부 전자장치에 대한 외부전자장치 타입정보를 탐색(navigate)할 수 있다.
도 28c를 참조하면,착용형 전자장치는 상기 착용형 전자장치에 구비된 제1 용두(2830)에 대한 사용자의 입력(예컨대, 용두 클릭)에 응답하여 제어하고자 하는 외부 전자장치에 대한 외부 전자장치 타입정보를 선택할 수 있다. 이때, 외부 전자장치는 사용자의 입력(예컨대, 용두 클릭)에 응답하여 선택된 외부 전자장치(예컨대, 에어컨)에 대한 디폴트(default)로 설정된 제어기능 속성 정보 (e.g. 전원 On/Off) 및 해당 제어기능 속성에 대한 제어상태(e.g. 전원 Off상태) 정보(2812) 및 상기 선택된 외부 전자장치(예컨대, 에어컨)에 대한 제어기능 정보 (예컨대 온도, 팬속도, 모드 등) (2840~2842)를 표시할 수 있다.
도 28d를 참조하면, 착용형 전자장치는 상기 착용형 전자장치에 구비된 제1 용두(2830)에 대한 사용자의 입력(예컨대, 용두 로테이트)에 응답하여 선택된 외부 전자장치(예컨대, 에어컨)에 대한 디폴트(default)로 설정된 제어기능 속성 정보에 관한 제어상태(2813)를 변경할 수 있댜. 예컨대, 착용형 전자장치는 사용자의 입력(예컨대, 용두 로테이트)에 응답하여 선택 영역에 포함되는 에어컨들에 대한 전원을 일괄적으로 오프시킬 수 있다.
도 28e를 참조하면, 착용형 전자장치는 상기 착용형 전자장치에 구비된 제1 용두(2830)에 대한 사용자의 입력(예컨대, 용두 클릭)에 응답하여 선택된 외부 전자장치(예컨대, 에어컨)에 대한 제어가능한 제어기능 정보(예컨대, 온도, 팬속도, 모드 등)를 선택할 수 있는 모드로 진입할 수 있다.
또한 도면에 도시하진 않았으나, 구비된 제1 용두(2830)에 대한 사용자의 입력(예컨대, 용두 로테이트)에 응답하여 제어하고자 하는 외부 전자장치에 대한 제어기능 정보를 탐색(navigate)할 수 있다.
도 28f를 참조하면, 착용형 전자장치는 상기 착용형 전자장치에 구비된 제1 용두(2830)에 대한 사용자의 입력(예컨대,용두 클릭)에 응답하여 제어하고자 하는 제어기능 정보(예컨대, 온도, 팬 온도, 모드)을 선택할 수 있다.
도 28g를 참조하면, 착용형 전자장치는 상기 착용형 전자장치에 구비된 제1 용두(2830)에 대한 사용자의 입력(예컨대, 용두 로테이트)에 응답하여 선택된 제어기능 정보(예컨대, 온도)를 조정할 수 있다. 예컨대, 착용형 전자장치는 사용자의 입력(예컨대, 로테이트(rotate))에 응답하여 선택 영역에 포함되는 에어컨들의 설정 온도를 22도에서 19도로 설정할 수 있다.
도 29은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 터치입력을 통해 제어할 외부 전자장치를 선택하고, 수신한 물리 키(용두 로테이트) 입력을 통해, 선택된 외부 전자장치의 전원을 제어하는 과정을 설명하기 위한 도면이다.
도 29를 참조하면, 착용형 전자장치(2900)는 외부 전자장치 타입정보 중에서 어느 하나(2920)를 선택하는 사용자 터치입력(예컨대, 에어컨 아이콘 클릭)에 응답하여 디폴트(default)로 설정된 제어기능 속성 정보(예컨대 전원 On/Off) 및 제어상태 정보(예컨대, 전원 On)를(2910)를 표시할 수 있다. 착용형 전자장치(2900)는 제1 용두(2930)에 대한 사용자의 로테이트 입력에 응답하여 변경된 제어기능 속성 정보에 관한 제어상태 정보(예컨대 에어컨 전원 Off)(2911)를 표시할 수 있다.
도 30은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 수신한 터치입력을 통해 제어할 외부 전자장치에 대한 제어기능을 선택하고, 물리 키(용두 로테이트) 입력을 통해 선택된 외부 전자장치의 선택된 제어기능에 대한 세부 제어를 수행하는 과정을 설명하기 위한 도면이다.
도 30을 참조하면, 착용형 전자장치(3000)는 선택된 외부 전자장치의 제어기능 정보(3030~3022) 중에서 어느 하나(3030)를 선택하는 사용자 터치입력에 응답하여 선택된 제어기능 정보(3030)에 상응하는 제어기능 속성 정보 및 제어상태 정보(예컨대, 온도 22도 설정)(3010)를 표시할 수 있다. 착용형 전자장치(3000)는 제1 용두(3040)에 대한 사용자의 로테이트 입력에 응답하여 상기 제어기능 속성(예컨대, 온도 조절) 정보에 관한 변경된 제어상태 정보(예컨대, 온도 19도 설정)(3011)를 표시할 수 있다.
도 31은 본 발명의 제2 실시예에 따라 터치스크린 및 적어도 하나 이상의 물리 키를 구비한 착용형 전자장치에서 터치스크린에서 수신한 터치입력(멀티터치 로테이트)입력을 통해 복수의 이종의 외부 전자장치들을 공통 제어기능 속성 정보에 따라 일괄적으로 공통 제어를 수행하는 세부 과정을 설명하기 위한 도면이다.
도 31을 참조하면, 착용형 전자장치(3100)는 선택 영역(3110)에 포함된 이종의 외부 전자장치들을 일괄 제어할 수 있다. 착용형 전자장치(3100)는 외부 전자장치 타입정보에 포함된 외부 전자장치들을 선택하는 사용자 터치 입력(예컨대, 에어컨 TV 조명 아이콘 클릭)에 응답하여 선택된 외부 전자장치들에 대한 공통 제어기능 속성 정보 및 제어상태 정보(3111)를 표시할 수 있다. 착용형 전자장치(3100)는 제1 용두(3120)에 대한 사용자의 로테이트 입력에 응답하여 변경된 공통 제어기능 속성 정보에 관한 제어상태 정보(3112)를 표시할 수 있다.
도 32는 본 발명의 실시예에 따라 적어도 하나 이상의 외부 전자장치를 선택하는 경우 휴대형 전자장치 또는 착용형 전자장치에 설치된 모바일 애플리케이션과 서버 간에 통신을 통해 주고받는 메시지 패킷의 흐름에 대해 설명하는 도면이다.
본 발명의 실시예들에 따른 휴대형 전자장치(또는 착용형 전자장치)는 상기 휴대형 전자장치(또는 착용형 전자장치)에 설치된 모바일 애플리케이션(mobile application, 3200)을 실행함으로써 서버(3210, 3220, 3230)와 통신할 수 있다.
서버(3210, 3220, 3230)는 장치 관리 서비스 모듈(device management service, 3210), GIS 관리 서비스 모듈(geographic information system management service, 3220), 및 데이터베이스 프레임워크(database framework, 3230)를 포함할 수 있다. 상기 서비스 모듈들은 하나의 서버내에서 통합되어 구성되거나, 모듈별로 독립된 별도의 서버로 구성될 수 있으나, 이에 한정되진 않는다.
도 32를 참조하면, S3200 단계에서 모바일 애플리케이션(3200)은 장치 관리 서비스 모듈(3210)로 선택 영역 내 외부 전자장치 타입정보와 제어기능 정보, 제어기능 속성 정보, 제어상태 정보 등을 요청할 수 있다.
S3210 단계에서 장치 관리 서비스 모듈(3210)은 GIS 관리 서비스 모듈(3220)로 GIS 엔진에 의한 선택 영역 내의 외부전자장치 식별 정보를 요청할 수 있다. 여기서 외부전자장치 식별 정보는 적어도 하나 이상의 외부전자장치에 대한 각각을 유니크하게 구분할 수 있는 디바이스 정보로써, 디바이스 시리얼 넘버, 디바이스 UID, 제조번호 등이 될수 있으며 이에 한정되지는 않는다. S3220 단계에서 GIS 관리 서비스 모듈(3220)은 데이터베이스 프레임워크 모듈(3230)로 선택 영역 내의 외부 전자장치 식별 정보를 요청할 수 있다.
S3230 단계에서 GIS 관리 서비스 모듈(3220)은 선택 영역 내 외부 전자장치 식별 정보를 데이터베이스 프레임워크 모듈(3230)로부터 수신할 수 있다. S3240 단계에서 GIS 관리 서비스 모듈(3220)은 장치 관리 서비스 모듈(3210)로 추출한 외부 전자장치 식별 정보를 전달할 수 있다.
S3250 단계에서 장치 관리 서비스 모듈(3210)는 상기 외부전자장치 식별 정보에 대한 제어기능 정보, 제어기능 속성 정보, 제어 상태 정보를 추출하고, S3260 단계에서 장치 관리 서비스 모듈(3210)은 추출한 외부 전자장치 식별 정보와 외부 전자장치들에 대한 제어기능 정보, 제어기능 속성 정보, 제어 상태 정보를 모바일 애플리케이션(3200)으로 전달할 수 있다.
S3270 단계에서 모바일 애플리케이션(3200)은 전달 받은 외부전자장치 식별 정보와 외부 전자장치들에 대한 제어기능 정보, 제어기능 속성 정보, 제어 상태 정보를 휴대형 전자장치 또는 착용형 전자장치에 표시할 수 있다.
도 33은 본 발명의 실시예에 따라 적어도 하나 이상의 외부 전자장치를 제어하는 경우 휴대형 전자장치 또는 착용형 전자장치에 설치된 모바일 애플리케이션과 서버 간에 통신을 통해 주고받는 메시지 패킷의 흐름에 대해 동작을 설명하는 도면이다.
본 발명의 실시예들에 따른 휴대형 전자장치(또는 착용형 전자장치)는 상기 휴대형(또는 착용형 전자장치)에 설치된 모바일 애플리케이션(mobile application, 3300)을 실행함으로써 서버(3310, 3320)와 통신할 수 있다.
서버(3310, 3320)는 장치 관리 서비스 모듈(device management service, 3310), 및 통신 서비스 모듈(communication service, 3320)를 포함할 수 있다. 상기 서비스 모듈들은 하나의 서버내에서 통합되어 구성되거나, 모듈별로 독립된 별도의 서버로 구성될 수 있으나, 이에 한정되진 않는다.
도 33을 참조하면, S3300 단계에서 모바일 애플리케이션(3300)은 장치 관리 서비스 모듈(3310)로 외부 전자장치에 대한 제어기능 속성 정보 및 제어 상태 정보를 요청할 수 있다.
S3310 단계에서 장치 관리 서비스 모듈(3310)는 각 외부 전자장치 별 제어기능 속성 정보 및 제어기능 속성에 관한 제어상태 정보를 추출하고, S3320 단계에서 장치 관리 서비스 모듈(3310)는 모바일 애플리케이션(300)으로 각 외부 전자장치에 관한 제어기능 속성 정보 및 제어상태 정보를 전송할 수 있다. 도 33에는 도시되지 않았으나, 장치 관리 서비스 모듈(3320)은 모바일 어플레이션(3300)으로 요청 받은 외부 전자장치에 대한 제어기능 속성 정보 및 제어 상태 정보가 저장되어 있지 않거나, 해당 제어기능 속성 정보에 대한 제어상태 정보가 일정시간(예컨대, 1시간 전 정보) 이상 업데이트되지 않은 오래된 정보인 경우, 해당하는 외부 전자장치로 해당 정보를 요청하는 메시지를 전송하여 최신의 해당 정보를 외부 전자장치들로부터 수신할 수 있다.
S3330 단계에서 모바일 애플리케이션(3300)은 장치 관리 서비스 모듈(3310)로 외부 전자장치에 대한 세부 제어를 요청할 수 있다. S3340 단계에서 장치 관리 서비스 모듈(3310)는 통신 서비스 모듈(3320)로 각 외부 전자장치 별 제어를 요청할 수 있다. 도면에는 도시 되지 않았으나, 통신 서비스 모듈(3320)은 각각의 외부 전자장치들에게 상기 제어 요청 메시지를 전송하여 생성된 제어명령을 전달하여 외부전자장치에게 적어도 하나의 제어기능 속성의 제어상태 변경을 요청할 수 있다.
도 34는 본 발명의 실시예에 따른 휴대형 전자장치 또는 착용형 전자장치의 구성을 나타내는 도면이다.
도 34를 참조하면, 본 발명의 실시예에 따른 휴대형 전자장치 또는 착용형 전자장치(3400)는 통신부(3410), 터치 스크린(3420), 제어부(3430), 및 저장부(3440)를 포함한다. 특히, 착용형 전자장치의 경우, 베젤, 버튼, 용두 등을 포함하는 물리 키 입력부(3450)를 더 포함할 수 있으며 이에 한정되진 않는다.
통신부(3410)는 복수의 외부 전자장치들에 관련된 외부 전자장치 위치 정보 및 공간 정보를 서버로부터 수신할 수 있다.
터치 스크린(3420)은 상기 외부 전자장치 위치 정보와 공간정보(e.g. map) 및 적어도 하나 이상의 선택 영역을 디스플레이하고, 상기 복수의 외부 전자장치 위치 정보들 중에서 상기 적어도 하나 이상의 외부 전자장치 위치정보를 선택하기 위해 상기 선택 영역에 대한 제1 터치 입력을 수신하고, 상기 선택된 적어도 하나 이상의 외부 전자장치 위치정보에 대한 외부 전자장치를 제어하기 위한 제2 터치 입력을 수신할 수 있다.
제어부(3430)는 통신부(3410) 및 터치 스크린(3420)을 제어할 수 있다.
제어부(3430)는 터치 스크린(3420)이 상기 제1 터치 입력에 응답하여 상기 선택 영역의 크기를 변경하여 디스플레이하도록 제어하고, 상기 변경된 선택 영역에 포함되는 상기 적어도 하나 이상의 외부 전자장치 위치정보를 선택할 수 있다.
터치 스크린(3420)은 상기 선택된 적어도 하나 이상의 외부 전자장치 위치정보에 대한 외부 전자장치의 타입 정보 및 제어 기능 정보, 제어 기능 속성 정보 및 제어 상태 정보가 터치 스크린(3420)에 표시되도록 제어하고, 상기 제2 터치 입력에 응답하여 적어도 하나의 제어기능에 대한 제어기능 속성의 제어상태 정보를 변경하고, 상기 변경된 제어상태 정보가 터치 스크린(3420)에 표시되도록 제어할 수 있다.
상기 제어 정보는 이종의 외부 전자장치들에 대한 공통 제어기능 속성 정보일 수 있다.
제어부(3430)는 상기 제1 터치 입력에 응답하여 상기 적어도 하나 이상의 외부 전자장치를 모두 포함하도록 상기 선택 영역의 크기를 변경하고, 상기 제1 터치 입력이 릴리즈(release)되면, 상기 적어도 하나 이상의 외부 전자장치를 모두 포함하는 상기 선택 영역을 상기 공간정보 내에서 미리 설정된 크기로 변경되도록 제어할 수 있다.
터치 스크린(3420)은 상기 공간정보 내에서 상기 선택 영역을 이동시키기 위해 상기 선택 영역에 대한 제3 터치 입력을 수신하거나, 상기 공간정보 내에서 상기 선택 영역을 제외한 외부 영역에 포함되는 상기 적어도 하나 이상의 외부 전자장치를 선택하기 위해 상기 외부 영역에 대한 제4 터치 입력을 수신할 수 있다.
터치 스크린(3420)은 상기 선택 영역을 미리 설정된 다른 형태로 변경하기 위해 상기 선택 영역에 대한 제5 터치 입력을 수신할 수 있다.
제어부(3430)는 상기 적어도 하나 이상의 외부 전자장치에 대한 외부 전자장치 타입 정보를 선택하고, 상기 선택된 외부전자장치 타입 정보에 상응하는 상기 제어 기능 정보, 제어기능 속성 정보, 제어 상태 정보를 터치 스크린(3420) 에 표시되도록 제어할 수 있다.
상기 선택된 적어도 하나 이상의 외부 전자장치 타입 정보가 이종의 외부 전자장치 장치 타입을 갖는 경우, 상기 제어기능 속성 정보는 상기 적어도 하나 이상의 외부 전자장치 전체를 일괄 제어하기 위한 공통 제어기능 속성 정보일 수 있다.
본 발명의 다른 실시예에 따른 휴대형 전자장치 또는 착용형 전자장치는, 복수의 외부 전자장치들에 관련된 위치 정보를 서버로부터 수신하는 통신부(3410), 상기 위치 정보에 기반하여 설정된 공간정보(e.g. map) 내에서 적어도 하나 이상의 외부 전자장치를 위한 선택 영역을 표시하고 사용자로부터 터치입력을 수신받는 터치스크린, 상기 복수의 외부 전자장치들 중에서 상기 적어도 하나 이상의 외부 전자장치를 선택하기 위해 상기 선택 영역의 크기가 변경되도록 제1 입력을 수신하고, 상기 선택된 적어도 하나 이상의 외부 전자장치를 제어하기 위해 제2 입력을 수신하는 적어도 하나 이상의 물리 키(physical key) 입력부, 및 상기 제1 입력 및 상기 제2 입력에 응답하여 상기 통신부 및 상기 터치스크린을 제어하는 제어부(3430)를 포함할 수 있다.
상기 제1 입력은 제1 물리 키에 대한 것이고, 상기 제2 입력은 제2 물리 키에 대한 것일 수 있으며 이에 한정되지는 않는다. 이때, 상기 제1 물리 키는 상기 착용형 전자장치에 구비된 용두, 베젤, 버튼 등 일 수 있고, 상기 제2 물리 키는 상기 착용형 전자장치에 구비된 용두, 베젤, 버튼 등 일 수 있으며 이에 한정 되진 않는다..
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 상기 각각의 실시 예는 필요에 따라 서로 조합되어 운용할 수 있다.
100,400,500,600,700,800,900,1100,1400,1500,1600,1700: 휴대형 전자장치
1800,2000,2100,2200,2300,2800,2900,3100,3200: 착용형 전자장치
3500: 휴대형 전자장치 또는 착용형 전자장치 구성
110,200,240,300, 420, 3520: 터치 스크린
120, 220, 320: 선택 영역
3510: 통신부
3530: 제어부

Claims (40)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 외부 전자장치를 선택하여 제어할 수 있는 휴대형 전자장치에 있어서,
    적어도 하나 이상의 외부 전자장치의 위치정보를 포함하는 공간정보 및 선택영역을 표시하고, 사용자의 터치입력을 수신하는 터치스크린;
    상기 터치스크린으로부터 수신된 제1 터치입력에 응답하여 상기 선택영역의 크기, 형태, 및 위치 중에서 적어도 하나를 변경하여 상기 터치스크린에 표시하도록 제어하고, 상기 터치스크린으로부터 수신된 제2 터치입력에 응답하여 상기 선택영역에 표시된 상기 적어도 하나 이상의 외부 전자장치에 대한 제어 메시지를 생성하는 제어부;
    상기 제어 메시지를 상기 적어도 하나 이상의 외부 전자장치 또는 서버로 전송하는 통신부; 및
    상기 공간정보 및 상기 위치 정보, 외부 전자장치 타입 정보 및 상기 적어도 하나 이상의 외부 전자장치에 대한 제어기능 정보, 제어기능 속성 정보, 제어 상태 정보를 저장하는 저장부를 포함하는 휴대형 전자장치.
  24. 제23항에 있어서, 상기 제어부는,
    상기 제1 터치입력에 의해 상기 선택 영역에 표시된 위치 정보에 대응되는 상기 적어도 하나 이상의 외부 전자장치에 대한 외부 전자장치 식별 정보, 제어기능 정보, 제어기능 속성 정보, 제어 상태 정보를 상기 통신부에서 상기 서버로 요청하여 수신하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  25. 제24항에 있어서, 상기 제어부는,
    상기 통신부가 상기 공간정보를 상기 적어도 하나 이상의 외부 전자장치를 관리하는 상기 서버로부터 수신하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  26. 제25항에 있어서, 상기 제어부는,
    상기 제어기능 정보, 상기 제어기능 속성 정보, 상기 제어 상태 정보를 이용하여 상기 터치 스크린에서 상기 적어도 하나 이상의 외부 전자장치에 대한 외부 전자장치 타입정보, 제어기능 정보, 제어기능 속성 정보 및 현재 제어상태 정보를 중에서 적어도 하나를 표시하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  27. 삭제
  28. 제25항에 있어서, 상기 제어부는,
    상기 적어도 하나 이상의 외부 전자장치의 위치정보가 복수의 이종 전자장치들의 위치정보인 경우, 상기 통신부에서 상기 복수의 이종 전자장치들에 대한 공통 제어기능 속성 정보를 서버에게 요청하여 수신하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  29. 삭제
  30. 삭제
  31. 외부 전자장치를 선택하여 제어할 수 있는 착용형 전자장치에 있어서,
    적어도 하나 이상의 외부 전자장치의 위치정보를 포함하는 공간정보 및 선택영역을 표시하는 디스플레이;
    사용자 입력을 수신하기 위한 적어도 하나 이상의 물리키 입력부;
    상기 디스플레이 또는 상기 물리키 입력부를 통해 수신된 제1 입력에 응답하여 상기 선택영역의 크기, 형태, 및 위치 중 적어도 하나를 변경하여 상기 디스플레이에 표시하도록 제어하고, 상기 디스플레이 또는 상기 물리키 입력부를 통해 수신된 제2 입력에 의해 상기 선택 영역에 표시된 상기 적어도 하나 이상의 외부 전자장치에 대한 제어 메시지를 생성하는 제어부;
    상기 제어 메시지를 상기 적어도 하나 이상의 외부 전자장치 또는 서버로 전송하는 통신부; 및
    상기 공간정보, 상기 적어도 하나 이상의 외부전자장치에 대한 외부 전자장치 타입 정보, 제어기능 정보, 제어기능 속성 정보, 및 제어 상태 정보 중에서 적어도 하나를 저장하는 저장부를 포함하는 착용형 전자장치.
  32. 제31항에 있어서, 상기 제어부는,
    상기 제1 입력에 의해 변경된 선택 영역에 표시된 상기 위치 정보에 대응되는 상기 적어도 하나 이상의 외부 전자장치에 대한 외부 전자장치 식별 정보, 제어기능 정보, 제어기능 속성 정보, 및 제어 상태 정보 중에서 적어도 하나를 상기 통신부에서 서버로부터 요청하여 수신하도록 제어하는 것을 특징으로 하는 착용형 전자장치.
  33. 제32항에 있어서, 상기 제어부는,
    상기 통신부에서 상기 공간정보를 상기 적어도 하나 이상의 외부 전자장치를 관리하는 서버로부터 요청하여 수신하도록 제어하는 것을 특징으로하는 착용형 전자장치.
  34. 삭제
  35. 제33항에 있어서, 상기 제어부는,
    상기 제어기능 정보, 상기 제어기능 속성 정보, 상기 제어 상태 정보를 이용하여 상기 디스플레이에서 상기 위치정보에 대응되는 상기 적어도 하나 이상의 외부 전자장치에 대한 외부 전자장치 타입정보, 제어기능 정보, 제어기능 속성 정보 및 현재 제어상태 정보 중에서 적어도 하나를 표시하도록 제어하는 것을 특징으로 하는 착용형 전자장치.
  36. 삭제
  37. 삭제
  38. 제33항에 있어서, 상기 제어부는,
    상기 제1 입력에 의해 선택된 상기 적어도 하나 이상의 외부 전자장치의 위치정보가 복수의 이종 전자장치들의 위치정보인 경우, 상기 통신부에서 상기 복수의 이종 전자장치들에 대한 공통 제어기능 속성 정보를 상기 서버에게 요청하여 수신하도록 제어하는 것을 특징으로 하는 착용형 전자장치.
  39. 삭제
  40. 삭제
KR1020170024852A 2017-02-24 2017-02-24 복수의 IoT 장치들을 제어하기 위한 방법 및 장치 KR102638911B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170024852A KR102638911B1 (ko) 2017-02-24 2017-02-24 복수의 IoT 장치들을 제어하기 위한 방법 및 장치
US15/903,297 US10732827B2 (en) 2017-02-24 2018-02-23 Method and apparatus for controlling a plurality of internet of things devices
US16/983,030 US11157168B2 (en) 2017-02-24 2020-08-03 Method and apparatus for controlling a plurality of internet of things devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024852A KR102638911B1 (ko) 2017-02-24 2017-02-24 복수의 IoT 장치들을 제어하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180097977A KR20180097977A (ko) 2018-09-03
KR102638911B1 true KR102638911B1 (ko) 2024-02-22

Family

ID=63246260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170024852A KR102638911B1 (ko) 2017-02-24 2017-02-24 복수의 IoT 장치들을 제어하기 위한 방법 및 장치

Country Status (2)

Country Link
US (2) US10732827B2 (ko)
KR (1) KR102638911B1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9459781B2 (en) 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
USD771123S1 (en) * 2014-09-01 2016-11-08 Apple Inc. Display screen or portion thereof with multi-state graphical user interface
EP4321088A3 (en) 2015-08-20 2024-04-24 Apple Inc. Exercise-based watch face
KR102638911B1 (ko) * 2017-02-24 2024-02-22 삼성전자 주식회사 복수의 IoT 장치들을 제어하기 위한 방법 및 장치
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11960701B2 (en) 2019-05-06 2024-04-16 Apple Inc. Using an illustration to show the passing of time
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
WO2021231345A1 (en) 2020-05-11 2021-11-18 Apple Inc. User interfaces for managing user interface sharing
JP7335218B2 (ja) * 2020-05-11 2023-08-29 アップル インコーポレイテッド 時間に関係するユーザインタフェース
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11694590B2 (en) 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
US11720239B2 (en) 2021-01-07 2023-08-08 Apple Inc. Techniques for user interfaces related to an event
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US20220365667A1 (en) * 2021-05-15 2022-11-17 Apple Inc. User interfaces for managing accessories
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
EP4344139A1 (en) * 2021-09-15 2024-03-27 Samsung Electronics Co., Ltd. Wearable electronic device for controlling plurality of internet-of-things devices, operation method thereof, and storage medium
KR20230039996A (ko) * 2021-09-15 2023-03-22 삼성전자주식회사 복수의 사물 인터넷 장치들을 제어하기 위한 웨어러블 전자 장치, 그 동작 방법 및 저장 매체
CN114327709A (zh) * 2021-12-20 2022-04-12 深圳Tcl新技术有限公司 一种控制页面生成方法、装置、智能设备及存储介质
WO2023172064A1 (ko) * 2022-03-08 2023-09-14 삼성전자 주식회사 외부 장치를 제어하기 위한 인터페이스 제공 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014128801A1 (ja) 2013-02-20 2014-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報端末の制御方法及びプログラム
US20160187995A1 (en) 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111788B2 (en) * 2002-04-22 2006-09-26 Nokia Corporation System and method for navigating applications using a graphical user interface
JP4078398B2 (ja) * 2002-12-11 2008-04-23 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 情報処理装置
WO2006042318A2 (en) * 2004-10-12 2006-04-20 Scope Seven Inc. Remote control system with satellite control devices
US10637724B2 (en) * 2006-09-25 2020-04-28 Remot3.It, Inc. Managing network connected devices
US7649456B2 (en) * 2007-01-26 2010-01-19 Sony Ericsson Mobile Communications Ab User interface for an electronic device used as a home controller
US8669945B2 (en) * 2009-05-07 2014-03-11 Microsoft Corporation Changing of list views on mobile device
US8830267B2 (en) * 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool
US9110582B2 (en) * 2010-11-03 2015-08-18 Samsung Electronics Co., Ltd. Mobile terminal and screen change control method based on input signals for the same
US8650600B2 (en) * 2011-06-20 2014-02-11 Enseo, Inc. Set top/back box, system and method for providing a remote control device
KR101373612B1 (ko) * 2011-11-24 2014-03-13 전자부품연구원 Ｎｕｉ 제공 방법 및 시스템
US9075460B2 (en) * 2012-08-10 2015-07-07 Blackberry Limited Method of momentum based zoom of content on an electronic device
US8762895B2 (en) * 2012-10-28 2014-06-24 Google Inc. Camera zoom indicator in mobile devices
EP3010003B1 (en) * 2012-12-13 2021-03-24 Samsung Electronics Co., Ltd. Method and apparatus for controlling devices in home network system
US10671028B2 (en) * 2013-03-15 2020-06-02 Fisher-Rosemount Systems, Inc. Method and apparatus for managing a work flow in a process plant
US20140304381A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for communicating with smart objects
KR102158209B1 (ko) * 2013-07-26 2020-09-22 엘지전자 주식회사 전자기기
JP6059114B2 (ja) * 2013-08-28 2017-01-11 京セラ株式会社 携帯端末、結合制御プログラムおよび結合制御方法
US10158536B2 (en) * 2014-05-01 2018-12-18 Belkin International Inc. Systems and methods for interaction with an IoT device
WO2015183014A1 (en) * 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Apparatus and method for controlling internet of things devices
US9766079B1 (en) * 2014-10-03 2017-09-19 Steelcase Inc. Method and system for locating resources and communicating within an enterprise
US10448486B2 (en) * 2014-06-16 2019-10-15 Samsung Electronics Co., Ltd. Apparatus and method for controlling lighting device in electronic device
KR102325326B1 (ko) 2014-06-16 2021-11-12 삼성전자주식회사 조명 장치를 제어하기 위한 장치 및 방법
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
WO2016052889A1 (en) * 2014-09-29 2016-04-07 Lg Electronics Inc. Mobile terminal and method of controlling the same
KR20160040896A (ko) * 2014-10-06 2016-04-15 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9852388B1 (en) * 2014-10-03 2017-12-26 Steelcase, Inc. Method and system for locating resources and communicating within an enterprise
KR102338899B1 (ko) * 2015-01-02 2021-12-13 삼성전자주식회사 홈 디바이스를 제어하는 방법 및 디바이스
KR102360177B1 (ko) * 2015-02-26 2022-02-08 삼성전자주식회사 사용자 입력을 수신함에 따라 애플리케이션의 실행 결과를 디스플레이하는 방법 및 디바이스
US9985825B2 (en) * 2015-03-06 2018-05-29 International Mobile Iot Corp. Internet of things device management system and method for automatically monitoring and dynamically reacting to events and reconstructing application systems
KR20170035678A (ko) * 2015-09-23 2017-03-31 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US10063640B2 (en) * 2015-10-30 2018-08-28 Verizon Patent And Licensing Inc. Internet of things communication and control system
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
US11095727B2 (en) * 2015-12-22 2021-08-17 Samsung Electronics Co., Ltd. Electronic device and server for providing service related to internet of things device
US10250327B2 (en) * 2016-01-05 2019-04-02 Lg Electronics Inc. Illumination system and control method thereof
US10832665B2 (en) * 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
US10110272B2 (en) * 2016-08-24 2018-10-23 Centurylink Intellectual Property Llc Wearable gesture control device and method
US10321182B2 (en) * 2016-09-13 2019-06-11 Dvdo, Inc. System and method for real-time transfer and presentation multiple internet of things (IoT) device information on an electronic device based on casting and slinging gesture command
KR102638911B1 (ko) * 2017-02-24 2024-02-22 삼성전자 주식회사 복수의 IoT 장치들을 제어하기 위한 방법 및 장치
US10129711B1 (en) * 2017-09-18 2018-11-13 Motorola Solutions, Inc. Push to talk for the internet of things

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014128801A1 (ja) 2013-02-20 2014-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報端末の制御方法及びプログラム
US20160187995A1 (en) 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control

Also Published As

Publication number Publication date
US11157168B2 (en) 2021-10-26
US10732827B2 (en) 2020-08-04
KR20180097977A (ko) 2018-09-03
US20200363945A1 (en) 2020-11-19
US20180246639A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
KR102638911B1 (ko) 복수의 IoT 장치들을 제어하기 위한 방법 및 장치
US20230333378A1 (en) Wristwatch based interface for augmented reality eyewear
KR101938082B1 (ko) 이미지 프로세싱에 기초한 데이터 통신을 위한 시스템 및 방법
Heun et al. Smarter objects: using AR technology to program physical objects and their interactions
US9268423B2 (en) Definition and use of node-based shapes, areas and windows on touch screen devices
US20190129607A1 (en) Method and device for performing remote control
KR102354763B1 (ko) 주변 기기를 식별하는 전자 기기 및 이의 주변 기기 식별 방법
JP2020533682A (ja) インタフェース表示方法及び装置
US10948995B2 (en) Method and system for supporting object control, and non-transitory computer-readable recording medium
EP3279883B1 (en) Remote control apparatus and control method thereof
US10733799B2 (en) Augmented reality sensor
JP2015158748A (ja) 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、ウェアラブル機器
KR102422929B1 (ko) 디스플레이장치, 서버 및 그 제어방법
CN109804618A (zh) 用于显示图像的电子设备和计算机可读记录介质
EP3847632B1 (en) System and method for smart remote scene creation
CN104936339B (zh) 控制可调整光束分布的固态泛光灯的方法和图形用户接口
US20200125806A1 (en) Management device and air-conditioning system
KR20160126309A (ko) 웨어러블 전자 장치
CN108415745A (zh) 一种移动终端上ui控件操控智能设备的方法
JP2017054251A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024061163A1 (zh) 人机交互方法、显示方法、装置、设备
US10909734B2 (en) Data visualization method and apparatus
Divya et al. An IoT Enabled Smart Home Automation Using Augmented Reality in Computer Vision
JP2015158747A (ja) 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、およびウェアラブル機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right