KR20200046042A - 소형 스크린 가상 룸-기반 사용자 인터페이스 - Google Patents

소형 스크린 가상 룸-기반 사용자 인터페이스 Download PDF

Info

Publication number
KR20200046042A
KR20200046042A KR1020207006452A KR20207006452A KR20200046042A KR 20200046042 A KR20200046042 A KR 20200046042A KR 1020207006452 A KR1020207006452 A KR 1020207006452A KR 20207006452 A KR20207006452 A KR 20207006452A KR 20200046042 A KR20200046042 A KR 20200046042A
Authority
KR
South Korea
Prior art keywords
representation
representations
devices
room
appearance
Prior art date
Application number
KR1020207006452A
Other languages
English (en)
Other versions
KR102645601B1 (ko
Inventor
로버트 피. 마돈나
마이클 씨. 실바
니콜라스 제이. 시폴로
앤드류 햄
테오도르 레프터
Original Assignee
사반트 시스템즈 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사반트 시스템즈 엘엘씨 filed Critical 사반트 시스템즈 엘엘씨
Publication of KR20200046042A publication Critical patent/KR20200046042A/ko
Application granted granted Critical
Publication of KR102645601B1 publication Critical patent/KR102645601B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H04M1/72533—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Digital Computer Display Output (AREA)

Abstract

일 실시예에서, 가상 룸 내의 디바이스들의 표현들을 시퀀스로 조직하고, 사용자가 시퀀스 내의 디바이스들의 표현들을 순환시켜 임의의 주어진 시간에 단지 하나의 표현만이 선택되게 하고, 그리고 선택된 디바이스의 표현으로부터 분리된 지정된 제어 구역을 사용하여 선택된 표현에 대응하는 디바이스를 개별적으로 제어하는 "소형 스크린" 상에 사용하기에 적합한 가상 룸-기반 사용자 인터페이스가 제공된다.

Description

소형 스크린 가상 룸-기반 사용자 인터페이스
본 출원은 2017년 9월 6일에 출원되고, 발명의 명칭이 SMALL SCREEN VIRTUAL ROOM-BASED USER INTERFACE인 Robert P. Madonna 등에 의한 미국 가특허 출원 일련 번호 제 62/555,038호의 이익을 주장하고, 이로써 이 가출원은 인용에 의해 포함된다.
본 출원은 또한 2014년 2월 26일에 출원되고, 발명의 명칭이 "User Generated Virtual Room-Based User Interface"인 Robert P. Madonna 등에 의한 미국 특허 출원 일련 번호 제 14/190,984호에 관련되고, 이 제 14/190,984호는 2012년 7월 17일에 출원되고, 발명의 명칭이 "Virtual Room-Based Light Fixture and Device Control"이고, 지금 미국 특허 번호 제 9,055,627호로서 특허 허여된 Robert P. Madonna에 의한 미국 특허 출원 일련 번호 제 13/551,289호의 일부 계속 출원이고, 이 제 13/551,289호 자체는 2010년 6월 2일에 출원되고 발명의 명칭이 "Virtual Room-Based Light Fixture and Device Control"이고, 지금 미국 특허 번호 제 8,296,669호로서 특허 허여된 Robert P. Madonna에 의한 미국 특허 출원 일련 번호 제 12/792,236호의 계속 출원이고, 이 제 12/792,236호는 2009년 6월 3일에 출원되고 발명의 명칭이 "Virtual Room-Based Light Fixture and Device Control"인 Robert P. Madonna 등에 의한 미국 가특허 출원 일련 번호 제 61/183,825호의 이익을 주장한다.
본 출원은 또한 2015년 6월 8일에 출원되고, 발명의 명칭이 "Generating a Virtual-Room of a Virtual Room-Based User Interface"인 Robert P. Madonna 등에 의한 미국 특허 출원 일련 번호 제 14/733,428호에 관련되고, 이 제 14/733,428호는 2012년 7월 17일에 출원되고, 발명의 명칭이 "Virtual Room-Based Light Fixture and Device Control"이고, 지금 미국 특허 번호 제 9,055,627호로서 특허 허여된 Robert P. Madonna에 의한 미국 특허 출원 일련 번호 제 13/551,289호의 계속 출원이고, 이 제 13/551,289호는 2010년 6월 2일에 출원되고 발명의 명칭이 "Virtual Room-Based Light Fixture and Device Control"이고, 지금 미국 특허 번호 제 8,296,669호로서 특허 허여된 Robert P. Madonna에 의한 미국 특허 출원 일련 번호 제 12/792,236호의 계속 출원이고, 이 제 12/792,236호는 2009년 6월 3일에 출원되고 발명의 명칭이 "Virtual Room-Based Light Fixture and Device Control"인 Robert P. Madonna 등에 의한 미국 가특허 출원 일련 번호 제 61/183,825호의 이익을 주장한다.
위에 열거된 특허 출원들 및 특허들 모두는 그 전체가 인용에 의해 본원에 포함된다.
본 개시내용은 일반적으로 디바이스 제어 및 더 구체적으로 홈 자동화 시스템의 디바이스들을 제어하기 위한 사용자 인터페이스에 관한 것이다.
홈들 및 다른 구조들이 커지고, 더 많은 디바이스들로 채워짐에 따라, 디바이스 제어가 점점 어려워지고 있다. 종래에, 많은 디바이스들은 기계적 스위치들에 의해 제어되었다. 기계적 스위치들이 신뢰성이 있고 비용-효율적이지만, 이들은, 특히 구조의 같은 룸(room)에 많은 디바이스들이 위치될 때 많은 제한들을 가진다. 예컨대, 넓은 룸은 많은 수의 조명 디바이스들, 보안 디바이스들, HVAC(heating ventilation and air conditioning) 디바이스들, 오디오/비디오(A/V) 디바이스들 등을 포함할 수 있다. 이들 모든 디바이스들을 제어하기 위해, 많은 수의 기계적 스위치들이 필요할 수 있다. 룸 내에서 기계적 스위치들의 수가 증가함에 따라, 유용성이 감소한다. 기계적 스위치들에는 종종 라벨이 없거나, 라벨이 있다면 단지 암호 설명들(예컨대, "램프 1", "램프 2" 등)만이 표시된다. 사용자는, 룸 내에서 이용가능한 많은 기계적 스위치들 중 어느 것이 어느 디바이스를 제어하는지를 기억해야 할 수 있다. 이 관계를 기억하지 못하는 룸 내의 새로운 손님은 통상적으로 시행 착오에 의존하여, 어느 기계적 스위치가 어느 디바이스를 제어하는지를 결정하고, 원하는 결과에 도달할 때까지 스위치들을 눌러야 한다.
기계적 스위치들의 단점들을 개선하는 다양한 타입들의 홈 자동화 및 전자 디바이스 제어 시스템들이 개발되었다. 그런 시스템들은 통상적으로 디바이스들의 동작을 관리하는 하나 이상의 제어기를 포함한다. 제어기들은 디바이스들을 제어하기 위한 사용자 인터페이스를 제공하는 사용자 인터페이스 디바이스들, 이를테면 전용 터치 스크린 유닛들을 통해 상호작용될 수 있다. 사용자 인터페이스는 터치-감지 버튼들의 어레이를 포함할 수 있고, 각각의 버튼은 디바이스 또는 디바이스들의 그룹을 제어한다.
그러나, 그런 버튼-중심 온-스크린 사용자 인터페이스들은 기계적 스위치들과 동일한 많은 단점들을 공유한다. 버튼들이 기계적 스위치들 같은 물리적 객체들로서 존재하기보다 스크린에 도시되지만, 버튼들은 매우 유사하게 동작한다. 온-스크린 버튼을 보면, 버튼의 기능이 명백하지 않을 수 있다. 라벨이 제공될 수 있지만, 종종 그런 라벨들은 스크린 공간의 제약들을 고려하여, 짧고 암호적이다. 기계적 스위치들을 갖는 경우와 유사한 룸에 대한 새로운 손님은 시행 착오에 의해 어떤 버튼이 어떤 결과를 달성하는지를 발견하기 위해 각각의 온-스크린 버튼을 터치할 필요가 있을 수 있다.
최근에, 기계적 스위치들 및 버튼-중심 온-스크린 사용자 인터페이스들의 많은 단점들을 처리하는 디바이스 제어 솔루션이 개발되었다. 이 솔루션은 터치 스크린 상에 디스플레이되는 하나 이상의 가상 룸을 포함하는 사용자 인터페이스를 제공한다. 스크린 상에 도시된 가상 룸 내의 디바이스의 표현을 터치함으로써, 사용자는 디바이스에 대한 상태 변경을 나타낼 수 있다.
그러나, 이런 타입의 솔루션이 기계적 스위치들 및 버튼-제어 온-스크린 사용자 인터페이스들의 많은 단점을 해결하지만, 새로운 어려움들을 제시한다. 하나의 어려움은 "소형 스크린", 예컨대 핸드헬드 원격 제어기, 모바일 디바이스, 또는 "소형" 전용 터치 스크린 유닛(예컨대, 벽 내의 1-갱(gang) 터치스크린 유닛, 벽-장착 유닛 등)의 스크린 상에 그런 인터페이스를 제시하는 방법이다. 그런 인터페이스가 "소형 스크린" 상에 도시될 때, 디바이스들의 개별 표현들은 매우 작을 수 있다. 이것은 사용자들이 디바이스들의 표현들을 찾아 인식하는 것을 방해할 수 있다. 게다가, 사용자가 디바이스들의 아주 작은 표현들을 찾아 인식할 수 있더라도, 사용자는 자신의 손가락이 다른 디바이스들의 하나 이상의 표현을 부주의하게 오버랩하여, 원하지 않는 상태 변경들을 잠재적으로 야기함이 없이 특정 표현을 터치하지 못할 수 있다. 따라서, "소형 스크린들" 상의 그런 인터페이스들의 유용성은 제한되었다.
따라서, "소형 스크린", 예컨대 핸드헬드 원격 제어기, 모바일 디바이스 또는 전용 터치 스크린 유닛 상에 사용하기에 더 적합할 수 있는 개선된 사용자 인터페이스가 필요하다.
일 실시예에서, 가상 룸 내의 디바이스들의 표현들을 시퀀스로 조직하고, 사용자가 시퀀스 내의 디바이스들의 표현들을 순환시켜 임의의 주어진 시간에 단지 하나의 표현만이 선택되게 하고, 그리고 선택된 디바이스와 분리된 지정된 제어 영역을 사용하여 선택된 표현에 대응하는 디바이스를 개별적으로 제어하는 "소형 스크린" 상에 사용하기에 적합한 가상 룸-기반 사용자 인터페이스가 제공된다.
구체적으로, 일 실시예에서, 원격 제어기, 모바일 디바이스 또는 전용 터치 스크린 유닛(예컨대, 벽 내 1-갱 터치 스크린 유닛, 벽 장착 유닛 등)은 터치 스크린 디스플레이 상의 물리적 룸에 대응하는 가상 룸을 디스플레이한다. 가상 룸은 물리적 룸 내의 디바이스들에 대응하는 디바이스들의 표현들, 물리적 룸의 경계들의 표현들, 및 물리적 룸에 존재하는 가구들의 표현들을 포함한다. 디바이스들의 표현들은 시퀀스로 조직되고, 처음에 제1 디바이스의 표현이 시퀀스로부터 (예컨대, 디폴트에 의해) 선택된다. 원격 제어기, 모바일 디바이스 또는 전용 터치 스크린 유닛은 터치 스크린 디스플레이 상에 제1 디바이스의 선택된 표현의 표시, 및 제1 디바이스의 선택된 표현으로부터 분리된 지정된 제어 구역을 디스플레이한다. 지정된 제어 구역에서 상태 변경을 나타내는 사용자 입력을 수신하는 것에 대한 응답으로, 원격 제어기, 모바일 디바이스 또는 전용 터치 스크린 유닛은 제1 디바이스와 통신하고 제1 디바이스에 의해 제공되는 서비스의 상태에 대한 변경을 야기하고, 그리고 제1 디바이스에 의해 제공되는 서비스의 변경된 상태를 반영하기 위해, 제1 디바이스의 선택된 표현의 모습, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경하도록 가상 룸의 모습을 업데이트한다.
이어서, 사용자 입력(예컨대, 스와이프 제스처(swipe gesture))에 대한 응답으로, 물리적 룸 내의 제2 디바이스에 대응하는 시퀀스 내의 연속적인 표현이 선택될 수 있다. 원격 제어기, 모바일 디바이스 또는 전용 터치 스크린 유닛은 선택된 표현의 표시를 업데이트한다. 지정된 제어 구역에서 추가적 사용자 입력에 대한 응답으로, 원격 제어기, 모바일 디바이스 또는 전용 터치 스크린 유닛은 제2 디바이스에 의해 제공되는 서비스의 상태에 대한 변경을 야기하고, 그리고 제2 디바이스에 의해 제공되는 서비스의 변경된 상태를 반영하기 위해, 제2 디바이스의 표현의 모습, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경하도록 가상 룸의 모습을 동적으로 업데이트한다.
다양한 부가적인 특징들 및 대안적인 실시예들이 구현될 수 있다는 것이 이해되어야 한다. 이 요약은 단순히 독자에게 소개로서 의도된 것이고, 본원에 언급된 예들이 본 발명의 모든 양상들을 포함하고, 본 발명의 필요하거나 필수적인 양상들인 것을 나타내거나 암시하지 않는다.
아래의 설명은 첨부 도면들을 참조한다.
도 1은 구조물(예컨대, 주거용 주택 또는 상업용 빌딩)의 룸들 내의 디바이스들을 제어하도록 동작가능한 홈 자동화 시스템의 예시적인 아키텍처의 블록도이다.
도 2는 예시적인 "대형 스크린" 가상 룸-기반 사용자 인터페이스의 예시적인 가상 룸을 터치 스크린 디스플레이 상에 도시하는 예시적인 태블릿 컴퓨터의 도면이다.
도 3은 예시적인 가상 룸-기반 사용자 인터페이스의 예시적인 가상 룸을 터치 스크린 디스플레이 상에 도시하는 예시적인 원격 제어기의 도면이다.
도 4는 여기서 행잉 램프(hanging lamp)에 의해 제공되는 조명 서비스의 상태를 변경하기 위해, 사용자가 지정된 제어 구역에 터치 입력을 제공한 이후(예컨대, 슬라이더를 드래그한 이후) 도 3의 예시적인 원격 제어기 및 가상 룸의 업데이트된 도면이다.
도 5는 사용자가 시퀀스 내의 연속적인 표현, 여기서 테이블 램프들의 표현을 선택한 이후, 도 3의 예시적인 원격 제어기 및 가상 룸의 업데이트된 도면이다.
도 6은 도 3에 도시된 바와 동일한 가상 룸 사용자 인터페이스의 예시적인 가상 룸을 터치 스크린 디스플레이 상에 도시하는 예시적인 전용 터치 스크린 유닛(여기서, 벽-장착 유닛)의 도면이다.
정의들
본원에 사용된 바와 같이, "홈 자동화 시스템"이라는 용어는 구조물, 이를테면 주거용 주택 또는 상업용 빌딩 내의 디바이스들(예컨대, 조명 디바이스들, 보안 디바이스들, A/V 디바이스들, HVAC 디바이스들, 전자 도어 잠금 장치들, 및/또는 다른 타입들의 디바이스들)을 제어할 수 있는 다양한 타입들의 홈 제어, "스마트 홈" 및/또는 디바이스 제어 시스템들을 포함하도록 넓게 해석되어야 한다. 홈 자동화 시스템은 다양한 상이한 타입들의 디바이스들, 또는 특정 타입만의 디바이스들(예컨대, 조명 디바이스들 전용, A/V 디바이스들 전용 등)을 제어할 수 있다.
본원에 사용된 바와 같이, "모바일 디바이스"라는 용어는 범용 운영 체제를 실행하고 휴대하여 운송되도록 적응된 전자 디바이스를 지칭한다. 디바이스들, 이를테면 스마트폰들은 모바일 디바이스들로 간주되어야 한다. 데스크톱 컴퓨터들, 서버들 또는 다른 주로-고정식 컴퓨팅 디바이스들은 일반적으로 모바일 디바이스들로 간주되지 않아야 한다.
본원에 사용된 바와 같이, "원격 제어기"라는 용어는 홈 자동화 시스템을 제어하는 데 사용하기 위한 특정하게 적응된 하드웨어(예컨대, 특정하게 라벨링된 버튼들), 또는 홈 자동화 시스템의 하나 이상의 디바이스를 포함하는 휴대용 전자 디바이스를 지칭한다. 범용 모바일 디바이스들, 이를테면 스마트폰들은 원격 제어기들로 간주되지 않아야 한다.
본원에 사용된 바와 같이, "전용 터치 스크린 유닛"이라는 용어는 홈 자동화 시스템을 제어하는 데 사용하기 위한 특정하게 적응된 하드웨어 또는 홈 자동화 시스템의 하나 이상의 디바이스를 포함하는 벽 내, 벽-장착 또는 탁상용 전자 디바이스를 지칭한다. 전용 터치 스크린 유닛은 제한된 크기, 예컨대 표준 1-갱 스위치 박스, 표준 2-갱 스위치 박스 등에 맞는 크기의 폼-팩터(form-factor)를 가질 수 있다.
본원에 사용된 바와 같이, "서비스"라는 용어는 홈 자동화 시스템의 하나 이상의 디바이스를 포함하는 홈 자동화 시스템에 의해 제공되는 효과 또는 활동을 지칭한다. 서비스의 예는 조명 효과를 제공하는 조명 서비스 또는 케이블 텔레비전 시청 활동을 제공하는 케이블 TV 서비스일 수 있다.
본원에 사용된 바와 같이, "물리적 룸"이라는 용어는 하나 이상의 서비스가 제공될 수 있는 물리적 구조의 내부 부분 또는 물리적 구조와 연관된 외부 공간을 지칭한다.
본원에 사용된 바와 같이, "가상 룸"이라는 용어는 물리적 구조의 내부 부분 또는 물리적 구조와 연관된 외부 공간의 묘사에 의해 표현되는 물리적 룸의 디지털 트윈(digital twin)을 지칭한다. 그 묘사는 물리적 룸의 경계들의 표현들, 물리적 룸에 존재하는 가구들의 표현들 및 물리적 룸에 존재하는 디바이스들의 표현들을 포함할 수 있다. 디바이스들의 표현들은 바람직하게 물리적 룸 내의 디바이스의 실제 위치들에 대응하는 가상 룸 내의 위치들에 도시된다.
홈 자동화 시스템의 예
도 1은 구조물(예컨대, 주거용 주택 또는 상업용 빌딩)의 룸들 내의 디바이스들을 제어하도록 동작가능한 홈 자동화 시스템의 예시적인 아키텍처(100)의 블록도이다. 시스템의 핵심에는 홈 내 LAN(local area network)(예컨대, Wi-Fi 네트워크)(150)에 커플링된 호스트 제어기(110)가 있다. 호스트 제어기는 디바이스들(112-124)의 동작들의 제어를 모니터링할 뿐 아니라, UI 해석, 시스템 관리 및 모니터링, 클라우드 서비스들(180) 및 모바일 디바이스들(160)과의 동기화, 활동 기록, 활동 예측 및 다른 타입들의 기능성을 제공하도록 구성된 호스트 소프트웨어(111)를 집합적으로 저장 및 실행하는 하드웨어 컴포넌트들, 이를테면 프로세서, 메모리 및 저장 디바이스를 포함할 수 있다.
호스트 제어기(110)는 홈 자동화 시스템에 의해 제어되는 디바이스들에 관한 정보 및 홈 자동화 시스템이 그런 디바이스들을 사용하여 제공하도록 구성된 서비스들을 포함하는 구성 정보를 저장하는 홈 데이터베이스(130)를 자신의 저장 디바이스에 유지할 수 있다.
홈 자동화 시스템의 디바이스들(112-124)은 조명 기구 램프 모듈들 등 같은 조명 디바이스들(112); 홈 모니터들/카메라들, 모션 센서들, 홈 건강 관리 센서들, 관련 제어기들 등 같은 보안 디바이스들(114); A/V 디바이스 제어기들, 미디어 서버들, 오디오 증폭기들, 케이블 박스들 등 같은 오디오 디바이스들(116) 및 비디오 디바이스들(118)(집합적으로 A/V 디바이스들); 전자 도어 잠금 장치들(120) 및 다른 타입들의 모터 또는 릴레이 동작 디바이스들; 서모스탯들 같은 HVAC 디바이스들(122); IR 블래스터(blaster)들, 매트릭스 스위처들, 신호 익스텐더(extender)들 등 같은 상호연결 디바이스들(124)뿐 아니라, 다른 타입들의 홈 자동화 시스템 디바이스들을 포함할 수 있다. 디바이스들(112-124) 각각은 룸과 연관(즉, 룸과 관련하여 사용되도록 구성)될 수 있다. 디바이스들(112-124)은, 그들이 연관된 룸에 물리적으로 상주하거나 다른 곳(예컨대, 원격 장비 랙)에 상주할 수 있다.
구현에 따라, 홈 자동화 시스템의 디바이스들(112-124)의 통신 능력들은 가변할 수 있다. 예컨대, 디바이스들 중 적어도 일부는 홈 내 LAN(150)(예컨대, Wi-Fi)을 통해 호스트 제어기(110) 및 다른 디바이스들과 통신할 수 있게 하는 LAN 인터페이스(예컨대, Wi-Fi 어댑터), 또는 WLAN(도시되지 않음)을 통해 호스트 제어기(110) 및 다른 디바이스들과 통신할 수 있게 하는 WPAN(wireless personal area network) 인터페이스(예컨대, BLE 어댑터) 둘 모두를 포함할 수 있다. 마찬가지로, 일부 디바이스들은 유선 또는 포인트-투-포인트 무선 통신용 포트들 또는 트랜스시버들(예컨대, RS-232, 릴레이 또는 GPIO(general-purpose input/output) 포트들, 적외선(IR) 트랜스시버들 등)만을 가질 수 있고 그런 포트들을 사용하여 호스트 제어기(110) 및 다른 디바이스들과 통신할 수 있다. 디바이스들 중 일부(예컨대, IR 블래스터 같은 상호연결 디바이스)는 호스트 제어기(110)와 통신할 수 있게 하는 WPAN 인터페이스(예컨대, BLE 어댑터) 및 홈 자동화 시스템의 다른 디바이스들(예컨대, A/V 디바이스들(116, 118))과 통신하기 위한 포인트-투-포인트 무선 트랜스시버(예컨대, IR 트랜스시버) 둘 모두를 포함할 수 있다. 게다가, 일부 디바이스들은 LAN 인터페이스(예컨대, Wi-Fi 인터페이스)를 포함할 수 있지만, 직접적으로 홈 내 LAN(150)을 통해 호스트 제어기(110)와 통신하도록 구성되는 것이 아니라, 대신 인터넷(170), 클라우드 서비스들(180) 및 제3자 인프라구조(190)를 통해 통신하도록 구성될 수 있다. HVAC 디바이스들(122)이 이런 방식으로 통신할 수 있는 하나의 타입의 디바이스의 예로서 도 1에 도시되지만, 다른 타입의 디바이스들(112-124)이 대안적으로 이런 통신 방법을 사용할 수 있고, 그 반대도 가능하다는 것이 이해되어야 한다.
사용자는 홈 내 LAN(150)을 통해(예컨대, Wi-Fi)를 통해 호스트 제어기(110)와 통신하거나 포인트-투-포인트 무선 신호들을 통해(예컨대, IR 또는 라디오 주파수(RF) 신호들을 통해) 직접적으로 호스트 제어기(110)와 통신하는 원격 제어기(140)를 사용하여 홈 자동화 시스템을 제어할 수 있다. 원격 제어기(140)는 소형 터치 스크린 디스플레이(예컨대, 대각선이 7 인치 미만, 예컨대 대각선이 2.95 인치), 물리적 버튼들, 및 호스트 제어기(110) 및 클라우드 서비스들(180)과 인터페이스하도록 구성된 제어 소프트웨어를 저장 및 실행하는 프로세서, 메모리 및 저장 디바이스를 포함할 수 있다. 제어 소프트웨어는 다른 기능성 중에서, 홈 자동화 시스템을 제어하기 위한 가상-룸 기반 사용자 인터페이스를 제시할 수 있다.
사용자는 또한 홈 내 LAN(150)을 통해 호스트 제어기(110)와 통신하는 모바일 디바이스(160)를 사용하거나 또는 인터넷(170)에 대한 모바일 데이터 연결을 사용하여 홈 자동화 시스템을 제어할 수 있다. 모바일 디바이스(160)는 소형 터치 스크린 디스플레이(예컨대, 대각선이 7 인치 미만, 예컨대 대각선이 5.5 인치), 및 다른 기능성 중에서 홈 자동화 시스템을 제어하기 위한 가상-룸 기반 사용자 인터페이스를 제시할 수 있는 호스트 제어기(110) 및/또는 클라우드 서비스들(180)과 인터페이스하도록 구성된 애플리케이션(앱)(162)(예컨대, 모바일 앱)을 저장 및 실행하는 프로세서, 메모리 및 저장 디바이스를 포함할 수 있다.
여전히 또한, 사용자는 홈 내 LAN(150)을 통해 호스트 제어기(110)와 통신하는 전용 터치 스크린 유닛(165)(예컨대, 벽 내 1-갱 터치 스크린 유닛, 벽 장착 유닛 등)을 사용하여 홈 자동화 시스템을 제어할 수 있다. 전용 터치 스크린 유닛(165)은 소형 터치 스크린 디스플레이, 및 다른 기능성 중에서 홈 자동화 시스템을 제어하기 위한 가상-룸 기반 사용자 인터페이스를 제시할 수 있는 호스트 제어기(110) 및/또는 클라우드 서비스들(180)과 인터페이스하도록 구성된 소프트웨어를 저장 및 실행하는 프로세서, 메모리 및 저장 디바이스를 포함할 수 있다.
디바이스들은 인터넷(170)을 통해 클라우드 서비스들(180) 및 자신의 API(host application program interface)들(182) 및 모바일 API들(184)과 통신할 수 있다. 클라우드 서비스들(180)은 홈 자동화 제어에 대한 원격 액세스, 홈 데이터베이스(130)의 영구 백업(구성 데이터베이스(186)에 데이터 저장), (제3자 어댑터들(188)을 통한) 제3자 인프라구조에 대한 인터페이스, 사용자 프로파일들 및 사용량 추적(사용자 데이터베이스(189)에 데이터 저장), 오버-디-에어(over-the-air) 업데이트들을 위한 메커니즘, 호스트 충돌 보고, 및 라이센스 관리를 제공할 수 있다.
일반적 가상 룸 기반 사용자 인터페이스
원격 제어기(140) 상의 소프트웨어, 모바일 디바이스(160) 상의 앱(162) 또는 전용 터치 스크린 유닛(165) 상의 소프트웨어는 홈 자동화 시스템(100)을 제어하기 위한 가상 룸-기반 사용자 인터페이스를 제시할 수 있고, 가상 룸-기반 사용자 인터페이스는 구조물의 대응하는 물리적 룸의 실사적(photo-realistic) 묘사를 각각 도시하는 하나 이상의 가상 룸을 포함한다. 실사적 묘사는 물리적 룸의 경계들(예컨대, 벽들, 천장, 바닥 등)의 실사적 표현들, 물리적 룸에 존재하는 가구들(예컨대, 소파, 의자, 침대, 벽걸이 등)의 실사적 표현들, 및 물리적 룸 내에 존재하는 디바이스들(예컨대, 조명 디바이스들, 보안 디바이스들, A/V 디바이스들, HVAC 디바이스들 및/또는 다른 타입의 디바이스들)의 실사적 표현들을 도시한다. 디바이스들의 표현들은 바람직하게 물리적 룸 내의 디바이스의 실제 위치들에 대응하는 가상 룸 내의 위치들에 도시된다. 가상 룸은 인터페이스 환경으로 동작한다. 가상 룸과 상호작용함으로써, 사용자는 물리적 룸 내의 대응하는 디바이스들에 의해 제공되는 서비스들의 상태에 대한 변경들을 나타낼 수 있다. 디바이스들의 상태가 변경되어 물리적 룸 내에서 상이한 서비스들을 제공함에 따라, 가상 룸의 모습은 변경들을 반영하기 위해 동적으로 업데이트된다. 그런 업데이트는 (예컨대, 그림자들, 반사들 등에 대한 실사적 변화들을 사용하여) 디바이스들의 표현들의 모습뿐 아니라, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경할 수 있다. 그런 방식으로, 가상 룸은, 사용자가 가상 룸 내에서 보는 것이 대응하는 물리적 룸 내의 사용자 경험을 반영하거나, 적어도 유사하도록, 대응하는 물리적 룸의 현재 조건의 실사적 묘사를 사용자에게 다시 반영하도록 업데이트된다. 그런 인터페이스는 매우 직관적일 수 있고, 이는 사용자가 복잡한 제어 방식들을 이해할 필요 없이 제어 선택들을 쉽게 나타내게 한다.
종래의 "대형 스크린" 가상 룸 기반 사용자 인터페이스의 동작
"대형 스크린"(예컨대, 대각선이 7 인치 초과)에 사용하도록 적응된 종래의 가상 룸 기반 사용자 인터페이스에서, 사용자는 물리적 룸 내의 디바이스의 표현을 터치함으로써 물리적 룸 내의 디바이스에 의해 제공되는 서비스의 상태에 대한 변경을 나타낼 수 있다. 예컨대, 사용자는 조명 디바이스를 활성화하기 위해 조명 디바이스의 표현을 터치하여, 조명 서비스의 상태를 변경할 수 있다. 도 2는 예시적인 "대형 스크린" 가상 룸-기반 사용자 인터페이스의 예시적인 가상 룸(210)을 터치 스크린 디스플레이 상에 도시하는 예시적인 태블릿 컴퓨터의 도면(200)이다. 예시적인 가상 룸(210)은 예시적인 홈 내의 거실에 대응한다. 그러나, 이 예에 대한 룸의 그런 선정이 임의적인 것이 이해되어야 한다. 예시적인 가상 룸(210)은 물리적 룸의 경계들, 이를테면 천장(215) 및 벽들(220)의 실사적 표현들; 물리적 룸에 존재하는 가구들, 이를테면 소파(230), 커피 테이블(240), 및 엔드 테이블(end table)(250)의 실사적 표현들; 및 물리적 룸 내의 제어가능한 디바이스들, 이를테면 샹들리에(260), 테이블 램프들(270, 275), 리세스드 캔들(recessed cans)(280) 및 텔레비전(290)의 실사적 표현들을 포함한다. 이들 디바이스 각각은 상태들(예컨대, 활성 상태, 비활성 상태 및 일부 경우들에서 복수의 활성 서브-상태)을 갖는 서비스를 제공한다. 예컨대, 샹들리에, 테이블 램프들 및 리세스드 캔들은 "온"의 활성 상태(및 잠재적으로 상이한 조명 레벨들 및/또는 조명 컬러들을 표현하는 복수의 활성 서브-상태), 및 "오프"의 비활성 상태를 포함하는 조명 서비스를 제공한다. 유사하게, 텔레비전은 "온"의 활성 상태(및 잠재적으로 상이한 비디오 소스들, 채널들, 볼륨 레벨들 등을 표현하는 복수의 활성 서브-상태가 디스플레이/사용됨), 및 "오프"인 텔레비전의 비활성 상태를 포함하는 시청 서비스를 제공한다.
가상 룸(210) 내의 디바이스들(260-290)의 실사적 표현을 터치함으로써, 사용자는 홈 자동화 시스템에 의해 구현되는, 대응하는 물리적 룸 내의 대응하는 디바이스들에 의해 제공되는 서비스들의 상태에 대한 변경들을 표시한다. 예컨대, 샹들리에(260)의 실사적 묘사를 터치함으로써, 사용자는 물리적 룸 내의 샹들리에가 조명(또는 달리 제어)되게 할 수 있다. 유사하게, 텔레비전(290)의 실사적 묘사를 터치함으로써, 사용자는 물리적 룸 내의 텔레비전이 켜지게(또는 달리 제어되게) 할 수 있다.
디바이스가 상이한 서비스들을 제공함에 따라, 가상 룸(210)의 모습은 변경들을 반영하기 위해 동적으로 업데이트된다. 예컨대, 샹들리에가 턴 온될 때, 가상 룸(210) 내의 샹들리에(260)의 실사적 표현은 샹들리에를 조명 상태로 표현하도록 변경된다. 그런 변경은 샹들리에로부터의 조명의 그림자들, 반사들 및 다른 효과들을 도시하기 위해 경계들 및 가구들의 표현들에 대한 변경들을 동반할 수 있다. 유사하게, 텔레비전이 켜질 때, 가상 룸(210) 내의 텔레비전(290)의 실사적 묘사는 텔레비전을 켜진 상태로 묘사하도록 변경된다. 그런 변경은 텔레비전 스크린 방출 광의 반사들 및 다른 효과들을 도시하기 위해 경계들 및 가구들의 표현들에 대한 변경들을 동반한다. 이런 방식으로, 가상 룸(210)은 물리적 룸의 현재 모습을 반영하거나, 적어도 유사할 수 있다.
그런 방식은 위에서 논의된 바와 같이 "대형 스크린" 상에서 잘 작동할 수 있지만, 스크린 크기가 감소될 때, 사용자가 터치될 수 있는 디바이스들의 표현들을 인식하는 것이 어려울 수 있다. 예컨대, 도 2를 참조하여, 램프(275)의 표현은 너무 작아서, 인터페이스에서도 눈에 띄지 않을 수 있다. 게다가, 사용자가 인터페이스에서 디바이스들의 아주 작은 표현들을 찾을 수 있더라도, 사용자는 자신의 손가락이 다른 표현을 부주의하게 터치하지 않고 특정 표현을 터치하지 못할 수 있다. 예컨대, 램프(270)의 표현 및 램프(275)의 표현은, 사용자의 손가락이 두 표현의 적어도 일부를 커버하도록 서로 너무 가까워, 원하는 표현이 신뢰성 있게 선택되지 못할 수 있다.
"소형 스크린" 가상 룸 기반 사용자 인터페이스의 동작
"소형 스크린"(예컨대, 7 인치 미만)에 사용하도록 적응된 가상 룸 기반 사용자 인터페이스에서, 디바이스들의 실사적 표현들은 시퀀스(예컨대, 순차적인 루프)로 조직될 수 있다. 시퀀스로부터의 디바이스의 특정 실사적 표현은, 가상 룸이 처음 디스플레이될 때 디폴트에 의해 선택될 수 있다. 인터페이스는 선택된 실사적 표현(예컨대, 텍스트 라벨)에 대응하는 디바이스의 표시를 도시하고 디바이스에 의해 제공되는 서비스의 상태를 변경하기 위한 제어 구역을 제공할 수 있다. 제어 구역은 선택된 실사적 표현으로부터 분리된 (예컨대, 사용자 인터페이스 하단에 있는) 슬라이더, 버튼 또는 다른 엘리먼트 형태를 취할 수 있다. 지정된 제어 구역에서의 사용자 입력(예컨대, 터치)에 대한 응답으로, 홈 자동화 시스템(100)(또는 더 구체적으로, 홈 자동화 시스템(100)의 호스트 제어기(110))은 물리적 룸 내의 디바이스에 의해 제공되는 서비스의 상태를 변경한다. 가상 룸의 모습은 변경들을 반영하기 위해 동적으로 업데이트된다. 그런 업데이팅은 (예컨대, 그림자들, 반사들 등에 대한 실사적 변화들을 사용하여) 서비스의 변경된 상태를 나타내기 위해 디바이스의 선택된 실사적 표현의 모습을 변경할 뿐 아니라, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경할 수 있다.
인터페이스에서의 추가적 사용자 입력(예컨대, 터치 제스처, 이를테면 순방향 스와이프 제스처)에 대한 응답으로, 시퀀스 내의 연속적인 실사적 표현이 선택될 수 있다. 디바이스의 표시는 새롭게 선택된 실사적 표현을 반영하도록 업데이트된다(예컨대, 텍스트 라벨이 업데이트됨). 이어서, 물리적 룸 내의 새로운 디바이스는 가상 룸 기반 사용자 인터페이스에서 제어 대상이 된다. 지정된 제어 구역에서의 사용자 입력(예컨대, 터치)에 대한 응답으로, 홈 자동화 시스템(100)(또는 더 구체적으로, 홈 자동화 시스템(100)의 호스트 제어기(110))은 물리적 룸 내의 새로운 디바이스에 의해 제공되는 서비스의 상태를 변경한다. 다시, 가상 룸의 모습은 변경들을 반영하기 위해 동적으로 업데이트된다. 그런 업데이팅은 (예컨대, 그림자들, 반사들 등에 대한 실사적 변화들을 사용하여) 서비스의 변경된 상태를 표시하기 위해 새롭게 선택된 실사적 표현의 모습을 변경할 뿐 아니라, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경할 수 있다. 사용자는 인터페이스에 추가적 입력(예컨대, 추가적 순방향 스와이프 제스처)을 입력함으로써 디바이스들의 실사적 표현들의 시퀀스를 통해 더 진행할 수 있거나(일부 경우들에서 결국 시작으로 되돌아가는 루핑), 또는 인터페이스에 입력(예컨대, 역방향 스와이프 제스처)을 입력함으로써 디바이스들의 실사적 표현들의 시퀀스로 다시 이동할 수 있다. 디바이스 선택이 가상 룸 내의 디바이스들의 개별 표현들을 터치하는 것에 의존하지 않기 때문에, 인터페이스는 "소형 스크린" 상에 디스플레이 하기에 더 잘 적응될 수 있다.
도 3은 예시적인 가상 룸-기반 사용자 인터페이스의 예시적인 가상 룸(310)을 터치 스크린 디스플레이 상에 도시하는 예시적인 원격 제어기(140)의 도면(300)이다. 예시적인 가상 룸(310)은 예시적인 홈 내의 큰 룸에 대응한다. 그러나, 이 예에 대한 룸의 그런 선정이 임의적인 것이 이해되어야 한다. 예시적인 가상 룸(310)이 물리적 룸의 경계들의 실사적 표현들, 물리적 룸에 존재하는 가구들의 실사적 표현들, 및 물리적 룸 내의 제어가능한 디바이스들, 이를테면 행잉 램프(320) 및 테이블 램프들(330, 340)의 실사적 표현들을 포함한다. 이들 디바이스 각각은 위에서 설명된 바와 유사한 상태들(예컨대, 활성 상태, 비활성 상태 및 일부 경우들에서 복수의 활성 서브-상태)을 갖는 서비스를 제공한다.
처음에, 가상 룸이 (예컨대, 디폴트에 의해) 로딩될 때, 행잉 램프(320)의 표현은 디바이스들의 표현들의 시퀀스로부터 선택된다. 행잉 램프(320)가 선택되었다는 표시(예컨대, 텍스트 라벨)(350)가 도시된다. 또한, 행잉 램프(320)의 표현으로부터 분리된 지정된 제어 구역(예컨대, 슬라이더)(360)이 도시된다. 사용자는 행잉 램프에 의해 제공되는 조명 서비스의 상태를 변경하기 위해 지정된 제어 구역(360)에 터치 입력을 제공할 수 있다(예컨대, 슬라이더를 드래그함).
도 4는 여기서 행잉 램프에 의해 제공되는 조명 서비스의 상태를 변경하기 위해, 사용자가 지정된 제어 구역에 터치 입력을 제공한 이후(예컨대, 슬라이더를 드래그한 이후) 도 3의 예시적인 원격 제어기(140) 및 가상 룸(310)의 업데이트된 도면(400)이다. 알 수 있는 바와 같이, 가상 룸의 모습은 조명을 덜 제공하는 행잉 램프(320)의 표현을 도시하기 위해 동적으로 업데이트되고, 그런 감소된 조명의 효과들은 경계들의 표현들 및 가구들의 표현들 상에 도시된다. 행잉 램프에 의해 제공되는 조명 서비스가 조정된 이후, 사용자는 시퀀스 내의 연속적인 표현, 여기서 테이블 램프들(330, 340)의 표현을 선택하기 위해 터치 입력(예컨대, 순방향 스와이프)으로 진행할 수 있다.
도 5는 사용자가 시퀀스 내의 연속적인 표현, 여기서 테이블 램프들(330, 340)의 표현을 선택한 이후, 도 3의 예시적인 원격 제어기(140) 및 가상 룸(310)의 업데이트된 도면(500)이다. 다시, 테이블 램프들(330, 340)의 표현으로부터 분리된 지정된 제어 구역(예컨대, 슬라이더)(360)을 사용하여, 사용자는 조명 서비스의 상태를 변경할 수 있고, 가상 룸의 모습은 동적으로 업데이트된다.
도 6은 도 3에 도시된 바와 동일한 가상 룸 사용자 인터페이스의 예시적인 가상 룸(310)을 터치 스크린 디스플레이 상에 도시하는 예시적인 전용 터치 스크린 유닛(여기서, 벽-장착 유닛)의 도면(600)이다. 전용 터치 스크린 유닛 상의 예시적인 가상 룸(310)은 위에서 설명된 바와 같이, 물리적 룸 내의 디바이스들을 제어하는 데 사용될 수 있다.
요약하여, 가상 룸 내의 디바이스들의 표현들을 시퀀스로 조직하고, 사용자가 시퀀스 내의 디바이스들의 표현들을 순환시켜 임의의 주어진 시간에 단지 하나의 표현만이 선택되게 하고, 그리고 디바이스의 선택된 표현으로부터 분리된 지정된 제어 구역을 사용하여 선택된 표현에 대응하는 디바이스를 개별적으로 제어하는 "소형 스크린" 상에 사용하기에 적합한 가상 룸-기반 사용자 인터페이스가 제공된다. 위의 설명이 소정의 특정 예들을 제공하지만, 다수의 수정 및/또는 부가가 이에 대해 이루어질 수 있음이 명백해야 한다. 부가적으로, 위에서 설명된 단계들이 하드웨어, 소프트웨어(소프트웨어를 포함하는 비-일시적 전자 디바이스-판독가능 매체로서 구현됨), 펌웨어 또는 이의 조합으로 구현될 수 있다는 것이 이해되어야 한다. 비-일시적 전자 디바이스-판독가능 매체는 메모리 형태, 이를테면 RAM(Random Access Memory), 디스크, 이를테면 하드 드라이브 또는 플래시 디바이스, 또는 다른 유형의 저장 매체를 취할 수 있다. 일반적으로, 위의 설명들이 예로서만 취해지는 것으로 의도되는 것이 이해되어야 한다.

Claims (20)

  1. 홈 자동화 시스템의 디바이스들을 제어하기 위해 가상 룸-기반 사용자 인터페이스를 제공하기 위한 방법으로서,
    디바이스들의 표현들의 시퀀스로부터 제1 디바이스의 표현을 선택하는 단계 - 상기 디바이스들의 표현들 각각은 서비스들을 제공하는 물리적 룸 내에 존재하는 개별 디바이스에 대응함 -;
    원격 제어기, 모바일 디바이스 또는 전용 터치 스크린 유닛의 터치 스크린 디스플레이 상에,
    디바이스들의 표현들, 상기 물리적 룸의 경계들의 표현들, 및 상기 물리적 룸에 존재하는 가구들의 표현들을 포함하는 상기 물리적 룸에 대응하는 가상 룸,
    상기 제1 디바이스의 선택된 표현의 표시,
    상기 제1 디바이스의 선택된 표현으로부터 분리된 지정된 제어 구역
    을 디스플레이하는 단계;
    상기 지정된 제어 구역에서 상태의 변경을 나타내는 사용자 입력을 수신하는 단계;
    상기 지정된 제어 구역에서 상기 사용자 입력에 대한 응답으로,
    상기 제1 디바이스에 의해 제공되는 서비스의 상태에 대한 변경을 야기하는 단계, 및
    상기 제1 디바이스에 의해 제공되는 서비스의 변경된 상태를 반영하기 위해, 상기 제1 디바이스의 선택된 표현의 모습, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경하도록 상기 가상 룸의 모습을 동적으로 업데이팅하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 시퀀스 내에서 연속적인 표현을 선택하는 단계 - 상기 연속적인 표현은 상기 물리적 룸 내의 제2 디바이스에 대응함 -;
    상기 제2 디바이스의 표현을 나타내기 위해 상기 선택된 표현의 표시를 업데이팅하는 단계;
    상기 지정된 제어 구역에서 추가적 상태 변경을 나타내는 추가적 사용자 입력을 수신하는 단계; 및
    상기 지정된 제어 구역에서 상기 추가적 사용자 입력에 대한 응답으로,
    상기 제2 디바이스에 의해 제공되는 서비스의 상태에 대한 변경을 야기하는 단계, 및
    상기 제2 디바이스에 의해 제공되는 서비스의 변경된 상태를 반영하기 위해, 상기 제2 디바이스의 표현의 모습, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경하도록 상기 가상 룸의 모습을 동적으로 업데이팅하는 단계
    를 더 포함하는, 방법.
  3. 제2항에 있어서, 상기 연속적인 표현을 선택하는 단계는 상기 터치 스크린 디스플레이 상의 부가적인 사용자 입력에 응답하는, 방법.
  4. 제3항에 있어서, 상기 부가적인 사용자 입력은 순방향 스와이프 제스처(swipe gesture)인, 방법.
  5. 제2항에 있어서,
    상기 시퀀스 내에서 이전 표현을 선택하는 단계 - 상기 이전 표현은 상기 물리적 룸 내의 제1 디바이스에 대응함 -;
    상기 제1 디바이스를 다시 나타내기 위해 상기 선택된 표현의 표시를 업데이팅하는 단계;
    상기 지정된 제어 구역에서 또 다른 추가적 상태 변경을 나타내는 또 다른 추가적 사용자 입력을 수신하는 단계; 및
    상기 지정된 제어 구역에서 상기 또 다른 추가적 사용자 입력에 대한 응답으로,
    상기 제1 디바이스에 의해 제공되는 서비스의 상태에 대한 추가적 변경을 야기하는 단계, 및
    상기 제1 디바이스에 의해 제공되는 서비스의 변경된 상태를 반영하기 위해, 상기 제1 디바이스의 표현의 모습, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경하도록 상기 가상 룸의 모습을 동적으로 업데이팅하는 단계
    를 더 포함하는, 방법.
  6. 제5항에 있어서, 상기 이전 표현을 선택하는 단계는 상기 터치 스크린 디스플레이 상의 부가적인 사용자 입력에 응답하는, 방법.
  7. 제6항에 있어서, 상기 부가적인 사용자 입력은 역방향 스와이프 제스처인, 방법.
  8. 제1항에 있어서, 상기 제1 디바이스의 표현을 선택하는 단계는 디폴트 선택인, 방법.
  9. 제1항에 있어서, 상기 제1 디바이스는 조명 디바이스이고, 상기 제1 디바이스에 의해 제공되는 서비스는 조명 서비스이고, 상기 서비스의 변경된 상태는 조명 레벨에 대한 변경인, 방법.
  10. 제1항에 있어서, 상기 제1 디바이스는 오디오/비디오(A/V) 디바이스이고, 상기 제1 디바이스에 의해 제공되는 서비스는 시청 서비스이고, 상기 서비스의 변경된 상태는 비디오 소스, 채널 또는 볼륨 레벨 중 적어도 하나에 대한 변경인, 방법.
  11. 제1항에 있어서, 상기 디바이스들의 표현들, 상기 물리적 룸의 경계들의 표현들 및 상기 물리적 룸 내에 존재하는 가구들의 표현들은 각각 실사적(photo-realistic) 표현들인, 방법.
  12. 제1항에 있어서, 상기 터치 스크린 디스플레이는 대각선이 7 인치 미만인, 방법.
  13. 디바이스들을 제어하기 위한 가상 룸-기반 사용자 인터페이스를 갖는 홈 자동화 시스템으로서,
    터치 스크린 디스플레이를 포함하고 디바이스들의 표현들의 시퀀스로부터 제1 디바이스의 표현을 선택하고 - 상기 디바이스들의 표현들 각각은 서비스들을 제공하는 물리적 룸 내에 존재하는 개별 디바이스에 대응함 -, 디바이스들의 표현들, 상기 물리적 룸의 경계들의 표현들, 및 상기 물리적 룸 내에 존재하는 가구들의 표현들을 포함하는 상기 물리적 룸에 대응하는 가상 룸을 상기 터치 스크린 디스플레이 상에 디스플레이하고, 상기 제1 디바이스의 선택된 표현의 표시를 상기 터치 스크린 디스플레이 상에 디스플레이하고, 그리고 상기 제1 디바이스의 선택된 표현으로부터 분리된 상기 터치 스크린 디스플레이 상의 지정된 제어 구역에서 사용자 입력을 수신하도록 구성된 전자 디바이스; 및
    상기 전자 디바이스와 통신하고 상기 홈 자동화 시스템의 디바이스들을 제어하도록 동작가능한 제어기
    를 포함하고, 상기 제어기는 상기 지정된 제어 구역에서 상기 사용자 입력에 대한 응답으로, 상기 제1 디바이스에 의해 제공되는 서비스의 상태를 변경하도록 구성되고,
    상기 전자 디바이스는 추가로 상기 제1 디바이스에 의해 제공되는 서비스의 변경된 상태를 반영하기 위해 상기 제1 디바이스의 선택된 표현의 모습, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경하도록 상기 가상 룸의 모습을 동적으로 업데이트하도록 구성되는,
    홈 자동화 시스템.
  14. 제1항에 있어서, 상기 전자 디바이스는 추가로 상기 시퀀스 내에서 연속적인 표현을 선택하고 - 상기 연속적인 표현은 상기 물리적 룸 내의 제2 디바이스에 대응함 -, 상기 제2 디바이스의 표현을 나타내기 위해 상기 선택된 표현의 표시를 업데이트하고, 그리고 상기 지정된 제어 구역에서 추가적 상태 변경을 나타내는 추가적 사용자 입력을 수신하도록 구성되고, 그리고
    상기 제어기는 추가로 상기 지정된 제어 구역에서 상기 추가적 사용자 입력에 대한 응답으로, 상기 제2 디바이스에 의해 제공되는 서비스의 상태를 변경하도록 구성되고,
    상기 전자 디바이스는 추가로 상기 제2 디바이스에 의해 제공되는 서비스의 변경된 상태를 반영하기 위해 상기 제2 디바이스의 표현의 모습, 경계들의 표현들의 모습 및 가구들의 표현들의 모습을 변경하도록 상기 가상 룸의 모습을 동적으로 업데이트하도록 구성되는, 홈 자동화 시스템.
  15. 제13항에 있어서, 연속적인 표현을 선택하는 것은 상기 터치 스크린 디스플레이 상의 부가적인 사용자 입력에 응답하는, 홈 자동화 시스템.
  16. 제13항에 있어서, 상기 제1 디바이스의 표현의 선택은 디폴트 선택인, 홈 자동화 시스템.
  17. 제13항에 있어서, 상기 제1 디바이스는 조명 디바이스이고, 상기 제1 디바이스에 의해 제공되는 서비스는 조명 서비스이고, 상기 서비스의 변경된 상태는 조명 레벨에 대한 변경인, 홈 자동화 시스템.
  18. 제13항에 있어서, 상기 제1 디바이스는 오디오/비디오(A/V) 디바이스이고, 상기 제1 디바이스에 의해 제공되는 서비스는 시청 서비스이고, 상기 서비스의 변경된 상태는 비디오 소스, 채널 또는 볼륨 레벨 중 적어도 하나에 대한 변경인, 홈 자동화 시스템.
  19. 제13항에 있어서, 상기 디바이스들의 표현들, 상기 물리적 룸의 경계들의 표현들 및 상기 물리적 룸 내에 존재하는 가구들의 표현들은 각각 실사적 표현들인, 홈 자동화 시스템.
  20. 인코딩된 소프트웨어를 갖는 비-일시적 전자 디바이스 판독가능 매체로서,
    상기 소프트웨어는, 하나 이상의 전자 디바이스의 하나 이상의 프로세서 상에서 실행될 때,
    물리적 룸에 대응하고 상기 물리적 룸에 존재하는 디바이스들의 표현들을 포함하는 가상 룸,
    제1 디바이스의 선택된 표현의 표시,
    상기 제1 디바이스의 선택된 표현으로부터 분리된 지정된 제어 구역
    을 포함하는 홈 자동화 시스템의 가상 룸-기반 사용자 인터페이스를 디스플레이하고;
    상기 지정된 제어 구역에서 상태의 변경을 나타내는 사용자 입력을 수신하고; 그리고
    상기 지정된 제어 구역에서 상기 사용자 입력에 대한 응답으로,
    상기 제1 디바이스에 의해 제공되는 서비스의 상태에 대한 변경을 야기하고, 그리고
    상기 제1 디바이스에 의해 제공되는 서비스의 변경된 상태를 반영하기 위해 상기 제1 디바이스의 선택된 표현의 모습을 변경하도록 상기 가상 룸의 모습을 동적으로 업데이트하도록
    동작가능한, 비-일시적 전자 디바이스 판독가능 매체.
KR1020207006452A 2017-09-06 2018-09-06 소형 스크린 가상 룸-기반 사용자 인터페이스 KR102645601B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762555038P 2017-09-06 2017-09-06
US62/555,038 2017-09-06
PCT/US2018/049712 WO2019051060A1 (en) 2017-09-06 2018-09-06 USER INTERFACE BASED ON A SMALL SCREEN VIRTUAL ROOM

Publications (2)

Publication Number Publication Date
KR20200046042A true KR20200046042A (ko) 2020-05-06
KR102645601B1 KR102645601B1 (ko) 2024-03-07

Family

ID=63788009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207006452A KR102645601B1 (ko) 2017-09-06 2018-09-06 소형 스크린 가상 룸-기반 사용자 인터페이스

Country Status (9)

Country Link
EP (1) EP3679464B1 (ko)
JP (1) JP7312162B2 (ko)
KR (1) KR102645601B1 (ko)
CN (1) CN111052066A (ko)
AU (1) AU2018329837B2 (ko)
CA (1) CA3073208A1 (ko)
ES (1) ES2972208T3 (ko)
IL (1) IL273111B (ko)
WO (1) WO2019051060A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102489505B1 (ko) * 2017-09-29 2023-01-17 삼성전자주식회사 장치 정보 또는 환경 정보 중 적어도 하나에 기초하여 설정 값을 결정하는 전자 장치 및 그 제어 방법
CN112632268B (zh) * 2020-12-29 2024-07-09 平安银行股份有限公司 投诉工单检测处理方法、装置、计算机设备及存储介质
CN112732460B (zh) * 2021-01-05 2024-08-06 卓望数码技术（深圳）有限公司 数据状态管理方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060218591A1 (en) * 2001-08-29 2006-09-28 Digeo, Inc. System and method for focused navigation using option type filters
KR20120027454A (ko) * 2009-06-03 2012-03-21 사반트 시스템즈 엘엘씨 가상 방-기반 조명 기구 및 디바이스 제어
JP2016525732A (ja) * 2013-05-13 2016-08-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 照明特性を制御するためのグラフィックユーザインターフェースを備えた装置
KR20160125439A (ko) * 2014-02-26 2016-10-31 사반트 시스템즈 엘엘씨 사용자 생성 가상 공간 기반의 사용자 인터페이스

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463343B1 (en) * 1999-08-10 2002-10-08 International Business Machines Corporation System and method for controlling remote devices from a client computer using digital images
US8042049B2 (en) * 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
IL160429A0 (en) * 2004-02-16 2005-11-20 Home Comfort Technologies Ltd Environmental control system
US8689132B2 (en) * 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US20100164878A1 (en) * 2008-12-31 2010-07-01 Nokia Corporation Touch-click keypad
US20130068832A1 (en) * 2011-09-21 2013-03-21 Ligitek Electronics Co., Ltd. Method for wirelessly controlling electronic device with quick response code and electronic device product utilizing the same
TWI484405B (zh) * 2012-08-23 2015-05-11 Egalax Empia Technology Inc 圖形使用者界面的顯示方法及使用該方法的電子裝置
US20150193127A1 (en) * 2014-01-07 2015-07-09 Opentv Inc. Systems and methods of displaying integrated home automation modules
US10310704B2 (en) * 2014-09-18 2019-06-04 Ademco Inc. System and method to have location based personalized UI updates on mobile app for connected users in security, video and home automation applications
JP2016167385A (ja) 2015-03-09 2016-09-15 パナソニックＩｐマネジメント株式会社 携帯端末及び機器制御システム
JP6575911B2 (ja) 2016-01-05 2019-09-18 パナソニックＩｐマネジメント株式会社 制御方法、及び、情報端末

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060218591A1 (en) * 2001-08-29 2006-09-28 Digeo, Inc. System and method for focused navigation using option type filters
KR20120027454A (ko) * 2009-06-03 2012-03-21 사반트 시스템즈 엘엘씨 가상 방-기반 조명 기구 및 디바이스 제어
JP2016525732A (ja) * 2013-05-13 2016-08-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 照明特性を制御するためのグラフィックユーザインターフェースを備えた装置
KR20160125439A (ko) * 2014-02-26 2016-10-31 사반트 시스템즈 엘엘씨 사용자 생성 가상 공간 기반의 사용자 인터페이스

Also Published As

Publication number Publication date
IL273111B (en) 2022-09-01
CA3073208A1 (en) 2019-03-14
KR102645601B1 (ko) 2024-03-07
ES2972208T3 (es) 2024-06-11
WO2019051060A1 (en) 2019-03-14
CN111052066A (zh) 2020-04-21
EP3679464A1 (en) 2020-07-15
JP7312162B2 (ja) 2023-07-20
AU2018329837A1 (en) 2020-03-05
JP2020533690A (ja) 2020-11-19
IL273111A (en) 2020-04-30
AU2018329837B2 (en) 2023-07-13
EP3679464B1 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
US10802668B2 (en) Small screen virtual room-based user interface
US11688140B2 (en) Three dimensional virtual room-based user interface for a home automation system
JP5782433B2 (ja) 仮想部屋ベースの照明設備及び装置の制御
US10685624B2 (en) Electronic apparatus and method for outputting content
CN106255996B (zh) 用户生成的基于虚拟房间的用户接口
KR102645601B1 (ko) 소형 스크린 가상 룸-기반 사용자 인터페이스
IL289743A (en) Communication beyond the line of sight
US20120066639A1 (en) Scrolling device collection on an interface

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant