KR20220062031A

KR20220062031A - 홈 자동화 시스템을 위한 3차원 가상적 룸-기반 사용자 인터페이스

Info

Publication number: KR20220062031A
Application number: KR1020227011428A
Authority: KR
Inventors: 로버트 피. 마돈나; 맥스웰 마돈나; 데이비드 더블유. 타트젤; 마이클 에이. 몰타; 티모시 칼만
Original assignee: 사반트 시스템즈, 인크.
Priority date: 2019-09-11
Filing date: 2020-09-11
Publication date: 2022-05-13
Also published as: US11688140B2; WO2021050872A1; EP4028863A1; US20210074062A1; CN114651221A; JP2022547319A; US20230290073A1; IL291215A; AU2020346889A1; CA3153935A1

Abstract

하나의 실시예에서는, 홈 자동화 시스템을 위한 사용자-탐색가능한 3차원(3-D) 가상적 룸-기반 사용자 인터페이스가 제공된다. 각각의 사용자-탐색가능한 3-D 가상적 룸은 물리적 룸의 경계들, 물리적 룸에서 존재하는 가구들, 및 홈 자동화 시스템의 제어 하에 있는 물리적 룸에서 존재하는 디바이스들의 실질적으로 사실적 묘사들을 포함하는, 구조의 대응하는 물리적 룸의 실질적으로 사실적 묘사를 도시한다. 사용자는 상이한 관점들로부터 가상적 룸을 관측하기 위하여 3-D 공간에서 가상적 카메라를 이동시켜서, 사용자-탐색가능한 3-D 가상적 룸 내에서 탐색하기 위하여, 명시적 탐색 커맨드들 또는 묵시적 액션들을 이용할 수 있다. 사용자-탐색가능한 3-D 가상적 룸 내에서의 디바이스들의 실질적으로 사실적 묘사들과 상호작용(예컨대, 터치, 클릭 등)함으로써, 사용자는 물리적 룸에서의 대응하는 디바이스들의 상태에 대한 변경들을 표시할 수 있다.

Description

홈 자동화 시스템을 위한 3차원 가상적 룸-기반 사용자 인터페이스

관련 출원들

본 출원은 "Three Dimensional Virtual Room-Based User Interface for a Home Automation System"에 대하여 Robert P. Madonna 등에 의해 2019년 9월 11일자로 출원된 미국 특허 가출원 제62/898,941호의 이익을 주장하고, 이 미국 특허 가출원의 내용들은 그 전체적으로 참조로 본 명세서에 편입된다.

본 개시내용은 일반적으로 디바이스 제어에 관한 것으로, 더 구체적으로, 홈 자동화 시스템(home automation system)에서의 디바이스들을 제어하기 위한 사용자 인터페이스에 관한 것이다.

집들 및 다른 구조들이 더 커지고, 더 많은 디바이스들로 채워짐에 따라, 디바이스 제어는 증가하는 도전이 되고 있다. 전통적으로, 많은 디바이스들은 기계적인 스위치들에 의해 제어되었다. 기계적인 스위치들은 신뢰성 있고 비용-효과적이지만, 이들은 특히, 구조의 동일한 룸(room) 내에 위치된 많은 디바이스들이 있을 때에 많은 제한들을 가진다. 예를 들어, 큰 룸은 큰 수의 라이팅 디바이스(lighting device)들, 디스플레이 디바이스들, 전자 창문 블라인드(window blind)들, 가열 통풍 및 공기 조절(heating ventilation and air conditioning)(HVAC) 디바이스들 등을 포함할 수 있다. 모든 이러한 디바이스들을 제어하기 위하여, 큰 수의 기계적인 스위치들이 필요할 수 있다. 기계적인 스위치들의 수가 룸 내에서 증가함에 따라, 유용성은 감소한다. 기계적인 스위치들은 종종 라벨이 붙여지지 않거나, 라벨이 붙여질 경우에, 오직 암호적 설명들(예컨대, "램프 1", "램프 2" 등)로 표기된다. 사용자는 룸에서 이용가능한 많은 기계적인 스위치들 중의 어느 것이 어느 디바이스를 제어하는지를 기억하도록 강요될 수 있다. 이 관계를 기억하지 않는 사용자는 전형적으로, 이들이 희망하는 결과를 발견할 때까지 스위치들을 뒤집는 시행 착오(trial and error)에 의존해야 한다.

기계적인 스위치들의 단점들을 개선시키도록 시도하는 다양한 유형들의 홈 자동화 시스템들이 개발되었다. 이러한 시스템들은 전형적으로, 디바이스들의 동작을 관리하는 하나 이상의 제어기들을 포함한다. 제어기들은 디바이스들을 제어하기 위한 사용자 인터페이스를 제공하는 전용 터치 스크린 유닛들과 같은 사용자 인터페이스 디바이스들을 통해 상호작용될 수 있다. 사용자 인터페이스는 터치-감지식 버튼들 또는 슬라이어들의 어레이를 포함할 수 있고, 여기서, 각각의 버튼 또는 슬라이더는 디바이스 또는 디바이스들의 그룹을 제어한다.

그러나, 이러한 버튼-중심적 온-스크린 사용자 인터페이스(button-centric on-screen user interface)들은 기계적인 스위치들과 동일한 단점들의 많은 것을 공유한다. 버튼들 및 슬라이더들은 기계적인 스위치들처럼 물리적으로 존재하는 것이 아니라, 스크린 상에서 도시되지만, 이들은 매우 유사하게 동작한다. 온-스크린 버튼 또는 슬라이더를 주시함으로써, 버튼 또는 슬라이더가 행하는 것이 분명하지 않을 수 있다. 라벨이 제공될 수 있지만, 스크린 공간의 제약들이 주어질 경우에, 종종 이러한 라벨들은 짧고 암호적이다. 라벨은 시스템을 구성하는 설치자에게 의미가 통할 수 있지만, 그것은 사용자에 대한 본질적인 의미를 거의 가지지 않을 수 있다. 기계적인 스위치들을 갖는 경우와 유사하게, 사용자는 버튼 또는 슬라이더가 희망된 결과를 달성하는 것을 시행착오에 의해 탐지하기 위하여 각각의 온-스크린 버튼을 터치하거나 각각의 슬라이더를 슬라이딩해야 할 수 있다.

더욱 최근에는, 기계적인 스위치들 및 버튼-중심적 온-스크린 사용자 인터페이스들의 많은 단점들을 해결하는 디바이스 제어 해결책이 개발되었다. 이 해결책은 터치 스크린 상에서 디스플레이된 하나 이상의 고정된-관점 2차원(two-dimensional)(2-D) 가상적 룸들을 포함하는 사용자 인터페이스를 제공한다. 각각의 가상적 룸은 구조의 대응하는 물리적 룸의 2-D 묘사(2-D depiction)를 도시한다. 스크린 상에서 도시된 고정된-관점 2-D 가상적 룸 내에서의 디바이스의 묘사를 터치함으로써, 사용자는 물리적 룸에서 홈 자동화 시스템에 의해 수행되는 디바이스에 대한 상태 변경을 표시할 수 있다. 디바이스의 상태가 물리적 룸에서 변경될 때, 고정된-관점 2-D 가상적 룸의 외관은 변경된 상태를 도시하도록 업데이팅된다.

이 유형의 해결책은 기계적인 스위치들 및 버튼-중심적 온-스크린 사용자 인터페이스들의 많은 단점들을 해결하고, 현저한 진전을 나타내지만, 그것은 여전히 개선될 수 있다. 고정된-관점 2-D 가상적 룸들에 기초한 인터페이스에서의 하나의 쟁점은, 사용자가 구조의 평면도 및 각각의 룸의 특정 명칭들에 친숙할 것을 이러한 인터페이스가 요구한다는 것이다. 사용자는 인터페이스에서 다수의 상이한 고정된-관점 2-D 가상적 룸들을 제시받을 수 있고, 이들 중에서 선택할 필요가 있을 수 있다. 사용자가 구조 주위에서 이동하고, 상이한 물리적 룸들에서 디바이스들을 제어하는 것을 희망할 때, 이 선택은 반복될 필요가 있다. 사용자가 구조의 평면도 및 각각의 룸이 칭해지는 것에 친숙하지 않을 경우에, 사용자들은 그들이 희망하는 변경들을 구현하기 위해 이용하기 위한 올바른 가상적 룸을 선택하기 위하여, 시행착오에 의지해야 할 필요가 있을 수 있다.

고정된-관점 2-D 가상적 룸들에 기초한 인터페이스에서의 또 다른 쟁점은, 일부 유형들의 상태 변경들이 용이하게 표현되지 않을 수 있거나, "자연적(natural)"인 것으로 보이지 않는다는 것이다. 이전의 기법들에 따르면, 고정된-관점 2-D 가상적 룸은 전부-오프(all-off) 2-D 이미지, 및 활성화된 하나의 디바이스 및 비활성화된 모든 다른 디바이스들을 갖는 디바이스-특정 이미지들을 포함하는, 동일한 미리 선택된 관점으로부터의 상이한 상태들에서의 물리적 룸의 복수의 2-D 이미지들(예컨대, 사진들)을 캡처(capture)함으로써 생성된다. 복수의 이미지들 중의 다양한 이미지들은 상태들의 상이한 조합들인 디바이스들을 갖는 고정된-관점 2-D 가상적 룸을 생성하기 위하여 함께 필터링된다. 이러한 필터링은 일부 유형들의 상태 변경들(예컨대, 일부 조명 상태(illumination state) 변경들)에 대하여 양호하게 작동하지만, 그것은 외관이 작은 수의 2-D 이미지들을 조합함으로써 양호하게 재현되지 않는 다른 유형들의 상태 변경들(예컨대, 컬러화된 조명 상태(colored illumination state)들, 미디어 컨텐츠 상태(media content state)들, 전자 블라인드 포지션(electronic blind position)들, 가스 벽난로 화염 설정(gas fireplace flame setting)들 등)에 대해서는 실용적이지 않다. 예를 들어, 일부 컬러화된 라이팅 디바이스들은 큰 수의 컬러들(예컨대, 32 비트 컬러)을 생성할 수 있다. 물리적 룸에서의 모든 이러한 컬러들의 외관은 작은 수의 2-D 이미지들을 함께 필터링함으로써 용이하게 시뮬레이팅되지 않을 수 있고; 간단하게 너무 많은 가능성들이 있다. 마찬가지로, 텔레비전 상의 미디어 컨텐츠 상태들(예컨대, 채널, 소스 파일 등)은 작은 수의 2-D 이미지들을 함께 필터링함으로써 용이하게 시뮬레이팅되지 않을 수 있고; 필요한 정보는 간단하게 거기에 있지 않다. 마찬가지로, 필터링은 다수의 디바이스들이 물리적 룸의 외관에 영향을 주기 위하여 어떻게 상호작용하는지의 뉘앙스(nuance)들을 항상 완전히 재생성하지는 않는다. 예를 들어, 전자 블라인드 포지션들에 의해 야기된 자연적인 태양광, 라이팅 디바이스들로부터의 인공적인 광, 및 가스 벽난로 화염으로의 주변 광 등의 상호작용들은 작은 수의 2-D 이미지들을 함께 간단하게 필터링함으로써 양호하게 재현되지 않을 수 있다.

고정된-관점 2-D 가상적 룸들에 기초한 인터페이스에서의 또 다른 쟁점은, 일부 룸 형상들 또는 디바이스 배열들을 위한 만족스러운 관점들을 미리 선택하는 것은 어려울 수 있다는 것이다. 전형적으로, 설치자는 최소의 교합(occlusion)들로 합리적인 크기로 다수의 디바이스들을 도시하는 2-D 이미지들을 캡처하기 위한 작은 수의 관점들을 미리 선택할 것이다. 복잡한 형상들, 디바이스들의 통상적이지 않은 배열들 등을 갖는 어떤 룸들에 대해서는, 이 목적들을 양호하게 충족시키는 작은 수의 관점들을 미리 선택하는 것이 어려울 수 있거나 불가능할 수 있다. 고정된-관점 2-D 가상적 룸-기반 사용자 인터페이스가 여전히 생성될 수 있지만, 그 유용성은 감소될 수 있다.

따라서, 이 쟁점들 중의 일부 또는 전부를 해결할 수 있는 홈 자동화 시스템을 제어하기 위한 개선된 가상적 룸-기반 사용자 인터페이스에 대한 필요성이 있다.

하나의 실시예에서는, 홈 자동화 시스템을 위한 사용자-탐색가능한(user-navigable) 3차원(three-dimensional)(3-D) 가상적 룸-기반 사용자 인터페이스가 제공된다. 각각의 사용자-탐색가능한 3-D 가상적 룸은 물리적 룸의 경계들(예컨대, 벽들, 천장, 바닥 등), 물리적 룸에서 존재하는 가구들(예컨대, 소파들, 의자들, 침대들, 벽걸이들 등), 및 홈 자동화 시스템의 제어 하에 있는 물리적 룸에서 존재하는 디바이스들(예컨대, 라이팅 디바이스들, 디스플레이 디바이스들, 전자 창문 블라인드들, HVAC 디바이스들, 및/또는 다른 유형들의 디바이스들)의 실질적으로 사실적 묘사(photo-realistic depiction)들을 포함하는, 구조의 대응하는 물리적 룸의 실질적으로 사실적 묘사를 도시한다. 사용자는 상이한 관점들로부터 가상적 룸을 관측하기 위하여 3-D 공간에서 가상적 카메라를 이동시켜서, 사용자-탐색가능한 3-D 가상적 룸 내에서 탐색하기 위하여, 명시적 탐색 커맨드들(예컨대, 이동 커맨드들 또는 노드 선택들) 또는 묵시적 액션들(예컨대, 위치결정 비콘(positioning beacon)들 및/또는 배향 센서(orientation sensor)를 이용하여 검출된 바와 같은 디바이스의 이동)을 이용할 수 있다. 사용자-탐색가능한 3-D 가상적 룸 내에서의 디바이스들의 실질적으로 사실적 묘사들과 상호작용(예컨대, 터치, 클릭 등)함으로써, 사용자는 물리적 룸에서의 대응하는 디바이스들의 상태에 대한 변경들을 표시할 수 있다. 물리적 룸에서의 디바이스들의 상태가 변경될 때, 3-D 그래픽 엔진은 변경들을 반영하기 위하여 사용자-탐색가능한 3-D 가상적 룸의 외관을 동적으로 업데이팅할 수 있어서, 사용자가 가상적 룸 내에서 관측하는 것은 대응하는 물리적 룸 내에서의 그 경험을 모방할 것이다. 사용자는 이전의 인터페이스들보다 3-D 가상적 룸-기반 인터페이스를 더 용이하게 탐색할 수 있는데, 그 이유는 사용자들이 3-D 공간을 통해 통행할 수 있고 룸들의 관계들을 관찰할 수 있기 때문이다. 또한, 3-D 가상적 룸은 3-D 그래픽 엔진을 활용하여, 이전에 표현하기 어려운 상태들 및 외관 효과들을 도시할 수 있다. 여전히 또한, 3-D 가상적 룸은 다양한 룸 형상들 및 디바이스 배열들에 더 적응가능할 수 있다.

사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스는 물리적 룸의 3-D 메시 모델(mesh model) 및 2-D 이미지들을 이용하여 생성될 수 있다. 예시적인 프로세스에서, 설치자는 물리적 룸에서의 복수의 포지션들에서 3-D 카메라를 배치하고, 2-D 이미지들(예컨대, 2-D 파노라마 이미지들) 및 3-D 공간 모델(예컨대, 3-D 메시)의 복수의 중첩하는 세트들을 캡처한다. 중첩하는 2-D 이미지들(예컨대, 2-D 파노라마 이미지들) 및 3-D 공간 모델(예컨대, 3-D 메시)은 이미지 데이터를 3-D 공간 모델에서의 대응하는 위치들로 링크(즉, 스티칭(stich))하는 스티칭 애플리케이션(stitching application)으로 임포팅(import)된다. 스티칭된 2-D 이미지들(예컨대, 2-D 파노라마 이미지들) 및 3-D 공간 모델(예컨대, 3-D 메시)은 3-D 모델링 애플리케이션(modeling application)으로 임포팅된다. 설치자는 시각적 아티팩트(visual artifact)들을 정정하고 디바이스들의 성질들 및 디바이스들의 상태를 변경하기 위하여 인식된 제어 커맨드들로 맵핑되는 히트 영역(hit region)들로 디바이스들의 묘사들을 태깅(tag)하기 위하여 3-D 모델링 애플리케이션을 사용한다. 설치자는 외관 변경들을 성질들 및 제어 커맨드들과 일치하는 디바이스들의 묘사들에 배정하기 위하여 3-D 모델링 애플리케이션을 추가로 사용한다. 배정된 외관 변경들은 제어 커맨드들이 발행될 때, 외관이 물리적 룸에서의 변경들과 일치하기 위하여 어떻게 업데이팅되어야 하는지를 정의한다. 그 후에, 스티칭된, 아티팩트-정정된, 태깅된, 외관 배정된 2-D 이미지들 및 3-D 공간 모델들(이제 가상적 룸들로서 지칭됨)은 홈 자동화 시스템 및 그 디바이스들을 제어하기 위하여 사용자에 의해 이용될 수 있는 제어 앱(control app)으로 익스포팅(export)된다.

가상적 룸에서의 가상적 카메라가 2-D 이미지들(예컨대, 2-D 파노라마 이미지들) 중의 하나가 캡처되었던 포지션과 대응하는 포지션에 있을 때, 제어 앱의 3-D 그래픽 엔진은 필요한 바와 같이 외관 변경들에서 추가하여, 2-D 이미지(예컨대, 2-D 파노라마 이미지들)로부터의 데이터를 디스플레이할 수 있다. 가상적 카메라가 2-D 이미지(예컨대, 2-D 파노라마 이미지들)의 포지션 중의 임의의 것과 대응하지 않는 포지션들을 통해 이동될 때, 제어 앱의 3-D 그래픽 엔진은 이용가능한 2-D 이미지들을 3-D 공간 모델(예컨대, 3-D 메시)과 배합하고(예컨대, 알파 채널(alpha channel)을 변경하고 그 계층들을 렌더링함), 필요한 바와 같이 외관 변경들에서 추가하여, 배합된 데이터를 디스플레이한다.

다양한 추가적인 특징들 및 대안적인 실시예들이 구현될 수 있다는 것이 이해되어야 한다. 이 개요는 독자에 대한 간략한 소개로서 간단하게 의도되고, 본 명세서에서 언급된 예들이 발명의 모든 양태들을 포괄하거나 발명의 필요한 또는 필수적인 양태들이라는 것을 표시하거나 암시하지는 않는다.

이하의 설명은 동반 도면들을 지칭하고, 도면들 중에서:
도 1은 구조(예컨대, 거주 주택 또는 상업적 건물)의 룸들에서의 디바이스들을 제어하도록 동작가능한 홈 자동화 시스템의 예시적인 아키텍처의 블록도이고;
도 2a는 제어 앱에 의해 디스플레이될 수 있는 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷(screen shot)이고;
도 2b 내지 도 2c는 상이한 관점들로부터 가상적 룸을 관측하기 위하여 3-D 공간에서의 가상적 카메라의 자유로운 이동을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이고;
도 2d 내지 도 2e는 상이한 관점들로부터 가상적 룸을 관측하기 위하여 탐색 노드(navigation node)들을 이용하여 3-D 공간에서의 가상적 카메라의 이동을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이고;
도 2f 내지 도 2g는 라이팅 디바이스의 묘사와의 사용자 상호작용에 응답하여 라이팅 디바이스들의 조명에 대한 변경들을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이고;
도 2h 내지 도 2i는 디스플레이 디바이스의 묘사와의 사용자 상호작용에 응답하여 디스플레이 디바이스의 상태에 대한 변경들을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이고,
도 2j 내지 도 2l은 메뉴(menu)에서의 선택들에 응답하여 라이팅 디바이스의 상태에 대한 변경들을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이고;
도 2m은 상업적인 구현예를 더 근접하게 근사화할 수 있는, 더 높은 해상도이며 시각적 아티팩트들을 갖지 않는 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷이고;
도 3은 홈 자동화 시스템의 디바이스들을 제어하기 위하여 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스를 동작시키기 위한 단계들의 예시적인 시퀀스(sequence)의 흐름도이고;
도 4는 홈 자동화 시스템의 디바이스들을 제어하기 위하여 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스를 생성하기 위한 단계들의 예시적인 시퀀스의 흐름도이다.

정의들

본 명세서에서 이용된 바와 같이, 용어 "홈 자동화 시스템(home automation system)"은 거주 주택 또는 상업적 건물과 같은 구조 내의 디바이스들, 예컨대, 라이팅 디바이스들, 디스플레이 디바이스들, 전자 창문 블라인드들, HVAC 디바이스들, 및/또는 다른 유형들의 디바이스들을 제어할 수 있는 다양한 유형들의 홈 제어 "스마트 홈(smart home)" 및/또는 디바이스 제어 시스템들을 망라하도록 폭넓게 해독되어야 한다.

본 명세서에서 이용된 바와 같이, 용어 "물리적 룸(physical room)"은 하나 이상의 디바이스들이 서비스들을 제공할 수 있는 물리적 구조의 내부 부분 또는 물리적 구조와 연관된 외부 공간을 지칭한다.

본 명세서에서 이용된 바와 같이, 용어 "가상적 룸(virtual room)"은 물리적 구조의 내부 부분 또는 물리적 구조와 연관된 외부 공간의 묘사에 의해 표현되는 물리적 룸의 디지털 트윈(digital twin)을 지칭한다.

본 명세서에서 이용된 바와 같이, 용어 "이동 디바이스(mobile device)"는 범용 오퍼레이팅 시스템을 실행하고 사람이 수송하도록 적응되는 전자 디바이스를 지칭한다. 스마트폰들과 같은 디바이스들은 이동 디바이스들로 고려되어야 한다. 데스크톱 컴퓨터들, 서버들, 또는 다른 주로-정지된 컴퓨팅 디바이스들은 일반적으로 이동 디바이스들로 고려되지 않아야 한다.

예시적인 홈 자동화 시스템

도 1은 구조(예컨대, 거주 주택 또는 상업적 건물)의 룸들에서의 디바이스들을 제어하도록 동작가능한 홈 자동화 시스템의 예시적인 아키텍처(100)의 블록도이다. 시스템의 핵심부에는, 홈내(in-home) 로컬 영역 네트워크(local area network)(LAN)(예컨대, 이더넷(Ethernet)과 같은 유선 네트워크 및/또는 Wi-Fi와 같은 무선 네트워크)(150)에 결합된 호스트 제어기(110)가 있다. 호스트 제어기는, 디바이스들(112 내지 124)의 동작들을 모니터링하고 제어하고, 비콘들(125)을 사용하고, UI 해독, 시스템 감독 및 모니터링, 클라우드 서비스들(180), 원격 제어부들(140), 이동 디바이스들(160), 및 시스템을 제어하기 위하여 이용된 다른 전자 디바이스들(165)과의 동기화를 제공하고, 활동 레코딩 서비스(activity recording service)들을 제공하고, 활동 예측 서비스들 및/또는 다른 유형들의 기능성을 제공하도록 구성된 호스트 소프트웨어(111)를 집합적으로 저장하고 실행하는, 프로세서, 메모리, 및 저장 디바이스와 같은 하드웨어 컴포넌트들을 포함할 수 있다. 호스트 제어기(110)는 그 저장 디바이스에서, 홈 자동화 시스템에 의해 제어된 디바이스들(112 내지 124) 및 디바이스들이 제공할 수 있는 서비스들에 관한 정보 뿐만 아니라, 제어부들(140), 이동 디바이스들(160), 및 시스템을 제어하기 위하여 이용된 다른 전자 디바이스들(165)에 대한 정보를 포함하는 구성 정보를 저장하는 홈 데이터베이스(130)를 유지할 수 있다.

홈 자동화 시스템의 디바이스들(112 내지 124)은 광 고정부(light fixture)들, 디머 모듈(dimmer module)들 등과 같은 라이팅 디바이스들(112); 키패드들, 스위치들, 터치 스크린들 등과 같은 인터페이스 디바이스들(113); 홈 모니터들/카메라들, 모션 센서(motion sensor)들, 홈 헬스케어 센서(home healthcare sensor)들, 관련된 제어기들 등과 같은 보안 디바이스들(114); 디스플레이 디바이스들(예컨대, 텔레비전들, 모니터들 등), A/V 디바이스 제어기들, 미디어 서버들, 오디오 증폭기들, 케이블 박스들 등과 같은 오디오 디바이스들(116) 및 비디오 디바이스들(118)(집합적으로 A/V 디바이스들); 전자 도어 락(door lock)들(120); 전자 창문 블라인드들(121) 및 룸에서 모션을 생성하는 다른 유형들의 모터-동작된 디바이스들(예컨대, 텔레비전 리프트들, 자동 도어들 등) 등; 서모스탯(thermostat)-제어된 가열 및 냉각 시스템들, 가스 벽난로들, 전체 주택 팬들 등과 같은 HVAC 디바이스들(122); IR 블래스터(blaster)들, 매트릭스 스위처(matrix switcher)들, 신호 확장기(signal extender)들 등과 같은 상호접속 디바이스들(124); 뿐만 아니라 다른 유형들의 홈 자동화 시스템 디바이스들을 포함할 수 있다. 디바이스들(112 내지 124)의 각각은 구조의 물리적 룸과 연관될 수 있고(즉, 이와 관련하여 이용되도록 구성됨), 이와 같이, 룸 "내에(in)" 있는 것으로 말해질 수 있다. 이 맥락에서 이용될 때, 용어 "내에(in)"는 룸 내에서 물리적으로 상주하거나 다른 곳(예컨대, 원격 장비 랙(remote equipment rack))에 상주하고 서비스들을 이러한 원격 위치로부터 룸으로 제공하는 디바이스를 포용하도록 해독되어야 한다는 것이 이해되어야 한다.

구현예에 따라, 홈 자동화 시스템의 디바이스들(112 내지 124)의 통신 능력들은 변동될 수 있다. 예를 들어, 디바이스들의 적어도 일부는 디바이스들이 호스트 제어기(110) 및 다른 디바이스들과 통신하는 것을 가능하게 하기 위한 LAN 인터페이스(예컨대, 이더넷 또는 Wi-Fi 어댑터) 및/또는 무선 개인 영역 네트워크(wireless personal area network)(WPAN) 인터페이스(예컨대, 블루투스(Bluetooth) 또는 블루투스 로우 에너지(Bluetooth low Energy)(BLE) 어댑터)를 포함할 수 있다. 마찬가지로, 일부 디바이스들은 유선 또는 점대점(point-to-point) 무선 통신(예컨대, RS-232, RS-485, 범용 입력/출력(general-purpose input/output)(GPIO), 적외선(infrared)(IR) 등)을 위한 포트들 또는 트랜시버들을 오직 가질 수 있고, 이러한 기술들을 이용하여 호스트 제어기(110) 및 다른 디바이스들과 통신할 수 있다. 디바이스들의 일부(예컨대, IR 블래스터와 같은 상호접속 디바이스)는 상이한 유형의 통신을 브릿징할 수 있고, 예를 들어, WPAN 인터페이스(예컨대, 블루투스 또는 BLE 어댑터) 및 점대점 무선 트랜시버(예컨대, IR 트랜시버)의 둘 모두를 포함할 수 있고 이들 사이를 브릿징할 수 있다. 또한, 일부 디바이스들은 LAN 인터페이스(예컨대, 이더넷 또는 Wi-Fi 인터페이스)를 포함할 수 있지만, 직접적으로 홈내 LAN(150) 상에서 홈 자동화 시스템의 호스트 제어기(110) 또는 다른 디바이스들과 통신하도록 구성되지 않을 수 있다. 그 대신에, 이들은 궁극적으로, 호스트 제어기(110)와 다시 통신할 수 있는 인터넷(170) 및 클라우드 서비스들(180) 및/또는 제3자 기반구조(190)를 액세스할 수 있다. 도 1에서 도시된 일부 HVAC 디바이스들(122)은 이러한 방식으로 통신할 수 있다는 것이 이해되어야 한다. 추가적으로 또는 대안적으로, 다른 유형들의 디바이스들(112 내지 124)이 이러한 방식으로 통신할 수 있다.

홈 자동화 시스템은 구조 내에서의 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165)의 포지션을 결정하도록 이용가능한 WLAN, WPAN, 또는 다른 무선 신호들(예컨대, 블루투스, BLE, Wi-Fi, 초광대역(ultra wideband)(UWB), 라디오 주파수 식별자(radio frequency identifier)(RFID), 또는 다른 신호들)을 송신하고 수신하는 다수의 위치결정 비콘들을 포함할 수 있다. 다수의 비콘들 위치들 및 그와 연관된 신호 강도들, 및/또는 다른 기법들에 기초하여 삼변측량(trilateration)을 수행하기 위하여, 최근접 비콘 위치를 선택하기 위한 수신된 신호 강도(received signal strength)(RSS)를 이용하여 포지션이 결정될 수 있다. 이 비콘들은 단독형 비콘(stand-alone beacon)들(125)과 같은 단독형 디바이스들일 수 있거나, 다른 기능들을 제공하는 디바이스들(112 내지 124) 중의 하나 이상으로 통합될 수 있다. 하나의 구현예에서, 비콘들은 라이팅 디바이스들(112) 및 키패드들로 통합되고, 라이팅 디바이스들(112)은 조명 및 위치결정 기능의 둘 모두를 제공하고, 키패드들은 사용자-인터페이스 및 위치결정 기능의 둘 모두를 제공한다.

사용자는 원격 제어부(140)를 이용하여 홈 자동화 시스템의 디바이스들(112 내지 124)을 제어할 수 있다. 원격 제어부(140)는 터치 감지식 디스플레이 스크린, 물리적 버튼들, 통신 인터페이스들(예컨대, IR, WPAN 등), 프로세서, 메모리, 및 호스트 제어기(110) 및 클라우드 서비스들(180)과 인터페이싱하도록 구성된 제어 앱을 저장하고 실행하는 저장 디바이스를 포함할 수 있다. 원격 제어부는 또한, 위치결정 비콘들과 함께, 구조 주위의 원격 제어부(140)의 포지션 및 배향의 결정을 허용하는 배향 센서를 포함할 수 있다. 원격 제어부(140) 상의 제어 앱은 다른 기능성 중에서, 홈 자동화 시스템(100)의 디바이스들(112 내지 124)을 제어하기 위한 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스를 제시할 수 있다.

사용자는 또한, 이동 디바이스(160)를 이용하여 홈 자동화 시스템의 디바이스들(112 내지 124)을 제어할 수 있다. 이동 디바이스(160)는 터치 감지식 디스플레이 스크린, 통신 인터페이스들(예컨대, Wi-Fi, WPAN 등), 프로세서, 메모리, 및 호스트 제어기(110) 및/또는 클라우드 서비스들(180)과 인터페이싱하도록 구성된 제어 앱(162)을 저장하고 실행하는 저장 디바이스를 포함할 수 있다. 이동 디바이스(160)는 또한, 위치결정 비콘들과 함께, 구조 주위의 이동 디바이스(160)의 포지션 및 배향의 결정을 허용하는 배향 센서를 포함할 수 있다. 이동 디바이스(160) 상의 제어 앱은 다른 기능성 중에서, 홈 자동화 시스템(100)의 디바이스들(112 내지 124)을 제어하기 위한 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스를 제시할 수 있다.

여전히 또한, 사용자는 태블릿 컴퓨터, Google Glass® HUD와 같은 헤드-장착형 디스플레이(head-mounted display)(HMD), 전용 터치 스크린 유닛, 텔레비전 및 원격 제어부, 컴퓨터 및 마우스, 또는 다른 유형의 기술과 같은 또 다른 전자 디바이스(165)를 이용하여 홈 자동화 시스템의 디바이스들(112 내지 124)을 제어할 수 있다. 전자 디바이스(165)는 디스플레이 스크린(예컨대, 터치 감지식, 비-터치 감지식, HMD 등), 입력 디바이스, 통신 인터페이스들(예컨대, Wi-Fi, WPAN 등), 프로세서, 메모리, 및 호스트 제어기(110) 및/또는 클라우드 서비스들(180)과 인터페이싱하도록 구성된 소프트웨어를 저장하고 실행하는 저장 디바이스를 포함할 수 있다.

전자 디바이스(165)는 또한, 위치결정 비콘들과 함께, 구조 주위의 전자 디바이스(165)의 포지션 및 배향의 결정을 허용하는 배향 센서를 포함할 수 있다. 예를 들어, 전자 디바이스(165)가 HMD이고 비콘들이 BLE 비콘들인 구현예에서, 포지션은 BLE 삼변측량에 의해 결정될 수 있고, 배향은 헤드 이동(head movement)에 의해 결정될 수 있다. 제어 앱은 HMD 상에서 홈 자동화 시스템의 디바이스들(112 내지 124)을 제어하기 위한 3-D 가상적 룸-기반 사용자 인터페이스를 제시할 수 있고, 사용자는 HMD의 입력 디바이스로 선택들을 행할 수 있다.

전자 디바이스들(165)은 또한, 함께 동작하는 다수의 개별적인 디바이스들을 포함할 수 있다는 것이 이해되어야 한다. 예를 들어, 전자 디바이스(165)가 텔레비전 및 원격 제어부인 구현예들에서, 제어 앱은 텔레비전의 스크린 상에서 3-D 가상적 룸-기반 사용자 인터페이스를 제시할 수 있고, 선택들은 (예컨대, 항목들을 선택하기 위하여 스크린 상에서 커서(cursor)를 이동시킴으로써) 원격 제어부 상에서 수신될 수 있다.

원격 제어부(140), 이동 디바이스(160), 또는 전자 디바이스(165)는 디바이스 제어를 달성하기 위하여 호스트 제어기(110)와 통신할 수 있다. 일부 디바이스들(예컨대, 이동 디바이스(160), 전자 디바이스(165) 등)은 클라우드 서비스들(180) 및 그 호스트 애플리케이션 프로그램 인터페이스(application program interface)(API)들(182) 및 이동 API들(184)과 통신할 수 있다. 클라우드 서비스들(180)은 다른 기능들 중에서, 홈 자동화 제어에 대한 원격 액세스, (구성 데이터베이스(186)에서 데이터를 저장하는) 홈 데이터베이스(130)의 지속적 백업, (제3자 어댑터들(188)을 통한) 제3자 기반구조에 대한 인터페이스들, (사용자 데이터베이스(189)에서 데이터를 저장하는) 사용자 프로파일들 및 사용량 추적, 오버-디-에어(over-the-air) 업데이트들을 위한 메커니즘, 호스트 고장 보고(host crash reporting), 및 허가 관리를 제공할 수 있다.

사용자- 탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스의 동작

원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165) 상의 제어 앱은 홈 자동화 시스템(100)의 디바이스들(112 내지 124)을 제어하기 위한 3-D 가상적 룸-기반 사용자 인터페이스를 제시할 수 있다. 인터페이스는 구조의 대응하는 물리적 룸의 실질적으로 사실적 묘사를 각각 도시하는 복수의 사용자-탐색가능한 3-D 가상적 룸들을 포함할 수 있다. 각각의 사용자-탐색가능한 3-D 가상적 룸은 물리적 룸의 경계들(예컨대, 벽들, 천장, 바닥 등), 물리적 룸에서 존재하는 가구들(예컨대, 소파들, 의자들, 침대들, 벽걸이들 등), 및 물리적 룸에서 존재하는 디바이스들(112 내지 124)(예컨대, 라이팅 디바이스들, 디스플레이 디바이스들, 전자 창문 블라인드들, 및/또는 다른 유형들의 디바이스들)의 실질적으로 사실적 묘사들을 포함할 수 있다. 디바이스들(112 내지 124)의 각각은 다수의 가능한 상태들을 가질 수 있다. 디바이스(112 내지 124)에 따라, 가능한 상태들의 2진 세트(예컨대, 비활성 "오프" 상태 및 활성 "온" 상태), 또는 상태들의 더 수 많은 세트(예컨대, 다수의 조명 레벨들, 컬러들(예컨대, 32 비트 컬러), 컬러 온도들(예컨대, 3000K, 5000K 등), 미디어 컨텐츠(예컨대, 텔레비전 채널, 소스, 개별적인 미디어 파일 등), 포지션, 온도 등)가 있을 수 있다.

도 2a 내지 도 2m은 물리적 구조의 개방-평면도 부엌 및 거실에 대응하는, 제어 앱에 의해 디스플레이될 수 있는 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이다. 도 2a 내지 도 2l의 스크린 샷들은 낮은 해상도이고 시각적 아티팩트들을 포함하지만, 상업적 구현예는 바람직하게는, 이러한 아티택트들이 정정된 높은 해상도일 것이어서, 그것은 실질적으로 사실적으로 보인다는 것이 이해되어야 한다. 도 2m은 상업적 구현예의 바람직한 외관을 더 근접하게 근사화하는 예를 도시한다.

도 2a는 제어 앱에 의해 디스플레이될 수 있는 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷이다. 사용자-탐색가능한 3-D 가상적 룸은 바닥(210) 및 벽들(212)과 같은, 물리적 룸의 경계들, 소파(220), 테이블 및 의자들(222), 및 난로(224)와 같은 물리적 룸의 가구들, 및 홈 자동화 시스템(100)의 제어 하에 있는, 샹들리에(chandelier)(230), 리세싱된 캔 광 고정부들(232 내지 238), 및 텔레비전(239)과 같은 물리적 룸에서의 디바이스들의 실질적으로 사실적 묘사들을 포함한다.

사용자는 상이한 관점들로부터 가상적 룸을 관측하기 위하여 3-D 공간에서 가상적 카메라를 이동시키기 위한 명시적 탐색 커맨드들 또는 묵시적 액션들을 이용하여 가상적 룸 내에서 탐색할 수 있다. 명시적 탐색 커맨드들은 상이한 형태들을 취할 수 있다. 하나의 구현예에서, 명시적 탐색 커맨드들은 이동 커맨드들(예컨대, 터치 감지식 디스플레이 스크린 상에서의 스크롤(scroll)들, 스와이프(swipe)들 등과 같은 터치 제스처들, 커서의 이동 등)의 형태를 취할 수 있다. 탐색은 자유로운 이동을 포함할 수 있고, 여기서, 가상적 카메라는 3-D 공간을 통해 수평으로 또는 수직으로 자유롭게 병진되고, 3D 공간에서 상이한 배향들로 자유롭게 회전된다.

도 2b 내지 도 2c는 상이한 관점들로부터 가상적 룸을 관측하기 위하여 3-D 공간에서의 가상적 카메라의 자유로운 이동을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이다. 이동 아이콘(240)이 디스플레이될 수 있고, 이것은 이동 커맨드(예컨대, 스크롤 제스처, 커서 이동 등)가 수신될 때에 변위된다. 이 예에서, 가상적 카메라는 도 2b와 도 2c 사이에서 순방향으로 수평으로 병진된다.

또 다른 구현예에서, 명시적 탐색 커맨드들은 노드 선택들의 형태를 취할 수 있다. 다수의 미리 정의된 노드들은 미리 결정된 포지션들에서 배열될 수 있고, 가상적 룸에서 아이콘들로서 표현될 수 있다. 노드의 사용자 선택(예컨대, 터치 감지식 디스플레이 스크린 상의 노드 상에서의 터치, 커서에 의한 선택 등)에 응답하여, 노드가 선택되고, 가상적 카메라는 그 포지션으로 이동된다(예컨대, "스냅됨(snapped)"). 이러한 이동은 "평활한(smooth)" 방식으로 도시될 수 있고, 여기서, 가상적 카메라는 공간을 통해 병진할 수 있고, 가상적 룸은 이동을 예시하기 위하여 연속적으로 업데이팅될 수 있다. 각각의 노드는 미리 결정된 시작 배향과 연관될 수 있다. 일단 노드에서는, 가상적 카메라가 탐색 커맨드들에 응답하여 3D 공간에서 상이한 배향들로 자유롭게 회전될 수 있다.

도 2d 내지 도 2e는 상이한 관점들로부터 가상적 룸을 관측하기 위하여 탐색 노드들을 이용하여 3-D 공간에서의 가상적 카메라의 이동을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이다. 다수의 선택 노드들(245, 247)이 디스플레이되고, 이들이 선택될 수 있다(예컨대, 터치됨, 클릭됨 등). 이 예에서, 선택 노드(245)는 도 2d에서 선택되고, 이것은 가상적 카메라가 도 2c에서 도시된 관점으로 병진되게 한다.

묵시적 액션들은 또한, 다양한 형태들을 취할 수 있다. 하나의 구현예에서, 묵시적 액션들은 위치결정 비콘들(예컨대, 그리고 그 블루투스, BLE, Wi-Fi, UWB, RFID, 또는 다른 시그널링) 및 배향 센서를 이용하여 결정되는 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165)의 포지션 및 배향에 기초할 수 있다. 사용자는 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165)를 보유하는 물리적 룸에서 보행함으로써 가상적 카메라를 자유롭게 병진시킬 수 있다. 사용자는 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165)를 회전시킴으로써 가상적 룸을 자유롭게 회전시킬 수 있다. 전자 디바이스가 HMD일 경우에, 사용자 헤드 포지션 및 배향은 가상적 룸에서의 포지션 및 배향으로 직접적으로 병진될 수 있다.

사용자-탐색가능한 3-D 가상적 룸 내에서의 디바이스들의 실질적으로 사실적 묘사들과 상호작용(예컨대, 터치, 클릭 등)함으로써, 사용자는 물리적 룸에서의 대응하는 디바이스들의 상태에 대한 변경들을 표시할 수 있다. 상태 변경은 디바이스의 이용가능한 상태들을 통해(예컨대, 2진 상태들 사이에서, 큰 수의 가능한 상태들 사이에서 등) 사이클링(cycle)할 수 있다. 디바이스들의 상태가 변경될 때, 제어 앱의 3-D 그래픽 엔진(예컨대, Unity® 또는 Unreal® 그래픽 엔진)은 변경들을 반영하기 위하여 사용자-탐색가능한 3-D 가상적 룸의 외관을 동적으로 업데이팅하여, 사용자가 가상적 룸에서 관측하는 것은 대응하는 물리적 룸 내에서의 그 경험을 모방할 것이다. 동적 업데이트는 그 상태가 변경되는 각각의 디바이스의 사실적 묘사들의 외관(예컨대, 조명 레벨, 컬러, 컬러 온도, 미디어 컨텐츠, 포지션, 또는 다른 시각적 성질들)을 변경하는 것을 수반할 수 있다. 동적 업데이트는 또한, 이 항목들에 대한 상태 변경의 영향을 묘사하기 위하여, 경계들, 가구들, 및 그 상태를 현재 변경하고 있지 않은 다른 디바이스들의 실질적으로 사실적 묘사들의 외관(예컨대, 음영(shadow)들 및 반사들)을 변경하는 것을 수반할 수 있다. 이러한 방식으로, 3-D 그래픽 엔진은 상태들이 변경될 때, 사용자가 물리적 룸에서 관찰할 경험을 가상적 룸에서 모방한다.

도 2f 내지 도 2g는 라이팅 디바이스의 실질적으로 사실적 묘사와의 사용자 상호작용에 응답하여 라이팅 디바이스들의 조명에 대한 변경들을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이다. 도 2f에서, 사용자는 라이팅 디바이스, 구체적으로, 리세싱된 캔 광 고정부(232)의 묘사와 상호작용(예컨대, 터치, 클릭 등)한다. 이러한 상호작용에 응답하여, 제어 앱은 홈 자동화 시스템(100)으로 하여금, 물리적 룸에서 리세싱된 캔 광 고정부(232)를 활성화하게 한다. 제어 앱의 그래픽 엔진은 또한, 리세싱된 캔 광 고정부(232)가 (예컨대, 그 포지션에서 가상적 광원을 부과하여) 조명된 것으로 보이도록, 가상적 룸에서의 리세싱된 캔 광 고정부(232)의 묘사의 외관을 동적으로 업데이팅하고, 도 2g에서 도시된 바와 같이, 변경에 기초하여 (벽 상에서의 음영들 및 반사들(250)과 같은) 경계들, (소파 상에서의 음영들 및 반사들(254)과 같은) 가구들, (샹들리에 상의 음영들 및 반사들(252)과 같은) 다른 디바이스들의 묘사들의 외관을 동적으로 업데이팅한다.

도 2h 내지 도 2i는 디바이스의 실질적으로 사실적 묘사와의 사용자 상호작용에 응답하여 디스플레이 디바이스의 상태에 대한 변경들을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이다. 여기서, 상태는 미디어 컨텐츠 상태, 즉, 채널(예컨대, 텔레비전 채널)이다. 그러나, 미디어 컨텐츠 상태는 소스(예컨대, DVD, 케이블 박스 등으로부터의 신호), 미디어 파일(예컨대, 영화 파일, TV 쇼 파일 등) 등과 같은 다른 형태들을 취할 수 있다는 것이 이해되어야 한다. 도 2h에서, 사용자는 디스플레이 디바이스, 구체적으로, 텔레비전(239)의 묘사와 상호작용(예컨대, 터치, 클릭 등)한다. 이러한 상호작용에 응답하여, 제어 앱은 홈 자동화 시스템(100)으로 하여금, 물리적 룸에서의 텔레비전의 채널을, 여기에서는, 채널 6으로부터 채널 1로 변경하게 한다. 이러한 변경은 (예컨대, 반복된 터치들, 클릭들 등에 응답하여) 다수의 중간 채널들을 통해 사이클링하는 것을 수반할 수 있다. 제어 앱의 그래픽 엔진은 또한, 채널의 실제적인 미디어 컨텐츠가 도 i에서 도시된 바와 같이, 사용자-탐색가능한 3-D 가상적 룸에서 텔레비전 내에서 디스플레이되도록, 텔레비전(239)의 묘사의 외관을 동적으로 업데이팅한다.

라이팅 디바이스들의 조명에 대한 변경들 및 디스플레이 디바이스의 상태에 대한 변경들에 추가적으로, 광범위한 다른 유형들의 상태 변경들이 다른 유형들의 디바이스들(112 내지 124)에 대해 행해질 수 있다는 것이 기억되어야 한다. 예를 들어, 전자 창문 블라인드의 실질적으로 사실적 묘사와의 사용자 상호작용에 응답하여, 제어 앱은 홈 자동화 시스템(100)으로 하여금, 블라인드 포지션을 변경하기 위하여(예컨대, 블라인드를 개방하거나 폐쇄하기 위하여) 블라인드의 모터를 활성화하게 할 수 있다. 제어 앱의 그래픽 엔진은 또한, 전자 창문 블라인드가 새로운 블라인드 포지션을 반영하도록, 가상적 룸에서의 전자 창문 블라인드의 묘사의 외관을 동적으로 업데이팅하고, 변경(예컨대, 창문을 통해 룸에 진입하는 더 많거나 더 적은 자연 광으로 인한 변경하는 음영 및 반사들)에 기초하여 경계들, 가구들, 및 다른 디바이스들의 묘사들의 외관을 동적으로 업데이팅한다.

마찬가지로, 가스 벽난로의 실질적으로 사실적 묘사와의 사용자 상호작용에 응답하여, 제어 앱은 홈 자동화 시스템(100)으로 하여금, 전자적 점화를 시그널링하게 할 수 있고, 가스 공급 시스템으로 하여금, 화염을 조정하게 할 수 있다. 제어 앱의 그래픽 엔진은 또한, 가스 벽난로가 변경된 화염 상태를 반영하도록 가상적 룸에서의 가스 벽난로, 그리고 변경된 화염 상태(예컨대, 벽난로에서의 화염의 양으로 인한 변경되는 음영 및 반사들)에 기초한 경계들, 가구들, 및 다른 디바이스들의 묘사의 외관을 동적으로 업데이팅한다.

큰 수들의 디바이스들이 있을 때, 가상적 룸에서 희망된 디바이스의 실질적으로 사실적 묘사를 위치시키는 것은 어려울 수 있다. 마찬가지로, 디바이스에 대한 큰 수들의 상태들이 있을 때, 상태들을 통한 사이클링은 비효율적일 수 있거나 비실용적일 수 있다. 이러한 경우들에는, 사용자-탐색가능한 3-D 가상적 룸은 사용자가 인터페이스 엘리먼트와 상호작용하는 것에 응답하여 메뉴를 디스플레이하도록 구성될 수 있다. 메뉴는 제어될 수 있는 다양한 디바이스들, 및 디바이스들에 대한 상태들을 열거할 수 있다. 사용자는 희망된 디바이스 및 상태를 (예컨대, 터치, 클릭 등에 의해) 선택할 수 있다. 제어 앱은 홈 자동화 시스템으로 하여금, 희망된 상태 변경을 행하게 할 수 있고, 3-D 그래픽 엔진은 변경들을 반영하기 위하여 사용자-탐색가능한 3-D 가상적 룸의 외관을 동적으로 업데이팅할 수 있어서, 사용자가 가상적 룸 내에서 관측하는 것이 대응하는 물리적 룸 내에서의 그 경험을 모방할 것이다.

도 2j 내지 도 2l은 메뉴에서의 선택들에 응답하여 라이팅 디바이스의 상태에 대한 변경들을 예시하는, 도 2a의 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷들이다. 도 2j에서, 사용자는 메뉴 인터페이스 엘리먼트(260)와 상호작용(예컨대, 터치, 클릭 등)한다. 이러한 상호작용에 응답하여, 제어 앱은 메뉴(270)가 디스플레이되게 하고, 예를 들어, 도 2k에서 도시된 바와 같이, 가상적 룸 상에서 오버레이(overlay)되게 한다. 이 예에서, 메뉴(270)는 물리적 룸들에서의 라이팅 디바이스들, 및 조명 레벨, 컬러, 컬러 온도 등과 같은, 이러한 디바이스들의 가능한 상태들을 포함한다. 사용자는 라이팅 디바이스, 이 예에서, 리세싱된 캔 광 고정부(238), 및 조명 레벨 및 컬러를 선택한다. 제어 앱은 그 다음으로, 홈 자동화 시스템으로 하여금, 리세싱된 캔 광 고정부(238)를 희망된 컬러에서의 희망된 레벨로 조명하게 한다. 큰 수의 상이한 컬러들이 지원될 수 있다(예컨대, 32 비트 컬러). 제어 앱의 그래픽 엔진은 또한, 리세싱된 캔 광 고정부(238)가 (예컨대, 그 포지션에서 가상적 광원을 부과하여) 희망된 컬러에서의 희망된 레벨로 조명되는 것으로 보이도록, 리세싱된 캔 광 고정부(238)의 묘사의 외관을 동적으로 업데이팅하고, 도 2l에서 도시된 바와 같이, 룸에서의 경계들, 가구들, 및 다른 디바이스들의 묘사들(예컨대, 이에 대한 음영들 및 반사)의 외관을 동적으로 업데이팅한다. 큰 수의 지원된 컬러들(예컨대, 32 비트 컬러)이 있을 때, 상이한 컬러들을 갖는 가상적 룸을 관찰함으로써 룸이 무엇과 닮은 것인지를 보기 위한 능력은 제어를 대폭 단순화할 수 있다.

도 2m은 상업적인 구현예를 더 근접하게 근사화할 수 있는, 더 높은 해상도이며 시각적 아티팩트들을 갖지 않는 예시적인 사용자-탐색가능한 3-D 가상적 룸의 스크린 샷이다. 알 수 있는 바와 같이, (텔레비전(239)과 같은) 제어된 디바이스들, (벽들과 같은) 경계들, (소파와 같은) 가구들, 및 다른 디바이스들의 묘사들은 실질적으로 사실적으로 보인다. 도 2a 내지 도 2l에서 도시된 가상적 룸들은 이러한 방식으로 보일 수 있다는 것이 이해되어야 한다.

도 3은 홈 자동화 시스템(100)의 디바이스들(112 내지 124)을 제어하기 위하여 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스를 동작시키기 위한 단계들의 예시적인 시퀀스의 흐름도이다. 도 3에서의 단계들은 위에서 더 상세하게 논의된 동작들을 요약한다. 단계(310)에서, 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165) 상의 제어 앱은 가상적 카메라에 의해 정의된 바와 같은 제1 관점으로부터 사용자-탐색가능한 3-D 가상적 룸을 렌더링하기 위하여 그래픽 엔진을 이용한다. 사용자-탐색가능한 3-D 가상적 룸은 물리적 룸의 경계들(예컨대, 벽들, 천장, 바닥 등), 물리적 룸에서 존재하는 가구들(예컨대, 소파들, 의자들, 침대들, 벽걸이들 등), 및 홈 자동화 시스템(100)의 제어 하에 있는 물리적 룸에서 존재하는 디바이스들(예컨대, 라이팅 디바이스들, 디스플레이 디바이스들, 전자 창문 블라인드들, HVAC 디바이스들, 및/또는 다른 유형들의 디바이스들)의 실질적으로 사실적 묘사들을 포함할 수 있다. 단계(320)에서, 제어 앱은 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165)의 디스플레이 스크린(예컨대, 터치 감지식 디스플레이 스크린) 상에서 제어 앱에서의 렌더링된 사용자-탐색가능한 3-D 가상적 룸을 디스플레이한다.

단계(330)에서, 제어 앱은 임의의 명시적 탐색 커맨드들(예컨대, 이동 커맨드들 또는 노드 선택들) 또는 묵시적 액션들(예컨대, 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165)의 포지션 또는 배향에 대한 변경)이 수신되는지 여부를 결정한다. 그러한 경우에, 단계(340)에서, 제어 앱은 가상적 카메라의 포지션 및/또는 배향을 변경함으로써 그에 응답하여 관점을 변경하고, 실행은 단계(310)로 루프백(loop back)하고, 여기서, 그래픽 엔진은 이 새로운 관점으로부터 가상적 룸을 리렌더링(re-render)한다. 그렇지 않을 경우에, 실행은 단계(350)로 진행하고, 여기서, 제어 앱은 사용자가 사용자-탐색가능한 3-D 가상적 룸 내에서의 디바이스의 실질적으로 사실적 묘사와 상호작용(예컨대, 터치, 클릭 등)하였는지 여부를 결정한다. 그러한 경우에, 단계(360)에서, 제어 앱은 홈 자동화 시스템(100)으로 하여금, 물리적 룸에서의 디바이스의 상태를 변경하게 한다. 또한, 단계(370)에서, 제어 앱은 디바이스의 실질적으로 사실적 묘사의 외관(예컨대, 조명 레벨, 컬러, 컬러 온도, 미디어, 미디어 컨텐츠, 포지션, 또는 다른 시각적 성질들) 뿐만 아니라, 가상적 룸에서의 경계들, 가구들, 및 다른 디바이스들의 실질적으로 사실적 묘사들의 외관(예컨대, 음영들 및 반사들)을 동적으로 업데이팅한다. 실행은 그 다음으로, 단계(310)로 루프백하고, 여기서, 제어 앱의 그래픽 엔진은 이 새로운 외관들로 가상적 룸을 리렌더링한다.

그렇지 않을 경우에, 실행은 단계(380)로 진행하고, 여기서, 제어 앱은 사용자가 메뉴 인터페이스 엘리먼트와 상호작용(예컨대, 터치, 클릭 등)하였는지 여부를 결정한다. 그러한 경우에, 단계(390)에서, 메뉴는 사용자-탐색가능한 3-D 가상적 룸 상에서 오버레이되어 디스플레이된다. 단계(395)에서, 제어 앱은 디바이스 및 상태가 메뉴에서 선택되었는지를 결정한다. 그러한 경우에, 실행은 단계(360)로 루프하고, 여기서, 제어 앱은 홈 자동화 시스템(100)으로 하여금, 물리적 룸에서의 디바이스의 상태를 변경하게 한다. 그 다음으로, 단계(370)에서, 제어 앱은 선택된 상태에 기초한 선택된 디바이스의 실질적으로 사실적 묘사의 외관 뿐만 아니라, 가상적 룸에서의 경계들, 가구들, 및 다른 디바이스들의 실질적으로 사실적 묘사들의 외관을 동적으로 업데이팅한다. 실행은 그 다음으로, 단계(310)로 루프백하고, 여기서, 제어 앱의 그래픽 엔진은 이 새로운 외관들로부터 가상적 룸을 리렌더링한다. 그렇지 않을 경우에, 제어 앱은 추가의 사용자 입력을 대기하고, 실행은 단계(330)로 루프백한다.

사용자- 탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스의 생성

3-D 가상적 룸-기반 사용자 인터페이스는 전형적으로, 로컬 컴퓨팅 디바이스들 상에서 실행되는 구성 애플리케이션들에 의해 수행된 데이터 수집 및 구성 동작들의 조합으로, 및/또는 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165) 상에서 실행되는 제어 앱의 그래픽 엔진에 의해 수행된 클라우드 및 렌더링 동작들에서 생성된다. 도 4는 홈 자동화 시스템의 디바이스들(112 내지 124)을 제어하기 위하여 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스를 생성하기 위한 단계들의 예시적인 시퀀스의 흐름도이다. 단계들(410 내지 480)은 데이터 수집 및 구성 동작들을 표현하는 반면, 단계들(485 내지 495)은 렌더링 동작들을 표현한다.

단계(410)에서, 설치자는 물리적 룸에서의 복수의 포지션들에서 3-D 카메라를 배치하고, 2-D 이미지들(예컨대, 2-D 파노라마 이미지들) 및 3-D 공간 모델(예컨대, 3-D 메시)의 복수의 중첩하는 세트들을 캡처한다. 3-D 카메라는 3-D 공간 모델들을 생성하기 위하여, 단일점 레이저 스캐닝, 라인 프로파일 레이저 스캐닝, 구조화된 광(비-레이저) 검출, 스테레오 비전(stereo vision) 등과 같은 다양한 이미징 및 스캐닝 기술들 중의 임의의 것을 이용할 수 있다. 바람직하게는, 캡처 시에, 디바이스들은 외관 효과들의 더 이후의 생성을 단순화하기 위하여 모두 비활성된 또는 "오프" 상태에 있다.

단계(420)에서, 2-D 이미지들(예컨대, 2-D 파노라마 이미지들) 및 3-D 공간 모델(예컨대, 3-D 메시)은 3-D 카메라로부터 스티칭 애플리케이션으로 임포팅되고, 스티칭 애플리케이션은 클라우드에서 또는 로컬 컴퓨팅 디바이스에서 실행될 수 있다. 하나의 구현예에서, 스티칭 애플리케이션은 Matterport® 클라우드-기반 소프트웨어 패키지일 수 있다. 단계(430)에서, 설치자는 이미지 데이터를 3-D 공간 모델에서의 대응하는 위치들로 링크(즉, 스티칭)하기 위하여, 2-D 이미지들(예컨대, 2-D 파노라마 이미지들) 및 3-D 공간 모델(예컨대, 3-D 메시)을 함께 스티칭하기 위한 스티칭 애플리케이션을 사용한다.

단계(440)에서, 스티칭된 2-D 이미지들 및 3-D 공간 모델은 3-D 모델링 애플리케이션으로 임포팅되고, 3-D 모델링 애플리케이션은 클라우드에서 또는 로컬 컴퓨팅 디바이스 상에서 실행될 수 있다. 하나의 구현예에서, 3-D 모델링 애플리케이션은 Unity® 또는 Unreal® 3D 개발 플랫폼일 수 있다. 단계(450)에서, 설치자는 시각적 아티팩트들을 정정하기 위하여 3-D 모델링 애플리케이션을 사용한다. 시각적 아티팩트들은 캡처 및 스티칭 프로세스들에서 다양한 인자들에 의해 야기될 수 있다. 예를 들어, 디스플레이 스크린들 또는 창문 유리들과 같은 반사성 표면들은 전형적으로, 양호하게 캡처하지는 않고, 정정을 요구하는 시각적 아티팩트들을 도입할 수 있다. 단계(460)에서, 설치자는 히트 영역들(즉, 3-D 히트 박스들)로 디바이스들의 묘사들을 태깅하기 위하여 3-D 모델링 애플리케이션을 사용하고, 이 히트 영역들을 디바이스들의 성질들, 및 디바이스들의 상태를 변경하기 위한 홈 자동화 시스템(100)의 제어 커맨드들로 맵핑한다. 예를 들어, 라이팅 디바이스는 그 외부 한도를 포위하는 히트 영역으로 표기될 수 있고, (예컨대, 조명 레벨, 컬러, 컬러 온도 등을 변경하기 위하여) 어떤 라이팅 제어 커맨드들에 의해 제어되는 라이팅 부하의 라이팅 성질들로 맵핑될 수 있다. 마찬가지로, 디스플레이 디바이스는 그 스크린을 포위하는 히트 영역으로 표기될 수 있고, 미디어 컨텐츠 상태들(예컨대, 채널, 소스, 파일 등)에 영향을 주는 어떤 제어 커맨드들에 의해 제어되는 디스플레이 디바이스의 디스플레이 성질들로 맵핑될 수 있다. 유사하게, 전자 창문 블라인드는 그 외부 한도를 포위하는 히트 영역으로 표기될 수 있고, 어떤 포지션 제어 커맨드들에 의해 제어되는 전자 창문 블라인드의 이동 성질들로 맵핑될 수 있다.

단계(470)에서, 설치자는 외관 변경들을 그 성질들 및 제어 커맨드들과 일치하는 디바이스들의 묘사들에 배정하기 위하여 3-D 모델링 애플리케이션을 사용한다. 배정된 외관 변경들은 제어 커맨드들이 발행될 때에 물리적 룸에서 발생하는 변경들과 일치하기 위하여, 제어 앱의 그래픽 엔진이 디바이스들의 묘사들을 어떻게 업데이팅해야 하는지와, 외관 변경들이 룸에서의 경계들, 가구들, 및 다른 디바이스들의 외관에 어떻게 영향을 주어야 하는지를 정의한다. 배정된 외관 변경들은 디바이스 성질들에 기초한 유형 및 경계들을 가질 수 있다. 단계(480)에서, 아티팩트-정정된, 태깅된, 외관 배정된, 스티칭된 2-D 이미지들 및 3-D 공간 모델들(이제 가상적 룸으로서 지칭됨)은 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스에서의 포함을 위하여 제어 앱으로 익스포팅된다.

가상적 룸은 제어 앱의 그래픽 엔진에 의해 렌더링된다. 단계(485)에서, 제어 앱은 사용자의 희망된 관점을 표시하는 가상적 카메라가 2-D 이미지들(예컨대, 2-D 파노라마 이미지들) 중의 하나가 캡처되었던 포지션과 대응하는 포지션에 있는지 여부를 결정한다. 그러한 경우에, 단계(485)에서, 제어 앱의 그래픽 엔진은 그 위치로부터 캡처된 2-D 이미지(예컨대, 2-D 파노라마 이미지)로부터의 데이터를 이용함으로써 가상적 룸을 렌더링한다. 그렇지 않을 경우에, 단계(495)에서, 제어 앱의 그래픽 엔진은 3-D 공간 모델(예컨대, 3-D 메시)에 따라 이용가능한 2-D 이미지들(예컨대, 2-D 파노라마 이미지들)을 배합하고(예컨대, 알파 채널을 변경하고 그 계층들을 렌더링함), 가상적 룸을 렌더링하기 위하여 배합된 데이터를 이용한다.

요약하면, 홈 자동화 시스템의 디바이스들을 제어하기 위한 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스가 제공된다. 위의 설명은 어떤 특정 예들을 이용하지만, 다수의 수정들 및/또는 추가들이 이에 대해 행해질 수 있다는 것이 분명해야 한다. 예를 들어, 원격 제어부(140), 이동 디바이스(160), 또는 다른 전자 디바이스(165)의 각각이 터치 감지식 디스플레이 스크린을 가질 수 있다는 것과, 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스에서의 사용자 입력이 제스처들 및 터치들로 행해질 수 있다는 것이 위에서 논의되지만, 인터페이스는 비-터치 감지식 디스플레이들을 위하여 적응될 수 있다는 것과, 사용자 입력은 (예컨대, 항목 상에서 클릭함으로써 행해진 선택을 갖는) 포인팅 디바이스 및 커서 또는 다른 유형의 입력 디바이스를 통해 수신될 수 있다는 것이 이해되어야 한다.

마찬가지로, 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스가 구조에서의 구성된 홈 자동화 시스템(100)을 제어하기 위하여 이용될 수 있다는 것이 위에서 설명되지만, 사용자-탐색가능한 3-D 가상적 룸-기반 사용자 인터페이스는 판매 또는 셋업 역할로 홈 자동화 시스템을 사전검토하거나 사전구성할 시의 이용을 위하여 구비될 수 있다. 예를 들어, 구입 이전에 사용자-탐색가능한 3-D 가상적 룸을 이용하여 구조에서 생성될 수 있는 것 이외의 효과들을 사용자에게 보여질 수 있다. 대안적으로, 시스템이 먼저 설치되거나 셋업될 때, 사전구성 프로세스 동안에 생성될 수 있는 가능한 효과들이 사용자에게 보여질 수 있다. 이러한 경우들에는, 효과들이 디스플레이와 동시에 물리적 룸에서 실제적으로 생성되지 않을 수 있다.

또한, 사용자-탐색가능한 3-D 가상적 룸이 물리적 룸의 외관을 모방한다는 것이 위에서 논의되고, 다양한 유형들의 시각적 외관들이 논의되지만, 외관은 또한, 사운드와 같은, 물리적 룸에서의 경험의 비-시각적 양태들을 포함할 수 있다는 것이 이해되어야 한다. 이러한 경우에, 제어 앱은 원격 제어부(140), 이동 디바이스(160), 및 다른 전자 디바이스(165)의 스피커 상에서, 물리적 룸에서 플레이되는 오디오 및/또는 물리적 룸에서의 주변 사운드들을 모방하는 사운드 효과들을 플레이할 수 있다. 예를 들어, 사용자가 텔레비전(239)을 활성화하고 그것을 채널로 변경할 때, 채널의 실제적인 오디오는 사용자-탐색가능한 3-D 가상적 룸의 시각적 디스플레이를 동반하는 원격 제어부(140), 이동 디바이스(160), 및 다른 전자 디바이스(165)의 스피커에 의해 플레이될 수 있다. 마찬가지로, 사용자가 전자 창문 블라인드의 포지션을 변경할 때, 블라인드 상승 또는 하강을 모방하는 사운드 효과는 사용자-탐색가능한 3-D 가상적 룸의 시각적 디스플레이를 동반하는 원격 제어부(140), 이동 디바이스(160), 및 다른 전자 디바이스(165)의 스피커에 의해 플레이될 수 있다.

여전히 또한, 물리적 룸에서의 디바이스의 상태가 사용자 터치, 클릭 등과 같은, 디바이스의 실질적으로 사실적 묘사와의 사용자 상호작용에 응답하여 변경될 수 있다는 것이 위에서 논의되지만, 사용자-탐색가능한 3-D 가상적 룸에서의 디바이스의 묘사에서는, 상태에서의 일부 변경들이 미리 정의된 시간들에서 또는 미리 결정된 조건들이 충족되는 것에 응답하여 트리거링되도록 구성될 수 있다는 것이 이해되어야 한다. 하나의 실시예에서, 사용자는 일주기성 라이팅(circadian lighting)을 제공하기 위하여 하루 전반에 걸쳐 동적으로 변경되도록, 라이팅 디바이스들의 조명 레벨, 컬러 및/또는 컬러 온도 및/또는 다른 상태들을 구성하기 위하여 시스템과 상호작용할 수 있다. 상태들의 이러한 변경은 실외 환경에 대한 현재의 라이팅 데이터를 캡처하는 실외 센서에 적어도 부분적으로 기초할 수 있다. 사용자-탐색가능한 3-D 가상적 룸에서의 라이팅 디바이스들, 경계들, 및 가구의 묘사들의 외관은 일주기성 라이팅에 의해 구현된 변경된 상태들을 반영하기 위하여 업데이팅된다.

마지막으로, 위에서 설명된 단계들은 하드웨어, (소프트웨어를 포함하는 비-일시적 전자 디바이스-판독가능 매체들로서 구체화된) 소프트웨어, 펌웨어, 또는 그 조합으로 구현될 수 있다는 것이 이해되어야 한다. 비-일시적 전자 디바이스-판독가능 매체들은 랜덤 액세스 메모리(Random Access Memory)(RAM)와 같은 메모리, 하드 드라이브 또는 플래시 디바이스와 같은 디스크, 또는 다른 유형의 저장 매체들의 형태를 취할 수 있다. 일반적으로, 위의 설명들은 오직 예로서 취해지도록 의도된다는 것이 이해되어야 한다.

Claims

사용자-탐색가능한 3차원(3-D) 가상적 룸 기반 사용자 인터페이스를 이용하여 홈 자동화 시스템을 제어하기 위한 방법으로서,
전자 디바이스 상에서 실행되는 제어 애플리케이션(앱)에 의해, 3-D 공간에서 가상적 카메라에 의해 정의된 관점으로부터 사용자-탐색가능한 3-D 가상적 룸을 렌더링하고 디스플레이하는 단계 - 상기 사용자-탐색가능한 3-D 가상적 룸은 상기 홈 자동화 시스템의 제어 하에 있는 물리적 룸에서 존재하는 하나 이상의 디바이스들의 묘사(depiction)들, 상기 물리적 룸의 하나 이상의 경계들의 묘사들, 및 상기 물리적 룸에서 제시하는 하나 이상의 가구들의 묘사들을 포함함 -;
사용자로부터 명시적 탐색 커맨드 또는 묵시적 액션을 수신하는 단계;
상기 명시적 탐색 커맨드 또는 묵시적 액션에 응답하여, 상기 제어 앱에 의해, 상기 3-D 공간에서의 상기 가상적 카메라의 적어도 포지션 또는 배향을 변경하고, 새로운 관점으로부터 상기 사용자-탐색가능한 3-D 가상적 룸을 리렌더링(re-render)하고 디스플레이하는 단계;
사용자 상호작용을 수신하는 단계;
상기 사용자 상호작용에 응답하여, 상기 홈 자동화 시스템으로 하여금, 상기 물리적 룸에서의 디바이스의 상태를 변경하게 하는 단계; 및
상기 제어 앱에 의해, 상기 변경된 상태를 반영하기 위하여, 상기 사용자-탐색가능한 3-D 가상적 룸에서의 상기 디바이스의 상기 묘사, 하나 이상의 경계들의 상기 묘사들, 및 하나 이상의 가구들의 상기 묘사들의 외관을 동적으로 업데이팅하는 단계
를 포함하는, 방법.
제1항에 있어서, 명시적 탐색 커맨드 또는 묵시적 액션을 수신하는 단계는 명시적 탐색 커맨드를 수신하는 단계이고, 상기 명시적 탐색 커맨드는 터치 감지식 디스플레이 스크린 상에서의 터치 제스처 또는 커서의 이동을 포함하는, 방법.
제1항에 있어서, 명시적 탐색 커맨드 또는 묵시적 액션을 수신하는 단계는 묵시적 액션을 수신하는 단계이고, 상기 묵시적 액션은 하나 이상의 위치결정 비콘들 또는 배향 센서를 이용하여 검출된 상기 전자 디바이스의 포지션 또는 배향에서의 변경을 포함하는, 방법.
제1항에 있어서, 상기 가상적 카메라의 적어도 상기 포지션 또는 상기 배향을 변경하는 것은 자유 이동을 수반하고, 상기 가상적 카메라는 상기 3-D 공간을 통해 상기 포지션으로 수평으로 또는 수직으로 자유롭게 병진되거나, 상기 배향으로 상기 3-D 공간에서 자유롭게 회전되는, 방법.
제1항에 있어서, 상기 가상적 카메라의 적어도 상기 포지션 또는 상기 배향을 변경하는 것은 상기 가상적 카메라를 미리 정의된 노드로 이동시키는 것을 수반하고, 상기 가상적 카메라는 상기 3-D 공간을 통해 상기 미리 정의된 노드의 미리 결정된 포지션으로 병진되거나, 상기 미리 정의된 노드의 미리 결정된 배향으로 상기 3-D 공간에서 회전되는, 방법.
제1항에 있어서, 상기 사용자 상호작용은 상기 사용자-탐색가능한 3-D 가상적 룸 내에서의 상기 디바이스의 묘사와의 상호작용인, 방법.
제1항에 있어서,
상기 제어 앱에 의해 메뉴를 디스플레이하는 단계를 더 포함하고,
상기 사용자 상호작용은 상기 메뉴의 메뉴 인터페이스 엘리먼트와의 상호작용인, 방법.
제1항에 있어서, 상기 디바이스는 라이팅 디바이스이고, 상기 디바이스의 상기 상태는 조명 레벨, 컬러, 또는 컬러 온도 중의 적어도 하나를 포함하고, 상기 디바이스의 상기 묘사의 외관을 동적으로 업데이팅하는 것은 상기 조명 레벨, 컬러, 또는 컬러 온도로 상기 라이팅 디바이스를 도시하는 것을 포함하고, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들의 외관을 동적으로 업데이팅하는 것은 상기 라이팅 디바이스에 의해 야기된, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들 상의 음영들 및 반사들을 변경하는 것을 포함하는, 방법.
제1항에 있어서, 상기 디바이스는 전자 창문 블라인드이고, 상기 디바이스의 상기 상태는 블라인드 포지션을 포함하고, 상기 디바이스의 상기 묘사의 외관을 동적으로 업데이팅하는 것은 상기 블라인드 포지션으로 상기 창문 블라인드를 도시하는 것을 포함하고, 하나 이상의 경계들의 상기 묘사 및 하나 이상의 가구들의 상기 묘사들의 외관을 동적으로 업데이팅하는 것은 상기 블라인드 포지션에 의해 야기된, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들 상의 음영들 및 반사들을 변경하는 것을 포함하는, 방법.
제1항에 있어서, 상기 디바이스는 가스 벽난로이고, 상기 디바이스의 상기 상태는 화염 상태를 포함하고, 상기 디바이스의 상기 묘사의 외관을 동적으로 업데이팅하는 것은 상기 화염 상태로 상기 가스 벽난로를 도시하는 것을 포함하고, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들의 외관을 동적으로 업데이팅하는 것은 상기 화염 상태에 의해 야기된, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들 상의 음영들 및 반사들을 변경하는 것을 포함하는, 방법.
제1항에 있어서, 하나 이상의 디바이스들의 상기 묘사들, 하나 이상의 경계들의 묘사들, 및 하나 이상의 가구들의 묘사들은 각각 실질적으로 사실적 묘사(photo-realistic depiction)들인, 방법.
인코딩된 소프트웨어를 가지는 비-일시적 전자 디바이스 판독가능 매체로서,
상기 소프트웨어는, 하나 이상의 전자 디바이스들의 하나 이상의 프로세서들 상에서 실행될 때:
3-D 공간에서 가상적 카메라에 의해 정의된 관점으로부터 사용자-탐색가능한 3차원(3-D) 가상적 룸을 렌더링하고 디스플레이하고 - 상기 사용자-탐색가능한 3-D 가상적 룸은 홈 자동화 시스템의 제어 하에 있는 물리적 룸에서 존재하는 하나 이상의 디바이스들의 묘사들을 포함함 -;
사용자로부터 명시적 탐색 커맨드 또는 묵시적 액션을 수신하고;
상기 명시적 탐색 커맨드 또는 묵시적 액션에 응답하여, 상기 3-D 공간에서의 상기 가상적 카메라의 적어도 포지션 또는 배향을 변경하고, 새로운 관점으로부터 상기 3-D 가상적 룸을 리렌더링하고 디스플레이하고;
사용자 상호작용을 수신하고;
상기 사용자 상호작용에 응답하여, 상기 홈 자동화 시스템으로 하여금, 상기 물리적 룸에서의 디바이스의 상태를 변경하게 하고;
상기 변경된 상태를 반영하기 위하여 상기 사용자-탐색가능한 3-D 가상적 룸에서의 상기 디바이스의 상기 묘사의 외관을 동적으로 업데이팅하도록
동작가능한, 비-일시적 전자 디바이스 판독가능 매체.
제12항에 있어서, 상기 사용자-탐색가능한 3-D 가상적 룸은 상기 물리적 룸의 하나 이상의 경계들의 묘사들, 및 상기 물리적 룸에서 제시하는 하나 이상의 가구들의 묘사들을 더 포함하고, 동적으로 업데이팅하도록 동작가능한 상기 소프트웨어는, 상기 변경된 상태를 반영하기 위하여, 상기 사용자-탐색가능한 3-D 가상적 룸에서의 하나 이상의 경계들의 상기 묘사들 또는 하나 이상의 가구들의 상기 묘사들의 외관을 업데이팅하도록 동작가능한 소프트웨어를 포함하는, 비-일시적 전자 디바이스 판독가능 매체.
제12항에 있어서, 상기 가상적 카메라의 적어도 상기 포지션 또는 상기 배향을 변경하는 것은 자유 이동을 수반하고, 상기 가상적 카메라는 상기 3-D 공간을 통해 상기 포지션으로 수평으로 또는 수직으로 자유롭게 병진되거나, 상기 배향으로 상기 3-D 공간에서 자유롭게 회전되는, 비-일시적 전자 디바이스 판독가능 매체.
제12항에 있어서, 상기 가상적 카메라의 적어도 상기 포지션 또는 상기 배향을 변경하는 것은 상기 가상적 카메라를 미리 정의된 노드로 이동시키는 것을 수반하고, 상기 가상적 카메라는 상기 3-D 공간을 통해 상기 미리 정의된 노드의 미리 결정된 포지션으로 병진되거나, 상기 미리 정의된 노드의 미리 결정된 배향으로 3-D 공간에서 회전되는, 비-일시적 전자 디바이스 판독가능 매체.
제12항에 있어서, 상기 디바이스는 라이팅 디바이스이고, 상기 디바이스의 상기 상태는 조명 레벨, 컬러, 또는 컬러 온도 중의 적어도 하나를 포함하고, 상기 디바이스의 상기 묘사의 외관을 동적으로 업데이팅하는 것은 상기 조명 레벨, 컬러, 또는 컬러 온도로 상기 라이팅 디바이스를 도시하는 것을 포함하는, 비-일시적 전자 디바이스 판독가능 매체.
제12항에 있어서, 상기 디바이스는 가스 벽난로이고, 상기 디바이스의 상기 상태는 화염 상태를 포함하고, 상기 디바이스의 상기 묘사의 외관을 동적으로 업데이팅하는 것은 상기 화염 상태로 상기 가스 벽난로를 도시하는 것을 포함하는, 비-일시적 전자 디바이스 판독가능 매체.
제12항에 있어서, 상기 디바이스는 전자 창문 블라인드이고, 상기 디바이스의 상기 상태는 블라인드 포지션을 포함하고, 상기 디바이스의 상기 묘사의 외관을 동적으로 업데이팅하는 것은 상기 블라인드 포지션으로 상기 창문 블라인드를 도시하는 것을 포함하는, 비-일시적 전자 디바이스 판독가능 매체.
제12항에 있어서, 상기 디바이스는 디스플레이 디바이스이고, 상기 디바이스의 상기 상태는 미디어 컨텐츠 상태를 포함하고, 상기 디바이스의 상기 묘사의 외관을 동적으로 업데이팅하는 것은 상기 디스플레이 디바이스의 디스플레이 스크린 상의 상기 미디어 컨텐츠 상태에 대응하는 미디어 컨텐츠로 상기 디스플레이 디바이스를 도시하는 것을 포함하는, 비-일시적 전자 디바이스 판독가능 매체.
사용자-탐색가능한 3차원(3-D) 가상적 룸 기반 사용자 인터페이스에 의해 제어된 홈 자동화 시스템으로서,
디스플레이 스크린 및 제어 애플리케이션(앱)을 포함하고, 3-D 가상적 카메라의 관점으로부터 사용자-탐색가능한 3-D 가상적 룸을 상기 디스플레이 스크린 상에서 렌더링하고 디스플레이하도록 구성되는 원격 제어부(remote control), 이동 디바이스, 또는 헤드-장착형 디스플레이(head-mounted display)(HMD) - 상기 사용자-탐색가능한 3-D 가상적 룸은 상기 홈 자동화 시스템의 제어 하에 있는 상기 물리적 룸에서 존재하는 하나 이상의 디바이스들의 묘사들, 상기 물리적 룸의 하나 이상의 경계들의 묘사들, 및 상기 물리적 룸에서 제시하는 하나 이상의 가구들의 묘사들을 포함하고, 상기 3-D 가상적 카메라의 상기 관점은 사용자로부터의 명시적 탐색 커맨드 또는 묵시적 액션에 응답하여 변경가능함 -; 및
상기 물리적 룸에서 존재하는 상기 하나 이상의 디바이스들을 제어하도록 구성되는, 상기 원격 제어부, 이동 디바이스, 또는 HMD와 통신하는 제어기 - 상기 제어기는 상기 사용자-탐색가능한 3-D 가상적 룸과의 사용자 상호작용에 응답하여 디바이스의 상태를 변경하도록 구성됨 -
를 포함하고,
상기 제어 앱은 상기 변경된 상태를 반영하기 위하여, 상기 사용자-탐색가능한 3-D 가상적 룸에서의 상기 디바이스의 상기 묘사, 하나 이상의 경계들의 상기 묘사, 및 하나 이상의 가구들의 상기 묘사들의 외관을 동적으로 업데이팅하도록 추가로 구성되는, 홈 자동화 시스템.
홈 자동화 시스템을 위한 사용자-탐색가능한 3차원(3-D) 가상적 룸-기반 사용자 인터페이스를 생성하기 위한 방법으로서,
카메라에 의해, 물리적 룸의 2차원(2-D) 이미지들 및 3-D 공간 모델을 캡처하는 단계 - 상기 2-D 이미지들 및 3-D 공간 모델은 상기 홈 자동화 시스템의 제어 하에 있는 상기 물리적 룸에서 존재하는 하나 이상의 디바이스들의 묘사들, 물리적 룸의 하나 이상의 경계들의 묘사들, 및 상기 물리적 룸에서 제시하는 하나 이상의 가구들의 묘사들을 포함함 -;
전자 디바이스 상에서 실행되는 애플리케이션에 의해, 이미지 데이터를 상기 3-D 공간 모델에서의 대응하는 위치들로 링크하기 위하여 상기 2-D 이미지들 및 상기 3-D 공간 모델을 함께 스티칭하는 단계;
히트 영역들로 상기 스티칭된 2-D 이미지들 및 3-D 공간 모델에서의 상기 하나 이상의 디바이스들의 묘사들을 태깅하는 단계;
외관 변경들을 상기 태깅되고 스티칭된 2-D 이미지들 및 3-D 공간 모델에서의 상기 하나 이상의 디바이스들에 배정하는 단계 - 각각의 외관 변경은 상기 디바이스에 대한 제어 커맨드와 연관되는, 개개의 디바이스의 상기 묘사, 하나 이상의 경계들의 상기 묘사들, 및 하나 이상의 가구들의 상기 묘사들의 외관에 대한 업데이트를 정의함 -; 및
상기 외관 배정되고, 태깅되고, 스티칭된 2-D 이미지들 및 3-D 공간 모델을 사용자-탐색가능한 3-D 가상적 룸으로서 익스포팅하는 단계
를 포함하는, 방법.
제21항에 있어서,
상기 전자 디바이스 또는 또 다른 전자 디바이스 상에서 실행되는 제어 애플리케이션(앱)에 의해, 상기 스티칭된 2-D 이미지들 및 3-D 공간 모델에 기초하여 가상적 카메라의 상기 관점으로부터 상기 사용자-탐색가능한 3-D 가상적 룸을 렌더링하는 단계를 더 포함하는, 방법.
제22항에 있어서, 상기 렌더링하는 단계는:
상기 가상적 카메라가 상기 2-D 이미지들 중의 하나가 캡처되었던 포지션과 대응하는 포지션에 있는 것으로 결정하는 단계; 및
상기 2-D 이미지들 중의 하나로부터의 데이터를 이용하여 상기 가상적 룸을 렌더링하는 단계
를 포함하는, 방법.
제22항에 있어서, 상기 렌더링하는 단계는:
상기 가상적 카메라가 상기 2-D 이미지들 중의 하나가 캡처되었던 포지션과 대응하는 포지션에 있지 않은 것으로 결정하는 단계; 및
상기 2-D 이미지들 중의 2개 이상을 배합(blend)함으로써 데이터를 이용하여 상기 가상적 룸을 렌더링하는 단계
를 포함하는, 방법.
제21항에 있어서,
상기 스티칭된 2-D 이미지들 및 3-D 공간 모델에서의 시각적 아티팩트들을 정정하는 단계를 더 포함하는, 방법.
제21항에 있어서, 상기 하나 이상의 디바이스들은 라이팅 디바이스를 포함하고, 상기 라이팅 디바이스의 상기 묘사의 상기 외관에 대한 상기 업데이트는 조명 레벨, 컬러, 또는 컬러 온도 중의 적어도 하나에 대한 변경을 포함하고, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들의 상기 외관에 대한 상기 업데이트는, 조명 레벨, 컬러, 또는 컬러 온도 중의 적어도 하나에 대한 상기 변경에 의해 야기된, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들 상의 음영들 및 반사들에 대한 변경을 포함하는, 방법.
제21항에 있어서, 상기 하나 이상의 디바이스들은 전자 창문 블라인드를 포함하고, 상기 전자 창문 블라인드의 상기 묘사의 상기 외관에 대한 상기 업데이트는 블라인드 포지션에 대한 변경을 포함하고, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들의 상기 외관에 대한 상기 업데이트는 상기 블라인드 포지션에 의해 야기된, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들 상의 음영들 및 반사들에 대한 변경을 포함하는, 방법.
제21항에 있어서, 상기 하나 이상의 디바이스들은 가스 벽난로를 포함하고, 상기 가스 벽난로의 상기 묘사의 상기 외관에 대한 상기 업데이트는 화염 상태에 대한 변경을 포함하고, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들의 상기 외관에 대한 상기 업데이트는 상기 화염 상태에 의해 야기된, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들 상의 음영들 및 반사들에 대한 변경을 포함하는, 방법.
제21항에 있어서, 상기 하나 이상의 디바이스들은 디스플레이 디바이스를 포함하고, 상기 디스플레이 디바이스의 상기 묘사의 상기 외관에 대한 업데이트는 미디어 컨텐츠 상태에 대응하는 상기 디스플레이 디바이스 미디어 컨텐츠의 상기 묘사에서 디스플레이 스크린 상에서 도시하는 것을 포함하는, 방법.
제10항에 있어서, 하나 이상의 디바이스들의 상기 묘사들, 하나 이상의 경계들의 묘사들, 및 하나 이상의 가구들의 묘사들은 각각 실질적으로 사실적 묘사들인, 방법.
인코딩된 소프트웨어를 가지는 비-일시적 전자 디바이스 판독가능 매체로서,
상기 소프트웨어는, 하나 이상의 전자 디바이스들의 하나 이상의 프로세서들 상에서 실행될 때:
물리적 룸의 2차원(2-D) 이미지들 및 3-D 공간 모델을 캡처하고 - 상기 2-D 이미지들 및 3-D 공간 모델은 홈 자동화 시스템의 제어 하에 있는 상기 물리적 룸에서 존재하는 하나 이상의 디바이스들의 묘사들을 포함함 -;
이미지 데이터를 상기 3-D 공간 모델에서의 대응하는 위치들로 링크하기 위하여 상기 2-D 이미지들 및 상기 3-D 공간 모델을 함께 스티칭하고;
히트 영역들로 상기 스티칭된 2-D 이미지들 및 3-D 공간 모델에서의 상기 하나 이상의 디바이스들의 묘사들을 태깅하고;
외관 변경들을 상기 태깅되고 스티칭된 2-D 이미지들 및 3-D 공간 모델에서의 상기 하나 이상의 디바이스들에 배정하고 - 각각의 외관 변경은 개개의 디바이스의 상기 묘사의 외관에 대한 업데이트를 정의함 -;
상기 외관 배정되고, 태깅되고, 스티칭된 2-D 이미지들 및 3-D 공간 모델을 사용자-탐색가능한 3-D 가상적 룸으로서 익스포팅하도록
동작가능한, 비-일시적 전자 디바이스 판독가능 매체.
제31항에 있어서, 상기 2-D 이미지들 및 3-D 공간 모델은 물리적 룸의 하나 이상의 경계들의 묘사들 및 상기 물리적 룸에서 제시하는 하나 이상의 가구들의 묘사들을 더 포함하고, 상기 외관 변경들은 상기 디바이스에 대한 제어 커맨드와 연관되는, 하나 이상의 경계들의 상기 묘사들 및 하나 이상의 가구들의 상기 묘사들의 외관에 대한 업데이트를 추가로 정의하는, 비-일시적 전자 디바이스 판독가능 매체.
제31항에 있어서, 상기 소프트웨어는:
상기 스티칭된 2-D 이미지들 및 3-D 공간 모델에 기초하여 가상적 카메라의 관점으로부터 상기 사용자-탐색가능한 3-D 가상적 룸을 렌더링하도록 추가로 동작가능한, 비-일시적 전자 디바이스 판독가능 매체.
제33항에 있어서, 렌더링하도록 동작가능한 상기 소프트웨어는:
상기 가상적 카메라가 상기 2-D 이미지들 중의 하나가 캡처되었던 포지션과 대응하는 포지션에 있는 것으로 결정하고;
상기 2-D 이미지들 중의 하나로부터의 데이터를 이용하여 상기 가상적 룸을 렌더링하도록
추가로 동작가능한, 비-일시적 전자 디바이스 판독가능 매체.
제33항에 있어서, 렌더링하도록 동작가능한 상기 소프트웨어는:
상기 가상적 카메라가 상기 2-D 이미지들 중의 하나가 캡처되었던 포지션과 대응하는 포지션에 있지 않은 것으로 결정하고;
상기 2-D 이미지들 중의 2개 이상을 배합함으로써 데이터를 이용하여 상기 가상적 룸을 렌더링하도록
추가로 동작가능한, 비-일시적 전자 디바이스 판독가능 매체.
제31항에 있어서, 상기 소프트웨어는:
상기 스티칭된 2-D 이미지들 및 3-D 공간 모델에서의 시각적 아티팩트들을 정정하도록 추가로 동작가능한, 비-일시적 전자 디바이스 판독가능 매체.