KR20210141516A - 점유자 상태를 관찰하고 빌딩의 디바이스들을 관리하는 시스템 및 방법 - Google Patents

점유자 상태를 관찰하고 빌딩의 디바이스들을 관리하는 시스템 및 방법 Download PDF

Info

Publication number
KR20210141516A
KR20210141516A KR1020217030346A KR20217030346A KR20210141516A KR 20210141516 A KR20210141516 A KR 20210141516A KR 1020217030346 A KR1020217030346 A KR 1020217030346A KR 20217030346 A KR20217030346 A KR 20217030346A KR 20210141516 A KR20210141516 A KR 20210141516A
Authority
KR
South Korea
Prior art keywords
building
user
information
occupants
vehicle
Prior art date
Application number
KR1020217030346A
Other languages
English (en)
Inventor
라비 쵸우다리
인이 궈
파테메 사키
에릭 비제르
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20210141516A publication Critical patent/KR20210141516A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B60K2370/146—
    • B60K2370/148—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

차량 계기판에 장착 가능한 시각적 인터페이스에 정보를 제공하는 디바이스는 빌딩의 제어 가능한 디바이스들을 나타내는 디바이스 정보 및 빌딩의 하나 이상의 점유자를 나타내는 점유자 데이터를 저장하도록 구성된 메모리를 포함한다. 디바이스는 빌딩의 하나 이상의 점유자와 연관된 상태 정보를 실시간으로 수신하도록 구성된 프로세서를 포함한다. 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함한다. 프로세서는 시각적 인터페이스 디바이스에서, 빌딩의 적어도 일부 및 하나 이상의 점유자들과 연관된 상태 정보의 시각적 표현을 제공하기 위해 출력을 생성하도록 구성된다. 프로세서는 또한 사용자 입력에 기초하여 제어 가능한 디바이스들 중 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하도록 구성된다.

Description

점유자 상태를 관찰하고 빌딩의 디바이스들을 관리하는 시스템 및 방법
본 특허출원은 2019년 3월 29일자로 출원된 발명의 명칭이 “SYSTEM AND METHOD TO VIEW OCCUPANT STATUS AND MANAGEMENT DEVICES OF BUILDING” 인 미국 출원 제 16/370,836” 에 대한 우선권을 주장하고, 이것은 본 출원의 양수인에게 양도되고 본 명세서에 참조에 의해 명백히 포함된다.
본 개시는 일반적으로 빌딩 내의 제어 디바이스들에 대한 인터페이스에 관한 것이다.
기술의 진보는 더 소형이고 더 강력한 컴퓨팅 디바이스들을 발생시켰다. 예를 들어, 소형이고 경량이며 사용자들에 의해 용이하게 휴대되는 모바일 및 스마트 폰들과 같은 무선 전화기들, 태블릿들 및 랩톱 컴퓨터들을 포함하는 다양한 휴대용 개인 컴퓨팅 디바이스들이 현재 존재한다. 이들 디바이스들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 게다가, 많은 이러한 디바이스들은 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 플레이어와 같은 추가적인 기능성을 통합한다. 또한, 이러한 디바이스들은, 인터넷에 액세스하는데 사용될 수 있는 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함한 실행가능 명령들을 프로세싱할 수 있다. 이로써, 이들 디바이스들은 현저한 컴퓨팅 능력들을 포함할 수 있다.
사물 인터넷(IoT) 가능 디바이스들과 같은 집 안의 "스마트" 디바이스들의 네트워크는 "홈 계기판" 애플리케이션을 통해 제어될 수 있다. 예를 들어, 사용자는 스마트폰이나 다른 휴대용 개인 컴퓨팅 장치에서 실행되는 홈 계기판 애플리케이션을 사용하여 조명을 켜거나 끄거나 보안 카메라의 피드를 볼 수 있다. 그러나 원격 위치에서 디바이스들을 제어하는 것은 집 안에 있는 점유자에게 문제를 초래할 수 있다. 예를 들어, 집에 있는 불을 끄는 것은 불이 꺼지기를 기대하지 않는 집의 점유자에게 위험하거나 불편할 수 있다.
특정의 양태에서, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스는 빌딩의 제어 가능한 디바이스들을 나타내는 디바이스 정보 및 빌딩의 하나 이상의 점유자들을 나타내는 점유자 데이터를 저장하도록 구성된 메모리를 포함한다. 디바이스는 또한 빌딩의 하나 이상의 점유자들과 연관된 상태 정보를 실시간으로 수신하도록 구성된 프로세서를 포함한다. 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함한다. 프로세서는 적어도 빌딩의 일부 및 하나 이상의 점유자들과 연관된 상태 정보의 시각적 표현을, 시각적 인터페이스 디바이스에서, 제공하기 위해 출력을 생성하도록 구성된다. 프로세서는 또한 사용자 입력에 기초하여 제어 가능한 디바이스들 중 하나 이상의 디바이스들의 동작을 조정하기 위한 명령을 생성하도록 구성된다.
다른 특정의 양태에서, 빌딩의 점유자들과 연관된 정보를 제공하기 위한 방법은 빌딩의 하나 이상의 점유자들과 연관된 상태 정보를, 계기판 디바이스에서 실시간으로, 수신하는 단계를 포함한다. 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함한다. 방법은 적어도 빌딩의 일부 및 하나 이상의 점유자들과 연관된 상태 정보의 시각적 표현을, 계기판 디바이스의 시각적 인터페이스에서, 생성하는 단계를 포함한다. 방법은 또한 빌딩의 하나 이상의 제어 가능한 디바이스들의 제어와 관련된 사용자 입력을, 계기판 디바이스에서, 수신하는 단계, 및 사용자 입력에 기초하여 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하는 단계를 포함한다.
다른 특정의 양태에서, 비일시적 컴퓨터 판독가능 매체는, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 빌딩의 하나 이상의 점유자들과 연관된 상태 정보를, 실시간으로, 수신하게 하는 명령들을 포함한다. 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함한다. 명령들은 또한 하나 이상의 프로세서들로 하여금 적어도 빌딩의 일부 및 하나 이상의 점유자들과 연관된 상태 정보의 시각적 표현을 제공하기 위해 시각적 인터페이스 디바이스에 대해 출력을 생성하게 한다. 명령들은 또한 하나 이상의 프로세서들로 하여금 빌딩의 하나 이상의 제어 가능한 디바이스들의 제어와 관련된 사용자 입력을 수신하게 하고, 사용자 입력에 기초하여 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하게 한다.
다른 특정의 양태에서, 빌딩의 점유자들에 대한 정보를 제공하기 위한 동작들을 수행하는 장치는 빌딩의 하나 이상의 점유자들과 연관된 상태 정보를, 실시간으로, 수신하는 수단을 포함한다. 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함한다. 장치는 또한 적어도 빌딩의 일부 및 하나 이상의 점유자들과 연관된 상태 정보의 시각적 표현을 제공하는 수단을 포함한다. 장치는 빌딩의 하나 이상의 제어 가능한 디바이스들의 제어와 관련된 사용자 입력을 수신하는 수단을 포함한다. 장치는 사용자 입력에 기초하여 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하는 수단을 포함한다.
본 개시의 다른 양태들, 이점들, 및 특징들은 다음 섹션들을 포함하는 전체 출원의 검토 후에 명백하게 될 것이다: 도면의 간단한 설명, 상세한 설명, 및 청구범위.
도 1 은 빌딩 내의 점유자 상태 및 관리 디바이스들을 뷰잉하는 디바이스를 포함하는 시스템의 특정의 예시적인 예의 블록도이다.
도 2 는 도 1 의 디바이스의 컴포넌트들의 제 1 예시적인 예를 포함하는 블록도이다.
도 3 은 도 1 의 디바이스의 컴포넌트들의 제 2 예시적인 예를 포함하는 블록도이다.
도 4 는 도 1 의 디바이스의 컴포넌트들의 제 3 예시적인 예를 포함하는 블록도이다.
도 5 는 도 1 의 디바이스에 의해 생성되는 점유자 상태 및 제어 가능한 디바이스들의 시각적 표현의 예시적인 예를 도시하는 다이어그램이다.
도 6 은 도 1 의 디바이스의 제 1 예시적인 예를 도시하는 다이어그램이다.
도 7 은 도 1 의 디바이스의 제 2 예시적인 예를 도시하는 다이어그램이다.
도 8 은 도 1 의 디바이스의 제 3 예시적인 예를 도시하는 다이어그램이다.
도 9 는 도 1 의 디바이스에 의해 생성되는 점유자 상태 및 제어 가능한 디바이스들의 시각적 표현의 다른 예시적인 예를 도시하는 다이어그램이다.
도 10 은 차량의 오퍼레이터 및 승객에 의해 뷰잉 가능한 차량 계기판에서의 도 1 의 디바이스의 구현을 도시하는 다이어그램이다.
도 11 은 도 10 의 오퍼레이터에 의해 뷰잉 가능한 점유자 상태 및 제어 가능한 디바이스들의 시각적 표현의 예시적인 예를 도시하는 다이어그램이다.
도 12 는 도 10 의 승객에 의해 뷰잉 가능한 점유자 상태 및 제어 가능한 디바이스들의 시각적 표현의 예시적인 예를 도시하는 다이어그램이다.
도 13 은 빌딩의 점유자들에 대한 정보를 제공하는 특정의 방법을 도시하는 플로우챠트이다.
도 14 는 빌딩의 점유자들에 대한 정보를 제공하는 다른 특정의 방법을 도시하는 플로우챠트이다.
도 15 는 빌딩 내의 점유자 상태 및 제어 가능한 디바이스들을 뷰잉하도록 동작 가능한 디바이스의 특정의 예시적인 예의 블록도이다.
점유자 상태를 관찰하고 빌딩의 디바이스들을 관리하는 시스템 및 방법이 개시된다. 집 안에 있는 디바이스들을 제어하기 위해 (예를 들어, 원격 전화의) 종래의 홈 계기판 애플리케이션을 사용하는 원격 사용자는 집 안의 점유자가 조명이 꺼지기를 기대하지 않을 때 집 안의 조명을 소등하는 것과 같은, 집의 점유자들에 대한 불편 또는 안전 문제들을 야기할 수 있기 때문에, 종래의 홈 계기판 애플리케이션은 점유자가 빌딩에 있을 때 사용하기에 적합하지 않다.
본 명세서에 설명된 바와 같이, 디바이스 및 시스템은 빌딩의 디바이스의 제어를 제공하는 것 외에도 빌딩의 점유자에 관한 실시간 상태 정보를 갖는 집 또는 다른 빌딩의 시각적 표현을 사용자가 보는 것을 가능하게 한다. 일부 구현에서, 점유자 상태 정보는 각 점유자의 위치 및 활동 정보를 포함하고 또한 각 점유자의 감정 상태 및 나이 추정을 포함한다. 점유자 상태 정보는 디바이스의 사용자가 점유자 상태 정보를 사용자에게 제공하지 않는 기존의 홈 계기판 애플리케이션에 의해 도입될 수 있는 빌딩 점유자에 대한 위험 또는 불편을 피하는 것을 가능하게 한다. 이러한 맥락에서, "실시간"은 상당한 지연이 없는 것을 의미한다. 상태 정보는 빌딩의 점유자(예를 들어, 사람)에 관한 것이기 때문에, 통신 지연, 데이터 처리, 재생을 위한 이미지 또는 데이터 버퍼링 등으로 인해 발생하는 임의의 지연은 점유자의 위치 또는 활동이 상당히 변경되기에는 너무 짧고, 많은 경우에 일반적인 인간의 인식에 비해 너무 짧기 때문에 중요하지 않다. 따라서, 상태 정보의 맥락에서 "실시간"은 수신된 상태 정보가 몇 초 또는 최대 1분과 같은 인간 행동의 시간 척도 내에서 점유자 상태를 기술한다는 것을 나타낸다.
또한, 자동차 계기판 디스플레이, 모바일 디바이스 애플리케이션, 또는 벽걸이형 빌딩 관리 디스플레이와 같은 다양한 조건에서 사용을 용이하게 할 수 있는 터치스크린 및 콘텍스트 인식 음성 및 제스처 인식을 비롯한 다양한 인터페이스가 설명된다. 일부 구현에서, 사용자 인가에 기반한 액세스 제어는 디바이스의 비인가 사용자 또는 뷰어로부터 빌딩의 점유자, 빌딩의 제어 가능한 디바이스, 또는 둘 모두의 프라이버시 및 보안을 보호한다.
도 1 을 참조하면, 점유자의 상태를 제공하고 빌딩의 디바이스들을 관리하도록 작동할 수 있는 시스템의 특정 예시적인 양태가 개시되고 일반적으로 100으로 지정된다. 시스템(100)은 시각적 인터페이스 디바이스(140) 및 마이크로폰(142)에 연결된 디바이스(104)를 포함한다. 디바이스 (104) 는 예를 들어 하나 이상의 무선 네트워크들, 하나 이상의 유선 네트워크들, 또는 이들의 조합을 통해 빌딩 (150) 에 연결된다.
빌딩(150)은 하나 이상의 제어 가능한 디바이스(156) 및 하나 이상의 센서(158)에 연결된 빌딩 관리 시스템(154)을 포함한다. 하나 이상의 센서들 (158) 은 빌딩 (150) 의 하나 이상의 점유자들 (152) 과 관련된 활동을 검출하도록 구성된다. 비제한적인 예에서, 빌딩(150)은 디바이스(104)의 사용자(102)의 집이다. 그러나, 다른 구현에서, 빌딩(150)은 비제한적인 예로서 사무실 빌딩, 아파트 빌딩 또는 극장과 같은 다른 유형의 빌딩이다. 예시적인 예에서, 빌딩 관리 시스템(154)은 아파트 관리자에 의해 사용되는 것과 같은 다중 유닛 제어 시스템이다.
일부 구현에서, 하나 이상의 센서(158)는 하나 이상의 마이크로폰, 카메라, 적외선 센서, 초음파 센서, 다른 센서, 또는 이들의 조합을 포함한다. 빌딩(150)의 방 사이의 이동, 제스처 및 음성과 같은 점유자 활동은 하나 이상의 센서(158)에 의해 검출되고 빌딩 관리 시스템(154)에 제공된다. 일부 구현에서, 빌딩 관리 시스템(154)은 센서 데이터를 해석하여 점유자(152)의 신원, 연령 및 감정 상태를 결정하고 그 점유자 정보를 상태 정보(130)로서 디바이스(104)에 송신하도록 구성된다. 예를 들어, 점유자의 연령 및 감정 상태에 관한 정보는 이하에서 추가로 설명되는 바와 같이 사용자(102)가 디바이스(104)를 통해 어떤 액션들을 수행할지를 결정하는 데 도움을 줄 수 있다. 일부 구현에서, 센서 데이터의 일부 또는 전부는 대신에 디바이스(104)로 송신되고 디바이스(104)에서 처리되어 상태 정보(130)의 대응하는 부분을 생성한다. 대안적으로 또는 추가로, 상태 정보(130)의 생성은 빌딩 관리 시스템(154)과 디바이스(104) 사이에 분산될 수 있다.
하나 이상의 제어 가능한 디바이스(156)는 빌딩 관리 시스템(154)으로부터의 명령에 응답한다. 예시적인 예에서, 하나 이상의 제어 가능한 디바이스(156)는 중앙 열 및 공기 유닛과 같은 실내 온도 조절기, 조도 조절이 가능한 천장 조명과 같은 조명 디바이스, 오디오/비디오 시스템과 같은 엔터테인먼트 시스템, 하나 이상의 기타 제어 가능한 장치, 또는 이들의 조합을 포함한다.
디바이스(104)는 시각적 "홈 계기판" 유형 애플리케이션을 통해 빌딩(150)에 있는 디바이스의 제어 및 점유자 정보에 대한 액세스를 사용자(102)에게 제공하도록 구성된다. 디바이스(104)는 빌딩(150) 및 한 명 이상의 점유자(152)의 시각적 표현을, 상태 정보(130)의 시각적 표현과 함께, 시각적 표현 (144) 으로서 사용자(102)에게 표시되도록 시각적 인터페이스 디바이스(140)에 제공하도록 구성된다. 디바이스(104)는 또한 마이크로폰(142)에 의해 캡처되는 사용자 음성(103)에서 사용자(102)가 말한 커맨드와 같은, 사용자(102)로부터의 입력에 응답하여 그 커맨드를 하나 이상의 제어 가능한 디바이스(156)를 제어하기 위한 명령으로 변환한다.
디바이스(104)는 프로세서(108)에 연결되는 메모리(106) 및 음성 인식 엔진(118)을 포함한다. 메모리(106)는 시각적 "홈 계기판" 유형 애플리케이션과 관련된 동작들 (예를 들어, 빌딩(150) 과 관련된 상태 업데이트들을 수신 및 디스플레이하는 것 및 제어가능한 디바이스들(156) 중 하나 이상을 제어하기 위한 사용자 입력을 수신하는 것) 을 수행하기 위해 프로세서(108)에 의해 실행가능한 실행 가능 명령들 (예를 들어, 프로그램 코드) 를 저장하도록 구성된다. 메모리(106)는 또한 도 2 를 참조하여 추가로 설명되는 바와 같이, 하나 이상의 제어 가능 디바이스(156)와 연관된 데이터 및 하나 이상의 점유자(152)와 연관된 데이터를 저장하도록 구성된다.
음성 인식 엔진(118)은 마이크로폰(142)으로부터 오디오 신호(143)를 수신하고 오디오 신호(143)를 처리하여 사용자 입력(119)을 생성하도록 구성된다. 예시적인 예에서, 음성 인식 엔진(118)은 자동 음성 인식(ASR)을 수행하여 사용자(102)에 의해 발화된 단어를 식별하고 그 식별된 단어의 텍스트 표현을 생성하도록 구성된다. 사용자 입력(119)은 시각적 계기판 유형 애플리케이션에 대한 사용자 커맨드로서 처리하기 위한 프로세서(108)에 제공된다.
프로세서(108)는 사용자(102)로부터의 사용자 커맨드를 식별하고 사용자 입력(119)에 응답하기 위해 사용자 입력(119)을 처리하도록 구성된다. 예시적인 예로서, 프로세서(108)는 자연어 처리(NLP)를 수행하여 사용자 입력(119)을 하나 이상의 제어 가능한 디바이스(156)와 관련하여 수행될 액션에 매핑할 수 있다. 예를 들어, "거실 조명을 높이십시오"라는 단어의 시퀀스를 포함하는 사용자 입력(119)은 빌딩(150)의 거실에 있는 천장 조명의 밝기 레벨을 25% 증가시키는 액션에 매핑될 수 있다. 프로세서(108)는 취해질 액션을 식별하는 명령(132)을 생성하고 빌딩 관리 시스템(154)에 송신한다. 프로세서(108)는 예를 들어 팝업 메시지를 통해 또는 시각적 표현(144) 내의 표시기를 조정함으로써 (예를 들어, 새로운 조명 레벨을 나타내기 위해 거실의 조명 레벨의 표시기를 조정함으로써) 사용자(102)에게 그 액션이 수행되었음을 시각적으로 제시하도록 출력(117)을 업데이트할 수 있다.
일부 구현에서, 시각적 인터페이스 디바이스(140)는 도 7 및 도 10에 예시된 것과 같은, 차량 계기판에 장착 가능하거나 통합된다. 대안적으로 또는 추가로, 일부 구현에서 시각적 인터페이스 디바이스(140)는 도 6 에 도시된 태블릿 장치와 같은 모바일 장치에 통합된다. 다른 구현에서, 시각적 인터페이스 디바이스(140)는 도 8 에 예시된 것과 같은, 빌딩 (150) 내의 디바이스로서 구현된다. 일부 구현에서, 시각적 인터페이스 디바이스(140)는 터치스크린 또는 다른 입력 메커니즘을 포함하여 사용자(102)가 도 2 에 도시된 바와 같이 디바이스(104)에 비음성 커맨드를 입력할 수 있게 한다. 일부 예에서, 시각적 인터페이스 디바이스(140)는, 도 10 내지 도 12 를 참조하여 추가로 설명되는 바와 같이, 예를 들어 인가된 사용자가 (예를 들어, 차량에 착석한 사용자의 위치들에 기초하여) 비인가된 사용자의 뷰로부터 제한되는 정보를 볼 수 있도록 하기 위해, 상이한 뷰어에 대해 시각적 표현(144)의 상이한 버전을 제공할 수 있는 홀로그램 디스플레이를 제공하도록 구성된다.
동작 동안, 디바이스(104), 시각적 인터페이스 디바이스(140), 및 마이크로폰(142)이 자동차에서 통합되는 특정 구현에서, 사용자(102)(예를 들어, 자동차 운전자)는 빌딩 (150) 내의 점유자 및 상태를 묘사하는 시각적 표현(144)을 볼 수 있다. 디바이스(104)는 한 명 이상의 점유자(152)의 위치, 활동, 및 감정 상태의 검출된 변화와 같은 상태 정보(130)에 대한 업데이트를 수신하고, 시각적 표현(144)이 하나 이상의 점유자(152)에 관한 동적 정보를 사용자(102)에게 제공하도록 출력(117)을 통해 시각적 표현(144)을 업데이트한다. 본 명세서에서 사용되는 바와 같이, "동적" 정보는 빌딩(150)에서 상태 변화의 검출에 응답하여 업데이트되는 정보를 나타낸다. 상태 변경은 상태 정보(130)를 통해 표시되며, 상태 정보는 변경의 검출 시 실시간으로 디바이스(104)에 송신될 수 있거나 주기적으로 또는 지속적으로 디바이스(104)에 송신되고 디바이스(104)에 의해 처리되어 상태 변경을 검출할 수 있다.
예를 들어, 디바이스(104)는 검출된 점유자들 각각의 기록을 유지할 수 있고, 예를 들어, 점유자가 빌딩(150) 내에서 위치 (예를 들어, 방) 를 변경했거나, 활동을 변경했거나 (예를 들어, 점유자가 텔레비전 시청을 중단하고 지금 전화 또는 대면 대화에 참여하고 있거나), 감정적 상태를 변경한 경우, 상태 정보(130)에 표시된 변경에 기초하여 (예를 들어, 메모리(106)에서) 하나 이상의 기록을 업데이트할 수 있다. 점유자들 중 하나 이상의 검출된 변경에 응답하여, 디바이스(104)는 출력(117)을 업데이트하여 시각적 인터페이스 디바이스(140)가 그 변경을 나타내기 위해 시각적 표현(144)을 조정하게 한다. 예를 들어, 점유자를 나타내는 아이콘은 빌딩(150) 내 점유자의 위치의 변경에 응답하여 한 위치 (예를 들어, 빌딩(150)의 그래픽 맵의 첫 번째 방)에서 제거되고 다른 위치(예를 들어, 그래픽 맵의 두 번째 방)에 삽입될 수 있다. 위치, 활동 및 다른 상태 정보를 표시하는 예는 도 5를 참조하여 추가로 설명된다.
하나 이상의 점유자(152)의 상태 정보에 기초하여, 사용자(102)는 하나 이상의 제어 가능한 디바이스(156) 중 하나 이상의 동작을 조정할지 여부 또는 조정할 방법을 결정할 수 있다. 예를 들어, 사용자(102)는 비어 있는 빌딩(150)의 방에서 조명을 끄기 위한 음성 커맨드를 제공할 수 있다. 다른 예로서, 사용자(102)는 홈 엔터테인먼트 시스템으로 하여금 한 명 이상의 점유자(152) 중 한 명이 동요하거나 화난 감정 상태에 있는 것으로 검출될 때 부드럽고 감미로운 음악을 재생하게 하거나, 한 명 이상의 점유자(152) 중 한 명이 늦잠을 잤음을 검출하면 크고, 동기 부여적인 음악 (예를 들어, 행진곡) 을 재생하게 하기 위해 음성 커맨드를 제공할 수 있다. 또 다른 예로서, 상태 정보(130)는 첫 번째 점유자가 만족하여 거실에서 텔레비전을 보고 있고 두 번째 점유자(예를 들어, 어린이)가 침실에서 깨어 있고 침대에 누워 있음을 나타낼 수 있고, 사용자 입력 (119) 은 두 번째 점유자가 잠들도록 돕기 위해 텔레비전의 볼륨을 낮추라는 사용자(102)로부터의 명령을 포함할 수 있다. 이 예에서, 명령(예를 들어, 명령(132))은 텔레비전이 볼륨을 낮추도록 하기 위해 빌딩 관리 시스템(154)에 송신된다.
음성 커맨드는 마이크로폰(142)에 의해 캡처되고, 음성 인식 엔진(118)에 의해 사용자 입력(119)으로 해석되고, 명령(132)과 같은 명령을 생성하기 위해 프로세서(108)에 의해 처리된다. 명령은 그 명령이 지정된 하나 이상의 제어 가능한 디바이스(156)에 의해 수행되게 하는 빌딩 관리 시스템(154)으로 송신된다. 센서(158)에 의해 검출된 것과 같은, 빌딩(150) 내의 변경은 업데이트된 상태 정보(130)로서 디바이스(104)에 제공되고 시각적 인터페이스 디바이스(140)를 통해 사용자(102)에게 표시될 수 있다.
디바이스(156)의 제어를 제공하는 것에 더하여 사용자(102)에게 빌딩(150)의 점유자에 관한 실시간 상태 정보(130)를 제공함으로써, 사용자(102)는 사용자에게 점유자 상태 정보를 제공하지 않는 기존의 홈 계기판 애플리케이션에 비해 점유자(152)를 불편하게 하는 감소된 위험으로 빌딩(150)에서 변경을 원격으로 수행할 수 있다. 점유자 상태 정보(130)가 각 점유자의 위치 및 활동 정보를 포함하고 또한 각 점유자의 감정 상태 및 연령 추정을 포함하는 구현에서, 사용자(102)가 그러한 정보를 갖고 있지 않을 때와 비교하여 점유자 연령 및 감정적 상태를 고려하여 사용자 (102) 에 의해 더 효과적이거나 적절한 액션들이 선택될 수 있다.
일부 구현에서 디바이스(104)는 하나 이상의 제어 가능한 디바이스(156)를 제어하고 하나 이상의 센서(158)와 인터페이스하는 빌딩 관리 시스템(154)과 통신할 수 있지만, 다른 구현에서 디바이스(104)는 분산형 사물 인터넷(IoT) 구현에서와 같이, 중앙 관리 시스템 (예를 들어, 빌딩 관리 시스템(154)은 생략될 수 있음) 이 없이 하나 이상의 제어 가능한 디바이스(156) 및 하나 이상의 센서(158) 와 상호 작용하도록 구성된다.
도 1의 시스템(100)에 의해 수행되는 다양한 기능들이 특정 컴포넌트 또는 모듈에 의해 수행되는 것으로 설명됨을 주목해야 한다. 그러나, 컴포넌트들 및 모듈들의 이 분할은 단지 예시를 위한 것이다. 대안적인 양태에서, 특정의 컴포넌트 또는 모듈에 의해 수행되는 기능은 다수의 컴포넌트들 또는 모듈들 간에 분할될 수도 있다. 더욱이, 대안적인 양태에서, 도 1 의 2 개 이상의 컴포넌트들 또는 모듈은 단일 컴포넌트 또는 모듈에 통합될 수 있다. 도 1에 도시된 각 컴포넌트 또는 모듈은 하드웨어 (예를 들어, 필드 프로그래밍가능 게이트 어레이 (FPGA) 디바이스, 어플리케이션 특정 집적 회로 (ASIC), 디지털 신호 프로세서 (DSP), 제어기 등), 소프트웨어 (예를 들어, 프로세서에 의해 실행가능한 명령들), 또는 이들의 임의의 조합을 이용하여 구현될 수도 있다.
도 2 는 디바이스 (104) 의 구현을 포함하는 시스템 (200) 의 예를 예시한다. 디바이스(104)는 시각적 인터페이스 디바이스(140), 마이크로폰(142), 및 센서(244)에 연결된다. 예를 들어, 디바이스(104)는 시각적 인터페이스 디바이스(140), 마이크로폰(142), 및 센서(244)와 구별되고 분리된 컴포넌트에 통합될 수 있다. 예를 들어, 시각적 인터페이스 디바이스(140)는 자동차 계기판 디바이스에 통합될 수 있고, 마이크로폰(142)는 자동차 내부의 마이크로폰 어레이의 일부일 수 있으며, 센서(244)는 자동차의 다른 내부 컴포넌트에 통합될 수 있다. 디바이스(104)는 자동차의 전자 패키지에서 구현될 수 있고 하나 이상의 와이어를 통해 또는 무선 시그널링을 통해 시각적 인터페이스 디바이스(140), 마이크로폰(142), 및 센서(244)에 연결될 수 있다.
디바이스 (104) 는 메모리 (106) 및 프로세서 (108) 를 포함한다. 메모리(106)는 여기에 설명된 기능을 수행하기 위해 프로세서(108)에 의해 실행가능한 명령(230)를 저장하도록 구성된다. 메모리(106)는 빌딩(150)의 하나 이상의 제어 가능한 디바이스(156)를 나타내는 디바이스 정보(240)를 저장하도록 추가로 구성된다. 메모리(106)는 또한 빌딩(150)의 하나 이상의 점유자(152) 중 하나 이상을 나타내는 점유자 데이터(242)를 저장하도록 구성된다.
프로세서(108)는 메모리(106)에 연결되고 출력 생성기(260), 명령 생성기(262), 및 사용자 검증기(264)를 포함한다. 일부 구현에서, 출력 생성기(260), 명령 생성기(262), 또는 사용자 검증기(264) 중 하나 이상 또는 모두는 프로세서(108)의 하나 이상의 프로세싱 코어에서 명령(230)의 실행을 통해 구현된다. 다른 구현에서, 출력 생성기(260), 명령 생성기(262), 또는 사용자 검증기(264) 중 하나 이상의 적어도 일부는 각각의 특정 애플리케이션에 특정한 전용 하드웨어 또는 회로를 통해 구현된다.
프로세서(108)는 빌딩(150)의 하나 이상의 점유자(152)와 연관된 실시간 상태 정보(130)를 수신하도록 구성된다. 상태 정보(130)는 동적 위치 정보(202) 또는 동적 활동 정보(204) 중 적어도 하나를 포함한다. 예시된 바와 같이, 위치 정보(202) 및 활동 정보(204)는 후술하는 바와 같이 시각적 인터페이스 디바이스(140)를 통해 사용자(102)에게 제공되는 디스플레이된 상태 정보(248)에 포함될 수 있다. 또한, 디스플레이된 상태 정보(248)는 하나 이상의 점유자(152) 각각과 연관된 추정된 연령(206) 및 감정 상태(208)를 포함할 수 있다.
출력 생성기(260)는 시각적 인터페이스 디바이스(140)에서 시각적 표현(144)을 제공하기 위해 출력(117)을 생성하도록 구성된다. 시각적 표현(144)은 빌딩(150)의 적어도 일부 및 한 명 이상의 점유자(152)와 관련된 상태 정보(248)를 그래픽으로 묘사한다. 예를 들어, 도 5 를 참조하여 더욱 상세히 설명되는 바와 같이, 시각적 표현(144)은 빌딩(150)의 하나 이상의 내부 공간의 단순화된 뷰를 예시할 수 있고 빌딩(150) 내의 대략적인 위치에서 하나 이상의 점유자(152)를 나타내는 하나 이상의 표시기 또는 아이콘을 포함할 수 있다.
명령 생성기(262)는 제어 가능한 디바이스들 (156) 중 하나 이상이 사용자 입력(119)에 기초하여 동작을 조정하게 하도록 구성된다. 예를 들어, 사용자 입력(119)은 사용자(102)의 가청 음성, 시각적 인터페이스 디바이스(140)의 터치스크린(246)에서의 터치 검출, 또는 디바이스(104)에 대한 커맨드로서 인식되는 사용자(102)의 제스처를 통해 사용자(102)로부터 수신된 커맨드를 나타낼 수 있다. 예시적인 구현에서, 명령 생성기(262)에 의해 생성된 명령(132)은 빌딩(150)의 실내 온도 조절기로 하여금 온도를 조정하게 하는 명령, 빌딩의 적어도 하나의 방의 조명 레벨을 조정하라는 명령, 또는 빌딩(150)에 있는 엔터테인먼트 시스템의 재생 설정을 조정하라는 명령 중 적어도 하나를 포함한다.
디바이스(104)는 음성 인식 엔진(118)을 포함한다. 음성 인식 엔진(118)은 프로세서(108)에 연결되고 가청 사용자 음성(103)에 대응하는 오디오 신호(143)를 수신하고 오디오 신호(143)를 사용자 입력(119)으로 변환하도록 구성된다. 마이크로폰(142)은 음성 인식 엔진(118)에 연결되고, 가청 사용자 음성(103)을 캡처하고 오디오 신호(143)를 생성하도록 구성된다.
디바이스(104)는 또한 프로세서(108)에 연결된 제스처 인식 유닛(218)을 포함한다. 제스처 인식 유닛(218)은 사용자 제스처에 대응하는 센서 신호(243)를 수신하도록 구성된다. 제스처 인식 유닛(218)은 센서 신호(243)를 사용자 입력(119)으로 변환하도록 구성된다. 예를 들어, 센서(244)는 제스처 인식 유닛(218)에 연결되고, 사용자 제스처를 검출하고 센서 신호(243)를 생성하도록 구성된다. 예시적으로, 센서(244)는 카메라, 적외선 센서, 또는 초음파 센서 중 적어도 하나를 포함할 수 있다. 센서(244)에 의해 캡처될 수 있는 제스처의 예는 좌우로 손을 흔드는 제스처와 같은 손을 흔드는 제스처, 손을 올리는 제스처, 손을 내리는 제스처, 열린 손, 닫힌 손, 다수의 펼쳐진 손가락, 하나 이상의 다른 제스처, 또는 이들의 조합을 포함한다. 센서(244)에 의해 캡처될 수 있는 제스처의 다른 예는 고개 끄덕임 또는 머리 흔드는 것과 같은 머리 제스처, 얼굴 제스처, 또는 이들의 임의의 조합을 포함한다. 제스처 인식 유닛(218)은 예를 들어 입력 신호를 제스처로 분류하도록 구성되는 훈련된 신경망에 대한 입력을 형성하기 위해 센서 신호(243)를 처리함으로써 센서 신호(243)를 해석하도록 구성된다.
디바이스(104)는 사용자 터치에 대응하는 터치 검출 신호(245)를 수신하고 그 터치 검출 신호(245)를 사용자 입력(119)으로 변환하도록 구성된 터치 인식 유닛(220)을 더 포함한다. 예를 들어, 시각적 인터페이스 디바이스(140)는 터치 인식 유닛(220)에 연결되는 터치스크린(246)을 포함한다. 터치스크린(246)은 시각적 표현(144)을 디스플레이하고 터치 검출 신호(245)를 생성하도록 구성된다. 예를 들어, 시각적 표현(144)이 빌딩(150)의 단순화된 그래픽 표시를 묘사할 때, 터치스크린(246)은 시각적 표현(144)을 디스플레이하는 동안 터치된 위치를 검출할 수 있고, 그 위치는 사용자(102)에 의해 조작될 시각적 표현(144) 내의 하나 이상의 제어, 하나 이상의 아이콘, 또는 하나 이상의 위치를 식별하기 위해 터치 인식 유닛(220)에 의해 해석될 수 있다.
사용자 검증기(264)는 디바이스(104)의 사용자가 인가된 사용자인지 여부를 결정하고, 사용자가 인가된 사용자 (예를 들어, 비인가된 사용자에게 제한되는 정보에 액세스하기 위해 인가되는 것으로서 식별되는 사용자) 인지 여부의 결정에 기초하여 하나 이상의 제어 가능한 디바이스 (156) 의 제어를 선택적으로 제한하도록 구성된다. 예를 들어, 사용자 검증기(264)는, 사용자가 인가된 사용자인지 여부에 기초하여, 하나 이상의 제어 가능한 디바이스(156)의 적어도 일부에 대한 액세스를 선택적으로 제한할지 여부를 결정하도록 구성될 수 있다. 다른 예로서, 사용자 검증기(264)는 예를 들어 사용자(102)에 의해 제공되는 자격증명, 패스워드, 얼굴 인식, 음성 인식, 챌린지 질문, 다른 비전 기반 또는 생체 기반 정보, 또는 사용자(102)의 신원을 확인하기 위한 하나 이상의 메커니즘을 통해 사용자(102)의 식별을 수신하도록 구성될 수 있다. 식별된 사용자(102)는 빌딩(150)의 정보에 대한 액세스를 결정하기 위해 디바이스(104)의 인가된 사용자의 데이터베이스와 비교될 수 있다. 일부 구현에서, 디바이스(104)는 사용자의 집, 사용자의 사무실, 및 하나 이상의 위치와 같은 다수의 빌딩에 관한 정보를 제공하는 데 사용될 수 있다. 그러한 상황에서, 사용자 검증기(264)는 디바이스(104)를 통해 액세스될 수 있는 다수의 빌딩들 각각에 대해 다양한 사용자들에 대해 상이한 액세스 레벨을 제공할 수 있다. 일부 구현에서, 상태 정보(248) 및 빌딩(150)의 하나 이상의 부분에 대한 가시성에 대한 액세스를 제한하는 것은 빌딩(150)이 사용자 (102) 의 집에 해당하는 경우와 같이 사용자(102)가 부모인지 또는 빌딩(150)의 인가된 성인인지 여부에 기초할 수 있다. 그러한 경우에, 디바이스(104)를 포함하는 자동차 내의 승객과 같이, 인가된 사용자가 아닌 시각적 표현(144)의 관찰자는 빌딩(150)의 일부 또는 빌딩 (150) 의 하나 이상의 점유자의 상태에 관한 특정 정보를 볼 수 없을 수 있다.
디바이스(104)는 또한 프로세서(108)에 연결된 수신기(224) 및 송신기 (224) 을 포함한다. 수신기(222)는 상태 정보(130)와 같은 정보를 수신하도록 구성되고, 송신기(224)는 명령(132)과 같은 명령을 하나 이상의 제어 가능한 디바이스(156)에 송신하도록 구성된다. 비록 도 2의 수신기(222) 및 송신기(224)가 별개의 컴포넌트로 도시되지만, 다른 구현에서 수신기(222) 및 송신기(224)는 트랜시버로서 구현될 수 있다.
도시된 바와 같이, 디바이스(104)는 외부 센서로부터 센서 신호(예를 들어, 오디오 신호(143), 센서 신호(243), 및 터치 검출 신호(245))를 수신하고 그 센서 신호를 처리하여 사용자 입력(119)을 생성한다. 그러나, 다른 구현들에서, 디바이스(104)는 대신에 도 3에서 추가로 설명되는 바와 같이 사용자 입력(119)으로서 처리된 신호들을 수신하거나, 터치스크린(246), 마이크로폰(142), 센서(244), 또는 이들의 임의의 조합과 같은 하나 이상의 센서를 포함한다. 도 2는 터치스크린(246), 마이크로폰(142), 및 센서(244)를 통해 수신된 사용자 입력에 응답하는 것으로서 디바이스(104)를 예시하지만, 다른 구현에서 디바이스(104)는 단일 모드의 사용자 입력(예를 들어, 터치 검출 전용, 사용자 음성 전용 또는 제스처 전용) 또는 두 가지 모드의 사용자 입력 (예를 들어, 터치 검출 및 사용자 음성, 또는 터치 검출 및 제스처, 또는 사용자 음성 및 제스처) 과 같은 더 적은 모드들에 응답한다. 사용자 입력의 3가지 대표적인 모드가 설명되었지만, 설명된 모드에 추가로 또는 대신하여 다른 사용자 입력 모드가 구현될 수 있다. 예시적이고 비제한적인 예로서, 일부 구현에서 뇌-컴퓨터 인터페이스, 예를 들어 뇌파(EEG) 기반 인터페이스가 터치스크린(246), 마이크로폰(142), 또는 센서(244) 중 하나 이상 대신에 또는 이에 추가하여 사용될 수 있다.
도 3 은 도 2 의 터치 인식 유닛(220), 음성 인식 엔진(118), 제스처 인식 유닛(218), 수신기(222), 및 송신기(224)를 제외하는 구현에서 디바이스(104)의 예(300)를 도시한다. 디바이스(104)는 프로세서(108)에서 구현되고 도 2의 터치 인식 유닛(220), 음성 인식 엔진(118) 또는 제스처 인식 유닛(218) 중 하나 이상으로 설명된 기능을 수행하도록 동작가능한 입력 인식 엔진(302)을 포함한다.
예(300)에서, 디바이스(104)는 하나 이상의 센서에 직접 연결될 수 있고 사용자 입력(119)은 입력 인식 엔진(302)에서 처리되는 터치 검출 신호(245), 오디오 신호(143), 및 센서 신호(243)와 같은 센서 데이터를 포함할 수 있다. 대안적으로, 사용자 입력(119)은 또한 센서 신호의 신호 처리 및 인식을 수행하도록 구성되는 사용자 인터페이스 디바이스로부터 수신될 수 있다. 예를 들어, 마이크로폰(142)은 마이크로폰(142)에 의해 생성된 오디오 신호를 처리하고 사용자 입력(119)을 디바이스(104)로 출력하기 위해 음성 인식 엔진을 포함하는 디바이스를 포함할 수 있거나 그 디바이스에서 구현될 수 있다. 따라서, 디바이스(104)는 하나 이상의 입력 디바이스, 디스플레이 디바이스, 송신 및 수신 디바이스 또는 네트워크 인터페이스, 또는 이들의 임의의 조합에 연결될 수 있는 별개의 컴포넌트로서 구현될 수 있다.
도 4 는 시각적 인터페이스 디바이스(140), 마이크로폰(142), 센서(244), 터치 인식 유닛(220), 음성 인식 엔진(118), 및 제스처 인식 유닛(218)이 디바이스 (104) 내에 통합되는 디바이스(104)의 구현(400)의 예를 도시한다. 예를 들어, 구현(400)은 도 6 을 참조하여 추가로 설명되는 태블릿 컴퓨터와 같은 모바일 전자 디바이스에 대응할 수 있다. 대안적으로, 디바이스(104)는 스마트 폰, 랩톱 컴퓨터, 하나 이상의 다른 장치, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 마이크로폰(142)은 스마트 폰의 마이크로폰 어레이를 포함할 수 있고, 센서(244)는 스마트 폰에 구현된 하나 이상의 카메라를 포함할 수 있고, 시각적 인터페이스 디바이스(140)는 스마트 폰의 화면에 대응할 수 있다. 수신기(222) 및 송신기(224)는 안테나 어레이와 같은 하나 이상의 안테나에 연결될 수 있고, 셀룰러 네트워크 통신, IEEE(Institute for Electrical and Electronics Engineers) 802.11 유형 통신, 블루투스 유형 통신과 같은 근거리 애드-혹 무선 네트워크 통신, 하나 이상의 무선 기술, 또는 이들의 조합을 위한 컴포넌트에 대응할 수 있다.
도 5는 시각적 표현(144)의 구현(500)의 예를 묘사하고 집의 표현(502)으로 예시된 빌딩(150)의 적어도 일부의 시각적 표현, 및 다양한 상태 표시기 및 사용자 선택 가능한 제어들을 포함한다. 특히, 구현(500)은 스킬또는 액션 선택기(504), 음성 인식 컴포넌트(506), 액션 상태(508), 컨텍스트 표시기(510), 제스처 표시기(512)를 포함한다. 구현(500)은 또한 엔터테인먼트 시스템을 위한 재생 제어들 (516 및 518)로서 예시된, 제어 가능한 디바이스의 동작을 위한 제어들 (514) 을 포함한다. 상태 정보(520)는 감정 상태(208)의 표시기(522) 및 연령 또는 추정 연령(206)의 표시기(524)를 포함한다.
표현(502)은 욕실(530), 침실(532), 거실(534), 주방(536), 차고(538) 및 발코니(540)를 묘사한다. 빌딩(150)의 위치들 (530-540) 각각은 (도 1 의) 하나 이상의 센서(158)를 포함하여 점유자 검출, 음성 인식, 제스처 검출, 및 센서의 특정 위치 내의 점유자(152)에 관한 다른 정보 수집을 가능하게 할 수 있다. 예를 들어, 위치들 (530-540) 각각은 하나 이상의 마이크로폰, 카메라, 다른 검출기, 또는 이들의 조합을 포함할 수 있고, 도 1 내지 도 4 의 디바이스(104) 가 각 점유자의 위치 정보(202), 활동 정보(204), 연령(206) 및 감정 상태(208)를 포함하는 하나 이상의 점유자(152)의 상태 정보를 표시하는 것을 가능하게 하는 센서 정보를 제공할 수 있다. 100%(전체 조명)와 0%(검출 가능한 빛 없음) 사이의 값으로 검출된 광 레벨을 나타내는 조명 표시기(542) 또는 0%는 조명 디바이스가 꺼져 있거나 완전히 흐릿함을 나타내고, 50%는 조명 디바이스가 50% 흐려짐을 나타내고, 100%는 조명 디바이스가 흐려지지 않음을 나타내는 디밍가능한 천장 조명과 같은 조명 디바이스의 설정과 같은 다른 환경 정보가 또한 표현(502)에서 표시될 수 있다.
각각의 검출된 점유자(152)에 대한 위치 정보(202)는 점유자에 대한 각각의 위치(530-540)에서 아이콘(544) 또는 다른 표시자의 디스플레이에 의해 표시될 수 있다. 컨텍스트 표시기(510), 표시기(522) 및 표시기(524)의 단일 인스턴스가 아이콘(544)에 의해 표현되는 단일의 검출된 점유자에 대해 예시되지만, 빌딩(150) 내에서 다수의 점유자가 식별되는 구현에서, 컨텍스트 표시자(510), 표시자(522) 및 표시자(524) 의 다수의 인스턴스들 (검출된 점유자 각각에 대해 하나씩) 이 표시될 수 있다.
액션 선택기(504)는 현재 컨텍스트와 연관된 드롭다운 메뉴와 같이 사용자(102)에 의해 지정될 수 있는 액션들 또는 "스킬들"의 목록을 제공하도록 구성된다. 예를 들어, 사용자(102)는 예를 들어 아이콘(544) 상의 터치스크린을 누르는 것을 통해, 사용자(102)가 아이콘(544)과 연관된 점유자의 컨텍스트를 보거나 제어하기를 원한다는 것을 표시하기를 선택할 수 있다. 예시된 예에서, 컨텍스트 표시자(510)는 아이콘(544)에 의해 표시된 점유자가 거실(534)에서 텔레비전을 보고 있음을 표시한다. 액션 선택기(504)의 드롭다운 메뉴는 텔레비전을 시청하거나 노래를 추가하는 것과 같은 엔터테인먼트 시스템을 동작시키는 콘텍스트에 적합한 선택 가능한 액션을 제공한다. 사용자(102)는 "조명을 낮춰라"라는 커맨드를 말할 수 있고, 음성 인식 컴포넌트(506)는 자동 음성 인식을 통해 그리고 거실(534)에서 텔레비전을 시청하는 콘텍스트에 따라 수신된 사용자 음성의 해석을 "거실 조명을 낮춰라"로 표시할 수 있다. 다른 예로서, "아래로" 손 제스처가 검출될 수 있고(예를 들어, 사용자(102)가 더 높은 위치에서 더 낮은 위치로 손을 내림) 거실에서 텔레비전을 시청하는 콘텍스트에 따라 "텔레비전 볼륨을 낮춰라" 로 해석될 수 있다. 자동 음성 인식 및 컨텍스트에 대응하는 능동적 스킬은 액션 상태(508)로 표시되고 명령(132)으로 변환되어 전송된다.
식별된 감정 상태(208)는 하나 이상의 점유자(152)의 제스처, 하나 이상의 점유자(152)의 스피치, 운율과 같은 하나 이상의 점유자(152)의 음성 특성, 또는 이들의 조합의 검출의 조합을 통해 해석될 수 있다. 예를 들어, 프로세서(108) 또는 음성 인식 엔진(118)은 강조, 조성, 피치, 스피치 레이트, 또는 하나 이상의 다른 요소와 같은 하나 이상의 운율 요소를 검출하기 위해 점유자들 (152) 중 하나 이상의 기록된 음성을 수신 및 처리하도록 구성될 수 있다. 예시적인 예에서, 지속 시간은 운율의 한 양태이다: 음성이 지속 시간이 평소보다 길거나 짧다면, 화자는 슬픔, 불만족, 망설임 등과 같은 감정적 상태에 있을 가능성이 높다. 동적 범위가 평소보다 높거나 낮은 조성 및 피치 윤곽과 같은 다른 운율 요소는 화자가 행복하거나 좌절감을 느낀다는 것을 시사할 수 있다. 운율과 검출된 감정의 모든 특징들 사이에는 비교적 복잡한 매핑 상관 관계가 존재할 수 있다. 추출된 운율 관련 특징은 프로세서(108)에서의 감정 분석에 대한 입력들 중 하나로 사용될 수 있다. 대안적으로, 또는 추가로, 점유자(152) 중 하나 이상의 비디오 캡처가 수신되고 프로세서(108)에 의해 처리되어 신체 언어 또는 얼굴 표정과 같은 점유자의 하나 이상의 물리적 특성을 검출할 수 있다. 프로세서(108)는 감정 상태를 나타낼 수 있는 미소 또는 찡그린 것과 같은 얼굴 표정 검출, 또는 끄덕임, 고개를 흔드는 것, 또는 어깨를 으쓱하는 것과 같은 신체 모션 검출, 또는 이들의 조합을 수행할 수 있다. 프로세서(108)는 운율 특징, 비디오 처리의 결과, 또는 둘 모두를 하나 이상의 오디오 감정 모델과 비교하여 하나 이상의 개별 감정 상태가 사용자에 의해 경험되고 있는 것으로 검출된 하나 이상의 신뢰 레벨을 나타내는 출력을 생성하도록 구성될 수 있다.
점유자의 추정 연령(206)은 또한 감정 식별에 사용되는 인자들에 기초하여 추정될 수 있다. 예를 들어 연령/성별 검출기는 지도 학습 접근 방식을 기반으로 훈련될 수 있다. 다양한 범위의 연령 및 성별 (예를 들어, 어린이, 50세 미만 여성 성인, 50세 이상 여성 성인, 50세 미만 성인 남성 등) 의 훈련 음성 데이터가 제공될 수 있으며, 훈련된 모델은 음성 입력 수신 시에 추정된 연령 범위 및 성별을 제공할 수 있다. 추정된 연령(206)은 특정 점유자와 관련된 상태 정보(520)가 도 7 내지 도 14 를 참조하여 추가로 설명되는 바와 같이, 인가된 사용자가 아닌 시각적 표현(144)의 뷰어에게 디스플레이되어야 하는지 여부를 결정하는 데 사용될 수 있다.
구현(500)이 인터페이스 컴포넌트(504-512)를 포함하지만, 다른 구현에서 인터페이스 컴포넌트(504-512) 중 하나 이상 또는 모두는 디스플레이의 명확성을 위해 생략된다. 예를 들어, 인터페이스 컴포넌트(504-512)가 대신에 메뉴 옵션을 통한 선택에 응답하여 사용자가 액세스 가능할 수 있다.
구현(500)이 빌딩(150)의 표현(502) 아래에 상태 정보(520) 및 빌딩(150)의 표현(502) 내에 디스플레이된 아이콘(544)을 포함하지만, 다른 구현에서 상태 정보(520)는 대신 아이콘(544)과 함께 표시된다. 예를 들어, "행복한 얼굴" 시각적 요소는 식별된 감정이 행복하다는 것을 나타내기 위해 아이콘(544) 상에 묘사될 수 있고 (예를 들어, 아이콘 안에 통합되거나 아이콘 위에 중첩될 수 있고), 아이콘(544)의 상대적 크기는 특정 점유자의 추정된 연령의 표시기로서 사용될 수 있다.
도 6 은 휴대용 전자 디바이스에서 디바이스(104)의 특정 구현(600)을 도시한다. 예를 들어, 디바이스(104)는 마이크로폰(142) 및 센서(244)를 포함하는 스마트 폰 또는 태블릿 컴퓨터 디바이스를 포함할 수 있다.
도 7 은 자동차 계기판 디바이스(702)와 같은 차량 계기판 장치에 통합된 디바이스(104)의 구현(700)의 예를 도시한다. 시각적 인터페이스 디바이스(140)는 차량의 운전자가 볼 수 있도록 차량 계기판 디바이스(702) 내에 장착되고, 시각적 인터페이스 디바이스(140)는 차량의 한 명 이상의 승객도 볼 수 있다. 시각적 인터페이스 디바이스(140)는 도 4의 구현(400)에서와 같이 디바이스(104) 내에 통합될 수 있거나, 도 2에 도시된 시스템(200)의 구현에서와 같이, 디바이스(104)로부터 분리되어 디바이스(104)에 연결될 수 있다.
도 8 은 빌딩(150) 내에서 홈 제어 디바이스로서 구현된 디바이스(104)의 구현(800)을 도시한다. 도시된 바와 같이, 디바이스(104)는 빌딩(150)의 거실에 있는 벽걸이형 디바이스로서, 거실의 점유자가 빌딩(150)의 각 방 및 빌딩 (150) 의 각 점유자와 연관된 위치 및 상태 정보를 보는 것을 가능하게 한다.
도 9 는 빌딩(150)의 일부에 대한 액세스가 디바이스(104)의 사용자에게 제한되는 시각적 표현(144)의 구현(900)의 예를 도시한다. 예시하기 위해, 디바이스(104)의 사용자가 인가된 사용자가 아닌 구현에서, 빌딩(150)의 소유자 또는 빌딩(150) 내의 사적 위치의 점유자의 사생활을 보호하기 위해, 빌딩(150)의 사적 영역은 표시되지 않을 수 있다. 도시된 바와 같이, 도 5 의 욕실(530) 및 침실(532)은 디바이스(104)의 비인가된 사용자가 사적 영역 및 사적 영역 내의 점유자에 관한 정보를 획득하는 것을 방지하기 위해 블랙 아웃된다. 유사하게, 예를 들어 시각적 표현(144)의 뷰어가 점유자 정보를 보도록 인가되지 않은 것으로 결정되는 상황에서 아이콘(544) 및 상태 정보(520)를 디스플레이하지 않음으로써, 점유자들 (152) 중 하나 이상에 관한 정보가 제거될 수 있다. 예를 들어, 뷰어가 인가되지 않고 점유자가 미성년자인 경우 아이콘(544) 및 상태 정보(520)는 생략될 수 있다.
도 10 은 사용자(102)가 자동차의 운전자인 구현(1000)의 예를 도시한다. 시각적 인터페이스 디바이스(140)는 자동차 계기판(1006)에 장착되고 사용자(102)와 승객(1004)이 볼 수 있다.
구현(1000)에서, 시각적 인터페이스 디바이스(140)는 제1 뷰잉 방향(1010)과 연관된 사용자(102) 및 제2 뷰잉 방향(1012)과 연관된 승객(1004)에 대해 상이한 시각적 디스플레이를 제공할 수 있는 홀로그램 디스플레이를 포함한다. 예를 들어, 디바이스(104)는 사용자(102)가 인가된 사용자이지만 승객(1004)이 인가된 사용자가 아니라는 것을 결정하기 위해 안면 인식을 사용할 수 있다. 그 결과, 디바이스(104)는 시각적 인터페이스 디바이스(140) 로 하여금, 도 11 에 도시된 바와 같이, 빌딩(150)의 모든 영역들, 하나 이상의 제어 가능한 디바이스(156), 및 하나 이상의 점유자(152)를 포함하는 시각적 표현(144)을 사용자(102)에게 제공하게 하고, 도 12 에 도시된 바와 같이, 빌딩(150)의 사적 영역에 관한 정보 및 한 명 이상의 점유자(152)에 관한 정보를 생략하는 시각적 표현(144)의 감소된 콘텐츠 버전을 승객(1004)에게 제공하게 하기 위해 시각적 인터페이스 디바이스(140)에 대한 출력(117)을 생성할 수 있다.
도 11 은 도 10 의 사용자(102)에 의해 보여지는 시각적 표현(144)의 예(1100)를 도시하며, 도 5 의 구현(500)에 따라 제한되지 않은 정보를 표시한다. 이에 반해, 도 12 는 도 10 의 승객(1004) 에게 가시적인 시각적 표현(144)의 예(1200)를 도시하며, 그것은 도 9 를 참조하여 설명된 바와 같이 빌딩(150)의 사적 위치 및 빌딩(150)의 점유자와 같은 민감한 정보의 표시를 생략한다.
뷰어가 장치의 인가된 사용자인지 여부를 결정하고 빌딩(150)의 하나 이상의 부분, 하나 이상의 제어 가능한 디바이스(156), 하나 이상의 점유자(152), 또는 이들의 임의의 조합에 관한 정보의 제시를 선택적으로 허용하거나 디스에이블함으로써, 세분화된 보안 및 프라이버시가 제공될 수 있다. 디바이스(104)와 관련된 상황 표시 및 인가에 관한 추가 정보는 도 14 를 참조하여 더 상세히 설명된다.
도 13 은 빌딩의 점유자와 관련된 정보를 제공하기 위한 방법(1300)의 구현을 도시한다. 예를 들어, 방법(1300)은 디바이스(104)와 같은 "계기판" 디바이스에 의해 수행될 수 있다. 방법(1300)은 1302에서 계기판 디바이스에서 빌딩의 하나 이상의 점유자와 연관된 실시간 상태 정보를 수신하는 단계를 포함한다. 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함한다. 일부 구현에서, 상태 정보는 점유자 중 적어도 한 명의 연령 또는 감정 상태 중 적어도 하나를 더 포함한다. 일 예에서, 상태 정보는 디바이스(104)에 의해 수신된 상태 정보(130)에 대응한다.
방법(1300)은 1304에서 계기판 디바이스의 시각적 인터페이스에서 빌딩의 적어도 일부 및 하나 이상의 점유자와 연관된 상태 정보의 시각적 표현을 생성하는 단계를 포함한다. 예를 들어, 시각적 인터페이스 디바이스(140)는 빌딩(150)의 횡단면 그래픽 묘사, 검출된 각 점유자(152)에 대한 별개의 상태 정보, 및 디바이스(104)의 사용자가 단일 디스플레이에서 (예를 들어, 단일 화면 또는 홀로그램 이미지 상에서) 제어 가능한 디바이스들 (156) 의 동작을 조정하는 것을 가능하게 하는 사용자 인터페이스 제어들을 포함하는 도 5 에 도시된 시각적 표현(144)을 디스플레이한다.
방법(1300)은 1306에서 계기판 디바이스에서 빌딩의 하나 이상의 제어 가능한 디바이스들의 제어와 관련된 사용자 입력을 수신하는 단계를 포함한다. 일부 구현들에서, 사용자 입력은 오디오 신호(143)에 대해 동작하는 음성 인식 엔진(118) 을 통해서와 같이, 음성 인식 동작을 통해 수신된다. 일부 구현들에서, 사용자 입력은 센서 신호(243) 상에서 동작하는 제스처 인식 유닛(218) 을 통해서와 같은, 제스처 인식 동작, 또는 터치 검출 신호 (245) 상에서 동작하는 터치 인식 유닛(220) 과 같은 터치 검출 동작 중 적어도 하나를 통해 수신된다.
방법(1300)은 1308에서 계기판 디바이스에서 사용자 입력에 기초하여 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하는 단계를 포함한다. 예를 들어, 프로세서(108)는 도 1의 빌딩 관리 시스템(154)에 송신될 명령(132)을 생성한다.
일부 구현들에서, 방법(1300)은 계기판 장치의 사용자가 인가된 사용자인지 여부를 결정하는 단계 및 사용자가 인가된 사용자인지 여부에 기초하여 제어 가능한 디바이스들의 제어 또는 상태 정보의 적어도 일부에 대한 액세스 중 적어도 하나를 선택적으로 제한하는 단계를 포함한다. 예를 들어, 사용자 검증기(264)는 시각적 표현(144)의 하나 이상의 뷰어가 인가된 사용자인지 여부를 결정하도록 동작할 수 있다.
일부 구현에서 계기판 디바이스는 차량 내에 있고, 시각적 표현을 생성하는 것은 차량이 단일 점유자를 갖고 그 단일 점유자가 인가된 사용자인 것에 응답하여, 상태 정보 및 제어 가능한 디바이스들에 관한 정보를 제한 없이 시각적 표현으로 통합하는 것을 포함한다. 다른 구현들에서, 계기판 디바이스는 차량의 계기판에 통합되고, 시각적 표현을 생성하는 것은 차량이 단일 점유자를 갖고 그 단일 점유자가 비인가 사용자인 것에 응답하여, 도 9 에 도시된 바와 같이, 상태 정보를 생략하는 것 및 시각적 표현으로부터 비공개 영역들에 있는 제어 가능한 디바이스들에 관한 정보를 생략하는 것을 포함한다. 차량이 다수의 점유자를 갖고 차량이 응급 상황에 있는 것에 응답하여, 시각적 표현을 생성하는 것은 상태 정보 및 제어 가능한 디바이스들에 관한 정보를 제한 없이 시각적 표현에 통합하는 것을 포함할 수 있다. 차량이 다수의 점유자들을 갖고 차량이 응급 상황에 있지 않는 것에 응답하여, 시각적 표현을 생성하는 것은 상이한 점유자들에 대해 상이한 화면들을 홀로그래픽으로 표시하는 것을 포함할 수 있다. 콘텍스트 및 사용자 인증을 기반으로 표시되는 정보를 제어하는 예에 대한 추가적인 세부 사항은 도 14 를 참조하여 설명된다.
빌딩 내의 장치들의 제어를 제공하는 것에 더하여, 사용자에게 빌딩의 점유자에 관한 실시간 상태 정보를 제공함으로써, 방법(1300)은 사용자에게 점유자 상태 정보를 제공하지 않는 기존의 홈 계기판 애플리케이션에 비해 점유자를 불편하게 하는 감소된 위험으로 그리고 원격으로 사용자가 빌딩에서의 변경을 수행하는 것을 가능하게 한다. 점유자 상태 정보가 각 점유자의 위치 및 활동 정보를 포함하고 또한 각 점유자의 감정 상태 및 연령 추정을 포함하는 구현에서, 사용자가 그러한 정보를 갖고 있지 않을 때와 비교하여 점유자 연령 및 감정적 상태를 고려하여 사용자에 의해 더 효과적이거나 적절한 액션들이 선택될 수 있다.
도 14 는 도 10 에 도시된 자동차 계기판 구현에서와 같이, 시각적 인터페이스 디바이스(140)에서 디스플레이할 하나 이상의 시각적 표현을 결정하는 방법(1400)의 예를 도시한다. 방법(1400)은 1402에서 차량 내부의 사람들의 수를 결정하는 단계를 포함한다. 예를 들어, 좌석 센서, 카메라, 적외선 또는 초음파 센서, 또는 이들의 임의의 조합과 같은 하나 이상의 센서가 사용되어 차량 내 점유자의 수 및 배치를 결정할 수 있다. 단일 점유자가 자동차에 있다는 결정에 응답하여, 방법(1400)은 1404에서 단일 점유자가 인가된 사용자인지 여부를 결정하는 단계를 포함한다. 예를 들어, 점유자가 인가된 사용자일 때, 시각적 표현(144)(예를 들어, "계기판")은 1406에서 사적 위치, 점유자 데이터, 및 디바이스 제어 옵션에 대한 무제한 액세스를 제공한다. 대안적으로, 점유자가 인가된 사용자가 아닌 경우, 방법(1400)은 1408에서 거실, 주방 및 차고와 같은 공공 영역에서 기기의 제어를 가능하게 하는 시각적 표현(144)을 표시하고, 점유자 데이터 및 사적 영역에 대한 정보를 생략하는 단계를 포함한다.
대안적으로, 차량 내부에서 둘 이상의 사람이 검출되는 경우, 방법(1400)은 1410에서 응급상황이 검출되는지 여부를 결정하는 단계를 포함한다. 일부 구현에서, 응급상황은 디바이스(104)의 사용자에 대한 응급상황(예를 들어, 디바이스(104)의 가속도계 또는 다른 센서(들)을 통해 검출되거나 자동차의 비상 대응 시스템으로부터의 무선 시그널링을 통해 통지를 수신함으로써 검출되는 자동차 사고)에 대응한다. 일부 구현에서, 응급상황은 빌딩의 점유자에 대한 응급상황에 대응한다 (예를 들어, 비제한적인 예로서 연기 경보, 화재 경보, 공기 오염 경보, 또는 보안 경보와 같은 경보가 활성화되고, (예를 들어, 상태 정보(130)에서) 응급상황의 검출을 나타내는 통지가 디바이스(104)에 전송된다).
응급상황이 검출되었다는 결정에 응답하여, 방법(1400)은 1412에서, 제한되지 않은 정보를 갖는 시각적 표현(144)을 디스플레이하는 단계를 포함한다. 그렇지 않으면, 방법(1400)은 1414에서, 상이한 승객에 대해 홀로그래픽적으로 상이한 스크린을 디스플레이하는 단계를 포함한다. 상이한 시각적 표현(144)은 도 10 내지 도 12 를 참조하여 앞서 설명된 바와 같이, 개별 승객들 각각이 인가된 사용자인지 또는 비인가된 사용자인지 여부에 기초할 수 있다.
차량의 승객 수를 식별하고 상이한 승객들에 대해 상이한 홀로그램 화면을 선택적으로 생성함으로써, 빌딩(150) 내부의 점유자 및 디바이스의 프라이버시는 비인가 사용자의 접근으로부터 보호될 수 있는 반면, 인가된 사용자는 상태 및 제어 정보에 대한 완전한 액세스가 가능하다. 응급상황에서, 모든 뷰어(예를 들어, 긴급 구조원)는 상태 및 제어 정보에 액세스가 허가된다.
도 15 를 참조하면, 디바이스(예를 들어, 무선 통신 디바이스, 홈 디바이스, 사물 인터넷(IOT) 디바이스, 음성 활성화 디지털 어시스턴트, 또는 이들의 조합)의 특정 예시적인 예의 블록도가 도시되고 일반적으로 1500으로 지정된다. 다양한 예들에서, 디바이스 (1500) 는 도 15 에 예시된 것보다 더 적거나 또는 더 많은 컴포넌트들을 포함한다. 예시적인 예에서, 디바이스 (1500) 는 디바이스 (104) 에 대응한다. 예시적인 예에서, 디바이스 (1500) 는 도 1 내지 도 14 를 참조하여 설명된 하나 이상의 동작들을 수행한다.
특정한 양태에서, 디바이스 (1500) 는 프로세서 (108) (예컨대, 중앙 처리 유닛 (CPU)) 를 포함한다. 디바이스 (1500) 는 하나 이상의 추가 프로세서들 (1510) (예컨대, 하나 이상의 디지털 신호 프로세서들 (DSP들)) 을 포함할 수도 있다. 프로세서들 (1510) 은 음성 및 음악 코더-디코더 (코덱) (1508), 에코 소거기 (1512), 또는 양자 모두를 포함한다. 프로세서(108)는 트랜시버(1540)를 통해 안테나(1542)에 연결된다. 트랜시버(1540)는 수신기(222), 송신기(224), 또는 둘 다를 포함한다.
음성 및 음악 코덱 (1508) 이 프로세서들 (1508) 의 컴포넌트로서 도시되지만, 다른 예들에서 음성 및 음악 코덱 (1510) 의 하나 이상의 컴포넌트들은 프로세서 (108), 코덱 (1534), 다른 프로세싱 컴포넌트, 또는 이들의 조합에 포함된다. 디바이스 (1500) 는 또한 메모리 (106) 를 포함한다. 디바이스 (1500) 는 디스플레이 제어기 (1526) 에 커플링된 시각적 인터페이스 디바이스 (140) 를 포함한다. 하나 이상의 스피커 (1536), 하나 이상의 마이크로폰 (142), 또는 이들의 조합은 코덱 (1534) 에 커플링될 수 있다. 코덱 (1534) 은 디지털-대-아날로그 컨버터 (DAC) (1502) 및 아날로그-대-디지털 컨버터 (ADC) (1504) 를 포함할 수도 있다.
특정 양태에서, 코덱 (1534) 은 마이크로폰 (142) 으로부터 아날로그 신호들을 수신하고, 아날로그-디지털 컨버터 (1504) 를 사용하여 아날로그 신호들을 디지털 신호들로 컨버팅하고, 디지털 신호들을 예컨대, 펄스 코드 변조 (PCM) 포맷으로 음성 및 음악 코덱 (1508) 에 제공할 수도 있다. 음성 및 음악 코덱 (1508) 은 디지털 신호들을 프로세싱할 수도 있다. 특정 양태에서, 음성 및 음악 코덱 (1508) 은 디지털 신호들을 코덱 (1534) 에 제공할 수도 있다. 코덱 (1534) 은 디지털-투-아날로그 컨버터 (1502) 를 사용하여 디지털 신호들을 아날로그 신호들로 컨버팅할 수도 있고 아날로그 신호들을 스피커 (1536) 에 제공할 수도 있다.
메모리 (106) 는 도 1 내지 도 14 를 참조하여 설명된 하나 이상의 동작들과 같이, 여기에 개시된 방법들 및 프로세스들을 수행하기 위해, 프로세서 (108), 프로세서들 (1510), 코덱 (1534), 디바이스 (1500) 의 다른 프로세싱 유닛, 또는 이들의 조합에 의해 실행가능한 명령들 (230) 을 포함할 수 있다. 도 1 내지 도 14 를 참조하여 설명된 시스템 및 디바이스의 하나 이상의 컴포넌트는 하나 이상의 태스크들, 또는 이들의 조합을 수행하기 위해 전용 하드웨어 (예를 들어, 회로부) 를 통해, 프로세서 실행 명령들 (예를 들어, 명령들 (230)) 에 의해 구현될 수도 있다. 예로서, 메모리 (106) 또는 프로세서 (108), 프로세서들 (1510), 및/또는 코덱 (1534) 중 하나 이상의 컴포넌트들은 랜덤 액세스 메모리 (RAM), 자기저항 랜덤 액세스 메모리 (MRAM), 스핀-토크 전달 MRAM (STT-MRAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래밍가능 판독 전용 메모리 (PROM), 소거가능한 프로그래밍가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈가능 디스크, 또는 콤팩트 디스크 판독 전용 메모리 (CD-ROM) 와 같은 메모리 디바이스를 포함한다. 메모리 디바이스는, 컴퓨터 (예를 들어, 코덱 (1534) 내의 프로세서, 프로세서 (108), 및/또는 프로세서들 (1510)) 에 의해 실행될 때, 컴퓨터로 하여금 도 1 내지 도 14 를 참조하여 설명된 하나 이상의 동작들을 수행하게 하는 명령들 (예를 들어, 명령들 (230)) 을 포함한다. 예로서, 메모리 (106) 또는 프로세서 (108), 프로세서들 (1510), 또는 코덱 (1534) 중 하나 이상의 컴포넌트들은, 컴퓨터 (예를 들어, 코덱 (1534) 내의 프로세서, 프로세서 (108), 및/또는 프로세서들 (1510)) 에 의해 실행될 때, 컴퓨터로 하여금, 도 1 내지 도 14 를 참조하여 설명된 하나 이상의 동작들을 수행하게 하는 명령들 (예를 들어, 명령들 (230)) 을 포함하는 컴퓨터 판독가능 저장 디바이스이다.
특정 양태에서, 디바이스 (1500) 는 이동국 모뎀 (MSM) 과 같은 시스템-인-패키지 또는 시스템-온-칩 디바이스 (1522) 에 포함된다. 특정 양태에서, 프로세서 (108), 프로세서들 (1510), 디스플레이 제어기 (1526), 메모리 (106), 코덱 (1534), 및 트랜시버 (1540) 가 시스템-인-패키지 또는 시스템-온-칩 디바이스 (1522) 에 포함된다. 특정 양태에 있어서, 터치스크린 및/또는 키패드와 같은 입력 디바이스 (1530) 및 전원 (1544) 이 시스템-온-칩 디바이스 (1522) 에 커플링된다. 더욱이, 특정 양태에서, 도 15 에 도시된 바와 같이, 시각적 인터페이스 디바이스 (140), 입력 디바이스 (1530), 스피커들 (1536), 마이크로폰들 (142), 안테나 (1542), 및 전력 공급기 (1544) 는 시스템-온-칩 디바이스 (1522) 의 외부에 있다. 그러나, 시각적 인터페이스 디바이스 (140), 입력 디바이스 1530, 스피커들 1536, 마이크로폰들 142, 안테나 1542, 및 전원 1544 각각은 인터페이스 또는 제어기와 같은, 시스템-온-칩 디바이스 1522 의 컴포넌트에 커플링될 수 있다. 예시적인 예에서, 디바이스(1500)는 가상 어시스턴트, 가전 제품, 스마트 디바이스, 사물 인터넷(IoT) 디바이스, 통신 디바이스, 컴퓨터, 디스플레이 디바이스, 텔레비전, 게임 콘솔, 음악 플레이어, 라디오, 비디오 플레이어, 엔터테인먼트 장치, 개인용 미디어 플레이어, 디지털 비디오 플레이어, 카메라, 내비게이션 장치, 이동 통신 장치, 스마트폰, 휴대폰, 노트북 컴퓨터, 태블릿 컴퓨터 , 개인 휴대 정보 단말기, 디스플레이 장치, 광 디스크 플레이어, 튜너, 디코더 시스템, 인코더 시스템, 또는 이들의 임의의 조합에 대응한다.
설명된 양태들과 관련하여, 빌딩의 하나 이상의 점유자와 관련된 실시간 상태 정보를 수신하기 위한 수단을 포함하는 장치가 개시된다. 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함한다. 예를 들어, 실시간 상태 정보를 수신하기 위한 수단은 수신기(222), 프로세서(108), 트랜시버(1540), 상태 정보를 수신하도록 구성된 하나 이상의 다른 회로 또는 디바이스, 또는 이들의 임의의 조합에 대응할 수 있다.
장치(1300)는 빌딩의 적어도 일부 및 하나 이상의 점유자와 연관된 상태 정보의 시각적 표현을 생성하는 수단을 포함한다. 예를 들어, 제공하기 위한 수단은 시각적 인터페이스 디바이스(140), 프로세서(108), 출력 생성기(260), 시각적 표현을 제공하도록 구성된 하나 이상의 다른 회로 또는 디바이스, 또는 이들의 임의의 조합에 대응할 수 있습니다.
장치는 빌딩의 하나 이상의 제어 가능한 디바이스의 제어에 관한 사용자 입력을 수신하기 위한 수단을 포함한다. 예를 들어, 사용자 입력을 수신하기 위한 수단은 마이크로폰(142), 음성 인식 엔진(118), 터치스크린(246), 터치 인식 유닛(220), 센서(244), 제스처 인식 유닛(218), 입력 디바이스(1530), 프로세서 (108), 입력 인식 엔진(302), 사용자 입력을 수신하도록 구성된 하나 이상의 다른 회로 또는 디바이스, 또는 이들의 임의의 조합에 대응할 수 있다.
장치는 사용자 입력에 기초하여 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하는 수단을 포함한다. 예를 들어, 명령을 생성하기 위한 수단은 프로세서(108), 명령 생성기(262), 명령을 생성하도록 구성된 하나 이상의 다른 회로 또는 디바이스, 또는 이들의 임의의 조합에 대응할 수 있다.
일부 구현에서, 사용자 입력은 음성 인식 엔진(118), 프로세서(108), 입력 인식 엔진(302), 음성 인식 동작을 수행하도록 구성된 하나 이상의 다른 회로 또는 디바이스, 또는 이들의 임의의 조합과 같은 음성 인식 동작을 수행하기 위한 수단을 통해 수신된다.
일부 구현들에서, 사용자 입력은 제스처 인식 동작을 수행하기 위한 수단 또는 터치 검출 동작을 수행하기 위한 수단 중 적어도 하나를 통해 수신된다. 예를 들어, 제스처 인식 동작을 수행하기 위한 수단은 센서(244), 제스처 인식 유닛(218), 프로세서(108), 입력 인식 엔진(302), 제스처 인식 동작을 수행하도록 구성된 하나 이상의 다른 회로 또는 디바이스, 또는 이들의 임의의 조합에 대응할 수 있다. 다른 예에서, 터치 인식 동작을 수행하는 수단은 터치스크린 (246), 터치 인식 유닛 (220), 프로세서(108), 입력 인식 엔진(302), 터치 인식 동작을 수행하도록 구성된 하나 이상의 다른 회로 또는 디바이스, 또는 이들의 임의의 조합에 대응할 수 있다.
일부 구현들에서, 장치는 사용자가 인가된 사용자인지 여부에 기초하여 제어 가능한 디바이스들의 제어 또는 상태 정보의 적어도 일부에 대한 액세스 중 적어도 하나를 선택적으로 제한하는 수단을 포함한다. 예를 들어, 선택적으로 제한하는 수단은 프로세서(108), 사용자 검증기(264), 사용자가 인가된 사용자인지 여부에 기초하여 제어 가능한 디바이스들의 제어 또는 상태 정보의 적어도 일부에 대한 액세스스 중 적어도 하나를 선택적으로 제한하도록 구성된 하나 이상의 다른 회로 또는 디바이스들, 또는 이들의 임의의 조합에 대응할 수 있다.
본 명세서에서 사용된 바와 같이, "연결된 (coupled) ” 은 통신가능하게 연결된, 전기적으로 연결된, 자기적으로 연결된, 물리적으로 연결된, 광학적으로 연결된, 및 이들의 조합들을 포함할 수 있다. 2 개의 디바이스들 (또는 컴포넌트들) 은 하나 이상의 다른 디바이스들, 컴포넌트들, 와이어들, 버스들, 네트워크들 (예를 들어, 유선 네트워크, 무선 네트워크, 또는 이들의 조합) 등을 통해 직접 또는 간접적으로 커플링 (예를 들어, 통신가능하게 커플링, 전기적으로 커플링, 또는 물리적으로 커플링) 될 수도 있다. 전기적으로 커플링되는 2 개의 디바이스들 (또는 컴포넌트들) 은 동일한 디바이스에 또는 상이한 디바이스들에 포함될 수도 있고 예시적인 비제한적 예들로서, 전자장치들, 하나 이상의 커넥터들, 또는 유도 커플링을 통해 접속될 수도 있다. 일부 구현들에 있어서, 전기 통신에서와 같이 통신가능하게 커플링되는 2개의 디바이스들 (또는 컴포넌트들) 은 예컨대 하나 이상의 와이어들, 버스들, 네트워크들 등을 통해 직접적으로 또는 간접적으로 전기 신호들 (디지털 신호들 또는 아날로그 신호들) 을 전송 및 수신할 수도 있다.
여기서 사용되는 바와 같이, "생성하는 것", "계산하는 것", "사용하는 것", "선택하는 것", "액세스하는 것", 및 "결정하는 것" 은 상호교환가능하게 사용될 수도 있다. 예를 들어, 값, 특성, 파라미터, 또는 신호를 "생성하는 것", "계산하는 것", 또는 "결정하는 것" 은 값, 특성, 파라미터, 또는 신호를 능동적으로 생성하는 것, 계산하는 것, 또는 결정하는 것을 지칭할 수 있거나, 또는 예컨대, 컴포넌트 또는 디바이스에 의해 이미 생성된 값, 특성, 파라미터, 또는, 신호를 사용하는 것, 선택하는 것, 또는 액세스하는 것을 지칭할 수 있다.
당업자는 본 명세서에 개시된 양태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로서 구현될 수도 있음을 추가로 인식할 것이다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들은 일반적으로 그들의 기능성의 관점에서 상기 설명되었다. 그러한 기능성이 하드웨어 또는 소프트웨어로 구현될지 여부는, 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 의존한다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대해 다른 방식으로 구현할 수도 있지만, 이러한 구현 결정이 본 개시의 범위를 벗어나게 하는 것으로 해석되지 않아야 한다.
본 명세서에 개시된 양태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래밍가능 판독 전용 메모리 (PROM), 소거가능한 프로그래밍가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈가능 디스크, 컴팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당업계에 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 비-일시적인 (예를 들어, 유형의) 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링된다. 대안으로, 저장 매체는 프로세서에 내장될 수도 있다. 프로세서 및 저장 매체는 ASIC (application-specific integrated circuit) 에 상주할 수도 있다. ASIC는 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 다르게는, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에서 이산 컴포넌트로서 상주할 수도 있다.
개시된 실시형태들의 상기 설명은 당업자로 하여금 개시된 실시형태들을 제조 또는 이용할 수 있도록 제공된다. 이들 양태들에 대한 여러 변경들은 당업자들에게 명백할 것이며, 본원에서 정의된 원리들은 본 개시물의 범위로부터 일탈함이 없이 다른 양태들에 적용될 수도 있다. 따라서, 본 개시물은 본원에서 나타낸 양태들에 한정하려는 것이 아니라, 다음 청구항들에 의해 정의되는 바와 같은 원리들 및 신규한 특징들과 가능한 부합하는 최광의의 범위를 부여하려는 것이다.

Claims (30)

  1. 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스로서,
    빌딩의 제어 가능한 디바이스들을 나타내는 디바이스 정보 및 상기 빌딩의 하나 이상의 점유자들을 나타내는 점유자 데이터를 저장하도록 구성된 메모리; 및
    프로세서를 포함하고,
    상기 프로세서는,
    실시간으로, 상기 빌딩의 상기 하나 이상의 점유자들과 연관된 상태 정보를 수신하는 것으로서, 상기 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함하는, 상기 상태 정보를 수신하고;
    상기 시각적 인터페이스 디바이스에서, 상기 빌딩의 적어도 일부 및 상기 하나 이상의 점유자들과 연관된 상기 상태 정보의 시각적 표현을 제공하기 위해 출력을 생성하며;
    사용자 입력에 기초하여 상기 제어 가능한 디바이스들 중 하나 이상의 디바이스들의 동작을 조정하기 위한 명령을 생성하도록
    구성된, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세서, 상기 메모리, 및 상기 시각적 인터페이스 디바이스는 차량 계기판 디바이스에 통합되는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  3. 제 1 항에 있어서,
    상기 상태 정보는 상기 점유자들 중 적어도 하나의 연령 또는 감정적 상태 중 적어도 하나를 더 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  4. 제 1 항에 있어서,
    가청 사용자 스피치에 대응하는 오디오 신호를 수신하고, 상기 오디오 신호를 상기 사용자 입력으로 변환하도록 구성된 스피치 인식 엔진을 더 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  5. 제 4 항에 있어서,
    상기 스피치 인식 엔진에 연결되고 상기 가청 사용자 스피치를 캡처하고 상기 오디오 신호를 생성하도록 구성된 마이크로폰을 더 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  6. 제 1 항에 있어서,
    사용자 제스처에 대응하는 센서 신호를 수신하고 상기 센서 신호를 상기 사용자 입력으로 변환하도록 구성된 제스처 인식 유닛을 더 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  7. 제 6 항에 있어서,
    상기 제스처 인식 유닛에 연결되고, 상기 사용자 제스처를 캡처하고 상기 센서 신호를 생성하도록 구성된 카메라, 적외선 센서, 또는 초음파 센서 중 적어도 하나를 더 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  8. 제 1 항에 있어서,
    사용자 터치에 대응하는 터치 검출 신호를 수신하고 상기 터치 검출 신호를 상기 사용자 입력으로 변환하도록 구성된 터치 인식 유닛을 더 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  9. 제 8 항에 있어서,
    상기 터치 인식 유닛에 연결되고, 상기 시각적 표현을 디스플레이하고 상기 터치 검출 신호를 생성하도록 구성된 터치스크린을 더 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  10. 제 1 항에 있어서,
    상기 프로세서는 또한 상기 디바이스의 사용자가 인가된 사용자인지 여부를 결정하고, 상기 사용자가 인가된 사용자인지 여부의 결정에 기초하여 상기 제어 가능한 디바이스들의 제어를 선택적으로 제한하도록 구성되는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  11. 제 1 항에 있어서,
    상기 프로세서는 또한 상기 디바이스의 사용자가 인가된 사용자인지 여부를 결정하고, 상기 사용자가 인가된 사용자인지 여부의 결정에 기초하여 상기 상태 정보의 적어도 일부에 대한 액세스를 선택적으로 제한하도록 구성되는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  12. 제 1 항에 있어서,
    상기 프로세서에 연결되고 상기 하나 이상의 디바이스들로 상기 명령을 송신하도록 구성된 송신기를 더 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  13. 제 1 항에 있어서,
    상기 명령은 상기 빌딩 내의 실내 온도 조절기로 하여금 온도를 조정하게 하는 명령, 상기 빌딩의 적어도 하나의 방 내의 조명 레벨을 조정하기 위한 명령, 또는 상기 빌딩 내의 엔터테인먼트 시스템의 재생 설정들을 조정하기 위한 명령 중 적어도 하나를 포함하는, 차량 계기판에 장착 가능한 시각적 인터페이스 디바이스에 정보를 제공하는 디바이스.
  14. 빌딩의 점유자들과 연관된 정보를 제공하는 방법으로서,
    계기판 디바이스에서 실시간으로, 상기 빌딩의 하나 이상의 점유자들과 연관된 상태 정보를 수신하는 단계로서, 상기 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함하는, 상기 상태 정보를 수신하는 단계;
    상기 계기판 디바이스의 시각적 인터페이스에서, 상기 빌딩의 적어도 일부 및 상기 하나 이상의 점유자들과 연관된 상기 상태 정보의 시각적 표현을 생성하는 단계;
    상기 계기판 디바이스에서, 상기 빌딩의 하나 이상의 제어 가능한 디바이스들의 제어와 관련된 사용자 입력을 수신하는 단계; 및
    상기 계기판 디바이스에서, 상기 사용자 입력에 기초하여 상기 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하는 단계를 포함하는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  15. 제 14 항에 있어서,
    상기 사용자 입력은 음성 인식 동작을 통해 수신되는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  16. 제 14 항에 있어서,
    상기 사용자 입력은 제스처 인식 동작 또는 터치 검출 동작 중 적어도 하나를 통해 수신되는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  17. 제 14 항에 있어서,
    상기 계기판 디바이스의 사용자가 인가된 사용자인지 여부를 결정하는 단계; 및
    상기 사용자가 인가된 사용자인지 여부에 기초하여 상기 제어 가능한 디바이스들의 제어 또는 상기 상태 정보의 적어도 일부에 대한 액세스 중 적어도 하나를 선택적으로 제한하는 단계를 더 포함하는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  18. 제 14 항에 있어서,
    상기 상태 정보는 상기 점유자들 중 적어도 한 명의 연령 또는 감정 상태 중 적어도 하나를 더 포함하고,
    상기 상태 정보는 첫 번째 점유자가 만족하며 거실에서 텔레비전을 보고 있고 두 번째 점유자가 침실에서 깨어 침대에 누워 있음을 나타내고,
    상기 사용자 입력은 상기 텔레비전의 볼륨을 낮추라는 상기 사용자로부터의 명령을 포함하고,
    상기 명령은 상기 텔레비전이 볼륨을 낮추게 하기 위해 상기 텔레비전에 송신되는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  19. 제 14 항에 있어서,
    상기 계기판 디바이스는 차량 내에 있고, 상기 시각적 표현을 생성하는 단계는, 상기 차량이 단일 점유자를 갖고 상기 단일 점유자가 인가된 사용자인 것에 응답하여, 상기 상태 정보 및 상기 제어 가능한 디바이스들에 관한 정보를 제한 없이 상기 시각적 표현으로 통합하는 단계를 포함하는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  20. 제 14 항에 있어서,
    상기 계기판 디바이스는 차량의 계기판에 통합되고, 상기 시각적 표현을 생성하는 단계는, 상기 차량이 단일 점유자를 갖고 상기 단일 점유자가 비인가 사용자인 것에 응답하여, 상기 시각적 표현으로부터 상기 상태 정보를 생략하는 단계 및 비공개 영역들에 있는 제어 가능한 디바이스들에 관한 정보를 생략하는 단계를 포함하는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  21. 제 14 항에 있어서,
    상기 계기판 디바이스는 차량의 계기판에 통합되고, 상기 시각적 표현을 생성하는 단계는, 상기 차량이 다수의 점유자들을 갖고 상기 차량이 응급상황에 있는 것에 응답하여, 상기 상태 정보 및 상기 제어 가능한 디바이스들에 관한 정보를 제한 없이 상기 시각적 표현으로 통합하는 단계를 포함하는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  22. 제 14 항에 있어서,
    상기 계기판 디바이스는 차량의 계기판에 통합되고, 상기 시각적 표현을 생성하는 단계는, 상기 차량이 다수의 점유자들을 갖고 상기 차량이 응급상황이 아닌 것에 응답하여, 상이한 점유자들에 대해 상이한 화면들을 홀로그래픽으로 표시하는 단계를 포함하는, 빌딩의 점유자들과 연관된 정보를 제공하는 방법.
  23. 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
    실시간으로, 빌딩의 하나 이상의 점유자들과 연관된 상태 정보를 수신하게 하는 것으로서, 상기 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함하는, 상기 상태 정보를 수신하게 하고;
    상기 빌딩의 적어도 일부 및 상기 하나 이상의 점유자들과 연관된 상기 상태 정보의 시각적 표현을 제공하기 위해 시각적 인터페이스 디바이스에 대한 출력을 생성하게 하며;
    상기 빌딩의 하나 이상의 제어 가능한 디바이스들의 제어와 관련된 사용자 입력을 수신하게 하고; 및
    상기 사용자 입력에 기초하여 상기 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  24. 제 23 항에 있어서,
    상기 동적 활동 정보는 상기 하나 이상의 점유자들 각각과 연관된 활동을 나타내고, 상기 동적 위치 정보는 상기 하나 이상의 점유자들의 상기 빌딩 내의 위치를 나타내는, 비일시적 컴퓨터 판독가능 저장 매체.
  25. 제 23 항에 있어서,
    상기 사용자 입력은 음성 인식 동작, 제스처 인식 동작 또는 터치 검출 동작 중 적어도 하나를 통해 수신되는, 비일시적 컴퓨터 판독가능 저장 매체.
  26. 제 23 항에 있어서,
    상기 명령들은 또한, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
    사용자가 인가된 사용자인지 여부를 결정하게 하고; 및
    상기 사용자가 인가된 사용자인지 여부에 기초하여 상기 제어 가능한 디바이스들의 제어 또는 상기 상태 정보의 적어도 일부에 대한 액세스 중 적어도 하나를 선택적으로 제한하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  27. 빌딩의 점유자들에 대한 정보를 제공하기 위한 동작들을 수행하는 장치로서,
    실시간으로, 빌딩의 하나 이상의 점유자들과 연관된 상태 정보를 수신하는 수단으로서, 상기 상태 정보는 동적 위치 정보 또는 동적 활동 정보 중 적어도 하나를 포함하는, 상기 상태 정보를 수신하는 수단;
    상기 빌딩의 적어도 일부 및 상기 하나 이상의 점유자들과 연관된 상기 상태 정보의 시각적 표현을 제공하는 수단;
    상기 빌딩의 하나 이상의 제어 가능한 디바이스들의 제어와 관련된 사용자 입력을 수신하는 수단; 및
    상기 사용자 입력에 기초하여 상기 하나 이상의 제어 가능한 디바이스들의 동작을 조정하기 위한 명령을 생성하는 수단을 포함하는, 빌딩의 점유자들에 대한 정보를 제공하기 위한 동작들을 수행하는 장치.
  28. 제 27 항에 있어서,
    상기 사용자 입력은 음성 인식 동작을 수행하는 수단을 통해 수신되는, 빌딩의 점유자들에 대한 정보를 제공하기 위한 동작들을 수행하는 장치.
  29. 제 27 항에 있어서,
    상기 사용자 입력은 제스처 인식 동작을 수행하는 수단 또는 터치 검출 동작을 수행하는 수단 중 적어도 하나를 통해 수신되는, 빌딩의 점유자들에 대한 정보를 제공하기 위한 동작들을 수행하는 장치.
  30. 제 27 항에 있어서,
    사용자가 인가된 사용자인지 여부에 기초하여 상기 제어 가능한 디바이스들의 제어 또는 상기 상태 정보의 적어도 일부에 대한 액세스 중 적어도 하나를 선택적으로 제한하는 수단을 더 포함하는, 빌딩의 점유자들에 대한 정보를 제공하기 위한 동작들을 수행하는 장치.



KR1020217030346A 2019-03-29 2020-03-25 점유자 상태를 관찰하고 빌딩의 디바이스들을 관리하는 시스템 및 방법 KR20210141516A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/370,836 2019-03-29
US16/370,836 US11240058B2 (en) 2019-03-29 2019-03-29 System and method to view occupant status and manage devices of building
PCT/US2020/024733 WO2020205371A1 (en) 2019-03-29 2020-03-25 System and method to view occupant status and manage devices of building

Publications (1)

Publication Number Publication Date
KR20210141516A true KR20210141516A (ko) 2021-11-23

Family

ID=70334087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217030346A KR20210141516A (ko) 2019-03-29 2020-03-25 점유자 상태를 관찰하고 빌딩의 디바이스들을 관리하는 시스템 및 방법

Country Status (6)

Country Link
US (1) US11240058B2 (ko)
EP (2) EP3948514B1 (ko)
KR (1) KR20210141516A (ko)
CN (1) CN113614686A (ko)
TW (1) TWI827825B (ko)
WO (1) WO2020205371A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704443B2 (en) * 2019-11-19 2023-07-18 Silicon Laboratories Inc. Block cipher side-channel attack mitigation for secure devices
WO2023034588A1 (en) * 2021-09-03 2023-03-09 Dish Wireless L.L.C. Systems and methods for implementing digital twin with a live streaming map
FR3130048A1 (fr) * 2021-12-07 2023-06-09 Seb S.A. Système de commande d’une pluralité d’appareils domestiques
US20240212476A1 (en) * 2022-12-27 2024-06-27 The Adt Security Corporation Alarm system facial recognition

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563430B1 (en) * 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
US6661340B1 (en) * 2001-04-24 2003-12-09 Microstrategy Incorporated System and method for connecting security systems to a wireless device
US20060230270A1 (en) 2005-04-07 2006-10-12 Goffin Glen P Method and apparatus for providing status information from a security and automation system to an emergency responder
US10120105B2 (en) * 2007-10-23 2018-11-06 La Crosse Technology Ltd. Location monitoring via a gateway
CN103299604B (zh) * 2011-01-19 2016-10-05 日本电气株式会社 移动通信装置和通信方法
KR101300272B1 (ko) * 2011-08-10 2013-08-23 엘지전자 주식회사 가전 기기 및 그 동작 방법
JP2014127124A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2014153342A2 (en) * 2013-03-18 2014-09-25 Dennis Bushmitch Integrated mobile device
US10546441B2 (en) * 2013-06-04 2020-01-28 Raymond Anthony Joao Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles
JP5649696B1 (ja) * 2013-07-12 2015-01-07 三菱電機株式会社 エネルギーマネジメントシステム、端末装置、端末装置の制御方法、及び、プログラム
US9412245B2 (en) 2013-08-08 2016-08-09 Honeywell International Inc. System and method for visualization of history of events using BIM model
US20150268840A1 (en) * 2014-03-20 2015-09-24 Nokia Corporation Determination of a program interaction profile based at least in part on a display region
US9787812B2 (en) * 2014-08-28 2017-10-10 Honda Motor Co., Ltd. Privacy management
JP6725901B2 (ja) 2014-09-29 2020-07-22 シグニファイ ホールディング ビー ヴィＳｉｇｎｉｆｙ Ｈｏｌｄｉｎｇ Ｂ．Ｖ． 環境条件を管理するためのシステム及び方法
US9858788B2 (en) * 2015-04-07 2018-01-02 Vivint, Inc. Smart bedtime
US9717012B2 (en) * 2015-06-01 2017-07-25 Afero, Inc. Internet of things (IOT) automotive device, system, and method
CN108886599B (zh) * 2015-12-11 2021-04-27 索尼公司 信息处理装置、信息处理方法和程序
US10452037B2 (en) * 2016-03-30 2019-10-22 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for controlling appliances
US10248189B2 (en) * 2016-07-29 2019-04-02 Lenovo (Singapore) Pte. Ltd. Presentation of virtual reality object based on one or more conditions
TW201819860A (zh) * 2016-11-16 2018-06-01 英業達股份有限公司 行車導航裝置及行車導航方法
US20180284974A1 (en) * 2017-03-29 2018-10-04 Honeywell International Inc. Method for Recreating Time-Based Events Using a Building Monitoring System
US20180331846A1 (en) * 2017-05-09 2018-11-15 Vivint, Inc. Activity based automation
US20210133695A1 (en) * 2017-05-25 2021-05-06 Wells Fargo Bank, N.A. Vehicle life cycle management
CN107763961A (zh) * 2017-11-08 2018-03-06 绵阳美菱软件技术有限公司 一种冰箱及其业务实现方法
US20210014078A1 (en) * 2018-03-28 2021-01-14 Rovi Guides, Inc. Systems and methods for adjusting a media consumption environment based on changes in status of an object
US10942637B2 (en) * 2018-10-09 2021-03-09 Midea Group Co., Ltd. Method and system for providing control user interfaces for home appliances
US20200128375A1 (en) * 2018-10-22 2020-04-23 GM Global Technology Operations LLC Updating vehicle electronics based on mobile device compatibility

Also Published As

Publication number Publication date
WO2020205371A1 (en) 2020-10-08
EP3948514C0 (en) 2023-11-22
EP4307266A2 (en) 2024-01-17
EP3948514A1 (en) 2022-02-09
CN113614686A (zh) 2021-11-05
EP4307266A3 (en) 2024-03-20
US11240058B2 (en) 2022-02-01
EP3948514B1 (en) 2023-11-22
US20200313923A1 (en) 2020-10-01
TW202044058A (zh) 2020-12-01
TWI827825B (zh) 2024-01-01

Similar Documents

Publication Publication Date Title
US11240058B2 (en) System and method to view occupant status and manage devices of building
US9633186B2 (en) Systems and methods for controlling output of content based on human recognition data detection
CN103677261B (zh) 用户装置的情景感知服务提供方法和设备
US11302325B2 (en) Automatic dialogue design
WO2019105227A1 (zh) 应用图标的显示方法、终端及计算机可读存储介质
CN110874129A (zh) 显示系统
US9848796B2 (en) Method and apparatus for controlling media play device
CN110341627B (zh) 控制车内行为的方法和装置
US20190129517A1 (en) Remote control by way of sequences of keyboard codes
CN111045512B (zh) 车辆、输出车辆的信息的方法及计算机可读记录介质
CN112009395A (zh) 一种交互控制方法、车载终端及车辆
KR20210047112A (ko) 전자장치 및 그 제어방법
CN114760417A (zh) 一种图像拍摄方法和装置、电子设备和存储介质
CN112492096A (zh) 一种视频播放控制方法、装置、电子设备及存储介质
CN117681822A (zh) 车辆控制方法、装置、设备及车辆
US11960914B2 (en) Methods and systems for suggesting an enhanced multimodal interaction
US20230394955A1 (en) User interfaces for managing a time-based event
US10574708B2 (en) Method and system for remote communication
JP2020061050A (ja) コミュニケーションシステム
US20210089674A1 (en) Information processing device, information processing method, and program
CN117930690A (zh) 用于儿童的车载辅助控制系统、方法、存储介质及设备
KR101483635B1 (ko) 컨텐츠 재생 시스템 및 그 방법
CN117930967A (zh) 车载dlp灯应用方法、装置、计算机设备和存储介质
JP2022180346A (ja) 音声メッセージのためのユーザインタフェース
CN113946233A (zh) 显示控制装置及显示控制方法