KR20180064328A - 홈 자동화 시스템의 음성 제어를 위한 이력 기반 핵심 구 제안 - Google Patents

홈 자동화 시스템의 음성 제어를 위한 이력 기반 핵심 구 제안 Download PDF

Info

Publication number
KR20180064328A
KR20180064328A KR1020177031179A KR20177031179A KR20180064328A KR 20180064328 A KR20180064328 A KR 20180064328A KR 1020177031179 A KR1020177031179 A KR 1020177031179A KR 20177031179 A KR20177031179 A KR 20177031179A KR 20180064328 A KR20180064328 A KR 20180064328A
Authority
KR
South Korea
Prior art keywords
home automation
automation system
list
intent
user
Prior art date
Application number
KR1020177031179A
Other languages
English (en)
Other versions
KR102691850B1 (ko
Inventor
니콜라스 제이. 시폴로
라이언 이. 킷슨
조지 티. 캇시리스
Original Assignee
사반트 시스템즈 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사반트 시스템즈 엘엘씨 filed Critical 사반트 시스템즈 엘엘씨
Publication of KR20180064328A publication Critical patent/KR20180064328A/ko
Application granted granted Critical
Publication of KR102691850B1 publication Critical patent/KR102691850B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2213/00—Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/13103—Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Alarm Systems (AREA)
  • Machine Translation (AREA)

Abstract

일 실시예에서, 홈 자동화 시스템의 음성 제어를 위해 이력 기반 핵심 구 제안들이 제공된다. 호스트 컨트롤러는 이벤트들의 이력을 유지하는 이력 데이터베이스를 구축하고, 각각의 이벤트는 홈 자동화 시스템에 의해 활성화되는 하나 이상의 서비스, 활성화되는 하나 이상의 장면 또는 제시되는 하나 이상의 유형의 미디어 콘텐츠를 표시한다. 호스트 컨트롤러 상의 예측 프로세스는 홈 자동화 시스템의 현재 조건에 기초하여 이력 데이터베이스의 이벤트들의 서브세트를 선택하여 예측 데이터세트를 생성한다. 리모트 컨트롤 또는 모바일 디바이스 상의 문법 프로세스는 예측 데이터세트에 기초하여 음성 인식 엔진에 의해 사용되는 목록으로부터 하나 이상의 의도를 선택한다. 각각의 의도는 액션과 쌍형성되는 핵심 구를 포함한다. 음성 사용자 인터페이스(UI) 프로세스는 리모트 컨트롤 또는 모바일 디바이스 상의 음성 제어 UI에서 하나 이상의 선택된 의도로부터의 핵심 구들을 제안한다.

Description

홈 자동화 시스템의 음성 제어를 위한 이력 기반 핵심 구 제안
본 개시는 일반적으로 홈 자동화 시스템에 관한 것이며, 더 구체적으로는 홈 자동화 시스템의 음성 제어에 관한 것이다.
홈 자동화 시스템은 주거용 건물과 상업용 건물 둘 모두에서 점점 더 인기를 얻고 있다. 그러한 시스템은 조명 디바이스, 보안 디바이스, 오디오/비디오(A/V) 디바이스, 난방 환기 및 냉방(HVAC) 디바이스, 및/또는 다른 유형의 디바이스를 포함하는 매우 다양한 디바이스들을 제어하고, 이들 사이에 데이터를 스위칭하고, 다른 방식으로 이들과 상호 작용하는 것이 가능할 수 있다. 전통적으로, 홈 자동화 시스템은 다양한 유형의 버튼 중심 또는 터치 스크린 기반 제어를 제공해왔다. 더 최근에는, 음성 제어를 제공하려는 시도들이 있었다. 그러나 음성 제어의 다양한 한계들은 그것이 홈 자동화 시스템에 널리 채택되는 것을 방해하여, 버튼 중심 또는 터치 스크린 기반 제어를 직접 대체하는 것보다 더 많은 호기심을 불러 일으켰다.
음성 제어에 관한 한 가지 문제점은 사용자들이 원하는 결과를 생성하기 위해 홈 자동화 시스템에 무엇을 말할지에 대해 종종 확신하지 못한다는 점이다. 많은 음성 인식 시스템은 제어 액션들에 각각 매핑되는 제한된 수의 핵심 구들(핵심 구들의 어휘집)만을 이해하도록 구성된다. 액션을 트리거하기 위해, 사용자는 어휘집 내의 핵심 구들 중 하나를 말해야 한다. 사용자들은 처음에는 사용자 설명서, 지침서 또는 다른 종류의 교육 자료를 통해 핵심 구들을 배울 수 있다. 그러나, 시간이 지남에 따라 그들은 소정의 원하는 액션들에 대한 핵심 구들을 망각할 수 있고 그들이 홈 자동화 시스템으로 하여금 원하는 방식으로 응답하게 할 수 없는 경우 좌절할 수 있다. 이 문제를 해결하려는 시도에서, 일부 홈 자동화 시스템은 모든 핵심 구의 주문형 목록(on-demand listing)을 제공하도록 구성된다. 그러나, 전체 어휘집의 디스플레이는 종종 사용자를 압도하여, 자신이 현재 원하는 것들과 관련된 정보가 자신이 현재 하려고 시도하고 있는 것과 크게 관련이 없는 다른 핵심 구들의 목록 사이에 묻히게 된다.
따라서, 홈 자동화 시스템에서 음성 제어를 구현하기 위한 개선된 기법들이 필요하다.
음성 제어 사용자 인터페이스(UI)에서 이력 기반 핵심 구 제안들(history-based key phrase suggestions)을 제공함으로써 홈 자동화 시스템에서 음성 제어를 개선하기 위한 예시적인 기법들이 제공된다. 이러한 핵심 구 제안들은 사용자의 이력적 사용 패턴을 고려하여 적절할 수 있는 음성 입력에 관해 사용자에게 프롬프트할 수 있다. 핵심 구 제안들은 많은 양의 정보로 사용자를 압도하지 않도록 제한된 개수일 수 있다.
하나의 예시적인 실시예에서, 호스트 컨트롤러 상의 호스트 활동 기록 소프트웨어는 홈 자동화 시스템에서 발생한 이벤트들을 유지하는 이력 데이터베이스를 구축할 수 있다. 각각의 이벤트는 활성화되는 하나 이상의 서비스, 활성화되는 하나 이상의 장면(scene), 제시되는 하나 이상의 유형의 미디어 콘텐츠 또는 기타 이력적 정보를 표시할 수 있다. 홈 자동화 시스템의 호스트 컨트롤러 상의 예측 프로세스는 예측 데이터세트를 생성하기 위해 홈 자동화 시스템의 현재 조건(예를 들어, 시간)에 기초하여 이력 데이터베이스로부터 이벤트들의 서브세트를 선택할 수 있다. 예를 들어, 예측 프로세스는 임의의 요일의 현재 시각을 포함하는 시간 윈도우(time window)에, 또는 현재 요일과 동일한 요일의 현재 시각을 포함하는 시간 윈도우에, 현재 요일과 동일한 요일에 발생한 이벤트들을 이력 데이터베이스에서 선택할 수 있다. 리모트 컨트롤 또는 모바일 디바이스 상의 음성 제안 소프트웨어는 예측 데이터세트에 기초하여 의도(intention) 목록으로부터 하나 이상의 의도를 선택할 수 있으며, 각각의 의도는 음성 인식 엔진에 의해 인식되는 핵심 구를 포함하고, 핵심 구는 핵심 구에 응답하여 홈 자동화 시스템에서 수행되는 액션과 쌍형성된다(paired). 음성 제안 소프트웨어는 하나 이상의 선택된 의도로부터의 핵심 구들을 핵심 구 제안들로서 제시하는 음성 제어 UI를 리모트 컨트롤 또는 모바일 디바이스의 스크린 상에 디스플레이할 수 있다. 이러한 프롬프트에 응답하여, 사용자는 핵심 구를 말할 수 있다. 사용자로부터의 이 음성 입력을 고려하여, 리모트 컨트롤 또는 모바일 디바이스 상의 음성 인식 엔진은 음성 입력을 의도 목록의 핵심 구들과 비교하여 매칭하는 의도를 찾고, 매칭하는 의도와 연관된 액션을 트리거할 수 있다.
이 개요에서 논의된 것들 이외에 다양한 부가적인 특징들 및 대안적인 실시예들이 구현될 수 있다는 것을 이해해야 한다. 이 개요는 단순히 독자에게 간략한 소개로서 의도된 것이며, 여기에 언급된 예들은 본 개시의 모든 양태를 커버하거나, 본 개시의 필수적인 또는 본질적인 양태들이라는 것을 나타내거나 암시하지 않는다.
이하의 설명은 예시적인 실시예들의 첨부 도면들을 참조하며, 도면들 중:
도 1은 구조물에 관한 디바이스들을 제어하도록 동작 가능한 홈 자동화 시스템의 예시적인 아키텍처의 블록도이다.
도 2는 이력 데이터베이스 내의 이벤트들로서 홈 자동화 시스템에서의 이력적 활동의 레코드를 유지할 수 있는, 호스트 활동 기록 소프트웨어를 포함하는, 예시적인 호스트 소프트웨어를 보여주는 블록도이다.
도 3은 리모트 컨트롤 또는 모바일 디바이스 상에서 실행될 수 있는, 음성 인식 엔진을 포함하는, 예시적인 앱을 보여주는 블록도이다.
도 4는 동적으로 구축될 수 있는 예시적인 의도 목록의 예시적인 핵심 구 목록이다.
도 5는 앱의 예시적인 음성 제안 소프트웨어 및 호스트 소프트웨어의 예측 프로세스의 블록도이다.
도 6은 리모트 컨트롤 또는 모바일 디바이스 상에 디스플레이될 수 있는 예시적인 음성 제어 UI의 스크린 샷이다.
도 7은 이력 기반 핵심 구 제안들을 제공하도록 구현될 수 있는 단계들의 시퀀스의 흐름도이다.
정의
본 명세서에서 사용된 바와 같이, "홈 자동화 시스템"이라는 용어는 주거용 주택 또는 상업용 건물과 같은 구조물 내의 디바이스들(예를 들어, 조명 디바이스, 보안 디바이스, A/V 디바이스, HVAC 디바이스, 전자 도어 록, 및/또는 다른 유형의 디바이스)을 제어할 수 있는 다양한 유형의 홈 제어, "스마트 홈" 및/또는 디바이스 제어 시스템을 포괄하도록 광범위하게 해석되어야 한다. 홈 자동화 시스템은 다양한 상이한 유형의 디바이스들, 또는 단지 특정 유형의 디바이스들만(예를 들어, 단지 조명 디바이스들, 단지 A/V 디바이스들 등)을 제어할 수 있다.
본 명세서에서 사용된 바와 같이, "모바일 디바이스"라는 용어는 범용 운영 체제를 실행하고 휴대하여 운송되도록 적응된 전자 디바이스를 지칭한다. 스마트폰 및 태블릿 컴퓨터와 같은 디바이스들은 모바일 디바이스로 간주되어야 한다. 데스크톱 컴퓨터, 서버, 또는 기타 주로 고정된 컴퓨팅 디바이스는 일반적으로 모바일 디바이스로 간주되어서는 안 된다.
본 명세서에서 사용된 바와 같이, "서비스"라는 용어는 홈 자동화 시스템의 하나 이상의 디바이스 간의 상호 작용을 수반하는 홈 자동화 시스템에 의해 제공되는 활동을 지칭한다. 서비스는 활동에 해당되는 명령 목록 및 상태 피드백을 정의할 수 있지만, 그럴 필요는 없다.
본 명세서에서 사용된 바와 같이, "장면"이라는 용어는, 활성화될 때, 미리 정의된 방식으로 홈 자동화 시스템의 하나 이상의 디바이스를 제어하는 명령 세트를 지칭한다. 장면은 홈 자동화 시스템의 초기 구성 중에 정의될 수 있지만, 그럴 필요는 없다.
본 명세서에서 사용된 바와 같이, "미디어 콘텐츠"라는 용어는 레코딩된, 방송 및/또는 스트리밍 오디오 및/또는 비디오를 지칭한다. 미디어 콘텐츠는 케이블 또는 위성 텔레비전 방송국, 스트리밍 또는 방송 라디오 방송국, 저장된 영화 또는 텔레비전 쇼, 저장된 음악 등을 포함할 수 있다.
본 명세서에서 사용된 바와 같이, "의도"라는 용어는 음성 인식 엔진에 의해 인식되는 핵심 구와 그 핵심 구에 응답하여 수행되는 액션 사이의 관계를 저장할 수 있는 데이터 구조를 지칭한다.
홈 자동화 시스템의 예
도 1은 구조물(예를 들어, 주거용 주택 또는 상업용 건물)에 관한 디바이스들을 제어하도록 동작 가능한 홈 자동화 시스템의 예시적인 아키텍처(100)의 블록도이다. 시스템의 중심부에는 홈 내 로컬 영역 네트워크(LAN)(예를 들어, Wi-Fi 네트워크)(150)에 연결된 호스트 컨트롤러(110)가 있다. 호스트 컨트롤러는 디바이스들(112-122)의 동작의 제어를 모니터링할 뿐만 아니라, UI 해석, 시스템 관리 및 모니터링, 클라우드 서비스들(180) 및 모바일 디바이스들(160)과의 동기화, 활동 기록, 활동 예측, 및 다른 유형의 기능을 제공하도록 구성된 호스트 소프트웨어(111)를 집합적으로 저장 및 실행하는, 프로세서, 메모리 및 저장 디바이스와 같은 하드웨어 컴포넌트들을 포함할 수 있다.
호스트 컨트롤러(110)는 홈 자동화 시스템이 제공하도록 구성된 서비스들을 포함하는 구성 정보, 홈 자동화 시스템의 사용자를 위해 구성된 장면들과 같은 사용자 콘텐츠, 홈 자동화 시스템의 사용자와 연관된 미디어 콘텐츠(예를 들어, 즐겨찾기들), 홈 자동화 시스템의 현재 조건을 표시하는 시스템 상태 정보뿐만 아니라 기타 유형의 데이터를 저장하는 홈 데이터베이스(130)를 그의 저장 디바이스에 유지할 수 있다. 홈 데이터베이스(130)는 홈 자동화 시스템에서의 이력적 활동의 레코드를 더 유지할 수 있다. 홈 데이터베이스의 그러한 부분은 이력 데이터베이스(132)로 지칭될 수 있다. 소정의 대안적인 실시예들에서, 이력 데이터베이스(132)는 홈 데이터베이스(130)의 일부보다는 별개의 데이터베이스일 수 있고, 클라우드 서비스들(180)에 의해, 호스트 컨트롤러(110)의 저장 디바이스에, 또는 다른 곳에 유지될 수 있다는 것이 이해되어야 한다.
홈 자동화 시스템의 디바이스들(112-122)은 조명 컨트롤러, 램프 모듈, 조광기 모듈, 스위치, 키패드, 팬 컨트롤러 등과 같은 조명 디바이스들(112); 홈 모니터/카메라, 모션 센서, 홈 헬스케어 센서, 관련 컨트롤러 등과 같은 보안 디바이스들(114); A/V 디바이스 컨트롤러, 적외선(IR) 블래스터, 매트릭스 스위처(matrix switcher), 미디어 서버, 오디오 앰프, 케이블 박스 등과 같은 오디오 디바이스들(116) 및 비디오 디바이스들(118)(집합적으로 A/V 디바이스들); 전자 도어 록(120) 및 다른 유형의 모터 또는 릴레이 작동 디바이스들; 온도 조절 장치(thermostat)와 같은 HVAC 디바이스들(122)뿐만 아니라 다른 유형의 디바이스들을 포함할 수 있다.
구현에 따라, 홈 자동화 시스템의 디바이스들(112-122)의 통신 능력들은 다를 수 있다. 예를 들어, 디바이스들 중 적어도 일부는 그것들이 홈 내 LAN(150)을 통해 호스트 컨트롤러(110) 및 다른 디바이스들과 통신할 수 있게 하는 LAN 인터페이스를 포함할 수 있다. 마찬가지로, 다른 디바이스들은 유선 또는 포인트-투-포인트 무선 통신을 위한 포트들 또는 트랜시버들(예를 들어, RS-232 포트, 적외선(IR) 트랜시버, 릴레이 제어 포트, 범용 입력/출력(GPIO) 포트 등)만을 가질 수 있고, 이러한 포트들을 사용하여 호스트 컨트롤러(110) 및 다른 디바이스들과 통신할 수 있다. 또한, 일부 디바이스들은 LAN 인터페이스(예를 들어, Wi-Fi 인터페이스)를 포함할 수 있지만, 홈 내 LAN(150)을 통해 직접 호스트 컨트롤러(110)와 통신하도록 구성되지 않고, 대신에 인터넷(170) 및 제3자 인프라스트럭처(190)를 통해 클라우드 서비스들(180)과 먼저 통신하도록 구성될 수 있다. HVAC 디바이스들(122)은 이러한 방식으로 통신할 수 있는 일 유형의 디바이스의 예로서 도 1에 도시되어 있지만, 다른 유형의 디바이스들(112-122)이 대안적으로 이 통신 방법을 사용할 수도 있으며, 그 반대도 가능함을 이해해야 한다.
사용자는 홈 내 LAN(150)을 통해(예를 들어, Wi-Fi를 통해) 호스트 컨트롤러(110)와 통신하거나 호스트 컨트롤러(110)와 직접(예를 들어, IR 또는 무선 주파수 RF 신호를 통해) 통신하는 리모트 컨트롤(140)을 사용하여 홈 자동화 시스템을 제어할 수 있다. 리모트 컨트롤(140)은, 다른 기능 중에서도, 호스트 컨트롤러(110) 및 클라우드 서비스들(180)과 인터페이스하고, 홈 자동화 컨트롤 UI(음성 제어 UI를 포함)를 생성 및 디스플레이하고, (예를 들어, 음성 인식 엔진을 사용하여) 사용자 음성 입력을 인식하도록 구성된 소프트웨어(예를 들어, 애플리케이션(앱))를 저장하고 실행하는, 프로세서, 메모리 및 저장 디바이스와 같은 하드웨어 컴포넌트들을 포함할 수 있다. 리모트 컨트롤(140)은 또한, 다른 컴포넌트들 중에서도, 홈 자동화 컨트롤 UI(음성 제어 UI를 포함함)를 보여주기 위한 디스플레이 스크린(예를 들어, 터치 스크린) 및 사용자 음성 입력을 수신하기 위한 마이크로폰을 포함할 수 있다.
사용자는 또한 홈 내 LAN(150)을 통해 또는 인터넷(170)으로의 모바일 데이터 연결을 사용하여 호스트 컨트롤러(110)와 통신하는 모바일 디바이스(160)를 사용하여 홈 자동화 시스템을 제어할 수 있다. 모바일 디바이스(160)는, 다른 기능 중에서도, 호스트 컨트롤러(110) 및/또는 클라우드 서비스들(180)과 인터페이스하고, 홈 자동화 컨트롤 UI(음성 제어 UI를 포함)를 생성 및 디스플레이하고, (예를 들어, 음성 인식 엔진을 사용하여) 사용자 음성 입력을 인식하도록 구성된 앱(162)(예를 들어, 모바일 앱)을 저장하고 실행하는, 프로세서, 메모리 및 저장 디바이스와 같은 하드웨어 컴포넌트들을 포함할 수 있다. 모바일 디바이스(160)는 또한, 다른 컴포넌트들 중에서도, 홈 자동화 컨트롤 UI(음성 제어 UI를 포함함)를 보여주기 위한 디스플레이 스크린(예를 들어, 터치 스크린) 및 사용자 음성 입력을 수신하기 위한 마이크로폰을 포함할 수 있다.
호스트 컨트롤러(110) 및 모바일 디바이스(160)는 인터넷(170)을 통해 클라우드 서비스들(180) 및 호스트 애플리케이션 프로그램 인터페이스들(API들)(182) 및 모바일 API들(184)과 통신할 수 있다. 클라우드 서비스들(180)은, 다른 기능들 중에서도, 홈 자동화 컨트롤에 대한 원격 액세스, 홈 데이터베이스(130)의 영구적인 백업(구성 데이터베이스(186)에 데이터를 저장), 제3자 인프라스트럭처로의 인터페이스(제3자 어댑터들(188)을 통해), 사용자 프로파일들 및 사용 추적(사용자 데이터베이스(189)에 데이터를 저장), 무선 업데이트를 위한 메커니즘, 호스트 충돌 보고, 및 라이센스 관리를 제공할 수 있다.
활동 기록
도 2는 이력 데이터베이스(132) 내의 이벤트들로서 홈 자동화 시스템에서의 이력적 활동의 레코드를 유지할 수 있는, 호스트 활동 기록 소프트웨어(200)를 포함하는, 예시적인 호스트 소프트웨어(111)를 보여주는 블록도이다. 소프트웨어(200)는 홈 자동화 시스템에 의해 활성화되는 서비스들, 활성화되는 장면들, 제시되는 미디어 콘텐츠 등에 관해 (예를 들어, 호스트 컨트롤러(110) 상의) 다른 소프트웨어로부터 프로세스 간 통신(IPC)을 통해 메시지들을 수신하는 활동 프로세스(210)를 포함할 수 있다. 활동 프로세스(210)는 이 메시지들을 메시지 라우터 프로세스(220)로 전달할 수 있다. 활동 프로세스(210)는 홈 자동화 시스템에서의 활동에 관한 요청들에 대한 응답들을 다시 메시지 라우터 프로세스(220)로부터 수신할 수 있다. 활동 프로세스(210)는, 아래 더 논의되는 바와 같이, 이 응답들을 예측 프로세스와 같은 다른 소프트웨어로 전달할 수 있다.
메시지 라우터 프로세스(220)는 활동 프로세스(210)로부터의 메시지들을 이벤트들(230)로 변환하는 것, 이벤트들(230)을 레코더 인터페이스들(250)로 라우팅하는 것, 및 요청들에 대한 응답들을 다시 활동 프로세스(210)로 라우팅하는 것을 포함하는 몇몇 기능을 수행한다. 이벤트들(230)은 활성화되는 서비스들, 활성화되는 장면들, 제시되는 미디어 콘텐츠의 유형들 등을 포함하는 홈 자동화 시스템에서의 이력적 활동을 설명하는 정보를 유지하는 객체들이다. 각각의 이벤트(230)는 이벤트를 트리거한 사용자를 표시하는 사용자 속성, 이벤트의 유형을 기술하는 유형 속성, 유사한 유형의 이벤트들을 함께 그룹화하는 그룹 키, 활성화되는 서비스를 기술하는 서비스 속성(또는 이벤트가 서비스를 수반하지 않는 경우에는 널(null)임), 이벤트가 발생한 시간(요일 및 시각을 포함)을 표시하는 시간 속성, 및 추가 정보를 저장하는 인수(arguments) 속성을 포함할 수 있다.
요청들(240)은 레코더들(260-270)로부터 이용 가능할 수 있는 홈 자동화 시스템에서의 활동에 관한 클라이언트 프로세스들로부터의 데이터에 대한 쿼리들을 나타내는 객체들이다. 요청(240)을 발행할 수 있는 하나의 클라이언트 프로세스는, 아래 더 상세히 논의된 바와 같이, 예측 프로세스이다.
레코더 인터페이스들(250)은, 다른 용도들 중에서도, 이벤트들(230) 및 요청들(240)을 수용하는, 피드 프로세스(260) 및 이력 프로세스(270)와 같은, 레코더 프로세스들로의 인터페이스들을 제공할 수 있다. 피드 프로세스(260)는 홈 자동화 시스템에서의 이벤트들(230)의 간단한 이력을 제공하고 이를 클라우드 서비스(180)로 전달하는 활동 피드를 생성할 수 있다. 이력 프로세스(270)는 이력 데이터베이스(132)에 이벤트들(230)을 저장하여, 사용자, 유형, 그룹 키, 서비스, 시간 및 인수를 포함하는 특성들을 로깅할 수 있다.
음성 제어
위에 논의된 바와 같이, 홈 자동화 시스템은 음성 입력에 응답하여, 대응하는 사용자 인터페이스 액션이 트리거되도록 음성 제어될 수 있다. 이러한 음성 제어는 (예를 들어, 서비스를 활성화하거나, 장면을 활성화하거나, 미디어 콘텐츠를 제시하거나 하는 등등을 위해) 홈 자동화 시스템에서의 액션과 각각 관련되는 제한된 수의 핵심 구를 인식하도록 구성된 음성 인식 엔진에 의해 구현될 수 있다.
도 3은 리모트 컨트롤(140) 또는 모바일 디바이스(160) 상에서 실행될 수 있는, 음성 인식 엔진(300)을 포함하는, 예시적인 앱(162)을 보여주는 블록도이다. 음성 인식 엔진(300)은 다양한 상이한 기능들을 수행하는 문법 프로세스(310)를 포함할 수 있다. 문법 프로세스(310)의 하나의 기능은 의도 목록(320)(예를 들어, 의도 룩업 테이블로서 구조화됨)을 구축하는 것일 수 있다. 각각의 의도는 음성 인식 엔진에 의해 인식되는 핵심 구를 포함하고, 핵심 구는 핵심 구에 응답하여 홈 자동화 시스템에 의해 수행되는 액션과 쌍형성된다. 액션들은 홈 자동화 시스템 컨트롤 UI의 하나 이상의 양태를 제어하는 UI 액션들(370), 및 홈 자동화 시스템의 서비스들, 장면들, 미디어 콘텐츠, 또는 다른 동작들을 제어하는 시스템 액션들(380)을 포함할 수 있다. 의도 목록(320)은 홈 데이터베이스(130)로부터 획득된 데이터를 사용하여 동적으로 구축될 수 있다. 데이터는 홈 자동화 시스템이 제공하도록 구성된 서비스들의 표시들과 같은 구성 정보(330); 홈 자동화 시스템에서 정의된 장면들 또는 사용자와 연관된 미디어 콘텐츠(예를 들어, 즐겨찾기들)와 같은 사용자 콘텐츠(340); 및 활성 서비스들의 표시들과 같은 시스템 상태(350)를 포함할 수 있다. 동적인 구축은 현재 사용자의 신원 및 사용자가 위치한 구조물의 방에 맞추어질 수 있다(예를 들어, 특정 방에서와 같이 리모트 컨트롤(140) 또는 모바일 디바이스(160)의 동적으로 결정된 위치 또는 특정 방으로의 리모트 컨트롤(140) 또는 모바일 디바이스(160)의 바인딩에 기초하여). 동적인 구축은 현재 구성 정보(330), 사용자 콘텐츠(340), 시스템 상태(350), 사용자 및 방과 관련되는 의도들은 목록에 추가하면서, 적용할 수 없는 의도들(예를 들어, 방에서 현재 구성되지 않은 서비스들에 대한 의도들, 방에서 정의되지 않은 장면들에 대한 의도들, 현재 사용자의 즐겨찾기가 아닌 사용자 콘텐츠에 대한 의도들, 현재 시스템 상태 이외의 동작 조건들에 대한 의도들 등)은 생략할 수 있다. 문법 프로세스(310)는 구성 정보(330), 사용자 콘텐츠(340), 시스템 상태(350), 사용자 및 방을 계속해서 모니터링하고, 필요에 따라 의도 목록을 재구축할 수 있다. 효율을 향상시키기 위해, 변경에 의해 영향을 받는 의도 목록의 그 부분들만이 재구축될 수 있다(예를 들어, 부분 업데이트).
문법 프로세스(310)가 수행할 수 있는 또 다른 기능은 의도들의 핵심 구들을 확인(validate)하여 그것들이 인식기 프로세스(360)에 의해 인식 가능하도록 보장하는 것이다. 그의 핵심 구들이 확인되지 않은 의도들은 의도 목록으로부터 제거될 수 있다. 일단 확인되면, 문법 프로세스(310)는 의도들을 인식기 프로세스(360)에 출력할 수 있다. 인식기 프로세스(360)는 (예를 들어, 리모트 컨트롤(140) 또는 모바일 디바이스(160)의 마이크로폰을 통해 수신된) 음성 입력을 의도 목록의 핵심 구들과 비교하고, 매칭시 대응하는 액션을 트리거할 수 있다.
또 추가로, 아래 더 상세히 논의된 바와 같이, 문법 프로세스(310)는 또한 그의 핵심 구들이 음성 제어 UI에서 핵심 구 제안들로서 디스플레이될 의도들을 선택하는 데 역할을 할 수 있다.
도 4는 동적으로 구축될 수 있는 예시적인 의도 목록의 예시적인 핵심 구 목록(400)이다. 의도들은 서비스 의도들, 장면 의도들, 즐겨찾기 의도들, 명령 의도들 및 탐색 의도들을 포함하여, 몇몇 카테고리로 분류될 수 있다. 서비스 의도들은 방에서의 서비스에 영향을 주는 액션들과 쌍형성되는 키워드들을 포함하여, 방으로 범위가 지정될 수 있다. 서비스 의도들의 핵심 구는 "Service"로서 - 여기서 서비스의 이름이 단독으로 제공됨(예를 들어, "Apple TV", "Blueray", "Cable" 등) - 또는 "Watch Service"로서 - 여기서 서비스의 이름 앞에 "Watch" 명령이 옴(예를 들어, "Watch Apple TV", "Watch Blueray", "Watch Cable" 등) - 서식화될 수 있다. 이 핵심 구들은 서비스의 오디오/비디오 버전을 활성화하는 액션들과 연관될 수 있다. 서비스 의도들의 핵심 구는 또한 "Listen to Service"로서 서식화될 수 있고, 여기서, 서비스의 이름 앞에 "Listen to" 명령이 온다(예를 들어, "Listen to Apple TV Live", "Listen to CD", "Listen to Radio" 등). 이 핵심 구들은 서비스의 오디오만의 버전을 활성화하는 액션들(이용 가능한 경우)과 연관될 수 있다.
장면 의도들은 현재 사용자에 대한 장면을 활성화, 스케줄 또는 스케줄 해제(unschedule)하는 액션들과 쌍형성되는 키워드들을 포함할 수 있다. 장면 의도들은 사용자와 연관된 장면에 영향을 미치는 액션들과 쌍형성되는 키워드들을 포함하여, 현재 사용자로 범위가 지정될 수 있다. 장면 의도들의 핵심 구는 "Scene"으로서 서식화될 수 있고, 여기서, 장면의 이름이 단독으로 제공된다(예를 들어, "Dinner", "Goodnight", "Play Time" 등). 이 핵심 구들은 장면을 활성화하는 액션들과 연관될 수 있다. 장면 의도들의 핵심 구는 또한 "Schedule Scene"으로서 서식화될 수 있고, 여기서, 장면의 이름 앞에 "Schedule" 명령이 온다(예를 들어, "Schedule Dinner", "Schedule Goodnight", "Schedule Play Time" 등). 이 핵심 구들은 장면의 스케줄이 구성된 경우 장면의 스케줄을 활성화하는 액션들과 연관될 수 있다. 또한, 장면 의도들의 핵심 구는 또한 "Unschedule Scene"으로서 서식화될 수 있고, 여기서, 장면의 이름 앞에 "Unschedule" 명령이 온다. 이 핵심 구들은 장면의 스케줄이 활성인 경우 장면의 스케줄을 비활성화하는 액션들과 연관될 수 있다.
즐겨찾기 의도들은 현재 사용자에 의해 선택된 하나 이상의 유형의 미디어 콘텐츠를 제시하는 액션들과 쌍형성되는 키워드들을 포함할 수 있다. 즐겨찾기 의도들은 방에 존재하고 사용자와 연관된 미디어 콘텐츠에 영향을 미치는 액션들과 쌍형성되는 키워드들을 포함하여, 현재 사용자와 방 양자 모두로 범위가 지정될 수 있다. 즐겨찾기 의도들의 액션들은 먼저 서비스를 활성화한 다음, 채널을 설정하거나 해당 서비스와 함께 사용되는 미디어 파일 또는 스트림을 선택할 수 있다. 즐겨찾기 의도들의 핵심 구는 "Service"로서 - 여기서 서비스의 이름이 단독으로 제공된다(예를 들어, "ABC", "CBS", "CNN" 등) - 또는 "Watch Service"로서 - 여기서 서비스의 이름 앞에 "Watch" 명령이 온다(예를 들어, "Watch ABC", "Watch CBS", "Watch CNN" 등) - 서식화될 수 있다. 이 핵심 구들은 대응하는 채널로 설정된 서비스의 오디오/비디오 버전을 활성화하는 액션들과 연관될 수 있다(또는 대응하는 미디어 파일 또는 스트림을 사용하여). 즐겨찾기 의도들의 핵심 구는 또한 "Listen to Service"로서 - 여기서 서비스의 이름 앞에 "Listen to" 명령이 온다 - 서식화될 수 있다. 이 핵심 구들은 대응하는 채널로 설정된 서비스의 오디오만의 버전을 활성화하는 액션들(사용 가능한 경우)과 연관될 수 있다(또는 대응하는 미디어 파일 또는 스트림을 사용하여).
명령 의도들은 홈 자동화 시스템의 현재 상태(즉, 컨텍스트)와 관련될 수 있는 단일 명령을 전송하는 액션들과 쌍형성되는 키워드들을 포함할 수 있다. 명령 의도들은 방으로 범위가 지정될 수 있다. 명령 의도들의 핵심 구는, 예를 들어, 방의 조명 레벨을 증가시키거나 감소시키는 액션들과 쌍형성되는 "Brighter" 또는 "Dimmer"와 같은 핵심 구들을 포함하여, 또는, 예를 들어, 방의 온도를 감소시키거나 증가시키는 액션들과 쌍형성되는 "I'm Hot" 또는 "I'm Cold"와 같은 핵심 구들을 포함하여, 미리 정의된 명령 목록으로부터의 것일 수 있다.
탐색 의도들은 홈 자동화 컨트롤 UI에서 탐색 바로 가기(navigation shortcuts)를 제공하는 액션들과 쌍형성되는 키워드들을 포함할 수 있다. 탐색 의도들은 범위가 다를 수 있는데, 일부는 전역(global)인 반면 다른 것들은 활성 서비스 또는 방에 따라 다르다. 예시적인 탐색 의도는 홈 자동화 컨트롤 UI에서 현재 활성 서비스의 키패드 스크린으로 전환하는 액션(이용 가능한 경우)과 쌍형성되는 핵심 구 "Keypad"를 포함할 수 있다. 또 다른 예시적인 탐색 의도는 홈 자동화 컨트롤 UI에서 장면 캡처 스크린으로 전환하는 액션과 쌍형성되는 핵심 구 "Capture"를 포함할 수 있다.
홈 자동화 시스템에는 매우 다양한 다른 유형의 의도들이 제공될 수 있음을 이해해야 한다.
이력 기반 핵심 구 제안들
이력 데이터베이스(132) 및 의도 목록(320)은 사용자의 이력적 사용 패턴을 고려하여 사용자에게 유용할 가능성이 있는 핵심 구 제안들을 생성하기 위해 활용될 수 있다. 이 이력 기반 핵심 구 제안들은 리모트 컨트롤(140) 또는 모바일 디바이스(160) 상의 음성 제어 UI에 디스플레이되어 원하는 결과를 생성할 수 있는 음성 입력에 관해 사용자에게 프롬프트할 수 있다.
도 5는 앱(162)의 예시적인 음성 제안 소프트웨어(500) 및 호스트 소프트웨어(111)의 예측 프로세스(510)의 블록도이다. 처음에, 예측 프로세스(510)는 홈 자동화 시스템이 그의 현재 조건과 유사한 조건에 있을 때 다양한 유형의 이벤트들의 빈도를 (이력 데이터베이스(132)에 기초하여) 결정하기 위해 활동 프로세스(210)에 하나 이상의 요청을 발행할 수 있다. 이러한 유사성은 시간(예를 들어, 시각과 요일 양쪽 모두)에 기초할 수 있고, 따라서 요청들은 임의의 요일의 현재 시각을 포함하는 시간 윈도우에, 동일한 요일의 현재 시각을 포함하는 시간 윈도우에, 또는 어떤 다른 시간 관련 기준에 기초하여, 현재 요일과 동일한 요일의 이벤트들의 빈도를 찾는다. 예측 프로세스(510)는 요청들에 응답하여 반환된 결과들에 스코어링을 적용할 수 있다. 스코어링은 빈도뿐만 아니라 이벤트들을 선택하는 데 사용되는 시간 윈도우의 길이에 기초할 수 있으며, 더 짧은 시간 윈도우가 더 긴 시간 윈도우보다 더 높은 스코어를 야기한다. 또한 스코어링은 이벤트의 유형에 기초하여 조정될 수 있으며, 더 구체적인 사용자 액션을 표시하는 이벤트들의 유형들이 덜 구체적인 사용자 액션을 표시하는 이벤트들보다 더 높은 스코어들을 받는다. 스코어링된 결과들은 이어서 리모트 컨트롤(140) 또는 모바일 디바이스(160) 상의 음성 제안 소프트웨어(500)에 예측 데이터세트로서 제공될 수 있다.
음성 제안 소프트웨어(500)는 호스트 컨트롤러(110)와 인터페이스하기 위해 사용되는 통신 API(520)를 포함할 수 있으며, 호스트 컨트롤러(110)는 예측 데이터세트를 제안 프로세스(530)에 전달한다. 제안 프로세스(530)는 예측 데이터세트를 취하여 그것을 문법 프로세스(310)에 유용한 형태, 예를 들어, 미리 결정된 수의 가장 빈번한 이벤트를 선택하는 것으로 처리한다. 이러한 처리는 예측 데이터세트를 의도 목록(320)으로부터의 의도들과 쉽게 연관될 수 있는 형태로 변환할 수 있다. 처리된 예측 데이터세트 및 의도 목록(320)은 문법 프로세스(310)에 제공되며, 문법 프로세스(310)는 예측 데이터세트로부터의 이벤트들을 목록(320)으로부터의 의도들과 연관시켜, 의도들을 선택한다. 그 후 적어도 그러한 선택된 의도들로부터의 핵심 구들이 음성 UI 프로세스(540)에 제공된다. 음성 UI 프로세스(540)는 선택된 의도들의 핵심 구들을 리모트 컨트롤(140) 또는 모바일 디바이스(160)의 디스플레이 스크린 상의 음성 제어 UI에 핵심 구 제안들로서 디스플레이한다.
도 6은 리모트 컨트롤(140) 또는 모바일 디바이스(160) 상에 디스플레이될 수 있는 예시적인 음성 제어 UI(600)의 스크린 샷이다. 핵심 구 제안들(610)은 사용자에게 그것들을 음성 입력으로서 시도하게 하는 프롬프트와 관련하여 목록에 디스플레이될 수 있다. 일부 구현들에서, 음성 제어 UI(600)는 리모트 컨트롤(140) 또는 모바일 디바이스(160)의 터치 스크린 상에 디스플레이될 수 있고, 핵심 구 제안들은 또한 선택 가능한 버튼들로서의 역할을 할 수 있다. 버튼을 터치하는 것은 핵심 구를 말하는 것과 동등한 것으로 간주되고, 의도의 대응하는 액션을 트리거할 수 있다.
요약 및 결론
도 7은 이력 기반 핵심 구 제안들을 제공하도록 구현될 수 있는 단계들의 시퀀스의 흐름도이다. 단계들의 시퀀스(700)는 위에서 논의된 다양한 동작들의 하이 레벨 요약을 제공하지만, 동작들의 전체 흐름을 더 잘 설명하기 위해 소정의 세부 사항들은 생략한다. 단계 710에서, 호스트 컨트롤러(110) 상의 호스트 활동 기록 소프트웨어(200)(구체적으로, 활동 프로세스(210) 및 메시지 라우터 프로세스(220)와 함께 동작하는 이력 레코더(270))는 발생한 이벤트들을 유지하는 이력 데이터베이스(132)를 구축할 수 있다. 각각의 이벤트는, 예를 들어, 활성화되는 하나 이상의 서비스, 활성화되는 하나 이상의 장면 또는 제시되는 하나 이상의 유형의 미디어 콘텐츠를 표시할 수 있다. 단계 720에서, 호스트 컨트롤러(110) 상의 예측 프로세스(510)(활동 프로세스(210)와 함께 동작함)는 홈 자동화 시스템의 현재 조건(예를 들어, 시간)에 기초하여 이력 데이터베이스(132)의 이벤트들의 서브세트를 선택하여 예측 데이터세트를 생성할 수 있다. 단계 730에서, 리모트 컨트롤(140) 또는 모바일 디바이스(160) 상의 음성 제안 소프트웨어(500)(구체적으로, 제안 프로세스(530) 및 문법 프로세스(310))는, 예측 데이터세트에 기초하여, 의도 목록으로부터 하나 이상의 의도를 선택할 수 있으며, 여기서 각각의 의도는 음성 인식 엔진(300)에 의해 인식되는 핵심 구를 포함하고, 핵심 구는 핵심 구에 응답하여 수행되는 액션과 쌍형성된다. 단계 740에서, 음성 제안 소프트웨어(500)(구체적으로, 음성 UI 프로세스(540))는 하나 이상의 선택된 의도로부터의 핵심 구들을 핵심 구 제안들(610)로서 제시하는 음성 제어 UI(600)를 리모트 컨트롤(140) 또는 모바일 디바이스(160)의 디스플레이 스크린 상에 디스플레이할 수 있다. 마지막으로, 단계 750에서, 사용자로부터의 음성 입력에 응답하여, 리모트 컨트롤(140) 또는 모바일 디바이스(160) 상의 음성 인식 엔진(300)(구체적으로, 인식기 프로세스(360))은 음성 입력을 의도 목록의 핵심 구들과 비교하여 매칭하는 의도를 찾고, 매칭하는 의도와 연관된 액션을 트리거할 수 있다.
위에 논의된 단계들의 시퀀스 및 상기 제공된 개시의 다른 부분들에 대해 다양한 적응 및 수정이 이루어질 수 있음을 이해해야 한다. 상기 제공된 실시예들은 조명 디바이스, 보안 디바이스, A/V 디바이스, 전자 도어 록, HVAC 디바이스 등과 같은 다양한 상이한 유형의 디바이스들을 포함하는 홈 자동화 시스템을 수반하지만, 본 기술들은 더 제한된 유형의 홈 자동화 시스템들과 함께 사용하기 위해 적응될 수 있다는 것을 상기해야 한다. 예를 들어, 본 기술들은 조명 제어(즉, 조명 제어 시스템)만을 제공하는 홈 자동화 시스템, A/V 제어(즉, A/V 제어 시스템)만을 제공하는 홈 자동화 시스템 등과 함께 사용될 수 있다.
또한, 위에서 제공된 개시는 다양한 소프트웨어 프로세스들이 특정 디바이스 상에서(예를 들어, 호스트 컨트롤러(110), 리모트 컨트롤(140) 또는 모바일 디바이스(160) 등의 상에서) 실행될 수 있음을 제안하지만, 소프트웨어 프로세스들은 클라우드 서비스들(180)의 일부로서 클라우드 기반 하드웨어 상에서 실행되는 것을 포함하여, 상이한 하드웨어 디바이스들 상에서 실행될 수 있음을 이해해야 한다.
또한, 위에서는, 이력 기반 핵심 구 제안들이 홈 자동화 시스템 자체에서 발생한 이벤트들의 이력에 기초할 수 있음이 기술되어 있지만, 다른 홈 자동화 시스템들에서 발생한 이벤트들도 고려될 수 있음을 이해해야 한다. 예를 들어, 클라우드 서비스들(180)은 복수의 홈 자동화 시스템으로부터의 이벤트들을 종합할 수 있고 예측 알고리즘을 이 결합된 이벤트 세트에 적용하여 핵심 구 제안들을 형성할 수 있다. 더 큰 사용자 베이스를 고려함으로써, 단일 홈 자동화 시스템의 이벤트들에서는 식별될 수 없는 다양한 사용 패턴들이 통계적으로 중요해질 수 있다.
또한, 소프트웨어에서 구현되는 것으로 위에서 제안된 기능 중 적어도 일부가 하드웨어에서 구현될 수 있음을 이해해야 한다. 일반적으로, 기능은 소프트웨어, 하드웨어 또는 이들의 다양한 조합들에서 구현될 수 있다. 소프트웨어 구현들은 휘발성 또는 영구적 메모리, 하드 디스크, 컴팩트 디스크(CD), 또는 다른 유형 매체와 같은 비일시적 전자 디바이스 판독가능 매체(예를 들어, 비일시적 컴퓨터 판독가능 매체)에 저장된 전자 디바이스 실행 가능 명령들(예를 들어, 컴퓨터 실행 가능 명령들)을 포함할 수 있다. 하드웨어 구현들은 논리 회로들, 주문형 집적 회로들, 및/또는 다른 유형의 하드웨어 컴포넌트들을 포함할 수 있다. 또한, 조합된 소프트웨어/하드웨어 구현들은 비일시적 전자 디바이스 판독가능 매체에 저장된 전자 디바이스 실행 가능 명령들뿐만 아니라, 하나 이상의 하드웨어 컴포넌트, 예를 들어, 프로세서, 메모리 등을 모두 포함할 수 있다. 특히, 상기 실시예들은 단지 예로서 취해지도록 의도된 것임을 이해해야 한다.

Claims (25)

  1. 홈 자동화 시스템(home automation system)의 음성 제어를 위한 이력 기반 핵심 구 제안들(history-based key phrase suggestions)을 제공하기 위한 방법으로서,
    상기 홈 자동화 시스템에서 발생한 이벤트들을 유지하는 이력 데이터베이스를 저장 디바이스 상에 구축(building)하는 단계 - 각각의 이벤트는 상기 홈 자동화 시스템에 의해 활성화되는 하나 이상의 서비스들, 활성화되는 하나 이상의 장면들(scenes) 또는 제시되는 하나 이상의 유형들의 미디어 콘텐츠를 표시함 -;
    상기 홈 자동화 시스템의 현재 조건에 기초하여 상기 이력 데이터베이스의 상기 이벤트들의 서브세트를 선택하여 예측 데이터세트를 생성하는 단계;
    상기 예측 데이터세트에 기초하여, 의도 목록(list of intentions)으로부터 하나 이상의 의도들을 선택하는 단계 - 각각의 의도는 음성 인식 엔진에 의해 인식되는 핵심 구(key phrase)를 포함하고, 상기 핵심 구는 상기 핵심 구에 응답하여 수행되는 액션과 쌍형성됨(paired) -; 및
    상기 홈 자동화 시스템의 리모트 컨트롤(remote control) 또는 모바일 디바이스(mobile device) 상의 사용자 인터페이스에서 현재 사용자에게, 상기 하나 이상의 선택된 의도들로부터의 상기 핵심 구들을 핵심 구 제안들로서 디스플레이하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 이력 데이터베이스 내의 각각의 이벤트는 시간과 연관되고, 상기 홈 자동화 시스템의 상기 현재 조건은 현재 시간을 포함하고, 상기 선택하는 단계는 각각의 이벤트의 상기 시간과 상기 현재 시간의 비교에 기초하는, 방법.
  3. 제2항에 있어서, 상기 현재 시간은 현재 시각(present time of day)과 현재 요일(present day of week)을 포함하고, 상기 비교는 임의의 요일의 현재 시각을 포함하는 시간 윈도우(time window)에, 또는 현재 요일과 동일한 요일의 현재 시각을 포함하는 시간 윈도우에, 현재 요일과 동일한 요일에 발생한 이벤트들을 상기 이력 데이터베이스에서 결정하는, 방법.
  4. 제1항에 있어서, 상기 예측 데이터세트는 스코어링된 예측 데이터세트(scored prediction dataset)이고, 상기 선택하는 단계는 상이한 유형들의 이벤트들의 빈도를 결정하는 단계 및 상기 빈도에 적어도 부분적으로 기초하여 상기 상이한 유형들의 이벤트들을 스코어링하는 단계를 더 포함하는, 방법.
  5. 제4항에 있어서, 상기 선택하는 단계는 각각의 이벤트의 시간과 시간 윈도우의 비교에 적어도 부분적으로 기초하고, 상기 스코어링하는 단계는 상기 시간 윈도우의 길이에 기초하며, 더 짧은 시간 윈도우가 더 긴 시간 윈도우보다 더 높은 스코어를 야기하는, 방법.
  6. 제4항에 있어서, 상기 스코어링하는 단계는 이벤트의 유형에 기초한 인자에 의해 조정되고, 더 구체적인 사용자 액션을 표시하는 이벤트들의 유형들이 덜 구체적인 사용자 액션을 표시하는 이벤트들보다 더 높은 스코어들을 받는, 방법.
  7. 제1항에 있어서,
    상기 홈 자동화 시스템에 대한 구성 정보, 상기 홈 자동화 시스템에서 정의된 사용자 콘텐츠 또는 상기 홈 자동화 시스템의 시스템 상태 중 적어도 하나에 기초하여 상기 의도 목록을 동적으로 생성하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 현재 사용자 또는 제어되는 방에 기초하여 상기 의도 목록을 동적으로 생성하는 단계를 더 포함하는, 방법.
  9. 제1항에 있어서,
    네트워크를 통해 상기 리모트 컨트롤 또는 모바일 디바이스와 통신하는 호스트 컨트롤러 상에 상기 이력 데이터베이스를 저장하는 단계를 더 포함하는, 방법.
  10. 제1항에 있어서, 상기 의도 목록은 수행될 때의 액션이 방 안의 하나 이상의 서비스들을 활성화하는 하나 이상의 서비스 의도들을 포함하는, 방법.
  11. 제1항에 있어서, 상기 의도 목록은 수행될 때의 액션이 하나 이상의 장면들을 활성화하는 하나 이상의 장면 의도들을 포함하는, 방법.
  12. 제1항에 있어서, 상기 의도 목록은 수행될 때의 액션이 상기 현재 사용자와 연관된 하나 이상의 유형들의 미디어 콘텐츠를 제시하는 하나 이상의 즐겨찾기 의도들(favorite intentions)을 포함하는, 방법.
  13. 제1항에 있어서,
    상기 음성 인식 엔진에서, 상기 리모트 컨트롤 또는 모바일 디바이스의 마이크로폰으로부터 음성 입력(speech input)을 수신하는 단계;
    상기 음성 인식 엔진에 의해, 상기 음성 입력을 상기 의도 목록의 상기 핵심 구들과 비교하여 매칭하는 의도를 찾는 단계; 및
    상기 매칭하는 의도와 연관된 액션을 트리거하는 단계를 더 포함하는, 방법.
  14. 제13항에 있어서, 상기 액션은 상기 홈 자동화 시스템에서 하나 이상의 서비스들을 활성화하거나, 하나 이상의 장면들을 활성화하거나, 하나 이상의 유형들의 미디어 콘텐츠를 제시하는 시스템 액션인, 방법.
  15. 제13항에 있어서, 상기 액션은 홈 자동화 시스템 컨트롤 UI의 하나 이상의 양태들을 제어하는 사용자 인터페이스(UI) 액션인, 방법.
  16. 음성 제어를 위한 이력 기반 핵심 구 제안들을 제공하는 홈 자동화 시스템으로서,
    구조물 내의 하나 이상의 오디오/비디오(A/V) 디바이스들, 조명 디바이스들, 난방 환기 및 냉방(heating ventilation and cooling)(HVAC) 디바이스들 또는 보안 디바이스들에 결합되고 이것들을 제어하여 홈 자동화를 제공하도록 구성되는 호스트 컨트롤러 - 상기 호스트 컨트롤러는
    상기 구조물에서 발생한 이벤트들을 유지하는 이력 데이터베이스를 구축하는 호스트 활동 기록 소프트웨어 - 각각의 이벤트는 활성화되는 하나 이상의 서비스들, 활성화되는 하나 이상의 장면들 또는 제시되는 하나 이상의 유형들의 미디어 콘텐츠를 표시함 -, 및
    상기 홈 자동화 시스템의 현재 조건에 기초하여 상기 이력 데이터베이스의 상기 이벤트들의 서브세트를 선택하여 예측 데이터세트를 생성하도록 구성된 예측 프로세스를 포함함 - ; 및
    네트워크를 통해 상기 호스트 컨트롤러와 통신하는 리모트 컨트롤 또는 모바일 디바이스
    를 포함하고, 상기 리모트 컨트롤 또는 모바일 디바이스는
    음성 인식 엔진, 및
    상기 예측 데이터세트에 기초하여, 의도 목록으로부터 하나 이상의 의도들을 선택하고 - 각각의 의도는 상기 음성 인식 엔진에 의해 인식되는 핵심 구를 포함하고, 상기 핵심 구는 상기 핵심 구에 응답하여 수행되는 액션과 쌍형성됨 -, 상기 리모트 컨트롤 또는 모바일 디바이스의 스크린 상에 상기 홈 자동화 시스템의 현재 사용자에게 상기 하나 이상의 선택된 의도로부터의 상기 핵심 구들을 핵심 구 제안들로서 디스플레이하도록 구성된 음성 제안 소프트웨어를 포함하는, 홈 자동화 시스템.
  17. 제16항에 있어서, 상기 이벤트들의 이력 내의 각각의 이벤트는 적어도 상기 이벤트와 연관된 시간의 표시를 포함하고, 상기 홈 자동화 시스템의 상기 현재 조건은 현재 시간을 포함하고, 상기 선택은 각각의 이벤트의 상기 시간과 상기 현재 시간의 비교에 기초하는, 홈 자동화 시스템.
  18. 제16항에 있어서, 상기 음성 제안 소프트웨어는 상기 홈 자동화 시스템에 대한 구성 정보, 상기 홈 자동화 시스템에서 정의된 사용자 콘텐츠 또는 상기 홈 자동화 시스템의 시스템 상태 중 적어도 하나에 기초하여 상기 의도 목록을 동적으로 생성하도록 구성되는 문법 프로세스(grammar process)를 포함하는, 홈 자동화 시스템.
  19. 제16항에 있어서, 상기 음성 제안 소프트웨어는 상기 현재 사용자 또는 제어되는 방에 기초하여 상기 의도 목록을 동적으로 생성하도록 구성되는 문법 프로세스를 포함하는, 홈 자동화 시스템.
  20. 제16항에 있어서, 상기 음성 인식 엔진은 상기 리모트 컨트롤 또는 모바일 디바이스의 마이크로폰으로부터 음성 입력을 수신하고, 상기 음성 입력을 상기 의도 목록의 상기 핵심 구들과 비교하여 매칭하는 의도를 찾고, 상기 매칭하는 의도와 연관된 액션을 트리거하도록 구성되는 인식기 프로세스를 포함하는, 홈 자동화 시스템.
  21. 내용 없음
  22. 소프트웨어를 저장한 비일시적 전자 디바이스 판독가능 매체로서, 상기 소프트웨어는 하나 이상의 프로세서들 상에서 실행될 때:
    현재 시간과 연관되는 이전 시간에 홈 자동화 시스템에서 발생한 이벤트들을 포함하는 예측 데이터세트를 수신하고 - 각각의 이벤트는 상기 홈 자동화 시스템에 의해 활성화되는 하나 이상의 서비스들, 활성화되는 하나 이상의 장면들 또는 제시되는 하나 이상의 유형들의 미디어 콘텐츠를 표시함 -;
    상기 예측 데이터세트에 기초하여, 상기 홈 자동화 시스템의 음성 인식 엔진에 의해 사용되는 핵심 구 목록(list of key phrases)으로부터 하나 이상의 핵심 구들을 선택하고;
    상기 선택된 하나 이상의 핵심 구들을 하나 이상의 핵심 구 제안들로서 사용자에게 디스플레이하고;
    상기 하나 이상의 핵심 구 선택들 중 하나에 대응하는 음성 입력을 사용자로부터 수신하고;
    상기 음성 입력을 상기 음성 인식 엔진에 의해 사용되는 상기 핵심 구 목록과 비교하여 매칭하는 것(match)을 찾고;
    상기 매칭하는 핵심 구와 연관된 액션을 트리거 - 상기 액션은 상기 홈 자동화 시스템에서 하나 이상의 서비스들을 활성화하거나, 하나 이상의 장면들을 활성화하거나, 하나 이상의 유형들의 미디어 콘텐츠를 제시함 - 하도록 동작 가능한, 비일시적 전자 디바이스 판독가능 매체.
  23. 제22항에 있어서, 상기 핵심 구 목록은 의도 목록의 일부이고, 각각의 의도는 핵심 구와 상기 핵심 구에 응답하여 수행되는 액션을 쌍형성하고, 하나 이상의 핵심 구들의 선택은 하나 이상의 의도들의 선택을 포함하는, 비일시적 전자 디바이스 판독가능 매체.
  24. 제22항에 있어서, 상기 소프트웨어는 상기 하나 이상의 프로세서들 상에서 실행될 때:
    상기 홈 자동화 시스템에 대한 구성 정보, 상기 홈 자동화 시스템에서 정의된 사용자 콘텐츠 또는 상기 홈 자동화 시스템의 시스템 상태 중 적어도 하나에 기초하여 상기 의도 목록을 동적으로 생성하도록 추가로 동작 가능한, 비일시적 전자 디바이스 판독가능 매체.
  25. 제22항에 있어서, 상기 소프트웨어는 상기 하나 이상의 프로세서들 상에서 실행될 때:
    현재 사용자 또는 제어되는 방에 기초하여 상기 의도 목록을 동적으로 생성하도록 추가로 동작 가능한, 비일시적 전자 디바이스 판독가능 매체.
KR1020177031179A 2015-10-05 2016-10-04 홈 자동화 시스템의 음성 제어를 위한 이력 기반 핵심 구 제안 KR102691850B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/875,210 2015-10-05
US14/875,210 US10018977B2 (en) 2015-10-05 2015-10-05 History-based key phrase suggestions for voice control of a home automation system
PCT/US2016/055281 WO2017062340A1 (en) 2015-10-05 2016-10-04 History-based key phrase suggestions for voice control of a home automation system

Publications (2)

Publication Number Publication Date
KR20180064328A true KR20180064328A (ko) 2018-06-14
KR102691850B1 KR102691850B1 (ko) 2024-08-02

Family

ID=57145052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031179A KR102691850B1 (ko) 2015-10-05 2016-10-04 홈 자동화 시스템의 음성 제어를 위한 이력 기반 핵심 구 제안

Country Status (10)

Country Link
US (1) US10018977B2 (ko)
EP (1) EP3360130B1 (ko)
JP (1) JP6808643B2 (ko)
KR (1) KR102691850B1 (ko)
CN (1) CN107615377B (ko)
AU (1) AU2016335982B2 (ko)
CA (1) CA2983051A1 (ko)
ES (1) ES2965720T3 (ko)
IL (1) IL255244B2 (ko)
WO (1) WO2017062340A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210004722A (ko) * 2019-07-05 2021-01-13 주식회사 에스원 인공지능 클라이언트 장치 및 이의 동작 방법
WO2022265448A1 (ko) * 2021-06-17 2022-12-22 삼성전자 주식회사 애플리케이션 화면을 탐색하는 전자 장치 및 그 동작 방법

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240046928A1 (en) * 2012-04-13 2024-02-08 View, Inc. Controlling optically-switchable devices
CN105741525B (zh) * 2016-02-24 2019-10-01 北京小米移动软件有限公司 遥控器绑定的处理方法、装置和设备
US11003147B2 (en) 2016-06-12 2021-05-11 Apple Inc. Automatically grouping accessories
US10511456B2 (en) 2016-06-12 2019-12-17 Apple Inc. Presenting accessory group controls
US10310725B2 (en) * 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
US10498552B2 (en) 2016-06-12 2019-12-03 Apple Inc. Presenting accessory state
US10572530B2 (en) 2016-07-03 2020-02-25 Apple Inc. Prefetching accessory data
US10608834B2 (en) * 2016-08-03 2020-03-31 Honeywell International Inc. Approach and system for avoiding ambiguous action via mobile apps through context based notification
US10469281B2 (en) 2016-09-24 2019-11-05 Apple Inc. Generating suggestions for scenes and triggers by resident device
US10764153B2 (en) 2016-09-24 2020-09-01 Apple Inc. Generating suggestions for scenes and triggers
US20180101599A1 (en) * 2016-10-08 2018-04-12 Microsoft Technology Licensing, Llc Interactive context-based text completions
US10767885B2 (en) 2017-03-09 2020-09-08 Johnson Controls Technology Company Building automation system with an energy optimization builder and generic data model designer
US10547729B2 (en) 2017-03-27 2020-01-28 Samsung Electronics Co., Ltd. Electronic device and method of executing function of electronic device
US10257629B2 (en) 2017-04-18 2019-04-09 Vivint, Inc. Event detection by microphone
KR102417029B1 (ko) * 2017-07-24 2022-07-06 삼성전자주식회사 자연어 표현 생성 방법 및 전자 장치
US10546023B2 (en) 2017-10-03 2020-01-28 Google Llc Providing command bundle suggestions for an automated assistant
US20190130898A1 (en) * 2017-11-02 2019-05-02 GM Global Technology Operations LLC Wake-up-word detection
JP7192208B2 (ja) * 2017-12-01 2022-12-20 ヤマハ株式会社 機器制御システム、デバイス、プログラム、及び機器制御方法
JP6962158B2 (ja) 2017-12-01 2021-11-05 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
CN109991858A (zh) * 2017-12-29 2019-07-09 深圳市云海物联科技有限公司 一种情景配对控制方法、装置及系统
JP7067082B2 (ja) 2018-01-24 2022-05-16 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
US10777203B1 (en) * 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
KR102671741B1 (ko) * 2018-05-07 2024-06-04 구글 엘엘씨 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공
EP3776253A1 (en) 2018-05-07 2021-02-17 Google LLC Recommending automated assistant action for inclusion in automated assistant routine
US10805106B2 (en) * 2018-06-05 2020-10-13 K4Connect Inc. Home automation system including sleep to awake mode device switching and related methods
CN110750626B (zh) * 2018-07-06 2022-05-06 中国移动通信有限公司研究院 一种基于场景的任务驱动的多轮对话方法及系统
WO2020095633A1 (ja) * 2018-11-05 2020-05-14 株式会社Ｎｔｔドコモ 対話装置及び対話プログラム
CN109634693A (zh) * 2018-11-12 2019-04-16 东软集团股份有限公司 业务操作的执行方法、装置、服务器和存储介质
JP7429194B2 (ja) * 2018-11-22 2024-02-07 株式会社Ｎｔｔドコモ 対話装置及び対話プログラム
CN109616111B (zh) * 2018-12-24 2023-03-14 北京恒泰实达科技股份有限公司 一种基于语音识别的场景交互控制方法
US11238857B2 (en) 2018-12-28 2022-02-01 Google Llc Supplementing voice inputs to an automated assistant according to selected suggestions
JP6851565B2 (ja) * 2019-02-12 2021-03-31 三菱電機株式会社 機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラム
JP2020140473A (ja) * 2019-02-28 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、音声認識方法、及び音声認識プログラム
CN115240664A (zh) * 2019-04-10 2022-10-25 华为技术有限公司 一种人机交互的方法和电子设备
JP7275795B2 (ja) * 2019-04-15 2023-05-18 コニカミノルタ株式会社 操作受付装置、制御方法、画像形成システム、及び、プログラム
US20220232278A1 (en) * 2019-04-30 2022-07-21 Lg Electronics Inc. Display device for providing speech recognition service
AU2019444630B2 (en) * 2019-05-06 2022-05-19 Google Llc Proactive caching of assistant action content at a client device to enable on-device resolution of spoken or typed utterances
CN110327622A (zh) * 2019-05-09 2019-10-15 百度在线网络技术（北京）有限公司 一种游戏控制方法、装置和终端
WO2021002611A1 (en) 2019-07-03 2021-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11974010B2 (en) * 2019-07-16 2024-04-30 Lg Electronics Inc. Display device for controlling one or more home appliances in consideration of viewing situation
CN110364152B (zh) * 2019-07-25 2022-04-01 深圳智慧林网络科技有限公司 语音交互方法、设备及计算机可读存储介质
CA3148908A1 (en) * 2019-07-29 2021-02-04 Siemens Industry, Inc. Building automation system for controlling conditions of a room
CN110517665B (zh) * 2019-08-29 2021-09-03 中国银行股份有限公司 获取测试样本的方法及装置
CN110718220A (zh) * 2019-09-30 2020-01-21 北京澜墨文化传媒有限公司 一种家庭互联系统及控制方法
CN116564304A (zh) * 2019-09-30 2023-08-08 华为终端有限公司 语音交互方法及装置
US11289086B2 (en) * 2019-11-01 2022-03-29 Microsoft Technology Licensing, Llc Selective response rendering for virtual assistants
KR20210072471A (ko) * 2019-12-09 2021-06-17 현대자동차주식회사 음성 명령 인식 장치 및 그 방법
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations
EP4055593A4 (en) * 2020-02-10 2023-01-04 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING A VOICE ASSISTANCE SERVICE
US11206330B1 (en) 2020-09-01 2021-12-21 T-Mobile Usa, Inc. Interactive voice response using intent prediction and a 5G capable device
CN112598047A (zh) * 2020-12-18 2021-04-02 龙马智芯（珠海横琴）科技有限公司 意图识别模型生成方法、装置、服务器及可读存储介质
CN112687269B (zh) * 2020-12-18 2022-11-08 山东盛帆蓝海电气有限公司 楼宇管理机器人语音自动识别方法及系统
CN113433857A (zh) * 2021-06-24 2021-09-24 南京水年数字科技有限公司 一种滑轨屏行程控制系统
US20230368785A1 (en) * 2022-05-13 2023-11-16 Rovi Guides, Inc. Processing voice input in integrated environment
CN114822005B (zh) * 2022-06-28 2022-09-20 深圳市矽昊智能科技有限公司 基于人工智能的遥控意图预测方法、装置、设备及介质
CN115424624B (zh) * 2022-11-04 2023-01-24 深圳市人马互动科技有限公司 一种人机互动的服务处理方法、装置及相关设备

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454063A (en) * 1993-11-29 1995-09-26 Rossides; Michael T. Voice input system for data retrieval
US6513006B2 (en) 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
US6792319B1 (en) * 2000-10-19 2004-09-14 Destiny Networks, Inc. Home automation system and method
US6889191B2 (en) * 2001-12-03 2005-05-03 Scientific-Atlanta, Inc. Systems and methods for TV navigation with compressed voice-activated commands
US9374451B2 (en) * 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
US7177817B1 (en) * 2002-12-12 2007-02-13 Tuvox Incorporated Automatic generation of voice content for a voice response system
JP2006033795A (ja) * 2004-06-15 2006-02-02 Sanyo Electric Co Ltd リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。
US9153125B2 (en) 2005-12-20 2015-10-06 Savant Systems, Llc Programmable multimedia controller with programmable services
US20070143801A1 (en) 2005-12-20 2007-06-21 Madonna Robert P System and method for a programmable multimedia controller
US8332218B2 (en) 2006-06-13 2012-12-11 Nuance Communications, Inc. Context-based grammars for automated speech recognition
US20110032423A1 (en) * 2009-08-06 2011-02-10 Sony Corporation Adaptive user profiling for tv-centric home automation system
JP5810759B2 (ja) * 2011-08-31 2015-11-11 アイシン・エィ・ダブリュ株式会社 音声認識装置、音声認識方法、及び音声認識プログラム
JP5694102B2 (ja) * 2011-09-22 2015-04-01 株式会社東芝 音声認識装置、音声認識方法およびプログラム
US8825020B2 (en) 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9685160B2 (en) * 2012-04-16 2017-06-20 Htc Corporation Method for offering suggestion during conversation, electronic device using the same, and non-transitory storage medium
US8972858B2 (en) 2012-04-19 2015-03-03 Savant Systems, Llc Configuration interface for a programmable multimedia controller
DE112012006652T5 (de) * 2012-07-03 2015-03-26 Mitsubishi Electric Corporation Spracherkennungsvorrichtung
US8831957B2 (en) 2012-08-01 2014-09-09 Google Inc. Speech recognition models based on location indicia
CN103021403A (zh) * 2012-12-31 2013-04-03 威盛电子股份有限公司 基于语音识别的选择方法及其移动终端装置及信息系统
KR20140088449A (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 중앙 제어 장치 및 그것의 제어 방법
KR20140089871A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 대화형 서버, 그 제어 방법 및 대화형 시스템
WO2014119669A1 (ja) * 2013-01-30 2014-08-07 日本電信電話株式会社 ログ分析装置、情報処理方法及びプログラム
US9864350B2 (en) * 2013-03-12 2018-01-09 Trane International, Inc. Events management
US20140365213A1 (en) * 2013-06-07 2014-12-11 Jurgen Totzke System and Method of Improving Communication in a Speech Communication System
US10054327B2 (en) * 2013-08-21 2018-08-21 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
US9915439B2 (en) * 2013-11-04 2018-03-13 Honeywell International Inc. Remote contractor system with data analytics for identifying needed products or services
CN104142659B (zh) * 2013-11-12 2017-02-15 珠海优特物联科技有限公司 一种智能家居场景切换方法及系统
US10079019B2 (en) * 2013-11-12 2018-09-18 Apple Inc. Always-on audio control for mobile device
US9607608B2 (en) * 2013-12-09 2017-03-28 Honeywell International Inc. Voice based diagnostic systems and methods
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US9900177B2 (en) * 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US20150241860A1 (en) * 2014-02-24 2015-08-27 Raid And Raid, Inc., D/B/A Ruminate Intelligent home and office automation system
US9582246B2 (en) * 2014-03-04 2017-02-28 Microsoft Technology Licensing, Llc Voice-command suggestions based on computer context
US9489171B2 (en) * 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US10481561B2 (en) * 2014-04-24 2019-11-19 Vivint, Inc. Managing home automation system based on behavior
US9765562B2 (en) * 2014-05-07 2017-09-19 Vivint, Inc. Weather based notification systems and methods for home automation
US9860076B2 (en) * 2014-05-07 2018-01-02 Vivint, Inc. Home automation via voice control
US10031721B2 (en) * 2014-05-15 2018-07-24 Tyco Safety Products Canada Ltd. System and method for processing control commands in a voice interactive system
US9876652B2 (en) 2014-05-20 2018-01-23 Savant Systems, Llc Automatic configuration of control device user interface in a home automation system
US10133537B2 (en) * 2014-09-25 2018-11-20 Honeywell International Inc. Method of integrating a home entertainment system with life style systems which include searching and playing music using voice commands based upon humming or singing
US10254724B2 (en) * 2014-10-31 2019-04-09 Samsung Electronics Co., Ltd. Method and system for personalized, secure, and intuitive smart home control using a smart hand
US20160182247A1 (en) * 2014-12-19 2016-06-23 Smartlabs, Inc. Smart home device adaptive configuration systems and methods using cloud data
US10178474B2 (en) * 2015-04-21 2019-01-08 Google Llc Sound signature database for initialization of noise reduction in recordings
US10079012B2 (en) * 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210004722A (ko) * 2019-07-05 2021-01-13 주식회사 에스원 인공지능 클라이언트 장치 및 이의 동작 방법
WO2022265448A1 (ko) * 2021-06-17 2022-12-22 삼성전자 주식회사 애플리케이션 화면을 탐색하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
AU2016335982B2 (en) 2021-04-29
CN107615377B (zh) 2021-11-09
WO2017062340A1 (en) 2017-04-13
IL255244B1 (en) 2023-03-01
CA2983051A1 (en) 2017-04-13
JP6808643B2 (ja) 2021-01-06
US10018977B2 (en) 2018-07-10
ES2965720T3 (es) 2024-04-16
JP2018531404A (ja) 2018-10-25
IL255244B2 (en) 2023-07-01
KR102691850B1 (ko) 2024-08-02
EP3360130A1 (en) 2018-08-15
IL255244A0 (en) 2017-12-31
EP3360130B1 (en) 2023-09-20
AU2016335982A1 (en) 2017-11-02
US20170097618A1 (en) 2017-04-06
CN107615377A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
KR102691850B1 (ko) 홈 자동화 시스템의 음성 제어를 위한 이력 기반 핵심 구 제안
JP2018531404A6 (ja) ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案
US11429345B2 (en) Remote execution of secondary-device drivers
KR102429436B1 (ko) 사용자의 입력 입력에 기초하여 타겟 디바이스를 결정하고, 타겟 디바이스를 제어하는 서버 및 그 동작 방법
CN111880645B (zh) 基于用户的语音输入确定目标设备并控制目标设备的服务器及其操作方法
US10021337B2 (en) Systems and methods for saving and restoring scenes in a multimedia system
US20210035572A1 (en) Locally distributed keyword detection
US20200395006A1 (en) Conditional Wake Word Eventing Based on Environment
US20190304448A1 (en) Audio playback device and voice control method thereof
US20180286395A1 (en) Speech recognition devices and speech recognition methods
US20220148592A1 (en) Network Device Interaction by Range
KR102210933B1 (ko) 음성 신호에 따라 컨텐츠 정보를 검색하여 제공하는 디스플레이 장치, 서버 장치 및 이들을 포함하는 음성 입력 시스템과, 그 방법들
US10853032B1 (en) Curating audio and IR commands through machine learning
US20220311815A1 (en) Responding to ambiguous play requests
US10826961B2 (en) Multimedia player device automatically performs an operation triggered by a portable electronic device
WO2022268136A1 (zh) 一种进行语音控制的终端设备及服务器
US20230289132A1 (en) Concurrency rules for network microphone devices having multiple voice assistant services
WO2023049866A2 (en) Concurrency rules for network microphone devices having multiple voice assistant services
IL255244A (ko)

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant