KR20190121876A - 제안되는 보이스 기반의 액션 쿼리들을 제공 - Google Patents

제안되는 보이스 기반의 액션 쿼리들을 제공 Download PDF

Info

Publication number
KR20190121876A
KR20190121876A KR1020197030804A KR20197030804A KR20190121876A KR 20190121876 A KR20190121876 A KR 20190121876A KR 1020197030804 A KR1020197030804 A KR 1020197030804A KR 20197030804 A KR20197030804 A KR 20197030804A KR 20190121876 A KR20190121876 A KR 20190121876A
Authority
KR
South Korea
Prior art keywords
voice
query
based action
computing device
input
Prior art date
Application number
KR1020197030804A
Other languages
English (en)
Other versions
KR102369953B1 (ko
Inventor
비크람 아가르왈
프라비르 쿠마르 굽타
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190121876A publication Critical patent/KR20190121876A/ko
Application granted granted Critical
Publication of KR102369953B1 publication Critical patent/KR102369953B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G06F16/24522—Translation of natural language queries to structured queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G06F16/3323—Query formulation using system suggestions using document space presentation or visualization, e.g. category, hierarchy or range presentation and selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 기술은 컴퓨팅 디바이스 상에서 사용자가 보거나 또는 그렇지 않으면 소비하는 컨텐츠에 특정화되는 컴퓨터 기반의 액션들을 개시하기 위해 발화된 입력(spoken input)으로서 컴퓨팅 디바이스에 제공될 수 있는 보이스 기반의 액션 쿼리들과 같이, 컴퓨터 기반의 액션들을 개시하기 위해 발화될 수 있는 다양한 보이스 기반의 액션 쿼리들의 사용자 발견을 지원할 수 있다. 일부 구현들은 일반적으로, 컴퓨팅 디바이스 상에서 사용자가 최근에 본 컨텐츠에 비추어, 컴퓨팅 디바이스를 통한 프레젠테이션을 위한 적어도 하나의 제안되는 보이스 기반의 액션 쿼리(suggested voice-based action query)를 결정하는 것에 관한 것이다. 일부 구현들은 추가적으로 또는 대안적으로는, 일반적으로 컴퓨팅 디바이스에서 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 수신하고, 상기 컴퓨팅 디바이스를 통해 보이스 기반의 쿼리의 제공을 개시하기 위한 입력에 응답하여 상기 제안되는 보이스 기반의 액션 쿼리를 제안으로서 제공하는 것에 관한 것이다.

Description

제안되는 보이스 기반의 액션 쿼리들을 제공{PROVIDING SUGGESTED VOICE-BASED ACTION QUERIES}
보이스 쿼리 어플리케이션들은 컴퓨팅 디바이스들의 제어(control)에 점점 더 많이 사용되고 있다. 보이스 쿼리 어플리케이션의 한 용도는 모바일 폰들, 시계들, 태블릿 컴퓨터들, 헤드 장착형 디바이스들, 가상 또는 증강 현실 디바이스들, 차량용 전자 시스템들(예컨대, 내비게이션 및 오디오 기능들을 통합하는 자동차 시스템들), 등과 같은 포터블 컴퓨팅 디바이스들과 함께 사용하는 것이다. 많은 보이스 쿼리 어플리케이션들이 자연 언어 요청들에 응답하고 그리고/또는 오가는 다이얼로그들(back-and-forth dialogs) 또는 사용자들과의 대화들을 관리하도록 진화해 왔다. 많은 보이스 쿼리 어플리케이션들은 사람의 보이스의 오디오 레코딩을 텍스트로 변환하는 초기 보이스-텍스트 변환과 아울러 사용자의 요청의 의미를 결정하기 위한 시도에 있어 텍스트를 분석하는 시멘틱 분석(semantic analysis)을 포함한다. 사용자의 발화 입력의 결정된 의미에 기초하여, 검색을 수행하는 것, 운전 방향을 제공하는 것, 또는 그렇지 않으면 컴퓨팅 디바이스의 하나 이상의 어플리케이션을 제어하는 것과 같은 컴퓨터 기반의 액션(action)이 취해질 수 있다.
보이스 쿼리 어플리케이션의 보급 및/또는 능력들은 증가되어 왔으며, 계속 증가할 수 있다. 그러나, 많은 인스턴스들에서, 사용자는 사용자에 의해 이용되는 컴퓨팅 디바이스의 보이스 쿼리 어플리케이션에 의해 제공되는 능력들을 충분히 누리지 못할 수 있다.
본 명세서의 기술의 일부 구현들은, 컴퓨팅 디바이스 상에서 사용자가 보거나 또는 그렇지 않으면 소비하는 컨텐츠에 특정화되는 컴퓨터 기반의 액션들을 개시하기 위해 발화된 입력(spoken input)으로서 컴퓨팅 디바이스에 제공될 수 있는 보이스 기반의 액션 쿼리들과 같이, 컴퓨터 기반의 액션들을 개시하기 위해 발화될 수 있는 다양한 보이스 기반의 액션 쿼리들의 사용자 발견을 지원할 수 있다.
본 명세서의 일부 구현들은 일반적으로, 컴퓨팅 디바이스 상에서 사용자가 최근에 본 컨텐츠에 비추어, 컴퓨팅 디바이스를 통한 프레젠테이션을 위한 적어도 하나의 제안되는 보이스 기반의 액션 쿼리(suggested voice-based action query)를 결정하는 것에 관한 것이다. 상기 제안되는 보이스 기반의 액션 쿼리는 컨텐츠의 하나 이상의 양상들에 관한 컴퓨터 기반의 액션의 수행(performance)을 개시하기 위해 발화될 수 있는 보이스 쿼리를 나타낸다. 기술의 일부 구현들은 추가적으로 또는 대안적으로는, 컴퓨팅 디바이스에서 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 수신하는 것과, 그리고 컴퓨팅 디바이스를 통해 보이스 기반의 쿼리의 제공을 개시하기 위한 입력에 응답하여, 제안되는 보이스 기반의 액션 쿼리를 제안으로서 제공하는 것에 관한 것이다. 상기 제공된 제안되는 보이스 기반의 액션 쿼리는 컴퓨팅 디바이스 상에서 현재 및/또는 최근에 가시적인 컨텐츠로 특정화될 수 있고, 컴퓨팅 디바이스에 의해 제공된 컨텐츠의 표시에 기초하여 생성될 수 있다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리는 보이스 기반의 쿼리를 개시하는 사용자 입력(예를 들어, 보이스 쿼리 인터페이스 요소를 선택하거나 보이스 기반의 쿼리를 개시하는 구(phrase)를 말하는 것)에 응답하여 그리고 그 입력 다음에 제안되는 보이스 기반의 액션 쿼리에 대한 필요의 표시가 뒤따름에 기초하여 프레젠테이션될 수 있다. 이러한 구현들 중 일부에서, 제안되는 보이스 기반의 액션 쿼리에 대한 필요의 표시는 보이스 기반의 쿼리를 개시하는 사용자 입력 다음에 임계 시간량(threshold amount of time) 내에 사용자로부터의 어떤 발화된 입력의 결여를 포함할 수 있다. 예를 들어, 이러한 구현들의 버전들에서, 제안되는 보이스 기반의 액션 쿼리는 보이스 기반의 쿼리를 개시하는 사용자 입력의 4 초(또는 다른 임계 시간량) 내에 사용자가 어떤 발화된 입력을 제공하지 않음에 응답하여 프레젠테이션될 수 있다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리는 컴퓨팅 디바이스 상에서 현재 보여지는 컨텐츠와 같이 컴퓨팅 디바이스 상에서 최근에 보여진 컨텐츠의 엔티티에 대해 특정화되는 액션 용어(action term) 및 엔티티 용어(entity term)를 포함한다. 이러한 구현들 중 일부에서, 이들 제안되는 보이스 기반의 액션 쿼리들은 엔티티에 대한 대명사와 같은 엔티티에 대한 제네릭 디스크립터(generic descriptor)를 포함할 수 있다. 예를 들어, 배우 Harrison Ford와 관련된 엔티티의 경우, 제안되는 보이스 기반의 액션 쿼리는 "tell me more about him"일 수 있는 바, 여기서 Harrison Ford 대신 "him"이 사용된다. 또한, 예를 들어, 특정 레스토랑의 경우, 제안되는 보이스 기반의 액션 쿼리는 "navigate there", "show me its menu", 등일 수 있는 바, 여기서 상기 레스토랑의 특정 이름 대신 "there" 및 "its"가 사용된다.
일부 구현들에서, 컴퓨팅 디바이스로부터 상기 컴퓨팅 디바이스 상에서 최근에 보여진 컨텐츠의 표시를 컴퓨팅 디바이스로부터 수신하는 단계를 포함하는 방법이 제공된다. 이 방법은 컨텐츠에서 참조되는 엔티티를 결정하는 단계 및 하나 이상의 전자 데이터베이스에서 상기 엔티티에 매핑되는 컴퓨터 기반의 액션을 결정하는 단계를 더 포함한다. 상기 방법은, 상기 컴퓨터 기반의 액션의 수행을 개시하는 적어도 하나의 액션 용어를 포함하고 상기 엔티티에 기초하여 선택된 적어도 하나의 엔티티 용어를 포함하는 제안되는 보이스 기반의 액션 쿼리를 생성하는 단계를 더 포함한다. 상기 방법은 상기 컴퓨팅 디바이스로부터 보이스 기반의 쿼리 입력 표시를 수신하는 단계와 그리고 상기 보이스 기반의 쿼리 입력 표시를 수신함에 응답하여 상기 제안되는 보이스 기반의 액션 쿼리를 상기 컴퓨팅 디바이스에 제공하는 단계를 더 포함한다. 보이스 기반의 쿼리 입력 표시는 컴퓨팅 디바이스를 통한 보이스 기반의 쿼리의 제공을 개시하기 위해 컴퓨팅 디바이스를 통한 사용자의 입력의 수신을 표시한다. 제안되는 보이스 기반의 액션 쿼리는 보이스 기반의 쿼리에 대한 제안으로서 디스플레이하기 위해 컴퓨팅 디바이스에 제공된다.
본 명세서에 개시된 기술의 이들 및 다른 구현들이 옵션에 따라서 다음의 특징들 중 하나 이상을 포함할 수 있다.
일부 구현들에서, 상기 방법은 제안되는 보이스 기반의 액션 쿼리에 대한 필요성의 표시를 결정하는 단계와 그리고 제안되는 보이스 기반의 액션 쿼리들에 대한 필요성의 표시를 결정함에 기초하여, 제안되는 보이스 기반의 액션 쿼리를 제안으로서 디스플레이하기 위해 제공하는 단계를 더 포함한다. 이러한 구현들 중 일부에서, 제안되는 보이스 기반의 액션 쿼리에 대한 필요성의 표시를 결정하는 단계는, 보이스 기반의 쿼리의 제공을 개시하기 위한 사용자의 입력으로부터 임계 시간량 내에 컴퓨팅 디바이스에서 사용자로부터 발화된 입력을 수신하지 않음에 기초한다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리들에 대한 필요성의 표시를 결정하는 단계는 보이스 기반의 쿼리의 제공을 개시하기 위한 사용자의 입력 다음에 컴퓨팅 디바이스에 의해 적어도 임계 잡음 레벨을 검출함에 기초한다.
일부 구현들에서, 컨텐츠의 표시를 수신하는 단계는 컨텐츠의 용어들 및 상기 컨텐츠 내의 용어들 각각에 대한 디스플레이 속성들을 수신하는 것을 포함하고, 컨텐츠에서 참조되는 엔티티를 결정하는 것은, 상기 용어들 중 적어도 하나의 용어 및 컨텐츠 내의 용어에 대한 디스플레이 속성들을 결정하는 것을 포함한다.
일부 구현들에서, 엔티티에 매핑된 컴퓨터 기반의 액션을 결정하는 단계는 엔티티의 클래스를 결정하는 것과 그리고 클래스에 대한 컴퓨터 기반의 액션의 매핑을 식별하는 것을 포함한다.
일부 구현들에서, 보이스 기반의 액션 쿼리를 생성하는 단계는 엔티티에 매핑된 제네릭 디스크립터를 결정하는 단계와 그리고 상기 제네릭 디스크립터를 적어도 하나의 엔티티 용어로서 사용하는 단계를 포함한다. 제네릭 디스크립터가 엔터티에 매핑된 대명사인 이러한 구현들의 버전들에서, 상기 방법은 엔티티의 이미지를 식별하는 단계와 그리고 제안되는 보이스 기반의 액션 쿼리에 대한 주석으로서 디스플레이하기 위해 엔티티의 이미지를 컴퓨팅 디바이스에 제공하는 단계를 더 포함한다.
일부 구현들에서, 상기 방법은 상기 컴퓨팅 디바이스로부터 상기 컴퓨팅 디바이스의 바람직한 언어의 표시를 수신하는 단계를 더 포함한다. 이러한 구현들 중 일부에서, 제안되는 보이스 기반의 액션 쿼리를 생성하는 단계는 컴퓨터 기반의 액션에 대한 액션 용어의 맵핑에 기초하여 그리고 선호되는 언어에 대한 액션 용어의 매핑에 기초하여 액션을 선택하는 것을 포함한다. 이러한 구현들 중 일부에서, 제안되는 보이스 기반의 액션 쿼리를 생성하는 단계는 선호되는 언어에 기초하여 엔티티 용어를 선택하는 것을 포함한다.
일부 구현들에서, 상기 방법은 상기 컴퓨팅 디바이스로부터 어플리케이션 정보를 수신하는 단계를 더 포함한다. 상기 어플리케이션 정보는 상기 컴퓨팅 디바이스 상에 인스톨된 어플리케이션 및 상기 컴퓨팅 디바이스 상에 인스톨된 어플리케이션의 버전 중 적어도 하나를 표시한다. 이들 구현들 중 일부에서, 컴퓨터 기반의 액션을 결정하는 단계는, 컴퓨팅 디바이스 상에 인스톨된 어플리케이션 및 컴퓨팅 디바이스 상에 인스톨된 어플리케이션의 버전 중 적어도 하나에 대한 컴퓨터 기반의 액션의 매핑에 기초하여 컴퓨터 기반의 액션을 선택하는 것을 포함한다.
일부 구현들에서, 상기 방법은 상기 컨텐츠가 생성된 어플리케이션의 표시를 수신하는 단계를 더 포함한다. 이들 구현들 중 일부에서, 컴퓨터 기반의 액션을 결정하는 단계는 컨텐츠가 생성된 어플리케이션의 표시에 기초하여 컴퓨터 기반의 액션을 선택하는 것을 포함한다.
일부 구현들에서, 상기 컴퓨팅 디바이스에서의 제안되는 보이스 기반의 액션 쿼리의 선택은 상기 컴퓨팅 디바이스의 제1 어플리케이션이 컴퓨터 기반의 액션의 적어도 하나의 양상을 수행하게 한다. 이 구현들 중 일부에서, 상기 방법은 적어도 하나의 전자 데이터베이스에서 상기 엔티티에 매핑되는 추가적인 컴퓨터 기반의 액션을 결정하는 단계와, 상기 추가적인 컴퓨터 기반의 액션의 수행을 개시하는 적어도 하나의 추가적인 액션 용어 및 적어도 하나의 엔티티 용어를 포함하는 추가적인 제안되는 보이스 기반의 액션 쿼리를 생성하는 단계와, 그리고 보이스 기반의 쿼리 표시를 수신함에 응답하여 상기 컴퓨팅 디바이스에 상기 추가적인 제안되는 보이스 기반의 액션 쿼리를 제공하는 단계를 포함하며, 상기 추가적인 제안되는 보이스 기반의 액션 쿼리는 상기 보이스 기반의 쿼리에 대한 추가적인 제안으로서 디스플레이하기 위해 상기 컴퓨팅 디바이스에 제공된다. 이들 구현들 중 일부에서, 컴퓨팅 디바이스에서의 추가적인 제안되는 보이스 기반의 액션 쿼리의 선택은 상기 컴퓨팅 디바이스의 제2 어플리케이션이 추가적인 컴퓨터 기반의 액션의 적어도 하나의 양상을 수행하게 한다.
일부 구현들에서, 상기 컴퓨팅 디바이스 상에서 최근에 보여진 컨텐츠는 상기 컴퓨팅 디바이스를 통한 보이스 기반의 쿼리의 제공을 개시하기 위해 상기 컴퓨팅 디바이스를 통해 사용자의 입력에 대해 가장 최근에 보여진 컨텐츠이다. 이들 구현들 중 일부에서, 상기 컨텐츠의 표시는 상기 컴퓨팅 디바이스를 통한 보이스 기반의 쿼리의 제공을 개시하기 위해 상기 컴퓨팅 디바이스를 통한 사용자의 입력에 응답하여 상기 컴퓨팅 디바이스에 의해 제공된다.
일부 구현들에서, 상기 컴퓨팅 디바이스 상에서 최근에 보여진 컨텐츠는 상기 컴퓨팅 디바이스의 어플리케이션에서 가장 최근에 보여진 컨텐츠이다. 이러한 구현들 중 일부에서, 상기 컴퓨팅 디바이스의 어플리케이션에서 가장 최근에 보여진 컨텐츠는 상기 컴퓨팅 디바이스에 의해 현재 디스플레이되는 컨텐츠이다.
일부 구현들에서, 컴퓨팅 디바이스를 통한 보이스 기반의 쿼리의 제공을 개시하기 위한 입력을 컴퓨팅 디바이스에서 수신하는 단계를 포함하는 방법이 제공된다. 이 방법은 컴퓨팅 디바이스에 의해, 입력을 수신함에 대하여 가장 최근에 컴퓨팅 디바이스에 의해 디스플레이된 컨텐츠를 식별하는 단계를 더 포함한다. 상기 방법은 상기 컨텐츠의 표시를 제공하는 단계와 그리고 상기 컨텐츠의 표시에 기초하고 적어도 하나의 액션 용어 및 적어도 하나의 엔티티 용어를 포함하는 제안되는 보이스 기반의 액션 쿼리를 수신하는 단계를 더 포함한다. 상기 엔티티 용어는 컨텐츠의 엔티티를 참조하며, 상기 액션 용어는 엔티티에 맵핑되고 컴퓨터 기반의 액션의 수행을 개시한다. 상기 방법은 입력을 수신함에 대하여 임계 시간량 내에 사용자로부터 어떤 발화된 입력이 수신되지 않았음을 결정하는 단계와 그리고 상기 발화된 입력이 상기 임계 시간량 내에 수신되지 않았음을 결정함에 응답하여, 제안되는 보이스 기반의 액션 쿼리를 상기 보이스 기반의 쿼리에 대한 제안으로서 제공하는 단계를 더 포함한다.
본 명세서에 개시된 기술의 이들 및 다른 구현들은 옵션에 따라 다음 특징들 중 하나 이상을 포함할 수 있다.
일부 구현들에서, 상기 방법은 상기 컨텐츠의 표시와 함께 상기 컴퓨팅 디바이스의 선호되는 언어의 표시를 제공하는 단계를 더 포함한다. 이러한 구현들 중 일부에서, 제안되는 보이스 기반의 액션 쿼리는 선호되는 언어의 표시를 제공함에 응답하여 상기 컴퓨팅 디바이스의 선호되는 언어로 수신된다.
일부 구현들에서, 상기 방법은 제안되는 보이스 기반의 액션 쿼리의 선택을 식별하는 단계 및 상기 제안되는 보이스 기반의 액션 쿼리의 선택을 식별함에 기초하여 상기 컴퓨터 기반의 액션을 수행하는 단계를 더 포함한다.
추가적으로, 일부 구현들은 메모리 및 상기 메모리에 저장된 명령어들을 실행하도록 동작가능한 하나 이상의 프로세서들을 포함하는 장치를 포함하며, 상기 명령어들은 전술한 방법들 중 어느 것을 수행하도록 구성된다. 일부 구현들은 또한, 전술한 방법들 중 어느 것을 수행하기 위해 하나 이상의 프로세서들에 의해 실행가능한 컴퓨터 명령어들을 저장한 비 일시적 컴퓨터 판독가능 저장 매체를 포함한다.
상기 컨셉들 및 본 명세서에서 더욱 상세하게 기술되는 추가적인 컨셉들의 모든 조합들은 본 명세서에 개시된 발명의 일부로서 고려됨을 이해해야 한다. 예를 들어, 본 명세서의 끝 부분에 나타나는 청구된 발명의 모든 조합들은 본 명세서에 개시된 발명의 부분으로 고려된다.
도 1은 본 명세서에 개시된 기법들이 구현될 수 있는 예시적인 환경의 블록도이다.
도 2는 컴퓨팅 디바이스 상에서 액세스되는 컨텐츠에 비추어, 상기 컴퓨팅 디바이스를 통해 프레젠테이션하기 위한 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 결정하는 예를 도시한다.
도 3은 컴퓨팅 디바이스에서 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 수신하고, 보이스 기반의 쿼리의 제공을 개시하기 위한 입력에 응답하여, 제안되는 보이스 기반의 액션 쿼리를 제안으로서 제공하는 예를 도시한다.
도 4는 컴퓨팅 디바이스 상에서 액세스되는 컨텐츠에 비추어, 상기 컴퓨팅 디바이스를 통해 프레젠테이션하기 위한 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 결정하는 예시적인 방법을 도시하는 순서도이다.
도 5는 컴퓨팅 디바이스에서 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 수신하고, 보이스 기반의 쿼리의 제공을 개시하기 위한 입력에 응답하여, 제안되는 보이스 기반의 액션 쿼리를 제안으로서 제공하는 예시적인 방법을 도시한다.
도 6a는 컴퓨팅 디바이스의 어플리케이션에 디스플레이되는 컨텐츠를 보여주는 예시적인 그래픽 사용자 인터페이스를 도시한다.
도 6b는 도 6a의 컨텐츠에 기초하여 생성되는 제안되는 보이스 기반의 액션 쿼리들을 디스플레이하기 위한 예시적인 그래픽 사용자 인터페이스를 도시한다.
도 6c는 도 6a의 컨텐츠에 기초하여 생성되는 제안되는 보이스 기반의 액션 쿼리들을 디스플레이하기 위한 다른 예시적인 그래픽 사용자 인터페이스를 도시한다.
도 7a는 컴퓨팅 디바이스의 어플리케이션에 디스플레이되는 컨텐츠를 도시하는 다른 예시적인 그래픽 사용자 인터페이스를 도시한다.
도 7b는 도 7a의 컨텐츠에 기초하여 생성되는 제안되는 보이스 기반의 액션 쿼리들을 디스플레이하기 위한 예시적인 그래픽 사용자 인터페이스를 도시한다.
도 8은 컴퓨팅 디바이스의 예시적인 아키텍쳐를 도시한다.
본 명세서에 설명된 구현들에서, 컴퓨팅 디바이스 상에서 액세스되는 컨텐츠에 비추어, 하나 이상의 제안되는 보이스 기반의 액션 쿼리들을 생성하는 기법들이 개시된다. 컴퓨팅 디바이스 상에서 사용자에 의해 현재 액세스되는 컨텐츠에 특정화되는 컴퓨터 기반의 액션들을 개시하기 위해 컴퓨팅 디바이스에 발화된 입력으로서 제공될 수 있는 보이스 기반의 액션 쿼리들과 같이, 컴퓨터 기반의 액션들을 개시하기 위해 발화될 수 있는 다양한 보이스 기반의 액션 쿼리들의 사용자 발견을 지원하는 기술이 또한 개시된다. 선택된 구현들에 관한 추가의 상세사항이 이하에서 논의된다. 그러나, 다른 구현들이 고려될 수 있고, 따라서 본 명세서에 개시된 구현들이 배타적이지 않음이 이해될 것이다.
본 명세서에서 설명된 구현들의 일례로서, 사용자가 선택된 영화들, 여배우들, 배우들 등에 관한 상세한 정보를 제공하는 사용자의 폰 상의 어플리케이션을 사용한다고 가정하자. 또한, 사용자가 영화의 제목, 영화의 시놉시스, 영화의 배우들 등을 포함하는 컨텐츠와 같이, 영화 Blade Runner에 관한 컨텐츠를 네비게이션하기 위해 상기 어플리케이션을 사용했음을 가정하자. 사용자는 폰을 통해 보이스 쿼리를 개시할 수 있으며, 상기 어플리케이션에 프레젠테이션된 컨텐츠의 표시는 사용자의 폰에 의해 서버로 전송될 수 있다. 상기 서버는 컨텐츠의 지배적인(dominant) 엔티티가 영화 "Blade Runner"와 관계된 엔티티임을 결정하기 위해 컨텐츠 표시를 이용할 수 있고, 영화와 관계된 컴퓨터 기반의 액션들을 결정할 수 있으며, 이 영화에 대한 그 액션들의 수행이 이루어지게 할 제안되는 보이스 기반의 액션 쿼리를 결정할 수 있다. 예를 들어, "how can I watch it", "watch it", 및 "tell me more about it"의 제안되는 보이스 기반의 액션 쿼리들이 결정될 수 있다. 제안되는 보이스 기반의 액션 쿼리들은 사용자에게 프레젠테이션하기 위해 사용자의 폰에 제공될 수 있다. 예를 들어, 제안되는 보이스 기반의 액션 쿼리들은 하나 이상의 정보 "카드들" 및/또는 보이스 쿼리 그래픽 인터페이스 근처의 "드롭 다운 메뉴"에 그래픽으로 디스플레이될 수 있는 바, 옵션에 따라서는 "try speaking any one of the following"과 같은 텍스트와 함께 디스플레이될 수 있다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리들은 보이스 쿼리가 개시된 이래로 적어도 임계 시간 기간이 경과될 때까지(until after) 사용자의 폰을 통해 사용자에게 프레젠테이션되지 않는다. 일부 구현들에서, 사용자는 관련된 액션의 수행을 위한 쿼리를 실행하기 위해, 말을 하지 않고 (예를 들어, 탭핑하는 것을 통해) 제안되는 보이스 기반의 액션 쿼리들 중 하나를 선택할 수 있고/있거나 사용자는 관련된 액션의 수행을 위한 쿼리를 실행하기 위해, 제안되는 보이스 기반의 액션 쿼리들 중 하나를 말할 수 있다.
일반적으로, 컴퓨터 기반의 액션의 수행을 개시하는 보이스 기반의 액션 쿼리는 컴퓨터 기반의 액션에 맵핑되는 액션 용어 및 액션의 포커스인 엔티티 용어를 포함하는 쿼리이다. 일부 구현들에서, 액션 용어는 동사일 수 있고, 엔티티 용어는 명사 또는 대명사일 수 있다. 실행될 때, 보이스 기반의 액션 쿼리는 액션 용어에 매핑되는 컴퓨터 기반의 액션의 수행이 이루어지게 하고, 엔티티 용어에 매핑되는 엔터티에 비추어 컴퓨터 기반의 액션의 수행이 이루어지게 한다.
예를 들어, "tell me more about blade runner"의 보이스 기반의 액션 쿼리는 "blade runner"로 특정화된 검색 쿼리가 제출되게 할 수 있고, 검색 쿼리에 응답하여 검색 결과가 제공되게 할 수 있다. 또한, 예를 들어, "navigate to a coffee shop"의 보이스 기반의 액션 쿼리는 네비게이션 어플리케이션이 사용자에게 인근 커피 숍에 대한 활성 네비게이션 방향들을 제공하게 할 수 있다. 또 다른 예로서, "call restaurant A"의 보이스 기반의 액션 쿼리는 폰 다이얼링 어플리케이션이 레스토랑 A에 대한 전화번호를 미리 채우고/채우거나(prepopulate) 자동으로 이 전화번호에 전화하도록 할 수 있다.
일부 구현들에서, 컴퓨터 기반의 액션은 액션을 수행할 수 있는 하나 이상의 컴퓨터 어플리케이션들에 매핑될 수 있으며, 상기 액션과 관련된 용어를 포함하는 보이스 기반의 액션 쿼리의 실행은 이 컴퓨터 어플리케이션들 중 적어도 하나가 상기 액션을 자동으로 수행하거나 상기 액션의 수행을 위한 옵션을 프레젠테이션하게 할 수 있다. 예를 들어, "calling"과 관련된 액션은 폰 어플리케이션에 매핑될 수 있고, "making a restaurant reservation"과 관련된 액션은 레스토랑 예약 어플리케이션에 매핑될 수 있고, 기타 등등도 유사하게 이루어진다. 일부 구현들에서, 보이스 쿼리 어플리케이션은 액션의 일부, 액션의 전체를 수행할 수 있고/있거나 다른 어플리케이션에 의한 액션의 수행을 지원하도록 보이스 기반의 액션 쿼리를 프로세스할 수 있다(예를 들어, 쿼리를 파싱하고, 파싱된 쿼리 및 어플리케이션의 API에 기초하여 다른 어플리케이션과 인터페이스할 수 있다).
이제, 도 1로 전환하여, 본 명세서에 개시된 기법들이 구현될 수 있는 예시적인 환경이 도시된다. 예시적인 환경은 보이스 기반의 컴퓨팅 디바이스(120), 제안되는 보이스 기반의 액션 쿼리 시스템(140), 엔티티 및 액션 데이터베이스(162), 및 네트워크(101)를 포함한다. 네트워크(101)는 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)(예컨대, 인터넷)와 같은 하나 이상의 네트워크들을 포함할 수 있다. 일부 구현들에서, 보이스로 인에이블되는(voice-enabled) 컴퓨팅 디바이스(120)는 셀룰러 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 시계, 헤드 장착형 디바이스(예컨대, 안경), 가상 또는 증강 현실 디바이스, 다른 웨어러블 디바이스와 같은 포터블 컴퓨팅 디바이스, 오디오/비디오 시스템, 네비게이션 시스템, 자동차 및 다른 차량 시스템 등이다.
도 1의 구현에서, 보이스로 인에이블되는 컴퓨팅 디바이스(120)에 의해 수신된 보이스 입력은 보이스 쿼리 어플리케이션(122)에 의해 프로세스되며, 상기 보이스 쿼리 어플리케이션은 일부 구현들에서는 보이스 쿼리 기능을 포함하는 검색 어플리케이션일 수 있다. 일부 구현들에서, 보이스 쿼리 어플리케이션(122)은 단독형(stand-alone) 어플리케이션일 수 있다. 일부 구현들에서, 보이스 쿼리 어플리케이션(122)은 컴퓨팅 디바이스(120)의 운영 체제 또는 펌웨어의 일부로서 전체적으로 또는 부분적으로 통합될 수 있다.
예시된 구현에서 보이스 쿼리 어플리케이션(122)은 보이스 액션 모듈(123), 인터페이스 모듈(124) 및 렌더/동기화 모듈(125)을 포함한다. 보이스 액션 모듈(123)은 보이스 쿼리 어플리케이션(122)을 향한 보이스 입력을 모니터링하고, 수신된 보이스 입력의 분석을 조정(coordinate)하고, 수신된 보이스 입력에 응답하는 하나 이상의 컴퓨터 기반의 액션들의 수행을 조정한다. 본 명세서에 기술된 바와 같이, 보이스 액션 모듈(123)은 제안되는 보이스 기반의 액션 쿼리 시스템(140)에 정보를 제공하는 것과 그리고 보이스 쿼리에 대한 제안으로서 시스템(140)으로부터 수신된 제안되는 보이스 기반의 액션 쿼리의 프레젠테이션을 조정한다.
인터페이스 모듈(124)은 제안되는 보이스 기반의 액션 쿼리 시스템(140) 및/또는 다른 시스템들과의 인터페이스를 제공한다. 인터페이스 모듈(124)은 컴퓨팅 디바이스(120) 상에 액세스되는 컨텐츠의 표시들, 컴퓨팅 디바이스(120)의 선호되는 언어의 표시들, 컴퓨팅 디바이스(120)의 하나 이상의 어플리케이션들(126)에 관한 정보 및/또는 보이스 기반의 쿼리 입력 표시들과 같은 정보를 제안되는 보이스 기반의 액션 쿼리 시스템(140)에 제공한다. 인터페이스 모듈(124)은 또한, 인터페이스 모듈(124)에 의해 제공된 정보에 응답하여, 제안되는 보이스 기반의 액션 쿼리 시스템(140)으로부터 제안되는 보이스 기반의 액션 쿼리들을 수신한다.
렌더/동기화 모듈(125)은 예를 들어, 시각적 디스플레이, 발화된 오디오, 또는 특정 보이스로 인에이블되는 디바이스에 적합한 다른 피드백 인터페이스를 통해 사용자에게 제안되는 보이스 기반의 액션 쿼리들을 프레젠테이션하는 것을 관리한다. 추가적으로, 일부 구현들에서, 모듈(125)은 또한, 가령 응답 또는 액션이 다른 온라인 서비스에 사용자를 위해 유지되는 데이터에 영향을 끼칠 때(예를 들어, 보이스 입력이 클라우드 기반 캘린더에 유지되는 약속의 생성을 요청하는 경우), 다른 온라인 서비스들과의 동기화를 처리한다.
일부 구현들에서, 모듈(123 내지 125)의 모두 또는 이들 중 하나 이상의 양상들은 다른 모듈에서 조합 및/또는 구현될 수 있다. 예를 들어, 일부 구현들에서 모듈(124)의 하나 이상의 양상들은 모듈(123)에 통합될 수 있다. 또한, 비록 모듈들(123 내지 125)이 컴퓨팅 디바이스(120) 상에서 제공되는 것으로서 도 1의 예시적인 환경에 도시되어 있지만, 이는 제한하려는 것이 아니다. 다른 구현들에서, 모듈들(123 내지 125)의 모두 또는 이들 중 하나 이상의 양상들은 제안되는 보이스 기반의 액션 쿼리 시스템(140) 및/또는 다른 컴퓨팅 디바이스 상에서 구현될 수 있다. 모듈들(123 내지 125)의 추가적인 설명은 (예를 들어, 도 3과 관련된 설명에서) 본 명세서에서 제공된다.
보이스 쿼리 어플리케이션(122)은 예를 들어 보이스-투-텍스트(voice to text) 모듈(126) 및/또는 시멘틱 프로세서 모듈(127)을 포함하여, 보이스 입력을 처리하기 위해 다양한 미들웨어, 프레임워크, 운영 체제 및/또는 펌웨어 모듈에 의존할 수 있다. 모듈들(126 및/또는 127)의 하나 이상의 (예를 들어, 모든) 양상들은 보이스 쿼리 어플리케이션(122)의 일부로서 및/또는 시스템(140)과 같은 다른 컴퓨팅 디바이스로 구현될 수 있다. 보이스-투-텍스트 모듈(126)은 (예컨대, 디지털 오디오 데이터의 형태로) 보이스 입력의 오디오 레코딩을 수신하고, 디지털 오디오 데이터를 하나 이상의 텍스트 단어들 또는 구문들(본 명세서에서 토큰들로서도 지칭됨)로 변환한다. 일부 구현들에서, 보이스-투-텍스트 모듈(126)은 또한, 토큰들이 효과적으로 사용자의 스피치와 동시에 그리고 따라서 사용자가 완전히 발화된 요청을 발음하기 전에 모듈(126)로부터 출력될 수 있도록, 토큰 단위로(on a token-by-token basis) 그리고 실시간 또는 근실시간으로 보이스 입력이 텍스트로 변환되도록하는 스트리밍 모듈이다. 보이스-투-텍스트 모듈(126)은 하나 이상의 음향 및/또는 언어 모델들에 의존할 수 있으며, 이들은 일정 언어의 단어 시퀀스들과 함께 그 언어의 보이스 신호와 음성 단위들(phonetic units) 간의 관계를 함께 모델링한다. 일부 구현들에서, 단일 모델이 사용될 수 있는 반면, 다른 구현들에서는, 예를 들어, 복수의 언어들, 복수의 스피커들, 등을 지원하기 위해, 복수의 모델들이 지원될 수 있다.
보이스-투-텍스트 모듈(126)은 스피치를 텍스트로 변환하지만, 시멘틱 프로세서 모듈(127)은 목적을 위해 또는 적절한 응답을 포뮬레이션하기 위해 보이스-투-텍스트 모듈(126)에 의해 출력되는 텍스트의 시멘틱들 또는 의미를 파악하는 것을 시도한다. 예를 들어, 시멘틱 프로세서 모듈(127)은, 액션 텍스트를 특정한 컴퓨터 기반의 액션들에 맵핑하고 그리고 엔티티 텍스트 및/또는 그러한 액션들의 수행을 제약하는 다른 텍스트를 식별하기 위해 하나 이상의 문법 모델에 의존할 수 있다. 일부 구현들에서, 단일 모델이 사용될 수 있지만, 다른 구현들에서는, 예를 들어 서로 다른 컴퓨터 기반의 액션들 또는 컴퓨터 기반의 액션 도메인들(즉, 통신 관계 액션들, 검색 관련 액션들, 오디오/비주얼 관련 액션들, 캘린더 관련 액션들, 디바이스 제어 관련 액션들 등과 같은 관련 액션들의 집합)을 지원하기 위해, 복수의 모델들이 지원될 수 있다.
예로서, (컴퓨팅 디바이스(120) 및/또는 원격 컴퓨팅 디바이스(들)에 저장된) 문법 모델은 "tell me more about", "directions to", "navigate to", "watch", "call", "email", "contact", 등의 액션 용어들과 같은 보이스 기반의 액션 쿼리들의 액션 용어들에 컴퓨터 기반의 액션들을 매핑할 수 있다. 예를 들어, 예를 들어, 액션 용어 "tell me more"는 검색 쿼리 및 검색 결과의 프레젠테이션 액션에 매핑될 수 있고, 액션 용어 "watch"는 어플리케이션들(126) 중 하나 이상을 통해 수행되는 비디오 뷰잉 액션에 맵핑될 수 있고, 액션 용어 "call"은 어플리케이션들(126) 중 하나 이상을 통해 수행되는 전화걸기 액션에 매핑될 수 있다.
시맨틱 프로세서 모듈(127)이 의존하는 문법 모델(들) 및/또는 다른 모델들은 보이스-투-텍스트 모듈(126)에 의해 제공되는 텍스트 입력에 기초하여 컴퓨터 기반의 액션의 수행을 개시하기 위한 다양한 규칙들을 통합할 수 있다. 일부 구현들에서, 예를 들어, 액션들은 F는 F(i T) = AU가 되도록 하는 함수 F로 정의될 수 있는 바, 여기서 T는 입력 해석의 타입을 나타내고 U는 출력 액션의 타입을 나타낸다. 따라서, F는 예컨대, f(i t) = au로서 서로 매핑되는 복수의 입력 쌍들(T, U)을 포함할 수 있는 바, t는 타입 t의 입력 프로토 변수이고, aU는 타입 u의 출력 모듈 인수 또는 파라미터이다. 일부 파라미터들은 보이스 입력으로서 직접 수신될 수 있는 반면, 일부 파라미터들은 다른 방식으로, 예를 들어 컴퓨팅 디바이스 상에서 가장 최근에 보여진 컨텐츠의 표시, 컴퓨팅 디바이스의 지리적 위치, 등에 기초하여 결정될 수 있음이 이해될 것이다. 예를 들어, 사용자가 "remind me to email John when I get to work"고 말하면, "work" 엔티티 텍스트는 사용자의 특정 주소의 할당과 같은 추가적인 정보가 없이 특정한 위치를 직장 위치(work location)로서 식별하는 데 사용될 수 없다. 또한, 예를 들어, 사용자가 "tell me more about it"라고 말하면, "it" 엔티티 텍스트는 컴퓨팅 디바이스(120) 상에서 현재 보여지는 컨텐츠의 지배적인 엔티티와 같은 추가 정보가 없이 특정한 엔티티를 식별하는 데 사용될 수 없다. 일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리 시스템(140) 및/또는 다른 시스템은, 예를 들어, 다양한 음향/언어, 문법 및/또는 액션 모델들에 의존하는 보이스 기반의 쿼리 프로세서를 사용하여 보이스 입력을 처리하기 위한 보완적인 기능(complementary functionality)을 포함할 수 있다. 그러나, 다른 구현들에서, 보완적인 기능이 사용되지 않을 수 있다.
일부 구현들에서, 시멘틱 프로세서 모듈(127)에 의해 개시되는 컴퓨터 기반의 액션들은 시멘틱 프로세서 모듈(127)에 이용 가능한 규칙들에 의존적일 수 있다. 또한, 시멘틱 프로세서 모듈(127)에 의해 개시되는 컴퓨터 기반의 액션들은 컴퓨팅 디바이스(120) 상에 인스톨된 어플리케이션들(126) 및/또는 컴퓨팅 디바이스(120) 상에 인스톨된 어플리케이션들(126)의 버전들에 의존적일 수 있다. 예를 들어, 특정 컴퓨터 기반의 액션들은 특정 어플리케이션들(126) 및/또는 어플리케이션들(126)의 특정 버전들에 의해서만 수행가능할 수 있다. 예를 들어, "call" 액션은 폰 어플리케이션이 어플리케이션들(126)에 포함되는 경우에만 수행가능할 수 있다.
제안되는 보이스 기반의 액션 쿼리 시스템(140)은 일부 구현들에서, 예를 들어 복수의 사용자들의 컴퓨팅 디바이스들로부터 고볼륨의 요청들을 처리하기에 적합한 소프트웨어를 실행하는 고성능 컴퓨터들의 서버 팜 또는 클러스터를 사용하는 클라우드 스트럭쳐를 사용하는 클라우드 기반의 서비스로서 구현될 수 있다. 제안되는 보이스 기반의 액션 쿼리 시스템(140)은 제안되는 보이스 기반의 액션 쿼리를 생성하기 위한 정보의 위치를 찾기 위해, 엔티티 및 액션 데이터베이스(162)와 같은 하나 이상의 데이터베이스들에 쿼리할 수 있다. 제안되는 보이스 기반의 액션 쿼리 시스템(140)은 엔티티 결정 모듈(142), 액션 결정 모듈(144) 및 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)을 포함한다.
제안되는 보이스 기반의 액션 쿼리 시스템(140)은 컴퓨팅 디바이스(120)로부터 최근 액세스된 컨텐츠(예를 들어, 컴퓨팅 디바이스(120)에 의해 현재 디스플레이되는 컨텐츠)의 표시를 컴퓨팅 디바이스(120)로부터 수신한다. 컨텐츠는 어플리케이션들(126) 중 하나에서 컴퓨팅 디바이스(120) 상에서 액세스될 수 있다. 어플리케이션들(126)은 예를 들어, 웹 브라우저 어플리케이션, 개인 어시스턴트 어플리케이션, 비즈니스 리뷰 어플리케이션, 소셜 네트워킹 어플리케이션, 음악 어플리케이션, 비디오 어플리케이션 및/또는 영화들, TV 쇼들 및 다른 미디어에 관한 정보를 탐색하기 위한 인터페이스를 제공하는 어플리케이션과 같은 컴퓨팅 디바이스(120) 상에 인스톨될 수 있는 다양한 어플리케이션들 중 하나 이상을 포함할 수 있다. 일부 구현들에서, 컨텐츠의 표시는 컴퓨팅 디바이스(120) 상의 컨텐츠의 "뷰 포트"에 특정적인 표시들을 포함할 수 있다. 예를 들어, 컨텐츠의 텍스트 및 컨텐츠의 스크린 샷은 컴퓨팅 디바이스(120) 상에 활성으로 디스플레이되는 컨텐츠의 오직 그 부분만을 위해 제공될 수 있다. 일부 구현들에서, 컨텐츠의 표시는 추가적으로 그리고/또는 대안적으로는, 컴퓨팅 디바이스(120) 상에 활성으로 디스플레이되지 않는 컨텐츠의 부분들에 대한 표시들을 포함할 수 있다. 예를 들어, 활성으로 디스플레이되지 않는 메타데이터가 제공될 수 있고/있거나 활성으로 디스플레이되지 않는 컨텐츠의 다른 부분들로부터의 텍스트가 제공될 수 있다. 예를 들어, 디스플레이되지 않지만, 위로 또는 아래로 스크롤함으로써 디스플레이 될 수도 있는 텍스트가 제공될 수 있다.
엔티티 결정 모듈(142)은 컨텐츠의 표시에 기초하여 컨텐츠에서 참조되는 하나 이상의 엔티티들을 결정한다. 엔티티는 예를 들어, 사람, 관심 장소, 주소, 전화 번호, 등 중 하나와 관련될 수 있다. 일부 구현들에서, 엔티티를 결정하는 것은 컨텐츠에서 텍스트의 위치, 포맷, 빈도 및/또는 기타 속성에 기초하여 엔티티와 관련된 텍스트를 식별하는 것을 포함할 수 있다. 일부 구현들에서, 엔티티 결정 모듈(142)은 컨텐츠 내의 지배적인 엔티티 및 컨텐츠 내의 하나 이상의 추가적인 두드러진(prominent) 엔티티와 같은 복수의 엔티티들을 식별할 수 있다.
일례로서, 컨텐츠의 표시는 텍스트, 메타데이터, 이미지들, 이미지들에 적용된 태그들, 및/또는 컴퓨팅 디바이스 상에 가장 최근에 보여진 컨텐츠의 스크린 샷들을 포함할 수 있으며, 엔티티 결정 모듈(142)은 그러한 정보에 기초하여 컨텐츠에서 참조되는 엔티티를 결정할 수 있다. 예를 들어, 컨텐츠의 표시는 컨텐츠 내의 텍스트 및 텍스트의 속성들을 포함할 수 있고, 엔티티 결정 모듈(142)은 컨텐츠에서 텍스트의 위치, 포맷, 주파수 및/또는 다른 속성에 기초하여 컨텐츠와 관련된 지배적인 엔티티를 결정할 수 있다. 본 명세서에서 사용되는, 컨텐츠 내의 지배적인 엔티티는 그 컨텐츠의 하나 이상의 속성들의 분석에 기초하여 그 컨텐츠에서 가장 보편적인(prevalent) 컨텐츠 내의 엔티티를 지칭한다. 예를 들어, 영화 Blade Runner에 관한 컨텐츠의 경우, 텍스트 "Blade Runner"는, 다른 텍스트보다 큰 폰트로, 다른 텍스트보다 두드러지는 위치에 그리고/또는 다른 텍스트보다 빈번하게 나타남에 기초하여 지배적인 엔티티로서 식별될 수 있다. 텍스트 "Blade Runner" 자체가 지배적인 엔티티로서 이용될 수 있거나, 또는 엔티티 결정 모듈(142)은 텍스트에 기초하여 그리고 지식 그래프(knowledge graph)와 같은 하나 이상의 데이터베이스들을 참조하여 특정 엔티티를 분해(resolve)할 수 있다.
다른 예로서, 컨텐츠의 표시는 컨텐츠의 URL 또는 다른 식별자를 포함할 수 있고, 엔티티 결정 모듈(142)은 컨텐츠에서 참조된 엔티티를 결정하기 위해 식별자를 이용할 수 있다. 예를 들어, 엔티티 결정 모듈(142)은 컨텐츠의 식별자들을 컨텐츠에서 참조되는 하나 이상의 엔티티들에 매핑하는 데이터베이스(예를 들어, 공개적으로 액세스가능한 문서들과 같은 복수의 문서들 각각에 대해 지배적인 엔티티 및/또는 다른 엔티티를 정의하는 데이터베이스)에 액세스할 수 있다. 또한, 예를 들어, 엔티티 결정 모듈(142)은 컨텐츠의 위치를 찾기 위해 식별자를 이용할 수 있고, 컨텐츠에서 참조되는 엔티티를 결정하기 위해 컨텐츠를 직접 분석할 수 있다. 예를 들어, 식별자가 URL인 경우, 엔티티 결정 모듈(142)은 URL에 액세스하고, 상기 URL에 액세스함으로써 제공되는 컨텐츠에 기초하여 엔티티를 결정할 수 있다.
컨텐츠의 표시에 기초하여 엔티티를 결정하는 또 다른 예로서, 엔티티 결정 모듈(142)은 하나 이상의 특정 속성들을 갖는 컨텐츠 내의 텍스트에 기초하여 엔티티를 결정할 수 있다. 예를 들어, 엔티티 결정 모듈(142)은 "XXX-XXX-XXXX"또는 "(XXX) XXX-XXX" 포맷에 부합하는 텍스트를 식별하는 하나 이상의 정규 표현(regular expression)들에 기초하여 전화번호를 엔티티로서 결정할 수 있다. 또한, 예를 들어, 엔티티 결정 모듈(142)은, 어드레스(예를 들어, City, State Zip)의 형태인 어드레스 및/또는 텍스트로서 엔티티를 식별하는 메타데이터와 관련된 텍스트에 기초하여 어드레스를 엔티티로서 결정할 수 있다. 또한, 예를 들어, 엔티티 결정 모듈(142)은 특정한 텍스트가 엔티티의 "화이트 리스트(white list)"에 있고, "관심 위치"에 매핑되고, "유명한 사람"에 매핑됨에 기초하여 그리고/또는 상기 텍스트의 다른 속성들에 기초하여 상기 특정한 텍스트를 엔티티로서 결정할 수 있다.
액션 결정 모듈(144)은 엔티티 결정 모듈(142)에 의해 결정된 엔티티(또는 엔티티들)에 대해 수행될 수 있는 하나 이상의 컴퓨터 기반의 액션들을 결정한다. 일부 구현들에서, 액션 결정 모듈(144)은 컴퓨터 기반의 액션들이 엔티티 및 액션 데이터베이스(162)와 같은 하나 이상의 데이터베이스 내의 엔티티에 매핑됨에 기초하여 컴퓨터 기반의 액션들을 결정한다. 엔티티 및 액션 데이터베이스(162)는 엔티티와 관련된 하나 이상의 컴퓨터 기반의 액션들에 대한 복수의 엔티티들 각각의 매핑을 포함한다. 액션은 엔티티와 직접 매핑될 수 있고/있거나 엔티티의 클래스와의 매핑을 통해 엔티티에 간접적으로 매핑될 수 있다. 예를 들어, 전화번호에 전화를 거는 액션은 복수의 특정 전화번호들 각각에 매핑될 수 있고/있거나 일반적으로 전화번호들의 클래스와 관련될 수 있다. 또한, 예를 들어, 영화를 재생하는 액션은 복수의 영화들, 일반적인 영화들 및/또는 오직 컴퓨팅 디바이스(120) 상에 인스톨된 어플리케이션들 중 하나를 통해 온-디맨드 뷰잉(on-demand viewing)에 이용 가능한 영화들의 각각에 매핑될 수 있다.
복수의 액션들이 엔티티에 대해 식별되는 구현들에서, 액션 결정 모듈(144)은 예를 들어, 엔티티 및/또는 엔티티의 클래스에 대한 액션들의 관련성의 강도(strengths of association), 일반적인 액션들의 인기도 이력(historical popularity), 컨텐츠가 기원된 어플리케이션에 대한 액션들의 인기도 이력, 액션들이 컴퓨팅 디바이스(120) 상에 인스톨된 하나 이상의 어플리케이션들(126)을 통해 수행가능한지의 여부; 컴퓨팅 디바이스(120) 상에 인스톨된 하나 이상의 어플리케이션들(126)을 통한 액션들의 퍼포먼스의 인기도 이력, 등과 같은 하나 이상의 인자들에 기초하여 식별된 액션들을 옵션에 따라서 랭킹 및/또는 필터링할 수 있다.
예를 들어, 엔티티 및 액션 데이터베이스(162)는 액션과 엔티티 또는 엔티티 클래스 간의 매핑을 위해, 그 매핑에 대한 관련성의 강도를 포함할 수 있다. 엔티티에 대한 액션의 관련성의 강도는 옵션에 따라서는, 과거의 보이스 검색 쿼리의 분석에 기초할 수 있다. 예를 들어, 네비게이션을 제공하는 컴퓨터 기반의 액션은, 1,000 개의 분석된 과거 보이스 검색 쿼리들이 일반적으로 "navigate to [restaurant]" 포맷에 부합하지만("[restaurant]"은 레스토랑의 클래스의 멤버인 엔티티로의 참조를 나타낸다), 오직 100 개의 분석된 과거 보이스 검색 쿼리들이 일반적으로 "call [restaurant]" 포맷에 부합하는 경우, 전화를 거는 컴퓨터 기반의 액션보다 레스토랑의 엔티티 클래스와 더 강력하게 관련될 수 있다.
일반적으로 컴퓨터 기반의 액션의 인기도 이력은 과거의 보이스 검색 쿼리들에서 컴퓨터 기반의 액션을 개시하는 용어들의 출현 빈도에 기초할 수 있다. 컨텐츠가 기원된 어플리케이션에 대한 컴퓨터 기반의 액션의 인기도 이력은 어플리케이션을 사용하는 동안 발행된 그리고/또는 어플리케이션 사용의 임계 시간 기간 내에 발행된 과거의 보이스 검색 쿼리들에서 컴퓨터 기반의 액션을 개시하는 용어들의 출현 빈도에 기초할 수 있다. 예를 들어, 과거의 보이스 검색 쿼리들의 분석은, 전화를 거는 컴퓨터 기반의 액션이 비즈니스들에 대한 소비자 리뷰들을 제공하는 어플리케이션보다 웹 브라우져 어플리케이션에 대해 덜 인기있음을 나타낼 수 있다.
일부 구현들에서, 액션 결정 모듈(144)에 의해 식별된 컴퓨터 기반의 액션은 액션 용어 - 상기 액션 용어는 보이스 쿼리로서 제공되는 경우 액션의 수행을 개시할 수 있음 - 자체가 아닌 액션의 컴퓨터 식별자일 수 있다. 예를 들어, 활성 네비게이션 방향들을 제공하는 액션의 컴퓨터 식별자는 "ID_NAVIGATE", "42" 및/또는 "AE5"와 같은 알파 및/또는 숫자 식별자일 수 있다.
제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 액션 결정 모듈(144)에 의해 결정된 컴퓨터 기반의 액션들 중 하나를 수행하기 위한 하나 이상의 액션 용어들 및 엔티티 결정 모듈(142)에 의해 결정된 엔티티를 참조하는 하나 이상의 엔티티 용어들에 각각 기초하여 하나 이상의 제안되는 보이스 기반의 액션 쿼리들을 생성한다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 컴퓨팅 디바이스(120)에 의해 나타내진 선호되는 언어에 기초하여 컴퓨터 기반의 액션에 대한 액션 용어(들)를 결정한다. 예를 들어, 컴퓨터 기반의 액션의 컴퓨터 식별자는 액션 결정 모듈(144)에 의해 결정될 수 있고, 제1 용어는 컴퓨팅 디바이스(120)가 영어의 선호되는 언어를 갖는 경우 액션 용어로 식별될 수 있는 반면, 제2 용어는 컴퓨팅 디바이스(120)가 독일어의 선호되는 언어를 갖는 경우 액션 용어로서 식별될 수 있다. 예를 들어, 엔티티 및 액션 데이터베이스(162) 및/또는 다른 데이터베이스는 소정 컴퓨터 기반의 액션에 대해, 그 액션에 매핑된 액션 용어들을 포함할 수 있다. 액션 용어들 각각은 또한, 액션 용어의 선호되는 언어로 맵핑될 수 있다. 액션 결정 모듈(144)은 컴퓨터 기반의 액션에 대한 액션 용어의 매핑을 식별하는 것과 그리고 선호되는 언어에 대한 액션 용어의 매핑을 더 식별하는 것에 기초하여 선호되는 언어에 비추어 컴퓨터 기반의 액션에 대한 액션 용어를 선택할 수 있다.
제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 또한, 식별된 엔티티를 참조하는 하나 이상의 용어들을 결정한다. 예를 들어, 식별된 엔티티 자체가 용어인 경우, 그 용어가 사용될 수 있다. 예를 들어, "Restaurant A"가 엔티티인 경우, "Restaurant A"가 엔티티 용어로 사용될 수 있다. 일부 구현들에서, 엔티티의 대명사 또는 다른 제네릭 디스크립터가 이용될 수 있다. 예를 들어, "Restaurant A"가 엔티티인 경우, 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 "it"또는 "there"의 엔티티 용어를 결정할 수 있다. 또한, 예를 들어, 유명한 남성이 엔티티인 경우, 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 "he"또는 "him"의 엔티티 용어를 결정할 수 있다. 선택된 특정 제네릭 디스크립터는 엔티티 및/또는 엔티티의 클래스에 대한 제네릭 디스크립터의 매핑에 기초하여 결정될 수 있다. 또한, 특정 제네릭 디스크립터는 옵션에 따라서는 액션 용어와 함께 문법적 일관성(grammatical coherence)을 제공하도록 선택될 수 있다. 예를 들어, 엔티티 용어 "there"는 "navigate"의 액션 용어에 대해 선택될 수 있지만, "it"은 "tell me more about"의 액션 용어들에 대해 선택될 수 있다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 컴퓨팅 디바이스(120)에 의해 나타내진 선호되는 언어에 기초하여 엔티티 용어를 결정한다. 예를 들어, 제1 제네릭 디스크립터는 컴퓨팅 디바이스(120)가 영어의 선호되는 언어를 갖는 경우 엔티티 용어로서 식별될 수 있는 반면, 제2 제네릭 디스크립터는 컴퓨팅 디바이스(120)가 독일어의 선호되는 언어를 갖는 경우 엔티티 용어로서 식별될 수 있다.
제안되는 보이스 기반의 액션 쿼리 시스템(140)은 생성된 하나 이상의 제안되는 보이스 기반의 액션 쿼리들을 보이스 기반의 쿼리에 대한 제안되는 보이스 기반의 액션 쿼리로서 보이스 쿼리 어플리케이션(122)에 의해 프레젠테이션하기 위해 보이스 쿼리 어플리케이션(122)에 제공한다. 복수의 제안되는 보이스 기반의 액션 쿼리들이 제공되는 구현들에서, 이들은 옵션에 따라서는 액션 결정 모듈(144)에 관하여 설명된 액션들의 랭킹에 기초하여 랭킹 정보와 함께 제공될 수 있다. 이들 구현들 중 일부에서, 컴퓨팅 디바이스(120)는 제공된 랭킹 정보에 기초하여 제안되는 보이스 기반의 액션 쿼리들의 디스플레이 순서를 결정할 수 있다. 랭킹 정보는 옵션에 따라서는 제안되는 보이스 기반의 액션 쿼리들이 데이터 패킷에 전송되거나 포함되는 순서일 수 있다.
제공되는 제안되는 보이스 기반의 액션 쿼리들이 엔티티의 제네릭 디스크립터(예컨대, him)를 포함하는 경우, 제안되는 보이스 기반의 액션 쿼리 시스템(140)은 옵션에 따라서는 제안되는 보이스 기반의 액션 쿼리들을 메타데이터와 함께 제공할 수 있는 바, 상기 메타데이터는 엔티티를 더욱 특정하게 식별한다. 메타데이터는 액션을 수행함에 있어서 엔티티의 보다 특정한 식별과 제네릭 디스크립터를 "교체"하기 위해 컴퓨팅 디바이스(120)에 의해 이용될 수 있다. 다른 구현들에서, 엔티티의 보다 특정한 식별은 가장 최근에 액세스된 컨텐츠의 분석에 기초하여 (예를 들어, 시멘틱 프로세서 모듈(127)에 의해) 컴퓨팅 디바이스(120)에서 수행될 수 있다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리 시스템(140)은 컴퓨팅 디바이스(120)로부터 보이스 기반의 쿼리 입력 표시를 수신함에 응답하여, 생성된 하나 이상의 제안되는 보이스 기반의 액션 쿼리들을 보이스 쿼리 어플리케이션(122)에 제공한다. 보이스 기반의 쿼리 입력 표시는 컴퓨팅 디바이스(120)를 통한 보이스 기반의 쿼리의 제공을 개시하기 위한, 컴퓨팅 디바이스(120)를 통한 사용자의 입력의 수신을 나타낸다. 일부 구현들에서, 보이스 기반의 쿼리 입력 표시는 컴퓨팅 디바이스(120)로부터의 컨텐츠의 표시를 수신하는 것 및/또는 컨텐츠의 표시와 결합하여 다른 정보를 수신하는 것이다. 예를 들어, 일부 구현들에서, 컴퓨팅 디바이스(120)는 보이스 기반의 쿼리의 제공을 개시하는 사용자의 입력에 응답하여 컨텐츠의 표시만을 제공할 수 있다. 일부 구현들에서, 보이스 기반의 쿼리 입력 표시는 컨텐츠의 표시와는 별도로 수신될 수 있다. 예를 들어, 일부 구현들에서, 컴퓨팅 디바이스(120)는 컨텐츠의 표시를 제공할 수 있고, 그 다음 오직, 보이스 입력 지시를 수신한 이래로 사용자로부터 어떤 발화된 입력을 수신함이 없이 특정 시간량이 경과된 후에 보이스 기반의 쿼리 입력 표시를 제공할 수 있다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리 시스템(140)은 제안되는 보이스 기반의 액션 쿼리들을 생성하는 것에 제한되지 않을 수 있다. 예를 들어, 제안되는 보이스 기반의 액션 쿼리 시스템(140)은 또한, 제출된 보이스 기반의 액션 쿼리들을 파싱하는 것, 제출된 보이스 기반의 액션 쿼리들에 대해 적절한 컴퓨터 기반의 액션(들)을 결정하는 것, 제출된 보이스 기반의 액션 쿼리들에 대해 결정된 컴퓨터 기반의 액션들을 수행하도록 컴퓨팅 디바이스(120)의 하나 이상의 어플리케이션들에 명령하는 것 및/또는 제출된 보이스 기반의 액션 쿼리들에 대한 하나 이상의 컴퓨터 기반의 액션을 수행하는 것 모두 또는 이들의 양상들을 처리할 수 있다. 비록, 제안되는 보이스 기반의 액션 쿼리 시스템(140) 및 컴퓨팅 디바이스(120)는 도 1에서 별개의 컴포넌트들로서 도시되어 있지만, 다른 구현들에서는, 보이스 기반의 액션 쿼리 시스템(140)의 하나 이상의 양상들은 컴퓨팅 디바이스(120) 상에 구현될 수 있거나 혹은 그 역 또한 가능하다.
도 2는 컴퓨팅 디바이스(120) 상에서 액세스되는 컨텐츠에 비추어, 컴퓨팅 디바이스(120)를 통해 프레젠테이션하기 위한 적어도 하나의 제안되는 보이스 기반의 액션 쿼리(155)를 결정하는 예를 도시한다. 도 2에서, 컴퓨팅 디바이스(120)로부터 컨텐츠의 표시(131)가 엔티티 결정 모듈(142)에 제공된다. 예를 들어, 컨텐츠의 표시(131)는 보이스 기반의 쿼리의 제공을 개시하기 위한 컴퓨팅 디바이스(120)를 통한 사용자의 입력 직전에 컴퓨팅 디바이스(120) 상에서 보여지는 컨텐츠에 대한 텍스트 및 텍스트의 속성들을 포함할 수 있다. 예를 들어, 사용자는 컴퓨팅 디바이스(120)의 어플리케이션에서 컨텐츠를 볼 수 있으며, 사용자는 그 어플리케이션이 여전히 활성 상태이고 컨텐츠를 디스플레이하는 동안 보이스 기반의 쿼리의 제공을 개시하기 위한 입력을 제공할 수 있으며, 컨텐츠는 입력에 응답하여 제공될 수 있다. 다른 예로서, 사용자는 컴퓨팅 디바이스(120)의 제1 어플리케이션 상에서 컨텐츠를 볼 수 있고, 컴퓨팅 디바이스(120)의 제2 어플리케이션(또는 운영 체제)에 의해 (제1 어플리케이션의 컨텐츠를 대체하거나 혹은 제1 어플리케이션의 컨텐츠의 부분들 "위로(over)" 제공되어) 추가적인 컨텐츠가 디스플레이되게 하는 보이스 기반의 쿼리의 제공을 개시하는 입력을 제공할 수 있고, 제1 어플리케이션에 의해 최근에 디스플레이된 컨텐츠가 입력에 응답하여 제공될 수 있다. 또 다른 예로서, 컴퓨팅 디바이스(120)는 보이스 기반의 쿼리의 제공을 개시하기 위해 사용자의 입력을 먼저 요함이 없이 현재 보여지는 컨텐츠의 표시를 제공할 수 있다.
엔티티 결정 모듈(142)은 컨텐츠의 표시(131)에 기초하여 적어도 하나의 엔티티를 결정한다. 예를 들어, 엔티티 결정 모듈(142)은 컨텐츠에서 텍스트의 위치, 포맷, 빈도 및/또는 다른 속성에 기초하여 컨텐츠와 관련된 지배적인 엔티티를 결정할 수 있다. 예를 들어, 특정 텍스트는 이 특정한 텍스트가 컨텐츠의 제목에, 컨텐츠의 다른 텍스트보다 큰 폰트로, 컨텐츠의 다른 텍스트보다 눈에 띄는 위치에 그리고 컨텐츠의 다른 텍스트보다 빈번하게 나타남에 기초하여 지배적인 엔티티로서 식별될 수 있다.
엔티티 결정 모듈(142)은 결정된 엔티티(151)를 액션 결정 모듈(144)에 제공한다. 액션 결정 모듈(144)은 엔티티 및 액션 데이터베이스(162)의 엔티티(151)에 매핑되는 적어도 하나의 컴퓨터 기반의 액션(152)을 결정한다. 액션 결정 모듈(144)은 액션(152)에 대한 엔티티(151)의 직접 매핑에 기초하여 또는 엔티티(151)의 클래스에 대한 액션(152)의 매핑 및 액션(152)에 대한 엔티티(151)의 클래스의 매핑에 기초하여 액션(152)을 결정할 수 있다.
컴퓨팅 디바이스(120)로부터의 어플리케이션 정보(132)가 또한 액션 결정 모듈(144)에 제공될 수 있다. 일부 구현들에서, 액션 결정 모듈(144)은 어플리케이션 정보(132)에 기초하여 컴퓨터 기반의 액션들을 랭킹 및/또는 필터링할 수 있다. 예를 들어, 어플리케이션 정보(132)는 컴퓨팅 디바이스 상에 인스톨된 하나 이상의 어플리케이션(예를 들어, 어플리케이션(126)) 및/또는 컴퓨팅 디바이스에 인스톨된 하나 이상의 어플리케이션들의 버전들(예를 들어, 어플리케이션(126 및/또는 122))을 나타낼 수 있다. 예를 들어, 엔티티 및 액션 데이터베이스(162)는 복수의 컴퓨터 기반의 액션들 각각에 대해, 컴퓨터 기반의 액션이 수행될 수 있는 하나 이상의 어플리케이션들 및/또는 (어플리케이션들(126 및/또는 122)에 대한) 어플리케이션 버전들을 정의하는 데이터를 포함할 수 있다. 액션 결정 모듈(144)은 어플리케이션 정보(132)에 기초하여 컴퓨팅 디바이스(120)와 호환되지 않는 하나 이상의 컴퓨터 기반의 액션들을 필터링하기 위해 이러한 데이터를 이용할 수 있다.
다른 예로서, 어플리케이션 정보(132)는 어느 어플리케이션이 컨텐츠(131)의 표시에 의해 표시된 컨텐츠를 생성했는지를 나타낼 수 있다. 엔티티 및 액션 데이터베이스(162)는 (예컨대, 어플리케이션을 이용하는 동안 발행된 그리고/또는 어플리케이션을 이용하는 임계 시간 기간 내에 발행된 과거 보이스 보이스 검색 쿼리들에서 컴퓨터 기반의 액션을 개시하는 용어들의 출현 빈도에 기초하여) 컨텐츠가 기원된 그 어플리케이션에 관한 하나 이상의 후보 컴퓨터 기반의 액션들의 인기도 이력을 포함할 수 있다. 액션 결정 모듈(144)은 액션(152)을 선택하고 및/또는 다른 선택된 액션들에 대해 액션(152)을 랭킹하기 위해 이러한 인기도 이력을 이용할 수 있다.
액션 결정 모듈(144)은 (옵션에 따라 다른 결정된 엔티티들 및/또는 액션들과 함께) 엔티티(151) 및 액션(152)을 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)에 제공한다. 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 액션(151)을 수행하기 위한 하나 이상의 액션 용어들 및 엔티티(152)를 참조하는 하나 이상의 엔티티 용어들에 기초하여, 제안되는 보이스 기반의 액션 쿼리(155)를 생성한다. 일부 구현들에서, 컴퓨팅 디바이스(120)로부터의 선호되는 언어(133)가 또한, 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)에 제공될 수 있다. 이러한 구현들 중 일부에서, 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 컴퓨팅 디바이스(120)에 의해 나타내진 선호되는 언어에 기초하여 컴퓨터 기반의 액션에 대한 액션 용어(들) 및/또는 엔티티 용어들을 결정할 수 있다.
제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 제안되는 보이스 기반의 액션 쿼리(155)를 컴퓨팅 디바이스(120)에 제공한다. 예를 들어, 제안되는 보이스 기반의 액션 쿼리(155)는 하나 이상의 액션 용어들 및 하나 이상의 엔티티 용어들을 포함하는 텍스트 스트링으로서 컴퓨팅 디바이스(120)에 제공될 수 있다. 일부 구현들에서, 제안되는 보이스 기반의 액션 생성 모듈(145)은 컴퓨팅 디바이스(120)로부터 보이스 기반의 쿼리 입력 표시를 수신함에 응답하여, 생성된 하나 이상의 제안되는 보이스 기반의 액션 쿼리들을 컴퓨팅 디바이스(120)에 제공한다. 이러한 구현들 중 일부에서, 보이스 기반의 쿼리 입력 표시는 컴퓨팅 디바이스(120)로부터의 컨텐츠(131)의 표시의 수신 및/또는 컨텐츠(131)의 표시와 결합된 다른 정보의 수신이다.
일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리 생성 모듈(145)은 제안되는 보이스 기반의 액션 쿼리(155)와 함께 주석 데이터를 제공한다. 주석 데이터는 제안되는 보이스 기반의 액션 쿼리(155)를 명확히 하는 것을 돕기 위해 제안되는 보이스 기반의 액션 쿼리(155)와 함께 디스플레이될 수 있지만 제안되는 쿼리 자체를 구성하지는 않는 데이터이다. 예를 들어, 대명사가 제안되는 보이스 기반의 액션 쿼리(155)의 엔티티 용어로서 사용되는 경우, 엔티티의 이미지 및/또는 엔티티의 보다 특정한 별칭(alias)이 또한, 보이스 기반의 액션 쿼리(155)로부터 시각적으로 두드러진(set off) 디스플레이를 위해 제공될 수 있다(예를 들어, 괄호 내에 제공되고/되거나 위치적으로 오프셋될 수 있다).
도 3은 컴퓨팅 디바이스에서 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 수신하고, 보이스 기반의 쿼리의 제공을 개시하기 위한 입력에 응답하여, 제안되는 보이스 기반의 액션 쿼리를 제안으로서 제공하는 예를 도시한다. 보이스 기반의 쿼리 표시 입력(110)은 보이스 액션 모듈(123)에서 수신된다. 보이스 기반의 쿼리 표시 입력(110)은 예를 들어, 사용자가 그래픽 사용자 인터페이스를 통해 보이스 쿼리 아이콘을 선택하는 것, 사용자가 보이스 기반의 쿼리를 개시하는 구문(예컨대, "OK computer")을 말하는 것, 사용자가 컴퓨팅 디바이스(120)의 터치 감응형 하드웨어 요소를 또는 컴퓨팅 디바이스(120)와 통신하여(예컨대, 기계적 버튼, 용량성 버튼) 터치 감응형 하드웨어 요소를 액추에이션시키는 것 및/또는 컴퓨팅 디바이스(120)의 카메라 또는 다른 센서의 뷰에서 제스처를 수행하는 것을 포함할 수 있다.
보이스 액션 모듈(123)은 보이스 기반의 쿼리 개시 입력(110)에 응답하여 보이스 입력을 모니터링하고, 또한 보이스 기반의 액션 쿼리들 요청 커맨드(135)를 인터페이스 모듈(124)에 전송한다. 커맨드(135)에 응답하여, 인터페이스 모듈(124)은 어플리케이션(126) 중 하나를 통해 가장 최근에 액세스된 컨텐츠(131)의 표시, 컴퓨팅 디바이스(120)의 선호되는 언어의 표시들, 컴퓨팅 디바이스(120)의 하나 이상의 어플리케이션들(126)에 관한 정보 및/또는 보이스 기반의 쿼리 입력 표시들과 같은 정보(130)를 제안되는 보이스 기반의 액션 쿼리 시스템(140)에 제공한다. 예를 들어, 컨텐츠(131)의 표시는 보이스 기반의 쿼리 개시 입력(110)을 수신함에 대하여 가장 최근에 어플리케이션들(126) 중 하나에 의해 디스플레이된 컨텐츠일 수 있다.
인터페이스 모듈(124)은 또한, 제안되는 보이스 기반의 액션 쿼리 시스템(140)으로부터 제안되는 보이스 기반의 액션 쿼리(155)를 수신한다. 제안되는 보이스 기반의 액션 쿼리(155)는 인터페이스 모듈(124)에 의해 제공된 정보(130)에 응답하는 것이며, 옵션에 따라서는 정보(130)의 하나 이상의 양상들에 기초할 수 있다. 인터페이스 모듈(124)은 제안되는 보이스 기반의 액션 쿼리(155)를 렌더/동기화 모듈(125)에 제공한다.
보이스 액션 모듈(126)은 제안되는 보이스 기반의 액션 쿼리들 커맨드(137)를 렌더/동기화 모듈(125)에 제공한다. 상기 커맨드(137)에 응답하여, 렌더/동기화 모듈(125)은 보이스 기반의 쿼리 개시 입력(110)에 의해 개시된 보이스 쿼리에 대한 제안으로서 제안되는 보이스 기반의 액션 쿼리(155)를 프레젠트(예컨대, 디스플레이)한다. 일부 구현들에서, 보이스 액션 모듈(123)은 보이스 기반의 쿼리 개시 입력(110) 다음에 제안되는 보이스 기반의 액션 쿼리에 대한 필요의 표시가 뒤따름에 기초하여 커맨드(137)를 제공한다. 이러한 구현들 중 일부에서, 제안되는 보이스 기반의 액션 쿼리의 필요의 표시는 사용자가 보이스 기반의 쿼리를 개시한 다음 임계 시간량 내에 사용자로부터의 어떤 발화된 입력의 결여를 포함할 수 있다. 예를 들어, 이러한 구현들의 버전들에서, 제안되는 보이스 기반의 액션 쿼리는 사용자가 보이스 기반의 쿼리를 개시하는 사용자 입력의 4 초(또는 다른 임계 시간량) 내에 어떤 발화된 입력을 제공하지 않음에 응답하여 프레젠트될 수 있다. 일부 구현들에서, 커맨드(137)는 추가적으로 및/또는 대안적으로는, 제안되는 보이스 기반의 액션 쿼리에 대한 필요의 다른 표시들에 응답하여 제공될 수 있다. 예를 들어, 다른 표시들은 사용자에 의해 발화될 수 있는 하나 이상의 구문들(예를 들어, "tell me what I can do"), 제안되는 보이스 기반의 액션 쿼리들을 요청하기 위해 제공되는 사용자 인터페이스 요소의 선택, 및/또는 보이스 기반의 쿼리 개시 입력(110) 다음의 적어도 임계 노이즈 레벨의 검출(예를 들어, 발화된 입력을 적절히 프로세스하기에 환경이 "너무 시끄럽다(too loud)"는 것을 검출)을 포함할 수 있다. 일부 구현들에서, 렌더/동기화 모듈(125)은 커맨드(137)를 수신함이 없이 보이스 쿼리에 대한 제안으로서 제안되는 보이스 기반의 액션 쿼리를 프레젠트할 수 있다.
도 4는 컴퓨팅 디바이스 상에서 액세스되는 컨텐츠에 비추어 컴퓨팅 디바이스를 통해 프레젠트하기 위한 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 결정하는 예시적인 방법(400)을 나타내는 순서도이다. 편의상, 순서도의 동작들은 동작들을 수행하는 시스템을 참조하여 설명된다. 이 시스템은 제안되는 보이스 기반의 액션 쿼리 시스템(140)과 같은 다양한 컴퓨터 시스템들의 다양한 컴포넌트들을 포함할 수 있다. 더욱이, 방법(400)의 동작들이 특정 순서로 도시되어 있지만, 이는 제한적인 것을 의미하지 않는다. 하나 이상의 동작들이 재순서화, 생략 또는 추가될 수 있다.
블록(402)에서, 시스템은 컴퓨팅 디바이스상에서 최근에 보여진 컨텐츠의 표시를 수신한다. 예를 들어, 컨텐츠의 표시는 컴퓨팅 디바이스에 의해 현재 디스플레이되고 있는 컨텐츠에 대한 텍스트 및 텍스트의 속성들을 포함할 수 있다. 일부 구현들에서, 컨텐츠의 표시는 보이스 기반의 쿼리의 제공을 개시하기 위한 컴퓨팅 디바이스를 통한 사용자의 입력에 응답하여 컴퓨팅 디바이스에 의해 제공될 수 있다.
블록(404)에서, 시스템은 컨텐츠의 표시에 기초하여, 컨텐츠에서 참조되는 엔티티를 결정한다. 예를 들어, 컨텐츠의 표시가 텍스트 및 텍스트의 속성들을 포함하는 경우, 시스템은 컨텐츠에서 텍스트의 위치, 포맷, 빈도 및/또는 다른 속성에 기초하여 컨텐츠와 관련된 지배적인 엔티티를 결정할 수 있다. 예를 들어, 특정한 텍스트는 이 텍스트가 컨텐츠의 제목에, 컨텐츠의 다른 텍스트보다 큰 폰트로, 컨텐츠의 다른 텍스트보다 눈에 띄는 위치에, 컨텐츠의 다른 텍스트보다 더 빈번하게 나타남에 기초하여 지배적인 엔티티로서 식별될 수 있다.
블록(406)에서, 시스템은 엔티티에 매핑될 수 있는 컴퓨터 기반의 액션을 결정한다. 예를 들어, 시스템은 엔티티 및 액션 데이터베이스(162) 내의 엔티티에 매핑되는 적어도 하나의 컴퓨터 기반의 액션을 결정할 수 있다. 일부 구현들에서, 시스템은, 예컨대 엔티티 및/또는 엔티티의 클래스에 대한 액션들의 관련성의 강도, 일반적인 액션들의 인기도 이력, 컨텐츠가 기원된 어플리케이션에 대한 액션들의 인기도 이력, 액션들이 컴퓨팅 디바이스 상에 인스톨된 하나 이상의 어플리케이션들을 통해 수행가능한지의 여부, 컴퓨팅 디바이스 상에 인스톨된 하나 이상의 어플리케이션들을 통한 액션들의 수행의 인기도 이력, 등등과 같은 하나 이상의 인자들에 기초하여 컴퓨터 기반의 액션들을 랭킹 및/또는 필터링할 수 있다.
블록(408)에서, 시스템은 컴퓨터 기반의 액션에 매핑된 액션 용어 및 엔티티에 매핑된 엔티티 용어를 포함하는 제안되는 보이스 기반의 액션 쿼리를 생성한다. 이들 구현들 중 일부에서, 시스템은 컴퓨팅 디바이스로부터 수신된 정보에 의해 나타내진 선호되는 언어에 기초하여 액션 용어(들) 및/또는 엔티티 용어들을 결정한다.
블록(410)에서, 시스템은 보이스 쿼리에 대한 제안으로서 디스플레이하기 위해 제안되는 보이스 기반의 액션 쿼리를 제공한다. 일부 구현들에서, 시스템은 컴퓨팅 디바이스로부터 보이스 기반의 쿼리 입력 표시를 수신함에 응답하여 보이스 쿼리에 대한 제안으로서 디스플레이하기 위해, 생성된 하나 이상의 제안되는 보이스 기반의 액션 쿼리를 컴퓨팅 디바이스에 제공한다. 이들 구현들 중 일부에서, 보이스 기반의 쿼리 입력 표시는 블록(402)에서의 컨텐츠 표시의 수신 및/또는 컴퓨팅 디바이스로부터의 다른 정보의 수신이다.
도 5는 컴퓨팅 디바이스에서 적어도 하나의 제안되는 보이스 기반의 액션 쿼리를 수신하고, 보이스 기반의 쿼리의 제공을 개시하기 위한 입력에 응답하여, 제안되는 보이스 기반의 액션 쿼리를 제안으로서 제공하는 예시적인 방법을 도시한다. 편의상, 순서도의 동작들은 동작들을 수행하는 시스템을 참조하여 설명된다. 이 시스템은 컴퓨팅 디바이스(120)의 보이스 쿼리 어플리케이션(122)과 같은 다양한 컴퓨터 시스템들의 다양한 컴포넌트를 포함할 수 있다. 더욱이, 방법(500)의 동작들이 특정 순서로 도시되어 있지만, 이는 제한적인 것을 의미하지 않는다. 하나 이상의 동작들이 재순서화, 생략 또는 추가될 수 있다.
블록(502)에서, 시스템은 보이스 기반의 쿼리의 제공을 개시하기 위한 입력을 수신한다. 입력은 예를 들어, 사용자가 그래픽 사용자 인터페이스를 통해 보이스 쿼리 아이콘을 선택하는 것, 사용자가 보이스 기반의 쿼리를 개시하는 구문(예를 들어, "OK computer")을 말하는 것, 사용자가 터치 감응형 하드웨어 요소를 액추에이션시키는 것 및/또는 제스처를 수행하는 것을 포함할 수 있다.
블록(504)에서, 시스템은 블록(502)에서의 입력에 대해 가장 최근에 디스플레이된 컨텐츠를 식별한다. 예를 들어, 시스템은 컨텐츠 또는 텍스트의 식별자, 메타데이터, 이미지들, 이미지(들)에 적용된 태그들 및/또는 블록(502)에서 입력이 수신되었을 때 또는 수신되기 직전에 컴퓨팅 디바이스에 의해 디스플레이된 컨텐츠의 스크린 샷들을 제공할 수 있다.
블록(506)에서, 시스템은 블록(504)에서 식별된 컨텐츠의 표시를 제공한다. 예를 들어, 시스템은 제안되는 보이스 기반의 액션 쿼리 시스템(140)에 컨텐츠의 표시를 제공할 수 있다.
블록(508)에서, 시스템은, 블록(506)의 표시에 기초하고 액션 용어 및 엔티티 용어를 포함하는 제안되는 보이스 기반의 액션 쿼리를 수신한다. 예를 들어, 시스템은 블록(506)에서 컨텐츠의 표시(및 옵션에 따라서는 다른 정보)를 제공함에 응답하여 보이스 기반의 액션 쿼리 시스템(140)으로부터 제안되는 보이스 기반의 액션 쿼리를 수신할 수 있다.
블록(518)에서, 시스템은 보이스 입력이 임계 시간량 내에 수신되었는지의 여부를 결정한다. 대답이 예(yes)이면, 시스템은 블록(520)으로 진행하여 수신된 보이스 입력에 기초하여 컴퓨터 기반의 액션을 수행한다. 대답이 아니오(no)이면, 시스템은 단계(510)로 진행하여 제안되는 보이스 기반의 액션 쿼리를 보이스 기반의 쿼리에 대한 제안으로서 제공한다.
단계(512)에서, 시스템은 제안되는 보이스 기반의 액션 쿼리가 선택되었는지의 여부를 결정한다. 대답이 예인 경우, 시스템은 블록(514)으로 진행하여 제안되는 보이스 기반의 액션 쿼리에 기초하여 컴퓨터 기반의 액션을 수행한다. 대답이 아니오이면, 시스템은 블록(516)으로 진행하여 추가의 액션을 수행한다. 예를 들어, 사용자가 디스플레이로부터 제안되는 보이스 기반의 액션 쿼리를 제거하기 위한 입력을 제공하면, 대답은 아니오이고, 시스템은 블록(516)에서 제공된 입력에 응답할 것이다.
도 6a는 컴퓨팅 디바이스의 어플리케이션에 디스플레이된 컨텐츠를 보여주는 예시적인 그래픽 사용자 인터페이스(680A)를 도시한다. 예를 들어, 그래픽 사용자 인터페이스(680A)는 모바일 폰 컴퓨팅 디바이스 상에 디스플레이될 수 있다. 컨텐츠는 레스토랑들에 대한 정보 및 리뷰들을 제공하는 어플리케이션과 같은 컴퓨팅 디바이스의 어플리케이션에 의해 그래픽 사용자 인터페이스(680A)에 디스플레이된다. 특정한 컨텐츠가 가상의 레스토랑 "Up and Down Burger Bar"에 대한 정보 및 리뷰들에 포커스된다. 그래픽 사용자 인터페이스(680A)는 또한, 그래픽 인터페이스 요소들(681, 682 및 683)을 포함하는 바, 이들 각각은 액추에이션될 때, 각각 하나 이상의 액션들이 수행되도록 한다. 추가적인 및/또는 대안적인 그래픽 및/또는 다른 (예를 들어, 기계적) 인터페이스 요소들이 제공될 수 있다.
도 6b는 도 6a의 컨텐츠에 기초하여 생성되는 제안되는 보이스 기반의 액션 쿼리들(685A 내지 C)을 디스플레이하기 위한 예시적인 그래픽 사용자 인터페이스(680B)를 도시한다. 도 6b는 도 6a의 디스플레이가 제공되는 동안, 사용자가 보이스 기반의 쿼리 개시 입력을 제공하는 예를 도시한다. 보이스 기반의 쿼리 개시 입력은 예를 들어, 하나 이상의 용어들을 말하는 것 또는 인터페이스 요소를 선택하는 것(예를 들어, 특정 방식으로 요소들(681 내지 683) 중 하나 이상을 액추에이션시키거나 기계적 인터페이스 요소를 액추에이션시키는 것)일 수 있다. 보이스 기반의 쿼리 개시 입력을 제공하는 것은 보이스 쿼리 인터페이스(684)가 도 6a의 컨텐츠와 함께 디스플레이되게 한다. 보이스 쿼리 인터페이스(684)는 보이스 쿼리를 나타내기 위한 마이크로폰의 아이콘을 포함하고, 또한 컴퓨팅 디바이스가 사용자로부터의 발화되는 입력을 기다리고 있음을 사용자에게 나타내기 위한 "Waiting ..." 텍스트를 포함한다. 제안되는 보이스 기반의 액션 쿼리들(685A 내지 C)은 사용자에 의해 선택(예를 들어, "탭핑되거나 발화")될 수 있는 개별적인 "카드들"로서 보이스 쿼리 인터페이스(684) 아래에 디스플레이된다. 제안되는 보이스 기반의 액션 쿼리들(685A 내지 C)은 도 6a의 컨텐츠에 기초하고, 예컨대, 도 2 및/또는 도 4의 제안되는 보이스 기반의 액션 쿼리 시스템(140)과 관련하여 여기에 설명된 바와 같이 결정될 수 있다. 도 2 및/또는 도 4를 참조하여 설명된다. 예를 들어, 도 6a의 스크린샷 및/또는 텍스트가 응답으로 수신된 컨텐츠의 표시 및 제안되는 보이스 기반의 액션 쿼리(685A 내지 C)로서 제공되었다. 주목할 점으로서, 제안되는 보이스 기반의 액션 쿼리(685A)는, "Navigate there"을 말하는 것 또는 제안되는 보이스 기반의 액션 쿼리(685A)를 탭핑하는 것이 결과적으로 "Up and Down Burger Bar"으로의 네비게이션 방향들을 제공하는 컴퓨터 기반의 액션을 초래하는 표시를 사용자에게 제공하기 위해 주석 "[Up and Down Burger Bar]"와 함께 제공된다.
도 6a의 컨텐츠의 대부분이 도 6b에 여전히 디스플레이되고, 컨텐츠의 다른 부분은 보이스 쿼리 인터페이스(684) 및 보이스 기반의 액션 쿼리들(685A 내지 C) 아래에 "숨겨져(hidden)" 있다. 일부 구현들에서, 보이스 쿼리 인터페이스(684) 및/또는 보이스 기반의 액션 쿼리들(685A 내지 C) 중 하나 이상은 도 6b에서 "숨겨진" 컨텐츠를 볼 수 있도록 적어도 부분적으로 투명할 수 있다.
본 명세서에서 설명된 바와 같이, 일부 구현들에서, 제안되는 보이스 기반의 액션 쿼리들(685A 내지 C)은, 제안되는 보이스 기반의 액션 쿼리에 대한 필요성의 식별이 보이스 기반의 쿼리 개시 입력 다음에 올 때까지 그래픽 사용자 인터페이스(680B)에 디스플레이되지 않을 수 있다. 예를 들어, 보이스 쿼리 인터페이스(684)는 제안되는 보이스 기반의 액션 쿼리들(685A 내지 685C)이 없이 초기에 디스플레이되었을 수 있고, 제안되는 보이스 기반의 액션 쿼리들(685A 내지 685C)은 보이스 기반의 쿼리를 개시하는 사용자 입력 다음에 임계 시간량 내에 사용자로부터 어떤 발화된 입력의 결여를 결정할 시에만 디스플레이될 수 있다. 또한, 예를 들어, 보이스 쿼리 인터페이스(684)는 제안되는 보이스 기반의 액션 쿼리들(685A 내지 C)이 없이 초기에 디스플레이되었을 수 있고, 제안되는 보이스 기반의 액션 쿼리들(685A 내지 C)은 오직 제안들을 요청하는 특정 발화된 입력을 수신 및/또는 주변 노이즈 레벨이 발화된 입력을 수신하고 정확하게 파싱하기 위한 임계 노이즈 레벨보다 큼을 결정할 때에만 디스플레이될 수 있다.
도 6c는 도 6a의 컨텐츠에 기초하여 생성되는 제안되는 보이스 기반의 액션 쿼리들 "Navigate there", "Make reservations there" 및 "Tell me more about"을 디스플레이하기 위한 예시적인 그래픽 사용자 인터페이스(680C)를 도시한다. 도 6c의 제안되는 보이스 기반의 액션 쿼리들은 도 6a의 컨텐츠에 기초하여 카드(687)에 디스플레이되고, 예컨대 도 2 및/또는 도 4의 제안되는 보이스 기반의 액션 쿼리 시스템(140)과 관련하여 여기에 설명된 바와 같이 결정될 수 있다. 예를 들어, 도 6a의 스크린샷 및/또는 텍스트는 응답으로 수신된 컨텐츠의 표시 및 제안되는 보이스 기반의 액션 쿼리들로서 제공되었다. 카드(687)는 카드(687)(및 옵션에 따라서는 다른 비-디스플레이된 카드들)가 (도 6c에 부분적으로 표시된 채로 남아 있는) 도 6a의 컨텐츠에 특정하게 맞추어짐(tailored)을 (예를 들어, "ON SCREEN :"구문에 기초하여) 보여주는 인터페이스 요소(686)에 디스플레이된다.
도 6c는 도 6a의 디스플레이가 제공되는 동안 사용자가 (보이스 기반의 쿼리 개시 입력을 필수적으로 제공함이 없이) 스크린 상의 컨텐츠와 관계된 제안되는 보이스 기반의 쿼리 제안에 대한 요청을 제공하는 예를 도시한다. 예를 들어, 제안되는 보이스 기반의 쿼리 제안들에 대한 요청은 그래픽 인터페이스 요소 (682)를 "터치"하는 것 및 "상향 스와이프(swiping up)" 및/또는 하나 이상의 용어들을 말하는 것일 수 있다. 제안되는 보이스 기반의 쿼리 제안들에 대한 요청을 제공하는 것은 인터페이스 요소(686) 및 카드 (687)가 도 6a의 컨텐츠의 부분들 위에 디스플레이되게 하였다. ((옵션에 따라서는 보이스 기반의 쿼리 개시 입력 후) "탭핑" 또는 말하기에 의한) 도 6c의 제안되는 보이스 기반의 액션 쿼리들 중 하나의 선택은 컴퓨팅 디바이스가 선택된 보이스 기반의 액션 쿼리에 기초하여 컴퓨터 기반의 액션의 수행을 개시하게 할 것이다.
도 6a의 컨텐츠의 대부분은 도 6c에 여전히 디스플레이되며, 컨텐츠의 다른 부분들은 인터페이스 요소(686) 및 카드(687) 아래에 "숨겨져" 있다. 일부 구현들에서, 인터페이스 요소(686) 및/또는 카드(687)는 도 6c에 "숨겨진" 컨텐츠를 볼 수 있게 하도록 적어도 부분적으로 투명할 수 있다.
도 7a는 컴퓨팅 디바이스의 어플리케이션에 디스플레이되는 컨텐츠를 보여주는 예시적인 그래픽 사용자 인터페이스(780A)를 도시한다. 예를 들어, 그래픽 사용자 인터페이스(780A)는 모바일 폰 컴퓨팅 디바이스의 인스턴트 메시징 어플리케이션에 디스플레이될 수 있다. 특정한 컨텐츠는 모바일 폰의 사용자와 다른 사용자 "Bob"간의 대화이다. Bob은 사용자에게 저녁 식사를 위해 Up and Down Burger Bar로 가길 원하는지를 물었다. 그래픽 사용자 인터페이스(780A)는 또한, 그래픽 인터페이스 요소 (681, 682 및 683)를 포함하며, 이들 각각은 액추에이션될 때, 하나 이상의 액션들이 수행되도록 할 수 있다.
도 7b는 도 7a의 컨텐츠에 기초하여 생성된 제안되는 보이스 기반의 액션 쿼리들(785A 및 785B)을 디스플레이하기 위한 예시적인 그래픽 사용자 인터페이스(780B)를 도시한다. 도 7b는 도 7a의 디스플레이가 제공되는 동안 사용자가 보이스 기반의 쿼리 개시 입력을 제공하는 예를 도시한다. 보이스 기반의 쿼리 개시 입력은 예를 들어, 하나 이상의 용어들을 말하는 것 또는 인터페이스 요소를 선택하는 것(예를 들어, 특정한 방식으로 요소들(681 내지 683) 중 하나 이상을 액추에이션시키거나 기계적 인터페이스 요소를 액추에이션시키는 것)일 수 있다. 보이스 기반의 쿼리 개시 입력을 제공하는 것은 보이스 쿼리 인터페이스(784)가 도 7a의 컨텐츠와 함께 디스플레이되게 하였다. 보이스 쿼리 인터페이스(784)는 보이스 쿼리를 나타내기 위한 마이크로폰의 아이콘을 포함하고, 또한 컴퓨팅 디바이스가 사용자로부터 발화된 입력을 기다리고 있음을 사용자에게 나타내기 위해 "Waiting ..." 텍스트를 포함한다. 제안되는 보이스 기반의 액션 쿼리들(785A 및 785B)는 사용자에 의해 선택될(예를 들어, "탭핑되거나" 발화될) 수 있는 개별적인 "카드"로서 보이스 쿼리 인터페이스(784) 아래에 디스플레이된다. 제안되는 보이스 기반의 액션 쿼리들(785A 및 785B)는 도 7a의 컨텐츠에 기초하고, 예컨대, 도 2 및/또는 도 4의 제안되는 보이스 기반의 액션 쿼리 시스템(140)과 관련하여 여기에 설명된 바와 같이 결정될 수 있다. 예를 들어, 도 7a로부터 스크린샷 및/또는 텍스트는 응답으로 수신되는 컨텐츠의 표시 및 제안되는 보이스 기반의 액션 쿼리들(785A 및 785B)로서 제공될 수 있다. 주목할 점으로서, 제안되는 보이스 기반의 액션 쿼리(785A)는 예약을 하기 위한 "오후 7시"의 제안되는 시간을 제공받는다. 제안되는 시간은 도 7a의 컨텍스트("저녁 식사(dinner)"), 과거 사용자 예약 이력 및/또는 발화된 입력이 원하는 시간에 "Up and Down Burger Bar"에 대한 예약을 하기 위해 이용될 수 있다는 표시를 사용자에게 임의로 제공하는 것에 기초하여 결정될 수 있다.
또한, 도 8은 본 명세서에 기술된 기법들 중 하나 이상의 양상들을 수행하기 위해 옵션에 따라 이용될 수 있는 예시적인 컴퓨팅 디바이스(810)의 블록도이다. 일부 구현들에서, 컴퓨팅 디바이스(120) 및/또는 제안되는 보이스 기반의 액션 쿼리 시스템(140)은 예시적인 컴퓨팅 디바이스(810)의 하나 이상의 컴포넌트들을 포함할 수 있다.
컴퓨팅 디바이스(810)는 전형적으로, 버스 서브 시스템(812)을 통해 다수의 주변 디바이스들과 통신하는 적어도 하나의 프로세서(814)를 포함한다. 이들 주변 디바이스들은 예를 들어, 메모리 서브시스템(825) 및 파일 저장 서브시스템(820)을 포함하는 저장 서브시스템(824), 사용자 인터페이스 출력 디바이스들(820), 사용자 인터페이스 입력 디바이스들(822) 및 네트워크 인터페이스 서브시스템(816)을 포함한다. 입력 및 출력 디바이스들은 컴퓨팅 디바이스(810)와의 사용자 상호 작용을 가능하게 한다. 네트워크 인터페이스 서브시스템(816)은 외부 네트워크들에 인터페이스를 제공하고, 다른 컴퓨팅 디바이스의 디바이스들 내의 대응하는 인터페이스 디바이스들에 결합된다.
사용자 인터페이스 입력 디바이스들(822)은 키보드, 마우스, 트랙볼, 터치 패드 또는 그래픽 태블릿과 같은 포인팅 디바이스들, 스캐너, 디스플레이에 통합된 터치스크린, 보이스 인식 시스템들과 같은 오디오 입력 디바이스들, 마이크로폰, 및/또는 다른 타입의 입력 디바이스들을 포함할 수 있다. 일반적으로, 용어 "입력 디바이스"의 사용은 정보를 컴퓨팅 디바이스(810)에 또는 통신 네트워크 상에 입력하기 위한 모든 가능한 타입의 디바이스들 및 방식들을 포함하도록 의도된다.
사용자 인터페이스 출력 디바이스들(820)은 디스플레이 서브시스템, 프린터, 팩스 머신, 또는 오디오 출력 디바이스들과 같은 비시각적 디스플레이들을 포함할 수 있다. 디스플레이 서브시스템은 음극선관(CRT), 액정 디스플레이(LCD)와 같은 평판 디바이스, 프로젝션 디바이스, 또는 가시적 이미지를 생성하기 위한 일부 다른 메커니즘을 포함할 수 있다. 디스플레이 서브시스템은 또한, 오디오 출력 디바이스들을 통해서와 같이 비시각적 디스플레이를 제공할 수 있다. 일반적으로, "출력 디바이스"라는 용어의 사용은 컴퓨팅 디바이스(810)로부터 사용자 또는 다른 기계 또는 컴퓨팅 디바이스로 정보를 출력하기 위한 모든 가능한 타입의 디바이스들 및 방식들을 포함하도록 의도된다.
저장 서브시스템(824)은 본 명세서에 설명된 일부 또는 모든 모듈들의 기능을 제공하는 프로그래밍 및 데이터 구조들을 저장한다. 예를 들어, 저장 서브시스템(824)은 도 3 및/또는 도 4의 방법의 선택된 양상들을 수행하기 위한 로직을 포함할 수 있다.
이들 소프트웨어 모듈들은 일반적으로, 프로세서(814) 단독으로 또는 다른 프로세서들과 조합하여 실행된다. 저장 서브시스템(824)에 사용되는 메모리(825)는 프로그램 실행 동안 명령어들 및 데이터의 저장을 위한 주 랜덤 액세스 메모리 (RAM)(830) 및 고정 명령어들이 저장되는 판독 전용 메모리(ROM)(832)를 포함하는 다수의 메모리들을 포함할 수 있다. 파일 저장 서브시스템(826)은 프로그램 및 데이터 파일들을 위한 영구 저장소(persistent storage)를 제공할 수 있으며, 하드 디스크 드라이브, 관련 탈착가능 매체와 함께 플로피 디스크 드라이브, CD-ROM 드라이브, 광학 드라이브 또는 탈착가능 매체 카트리지들을 포함할 수 있다. 특정 구현들의 기능을 구현하는 모듈들은 스토리지 서브 시스템(824)의 파일 저장 서브시스템(826)에 또는 프로세서(들)(814)에 의해 액세스 가능한 다른 머신들에 저장될 수 있다.
버스 서브시스템(812)은 컴퓨팅 디바이스(810)의 다양한 컴포넌트들 및 서브 시스템들이 의도된 바와 같이 서로 통신하게 하는 메커니즘을 제공한다. 비록 버스 서브시스템(812)이 단일 버스로서 개략적으로 도시되지만, 버스 서브시스템의 대안적인 구현들은 복수의 버스들을 사용할 수 있다.
컴퓨팅 디바이스(810)는 워크스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서버 팜 또는 어떤 다른 데이터 프로세싱 시스템 또는 컴퓨팅 디바이스를 포함하는 다양한 타입으로 이루어질 수 있다. 컴퓨터들 및 네트워크들의 끊임없이 변화하는 성질로 인해, 도 8에 도시된 컴퓨팅 디바이스(810)의 설명은 단지 일부 구현들을 설명하기 위한 특정 예로서만 의도된다. 도 8에 도시된 컴퓨팅 디바이스보다 더 많거나 적은 컴포넌트들을 가지는 컴퓨팅 디바이스(810)의 많은 다른 구성들이 가능하다.
본 명세서에서 논의되는 시스템들이 사용자들에 관한 개인 정보를 수집하거나 또는 개인 정보를 이용할 수 있는 상황들에서, 사용자들은 프로그램들 또는 특징들이 사용자 정보(예컨대, 사용자의 소셜 네트워크, 소셜 액션들 또는 활동들, 직업, 사용자의 선호도들 또는 사용자의 현재의 지리적 위치에 관한 정보)를 수집할지의 여부를 제어거나 또는 사용자와 더 관련있을 수 있는 컨텐츠를 컨텐츠 서버로부터 수신할지의 여부 그리고/또는 수신하는 법을 제어할 기회를 제공받을 수 있다. 또한, 특정 데이터는 이 데이터가 저장되거나 사용되기 전에 개인적으로 식별가능한 정보가 제거되도록 하나 이상의 방식들로 처리될 수 있다. 예를 들어, 사용자에 대한 어떤 개인적으로 식별가능한 정보도 결정될 수 없도록 사용자의 신원이 처리될 수 있거나 또는 (예컨대, 시, 우편번호, 또는 주(state) 레벨로) 지리적 위치 정보가 획득되는 사용자의 지리적 위치가 일반화될 수 있어서 사용자의 특별한 지리적 위치가 결정될 수 없게 된다. 따라서, 사용자는 정보가 사용자에 관하여 어떻게 수집되고 사용되는지에 관한 제어권을 가질 수 있다.
여러 구현들이 본 명세서에 기술되고 예시되지만, 본 명세서에 기술된 기능을 수행하고 그리고/또는 결과들 및/또는 장점들 중 하나 이상을 획득하기 위한 다양한 다른 수단들 및/또는 구조들이 이용될 수 있으며, 이러한 변형들 및/또는 수정들 각각은 본 명세서에 기술된 구현들의 범위 내에 있는 것으로 여겨진다. 더욱 일반적으로는, 본 명세서에 기술된 모든 파라미터들, 규모들, 물질들 및 구성들은 예시적인 것으로 여겨지며, 실제 파라미터들, 규모들, 물질들 및/또는 구성들은 교시들이 이용되는 특정 어플리케이션 또는 어플리케이션들에 좌우될 것이다. 이 기술 분야의 숙련자들은 단지 루틴한 실험만을 이용하여, 본 명세서에 기술된 특정 구현들에 대한 많은 균등물들을 인지하거나 또는 알아낼 수 있을 것이다. 그러므로, 상기 구현들은 단지 예시의 방식으로 제시되며, 구체적으로 기술되고 청구된 것 외에도 첨부된 특허청구범위 및 이의 균등물들 내에서 구현들이 실시될 수 있음이 이해되어야 한다. 본 발명의 구현들은 본 명세서에 기술된 각각의 개별적인 특징, 시스템, 물품(article), 물질, 키트 및/또는 방법에 관한 것이다. 추가적으로, 둘 이상의 이러한 특징들, 시스템들, 물품들, 물질들, 키트들 및/또는 방법들의 어떤 조합은, 이러한 특징들, 시스템들, 물품들, 물질들, 키트들 및/또는 방법들이 상호적으로 모순되지 않으면, 본 발명의 범위 내에 포함된다.

Claims (14)

  1. 하나 이상의 프로세서에 의해 구현되는 방법으로서, 상기 방법은,
    사용자의 컴퓨팅 디바이스에 설치되는 제1 애플리케이션에 기초하여, 제1 애플리케이션에 매핑된 제1 컴퓨터-기반 액션의 수행을 개시하도록 발화될 수 있는 제1 보이스-기반 액션 쿼리를 생성하는 단계와;
    상기 컴퓨팅 디바이스에 설치되는 제2 애플리케이션에 기초하여, 제2 애플리케이션에 매핑된 제2 컴퓨터-기반 액션의 수행을 개시하도록 발화될 수 있는 제2 보이스-기반 액션 쿼리를 생성하는 단계와;
    상기 컴퓨팅 디바이스를 통해 보이스-기반 액션 쿼리의 제공을 개시하기 위한 입력을 수신하는 단계와, 상기 보이스-기반 액션 쿼리의 제공을 개시하기 위한 입력은 음성 구문(spoken phrase), 컴퓨팅 디바이스의 터치-감지 하드웨어 요소의 작동(actuation), 또는 컴퓨팅 디바이스의 카메라 시야에서의 제스처 수행이고;
    상기 보이스-기반 액션 쿼리의 제공을 개시하기 위한 입력을 수신하는 것에 응답하여:
    사용자에게 프리젠테이션하기 위한 상기 제1 보이스-기반 액션 쿼리를 제공하는 단계, 및
    사용자에게 프리젠테이션하기 위한 상기 제2 보이스-기반 액션 쿼리를 제공하는 단계와; 그리고
    상기 제공된 제1 보이스-기반 액션 쿼리를 사용자가 말하는 것에 응답하여, 상기 제1 컴퓨터-기반 액션의 수행을 유발하는 단계를 포함하는 것을 특징으로 하는 프로세서 구현 방법.
  2. 제1항에 있어서,
    상기 사용자에게 프레젠테이션하기 위한 제1 보이스-기반 액션 쿼리 및 제2 보이스-기반 액션 쿼리를 제공하는 단계는,
    상기 보이스-기반 액션 쿼리의 제공을 개시하기 위해 사용자 입력의 후 임계 시간 내에 음성 입력이 수신되지 않았음을 검출하는 것에 기초하는 것을 특징으로 하는 프로세서 구현 방법.
  3. 제2항에 있어서,
    상기 제1 보이스-기반 액션 쿼리를 생성하는 단계는,
    상기 컴퓨팅 디바이스에 설치된 제1 애플리케이션의 버전에 더 기초하고, 상기 제1 컴퓨터-기반 액션이 제1 애플리케이션의 버전에 매핑되는 것에 더 기초하는 것을 특징으로 하는 프로세서 구현 방법.
  4. 제1항에 있어서,
    상기 제1 보이스-기반 액션 쿼리를 생성하는 단계는,
    상기 컴퓨팅 디바이스에 설치된 제1 애플리케이션의 버전에 더 기초하고, 상기 제1 컴퓨터-기반 액션이 제1 애플리케이션의 버전에 매핑되는 것에 더 기초하는 것을 특징으로 하는 프로세서 구현 방법.
  5. 제1항에 있어서,
    상기 보이스-기반 쿼리의 제공을 개시하기 위한 입력은 음성 구문인 것을 특징으로 하는 프로세서 구현 방법.
  6. 제1항에 있어서,
    상기 보이스-기반 쿼리의 제공을 개시하기 위한 입력은 음성 구문이고,
    상기 사용자에게 프레젠테이션하기 위한 제1 보이스-기반 액션 쿼리 및 제2 보이스-기반 액션 쿼리를 제공하는 단계는 보이스-기반 액션 쿼리의 제공을 개시하기 위해 사용자의 입력 후 임계 시간 내에 음성 입력이 수신되지 않았음을 검출하는 것에 기초하는 것을 특징으로 하는 프로세서 구현 방법.
  7. 컴퓨팅 디바이스로서,
    하나 이상의 프로세서; 및
    하나 이상의 프로세서와 동작 가능하게 연결된 메모리를 포함하고, 상기 메모리는 하나 이상의 프로세서에 의한 명령의 실행에 응답하여, 상기 하나 이상의 프로세서로 하여금:
    컴퓨팅 디바이스에 설치되는 제1 애플리케이션에 기초하여, 제1 애플리케이션에 매핑된 제1 컴퓨터-기반 액션의 수행을 개시하도록 발화될 수 있는 제1 보이스-기반 액션 쿼리를 생성하고;
    상기 컴퓨팅 디바이스에 설치되는 제2 애플리케이션에 기초하여, 제2 애플리케이션에 매핑된 제2 컴퓨터-기반 액션의 수행을 개시하도록 발화될 수 있는 제2 보이스-기반 액션 쿼리를 생성하고;
    상기 컴퓨팅 디바이스에서, 컴퓨팅 디바이스를 통해 보이스-기반 액션 쿼리의 제공을 개시하기 위한 입력을 수신하고, 상기 보이스-기반 액션 쿼리의 제공을 개시하기 위한 입력은 음성 구문, 컴퓨팅 디바이스의 터치-감지 하드웨어 요소의 작동, 또는 컴퓨팅 디바이스의 카메라 시야에서의 제스처 수행이며;
    상기 보이스-기반 액션 쿼리의 제공을 개시하기 위한 입력을 수신하는 것에 응답하여:
    상기 컴퓨팅 디바이스의 디스플레이에서 프리젠테이션하기 위한 상기 제1 보이스-기반 액션 쿼리를 제공하고, 그리고
    상기 디스플레이에서 프리젠테이션하기 위한 상기 제2 보이스-기반 액션 쿼리를 제공하게 하는 명령들을 저장하는 것을 특징으로 하는 컴퓨팅 디바이스.
  8. 제7항에 있어서,
    상기 하나 이상의 프로세서에 의한 명령의 실행은, 상기 하나 이상의 프로세서로 하여금 더:
    상기 제공된 제1 보이스-기반 액션 쿼리를 사용자가 말하는 것에 응답하여, 상기 제1 컴퓨터-기반 액션의 수행을 유발하게 하는 것을 특징으로 하는 컴퓨팅 디바이스.
  9. 제7항에 있어서,
    상기 제1 보이스-기반 액션 쿼리는 선택 가능하고,
    상기 하나 이상의 프로세서에 의한 명령의 실행은, 상기 하나 이상의 프로세서로 하여금 더:
    상기 컴퓨팅 디바이스에서, 제공된 후 상기 제1 보이스-기반 액션 쿼리의 터치 선택을 수신하는 것에 응답하여, 상기 제1 컴퓨터-기반 액션의 수행을 유발하게 하는 것을 특징으로 하는 컴퓨팅 디바이스.
  10. 제7항에 있어서,
    상기 디스플레이에서 프리젠테이션하기 위한 제1 보이스-기반 액션 쿼리 및 제2 보이스-기반 액션 쿼리를 제공하는 것은,
    상기 보이스-기반 액션 쿼리의 제공을 개시하기 위해 사용자의 입력 후 임계 시간 내에 음성 입력이 수신되지 않았음을 검출하는 것에 더 응답하는 것을 특징으로 하는 컴퓨팅 디바이스.
  11. 제10항에 있어서,
    상기 제1 보이스-기반 액션 쿼리를 생성하는 것은,
    상기 컴퓨팅 디바이스에 설치된 제1 애플리케이션의 버전에 더 기초하고, 상기 제1 컴퓨터-기반 액션이 제1 애플리케이션의 버전에 매핑되는 것에 더 기초하는 것을 특징으로 하는 컴퓨팅 디바이스.
  12. 제7항에 있어서,
    상기 제1 보이스-기반 액션 쿼리를 생성하는 것은,
    상기 컴퓨팅 디바이스에 설치된 제1 애플리케이션의 버전에 더 기초하고, 상기 제1 컴퓨터-기반 액션이 제1 애플리케이션의 버전에 매핑되는 것에 더 기초하는 것을 특징으로 하는 컴퓨팅 디바이스.
  13. 제7항에 있어서,
    상기 보이스-기반 쿼리의 제공을 개시하기 위한 입력은 음성 구문인 것을 특징으로 하는 컴퓨팅 디바이스.
  14. 제7항에 있어서,
    상기 보이스-기반 쿼리의 제공을 개시하기 위한 입력은 음성 구문이고,
    상기 디스플레이에서 프레젠테이션하기 위한 제1 보이스-기반 액션 쿼리 및 제2 보이스-기반 액션 쿼리를 제공하는 것은 보이스-기반 액션 쿼리의 제공을 개시하기 위해 사용자의 입력 후 임계 시간 내에 음성 입력이 수신되지 않았음을 검출하는 것에 더 응답하는 것을 특징으로 하는 컴퓨팅 디바이스.
KR1020197030804A 2015-05-27 2016-05-26 제안되는 보이스 기반의 액션 쿼리들을 제공 KR102369953B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562167195P 2015-05-27 2015-05-27
US62/167,195 2015-05-27
US14/808,919 2015-07-24
US14/808,919 US10504509B2 (en) 2015-05-27 2015-07-24 Providing suggested voice-based action queries
PCT/US2016/034290 WO2016191540A1 (en) 2015-05-27 2016-05-26 Providing suggested voice-based action queries
KR1020187017226A KR102036786B1 (ko) 2015-05-27 2016-05-26 제안되는 보이스 기반의 액션 쿼리들을 제공

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187017226A Division KR102036786B1 (ko) 2015-05-27 2016-05-26 제안되는 보이스 기반의 액션 쿼리들을 제공

Publications (2)

Publication Number Publication Date
KR20190121876A true KR20190121876A (ko) 2019-10-28
KR102369953B1 KR102369953B1 (ko) 2022-03-04

Family

ID=56134594

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020177026523A KR101870934B1 (ko) 2015-05-27 2016-05-26 제안되는 보이스 기반의 액션 쿼리들을 제공
KR1020197030804A KR102369953B1 (ko) 2015-05-27 2016-05-26 제안되는 보이스 기반의 액션 쿼리들을 제공
KR1020187017226A KR102036786B1 (ko) 2015-05-27 2016-05-26 제안되는 보이스 기반의 액션 쿼리들을 제공

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177026523A KR101870934B1 (ko) 2015-05-27 2016-05-26 제안되는 보이스 기반의 액션 쿼리들을 제공

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187017226A KR102036786B1 (ko) 2015-05-27 2016-05-26 제안되는 보이스 기반의 액션 쿼리들을 제공

Country Status (8)

Country Link
US (4) US10504509B2 (ko)
EP (2) EP3404654B1 (ko)
JP (3) JP6437669B2 (ko)
KR (3) KR101870934B1 (ko)
CN (2) CN107430626B (ko)
DE (1) DE112016000986T5 (ko)
GB (1) GB2553936B (ko)
WO (1) WO2016191540A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504509B2 (en) 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US20170024424A1 (en) * 2015-07-26 2017-01-26 Saad Almohizea Suggestive search engine
US10739960B2 (en) * 2015-09-22 2020-08-11 Samsung Electronics Co., Ltd. Performing application-specific searches using touchscreen-enabled computing devices
US11294908B2 (en) * 2015-11-10 2022-04-05 Oracle International Corporation Smart search and navigate
CN108476164B (zh) 2015-12-21 2021-10-08 谷歌有限责任公司 在消息传送应用中自动地提供机器人服务的方法
EP3395018A1 (en) 2015-12-21 2018-10-31 Google LLC Automatic suggestions for message exchange threads
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
WO2018057536A1 (en) 2016-09-20 2018-03-29 Google Llc Bot requesting permission for accessing data
US10015124B2 (en) * 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
WO2018057541A1 (en) 2016-09-20 2018-03-29 Google Llc Suggested responses based on message stickers
US10531227B2 (en) 2016-10-19 2020-01-07 Google Llc Time-delimited action suggestion system
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
US10446144B2 (en) * 2016-11-21 2019-10-15 Google Llc Providing prompt in an automated dialog session based on selected content of prior automated dialog session
US10146768B2 (en) 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
US10891485B2 (en) 2017-05-16 2021-01-12 Google Llc Image archival based on image categories
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
TWI651714B (zh) * 2017-12-22 2019-02-21 隆宸星股份有限公司 語音選項選擇系統與方法以及使用其之智慧型機器人
KR102661340B1 (ko) 2018-09-21 2024-04-30 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11553063B2 (en) * 2018-12-07 2023-01-10 Google Llc System and method for selecting and providing available actions from one or more computer applications to a user
CN113330512A (zh) * 2018-12-28 2021-08-31 谷歌有限责任公司 根据选择的建议向自动化助理补充语音输入
EP3891731B1 (en) * 2019-02-12 2024-04-03 Google LLC Directing a vehicle client device to use on-device functionality
KR20200129346A (ko) * 2019-05-08 2020-11-18 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US10996925B2 (en) 2019-05-09 2021-05-04 Google Llc Automated assistant suggestions for third-party vehicle computing devices with restricted architecture
KR102208387B1 (ko) * 2020-03-10 2021-01-28 주식회사 엘솔루 음성 대화 재구성 방법 및 장치
CN114007117B (zh) * 2020-07-28 2023-03-21 华为技术有限公司 一种控件显示方法和设备
CN112115282A (zh) * 2020-09-17 2020-12-22 北京达佳互联信息技术有限公司 基于搜索的问答方法、装置、设备及存储介质
US11657817B2 (en) 2020-10-16 2023-05-23 Google Llc Suggesting an alternative interface when environmental interference is expected to inhibit certain automated assistant interactions
WO2023244212A1 (en) * 2022-06-14 2023-12-21 Google Llc Providing a recommendation for selection of a user interface element of a user interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120084312A1 (en) * 2010-10-01 2012-04-05 Google Inc. Choosing recognized text from a background environment
KR20120125377A (ko) * 2010-02-15 2012-11-14 퀄컴 인코포레이티드 사용자-입력된 정보를 수신하여 실행하는 장치 및 방법들
US8543397B1 (en) * 2012-10-11 2013-09-24 Google Inc. Mobile device voice activation
US20130346450A1 (en) * 2012-06-26 2013-12-26 Google Inc. System and method for detecting and integrating with native applications enabled for web-based storage

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244609A (ja) 1999-02-23 2000-09-08 Omron Corp 話者状況適応型音声対話装置及び発券装置
JP2002259114A (ja) 2001-03-05 2002-09-13 Nec Corp 音声認識コンピュータシステム
JP2002278591A (ja) 2001-03-22 2002-09-27 Sharp Corp 情報処理装置および情報処理方法、並びに、プログラム記録媒体
US7167832B2 (en) 2001-10-15 2007-01-23 At&T Corp. Method for dialog management
JP4223832B2 (ja) 2003-02-25 2009-02-12 富士通株式会社 適応型音声対話システム及び方法
JP2004272363A (ja) 2003-03-05 2004-09-30 Canon Inc 音声入出力装置
US20050054381A1 (en) 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
DE10348408A1 (de) 2003-10-14 2005-05-19 Daimlerchrysler Ag Nutzeradaptive Dialogunterstützung für Sprachdialogsysteme
JP4156563B2 (ja) 2004-06-07 2008-09-24 株式会社デンソー 単語列認識装置
US9224394B2 (en) * 2009-03-24 2015-12-29 Sirius Xm Connected Vehicle Services Inc Service oriented speech recognition for in-vehicle automated interaction and in-vehicle user interfaces requiring minimal cognitive driver processing for same
US7672931B2 (en) * 2005-06-30 2010-03-02 Microsoft Corporation Searching for content using voice search queries
EP1922340B1 (en) * 2005-08-08 2016-12-28 Arkema Inc. Polymerization of fluoropolymers using non-fluorinated surfactants
TWI277948B (en) * 2005-09-02 2007-04-01 Delta Electronics Inc Method and system for template inquiry dialogue system
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7657493B2 (en) 2006-09-28 2010-02-02 Microsoft Corporation Recommendation system that identifies a valuable user action by mining data supplied by a plurality of users to find a correlation that suggests one or more actions for notification
EP2045798B1 (en) * 2007-03-29 2014-12-03 Panasonic Intellectual Property Corporation of America Keyword extracting device
US8650030B2 (en) * 2007-04-02 2014-02-11 Google Inc. Location based responses to telephone requests
US9978365B2 (en) * 2008-10-31 2018-05-22 Nokia Technologies Oy Method and system for providing a voice interface
EP2351021B1 (en) * 2008-11-10 2017-09-06 Google, Inc. Determining an operating mode based on the orientation of a mobile device
US20110099507A1 (en) * 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
US8650210B1 (en) 2010-02-09 2014-02-11 Google Inc. Identifying non-search actions based on a search query
US8234111B2 (en) * 2010-06-14 2012-07-31 Google Inc. Speech and noise models for speech recognition
US8473289B2 (en) * 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US9405848B2 (en) * 2010-09-15 2016-08-02 Vcvc Iii Llc Recommending mobile device activities
US20130066634A1 (en) * 2011-03-16 2013-03-14 Qualcomm Incorporated Automated Conversation Assistance
JP5673330B2 (ja) 2011-04-25 2015-02-18 株式会社デンソー 音声入力装置
US9043350B2 (en) * 2011-09-22 2015-05-26 Microsoft Technology Licensing, Llc Providing topic based search guidance
US8930393B1 (en) 2011-10-05 2015-01-06 Google Inc. Referent based search suggestions
WO2013052866A2 (en) 2011-10-05 2013-04-11 Google Inc. Semantic selection and purpose facilitation
KR102022318B1 (ko) 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US20140046891A1 (en) * 2012-01-25 2014-02-13 Sarah Banas Sapient or Sentient Artificial Intelligence
CN104115147B (zh) 2012-02-16 2018-06-29 微软技术许可有限责任公司 位置感知应用搜索
US20130325839A1 (en) * 2012-03-05 2013-12-05 TeleCommunication Communication Systems, Inc. Single Search Box Global
US8719025B2 (en) * 2012-05-14 2014-05-06 International Business Machines Corporation Contextual voice query dilation to improve spoken web searching
US9799328B2 (en) * 2012-08-03 2017-10-24 Veveo, Inc. Method for using pauses detected in speech input to assist in interpreting the input during conversational interaction for information retrieval
US9268462B2 (en) 2012-08-14 2016-02-23 Google Inc. External action suggestions in search results
KR102081925B1 (ko) 2012-08-29 2020-02-26 엘지전자 주식회사 디스플레이 디바이스 및 스피치 검색 방법
US9547647B2 (en) * 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9734151B2 (en) * 2012-10-31 2017-08-15 Tivo Solutions Inc. Method and system for voice based media search
KR20140089876A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 대화형 인터페이스 장치 및 그의 제어 방법
JP6122642B2 (ja) 2013-01-10 2017-04-26 株式会社Ｎｔｔドコモ 機能実行システム及び発話例出力方法
BR112015018905B1 (pt) * 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US20140280289A1 (en) * 2013-03-12 2014-09-18 Microsoft Corporation Autosuggestions based on user history
US9361885B2 (en) * 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
JP2014203207A (ja) 2013-04-03 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9892729B2 (en) * 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
US9483565B2 (en) 2013-06-27 2016-11-01 Google Inc. Associating a task with a user based on user selection of a query suggestion
US8990079B1 (en) * 2013-12-15 2015-03-24 Zanavox Automatic calibration of command-detection thresholds
US8849675B1 (en) 2013-12-18 2014-09-30 Google Inc. Suggested query constructor for voice actions
US9489171B2 (en) * 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9378740B1 (en) * 2014-09-30 2016-06-28 Amazon Technologies, Inc. Command suggestions during automatic speech recognition
US9646611B2 (en) * 2014-11-06 2017-05-09 Microsoft Technology Licensing, Llc Context-based actions
US10504509B2 (en) 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120125377A (ko) * 2010-02-15 2012-11-14 퀄컴 인코포레이티드 사용자-입력된 정보를 수신하여 실행하는 장치 및 방법들
US20120084312A1 (en) * 2010-10-01 2012-04-05 Google Inc. Choosing recognized text from a background environment
US20130346450A1 (en) * 2012-06-26 2013-12-26 Google Inc. System and method for detecting and integrating with native applications enabled for web-based storage
US8543397B1 (en) * 2012-10-11 2013-09-24 Google Inc. Mobile device voice activation

Also Published As

Publication number Publication date
CN107430626B (zh) 2019-11-08
EP3262636B1 (en) 2018-08-01
CN110851470A (zh) 2020-02-28
KR102369953B1 (ko) 2022-03-04
JP2018523144A (ja) 2018-08-16
CN107430626A (zh) 2017-12-01
WO2016191540A1 (en) 2016-12-01
GB2553936A (en) 2018-03-21
JP6993466B2 (ja) 2022-01-13
GB2553936B (en) 2020-09-23
CN110851470B (zh) 2024-03-01
EP3262636A1 (en) 2018-01-03
US20160350304A1 (en) 2016-12-01
US20240144924A1 (en) 2024-05-02
US20200027448A1 (en) 2020-01-23
KR102036786B1 (ko) 2019-11-26
US11238851B2 (en) 2022-02-01
US20220157302A1 (en) 2022-05-19
EP3404654A1 (en) 2018-11-21
US10504509B2 (en) 2019-12-10
JP2020144932A (ja) 2020-09-10
JP6437669B2 (ja) 2018-12-12
GB201715688D0 (en) 2017-11-15
US11869489B2 (en) 2024-01-09
DE112016000986T5 (de) 2017-11-16
KR20170117590A (ko) 2017-10-23
KR101870934B1 (ko) 2018-06-25
JP2019050019A (ja) 2019-03-28
KR20180072845A (ko) 2018-06-29
JP6710740B2 (ja) 2020-06-17
EP3404654B1 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
KR102036786B1 (ko) 제안되는 보이스 기반의 액션 쿼리들을 제공
CA2970725C (en) Headless task completion within digital personal assistants
TWI566107B (zh) 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US11626115B2 (en) Voice to text conversion based on third-party agent content
KR20240006719A (ko) 인간 사용자를 대신하여 대화형 음성 응답(ivr) 트리 자동 탐색
US20220215179A1 (en) Rendering content using a content agent and/or stored content parameter(s)

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right