JP6799082B2 - 音声アクション発見可能性システム - Google Patents
音声アクション発見可能性システム Download PDFInfo
- Publication number
- JP6799082B2 JP6799082B2 JP2018562608A JP2018562608A JP6799082B2 JP 6799082 B2 JP6799082 B2 JP 6799082B2 JP 2018562608 A JP2018562608 A JP 2018562608A JP 2018562608 A JP2018562608 A JP 2018562608A JP 6799082 B2 JP6799082 B2 JP 6799082B2
- Authority
- JP
- Japan
- Prior art keywords
- discoverability
- user device
- voice action
- voice
- software application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims description 788
- 230000000694 effects Effects 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 44
- 230000001960 triggered effect Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 description 48
- 238000012790 confirmation Methods 0.000 description 20
- 238000013518 transcription Methods 0.000 description 15
- 230000035897 transcription Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000005202 decontamination Methods 0.000 description 2
- 230000003588 decontaminative effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- VCUFZILGIRCDQQ-KRWDZBQOSA-N N-[[(5S)-2-oxo-3-(2-oxo-3H-1,3-benzoxazol-6-yl)-1,3-oxazolidin-5-yl]methyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C1O[C@H](CN1C1=CC2=C(NC(O2)=O)C=C1)CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F VCUFZILGIRCDQQ-KRWDZBQOSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/72—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Description
本出願は、その開示全体が参照により組み込まれている、2016年6月6日に出願した米国特許出願第15/173,823号の継続出願であり、その優先権を主張するものである。
新しい音声アクションに関する発見可能性の例を定義するデータを音声アクションシステムによって受信するステップであって、発見可能性の例を定義するデータが、ソフトウェアアプリケーションのステータスが指定されたコンテキストを満たすときに新しい音声アクションを実行するようにソフトウェアアプリケーションをトリガするトリガ用語のうちの1つまたは複数を含む、ステップと、
ソフトウェアアプリケーションに関する発見可能性の例の要求を、ソフトウェアアプリケーションがインストールされているユーザデバイスから音声アクションシステムによって受信するステップと、
要求に応答して、発見可能性の例を定義するデータをユーザデバイスに音声アクションシステムによって提供するステップであって、ユーザデバイスが、少なくとも発見可能性の例を定義するデータに基づいて、ソフトウェアアプリケーションのステータスが指定されたコンテキストを満たすときにトリガ用語のうちの1つまたは複数についての通知を提供するように構成される、ステップとを含む、コンピュータによって実施される方法。
要求に応答して、内容に対応するデータをユーザデバイスに音声アクションシステムによって提供するステップであって、ユーザデバイスが、少なくとも内容に対応するデータに基づいて、ソフトウェアアプリケーションのステータスが指定されたコンテキストを満たすときにトリガ用語のうちの1つまたは複数についての通知として内容を提示するように構成される、ステップとを含む例1のコンピュータによって実施される方法。
1つまたは複数の一意の候補の発見可能性の例の中からの特定の候補の発見可能性の例の選択を示すデータを音声アクションシステムによって受信するステップと、
要求に応答して、特定の候補の発見可能性の例を定義するデータをユーザデバイスに音声アクションシステムによって提供するステップであって、ユーザデバイスが、少なくとも特定の候補の発見可能性の例を定義するデータに基づいて、ソフトウェアアプリケーションのステータスが指定されたコンテキストを満たすときに特定の候補の発見可能性の例に対応するトリガ用語のうちの1つまたは複数についての通知を提供するように構成される、ステップとを含む例1または2のコンピュータによって実施される方法。
ソフトウェアアプリケーションのステータスを示すデータに基づいて、音声アクションシステムによって、ソフトウェアアプリケーションのステータスが指定されたコンテキストを満たすと判定するステップと、
ソフトウェアアプリケーションのステータスが指定されたコンテキストを満たすと判定することに応じて、発見可能性の例を定義するデータをユーザデバイスに音声アクションシステムによって提供するステップであって、ユーザデバイスが、少なくとも発見可能性の例を定義するデータに基づいて、発見可能性の例を受信し、発見可能性の例を受信することに応じてトリガ用語のうちの1つまたは複数についての通知を提供するように構成される、ステップとを含む例1から3のうちの1つのコンピュータによって実施される方法。
第2の新しい音声アクションに関する第2の発見可能性の例を定義するデータを音声アクションシステムによって受信するステップであって、第2の発見可能性の例を定義するデータが、ソフトウェアアプリケーションのステータスが指定されたコンテキストを満たすときに第2の新しい音声アクションを実行するようにソフトウェアアプリケーションをトリガするトリガ用語のうちの1つまたは複数を含む、ステップと、
要求に応答して、第2の発見可能性の例を定義するデータをユーザデバイスに音声アクションシステムによって提供するステップであって、ユーザデバイスが、少なくとも第2の発見可能性の例を定義するデータに基づいて、ソフトウェアアプリケーションのステータスが指定されたコンテキストを満たすときに、新しい音声アクションを実行するようにソフトウェアアプリケーションをトリガするトリガ用語のうちの1つまたは複数についての、および第2の新しい音声アクションを実行するようにソフトウェアアプリケーションをトリガするトリガ用語のうちの1つまたは複数についての通知を提供するように構成される、ステップとを含む例1から8のうちの1つのコンピュータによって実施される方法。
ソフトウェアアプリケーションのステータスが2つ以上の異なる音声アクションの各々に関して指定されたコンテキストを満たすと判定することと、
2つ以上の異なる音声アクションに関して定義される発見可能性の例を特定することであって、発見可能性の例の各々が、2つ以上の異なる音声アクションのうちの1つを実行するようにソフトウェアアプリケーションをトリガする1つまたは複数のトリガ用語を含む、特定することと、
発見可能性の例のサブセットを選択することと、
サブセットに含まれる発見可能性の例の各々の1つまたは複数のトリガ用語の通知を提供することとを行うように構成される例1から14のうちの1つのコンピュータによって実施される方法。
2つ以上の異なる音声アクションに関して定義される発見可能性の例をランク付けすることと、
少なくともランク付けに基づいて発見可能性の例のサブセットを選択することとを含む例15のコンピュータによって実施される方法。
2つ以上の異なる音声アクションの各々に関して指定されたコンテキストとの2つ以上の異なる音声アクションの各々の関連性を決定することと、
2つ以上の異なる音声アクションの各々に関して指定されたコンテキストとの2つ以上の異なる音声アクションの各々の決定された関連性に少なくとも基づいて、発見可能性の例のサブセットを選択することとを含む例15のコンピュータによって実施される方法。
ソフトウェアアプリケーションのステータスが2つ以上の異なる音声アクションの各々に関して指定されたコンテキストを満たすときのユーザデバイスにおける過去のユーザのアクティビティを示す情報にアクセスすることと、
ソフトウェアアプリケーションのステータスが2つ以上の異なる音声アクションの各々に関して指定されたコンテキストを満たすときのユーザデバイスにおける過去のユーザのアクティビティを示すアクセスされた情報に少なくとも基づいて、発見可能性の例のサブセットを選択することとを含む例15のコンピュータによって実施される方法。
101a〜101n アプリケーション開発者
102a〜102n 端末
104 ユーザデバイス
105 ユーザ
110 アプリケーション音声アクションデータベース
120 OS音声アクションデータベース
130 音声認識エンジン
140 コンテキスト分析エンジン
150 音声アクションセレクタ
160 発見可能性例セレクタ
170 音声アクション発見可能性例データベース
180 アプリケーションメタデータバックエンド
190 アプリケーションインターフェース
200 音声アクションシステム
201 アプリケーション開発者
202 端末
210 確認エンジン
215 確認基準
220 発見可能性例受け入れエンジン
235 音声アクション発見可能性例データベース
300 音声アクションシステム
304 ユーザデバイス
305 ユーザ
310 アプリケーションメタデータバックエンド
330 音声認識エンジン
340 コンテキスト分析エンジン
350 マッチャ
360 曖昧性除去エンジン
370 ユーザアクティビティ履歴
380 フォーマットエンジン
390 ユーザデバイス情報
400 プロセス
Claims (18)
- 新しい音声アクションを実行するようにソフトウェアアプリケーションをトリガするトリガ用語を指定するデータと、前記新しい音声アクションがトリガされ得るときの前記ソフトウェアアプリケーションのステータスを指定するコンテキストとを、アプリケーション開発者の端末から音声アクションシステムによって受信するステップと、
前記新しい音声アクションに関する発見可能性の例を、前記アプリケーション開発者の端末から前記音声アクションシステムによって受信するステップであって、前記発見可能性の例が、前記ソフトウェアアプリケーションのステータスが前記指定されたコンテキストを満たすときに前記新しい音声アクションを実行するように前記ソフトウェアアプリケーションをトリガする前記トリガ用語のうちの1つまたは複数を含む、ステップと、
前記ソフトウェアアプリケーションに関する発見可能性の例の要求を、前記ソフトウェアアプリケーションがインストールされているユーザデバイスから前記音声アクションシステムによって受信するステップと、
前記ユーザデバイスのコンテキスト情報を前記音声アクションシステムによって受信するステップであって、前記コンテキスト情報が、前記ユーザデバイスにインストールされた前記ソフトウェアアプリケーションのステータスと、前記ユーザデバイスのステータスとを示す、ステップと、
前記要求に応答して、前記受信したコンテキスト情報を解釈することによって決定されたコンテキストに関連付けられる発見可能性の例を前記ユーザデバイスに前記音声アクションシステムによって提供するステップとを含む、コンピュータによって実施される方法。 - 前記トリガ用語のうちの前記1つまたは複数についての通知としてユーザデバイスにおいて提示可能な発見可能性の例を、前記アプリケーション開発者の前記端末から前記音声アクションシステムによって受信するステップを含み、前記ユーザデバイスが、少なくとも前記提示可能な発見可能性の例に基づいて、前記ソフトウェアアプリケーションのステータスが前記指定されたコンテキストを満たすときに前記トリガ用語のうちの前記1つまたは複数についての通知として前記提示可能な発見可能性の例を提示するように構成される、請求項1に記載のコンピュータによって実施される方法。
- 前記新しい音声アクションに関する1つまたは複数の一意の候補の発見可能性の例を前記音声アクションシステムによって生成するステップであって、前記1つまたは複数の一意の候補の発見可能性の例の各々が、前記トリガ用語のうちの1つまたは複数を含む、ステップと、
前記1つまたは複数の一意の候補の発見可能性の例の中からの特定の候補の発見可能性の例の選択を示すデータを、前記アプリケーション開発者の前記端末から前記音声アクションシステムによって受信するステップとを含み、
前記ユーザデバイスが、少なくとも前記特定の候補の発見可能性の例に基づいて、前記ソフトウェアアプリケーションのステータスが前記指定されたコンテキストを満たすときに前記特定の候補の発見可能性の例に対応する前記トリガ用語のうちの前記1つまたは複数についての通知として、前記特定の候補の発見可能性の例を提供するように構成される、請求項1に記載のコンピュータによって実施される方法。 - 前記ソフトウェアアプリケーションのステータスを示すデータを、前記ソフトウェアアプリケーションがインストールされている前記ユーザデバイスから前記音声アクションシステムによって受信するステップと、
前記ソフトウェアアプリケーションの前記ステータスを示す前記データに基づいて、前記音声アクションシステムによって、前記ソフトウェアアプリケーションの前記ステータスが前記指定されたコンテキストを満たすと判定するステップと、
前記ソフトウェアアプリケーションの前記ステータスが前記指定されたコンテキストを満たすと判定することに応じて、前記発見可能性の例を前記ユーザデバイスに前記音声アクションシステムによって提供するステップであって、前記ユーザデバイスが、少なくとも前記発見可能性の例に基づいて、前記発見可能性の例を受信し、前記発見可能性の例を受信することに応じて前記トリガ用語のうちの前記1つまたは複数についての通知として、前記発見可能性の例を提供するように構成される、ステップとを含む請求項1に記載のコンピュータによって実施される方法。 - 前記指定されたコンテキストが、前記ソフトウェアアプリケーションが特定のモードで動作していることを示す請求項1に記載のコンピュータによって実施される方法。
- 前記指定されたコンテキストが、前記ソフトウェアアプリケーションがインストールされているユーザデバイスのフォアグラウンドで前記ソフトウェアアプリケーションが動作していることを示す請求項1に記載のコンピュータによって実施される方法。
- 前記指定されたコンテキストが、前記ソフトウェアアプリケーションがインストールされているユーザデバイスのバックグラウンドで前記ソフトウェアアプリケーションが動作していることを示す請求項1に記載のコンピュータによって実施される方法。
- (i)第2の新しい音声アクションを実行するように前記ソフトウェアアプリケーションをトリガするトリガ用語と(ii)前記指定されたコンテキストとを指定するデータを、前記アプリケーション開発者の端末から前記音声アクションシステムによって受信するステップと、
前記第2の新しい音声アクションに関する第2の発見可能性の例を、前記アプリケーション開発者の端末から前記音声アクションシステムによって受信するステップであって、前記第2の発見可能性の例が、前記ソフトウェアアプリケーションのステータスが前記指定されたコンテキストを満たすときに前記第2の新しい音声アクションを実行するように前記ソフトウェアアプリケーションをトリガする前記トリガ用語のうちの1つまたは複数を含む、ステップと、
前記要求に応答して、前記第2の発見可能性の例を前記ユーザデバイスに前記音声アクションシステムによって提供するステップであって、前記ユーザデバイスが、少なくとも前記第2の発見可能性の例に基づいて、前記ソフトウェアアプリケーションのステータスが前記指定されたコンテキストを満たすときに、前記新しい音声アクションを実行するように前記ソフトウェアアプリケーションをトリガする前記トリガ用語のうちの前記1つまたは複数についての、および前記第2の新しい音声アクションを実行するように前記ソフトウェアアプリケーションをトリガする前記トリガ用語のうちの前記1つまたは複数についての通知として、前記第2の発見可能性の例を提供するように構成される、ステップとを含む請求項1に記載のコンピュータによって実施される方法。 - 前記音声アクションを実行するように前記ソフトウェアアプリケーションをトリガするトリガ用語の通知を要求するユーザ入力を前記ユーザデバイスにおいて検出することに応じて前記ソフトウェアアプリケーションのステータスが決定される請求項1に記載のコンピュータによって実施される方法。
- 前記ソフトウェアアプリケーションのステータスが変わったと判定することに応じて前記ソフトウェアアプリケーションのステータスが決定される請求項1に記載のコンピュータによって実施される方法。
- 前記ソフトウェアアプリケーションが前記ユーザデバイスにおいて起動されたと判定することに応じて前記ソフトウェアアプリケーションのステータスが決定される請求項1に記載のコンピュータによって実施される方法。
- 前記音声アクションシステムにおいて、前記発見可能性の例をデータベースに記憶するステップであって、前記データベースが、前記新しい音声アクションとは異なる音声アクションに関する発見可能性の例を含む、ステップを含む請求項1に記載のコンピュータによって実施される方法。
- 前記ユーザデバイスが、
前記ソフトウェアアプリケーションのステータスが2つ以上の異なる音声アクションの各々に関して指定されたコンテキストを満たすと判定することと、
前記2つ以上の異なる音声アクションに関して定義される発見可能性の例を特定することであって、前記発見可能性の例の各々が、前記2つ以上の異なる音声アクションのうちの1つを実行するように前記ソフトウェアアプリケーションをトリガする1つまたは複数のトリガ用語を含む、特定することと、
前記特定された発見可能性の例から、1つまたは複数の発見可能性の例を選択することと、
前記1つまたは複数の前記発見可能性の例の各々の前記1つまたは複数のトリガ用語の通知を提供することとを行うように構成される請求項1に記載のコンピュータによって実施される方法。 - 前記1つまたは複数の発見可能性の例を選択することが、
前記2つ以上の異なる音声アクションに関して定義される前記発見可能性の例をランク付けするステップと、
少なくとも前記ランク付けに基づいて前記1つまたは複数の発見可能性の例を選択するステップとを含む請求項13に記載のコンピュータによって実施される方法。 - 前記1つまたは複数の発見可能性の例を選択することが、
前記ユーザデバイスのステータスとの前記2つ以上の異なる音声アクションの各々の関連性を決定するステップと、
前記決定された関連性に従うランク付けに少なくとも基づいて、前記1つまたは複数の発見可能性の例を選択するステップとを含む請求項13に記載のコンピュータによって実施される方法。 - 前記1つまたは複数の発見可能性の例を選択することが、
前記ソフトウェアアプリケーションの前記ステータスが前記2つ以上の異なる音声アクションの各々に関して指定された前記コンテキストを満たすときの前記ユーザデバイスにおける過去のユーザのアクティビティを示す情報にアクセスするステップと、
前記ソフトウェアアプリケーションの前記ステータスが前記2つ以上の異なる音声アクションの各々に関して指定された前記コンテキストを満たすときの前記ユーザデバイスにおける前記過去のユーザのアクティビティを示すアクセスされた情報に少なくとも基づいて、前記過去のユーザのアクティビティと同じ音声アクションに関する1つまたは複数の発見可能性の例を選択するステップとを含む請求項13に記載のコンピュータによって実施される方法。 - 1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータによって実行されるときに前記1つまたは複数のコンピュータに
新しい音声アクションを実行するようにソフトウェアアプリケーションをトリガするトリガ用語を指定するデータと、前記新しい音声アクションがトリガされ得るときの前記ソフトウェアアプリケーションのステータスを指定するコンテキストとを、アプリケーション開発者の端末から音声アクションシステムによって受信する動作、
前記新しい音声アクションに関する発見可能性の例を、前記アプリケーション開発者の端末から前記音声アクションシステムによって受信する動作であって、前記発見可能性の例が、前記ソフトウェアアプリケーションのステータスが前記指定されたコンテキストを満たすときに前記新しい音声アクションを実行するように前記ソフトウェアアプリケーションをトリガする前記トリガ用語のうちの1つまたは複数を含む、動作、
前記ソフトウェアアプリケーションに関する発見可能性の例の要求を、前記ソフトウェアアプリケーションがインストールされているユーザデバイスから前記音声アクションシステムによって受信する動作、
前記ユーザデバイスのコンテキスト情報を前記音声アクションシステムによって受信する動作であって、前記コンテキスト情報が、前記ユーザデバイスにインストールされた前記ソフトウェアアプリケーションのステータスと、前記ユーザデバイスのステータスとを示す、動作、および
前記要求に応答して、前記受信したコンテキスト情報を解釈することによって決定されたコンテキストに関連付けられる発見可能性の例を前記ユーザデバイスに前記音声アクションシステムによって提供する動作を含む動作を実行させるように動作可能である命令を記憶する1つまたは複数のストレージデバイスとを含むシステム。 - 1つまたは複数のコンピュータによって実行され得る命令を含むソフトウェアを記憶する非一時的コンピュータ可読ストレージデバイスであって、前記命令が、そのように実行されると、前記1つまたは複数のコンピュータに
新しい音声アクションを実行するようにソフトウェアアプリケーションをトリガするトリガ用語を指定するデータと、前記新しい音声アクションがトリガされ得るときの前記ソフトウェアアプリケーションのステータスを指定するコンテキストとを、アプリケーション開発者の端末から音声アクションシステムによって受信する動作と、
前記新しい音声アクションに関する発見可能性の例を、前記アプリケーション開発者の端末から前記音声アクションシステムによって受信する動作であって、前記発見可能性の例が、前記ソフトウェアアプリケーションのステータスが前記指定されたコンテキストを満たすときに前記新しい音声アクションを実行するように前記ソフトウェアアプリケーションをトリガする前記トリガ用語のうちの1つまたは複数を含む、動作と、
前記ソフトウェアアプリケーションに関する発見可能性の例の要求を、前記ソフトウェアアプリケーションがインストールされているユーザデバイスから前記音声アクションシステムによって受信する動作と、
前記ユーザデバイスのコンテキスト情報を前記音声アクションシステムによって受信する動作であって、前記コンテキスト情報が、前記ユーザデバイスにインストールされた前記ソフトウェアアプリケーションのステータスと、前記ユーザデバイスのステータスとを示す、動作と、
前記要求に応答して、前記受信したコンテキスト情報を解釈することによって決定されたコンテキストに関連付けられる発見可能性の例を前記ユーザデバイスに前記音声アクションシステムによって提供する動作とを含む動作を実行させる、非一時的コンピュータ可読ストレージデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/173,823 | 2016-06-06 | ||
US15/173,823 US10049670B2 (en) | 2016-06-06 | 2016-06-06 | Providing voice action discoverability example for trigger term |
PCT/US2016/069268 WO2017213707A1 (en) | 2016-06-06 | 2016-12-29 | Voice action discoverability system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019523930A JP2019523930A (ja) | 2019-08-29 |
JP6799082B2 true JP6799082B2 (ja) | 2020-12-09 |
Family
ID=57838540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018562608A Active JP6799082B2 (ja) | 2016-06-06 | 2016-12-29 | 音声アクション発見可能性システム |
Country Status (8)
Country | Link |
---|---|
US (3) | US10049670B2 (ja) |
EP (1) | EP3465413A1 (ja) |
JP (1) | JP6799082B2 (ja) |
KR (2) | KR102273095B1 (ja) |
CN (2) | CN107464561B (ja) |
DE (2) | DE102016125508B4 (ja) |
GB (1) | GB2551232B (ja) |
WO (1) | WO2017213707A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10049670B2 (en) * | 2016-06-06 | 2018-08-14 | Google Llc | Providing voice action discoverability example for trigger term |
US20180188896A1 (en) * | 2016-12-31 | 2018-07-05 | Entefy Inc. | Real-time context generation and blended input framework for morphing user interface manipulation and navigation |
CN108231076A (zh) * | 2018-01-04 | 2018-06-29 | 广州视源电子科技股份有限公司 | 一种语音控制方法、装置、设备及存储介质 |
US11145291B2 (en) * | 2018-01-31 | 2021-10-12 | Microsoft Technology Licensing, Llc | Training natural language system with generated dialogues |
US10861440B2 (en) * | 2018-02-05 | 2020-12-08 | Microsoft Technology Licensing, Llc | Utterance annotation user interface |
KR102508863B1 (ko) * | 2018-03-19 | 2023-03-10 | 삼성전자 주식회사 | 전자 장치 및 상기 전자 장치로부터 수신된 데이터를 처리하는 서버 |
US11133001B2 (en) * | 2018-03-20 | 2021-09-28 | Microsoft Technology Licensing, Llc | Generating dialogue events for natural language system |
KR20190130376A (ko) * | 2018-05-14 | 2019-11-22 | 삼성전자주식회사 | 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법 |
KR20220118564A (ko) * | 2018-11-21 | 2022-08-25 | 구글 엘엘씨 | 서로 다른 데이터 소스들에 대한 질의의 응답들의 통합 |
EP3942399B1 (en) * | 2019-05-06 | 2024-04-10 | Google LLC | Automated assistant for generating, in response to a request from a user, application input content using application data from other sources |
WO2020246975A1 (en) * | 2019-06-05 | 2020-12-10 | Google Llc | Action validation for digital assistant-based applications |
US20200388280A1 (en) | 2019-06-05 | 2020-12-10 | Google Llc | Action validation for digital assistant-based applications |
CN110390935B (zh) * | 2019-07-15 | 2021-12-31 | 百度在线网络技术(北京)有限公司 | 语音交互方法和装置 |
CN110674338B (zh) * | 2019-09-27 | 2022-11-01 | 百度在线网络技术(北京)有限公司 | 语音技能推荐方法、装置、设备及存储介质 |
CN112581946A (zh) * | 2019-09-29 | 2021-03-30 | 百度在线网络技术(北京)有限公司 | 语音控制方法、装置、电子设备和可读存储介质 |
CN111124347B (zh) * | 2019-12-03 | 2023-05-26 | 杭州蓦然认知科技有限公司 | 一种聚合形成交互引擎簇的方法、装置 |
JP2021093051A (ja) * | 2019-12-12 | 2021-06-17 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、及び制御方法 |
US11462220B2 (en) * | 2020-03-04 | 2022-10-04 | Accenture Global Solutions Limited | Infrastructure automation platform to assist in performing actions in response to tasks |
KR20230021556A (ko) * | 2020-06-09 | 2023-02-14 | 구글 엘엘씨 | 시각적 컨텐츠로부터 대화형 오디오 트랙 생성 |
CN111968631B (zh) * | 2020-06-29 | 2023-10-10 | 百度在线网络技术(北京)有限公司 | 智能设备的交互方法、装置、设备及存储介质 |
US11558546B2 (en) | 2020-11-24 | 2023-01-17 | Google Llc | Conditional camera control via automated assistant commands |
CN112579036A (zh) * | 2020-12-17 | 2021-03-30 | 南方电网深圳数字电网研究院有限公司 | 语音输入的报告设计器实现方法、系统、设备及存储介质 |
KR20230023212A (ko) * | 2021-08-10 | 2023-02-17 | 삼성전자주식회사 | 상태 변경에 따라 음성 명령 처리 결과를 출력하는 전자 장치 및 그의 동작 방법 |
Family Cites Families (79)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5388198A (en) * | 1992-04-16 | 1995-02-07 | Symantec Corporation | Proactive presentation of automating features to a computer user |
US6505160B1 (en) * | 1995-07-27 | 2003-01-07 | Digimarc Corporation | Connected audio and other media objects |
US6298324B1 (en) * | 1998-01-05 | 2001-10-02 | Microsoft Corporation | Speech recognition system with changing grammars and grammar help command |
US6085159A (en) * | 1998-03-26 | 2000-07-04 | International Business Machines Corporation | Displaying voice commands with multiple variables |
US6233559B1 (en) * | 1998-04-01 | 2001-05-15 | Motorola, Inc. | Speech control of multiple applications using applets |
US6012030A (en) * | 1998-04-21 | 2000-01-04 | Nortel Networks Corporation | Management of speech and audio prompts in multimodal interfaces |
US6308157B1 (en) * | 1999-06-08 | 2001-10-23 | International Business Machines Corp. | Method and apparatus for providing an event-based “What-Can-I-Say?” window |
US7085723B2 (en) * | 2001-01-12 | 2006-08-01 | International Business Machines Corporation | System and method for determining utterance context in a multi-context speech application |
US7324947B2 (en) * | 2001-10-03 | 2008-01-29 | Promptu Systems Corporation | Global speech user interface |
JP4107093B2 (ja) | 2003-01-30 | 2008-06-25 | 株式会社日立製作所 | 対話型端末装置及び対話アプリケーション提供方法 |
US20050114140A1 (en) * | 2003-11-26 | 2005-05-26 | Brackett Charles C. | Method and apparatus for contextual voice cues |
US20130238991A1 (en) * | 2004-10-27 | 2013-09-12 | Searete Llc | Enhanced Contextual User Assistance |
US20080229198A1 (en) * | 2004-09-30 | 2008-09-18 | Searete Llc, A Limited Liability Corporaiton Of The State Of Delaware | Electronically providing user assistance |
JP4670331B2 (ja) * | 2004-11-30 | 2011-04-13 | 富士ゼロックス株式会社 | 音声ガイドシステムおよびその音声ガイド方法 |
US7606953B2 (en) * | 2005-02-25 | 2009-10-20 | Microsoft Corporation | Method and system for generating context-aware content from source content associated with a computing device |
JP2006301967A (ja) * | 2005-04-20 | 2006-11-02 | Sony Computer Entertainment Inc | 会話支援装置 |
US7991607B2 (en) * | 2005-06-27 | 2011-08-02 | Microsoft Corporation | Translation and capture architecture for output of conversational utterances |
US8694322B2 (en) * | 2005-08-05 | 2014-04-08 | Microsoft Corporation | Selective confirmation for execution of a voice activated user interface |
US20070135096A1 (en) * | 2005-12-14 | 2007-06-14 | Symbol Technologies, Inc. | Interactive voice browsing server for mobile devices on wireless networks |
US8311836B2 (en) | 2006-03-13 | 2012-11-13 | Nuance Communications, Inc. | Dynamic help including available speech commands from content contained within speech grammars |
US8977255B2 (en) * | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8019606B2 (en) * | 2007-06-29 | 2011-09-13 | Microsoft Corporation | Identification and selection of a software application via speech |
US8165886B1 (en) * | 2007-10-04 | 2012-04-24 | Great Northern Research LLC | Speech interface system and method for control and interaction with applications on a computing system |
US8151192B2 (en) * | 2008-02-01 | 2012-04-03 | Microsoft Corporation | Context sensitive help |
US9626968B2 (en) * | 2008-06-25 | 2017-04-18 | Verint Systems Ltd. | System and method for context sensitive inference in a speech processing system |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10540976B2 (en) * | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
KR101622111B1 (ko) * | 2009-12-11 | 2016-05-18 | 삼성전자 주식회사 | 대화 시스템 및 그의 대화 방법 |
US8688453B1 (en) * | 2011-02-28 | 2014-04-01 | Nuance Communications, Inc. | Intent mining via analysis of utterances |
JP5601419B2 (ja) * | 2011-03-25 | 2014-10-08 | 三菱電機株式会社 | エレベーターの呼び登録装置 |
EP3392876A1 (en) * | 2011-09-30 | 2018-10-24 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US8452597B2 (en) * | 2011-09-30 | 2013-05-28 | Google Inc. | Systems and methods for continual speech recognition and detection in mobile computing devices |
US8799635B2 (en) * | 2012-01-26 | 2014-08-05 | International Business Machines Corporation | Intelligent application recommendation feature |
EP2639792A1 (en) | 2012-03-16 | 2013-09-18 | France Télécom | Voice control of applications by associating user input with action-context idendifier pairs |
US8744771B2 (en) * | 2012-03-26 | 2014-06-03 | Navteq B.V. | Reverse natural guidance |
US9275411B2 (en) | 2012-05-23 | 2016-03-01 | Google Inc. | Customized voice action system |
KR20130133629A (ko) * | 2012-05-29 | 2013-12-09 | 삼성전자주식회사 | 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법 |
KR20130140423A (ko) * | 2012-06-14 | 2013-12-24 | 삼성전자주식회사 | 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법 |
CN102831894B (zh) * | 2012-08-09 | 2014-07-09 | 华为终端有限公司 | 指令处理方法、装置和系统 |
CN103591947B (zh) * | 2012-08-13 | 2016-12-28 | 百度在线网络技术(北京)有限公司 | 移动终端的语音后台导航方法及移动终端 |
KR102070196B1 (ko) * | 2012-09-20 | 2020-01-30 | 삼성전자 주식회사 | 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치 |
US8977961B2 (en) * | 2012-10-16 | 2015-03-10 | Cellco Partnership | Gesture based context-sensitive functionality |
US9275642B2 (en) * | 2012-11-13 | 2016-03-01 | Unified Computer Intelligence Corporation | Voice-operated internet-ready ubiquitous computing device and method thereof |
US9085303B2 (en) * | 2012-11-15 | 2015-07-21 | Sri International | Vehicle personal assistant |
US9659298B2 (en) * | 2012-12-11 | 2017-05-23 | Nuance Communications, Inc. | Systems and methods for informing virtual agent recommendation |
CN103902629B (zh) * | 2012-12-28 | 2017-09-29 | 联想(北京)有限公司 | 利用语音提供操作帮助的电子设备和方法 |
KR20140089861A (ko) * | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
JP6122642B2 (ja) * | 2013-01-10 | 2017-04-26 | 株式会社Nttドコモ | 機能実行システム及び発話例出力方法 |
US9384732B2 (en) * | 2013-03-14 | 2016-07-05 | Microsoft Technology Licensing, Llc | Voice command definitions used in launching application with a command |
US9123330B1 (en) * | 2013-05-01 | 2015-09-01 | Google Inc. | Large-scale speaker identification |
CN112989840A (zh) * | 2013-08-30 | 2021-06-18 | 英特尔公司 | 用于虚拟个人助理的可扩展上下文感知的自然语言交互 |
US20150079943A1 (en) * | 2013-09-19 | 2015-03-19 | Aegis Mobility, Inc. | Restricting functionality of protected devices |
US9697522B2 (en) | 2013-11-01 | 2017-07-04 | Plantronics, Inc. | Interactive device registration, setup and use |
US9094453B2 (en) * | 2013-11-06 | 2015-07-28 | Google Technology Holdings LLC | Method and apparatus for associating mobile devices using audio signature detection |
US9257133B1 (en) * | 2013-11-26 | 2016-02-09 | Amazon Technologies, Inc. | Secure input to a computing device |
US8862467B1 (en) * | 2013-12-11 | 2014-10-14 | Google Inc. | Contextual speech recognition |
US8849675B1 (en) * | 2013-12-18 | 2014-09-30 | Google Inc. | Suggested query constructor for voice actions |
US9741343B1 (en) * | 2013-12-19 | 2017-08-22 | Amazon Technologies, Inc. | Voice interaction application selection |
US9361005B2 (en) * | 2013-12-27 | 2016-06-07 | Rovi Guides, Inc. | Methods and systems for selecting modes based on the level of engagement of a user |
US8938394B1 (en) * | 2014-01-09 | 2015-01-20 | Google Inc. | Audio triggers based on context |
US9582246B2 (en) * | 2014-03-04 | 2017-02-28 | Microsoft Technology Licensing, Llc | Voice-command suggestions based on computer context |
US11209897B2 (en) * | 2014-04-25 | 2021-12-28 | Lenovo (Singapore) Pte. Ltd. | Strengthening prediction confidence and command priority using natural user interface (NUI) inputs |
US9639854B2 (en) | 2014-06-26 | 2017-05-02 | Nuance Communications, Inc. | Voice-controlled information exchange platform, such as for providing information to supplement advertising |
CN104217719A (zh) * | 2014-09-03 | 2014-12-17 | 深圳如果技术有限公司 | 一种触发处理方法 |
EP3201770B1 (en) * | 2014-09-30 | 2020-06-03 | Nuance Communications, Inc. | Methods and apparatus for module arbitration |
US9666185B2 (en) * | 2014-10-06 | 2017-05-30 | Nuance Communications, Inc. | Automatic data-driven dialog discovery system |
US9646611B2 (en) * | 2014-11-06 | 2017-05-09 | Microsoft Technology Licensing, Llc | Context-based actions |
US10203933B2 (en) * | 2014-11-06 | 2019-02-12 | Microsoft Technology Licensing, Llc | Context-based command surfacing |
US9916431B2 (en) * | 2015-01-15 | 2018-03-13 | Qualcomm Incorporated | Context-based access verification |
US10250641B2 (en) * | 2015-01-27 | 2019-04-02 | Sri International | Natural language dialog-based security help agent for network administrator |
CN106157955A (zh) * | 2015-03-30 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 一种语音控制方法及装置 |
US9472196B1 (en) * | 2015-04-22 | 2016-10-18 | Google Inc. | Developer voice actions system |
US10388280B2 (en) * | 2016-01-27 | 2019-08-20 | Motorola Mobility Llc | Method and apparatus for managing multiple voice operation trigger phrases |
KR20160022326A (ko) * | 2016-02-04 | 2016-02-29 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
US9922648B2 (en) * | 2016-03-01 | 2018-03-20 | Google Llc | Developer voice actions system |
US10049670B2 (en) * | 2016-06-06 | 2018-08-14 | Google Llc | Providing voice action discoverability example for trigger term |
US9691384B1 (en) * | 2016-08-19 | 2017-06-27 | Google Inc. | Voice action biasing system |
US10600418B2 (en) * | 2016-12-07 | 2020-03-24 | Google Llc | Voice to text conversion based on third-party agent content |
-
2016
- 2016-06-06 US US15/173,823 patent/US10049670B2/en active Active
- 2016-12-19 GB GB1621600.4A patent/GB2551232B/en active Active
- 2016-12-22 DE DE102016125508.4A patent/DE102016125508B4/de active Active
- 2016-12-22 DE DE202016107300.6U patent/DE202016107300U1/de active Active
- 2016-12-29 WO PCT/US2016/069268 patent/WO2017213707A1/en unknown
- 2016-12-29 EP EP16828889.2A patent/EP3465413A1/en not_active Withdrawn
- 2016-12-29 JP JP2018562608A patent/JP6799082B2/ja active Active
- 2016-12-29 KR KR1020217005450A patent/KR102273095B1/ko active IP Right Grant
- 2016-12-29 KR KR1020187037683A patent/KR102223016B1/ko active IP Right Grant
- 2016-12-30 CN CN201611259927.2A patent/CN107464561B/zh active Active
- 2016-12-30 CN CN202110677138.5A patent/CN113571058B/zh active Active
-
2018
- 2018-08-13 US US16/101,940 patent/US10741183B2/en active Active
-
2020
- 2020-07-23 US US16/936,935 patent/US11929075B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
GB2551232B (en) | 2019-03-13 |
US20200357411A1 (en) | 2020-11-12 |
DE202016107300U1 (de) | 2017-09-08 |
EP3465413A1 (en) | 2019-04-10 |
US10049670B2 (en) | 2018-08-14 |
KR20210024224A (ko) | 2021-03-04 |
KR20190011286A (ko) | 2019-02-01 |
DE102016125508A1 (de) | 2017-12-07 |
GB2551232A (en) | 2017-12-13 |
WO2017213707A1 (en) | 2017-12-14 |
CN107464561A (zh) | 2017-12-12 |
US11929075B2 (en) | 2024-03-12 |
CN107464561B (zh) | 2021-06-29 |
JP2019523930A (ja) | 2019-08-29 |
KR102223016B1 (ko) | 2021-03-04 |
KR102273095B1 (ko) | 2021-07-05 |
GB201621600D0 (en) | 2017-02-01 |
CN113571058B (zh) | 2022-11-11 |
CN113571058A (zh) | 2021-10-29 |
DE102016125508B4 (de) | 2022-03-10 |
US20170352352A1 (en) | 2017-12-07 |
US20190103114A1 (en) | 2019-04-04 |
US10741183B2 (en) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6799082B2 (ja) | 音声アクション発見可能性システム | |
US11321116B2 (en) | Systems and methods for integrating third party services with a digital assistant | |
US11720635B2 (en) | Providing command bundle suggestions for an automated assistant | |
US20220221959A1 (en) | Annotations in software applications for invoking dialog system functions | |
US10089982B2 (en) | Voice action biasing system | |
JP6704450B2 (ja) | 開発者ボイスアクションシステム | |
AU2015210460B2 (en) | Speech recognition repair using contextual information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6799082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |