JP6285883B2 - バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 - Google Patents
バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 Download PDFInfo
- Publication number
- JP6285883B2 JP6285883B2 JP2015025813A JP2015025813A JP6285883B2 JP 6285883 B2 JP6285883 B2 JP 6285883B2 JP 2015025813 A JP2015025813 A JP 2015025813A JP 2015025813 A JP2015025813 A JP 2015025813A JP 6285883 B2 JP6285883 B2 JP 6285883B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- context
- context information
- input
- virtual assistant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title description 27
- 238000000034 method Methods 0.000 claims description 112
- 230000004044 response Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 18
- 230000001755 vocal effect Effects 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 57
- 230000015654 memory Effects 0.000 description 44
- 238000004891 communication Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 23
- 230000007246 mechanism Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 238000003058 natural language processing Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 13
- 230000003993 interaction Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 239000003795 chemical substances by application Substances 0.000 description 10
- 238000005352 clarification Methods 0.000 description 10
- 230000010365 information processing Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000009795 derivation Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005111 flow chemistry technique Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 235000008216 herbs Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
- Digital Computer Display Output (AREA)
- Input From Keyboards Or The Like (AREA)
Description
本出願は、2009年6月5日に出願された“Contextual Voice Commands”と題する米国実用特許出願第12/479,477号、代理人整理番号P7393US1、の一部継続出願として優先権を主張するものであり、その全ての開示が参考としてここに援用される。
●スピーチ認識:ボイス入力を受け取り、そしてその解釈の候補を、例えば、「彼女にコールする(call her)」、「カラー(collar)」及び「ハーブにコールする(call Herb)」というテキストで発生する。コンテクストを使用して、スピーチ認識モジュールによりどのワード及びフレーズが考慮されるか、それらがどのようにランクされるか、そしてどれが考慮のためのスレッシュホールドより高いとして受け容れられるかについて、制限することができる。例えば、ユーザのアドレス帳は、アザーワイズ・ランゲッジ・ジェネラル・モデル・オブ・スピーチ(otherwise language-general model of speech)に個人名を追加して、それらの名前を認識できるようにし、プライオリティを与えることができる。
●自然言語処理:テキストをパーズし、そしてワードをシンタクティック及びセマンティックロールに関連付け、例えば、ユーザ入力が代名詞「彼女(her)」で指された個人へ電話コールをしようとしていると決定し、そしてその個人のための特定のデータ表現を見出す。例えば、テキストメッセージングアプリケーションのコンテクストは、「彼女(her)」の解釈を「私がテキストで会話している個人(the person with whom I am conversing in text」を意味するように制限する上で助けとなる。
●タスクフロー処理:ユーザタスク、タスクステップ、及びタスクでアシストするのに使用されるタスクパラメータ、例えば、「彼女(her)」と称される個人に対してどの電話番号を使用するか、識別する。この場合も、テキストメッセージングアプリケーションのコンテクストは、電話番号の解釈を、テキストメッセージング会話に対して現在又は最近使用された番号をシステムが使用しなければならないことを指示するように制限することができる。
●ダイアログ発生:例えば、ユーザの意図を「OK、私は、レベッカに彼女の電話でコールする・・・(OK, I’ll call Rebecca on her mobile…)」という応答で言い換えるために、タスクに関するユーザとの会話の一部分としてアシスタント応答を発生する。冗舌及び非公式トーンのレベルは、コンテクスト情報により案内できる選択である。
●口頭及び/又はテキスト形態の人間の言語入力を解釈する;
●ユーザの意図の表現を、ステップ及び/又はパラメータを伴うタスクの表現のような実行可能な形態へ運用できるようにする;
●プログラム、方法、サービス、API、等を呼び出すことにより、タスク表現を実行する;及び
●出力応答を言語及び/又はグラフィック形態でユーザへ発生する。
●2011年1月10日に出願された“Intelligent Automated Assistant”と題する米国実用特許出願第12/987,982号、代理人整理番号P10575US1;
●2010年1月18日に出願された“Intelligent Automated Assistant”と題する米国仮特許出願第61/295,774号、代理人整理番号SIRIP003P;
●2006年9月8日に出願された“Method And Apparatus for Building an Intelligent Automated Assistant”と題する米国特許出願第11/518,292号;及び
●2009年6月12日に出願された“System and Method for Semantic Auto-Completion”と題する米国仮特許出願第61/186,414号。
一般的に、ここに開示するバーチャルアシスタント技術は、ハードウェア、又はソフトウェアとハードウェアの組み合わせで実施される。例えば、それらは、オペレーティングシステムカーネル、個別のユーザプロセス、ネットワークアプリケーションへと結合されたライブラリパッケージ、特別に構成されたマシン、及び/又はネットワークインターフェイスカードにおいて実施される。特定の実施形態では、ここに開示する技術は、オペレーティングシステムのようなソフトウェア、又はオペレーティングシステムで実行されるアプリケーションで実施される。
●入力/出力装置及び/又はセンサを伴うコンピュータ装置1402。このようなコンピュータ装置1402にクライアントコンポーネントが配備される。少なくとも1つの実施形態は、ネットワーク1361を経てサービス1340との通信を可能にするためにウェブブラウザ1304A又は他のソフトウェアアプリケーションを使用して具現化される。入力及び出力チャンネルは、例えば、視覚及び/又は聴覚チャンネルを含めて、いずれの形式でもよい。例えば、一実施形態では、本発明のシステムは、音声ベースの通信方法を使用して具現化され、ウェブブラウザの等効物がスピーチで駆動されそして出力にスピーチを使用する盲人のためのアシスタントの実施形態を許す。
●クライアントが移動装置1304Bのアプリケーションとして具現化されるI/O及びセンサを伴う移動装置1406。これは、移動電話、スマートホン、パーソナルデジタルアシスタント、タブレット装置、ネットワークゲームコンソール、等を含むが、これに限定されない。
●クライアントが機器1304Cの埋め込まれたアプリケーションとして具現化されるI/O及びセンサを伴う消費者向け機器1410。
●クライアントが埋め込まれたシステムアプリケーション1304Dとして具現化されるダッシュボードインターフェイス及びセンサを伴う自動車及び他の乗物1414。これは、カーナビゲーションシステム、音声コントロールシステム、カー内娯楽システム、等を含むが、これに限定されない。
●クライアントが装置常駐アプリケーション1304Eとして具現化されるルーターのようなネットワークコンピューティング装置1418、又はネットワークに常駐し又はネットワークとインターフェイスする他の装置。
●アシスタントの実施形態がe−メールモダリティサーバー1426を経て接続されるe−メールクライアント。e−メールモダリティサーバー1426は、例えば、アシスタントへ送られるe−メールメッセージとしてユーザから入力を取り出し、そしてアシスタントからの出力を応答としてユーザへ送る通信ブリッジとして働く。
●アシスタントの実施形態がメッセージングモダリティサーバー1430を経て接続されるインスタントメッセージングクライアント1428。メッセージングモダリティサーバー1430は、アシスタントへ送られるメッセージとしてユーザから入力を取り出し、そしてアシスタントからの出力を応答メッセージとしてユーザへ送る通信ブリッジとして働く。
●アシスタントの実施形態がボイスオーバーインターネットプロトコル(VoIP)モダリティサーバー1430を経て接続される音声電話1432。VoIPモダリティサーバー1430は、アシスタントへ話された音声としてユーザから入力を取り出し、そしてアシスタントからの出力を、例えば、応答において同期スピーチとしてユーザへ送る通信ブリッジとして働く。
●完全な語彙2758b;
●言語パターンレコグナイザーの完全なライブラリ2760b;
●短期パーソナルメモリのマスターバージョン2752b;
●長期パーソナルメモリのマスターバージョン2754b。
●語彙のサブセット2758a;
●言語パターンレコグナイザーのライブラリのサブセット2760a;
●短期パーソナルメモリのキャッシュ2752a;
●長期パーソナルメモリのキャッシュ2754a。
●言語インタープリター2770;
●ダイアログフロープロセッサ2780;
●出力プロセッサ2790;
●ドメインエンティティデータベース2772;
●タスクフローモデル2786;
●サービスオーケストレーション2782;
●サービス能力モデル2788。
図27を参照すれば、バーチャルアシスタント1002の特定の実施形態の簡単なブロック図が示されている。上述した関連米国実用特許出願に詳細に述べられたように、バーチャルアシスタント1002の異なる実施形態は、バーチャルアシスタント技術に一般的に関連した種々の異なる形式のオペレーション、ファンクション及び/又は特徴を提供するように構成され、設計され、及び/又は動作することができる。更に、ここに詳細に述べるように、ここに開示するバーチャルアシスタント1002の種々のオペレーション、ファンクション及び/又は特徴の多くは、バーチャルアシスタント1002と対話する異なるエンティティに対して異なる形式の効果及び/又は利益を可能にし又は提供することができる。図27に示す実施形態は、上述したハードウェアアーキテクチャーのいずれか、又は異なる形式のハードウェアアーキテクチャーを使用して具現化される。
●製品及びサービスを発見し、見出し、選択し、購入し、予約し又は注文するために、インターネットを経て利用できるデータ及びサービスのアプリケーションを自動化する。これらのデータ及びサービスを利用するプロセスを自動化するのに加えて、バーチャルアシスタント1002は、データ及びサービスの多数のソースを一度に組み合わせて使用することもできる。例えば、多数のレビューサイトからの製品に関する情報を結合し、複数の代理店から価格及び入手性をチェックし、彼等の場所及び時間制限をチェックし、そしてユーザが自分の問題に対する個人的解答を見出す上で助けをする。
●行うべきこと(映画、催し物、演奏、展覧会、ショー及びアトラクションを含むが、これに限定されない)、行くべき場所(旅行の行先、ホテル及び他の滞在場所、目印及び関心のある他の場所、等を含むが、これに限定されない)、飲食場所(レストラン、バー、等)、会合時刻及び場所、及びインターネットで見つけることのできる他の娯楽源又は社会的関わりについて発見し、調査し、選択し、予約し、その他、学習するためにインターネットを経て利用できるデータ及びサービスの使用を自動化する。
●(位置ベースのサーチを含めて)サーチを含むグラフィックユーザインターフェイスで専用アプリケーションによって与えられる自然言語ダイアログを経てアプリケーション及びサービスを動作すること;ナビゲーション(マップ及び方向);データベースルックアップ(名前又は他のプロパティで仕事又は人を見つける、等);天気の状態及び予報を得ること;市場品目の価格又は金融取引の状態のチェック;交通又はフライト状態の監視;カレンダー及びスケジュールへのアクセス及びその更新;催促、警告、タスク及びプロジェクトの管理;e−メール又は他のメッセージングプラットホームを経ての通信;及びローカル又はリモート位置からの装置の動作(例えば、電話をダイヤルし、照明及び温度をコントロールし、ホームセキュリティ装置をコントロールし、音楽又はビデオを再生する、等)を可能にする。一実施形態において、バーチャルアシスタント1002は、装置で利用できる多数のファンクション及びアプリケーションを開始し、動作し、コントロールするのに使用される。
●活動、製品、サービス、娯楽源、時間管理、或いは自然言語の双方向ダイアログ並びにデータ及びサービスへの自動アクセスから利益が得られる他の種類の推奨サービスに対して個人的な推薦を与える。
●移動電話及びタブレットのような移動装置、マイクロホン付きのコンピュータ、Bluetooth(登録商標)ヘッドセット、電話システムを経ての自動車用音声コントロールシステム、応答サービスにおけるレコーディング、一体的メッセージングサービスにおけるオーディオボイスメール、時計付きラジオのような音声入力をもつ消費者向けアプリケーション、電話局、家庭用娯楽コントロールシステム、及びゲームコンソールからの音声入力。
●コンピュータ又は移動装置のキーボード、リモートコントロール又は他の消費者向け電子装置のキーパッド、アシスタントに送られるe−メールメッセージ、アシスタントへ送られるインスタントメッセージ又は同様のショートメッセージ、マルチユーザゲーム環境においてプレーヤから受け取られるテキスト、及びメッセージフィードにおいてストリーミングされるテキストからのテキスト入力。
●センサ又は位置ベースのシステムから到来する位置情報。例えば、移動電話におけるグローバルポジショニングシステム(GPS)及び支援型GPS(A−GPS)を含む。一実施形態では、位置情報は、明確なユーザ入力と合成される。一実施形態では、本発明のシステムは、ユーザが家にいるときを、既知の住所情報及び現在位置決定に基づき検出することができる。このように、ユーザが家の外ではなく家にいるときに関心のある情報の形式、並びにユーザが家にいるかどうかに基づきユーザに代わって呼び出さねばならないサービス及びアクションの形式に関して幾つかの推測がなされる。
●クライアント装置の時計からの時間情報。これは、例えば、ローカル時間及び時間ゾーンを指示する電話又は他のクライアント装置からの時間を含む。加えて、時間は、例えば、「1時間で(in an hour)」及び「今夜(tonight)」のようなフレーズを解釈するためのユーザの要求に関して使用される。
●自動車コントロールシステムのような移動又はハンドヘルド装置又は埋め込み型システムからのコンパス、加速度計、ジャイロスコープ、及び/又は進行速度データ、並びに他のセンサデータ。これも、リモートコントロールから機器及びゲームコンソールへの装置ポジショニングデータを含む。
●グラフィックユーザインターフェイス(GUI)を有する装置のGUIからのクリック及びメニュー選択及び他のイベント。更なる例は、タッチスクリーンへのタッチを含む。
●アラームクロック、カレンダーアラート、価格変更トリガー、位置トリガー、サーバーから装置へのプッシュ通知、等のセンサ及び他のデータ駆動トリガーからのイベント。
●出力装置及び/又は装置のユーザインターフェイスへ直接送られるテキスト出力;
●e−メールを経てユーザに送られるテキスト及びグラフィック;
●メッセージングサービスを経てユーザへ送られるテキスト及びグラフィック;
●以下の1つ以上(又はその組み合わせ)を含むスピーチ出力;
○同期スピーチ
○サンプルスピーチ
○記録メッセージ
●写真、リッチテキスト、ビデオ、サウンド及びハイパーリンクを伴う情報のグラフィックレイアウト(例えば、ウェブブラウザにおいてレンダリングされたコンテンツ);
●装置をターンオン又はオフさせ、サウンドを発し、カラーを変化させ、振動させ、ライトをコントロールさせ、等の装置の物理的アクションをコントロールするアクチュエータ出力;
●マッピングアプリケーションをコールし、電話を音声でダイヤルし、e−メール又はインスタントメッセージを送信し、メディアを再生し、カレンダー、タスクマネージャー及びノートアプリケーション、並びに他のアプリケーションにエントリーする、等の、装置の他のアプリケーションの呼び出し;
●リモートカメラを動作し、車椅子をコントロールし、リモートスピーカで音楽を再生し、リモートディスプレイでビデオを再生し、等の、装置により取り付けられ又はコントロールされる装置への物理的アクションをコントロールするアクチュエータ出力。
●1つ以上のアクティブなオントロジー1050;
●アクティブな入力引き出しコンポーネント2794(クライアント部分2894a及びサーバー部分2794bを含む);
●短期パーソナルメモリコンポーネント2752(マスターバージョン2752b及びキャッシュ2752aを含む);
●長期パーソナルメモリコンポーネント2754(マスターバージョン2754b及びキャッシュ2754aを含み、例えば、パーソナルデータベース1058、アプリケーションの好み及び使用履歴1072、等を含む);
●ドメインモデルコンポーネント2756;
●語彙コンポーネント2758(完全な語彙2758b及びサブセット2758aを含む);
●言語パターンレコグナイザーコンポーネント2760(全ライブラリ2760b及びサブセット2760aを含む);
●言語インタープリターコンポーネント2770;
●ドメインエンティティデータベース2772;
●ダイアログフロープロセッサコンポーネント2780;
●サービスオーケストレーションコンポーネント2782;
●サービスコンポーネント2784;
●タスクフローモデルコンポーネント2786;
●ダイアログフローモデルコンポーネント2787;
●サービスモデルコンポーネント2788;
●出力プロセッサコンポーネント2790。
上述したように、一実施形態において、バーチャルアシスタント1002は、情報処理ファンクションを遂行するために種々のコンテクスト情報を取得して適用する。次の説明で明らかにされるのは:
●バーチャルアシスタント1002により使用するためのコンテクスト情報のソースの範囲;
●コンテクスト情報を表現し、編成し及びサーチするための技術;
●コンテクスト情報でバーチャルアシスタントの多数のファンクションのオペレーションをサポートできるようにする方法;及び
●分散型システムにおいてコンテクスト情報を効率的に取得し、アクセスしそして適用するための方法。
バーチャルアシスタント1002により遂行される情報処理段階全体にわたり、ユーザ入力の考えられる解釈を減少するために多数の異なる種類のコンテクストを使用することができる。例えば、それらは、アプリケーションコンテクスト、パーソナルデータコンテクスト、及び以前のダイアログ履歴を含む。当業者であれば、コンテクストの他のソースも利用できることが明らかであろう。
アプリケーションコンテクスト1060は、ユーザが何かを行うアプリケーション又は同様のソフトウェア状態を指す。例えば、ユーザは、特定の個人とのチャットを行うためにテキストメッセージングアプリケーションを使用することができる。バーチャルアシスタント1002は、テキストメッセージングアプリケーションのユーザインターフェイスに特有のものであるか又はその一部分である必要はない。むしろ、バーチャルアシスタント1002は、多数のアプリケーションからコンテクストを受け取ることができ、各アプリケーションは、バーチャルアシスタント1002に通知するためのそのコンテクストに貢献する。
e−メールメッセージ1751及びそれが表示されるe−メールアプリケーションに関する情報を含むコンテクスト情報を使用して、コマンド2050を解釈する。このコンテクストは、コマンド2050におけるワード“reply”及び“this”の意味を決定し、そして特定のメッセージスレッドにおける特定の受信者に対してe−メール構成処理をどのように設定するか解明するのに使用できる。この場合に、バーチャルアシスタント1002は、コンテクスト情報にアクセスして、“marketing”がジョンアプリコア(John Applecore)という名前の受信者を指すことを決定し、そしてその受信者に対して使用するためのe−メールアドレスを決定することができる。従って、バーチャルアシスタント1002は、ユーザが承認して送信するべくe−メール2052を構成する。このように、バーチャルアシスタント1002は、現在アプリケーションの状態を記述するコンテクスト情報と一緒にユーザ入力に基づいてタスク(e−メールメッセージを構成する)を運用することができる。
●アプリケーションのアイデンティティ;
●アプリケーションにおいて動作される現在オブジェクト(1つ又は複数)、例えば、現在e−メールメッセージ、再生される現在の曲又はプレイリスト又はチャンネル、現在の本又は映画或いは写真、現在のカレンダー日/週/月、現在の催促リスト、現在電話コール、現在テキストメッセージ会話、現在マップ位置、現在ウェブページ又はサーチ問合せ、位置感知アプリケーションのための現在とし又は他の位置、現在の社会的ネットワークプロフィール、或いは現在オブジェクトの他のアプリケーション特有観念;
●現在オブジェクトから抽出できる名前、場所、日付、及び他の識別可能なエンティティ又は値。
コンテクストデータの別のソースは、電話のような装置におけるユーザのパーソナルデータベース1058、例えば、名前及び電話番号を含むアドレス帳である。図14には、一実施形態により名前の明瞭化のためにバーチャルアシスタント1022が促すスクリーンショットの一例が示されている。ここで、ユーザは、「ハーブにコールする(Call Herb)」と言い、バーチャルアシスタント1002は、ユーザがユーザのアドレス帳において一致する連絡先を選択するように促す。従って、アドレス帳は、パーソナルデータコンテクストのソースとして使用される。
●ユーザの連絡先データベース(アドレス帳)・・・名前、電話番号、物理的アドレス、ネットワークアドレス、アカウント識別子、重要な日付に関する情報を含む・・・ユーザが参照する人々、会社、組織、場所、ウェブサイト、及び他のエンティティに関する; ●ユーザ自身の名前、好ましい発音、アドレス、電話番号、等;
●ユーザの親族関係、例えば、母、父、姉妹、家長、等;
●暦上の行事、特別な日の名前、又はユーザが参照する他の名前付きエントリーを含むユーザの暦上のデータ;
●ユーザが参照する行うべきこと、忘れないこと又は獲得することのリストを含むユーザのリマインダー又はタスクリスト;
●ユーザが参照するユーザの音楽ライブラリに関連した曲名、ジャンル、プレイリスト及び他のデータ;
●ユーザのメディアライブラリ内の写真又はビデオ又は他のメディアにおける人々、場所、分類、タグ、ラベル又は他の象徴的名前;
●ユーザのパーソナルライブラリの書籍又は他の文献におけるタイトル、著者、ジャンル又は他の象徴的名前。
コンテクストデータの別のソースは、バーチャルアシスタント1002とのユーザのダイアログ履歴1052である。このような履歴は、例えば、ドメイン、人々、場所、等への参照を含む。図15には、一実施形態によりバーチャルアシスタント1002がダイアログコンテクストを使用してコマンドに対する位置を推測する一例が示されている。スクリーン1551において、ユーザは、先ず、「ニューヨークは何時か(What’s the time in New York)」尋ね、バーチャルアシスタント1002は、それに応答して1552、ニューヨーク市の現在時間を与える。次いで、ユーザは、「どんな天気か(What’s the weather)」尋ねる。バーチャルアシスタント1002は、以前のダイアログ履歴を使用して、天気の質問に意図された位置がダイアログ履歴に述べられた最後の位置であると推測する。それ故、その応答1553は、ニューヨーク市の天気情報を与える。
●ダイアログに述べられた人々;
●ダイアログに述べられた場所及び位置;
●焦点である現在時間フレーム;
●e−メール又はカレンダーのような、焦点である現在アプリケーションドメイン;
●e−メールの読み取り又はカレンダーエントリの生成のような、焦点である現在タスク;
●丁度読み取られたe−メールメッセージ、又は丁度生成されたカレンダーエントリのような、焦点である現在ドメインオブジェクト;
●質問がなされたかどうか、どんな回答が予想されるかのような、ダイアログ又はトランザクションフローの現在状態;
●「うまいイタリアレストラン(good Italian restaurants)」のような、ユーザ要求の履歴;
●返送されたレストランの組のような、ユーザ要求の結果の履歴;
●ダイアログにアシスタントにより使用されるフレーズの履歴;
●「私の母は、レベッカ・リチャードです(my mother is Rebecca Richards)」及び「そのレストランが好きだった(I liked that restaurant)」のような、ユーザによりアシスタントに語られた事実。
一実施形態において、バーチャルアシスタント1002を実行する物理的装置は、1つ以上のセンサを有する。そのようなセンサは、コンテクスト情報のソースをなす。そのような情報は、例えば、次のものを含むが、これに限定されない。
●ユーザの現在位置;
●ユーザの現在位置のローカル時間;
●装置の位置、方向及び動き;
●現在照明レベル、温度及び他の環境測定;
●使用中のマイクロホン及びカメラの特性;
●使用される現在ネットワーク、並びにイーサネット(登録商標)、Wi−Fi及びBluetooth(登録商標)を含む接続されるネットワークのシグネチャー。シグネチャーは、ネットワークアクセスポイントのMACアドレス、指定のIPアドレス、Bluetooth(登録商標)名のような装置識別子、周波数チャンネル、及びワイヤレスネットワークの他の特性を含む。
一実施形態において、種々のアプリケーションに対するユーザの好み及び設定、並びに使用履歴を記述する情報1072は、ユーザの意図又はバーチャルアシスタント1002の他のファンクションを解釈し及び/又は運用するためのコンテクストとして使用される。そのような好み及び履歴1072は、例えば、次のものを含むが、これに限定されない。
●ショートカット、お気に入り、ブックマーク、友人リスト、或いは人々、会社、アドレス、電話番号、場所、ウェブサイト、e−メールメッセージ又は他の基準に関するユーザデータの他の集合;
●装置でなされた最近のコール;
●会話への当事者を含む最近のテキストメッセージ会話;
●マップ又は方向に対する最近の要求;
●最近のウェブサーチ及びURL;
●株アプリケーションにリストされた株;
●最近再生された曲又はビデオ又は他のメディア;
●アラートアプリケーションでセットされたアラームの名前;
●装置におけるアプリケーション又は他のデジタルオブジェクトの名前;
●ユーザの好ましい言語、又はユーザ位置で使用する言語。
一実施形態において、バーチャルアシスタント1002は、バーチャルアシスタント1002とのユーザ対話とは独立して起きる非同期イベントに関連したコンテクストを使用することができる。図22ないし24を参照すれば、一実施形態によりイベントコンテクスト又はアラートコンテクストを与えるイベントが生じた後のバーチャルアシスタント1002のアクチベーションを例示する一例が示されている。この場合、イベントは、図22に示すように、到来するテキストメッセージ2250である。図23において、バーチャルアシスタント1002が呼び出され、テキストメッセージ2250がプロンプト1251に沿って示されている。図24において、ユーザは、コマンド「彼にコールする(call him)」2450を入力する。バーチャルアシスタント1002は、イベントコンテクストを使用して、到来テキストメッセージ2250を送信した個人を意味するように“him”を解釈することによりコマンドを明瞭化する。バーチャルアシスタント1002は、更に、イベントコンテクストを使用して、出て行くコールに対してどの電話番号を使用すべきか決定する。確認メッセージ2451は、コールが発信されることを指示するために表示される。
●到来するテキストメッセージ又はページ;
●到来するe−メールメッセージ;
●到来する電話コール;
●リマインダー通知又はタスクアラート;
●カレンダーアラート;
●アラートクロック、タイマー、又は他の時間ベースのアラート;
●ゲームからのスコア又は他のイベントの通知;
●株価アラートのような金融イベントの通知;
●ニュースフラッシュ又は他の放送通知;
●任意のアプリケーションからのプッシュ通知。
スピーチ入力を解釈するとき、バーチャルアシスタント1002は、スピーチが入力される音響環境も考慮することができる。例えば、静寂なオフィスの騒音プロフィールは、自動車又は公共の場所のものとは異なる。スピーチ認識システムが音響プロフィールデータを識別しそして記憶できる場合には、それらのデータは、コンテクスト情報として与えることもできる。使用中のマイクロホンのプロパティ、現在位置、及び現在ダイアログ状態のような他のコンテクスト情報と合成されるときに、音響コンテクストは、入力を認識しそして解釈する上で助けとなる。
上述したように、バーチャルアシスタント1002は、多数の異なるソースのいずれのコンテクスト情報を使用することもできる。バーチャルアシスタント1002へ使用可能とするようにコンテクストを表現するために多数の異なるメカニズムのいずれを使用することもできる。図8aないし8dには、本発明の種々の実施形態に関連して使用できるようにコンテクスト情報を表現する幾つかの例が示されている。
図8aは、ユーザの現在位置の地理座標のような簡単なプロパティを表わすコンテクスト変数の例801−809を示す。一実施形態において、コンテクスト変数のコアセットに対して現在値を維持することができる。例えば、現在ユーザ、焦点である現在位置、焦点である現在時間フレーム、焦点である現在アプリケーションドメイン、焦点である現在タスク、及び焦点である現在ドメインオブジェクトがある。図8aに示すようなデータ構造は、そのような表現に使用することができる。
●一実施形態において、システムの現在ユーザは、バーチャルアシスタント1002がどのようにしてユーザにアドレスし、そしてユーザの家、仕事、移動電話、等を参照するか分かるように、ある特殊な仕方で表される。
●一実施形態において、人々の中の関係は、バーチャルアシスタント1002が「自分の母」又は「自分の家長の家」のような参照を理解できるように表わされる。
●場所は、名前、街路アドレス、地理座標、等のプロパティを伴うオブジェクトとして表される。
●時間は、普遍的時間、タイムゾーンオフセット、分解能(年、月、日、時間、分又は秒のような)を含むプロパティを伴うオブジェクトとして表される。又、時間オブジェクトは、「今日」、「今週」、「この(今度の)週末」、「次週」、「アニーの誕生日」、等の象徴的時間を表わすこともできる。又、時間オブジェクトは、期間又は時点を表わすこともできる。
●又、コンテクストは、サービス又はアプリケーション又は談話のドメイン、例えば、e−メール、テキストメッセージング、電話、カレンダー、連絡先、写真、ビデオ、マップ、天気、リマインダー、クロック、ウェブブラウザ、フェースブック、パンドラ、等を表わすアプリケーションドメインに関して与えることもできる。現在ドメインは、これらのドメインのどれが焦点であるか指示する。
●又、コンテクストは、ドメイン内で遂行するための1つ以上のタスク又はオペレーションを定義することもできる。例えば、e−メールドメイン内には、e−メールメッセージの読み取り、e−メールのサーチ、新たなe−メールの構成、等のタスクがある。
●ドメインオブジェクトは、種々のドメインに関連したデータオブジェクトである。例えば、e−メールドメインは、e−メールメッセージにおいて動作し、カレンダードメインは、カレンダーイベントにおいて動作し、等々である。
一実施形態において、コンテクスト変数の導出は、情報処理に使用できるように明確に表わされる。コンテクスト情報の導出は、情報を完結し又は検索するためになされる推測のソース及び/又はセットを特徴付けるものである。例えば、図8bに描かれた「個人」コンテクスト値851は、イベントコンテクスト2706から取得した「テキストメッセージドメインオブジェクト」から導出される。コンテクスト値851のこのソースが表現される。
一実施形態において、ユーザの要求の履歴を記憶することができる。一実施形態において、(自然言語処理から導出された)ユーザの意図の深い構造表現の履歴も記憶することができる。これは、バーチャルアシスタント1002が、以前に解釈された入力のコンテクストにおいて新たな入力の意味をとれるようにする。例えば、ユーザが「ニューヨークの天気は?(what is the weather in New York?)」と尋ねた場合に、言語インタープリター2770は、質問を、ニューヨークの位置を参照するものと解釈する。次いで、ユーザが「今週末についてはどうか?(what is it for this weekend?)」と言うと、バーチャルアシスタント1002は、この以前の解釈を参照して、「どうか(what is it)」が「天気はどうか(what is the weather)」を意味すると解釈すべきであると決定する。
一実施形態では、ユーザ要求の結果の履歴をドメインオブジェクトの形態で記憶することができる。例えば、ユーザ要求「うまいイタリアレストランを見つけよ(find me some good Italian restaurants)」は、レストランを表わすドメインオブジェクトのセットを返送する。次いで、ユーザが「アミリオにコールせよ(call Amilio’s)」のようなコマンドを入力すると、バーチャルアシスタント1002は、サーチ結果内の「アミリオ」という名前のレストランについて結果をサーチし、これは、コールできる全ての考えられる場所よりも小さなセットである。
一実施形態において、コンテクスト変数は、オンデマンドで検索又は導出された情報を表現することができる。例えば、現在位置を表わすコンテクスト変数は、アクセスされたとき、APIを呼び出し、APIは、装置から現在位置データを検索し、そして他の処理を行って、例えば、街路アドレスを計算することができる。そのコンテクスト変数の値は、キャッシュポリシーに基づいて、ある期間、維持することができる。
バーチャルアシスタント1002は、多数の異なる解答のいずれかを使用して、情報処理問題を解決するための関連コンテクスト情報をサーチすることができる。異なる形式のサーチは、例えば、次のものを含むが、これに限定されない。
●コンテクスト変数名によるサーチ:要求されたコンテクスト変数の名前が「現在ユーザファーストネーム(current user first name)」のような既知のものである場合には、バーチャルアシスタント1002は、そのインスタンスをサーチすることができる。履歴が保持されている場合には、バーチャルアシスタント1002は、先ず、現在値をサーチし、次いで、一致が見つかるまで初期のデータを調べる。
●コンテクスト変数形式によるサーチ:要求されたコンテクスト変数の形式が「個人」のような既知のものである場合には、バーチャルアシスタント1002は、この形式のコンテクスト変数のインスタンスをサーチすることができる。履歴が保持されている場合には、バーチャルアシスタント1002は、先ず、現在値をサーチし、次いで、一致が見つかるまで初期のデータを調べる。
上述したように、コンテクストは、バーチャルアシスタント1002のオペレーションに関連して種々の計算及び推測に適用することができる。図2は、一実施形態によりバーチャルアシスタント1002における種々の処理段階にコンテクストを使用する方法10を示すフローチャートである。
●ユーザとバーチャルアシスタント1002との間の会話インターフェイスのインターフェイスコントロールフローループを実行する。方法10の少なくとも1回の繰り返しは、会話における1つのプライとして働く。会話インターフェイスは、ユーザ及びアシスタント1002が会話式に前後に発話することにより通信するインターフェイスである。
●バーチャルアシスタント1002のための管理コントロールフローを与える。即ち、この手順は、入力の収集、入力の処理、出力の発生、及びユーザへの出力の提示をコントロールする。
●バーチャルアシスタント1002のコンポーネント間で通信を整合する。即ち、どこで1つのコンポーネントの出力が別のコンポーネントへ供給されるか、及びどこで環境からの全体的入力及び環境へのアクションが生じるか指令する。
●バーチャルアシスタント1002のインスタンスとのユーザセッション、例えば、次の1つ以上であるが、これに限定されない。
○移動装置アプリケーションスタートアップ、例えば、バーチャルアシスタント1002の実施形態を具現化する移動装置アプリケーション;
○コンピュータアプリケーションスタートアップ、例えば、バーチャルアシスタント1002の実施形態を具現化するアプリケーション;
○押圧される移動装置の専用ボタン、例えば、「スピーチ入力ボタン」;
○ヘッドセット、電話ハンドセット又はベースステーション、GPSナビゲーションシステム、消費者向け機器、リモートコントロール、又は支援の呼び出しに関連したボタンを伴う他の装置のような、コンピュータ又は移動装置に取り付けられる周辺装置のボタン;
○ウェブブラウザから、バーチャルアシスタント1002を具現化するウェブサイトへとスタートされるウェブセッション;
○既存のウェブブラウザセッション内から、バーチャルアシスタント1002を具現化するウェブサイトへとスタートされる対話であって、例えば、バーチャルアシスタント1002のサービスが要求される対話;
○バーチャルアシスタント1002の実施形態との通信を仲裁するモダリティサーバー1426へ送信されるe−メールメッセージ;
○バーチャルアシスタント1002の実施形態との通信を仲裁するモダリティサーバー1426へ送信されるテキストメッセージ;
○バーチャルアシスタント1002の実施形態との通信を仲裁するモダリティサーバー1434へ発信される電話コール;
○バーチャルアシスタント1002の実施形態を与えるアプリケーションへ送られるアラート又は通知のようなイベント。
●バーチャルアシスタント1002を与える装置がターンオンされ及び/又はスタートされるとき。
●アクティブなタイプ入力引き出し手順を呼び出すタイプ入力用のインターフェイス; ●アクティブなスピーチ入力引き出し手順を呼び出すスピーチ入力用のインターフェイス;
●アクティブなGUIベースの入力引き出しを呼び出す、メニューから入力を選択するインターフェイス。
図3は、一実施形態によりスピーチ認識を改善するためにスピーチ引き出し及び解釈にコンテクストを使用する方法100を示すフローチャートである。コンテクスト1000は、例えば、音素をワードに一致させる候補仮説の発生、ランキング及びフィルタリングをガイドするためのスピーチ認識の明瞭化に使用される。異なるサーチ認識システムは、発生、ランク及びフィルタの種々の混合を使用するが、コンテクスト1000は、一般的に、任意の段階において仮説スペースを減少するように適用することができる。
●スピーチ対テキストサービス122は、ユーザパーソナルデータベース1058からの語彙を使用して、統計学的言語モデル1029をバイアスすることができる。
●スピーチ対テキストサービス122は、ダイアログ状態コンテクストを使用して、カスタム統計学的言語モデル1029を選択することができる。例えば、イエス/ノー質問を行うときに、統計学的言語モデル1029は、それらのワードを聴取に向かってバイアスするものが選択される。
●スピーチ対テキストサービス122は、現在アプリケーションコンテクストを使用して、関連ワードに向かってバイアスすることができる。例えば、“call her”は、テキストメッセージアプリケーションコンテクストにおいて“collar”より好ましい。というのは、そのようなコンテクストは、コールすることのできる「個人オブジェクト」を与えるからである。
●「パーソナル音響コンテクストデータ」1080は、考えられるSLM1029から選択を行うか、さもなければ、認識された音響コンテクストに対して最適化するようにそれらを同調させるのに使用される。
●使用中のマイクロホン及び/又はカメラのプロパティを記述する「装置センサデータ」1056は、考えられるSLM1029から選択を行うか、さもなければ、認識された音響コンテクストに対して最適化するようそれらを同調させるのに使用される。
●パーソナルデータベース1058、並びにアプリケーション好み及び使用履歴1072からの語彙は、コンテクスト1000として使用される。例えば、メディアのタイトル及びアーチストの名前は、言語モデル1029を同調するのに使用される。
●現在ダイアログ状態、ダイアログ履歴の一部分及びアシスタントメモリ1052は、候補解釈124の発生/フィルタ/ランクをテキスト対スピーチサービス122によってバイアスするのに使用される。例えば、一種のダイアログ状態がイエス/ノー質問を行う。そのような状態のとき、手順100は、それらのワードを聞くことに向かってバイアスするSLM1029を選択するか、又は122でのコンテクスト特有同調においてそれらワードのランク付け及びフィルタリングをバイアスすることができる。
コンテクスト1000は、自然言語処理(NLP)、即ちテキスト入力を、考えられるパーズを表わすセマンティック構造へとパージすること、を容易にするのに使用される。図4は、一実施形態により、言語インタープリター2770で遂行される自然言語処理にコンテクストを使用するための方法を示すフローチャートである。
●他の「アプリケーション好み及び使用履歴」1072、例えば、お気に入りの電話番号リストにあるか、又は最近コールされたか、或いはテキストメッセージ会話又はe−メールスレッドに対する最近の当事者であるHerb;
●パーソナルデータベース1058に言及されたHerb、例えば、父又は兄弟のような親族の名前であるか、又は最近のカレンダー行事にリストされた参加者であるHerb。タスクが電話コールではなくメディアの再生である場合には、メディアタイトル、制作者、等からの名前が制約ソースとなる。
●要求又は結果におけるダイアログの最近のプライ。例えば、図25Aないし25Bを参照して上述したように、Johnからのe−メールをサーチした後、サーチ結果がダイアログコンテクストにまだある状態で、ユーザは、応答を構成することができる。アシスタント1002は、ダイアログコンテクストを使用して、特定のアプリケーションドメインオブジェクトコンテクストを識別することができる。
図5は、一実施形態により、ダイアログフロープロセッサ2780で遂行されるタスクフロー処理にコンテクストを使用する方法を示すフローチャートである。このタスクフロー処理において、図4の方法から発生された候補パーズが、実行可能な運営上のタスク説明を発生するようにランク付けされインスタンス生成される。
ダイアログ応答発生500の間に、アシスタント1002は、ユーザの意図の理解及びそれがタスクにおいてどのように運営されるか言い換えることができる。そのような出力は、例えば、“OK, I’ll call Rebecca on her mobile…”である。これは、アシスタント1002がコール発信のような関連タスク自動化を遂行するのをユーザが許可できるようにする。ダイアログ発生ステップ500において、アシスタント1002は、ユーザの意図の理解を言い換える上で、どれほどの詳細をユーザに返送するか決定する。
●代名詞がコンテクストにより解明されるとき、名前でコールすべき個人を言及する。
●個人がテキストメッセージのような馴染み易いコンテクストから推測されるときは、ファーストネームだけを使用する。
●電話番号がアプリケーション又はパーソナルデータコンテクストから推測されるときには、ダイヤルすべき実際の番号ではなく「移動電話」のような電話番号の象徴的名前を使用する。
種々の実施形態において、バーチャルアシスタント1002においてコンテクスト情報を収集しそして通信するために異なるメカニズムが使用される。例えば、バーチャルアシスタント1002がクライアント/サーバー環境において具現化されて、そのサービスがクライアントとサーバーとの間に分散されるような1つの実施形態において、コンテクスト1000のソースも分散される。
●スタティックコンテクスト情報1000は、コンテクストソースから、バーチャルアシスタント1002を実行する環境又は装置へと一方向に同期される640。コンテクストソースにおいてデータが変化するときに、その変化がバーチャルアシスタント1002へプッシュされる。例えば、アドレス帳は、それが最初に生成され又はイネーブルされるときにバーチャルアシスタント1002に同期される。アドレス帳が変更されるときに、その変化が、直ちに又はバッチ式にバーチャルアシスタント1002にプッシュされる。図7dに示したように、そのような同期640は、ユーザ入力が開始する602前を含めて、いつでも行うことができる。
●一実施形態において、ユーザ入力がスタートすると602、スタティックコンテクストソースは、同期状態についてチェックすることができる。必要に応じて、残りのスタティックコンテクスト情報1000を同期させるプロセスが始まる641。
●ユーザ入力がスタートすると602、あるダイナミックコンテクスト1000が、610及び621と同様に、ロードされる642。コンテクスト1000を消費する手順は、それが必要とするまだ未ロードのコンテクスト情報1000を待機するためにだけ阻止される。
●他のコンテクスト情報1000は、プロセスにより、それが必要とするときに、オンデマンドでロードされる643。
●イベントコンテクスト2706は、イベントが生じるとき、ソースから、バーチャルアシスタント1002を実行する装置へ送られる644。イベントコンテクスト2706を消費するプロセスは、イベントのキャッシュが準備できることだけ待機し、その後、いつでも阻止せずに進行することができる。このようにロードされるイベントコンテクスト2706は、次のいずれかを含む。
●ユーザ入力がスタートする602前にロードされるイベントコンテクスト2706、例えば、未読メッセージ通知。そのような情報は、例えば、同期されたキャッシュを使用して維持することができる。
●ユーザ入力がスタートする602のと同時に又はその後にロードされるイベントコンテクスト2706。例えば、ユーザがバーチャルアシスタント1002と対話する間に、テキストメッセージが到着し、このイベントをアシスタント1002に通知するイベントコンテクストは、アシスタント1002の処理と並列にプッシュすることができる。
●Sync:コンテクスト情報1000は、装置において同期される;
●オンデマンド:コンテクスト情報1000は、それに対するバーチャルアシスタント1002の要求に応答して与えられる;
●プッシュ:コンテクスト情報1000は、装置へプッシュされる。
●T1:アシスタント1002:“Hello Steve, what I can I do for you?”
●T2:ユーザ:“When is my next meeting?”
●T3:アシスタント1002:“Your next meeting is at 1:00pm in the boardroom.”
●T4:[Sound of incoming SMS message]
●T5:ユーザ:“Read me that message.”
●T6:アシスタント1002:“Your message from Johnny says “How about lunch””
●T7:ユーザ:“Tell Johnny I can’t make it today.”
●T8:アシスタント1002:“OK, I’ll tell him.”
61:メモリ
62:CPU
63:プロセッサ
65:メモリ
68:インターフェイス
1000:コンテクスト
1002:バーチャルアシスタント
1050:アクティブオントロジー
1052:ダイアログ履歴及びアシスタントメモリ
1056:装置センサデータ
1058:パーソナルデータベース
1060:現在アプリケーションコンテクスト
1072:アプリケーションの好み及び使用履歴
1080:パーソナル音響コンテクストデータ
1206:入力装置
1207:出力装置
1208:記憶装置
1210:メモリ
1304:クライアント
1340:サービス
1361:ネットワーク
1360:外部サービス
2704:ユーザ入力
2706:事象コンテクスト
2708:ユーザへの出力
2710:他のアクション
2752:短期パーソナルメモリ
2754:長期パーソナルメモリ
2756:ドメインモデル
2758:語彙
2760:言語パターンレコグナイザー
2770:言語インタープリター
2772:ドメインエンティティデータベース
2780:ダイアログフロープロセッサ
2782:サービスオーケストレーション
2784:サービス
2786:タスクフローモデル
2787:ダイアログフローモデル
2788:サービスモデル
2790:出力プロセッサ
2794:能動的入力引き出し
Claims (26)
- 少なくとも1つのプロセッサを有するコンピューティング装置でタスクを遂行するためにユーザ入力を明瞭化するコンピュータプログラムにおいて、前記コンピュータプログラムは、少なくとも1つのプロセッサが、
出力装置がユーザに入力を促すようにさせ、
入力装置を経てユーザ入力を受け取り、
コンテクストソースからコンテクスト情報を受け取り、
第2の複数の候補解釈を生成するために前記コンテクスト情報に基づいて第1の複数の候補解釈におけるワードの意図を明瞭化し、前記第2の複数の候補解釈は前記第1の複数の候補解釈のサブセットであり、
前記コンテクスト情報に基づいて第2の複数の候補解釈を分類し、
前記分類された第2の複数の候補解釈に基づいてユーザの意図の表現を導出する、
ことを含み、
前記導出されたユーザの意図の表現を利用して、少なくとも1つのタスク及び該タスクに対する少なくとも1つのパラメータを識別し、
前記少なくとも1つのパラメータを使用して前記少なくとも1つのタスクを実行して、結果を導出し、
前記導出された結果に基づいてダイアログ応答を発生し、
前記出力装置が前記発生されたダイアログ応答を出力するようにさせる、
という方法を遂行するようにさせるよう構成された、コンピュータプログラム。 - 前記コンテクスト情報は、イベントを記述するデータを含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、ユーザに関する既知の情報を含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、アプリケーションコンテクストを含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、ユーザに関連したパーソナルデータを含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、ユーザに関連したデータベースからのデータを含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、少なくとも1つのセンサから受け取ったデータを含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、アプリケーションの好みを含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、イベントを記述するデータを含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、位置を含む、請求項1に記載のコンピュータプログラム。
- 前記コンテクスト情報は、環境条件を含む、請求項1に記載のコンピュータプログラム。
- タスクを遂行するためにユーザ入力を明瞭化するシステムにおいて、
ユーザに入力を促すように構成された出力装置と、
ユーザの口頭入力を受け取るように構成された入力装置と、
前記出力装置及び入力装置に通信結合された少なくとも1つのプロセッサであって、
コンテクストソースからコンテクスト情報を受け取り、
第2の複数の候補解釈を生成するために前記コンテクスト情報に基づいて第1の複数の候補解釈におけるワードの意図を明瞭化し、前記第2の複数の候補解釈は前記第1の複数の候補解釈のサブセットであり、
前記コンテクスト情報に基づいて第2の複数の候補解釈を分類し、
前記分類された第2の複数の候補解釈に基づいてユーザの意図の表現を導出する、
ことを含み、
前記導出されたユーザの意図の表現を利用して、少なくとも1つのタスク及び該タスクに対する少なくとも1つのパラメータを識別し、
前記少なくとも1つのパラメータを使用して前記少なくとも1つのタスクを実行して、結果を導出し、
前記導出された結果に基づいてダイアログ応答を発生する、
というステップを遂行するように構成された少なくとも1つのプロセッサと、
を備え、
前記出力装置は、更に、前記発生されたダイアログ応答を出力するように構成される、システム。 - 前記コンテクスト情報は、イベントを記述するデータを含む、請求項12に記載のシステム。
- 前記コンテクスト情報は、ユーザに関する既知の情報を含む、請求項12に記載のシステム。
- 前記コンテクスト情報は、アプリケーションコンテクストを含む、請求項12に記載のシステム。
- 前記コンテクスト情報は、ユーザに関連したパーソナルデータを含む、請求項12に記載のシステム。
- 前記コンテクスト情報は、ユーザに関連したデータベースからのデータを含む、請求項12に記載のシステム。
- 前記コンテクスト情報は、少なくとも1つのセンサから受け取ったデータを含む、請求項12に記載のシステム。
- 前記コンテクスト情報は、アプリケーションの好みを含む、請求項12に記載のシステム。
- 前記コンテクスト情報は、イベントを記述するデータを含む、請求項12に記載のシステム。
- 前記コンテクスト情報は、位置を記述するデータを含む、請求項12に記載のシステム。
- 前記出力装置は、会話インターフェイスを経てユーザを促すように構成され、
前記入力装置は、前記会話インターフェイスを経て前記ユーザ口頭入力を受け取るように構成され、
前記少なくとも1つのプロセッサは、前記ユーザ口頭入力をテキスト表現へ変換するように構成される、請求項12に記載のシステム。 - 前記少なくとも1つのプロセッサは、
前記ユーザ口頭入力の複数の候補テキスト解釈を発生し、
前記発生された候補テキスト解釈の少なくともサブセットをランク付けする、
ことにより、前記ユーザ口頭入力をテキスト表現へ変換するように構成され、
前記発生及びランク付けステップの少なくとも1つは、前記受け取ったコンテクスト情報を使用して遂行される、請求項22に記載のシステム。 - 前記受け取ったコンテクスト情報は、
サーバーに記憶されたコンテクスト情報、及び
クライアントに記憶されたコンテクスト情報、
より成るグループから選択された少なくとも1つを含む、請求項12に記載のシステム。 - 前記少なくとも1つのプロセッサは、
初期化ステップの一部分としてスタティックなコンテクスト情報を受け取り、
ユーザ入力を受け取った後に付加的なコンテクスト情報を受け取る、
ことによりコンテクストソースからコンテクスト情報を受け取るように構成される、請求項12に記載のシステム。 - 前記出力装置、入力装置、及び少なくとも1つのプロセッサは、
電話、
スマートホン、
タブレットコンピュータ、
ラップトップコンピュータ、
パーソナルデジタルアシスタント、
デスクトップコンピュータ、
キオスク、
消費者向け電子装置、
消費者向け娯楽装置、
音楽プレーヤ、
カメラ、
テレビジョン、
電子ゲーム機、及び
セットトップボックス、
より成るグループから選択された少なくとも1つのコンポーネントとして具現化される、請求項12に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/250,854 US9858925B2 (en) | 2009-06-05 | 2011-09-30 | Using context information to facilitate processing of commands in a virtual assistant |
US13/250,854 | 2011-09-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012230300A Division JP5698203B2 (ja) | 2011-09-30 | 2012-09-28 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017062372A Division JP6740162B2 (ja) | 2011-09-30 | 2017-03-28 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015122104A JP2015122104A (ja) | 2015-07-02 |
JP6285883B2 true JP6285883B2 (ja) | 2018-02-28 |
Family
ID=47225421
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012230300A Active JP5698203B2 (ja) | 2011-09-30 | 2012-09-28 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2015025813A Active JP6285883B2 (ja) | 2011-09-30 | 2015-02-12 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2017062372A Active JP6740162B2 (ja) | 2011-09-30 | 2017-03-28 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2020125245A Active JP7082645B2 (ja) | 2011-09-30 | 2020-07-22 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2022086561A Active JP7357113B2 (ja) | 2011-09-30 | 2022-05-27 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2023160075A Pending JP2023169360A (ja) | 2011-09-30 | 2023-09-25 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012230300A Active JP5698203B2 (ja) | 2011-09-30 | 2012-09-28 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017062372A Active JP6740162B2 (ja) | 2011-09-30 | 2017-03-28 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2020125245A Active JP7082645B2 (ja) | 2011-09-30 | 2020-07-22 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2022086561A Active JP7357113B2 (ja) | 2011-09-30 | 2022-05-27 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
JP2023160075A Pending JP2023169360A (ja) | 2011-09-30 | 2023-09-25 | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 |
Country Status (12)
Country | Link |
---|---|
EP (3) | EP3200185A1 (ja) |
JP (6) | JP5698203B2 (ja) |
KR (7) | KR101683083B1 (ja) |
CN (1) | CN103226949B (ja) |
AU (1) | AU2012232977A1 (ja) |
BR (1) | BR102012024861B1 (ja) |
CA (2) | CA2791277C (ja) |
DE (1) | DE102012019178A1 (ja) |
GB (1) | GB2495222B (ja) |
MX (1) | MX2012011426A (ja) |
NL (1) | NL2009544B1 (ja) |
RU (1) | RU2542937C2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11113473B2 (en) | 2018-04-02 | 2021-09-07 | SoundHound Inc. | Interpreting expressions having potentially ambiguous meanings in different domains |
Families Citing this family (370)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US8181205B2 (en) | 2002-09-24 | 2012-05-15 | Russ Samuel H | PVR channel and PVR IPG information |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US9728184B2 (en) | 2013-06-18 | 2017-08-08 | Microsoft Technology Licensing, Llc | Restructuring deep neural network acoustic models |
US9589565B2 (en) | 2013-06-21 | 2017-03-07 | Microsoft Technology Licensing, Llc | Environmentally aware dialog policies and response generation |
US9311298B2 (en) | 2013-06-21 | 2016-04-12 | Microsoft Technology Licensing, Llc | Building conversational understanding systems using a toolset |
CN103309618A (zh) | 2013-07-02 | 2013-09-18 | 姜洪明 | 移动操作系统 |
US10776375B2 (en) * | 2013-07-15 | 2020-09-15 | Microsoft Technology Licensing, Llc | Retrieval of attribute values based upon identified entities |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
WO2015030796A1 (en) * | 2013-08-30 | 2015-03-05 | Intel Corporation | Extensible context-aware natural language interactions for virtual personal assistants |
CN104423844B (zh) * | 2013-08-30 | 2019-03-29 | 联想(北京)有限公司 | 一种信息处理方法、装置和电子设备 |
JP2015052743A (ja) * | 2013-09-09 | 2015-03-19 | Necパーソナルコンピュータ株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
US20150074524A1 (en) * | 2013-09-10 | 2015-03-12 | Lenovo (Singapore) Pte. Ltd. | Management of virtual assistant action items |
US9240182B2 (en) * | 2013-09-17 | 2016-01-19 | Qualcomm Incorporated | Method and apparatus for adjusting detection threshold for activating voice assistant function |
US9754591B1 (en) | 2013-11-18 | 2017-09-05 | Amazon Technologies, Inc. | Dialog management context sharing |
US10162813B2 (en) * | 2013-11-21 | 2018-12-25 | Microsoft Technology Licensing, Llc | Dialogue evaluation via multiple hypothesis ranking |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US8862467B1 (en) | 2013-12-11 | 2014-10-14 | Google Inc. | Contextual speech recognition |
CN105874531B (zh) * | 2014-01-06 | 2020-06-26 | 株式会社Ntt都科摩 | 终端设备、服务器设备以及计算机可读记录介质 |
US8938394B1 (en) * | 2014-01-09 | 2015-01-20 | Google Inc. | Audio triggers based on context |
EP3097553B1 (en) * | 2014-01-23 | 2022-06-01 | Nuance Communications, Inc. | Method and apparatus for exploiting language skill information in automatic speech recognition |
CN105934791B (zh) * | 2014-01-31 | 2019-11-22 | 惠普发展公司,有限责任合伙企业 | 语音输入命令 |
US20150234930A1 (en) | 2014-02-19 | 2015-08-20 | Google Inc. | Methods and systems for providing functional extensions with a landing page of a creative |
US9324321B2 (en) | 2014-03-07 | 2016-04-26 | Microsoft Technology Licensing, Llc | Low-footprint adaptation and personalization for a deep neural network |
CN103885596B (zh) * | 2014-03-24 | 2017-05-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9529794B2 (en) | 2014-03-27 | 2016-12-27 | Microsoft Technology Licensing, Llc | Flexible schema for language model customization |
US9710546B2 (en) * | 2014-03-28 | 2017-07-18 | Microsoft Technology Licensing, Llc | Explicit signals personalized search |
DE112014006542B4 (de) | 2014-03-31 | 2024-02-08 | Mitsubishi Electric Corporation | Einrichtung und Verfahren zum Verständnis von einer Benutzerintention |
US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
US9520127B2 (en) | 2014-04-29 | 2016-12-13 | Microsoft Technology Licensing, Llc | Shared hidden layer combination for speech recognition systems |
US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
US10726831B2 (en) * | 2014-05-20 | 2020-07-28 | Amazon Technologies, Inc. | Context interpretation in natural language processing using previous dialog acts |
WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
EP2953374B1 (en) * | 2014-06-02 | 2021-07-28 | Rovio Entertainment Ltd | Control of a computer program |
US10838378B2 (en) | 2014-06-02 | 2020-11-17 | Rovio Entertainment Ltd | Control of a computer program using media content |
US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
US10432742B2 (en) | 2014-06-06 | 2019-10-01 | Google Llc | Proactive environment-based chat information system |
US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
KR102261552B1 (ko) | 2014-06-30 | 2021-06-07 | 삼성전자주식회사 | 음성 명령어 제공 방법 및 이를 지원하는 전자 장치 |
US10015234B2 (en) * | 2014-08-12 | 2018-07-03 | Sony Corporation | Method and system for providing information via an intelligent user interface |
CN104239767B (zh) * | 2014-09-03 | 2018-05-01 | 陈飞 | 基于环境参数对自然语言命令自动补正操作序列以简化使用的装置及方法 |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) * | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
WO2016054230A1 (en) | 2014-10-01 | 2016-04-07 | XBrain, Inc. | Voice and connection platform |
KR101610151B1 (ko) * | 2014-10-17 | 2016-04-08 | 현대자동차 주식회사 | 개인음향모델을 이용한 음성 인식장치 및 방법 |
CN104360897B (zh) * | 2014-10-29 | 2017-09-22 | 百度在线网络技术(北京)有限公司 | 对话处理方法和对话管理系统 |
KR20160056548A (ko) | 2014-11-12 | 2016-05-20 | 삼성전자주식회사 | 질의 응답을 위한 디스플레이 장치 및 방법 |
DE102014224794B4 (de) * | 2014-12-03 | 2024-02-29 | Bayerische Motoren Werke Aktiengesellschaft | Sprachassistenzverfahren für ein Kraftfahrzeug |
US11327711B2 (en) | 2014-12-05 | 2022-05-10 | Microsoft Technology Licensing, Llc | External visual interactions for speech-based devices |
CN111427534B (zh) * | 2014-12-11 | 2023-07-25 | 微软技术许可有限责任公司 | 能够实现可动作的消息传送的虚拟助理系统 |
KR102241289B1 (ko) * | 2014-12-12 | 2021-04-16 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어 방법 |
US9552816B2 (en) * | 2014-12-19 | 2017-01-24 | Amazon Technologies, Inc. | Application focus in speech-based systems |
KR101941804B1 (ko) * | 2014-12-22 | 2019-01-23 | 폭스바겐 악티엔 게젤샤프트 | 손가락 기반 컨트롤 바 및 상기 손가락 기반 컨트롤 바의 사용 |
US9836452B2 (en) * | 2014-12-30 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discriminating ambiguous expressions to enhance user experience |
CN107112016B (zh) * | 2015-01-05 | 2020-12-29 | 谷歌有限责任公司 | 多模态状态循环 |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9865280B2 (en) * | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
CN106020784B (zh) * | 2015-03-18 | 2020-09-08 | 小米科技有限责任公司 | 应用消息显示方法、装置及终端 |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US20160320198A1 (en) * | 2015-04-29 | 2016-11-03 | Ford Global Technologies, Llc | Ride-sharing routing using contextual constraints |
US10114676B2 (en) * | 2015-05-05 | 2018-10-30 | Microsoft Technology Licensing, Llc | Building multimodal collaborative dialogs with task frames |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
RU2614930C2 (ru) * | 2015-06-05 | 2017-03-30 | Закрытое акционерное общество "Лаборатория Касперского" | Система и способ контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружающей среды |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
WO2017003452A1 (en) * | 2015-06-30 | 2017-01-05 | Nuance Communications, Inc. | Method and apparatus for processing user input |
US10249297B2 (en) * | 2015-07-13 | 2019-04-02 | Microsoft Technology Licensing, Llc | Propagating conversational alternatives using delayed hypothesis binding |
DE102015213722B4 (de) * | 2015-07-21 | 2020-01-23 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Spracherkennungssystems in einem Fahrzeug und Spracherkennungssystem |
US10686738B2 (en) * | 2015-07-24 | 2020-06-16 | Facebook, Inc. | Providing personal assistant service via messaging |
CN106469040B (zh) | 2015-08-19 | 2019-06-21 | 华为终端有限公司 | 通信方法、服务器及设备 |
US10339916B2 (en) | 2015-08-31 | 2019-07-02 | Microsoft Technology Licensing, Llc | Generation and application of universal hypothesis ranking model |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10503265B2 (en) * | 2015-09-08 | 2019-12-10 | Microvision, Inc. | Mixed-mode depth detection |
CN105205133A (zh) * | 2015-09-15 | 2015-12-30 | 小米科技有限责任公司 | 信息收集方法和装置 |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10402488B2 (en) * | 2015-11-25 | 2019-09-03 | Semantic Machines, Inc. | Automatic spoken dialogue script discovery |
CN106814639A (zh) * | 2015-11-27 | 2017-06-09 | 富泰华工业(深圳)有限公司 | 语音控制系统及方法 |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
EP3395018A1 (en) | 2015-12-21 | 2018-10-31 | Google LLC | Automatic suggestions for message exchange threads |
EP3395019B1 (en) * | 2015-12-21 | 2022-03-30 | Google LLC | Automatic suggestions and other content for messaging applications |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10049666B2 (en) | 2016-01-06 | 2018-08-14 | Google Llc | Voice recognition system |
WO2017138777A1 (en) | 2016-02-12 | 2017-08-17 | Samsung Electronics Co., Ltd. | Method and electronic device for performing voice based actions |
DE202016107174U1 (de) * | 2016-03-09 | 2017-06-13 | Simone Hajek-Glöckner | Einrichtung zur psychischen Selbstschulung |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US10133612B2 (en) * | 2016-03-17 | 2018-11-20 | Nuance Communications, Inc. | Session processing interaction between two or more virtual assistants |
US10757048B2 (en) | 2016-04-08 | 2020-08-25 | Microsoft Technology Licensing, Llc | Intelligent personal assistant as a contact |
US10158593B2 (en) | 2016-04-08 | 2018-12-18 | Microsoft Technology Licensing, Llc | Proactive intelligent personal assistant |
US10319371B2 (en) * | 2016-05-04 | 2019-06-11 | GM Global Technology Operations LLC | Disambiguation of vehicle speech commands |
US10783178B2 (en) * | 2016-05-17 | 2020-09-22 | Google Llc | Generating a personal database entry for a user based on natural language user interface input of the user and generating output based on the entry in response to further natural language user interface input of the user |
US20170337284A1 (en) * | 2016-05-17 | 2017-11-23 | Google Inc. | Determining and using attributes of message exchange thread participants |
US10263933B2 (en) * | 2016-05-17 | 2019-04-16 | Google Llc | Incorporating selectable application links into message exchange threads |
US10291565B2 (en) * | 2016-05-17 | 2019-05-14 | Google Llc | Incorporating selectable application links into conversations with personal assistant modules |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049670B2 (en) * | 2016-06-06 | 2018-08-14 | Google Llc | Providing voice action discoverability example for trigger term |
US10282218B2 (en) | 2016-06-07 | 2019-05-07 | Google Llc | Nondeterministic task initiation by a personal assistant module |
US10462619B2 (en) * | 2016-06-08 | 2019-10-29 | Google Llc | Providing a personal assistant module with a selectively-traversable state machine |
US10049663B2 (en) * | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
US10490187B2 (en) * | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10474946B2 (en) | 2016-06-24 | 2019-11-12 | Microsoft Technology Licensing, Llc | Situation aware personal assistant |
DE102016212073A1 (de) * | 2016-07-04 | 2018-01-04 | Bayerische Motoren Werke Aktiengesellschaft | Fortbewegungsmittel, Vorrichtung und Verfahren zur Aktivierung einer Empfangsfunktion eines Assistentensystems in einem Fortbewegungsmittel |
CN106250474B (zh) * | 2016-07-29 | 2020-06-23 | Tcl科技集团股份有限公司 | 一种语音控制的处理方法及系统 |
RU2635902C1 (ru) | 2016-08-05 | 2017-11-16 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система отбора обучающих признаков для алгоритма машинного обучения |
US10192551B2 (en) | 2016-08-30 | 2019-01-29 | Google Llc | Using textual input and user state information to generate reply content to present in response to the textual input |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
EP3513308A1 (en) * | 2016-09-16 | 2019-07-24 | Oracle International Corporation | Internet cloud-hosted natural language interactive messaging system with entity-based communication |
US10015124B2 (en) | 2016-09-20 | 2018-07-03 | Google Llc | Automatic response suggestions based on images received in messaging applications |
WO2018057541A1 (en) | 2016-09-20 | 2018-03-29 | Google Llc | Suggested responses based on message stickers |
US10511450B2 (en) | 2016-09-20 | 2019-12-17 | Google Llc | Bot permissions |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US20180096072A1 (en) * | 2016-10-03 | 2018-04-05 | Google Inc. | Personalization of a virtual assistant |
US10552742B2 (en) * | 2016-10-14 | 2020-02-04 | Google Llc | Proactive virtual assistant |
JP6805765B2 (ja) | 2016-10-21 | 2020-12-23 | 富士通株式会社 | ソフトウェアサービスの実行のためのシステム、方法、及びプログラム |
US10776170B2 (en) | 2016-10-21 | 2020-09-15 | Fujitsu Limited | Software service execution apparatus, system, and method |
ES2765415T3 (es) | 2016-10-21 | 2020-06-09 | Fujitsu Ltd | Aparato, método y programa de procesamiento de datos basado en microservicios |
JP7100422B2 (ja) | 2016-10-21 | 2022-07-13 | 富士通株式会社 | データプロパティ認識のための装置、プログラム、及び方法 |
EP3312722A1 (en) | 2016-10-21 | 2018-04-25 | Fujitsu Limited | Data processing apparatus, method, and program |
CN106601216A (zh) * | 2016-11-30 | 2017-04-26 | 宇龙计算机通信科技(深圳)有限公司 | 通过音乐实现电子设备控制的方法及系统 |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
KR102668438B1 (ko) * | 2016-12-26 | 2024-05-24 | 현대자동차주식회사 | 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법 |
US10924376B2 (en) * | 2016-12-30 | 2021-02-16 | Google Llc | Selective sensor polling |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
KR102338990B1 (ko) | 2017-01-23 | 2021-12-14 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
KR20180102871A (ko) * | 2017-03-08 | 2018-09-18 | 엘지전자 주식회사 | 이동단말기 및 이동단말기의 차량 제어 방법 |
US10636418B2 (en) | 2017-03-22 | 2020-04-28 | Google Llc | Proactive incorporation of unsolicited content into human-to-computer dialogs |
CN107122179A (zh) * | 2017-03-31 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 语音的功能控制方法和装置 |
CN107146610B (zh) * | 2017-04-10 | 2021-06-15 | 易视星空科技无锡有限公司 | 一种用户意图的确定方法及装置 |
EP3613044A1 (en) * | 2017-04-20 | 2020-02-26 | Semantic Machines, Inc. | Automated assistant data flow |
US20180314532A1 (en) * | 2017-04-26 | 2018-11-01 | Google Inc. | Organizing messages exchanged in human-to-computer dialogs with automated assistants |
KR102309031B1 (ko) * | 2017-04-27 | 2021-10-06 | 삼성전자 주식회사 | 지능형 에이전트 관리 방법 및 장치 |
KR102375800B1 (ko) * | 2017-04-28 | 2022-03-17 | 삼성전자주식회사 | 음성 인식 서비스를 제공하는 전자 장치 및 그 방법 |
KR102380717B1 (ko) | 2017-04-30 | 2022-03-31 | 삼성전자주식회사 | 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법 |
US9865260B1 (en) | 2017-05-03 | 2018-01-09 | Google Llc | Proactive incorporation of unsolicited content into human-to-computer dialogs |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
CN110574023A (zh) * | 2017-05-11 | 2019-12-13 | 苹果公司 | 脱机个人助理 |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
EP3596727B1 (en) * | 2017-05-15 | 2022-04-13 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10275651B2 (en) * | 2017-05-16 | 2019-04-30 | Google Llc | Resolving automated assistant requests that are based on image(s) and/or other sensor data |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
WO2018212822A1 (en) | 2017-05-16 | 2018-11-22 | Google Inc. | Suggested actions for images |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US11074280B2 (en) * | 2017-05-18 | 2021-07-27 | Aiqudo, Inc | Cluster based search and recommendation method to rapidly on-board commands in personal assistants |
US10664533B2 (en) * | 2017-05-24 | 2020-05-26 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to determine response cue for digital assistant based on context |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10404636B2 (en) | 2017-06-15 | 2019-09-03 | Google Llc | Embedded programs and interfaces for chat conversations |
US10348658B2 (en) | 2017-06-15 | 2019-07-09 | Google Llc | Suggested items for use with embedded applications in chat conversations |
CN109102802B (zh) | 2017-06-21 | 2023-10-17 | 三星电子株式会社 | 用于处理用户话语的系统 |
US10742435B2 (en) * | 2017-06-29 | 2020-08-11 | Google Llc | Proactive provision of new content to group chat participants |
US11017037B2 (en) * | 2017-07-03 | 2021-05-25 | Google Llc | Obtaining responsive information from multiple corpora |
KR102406718B1 (ko) * | 2017-07-19 | 2022-06-10 | 삼성전자주식회사 | 컨텍스트 정보에 기반하여 음성 입력을 수신하는 지속 기간을 결정하는 전자 장치 및 시스템 |
US11074911B2 (en) * | 2017-09-05 | 2021-07-27 | First Advantage Corporation | Digital assistant |
CN117112761A (zh) | 2017-09-05 | 2023-11-24 | 声音猎手公司 | 域间通过语法槽的分类 |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10394957B2 (en) * | 2017-09-25 | 2019-08-27 | Microsoft Technology Licensing, Llc | Signal analysis in a conversational scheduling assistant computing system |
KR102487669B1 (ko) | 2017-09-29 | 2023-01-13 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
CN107773982B (zh) * | 2017-10-20 | 2021-08-13 | 科大讯飞股份有限公司 | 游戏语音交互方法及装置 |
WO2019103200A1 (ko) * | 2017-11-23 | 2019-05-31 | 주식회사 모다 | 통합 음성비서 서비스 제공 방법 및 장치 |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
WO2019112614A1 (en) * | 2017-12-08 | 2019-06-13 | Google Llc | Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s) |
CN109920429A (zh) * | 2017-12-13 | 2019-06-21 | 上海擎感智能科技有限公司 | 一种用于车载的语音识别数据处理方法及系统 |
US11836592B2 (en) * | 2017-12-15 | 2023-12-05 | International Business Machines Corporation | Communication model for cognitive systems |
US10891526B2 (en) | 2017-12-22 | 2021-01-12 | Google Llc | Functional image archiving |
KR102532300B1 (ko) * | 2017-12-22 | 2023-05-15 | 삼성전자주식회사 | 어플리케이션 실행 방법 및 이를 위한 장치 |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
KR102066451B1 (ko) * | 2018-02-02 | 2020-01-15 | 주식회사 오비고 | 차량용 ai 서비스를 제공하는 방법 및 이를 이용한 장치 |
CN110209776B (zh) * | 2018-02-13 | 2023-10-27 | 鼎捷软件股份有限公司 | 操作虚拟助理的方法及系统 |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US11314944B2 (en) | 2018-03-05 | 2022-04-26 | Google Llc | Transitioning between prior dialog contexts with automated assistants |
KR102508677B1 (ko) | 2018-03-08 | 2023-03-13 | 삼성전자주식회사 | 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법 |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) * | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US11056107B2 (en) * | 2018-03-30 | 2021-07-06 | International Business Machines Corporation | Conversational framework |
CN109948017B (zh) * | 2018-04-26 | 2021-03-30 | 华为技术有限公司 | 一种信息处理方法及装置 |
KR20190126734A (ko) | 2018-05-02 | 2019-11-12 | 삼성전자주식회사 | 문맥적 추천 |
US10877718B2 (en) | 2018-05-07 | 2020-12-29 | Spotify Ab | Adaptive voice communication |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
CN110489517B (zh) * | 2018-05-09 | 2023-10-31 | 鼎捷软件股份有限公司 | 虚拟助理的自动学习方法及系统 |
KR20190131741A (ko) * | 2018-05-17 | 2019-11-27 | 현대자동차주식회사 | 대화 시스템 및 대화 처리 방법 |
KR20200042127A (ko) | 2018-10-15 | 2020-04-23 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
KR20200001188A (ko) | 2018-06-27 | 2020-01-06 | 현대자동차주식회사 | 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 |
KR102562227B1 (ko) | 2018-06-12 | 2023-08-02 | 현대자동차주식회사 | 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 |
KR20200006739A (ko) | 2018-07-11 | 2020-01-21 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
KR20190133100A (ko) * | 2018-05-22 | 2019-12-02 | 삼성전자주식회사 | 어플리케이션을 이용하여 음성 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법 |
KR20190135676A (ko) | 2018-05-29 | 2019-12-09 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
EP3576084B1 (de) | 2018-05-29 | 2020-09-30 | Christoph Neumann | Effiziente dialoggestaltung |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
KR20200000155A (ko) | 2018-06-22 | 2020-01-02 | 현대자동차주식회사 | 대화 시스템 및 이를 이용한 차량 |
KR20200000604A (ko) | 2018-06-25 | 2020-01-03 | 현대자동차주식회사 | 대화 시스템 및 대화 처리 방법 |
US11386338B2 (en) * | 2018-07-05 | 2022-07-12 | International Business Machines Corporation | Integrating multiple domain problem solving in a dialog system for a user |
KR20200006738A (ko) | 2018-07-11 | 2020-01-21 | 현대자동차주식회사 | 대화 시스템 및 대화 처리 방법 |
US11075007B2 (en) | 2018-07-18 | 2021-07-27 | International Business Machines Corporation | Dynamic selection of virtual agents in a mutli-domain expert system |
EP3614628B1 (en) | 2018-08-20 | 2024-04-17 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
JP7159707B2 (ja) * | 2018-09-04 | 2022-10-25 | 富士フイルムビジネスイノベーション株式会社 | 表示装置及びプログラム |
KR20200027753A (ko) * | 2018-09-05 | 2020-03-13 | 삼성전자주식회사 | 전자 장치 및 단축 명령어에 대응하는 태스크 수행 방법 |
CN110930999A (zh) * | 2018-09-19 | 2020-03-27 | 上海博泰悦臻电子设备制造有限公司 | 语音互动方法、装置及车辆 |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US20200127988A1 (en) * | 2018-10-19 | 2020-04-23 | Apple Inc. | Media intercom over a secure device to device communication channel |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11528589B2 (en) | 2018-10-26 | 2022-12-13 | Motorola Solutions, Inc. | Device, system and method for modifying actions associated with an emergency call |
CN113168829A (zh) * | 2018-12-03 | 2021-07-23 | 谷歌有限责任公司 | 语音输入处理 |
RU2701090C1 (ru) * | 2018-12-19 | 2019-09-24 | Самсунг Электроникс Ко., Лтд. | Система и способ для автоматического выполнения команд, заданных пользователем |
EP3788620B1 (en) * | 2018-12-28 | 2023-09-06 | Google LLC | Supplementing voice inputs to an automated assistant according to selected suggestions |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11455982B2 (en) * | 2019-01-07 | 2022-09-27 | Cerence Operating Company | Contextual utterance resolution in multimodal systems |
RU2721999C1 (ru) * | 2019-03-18 | 2020-05-25 | Сергей Александрович Гайдамаков | Ассоциативная сеть контактов, заметок и/или событий |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
KR20200119531A (ko) * | 2019-04-10 | 2020-10-20 | 삼성전자주식회사 | 자연어 응답을 생성하는 전자 장치 및 자연어 응답 생성 방법 |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
KR20220008309A (ko) * | 2019-05-10 | 2022-01-20 | 구글 엘엘씨 | 음성 인식을 위한 종단 간 모델과 함께 컨텍스트 정보 사용 |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11200898B2 (en) * | 2019-05-31 | 2021-12-14 | Google Llc | Dynamically assigning multi-modality circumstantial data to assistant action requests for correlating with subsequent requests |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
AU2020284211B2 (en) * | 2019-05-31 | 2022-03-24 | Apple Inc. | Voice assistant discoverability through on-device targeting and personalization |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
CN110211584A (zh) * | 2019-06-04 | 2019-09-06 | 广州小鹏汽车科技有限公司 | 车辆控制方法、装置、存储介质及控制终端 |
CN110413654B (zh) * | 2019-06-20 | 2023-11-21 | 平安科技(深圳)有限公司 | 一种确定客户可信联系信息的方法、装置、计算机设备和存储介质 |
US11438452B1 (en) | 2019-08-09 | 2022-09-06 | Apple Inc. | Propagating context information in a privacy preserving manner |
CN112397062A (zh) * | 2019-08-15 | 2021-02-23 | 华为技术有限公司 | 语音交互方法、装置、终端及存储介质 |
EP4034984A1 (en) * | 2019-09-24 | 2022-08-03 | Apple Inc. | Resolving natural language ambiguities with respect to a simulated reality setting |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US20210104220A1 (en) * | 2019-10-08 | 2021-04-08 | Sarah MENNICKEN | Voice assistant with contextually-adjusted audio output |
KR20210046475A (ko) * | 2019-10-18 | 2021-04-28 | 삼성전자주식회사 | 전자 장치 및 이의 음성 인식 기능 구동 방법 |
KR102135859B1 (ko) | 2019-10-24 | 2020-07-20 | 주식회사 유니온플레이스 | 개인화된 가상 비서를 제공하는 장치 |
US20210125610A1 (en) * | 2019-10-29 | 2021-04-29 | Facebook Technologies, Llc | Ai-driven personal assistant with adaptive response generation |
US11227583B2 (en) | 2019-11-05 | 2022-01-18 | International Business Machines Corporation | Artificial intelligence voice response system having variable modes for interaction with user |
KR20220062360A (ko) | 2019-11-27 | 2022-05-16 | 구글 엘엘씨 | 동적으로 업데이트되는 자연어 처리를 통한 애플리케이션과의 인터페이스 |
US11574634B2 (en) | 2019-11-27 | 2023-02-07 | Google Llc | Interfacing with applications via dynamically updating natural language processing |
CN110995936B (zh) * | 2019-12-19 | 2021-03-19 | 大众问问(北京)信息科技有限公司 | 一种语音交互方法、装置及设备 |
CN111061453B (zh) * | 2019-12-26 | 2023-12-26 | 北京官匠空间科技有限公司 | 一种用于app生态系统的语音交互方法、装置 |
CN111222322B (zh) * | 2019-12-31 | 2022-10-25 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
US20230134103A1 (en) * | 2020-03-25 | 2023-05-04 | Sony Group Corporation | Information processing apparatus and information processing method |
CN111488441B (zh) * | 2020-04-08 | 2023-08-01 | 北京百度网讯科技有限公司 | 问题解析方法、装置、知识图谱问答系统和电子设备 |
KR102389179B1 (ko) * | 2020-04-14 | 2022-04-22 | 주식회사 오비고 | 차량 AVN 시스템의 상태 정보를 이용한 차량앱 제어 방법 및 이를 이용한 AI Service Agent |
US11183193B1 (en) | 2020-05-11 | 2021-11-23 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US12027163B2 (en) | 2020-07-27 | 2024-07-02 | Samsung Electronics Co., Ltd. | Electronic device and operation method thereof |
CN112182373B (zh) * | 2020-09-25 | 2023-06-02 | 中国人民大学 | 一种基于上下文表示学习的性化搜索方法 |
EP3989057A1 (de) * | 2020-10-23 | 2022-04-27 | Deutsche Telekom AG | Adaptiver sprachassistent bedienbar durch einen nutzer mittels eines nutzerendgeräts |
US11705111B2 (en) | 2020-11-12 | 2023-07-18 | Samsung Electronics Co., Ltd. | Methods and systems for predicting non-default actions against unstructured utterances |
CN112631138A (zh) * | 2020-12-09 | 2021-04-09 | 创维集团有限公司 | 一种基于智能家居智能控制系统的办公控制方法 |
US11705125B2 (en) | 2021-03-26 | 2023-07-18 | International Business Machines Corporation | Dynamic voice input detection for conversation assistants |
CN113297359B (zh) * | 2021-04-23 | 2023-11-28 | 阿里巴巴新加坡控股有限公司 | 交互信息的方法以及装置 |
DE102021120246A1 (de) | 2021-08-04 | 2023-02-09 | Bayerische Motoren Werke Aktiengesellschaft | Spracherkennungssystem |
EP4385009A1 (en) * | 2021-08-11 | 2024-06-19 | Meetkai, Inc. | Conversational artificial intelligence system in a virtual reality space |
US20230124889A1 (en) * | 2021-10-15 | 2023-04-20 | Rovi Guides, Inc. | Systems and methods to generate contextual based actions |
TWI823195B (zh) * | 2021-11-25 | 2023-11-21 | 荷蘭商荷蘭移動驅動器公司 | 智慧推薦方法及系統 |
DE102022112444A1 (de) | 2022-05-18 | 2023-11-23 | Bayerische Motoren Werke Aktiengesellschaft | Spracherkennungssystem |
US11978436B2 (en) | 2022-06-03 | 2024-05-07 | Apple Inc. | Application vocabulary integration with a digital assistant |
US11995457B2 (en) | 2022-06-03 | 2024-05-28 | Apple Inc. | Digital assistant integration with system interface |
CN115064168B (zh) * | 2022-08-17 | 2022-12-13 | 广州小鹏汽车科技有限公司 | 语音交互方法、服务器和存储介质 |
WO2024049459A1 (en) * | 2022-08-30 | 2024-03-07 | Google Llc | Reducing metadata transmitted with automated assistant requests |
WO2024058474A1 (ko) * | 2022-09-15 | 2024-03-21 | 삼성전자주식회사 | 음성 인식을 수행하는 전자 장치 및 이의 제어 방법 |
WO2024071469A1 (ko) * | 2022-09-28 | 2024-04-04 | 엘지전자 주식회사 | 인공지능 기기 및 그의 동작 방법 |
CN115565519B (zh) * | 2022-11-30 | 2023-04-07 | 广汽埃安新能源汽车股份有限公司 | 对话语音生成方法、装置、设备、计算机可读介质 |
US11695867B1 (en) | 2022-12-07 | 2023-07-04 | V Group Inc. | Methods and systems for facilitating context-to-call communications between communication points via dedicated context-to-call-enabled contact numbers |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08339288A (ja) * | 1995-06-14 | 1996-12-24 | Canon Inc | 情報処理装置及びその制御方法 |
EP0852052B1 (en) * | 1995-09-14 | 2001-06-13 | Ericsson Inc. | System for adaptively filtering audio signals to enhance speech intelligibility in noisy environmental conditions |
US6584439B1 (en) * | 1999-05-21 | 2003-06-24 | Winbond Electronics Corporation | Method and apparatus for controlling voice controlled devices |
US20030093281A1 (en) * | 1999-05-21 | 2003-05-15 | Michael Geilhufe | Method and apparatus for machine to machine communication using speech |
US6324512B1 (en) | 1999-08-26 | 2001-11-27 | Matsushita Electric Industrial Co., Ltd. | System and method for allowing family members to access TV contents and program media recorder over telephone or internet |
JP4200607B2 (ja) * | 1999-09-03 | 2008-12-24 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム格納媒体 |
JP3941299B2 (ja) * | 1999-10-12 | 2007-07-04 | 三菱電機株式会社 | 音声対話装置 |
US6353794B1 (en) * | 1999-10-19 | 2002-03-05 | Ar Group, Inc. | Air travel information and computer data compilation, retrieval and display method and system |
JP2001216131A (ja) | 2000-02-04 | 2001-08-10 | Sony Corp | 情報処理装置および方法、並びにプログラム格納媒体 |
KR100380829B1 (ko) * | 2000-09-09 | 2003-04-18 | 주식회사 모빅텔커뮤니케이션스 | 에이전트를 이용한 대화 방식 인터페이스 운영 시스템 및방법과 그 프로그램 소스를 기록한 기록 매체 |
US20020087306A1 (en) * | 2000-12-29 | 2002-07-04 | Lee Victor Wai Leung | Computer-implemented noise normalization method and system |
US7257537B2 (en) * | 2001-01-12 | 2007-08-14 | International Business Machines Corporation | Method and apparatus for performing dialog management in a computer conversational interface |
US7031916B2 (en) * | 2001-06-01 | 2006-04-18 | Texas Instruments Incorporated | Method for converging a G.729 Annex B compliant voice activity detection circuit |
US20030233230A1 (en) * | 2002-06-12 | 2003-12-18 | Lucent Technologies Inc. | System and method for representing and resolving ambiguity in spoken dialogue systems |
US7003464B2 (en) * | 2003-01-09 | 2006-02-21 | Motorola, Inc. | Dialog recognition and control in a voice browser |
JP2004239963A (ja) | 2003-02-03 | 2004-08-26 | Mitsubishi Electric Corp | 車載制御装置 |
KR20040088975A (ko) * | 2003-04-14 | 2004-10-20 | 주식회사 케이티 | 개인비서 전화서비스 시스템 및 그 방법 |
US7302392B1 (en) * | 2003-10-07 | 2007-11-27 | Sprint Spectrum L.P. | Voice browser with weighting of browser-level grammar to enhance usability |
US7669177B2 (en) * | 2003-10-24 | 2010-02-23 | Microsoft Corporation | System and method for preference application installation and execution |
US20060036430A1 (en) * | 2004-08-12 | 2006-02-16 | Junling Hu | System and method for domain-based natural language consultation |
US8942985B2 (en) * | 2004-11-16 | 2015-01-27 | Microsoft Corporation | Centralized method and system for clarifying voice commands |
US7826945B2 (en) * | 2005-07-01 | 2010-11-02 | You Zhang | Automobile speech-recognition interface |
US7949529B2 (en) * | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
US8126120B2 (en) * | 2005-12-12 | 2012-02-28 | Tellme Networks, Inc. | Providing missed call and message information |
US7657849B2 (en) | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
US7480870B2 (en) * | 2005-12-23 | 2009-01-20 | Apple Inc. | Indication of progress towards satisfaction of a user input condition |
IL174107A0 (en) | 2006-02-01 | 2006-08-01 | Grois Dan | Method and system for advertising by means of a search engine over a data network |
US7599861B2 (en) * | 2006-03-02 | 2009-10-06 | Convergys Customer Management Group, Inc. | System and method for closed loop decisionmaking in an automated care system |
JP5146979B2 (ja) * | 2006-06-02 | 2013-02-20 | 株式会社国際電気通信基礎技術研究所 | 自然言語における多義解消装置及びコンピュータプログラム |
US8423347B2 (en) * | 2006-06-06 | 2013-04-16 | Microsoft Corporation | Natural language personal information management |
US9318108B2 (en) * | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8073681B2 (en) * | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
US20080147411A1 (en) * | 2006-12-19 | 2008-06-19 | International Business Machines Corporation | Adaptation of a speech processing system from external input that is not directly related to sounds in an operational acoustic environment |
US8762143B2 (en) * | 2007-05-29 | 2014-06-24 | At&T Intellectual Property Ii, L.P. | Method and apparatus for identifying acoustic background environments based on time and speed to enhance automatic speech recognition |
US9954996B2 (en) * | 2007-06-28 | 2018-04-24 | Apple Inc. | Portable electronic device with conversation management for incoming instant messages |
US8140335B2 (en) * | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US20090182562A1 (en) * | 2008-01-14 | 2009-07-16 | Garmin Ltd. | Dynamic user interface for automated speech recognition |
US8121837B2 (en) * | 2008-04-24 | 2012-02-21 | Nuance Communications, Inc. | Adjusting a speech engine for a mobile computing device based on background noise |
US8082148B2 (en) * | 2008-04-24 | 2011-12-20 | Nuance Communications, Inc. | Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise |
KR101462932B1 (ko) * | 2008-05-28 | 2014-12-04 | 엘지전자 주식회사 | 이동 단말기 및 그의 텍스트 수정방법 |
JP2010066519A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | 音声対話装置、音声対話方法、および音声対話プログラム |
JP2010079103A (ja) | 2008-09-26 | 2010-04-08 | Brother Ind Ltd | 音声対話装置及びそのプログラム並びに音声対話処理方法 |
US8285545B2 (en) * | 2008-10-03 | 2012-10-09 | Volkswagen Ag | Voice command acquisition system and method |
US8584031B2 (en) * | 2008-11-19 | 2013-11-12 | Apple Inc. | Portable touch screen device, method, and graphical user interface for using emoji characters |
US20100146437A1 (en) * | 2008-12-04 | 2010-06-10 | Microsoft Corporation | Glanceable animated notifications on a locked device |
US8539382B2 (en) * | 2009-04-03 | 2013-09-17 | Palm, Inc. | Preventing unintentional activation and/or input in an electronic device |
US20120309363A1 (en) * | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US9117448B2 (en) * | 2009-07-27 | 2015-08-25 | Cisco Technology, Inc. | Method and system for speech recognition using social networks |
US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
US8626511B2 (en) * | 2010-01-22 | 2014-01-07 | Google Inc. | Multi-dimensional disambiguation of voice commands |
US8301121B2 (en) * | 2010-01-22 | 2012-10-30 | Sony Ericsson Mobile Communications Ab | Regulating alerts generated by communication terminals responsive to sensed movement |
CA2792336C (en) * | 2010-03-19 | 2018-07-24 | Digimarc Corporation | Intuitive computing methods and systems |
-
2012
- 2012-09-28 DE DE102012019178A patent/DE102012019178A1/de not_active Withdrawn
- 2012-09-28 RU RU2012141604/08A patent/RU2542937C2/ru active
- 2012-09-28 BR BR102012024861-1A patent/BR102012024861B1/pt active IP Right Grant
- 2012-09-28 EP EP16195814.5A patent/EP3200185A1/en not_active Withdrawn
- 2012-09-28 CA CA2791277A patent/CA2791277C/en active Active
- 2012-09-28 AU AU2012232977A patent/AU2012232977A1/en not_active Abandoned
- 2012-09-28 KR KR1020120109552A patent/KR101683083B1/ko active IP Right Grant
- 2012-09-28 CA CA3023918A patent/CA3023918C/en active Active
- 2012-09-28 GB GB1217449.6A patent/GB2495222B/en active Active
- 2012-09-28 EP EP18154657.3A patent/EP3392876A1/en not_active Withdrawn
- 2012-09-28 JP JP2012230300A patent/JP5698203B2/ja active Active
- 2012-09-28 MX MX2012011426A patent/MX2012011426A/es active IP Right Grant
- 2012-09-28 EP EP20120186663 patent/EP2575128A3/en not_active Withdrawn
- 2012-10-01 NL NL2009544A patent/NL2009544B1/en active
- 2012-10-08 CN CN201210599203.8A patent/CN103226949B/zh active Active
-
2015
- 2015-02-12 JP JP2015025813A patent/JP6285883B2/ja active Active
-
2016
- 2016-11-30 KR KR1020160161496A patent/KR102048375B1/ko active IP Right Grant
-
2017
- 2017-03-28 JP JP2017062372A patent/JP6740162B2/ja active Active
-
2018
- 2018-05-02 KR KR1020180050592A patent/KR102145660B1/ko active IP Right Grant
-
2019
- 2019-11-19 KR KR1020190148423A patent/KR102309489B1/ko active IP Right Grant
-
2020
- 2020-07-22 JP JP2020125245A patent/JP7082645B2/ja active Active
-
2021
- 2021-09-29 KR KR1020210128938A patent/KR102447546B1/ko active IP Right Grant
-
2022
- 2022-05-27 JP JP2022086561A patent/JP7357113B2/ja active Active
- 2022-09-21 KR KR1020220119609A patent/KR102622737B1/ko active IP Right Grant
-
2023
- 2023-09-25 JP JP2023160075A patent/JP2023169360A/ja active Pending
-
2024
- 2024-01-04 KR KR1020240001375A patent/KR20240010057A/ko active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11113473B2 (en) | 2018-04-02 | 2021-09-07 | SoundHound Inc. | Interpreting expressions having potentially ambiguous meanings in different domains |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7357113B2 (ja) | バーチャルアシスタントのコマンド処理を容易にするためのコンテクスト情報の使用 | |
US20230409283A1 (en) | Interface for a virtual digital assistant | |
AU2019200732B2 (en) | Using context information to facilitate processing of commands in a virtual assistant | |
US10475446B2 (en) | Using context information to facilitate processing of commands in a virtual assistant |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160615 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170328 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170403 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20170414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6285883 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |